CN116614710A - 一种近超声定位与摄像头联动系统及其方法 - Google Patents
一种近超声定位与摄像头联动系统及其方法 Download PDFInfo
- Publication number
- CN116614710A CN116614710A CN202310571524.5A CN202310571524A CN116614710A CN 116614710 A CN116614710 A CN 116614710A CN 202310571524 A CN202310571524 A CN 202310571524A CN 116614710 A CN116614710 A CN 116614710A
- Authority
- CN
- China
- Prior art keywords
- positioning
- camera
- target
- edge server
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000012546 transfer Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 11
- 238000009434 installation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/66—Sonar tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/521—Constructional features
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开一种近超声定位与摄像头联动系统及其方法，该系统基于目标位置驱动摄像头跟随目标转动和自适应调焦，以获得包含高清目标的图像，该系统解决了现有技术方案在远距离或环境干扰下目标成像尺寸过小、质量过低导致的识别错误、安全风险增大的难题，实现了对目标的高精度定位、大范围和远距离目标跟踪以及包含高清目标的视频流；同时，摄像头直接定位目标并采用边缘计算，提高了对于现场目标的精细监控以及突发事件的响应速度；另外，一个变焦摄像头可实现直径70m圆形开阔区域内的监控，大大降低了监控成本。
Description
技术领域
本发明涉及室内定位技术、数字通信技术、控制技术、计算机视觉技术领域，尤其涉及一种近超声定位与摄像头联动系统及其方法。
背景技术
随着室内外定位技术、通信传输技术、摄像头控制技术的不断发展，实现位置感知和视频监控的联动成为了可能。例如，基于GPS、WI-FI、蓝牙、UWB、近超声等技术的定位系统，其定位精度越来越高，可以实现室内室外目标的定位，满足不同场景的需求；摄像头云台、焦距等控制技术，其可以自动控制摄像头旋转和调焦，满足大范围、远距离监控需求；socket、mqtt、边缘计算等物联网通信技术，其实现了不同设备之间的快速响应，满足实时、高效、远程通信需求。这些技术的结合，可以实现对目标的高精度定位、大范围和远距离目标实时跟踪、以及包含高清目标的视频流。同时，这些技术的结合，将使得定位与摄像头联动系统在智能安防、智慧城市等领域中发挥重要作用。
单一位置感知技术，其包括GPS、WI-FI、蓝牙、UWB、近超声定位等，这些技术主要用于获取目标的位置信息，无法与视频监控进行联动。单一视频监控系统，其可以实现对特定区域的监控，但当目标移动至远处时，现有技术方案将导致目标模糊甚至失去追踪，从而无法获取包含高清目标的图像。另外，视频监控系统常常受到环境干扰，例如光照变焦、雾霾、雨雪、遮挡等，这些干扰会影响图像质量和监控效果。
发明内容
为了解决现有技术存在的问题，本发明提出一种近超声定位与摄像头联动系统及其方法。该系统基于目标位置驱动摄像头跟随目标转动和自适应调焦，以获得包含高清目标的图像。该系统解决了现有技术方案在远距离或环境干扰下目标成像尺寸过小、质量过低导致的识别错误、安全风险增大的难题，实现了对目标的高精度定位、大范围和远距离目标跟踪以及包含高清目标的视频流；同时，摄像头直接定位目标并采用边缘计算，提高了对于现场目标的精细监控以及突发事件的响应速度；另外，一个变焦摄像头可实现直径70m圆形开阔区域内的监控，大大降低了监控成本。
本发明可通过以下技术方案予以实现：
一种近超声定位与摄像头联动系统，包括近超声定位模块、位置与摄像头联动模块、智能识别模块、通信模块和终端报警显示模块，所述近超声定位模块，其通过近超声信号基站和定位标签并利用近超声定位算法实时获取目标的位置信息，实现70m内误差小于30cm的高精度定位；所述位置与摄像头联动模块，其根据位置信息控制摄像头云台旋转和调焦，实现远距离目标跟踪和高清成像；所述智能识别模块，其用于对智能监控摄像头采集的包含高清目标的视频数据进行目标识别；所述通信模块，其用于模块之间图像、定位、报警数据传递；所述终端报警显示模块，其用于显示目标定位信息、高清视频流及其智能识别结果，并对错误行为进行报警，同时保存报警视频。
进一步地，所述近超声定位模块用于目标实时定位，其由4个近超声信号基站和定位标签组成，该近超声信号基站内置扬声器和麦克风，用于发射和接收声信号，并提供自身位置信息给定位算法。
进一步地，所述定位标签内置扬声器、麦克风、微处理器和网络连接，扬声器、麦克风分别用于发射和接收声信号，微处理器用于运行近超声定位算法，从而获取目标位置信息，网络连接用于与所述位置与摄像头联动模块的边缘服务器通信，并将定位信息上传至边缘服务器。
进一步地，所述位置与摄像头联动模块，其由摄像头和边缘服务器组成，该摄像头配置有水平、垂直方向旋转的云台，可实现大范围监控，焦距可调，实现不同距离的监控，内置内置静态TCP/IP地址和网络连接，实现与边缘服务器通信和远程监控；所述边缘服务器内置CPU处理器、TCP/IP地址、网络发射装置等，并搭建定位信息接收客户端和摄像头控制程序，定位信息接收客户端实现定位标签与边缘服务器通信，从而获取目标定位信息；在CPU处理器上运行摄像头控制程序，实现摄像头与边缘服务器通信，获取摄像头云台和焦距信息，同时结合定位信息，控制摄像头跟随目标位置转动和调焦，从而获取包含目标的高清视频流。
进一步地，所述智能识别模块，其由所述位置与摄像头联动模块的边缘服务器和主机组成。边缘服务器可提供包含高清目标的视频流。主机内置CPU、GPU处理器，并搭建图像数据接收客户端、智能识别算法和报警数据传递服务端。CPU用来处理图像数据接收客户端接收的高清视频图像，GPU用来运行智能识别算法，实现对智能监控摄像头采集的高清视频流进行目标识别，同样CPU用来对多帧识别结果进行后处理，并输出报警信息，报警数据传递服务端用于将报警信息传递至边缘服务器。
进一步地，所述终端显示报警模块，其配置有显示屏、内存卡和报警装置，该显示屏用于显示目标定位信息、高清视频图像及其智能识别结果和报警信息，所述内存卡用于保存报警视频，以便回放查看，所述报警装置安装在定位标签上，配置有扬声器和网络连接，网络连接用于与边缘服务器通信，获取报警信息，扬声器用于播放报警信号。
进一步地，所述通信模块，其配置有边缘服务器、各种网络连接模式、TCP/IP网址，可用于近超声定位模块与边缘服务器之间、边缘服务器与主机之间的定位数据和报警信息传递，以及摄像头与边缘服务器之间、边缘服务器与主机之间的图像数据传递。
本发明还提出一种根据以上所述一种近超声定位与摄像头联动系统实现的近超声定位与摄像头联动方法，包括以下步骤：
1)采用近超声定位方法实时获取标签位置信息；
2)定位信息上传和转发，首先搭建mqtt边缘服务器，然后定位数据上传至边缘服务器，并由边缘服务器进行转发；
3)位置与摄像头联动，摄像头通过内置的网络连接及其TCP/IP与边缘服务器进行通信，边缘服务器连接摄像头的TCP/IP地址并配置登录名及其密码，即可获得摄像头云台、焦距相关参数，结合目标位置信息，执行摄像头控制程序，使摄像头跟随定位标签即目标转动并调焦，从而获得包含高清目标的图像；
4)运行智能识别算法，主机与边缘服务器通信，获取定位标签的id及其位置信息和包含高清目标的视频流，根据定位视频数据帧结构解析该是视频流的数据帧，分别获得该定位标签的id及其(x,y,z)位置信息，以及包含摄像头id及其当前图像信息的视频流；
5)模型推理及推理结果后处理，并终端显示和报警。
进一步地，所述步骤1)具体包括以下步骤：a)首先，安装近超声信号基站并确定其位置信息，室内基站安装在室内4个墙角位置，采用悬挂安装，且高度不宜超过5m；室外基站采用支架安装，高度不超过10m，室内或室外任意两基站距离不超过70m；b)然后，确定定位标签方式，定位标签方式主要有定位安全帽、手机微信定位小程序或APP、定位手持机、定位工牌、定位手表；c)接着，近超声信号基站与定位标签之间相互通信；d)最后，执行近超声定位算法获取定位标签即目标的位置信息。
进一步地，所述步骤d)中具体定位算法具体包括以下步骤：1)对带有基站ID和位置信息的声信号S#和带有标签ID的声信号St进行鲁棒识别，以确定每个声信号所属ID；2)确定任意基站与定位标签的距离；3)确定定位标签的具体位置。
进一步地，所述步骤1)包括使用分数阶傅里叶(FrFT)来解码接收信号中的多个调频分量，使用预设的频带与解码后的声信号进行基于广义互相关的匹配滤波，找到相应可能的单频信号，采用短期傅里叶变换(STFT)对上述找到的单频信号进行鲁棒识别；所述步骤2)任意基站与定位标签之间的距离使用如下测距公式：
其中，c为近超声在空中的传播速度，t#2是任意基站的麦克风接收定位标签发射的声信号St的时间，t#1是任意基站的麦克风接收自身发射的声信号S#的时间，tt2是定位标签的麦克风接收自身发射的声信号St的时间，tt1是定位标签的麦克风接收声基站发射的声信号S并的时间，d#，#和dt，t两项分别为任意基站或定位标签的扬声器和麦克风之间的距离，可以通过先验测量获得；所述步骤3)定位标签的具体位置求解使用三边定位算法即可求得定位标签的具体位置(xt，yt)。
有益效果
本发明能够有效实现对目标的高精度定位、远距离跟踪以及高清目标成像；能够有效避免单一视频监控方法在远距离或遮挡环境下目标成像尺寸过小、质量过低导致的识别错误情况；同时，摄像头直接定位目标，有效提高了对于现场目标的监控以及突发事件的响应速度；另外，一个变焦摄像头可实现直径70m圆形开阔区域内的监控，大大降低了监控成本。
附图说明
图1为本发明的结构框图
图2为本发明的结构示意图
图3为本发明中摄像头安装方式示意图
图4为本发明定位标签的具体位置求解示意图
图5为本发明算法设计框架示意图
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域的技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。
如图1，2所示，本发明的一种近超声定位与摄像头联动系统，包括近超声定位模块、位置与摄像头联动模块、智能识别模块、通信模块和终端报警显示模块，近超声定位模块，其通过近超声信号基站和定位标签并利用近超声定位算法实时获取目标的位置信息，实现70m内误差小于30cm的高精度定位；位置与摄像头联动模块，其根据位置信息控制摄像头云台旋转和调焦，实现远距离目标跟踪和高清成像；智能识别模块，其用于对智能监控摄像头采集的包含高清目标的视频数据进行目标识别；通信模块，其用于模块之间图像、定位、报警数据传递；终端报警显示模块，其用于显示目标定位信息、高清视频流及其智能识别结果，并对错误行为进行报警，同时保存报警视频。
如图2所示，本发明提供的一种近超声定位与摄像头联动方法，具体包括：
步一：采用近超声定位方法实时获取标签位置信息。
首先，安装近超声信号基站并确定其位置信息。室内基站安装方式如图3所示，可安装在室内4个墙角位置，采用悬挂安装，且高度不宜超过5m，其中，主基站为1#基站，其它基站按顺序排列。室外基站可采用支架安装，高度不超过10m，室内或室外任意两基站距离不超过70m。采用激光测距或者卷尺等量测工具测量基站之间的距离，并记录为d12、d14、d23、d34，其中，d12为1#主基站和2#声基站之间的距离，d14为1#主基站和4#声基站之间的距离，d23为2#声基站和3#声基站之间的距离，d34为3#声基站和4#声基站之间的距离，以1#主基站为原点，构建二维声基站坐标系，并确定1#～4#基站的坐标点分别为P1、P2、P3、P4，其中P1＝(0，0)，P2＝(0，d12)，P3＝(d23，d34)，P4＝(d14，0)。
然后，确定定位标签方式。定位标签方式主要有1)定位安全帽、2)手机微信定位小程序或APP、3)定位手持机、4)定位工牌、5)定位手表等。不同的应用场景可采用不同的定位标签方式，如变电站人员定位标签可采用定位安全帽，大型商场、机场、高铁站等人员定位标签可采用手机小程序或APP，工厂安全生产可使用定位工牌。
接着，近超声信号基站与定位标签之间相互通信。近超声定位模块中的任何一个近超声信号基站在t#0时刻发送带有基站ID和位置信息的声信号S#，经过操作系统的延迟，实际声信号S#在t#0’时刻通过基站扬声器发出，这些信号在空中传播一段时间之后，分别在t#1、tt1时刻被基站自身和定位标签的麦克风接收，同样经过操作系统的延迟，基站自身和定位标签实际分别在t#1’和tt1’时刻正真获得声信号S#。同理，定位标签在tt0时刻发送带有标签ID的声信号St，实际在tt0’时刻通过标签扬声器发出，分别在tt2和t#2时刻被标签自身和各个基站的麦克风接收，实际分别在tt2’和t#2’时刻被标签自身和各个基站真正获得。
最后，执行近超声定位算法获取定位标签即目标的位置信息。近超声定位算法部署在定位标签中的微处理器上，启动定位标签即可运行定位算法。定位算法具体包括以下步骤：1)对带有基站ID和位置信息的声信号S#和带有标签ID的声信号St进行鲁棒识别，以确定每个声信号所属ID；2)确定任意基站与定位标签的距离。3)确定定位标签的具体位置。其中，步骤1)包括使用分数阶傅里叶(FrFT)来解码接收信号中的多个调频分量，使用预设的频带与解码后的声信号进行基于广义互相关的匹配滤波，找到相应可能的单频信号，采用短期傅里叶变换(STFT)对上述找到的单频信号进行鲁棒识别。步骤2)任意基站与定位标签之间的距离使用如下测距公式：
其中，c为近超声在空中的传播速度，t#2是任意基站的麦克风接收定位标签发射的声信号St的时间，t#1是任意基站的麦克风接收自身发射的声信号S#的时间，tt2是定位标签的麦克风接收自身发射的声信号St的时间，tt1是定位标签的麦克风接收声基站发射的声信号S#的时间，d#，#和dt，t两项分别为任意基站或定位标签的扬声器和麦克风之间的距离，可以通过先验测量获得。
步骤3)定位标签的具体位置求解示意图如图4所示，根据测量已知1#与2#声基站、2#与3#声基站、3#与4#声基站、4#与1#声基站之间的距离分别为d12、d23、d34、d14，且已求得定位标签与任意基站的距离为d#，t，图中d1，t，、d2，t，、d3，t，、d4，t分别为定位标签与1#、2#、3#、4#基站之间的距离，根据以上已知条件使用三边定位算法即可求得定位标签的具体位置(xt，yt)。步骤4)对定位位置(x，y)坐标执行kalman滤波，使得定位位置更加平滑，从而减少异常点、漏检点的发生。
步二：定位信息上传和转发。
首先，搭建mqtt边缘服务器。其是一个支持MQTT协议的设备，用于收集、处理和转发设备生成的数据，通常部署在边缘计算节点上，可以减少对云端服务器的依赖，提高系统的响应速度并减少网络流量。其中，MQTT协议是一种轻量级、基于发布/订阅模式的通信协议。在搭建mqtt服务器的过程中，同时配置好服务器地址、用户名、密码、主题，前三者用于客户端的主动连接，主题用来对应用消息进行分类，其随着应用一起发布。同时，边缘服务器搭载ESP32-S3，集成2.4GHz Wi-Fi和Bluetooth5(LE)的MCU芯片，支持远距离模式。
然后，定位数据上传至边缘服务器，并由边缘服务器进行转发。定位标签通过内置的网络连接(蓝牙、Wi-Fi、4G等)和部署的mqtt客户端与边缘服务器进行连接，并订阅服务器上特定的近超声定位主题，当定位标签上的mqtt客户端发布新的定位数据消息，消息会绑定到这个主题，从而实现将定位数据上传至边缘服务器的近超声定位主题下。同时，边缘服务器检查接收到的定位数据的主题名，并将定位数据转发给订阅该主题的所有客户端，直至客户端主动取消订阅该主题。其中，定位数据采用二进制流传输，数据帧结构如表1所示，其包含数据帧头、帧类型、帧回复类型、帧长度、帧数据和帧尾，其中，帧数据分别包含定位数据帧，如表2所示，定位数据帧包含标签id、边缘服务器地址、x坐标、y坐标和z坐标，其中，标签id为目标携带的定位标签，边缘服务器地址用于确认连接地址正确，x坐标、y坐标和z坐标分别为目标位置。其中，z可根据摄像头与定位标签在z方向的距离进行定义。
步三：位置与摄像头联动。
首先，摄像头选择和安装。摄像头可选择不低于400万像素、带红外夜视、23倍变焦、带旋转云台(水平360°，垂直-15°至90°)、可配置4G网卡、有线或Wi-Fi连接、支持RTSP协议视频流的网络摄像头，更多参数如表1所示。另外，购买的摄像头也可不带云台而搭载自行设计的云台，其更为平滑稳定且响应速度更快，更能满足实时监控的需求。摄像头的安装方式可采用吊顶安装或侧装，如图3所示，摄像头吊顶安装在左侧墙中间的天花板上，安装高度为10米。球机安装高度由最大焦距的可视范围决定，如需清晰看见20米处的目标则球机安装高度不低于3米，通常用于室内安装，如需清晰看见70米处的目标，则球机安装高度不低于10米，通常用于室外安装。
然后，边缘服务器获取摄像头云台和变焦参数。摄像头通过内置的网络连接(有线或Wi-Fi)及其TCP/IP与边缘服务器进行通信，边缘服务器连接摄像头的TCP/IP地址并配置登录名及其密码，即可获得摄像头云台、焦距等相关参数。
最后，结合目标位置信息，执行摄像头控制程序，使摄像头跟随定位标签即目标转动并调焦，从而获得包含高清目标的图像，算法设计框架如图5所示。摄像头根据图3所示方式安装，且处于初始状态时，其自身坐标系y轴指向摄像头前方，x轴水平朝左，根据右手坐标系原则确定z轴朝下。摄像头在初始状态拍摄的图像，远处目标像素占比非常少，目标几乎看不清楚，且目标处于图像边缘，不利于智能算法识别。近超声定位坐标系位于左上角，其y轴水平朝右，x轴水平朝下，根据右手坐标系原则确定z轴朝下。将位于近超声定位坐标系的目标位置信息转换至摄像头坐标系下，得到摄像头坐标系下的目标位置信息。通过x和y坐标计算摄像头水平方向旋转角度即yaw，通过z和y坐标计算摄像头垂直方向旋转角度即pitch，通过x、y和z坐标计算摄像头距离目标的直线距离distance。调用摄像头水平和垂直旋转接口，并将接口参数分别设置为通过x、y、z坐标求得的yaw和pitch，运行摄像头控制程序即可将摄像头转动至目标位置，此时还未执行调焦操作，因此镜头处于广角状态，对于远处目标像素占比较少。此时，根据摄像头与目标的直线距离distance采用平滑的方式设置合适的焦距f，再调用摄像头变焦接口，并将接口参数设置为焦距f，运行程序即可将摄像头焦距调整至f，此时，镜头处于长焦状态，对于远处目标像素占比超过1/2，目标更为清晰，高清目标更有利于智能算法识别。
步四：运行智能识别算法。
首先，主机与边缘服务器通信，获取定位标签的id及其位置信息和包含高清目标的视频流。在主机上搭建mqtt客户端，其通过连接服务器地址，订阅相关主题，可获得由边缘服务器转发的携带定位标签id及其位置信息的二进制格式定位数据帧和包含高清视频流的图像数据帧，并根据表1、表2和表3所示的定位视频数据帧结构解析该数据帧，可分别获得该定位标签的id及其(x,y,z)位置信息，以及包含摄像头id及其当前图像信息的视频流。
表1通信数据结构
表2位置消息结构
表3图像数据结构
然后，模型推理。通过上述步骤得到包含高清目标的图像，以变电站人员安全帽识别为例，此处高清目标的图像指佩戴或者未佩戴安全帽的人员图像，识别目标是人员是否正确佩戴安全帽。上述监控摄像头拍摄的高清目标图像尺寸一般为1080P或720P，而考虑到模型的运行速度，其图像输入尺寸通常不会太大，此处以模型输入尺寸640X384为例，将上述高清目标图像通过主机cpu处理为模型输入尺寸。将尺寸为640X384的高清目标图像输入训练好的目标检测模型yolov5-m-v5，采用GPU处理模式经过标准卷积模块、C3模块、SPP模块、PAN特征金字塔融合模块，并通过yolo检测头输出48X80、24X40、12X20三个尺度识别结果，识别结果为(x1,y1,x2,y2,conf,cls)，其中，x1、y1、x2、y2为边界框的左上角和右下角坐标，conf为边框中有目标的概率即置信度，cls为目标是某种类别的概率即类别置信度。
最后，推理结果后处理。对上述类别结果中的conf和cls即目标置信度和类别置信度进行非极大值抑制，对其中的边界框坐标计算IOU，并执行IOU阈值抑制，得到的识别结果为最终的模型输出结果，即模型对当前图像预测的类别标签及其置信度分数。由于目标距离过远(超过10米)，目标在整个图像上像素占比非常少，导致模型未识别到任何目标，造成目标漏检，模型识别失败。经过位置和摄像头联动后，目标处于图像中心，且目标在整个图像上像素占比超过1/4，目标较为清晰，因此，模型正确识别到人员佩戴的安全帽，避免了远处目标的漏检。同时，根据模型预测结果和报警触发阈值，设计报警后处理逻辑，从而获得准确的报警信息。
步五：终端显示和报警。
首先，在屏幕上绘制地图，并标记目标位置。以变电站继保室为例，使用激光测距或卷尺测量室内长和宽、障碍物如变电柜位置及其长和宽，使用量测信息并利用绘图软件构建的室内地图，并在屏幕上显示。同时，将通过步四得到的目标定位信息等比例缩放，绘制在屏幕中的地图区域。
然后，在屏幕上对应地图下方绘制视频图像及其检测结果和报警信息，并通过显示屏配置的扬声器播放报警信号，以提醒监控管理员监控对象是否存在违规或危险情况。同时，报警视频存储至内存卡对应管理空间中，以便监控管理员回放确认。另外，存储的报警视频构建成数据库，作为智能识别算法的训练和测试集使用。
最后，报警装置安装在定位标签上，其配置有扬声器和网络连接，其接收从边缘服务器传递过来的报警信息，并由扬声器播放报警信息，以提醒标签携带者如工作人员发生违规操作，注意安全。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种近超声定位与摄像头联动系统，其特征在于，包括近超声定位模块、位置与摄像头联动模块、智能识别模块、通信模块和终端报警显示模块，
所述近超声定位模块，其通过近超声信号基站和定位标签并利用近超声定位算法实时获取目标的位置信息，实现70m内误差小于30cm的高精度定位；
所述位置与摄像头联动模块，其根据位置信息控制摄像头云台旋转和调焦，实现远距离目标跟踪和高清成像；
所述智能识别模块，其用于对智能监控摄像头采集的包含高清目标的视频数据进行目标识别；
所述通信模块，其用于模块之间图像、定位、报警数据传递；
所述终端报警显示模块，其用于显示目标定位信息、高清视频流及其智能识别结果，并对错误行为进行报警，同时保存报警视频。
2.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述近超声定位模块用于目标实时定位，其由4个近超声信号基站和定位标签组成，该近超声信号基站内置扬声器和麦克风，用于发射和接收声信号，并提供自身位置信息给定位算法。
3.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述定位标签内置扬声器、麦克风、微处理器和网络连接，扬声器、麦克风分别用于发射和接收声信号，微处理器用于运行近超声定位算法，从而获取目标位置信息，网络连接用于与所述位置与摄像头联动模块的边缘服务器通信，并将定位信息上传至边缘服务器。
4.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述位置与摄像头联动模块，其由摄像头和边缘服务器组成，该摄像头配置有水平、垂直方向旋转的云台，实现大范围监控，焦距可调，实现不同距离的监控，内置静态TCP/IP地址和网络连接，实现与边缘服务器通信和远程监控；所述边缘服务器内置CPU处理器、TCP/IP地址、网络发射装置，并搭建定位信息接收客户端和摄像头控制程序，定位信息接收客户端实现定位标签与边缘服务器通信，从而获取目标定位信息；在CPU处理器上运行摄像头控制程序，实现摄像头与边缘服务器通信，获取摄像头云台和焦距信息，同时结合定位信息，控制摄像头跟随目标位置转动和调焦，从而获得包含清目标的视频流。
5.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述智能识别模块，其由所述位置与摄像头联动模块的边缘服务器和主机组成，边缘服务器提供包含高清目标的视频流，主机置CPU、GPU处理器，并搭建图像数据接收客户端、智能识别算法和报警数据传递服务端，CPU用来处理图像数据接收客户端接收的高清视频图像，GPU用来运行智能识别算法，实现对智能监控摄像头采集的高清视频流进行目标识别，同样CPU用来对多帧识别结果进行后处理，并输出报警信息，报警数据传递服务端用于将报警信息传递至边缘服务器。
6.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述终端显示报警模块，其配置有显示屏、内存卡和报警装置，该显示屏用于显示目标定位信息、高清视频图像及其智能识别结果、报警信息，所述内存卡用于保存报警视频，以便回放查看，所述报警装置安装在定位标签上，配置有扬声器和网络连接，网络连接用于与边缘服务器通信，获取报警信息，扬声器用于播放报警信号。
7.根据权利要求1所述的一种近超声定位与摄像头联动系统，其特征在于，所述通信模块，其配置有边缘服务器、各种网络连接模式、TCP/IP网址，用于近超声定位模块与边缘服务器之间、边缘服务器与主机之间的定位数据和报警信息传递，以及摄像头与边缘服务器之间、边缘服务器与主机的图像数据传递。
8.根据以上权利要求1-7中任一项所述的一种近超声定位与摄像头联动系统实现的近超声定位与摄像头联动方法，其特征在于，包括以下步骤：
1)采用近超声定位方法实时获取标签位置信息；
2)定位信息上传和转发，首先搭建mqtt边缘服务器，然后定位数据上传至边缘服务器，并由边缘服务器进行转发；
3)位置与摄像头联动，摄像头通过内置的网络连接及其TCP/IP与边缘服务器进行通信，边缘服务器连接摄像头的TCP/IP地址并配置登录名及其密码，即可获得摄像头云台、焦距相关参数，结合目标位置信息，执行摄像头控制程序，使摄像头跟随定位标签即目标转动并调焦，从而获得包含高清目标的图像；
4)运行智能识别算法，主机与边缘服务器通信，获取定位标签的id及其位置信息和包含高清目标的视频流，根据定位视频数据帧结构解析该是视频流的数据帧，分别获得该定位标签的id及其(x，y，z)位置信息，以及包含摄像头id及其当前图像信息的视频流；
5)模型推理及推理结果后处理，并终端显示和报警。
9.根据权利要求8所述的近超声定位与摄像头联动方法，其特征在于，所述步骤1)具体包括以下步骤：a)首先，安装近超声信号基站并确定其位置信息，室内基站安装在室内4个墙角位置，采用悬挂安装，且高度不宜超过5m；室外基站采用支架安装，高度不超过10m，室内或室外任意两基站距离不超过70m；b)然后，确定定位标签方式，定位标签方式主要有定位安全帽、手机微信定位小程序或APP、定位手持机、定位工牌、定位手表；c)接着，近超声信号基站与定位标签之间相互通信；d)最后，执行近超声定位算法获取定位标签即目标的位置信息。
10.根据权利要求9所述的近超声定位与摄像头联动方法，其特征在于，所述步骤d)中具体定位算法具体包括以下步骤：1)对带有基站ID和位置信息的声信号S#和带有标签ID的声信号St进行鲁棒识别，以确定每个声信号所属ID；2)确定任意基站与定位标签的距离；3)确定定位标签的具体位置。
11.根据权利要求10所述的近超声定位与摄像头联动方法，其特征在于，所述步骤1)包括使用分数阶傅里叶来解码接收信号中的多个调频分量，使用预设的频带与解码后的声信号进行基于广义互相关的匹配滤波，找到相应可能的单频信号，采用短期傅里叶变换(STFT)对上述找到的单频信号进行鲁棒识别；所述步骤2)任意基站与定位标签之间的距离使用如下测距公式：
其中，c为近超声在空中的传播速度，t#2是任意基站的麦克风接收定位标签发射的声信号St的时间，t#1是任意基站的麦克风接收自身发射的声信号S#的时间，tt2是定位标签的麦克风接收自身发射的声信号St的时间，tt1是定位标签的麦克风接收声基站发射的声信号S#的时间，d#，#和dt，t两项分别为任意基站或定位标签的扬声器和麦克风之间的距离，通过先验测量获得；所述步骤3)定位标签的具体位置求解使用三边定位算法即可求得定位标签的具体位置(xt，yt)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571524.5A CN116614710A (zh) | 2023-05-19 | 2023-05-19 | 一种近超声定位与摄像头联动系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571524.5A CN116614710A (zh) | 2023-05-19 | 2023-05-19 | 一种近超声定位与摄像头联动系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116614710A true CN116614710A (zh) | 2023-08-18 |
Family
ID=87683045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310571524.5A Pending CN116614710A (zh) | 2023-05-19 | 2023-05-19 | 一种近超声定位与摄像头联动系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116614710A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116953711A (zh) * | 2023-09-20 | 2023-10-27 | 国家深海基地管理中心 | 一种水下目标的长时序自动监测装置及其方法 |
-
2023
- 2023-05-19 CN CN202310571524.5A patent/CN116614710A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116953711A (zh) * | 2023-09-20 | 2023-10-27 | 国家深海基地管理中心 | 一种水下目标的长时序自动监测装置及其方法 |
| CN116953711B (zh) * | 2023-09-20 | 2023-12-15 | 国家深海基地管理中心 | 一种水下目标的长时序自动监测装置及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220319183A1 (en) | System for tracking and visualizing objects and a method therefor | |
| US10582162B2 (en) | Image information collecting system and method for collecting image information on moving object | |
| US20160173775A1 (en) | Object tracking and data aggregation in panoramic video | |
| US9794518B2 (en) | Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates | |
| WO2018205844A1 (zh) | 视频监控装置、监控服务器及系统 | |
| JP2018026792A (ja) | 無人飛行体検知システム及び無人飛行体検知方法 | |
| WO2018103233A1 (zh) | 基于虚拟现实技术的观景方法、装置及系统 | |
| US9628688B2 (en) | Security camera having a body orientation sensor and method of use | |
| CN109376601B (zh) | 基于高速球的物体跟踪方法、监控服务器、视频监控系统 | |
| CN101119482A (zh) | 一种全景监控方法及设备 | |
| CN109361898B (zh) | 异常事件监控方法及装置 | |
| CN108353148A (zh) | 无人驾驶飞行物检测系统和无人驾驶飞行物检测方法 | |
| CN108638082A (zh) | 基于物联网的安防机器人系统 | |
| CN109479115A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN116614710A (zh) | 一种近超声定位与摄像头联动系统及其方法 | |
| CN103327310A (zh) | 一种基于鼠标轨迹跟踪的监控和巡航方法 | |
| JP2019160310A (ja) | 顕著なイベントに焦点を当てたオンデマンドビジュアル分析 | |
| WO2023098287A1 (zh) | 消息推送方法、装置、存储介质及电子装置 | |
| CN106791703B (zh) | 基于全景视图来监视场景的方法和系统 | |
| Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
| KR101005568B1 (ko) | 지능형 방범 시스템 | |
| US11210529B2 (en) | Automated surveillance system and method therefor | |
| JP2006074822A (ja) | 監視映像配信方法及び監視映像配信装置並びに監視映像配信システム | |
| CN114187327A (zh) | 目标识别跟踪方法及装置、计算机可读介质、电子设备 | |
| CN114567728A (zh) | 视频追踪方法、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |