CN116434146B - 一种三维可视化综合管理平台 - Google Patents

一种三维可视化综合管理平台 Download PDF

Info

Publication number
CN116434146B
CN116434146B CN202310435367.5A CN202310435367A CN116434146B CN 116434146 B CN116434146 B CN 116434146B CN 202310435367 A CN202310435367 A CN 202310435367A CN 116434146 B CN116434146 B CN 116434146B
Authority
CN
China
Prior art keywords
preset
neural network
module
monitoring
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310435367.5A
Other languages
English (en)
Other versions
CN116434146A (zh
Inventor
赵根恒
陈天敏
曹会阳
王东旭
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Xinfu Technology Co ltd
Original Assignee
Hebei Xinfu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Xinfu Technology Co ltd filed Critical Hebei Xinfu Technology Co ltd
Priority to CN202310435367.5A priority Critical patent/CN116434146B/zh
Publication of CN116434146A publication Critical patent/CN116434146A/zh
Application granted granted Critical
Publication of CN116434146B publication Critical patent/CN116434146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维可视化技术领域，提出了三维可视化综合管理平台，包括位置计算模块、视角确定模块、图像渲染模块及图像显示模块；其中，位置计算模块用于接收每个定位器在当前周期发送的距离信息，并根据距离信息计算每个监控目标的位置；视角确定模块用于将每个监控目标的位置数据输入预先训练的神经网络，获得神经网络输出的多个概率值，然后将最大概率值对应的预设视角确定为预测视角；图像渲染模块用于根据预设的场景模型数据、每个监控目标的位置数据及预测视角，渲染出当前周期对应的一帧图像；图像显示模块用于显示当前周期对应的一帧图像。通过上述技术方案，解决了现有技术中的监控效率偏低的问题。

Description

一种三维可视化综合管理平台
技术领域
本发明涉及三维可视化技术领域，具体的，涉及一种三维可视化综合管理平台。
背景技术
相关技术中，通常需要针对目标区域内的监控目标进行跟踪或监控，例如需要针对工厂中的人员、车辆或者移动机器人等监控目标进行跟踪或监控，从而便于调度或管理监控目标，或者便于发现监控目标的违规行为。现有技术中，为了实现跟踪或监控的目的，通常会在目标区域内安装多个摄像头，多个摄像头将实时拍摄的监控画面回传至监控室，监控人员通过观察每个监控画面，以实现对监控目标的跟踪或监控。但是在目标区域的面积较大、摄像头数量偏多的情况下，由于需要同时观察的监控画面较多，导致监控效率偏低。
发明内容
本发明提出一种三维可视化综合管理平台，解决了相关技术中的监控效率偏低的问题。
本发明的技术方案如下：
本申请实施例第一方面提供一种三维可视化综合管理平台，该平台包括：位置计算模块、视角确定模块、图像渲染模块及图像显示模块；
位置计算模块用于接收每个定位器在当前周期发送的一个或多个距离信息，其中，每个定位器发送的每一个距离信息是一个定位终端与该定位器的距离，每个定位终端与每个监控目标绑定；位置计算模块还用于根据接收的距离信息计算每个监控目标在预设坐标系中的位置；
视角确定模块用于将当前周期中每个监控目标的位置数据输入预先训练的神经网络，获得神经网络输出的多个概率值，其中，每个概率值分别对应一个预设视角，预设视角对应的概率值相对越大，在该预设视角下渲染出的一帧图像中的可见监控目标的统计数量相对越大；视角确定模块还用于将最大概率值对应的预设视角确定为预测视角；
图像渲染模块用于根据预设的场景模型数据、每个监控目标的位置数据及预测视角，渲染场景模型和每个监控目标，得到当前周期对应的一帧图像；
图像显示模块用于显示当前周期对应的一帧图像。
可选地，每个距离信息携带有相应定位终端的标识信息；位置计算模块在根据接收的距离信息计算每个监控目标在预设坐标系中的位置时，具体用于：针对当前周期接收到的所有距离信息，根据每个距离信息携带的标识信息，为每个定位终端筛选出该定位终端对应的三个最小的距离信息，并根据每个定位终端对应的三个最小的距离信息和每个距离信息对应的定位器在预设坐标系中的位置，计算每个监控目标在预设坐标系中的位置。
可选地，该平台还包括：神经网络训练模块；
神经网络训练模块用于获取训练样本集，训练样本集包括多个训练样本，每个训练样本中包括多个监控目标各自的位置数据、及每个预设视角下渲染出的一帧图像中的可见监控目标的统计数量，其中，最大统计数量对应的预设视角为目标视角；
神经网络训练模块还用于基于训练样本集对神经网络进行训练。
可选地，神经网络训练模块在基于训练样本集对神经网络进行训练时，具体用于：针对每个训练样本，根据该训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量，并将第一位置向量输入至神经网络，获得神经网络输出的多个概率值；在最大概率值对应的预设视角是目标视角的情况下，将损失值确定为0，在最大概率值对应的预设视角不是目标视角的情况下，根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值；根据确定出的损失值对神经网络进行更新。
可选地，神经网络训练模块在根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值时，具体用于：根据最大概率值对应的预设视角在排序中的位次，确定初始损失值；根据第一离散程度与第二离散程度确定调整系数，其中，第一离散程度越高且第二离散程度越低，调整系数越大；根据调整系数对初始损失值进行调整，得到损失值；
其中，第一离散程度是指：多个预设视角各自对应的统计数量中，大于等于分界值的多个统计数量的离散程度，第二离散程度是指：多个预设视角各自对应的统计数量中，小于等于分界值的一个或多个统计数量的离散程度，分界值是指最大概率值对应的预设视角所对应的统计数量。
可选地，神经网络训练模块在根据训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量时，具体用于：针对多个监控目标各自的位置数据，按照预设方向对多个位置数据进行排序，得到多个监控目标对应的第一位置向量。
可选地，视角确定模块在将当前周期中每个监控目标的位置数据输入预先训练的神经网络时，具体用于：针对多个监控目标各自在当前周期的位置数据，按照预设方向对多个当前周期的位置数据进行排序，得到多个监控目标对应的第二位置向量；将第二位置向量输入至预先训练的神经网络。
本发明的工作原理及有益效果为：一方面，本发明根据各个定位器在当前周期发送的距离信息计算出每个监控目标的位置，再根据预设的场景模型数据、每个监控目标的位置数据及预测视角，渲染场景模型和监控目标，并显示渲染出的图像，从而可以通过该图像整体反映监控目标在监控区域内的情况，相较于现有技术中需要通过多个监控画面分散地反映各个监控角落的情况，本发明更便于监控人员的观察，有助于提升监控效率。另一方面，本发明还通过将当前周期中每个监控目标的位置数据输入预先训练的神经网络，从而利用神经网络预测出渲染后可见监控目标的统计数量最大的视角，然后基于该视角进行渲染，从而使得渲染出的画面能尽可能多地显示监控目标，以提升监控效果。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明一实施例提供的三维可视化综合管理平台的结构示意图；
图2是本发明一实施例提供的神经网络的结构示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。
现有技术中，为了实现跟踪或监控的目的，通常会在目标区域内安装多个摄像头，多个摄像头将实时拍摄的监控画面回传至监控室，监控人员通过观察每个监控画面，以实现对监控目标的跟踪或监控。但是在目标区域的面积较大、摄像头数量偏多的情况下，由于需要同时观察的监控画面较多，导致监控效率偏低。
有鉴于此，本发明通过以下实施例提供一种三维可视化综合管理平台，旨在通过三维模型渲染的方式反映监控目标在监控区域的整体情况，以提升监控效率。
参考图1，图1是本发明一实施例提供的三维可视化综合管理平台的结构示意图。如图1所示，该平台包括：位置计算模块、视角确定模块、图像渲染模块及图像显示模块。
其中，位置计算模块用于接收每个定位器在当前周期发送的一个或多个距离信息，其中，每个定位器发送的每一个距离信息是一个定位终端与该定位器的距离，每个定位终端与每个监控目标绑定；位置计算模块还用于根据接收的距离信息计算每个监控目标在预设坐标系中的位置。
视角确定模块用于将当前周期中每个监控目标的位置数据输入预先训练的神经网络，获得神经网络输出的多个概率值，其中，每个概率值分别对应一个预设视角，预设视角对应的概率值相对越大，在该预设视角下渲染出的一帧图像中的可见监控目标的统计数量相对越大；视角确定模块还用于将最大概率值对应的预设视角确定为预测视角。
图像渲染模块用于根据预设的场景模型数据、每个监控目标的位置数据及预测视角，渲染场景模型和每个监控目标，得到当前周期对应的一帧图像。
图像显示模块用于显示当前周期对应的一帧图像。
如图1所示，位置计算模块还用于将计算出的位置数据发送给视角确定模块和图像渲染模块，视角确定模块还用于将确定出的预测视角发送给图像渲染模块，图像渲染模块还用于将渲染出的图像发送给图像显示模块。
本发明中，可以预先以监控区域内的某一点为零点，设置一个预设坐标系，该预设坐标系包括相互垂直的X方向、Y方向及Z方向，然后在该预设坐标系下，根据监控区域内的各个设备（例如工厂内的搅拌站、冷却塔、存储罐、管线等固定设备）的实际外形和实际位置关系，对各个设备进行三维建模，并保存模型的顶点位置数据和纹理数据等，从而得到场景模型数据。此外，在该预设坐标系下，根据每个定位器的实际位置，计算每个定位器在预设坐标系中的位置。
本发明中，每个定位终端与每个监控目标绑定，具体是指：每个监控目标携带/佩戴一个定位终端，定位终端跟随监控目标的移动而移动。在需要对监控目标进行跟踪、监控或管理时，通过定位器检测定位终端与定位器之间的距离，然后根据距离信息可以计算出监控目标在预设坐标系中的位置，再根据预设的场景模型数据、每个监控目标的位置数据及预测视角（预测视角作为图像渲染时的相机视角），渲染场景模型和监控目标，并显示渲染出的图像，从而可以通过该图像整体反映监控目标在监控区域内的情况，相较于现有技术中需要通过多个监控画面分散地反映各个监控角落的情况，本发明更便于监控人员的观察，有助于提升监控效率。
此外本发明中，预先设置了N个预设视角（例如N等于10），通过不同的预设视角对当前周期的场景模型和监控目标进行渲染，渲染出的图像中显示的内容存在差异。例如通过预设视角a进行渲染后，监控目标001会被冷却塔这一场景模型遮挡，图像中不会显示监控目标001，此时监控目标001不是一个可见监控目标；而通过预设视角f进行渲染后，监控目标001不会被任何场景模型遮挡，图像中会显示出监控目标001，此时监控目标001是一个可见监控目标。因此，通过不同的预设视角进行渲染后，图像中的可见监控目标的统计数量可能互不相同。本发明中，在将每个监控目标的位置数据输入神经网络后，神经网络会输出N个概率值，每个概率值分别对应一个预设视角。预设视角对应的概率值相对越大，在该预设视角下渲染出的一帧图像中的可见监控目标的统计数量相对越大，例如预设视角a对应的概率值大于预设视角b对应的概率值，则在预设视角a下渲染出的图像中显示的监控目标的统计数量n1，会多于在预设视角b下渲染出的图像中显示的监控目标的统计数量n2，简言之，n1（预设视角a对应的统计数量）大于n2（预设视角b对应的统计数量）。
本发明中，通过将当前周期中每个监控目标的位置数据输入预先训练的神经网络，从而利用神经网络预测出渲染后可见监控目标的统计数量最大的视角，然后基于该视角进行渲染，从而使得渲染出的画面能尽可能多地显示监控目标，以提升监控效果。
在一些具体实施方式中，图像渲染模块可以是图形处理器GPU，GPU获得场景模型数据、每个监控目标的位置数据及预测视角，可以基于GPU的渲染管线进行渲染，从而得到当前周期对应的一帧图像。图像显示模块可以是显示器，显示器用于显示GPU渲染出的图像。
在一些具体实施方式中，定位器和定位终端可以是基于蓝牙技术进行测距。比如定位器选用可以向外发送广播信号的蓝牙模块（比如蓝牙信标beacon），定位终端选用可以接收和向外发送信号的蓝牙模块。定位终端接收到定位器广播的信号后，测算出该信号对应的RSSI（Received Signal Strength Indicator，接收信号强度指示），RSSI可以反映该定位终端与该定位器之间的距离，定位终端可以将RSSI及自身标识反馈给定位器。定位器可以根据RSSI计算出其与定位终端之间的距离，或者定位器也可以将RSSI发送给平台，由平台计算该定位器与该定位终端之间的距离。需要说明的是，以上仅为本发明提供的一种示例，本发明对于具体的测距方式不做限定。
在一些具体实施方式中，每个距离信息携带有相应定位终端的标识信息；位置计算模块在根据接收的距离信息计算每个监控目标在预设坐标系中的位置时，具体用于：针对当前周期接收到的所有距离信息，根据每个距离信息携带的标识信息，为每个定位终端筛选出该定位终端对应的三个最小的距离信息，并根据每个定位终端对应的三个最小的距离信息和每个距离信息对应的定位器在预设坐标系中的位置，计算每个监控目标在预设坐标系中的位置。
本发明中，位置计算模块在当前周期会接收到每个定位器发送的距离信息，位置计算模块可以针对每个定位终端的标识信息，从当前周期接收的全部距离信息中，筛选出携带该标识信息的距离信息，然后从筛选出的距离信息中进一步选择三个最小的距离信息，从而得到该定位终端对应的三个最小的距离信息，为简化说明，以下将三个最小的距离信息各自对应的定位器分别简称为第一定位器、第二定位器及第三定位器。接着，位置计算模块在计算该定位终端绑定的监控目标在预设坐标系中的位置时，以第一定位器在预设坐标系中的位置为球心，以第一定位器对应的距离信息为半径，生成第一球面，以第二定位器在预设坐标系中的位置为球心，以第二定位器对应的距离信息为半径，生成第二球面，以第三定位器在预设坐标系中的位置为球心，以第三定位器对应的距离信息为半径，生成第三球面，第一球面、第二球面及第三球面等三者会相交于一点或两点；如果三者相交于一点，则将该点确定为监控目标在预设坐标系中的位置，如果三者相交于两点，则将竖直方向的位置分量大于0的点（即z坐标值大于0的点）确定为监控目标在预设坐标系中的位置。
需要说明的是，由于三个球面相交可以确定出点的位置，因此本发明从多个距离信息中选择三个距离信息生成三个球面，从而确定监控目标的位置。又考虑到定位器测量的距离越长，误差累计越大，因此为了提高位置计算的准确性，本发明从多个距离信息中选择三个最小的距离信息来计算监控目标的位置。
在一些具体实施方式中，如图1所示，该平台还包括神经网络训练模块，神经网络训练模块用于获取训练样本集，训练样本集包括多个训练样本，每个训练样本中包括多个监控目标各自的位置数据、及每个预设视角下渲染出的一帧图像中的可见监控目标的统计数量，其中，最大统计数量对应的预设视角为目标视角；神经网络训练模块还用于基于训练样本集对神经网络进行训练。
本发明中，每个训练样本可以是按照以下方式获得的：根据每个定位器在某一时刻发送的距离信息，按照前述实施例所述的方式，计算出每个监控目标在预设坐标系中的位置；再针对每个预设视角，根据预设的场景模型数据、每个监控目标的位置数据及该预设视角，渲染场景模型和每个监控目标，得到该预设视角对应的一帧图像，并统计该图像中的可见监控目标的数量，从而得到每个预设视角对应的统计数量；然后保存每个监控目标在预设坐标系中的位置数据和每个预设视角对应的统计数量，从而得到一个训练样本。
本发明中，如图2所示，神经网络可以选用BP（Back Propagation，反向传播）神经网络，BP神经网络包括输入层、一个或多个隐含层及softmax输出层，输入层用于读入训练样本，具体用于读入下述位置向量，输出层用于输出每个预设视角的概率值，一个或多个隐含层设置在输入层和输出层之间，隐含层的激活函数均设置为relu函数。此外，还可以为BP神经网络设置自适应学习率，rate(n+1)=α×rate(n)+β×loss(n)²，其中rate(n)是BP神经网络第n轮迭代训练时的学习率，loss(n)是BP神经网络第n轮迭代训练时的损失值，rate(n+1)是第n轮迭代训练后更新的学习率，作为第n+1轮迭代训练时的学习率。需要说明的是，rate(1)是初始学习率，初始学习率可以是通过随机初始化的方式产生的。本发明中，在每一轮训练中，根据最新的学习率和当前轮次对应的损失值，基于梯度下降的机制更新BP神经网络的模型参数。
在一些具体实施方式中，神经网络训练模块在基于训练样本集对神经网络进行训练时，具体用于：针对每个训练样本，根据该训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量，并将第一位置向量输入至神经网络，获得神经网络输出的多个概率值；在最大概率值对应的预设视角是目标视角的情况下，将损失值确定为0，在最大概率值对应的预设视角不是目标视角的情况下，根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值；根据确定出的损失值对神经网络进行更新。
其中，多个预设视角基于统计数量的排序，具体是指：按照统计数量的大小对多个预设视角的排序。为便于理解，示例性地，假设预设视角a至预设视角j各自对应的统计数量分别是20、16、25、11、28、8、9、21、23、21，则多个预设视角基于统计数量的排序为：预设视角e、预设视角c、预设视角i、预设视角h、预设视角j、预设视角a、预设视角b、预设视角d、预设视角g、预设视角f。
本发明中，在训练期间，如果最大概率值对应的预设视角恰好是目标视角（即训练样本中最大统计数量对应的预设视角），则说明本轮训练中神经网络准确预测出了目标视角，因此可以将本轮训练的损失值确定为0。而如果最大概率值对应的预设视角不是目标视角，则说明本轮训练中神经网络没有准确预测出目标视角，因此为了促使神经网络学会预测目标视角，可以根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值，并根据损失值对神经网络进行更新。需要说明的是，本发明中根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量等信息，综合确定出损失值，并基于该损失值更新神经网络，可以使得神经网络具有更准确的预测能力。
在一些具体实施方式中，神经网络训练模块在根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值时，具体用于：根据最大概率值对应的预设视角在排序中的位次，确定初始损失值；根据第一离散程度与第二离散程度确定调整系数，其中，第一离散程度越高且第二离散程度越低，调整系数越大；根据调整系数对初始损失值进行调整，得到损失值。
其中，第一离散程度是指：多个预设视角各自对应的统计数量中，大于等于分界值的多个统计数量的离散程度，第二离散程度是指：多个预设视角各自对应的统计数量中，小于等于分界值的一个或多个统计数量的离散程度，分界值是指最大概率值对应的预设视角所对应的统计数量。为便于理解，沿用上述示例，预设视角a至预设视角j各自对应的统计数量分别是20、16、25、11、28、8、9、21、23、21，假设本轮训练中神经网络输出的最大概率值对应的预设视角为i，则分界值为预设视角i对应的统计数量23；因此，大于等于分界值23的统计数量分别是25、28及23，这三个统计数量的离散程度（本发明中将标准差作为离散程度）等于2.05，即第一离散程度等于2.05，小于等于分界值23的统计数量分别是：20、16、11、8、9、21、23、21，这八个统计数量的离散程度等于5.62，即第二离散程度等于5.62。
具体实现时，在基于统计数量从大到小的排序中，每个位次对应一个初始损失值，位次越靠后，其对应的初始损失值越大，例如位次2至位次10各自对应的初始损失值分别是0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9；或者例如位次2至位次10各自对应的初始损失值分别是0.1、0.4、0.6、0.7、0.75、0.8、0.9、1.1、1.4，其中，位次靠前的多个初始损失值之间的差距较大，位次靠后的多个初始损失值之间的差距较小，而位次居中的多个初始损失值之间的差距较小。
为便于理解，示例性地，假设位次2至位次10各自对应的初始损失值分别是0.1、0.4、0.6、0.7、0.75、0.8、0.9、1.1、1.4，又假设本轮训练中神经网络输出的最大概率值对应的预设视角为i，预设视角i的位次是第3位，因此初始损失值等于0.4。
具体实现时，调整系数λ=（第一离散程度+1）/（第二离散程度+1），第一离散程度越高且第二离散程度越低，调整系数越大。在根据调整系数对初始损失值进行调整时，可以利用调整系数λ乘以初始损失值，从而将两者的乘积作为最终的损失值。为便于理解，沿用上述示例，调整系数λ=（2.05+1）/（5.62+1），即0.46，利用0.46乘以初始损失值0.4，得到最终的损失值为0.18。
需要说明的是，本发明中，并不是仅仅根据最大概率值对应的预设视角在排序中的位次确定损失值，而是还要结合第一离散程度和第二离散程度对损失值进行调整。例如，当第一离散程度较大，而第二离散程度较小时，比如10个统计数量分别是28、21、16、15、13、13、12、12、11、9，其中16是分界值，第一离散度等4.92，第二离散度等于2.06；由于此时第一离散程度较大，而第二离散程度较小，说明最大统计数量28与分界值16之间的统计数量分布差异明显，而小于等于分界值16的统计数量分布差异不明显，因此神经网络模型更应该为统计数量28对应的预设视角输出最大概率值，但是神经网络实际上并没有为统计数量28对应的预设视角输出最大概率值，可见此时神经网络的预测误差较大，需要较大程度地更新神经网络，所以调整系数应该为一个较大的数值，即（4.92+1）/（2.06+1），等于1.93。
又例如，当第一离散程度较小，而第二离散程度较大时，比如10个统计数量分别是28、27、27、26、24、19、12、12、7、6，其中26是分界值，第一离散度等0.71，第二离散度等于7.38；由于此时第一离散程度较小，而第二离散程度较大，说明最大统计数量28与分界值26之间的统计数量分布差异不明显，而小于等于分界值26的统计数量分布差异明显，因此神经网络模型为统计数量26对应的预设视角输出最大概率值，该输出结果已经比较准确了，可见此时神经网络的预测误差较小，不需要较大程度地更新神经网络，所以调整系数应该为一个较小的数值，即（0.71+1）/（7.38+1），等于0.20。
可见，本发明按照上述方式确定损失值并基于该损失值对神经网络进行更新，可以提升神经网络的训练效果，提高神经网络的训练效率，也有助于提高神经网络的预测准确性。
在一些具体实施方式中，神经网络训练模块在根据训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量时，具体用于：针对多个监控目标各自的位置数据，按照预设方向对多个位置数据进行排序，得到多个监控目标对应的第一位置向量。
此外，为了保持神经网络在训练阶段和应用阶段的输入一致性，在一些具体实施方式中，视角确定模块在将当前周期中每个监控目标的位置数据输入预先训练的神经网络时，具体用于：针对多个监控目标各自在当前周期的位置数据，按照预设方向对多个当前周期的位置数据进行排序，得到多个监控目标对应的第二位置向量；将第二位置向量输入至预先训练的神经网络。
具体实现时，可以按照以下预设方向对多个位置数据进行排序：按照位置数据的x坐标从小到大的顺序，对位置数据进行排序；如果两个或多个位置数据的x坐标相同，则针对这些位置数据，进一步按照y坐标从小到大的顺序，对这些位置数据进行排序；如果两个或多个位置数据的x坐标相同，y坐标也相同，则进一步按照z坐标从小到大的顺序，对这些位置数据进行排序。还需要说明的是，位置向量的向量长度与BP神经网络的输入层的神经元数量匹配，图2中输入层中的每个圆圈代表输入层的一个神经元。无论是训练节段还是应用阶段，如果位置数据的数据量小于位置向量所需的向量长度，则在对位置数据进行排序后，对缺失的部分进行补零，从而得到满足长度要求的位置向量；如果位置数据的数据量大于位置向量所需的向量长度，则在对位置数据进行排序后，在排序结果的尾部将多余的部分裁剪掉，从而得到满足长度要求的位置向量。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后，还需要说明的是，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种三维可视化综合管理平台，其特征在于，所述平台包括：位置计算模块、视角确定模块、图像渲染模块及图像显示模块；
所述位置计算模块用于接收每个定位器在当前周期发送的一个或多个距离信息，其中，每个定位器发送的每一个距离信息是一个定位终端与该定位器的距离，每个定位终端与每个监控目标绑定；所述位置计算模块还用于根据接收的距离信息计算每个监控目标在预设坐标系中的位置；
所述视角确定模块用于将当前周期中每个监控目标的位置数据输入预先训练的神经网络，获得所述神经网络输出的多个概率值，其中，每个概率值分别对应一个预设视角，预设视角对应的概率值相对越大，在该预设视角下渲染出的一帧图像中的可见监控目标的统计数量相对越大；所述视角确定模块还用于将最大概率值对应的预设视角确定为预测视角；
所述图像渲染模块用于根据预设的场景模型数据、每个监控目标的位置数据及所述预测视角，渲染所述场景模型和每个监控目标，得到当前周期对应的一帧图像；
所述图像显示模块用于显示当前周期对应的一帧图像；
所述平台还包括：神经网络训练模块；
所述神经网络训练模块用于获取训练样本集，所述训练样本集包括多个训练样本，每个训练样本中包括多个监控目标各自的位置数据、及每个预设视角下渲染出的一帧图像中的可见监控目标的统计数量，其中，最大统计数量对应的预设视角为目标视角；
所述神经网络训练模块还用于针对每个训练样本，根据该训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量，并将所述第一位置向量输入至所述神经网络，获得所述神经网络输出的多个概率值；在最大概率值对应的预设视角是所述目标视角的情况下，将损失值确定为0，在最大概率值对应的预设视角不是所述目标视角的情况下，根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值；根据确定出的损失值对所述神经网络进行更新。
2.根据权利要求1所述的三维可视化综合管理平台，其特征在于，每个距离信息携带有相应定位终端的标识信息；所述位置计算模块在根据接收的距离信息计算每个监控目标在预设坐标系中的位置时，具体用于：针对当前周期接收到的所有距离信息，根据每个距离信息携带的标识信息，为每个定位终端筛选出该定位终端对应的三个最小的距离信息，并根据每个定位终端对应的三个最小的距离信息和每个距离信息对应的定位器在所述预设坐标系中的位置，计算每个监控目标在所述预设坐标系中的位置。
3.根据权利要求1所述的三维可视化综合管理平台，其特征在于，所述神经网络训练模块在根据最大概率值对应的预设视角、多个预设视角基于统计数量的排序、及每个预设视角对应的统计数量，确定损失值时，具体用于：根据最大概率值对应的预设视角在所述排序中的位次，确定初始损失值；根据第一离散程度与第二离散程度确定调整系数，其中，第一离散程度越高且第二离散程度越低，所述调整系数越大；根据所述调整系数对所述初始损失值进行调整，得到所述损失值；
其中，所述第一离散程度是指：多个预设视角各自对应的统计数量中，大于等于分界值的多个统计数量的离散程度，所述第二离散程度是指：多个预设视角各自对应的统计数量中，小于等于分界值的一个或多个统计数量的离散程度，所述分界值是指最大概率值对应的预设视角所对应的统计数量。
4.根据权利要求1所述的三维可视化综合管理平台，其特征在于，所述神经网络训练模块在根据训练样本中多个监控目标各自的位置数据，生成多个监控目标对应的第一位置向量时，具体用于：针对多个监控目标各自的位置数据，按照预设方向对多个位置数据进行排序，得到多个监控目标对应的第一位置向量。
5.根据权利要求4所述的三维可视化综合管理平台，其特征在于，所述视角确定模块在将当前周期中每个监控目标的位置数据输入预先训练的神经网络时，具体用于：针对多个监控目标各自在当前周期的位置数据，按照所述预设方向对多个当前周期的位置数据进行排序，得到多个监控目标对应的第二位置向量；将所述第二位置向量输入至预先训练的神经网络。
CN202310435367.5A 2023-04-21 2023-04-21 一种三维可视化综合管理平台 Active CN116434146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310435367.5A CN116434146B (zh) 2023-04-21 2023-04-21 一种三维可视化综合管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310435367.5A CN116434146B (zh) 2023-04-21 2023-04-21 一种三维可视化综合管理平台

Publications (2)

Publication Number Publication Date
CN116434146A CN116434146A (zh) 2023-07-14
CN116434146B true CN116434146B (zh) 2023-11-03

Family

ID=87087049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310435367.5A Active CN116434146B (zh) 2023-04-21 2023-04-21 一种三维可视化综合管理平台

Country Status (1)

Country Link
CN (1) CN116434146B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统
CN110738149A (zh) * 2019-09-29 2020-01-31 深圳市优必选科技股份有限公司 目标跟踪方法、终端及存储介质
CN110874578A (zh) * 2019-11-15 2020-03-10 北京航空航天大学青岛研究院 一种基于强化学习的无人机视角车辆识别追踪方法
CN112149528A (zh) * 2020-09-08 2020-12-29 东易日盛家居装饰集团股份有限公司 一种全景图目标检测方法、系统、介质及设备
WO2022040972A1 (zh) * 2020-08-24 2022-03-03 深圳大学 产品信息可视化处理方法、装置、计算机设备
WO2022099613A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 图像生成模型的训练方法、新视角图像生成方法及装置
CN114863007A (zh) * 2022-05-20 2022-08-05 中国电信股份有限公司 三维物体的图像渲染方法、装置及电子设备
CN115272565A (zh) * 2022-07-18 2022-11-01 聚好看科技股份有限公司 一种头部三维模型的重建方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统
CN110738149A (zh) * 2019-09-29 2020-01-31 深圳市优必选科技股份有限公司 目标跟踪方法、终端及存储介质
CN110874578A (zh) * 2019-11-15 2020-03-10 北京航空航天大学青岛研究院 一种基于强化学习的无人机视角车辆识别追踪方法
WO2022040972A1 (zh) * 2020-08-24 2022-03-03 深圳大学 产品信息可视化处理方法、装置、计算机设备
CN112149528A (zh) * 2020-09-08 2020-12-29 东易日盛家居装饰集团股份有限公司 一种全景图目标检测方法、系统、介质及设备
WO2022099613A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 图像生成模型的训练方法、新视角图像生成方法及装置
CN114863007A (zh) * 2022-05-20 2022-08-05 中国电信股份有限公司 三维物体的图像渲染方法、装置及电子设备
CN115272565A (zh) * 2022-07-18 2022-11-01 聚好看科技股份有限公司 一种头部三维模型的重建方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于HOG的目标分类特征深度学习模型;何希平;张琼华;刘波;;计算机工程(第12期);全文 *
视频图像在三维模型中的渲染;赵凯;全春来;艾飞;周翔;王戈;;计算机工程与设计(第22期);全文 *

Also Published As

Publication number Publication date
CN116434146A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN102609942B (zh) 使用深度图进行移动相机定位
JP2020030204A (ja) 距離測定方法、プログラム、距離測定システム、および可動物体
US20220027038A1 (en) Interactive virtual interface
US20100208941A1 (en) Active coordinated tracking for multi-camera systems
US11232642B2 (en) Method and system for visualizing overlays in virtual environments
CN116307743B (zh) 基于数据处理的押运安全预警方法、系统、设备和介质
CN115034724A (zh) 一种基于虚拟现实的仓库管理系统及方法
Sušanj et al. Effective area coverage of 2D and 3D environments with directional and isotropic sensors
CN108318854A (zh) 一种定位方法、装置、电子设备及可读存储介质
CN116434146B (zh) 一种三维可视化综合管理平台
RU2740708C1 (ru) Способ обработки результатов радиомониторинга
US20220084228A1 (en) Estimating ground truth object keypoint labels for sensor readings
KR20220163731A (ko) 사용자 단말 및 그 제어 방법
CN113822892A (zh) 仿真雷达的评测方法、装置、设备及计算机程序产品
CN115310372B (zh) 一种基于高精度电磁传播模型的路径损耗预测方法
CN114842164B (zh) 一种基于三维地理模型的炸点坐标计算方法及系统
KR102315514B1 (ko) 실패 비용 방지를 위한 vr 비젼 서비스 시스템 및 이를 이용한 서비스 방법
AU2021351611B2 (en) Multi-source 3-dimensional detection and tracking
KR102616083B1 (ko) 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102651994B1 (ko) 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
CN117892984B (zh) 运力调度方法、程序产品、设备及存储介质
US11783289B1 (en) Immersive supply chain analytics using mixed reality
Hina et al. Optimization of a Network of Cameras to Monitor an Area in a Smart City
KR20240082284A (ko) 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR20240039730A (ko) 디지털 트윈 생성을 위한 데이터 수집용 드론과 이를 이용한 디지털 트윈 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant