CN115937441A - 低带宽环境下的三维协同标绘方法及其系统 - Google Patents
低带宽环境下的三维协同标绘方法及其系统 Download PDFInfo
- Publication number
- CN115937441A CN115937441A CN202211393950.6A CN202211393950A CN115937441A CN 115937441 A CN115937441 A CN 115937441A CN 202211393950 A CN202211393950 A CN 202211393950A CN 115937441 A CN115937441 A CN 115937441A
- Authority
- CN
- China
- Prior art keywords
- collaborative
- plotting
- dimensional
- conference
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 12
- 239000002245 particle Substances 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000004880 explosion Methods 0.000 claims description 5
- 239000000779 smoke Substances 0.000 claims description 5
- 239000007921 spray Substances 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- -1 explosion Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 239000002023 wood Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 2
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种低带宽环境下的三维协同标绘方法，包括如下步骤：S1设立三维协同标绘系统；S2设立三维协同标绘系统协同模式，实现三维协同标绘的人员协同管理；S3开始三维协同标绘，使用逐级提高数据质量的传输技术实现三维场景数据高效传输；并基于所获得的三维场景数据使用基于标绘参数的传输技术实现三维标绘信息的高效传输；S4三维协同标绘现场的音画录制的加密和发布。实现了网络不稳定或带宽较低的情况下，稳定、高效的信息传递效率，同时通过加密录制视频防止传输过程中的窃密以及防止人员对于录制视频的泄密。
Description
技术领域
本发明涉及三维协同标绘的方法。尤其涉及低带宽环境下的三维协同标绘方法及其系统,属于三维视觉标绘领域。
背景技术
三维协同标绘，指将专家意见、作战安排、行动部署等以可视化符号的形式在三维电子沙盘中呈现出来，具有更直观、容易理解的特点，在作战指挥、应急救援等领域具有重要作用。战场态势瞬息万变，如何满足异地专家将作战构想快速标绘，并实时展示、讨论修改直至最终形成行动方案，是现代信息化指挥的重要需求。
实际作战协同指标绘、指挥中涉及到数据传输、渲染、操作解译的问题，在现实场景下所在场地网络环境难以保障通讯顺畅，从而造成不能实时甚至及时展现出远程指挥的弊端。现有技术解决了以往虚拟三维中精度低、交互操作不好控制的问题，也解决了实时绘制复杂态势符号的方法，以达到随地形起伏的目的的问题，也实现在增强现实环境下真实再现全息沙盘异地协同标绘的交互过程，以及将标绘符号分成点符号和函数符号两种，并提出一种三层继承绘图机制，以更好的适应在线交互标绘。然而这些研究都没有考虑到协同标绘系统的网络适应性问题，通常异地指挥作业人员的网络环境难以保证，尤其作战、灾害应急往往处于偏远地区、山区。因此如何减少系统对网络环境的依赖，保障在低带宽环境下的实时三维协同标绘，是当前需要解决的一个方面的重要问题。
申请人于2011年11月在中国电子科学研究院学报发表论文《低宽带环境下的三维协同标绘系统研究》，针对实际作战指挥网络环境难以保障三维协同标绘的问题，研究了在低宽带下标绘数据的传输、解释和渲染展示方法，而对于标绘指挥的过程中，由于各种原因导致一些人物缺席，或者一些在前线人员无法实时了解到信息，需要对标会指挥的现场进行音画录制而传送，其中又涉及到窃密问题，因此现有技术很少考虑如何对录制的音画进行加密，以防止第三方的获取。
发明内容
本发明为了解决上述现有技术着重考虑的问题，提出一种低带宽环境下的三维协同标绘方法及其系统，主要考虑三个方面的技术要点，第一、适应于低宽带环境下三维地图数据高效传输，第二、如何高效的协同标绘传递效率，在相对检漏的服务器配置下实现低成本的标绘指导，第三、如何实现对标绘指导的全过程的音画进行加密。
本发明的标绘包括符号的标出、以及对符号的拖动、旋转、形变。如无其他特别说明，为了方便描述，本发明会将协同标绘客户端简称为客户端。
本发明的录制文档如无特别说明是指包含了视频和声音(包括语音和其他协同会议现场的能够被收录的声音)的音画录制文档。
本发明的其他相关人员是指三维协同标绘会议相关的所有指定的非与会人员，可以是前线人员、作战技术专家、顾问、参谋等。
ID码是指对于指定的人员身份认证的特殊的码，可以是符号(包括数字或字母)码、图形码等。本发明所述加密图中各视频帧的融合方式完全一致。
本发明在标绘操作中，对于拼音文字而言，字母属于符号范畴，而单词、短语、语句、段落、文章等属于文字范畴；汉字则不视作符号而属于文字范畴；而三维(渲染)模型视作符号，标注内容中的符号标注不属于标绘符号，而存在于客户端中，而标绘符号则属于符号库数据中的二三维符号(点符号视作二维)。
本发明的点击是指鼠标键按下后快速松开的操作，点中如无特殊说明是指鼠标按键按下不松开的操作。
基于上述考虑，本发明提供了一种低带宽环境下的三维协同标绘方法，其特征在于，包括如下步骤：
S1设立三维协同标绘系统；
S2设立三维协同标绘系统协同模式，实现三维协同标绘的人员协同管理；
S3开始三维协同标绘，对三维协同标绘现场进行音画录制，使用逐级提高数据质量的传输技术实现三维场景数据高效传输，并基于所获得的三维场景数据使用基于标绘参数的传输技术实现三维标绘信息的高效传输；
S4三维协同标绘现场的音画录制的加密和发布。
关于S1
所述S1具体包括：所述三维协同标绘系统包括整体物理架构、具体功能架构，
进一步地，所述整体物理架构包括地理信息数据库服务器、业务数据库服务器、三维场景数据发布服务器，以及协同标绘客户端；其中，
所述地理信息数据库服务器、所述业务数据库服务器分别存储地理信息数据和业务数据，
所述场景发布服务器用于发布地理信息数据和三维场景数据，并提供协同会议的主机服务，
所述协同标绘客户端通过三维协同标绘系统在场景发布服务器上创建协同会议，和完成协同指挥、决策，
进一步地，所述地理信息数据包括原始的地理遥感影像数据、地理名称、地理坐标、自然地理信息、人文地理信息，
所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号,
所述协同会议的主机服务包括所述地理信息数据库服务器、所述业务数据库服务器分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用各自存储的相应的数据而发送给所述场景发布服务器，所述场景发布服务器再根据第一请求和第二请求对所述相应的数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密和发布的服务；
应当理解的是，当所述协同标绘客户端只发出所述第一请求和第二请求中一者时，所述场景发布服务器即根据其中一者而作相应的数据处理。
所述具体功能架构包括：设置在所述协同标绘客户端的协同会议管理模块，用于协同会议创建、协同管理、结束会议功能，
设置在所述协同标绘客户端的地图工具模块，用于提供指挥决策的功能，包括数据加载、距离测量、面积测量、体积测量、等高线分析、坡度分析、地形剖面分析，
设置在所述协同标绘客户端的协同标绘模块，用于提供协同标绘过程中需要的文字标注、由所述业务数据库服务器中的符号库提供的标准符号、粒子效果、自由标绘、删除标绘功能、优先地，所述粒子效果包括火焰、烟雾、爆炸、喷水等粒子效果，
设置在所述协同标绘客户端的沟通交流模块，用于通过输入文字消息或即时语音的方式在与会人员之间进行沟通交流，
设置在所述协同标绘客户端的音画录制加密模块，用于在协同会议期间对所述三维场景中协同标绘的视频和语音的全过程录制和第一加密形成第一加密的录制文档，
设置在所述协同标绘客户端的决策输出模块，当协同会议达成一致的部署决策时，可将最终的部署方案输出，支持输出三维场景文件、所述第二加密的录制文档，其中所述三维场景文件包括根据所述第一请求获得的三维场景数据、所述第二加密的录制文档中的至少一帧视频画面。
关于S2
S2具体包括：在协同会议管理模块中设置协同管理模式包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，
所述主持人由所述管理员进行设置，且只允许设置一名主持人，可多次变更主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到标绘内容，但不能分享自己的标绘，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流；
关于S3
S3具体包括：
S3-1管理员在协同标绘客户端创建协同会议、设立主持人和邀请或通过申请而在协同会议中加入参会人员，接着开始录制协同会议，协同会议开始；
S3-2在协同标绘客户端主持人发出三维协同标绘的第一请求给场景发布服务器，要求获取对应的三维场景数据，其中，所述第一请求包括选择三维场景的地理区域、图像的质量参数要求，或者，选择三维场景的地理区域、图像的质量参数要求并且选择地理名称、地理坐标、自然地理信息、人文地理信息中至少一者；
S3-3所述场景发布服务器判断图像的质量参数是否超出预设初始请求值，若果超出，则调用最低质量遥感影像，并制作三维模型发送给所述协同标绘客户端，如果未超出则调用请求对应质量的遥感影像，并制作三维模型发送给所述协同标绘客户端，当客户不满足根据最低质量遥感影像制作的三维模型时则调高质量再次发出请求，直到获得满意的三维模型；
S3-4主持人获取到满意的三维模型后即进行协同会议主持，并在主持过程中对所述三维模型进行至少一次标绘操作，所述标绘操作包括标注和文字与符号标绘，其中，
所述标注是通过客户端将地理名称、地理坐标、自然地理信息、人文地理信息中至少一者标注在三维模型中的操作，所述标注采用输入框或界面功能区域按钮形式标注，所述标注内容为文字标注或符号标注，
所述文字与符号标绘包括因客户端界面中的鼠标操作(例如点击、点击和输入信息或点中和移动)和/或键输入信息的操作而产生标注内容的拖动、视角变换(包括旋转、放大、缩小)，标绘符号的显示和拖动、视角变换(包括旋转、放大、缩小)，以及三维模型的拖动、视角变换(包括旋转、放大、缩小)，
每一次文字与符号标绘即形成第二请求，并向所述场景发布服务器发送第二请求；
S3-5所述场景发布服务器根据所述第二请求调用所述业务数据库服务器中的业务数据而并解译所述文字与符号标绘形成第一标绘参数，并将业务数据和第一标绘参数打包发送给客户端在所述三维模型中实现标注内容的拖动、视角变换，标绘符号的显示和拖动、视角变换；所述场景发布服务器根据所述第二请求直接解译所述文字与符号标绘形成第二标绘参数，并将第二标绘参数打包发送给客户端在所述三维模型中实现三维模型的拖动、视角变换。
可以理解的是，当鼠标在标注内容或标绘符号所在区域上进行操作时则解译所述文字与符号标绘形成第一标绘参数，而在三维模型所在区域上操作是则直接解译所述文字与符号标绘形成第二标绘参数。
对于S3-1和S3-2，优先地，所述管理员在开始协同会议前，以及所述主持人在协同会议开始后都需要身份认证而分别使得所述协同标绘客户端以及所述场景发布服务器识别通过，才能够分别使用协同标绘客户端以及提供协同会议的主机服务。优先地，所述身份认证包括人脸识别、人声识别、ID码中至少一者。
优选地，S3-2中所述选择三维场景的地理区域包括选择区域地名、区域中的任一一点，并基于该点选择所需的区域范围，更优先地，在所述协同标绘客户端的界面上能够通过区域地名而查看到历史选择的三维模型，而直接选择历史三维模型进行协同会议，或者选择历史三维模型中任一一点，并基于该点进行区域范围选择，若没有历史三维模型则选择区域地名后直接向所述场景发布服务器发出第一请求而所述场景发布服务器获得所述地理信息数据库服务器中的遥感影像数据并进行三维模型制作，并将所述三维模型发送给所述协同标绘客户端保存于所述协同标绘客户端的历史三维模型库中。
进一步地，所述S3-3中所述图像的质量参数包括分辨率单模式或者分辨率和三维渲染混合模式，所述分辨率为240p-4K分辨率，所述三维渲染是将所述三维模型经过三维渲染处理形成三维渲染模型，所述渲染可以是灰度渲染或者彩色渲染。
对于单模式和混合模式，所述预设初始请求值包括分辨率为720p。
进一步地，在S3-3和S3-4之间还包括如下步骤：重复S3-2-S3-3获取至少二组三维场景数据，并在所述协同标绘客户端的界面上单独或同时显示，进行至少二个区域的协同标绘。
进一步地，S3-4中第二请求包括标注和文字与符号标绘外，还包括自由标绘和视角信息标绘，通过鼠标点击选择界面功能区按钮而选择标注、文字与符号标绘、自由标绘和视角信息标绘，其中标绘符号的参数包括符号类型、符号的节点坐标、高度、方向、颜色，根据符号类型不同，符号的节点坐标、高度、方向、颜色也不同；
其中自由标绘是将鼠标视作画笔而在三维模型中进行任意的标绘，彻底解放了服务区因文字与符号标绘而产生的载荷。
当选择文字与符号标绘时，文字与符号中存在预设的一端为起始端，另一端为末端，所述起始端为文字与符号的节点，且通过节点坐标、高度的选择而将所述起始端放置到所述三维模型的中的相应坐标点上，并默认起始端到末端连线方向为正北方向，
其中所述的节点坐标、高度的选择是在界面功能区中的相应菜单中选择，或通过界面功能区键入节点坐标、高度而选择；
对于方向指示符号(如箭头)通过一次点中所述标绘符号而移动鼠标实现方向指示符号整体的位置变化，通过双击所述方向指示符号，并一次点中所述方向指示符号而移动鼠标实现方向指示符号所述末端的位置变化；
对于范围选择符号(如二维无填充色图形，例如三角形边框、矩形框、圆周)，则通过拖动、旋转、形变(如拉伸，几何中心为基点的扭曲，任一边界或边界分段在保持其两端端点与剩余图形连续的情况下的改变)实现选择范围的变化，
在客户端界面中所见的三维模型是通过假想的摄像机的视角上拍摄而见到的，该摄像机具有视角信息参数，包括FOA、高度、方向信息。
优先地，鼠标能够通过一次点中所述三维模型在预设时间后产生拖动功能，并保持点中而移动鼠标实现拖动操作，
双击所述三维模型在预设时间后产生视角变换功能，并再次点中而移动鼠标实现视角变换操作，
三击所述三维模型在预设时间后产生选择和复制功能，并再次点击所述三维模型用于选中三维模型整体的操作或点击和移动鼠标操作而选择三维模型范围的操作，完成后即可进行复制操作，其中所述预设时间为0.2-1s，或者，
所述鼠标也能够通过选择界面功能区的功能按钮而赋予所述鼠标对三维模型进行拖动和视角变换的功能，此时鼠标回到三维模型所在的区域后即通过鼠标点中所述三维模型后即可进行相应的拖动和视角变换操作。
进一步地，S3-5中所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号。
可以理解的是，由于逐级提高分辨的三维模型制作方案，能够在低带宽条件下首选分辨率较低的容易传输而引起网络堵塞的数据进行传输，而逐渐根据请求而提高画质。
应当理解的是，所有的操作本质上是鼠标的坐标位置变化以及点击的标绘操作或输入信息而产生，这些标绘操作或输入信息在服务器中能够被相应识别为符号标绘、三维模型的拖动、视角变换的操作，从而将这些操作解译为相应的标绘参数而发送给客户端，并在客户端中完成操作结果的显示。即利用标绘参数请求而减轻了服务器处理负载，而仅仅将标绘参数进行传输，将操作结果的显示任务交给了客户端处理。例如，用户双击点击箭头并拖动箭头时，服务器识别鼠标的位置和箭头所在区域的坐标中一个坐标相匹配，并且是旋转操作，接下来识别到鼠标位置的变化，从而判断是改变箭头方向，从而将用户的操作解译成末端坐标数据发送给客户端，客户端根据接收到的末端数据而将箭头的末端改变到新的坐标位置，从而改变了箭头的指引方向。
关于S4
所述S4具体包括：
S4-1协同会议结束时，管理员停止录制，在客户端形成协同会议的录制文档；
S4-2客户端将录制文档进行第一加密后发送给三维场景数据发布服务器，所述三维场景数据发布服务器对所述第一加密后录制文档进行解密并进行第二加密后发布给与会人员或其他相关人员的专业终端，且所述专业终端能够识别用户对于录制文档源数据读取的操作；
所述第一加密包括身份识别加密，所述身份包括对三维场景数据发布服务器指定负责的工作人员的身份，所述身份识别包括人脸识别、人声识别、ID码中至少一者。
优选地，所述第二加密包括基于音画信息的加密。
其中，所述基于音画信息的加密的步骤如下：
S4-2-1选择录制文档中的多个具有语音信息的帧，分离所述多个具有语音信息的帧中的视频帧和语音音频，将多个所述视频帧融合成一张融合图像作为加密图，并将获得加密图的像素特征值以及提取各个视频帧对应语音音频中四舍五入得到的波段特征值共同作为密钥；
S4-2-2利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述录制文档进行加密。
所述利用加密图和所述密钥建立人工智能解密模型具体包括：
S4-2-2-1获取多幅所述加密图，分为训练集和验证集，两者比例为10:1-1:1，优选地为5:1-3:1；
S4-2-2-2以多幅所述加密图为输入端、以加密图的像素特征值以及提取各个视频帧对应语音音频中的波段特征值按序排列形成的密钥为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练。优选地，所述预设值为95-100％之间。优选地，所述人工智能解密模型包括BP神经网络、径向基函数网络RBFN、卷积神经网络CNN，深度神经网络DNN，生成对抗网络GAN中的一者；
所述获得解密码，并利用该解密码对所述录制文档进行加密具体包括：
S4-2-2-3获取一副初始加密图，通过建立好的人工智能解密模型得到初始密钥，利用初始密钥单独或与初始加密图共同作为解密码对所述录制文档进行加密。
可选地，所述选择录制文档中的多个具有语音信息的帧是按照随机算法从所有具有语音信息的帧中进行选择。所述一副初始加密图是按照S4-2-1获取，且其中所述选择录制文档中的多个具有语音信息的帧也是按照随机算法从所有具有语音信息的帧中进行选择。所述的随机算法包括Shuffle算法，Random算法，Sher wood、Las Vegas、蒙特卡洛中至少一种。
可选地，所述加密图的像素特征值包括加密图的RGB三值的总值，R总值、G总值、B总值中至少一者，所述波段特征值包括80-1200Hz波段的音频最大幅值，优选地，对于男性，所述波段特征值包括80-320Hz、320-400Hz、400-480Hz三波段的音频最大幅值的平均值；对于女性，所述波段特征值包括160-600Hz，600-1200Hz两波段的音频最大幅值的平均值，所述平均值包括算术平均值或加权平均值。
当与会人员或其他相关人员通过专业终端试图读取所述读取录制文档对应的源数据以企图复制或分享所述录制文档时，所述专业终端中安装的专业播放查看软件会要求输入初始密钥或初始密钥和初始加密图来完成所述读取操作。
可以理解的是，由于初始密钥或初始密钥和初始加密图对于与会人员或其他相关人员来说无法获取，因而无法实现录制文档的复制或分享，而只能使用所述专业终端中安装的专业播放查看软件进行播放。
本发明还提供一种实现上述方法的低带宽环境下的三维协同标绘系统，其特征在于，所述系统包括整体物理架构、具体功能架构，其中，
所述整体物理架构包括地理信息数据库服务器、业务数据库服务器、三维场景数据发布服务器，以及协同标绘客户端；其中，
所述地理信息数据库服务器、所述业务数据库服务器分别存储地理信息数据和业务数据，
所述场景发布服务器用于发布地理信息数据和三维场景数据，并提供协同会议的主机服务，
所述协同标绘客户端通过三维协同标绘系统在场景发布服务器上创建协同会议，和完成协同指挥、决策，
进一步地，所述地理信息数据包括原始的地理遥感影像数据、地理名称、地理坐标、自然地理信息、人文地理信息，
所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号,
所述协同会议的主机服务包括所述地理信息数据库服务器、所述业务数据库服务器分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用各自存储的相应的数据而发送给所述场景发布服务器，所述场景发布服务器再根据第一请求和第二请求对所述相应的数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密以及发布服务；
所述具体功能架构包括：设置在所述协同标绘客户端的协同会议管理模块，用于协同会议创建、协同管理、结束会议功能，
设置在所述协同标绘客户端的地图工具模块，用于提供指挥决策的功能，包括数据加载、距离测量、面积测量、体积测量、等高线分析、坡度分析、地形剖面分析，
设置在所述协同标绘客户端的协同标绘模块，用于提供协同标绘过程中需要的文字标注、由所述业务数据库服务器中的符号库提供的标准符号、粒子效果、自由标绘、删除标绘功能、优先地，所述粒子效果包括火焰、烟雾、爆炸、喷水等粒子效果，
设置在所述协同标绘客户端的沟通交流模块，用于通过输入文字消息或即时语音进的方式在与会人员之间进行沟通交流，
设置在所述协同标绘客户端的音画录制加密模块，用于在协同会议期间对所述三维场景中的协同标绘的视频和语音的全过程录制和第一加密形成第一加密的录制文档，
设置在所述协同标绘客户端的决策输出模块，当协同会议达成一致的部署决策时，可将最终的部署方案输出，支持输出三维场景文件、所述第二加密的录制文档，其中所述三维场景文件包括根据所述第一请求获得的三维场景数据、所述第二加密的录制文档中的至少一帧视频画面。
其中，在协同会议管理模块中设置协同管理模式，包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，
所述主持人由所述管理员进行设置，且只允许设置一名主持人，可多次变更主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到标绘内容，但不能分享自己的标绘，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流。
所述系统基于SmartEarth 3DGIS平台，使用Microsoft Visual Studio2008(C#)进行开发设计，开发和运行操作系统环境为Windows 7，采用TCP\IP和UDP网络协议。SmartEarth 3DGIS平台属于自主研发的三维地理信息软件平台，可以创建自定义的虚拟现实三维可视化场景，进行浏览、查询、分析和网络发布共享，同时提供所有的API，可以便捷地根据自身业务需求开发定制功能。
本发明还提供一种非暂时性存储介质，其中存储有可由低带宽环境下的三维协同标绘系统运行而实现上述低带宽环境下的三维协同标绘方法的计算机可读程序。
有益效果：
(1)通过逐级提高数据质量的传输技术以及客户端本地保存历史三维模型，保证了即便在遇到网络不稳定或带宽较低的情况下，仍然可以将低分辨率的数据包顺利传输至应用端，使应用端始终有数据可浏览使用，从而保障协同标绘系统正常运行。
(2)为了减轻信息传递负担，大幅提高信息传递效率，服务端仅传递标绘信息的相关参数，而标绘信息的表达由应用端完成。
(3)通过第一加密和第二加密，以及专业终端和专业播放查看软件的播放，实现了录制视频传输过程中的窃密以及防止人员对于录制视频的泄密。
附图说明
图1本发明的三维协同标绘系统整体物理架构图，
图2本发明的三维协同标绘系统功能架构，
图3三维协同标绘系统协同模式示意图，
图4协同会议开始时的一帧画面，
图5协同会议开始时的另一帧画面，其中标绘箭头以展示某战营区域的体育场所在附近，
图6通过三维渲染模型放大第二请求，将图5中的体育场区域局部进行放大的后的画面局部，
图7一个实施例中人工智能解密模型的建立的过程图，
图8a Radom算法选择的录制文档中的一视频帧对应的语音音频谱图，
图8b Radom算法选择的录制文档中的另一视频帧对应的语音音频谱图，
图9为图8a和图8b对应的两帧视频帧融合的加密图的示意图(为描述清楚起见而在图中央位置画出分界线,事实上这条分界线是两帧的边界融合线)。
具体实施方式
实施例1
步骤S1如图1，首先设立三维协同标绘系统整体物理架构，包括地理信息数据库服务器、业务数据库服务器、三维场景数据发布服务器，以及两方协同标绘客户端。所述地理信息数据库服务器、所述业务数据库服务器能够分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用分别存储的地理遥感影像数据、地理名称，以及箭头符号而发送给所述场景发布服务器，所述场景发布服务器能够再根据第一请求和第二请求对地理遥感影像数据、地理名称，以及箭头符号数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密以及发布服务。
其次如图2在两方客户端中设立三维协同标绘系统功能架构，包括了协同会议管理模块、地图工具模块、协同标绘模块、沟通交流模块、音画录制加密模块、决策输出模块。
实施例2
接着实施例1，步骤S2在协同会议管理模块中设置协同管理模式包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，如图3，所述主持人由所述管理员进行设置，且只允许设置参会人A或参会人B一名主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人A和B通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到协同标绘内容，但不能分享自己的标绘(图3中以×表示)，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流。
实施例3
S3-1管理员在开始协同会议前，需要人脸识别而分别使得所述协同标绘客户端识别通过，获得使用协同标绘客户端的权限。管理员在协同标绘客户端创建协同会议、设立参会人A为主持人和邀请加入参会人B，接着开始录制协同会议，协同会议开始；
S3-2在协同标绘客户端主持人通过人脸识别获得所述场景发布服务器提供数据服务的权限主持人未找到历史三维渲染模型，选择某战营地理区域名称、区域中的一点感兴趣的体育场所在区域的任一个坐标，以及基于该坐标的区域范围5平方千米，画质为1080p的第一请求给场景发布服务器，要求获取对应的三维场景数据。
S3-3所述场景发布服务器判断图像的分别率超出预设初始请求值720p，即调用240p遥感影像，并制作三维渲染模型发送给所述协同标绘客户端。
主持人认为所看到的240p的分辨率不满足标绘需要，而再次发出上述请求，并获得某战营场景的画质为1080p的三维渲染模型。
S3-4主持人获取到满意的1080p画质的三维渲染模型后即进行协同会议主持，并在主持过程中对所述三维渲染模型进行营区、作战指挥室、机场的名称标注。并再次通过协同会议管理模块打开设置框确认协同会议管理设置正确。(如图4所示)，然后关闭设置框。
如图5，主持人为展示战营区域的体育场而在图4基础上改变摄像机视角缩小视野，并旋转三维渲染模型，获得体育场附近的三维渲染模型，并在选择箭头标绘符号(图5中未示出)根据鼠标移动到的体育场附近而显示的坐标，在客户端中的输入该坐标作为符号初始端的坐标，从而在图5中引入正北指向的箭头指向体育场附近的位置。
接着进一步改变视角放大体育场区域，看到如图6的体育场渲染场景。并发现图中对于顶棚的燃火的救火场景。其中每一次标绘操作都形成第二请求，并向所述场景发布服务器发送第二请求，按照如下步骤操作完成。
S3-5所述场景发布服务器根据改变摄像机视角，并旋转三维渲染模型的第二请求直接解译所述标绘操作形成第二标绘参数，并将第二标绘参数打包发送给客户端在所述三维模型中实现三维模型的视野缩小和旋转。
所述场景发布服务器根据选择箭头标绘符号的第二请求调用所述业务数据库服务器中的箭头而并解译所述输入该坐标的操作形成第一标绘参数，并将箭头和第一标绘参数打包发送给客户端在所述三维模型中实现箭头的显示。
实施例4
图7描述了人工智能解密模型的建立过程的一个实施例。首选选择录制文档中的n个具有语音信息的帧，分离所述n个具有语音信息的帧中的视频帧和语音频谱，将n个所述视频帧融合成一张融合图像作为加密图，并获得加密图的像素特征值T以及提取n个视频帧对应语音音频中四舍五入得到的波段特征值A1，A2，…，An；其次，获取m幅所述加密图，分为训练集和验证集；再以m幅所述加密图为输入端、以m幅加密图的像素特征值Tm以及提取n个视频帧对应语音音频中的波段特征值按序排列形成的所述密钥Tm(A1A2…An)m为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练。
接着实施例3，S4-1协同会议结束时，管理员停止录制，在客户端形成协同会议的录制文档；
S4-2客户端将录制文档进行三维场景数据发布服务器指定负责的工作人员的ID码的第一加密后发送给三维场景数据发布服务器，所述三维场景数据发布服务器对ID码第一加密后录制文档进行解密并进行基于音画信息的加密后发布给参会人A和B的专业终端，且所述专业终端能够识别用户对于录制文档源数据读取的操作。
其中，所述基于音画信息的加密的步骤如下：
S4-2-1Random算法选择录制文档中的两个具有语音信息的帧，分离所述多个具有语音信息的帧中的视频和图8a与图8b对应的语音音频，将所述两个视频帧融合成一张融合图像作为加密图(如图9所示意的，画面具体内容未示出)，并获得加密图的像素RGB总值T(为一个大自然数)以及对于图8a提取语音音频中的波段特征值129Hz、331Hz、453Hz三波段的音频最大幅值的算术平均值为23.7(dB绝对值)，对于图8b提取语音音频中的波段特征值176Hz、331Hz、453Hz三波段的音频最大幅值的算术平均值为22.7为共同作为密钥T2423；
S4-2-2利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述录制文档进行加密。
所述利用加密图和所述密钥建立人工智能解密模型具体包括：
S4-2-2-1获取多幅所述加密图，分为训练集和验证集，两者比例为5:1；
S4-2-2-2以多幅所述加密图为输入端、以加密图的像素特征值以及提取语音音频中的波段特征值按序排列形成的所述密钥为输出端建立BP神经网络模型，并不断训练和验证所述模型，直至解码准确率达到98％以上，完成训练；
所述获得解密码，并利用该解密码对所述录制文档进行加密具体包括：
S4-2-2-3Random算法获取两个具有语音信息的帧，分离出两个视频帧按照
S4-2-1方法融合成的初始加密图，通过建立好的人工智能解密模型得到初始密钥，利用初始密钥单独或与初始加密图共同作为解密码对所述录制文档进行加密。
当参会人A和B通过专业终端试图读取所述读取录制文档对应的源数据以企图复制或分享所述录制文档时，所述专业终端中安装的专业播放查看软件会要求输入初始密钥或初始密钥和初始加密图来完成所述读取操作。
实施例5
一种实现实施例1-4的低带宽环境下的三维协同标绘系统，其特征在于，所述系统包括如图1的整体物理架构、如图2的具体功能架构，其中，
所述整体物理架构包括地理信息数据库服务器、业务数据库服务器、三维场景数据发布服务器，以及协同标绘客户端；其中，
所述地理信息数据库服务器、所述业务数据库服务器分别存储地理信息数据和业务数据，
所述场景发布服务器用于发布地理信息数据和三维场景数据，并提供协同会议的主机服务，
所述协同标绘客户端通过三维协同标绘系统在场景发布服务器上创建协同会议，和完成协同指挥、决策，
所述地理信息数据包括原始的地理遥感影像数据、地理名称、地理坐标、自然地理信息、人文地理信息，
所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号,
所述协同会议的主机服务包括所述地理信息数据库服务器、所述业务数据库服务器分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用各自存储的相应的数据而发送给所述场景发布服务器，所述场景发布服务器再根据第一请求和第二请求对所述相应的数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密和发布的服务；
所述具体功能架构包括：设置在所述协同标绘客户端的协同会议管理模块，用于协同会议创建、协同管理、结束会议功能，
设置在所述协同标绘客户端的地图工具模块，用于提供指挥决策的功能，包括数据加载、距离测量、面积测量、体积测量、等高线分析、坡度分析、地形剖面分析，
设置在所述协同标绘客户端的协同标绘模块，用于提供协同标绘过程中需要的文字标注、由所述业务数据库服务器中的符号库提供的标准符号、粒子效果、自由标绘、删除标绘功能、优先地，所述粒子效果包括火焰、烟雾、爆炸、喷水等粒子效果，
设置在所述协同标绘客户端的沟通交流模块，用于通过输入文字消息或即时语音的方式在与会人员之间进行沟通交流，
设置在所述协同标绘客户端的音画录制加密模块，用于在协同会议期间对所述三维场景中的协同标绘的视频和语音的全过程录制和第一加密形成第一加密的录制文档，
设置在所述协同标绘客户端的决策输出模块，当协同会议达成一致的部署决策时，可将最终的部署方案输出，支持输出三维场景文件、所述第二加密的录制文档，其中所述三维场景文件包括根据所述第一请求获得的三维场景数据、所述第二加密的录制文档中的至少一帧视频画面。
其中，在协同会议管理模块中设置协同管理模式，包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，
如图3，所述主持人由所述管理员进行设置，且只允许设置参会人A或参会人B一名主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人A和B通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到协同标绘内容，但不能分享自己的标绘(图3中以×表示)，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流。
实施例6
对本方法系统和传统方法系统的性能进行测试，使用测试工具Jmeter 3.3，模拟1、10、20用户并发请求并测试响应时间和数据速率。测试三维场景数据量100GB，测试带宽为共享带宽10M，测试结果如下表：
表1系统性能测试结果
测试结果表明，本文研究的三维协同标绘系统的响应时间明显缩短，且随着并发用户的增多，响应速度提升显著，20并发用户情况下，响应速度提升超过30％。
Claims (18)
1.一种低带宽环境下的三维协同标绘方法，其特征在于，包括如下步骤：
S1设立三维协同标绘系统；
S2设立三维协同标绘系统协同模式，实现三维协同标绘的人员协同管理；
S3开始三维协同标绘，对三维协同标绘现场进行音画录制，使用逐级提高数据质量的传输技术实现三维场景数据高效传输；并基于所获得的三维场景数据使用基于标绘参数的传输技术实现三维标绘信息的高效传输；
S4三维协同标绘现场的音画录制的加密和发布。
2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：所述三维协同标绘系统包括整体物理架构、具体功能架构，且，
所述整体物理架构包括地理信息数据库服务器、业务数据库服务器、场景发布服务器，以及协同标绘客户端；其中，
所述地理信息数据库服务器、所述业务数据库服务器分别存储地理信息数据和业务数据，
所述场景发布服务器用于发布地理信息数据和三维场景数据，并提供协同会议的主机服务，
所述协同标绘客户端通过三维协同标绘系统在场景发布服务器上创建协同会议，和完成协同指挥、决策，
所述地理信息数据包括原始的地理遥感影像数据、地理名称、地理坐标、自然地理信息、人文地理信息，
所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号,
所述协同会议的主机服务包括所述地理信息数据库服务器、所述业务数据库服务器分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用各自存储的相应的数据而发送给所述场景发布服务器，所述场景发布服务器再根据第一请求和第二请求对所述相应的数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密和发布的服务；
所述具体功能架构包括：设置在所述协同标绘客户端的协同会议管理模块，用于协同会议创建、协同管理、结束会议功能，
设置在所述协同标绘客户端的地图工具模块，用于提供指挥决策的功能，包括数据加载、距离测量、面积测量、体积测量、等高线分析、坡度分析、地形剖面分析，
设置在所述协同标绘客户端的协同标绘模块，用于提供协同标绘过程中需要的文字标注、由所述业务数据库服务器中的符号库提供的标准符号、粒子效果、自由标绘、删除标绘功能，所述粒子效果包括火焰、烟雾、爆炸、喷水粒子效果，设置在所述协同标绘客户端的沟通交流模块，用于通过输入文字消息或即时语音的方式在与会人员之间进行沟通交流，
设置在所述协同标绘客户端的音画录制加密模块，用于在协同会议期间对所述三维场景中协同标绘的视频和语音的全过程录制和第一加密形成第一加密的录制文档，
设置在所述协同标绘客户端的决策输出模块，当协同会议达成一致的部署决策时，可将最终的部署方案输出，支持输出三维场景文件、所述第二加密的录制文档，其中所述三维场景文件包括根据所述第一请求获得的三维场景数据、所述第二加密的录制文档中的至少一帧视频画面。
3.根据权利要求1所述的方法，其特征在于，S2具体包括：在协同会议管理模块中设置协同管理模式包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，
所述主持人由所述管理员进行设置，且只允许设置一名主持人，可多次变更主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到标绘内容，但不能分享自己的标绘，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流。
4.根据权利要求2所述的方法，其特征在于，S3具体包括：
S3-1管理员在协同标绘客户端创建协同会议、设立主持人和邀请或通过申请而在协同会议中加入参会人员，接着开始录制协同会议，协同会议开始；
S3-2在协同标绘客户端主持人发出三维协同标绘的第一请求给场景发布服务器，要求获取对应的三维场景数据，其中，所述第一请求包括选择三维场景的地理区域、图像的质量参数要求，或者，选择三维场景的地理区域、图像的质量参数要求并且选择地理名称、地理坐标、自然地理信息、人文地理信息中至少一者；S3-3所述场景发布服务器判断图像的质量参数是否超出预设初始请求值，若果超出，则调用最低质量遥感影像，并制作三维模型发送给所述协同标绘客户端，如果未超出则调用请求对应质量的遥感影像，并制作三维模型发送给所述协同标绘客户端，当客户不满足根据最低质量遥感影像制作的三维模型时则调高质量再次发出请求，直到获得满意的三维模型；
S3-4主持人获取到满意的三维模型后即进行协同会议主持，并在主持过程中对所述三维模型进行至少一次标绘操作，所述标绘操作包括标注和文字与符号标绘，其中，
所述标注是通过客户端将地理名称、地理坐标、自然地理信息、人文地理信息中至少一者标注在三维模型中的操作，所述标注采用输入框或界面功能区域按钮形式标注，所述标注内容为文字标注或符号标注，
所述文字与符号标绘包括因客户端界面中的鼠标操作和/或键输入信息的操作而产生标注内容的拖动、视角变换，标绘符号的显示和拖动、视角变换，以及三维模型的拖动、视角变换，
每一次文字与符号标绘即形成第二请求，并向所述场景发布服务器发送第二请求；
S3-5所述场景发布服务器根据所述第二请求调用所述业务数据库服务器中的业务数据而并解译所述文字与符号标绘形成第一标绘参数，并将业务数据和第一标绘参数打包发送给客户端在所述三维模型中实现标注内容的拖动、视角变换，标绘符号的显示和拖动、视角变换；所述场景发布服务器根据所述第二请求直接解译所述文字与符号标绘形成第二标绘参数，并将第二标绘参数打包发送给客户端在所述三维模型中实现三维模型的拖动、视角变换。
5.根据权利要求4所述的方法，其特征在于，对于S3-1和S3-2，所述管理员在开始协同会议前，以及所述主持人在协同会议开始后都需要身份认证而分别使得所述协同标绘客户端以及所述场景发布服务器识别通过，才能够分别使用协同标绘客户端以及提供所述协同会议的主机服务，其中，所述身份认证包括人脸识别、人声识别、ID码中至少一者；
S3-2中所述选择三维场景的地理区域包括选择区域地名、区域中的任一一点，并基于该点选择所需的区域范围，在所述协同标绘客户端的界面上能够通过区域地名而查看到历史选择的三维模型，而直接选择历史三维模型进行协同会议，或者选择历史三维模型中任一一点，并基于该点进行区域范围选择，若没有历史三维模型则选择区域地名后直接向所述场景发布服务器发出第一请求而进行步骤S3-3；
S3-3中所述图像的质量参数包括分辨率单模式或者分辨率和三维渲染混合模式，所述分辨率为240p-4K分辨率，所述三维渲染是将所述三维模型经过三维渲染处理形成三维渲染模型，所述渲染是灰度渲染或者彩色渲染，对于单模式和混合模式，所述预设初始请求值包括分辨率为720p；
S3-4中第二请求包括标注和文字与符号标绘外，还包括自由标绘和视角信息标绘，通过鼠标点击选择界面功能区按钮而选择标注、文字与符号标绘、自由标绘和视角信息标绘，其中标绘符号的参数包括符号类型、符号的节点坐标、高度、方向、颜色，根据符号类型不同，符号的节点坐标、高度、方向、颜色也不同，
当选择文字与符号标绘时，文字与符号中存在预设的一端为起始端，另一端为末端，所述起始端为文字与符号的节点，且通过节点坐标、高度的选择而将所述起始端放置到所述三维模型的中的相应坐标点上，并默认起始端到末端连线方向为正北方向，
其中所述的节点坐标、高度的选择是在界面功能区中的相应菜单中选择，或通过界面功能区键入节点坐标、高度而选择；
对于方向指示符号通过一次点中所述标绘符号而移动鼠标实现方向指示符号整体的位置变化，通过双击所述方向指示符号，并一次点中所述方向指示符号而移动鼠标实现方向指示符号所述末端的位置变化；
对于范围选择符号，则通过拖动、旋转、形变实现选择范围的变化，
在客户端界面中所见的三维模型是通过假想的摄像机的视角上拍摄而见到的，该摄像机具有视角信息参数，包括FOA、高度、方向信息。
6.根据权利要求5所述的方法，其特征在于，鼠标能够通过一次点中所述三维模型在预设时间后产生拖动功能，并保持点中而移动鼠标实现拖动操作，
双击所述三维模型在预设时间后产生视角变换功能，并再次点中而移动鼠标实现视角变换操作，
三击所述三维模型在预设时间后产生选择和复制功能，并再次点击所述三维模型用于选中三维模型整体的操作或点击和移动鼠标操作而选择三维模型范围的操作，完成后即可进行复制操作，其中所述预设时间为0.2-1s，或者，
所述鼠标也能够通过选择界面功能区的功能按钮而赋予所述鼠标对三维模型进行拖动和视角变换的功能，此时鼠标回到三维模型所在的区域后即通过鼠标点中所述三维模型后即可进行相应的拖动和视角变换操作。
7.根据权利要求4-6中任一项所述的方法，其特征在于，在S3-3和S3-4之间还包括如下步骤：重复S3-2-S3-3获取至少二组三维场景数据，并在所述协同标绘客户端的界面上单独或同时显示，进行至少二个区域的协同标绘。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述S4具体包括：S4-1协同会议结束时，管理员停止录制，在客户端形成协同会议的录制文档；S4-2客户端将录制文档进行第一加密后发送给三维场景数据发布服务器，所述三维场景数据发布服务器对所述第一加密后录制文档进行解密并进行第二加密后发布给与会人员或其他相关人员的专业终端，且所述专业终端能够识别用户对于录制文档源数据读取的操作，当与会人员或其他相关人员通过专业终端试图读取所述读取录制文档对应的源数据以企图复制或分享所述录制文档时，所述专业终端中安装的专业播放查看软件会要求输入初始密钥或初始密钥和初始加密图来完成所述读取操作，其中，
所述第一加密包括身份识别加密，所述身份包括对三维场景数据发布服务器指定负责的工作人员的身份，所述身份识别包括人脸识别、人声识别、ID码中至少一者，所述第二加密包括基于音画信息的加密。
9.根据权利要求8所述的方法，其特征在于，所述第二加密包括基于音画信息的加密步骤如下：
S4-2-1选择录制文档中的多个具有语音信息的帧，分离所述多个具有语音信息的帧中的视频帧和语音音频，将多个所述视频帧融合成一张融合图像作为加密图，并将获得加密图的像素特征值以及提取各个视频帧对应语音音频中四舍五入得到的波段特征值共同作为密钥；
S4-2-2利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述录制文档进行加密。
10.根据权利要求9所述的方法，其特征在于，所述利用加密图和所述密钥建立人工智能解密模型具体包括：
S4-2-2-1获取多幅所述加密图，分为训练集和验证集，两者比例为10:1-1:1，S4-2-2-2以多幅所述加密图为输入端、以加密图的像素特征值以及提取各个视频帧对应语音音频中的波段特征值按序排列形成的密钥为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练，所述预设值为95-100％之间，所述人工智能解密模型包括BP神经网络、径向基函数网络RBFN、卷积神经网络CNN，深度神经网络DNN，生成对抗网络GAN中的一者，
所述获得解密码，并利用该解密码对所述录制文档进行加密具体包括：
S4-2-2-3获取一副初始加密图，通过建立好的人工智能解密模型得到初始密钥，利用初始密钥单独或与初始加密图共同作为解密码对所述录制文档进行加密。
11.根据权利要求9所述的方法，其特征在于，
所述选择录制文档中的多个具有语音信息的帧是按照随机算法从所有具有语音信息的帧中进行选择，所述的随机算法包括Shuffle算法，Random算法，Sher wood、Las Vegas、蒙特卡洛中至少一种。
12.根据权利要求10所述的方法，其特征在于，
所述一副初始加密图是按照S4-2-1获取，且其中所述选择录制文档中的多个具有语音信息的帧也是按照随机算法从所有具有语音信息的帧中进行选择，所述的随机算法包括Shuffle算法，Random算法，Sher wood、Las Vegas、蒙特卡洛中至少一种。
13.根据权利要求9-12中任一项所述的方法，其特征在于，所述加密图的像素特征值包括加密图的RGB三值的总值，R总值、G总值、B总值中至少一者，所述波段特征值包括80-1200Hz波段的音频最大幅值。
14.根据权利要求13所述的方法，其特征在于，对于男性，所述波段特征值包括80-320Hz、320-400Hz、400-480Hz三波段的音频最大幅值的平均值；对于女性，所述波段特征值包括160-600Hz，600-1200Hz两波段的音频最大幅值的平均值，所述平均值包括算术平均值或加权平均值。
15.一种实现如权利要求1-14中任一项方法的低带宽环境下的三维协同标绘系统，其特征在于，所述系统包括整体物理架构、具体功能架构，其中，
所述整体物理架构包括地理信息数据库服务器、业务数据库服务器、三维场景数据发布服务器，以及协同标绘客户端；其中，
所述地理信息数据库服务器、所述业务数据库服务器分别存储地理信息数据和业务数据，
所述场景发布服务器用于发布地理信息数据和三维场景数据，并提供协同会议的主机服务，
所述协同标绘客户端通过三维协同标绘系统在场景发布服务器上创建协同会议，和完成协同指挥、决策，
进一步地，所述地理信息数据包括原始的地理遥感影像数据、地理名称、地理坐标、自然地理信息、人文地理信息，
所述业务数据包括：符号库数据，所述符号库数据中包括标绘的二三维符号,
所述协同会议的主机服务包括所述地理信息数据库服务器、所述业务数据库服务器分别根据所述场景发布服务器接收到的所述协同标绘客户端的第一请求和第二请求而调用各自存储的相应的数据而发送给所述场景发布服务器，所述场景发布服务器再根据第一请求和第二请求对所述相应的数据进行处理，并将处理好的数据发送给所述协同标绘客户端，以及对录制文档进行第二加密以及发布服务；
所述具体功能架构包括：设置在所述协同标绘客户端的协同会议管理模块，用于协同会议创建、协同管理、结束会议功能，
设置在所述协同标绘客户端的地图工具模块，用于提供指挥决策的功能，包括数据加载、距离测量、面积测量、体积测量、等高线分析、坡度分析、地形剖面分析，
设置在所述协同标绘客户端的协同标绘模块，用于提供协同标绘过程中需要的文字标注、由所述业务数据库服务器中的符号库提供的标准符号、粒子效果、自由标绘、删除标绘功能、优先地，所述粒子效果包括火焰、烟雾、爆炸、喷水粒子效果，
设置在所述协同标绘客户端的沟通交流模块，用于通过输入文字消息或即时语音进的方式在与会人员之间进行沟通交流，
设置在所述协同标绘客户端的音画录制加密模块，用于在协同会议期间对所述三维场景中的协同标绘的视频和语音的全过程录制和第一加密形成第一加密的录制文档，
设置在所述协同标绘客户端的决策输出模块，当协同会议达成一致的部署决策时，可将最终的部署方案输出，支持输出三维场景文件、所述第二加密的录制文档，其中所述三维场景文件包括根据所述第一请求获得的三维场景数据、所述第二加密的录制文档中的至少一帧视频画面。
16.如权利要求15所述的低带宽环境下的三维协同标绘系统，其特征在于，其中，在协同会议管理模块中设置协同管理模式包括协同会议创建、协同管理、结束会议，其中，
所述协同会议创建包括创建会议、所述协同管理包括创建会议连接邀请参会人、设置主持人、将管理员身份授权给其他参会人，
其中，所述管理员作为会议的创建人员，负责对整个协同会议的管理，具有的权限包括创建会议、生成并发送参会邀请、设置主持人、结束会议，所述主持人由所述管理员进行设置，且只允许设置一名主持人，可多次变更主持人，所述主持人具有分享权限，可分享对所述协同标绘客户端的三维场景的标绘成果、标绘过程、鼠标位置、浏览视角，
所述参会人通过所述管理员分享的会议链接加入会议，会议中同步所述主持人的视角并看到标绘内容，但不能分享自己的标绘，所述管理者、主持人以及所述参会人员均可通过输入文字消息或即时语音进行沟通交流。
17.如权利要求15或16所述的低带宽环境下的三维协同标绘系统，其特征在于，所述系统基于SmartEarth 3DGIS平台，使用Microsoft Visual Studio2008(C#)进行开发设计，开发和运行操作系统环境为Windows 7，采用TCP\IP和UDP网络协议。
18.一种非暂时性存储介质，其中存储有可由低带宽环境下的三维协同标绘系统运行而实现如权利要求1-14中任一项方法的计算机可读程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211393950.6A CN115937441B (zh) | 2022-11-08 | 2022-11-08 | 低带宽环境下的三维协同标绘方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211393950.6A CN115937441B (zh) | 2022-11-08 | 2022-11-08 | 低带宽环境下的三维协同标绘方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937441A true CN115937441A (zh) | 2023-04-07 |
| CN115937441B CN115937441B (zh) | 2023-09-05 |
Family
ID=86649824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211393950.6A Active CN115937441B (zh) | 2022-11-08 | 2022-11-08 | 低带宽环境下的三维协同标绘方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937441B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932121A (zh) * | 2023-09-18 | 2023-10-24 | 中国电子科技集团公司第十五研究所 | 一种适应多形态业务应用的态势统一标绘方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2483419A1 (en) * | 1995-05-08 | 1996-11-14 | Digimarc Corporation | Methods and systems for processing digital media content |
| WO2001096988A2 (de) * | 2000-06-09 | 2001-12-20 | Wittkoetter Erland | Vorrichtung und verfahren zum entschlüsseln eines verschlüsselten eines verschlüsselten elektronischen dokuments |
| CA2406329A1 (en) * | 2001-10-26 | 2003-04-26 | Robert Allan Unger | Decoding and decryption of partially encrypted information |
| KR20030078436A (ko) * | 2002-03-29 | 2003-10-08 | 주식회사 솔리데오시스템즈 | 인터넷 기반의 실시간 도면 공동 작업 및 커뮤니케이션시스템의 운용 방법 |
| US20080046731A1 (en) * | 2006-08-11 | 2008-02-21 | Chung-Ping Wu | Content protection system |
| CN102177726A (zh) * | 2008-08-21 | 2011-09-07 | 杜比实验室特许公司 | 用于音频和视频签名生成和检测的特征优化和可靠性估计 |
| CN102307301A (zh) * | 2011-05-30 | 2012-01-04 | 电子科技大学 | 一种基于关键帧的影音指纹生成方法 |
| US20190121995A1 (en) * | 2017-10-21 | 2019-04-25 | Dropbox, Inc. | Interoperability Between Content Management System and Collaborative Content System |
| CN112235608A (zh) * | 2020-12-11 | 2021-01-15 | 视联动力信息技术股份有限公司 | 一种基于视联网的数据加密传输方法、装置及介质 |
| US20210199460A1 (en) * | 2019-12-30 | 2021-07-01 | Tmrw Foundation Ip S. À R.L. | System and method enabling a collaborative 3d map data fusion platform and virtual world system thereof |
| CN113709107A (zh) * | 2021-07-27 | 2021-11-26 | 中国人民解放军91977部队 | 一种异地多人协同标绘的电子白板系统 |
| CN113727058A (zh) * | 2021-08-31 | 2021-11-30 | 成都卫士通信息产业股份有限公司 | 一种多媒体会议数据处理方法、系统、设备及存储介质 |
| CN113963095A (zh) * | 2021-09-01 | 2022-01-21 | 泰瑞数创科技(北京)有限公司 | 基于人工智能的城市三维地图视频流加密方法及系统 |
| CN113963096A (zh) * | 2021-09-01 | 2022-01-21 | 泰瑞数创科技(北京)有限公司 | 基于人工智能的城市三维地图视频流交互方法及系统 |
| CN114417372A (zh) * | 2021-12-28 | 2022-04-29 | 格美安(北京)信息技术有限公司 | 一种基于语音波段特征的数据文件加密方法和存储设备 |
-
2022
- 2022-11-08 CN CN202211393950.6A patent/CN115937441B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2483419A1 (en) * | 1995-05-08 | 1996-11-14 | Digimarc Corporation | Methods and systems for processing digital media content |
| WO2001096988A2 (de) * | 2000-06-09 | 2001-12-20 | Wittkoetter Erland | Vorrichtung und verfahren zum entschlüsseln eines verschlüsselten eines verschlüsselten elektronischen dokuments |
| CA2406329A1 (en) * | 2001-10-26 | 2003-04-26 | Robert Allan Unger | Decoding and decryption of partially encrypted information |
| KR20030078436A (ko) * | 2002-03-29 | 2003-10-08 | 주식회사 솔리데오시스템즈 | 인터넷 기반의 실시간 도면 공동 작업 및 커뮤니케이션시스템의 운용 방법 |
| US20080046731A1 (en) * | 2006-08-11 | 2008-02-21 | Chung-Ping Wu | Content protection system |
| CN102177726A (zh) * | 2008-08-21 | 2011-09-07 | 杜比实验室特许公司 | 用于音频和视频签名生成和检测的特征优化和可靠性估计 |
| CN102307301A (zh) * | 2011-05-30 | 2012-01-04 | 电子科技大学 | 一种基于关键帧的影音指纹生成方法 |
| US20190121995A1 (en) * | 2017-10-21 | 2019-04-25 | Dropbox, Inc. | Interoperability Between Content Management System and Collaborative Content System |
| US20210199460A1 (en) * | 2019-12-30 | 2021-07-01 | Tmrw Foundation Ip S. À R.L. | System and method enabling a collaborative 3d map data fusion platform and virtual world system thereof |
| CN112235608A (zh) * | 2020-12-11 | 2021-01-15 | 视联动力信息技术股份有限公司 | 一种基于视联网的数据加密传输方法、装置及介质 |
| CN113709107A (zh) * | 2021-07-27 | 2021-11-26 | 中国人民解放军91977部队 | 一种异地多人协同标绘的电子白板系统 |
| CN113727058A (zh) * | 2021-08-31 | 2021-11-30 | 成都卫士通信息产业股份有限公司 | 一种多媒体会议数据处理方法、系统、设备及存储介质 |
| CN113963095A (zh) * | 2021-09-01 | 2022-01-21 | 泰瑞数创科技(北京)有限公司 | 基于人工智能的城市三维地图视频流加密方法及系统 |
| CN113963096A (zh) * | 2021-09-01 | 2022-01-21 | 泰瑞数创科技(北京)有限公司 | 基于人工智能的城市三维地图视频流交互方法及系统 |
| CN114417372A (zh) * | 2021-12-28 | 2022-04-29 | 格美安(北京)信息技术有限公司 | 一种基于语音波段特征的数据文件加密方法和存储设备 |
Non-Patent Citations (4)
| Title |
|---|
| QIN,LL等: "Application of CSK encryption algorithm in video synergic command systems", 《JOURNAL OF ORGANIZATIONAL AND END USER COMPUTING》 * |
| 宋凯磊 等: "低带宽环境下的三维协同标绘系统研究", 《中国电子科学研究院学报》, pages 1145 - 1149 * |
| 张颖: "基于内容关联密钥的语音通话加密算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 朱艳平;赵喜玲;: "混沌键控视频加密方案研究", 重庆邮电大学学报(自然科学版), no. 01 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932121A (zh) * | 2023-09-18 | 2023-10-24 | 中国电子科技集团公司第十五研究所 | 一种适应多形态业务应用的态势统一标绘方法及系统 |
| CN116932121B (zh) * | 2023-09-18 | 2024-02-13 | 中国电子科技集团公司第十五研究所 | 一种适应多形态业务应用的态势统一标绘方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937441B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11546550B2 (en) | Virtual conference view for video calling | |
| CN110570698B (zh) | 一种在线教学控制方法、装置、存储介质以及终端 | |
| US20100085363A1 (en) | Photo Realistic Talking Head Creation, Content Creation, and Distribution System and Method | |
| WO2020150693A1 (en) | Systems and methods for generating personalized videos with customized text messages | |
| US20240087204A1 (en) | Generating personalized videos with customized text messages | |
| US11758218B2 (en) | Integrating overlaid digital content into displayed data via graphics processing circuitry | |
| WO2023071586A1 (zh) | 画面生成方法、装置、设备及介质 | |
| US12114099B2 (en) | Dynamic camera views in a virtual environment | |
| Moldoveanu et al. | The 3D UPB mixed reality campus: Challenges of mixing the real and the virtual | |
| CN115937441B (zh) | 低带宽环境下的三维协同标绘方法及其系统 | |
| CN112419825B (zh) | 一种基于ar技术的多媒体会计教学装置 | |
| US12086378B2 (en) | Moving a digital representation of a video conference participant to a new location in a virtual environment | |
| CN114463470A (zh) | 虚拟空间浏览方法、装置、电子设备和可读存储介质 | |
| KR20160136833A (ko) | 영상콘텐츠를 활용한 의료교육 시스템 | |
| Wang et al. | The Belated Guest: Exploring the Design Space for Transforming Asynchronous Social Interactions in Virtual Reality | |
| McArdle et al. | A Web-Based Multimedia Virtual Reality Environment for E-Learning. | |
| CN110213061B (zh) | 同步通信方法、同步通信装置、同步通信设备及介质 | |
| JP2011519079A (ja) | フォトリアリスティックなトーキングヘッドの作成、コンテンツ作成、及び流通システム及び方法 | |
| US20240212240A1 (en) | Integrating overlaid content into displayed data via processing circuitry by detecting the presence of a reference patch in a file | |
| EP4376385A1 (en) | System and method enabling live broadcasting sessions in virtual environments | |
| US11682101B2 (en) | Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer | |
| US20230326108A1 (en) | Overlaying displayed digital content transmitted over a communication network via processing circuitry using a frame buffer | |
| JP6707621B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| KR20230055140A (ko) | 가상현실(vr) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법 | |
| CN115794012A (zh) | 用于内容记录和流传输的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |