CN113963096B - 基于人工智能的城市三维地图视频流交互方法及系统 - Google Patents
基于人工智能的城市三维地图视频流交互方法及系统 Download PDFInfo
- Publication number
- CN113963096B CN113963096B CN202111022909.3A CN202111022909A CN113963096B CN 113963096 B CN113963096 B CN 113963096B CN 202111022909 A CN202111022909 A CN 202111022909A CN 113963096 B CN113963096 B CN 113963096B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- image
- user
- encryption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 title claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims description 60
- 230000008859 change Effects 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012856 packing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000000047 product Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000001788 irregular Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供一种基于人工智能的城市三维地图视频流交互方法及系统，该方法包括：S1将加密后的视频流和/或三维渲染模型以用户版形式发布；S2.用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频；当用户试图读取所述加密后的视频流、加密的三维渲染模型、其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经在开发者版中重新计算更新。通过视频流的形式将城市地图视频化，并对视频流或用户制作的其他视频流以及已播放的视频段或者拖动视频选择视频时间点前后的帧进行加密使得产品获得了防止复制和编辑的高度保护。
Description
技术领域
本发明涉及城市三维视频地图的发布方法，尤其涉及基于人工智能的城市三维地图视频流交互方法及系统，属于地理影像处理领域。
背景技术
城市地图作为城市地理风貌的基本数据形式,是研究城市规划、以基于规划基础上的生产和生活方方面面的智慧化基础资源，现有技术智慧城市的构建离不开城市地图作为基础。传统的地图，无论是纸质还是数字化的，由于更新延后，不能及时甚至实时反映城市的面貌。当城市道路建筑规划发生变动，则需要对现有的数据作改动以实现更新，做出准确的算法结论。
另一方面，现有的地图一般都是在二维或三维上展现城市道路和建筑的基本几何外形，并不能精确地反应道路与建筑之间相对的精确位置关系，从而导致一些领域中，如水电气设施的监控、道路物理状况的检测、以及道路建筑具体识别上产生误差或困难，从而需要更为精确的地图设计来改变现有智慧城市的构建现状。
遥感卫星影像作为一种实时的真实地理面貌影像获取手段，其实时性、精确性、以及真实性是传统的地图渲染方案无法企及。著名的谷歌地图即是基于二维真实影像拍摄和3D距离数据而形成的现实地图的设计理念。然而其缺点在于不能真实地从第三个维角度进行展现，因而无法快速地从三维的角度识别道路和建筑。利用行车影像拍摄以真实的第三个维度视角作为补充虽然能够弥补这一缺陷，但仍然需要将三维的遥感影像和行车影像进行算法上影像融合，由此而产生了两者在时间和空间的匹配问题。因此其计算优化和时空匹配精准性问题一直是该领域亟待解决的问题。
事实上，在具体的运用方面，人们实际上并不需要了解现实视觉的城市面貌，而只需要知晓城市的每一处的坐标和大致的建筑高度就能知晓每一处的道路和建筑的精确名称和位置关系，从而获得城市的整体概况。目前基于遥感影像的城市的地图制作能够通过算法快速地实现道路和建筑的勾勒，精确地反映了城市的地理形貌，成为研究热点。但目前还没有地图式考虑视频流的形式，而仅仅是静态的三维模型。如果能在三维模型基础上形成视频流，就能逼真地感受方式体验到城市面貌展示。从而如何将制作的视频流地图予以加密再发布成产品成为该方案需要考虑的问题。由于视频流是由多个帧组成的画面，因此显然不能如二维地图的不规则变形方式对每一帧进行加密，否则将带来更为繁琐的算法以及海量加密数据。
另外地，当视频发布后，用户可能借助本地播放器或系统软件进行视频流缓存，从而无法保证在播放和用户视频拖动或视频时间点选择过程中实现对产品的保护，以及无法防止数据发布或发送过程中被窃取。
发明内容
为解决上述问题，本发明技术方案考虑如下：第一，在城市遥感地图基础上制作城市三维模型，并在此基础上进行视频流的模拟录制，形成城市视频流地图；第二，考虑一种视频流的选择帧加密方法，大大降低计算时间；第三，实现三维模型基础上任意道路路径规划上的视频录制和相应加密算法的实现。本发明中的几何图形是涵盖了其边缘像素和内部像素的整体几何图形。本发明的所述的加密图和密钥根据不同的方法步骤获得而相应的命名冠以“初始”、“过程”、“更新”。本发明所述的源数据是指代表视频流、三维渲染模型，或者数据包本身及其包内数据的文档数据。所述的读取是指除播放、拖动视频或选择视频时间点等展示操作以外的其他试图复制、编辑、分享所述文档数据等操作。本发明播放，和/或，拖动视频和/或选择视频时间点，以及三维视角观察每一帧的画面都属于查看操作。本发明的“视频流”如非用户制作的其他视频流则可以与“视频”同义。播放视频、拖动视频、选择视频时间点中的“视频”可以是视频流或其他视频流
根据上述的方案，本发明提供了一种基于人工智能的基于人工智能的城市三维地图视频流交互方法，包括如下步骤：
S1.将加密后的视频流和/或三维渲染模型以用户版形式发布；其中，所述视频流是基于人工智能网络建立的城市三维渲染模型进行视频的模拟录制以及加密形成；
S2.用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经在开发者版中重新计算更新。
可以理解的是，所述加密能够防止用户拷贝编辑所述视频流，起到对产品的保护作用。
关于S2
所述初始密钥和初始加密图通过以下步骤在开发者版中重新计算更新：
S3.选择S1中所述视频流中至少一帧图像融合成一张帧融合图像作为加密图，选择个数与所述至少一帧图像的个数相等的至少一种几何图形，并根据所述至少一种几何图形与所述加密图叠放后获得的图像像素特征值而获得密钥；
S4.利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述视频流进行加密。
关于S3
所述S3具体包括：
S3-1将视频流按照第一预设时间步长分成多段视频分流；
S3-2通过随机选择算法选择出所述多段视频分流中每一段中至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧。优选地，所述帧的总帧数上限为10000，即所述至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧的总数在1-10000之间；
S3-3将所述至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧融合成一张帧融合图像作为加密图，所述融合是将所述至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧按照矩阵阵列方式排列而拼接。没有被排列到的矩阵元素位置为无帧或空白帧，即所述融合图像可以是矩形或至少有部分缺损帧的不完整矩形(例如可以是类似“凹”字形或在此基础上旋转90°的整数倍的几何图形)或矩形基础上具有突出部分的不规则几何图形(例如可以是类似“凸”字形或在此基础上旋转90°的整数倍的几何图形)。
优选地，所述融合图像为m×n幅帧组成，其中m和n为正整数。
S3-4选择个数与所述至少一帧第一图像的个数相等或小于该个数的至少一种规则几何图形作为密钥，其中所述几何图形由与所述至少一帧第一图像中的每个像素尺寸一致的空白像素组成，并且使得所述规则几何图形能够被放置到所述至少一帧第一图像中。应当理解的是，所述放置可以是第一图像完全涵盖了所述规则几何图形，也可以是不完全涵盖，即所述规则几何图形至少一部分露在所述第一图像或空白帧之外；
S3-5根据随机选择算法选择一个所述规则几何图形，并以下述方式将所述规则几何图形放置到所述融合图像中：将其几何中心和对称轴分别与所述融合图像中的一帧所述第一图像，或一帧所述空白帧的几何中心和对称轴重合，由此不断重复选择和放置直至所有所述规则几何图形都被放置到所述融合图像中；
S3-6获取所述规则几何图形空白像素对应重合的所述融合图像中的像素的RGB三值(作为一种图像像素特征值)，计算RGB各值的总值，以及RGB三值的总值分别对于所述规则几何图形总像素的总平均值，以按照RGB顺序或其他顺序中的一者排列所述总值和总评均值分别作为主密钥和附加钥作为密钥。
可选地，所述空白像素是选择规则几何图形的边缘或内部中至少一者的空白像素。
进一步优选的方案，步骤S3-2-S3-5分别包括如下步骤：
S3-2还包括继续根据第二预设时间，在所述多段视频分流中每一段中从起始帧或预设的一帧为起始，每隔所述第二预设时间点或与该点附近时间差最短的一帧形成多个视频细分流，通过随机选择算法选择出所述多个视频细分流中每一细分流中至少一帧第二图像。可以理解的是，第一图像具有一定概率至少有一张与第二图像重复；
S3-3仅包括将所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像至少一帧空白帧融合成一张帧融合图像作为加密图，所述融合是将所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧按照矩阵阵列方式排列而拼接。没有被排列到的矩阵元素位置为无帧或空白帧，即所述融合图像可以是矩形或至少有部分缺损帧的不完整矩形(例如可以是类似“凹”字形或在此基础上旋转90°的整数倍的几何图形)或矩形基础上具有突出部分的不规则几何图形(例如可以是类似“凸”字形或在此基础上旋转90°的整数倍的几何图形)。
优选地，所述融合图像为m×n幅帧组成，其中m和n为正整数；
S3-4仅包括选择个数与所述至少一帧第一图像和至少一帧第二图像个数总和，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧的个数总和相等或小于该个数的至少一种规则几何图形作为密钥，其中所述规则几何图形由与所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧的每个像素尺寸一致的空白像素组成，并且使得所述规则几何图形能够被放置到所述所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧中。应当理解的是，此时所述放置可以是第一图像、第二图像、空白帧中至少一者完全涵盖了所述规则几何图形，也可以是不完全涵盖，即所述规则几何图形至少一部分露在所述第一图像、第二图像、空白帧中至少一者之外；
S3-5仅包括根据随机选择算法选择一个所述规则几何图形，并以下述方式将所述规则几何图形放置到所述融合图像中：将其几何中心和对称轴分别与所述融合图像中的一帧所述第一图像、第二图像、或一帧所述空白帧的几何中心和对称轴重合，由此不断重复选择和放置直至所有所述规则几何图形都被放置到所述融合图像中。
优选地，以上所述的随机算法包括Shuffle算法，Random算法，Sher wood、LasVegas、蒙特卡洛中至少一种。
优选地，以上所述的放置按照所述融合图像中帧矩阵的行列排列顺序进行，即先从行左往右顺序，再依照从上往下列顺序放置。
优选地，所述规则几何图形被非规则几何图形所替代或被规则几何图形和非规则几何图形的组合所替代。
可选地，所述至少一种规则几何图形为像素点、线段、三角、规则多边形、圆、椭圆中的至少一种。
关于S4
步骤S4具体包括：
S4-1获取多幅所述加密图，分为训练集和验证集，两者比例为10:1-1:1，优选地为5:1-3:1；
S4-2以多幅所述加密图为输入端、所述密钥为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练。优选地所述预设值为95-100％之间。优选地，所述人工智能解密模型包括BP神经网络、径向基函数网络RBFN、卷积神经网络CNN，深度神经网络DNN，生成对抗网络GAN中的一者；
S4-3获取一副初始加密图，通过建立好的人工智能解密模型得到初始密钥，利用初始密钥单独或与初始加密图共同作为解密码对所述视频流进行加密，当试图读取所述视频流源数据时，需要获得该初始密钥单独或该初始密钥和初始加密图才能读取获取所述视频流源数据；开发者可以任意更新初始加密图以及获取初始密钥，以供对所述视频流进行解密保管和编辑和三维渲染模型的解密编辑，形成视频流的开发者版。
可以理解的是，开发者版只供开发者利用而不对外发布。
关于S1～S2
步骤S1具体包括：S1-1将加密后的视频流以用户版形式发布；
步骤S2具体包括：S2-1用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，以及改变三维视角(如移动、旋转方式)观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、(其他视频流的)实现异地加密播放视频，和/或，(其他视频流的)拖动视频和/或选择视频时间点，和/或，改变三维视角观察(其他视频流的)每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、加密的其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经通过步骤S3-S4在开发者版中重新计算更新。
在一个实施例中，S2中通过异地加密对视频或其他视频流实现播放，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面的过程中进一步包括：
S2-1播放视频(或播放其他视频流)过程中，在大于第一预设时间的第三预设的时间时，和/或，在拖动视频视频到目标时间点对应的和/或选择视频时间点对应的目标帧时，和/或改变任一帧的画面三维视角后时各自形成第一请求指令；
S2-2在异地，先对所述第一请求指令进行解析，从而利用已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面再获得根据步骤S3(或S3-1-S3-6)得到的过程加密图以及利用所述过程加密图根据步骤S4(或S4-3)得到的过程密钥(和/或过程加密图以及根据S4-3获得的过程密钥)；接着利用所述过程密钥单独或与所述过程加密图共同作为解密码对已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面进行加密；
S2-3再对加密过的所述已播放的视频段进行数据打包形成第一数据包，并将所述第一数据包以及解密码发送给用户，和/或，
对加密过的所述当前帧以及所述目标帧进行数据打包形成第二数据包，并将所述第二数据包以及解密码发送给用户，用户则利用解密码解密所述第二数据包，查看软件根据解密出的所述当前帧以及所述目标帧在视频界面中将视频画面转到目标帧继续播放，此时判断从视频流第一帧到目标帧之间的播放时间是否已到所述第三预设时间，如是则重复加密和数据打包发送过程，如否则继续播放直到第三预设时间继续重复加密和数据打包发送过程，和/或，
对加密过的改变前画面和改变后画面进行数据打包形成第三数据包，并将所述第三数据包以及解密码发送给用户，用户则利用解密码解密所述第三数据包，查看软件根据解密出的改变前画面和改变后画面在视频界面中将画面转到改变后画面；
当用户试图读取所述第一、第二、第三数据包本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图，或者已经通过步骤S3-S4(或S3-1-S3-6以及S4-3)重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取。
所述异地录制加密进一步包括：
(1)将录制过程中的所有帧按时间序列在异地先制作成其他视频流，
(2)再对制作成的其他视频流进行加密，所述加密的方法根据S3和S4完成，或根据S3-1-S3-6以及S4-3完成；
(3)将已加密的其他视频流发送给用户。
所述重新计算可以是根据用户对视频或其他视频流进行播放，和/或，拖动视频和/或选择视频时间点，和/或改变任一帧的画面三维视角时产生的第一请求指令之后产生的第二请求指令而执行，且所述第一请求指令和第二请求指令请求时间间隔为0.1-1s。
应当理解的是，第二请求指令能够默认为在第一请求指令之后的时间间隔0.1-1s时产生，可以不是用户本地实际发出的指令。由于异地加密，一方面，由于初始密钥和初始加密图由开发者掌握，用户获取不到，从而无法完成试图读取操作。另一方面，用户由于试图读取的操作而在开发者版中产生大量更新密钥和更新加密图，开发者一般不会管理或保存(一般定期清理)这些更新密钥和更新加密图，此时由于算法中存在的帧获取和几何图形选择的随机性，用户甚至开发者都难以获取具体更新的初始密钥和初始加密图；或者开发者即便会利用这些更新密钥和更新加密图作为新的初始加密图初始密钥来加密视频流和三维渲染模型的开发者版，并以用户版形式发布，新发布的用户版中的初始密钥和初始加密图也已经是更新后的初始密钥和初始加密图；并且即便用户通过某种途径获得了初始密钥和初始加密图，但也无法获知新发布的产品对应的具体更新的初始密钥和初始加密图。由于预选的道路路径、飞行路径，预定的第一时间第二时间、移动的速度、帧率以及所选的几何图形的不同而形成多重密码破解壁垒，能够对视频流地图产品起到很好地保护作用。
由于对第三预定时间内的播放，以及对拖动视频视频到目标时间点和/或选择视频时间点的操作的响应过程都不在用户本地进行，而经由本地之外的指令解析和数据再加密、打包、发送和解密数据包的形式完成，从而在用户本地不能缓存完整的视频流，而都以分段的且需要使用更新密钥，或更新密钥和更新加密图才能读取数据实现复制的多个数据包形式存在于用户本地。
优选地，在第四预定时间内，提醒用户清理所述第一和/或第二数据包，以节约存储空间。优选地，所述第四预定时间为1天-1年。
在视频流发布和/或数据包发送前用户可以注册获取用户ID码，只有使用ID码才能查看所述视频流、用户制作的其他视频流和3D渲染模型。可以理解的是，这样即便在加密的视频流发布和/或加密的数据包以及解密码打包发送过程中被窃取，由于不能获得ID码而无法查看所述视频流、用户制作的其他视频流和3D渲染模型。同时由于异地录制，也为其他视频流的分享制造了障碍，因为分享ID码同时用户必须获知解密码并分享才能实现，即便分享了ID码，其他用户也由于无法获取解密码从而无法完成其他视频流的分享。
本发明还提供一种实现前述方法的基于人工智能的城市三维渲染视频流录制、加密、和发布系统，其特征在于，具体包括：开发者系统以及用户系统，其中所述开发者系统用于对所述视频流(开发者版)进行解密保管和编辑和三维渲染模型(开发者版)的制作和解密编辑，并完成所述视频流和其他视频流的制作和将加密后的视频流(用户版)和加密的三维渲染模型(用户版)发布，将制作的其他视频流发送给用户系统，并且能够对用户在用户系统中的播放和/或拖动视频，和/或选择视频时间点，和/或改变任一帧的画面三维视角形成的指令进行解析而重新对已播放的视频段，和/或要拖动视频视频到目标时间点和/或选择视频时间点时的当前帧以及在拖动视频到目标时间点对应的和/或选择视频时间点对应的目标帧，和/或改变前画面和改变后画面进行加密，并完成数据打包发送给所述用户系统，能够在第四预定时间内向用户系统发送清理所述第一、第二、第三数据包的提醒消息，并且提供用户注册ID码的服务，
其中，所述开发者系统包括服务器，所述用户系统包括安装有查看软件的终端，所述开发者系统以及用户系之间能够通信。
优选地，所述用户系统中包含基于所述三维渲染模型的导航模块，用于在城市中的导航。所述终端包括计算机或智能移动终端，更优选地，所述智能移动终端包括智能手机。
本发明还提供一种非暂时性存储介质，其中存储有可由开发者系统以及用户系统运行而实现前述基于人工智能的城市三维渲染视频流录制、加密、和发布方法的计算机可读程序。
有益效果：
1.以可编辑的3D视频流形式作为城市数字地图，更加具有及时性、实时性、可视化；
2.使用视频流中预选的帧以及预选的几何图形的覆盖像素RGB值作为加密基础，从多个破解壁垒出发加强了视频流的保护作用；
3.用户通过路线的设置能够体验到多种城市的视角地理风貌，增强了用户的体验性。
4.将用户本地操作交由服务器执行异地录制、加密、打包、再回传数据、解密数据包、软件响应操作等一系列过程，能够进一步避免用户本地对产品的复制。
附图说明
图1为一种基于人工智能的城市A基于人工智能的城市三维渲染视频流录制、加密、和发布方法流程图，
图2(a)对城市路网提取的RNN循环神经网络算法流程以及城市路网生成过程示意图；
图2(b)为图2(a)中生成好的城市路网圆圈范围内的局部路网扩宽示意图；
图3基于CNN主干网络的卷积长短期记忆ConvLSTM的多层RNN建筑边界的提取流程图；
图4a-4d为3D渲染前的四幅第一图像示意图，是根据第一预设时间将视频流分为四段视频分流中利用shuffle算法而从每一段视频分流中所选择出；
图5为3D渲染后的图4a-4d的融合图像；
图6a为横向放置用户智能手机中待播的放视频流查看软件界面；
图6b为竖向放置的用户智能手机在视图移动拷贝图6a中所述视频流对应文件时弹出对话框的示意图；
图6c为横向放置用户智能手机中用户拖动播放视频到还剩32秒时解密数据包后看到的查看软件目标帧画面；
图6d为横向放置用户智能手机中用户试图读取所述数据包n本身对应的源数据时，查看软件弹出对话框的示意图；
图7为本发明的基于人工智能的城市三维视频流加密再发布系统的视频流发布流程，以及用户播放到第三预设时间时或拖动视频或选择视频时间点的请求和在加密数据打包发送给用户的流程示意图。
具体实施方式
实施例1
如图1为一种基于人工智能的城市三维地图视频流交互方法流程图，其特征在于包括如下步骤：
S1.将加密后的视频流和/或三维渲染模型以用户版形式发布；其中，所述视频流是基于人工智能网络建立的城市三维渲染模型进行视频的模拟录制以及加密形成；
S2.用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经在开发者版中重新计算更新。
S1之前还包括：
S1-1，基于人工智能网络的城市A道路和建筑的三维渲染模型建；
S1-2，根据三维渲染模型中预选的道路路径而进行视频的模拟录制，形成城市三维渲染视频流。
S1-1具体包括：
S1-1人工智能网络的城市道路网模型建立；
S1-2人工智能网络的城市建筑网模型的建立；
S1-3将步骤S1-1和S1-2建立的模型融合，形成城市道路和建筑的二维模型；
S1-4获取遥感数据中的距离数据，二维模型Mod2D中多边形边界基础上生成具有高度H的每一道路和建筑，通过3D渲染形成三维渲染模型Mod3D。
S1-1-1人工智能网络的城市A道路网模型建立，具体包括：建立城市地理坐标系E，XOY平面代表地面(X向为北)，基于城市遥感图像，利用RNN循环神经网络算法，定义步长l(根据道路总长而在1-5m中选择)以及矢量方向r作为属性矢量V，将每个起始节点以及K条入射路经方向
的点作为输入点(K个点与对应的起始点之间对应了K个初始属性矢量)，将K+1个输入点以及属性矢量V输入编码器，由解码器生成新节点；具体是对于每一个起始点的每一个方向的输入点
对应了在E下的坐标
属性矢量V对应于坐标增量
其中t表示当前输入点的序号(对于起始点为0，对于第一个新的输入点为1)，将该坐标和属性矢量V输入编码器，解码器将出射在E下生成的新节点
其中
图2(a)中示例性地给出了每隔20次节点生成循环下，总共100次节点生成循环的路网生成过程；
如图2(b)为图2(a)中圆圈范围内的局部路网扩宽示意图。将图2(b)的局部路网按照预设的宽度w以生成路网的线条为中轴线向两边进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市A道路网模型，其中w为所述遥感图像中所有道路宽度平均值的1.1倍。
参见图3，步骤S1-1-2人工智能网络的城市建筑网模型的建立，具体包括：
S1-1-2-1基于步骤S1-1中的城市遥感图像，使用无添加层的VGG-16算法作为CNN主干网络提取一系列不同卷积层获得的特征图，特征图是输入图像尺寸的1/8；
同时，通过图像金字塔算法FPN利用CNN主干网络不同层来构建特征金字塔，并预测多个建筑的边框，
S1-1-2-2对于多个建筑中的每一建筑，都对所述一系列不同卷积层获得的特征图和对应的建筑的边框利用RoIAlign算法获得建筑的本地特征图F；
S1-1-2-2对于每个建筑的所述本地特征图F采用卷积层处理形成六边形边界罩M，再利用卷积层处理形成边界罩M的6个预测顶点P；其中六边形边界罩M具体是指描述建筑在E中的XOY平面的垂直投影；；
S1-1-2-3选取P中概率最大的点作为起始点y0，利用卷积长短期记忆ConvLSTM的多层RNN算法进行6步预测，得到6个预测点P(yt+1|yt；yt-1；y0)(t≥4)封闭的建筑边界多边形，形成城市建筑网模型(如图3)；
所述步骤S1-1-3具体包括在城市地理坐标系E下，按照所述遥感图像中建筑和道路的相对坐标位置，将步骤S1-1-1和S1-1-2建立的模型融合，形成城市的二维模型Mod2D。
S1-1-4获取遥感数据中的距离数据，二维模型Mod2D中多边形边界基础上生成具有高度H(图4a)的每一道路和建筑，通过3D渲染形成三维渲染模型Mod3D(如图5，3D渲染前分别为图4a-4d)。
实施例2
实施例中的S1-2，根据三维渲染模型中预选的道路路径而进行视频的模拟录制，形成城市三维渲染视频流；其具体包括：具体包括S1-2-1，如图4a所示，选择Mod3D中感兴趣的具有宽度w道路中心线路径L，预设拍摄高度h，将模拟相机C设置在所述路径的起点(图4a中右侧C)处高度为h＝10m的位置。
S1-2-2利用所述模拟相机C拍摄获取至少一帧图像完成视频流的录制；或，移动所述模拟相机C按照所述道路路径从起点走向终点(图4a中左侧C)，完成视频流的录制。所述移动的速度为按照Mod3D模型的比例尺折算到现实场景下的1m/s所述视频流的帧率为60FPS。
实施例3
在实施例1的基础上，S2中的初始密钥和初始加密图通过以下步骤在开发者版中重新计算更新：
S3.选择S1中所述视频流中至少一帧图像融合成一张帧融合图像作为加密图，选择个数与所述至少一帧图像的个数相等的至少一种几何图形，并根据所述至少一种几何图形与所述加密图叠放后获得的图像像素特征值而获得密钥；
S4.利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述视频流进行加密。
在实施例2的基础上改选路径为如图4a-4d的飞行路径，即以拍摄到图4a的对应的真实场景中C所处位置为起始点，S3-1以直线路径飞行到图4a中右侧C点拍摄完成视频流。接着S3-2通过预设第一时间将视频流分为了四段按时间排序的拍摄的视频分流，按照Shuffle算法随机选取了各段的一帧第一图像，一共四幅图像。
如图5，S3-3将四幅图像按时间顺序从左上右上左下右下的顺序拼接成融合图像作为加密图。S3-4选择具有空白白色像素的正方形、正三角形、圆、直线段四种几何图形边缘(单像素宽度，图5位示意为实际边缘不止一个像素)，并使用radom算法选择出一个几何图形正三角形。在本实施例中，正三角形是可以内接圆，直线段，直线段长度为圆的直径，正方形边长为直线段长度。S3-5将正三角形中心和垂线与图5中左上图中心和对称轴重合，然后继续random选择为直线段、圆、正方形，分别全部完成放置，所有几何图形被四张第一图像所覆盖。
最后S3-6获取正三角形、直线段、圆、正方形边缘像素对应重合的所述融合图像中的像素的RGB三值，计算RGB各值的总值。RGB三值在边缘上分别平均(即RGB三值各总值除以几何图形的总像素，由于图5中各几何图形所覆盖的融合图像中的各像素的RGB值都十分接近而作此近似)为155、191、243，则R＝155PiQi，G＝191PiQi，B＝243PiQi，其中i＝1，2，3，4，分别代表正三角形、直线段、圆、正方形，Pi、Qi分别为几何图像的周长以及单位周长的像素个数。计算RGB三值的总值分别对于正三角形、直线段、圆、正方形边缘总像素的总平均值即
以按照RGB顺序排列所述总值和总评均值分别作为主密钥(155PiQi)(191PiQi)(243PiQi)和附加钥
作为密钥。则解密码(也即密钥)排列方式如下(155PiQi)(191PiQi)(243PiQi)
其中括号表示为计算所得到的有理数数字。
实施例4
步骤S4具体包括：
S4-1获取多幅所述加密图，分为训练集和验证集，两者比例为5:1；
S4-2以多幅所述加密图为输入端、所述密钥为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练。所述预设值为99％之间。所述人工智能解密模型卷积神经网络CNN；
S4-3获取一副初始加密图，通过建立好的人工智能解密CNN模型得到初始密钥，利用初始密钥单独或与初始加密图共同作为解密码对所述视频流进行加密，当试图读取所述视频流源数据时，需要获得该密钥单独或该密钥和加密图才能读取获取所述视频流源数据；开发者可以任意更新初始加密图以及获取初始密钥，以供对所述视频流进行解密保管和编辑和三维渲染模型的解密编辑，形成视频流和三维渲染模型的开发者版。开发者版只供开发者利用而不对外发布。
可选地，S4-3还可以利用初始密钥单独或与初始加密图共同对所述视频流和三维渲染模型进行加密，当试图读取所述视频流或三维渲染模型源数据时，需要获得该初始密钥单独或该初始密钥和初始加密图才能读取获取所述视频流或三维渲染模型源数据；开发者可以任意更新初始加密图以及获取初始密钥，以供对所述视频流进行解密保管和编辑和三维渲染模型的解密编辑，形成视频流和三维渲染模型的开发者版。
实施例5
在实施例1-4中任一个实施例基础上，步骤S1具体包括：将加密后的视频流以用户版形式发布；
步骤S2具体包括：如图6a所示，用户通过智能手机获得所述用户版之后利用查看软件播放。上述步骤S4中提及，可以利用利用初始密钥单独或与初始加密图共同对所述视频流和三维渲染模型进行加密，进一步地，步骤S2-1还可以将加密后的视频流和加密的三维渲染模型Mod3D以用户版形式发布；用户获得所述用户版之后能够利用查看软件播放和三维视角(如移动、旋转方式)观察每一帧的画面，S2中，用户可利用查看软件播放和三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的录制与所述观察。
实施例6
如图7所示，基于人工智能的城市三维渲染视频流录制、加密、和发布系统，具体包括：服务器以及(用户)终端，其中所述开发者系统用于对所述视频流进行解密保管和编辑和三维渲染模型的制作和解密编辑，并完成所述视频流和其他视频流的制作和将加密后的视频流以及加密的三维渲染模型发布，能够将其他视频流发送给用户系统，并且能够对用户的播放，和/或，拖动视频和/或选择视频时间点形成的指令进行解析而重新对已播放的视频段，和/或要拖动视频视频到目标时间点和/或选择视频时间点时的当前帧以及在拖动视频视频到目标时间点和/或选择视频时间点的目标帧加密并完成数据打包发送给终端，能够在一个季度内向用户系统发送清理所述第一和/或第二数据包的提醒消息。
所述终端包括安装有查看软件的智能手机(如图6a和6b所示)，所述服务器以及智能手机之间能够4G或5G通信。
在横向放置手机时可以看到视频界面，点击屏幕中的播放键，选择播放参数(播放速度，全屏，最小化等)后选择确定播放(图未示)，或者点击屏幕中心的三角播放按钮，即可按照最近一次播放参数播放所述视频流。其中查看按钮为查看城市3D渲染模型，以及选择在播放过程中隐藏任意的至少一个按钮，路径按钮为基于所述城市3D渲染模型选择视频流路径，导航按钮为基于城市3D渲染模型而输入目标地点而实现导航路径的规划。
如图6b，当用户在文件管理界面中试图为拷贝而选择(√符号表示选中)读取所述视频流的数据m时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图(以+号按钮为选择加密图入口)以完成读取，此时初始密钥和初始加密图已经通过步骤S3-S4重新计算更新。从而保护视频流数据不被拷贝。
实施例7
S2用户获得所述用户版之后能够利用查看软件播放视频，和/或，拖动视频和/或选择视频时间点，以及改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制、实现异地加密播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取加密后的视频流、加密的三维渲染模型、加密的其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经通过步骤S3-S4重新计算更新。
其中所述异地加密录制进一步包括：
(1)将录制过程中的所有帧按时间序列在异地先制作成其他视频流，
(2)再对制作成的其他视频流进行加密，所述加密的方法根据S3-1-S3-6以及S4-3完成；
(3)将已加密的其他视频流发送给用户。
其中播放视频过程中进一步包括：
S2-1播放视频过程中在大于第一预设时间的第三预设的时间之前5秒时，此时在拖动视频视频到目标时间点(视频还剩32秒时)或选择视频时间点(视频还剩32秒时)的目标帧后形成拖动视频视频到目标时间点或选择视频时间点的第一请求指令；在第一请求指令后0.1s又生成第二请求指令；
S2-2服务器先对所述第一请求指令进行解析，利用在播放到第三预设的时间之前5秒时的当前帧拖动视频视频到视频还剩32秒时的目标帧获得根据实施例3的再获得过程加密图以及根据实施例4利用过程加密图获得的过程密钥作为解密码，利用解密码加密所述当前帧以及所述目标帧；
S2-3服务器再对加密过的所述当前帧以及所述目标帧打包形成数据包n，并将所述数据包n以及解密码发送给用户，通过步骤S3-1-S3-6以及S4-3重新计算更新的更新密钥，或更新密钥和更新加密图。用户则利用解密码解密所述数据包n，查看软件根据解密出的所述当前帧以及所述目标帧在视频界面中将视频画面转到如图6c所示智能手机屏幕中显示的目标帧继续播放，此时判断从视频流第0秒到视频还剩32秒时的目标帧之间播放时间是否已到所述第三预设时间，如是则重复加密和数据打包发送过程，如否则继续播放直到第三预设时间继续重复加密和数据打包发送过程；
当用户试图读取所述数据包n本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入已经通过步骤S3-1-S3-6以及S4-3重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取(图6d)。其中所述重新计算是根据用户拖动视频和/或选择视频时间点时产生的第二请求指令而执行。
其中拖动视频和/或选择视频时间点过程中进一步包括：
S2-1当用户播放视频过程中在大于第一预设时间的第三预设的时间之前5秒时没有操作拖动视频或选择视频时间点，而是播放视频流到第三预设时间时形成视频分段的第一请求指令；在第一请求指令后0.5s又生成第二请求指令；
S2-2服务器先对所述第一请求指令进行解析，利用已播放的视频段再根据实施例3获得过程加密图以及根据实施例4获得的过程密钥作为解密码进行加密；
S2-3服务器再对加密过的所述已播放的视频段进行数据打包形成第一数据包，并将所述第一数据包以及过程加密图(和/或过程加密图以及根据S4-3获得的过程密钥)发送给用户，通过步骤S3-1-S3-6以及S4-3重新计算更新的更新密钥，或更新密钥和更新加密图；
当用户试图读取第一数据包本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入已经通过步骤S3-1-S3-6以及S4-3重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取。其中所述重新计算是根据第二请求指令而执行。
其中改变三维视角观察每一帧的画面的过程中进一步包括：
S2-1当用户对第三预设的时间之前5秒时的当前帧进行绕E下的Z轴顺时针旋转90°的三维视角改变观察时，形成视频分段的第一请求指令，在第一请求指令后1s又生成第二请求指令；
S2-2服务器先对所述第一请求指令进行解析，利用改变前画面和改变后画面再获得根据S3-1-S3-6得到的过程加密图以及利用所述过程加密图根据S4-3得到的过程密钥；接着利用所述过程密钥与所述过程加密图共同作为解密码对改变前画面和改变后画面进行加密；
S2-3服务器再对加密过的改变前画面和改变后画面进行数据打包形成第三数据包，并将所述第三数据包以及解密码发送给用户，通过步骤S3-1-S3-6以及S4-3重新计算更新的更新密钥，或更新密钥和更新加密图；当用户则利用解密码解密所述第三数据包，查看软件根据解密出的改变前画面和改变后画面在视频界面中将画面转到改变后画面；
当用户试图读取所述第三数据包本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图，或者已经通过S3-1-S3-6和S4-3重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取。其中所述重新计算是根据第二请求指令而执行。
Claims (17)
1.一种基于人工智能的城市三维地图视频流交互方法，其特征在于，包括如下步骤：
S1. 将加密后的视频流和三维渲染模型以用户版形式发布；其中，所述视频流是基于人工智能网络建立的城市三维渲染模型进行视频的模拟录制以及加密形成；
S2. 用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经在开发者版中重新计算更新；
其中，所述初始密钥和初始加密图通过以下步骤在开发者版中重新计算更新：
S3. 选择S1中所述视频流中至少一帧图像融合成一张帧融合图像作为加密图，选择个数与所述至少一帧图像的个数相等的至少一种几何图形，并根据所述至少一种几何图形与所述加密图叠放后获得的图像像素特征值而获得密钥；
S4. 利用加密图和所述密钥建立人工智能解密模型，获得解密码，并利用该解密码对所述视频流进行加密。
2.如权利要求1所述的方法，其特征还在于，所述S3具体包括：
S3-1将视频流按照第一预设时间步长分成多段视频分流；
S3-2通过随机选择算法选择出所述多段视频分流中每一段中至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧，所述帧的总帧数上限为10000；
S3-3将所述至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧融合成一张帧融合图像作为加密图，所述融合是将所述至少一帧第一图像，或至少一帧第一图像和至少一帧空白帧按照矩阵阵列方式排列而拼接；
S3-4选择个数与所述至少一帧第一图像的个数相等或小于该个数的至少一种规则几何图形作为密钥，其中所述几何图形由与所述至少一帧第一图像中的每个像素尺寸一致的空白像素组成，并且使得所述规则几何图形能够被放置到所述至少一帧第一图像中；
S3-5根据随机选择算法选择一个所述规则几何图形，并以下述方式将所述规则几何图形放置到所述融合图像中：将其几何中心和对称轴分别与所述融合图像中的一帧所述第一图像，或一帧所述空白帧的几何中心和对称轴重合，由此不断重复选择和放置直至所有所述规则几何图形都被放置到所述融合图像中；
S3-6获取所述规则几何图形空白像素对应重合的所述融合图像中的像素的RGB三值，计算RGB各值的总值，以及RGB三值的总值分别对于所述规则几何图形总像素的总平均值，以按照RGB顺序或其他顺序中的一者排列所述总值和总评均值分别作为主密钥和附加钥作为密钥。
3.如权利要求2所述的方法，其特征还在于，步骤S3-2-S3-5分别包括如下步骤：
S3-2还包括继续根据第二预设时间，在所述多段视频分流中每一段中从起始帧或预设的一帧为起始，每隔所述第二预设时间点或与该点附近时间差最短的一帧形成多个视频细分流，通过随机选择算法选择出所述多个视频细分流中每一细分流中至少一帧第二图像；
S3-3仅包括将所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧融合成一张帧融合图像作为加密图，所述融合是将所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧按照矩阵阵列方式排列而拼接；
S3-4仅包括选择个数与所述至少一帧第一图像和至少一帧第二图像个数总和，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧的个数总和相等或小于该个数的至少一种规则几何图形作为密钥，其中所述规则几何图形由与所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧的每个像素尺寸一致的空白像素组成，并且使得所述规则几何图形能够被放置到所述至少一帧第一图像和至少一帧第二图像，或至少一帧第一图像、至少一帧第二图像和至少一帧空白帧中；
S3-5仅包括根据随机选择算法选择一个所述规则几何图形，并以下述方式将所述规则几何图形放置到所述融合图像中：将其几何中心和对称轴分别与所述融合图像中的一帧所述第一图像、第二图像、或一帧所述空白帧的几何中心和对称轴重合，由此不断重复选择和放置直至所有所述规则几何图形都被放置到所述融合图像中。
4.如权利要求1所述的方法，其特征还在于，步骤S1具体包括：将加密后的视频流以用户版形式发布；
步骤S2具体包括：用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、加密的其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经通过步骤S3-S4在开发者版中重新计算更新。
5.如权利要求1所述的方法，其特征还在于，步骤S4具体包括：
S4-1获取多幅所述加密图，分为训练集和验证集，两者比例为10:1-1:1；
S4-2以多幅所述加密图为输入端、所述密钥为输出端建立人工智能解密模型，并不断训练和验证所述模型，直至解码准确率达到预设值以上，完成训练，所述预设值为95-100%之间；
S4-3获取一副初始加密图，通过建立好的人工智能解密模型得到初始密钥，利用初始密钥单独或与初始加密图共同对所述视频流加密，当试图读取所述视频流源数据时，需要获得该密钥单独或该密钥和加密图才能读取获取所述视频流源数据；开发者可以任意更新初始加密图以及获取初始密钥，以供对所述视频流进行解密保管和编辑，形成视频流的开发者版。
6.如权利要求5所述的方法，其特征还在于，步骤S1具体包括：将加密后的视频流和加密的三维渲染模型以用户版形式发布；
步骤S2具体包括：用户获得所述用户版之后能够利用查看软件通过异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面，还可基于加密的三维渲染模型而专门设置道路路径或飞行路径进行其他视频流的异地录制加密、异地加密实现播放视频，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面；当用户试图读取所述加密后的视频流、加密的三维渲染模型、其他视频流中任一者的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图以完成读取，或者此时初始密钥和初始加密图已经通过步骤S3-1-S3-6以及S4-3在开发者版中重新计算更新。
7.如权利要求4所述的方法，其特征还在于，S2中通过异地加密对视频或其他视频流实现播放，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面的过程中进一步包括：
S2-1播放视频或播放其他视频流过程中，在大于第一预设时间的第三预设的时间时，和/或，在拖动视频到目标时间点对应的和/或选择视频时间点对应的目标帧时，和/或，改变任一帧的画面三维视角后各自形成第一请求指令；
S2-2在异地，先对所述第一请求指令进行解析，从而利用已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面再获得根据S3得到的过程加密图以及利用所述过程加密图根据S4得到的过程密钥；接着利用所述过程密钥单独或与所述过程加密图共同作为解密码对已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面进行加密；
S2-3再对加密过的所述已播放的视频段进行数据打包形成第一数据包，并将所述第一数据包以及解密码发送给用户，和/或，
再对所述当前帧以及所述目标帧进行数据打包形成第二数据包，并将所述第二数据包以及解密码发送给用户，用户则利用解密码解密所述第二数据包，查看软件根据解密出的所述当前帧以及所述目标帧在视频界面中将视频画面转到目标帧继续播放，此时判断从视频流第一帧到目标帧之间的播放时间是否已到所述第三预设时间，如是则重复加密和数据打包发送过程，如否则继续播放直到第三预设时间继续重复加密和数据打包发送过程，和/或，
再对加密过的改变前画面和改变后画面进行数据打包形成第三数据包，并将所述第三数据包以及解密码发送给用户，用户则利用解密码解密所述第三数据包，查看软件根据解密出的改变前画面和改变后画面在视频界面中将画面转到改变后画面；
当用户试图读取所述第一、第二、第三数据包本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图，或者已经通过S3和S4重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取。
8.如权利要求6所述的方法，其特征还在于，S2中通过异地加密对视频或其他视频流实现播放，和/或，拖动视频和/或选择视频时间点，和/或，改变三维视角观察每一帧的画面的过程中进一步包括：
S2-1播放视频或播放其他视频流过程中，在大于第一预设时间的第三预设的时间时，和/或，在拖动视频到目标时间点对应的和/或选择视频时间点对应的目标帧时，和/或，改变任一帧的画面三维视角后形成改变后画面之后各自形成第一请求指令；
S2-2在异地，先对所述第一请求指令进行解析，从而利用已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面再获得根据S3-1-S3-6得到的过程加密图以及利用所述过程加密图根据S4-3得到的过程密钥；接着利用所述过程密钥单独或与所述过程加密图共同作为解密码对已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及所述目标帧，和/或改变前画面和改变后画面进行加密；
S2-3再对加密过的所述已播放的视频段进行数据打包形成第一数据包，并将所述第一数据包以及解密码发送给用户，和/或，
再对所述当前帧以及所述目标帧进行数据打包形成第二数据包，并将所述第二数据包以及解密码发送给用户，用户则利用解密码解密所述第二数据包，查看软件根据解密出的所述当前帧以及所述目标帧在视频界面中将视频画面转到目标帧继续播放，此时判断从视频流第一帧到目标帧之间的播放时间是否已到所述第三预设时间，如是则重复加密和数据打包发送过程，如否则继续播放直到第三预设时间继续重复加密和数据打包发送过程，和/或，
再对加密过的改变前画面和改变后画面进行数据打包形成第三数据包，并将所述第三数据包以及解密码发送给用户，用户则利用解密码解密所述第三数据包，查看软件根据解密出的改变前画面和改变后画面在视频界面中将画面转到改变后画面；
当用户试图读取所述第一、第二、第三数据包本身或已解密的包中对应的源数据时，查看软件会弹出对话框要求输入初始密钥或初始密钥和初始加密图，或者已经通过S3-1-S3-6和S4-3重新计算更新的更新密钥，或更新密钥和更新加密图以完成读取。
9.如权利要求7所述的方法，其特征还在于，其中所述异地录制加密进一步包括：
（1）将录制过程中的所有帧按时间序列在异地先制作成其他视频流，
（2）再对制作成的其他视频流进行加密，所述加密的方法根据S3和S4完成；
（3）将已加密的其他视频流发送给用户。
10.如权利要求8所述的方法，其特征还在于，其中所述异地录制加密进一步包括：
（1）将录制过程中的所有帧按时间序列在异地先制作成其他视频流，
（2）再对制作成的其他视频流进行加密，所述加密的方法根据S3-1-S3-6以及S4-3完成；
（3）将已加密的其他视频流发送给用户。
11.如权利要求7-10中任一项所述的方法，其特征还在于，所述重新计算是根据用户对视频或其他视频流进行播放，和/或，拖动视频和/或选择视频时间点，和/或改变任一帧的画面三维视角时产生的第一请求指令之后产生的第二请求指令而执行，且所述第一请求指令和第二请求指令请求时间间隔为0.1-1s。
12.如权利要求7-10中任一项所述的方法，其特征还在于，在第四预定时间内，提醒用户清理所述第一和/或第二数据包。
13.如权利要求12所述的方法，其特征还在于，所述第四预定时间为1天-1年。
14.如权利要求7-10中任一项所述的方法，其特征还在于，在视频流发布和/或数据包发送前用户注册获取用户ID码，只有使用ID码才能查看所述视频流、用户制作的其他视频流和3D渲染模型。
15.一种实现如权利要求1-14中任一项所述方法的基于人工智能的城市三维地图视频流交互系统，其特征在于，具体包括：开发者系统以及用户系统，其中所述开发者系统用于对所述视频流进行解密保管和编辑和三维渲染模型的制作和解密编辑，并完成所述视频流和其他视频流的制作和将加密后的视频流以及加密的三维渲染模型发布，能够将制作的其他视频流发送给用户系统，并且能够对用户在用户系统中的播放和/或拖动视频，和/或选择视频时间点，和/或改变任一帧的画面三维视角形成的指令进行解析而重新对已播放的视频段，和/或要拖动视频到目标时间点和/或选择视频时间点时的当前帧以及在拖动视频到目标时间点对应的和/或选择视频时间点对应的目标帧，和/或改变前画面和改变后画面进行加密，并完成数据打包发送给所述用户系统，能够在第四预定时间内向用户系统发送清理第一、第二、第三数据包的提醒消息，并且提供用户注册ID码的服务，其中，所述开发者系统包括服务器，而所述用户系统包括安装有查看软件的终端，所述开发者系统以及用户系之间能够通信。
16.如权利要求15所述的系统，其特征还在于，所述用户系统中包含基于所述三维渲染模型的导航模块，用于在城市中的导航，所述终端包括计算机或智能移动终端。
17.一种非暂时性存储介质，其中存储有可由开发者系统以及用户系统运行而实现如权利要求1—14中任一项基于人工智能的城市三维地图视频流交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022909.3A CN113963096B (zh) | 2021-09-01 | 2021-09-01 | 基于人工智能的城市三维地图视频流交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022909.3A CN113963096B (zh) | 2021-09-01 | 2021-09-01 | 基于人工智能的城市三维地图视频流交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963096A CN113963096A (zh) | 2022-01-21 |
| CN113963096B true CN113963096B (zh) | 2022-07-05 |
Family
ID=79460689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111022909.3A Active CN113963096B (zh) | 2021-09-01 | 2021-09-01 | 基于人工智能的城市三维地图视频流交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963096B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937441B (zh) * | 2022-11-08 | 2023-09-05 | 泰瑞数创科技(北京)股份有限公司 | 低带宽环境下的三维协同标绘方法及其系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106899782A (zh) * | 2015-12-17 | 2017-06-27 | 上海酷景信息技术有限公司 | 一种实现交互式全景视频流地图的方法 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶系统 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN112035983A (zh) * | 2020-06-05 | 2020-12-04 | 国网江西省电力有限公司新余供电分公司 | 一种基于三维实景的城市中压电网规划设计平台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784109A (zh) * | 2020-12-31 | 2021-05-11 | 张博群 | 一种视频地图制作方法 |
-
2021
- 2021-09-01 CN CN202111022909.3A patent/CN113963096B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106899782A (zh) * | 2015-12-17 | 2017-06-27 | 上海酷景信息技术有限公司 | 一种实现交互式全景视频流地图的方法 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶系统 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN112035983A (zh) * | 2020-06-05 | 2020-12-04 | 国网江西省电力有限公司新余供电分公司 | 一种基于三维实景的城市中压电网规划设计平台 |
Non-Patent Citations (2)
| Title |
|---|
| Recognition algorithm of street landscape in cold cities with high difference features based on improved neural network;Yu Chen.et al.;《Ecological Informatics》;20210813;101395 * |
| 智慧富拉尔基区管理系统软件的设计与开发;陈洪生;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第02期);I138-600 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113963096A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2818695C (en) | Guided navigation through geo-located panoramas | |
| EP3534336B1 (en) | Panoramic image generating method and apparatus | |
| CN113506370B (zh) | 基于立体遥感影像的三维地理场景模型构建方法和装置 | |
| CN105247575B (zh) | 用于在三维场景上叠加二维地图数据的系统和方法 | |
| US9024947B2 (en) | Rendering and navigating photographic panoramas with depth information in a geographic information system | |
| US9924156B2 (en) | Stereo panoramic images | |
| CN113516769B (zh) | 虚拟现实三维场景加载与渲染方法、装置和终端设备 | |
| CN113963095B (zh) | 基于人工智能的城市三维地图视频流加密方法及系统 | |
| US8390617B1 (en) | Visualizing oblique images | |
| CN110659385B (zh) | 一种多路视频与三维gis场景的融合方法 | |
| JP4858197B2 (ja) | 情報処理装置、画像表示装置、情報処理システム、情報処理方法およびプログラム | |
| EP0865000A2 (en) | Image processing method and apparatus | |
| CN107370994A (zh) | 海域全景监控方法、装置、服务器及系统 | |
| CN113963096B (zh) | 基于人工智能的城市三维地图视频流交互方法及系统 | |
| CN104969264A (zh) | 用于将注解添加到全光光场的方法和设备 | |
| CN118212361A (zh) | 水电站的三维建模方法及装置、存储介质及电子装置 | |
| JP5883673B2 (ja) | ３次元地図における地点指定システム | |
| Zhang et al. | An immersive approach to the visual exploration of geospatial network datasets | |
| CN102385760A (zh) | 用于保护模型数据的方法及系统 | |
| JP4993355B2 (ja) | 局所領域分割型自由視点映像生成におけるオクルージョン処理方式 | |
| Wang et al. | Real‐time fusion of multiple videos and 3D real scenes based on optimal viewpoint selection | |
| Liu et al. | An effective spherical panoramic LoD model for a mobile street view service | |
| JP2006146597A (ja) | 三次元画像の作成方法及び表示方法 | |
| Pantazis et al. | Are the morphing techniques useful for cartographic generalization? | |
| Sauerbier et al. | Multi-resolution image-based visualization of archaeological landscapes in Palpa (Peru) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 22 / F, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100086 Patentee after: Terry digital technology (Beijing) Co.,Ltd. Address before: 100190 22 / F, building 683, zone 2, 5 Zhongguancun South Street, Haidian District, Beijing Patentee before: Terra-IT Technology (Beijing) Co.,Ltd. |