CN116310252A - 一种三维虚拟沙盘的热点标注方法、装置和存储介质 - Google Patents
一种三维虚拟沙盘的热点标注方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116310252A CN116310252A CN202310136834.4A CN202310136834A CN116310252A CN 116310252 A CN116310252 A CN 116310252A CN 202310136834 A CN202310136834 A CN 202310136834A CN 116310252 A CN116310252 A CN 116310252A
- Authority
- CN
- China
- Prior art keywords
- hot spot
- area
- dimensional virtual
- sand table
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title description 14
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 39
- 239000000463 material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000002699 waste material Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Architecture (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供一种三维虚拟沙盘的热点标注方法、装置和存储介质。该方法通过提取第一帧图像中的一个或多个热点区域；通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。采用本申请实施例，能够提高热点区域标注的效率，避免人工标注的时间成本和用人成本的浪费。
Description
技术领域
本申请涉及电子沙盘技术领域，进一步涉及人工智能(ArtificialIntelligence,AI)在电子沙盘技术领域的应用，尤其涉及一种三维虚拟沙盘的热点标注方法、装置和存储介质。
背景技术
三维虚拟沙盘，也称三维数字沙盘或三维电子沙盘，是一种以基础地理信息数据、模型数据、属性数据、图形数据为数据基础，以各种三维仿真的手段建立的三维电子模型，被广泛应用于城市规划、军事演习、工程设计、农业规划、环境治理等领域。
现有的三维虚拟沙盘展示技术中，由于采用序列帧动画展示方式时能够展示高精度画面且对运行系统的性能要求不高，因此是一种较优的三维虚拟沙盘展示技术。
然而，正是由于三维虚拟沙盘是由序列帧动画来进行展示的，且序列帧展示方式的三维虚拟沙盘是采用逐帧动画的方式来展示三维场景变换的，一般一个三维虚拟沙盘由31-121张图片组成，每张图片所能显示的区域内容不尽相同，而在构建三维虚拟沙盘的过程中，研究人员需要将每张图片所显示的区域内容与其他图片中与上述的区域内容相同的部分作出联动，以此在后期使用三维虚拟沙盘时，能够在帧动画图片序列的某一张图片中标注某个区域后，在其他图片中能够对应标注该区域。
进一步的，若想要在帧动画图片序列的其他帧动画图片上标注同样的标记或标点时，一般会采用人工打点的方式，该方式为通过手动切换序列帧，并且通过人眼去判断每一帧需要打点的位置进行标注，这消耗了研究人员大量的时间，且非常繁琐，效率低下。
发明内容
本申请实施例提供一种三维虚拟沙盘的热点标注方法，能够提高热点区域标注的效率，避免人工标注的时间成本和用人成本的浪费。
第一方面，本申请实施例提供了一种三维虚拟沙盘的热点标注方法，所述方法应用于浏览器web网页，所述方法包括：
提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为所述web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
本申请实施例主要在于在浏览器中使用人工智能方法，实时训练模型，对帧动画图片序列中的图片的指定的区域进行识别和定位，仅需给三维虚拟沙盘的某一帧进行打点，剩余的序列帧就可以自动打上，以此替代人工一个一个地去打点的耗时且繁琐的工作，如此可提高打点速度和准确率，并且在浏览器完成上述操作，不需要额外消耗服务器性能，降本增效。
具体的，首先获取研究人员标注的所述三维虚拟沙盘的帧动画图片序列中的热点区域，随后对所标注的热点区域进行适当的处理，以将热点区域以单独的图片的形式保存，例如，对所述热点区域所在的图片进行剪切。
其次，将所述热点区域的图片输入至所述热点区域生成模型进行检索，以确定在所述帧动画图片序列的其他图片中与所述热点区域对应的目标区域，但所述帧动画图片序列中的图片同质化较为严重，导致与热点区域相似的目标区域较多，因此借助模型的能力对所述目标区域分辨，且设置预设阈值，衡量所述目标区域是否足够准确。
其次，在得到每一帧图片中均得到目标区域后，将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域。
最后，进行标记，通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示，以便在得到结果后，能够直观的将所述目标区域展示在研究人员面前，以便于研究人员对所述目标区域进行人工检查，需要说明的是，将三维虚拟沙盘和热点区域生成模型设置在服务器端则不会有如此直观的效果，且由于三维虚拟沙盘的序列帧图片较为相似，若是在服务器端进行上述过程，也不便于研究人员在模型训练阶段对热点区域生成模型进行调试。
在第一方面的又一种可能的实施方式中，所述通过热点区域生成模型检索所述帧动画图片序列的每张帧图像中与所述热点区域相似度高于预设阈值的目标区域，包括：
提取所述热点区域得到与所述热点区域对应的图像；
将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域，其中，所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据；
将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
在所述帧动画图片序列的每张帧图像中与所述热点区域相似度高于预设阈值的目标区域的过程中，需要用到热点区域生成模型，所述热点区域生成模型是根据历史的与热点区域对应的图片信息、三维虚拟沙盘的帧动画图片序列，以及在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域训练得到的，所述与热点区域对应的图片信息和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据。
训练完成的所述热点区域生成模型具备图像识别分析处理能力，且所述三维虚拟沙盘的应用较为频繁，一般在一个三维虚拟沙盘中需要进行成百上千次热点标注任务，因此在本方法的最初阶段，对热点区域生成模型进行训练时，采用的是与本申请提供的方法基本一致的步骤进行训练的，在最终热点区域生成模型的标注成功率可满足需求时即可代表训练完成。
在本实施方式中采用模型代替人工的方式对标注的热点区域进行识别和检索，大大提升了热点区域标注的效率和准确率，进而提升了三维虚拟沙盘的构建速度。
在第一方面的又一种可能的实施方式中，所述三维虚拟沙盘用于在浏览器网页中展示，所述热点区域生成模型部署在所述浏览器网页中。
模型训练以及热区识别和定位均在浏览器中完成，不消耗服务器性能，高并发，降本增效，并且自由度较高，可以任意打点；如果模型输出的目标区域出现了问题可以很直观地看出；如果将热点区域的识别和定位放在服务器来做，在多人操作的情况下会给服务器造成较大压力。
在第一方面的又一种可能的实施方式中，在所述将所述与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域之前，还包括：
对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，其中，所述数据信息包括灰度和分辨率；
根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息。
本实施方式在将所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型之前，对所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列进行图像相关数据的调整，通过将输入至模型的图像和图片的数据信息，与所述热点区域生成模型的训练数据的数据信息对齐，以使所述热点区域生成模型的准确率提高，避免在出现所述三维虚拟沙盘的帧动画图片序列在浏览器网页中保存或运转时，造成数据信息改变。
在第一方面的又一种可能的实施方式中，所述将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域，包括：
确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
由于在热点区域生成模型中生成的初始目标区域已经在模型内部经过了特征点相似度的筛选，选出了超过预设阈值的初始目标区域，但仍旧有可能存在初始目标区域有多个的情况；
具体的，由于热点区域生成模型为根据图像之间的相关性在所述三维虚拟沙盘的帧动画图片序列中检索目标区域，且所述帧动画图片序列的相关性较强，故在输出预测结果时，可能出现所预测的初始目标区域出现多个的情况。
针对上述情况，将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与模型输入数据中的热点区域进行细节信息匹配度比对，以此确定最接近于热点区域的初始目标区域为目标区域，进一步提高热点区域生成模型的预测准确率。
在第一方面的又一种可能的实施方式中，所述将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，包括：
获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；
按照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的大小，从高到低的顺序，对所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域进行排序。
在对所述至少两个与所述热点区域的相似度高于预设阈值初始目标区域和热点区域的比对和排序的过程中，依照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与热点区域两者之间的细节信息匹配度进行比对，其比对的数据为上述的细节信息；由于是构成三维虚拟沙盘的帧动画图片序列的图片中选择目标区域，而热点区域与目标区域在所述三维虚拟沙盘中所指代的是同一区域，因此在该区域中的材质信息、形状信息和颜色信息至少是相似的。因此，通过所述细节信息的比对，对所述至少两个与所述热点区域的相似度高于预设阈值初始目标区域进行排序，以选择出最接近于热点区域的初始目标区域为目标区域，进一步提高热点区域生成模型的准确率。
在第一方面的又一种可能的实施方式中，在所述通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示之后，所述方法还包括：
获取所述热点区域生成模型的训练数据的需求；
对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
提取调整后图片中的目标区域对应的图像；
将提取的所述图像输入所述热点区域生成模型进行再次训练；
将训练完成的热点区域生成模型替换原有的热点区域生成模型。
本实施方式主要涉及热点区域生成模型的更新。在模型预测完成后，由于需要在三维虚拟沙盘中展示，故所述目标区域的类别、属性或格式会进行部分调整，因此在对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以此作为训练数据对热点区域生成模型进行训练，最后，将训练完成的热点区域生成模型传输至所述浏览器网页，以替换原有的热点区域生成模型。
第二方面，本申请实施例提供一种三维虚拟沙盘的热点标注装置，所述装置至少包括第一提取单元、检索单元、标记单元、播放单元。该三维虚拟沙盘的热点标注装置用于实现第一方面任一项实施方式所描述方法，其中第一提取单元、检索单元、标记单元、播放单元的介绍如下：
第一提取单元，用于提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
检索单元，用于通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
标记单元，用于将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
播放单元，用于通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
本申请实施例主要在于在浏览器中使用人工智能方法，实时训练模型，对帧动画图片序列中的图片的指定的区域进行识别和定位，仅需给三维虚拟沙盘的某一帧进行打点，剩余的序列帧就可以自动打上，以此替代人工一个一个地去打点的耗时且繁琐的工作，如此可提高打点速度和准确率，并且在浏览器完成上述操作，不需要额外消耗服务器性能，降本增效。
具体的，首先获取研究人员标注的所述三维虚拟沙盘的帧动画图片序列中的热点区域，随后对所标注的热点区域进行适当的处理，以将热点区域以单独的图片的形式保存，例如，对所述热点区域所在的图片进行剪切。
其次，将所述热点区域的图片输入至所述热点区域生成模型进行检索，以确定在所述帧动画图片序列的其他图片中与所述热点区域对应的目标区域，但所述帧动画图片序列中的图片同质化较为严重，导致与热点区域相似的目标区域较多，因此借助模型的能力对所述目标区域分辨，且设置预设阈值，衡量所述目标区域是否足够准确。
其次，在得到每一帧图片中均得到目标区域后，将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域。
最后，进行标记，通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示，以便在得到结果后，能够直观的将所述目标区域展示在研究人员面前，以便于研究人员对所述目标区域进行人工检查，需要说明的是，将三维虚拟沙盘和热点区域生成模型设置在服务器端则不会有如此直观的效果，且由于三维虚拟沙盘的序列帧图片较为相似，若是在服务器端进行上述过程，也不便于研究人员在模型训练阶段对热点区域生成模型进行调试。
在第二方面的又一种可能的实施方式中，所述检索单元具体用于：
提取所述热点区域得到与所述热点区域对应的图像；
将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域，其中，所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据；
将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
在所述帧动画图片序列的每张帧图像中与所述热点区域相似度高于预设阈值的目标区域的过程中，需要用到热点区域生成模型，所述热点区域生成模型是根据历史的与热点区域对应的图片信息、三维虚拟沙盘的帧动画图片序列，以及在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域训练得到的，所述与热点区域对应的图片信息和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据。
训练完成的所述热点区域生成模型具备图像识别分析处理能力，且所述三维虚拟沙盘的应用较为频繁，一般在一个三维虚拟沙盘中需要进行成百上千次热点标注任务，因此在本方法的最初阶段，对热点区域生成模型进行训练时，采用的是与本申请提供的方法基本一致的步骤进行训练的，在最终热点区域生成模型的标注成功率可满足需求时即可代表训练完成。
在本实施方式中采用模型代替人工的方式对标注的热点区域进行识别和检索，大大提升了热点区域标注的效率和准确率，进而提升了三维虚拟沙盘的构建速度。
在第二方面的又一种可能的实施方式中，所述装置还包括：
识别单元，用于对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，其中，所述数据信息包括灰度和分辨率；
调整单元，用于根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息。
本实施方式在将所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型之前，对所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列进行图像相关数据的调整，通过将输入至模型的图像和图片的数据信息，与所述热点区域生成模型的训练数据的数据信息对齐，以使所述热点区域生成模型的准确率提高，避免在出现所述三维虚拟沙盘的帧动画图片序列在浏览器网页中保存或运转时，造成数据信息改变。
在第二方面的又一种可能的实施方式中，在所述将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域方面，所述检索单元具体用于：
确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
由于在热点区域生成模型中生成的初始目标区域已经在模型内部经过了特征点相似度的筛选，选出了超过预设阈值的初始目标区域，但仍旧有可能存在初始目标区域有多个的情况；
具体的，由于热点区域生成模型为根据图像之间的相关性在所述三维虚拟沙盘的帧动画图片序列中检索目标区域，且所述帧动画图片序列的相关性较强，故在输出预测结果时，可能出现所预测的初始目标区域出现多个的情况。
针对上述情况，将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与模型输入数据中的热点区域进行细节信息匹配度比对，以此确定最接近于热点区域的初始目标区域为目标区域，进一步提高热点区域生成模型的预测准确率。
在第二方面的又一种可能的实施方式中，所述将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序方面，所述检索单元具体用于：
获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；
按照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的大小，从高到低的顺序，对所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域进行排序。
在对所述至少两个与所述热点区域的相似度高于预设阈值初始目标区域和热点区域的比对和排序的过程中，依照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与热点区域两者之间的细节信息匹配度进行比对，其比对的数据为上述的细节信息；由于是构成三维虚拟沙盘的帧动画图片序列的图片中选择目标区域，而热点区域与目标区域在所述三维虚拟沙盘中所指代的是同一区域，因此在该区域中的材质信息、形状信息和颜色信息至少是相似的。因此，通过所述细节信息的比对，对所述至少两个与所述热点区域的相似度高于预设阈值初始目标区域进行排序，以选择出最接近于热点区域的初始目标区域为目标区域，进一步提高热点区域生成模型的准确率。
在第二方面的又一种可能的实施方式中，所述装置还包括：
获取单元，用于获取所述热点区域生成模型的训练数据的需求；
格式调整单元，用于对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
第二提取单元，用于提取调整后图片中的目标区域对应的图像；
训练单元，用于将提取的所述图像输入所述热点区域生成模型进行再次训练；
替换单元，用于将训练完成的热点区域生成模型替换原有的热点区域生成模型。
本实施方式主要涉及热点区域生成模型的更新。在模型预测完成后，由于需要在三维虚拟沙盘中展示，故所述目标区域的类别、属性或格式会进行部分调整，因此在对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以此作为训练数据对热点区域生成模型进行训练，最后，将训练完成的热点区域生成模型传输至所述浏览器网页，以替换原有的热点区域生成模型。
第三方面，本申请实施例提供一种三维虚拟沙盘的热点标注设备，该三维虚拟沙盘的热点标注设备包括处理器、存储器和通信接口；存储器中存储有计算机程序；处理器执行计算机程序时，所述通信接口用于发送和/或接收数据，该三维虚拟沙盘的热点标注设备可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。
需要说明的是，上述第三方面所描述的三维虚拟沙盘的热点标注设备所包含的处理器，可以是专门用于执行这些方法的处理器(便于区别称为专用处理器)，也可以是通过调用计算机程序来执行这些方法的处理器，例如通用处理器。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。
可选的，上述计算机程序可以存在存储器中。示例性的，存储器可以为非瞬时性(non-trans itory)存储器，例如只读存储器(Read On ly Memory，ROM)，其可以与处理器集成在同一块器件上，也可以分别设置在不同的器件上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中，上述至少一个存储器位于上述三维虚拟沙盘的热点标注设备之外。
在又一种可能的实施方式中，上述至少一个存储器位于上述三维虚拟沙盘的热点标注设备之内。
在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于上述三维虚拟沙盘的热点标注设备之内，另一部分存储器位于上述三维虚拟沙盘的热点标注设备之外。
本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，当所述指令在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，当所述程序在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。
可选的，该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
本申请第三至第五方面所提供的技术方案，其有益效果可以参考第一方面和第二方面的技术方案的有益效果，此处不再赘述。
附图说明
下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本申请实施例提供的一种一种电子设备的架构示意图；
图2是本申请实施例提供的一种三维虚拟沙盘的热点标注方法的流程示意图；
图3是本申请实施例提供的一种三维虚拟沙盘的热点标注的场景示意图；
图4是本申请实施例提供的一种热点区域生成模型检索方法的流程示意图；
图5是本申请实施例提供的一种三维虚拟沙盘的热点标注装置的结构示意图；
图6是本申请实施例提供的一种三维虚拟沙盘的热点标注设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细介绍。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例应用的系统架构进行介绍。需要说明的是，本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
请参见图1，图1是本申请实施例提供的一种电子设备的架构示意图，上述架构主要包括浏览器网页10，本申请实施例提供的电子设备主要通过运行计算机可读存储介质中的计算机程序来执行本申请实施例提供的方法，所述浏览器网页中包括有三维虚拟沙盘101和热点区域生成模型102，所述三维虚拟沙盘101在浏览器网页10中展示，所述热点区域生成模型102在浏览器网页10中完成构建和训练。
三维虚拟沙盘101包括帧动画图片序列，三维虚拟沙盘101的帧动画图片序列可以通过三维软件例如3D Stud io Max(以下简称3d Max)软件建立三维虚拟沙盘场景后渲染得到，或者也可以通过其它方式获取连续的场景图片得到(例如通过画图软件制作一系列连续的图片或者通过照相机拍摄连贯的一系列场景照片)，且所述帧动画图片的展示在浏览器网页10中进行。序列帧展示方式的三维虚拟沙盘101是采用逐帧动画的方式来展示三维场景变换的，例如，一个三维虚拟沙盘101由31-121张图片组成。
需要说明的是，本申请实施例中构成三维虚拟沙盘101在浏览器网页10中完成构建和运行，所述构成三维虚拟沙盘101的序列帧的图片一般存储在存储服务器或云端中。可选的，所述三维虚拟沙盘101通过终端的显示器中进行直接展示给用户，所述终端显示器可以是常见的计算机屏幕、平板屏幕、投影仪、基于3D成像技术的影像装置，也可以是其他显示装置。
进一步的，所述三维虚拟沙盘101在本实施例中主要用于接收用户对第一帧图像的标注，并生成对应的热点区域，以及对热点区域和目标区域的标注展示。
热点区域生成模型102在本实施例中是基于JavaScr ipt的谷歌张量流图(TensorF low)实现，以使热点区域生成模型102在浏览器网页中完成构建和训练，所述热点区域生成模型102包括输入层、中间层和输出层。
所述输入层主要用于接收来自三维虚拟沙盘101中的第一帧图像中的一个或多个热点区域；所述中间层主要用于在构成三维虚拟沙盘101的序列帧图片中检索与热点区域对应的目标区域；所述输出层主要用于将中间层检索到的目标区域传输至三维虚拟沙盘101，以便于三维虚拟沙盘101能够对热点区域和目标区域进行突出展示。
请参见图2，图2是本申请实施例提供的一种三维虚拟沙盘的热点标注方法的流程示意图，该三维虚拟沙盘的热点标注方法用于浏览器web网页，该热点标注方法可以基于图1所示的电子设备的架构示意图实现，也可以基于其他架构实现，该方法包括但不限于如下步骤：
步骤201：提取第一帧图像中的一个或多个热点区域。
三维虚拟沙盘的帧动画图片序列可以通过三维软件例如3D Stud io Max(以下简称3dMax)软件建立三维虚拟沙盘场景后渲染得到，或者也可以通过其它方式获取连续的场景图片得到(例如通过画图软件制作一系列连续的图片或者通过照相机拍摄连贯的一系列场景照片)。
所述第一帧图像为所述web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；所所述热点为用户输入至第一帧图像中的选择点，所述热点区域为根据用户输入的热点延伸生成的，可以是矩形的，也可以是根据上述热点选择的区域的边界生成的。
在本步骤中，接收来自用户输入的热点，并生成热点区域，具体可参见图3，所述图3为一种三维虚拟沙盘的热点标注的场景示意图。
在图3中，矩形框选中的区域为热点区域，所述热点区域中的点为热点，所述热点区域所覆盖的区域为用户想要选择的区域。
步骤202：通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域。
所述热点区域生成模型为基于JavaScr ipt的谷歌张量流图(TensorF low)实现，以便于在浏览器框架中建立和训练神经网络，通过该技术实现模型训练以及热区识别和定位，高并发，降本增效，并且自由度较高，可以任意进行打点，且如果模型输出的目标区域出现了问题可以很直观地看出；如果将热点区域的识别和定位放在服务器来做，在多人操作的情况下会给服务器造成较大压力，并且操作不当的话反而会花费更多的时间。
在一种可能的实施方式中，步骤202的具体实现请参见图4，图4为一种热点区域生成模型检索方法的流程示意图，具体如下：
步骤401：提取所述热点区域得到与所述热点区域对应的图像。
由于所述热点区域生成模型主要针对于图像的识别和处理，且构成三维虚拟沙盘的序列帧图片之间的大部分区域同质化较为严重，因此，在应用热点区域生成模型之前，将第一帧图像中的热点区域提取出来，以得到与所述热点区域对应的图像，所述与所述热点区域对应的图像用于输入至热点区域生成模型。
可选的，通过截取热点区域框选的部分图像，以提取所述热点区域。
步骤402：将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域。
所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据。
可选的，所述热点区域生成模型的代码基于如下所示的代码进行适应性调整后完成构建：
需要说明的是，在实际应用中，在根据热点区域，动态对模型进行训练之后，会有一份基于前端架构生成的JSON(JavaScr ipt Object Notat ion,对象简谱)数据保存了模型数据，其中，所述JSON数据主要用于在浏览器网页中构建热点区域生成模型，根据这份训练后的模型数据，循环所有剩余的序列帧的图片对所选择的热点区域进行识别和定位，即可得出初始目标区域。
在一种可选的实施方式中，在所述将所述与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域之前，将本次的输入数据与历史的训练数据对应的数据信息对齐，具体如下：
对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息；所述深度识别根据图像识别中的深度学习进行的，可以是自构建的深度学习的神经网络模型，也可以使用现有的进行深度学习的神经网络模型，例如卷积神经网络、残差网络或残差收缩网络。其中，所述数据信息包括灰度和分辨率；根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息，以使输入至热点区域生成模型的所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列能够与热点区域生成模型的训练数据的标准对齐，属性吻合，从而提高模型的预测准确率。
步骤403：将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
将所述初始目标区域与所述热点区域进行特征点相似度比较，可选的，所述特征点相似度比较基于两者的全部像素点的像素深度值实现，像素深度是指存储每个像素所需要的比特数；
若所述初始目标区域与所述热点区域的像素深度值的近似程度达到预设阈值，即为该初始目标区域与所述热点区域的相似度高于预设阈值。
基于模型输出的与所述热点区域的相似度高于预设阈值初始目标区域可能存在多个的情况，在一种可选的实施方式中，对一帧图片中的多个与所述热点区域的相似度高于预设阈值初始目标区域进行筛选，以选择出最接近于热点区域的初始目标区域，具体如下：
首先，确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
其次，将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
可选的，在排序的过程中，针对性地获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息，所述细节信息至少包括材质信息、形状信息和颜色信息；将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；这比对的过程中，将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行逐项展示和比对，以表1为例进行说明：
表1
上述表1主要用于展示第一初始目标区域、第二初始目标区域和第三初始目标区域与所述热点区域的细节信息中的项目细节，由表1可知，第一初始目标区域、第二初始目标区域和第三初始目标区域与所述热点区域的细节信息并未存在完成相同的情况，因此，进行逐项的比对；在材质信息一栏中，第一初始目标区域、第三初始目标区域与热点区域相符，故第一初始目标区域和第三初始目标区域的材质信息相似度计算得分为2分，第二初始目标区域和热点区域的材质信息不相符，故所述第二初始目标区域的材质信息匹配度计算得分为0分；需要说明的是，材质信息是一个数据集，主要功能就是给渲染器提供数据和光照算法，材质Mater ia l包含贴图Map，贴图包含纹理Texture，故贴图类型为其中材质信息的一部分，根据用途不同，贴图也会被分成不同的类型，比方说Diffuse Map，Specu l arMap，Norma lMap和G loss Map等。材质信息的另外一个重要部分就是光照模型Shader，用以实现不同的渲染效果，故材质信息较为复杂，在本申请实施例中不作详细阐述，具体的材质信息可参考图3所示的三维虚拟沙盘的示意图中展示出贴图、纹理和光照情况。
在形状信息一栏中，第一初始目标区域、第二初始目标区域与热点区域的相符，故第一初始目标区域、第二初始目标区域与热点区域之间的形状信息匹配度计算得分为2分，第三初始目标区域得0分；需要说明的是，由于热点区域或初始目标区域所包括的形状较多，因此，所述形状信息为热点区域和初始目标区域的形状分布情况和数量的综合。
在颜色信息一栏中，第一初始目标区域和第三初始目标区域与热点区域较为相符，但存在一定区别，故第一初始目标区域和第三初始目标区域与热点区域之间的颜色信息匹配度计算得分为1分，第二初始目标区域得0分。
综上，在不设置权重的情况下，第一初始目标区域、第二初始目标区域和第三初始目标区域分别得分为5分、2分和3分，故第一初始目标区域与热点区域的细节信息匹配度最高，第三初始目标区域次之，第二初始目标区域最低，因此，按照第一初始目标区域、第二初始目标区域和第三初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的综合得分的分值大小，从高到低的顺序，对所述第一初始目标区域、所述第二初始目标区域和所述第三初始目标区域进行排序。
最后，在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
步骤203：将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域。
在构成三维虚拟沙盘的帧动画图片序列中的每一帧图片中均具有热点区域或目标区域后，将所述热点区域和所述目标区域进行相链接，生成热点区域序列，所述热点区域与帧动画图片序列相匹配。
若第一帧图像中包括多个热点区域，则对应的生成的目标区域，会生成不同的热点区域序列。
步骤204：通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
通过Andr iod、iOS、Mac OS或TV OS等系统平台，播放帧动画图片序列展示三维虚拟沙盘，即依次逐帧地显示帧动画图片序列中的图片，进行三维虚拟沙盘的展示。
根据所述第一帧图像中的热点区域的框选模式，设置剩余的图片中的目标区域的框选模式，以使观察者能够明显知晓所述热点区域和目标区域为同一区域，可选的，所述框选模式包括矩形框选和边界框选，所述矩形框选由图3可知，为通过矩形边框将热点区域明显标注出来，所述边界框选为根据热点区域或目标区域选择的区域的内容的边界生成的，例如热点区域为三维虚拟沙盘中的篮球场，故边界框选即为将篮球场的边界进行明显突显或进行颜色变换、亮度调整等操作，以突显出该篮球场。
若在三维虚拟沙盘中标注用于生成热点区域的热点在每一帧图片中的位置，在一种可选的实施方式中，在得到每一帧图片中的热点区域或目标区域后，对所述热点区域或目标区域进行还原；在还原的过程中，根据热点区域中的热点坐标，确定目标区域中的热点坐标，根据该热点坐标，在所述每一帧图片上的相应位置上叠加热点视图，完成热点的动态标注。该热点视图可以为例如箭头、按钮等图标或者文字提示信息等。
在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示，以便于用户直观地观察每一帧图片中的热点区域或目标区域标注的是否存在问题。
在对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示之后，对所述热点区域生成模型进行自更新，具体如下：
获取所述热点区域生成模型的训练数据的需求，所述需求为格式需求，根据所述格式需求可将本次热点区域生成模型的训练数据与历史的训练数据的格式对齐，提高所述热点区域生成模型的性能；
对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
提取调整后图片中的目标区域对应的图像；
将提取的所述图像输入所述热点区域生成模型进行再次训练；
将训练完成的热点区域生成模型替换原有的热点区域生成模型。
需要说明的是，热点区域生成模型由GraphDef协议缓冲区表示，因此，通过RPC接口(例如gRPC)来获取更新后的模型，所述接口标准处理协议缓冲区，并使用所述RPC接口在Android应用中创建新的TensorFlow会话。
综上，本实施例所提供的方法应用了热点区域生成模型对热点区域进行处理，并根据热点区域对应的图像，循环所有剩余的序列帧图片对热点区域进行识别和定位，在所有结果中挑选匹配率最高的作为目标区域，并将热点区域和目标区域进行突出展示，避免了人工框选热点区域的麻烦，提高了热点区域标注的效率；进一步的，三维虚拟沙盘的展示、热点区域生成模型的构建和训练均在浏览器网页中进行，使用户能够直观地观察出热点区域和目标区域的标注情况，避免了模型构建在服务器造成的负载成本。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参见图5，图5是本申请实施例提供一种三维虚拟沙盘的热点标注装置50的结构示意图，所述三维虚拟沙盘的热点标注装置50可以是上述的电子设备，或是电子设备中的器件。该装置50可以包括第一提取单元501、检索单元502、标记单元503、播放单元504，其中，各个单元的详细描述如下。
第一提取单元501，用于提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
检索单元502，用于通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
标记单元503，用于将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
播放单元504，用于通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
在一种可能的实施方式中，所述检索单元502具体用于：
提取所述热点区域得到与所述热点区域对应的图像；
将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域，其中，所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据；
将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
在一种可能的实施方式中，所述装置50还包括：
识别单元，用于对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，其中，所述数据信息包括灰度和分辨率；
调整单元，用于根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息。
在一种可能的实施方式中，在所述将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域方面，所述检索单元502具体用于：
确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
在一种可能的实施方式中，所述将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序方面，所述检索单元502具体用于：
获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；
按照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的大小，从高到低的顺序，对所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域进行排序。
在一种可能的实施方式中，所述装置50还包括：
格式调整单元，用于根据所述热点区域生成模型的训练数据的需求，对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以使调整后的与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片符合所述热点区域生成模型的训练数据的需求；
获取单元，用于获取所述热点区域生成模型的训练数据的需求；
格式调整单元，用于对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
第二提取单元，用于提取调整后图片中的目标区域对应的图像；
训练单元，用于将提取的所述图像输入所述热点区域生成模型进行再次训练；
替换单元，用于将训练完成的热点区域生成模型替换原有的热点区域生成模型。
请参见图6，图6是本申请实施例提供的一种三维虚拟沙盘的热点标注设备60的结构示意图，所述三维虚拟沙盘的热点标注设备60可以是上述的电子设备，或是电子设备中的器件。所述三维虚拟沙盘的热点标注设备60包括：处理器601、通信接口602及存储器603。其中，处理器601、通信接口602及存储器603可通过总线或其他方式连接，本申请实施例以通过总线连接为例。
其中，处理器601是三维虚拟沙盘的热点标注设备60的计算核心以及控制核心，其可以解析三维虚拟沙盘的热点标注设备60内的各类指令以及三维虚拟沙盘的热点标注设备60的各类数据，例如：该处理器601可为中央处理器(Centra l Process ing Un it，CPU)，可以在三维虚拟沙盘的热点标注设备60内部结构之间传输各类交互数据，等等。通信接口602可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)，受处理器601的控制可以用于收发数据；通信接口602还可以用于所述三维虚拟沙盘的热点标注设备60内部信令或者指令的传输以及交互。存储器603(Memory)是所述三维虚拟沙盘的热点标注设备60中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器603既可以包括所述三维虚拟沙盘的热点标注设备60的内置存储器，当然也可以包括所述三维虚拟沙盘的热点标注设备60所支持的扩展存储器。存储器603提供存储空间，该存储空间存储了所述三维虚拟沙盘的热点标注设备60的操作系统，该存储空间还存储了处理器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
在本申请实施例中，处理器601运行存储器603中的可执行程序代码，用于执行如下操作：
提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为所述web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
在一种可选方案中，所述通过热点区域生成模型检索所述帧动画图片序列的每张帧图像中与所述热点区域相似度高于预设阈值的目标区域方面，所述处理器601具体用于：
提取所述热点区域得到与所述热点区域对应的图像；
将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域，其中，所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据；
将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
在一种可选方案中，在所述将所述与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域之前，所述处理器601还用于：
对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，其中，所述数据信息包括灰度和分辨率；
根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息。
在一种可选方案中，所述将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域方面，所述处理器601具体用于：
确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
在一种可选方案中，所述将所述至少两个初始目标区域按照与所述热点区域的相似度从高到低的顺序进行排序方面，所述处理器601具体用于：
获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；
按照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的大小，从高到低的顺序，对所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域进行排序。
在一种可选方案中，所述处理器601还用于：
获取所述热点区域生成模型的训练数据的需求；
对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
提取调整后图片中的目标区域对应的图像；
将提取的所述图像输入所述热点区域生成模型进行再次训练；
将训练完成的热点区域生成模型替换原有的热点区域生成模型。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述计算机程序当被处理器执行时使所述处理器实现图2和图4所执行的操作。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，实现图2和图4所执行的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种三维虚拟沙盘的热点标注方法，其特征在于，所述方法应用于浏览器web网页，所述方法包括：
提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为所述web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
2.根据权利要求1所述的方法，其特征在于，所述通过热点区域生成模型检索所述帧动画图片序列的每张帧图像中与所述热点区域相似度高于预设阈值的目标区域，包括：
提取所述热点区域得到与所述热点区域对应的图像；
将与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域，其中，所述热点区域生成模型是根据与历史的热点区域对应的图像、历史的三维虚拟沙盘的帧动画图片序列，以及在所述历史的三维虚拟沙盘的帧动画图片序列中的每帧图片上的与所述历史的热点区域对应的目标区域训练得到的，所述与热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列为特征数据，所述在所述帧动画图片序列中的任意一帧图片上的与热点区域对应的目标区域为标签数据；
将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域。
3.根据权利要求2所述的方法，其特征在于，所述三维虚拟沙盘用于在浏览器网页中展示，所述热点区域生成模型部署在所述浏览器网页中。
4.根据权利要求2所述的方法，其特征在于，在所述将所述与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列输入至所述热点区域生成模型，得到所述热点区域在所述帧动画图片序列的每帧图片中对应的初始目标区域之前，还包括：
对历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列进行深度识别，确定所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，其中，所述数据信息包括灰度和分辨率；
根据所述历史的热点区域对应的图像和历史的三维虚拟沙盘的帧动画图片序列的数据信息，调整与所述热点区域对应的图像和所述三维虚拟沙盘的帧动画图片序列的数据信息。
5.根据权利要求2所述的方法，其特征在于，所述将与所述热点区域的相似度高于预设阈值的初始目标区域确定为目标区域，包括：
确定所述帧动画图片序列的一帧图片中包括至少两个与所述热点区域的相似度高于预设阈值的初始目标区域；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，所述细节信息至少包括材质信息、形状信息和颜色信息；
在所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域中，选择与所述热点区域的细节信息匹配度最高的初始目标区域作为目标区域。
6.根据权利要求5所述的方法，其特征在于，所述将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域按照与所述热点区域的细节信息匹配度从高到低的顺序进行排序，包括：
获取所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域和热点区域的细节信息；
将所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息进行比对，以确定所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度；
按照所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域与所述热点区域的细节信息之间的细节信息匹配度的大小，从高到低的顺序，对所述至少两个与所述热点区域的相似度高于预设阈值的初始目标区域进行排序。
7.根据权利要求1所述的方法，其特征在于，在所述通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示之后，所述方法还包括：
获取所述热点区域生成模型的训练数据的需求；
对与所述热点区域生成模型输出的目标区域对应的帧动画图片序列中的图片进行格式调整，以符合所述热点区域生成模型的训练数据的需求；
提取调整后图片中的目标区域对应的图像；
将提取的所述图像输入所述热点区域生成模型进行再次训练；
将训练完成的热点区域生成模型替换原有的热点区域生成模型。
8.一种三维虚拟沙盘的热点标注装置，其特征在于，所述装置包括：
第一提取单元，用于提取第一帧图像中的一个或多个热点区域，其中，所述第一帧图像为web网页中的三维虚拟沙盘的帧动画图片序列中的一帧图片；
检索单元，用于通过热点区域生成模型检索所述帧动画图片序列的每帧图像中与所述热点区域相似度高于预设阈值的目标区域；
标记单元，用于将所述热点区域和与所述热点区域相似度高于预设阈值的目标区域标记为同一对象的区域；
播放单元，用于通过播放所述帧动画图片序列展示所述三维虚拟沙盘，在展示所述三维虚拟沙盘的过程中，对同一对象对应的热点区域和目标区域采用同样的标记进行突出展示。
9.一种三维虚拟沙盘的热点标注设备，其特征在于，所述三维虚拟沙盘的热点标注设备包括至少一个处理器、通信接口和存储器，所述通信接口用于发送和/或接收数据，所述存储器用于存储计算机程序，所述至少一个处理器用于调用至少一个存储器中存储的计算机程序，以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310136834.4A CN116310252A (zh) | 2023-02-09 | 2023-02-09 | 一种三维虚拟沙盘的热点标注方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310136834.4A CN116310252A (zh) | 2023-02-09 | 2023-02-09 | 一种三维虚拟沙盘的热点标注方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310252A true CN116310252A (zh) | 2023-06-23 |
Family
ID=86797014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310136834.4A Pending CN116310252A (zh) | 2023-02-09 | 2023-02-09 | 一种三维虚拟沙盘的热点标注方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310252A (zh) |
-
2023
- 2023-02-09 CN CN202310136834.4A patent/CN116310252A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| US11595737B2 (en) | Method for embedding advertisement in video and computer device | |
| JP2022515620A (ja) | 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム | |
| US20160086035A1 (en) | Storing Information For Access Using A Captured Image | |
| EP4137991A1 (en) | Pedestrian re-identification method and device | |
| US11386589B2 (en) | Method and device for image generation and colorization | |
| CN107229741B (zh) | 信息搜索方法、装置、设备以及存储介质 | |
| CN113744394B (zh) | 鞋楦三维建模方法、装置、设备及存储介质 | |
| CN114003160B (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| JP2007094679A (ja) | 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体 | |
| JP5183286B2 (ja) | 文字表示装置 | |
| CN111104608A (zh) | 一种网页数据处理方法以及相关装置 | |
| US8564594B2 (en) | Similar shader search apparatus and method using image feature extraction | |
| CN116630139A (zh) | 数据生成的方法、装置、设备和存储介质 | |
| CN110719415B (zh) | 一种视频图像处理方法、装置、电子设备及计算机可读介质 | |
| JP2007199749A (ja) | 画像検索方法及び画像検索装置 | |
| CN110457098B (zh) | 页面局部图像分享方法、装置、设备和存储介质 | |
| CN109657023B (zh) | 景区动态电子地图绘制方法、服务器及系统 | |
| CN116310252A (zh) | 一种三维虚拟沙盘的热点标注方法、装置和存储介质 | |
| US20240212239A1 (en) | Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium | |
| CN109522429A (zh) | 用于生成信息的方法和装置 | |
| CN114445355A (zh) | 遥感影像目标区域覆盖优化方法、装置、设备及介质 | |
| KR102157005B1 (ko) | 영상 필터링 기법을 적용한 딥러닝 결과영상의 정확성 향상방법 | |
| CN113177607A (zh) | 一种对训练对象的标注方法及客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |