CN113449122B - 一种三维场景图的解说内容生成方法和装置 - Google Patents

一种三维场景图的解说内容生成方法和装置 Download PDF

Info

Publication number
CN113449122B
CN113449122B CN202110779169.1A CN202110779169A CN113449122B CN 113449122 B CN113449122 B CN 113449122B CN 202110779169 A CN202110779169 A CN 202110779169A CN 113449122 B CN113449122 B CN 113449122B
Authority
CN
China
Prior art keywords
scene
dimensional
scene image
dimensional scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110779169.1A
Other languages
English (en)
Other versions
CN113449122A (zh
Inventor
许玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Haochuan Network Technology Co ltd
Original Assignee
Guangzhou Haochuan Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Haochuan Network Technology Co ltd filed Critical Guangzhou Haochuan Network Technology Co ltd
Priority to CN202110779169.1A priority Critical patent/CN113449122B/zh
Publication of CN113449122A publication Critical patent/CN113449122A/zh
Application granted granted Critical
Publication of CN113449122B publication Critical patent/CN113449122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种三维场景图的解说内容生成方法和装置，所述方法包括:获取平面场景图像，并将平面场景图像转化为三维场景图像；然后识别三维场景图像中的所有场景，生成每一场景的锚点坐标；然后将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；然后将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；最后将三维场景图像、锚点坐标、解说词和训练结果进行融合，生成三维场景图像的完整解说内容。本发明能够自动编辑生成三维场景图像，无需人工编辑，减少人工成本，提高了三维场景图像的生成效率；同时为三维场景图像智能匹配对应的解说内容，为用户提供智能解说，提高用户的观看体验。

Description

一种三维场景图的解说内容生成方法和装置
技术领域
本发明属于图像处理技术领域，具体涉及一种三维场景图的解说内容生成方法和装置。
背景技术
目前，随着计算机图形图像处理技术的快速发展，由于三维虚拟场景可以将平面场景图片形象生动地再现为现实场景，能够给人们带来了良好的视觉效果和体验，从而在三维可视化技术领域得到了广泛的运用。
现有技术中，在制作带有解说功能的三维场景图像时，通常是将获取到的二维场景图片进行手动剪切，然后人工锚点，最后为某些场景适配对应的人工解说，整个过程操作十分麻烦，费时费力，人工成本过高。
发明内容
本发明的目的是提供一种三维场景图的解说内容生成方法和装置，用于解决现有技术中存在的至少一个问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供一种三维场景图的解说内容生成方法，包括：
获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容。
在一种可能的设计中，还包括：
将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
在一种可能的设计中，还包括：
接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
在一种可能的设计中，将所述平面场景图像转化为三维场景图像，包括：
基于畸变算法模型将所述平面场景图像变形为三维场景图像。
在一种可能的设计中，将所述平面场景图像转化为三维场景图像之后，还包括：
将所述三维场景图像投影在二维平面上获得二维图片；
按比例切割所述二维图片得到多个切片，并将每一切片按比例参数进行保存。
在一种可能的设计中，识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标，包括：
将每一切片转化为四维的矩阵数据；
将所述矩阵数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该切片中的场景为数据库中已有的场景；
基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点。
在一种可能的设计中，所述训练结果包括：所述三维场景图像中各个场景的调用顺序以及各个场景的解说词的调用顺序。
第二方面，本发明提供一种三维场景图的解说内容生成装置，包括：
图像转化模块，用于获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
场景识别与锚点生成模块，用于识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
解说词选定模块，用于将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
训练结果获取模块，用于将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
完整内容生成模块，用于将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容。
在一种可能的设计中，还包括：
数据导入模块，用于将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
在一种可能的设计中，还包括：
引导和解说模块，用于接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
在一种可能的设计中，在将所述平面场景图像转化为三维场景图像，所述图像转化模块具体用于：
基于畸变算法模型将所述平面场景图像变形为三维场景图像。
在一种可能的设计中，所述装置还包括：
二维图片获取模块，用于将所述三维场景图像投影在二维平面上获得二维图片；
切片保存模块，用于按比例切割所述二维图片得到多个切片，并将每一切片按比例参数进行保存。
在一种可能的设计中，在识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标时，所述场景识别与锚点生成模块具体用于：
将每一切片转化为四维的矩阵数据；
将所述矩阵数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该切片中的场景为数据库中已有的场景；
基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点。
在一种可能的设计中，所述训练结果包括：所述三维场景图像中各个场景的调用顺序以及各个场景的解说词的调用顺序。
第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的基于裸眼VR的视频播放方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的三维场景图的解说内容生成方法。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的三维场景图的解说内容生成方法。
有益效果：
1.本发明通过获取平面场景图像，并将所述平面场景图像转化为三维场景图像；然后识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；然后将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；然后将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；最后将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容。本发明能够自动编辑生成三维场景图像，无需人工编辑，减少人工成本，提高了三维场景图像的生成效率；同时为三维场景图像智能匹配对应的解说内容，为用户提供智能引导和解说，提高用户的观看体验。
2.本发明以虚拟机器人作为载体，利用虚拟机器人引导和解说三维场景图像，增强三维场景图像与用户之间的交互，提高用户体验。
附图说明
图1为本发明提供的三维场景图的解说内容生成方法的流程图；
图2为本发明提供的三维场景图的解说内容生成装置的结构框图。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。
实施例
第一方面，如图1所示，本实施例提供一种三维场景图的解说内容生成方法，包括但不限于由步骤S101～S105实现：
步骤S101.获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
其中，需要说明的是，获取平面场景图像可以是通过图像采集装置采集平面场景图像，其中，所述图像采集装置包括：摄像装置和扫描装置，例如高清相机、高清摄像机、结构光扫描装置和线激光扫描装置等。
其中，需要说明的是，通过获取平面场景图像，能够获取到图像的几何信息，包括但不限于几何形状的类型和几何形状的图案等；还能获取到图像的内容信息，包括但不限于颜色信息、纹理信息和文字信息等。
作为步骤S101一个可选的实施方式，将所述平面场景图像转化为三维场景图像，包括：
基于畸变算法模型将所述平面场景图像变形为三维场景图像；其中，通过畸变算法将二维的平面场景图像变形为具有360度的三维场景图像，能够获得场景图像的立体图，在获得三维场景图像之后，所述方法还包括：
将所述三维场景图像投影在二维平面上获得二维图片；优选的，在获得二维图片之后，将所述二维图片进行保存；
按比例切割所述二维图片得到多个切片，并将每一切片按比例参数进行保存；优选的，将切片按比例参数进行保存时，可以将切片按比例参数保存在xml文件中。
作为步骤S102.识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
其中，需要说明的是，可以利用人工智能模型识别所述三维场景图像的所有场景，例如，该三维场景图像可以是商品房的全景图，则包括客厅，卧室，卫生间和厨房等场景；具体包括：
步骤S102a.将每一切片转化为四维的矩阵数据；
步骤S102b.将所述矩阵数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该切片为数据库中已有的场景；
其中，在数据库中存储有现有的所有场景数据，将所述矩阵数据与数据库中的场景数据进行相似度匹配时，可以基于该矩阵数据与数据库中的场景数据的相似度，判断该切片中是否包含数据库有已有的数据；其中，所述阈值可以设定为80％、85％、90％或95％等，具体不做限定，优选的为80％。
步骤S102c.基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点。
其中，人工智能模型在分析切片数据时，会分析各个场景所在的位置以及各个场景相互的位置关系，从而根据各个场景在三维场景图像中的绝对位置生成位置锚点，并根据各个场景之间的位置关系生成关系锚点；例如：客厅和卧室是左右关系，当前场景是客厅，根据此关系可以建立一个向右的箭头，用户点击该箭头即可跳转到卧室。
步骤S103.将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
其中，人工智能模型在识别出场景后，可赋予每一场景唯一的ID，则基于场景ID到数据库中查找匹配，即可获取对应的解说词。
步骤S104.将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
其中，需要说明的是，只有锚点坐标和解说词文本的情况下，尚无法根据根据相应场景做出最恰当的解说，因为场景的不同、场景之间的相互关系不同或者解说词顺序也会出现不同情况的解说内容；因此，需要基于人工智能模型进行一定数量的训练，才会对不同场景的解说，场景之间转换的解说以及不同场景不同语音做出正确选择；其中，训练获得的结果数据，可以保存在data文件中。
其中，需要说明的是，所述训练结果包括：所述三维场景图像中各个场景的调用顺序以及各个场景的解说词的调用顺序。
在步骤S104一个可选的实施方式中，在获得训练结果后，还包括：
将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
步骤S105.将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容。
其中，需要说明的是，训练结果包含对三维场景图像各个场景的调用顺序和解说词的调用顺序，锚点数据包含三维场景图像各场景的位置和关系；通过根据各数据的交叉关系进行顺序调用，能够获取最合适的解说内容；其中的顺序关系和组织关系可以以数据的格式保存，供虚拟机器人出场解说时调用，则在一种可能的设计中，还包括：
接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
基于上述公开的内容，能够自动编辑生成三维场景图像，无需人工编辑，减少人工成本，提高了三维场景图像的生成效率；同时为三维场景图像智能匹配对应的解说内容，为用户提供智能引导和解说，提高用户的观看体验；此外，以虚拟机器人作为载体，利用虚拟机器人引导和解说三维场景图像，增强三维场景图像与用户之间的交互，提高用户体验。
第二方面，如图2所示，本发明提供一种三维场景图的解说内容生成装置，包括：
图像转化模块，用于获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
场景识别与锚点生成模块，用于识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
解说词选定模块，用于将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
训练结果获取模块，用于将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
完整内容生成模块，用于将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容。
在一种可能的设计中，还包括：
数据导入模块，用于将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
在一种可能的设计中，还包括：
引导和解说模块，用于接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
在一种可能的设计中，在将所述平面场景图像转化为三维场景图像，所述图像转化模块具体用于：
基于畸变算法模型将所述平面场景图像变形为三维场景图像。
在一种可能的设计中，所述装置还包括：
二维图片获取模块，用于将所述三维场景图像投影在二维平面上获得二维图片；
切片保存模块，用于按比例切割所述二维图片得到多个场景切片，并将每一场景切片按比例参数进行保存。
在一种可能的设计中，在识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标时，所述场景识别与锚点生成模块具体用于：
将每一场景转化为四维的矩阵场景数据；
将所述矩阵场景数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该场景为数据库中已有的场景；
基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点。
在一种可能的设计中，所述训练结果包括：所述三维场景图像中各个场景的调用顺序以及各个场景的解说词的调用顺序。
本实施例第二方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的三维场景图的解说内容生成方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述收发器可以但不限于为WiFi(无线保真)无线收发器、蓝牙无线收发器、GPRS(General Packet Radio Service，通用分组无线服务技术)无线收发器和/或ZigBee(紫蜂协议，基于IEEE802.15.4标准的低功耗局域网协议)无线收发器等；所述处理器可以不限于采用型号为STM32F105系列的微处理器。
本实施例第三方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的三维场景图的解说内容生成方法。其中，所述可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的三维场景图的解说内容生成方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种三维场景图的解说内容生成方法，其特征在于，包括：
获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容；
将所述平面场景图像转化为三维场景图像之后，还包括：
将所述三维场景图像投影在二维平面上获得二维图片；
按比例切割所述二维图片得到多个切片，并将每一切片按比例参数进行保存；
识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标，包括：
将每一切片转化为四维的矩阵数据；
将所述矩阵数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该切片中的场景为数据库中已有的场景；
基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点；
其中，每一场景对应有唯一的ID，基于场景ID到数据库中查找匹配，获取对应的解说词。
2.根据权利要求1所述的三维场景图的解说内容生成方法，其特征在于，还包括：
将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
3.根据权利要求2所述的三维场景图的解说内容生成方法，其特征在于，还包括：
接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
4.根据权利要求1所述的三维场景图的解说内容生成方法，其特征在于，
将所述平面场景图像转化为三维场景图像，包括：
基于畸变算法模型将所述平面场景图像变形为三维场景图像。
5.根据权利要求1所述的三维场景图的解说内容生成方法，其特征在于，所述训练结果包括：所述三维场景图像中各个场景的调用顺序以及各个场景的解说词的调用顺序。
6.一种三维场景图的解说内容生成装置，其特征在于，包括：
图像转化模块，用于获取平面场景图像，并将所述平面场景图像转化为三维场景图像；
场景识别与锚点生成模块，用于识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标；
解说词选定模块，用于将每一场景与数据库的场景进行相似度匹配，并基于最优相似度选定对应的解说词；
训练结果获取模块，用于将每一场景的锚点坐标和解说词输入人工智能模型进行综合训练，并获得训练结果；
完整内容生成模块，用于将所述三维场景图像、所述锚点坐标、所述解说词和所述训练结果进行融合，生成所述三维场景图像的完整解说内容；
将所述平面场景图像转化为三维场景图像之后，还包括：
将所述三维场景图像投影在二维平面上获得二维图片；
按比例切割所述二维图片得到多个切片，并将每一切片按比例参数进行保存；
识别所述三维场景图像中的所有场景，生成每一场景的锚点坐标，包括：
将每一切片转化为四维的矩阵数据；
将所述矩阵数据与数据库中的场景数据进行相似度匹配，当相似度超过阈值时，判定该切片中的场景为数据库中已有的场景；
基于每一场景在所述三维场景图像中的绝对位置生成位置锚点，并基于每一场景相互之间的位置关系生成关系锚点；
其中，每一场景对应有唯一的ID，基于场景ID到数据库中查找匹配，获取对应的解说词。
7.根据权利要求 6所述的三维场景图的解说内容生成装置，其特征在于，还包括：
数据导入模块，用于将所述训练结果、所述锚点坐标和所述解说词导入虚拟机器人中。
8.根据权利要求7所述的三维场景图的解说内容生成装置，其特征在于，还包括：
引导和解说模块，用于接收图像解说指令，在所述三维场景图像中展示所述虚拟机器人，并通过所述虚拟机器人对所述三维场景图像进行导引和解说。
CN202110779169.1A 2021-07-09 2021-07-09 一种三维场景图的解说内容生成方法和装置 Active CN113449122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779169.1A CN113449122B (zh) 2021-07-09 2021-07-09 一种三维场景图的解说内容生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779169.1A CN113449122B (zh) 2021-07-09 2021-07-09 一种三维场景图的解说内容生成方法和装置

Publications (2)

Publication Number Publication Date
CN113449122A CN113449122A (zh) 2021-09-28
CN113449122B true CN113449122B (zh) 2023-01-17

Family

ID=77815706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779169.1A Active CN113449122B (zh) 2021-07-09 2021-07-09 一种三维场景图的解说内容生成方法和装置

Country Status (1)

Country Link
CN (1) CN113449122B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598515A (en) * 1994-01-10 1997-01-28 Gen Tech Corp. System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene
CN108549486A (zh) * 2018-04-11 2018-09-18 腾讯科技（深圳）有限公司 虚拟场景中实现解说的方法及装置
CN110111427A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种房屋虚拟三维空间内游走路线自动生成方法及装置
CN110110104A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种自动生成虚拟三维空间内房屋讲解的方法及装置
CN111768729A (zh) * 2019-04-02 2020-10-13 北京传送科技有限公司 一种vr场景自动解说方法、系统和存储介质
CN112987921A (zh) * 2021-02-19 2021-06-18 车智互联（北京）科技有限公司 一种vr场景讲解方案生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869664B2 (en) * 2007-06-21 2011-01-11 F. Hoffmann-La Roche Ag Systems and methods for alignment of objects in images
CN106251403B (zh) * 2016-06-12 2018-02-16 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598515A (en) * 1994-01-10 1997-01-28 Gen Tech Corp. System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene
CN108549486A (zh) * 2018-04-11 2018-09-18 腾讯科技（深圳）有限公司 虚拟场景中实现解说的方法及装置
CN111768729A (zh) * 2019-04-02 2020-10-13 北京传送科技有限公司 一种vr场景自动解说方法、系统和存储介质
CN110111427A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种房屋虚拟三维空间内游走路线自动生成方法及装置
CN110110104A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种自动生成虚拟三维空间内房屋讲解的方法及装置
CN112987921A (zh) * 2021-02-19 2021-06-18 车智互联（北京）科技有限公司 一种vr场景讲解方案生成方法

Also Published As

Publication number Publication date
CN113449122A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN107343220B (zh) 数据处理方法、装置和终端设备
CN110110104B (zh) 一种自动生成虚拟三维空间内房屋讲解的方法及装置
CN112598785B (zh) 虚拟形象的三维模型生成方法、装置、设备及存储介质
CN115205949B (zh) 图像生成方法以及相关设备
US11288851B2 (en) Signal change apparatus, method, and program
WO2020228326A1 (zh) 一种可视化三维扫描建模方法、系统、设备及存储介质
US11354774B2 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
CN111667557B (zh) 动画制作方法及装置、存储介质、终端
WO2022116545A1 (zh) 一种基于多特征识别的交互方法、装置及计算机设备
CN107992937B (zh) 基于深度学习的非结构化数据判决方法和装置
CN113641859B (zh) 脚本生成方法、系统、计算机存储介质及计算机程序产品
CN113449122B (zh) 一种三维场景图的解说内容生成方法和装置
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
CN116681613A (zh) 人脸关键点检测的仿光照增强方法、装置、介质及设备
CN115249221A (zh) 图像处理方法、装置和云设备
CN115376033A (zh) 信息生成方法及装置
CN110909187B (zh) 图像存储方法、图像读取方法、图像存储器及存储介质
CN114037889A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN111259182A (zh) 一种截屏图像的搜索方法和装置
CN114037786A (zh) 卡通动画的生成方法、设备及存储介质
WO2023236815A1 (zh) 三维模型传输方法及其装置、存储介质、程序产品
CN113836328A (zh) 图像数据处理方法及装置
CN117689845A (zh) 虚拟资源处理方法及装置
CN114863435A (zh) 文本提取方法及装置
CN115543780A (zh) 数据分析方法以及遥感任务执行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant