CN110275968A - 图像数据处理方法和装置 - Google Patents
图像数据处理方法和装置 Download PDFInfo
- Publication number
- CN110275968A CN110275968A CN201910562427.3A CN201910562427A CN110275968A CN 110275968 A CN110275968 A CN 110275968A CN 201910562427 A CN201910562427 A CN 201910562427A CN 110275968 A CN110275968 A CN 110275968A
- Authority
- CN
- China
- Prior art keywords
- map
- image data
- basic
- content
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
- G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
Abstract
本发明实施例提供一种图像数据处理方法和装置，该方法包括：获取客户端发送的目标图像数据；将目标图像数据和更新地图进行匹配，得到客户端相对于更新地图的位置和姿态，其中，更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；根据客户端相对于更新地图的位置，获取AR内容以及AR内容相对于更新地图的位置和姿态；将AR内容、AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态发送给客户端，以供客户端在目标图像数据上渲染AR内容。本发明实施例提供的图像数据处理方法和装置，能够在环境变化的情况下较精确的估计出摄影机的位置和姿态。
Description
技术领域
本发明实施例涉及视觉定位技术领域，尤其涉及一种图像数据处理方法和装置。
背景技术
增强现实是一种实时计算摄影机的位置及角度，从而在对应地图上叠加相应图像、视频或3D模型的技术。增强现实能够将虚拟的信息应用到真实世界，从而达到超越现实的感官体验，因此，准确的获取摄影机相对于地图的位置的角度尤为重要。
在增强现实的应用中，如果无法获取精确的位置、姿态和尺度，虚拟的增强现实(Augmented Reality，以下简称AR)内容就很难放置到正确的位置或者无法渲染出正确的尺度，其最终表现为用户交互时的实际操作与感官体验的严重不一致，从而影响用户体验。现有的视觉定位系统大部分都是预先通过从运动图像中恢复三维结构(Structure FromMotion，以下简称SFM)技术或者直接使用深度学习对自己采集或从网络获取的图片构建定位所需要的地图，然后在估计相机位姿的时候直接利用特征角点匹配法或者深度学习的方法。
由于环境无时无刻都是在变化的，基于已构建的地图估计摄影机位姿，很难估计出摄影机的精确位置和姿态。
发明内容
本发明实施例提供一种图像数据处理方法和装置，以解决现有技术基于已构建的地图很难估计出摄影机的精确位置和姿态的问题。
第一方面，本发明实施例提供一种图像数据处理方法，包括：
获取客户端发送的目标图像数据；
将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；
根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态；
将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
在一种可能的实现方式中，所述根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态之前，所述方法还包括：
获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态；
根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，所述获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态，包括：
将所述基础地图转换为网格模型；
获取所述AR内容，根据调整参数对所述AR内容进行调整处理，以使得所述AR内容和所述基础地图处于同一坐标体系下；
根据所述调整参数获取所述AR内容相对于所述基础地图的位置和姿态。
在一种可能的实现方式中，在所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态之前，所述方法还包括：
通过图像采集设备获取基础图像数据，并根据所述基础图像数据构建基础地图；
根据众源数据库中的图像数据更新所述基础地图，得到更新地图。
在一种可能的实现方式中，所述根据所述基础图像数据构建基础地图，包括：
对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签；
根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
在一种可能的实现方式中，所述根据众源数据库中的图像数据更新所述基础地图，得到更新地图，包括：
从所述众源数据库中获取初始图像数据；
提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系；
根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态；
根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
在一种可能的实现方式中，所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，包括：
提取所述目标图像数据上的视觉特征点，所述目标图像数据上的视觉特征点包括所述目标图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述目标图像数据上的视觉特征点与所述更新地图上的三维点进行匹配，得到所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系；
根据所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，得到所述客户端相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，所述方法还包括：
将所述目标图像数据，以及所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，存储至所述众源数据库中，以更新所述众源数据库。
第二方面，本发明实施例提供一种图像数据处理装置，包括：
第一获取模块，用于获取客户端发送的目标图像数据；
匹配模块，用于将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；
第二获取模块，用于根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态；
处理模块，用于将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
在一种可能的实现方式中，在所述根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态之前，所述第二获取模块还用于：
获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态；
根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，所述第二获取模块具体还用于：
将所述基础地图转换为网格模型；
获取所述AR内容，根据调整参数对所述AR内容进行调整处理，以使得所述AR内容和所述基础地图处于同一坐标体系下；
根据所述调整参数获取所述AR内容相对于所述基础地图的位置和姿态。
在一种可能的实现方式中，在所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态之前，所述第一获取模块还用于：
通过图像采集设备获取基础图像数据，并根据所述基础图像数据构建基础地图；
根据众源数据库中的图像数据更新所述基础地图，得到更新地图。
在一种可能的实现方式中，所述第一获取模块具体还用于：
对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签；
根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
在一种可能的实现方式中，所述第一获取模块具体还用于：
从所述众源数据库中获取初始图像数据；
提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系；
根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态；
根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
在一种可能的实现方式中，所述匹配模块具体用于：
提取所述目标图像数据上的视觉特征点，所述目标图像数据上的视觉特征点包括所述目标图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述目标图像数据上的视觉特征点与所述更新地图上的三维点进行匹配，得到所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系；
根据所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，得到所述客户端相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，还包括更新模块，所述更新模块具体用于：
将所述目标图像数据，以及所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，存储至所述众源数据库中，以更新所述众源数据库。
第三方面，本发明实施例提供一种图像数据处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的图像数据处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的图像数据处理方法。
本发明实施例提供的提供的图像数据处理方法和装置，在获取客户端发送的目标图像数据后，将目标图像数据和更新地图进行匹配，得到客户端相对于更新地图的位置和姿态，然后获取AR内容和AR内容相对于更新地图的位置和姿态，发送给客户端，由客户端根据AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态，在目标图像数据上渲染AR内容。本发明实施例中，更新地图是在基础地图的基础上，通过众源数据库中的图像数据进行更新得到的，在众源数据库中包含多个不同来源的图像数据，根据这些图像数据来对基础地图进行更新，能够在环境发生变化时，更准确的获取到客户端相对于地图的位置和姿态，从而保证目标图像数据上AR内容的渲染效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视觉定位与交互系统的示意图；
图2为本发明实施例提供的图像数据处理方法的流程示意图；
图3为本发明实施例提供的构建基础地图的流程示意图；
图4为本发明实施例提供的AR融合的流程示意图；
图5为本发明实施例提供的地图更新的流程示意图；
图6为本发明又一实施例提供的图像数据处理方法的流程示意图；
图7为本发明实施例提供的渲染AR内容的效果示意图；
图8为本发明实施例提供的图像数据处理装置的结构示意图；
图9为本发明实施例提供的图像数据处理设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的视觉定位与交互系统的示意图，如图1所示，包括离线地图构建平台11、在线服务平台12和客户端13，其中，离线地图构建平台11主要用于基础地图的构建、AR内容的融合以及地图的更新。在构建基础地图时，采用的是特定的采集设备采集的基础图像数据，并进行语义分割，地图的更新采用的是众源数据库中的图像数据。
在线服务平台12主要用于视觉定位，在线服务平台12可以实时提供视觉定位的程序，在接收到序列化后的图像数据后，反序列化得到客户端13上传的原始图像数据，然后将客户端13上传的原始图像数据与更新后的地图进行匹配，来得到客户端13相对于更新后的地图的位置和姿态。
同时，在线服务平台12能够将客户端13上传的原始图像数据及其相关数据存储到众源数据库，实现对众源数据库的更新。离线地图构建平台11和在线服务平台12在具体实现中，可以由同一个服务器完成，也可以分别设置两个服务器完成。客户端13能够从在线服务平台12获取到客户端13自身相对于更新后的地图的位置和姿态，以及AR内容相对于更新后的地图的位置和姿态，进行视觉追踪，从而根据客户端13自身相对于更新后的地图的位置和姿态，以及AR内容相对于更新后的地图的位置和姿态，在客户端13上传的原始图像数据上渲染AR内容，进行实施AR体验，提高单目移动设备增强现实的用户体验。
下面以具体的实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的图像数据处理方法的流程示意图，如图2所示，包括：
S21，获取客户端发送的目标图像数据。
本发明实施例中，客户端可以为手机、平板、电脑等终端设备，客户端能够采集图像数据。例如，客户端为手机，则手机可以通过自带的照相机来拍摄图像，实现图像数据的采集。客户端在采集到目标图像数据后，需要通过一定的处理将对应的AR内容渲染在目标图像数据上，以提高增强现实应用的用户体验。因此，客户端首先采集目标图像数据，然后发送给在线服务平台，在线服务平台接收客户端发送的目标图像数据。
S22，将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的。
众源数据是由大量非专业人员志愿获取并通过互联网向大众或机关机构提供的一种开放地理空间数据。用户利用智能手机、平板、GPS接收机等工具，收集某一时刻的图像或位置信息，然后通过互联网进行上传，使得大众用户成为义务信息的提供者。众源数据与同源数据是相对的，同源数据指的是通过同一设备工具采集的信息，而众源数据指的是不同设备工具采集的信息。例如，采用同一部智能手机拍摄的图片，属于同源数据，采用不同的智能手机拍摄的图片，属于众源数据。众源数据库中的图像数据，可以通过不同的用户来进行获取，例如，可以通过互联网来召集部分用户拍摄某一地点的图像数据并进行上传，对上传图像数据的用户给予部分激励，从而不断扩充众源数据库的数据。
本发明实施例中，更新地图即是根据众源数据库的中图像数据对基础地图进行更新得到的。在构建了基础地图之后，借助众源数据库中的图像数据，对基础地图进行相应的处理，得到更新地图，其中，对基础地图的更新，能够扩充基础地图的范围，不断对基础地图进行完善。
更新地图是三维的，更新地图是由一个个三维点组成的，而目标图像数据是二维的，上面包括一个个二维点，且目标图像数据与更新地图是相关的，例如，目标图像数据的内容可以是更新地图的一部分。将目标图像数据中的二维点和更新地图中的三维点进行匹配，得到客户端拍摄该目标图像数据时，相对于更新地图的位置和姿态。其中，客户端相对于更新地图的位置指的是客户端的坐标信息，客户端相对于更新地图的姿态指的是客户端拍摄该目标图像数据时，客户端的朝向以及俯仰角等信息。
S23，根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态。
由于AR内容最后是需要渲染在目标图像数据中的，因此，在更新地图对应的多个AR内容中，需要选择与目标图像数据相关的AR内容。本发明实施例中，获取到了客户端相对于更新地图的位置后，能够获取到目标图像数据在更新地图的位置，从而获取对应的AR内容，以及AR内容相对于更新地图的位置和姿态。其中，每个AR内容对应更新地图的位置和姿态都是提前存储到离线地图构建平台的，在地图发生更新时，AR内容相对于更新地图的位置和姿态也会相应更新。在根据客户端相对于更新地图的位置获取到相应的AR内容后，就直接能够获取到AR内容相对于更新地图的位置和姿态。
S24，将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
在线服务平台将AR内容、AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态发送给客户端，客户端根据上述数据，将AR内容渲染在目标图像数据对应的位置上，其中AR内容是三维的，对于二维的目标图像数据，根据上述AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态，客户端能够将虚拟的AR内容放置到正确的位置，并渲染出正确的尺度，经过渲染后的图像，能够提高用户交互时的实际操作与感官体验的一致性。
本发明实施例提供的提供的图像数据处理方法，在获取客户端发送的目标图像数据后，将目标图像数据和更新地图进行匹配，得到客户端相对于更新地图的位置和姿态，然后获取AR内容和AR内容相对于更新地图的位置和姿态，发送给客户端，由客户端根据AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态，在目标图像数据上渲染AR内容。本发明实施例中，更新地图是在基础地图的基础上，通过众源数据库中的图像数据进行更新得到的，在众源数据库中包含多个不同来源的图像数据，根据这些图像数据来对基础地图进行更新，能够在环境发生变化时，更准确的获取到客户端相对于地图的位置和姿态，从而保证目标图像数据上AR内容的渲染效果。
下面结合图3，并采用具体的实施例，对本申请的方案进行详细说明。图3为本发明实施例提供的构建基础地图的流程示意图，如图3所示，包括：
S31，对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签。
本发明实施例中，基础图像数据是采用的专业的图像采集设备采集得到的，基础图像数据有多个，且多个基础图像数据均由同一图像采集设备采集得到，多个基础图像数据属于同源数据。由专业的图像采集设备采集的基础图像数据，相比于众源数据来说，其成像的质量更高，后续构建基础地图能够更加准确和清晰。
得到基础图像数据后，首先对基础图像数据进行语义分割，语义分割是将标签分给图像中的像素的过程，能够将图像分割成几组具有某种特定语义含义的像素区域，得到基础图像数据上每个像素点的语义标签，并识别出每个像素区域的类别。
S32，根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
通过SFM技术，根据基础图像数据来构建三维点云地图，其中，三维点云地图中包括多个三维点。然后根据基础图像数据和三维点云地图的对应关系，将基础图像数据上每个像素点的语义标签叠加到三维点云地图对应的三维点上，实现了对三维点云地图的语义分割，从而得到基础地图。
得到基础地图后，需要获取多个AR内容，并对AR内容进行融合。图4为本发明实施例提供的AR融合的流程示意图，如图4所示，包括：
S41，获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态。
具体的，将基础地图转换为网格模型，网格模型中包含一个一个的规则网格，因此可以清楚的获取到基础地图中的各个三维点分别位于哪个网格的哪个位置。
然后获取AR内容，根据调整参数对AR内容进行调整处理，使得AR内容和基础地图处于同一坐标体系下。
最后，根据调整参数获取AR内容相对于基础地图的位置和姿态。对于每一个AR内容，都可以进行上述处理，最后得到每一个AR内容相对于基础地图的位置和姿态，将其存储到数据库中。
S42，根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
通过基础地图以及众源数据库中的图像数据，能够对基础地图进行更新，在不增加人力成本的前提下使得地图越来越完善，通过众源数据库，来构建一个大区域内的地图，以点扩面，以面扩体。最开始构建的基础地图就成为更新地图中的一部分，最后根据基础地图在更新地图中的位置，以及AR相对于基础地图的位置和姿态，即可得到AR内容相对于更新地图的位置和姿态。
下面将结合图5，对基础地图的更新过程进行详细说明。图5为本发明实施例提供的地图更新的流程示意图，如图5所示，包括：
S51，从所述众源数据库中获取初始图像数据。
众源数据库中可以有不同来源的图像数据，本发明实施例中获取的初始图像数据与基础图像数据是关联的，即初始图像数据中的内容与基础图像数据中的内容需要有重合的部分。
S52，提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息。
对初始图像数据进行语义分割，来提取初始图像数据上的视觉特征点，初始图像数据上的特征点包括两个部分的特征信息，第一部分是初始图像数据上的像素点的语义分割信息，第二部分是视觉描述特征信息，这两个部分的特征信息均可以由向量进行表示。同时，视觉特征点上还包括视觉特征点的位置信息。
S53，将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系。
根据视觉特征点的两个部分的特征信息和位置信息，三维点云地图上的三维点的信息，来进行对应点的匹配，得到初始图像数据上的视觉特征点与三维点云地图对应的三维点的对应关系，其中，语义分割得到图像数据上的像素点的语义标签，能够使得匹配定位更加精确。
S54，根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态。
根据初始图像数据相对于基础地图的位置和姿态，能够将初始图像数据放置于对应的基础地图上。
S55，根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
初始图像数据中有部分内容是基础地图上没有的，因此，根据初始图像数据相对于基础地图的位置和姿态，能够得到新的地图点，新的地图点在初始图像数据的对应位置上，而初始图像数据在基础地图中也有对应的位置，因此可以获取到新的地图点在基础地图上的位置，从而将新的地图点融合到基础地图中，得到更新地图。
本发明实施例提供的提供的图像数据处理方法，在获取客户端发送的目标图像数据后，将目标图像数据和更新地图进行匹配，得到客户端相对于更新地图的位置和姿态，然后获取AR内容和AR内容相对于更新地图的位置和姿态，发送给客户端，由客户端根据AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态，在目标图像数据上渲染AR内容。本发明实施例中，更新地图是在基础地图的基础上，通过众源数据库中的图像数据进行更新得到的，在众源数据库中包含多个不同来源的图像数据，根据这些图像数据来对基础地图进行更新，能够在环境发生变化时，更准确的获取到客户端相对于地图的位置和姿态，从而保证目标图像数据上AR内容的渲染效果。同时通过众源数据使得在不增加人力以及其他成本的前提下使地图不断完善，在构建一个较小场景的基础地图的情况下，能够通过众源更新达到构建整个区域地图的程度，实现以点扩面，以面扩体。进一步的，本发明实施例使用语义分割信息辅助进行二维点和三维点的匹配定位，多元化定位方案，增加了结果的鲁棒性。
下面以一个具体的实施例对本申请的方案进行说明。
图6为本发明又一实施例提供的图像数据处理方法的流程示意图，如图6所示，包括：
S61，客户端获取目标图像数据。
S62，客户端将目标图像数据序列化后上传到在线服务平台。
对目标图像数据的序列化，可以借助相应的工具，例如protobuf工具来实现。具体的序列化的过程和实现方式此处不作特别限定。
S63，在线服务平台接收序列化后的目标图像数据。
S64，在线服务平台对序列化后的目标图像数据进行反序列化，得到原始的目标图像数据。
在线服务平台在接收到序列化后的目标图像数据后，对其进行反序列化，反序列化也可以借助类似protobuf工具等来实现，最后得到原始的目标图像数据。
S65，在线服务平台提取所述目标图像数据上的视觉特征点。
在线服务平台提取目标图像数据上的视觉特征点，目标图像数据上的视觉特征点包括目标图像数据上的像素点的语义分割信息和视觉描述特征信息，以及视觉特征点的位置信息。
S66，在线服务平台将目标图像数据和更新地图进行匹配。
在线服务平台将目标图像数据上的视觉特征点与更新地图上的三维点进行匹配，得到目标图像数据上的视觉特征点和更新地图上的三维点的对应关系，然后根据目标图像数据上的视觉特征点和更新地图上的三维点的对应关系，得到客户端相对于更新地图的位置和姿态。
S67，在线服务平台获取AR内容。
在线服务平台根据客户端相对于更新地图的位置，获取AR内容以及AR内容相对于更新地图的位置和姿态，并将AR内容、AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态发送给客户端。
S68，客户端渲染AR内容。
客户端根据获取到的AR内容相对于更新地图的位置和姿态，以及客户端自身相对于更新地图的位置和姿态，在目标图像数据上渲染AR内容。
S69，在线服务平台更新众源数据库。
在线服务平台将目标图像数据，以及目标图像数据上的视觉特征点和更新地图上的三维点的对应关系，存储至众源数据库中，以更新众源数据库，从而达到更新地图的目的。
图7为本发明实施例提供的渲染AR内容的效果示意图，如图7所示，包括客户端71，显示于客户端71上的目标图像数据72，以及在目标图像数据72上渲染的AR内容73。
若AR内容73发生更新，为了保证不同版本之间AR内容的兼容性，在线服务平台会将AR内容73的位置和姿态，以及不同版本AR内容之间的转换关系发送给客户端71，以便客户端71能够实时获取到不同版本的AR内容的位置和姿态，将虚拟的AR内容73成功渲染到正确的位置和角度上。
同时，客户端71中还包括视觉追踪程序，在客户端71发生移动或者转动时，视觉追踪程序能够及时获取到客户端71发生移动或转动的相关信息，并上传给在线服务平台，在线服务平台根据客户端71发生移动或转动的相关信息，以及客户端71在发生移动或转动之前客户端71相对于更新地图的位置和姿态，得到客户端71在发生移动或转动之后客户端相对于更新地图的位置和姿态，从而重新更新AR内容73的位置，保证在客户端71发生移动或转动时，用户的实际操作与感官体验保持一致。
本发明实施例提供的提供的图像数据处理方法，在获取客户端发送的目标图像数据后，将目标图像数据和更新地图进行匹配，得到客户端相对于更新地图的位置和姿态，然后获取AR内容和AR内容相对于更新地图的位置和姿态，发送给客户端，由客户端根据AR内容相对于更新地图的位置和姿态以及客户端相对于更新地图的位置和姿态，在目标图像数据上渲染AR内容。本发明实施例中，更新地图是在基础地图的基础上，通过众源数据库中的图像数据进行更新得到的，在众源数据库中包含多个不同来源的图像数据，根据这些图像数据来对基础地图进行更新，能够在环境发生变化时，更准确的获取到客户端相对于地图的位置和姿态，从而保证目标图像数据上AR内容的渲染效果。同时，在每个客户端上传目标图像数据后，在线服务平台会将目标图像数据及其相关信息存储到众源数据库中，对众源数据库进行更新，因此能够延长定位地图的生命周期，减小时间、季节变化对定位结果的干扰。同时通过众源数据使得在不增加人力以及其他成本的前提下使地图不断完善，在构建一个较小场景的基础地图的情况下，能够通过众源更新达到构建整个区域地图的程度，实现以点扩面，以面扩体。进一步的，本发明实施例使用语义分割信息辅助进行二维点和三维点的匹配定位，多元化定位方案，增加了结果的鲁棒性。将定制的AR内容置于目标图像数据上，完善了AR内容和地图数据的实时对应关系，同时避免了地图的更新对AR内容的位置和姿态的影响，实现了不同时间、不同类别的AR内容之间的共享。
图8为本发明实施例提供的图像数据处理装置的结构示意图，如图8所示，包括第一获取模块81、匹配模块82、第二获取模块83和处理模块84，其中：
第一获取模块81用于获取客户端发送的目标图像数据；
匹配模块82用于将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；
第二获取模块83用于根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态；
处理模块84用于将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
在一种可能的实现方式中，在所述根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态之前，所述第二获取模块83还用于：
获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态；
根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，所述第二获取模块83具体还用于：
将所述基础地图转换为网格模型；
获取所述AR内容，根据调整参数对所述AR内容进行调整处理，以使得所述AR内容和所述基础地图处于同一坐标体系下；
根据所述调整参数获取所述AR内容相对于所述基础地图的位置和姿态。
在一种可能的实现方式中，在所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态之前，所述第一获取模块81还用于：
通过图像采集设备获取基础图像数据，并根据所述基础图像数据构建基础地图；
根据众源数据库中的图像数据更新所述基础地图，得到更新地图。
在一种可能的实现方式中，所述第一获取模块81具体还用于：
对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签；
根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
在一种可能的实现方式中，所述第一获取模块81具体还用于：
从所述众源数据库中获取初始图像数据；
提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系；
根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态；
根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
在一种可能的实现方式中，所述匹配模块82具体用于：
提取所述目标图像数据上的视觉特征点，所述目标图像数据上的视觉特征点包括所述目标图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述目标图像数据上的视觉特征点与所述更新地图上的三维点进行匹配，得到所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系；
根据所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，得到所述客户端相对于所述更新地图的位置和姿态。
在一种可能的实现方式中，还包括更新模块，所述更新模块具体用于：
将所述目标图像数据，以及所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，存储至所述众源数据库中，以更新所述众源数据库。
本发明实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例提供的图像数据处理设备的硬件结构示意图，如图9所示，该图像数据处理设备包括：至少一个处理器91和存储器92。其中，处理器91和存储器92通过总线93连接。
可选地，该模型确定还包括通信部件。例如，通信部件可以包括接收器和/或发送器。
在具体实现过程中，至少一个处理器91执行所述存储器92存储的计算机执行指令，使得至少一个处理器91执行如上的图像数据处理方法。
处理器91的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述图9所示的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像数据处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种图像数据处理方法，其特征在于，包括：
获取客户端发送的目标图像数据；
将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；
根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态；
将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态之前，所述方法还包括：
获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态；
根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
3.根据权利要求2所述的方法，其特征在于，所述获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态，包括：
将所述基础地图转换为网格模型；
获取所述AR内容，根据调整参数对所述AR内容进行调整处理，以使得所述AR内容和所述基础地图处于同一坐标体系下；
根据所述调整参数获取所述AR内容相对于所述基础地图的位置和姿态。
4.根据权利要求1所述的方法，其特征在于，在所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态之前，所述方法还包括：
通过图像采集设备获取基础图像数据，并根据所述基础图像数据构建基础地图；
根据众源数据库中的图像数据更新所述基础地图，得到更新地图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述基础图像数据构建基础地图，包括：
对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签；
根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
6.根据权利要求5所述的方法，其特征在于，所述根据众源数据库中的图像数据更新所述基础地图，得到更新地图，包括：
从所述众源数据库中获取初始图像数据；
提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系；
根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态；
根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
7.根据权利要求1所述的方法，其特征在于，所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，包括：
提取所述目标图像数据上的视觉特征点，所述目标图像数据上的视觉特征点包括所述目标图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述目标图像数据上的视觉特征点与所述更新地图上的三维点进行匹配，得到所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系；
根据所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，得到所述客户端相对于所述更新地图的位置和姿态。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
将所述目标图像数据，以及所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，存储至所述众源数据库中，以更新所述众源数据库。
9.一种图像数据处理装置，其特征在于，包括：
第一获取模块，用于获取客户端发送的目标图像数据；
匹配模块，用于将所述目标图像数据和更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态，其中，所述更新地图是根据众源数据库中的图像数据对基础地图进行更新得到的；
第二获取模块，用于根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态；
处理模块，用于将所述AR内容、所述AR内容相对于所述更新地图的位置和姿态以及所述客户端相对于所述更新地图的位置和姿态发送给所述客户端，以供所述客户端在所述目标图像数据上渲染所述AR内容。
10.根据权利要求9所述的装置，其特征在于，在所述根据所述客户端相对于所述更新地图的位置，获取AR内容以及所述AR内容相对于所述更新地图的位置和姿态之前，所述第二获取模块还用于：
获取所述AR内容以及所述AR内容相对于所述基础地图的位置和姿态；
根据所述基础地图在所述更新地图中的位置，以及所述AR内容相对于所述基础地图的位置和姿态，得到所述AR内容相对于所述更新地图的位置和姿态。
11.根据权利要求10所述的装置，其特征在于，所述第二获取模块具体还用于：
将所述基础地图转换为网格模型；
获取所述AR内容，根据调整参数对所述AR内容进行调整处理，以使得所述AR内容和所述基础地图处于同一坐标体系下；
根据所述调整参数获取所述AR内容相对于所述基础地图的位置和姿态。
12.根据权利要求9所述的装置，其特征在于，在所述将所述目标图像数据和所述更新地图进行匹配，得到所述客户端相对于所述更新地图的位置和姿态之前，所述第一获取模块还用于：
通过图像采集设备获取基础图像数据，并根据所述基础图像数据构建基础地图；
根据众源数据库中的图像数据更新所述基础地图，得到更新地图。
13.根据权利要求12所述的装置，其特征在于，所述第一获取模块具体还用于：
对所述基础图像数据进行语义分割，得到所述基础图像数据上每个像素点的语义标签；
根据所述基础图像数据构建三维点云地图，将所述基础图像数据上每个像素点的语义标签叠加到所述三维点云地图对应的三维点上，得到所述基础地图。
14.根据权利要求13所述的装置，其特征在于，所述第一获取模块具体还用于：
从所述众源数据库中获取初始图像数据；
提取所述初始图像数据上的视觉特征点，所述初始图像数据上的视觉特征点包括所述初始图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点进行匹配，得到所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系；
根据所述初始图像数据上的视觉特征点与所述三维点云地图对应的三维点的对应关系，得到所述初始图像数据相对于所述基础地图的位置和姿态；
根据所述初始图像数据相对于所述基础地图的位置和姿态，得到新的地图点，将所述新的地图点融合到所述基础地图中，得到所述更新地图。
15.根据权利要求9所述的装置，其特征在于，所述匹配模块具体用于：
提取所述目标图像数据上的视觉特征点，所述目标图像数据上的视觉特征点包括所述目标图像数据上的像素点的语义分割信息和视觉描述特征信息；
将所述目标图像数据上的视觉特征点与所述更新地图上的三维点进行匹配，得到所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系；
根据所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，得到所述客户端相对于所述更新地图的位置和姿态。
16.根据权利要求15所述的装置，其特征在于，还包括更新模块，所述更新模块具体用于：
将所述目标图像数据，以及所述目标图像数据上的视觉特征点和所述更新地图上的三维点的对应关系，存储至所述众源数据库中，以更新所述众源数据库。
17.一种图像数据处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至8任一项所述的图像数据处理方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的图像数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910562427.3A CN110275968A (zh) | 2019-06-26 | 2019-06-26 | 图像数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910562427.3A CN110275968A (zh) | 2019-06-26 | 2019-06-26 | 图像数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110275968A true CN110275968A (zh) | 2019-09-24 |
Family
ID=67963303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910562427.3A Pending CN110275968A (zh) | 2019-06-26 | 2019-06-26 | 图像数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110275968A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866977A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111665943A (zh) * | 2020-06-08 | 2020-09-15 | 浙江商汤科技开发有限公司 | 一种位姿信息展示方法及装置 |
| CN112269851A (zh) * | 2020-11-16 | 2021-01-26 | Oppo广东移动通信有限公司 | 地图数据更新方法、装置、存储介质与电子设备 |
| CN112461227A (zh) * | 2020-10-22 | 2021-03-09 | 新兴际华集团有限公司 | 轮式底盘机器人巡检智能化自主导航方法 |
| CN113838200A (zh) * | 2021-09-23 | 2021-12-24 | 北京百度网讯科技有限公司 | 模型适配方法、装置、电子设备及可读存储介质 |
| CN117390057A (zh) * | 2023-12-11 | 2024-01-12 | 成都智达万应科技有限公司 | 一种地图数据查询方法及系统 |
| WO2024060953A1 (zh) * | 2022-09-20 | 2024-03-28 | 北京字跳网络技术有限公司 | 用于增强现实交互的方法、装置、设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104335649A (zh) * | 2012-04-26 | 2015-02-04 | 首尔市立大学校产学协力团 | 基于图像匹配的确定智能手机位置和姿态的方法和系统 |
| CN104641399A (zh) * | 2012-02-23 | 2015-05-20 | 查尔斯·D·休斯顿 | 用于创建环境并用于共享环境中基于位置的体验的系统和方法 |
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| CN107665505A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| US20190080462A1 (en) * | 2017-09-14 | 2019-03-14 | Samsung Electronics Co., Ltd. | Method and apparatus for calculating depth map based on reliability |
| CN109613974A (zh) * | 2018-10-18 | 2019-04-12 | 西安理工大学 | 一种大场景下的ar家居体验方法 |
-
2019
- 2019-06-26 CN CN201910562427.3A patent/CN110275968A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104641399A (zh) * | 2012-02-23 | 2015-05-20 | 查尔斯·D·休斯顿 | 用于创建环境并用于共享环境中基于位置的体验的系统和方法 |
| CN104335649A (zh) * | 2012-04-26 | 2015-02-04 | 首尔市立大学校产学协力团 | 基于图像匹配的确定智能手机位置和姿态的方法和系统 |
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| CN107665505A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| US20190080462A1 (en) * | 2017-09-14 | 2019-03-14 | Samsung Electronics Co., Ltd. | Method and apparatus for calculating depth map based on reliability |
| CN109613974A (zh) * | 2018-10-18 | 2019-04-12 | 西安理工大学 | 一种大场景下的ar家居体验方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何汉武等: "《增强现实交互方法与实现》", 31 December 2018, 华中科技大学出版社 * |
| 陈锐志等: "基于智能手机的室内定位技术的发展现状和挑战", 《测绘学报》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082801A1 (zh) * | 2019-10-31 | 2021-05-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN110866977A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111179435B (zh) * | 2019-12-24 | 2024-02-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111665943A (zh) * | 2020-06-08 | 2020-09-15 | 浙江商汤科技开发有限公司 | 一种位姿信息展示方法及装置 |
| CN111665943B (zh) * | 2020-06-08 | 2023-09-19 | 浙江商汤科技开发有限公司 | 一种位姿信息展示方法及装置 |
| CN112461227A (zh) * | 2020-10-22 | 2021-03-09 | 新兴际华集团有限公司 | 轮式底盘机器人巡检智能化自主导航方法 |
| CN112461227B (zh) * | 2020-10-22 | 2023-07-21 | 新兴际华集团有限公司 | 轮式底盘机器人巡检智能化自主导航方法 |
| CN112269851A (zh) * | 2020-11-16 | 2021-01-26 | Oppo广东移动通信有限公司 | 地图数据更新方法、装置、存储介质与电子设备 |
| CN113838200A (zh) * | 2021-09-23 | 2021-12-24 | 北京百度网讯科技有限公司 | 模型适配方法、装置、电子设备及可读存储介质 |
| CN113838200B (zh) * | 2021-09-23 | 2023-10-20 | 北京百度网讯科技有限公司 | 模型适配方法、装置、电子设备及可读存储介质 |
| WO2024060953A1 (zh) * | 2022-09-20 | 2024-03-28 | 北京字跳网络技术有限公司 | 用于增强现实交互的方法、装置、设备和存储介质 |
| CN117390057A (zh) * | 2023-12-11 | 2024-01-12 | 成都智达万应科技有限公司 | 一种地图数据查询方法及系统 |
| CN117390057B (zh) * | 2023-12-11 | 2024-03-19 | 成都智达万应科技有限公司 | 一种地图数据查询方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275968A (zh) | 图像数据处理方法和装置 | |
| CN109658365B (zh) | 图像处理方法、装置、系统和存储介质 | |
| CN107862744B (zh) | 航空影像三维建模方法及相关产品 | |
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| CN109242961A (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
| CN110599605A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| JP2016218999A (ja) | ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN109740571A (zh) | 图像采集的方法、图像处理的方法、装置和电子设备 | |
| JP6921686B2 (ja) | 生成装置、生成方法、及びプログラム | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN113160420A (zh) | 一种三维点云重建的方法、装置、电子设备及存储介质 | |
| CN112308977B (zh) | 视频处理方法、视频处理装置和存储介质 | |
| CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN111508033A (zh) | 相机参数确定方法、图像处理方法、存储介质及电子装置 | |
| CN114450719A (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| CN112511815B (zh) | 图像或视频生成方法及装置 | |
| CN113240811B (zh) | 三维人脸模型创建方法、系统、设备及存储介质 | |
| CN111179408A (zh) | 三维建模的方法及设备 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |