CN116310918A - 基于混合现实的室内关键物体识别定位方法、装置及设备 - Google Patents
基于混合现实的室内关键物体识别定位方法、装置及设备 Download PDFInfo
- Publication number
- CN116310918A CN116310918A CN202310124499.6A CN202310124499A CN116310918A CN 116310918 A CN116310918 A CN 116310918A CN 202310124499 A CN202310124499 A CN 202310124499A CN 116310918 A CN116310918 A CN 116310918A
- Authority
- CN
- China
- Prior art keywords
- indoor
- indoor object
- virtual reality
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合现实的室内关键物体识别定位方法、装置及设备，包括获取针对目标室内区域的图像视频流，并识别获其中包括的室内物体集以及各室内物体的二维图像信息；将各室内物体的二维图像反投影映射至三维真实空间；获取各室内物体在三维真实空间中的分布空间位置，并确定与各室内物体对应的虚拟现实模型锚点信息以构建对应的虚拟现实模型；若检测到当前拍摄对准室内区域中存在当前室内物体，获取对应的目标虚拟现实模型并与当前室内物体融合显示。本发明实施例实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于混合现实的室内关键物体识别定位方法、装置及设备。
背景技术
随着人工智能技术的发展和应用，为当今各行各业提供了降本增效的可能性。在日新月异的信息化开放时代，家装领域数字化转型势在必行。
家装设计过程中，设计师需要先进行量房得到客户家比较精准的户型真实尺寸，现有智能量房软件能够大体测量出户型墙体数据，但户型测量后很多辅助测量元素也需要被记录，设计师往往采用拍照来估计其大体位置。例如，强弱电点位，包含开关、中央空调控制面板，插座，网络接口等；强弱电箱，包含强弱电电箱等；卫浴部件，包含马桶，花洒，下水，水表等；主要家居，包含床，沙发等大件物体；厨房部件，包含燃气表，水管阀门等；室内开孔位置，包含空调预留口烟道等。通过这些传统手段，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率。
发明内容
本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备，旨在解决现有技术中家装设计师在基于智能量房软件量房时仅能测量出户型墙体数据，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率的问题。
第一方面，本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法，其包括：
获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
获取各室内物体在三维真实空间中的分布空间位置；
根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
第二方面，本发明实施例还提供了一种基于混合现实的室内关键物体识别定位装置，其包括：
视频采集单元，用于获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
物体二维信息获取单元，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
反投影映射单元，用于将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
分布位置确定单元，用于获取各室内物体在三维真实空间中的分布空间位置；
锚点信息获取单元，用于根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
AR模型构建单元，用于基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
混合现实融合单元，用于若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法。
本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备，方法包括：获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；获取各室内物体在三维真实空间中的分布空间位置；根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。本发明实施例实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于混合现实的室内关键物体识别定位方法的流程示意图；
图2为本发明实施例提供的基于混合现实的室内关键物体识别定位方法的子流程示意图；
图3为本发明实施例提供的基于混合现实的室内关键物体识别定位方法的另一子流程示意图；
图4为本发明实施例提供的基于混合现实的室内关键物体识别定位装置的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备。本发明实施例中的基于混合现实的室内关键物体识别定位方法应用于基于混合现实的室内关键物体识别定位装置，基于混合现实的室内关键物体识别定位装置中设置有一个或多个处理器、存储器，以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现基于混合现实的室内关键物体识别定位方法。
图1是本发明实施例提供的基于混合现实的室内关键物体识别定位方法的流程示意图。如图1所示，该方法包括以下步骤S110-S170。
S110、获取针对目标室内区域的图像视频流。
其中，所述图像视频流为具有景象深度信息的视频流。
在本实施例中，当本申请是以服务器或智能终端为执行主体描述技术方案。若以智能终端(如智能手机等)的用户(如室内设计师等)在到达了目标室内区域后，使用智能终端的图像采集装置(如摄像头等，而且该图像采集装置能获取景象深度信息)采集目标室内区域的图像视频流。其中，图像视频流本质是包括多帧视频图像，每一帧视频图像均带有景象深度信息。当完成了针对目标室内区域的所有房间所有物品的拍摄采集后，即可以此为数据基础进行后续的图像分析和数据处理等。
S120、基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息。
其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信。
在本实施例中，在获取了所述图像视频流后，可以基于智能终端中预先存储的图像识别模型(如目标检测算法模型)获取所述图像视频流中包括的所有室内物体以组成室内物体集。在基于图像识别模型获取所述图像视频流中包括的所有室内物体时，每一室内物体以智能终端的当前定位点为基准，并结合智能终端中与该室内物体对应的目标检测框区域，及室内物体相对于当前定位点的景象深度信息，是能确定室内物体的二维图像信息。
在一实施例中，如图2所示，步骤S120中基于图像识别获取所述图像视频流中包括的室内物体集包括：
S121、将所述图像视频流按帧拆分，得到多帧视频图片以组成视频图片集；
S122、根据预设的图片筛选策略从所述视频图片集中筛选视频图片，组成目标视频图片集；
S123、将所述目标视频图片集中各目标视频图片基于目标检测模型进行图像识别，得到各目标视频图片对应的识别结果以组成室内物体集。
在本实施例中，当使用智能终端的图像采集装置采集目标室内区域的图像视频流后，由于视频本质上是由多帧图像组成，故可以先将所述图像视频流按帧拆分，得到多帧图像视频以组成视频图片集。由于目前一般的图像视频流1s时长至少由24帧视频图片组成，故可以将所述图像视频流依照图片采集时序按帧拆分得到多帧视频图片以组成视频图片集。之后，基于预设的图片筛选策略从所述视频图片集中筛选视频图片，如将视频图片集中各视频图片依次编号，选取编号能被N整除(如将N设置为4、5、6、7、8、9、10等正整数)的视频图片并组成目标视频图片集。最后将所述目标视频图片集中各目标视频图片基于目标检测模型(如YoloV3、YoloV5等目标检测模型)进行图像识别，得到各目标视频图片对应的识别结果(室内物体对应的识别结果一般为门、窗、强弱电电箱、卫浴部件如马桶等、主要家居如床等、厨房部件如燃气表等)，从而组成室内物体集。可见，基于上述方式，可以快速的对图像视频流中存在的室内物体进行检测和识别。
在步骤S120中基于图像识别获取所述图像视频流中包括的室内物体集后，还能基于图像视频流中所具有的景象深度信息及各室内物体对应的目标检测框区域，并结合每一室内物体以智能终端的当前定位点为基准可确定了各室内物体的二维图像信息，即可进一步确定各室内物体的二维图像。例如，在所述图像视频流的其中一帧视频图像中基于目标检测算法模型确定了其中存在的室内物体是窗户，且还可以基于目标检测算法模型确定窗口分布区域对应的目标检测框区域，即该目标检测框区域是完全包围住窗户的外轮廓，该目标检测框区域一般是矩形框且矩形框的四个顶点坐标即可确定目标检测框区域的在二维屏幕坐标系下的具体分布位置。如上基于窗户这一室内物体对应的目标检测框区域后，在对应的视频图像中基于目标检测框区域截取到窗户的二维图像，从而实现了室内物体的精准识别和定位。
S130、将各室内物体的二维图像基于反投影映射至三维真实空间。
其中，各室内物体的二维图像包括二维图像信息。
在本实施例中，在获取到了目标室内区域内的各室内物体的二维图像后，已知了各室内物体的二维坐标及对应的景象深度信息，然后可以将各室内物体的二维图像基于反投影技术映射至三维真实空间，此处的三维真实空间即为包括了目标室内区域且还包括目标室内区域之外所有区域的三维空间。通过这一转换，实现了各室内物体从二维空间映射到三维空间。
在一实施例中，如图3所示，步骤S130包括：
S131、获取反投影对应的转换矩阵；
S132、将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。
在本实施例中，在采用反投影技术时，由于已知了各室内物体的二维图像，也是已知各室内物体的景象深度信息，故可以基于景象深度信息等信息确定反投影对应的转换矩阵，之后再将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。可见，基于上述方式可以快速将二维图像映射到三维真实空间的三维世界坐标系下。
S140、获取各室内物体在三维真实空间中的分布空间位置。
在本实施例中，当获取了各室内物体在三维真实空间中的三维坐标后，即可确定各室内物体在三维真实空间(即真实世界的三维世界坐标系)下的坐标位置。
在一实施例中，步骤S140包括：
获取各室内物体在三维真实空间中的顶点坐标，以确定各室内物体在三维真实空间中的分布空间位置。
在本实施例中，例如，窗户A这一室内物体在三维真实空间中存在的区域是一个立方体形状的区域，则窗户A在三维真实世界中其8个顶点坐标是确定的，8个顶点坐标确定的立方体区域则为窗户A在三维真实空间中的分布空间位置。这样，当确定了每一室内物体的核心坐标(如顶点坐标、边界线坐标等)后，即可确定各室内物体在三维真实空间中的分布空间位置。
S150、根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息。
在本实施例中，为了快速对各室内物体进行虚拟现实模型的构建，需要先基于各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息。例如，仍参考上述示例，窗户A的8个顶点坐标确定了其分布空间位置，则可以将窗户A的8个顶点坐标作为窗户A对应的虚拟现实模型锚点信息。
在一实施例中，步骤S150之后还包括：
将各室内物体对应的虚拟现实模型锚点信息基于卡尔曼滤波进行矫正，以更新各室内物体对应的虚拟现实模型锚点信息。
在本实施例中，由于各室内物体对应的虚拟现实模型锚点信息可能存在一定误差，此时可以基于卡尔曼滤波器对各室内物体对应的虚拟现实模型锚点信息进行卡尔曼滤波，从而矫正更新得到各室内物体对应的虚拟现实模型锚点信息。可见，基于这一过滤调整，可以使得各室内物体的锚点定位更加准确。
S160、基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型。
在本实施例中，当已知了各室内物体对应的虚拟现实模型锚点信息，相当于各室内物体在三维真实世界中的锚点位置以完成精准定位，此时可以基于各虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型，也即完成了各室内物体的AR模型构建。
在一实施例中，步骤S160包括：
将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。
在本实施例中，在智能终端或服务器中集成了Mesh功能组件(可以理解为安装了Mesh平台这一用于将3D模型转换为AR模型的应用软件)，当将各室内物体对应的虚拟现实模型锚点信息导入所述Mesh功能组件的Mesh网格模型，即可快速构建与各室内物体对应的虚拟现实模型，从而完成室内物体由视频中的图像而快速转换为虚拟现实模型。
S170、若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
在本实施例中，混合现实技术(即MR技术，MR的全称是MixedReality)，其将真实世界和虚拟世界混合在一起，产生新的可视化环境，环境中同时包含了物理实体与虚拟信息。当用户在使用智能终端数字化量房的过程中将真实世界中的室内物体由图像采集装置采集得到，而且将与室内物体对应的虚拟现实模型在智能终端本地或上传至服务器中完成构建，之后即可将室内物体的物理实体与虚拟现实模型融合并显示。
此时用户使用MR设备与智能终端通讯后，即可使用户看到无法区分虚拟物体和真实物体的混合现实模型。由于数字化量房过程中，用户只需使用智能终端采集室内的完整视频数据，之后即可由在智能终端本地或上传至服务器中构建室内物体的虚拟现实模型并与室内物体的物理实体融合，无需用户针对室内物体进行人工建模还原，提高了还原效率。
该方法实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。
图4是本发明实施例提供的一种基于混合现实的室内关键物体识别定位装置的示意性框图。如图4所示，对应于以上基于混合现实的室内关键物体识别定位方法，本发明还提供一种基于混合现实的室内关键物体识别定位装置。该基于混合现实的室内关键物体识别定位装置包括用于执行上述基于混合现实的室内关键物体识别定位方法的单元、装置或终端。请参阅图4，该基于混合现实的室内关键物体识别定位装置100包括：视频采集单元110、物体二维信息获取单元120、反投影映射单元130、分布位置确定单元140、锚点信息获取单元150、AR模型构建单元160及混合现实融合单元170。
视频采集单元110，用于获取针对目标室内区域的图像视频流。
其中，所述图像视频流为具有景象深度信息的视频流。
在本实施例中，当本申请是以服务器或智能终端为执行主体描述技术方案。若以智能终端(如智能手机等)的用户(如室内设计师等)在到达了目标室内区域后，使用智能终端的图像采集装置(如摄像头等，而且该图像采集装置能获取景象深度信息)采集目标室内区域的图像视频流。其中，图像视频流本质是包括多帧视频图像，每一帧视频图像均带有景象深度信息。当完成了针对目标室内区域的所有房间所有物品的拍摄采集后，即可以此为数据基础进行后续的图像分析和数据处理等。
物体二维信息获取单元120，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息。
其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信。
在本实施例中，在获取了所述图像视频流后，可以基于智能终端中预先存储的图像识别模型(如目标检测算法模型)获取所述图像视频流中包括的所有室内物体以组成室内物体集。在基于图像识别模型获取所述图像视频流中包括的所有室内物体时，每一室内物体以智能终端的当前定位点为基准，并结合智能终端中与该室内物体对应的目标检测框区域，及室内物体相对于当前定位点的景象深度信息，是能确定室内物体的二维图像信息。
在一实施例中，物体二维信息获取单元120用于：
将所述图像视频流按帧拆分，得到多帧视频图片以组成视频图片集；
根据预设的图片筛选策略从所述视频图片集中筛选视频图片，组成目标视频图片集；
将所述目标视频图片集中各目标视频图片基于目标检测模型进行图像识别，得到各目标视频图片对应的识别结果以组成室内物体集。
在本实施例中，当使用智能终端的图像采集装置采集目标室内区域的图像视频流后，由于视频本质上是由多帧图像组成，故可以先将所述图像视频流按帧拆分，得到多帧图像视频以组成视频图片集。由于目前一般的图像视频流1s时长至少由24帧视频图片组成，故可以将所述图像视频流依照图片采集时序按帧拆分得到多帧视频图片以组成视频图片集。之后，基于预设的图片筛选策略从所述视频图片集中筛选视频图片，如将视频图片集中各视频图片依次编号，选取编号能被N整除(如将N设置为4、5、6、7、8、9、10等正整数)的视频图片并组成目标视频图片集。最后将所述目标视频图片集中各目标视频图片基于目标检测模型(如YoloV3、YoloV5等目标检测模型)进行图像识别，得到各目标视频图片对应的识别结果(室内物体对应的识别结果一般为门、窗、强弱电电箱、卫浴部件如马桶等、主要家居如床等、厨房部件如燃气表等)，从而组成室内物体集。可见，基于上述方式，可以快速的对图像视频流中存在的室内物体进行检测和识别。
在物体二维信息获取单元120中基于图像识别获取所述图像视频流中包括的室内物体集后，还能基于图像视频流中所具有的景象深度信息及各室内物体对应的目标检测框区域，并结合每一室内物体以智能终端的当前定位点为基准可确定了各室内物体的二维图像信息，即可进一步确定各室内物体的二维图像。例如，在所述图像视频流的其中一帧视频图像中基于目标检测算法模型确定了其中存在的室内物体是窗户，且还可以基于目标检测算法模型确定窗口分布区域对应的目标检测框区域，即该目标检测框区域是完全包围住窗户的外轮廓，该目标检测框区域一般是矩形框且矩形框的四个顶点坐标即可确定目标检测框区域的在二维屏幕坐标系下的具体分布位置。如上基于窗户这一室内物体对应的目标检测框区域后，在对应的视频图像中基于目标检测框区域截取到窗户的二维图像，从而实现了室内物体的精准识别和定位。
反投影映射单元130，用于将各室内物体的二维图像基于反投影映射至三维真实空间。
其中，各室内物体的二维图像包括二维图像信息。
在本实施例中，在获取到了目标室内区域内的各室内物体的二维图像后，已知了各室内物体的二维坐标及对应的景象深度信息，然后可以将各室内物体的二维图像基于反投影技术映射至三维真实空间，此处的三维真实空间即为包括了目标室内区域且还包括目标室内区域之外所有区域的三维空间。通过这一转换，实现了各室内物体从二维空间映射到三维空间。
在一实施例中，反投影映射单元130用于：
获取反投影对应的转换矩阵；
将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。
在本实施例中，在采用反投影技术时，由于已知了各室内物体的二维图像，也是已知各室内物体的景象深度信息，故可以基于景象深度信息等信息确定反投影对应的转换矩阵，之后再将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。可见，基于上述方式可以快速将二维图像映射到三维真实空间的三维世界坐标系下。
分布位置确定单元140，用于获取各室内物体在三维真实空间中的分布空间位置。
在本实施例中，当获取了各室内物体在三维真实空间中的三维坐标后，即可确定各室内物体在三维真实空间(即真实世界的三维世界坐标系)下的坐标位置。
在一实施例中，分布位置确定单元140用于：
获取各室内物体在三维真实空间中的顶点坐标，以确定各室内物体在三维真实空间中的分布空间位置。
在本实施例中，例如，窗户A这一室内物体在三维真实空间中存在的区域是一个立方体形状的区域，则窗户A在三维真实世界中其8个顶点坐标是确定的，8个顶点坐标确定的立方体区域则为窗户A在三维真实空间中的分布空间位置。这样，当确定了每一室内物体的核心坐标(如顶点坐标、边界线坐标等)后，即可确定各室内物体在三维真实空间中的分布空间位置。
锚点信息获取单元150，用于根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息。
在本实施例中，为了快速对各室内物体进行虚拟现实模型的构建，需要先基于各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息。例如，仍参考上述示例，窗户A的8个顶点坐标确定了其分布空间位置，则可以将窗户A的8个顶点坐标作为窗户A对应的虚拟现实模型锚点信息。
在一实施例中，基于混合现实的室内关键物体识别定位装置100还包括：
卡尔曼滤波矫正单元，用于将各室内物体对应的虚拟现实模型锚点信息基于卡尔曼滤波进行矫正，以更新各室内物体对应的虚拟现实模型锚点信息。
在本实施例中，由于各室内物体对应的虚拟现实模型锚点信息可能存在一定误差，此时可以基于卡尔曼滤波器对各室内物体对应的虚拟现实模型锚点信息进行卡尔曼滤波，从而矫正更新得到各室内物体对应的虚拟现实模型锚点信息。可见，基于这一过滤调整，可以使得各室内物体的锚点定位更加准确。
AR模型构建单元160，用于基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型。
在本实施例中，当已知了各室内物体对应的虚拟现实模型锚点信息，相当于各室内物体在三维真实世界中的锚点位置以完成精准定位，此时可以基于各虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型，也即完成了各室内物体的AR模型构建。
在一实施例中，AR模型构建单元160用于：
将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。
在本实施例中，在智能终端或服务器中集成了Mesh功能组件(可以理解为安装了Mesh平台这一用于将3D模型转换为AR模型的应用软件)，当将各室内物体对应的虚拟现实模型锚点信息导入所述Mesh功能组件的Mesh网格模型，即可快速构建与各室内物体对应的虚拟现实模型，从而完成室内物体由视频中的图像而快速转换为虚拟现实模型。
混合现实融合单元170，用于若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
在本实施例中，混合现实技术(即MR技术，MR的全称是MixedReality)，其将真实世界和虚拟世界混合在一起，产生新的可视化环境，环境中同时包含了物理实体与虚拟信息。当用户在使用智能终端数字化量房的过程中将真实世界中的室内物体由图像采集装置采集得到，而且将与室内物体对应的虚拟现实模型在智能终端本地或上传至服务器中完成构建，之后即可将室内物体的物理实体与虚拟现实模型融合并显示。
此时用户使用MR设备与智能终端通讯后，即可使用户看到无法区分虚拟物体和真实物体的混合现实模型。由于数字化量房过程中，用户只需使用智能终端采集室内的完整视频数据，之后即可由在智能终端本地或上传至服务器中构建室内物体的虚拟现实模型并与室内物体的物理实体融合，无需用户针对室内物体进行人工建模还原，提高了还原效率。
本装置实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于混合现实的室内关键物体识别定位系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于混合现实的室内关键物体识别定位系统可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备400集成了本发明实施例所提供的任一种基于混合现实的室内关键物体识别定位系统。
参阅图5，该计算机设备400包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括存储介质403和内存储器404。
该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行一种基于混合现实的室内关键物体识别定位方法。
该处理器402用于提供计算和控制能力，以支撑整个计算机设备的运行。
该内存储器404为存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述的基于混合现实的室内关键物体识别定位方法。
该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现如下步骤：
获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
获取各室内物体在三维真实空间中的分布空间位置；
根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
应当理解，在本发明实施例中，处理器402可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器402还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质，既可以是易失性存储介质，也可以是非易失性存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
获取各室内物体在三维真实空间中的分布空间位置；
根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于混合现实的室内关键物体识别定位方法，其特征在于，包括：
获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
获取各室内物体在三维真实空间中的分布空间位置；
根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
2.根据权利要求1所述的方法，其特征在于，所述基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型，包括：
将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。
3.根据权利要求1所述的方法，其特征在于，所述基于图像识别获取所述图像视频流中包括的室内物体集，包括：
将所述图像视频流按帧拆分，得到多帧视频图片以组成视频图片集；
根据预设的图片筛选策略从所述视频图片集中筛选视频图片，组成目标视频图片集；
将所述目标视频图片集中各目标视频图片基于目标检测模型进行图像识别，得到各目标视频图片对应的识别结果以组成室内物体集。
4.根据权利要求1所述的方法，其特征在于，所述将各室内物体的二维图像基于反投影映射至三维真实空间，包括：
获取反投影对应的转换矩阵；
将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。
5.根据权利要求1所述的方法，其特征在于，所述获取各室内物体在三维真实空间中的分布空间位置，包括：
获取各室内物体在三维真实空间中的顶点坐标，以确定各室内物体在三维真实空间中的分布空间位置。
6.根据权利要求1所述的方法，其特征在于，所述根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息之后，所述方法还包括：
将各室内物体对应的虚拟现实模型锚点信息基于卡尔曼滤波进行矫正，以更新各室内物体对应的虚拟现实模型锚点信息。
7.一种基于混合现实的室内关键物体识别定位装置，其特征在于，包括：
视频采集单元，用于获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；
物体二维信息获取单元，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；
反投影映射单元，用于将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；
分布位置确定单元，用于获取各室内物体在三维真实空间中的分布空间位置；
锚点信息获取单元，用于根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；
AR模型构建单元，用于基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；
混合现实融合单元，用于若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。
8.根据权利要求7所述的基于混合现实的室内关键物体识别定位装置，其特征在于，所述AR模型构建单元用于：
将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124499.6A CN116310918B (zh) | 2023-02-16 | 2023-02-16 | 基于混合现实的室内关键物体识别定位方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124499.6A CN116310918B (zh) | 2023-02-16 | 2023-02-16 | 基于混合现实的室内关键物体识别定位方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310918A true CN116310918A (zh) | 2023-06-23 |
| CN116310918B CN116310918B (zh) | 2024-01-09 |
Family
ID=86812286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310124499.6A Active CN116310918B (zh) | 2023-02-16 | 2023-02-16 | 基于混合现实的室内关键物体识别定位方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310918B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612224A (zh) * | 2023-07-18 | 2023-08-18 | 山东新天地智能工程有限公司 | 一种数字映射可视化管理系统 |
| CN117830576A (zh) * | 2024-03-06 | 2024-04-05 | 中国水利水电第七工程局有限公司 | 一种基于mr设备的混合现实定位方法、系统及介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| US20170316606A1 (en) * | 2016-04-28 | 2017-11-02 | Verizon Patent And Licensing Inc. | Methods and Systems for Creating and Manipulating an Individually-Manipulable Volumetric Model of an Object |
| CN108921889A (zh) * | 2018-05-16 | 2018-11-30 | 天津大学 | 一种基于扩增现实应用的室内三维定位方法 |
| CN109063799A (zh) * | 2018-08-10 | 2018-12-21 | 珠海格力电器股份有限公司 | 设备的定位方法和装置 |
| CN109117499A (zh) * | 2018-07-02 | 2019-01-01 | 东易日盛家居装饰集团股份有限公司 | 一种橱柜木作智能布局方法、系统及计算机设备 |
| CN110470295A (zh) * | 2018-05-09 | 2019-11-19 | 北京智慧图科技有限责任公司 | 一种基于ar定位的室内步行导航系统和方法 |
| US10650591B1 (en) * | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
| CN111652981A (zh) * | 2020-06-07 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种太空舱特效生成方法、装置、电子设备及存储介质 |
| CN112581629A (zh) * | 2020-12-09 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 增强现实显示方法、装置、电子设备及存储介质 |
| US11017611B1 (en) * | 2020-01-27 | 2021-05-25 | Amazon Technologies, Inc. | Generation and modification of rooms in virtual reality environments |
| KR20210086837A (ko) * | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 |
| KR20220045685A (ko) * | 2020-10-06 | 2022-04-13 | 삼성전자주식회사 | 몰입감 있는 Mixed Reality를 제공하기 위한 MR 제공 장치 및 그 제어 방법 |
| CN114387424A (zh) * | 2020-10-21 | 2022-04-22 | 中国移动通信集团河北有限公司 | 室内分布系统故障定位方法、装置、设备及可读介质 |
| US20220129228A1 (en) * | 2020-10-23 | 2022-04-28 | Streem, Inc. | Synchronizing positioning systems and content sharing between multiple devices |
-
2023
- 2023-02-16 CN CN202310124499.6A patent/CN116310918B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| US20170316606A1 (en) * | 2016-04-28 | 2017-11-02 | Verizon Patent And Licensing Inc. | Methods and Systems for Creating and Manipulating an Individually-Manipulable Volumetric Model of an Object |
| US10650591B1 (en) * | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| CN110470295A (zh) * | 2018-05-09 | 2019-11-19 | 北京智慧图科技有限责任公司 | 一种基于ar定位的室内步行导航系统和方法 |
| CN108921889A (zh) * | 2018-05-16 | 2018-11-30 | 天津大学 | 一种基于扩增现实应用的室内三维定位方法 |
| CN109117499A (zh) * | 2018-07-02 | 2019-01-01 | 东易日盛家居装饰集团股份有限公司 | 一种橱柜木作智能布局方法、系统及计算机设备 |
| CN109063799A (zh) * | 2018-08-10 | 2018-12-21 | 珠海格力电器股份有限公司 | 设备的定位方法和装置 |
| KR20210086837A (ko) * | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 |
| US11017611B1 (en) * | 2020-01-27 | 2021-05-25 | Amazon Technologies, Inc. | Generation and modification of rooms in virtual reality environments |
| CN111652981A (zh) * | 2020-06-07 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种太空舱特效生成方法、装置、电子设备及存储介质 |
| KR20220045685A (ko) * | 2020-10-06 | 2022-04-13 | 삼성전자주식회사 | 몰입감 있는 Mixed Reality를 제공하기 위한 MR 제공 장치 및 그 제어 방법 |
| CN114387424A (zh) * | 2020-10-21 | 2022-04-22 | 中国移动通信集团河北有限公司 | 室内分布系统故障定位方法、装置、设备及可读介质 |
| US20220129228A1 (en) * | 2020-10-23 | 2022-04-28 | Streem, Inc. | Synchronizing positioning systems and content sharing between multiple devices |
| CN112581629A (zh) * | 2020-12-09 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 增强现实显示方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周颐;孟明;吴威;周忠;: "基于视频模型的虚拟现实视频融合系统", 系统仿真学报, no. 07 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612224A (zh) * | 2023-07-18 | 2023-08-18 | 山东新天地智能工程有限公司 | 一种数字映射可视化管理系统 |
| CN116612224B (zh) * | 2023-07-18 | 2023-10-13 | 山东新天地智能工程有限公司 | 一种数字映射可视化管理系统 |
| CN117830576A (zh) * | 2024-03-06 | 2024-04-05 | 中国水利水电第七工程局有限公司 | 一种基于mr设备的混合现实定位方法、系统及介质 |
| CN117830576B (zh) * | 2024-03-06 | 2024-05-07 | 中国水利水电第七工程局有限公司 | 一种基于mr设备的混合现实定位方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310918B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116310918B (zh) | 基于混合现实的室内关键物体识别定位方法、装置及设备 | |
| US10872467B2 (en) | Method for data collection and model generation of house | |
| AU2019281667B2 (en) | Data collection and model generation method for house | |
| Handa et al. | A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM | |
| CN110458897B (zh) | 多摄像头自动标定方法及系统、监控方法及系统 | |
| CN110598590A (zh) | 基于多视角相机的紧密交互人体姿态估计方法及装置 | |
| JP2023546739A (ja) | シーンの３次元モデルを生成するための方法、装置、およびシステム | |
| US20230334803A1 (en) | Image processing method, recording medium, and image processing system | |
| CN113298928A (zh) | 房屋三维重建方法、装置、设备和存储介质 | |
| Dang et al. | A semi-interactive panorama based 3D reconstruction framework for indoor scenes | |
| CN113298946A (zh) | 房屋三维重建及地面识别方法、装置、设备和存储介质 | |
| CN112950759B (zh) | 基于房屋全景图的三维房屋模型构建方法及装置 | |
| US20150138199A1 (en) | Image generating system and image generating program product | |
| WO2024041181A1 (zh) | 图像处理方法、装置和存储介质 | |
| JP2021033395A (ja) | 学習済みモデル、学習装置、学習方法、及び学習プログラム | |
| Barbosa et al. | Use of BIM and visual data collected by UAS and 360° camera for construction progress monitoring | |
| Zhu et al. | Synthesizing 360-degree live streaming for an erased background to study renovation using mixed reality | |
| CN113256808A (zh) | 空间关系计算方法、设备及存储介质 | |
| Mayer et al. | Multiresolution texture for photorealistic rendering | |
| TWI639133B (zh) | 使用點雲的室內地圖構建裝置及方法 | |
| Huang et al. | A semi-automatic camera calibration method for augmented reality | |
| Ren et al. | MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction and Novel View Synthesis | |
| Mengiste et al. | Automated integration of as-is point cloud information with as-planned BIM for interior construction | |
| CN117830576B (zh) | 一种基于mr设备的混合现实定位方法、系统及介质 | |
| CN111627061B (zh) | 位姿检测方法、装置以及电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Yan Inventor after: Sun Dehui Inventor after: Jia Xuehui Inventor after: Liu Lei Inventor before: Zhu Yan Inventor before: Jia Xuehui Inventor before: Liu Lei |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |