CN114627272A - 一种具有自适应透光性的门窗ar方法及系统 - Google Patents
一种具有自适应透光性的门窗ar方法及系统 Download PDFInfo
- Publication number
- CN114627272A CN114627272A CN202210317444.2A CN202210317444A CN114627272A CN 114627272 A CN114627272 A CN 114627272A CN 202210317444 A CN202210317444 A CN 202210317444A CN 114627272 A CN114627272 A CN 114627272A
- Authority
- CN
- China
- Prior art keywords
- door
- segmentation
- window
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域,具体涉及一种具有自适应透光性的门窗AR方法及系统。该方法通过相机姿态信息获得初始AR效果。通过最优分割方案的筛选,确保最优分割图像的重叠区域都在玻璃区域内。结合最优分割图像、窗户姿态信息和玻璃材质进行分析获得第一透光性图像。对第一透光性图像进行叠加拼接,并对重叠区域分析后获得第三透光性图像。结合玻璃区域内的第三透光性图像获得最终AR效果。本发明通过分析相机与图像的姿态信息获得包含准确玻璃信息的最终AR效果。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种具有自适应透光性的门窗AR方法及系统。
背景技术
AR技术,即增强现实技术广泛应用于多种领域。用户可根据AR模型的展示实现多种功能。在室内装修领域中,用户可根据AR技术来挑选心仪的装修方案。通过将AR模型对齐在安装区域即可实现展示功能。但是对于门窗的AR展示目前仅通过建立门窗框架的模型来进行展示,对于门窗中的玻璃信息进行忽略或者以一种固定透明度进行展示,无法完整的展示门窗信息,无法看到对应类型的门窗安装后的实际效果。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种具有自适应透光性的门窗AR方法及系统,所采用的技术方案具体如下:
本发明提出了一种具有自适应透光性的门窗AR方法,所述方法包括:
采集场景图像;分割所述场景图像,获得门窗安装区域图像;所述门窗安装区域图像包括门窗轮廓;获取以所述门窗轮廓为参考的相机姿态信息;获取目标门窗的三维模型,根据所述相机姿态信息建立初始AR效果;
通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像;所述初始分割图像尺寸为预设网络输入尺寸;根据所述初始AR效果获得所述门窗安装区域图像内的玻璃区域;获得每个所述玻璃区域的参考热图;所述参考热图中像素点的热力值与对应的所述玻璃区域中像素点与中心点的距离成反比例关系;根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域;所述重叠区域与所述参考热图的乘积为分割效果图像;以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案,并获得对应的最优分割图像;
获取以相机为参考的所述门窗安装区域的门窗姿态信息;将所述最优分割图像、门窗姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中,输出第一透光性图像;将所述第一透光性图像叠加拼接,获得第二透光性图像;将所述最优分割图像对应的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值,获得第三透光性图像;
将所述玻璃区域的所述第三透光性图像和所述初始AR效果获得最终AR效果。
进一步地,所述分割所述场景图像,获得门窗安装区域图像包括:
将所述场景图像送入预先训练好的语义分割网络中,输出所述门窗安装区域图像。
进一步地,所述获取以所述门窗轮廓为参考的相机姿态信息包括:
将所述门窗轮廓的四个夹角、所述门窗轮廓的尺寸和真实门窗轮廓的长宽比送入预先训练好的全连接网络中,获得以所述门窗轮廓为参考的所述相机姿态信息。
进一步地,所述获得每个所述玻璃区域的参考热图包括:
以所述玻璃区域中心点做所述玻璃区域边缘点的连线,获得第一连线长度和第一连线角度;以所述玻璃区域中心点做所述玻璃区域内部像素点的连线,获得第二连线长度和第二连线角度;以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素点对;
根据热力系数获取公式获得每个所述内部像素点的热力系数;所述热力系数获取公式包括:
其中,rl为所述热力系数,DNn为所述匹配像素点对中所述内部像素点的所述第二连线距离,DBm为所述匹配像素点对中所述玻璃区域边缘点的所述第一连线距离;
获得所述玻璃区域面积与所有玻璃区域面积和的面积比值;以所述热力系数与所述面积比值的乘积作为所述内部像素点的热力值,根据所述热力值获得所述参考热图。
进一步地,所述根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域包括:
统计所述门窗安装区域图像的像素点属于不同所述初始分割图像的数量,将每个像素点对应的所述数量减一后作为该像素点的像素值,获得所述重叠区域。
进一步地,所述以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案包括:
根据所述分割效果图像中像素值的和构建分割效果评判函数;所述分割效果评判函数与所述分割效果图像中像素值的和成正比例关系;
将所述初始分割图像中心点位置进行聚类,获得多个聚类簇;以所述聚类簇的离散度作为分割位置评判函数;所述离散度与所述分割位置评判函数成正比例关系;
以所述分割效果评判函数和所述分割位置评判函数的和作为分割方案目标函数;根据多个所述分割方案不断迭代更新所述分割方案目标函数,以最大的所述分割方案目标函数对应的所述分割方案作为最优分割方案。
进一步地,所述根据所述分割效果图像中像素值的和构建分割效果评判函数包括:
其中,F为所述分割效果评判函数,(K,H)为所述分割效果图的尺寸,Gi为所述分割效果图中第i个像素点的像素值,MS为所述初始分割图像的数量,(CK,CH)为所述初始分割图像的尺寸。
进一步地,所述分割位置评判函数包括:
其中,F2为所述分割位置评判函数,BG为所述聚类簇数量,DBk为第k个所述聚类簇内聚类中心点到其他聚类点的距离,max(DBk)为第k个所述聚类簇内中心点到其他聚类点的最大距离,为第k个所述聚类簇内聚类中心点到其他聚类点的平均距离,α为调整系数。
进一步地,所述获取以所述门窗轮廓为参考的相机姿态信息包括:
以所述门窗轮廓的中心点为原点,结合所述门窗轮廓的法向量构建第一空间坐标系;以相机与所述门窗轮廓的中心点的向量在所述第一空间坐标系中的姿态信息作为所述相机姿态信息;
所述获取以相机为参考的所述门窗安装区域的门窗姿态信息包括:
以相机为原点构建第二空间坐标系;以所述门窗安装区域每个像素点与相机的向量在所述第二空间坐标系中的姿态信息作为所述门窗姿态信息。
本发明还提出了一种具有自适应透光性的门窗AR系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现任意一项所述一种具有自适应透光性的门窗AR方法的步骤。
本发明具有如下有益效果:
1.本发明实施例通过相机姿态信息获得初始AR效果。考虑到图像采集时不同相机和相机参数获得的图像尺寸不同,通过玻璃区域内像素点的位置分割出拥有固定尺寸的最优分割图像。通过透光性推理网络推理玻璃的透光性,获得第一透光性图像。将第一透光性图像进行叠加拼接并分析叠加区域后获得第三透光性图像。通过第三透光性图像获得拥有玻璃透光性信息的最终AR效果。最终AR效果考虑了窗户和相机的互相的位置关系,实现了窗户AR效果的真实展现。
2.本发明实施例以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案,保证了最优分割方案的合理性,使最优分割图像的重叠区域尽可能的都落在玻璃区域中。使后续透光性推理网络中对于重叠区域的分析大多都为对玻璃区域的分析,提高了对于玻璃区域的透光性推理的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种具有自适应透光性的门窗AR方法流程图;
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种具有自适应透光性的门窗AR方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种具有自适应透光性的门窗AR方法及系统的具体方案。
本发明实施例的应用场景为矩形窗户的AR展示。
请参阅图1,其示出了本发明一个实施例提供的一种具有自适应透光性的门窗AR方法流程图,该方法包括:
步骤S1:采集场景图像;分割场景图像,获得门窗安装区域图像;门窗安装区域图像包括门窗安装区域图像和门窗轮廓;获取以门窗轮廓为参考的相机姿态信息;获取目标门窗的三维模型,根据相机姿态信息建立初始AR效果。
通过相机采集场景图像。场景图像即当前需要装修的室内场景的图像。需要说明的是,采集的相机参数不同,所获得的场景图像的尺寸也不同。
因为本发明实施例需要在安装门窗的区域生成AR效果,因此分割出场景图像中的门窗安装区域图像。优选的,利用语义分割网络进行对场景图像的分割,将场景图像送入预先训练好的语义分割网络中,输出门窗安装区域图像,语义分割网络具体包括:
(1)以多张包含门窗安装区域的场景图像作为训练数据。在门窗安装区域标注为1,其他标注为0,获得标签数据。
(2)语义分割网络采用编码-解码结构,语义分割编码器提取输入数据的特征,输出特征图。语义分割解码器将特征图进行采样变换,输出语义分割结果。根据语义分割结果获得门窗安装区域图像。
(3)采用交叉熵损失函数进行对网络的训练。
门窗安装区域图像为去除无关因素后的场景图像。因此门窗安装区域图像不仅包括门窗轮廓还包括门窗安装区域外的门窗安装区域图像。
在正视角中,门窗轮廓通常为矩形,在经过视角变换后,视角拥有一定倾斜,所以门窗轮廓呈平行四边形。因此可根据门窗轮廓的形态表示当前相机的姿态信息。具体包括:
获取门窗轮廓的四个夹角和门窗轮廓的尺寸,夹角和尺寸作为当前门窗轮廓的形态数据。将形态数据和真实门窗轮廓的长宽比送入预先训练好的全连接网络中,获得以门窗轮廓为参考的相机姿态信息,全连接网络具体包括:
(1)以形态数据和真实门窗轮廓的长宽比作为训练数据。训练数据可通过模拟器获得。以门窗轮廓的中心点为原点,结合门窗轮廓的法向量构建第一空间坐标系,以相机与门窗轮廓的中心点的向量在第一空间坐标系中的姿态信息作为相机姿态信息,以训练数据对应的相机姿态信息作为标签数据。在本发明实施例中,以相机与门窗轮廓的中心点的向量在第一空间坐标系中三个平面下的姿态角作为相机姿态信息。
(2)全连接网络的输入层包含七个神经元,分别对应形态数据内四个夹角。尺寸和真实门窗轮廓的长宽比。输出层为三个神经元,分别对应相机与门窗轮廓的中心点的向量的三个姿态角。
(3)采用均方差损失函数进行训练。
将目标门窗的三维模型根据所述相机姿态信息进行对齐和融合实现初始AR效果。在本发明实施例中,根据相机姿态信息将三维模型四个点与门窗轮廓的四个点对齐,使用泊松融合方法将三维模型与门窗安装区域融合。AR效果的具体实现为公知技术,在此不多赘述。
步骤S2:通过多种分割方案将门窗安装区域图像分割为多个初始分割图像;根据初始AR效果获得门窗安装区域图像内的玻璃区域;获得每个玻璃区域的参考热图;根据初始分割图像中像素点信息获得门窗安装区域图像的像素点在分割方案中的重叠区域;重叠区域与参考热图的乘积为分割效果图像;以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案,并获得对应的最优分割图像。
因为后续需要通过透光性推理网络进行分析,透光性推理网络为预先训练好的网络,因此网络输入的尺寸已经确定,因为场景图像为实时采集到的图像,因此因为相机参数的不同,场景图像及其分割出的窗户安装区域图像的尺寸并不适合直接输入至网络中。通常来说,对于网络输入尺寸不适用的图像,需要经过压缩拉伸等多种方法将图像尺寸变化至网络输入尺寸,对于透光性分析来说会影响分析的准确性。
因此预先根据多个分割方案将门窗安装区域图像分割为多个初始分割图像。每个初始分割图像的尺寸都为网络输入尺寸。因为分割方案并不会完整将门窗安装区域进行分割,因此存在重叠区域。因此初始分割图像的数量MS为:其中,(K,H)为门窗安装区域的尺寸,(CK,CH)为初始分割图像的尺寸,为向上取整符号。
因为门窗中的玻璃区域并非充满整个门窗安装区域,门窗存在框架或门板等因素,因此在分割窗户安装区域图像时需要尽可能的将重叠区域分割至玻璃区域中,在保证了玻璃区域可以多次经过网络推理的过程的同时,避免了在门窗框架区域进行多次推理,浪费系统资源。分析分割方案的具体方法包括:
(1)根据初始AR效果获得门窗安装区域图像内的玻璃区域。因为重叠区域需要尽可能分布在玻璃区域,因此越靠近玻璃区域中心叠加区域越适合分布,根据该关系获得每个玻璃区域的参考热图。参考热图中像素点的热力值与对应的玻璃区域中像素点与中心点的距离成反比例关系,即像素点距离中心点越近热力值越大。获得参考热图的方法具体包括:以玻璃区域中心点做玻璃区域边缘点的连线,获得第一连线长度和第一连线角度。以玻璃区域中心点做玻璃区域内部像素点的连线,获得第二连线长度和第二连线角度。以最接近的第一连线角度和第二连线角度对应的像素点为匹配像素点对。需要说明的是,匹配像素点对中的内部像素点可以近似认为在玻璃区域中心点做玻璃区域边缘点的连线上,但是不一定在同一连线上,因为在图像上的像素量都为整数单位,因此对应一条连线不一定完整过内部像素点和玻璃区域边缘点。
根据热力系数获取公式获得每个内部像素点的热力系数。热力系数获取公式包括:
其中,rl为热力系数,DNn为匹配像素点对中内部像素点的第二连线距离,DBm为匹配像素点对中玻璃区域边缘点的第一连线距离。
获得玻璃区域面积与所有玻璃区域面积和的面积比值。以热力系数与面积比值的乘积作为内部像素点的热力值,根据热力值获得参考热图。
(2)统计门窗安装区域图像的像素点属于不同初始分割图像的数量,将每个像素点对应的数量减一后作为该像素点的像素值,获得重叠区域。在本发明实施例中,将每个初始分割图像分配编号,统计门窗安装区域图像的像素点所属的编号数量,如一个像素点所属的编号为:2,14,9,即在三个初始分割图像上都存在该像素点,以2作为重叠区域的像素值,表示该位置重叠了两次;如一个像素点所属的编号为2,即仅存在一个初始分割图像包含该像素点,因此在重叠区域内对应的位置的像素值为0,表示不存在重叠区域。
(3)重叠区域的像素值表示重叠区域的分布,将重叠区域与参考热图的乘积为分割效果图像。分割效果图像表示了该分割方案的分割效果,即分割效果图中的总像素值越大表示重叠区域越分布在玻璃区域上。
(4)为了避免分割方案中初始分割图像集中分布在玻璃区域,导致其他位置没有分割,或者重叠区域少,需要获得初始分割图像的分布离散度,分布离散度越大,初始分割图像在窗户安装区域图像中分布越分散。结合分割效果图进行分析,以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案。具体包括:根据分割效果图像中像素值的和构建分割效果评判函数。分割效果评判函数与分割效果图像中像素值的和成正比例关系。分割效果评判函数具体包括:
其中,F为分割效果评判函数,(K,H)为分割效果图的尺寸,Gi为分割效果图中第i个像素点的像素值,MS为初始分割图像的数量,(CK,CH)为初始分割图像的尺寸。
将初始分割图像中心点位置进行聚类,获得多个聚类簇。以聚类簇的离散度作为分割位置评判函数。离散度与分割位置评判函数成正比例关系。分割位置评判函数具体包括:
其中,F2为分割位置评判函数,BG为聚类簇数量,DBk为第k个聚类簇内聚类中心点到其他聚类点的距离,max(DBk)为第k个聚类簇内中心点到其他聚类点的最大距离,为第k个聚类簇内聚类中心点到其他聚类点的平均距离,α为调整系数。分割位置评判函数通过聚类簇中聚类点的距离进行分析离散度,距离越大表示分布越离散,分割方案越好。在本发明实施例中,α=1。
以分割效果评判函数和分割位置评判函数的和作为分割方案目标函数F,即F=F1+2。根据多个分割方案不断迭代更新分割方案目标函数,以最大的分割方案目标函数对应的分割方案作为最优分割方案。并获得对应的最优分割图像。
步骤S3:获取以相机为参考的门窗安装区域的门窗姿态信息;将最优分割图像、相对姿态信息和目标门窗的玻璃材质输入预先训练好的透光性推理网络中,输出第一透光性图像;将第一透光性图像叠加拼接,获得第二透光性图像;将最优分割图像对应的重叠区域在第二透光性图像中对应的区域的像素值求均值,获得第三透光性图像。
窗户外的背景经过玻璃的影响后进入相机内的感光元件后形成透光性图像,因此需要考虑以相机为参考的门窗安装区域的门窗姿态信息,具体包括:以相机为原点构建第二空间坐标系;以门窗安装区域每个像素点与相机的向量在第二空间坐标系中的姿态信息作为门窗姿态信息。在本发明实施例中,与相机姿态信息相似的,以每个像素点与相机的向量在第二空间坐标系中三个平面下的姿态角作为相机姿态信息,即相机姿态信息可表示为三张通道的图像,每个通道表示一个平面,图像中的像素值表示一个平面内的姿态角。
将最优分割图像、门窗姿态信息和目标门窗的玻璃材质输入预先训练好的透光性推理网络中,输出第一透光性图像。透光性推理网络具体包括:
(1)以没有玻璃影响的RGB图像及其对应的门窗姿态信息和玻璃材质作为训练数据。需要说明的是,有玻璃影响的RGB图像可视为没有玻璃影响的RGB图像与影响图像相乘后的结果,即将有玻璃影响的RGB图像除以没有玻璃影响的RGB图像作为标签数据。
(2)透光性推理网络为编码-解码结构,第一编码器用于接收没有玻璃影响的RGB图像,第二编码器用于接收门窗姿态信息,第一编码器和第二编码器处理数据后结合玻璃材质的编码数据经过解码器103处理后输出第一透光性图像。
(3)采用均方差损失函数训练网络。
第一透光性图像为一个最优分割图像对应尺寸的图像,因此将第一透光性图像叠加拼接后,获得与窗户安装区域等大的第二透光性图像。将最优分割图像对应的重叠区域在第二透光性图像中对应的区域的像素值求均值,获得第三透光性图像。
步骤S4:将玻璃区域的第三透光性图像和所述初始AR效果获得最终AR效果。
以玻璃区域作为遮罩与第三透光性图像相乘,获得玻璃区域对应的透光性图像,结合初始AR图像获得最终AR效果。
综上所述,本发明实施例通过相机姿态信息获得初始AR效果。通过最优分割方案的筛选,确保最优分割图像的重叠区域都在玻璃区域内。结合最优分割图像、窗户姿态信息和玻璃材质进行分析获得第一透光性图像。对第一透光性图像进行叠加拼接,并对重叠区域分析后获得第三透光性图像。结合玻璃区域内的第三透光性图像获得最终AR效果。本发明实施例通过分析相机与图像的姿态信息获得包含准确玻璃信息的最终AR效果。
本发明还提出了一种具有自适应透光性的门窗AR系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现任意一项一种具有自适应透光性的门窗AR方法的步骤。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种具有自适应透光性的门窗AR方法,其特征在于,所述方法包括:
采集场景图像;分割所述场景图像,获得门窗安装区域图像;所述门窗安装区域图像包括门窗轮廓;获取以所述门窗轮廓为参考的相机姿态信息;获取目标门窗的三维模型,根据所述相机姿态信息建立初始AR效果;
通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像;所述初始分割图像尺寸为预设网络输入尺寸;根据所述初始AR效果获得所述门窗安装区域图像内的玻璃区域;获得每个所述玻璃区域的参考热图;所述参考热图中像素点的热力值与对应的所述玻璃区域中像素点与中心点的距离成反比例关系;根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域;所述重叠区域与所述参考热图的乘积为分割效果图像;以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案,并获得对应的最优分割图像;
获取以相机为参考的所述门窗安装区域的门窗姿态信息;将所述最优分割图像、门窗姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中,输出第一透光性图像;将所述第一透光性图像叠加拼接,获得第二透光性图像;将所述最优分割图像对应的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值,获得第三透光性图像;
将所述玻璃区域的所述第三透光性图像和所述初始AR效果获得最终AR效果。
2.根据权利要求1所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述分割所述场景图像,获得门窗安装区域图像包括:
将所述场景图像送入预先训练好的语义分割网络中,输出所述门窗安装区域图像。
3.根据权利要求1所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述获取以所述门窗轮廓为参考的相机姿态信息包括:
将所述门窗轮廓的四个夹角、所述门窗轮廓的尺寸和真实门窗轮廓的长宽比送入预先训练好的全连接网络中,获得以所述门窗轮廓为参考的所述相机姿态信息。
4.根据权利要求1所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述获得每个所述玻璃区域的参考热图包括:
以所述玻璃区域中心点做所述玻璃区域边缘点的连线,获得第一连线长度和第一连线角度;以所述玻璃区域中心点做所述玻璃区域内部像素点的连线,获得第二连线长度和第二连线角度;以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素点对;
根据热力系数获取公式获得每个所述内部像素点的热力系数;所述热力系数获取公式包括:
其中,rl为所述热力系数,DNn为所述匹配像素点对中所述内部像素点的所述第二连线距离,DBm为所述匹配像素点对中所述玻璃区域边缘点的所述第一连线距离;
获得所述玻璃区域面积与所有玻璃区域面积和的面积比值;以所述热力系数与所述面积比值的乘积作为所述内部像素点的热力值,根据所述热力值获得所述参考热图。
5.根据权利要求1所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域包括:
统计所述门窗安装区域图像的像素点属于不同所述初始分割图像的数量,将每个像素点对应的所述数量减一后作为该像素点的像素值,获得所述重叠区域。
6.根据权利要求1所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案包括:
根据所述分割效果图像中像素值的和构建分割效果评判函数;所述分割效果评判函数与所述分割效果图像中像素值的和成正比例关系;
将所述初始分割图像中心点位置进行聚类,获得多个聚类簇;以所述聚类簇的离散度作为分割位置评判函数;所述离散度与所述分割位置评判函数成正比例关系;
以所述分割效果评判函数和所述分割位置评判函数的和作为分割方案目标函数;根据多个所述分割方案不断迭代更新所述分割方案目标函数,以最大的所述分割方案目标函数对应的所述分割方案作为最优分割方案。
9.根据权利要求1或2所述的一种具有自适应透光性的门窗AR方法,其特征在于,所述获取以所述门窗轮廓为参考的相机姿态信息包括:
以所述门窗轮廓的中心点为原点,结合所述门窗轮廓的法向量构建第一空间坐标系;以相机与所述门窗轮廓的中心点的向量在所述第一空间坐标系中的姿态信息作为所述相机姿态信息;
所述获取以相机为参考的所述门窗安装区域的门窗姿态信息包括:
以相机为原点构建第二空间坐标系;以所述门窗安装区域每个像素点与相机的向量在所述第二空间坐标系中的姿态信息作为所述门窗姿态信息。
10.一种具有自适应透光性的门窗AR系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210317444.2A CN114627272B (zh) | 2022-03-29 | 2022-03-29 | 一种具有自适应透光性的门窗ar方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210317444.2A CN114627272B (zh) | 2022-03-29 | 2022-03-29 | 一种具有自适应透光性的门窗ar方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627272A true CN114627272A (zh) | 2022-06-14 |
CN114627272B CN114627272B (zh) | 2023-01-24 |
Family
ID=81904283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210317444.2A Active CN114627272B (zh) | 2022-03-29 | 2022-03-29 | 一种具有自适应透光性的门窗ar方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627272B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842430A (zh) * | 2022-07-04 | 2022-08-02 | 江苏紫琅汽车集团股份有限公司 | 一种用于道路监测的车辆信息识别方法及系统 |
CN116168066A (zh) * | 2023-04-25 | 2023-05-26 | 河海大学 | 基于数据分析的建筑物三维点云配准预处理方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
CN108629800A (zh) * | 2017-03-20 | 2018-10-09 | 北京三星通信技术研究有限公司 | 平面确定方法及增强现实显示信息的显示方法、相应装置 |
US20190188917A1 (en) * | 2017-12-20 | 2019-06-20 | Eaton Intelligent Power Limited | Lighting And Internet Of Things Design Using Augmented Reality |
US20190318543A1 (en) * | 2018-04-17 | 2019-10-17 | Edx Technologies, Inc. | R-snap for production of augmented realities |
US10636158B1 (en) * | 2020-01-13 | 2020-04-28 | Bodygram, Inc. | Methods and systems for height estimation from a 2D image using augmented reality |
CN112242008A (zh) * | 2020-10-17 | 2021-01-19 | 郑州西亚斯学院 | 一种用于透明容器的ar交互视觉感知方法及系统 |
CN113689428A (zh) * | 2021-10-25 | 2021-11-23 | 江苏南通元辰钢结构制造有限公司 | 基于图像处理的机械零件应力腐蚀检测方法及系统 |
-
2022
- 2022-03-29 CN CN202210317444.2A patent/CN114627272B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
CN108629800A (zh) * | 2017-03-20 | 2018-10-09 | 北京三星通信技术研究有限公司 | 平面确定方法及增强现实显示信息的显示方法、相应装置 |
US20190188917A1 (en) * | 2017-12-20 | 2019-06-20 | Eaton Intelligent Power Limited | Lighting And Internet Of Things Design Using Augmented Reality |
US20190318543A1 (en) * | 2018-04-17 | 2019-10-17 | Edx Technologies, Inc. | R-snap for production of augmented realities |
US10636158B1 (en) * | 2020-01-13 | 2020-04-28 | Bodygram, Inc. | Methods and systems for height estimation from a 2D image using augmented reality |
CN112242008A (zh) * | 2020-10-17 | 2021-01-19 | 郑州西亚斯学院 | 一种用于透明容器的ar交互视觉感知方法及系统 |
CN113689428A (zh) * | 2021-10-25 | 2021-11-23 | 江苏南通元辰钢结构制造有限公司 | 基于图像处理的机械零件应力腐蚀检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
ENZE XIE: "Segmenting Transparent Object in the Wild with Transformer", 《ARXIV》 * |
SIDDHANT PRAKASH: "GLEAM: An Illumination Estimation Framework for Real-time Photorealistic Augmented Reality on Mobile Devices", 《MOBISYS》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842430A (zh) * | 2022-07-04 | 2022-08-02 | 江苏紫琅汽车集团股份有限公司 | 一种用于道路监测的车辆信息识别方法及系统 |
CN116168066A (zh) * | 2023-04-25 | 2023-05-26 | 河海大学 | 基于数据分析的建筑物三维点云配准预处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114627272B (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114627272B (zh) | 一种具有自适应透光性的门窗ar方法及系统 | |
CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
Zhang et al. | A new haze removal approach for sky/river alike scenes based on external and internal clues | |
US5745668A (en) | Example-based image analysis and synthesis using pixelwise correspondence | |
WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
US6931150B2 (en) | System and method for progressive stereo matching of digital images | |
CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
JPH06150000A (ja) | 画像クラスタリング装置 | |
CN110941999B (zh) | 一种人群计数系统中自适应计算高斯核大小的方法 | |
CN112233124A (zh) | 基于对抗式学习与多模态学习的点云语义分割方法及系统 | |
CN111815665B (zh) | 基于深度信息与尺度感知信息的单张图像人群计数方法 | |
Liu et al. | Image de-hazing from the perspective of noise filtering | |
CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
JP7444179B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
CN111914938B (zh) | 一种基于全卷积二分支网络的图像属性分类识别方法 | |
CN112651423A (zh) | 一种智能视觉系统 | |
CN113379698A (zh) | 一种分步联合监督的光照估计方法 | |
CN114072839A (zh) | 单目静止相机视频中的分层运动表示与提取 | |
CN115880720A (zh) | 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法 | |
CN115115522A (zh) | 一种货架商品图像拼接方法及系统 | |
CN102184403B (zh) | 基于优化的本征图像提取方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
CN111738964A (zh) | 一种基于建模的图像数据增强的方法 | |
CN115661894A (zh) | 一种人脸图像质量过滤方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |