CN113658082A - 五镜头倾斜相机tdom遮挡区域修复方法 - Google Patents

五镜头倾斜相机tdom遮挡区域修复方法 Download PDF

Info

Publication number
CN113658082A
CN113658082A CN202110976728.8A CN202110976728A CN113658082A CN 113658082 A CN113658082 A CN 113658082A CN 202110976728 A CN202110976728 A CN 202110976728A CN 113658082 A CN113658082 A CN 113658082A
Authority
CN
China
Prior art keywords
image
area
repairing
pixel
tdom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110976728.8A
Other languages
English (en)
Inventor
李蕊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110976728.8A priority Critical patent/CN113658082A/zh
Publication of CN113658082A publication Critical patent/CN113658082A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请采用五镜头倾斜相机制作TDOM，提出了遮挡区域纹理修补的新思路和新方法：一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；三是结合影像的外方位元素，手动量测并提取建筑物角点数据；四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到视觉效果好的TDOM图。

Description

五镜头倾斜相机TDOM遮挡区域修复方法
技术领域
本申请涉及一种TDOM遮挡区域修复方法，特别涉及一种五镜头倾斜相机TDOM遮挡区域修复方法，属于TDOM遮挡修复技术领域。
背景技术
数字正射影像同时具备地图的几何精度和影像的基本特征，不但应用在城市各种地理信息系统中，作为背景图评价其它地图数据，而且可对数字线划地图数据实时更新，提高数据的可靠性。基于数字地面模型更正所得到的正射影像并不是处处均为正射，由于数字地面模型没有包括地面上目标物体(建筑物、树木等)的高度情况，只考虑地形起伏而没有顾忌建筑物和树木等高大目标带来的影响，而航空影像都由中心投影方式拍摄得到，影像中的高大地物将偏离正确位置并遮挡它周围低矮的地物，这样制作得到的正射影像并不能对影像上的地物进行准确判读。正是由于正射影像中遮挡现象的存在，GIS矢量地图不能直接叠加到正射影像上，如果直接将两者叠加，建筑物和建筑附近会出现严重的叠加错误，甚至会使正射影像失去本身的地理参考价值，无法发挥其地图功能。
TDOM(真正射影像)制作过程中的更正模型与正射影像更正模型有很大区别，真正射影像更正模型不仅包含正射影像更正模型的地表高程信息，而且还包括建筑物等具有一定高度信息的地面目标。在TDOM更正过程中，地形和人工建筑物均被更正到其正确的位置，真正意义上具有了影像的纹理信息和地图几何特性。正是由于TDOM具有以上特性，而被广泛用于数字城市建设、城市环境监测、应急响应等领域，它在城市空间信息领域有宽广的应用前景。
由TDOM的制作流程可以发现，用数字表面模型代替数字地面模型进行更正将出现遮挡区域的重影现象。TDOM中的遮挡现象一直存在，航高与摄影基线对遮挡区域都有影响。而在实际航摄中，航高与摄影基线都不好控制，并不能通过改变航高与摄影基线让影像中的遮挡区域完全可见。在影像更正过程中，被建筑物等高大物体遮挡的区域无法成像，这部分区域没有图像信息，应该在正射影像上标识出来(用黑色或者白色表示空缺区域)。在进行TDOM的制作时，如果直接进行正射更正而不对影像上的遮挡区域进行检测，建筑物屋顶中遮挡地物区域的部分影像会被重新复制一份，然后将其复制到遮挡区域更正后的位置上，这样就导致了重影现象。所以，遮挡区域的检测是TDOM制作中一个不可缺少的过程。
但在进行遮挡区域检测后，虽然影像中的重影得到了消除，但同时又带来一个新问题，即被遮挡区域进行检测更正后，没有任何图像信息，成为一个信息缺失区域。空缺区域降低了TDOM的视觉质量，而这部分区域的纹理修补是TDOM制作过程中的关键步骤，也是一个不容忽视且必须解决的问题。现有技术常用具有一定重叠度的相邻影像对遮挡区域进行纹理修补，而这样的纹理修补方法对影像的重叠度要求高，增加了影像的制作成本。
遮挡一直是TDOM制作中是不可避免的问题，现有技术主要通过改变航高与摄影基线等条件来增大影像间的重叠度，最终减少影像上的遮挡区域，TDOM中的遮挡分为相对遮挡和绝对遮挡，相对遮挡区域是指在某些影像上可见，某些影像上不可见的区域；而绝对遮挡区域是指在所有影像上都不可见的区域。影像上遮挡区域的修补分为相对遮挡区域修补和绝对遮挡区域修补，现有技术相对遮挡区域补偿一般都采用主辅影像修补方法，而这种修补方法要求相邻影像之间具有一定的重叠度，很多情况下影像重叠度都不能满足要求，从而相对遮挡区域修补的效果不理想，而对于影像上的绝对遮挡区域并没有过多的关注，有的只是利用黑色像素进行的填充，或者简单的利用图像修复算法进行修补，对于房屋边界区域其修补效果并不理想。遮挡区域修补方法分为三类：直接填充法、主辅影像结合法与图像修复法。
第一，直接填充法。直接用选定的颜色填充到遮挡区域，虽然这种方法在一定程度上保留了原始影像的可见性，但其修补的图像并不美观且修补区域与周围环境也不协调。
第二，主辅影像结合方法。根据一定的原则选择相邻影像上对应的可见像素填补遮挡区域，通常主影像的遮挡区域在多幅辅影像上均是可见的，由于每张辅影像的视角不同，如果直接以任意方式选择，可能会影响纹理修补效果。需要在多幅相邻影像中选择最佳像素用以修补主影像的遮挡区域。
现有技术提出选择辅影像中的最佳像素原则，利用地底点的可靠性选择最可靠像素，对权值选择原则做优化处理，只通过比较影像的视角大小来选择最优补偿像素，但直接通过辅影像选取最佳像素的补偿方法，容易增大影像中阴影等问题引起的影响。现有技术同时提出以DSM为中心，同时检测同一三角面片在多张相邻影像上的可见性，从多张影像中获取该三角面片的所有可见纹理，并融合这些纹理，直接获取DSM范围大小的无需相对遮挡区域纹理补偿的TDOM，但该方法影像不具有选择性，计算过程中存在大量冗余。
现有技术通过遮挡检测法生成整个影像区域的可见区域索引图，选取索引图里的对应可见像素修补影像被遮挡部分。但方法对遮挡检测结果依耐性较强，且进行影像遮挡检测时影像之间的重叠区域存在冗余计算，补偿过程中对TDOM中每个像素点均要加载一次图像，计算机内存占用过大，运行速度相对较慢。
在TDOM的制作过程中，现有技术通常都是采用一个下视相机来获取航空影像，且主要通过增加相邻影像之间的旁向和航向重叠度来取得相对遮挡区域的纹理信息，然后利用相邻影像对遮挡区域进行纹理修补。但由于这种补偿方法要求影像的重叠度较高，考虑到影像制作成本，相邻影像之间的重叠度都不能达到遮挡区域纹理修补重叠要求。而五镜头倾斜相机同时获取五个视角的图像信息，直接利用倾斜影像信息就能够对影像的相对遮挡区域进行很好的纹理修补，但由于受到建筑物高度、航高和摄影基线等因素的影响，TDOM区域并不是百分之百的在相机上都可见，还存在一些绝对遮挡区域。
第三，图像修复算法。现有技术考虑到影像上遮挡区域信息不容易补偿，只通过相邻影像进行遮挡区域的修补并不能达到预期的补偿效果，提出了将GIS数据作为遮挡区域补偿的辅助数据将其融合到影像修补中。但它是直接在基于运用MFR模型的纹理合成方法，没有进行相对遮挡的修补，纹理信息并不真实，图像质量不高。
现有技术提出快速行进的算法，主要是从外往里推，待修补像素与周围已知像素的距离、等照线方向夹角、待修补区域到达已知像素的时间相关。但其并没有考虑到目标的外形轮廓，只是将目标当作一个区域，对区域块进行跟踪与判断。边馥苓将Criminisi提出的基于样本的纹理合成算法进行了对应的算法改进。首先利用主辅影像修补法对主影像进行修补；接着对主影像中的绝对遮挡区域进行进一步纹理修补；然后，引入建筑物模型将影像中的建筑物和周围的地物区分出来，在绝对遮挡区域修补时减少了建筑物强边缘的对遮挡区域的干扰。虽然该方法避免了建筑物纹理的扩散，但是没有考虑到当建筑物遮挡建筑物时，纹理修补效果不是很好。
TDOM中的遮挡区域一般出现在建筑物的边界区域，直接利用图像修复算法对TDOM进行绝对修补时，遮挡区域的边界会出现模糊现象且房屋边界不清晰，绝对遮挡区域的修补质量不高。
进一步综合来看，现有技术的TDOM遮挡修复方法存在不足，本申请的难点和待解决的问题主要集中在以下方面：
第一，数字正射影像是利用数字高程模型对定向后的影像进行正射更正，并没有考虑人工建筑物等空间目标，导致这些目标的中心投影变形依然存在，TDOM是利用DSM对定向后的影像进行正射更正，建筑物等高大目标都被更正到正确的位置，同时具备了纹理信息和地图的几何属性，遮挡是TDOM中不可避免的，影响了影像的基本功能，在传统的TDOM制作过程中，通过增大相邻影像之间的旁向和航向重叠度来减少影像上的遮挡区域，并利用相邻重叠影像对遮挡区域进行纹理修补，而对TDOM中的绝对遮挡区域并没有过多的关注与研究，更多的是直接利用黑色像素填充，影像的制作成本随着相邻影像重叠度的增大而增加，增加相邻影像的重叠度在实际生产中并不可取，而为了提高影像的视觉质量，简单的对绝对遮挡区域进行填充也是不可行的，现有技术对遮挡没有很好的解决办法，缺少一种高效的TDOM遮挡区域修复方法；
第二，现有技术的遮挡检测方法往往不能兼顾算法的计算效率与检测精确程度，一方面计算效率高的方法其检测结果不够准确或者说准确程度不好，而且需要比较大的存储空间；另一方面检测结果精确且无需额外的存储空间的方法又都消耗大量的检测时间；
第三，现有技术基于相邻正射影像的相对遮挡补偿的缺点包括：一是影像的遮挡区域的可见性与摄影中心高度、摄影基线和建筑物高度等因素相关，并不是所有的遮挡区域在其他相邻重叠影像上都能找到相对应的修补像素，有些遮蔽地方在影像上都不可见，形成绝对遮蔽区域，此时利用相邻影像修补不能取得满意的结果；二是由于航天影像并不像航空影像一样具有相邻重叠的影像，所以在进行遮挡区域的纹理修补时并不存在可用的相邻影像作为辅影像来进行相邻影像纹理修补；三是利用相邻影像进行相对遮蔽纹理修补的前提条件是要相邻影像具有一定的重叠度，如果要让更多遮蔽区域可见还必须增大影像之间的重叠度，影像之间的重叠度并达不到遮蔽区域修补的要求，利用相邻影像修补方法并不可行，此时，可以把组合相机中的多视角的影像作为辅影像对主影像进行修补；
第四，现有技术基于图像修复的绝对遮挡补偿的第一类算法利用扩散原理进行修复，但修复的区域常常不清楚、比较模糊；第二类虽然保持着图像信息的完整性且图像不容易出现模糊现象，但由于自身修复算法局限的限制，并不能很好的保持建筑物等目标的结构性特点，容易出现图像的断裂，这两种图像修复运用在正射影像的修补中的效果都不是很理想，要么修复边界不明确，要么纹理信息模糊且不真实。而且，面对大区域图像缺损区域就更加不可靠，将基于纹理和基于结构图像结合的算法对于正射影像的遮蔽区域修复也不能得到比较理想的修复效果，信息缺损部分的边界通常与建筑物边缘相邻，而建筑物的边缘具有比较强的结构特征，如果把边缘结构信息作为图像修复算法的重要印象因素，反而会更加错误的将建筑物屋顶的纹理填充到遮蔽区域。
发明内容
为了解决以上问题，本申请提出采用五镜头倾斜相机制作TDOM，结合数字图像处理、数字摄影测量、图像修复，对TDOM制作中遮挡区域的纹理修补进行了研究拓展，提出了遮挡区域纹理修补的新思路和新方法：分析了影像上的遮挡现象，提出采用五镜头倾斜相机制作TDOM，首先，求得影像的外方位元素；然后，手动提取建筑物角点坐标，借助LiDAR点云数据生成该区域的数字表面模型，并对影像进行遮挡检测与正射更正；接着，用更正后的倾斜影像对下视影像进行纹理修补；最后，提出模型驱动的图像修复算法对绝对遮挡区域进行修补，最终得到一幅视觉效果良好的TDOM图。
为实现以上技术特征，本申请所采用的技术方案如下：
五镜头倾斜相机TDOM遮挡区域修复方法，基于对影像上的遮挡区域进行解析，首先提出采用五镜头倾斜相机制作TDOM；然后提出基于倾斜影像更正的相对遮挡区域纹理补偿方法，通过旁向相机减少影像上的遮挡区域，并利用倾斜影像对下视影像进行纹理修补；最后提出模型驱动的绝对遮挡区域纹理修补方法，对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM；具体包括：
第一，由传感器的投影方式以及投影差产生的原因解析影像上的遮挡现象，通过改变航高与摄影基线来进行遮挡区域的可见性分析并提出采用五镜头倾斜相机制作TDOM；
第二，基于倾斜影像更正的相对遮挡区域纹理补偿：首先，对下视影像和倾斜影像进行近似真正射更正，更正后的影像已进行遮挡区域的检测和标记；然后，以某幅下视影像为主影像，以倾斜影像为辅影像，由地点最近规则选择最佳修补像素对下视影像进行相对遮挡区域的缺失信息补偿；
第三，模型驱动的绝对遮挡区域纹理修补：通过DEM与DBM的模型优化联合驱动，直接对遮挡区域存在多种地物类型进行区分，然后通过判断出的遮挡区域地物类型利用周围相同类型的像素进行纹理修补，最终生成一幅视觉质量良好的TDOM。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，框架步骤包括：
一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；
二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；
三是结合影像的外方位元素，手动量测并提取建筑物角点数据；
四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；
五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM图。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，采用五镜头倾斜相机制作TDOM：五镜头倾斜相机由一个下视相机Z和四个倾斜相机组成，下视相机Z获取正直摄影，四个倾斜相机获取不同角度的影像信息；
在进行航空摄影时，五镜头倾斜相机在同一个地点同时获取多个视角的影像信息，即使某个区域在一个相机上不可见，在其它倾斜相机上也是可见的，利用五镜头倾斜相机多视角摄影，得到多视角的图像信息的特点，总体上减少影像中的遮挡区域，在TDOM进行相对遮挡区域的修补时，更好得获取遮挡区域的信息并利用倾斜影像对遮挡区域进行修补。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，基于倾斜影像更正的相对遮挡区域纹理补偿：利用五镜头倾斜相机多视角的优势，直接用倾斜影像代替相邻的下视影像对主影像进行相对遮挡区域的纹理修补，利用倾斜影像代替相邻影像对主影像进行修补，避免相邻影像高重叠度的要求，而且能在TDOM中的遮挡区域补偿中取得较好的修复效果；
下视影像Z中的遮挡区域在倾斜影像A、C上都有对应的可见像素，所以直接利用倾斜影像的信息来修补下视影像中的相对遮挡区域。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，基于倾斜影像更正的相对遮挡区域纹理补偿的方法为：
第1步：对所有的下视和倾斜影像进行近似真正射更正，更正后的影像都进行遮挡区域的检测和标记；
第2步：选择下视影像Z作为主影像，对应区域的倾斜影像作为辅影像，对包含主影像遮挡区域对应像素的倾斜影像，比较像素点到地底点的距离，按照从近到远排序；
第3步：从距离地底点最近的点开始判断，判断该点是否已标记为遮挡，如果该点被遮挡，直接选择下一个像素点，直到找到没有被遮挡的点，则直接把该像素赋值到对应遮挡区域；
该方法由地点最近规则选择对应的可见像素进行遮挡区域的修补。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，模型驱动的绝对遮挡区域纹理修补：通过找到建筑物的位置和区分遮挡区域周围的地物类型，然后利用相同属性信息针对对应的图像缺损区域进行纹理补偿，实现基于DEM和DBM的绝对遮挡区域修复，遮挡区域的修复质量大幅提高；
具体包括：通过DEM模型数据的引入，准确区分遮挡区域以及其周围的地物类型，方便进行绝对遮挡区域修补时选择更佳的修补像素；对于城区影像，不仅是建筑物遮挡地面的情况，还存在高的建筑物遮挡低矮建筑物，DBM的引入能够区分地面与建筑物，当建筑物被遮挡时，利用周围相应的建筑物像素进行修补，很好的延续建筑物的结构特征，模型数据的引入使得TDOM中的绝对遮挡区域得到很好的修复，遮挡区域边界分明，纹理清晰，从而进一步提高TDOM的视觉质量。
五镜头倾斜相机TDOM遮挡区域修复方法，进一步的，模型驱动的绝对遮挡区域纹理修补：采用相同属性像素修补，即选择地面点像素修补地面点，选择建筑点像素修补建筑点，具体的算法步骤为：
(1)第一步：计算各像素属性：
步骤一：加载DEM和DBM；
步骤二：根据TDOM的像素宽k和高g，创建记录各个像素点属性的数组R[k][g]；
步骤三：针对地面模型TIN-DEM的各个三角片，计算其三个顶点在TDOM中的坐标D、E、F；
步骤四：计算在三角形DEF范围内的像素坐标，并将其标记为地面像素点，记为R[i][j]＝0；
步骤五：针对建筑物模型DBM的各个三角片，计算其三个顶点在TDOM中的坐标A、B、C，计算在三角形ABC范围内的像素坐标，并将其标记为建筑像素点，记为R[i][j]＝1；
(2)第二步：找出缺失像素的区域，并修补：
步骤1：对TDOM的各个像素逐个判断，如果其像素值为RGB(0，0，0)，则判断为空缺像素；
步骤2：从数组R[i][j]取出该像素的属性，即地面点还是建筑点；
步骤3：从周围3×3范围内找像素，逐个判断8个像素的像素值和属性，如果其中某个像素有颜色并且属性跟缺失点的属性相同，则把该像素的值记录下来，如下式所示：
Figure BDA0003227599830000071
其中，yi表示待修补像素，xi表示与yi具有相同属性的修补像素，M(yi)表示待yi附近3×3范围的像素；
步骤4：把步骤3中记录的像素值取加权平均值作为空缺像素点的像素值，如果还有像素未得到填充，则等待下一轮的修补。
与现有技术相比，本申请的创新点和优势在于：
第一，本申请提出采用五镜头倾斜相机制作TDOM，结合数字图像处理、数字摄影测量、图像修复，对TDOM制作中遮挡区域的纹理修补进行了研究拓展，提出了遮挡区域纹理修补的新思路和新方法：一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；三是结合影像的外方位元素，手动量测并提取建筑物角点数据；四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果较好的TDOM图。
第二，本申请的创新点概括为：一是提出了利用五镜头倾斜相机制作TDOM，不仅减少了影像中的遮挡区域而且还降低了影像制作成本；二是针对TDOM中的相对遮挡区域，提出了基于倾斜影像更正的纹理修补方法；三是针对影像中的绝对遮挡区域，提出了改进后的图像修复算法，该算法是模型驱动的图像修复算法，通过DEM与DBM的引入，解决了建筑物修复边界不明确以及修复图像模糊等问题，实现TDOM遮挡区域的高质量修复；
第三，因为增加像片的重叠区会加大影像的制作成本，所以影像的低制作成本和影像间的高重叠度之间不能同时满足。因此，本申请采用五镜头倾斜相机代替现有技术的下视相机来制作TDOM，其特点包括：一是不同视角影像变形较大；二是幅面较小，同视影像基线较短；三是视角多、影像多、数据量大。在进行航空摄影时，五镜头倾斜相机在同一个地点同时获取多个视角的影像信息，即使某个区域在一个相机上不可见，在其它倾斜相机上也是可见的，得到多视角的图像信息的特点，总体上减少影像中的遮挡区域，在TDOM进行相对遮挡区域的修补时，能更好得获取遮挡区域的信息并利用倾斜影像对遮挡区域进行修补；
第四，本申请基于倾斜影像更正的相对遮挡区域纹理补偿，利用五镜头倾斜相机多视角的优势，直接用倾斜影像代替相邻的下视影像对主影像进行相对遮挡区域的纹理修补，利用倾斜影像代替相邻影像对主影像进行修补，避免相邻影像高重叠度的要求，降低影像制作成本，而且能在TDOM中的遮挡区域补偿中取得较好的修复效果；
第五，本申请指出了现有的相邻影像修补算法的不足，针对倾斜相机能够获取更多图像信息的特点提出了基于倾斜影像更正的相对遮挡区域修补算法；针对倾斜影像仍不能修补的绝对遮挡区域，提出了基于DEM和DBM的图像修复算法对TDOM中的绝对遮挡区域进行纹理修补，通过找到建筑物的位置和区分遮挡区域周围的地物类型，然后利用相同属性信息针对对应的图像缺损区域进行纹理补偿，实现基于DEM和DBM的绝对遮挡区域修复，遮挡区域的修复质量大幅提高。
附图说明
图1是本申请五镜头倾斜相机示意图。
图2是本申请倾斜影像修补相对遮挡区域示意图。
图3是基于倾斜影像更正的相对遮挡区域纹理补偿流程图。
图4是绝对遮挡区域找出缺失像素的区域并修补的过程示意图。
图5是英姿菩萨像眼睛部位邻近曲线分布示意图。
图6是本申请相对遮挡修补前后影像示意图。
图7是本申请绝对遮挡修补前后影像示意图。
具体实施方法
下面结合附图，对本申请提供的五镜头倾斜相机TDOM遮挡区域修复方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。
数字正射影像是利用数字高程模型对定向后的影像进行正射更正，并没有考虑人工建筑物等空间目标，导致这些目标的中心投影变形依然存在。当前人们对正射影像的精度要求越来越高，传统的正射影像已不能满足人们的要求，TDOM(真正射影像)逐渐受到重视。TDOM是利用DSM(数字表面模型)对定向后的影像进行正射更正，建筑物等高大目标都被更正到正确的位置，同时具备了纹理信息和地图的几何属性。遮挡是TDOM中不可避免的现象，很大程度上影响了影像的基本功能，在传统的TDOM制作过程中，通过增大相邻影像之间的旁向和航向重叠度来减少影像上的遮挡区域，并利用相邻重叠影像对遮挡区域进行纹理修补，而对TDOM中的绝对遮挡区域并没有过多的关注与研究，更多的是直接利用黑色像素填充。影像的制作成本随着相邻影像重叠度的增大而增加，增加相邻影像的重叠度在某些实际生产中并不可取，而为了提高影像的视觉质量，简单的对绝对遮挡区域进行填充也是不可行的。
本申请基于对影像上的遮挡区域进行解析，首先提出采用五镜头倾斜相机制作TDOM；然后提出基于倾斜影像更正的相对遮挡区域纹理补偿方法，通过旁向相机减少影像上的遮挡区域，并利用倾斜影像对下视影像进行纹理修补；最后提出模型驱动的绝对遮挡区域纹理修补方法，对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM；具体包括：
第一，由传感器的投影方式以及投影差产生的原因分析影像上的遮挡现象，通过改变航高与摄影基线来进行遮挡区域的可见性分析并提出采用五镜头倾斜相机制作TDOM；
第二，基于倾斜影像更正的相对遮挡区域纹理补偿：首先，对下视影像和倾斜影像进行近似真正射更正，更正后的影像已进行遮挡区域的检测和标记；然后，以某幅下视影像为主影像，以倾斜影像为辅影像，由地点最近规则选择最佳修补像素对下视影像进行相对遮挡区域的缺失信息补偿；
第三，模型驱动的绝对遮挡区域纹理修补：通过DEM与DBM的模型优化联合驱动，直接对遮挡区域存在多种地物类型进行区分，然后通过判断出的遮挡区域地物类型利用周围相同类型的像素进行纹理修补，最终生成一幅视觉质量良好的TDOM。
一、采用五镜头倾斜相机制作TDOM
在制作TDOM过程中，由于摄影时采用中心投影以及地面的实际情况，影像中的遮挡是存在且不可避免的，只能通过一系列的措施来最大程度的减少遮挡区域对TDOM的影响。针对影像中遮挡区域形成的原因与特点，现有技术仍主要通过增大航高、选择合适航线达到增加相邻影像之间重叠度等措施来尽量减少正射影像上的遮挡区域，但即使这样也不能完全消除遮挡区域，影像上有些区域是绝对不可见的。
因为增加像片的重叠区会加大影像的制作成本，所以影像的低制作成本和影像间的高重叠度之间不能同时满足。此时，本申请采用五镜头倾斜相机代替现有技术的下视相机来制作TDOM，五镜头倾斜相机由一个下视相机Z(正直摄影)和四个倾斜相机(获取不同角度的影像信息)组成，下视相机Z获取正直摄影，四个倾斜相机获取不同角度的影像信息。图1是五镜头倾斜相机示意图。
五镜头倾斜相机的主要特点包括：一是不同视角影像变形较大；二是幅面较小，同视影像基线较短；三是视角多、影像多、数据量大。
在进行航空摄影时，五镜头倾斜相机在同一个地点同时获取多个视角的影像信息，即使某个区域在一个相机上不可见，在其它倾斜相机上也是可见的，利用五镜头倾斜相机多视角摄影，得到多视角的图像信息的特点，总体上减少影像中的遮挡区域，在TDOM进行相对遮挡区域的修补时，能更好得获取遮挡区域的信息并利用倾斜影像对遮挡区域进行修补。
二、基于倾斜影像更正的相对遮挡区域纹理补偿
(一)方法原理
利用五镜头倾斜相机多视角的优势，直接用倾斜影像代替相邻的下视影像对主影像进行相对遮挡区域的纹理修补，利用倾斜影像代替相邻影像对主影像进行修补，避免相邻影像高重叠度的要求，降低影像制作成本，而且能在TDOM中的遮挡区域补偿中取得较好的修复效果。
由图2可以看到，下视影像Z中的遮挡区域(黑色部分)在倾斜影像A、C上都有对应的可见像素(白色部分)，所以可以直接利用倾斜影像的信息来修补下视影像中的相对遮挡区域。
(二)方法设计
基于倾斜影像更正的相对遮挡区域纹理补偿的方法为：
第1步：对所有的下视和倾斜影像进行近似真正射更正，更正后的影像都进行遮挡区域的检测和标记；
第2步：选择下视影像Z作为主影像，对应区域的倾斜影像作为辅影像，对包含主影像遮挡区域对应像素的倾斜影像，比较像素点到地底点的距离，按照从近到远排序；
第3步：从距离地底点最近的点开始判断，判断该点是否已标记为遮挡，如果该点被遮挡，直接选择下一个像素点，直到找到没有被遮挡的点，则直接把该像素赋值到对应遮挡区域。
该方法由地点最近规则选择对应的可见像素进行遮挡区域的修补。其计算的大致流程如图3。但由于影像中存在绝对遮挡区域，如果只是利用倾斜影像对主影像进行修补并不能修补主影像中的绝对遮挡，此时本申请还要利用图像修复方法对绝对遮挡区域进行进一步的纹理修补。
三、模型驱动的绝对遮挡区域纹理修补
(一)方法基本原理
利用传统的图像修复方法对TDOM中的遮挡区域进行纹理修补不能得到很好的修补效果：TDOM中的遮挡区域一般位于建筑区等高大目标附近，地物类型也比较复杂，仅利用图像上的已有数据对遮挡区域进行纹理修补得不到想要的效果。
本申请通过找到建筑物的位置和区分遮挡区域周围的地物类型，然后利用相同属性信息针对对应的图像缺损区域进行纹理补偿，实现基于DEM和DBM的绝对遮挡区域修复，遮挡区域的修复质量大幅提高。
具体包括：通过DEM模型数据的引入，准确区分遮挡区域以及其周围的地物类型，方便进行绝对遮挡区域修补时选择更佳的修补像素；对于城区影像，不仅是建筑物遮挡地面的情况，还存在高的建筑物遮挡低矮建筑物，DBM的引入能够区分地面与建筑物，当建筑物被遮挡时，利用周围相应的建筑物像素进行修补，很好的延续建筑物的结构特征，模型数据的引入使得TDOM中的绝对遮挡区域得到很好的修复，遮挡区域边界分明，纹理清晰，从而进一步提高TDOM的视觉质量。
(二)方法设计
采用相同属性像素修补，即选择地面点像素修补地面点，选择建筑点像素修补建筑点，具体的算法步骤为：
(1)第一步：计算各像素属性：
步骤一：加载DEM和DBM；
步骤二：根据TDOM的像素宽k和高g，创建记录各个像素点属性的数组R[k][g]；
步骤三：针对地面模型TIN-DEM的各个三角片，计算其三个顶点在TDOM中的坐标D、E、F；
步骤四：计算在三角形DEF范围内的像素坐标，并将其标记为地面像素点，记为R[i][j]＝0；
步骤五：针对建筑物模型DBM的各个三角片，计算其三个顶点在TDOM中的坐标A、B、C，计算在三角形ABC范围内的像素坐标，并将其标记为建筑像素点，记为R[i][j]＝1；
(2)第二步：找出缺失像素的区域，并修补：
步骤1：对TDOM的各个像素逐个判断，如果其像素值为RGB(0，0，0)，则判断为空缺像素；
步骤2：从数组R[i][j]取出该像素的属性，即地面点还是建筑点；
步骤3：从周围3×3范围内找像素，逐个判断8个像素的像素值和属性，如果其中某个像素有颜色并且属性跟缺失点的属性相同，则把该像素的值记录下来。如下式所示：
Figure BDA0003227599830000121
其中，yi表示待修补像素，xi表示与yi具有相同属性的修补像素，M(yi)表示待yi附近3×3范围的像素；
步骤4：把步骤3中记录的像素值取加权平均值作为空缺像素点的像素值，如果还有像素未得到填充，则等待下一轮的修补。
上面第二步的像素具体修补过程可用图4表示。
模型驱动的绝对遮挡区域纹理修补的大致流程如图5所示。
三、实施例及实验分析
本申请的实验实施例：
第Ⅰ步，利用INPHO软件求得相机的外方位元素；
第Ⅱ步，手动提取建筑物模型，结合TIN-DEM生成TIN-DSM模型；
第Ⅲ步，用遮挡检测与更正后的倾斜影像对下视影像进行相对遮挡区域的纹理修补；
第Ⅳ步，针对仍为补偿到的绝对遮挡区域，采用本申请提出的改进后的图像修复方法对绝对遮挡区域进行进一步的纹理修补。
(一)相对遮挡区域修补实验
利用本申请提出的基于倾斜影像更正的遮挡补偿方法，以遮挡检测与更正后的相机Z的下视影像为主影像，A、C相机的倾斜影像为辅影像进行相对遮挡区域的修补，其结果如图6：(a)为相对遮挡修补前，(b)为修补前局部放大图，(c)为相对遮挡修补后，(d)为修补后局部放大图。由图6可以看出，利用本申请提出的基于倾斜影像的更正算法，相对遮挡区域都取得了很好的修补效果(如图(d)中局部放大示意图所示)，但是影像中仍存在一部分黑色无图像信息的区域，即绝对遮挡区域。为了取得更好的视觉效果，接下来对影像中的绝对遮挡区域进行进一步的纹理修补。
(二)绝对遮挡区域修补实验
对以上进行相对遮挡区域补偿后的影像，直接利用基于DBM与DEM的图像修复算法进行进一步的纹理修补。首先加载影像中的DEM与DBM数据，判断绝对遮挡区域的像素属性，然后再利用遮挡区域周围相同属性像素进行图像的修复，其补偿结果如图7：(a)为绝对遮挡修补前，(b)为修补前局部方法图，(c)为绝对遮挡修补后，(d)为修补后局部放大图。由图7可以看出，直接利用本申请提出的绝对区域修补算法是完全可行的，影像中的遮挡区域都得到了很好的修复(以前被遮挡的区域现在都具有像素值，且图像看上去很清楚)。而且遮挡区域的房屋边界比较明确(如图(d)局部放大图所示)，该算法弥补了现有技术TDOM绝对修补图像模糊且房屋边界不明确等缺点，显著提高了TDOM的视觉质量。

Claims (7)

1.五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，基于对影像上的遮挡区域进行解析，首先提出采用五镜头倾斜相机制作TDOM；然后提出基于倾斜影像更正的相对遮挡区域纹理补偿方法，通过旁向相机减少影像上的遮挡区域，并利用倾斜影像对下视影像进行纹理修补；最后提出模型驱动的绝对遮挡区域纹理修补方法，对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM；具体包括：
第一，由传感器的投影方式以及投影差产生的原因解析影像上的遮挡现象，通过改变航高与摄影基线来进行遮挡区域的可见性分析并提出采用五镜头倾斜相机制作TDOM；
第二，基于倾斜影像更正的相对遮挡区域纹理补偿：首先，对下视影像和倾斜影像进行近似真正射更正，更正后的影像已进行遮挡区域的检测和标记；然后，以某幅下视影像为主影像，以倾斜影像为辅影像，由地点最近规则选择最佳修补像素对下视影像进行相对遮挡区域的缺失信息补偿；
第三，模型驱动的绝对遮挡区域纹理修补：通过DEM与DBM的模型优化联合驱动，直接对遮挡区域存在多种地物类型进行区分，然后通过判断出的遮挡区域地物类型利用周围相同类型的像素进行纹理修补，最终生成一幅视觉质量良好的TDOM。
2.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，框架步骤包括：
一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；
二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；
三是结合影像的外方位元素，手动量测并提取建筑物角点数据；
四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；
五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM图。
3.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，采用五镜头倾斜相机制作TDOM：五镜头倾斜相机由一个下视相机Z和四个倾斜相机组成，下视相机Z获取正直摄影，四个倾斜相机获取不同角度的影像信息；
在进行航空摄影时，五镜头倾斜相机在同一个地点同时获取多个视角的影像信息，即使某个区域在一个相机上不可见，在其它倾斜相机上也是可见的，利用五镜头倾斜相机多视角摄影，得到多视角的图像信息的特点，总体上减少影像中的遮挡区域，在TDOM进行相对遮挡区域的修补时，更好得获取遮挡区域的信息并利用倾斜影像对遮挡区域进行修补。
4.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，基于倾斜影像更正的相对遮挡区域纹理补偿：利用五镜头倾斜相机多视角的优势，直接用倾斜影像代替相邻的下视影像对主影像进行相对遮挡区域的纹理修补，利用倾斜影像代替相邻影像对主影像进行修补，避免相邻影像高重叠度的要求，而且能在TDOM中的遮挡区域补偿中取得较好的修复效果；
下视影像Z中的遮挡区域在倾斜影像A、C上都有对应的可见像素，所以直接利用倾斜影像的信息来修补下视影像中的相对遮挡区域。
5.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，基于倾斜影像更正的相对遮挡区域纹理补偿的方法为：
第1步：对所有的下视和倾斜影像进行近似真正射更正，更正后的影像都进行遮挡区域的检测和标记；
第2步：选择下视影像Z作为主影像，对应区域的倾斜影像作为辅影像，对包含主影像遮挡区域对应像素的倾斜影像，比较像素点到地底点的距离，按照从近到远排序；
第3步：从距离地底点最近的点开始判断，判断该点是否已标记为遮挡，如果该点被遮挡，直接选择下一个像素点，直到找到没有被遮挡的点，则直接把该像素赋值到对应遮挡区域；
该方法由地点最近规则选择对应的可见像素进行遮挡区域的修补。
6.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，模型驱动的绝对遮挡区域纹理修补：通过找到建筑物的位置和区分遮挡区域周围的地物类型，然后利用相同属性信息针对对应的图像缺损区域进行纹理补偿，实现基于DEM和DBM的绝对遮挡区域修复，遮挡区域的修复质量大幅提高；
具体包括：通过DEM模型数据的引入，准确区分遮挡区域以及其周围的地物类型，方便进行绝对遮挡区域修补时选择更佳的修补像素；对于城区影像，不仅是建筑物遮挡地面的情况，还存在高的建筑物遮挡低矮建筑物，DBM的引入能够区分地面与建筑物，当建筑物被遮挡时，利用周围相应的建筑物像素进行修补，很好的延续建筑物的结构特征，模型数据的引入使得TDOM中的绝对遮挡区域得到很好的修复，遮挡区域边界分明，纹理清晰，从而进一步提高TDOM的视觉质量。
7.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，模型驱动的绝对遮挡区域纹理修补：采用相同属性像素修补，即选择地面点像素修补地面点，选择建筑点像素修补建筑点，具体的算法步骤为：
(1)第一步：计算各像素属性：
步骤一：加载DEM和DBM；
步骤二：根据TDOM的像素宽k和高g，创建记录各个像素点属性的数组R[k][g]；
步骤三：针对地面模型TIN-DEM的各个三角片，计算其三个顶点在TDOM中的坐标D、E、F；
步骤四：计算在三角形DEF范围内的像素坐标，并将其标记为地面像素点，记为R[i][j]＝0；
步骤五：针对建筑物模型DBM的各个三角片，计算其三个顶点在TDOM中的坐标A、B、C，计算在三角形ABC范围内的像素坐标，并将其标记为建筑像素点，记为R[i][j]＝1；
(2)第二步：找出缺失像素的区域，并修补：
步骤1：对TDOM的各个像素逐个判断，如果其像素值为RGB(0，0，0)，则判断为空缺像素；
步骤2：从数组R[i][j]取出该像素的属性，即地面点还是建筑点；
步骤3：从周围3×3范围内找像素，逐个判断8个像素的像素值和属性，如果其中某个像素有颜色并且属性跟缺失点的属性相同，则把该像素的值记录下来，如下式所示：
Figure FDA0003227599820000031
其中，yi表示待修补像素，xi表示与yi具有相同属性的修补像素，M(yi)表示待yi附近3×3范围的像素；
步骤4：把步骤3中记录的像素值取加权平均值作为空缺像素点的像素值，如果还有像素未得到填充，则等待下一轮的修补。
CN202110976728.8A 2021-08-24 2021-08-24 五镜头倾斜相机tdom遮挡区域修复方法 Withdrawn CN113658082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110976728.8A CN113658082A (zh) 2021-08-24 2021-08-24 五镜头倾斜相机tdom遮挡区域修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110976728.8A CN113658082A (zh) 2021-08-24 2021-08-24 五镜头倾斜相机tdom遮挡区域修复方法

Publications (1)

Publication Number Publication Date
CN113658082A true CN113658082A (zh) 2021-11-16

Family

ID=78492694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110976728.8A Withdrawn CN113658082A (zh) 2021-08-24 2021-08-24 五镜头倾斜相机tdom遮挡区域修复方法

Country Status (1)

Country Link
CN (1) CN113658082A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114858135A (zh) * 2022-06-01 2022-08-05 上海盛图遥感工程技术有限公司 基于机载的七镜头多角度长焦距组合倾斜摄影测量设备
CN117788344A (zh) * 2024-02-26 2024-03-29 北京飞渡科技股份有限公司 一种基于扩散模型的建筑纹理图像修复方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496181A (zh) * 2011-10-31 2012-06-13 中国地质大学（武汉） 面向规模化生产的真正射影像制作方法
CN104599251A (zh) * 2015-01-28 2015-05-06 武汉大学 一种真正射影像绝对遮挡区域修补方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496181A (zh) * 2011-10-31 2012-06-13 中国地质大学（武汉） 面向规模化生产的真正射影像制作方法
CN104599251A (zh) * 2015-01-28 2015-05-06 武汉大学 一种真正射影像绝对遮挡区域修补方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐乾坤: "真正射影像制作中遮蔽区域修复算法研究", pages 38 - 45, Retrieved from the Internet <URL:https://whu-primo.hosted.exlibrisgroup.com.cn/permalink/f/gj16an/86WHU_XWLW57522> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114858135A (zh) * 2022-06-01 2022-08-05 上海盛图遥感工程技术有限公司 基于机载的七镜头多角度长焦距组合倾斜摄影测量设备
CN117788344A (zh) * 2024-02-26 2024-03-29 北京飞渡科技股份有限公司 一种基于扩散模型的建筑纹理图像修复方法
CN117788344B (zh) * 2024-02-26 2024-05-07 北京飞渡科技股份有限公司 一种基于扩散模型的建筑纹理图像修复方法

Similar Documents

Publication Publication Date Title
US11080911B2 (en) Mosaic oblique images and systems and methods of making and using same
CN106327573B (zh) 一种针对城市建筑的实景三维建模方法
US6757445B1 (en) Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
Xie et al. Study on construction of 3D building based on UAV images
Sheng et al. True orthoimage production for forested areas from large-scale aerial photographs
CN111629193A (zh) 一种实景三维重建方法及系统
GB2557398A (en) Method and system for creating images
JP2002157576A (ja) ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
CN113658082A (zh) 五镜头倾斜相机tdom遮挡区域修复方法
CN111047698B (zh) 一种真正射影像采集方法
CN113971768A (zh) 一种基于无人机的输电线路违章建筑三维动态检测方法
CN111986074A (zh) 一种真正射影像制作方法、装置、设备及存储介质
CN113947638A (zh) 鱼眼相机影像正射纠正方法
JP2001142393A (ja) 緑被マップまたは緑視マップの作成方法
Zhou et al. True orthoimage generation in urban areas with very tall buildings
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
US10859377B2 (en) Method for improving position information associated with a collection of images
Hu et al. True ortho generation of urban area using high resolution aerial photos
CN109636840B (zh) 一种基于鬼影像检测建筑物阴影的方法
CN114494563A (zh) 航拍视频在数字地球上的融合显示方法和装置
Zhang et al. Tests and performance evaluation of DMC images and new methods for their processing
Rau et al. Vector-based occlusion detection for automatic facade texture mapping
Shariat et al. Analysis and the solutions for generating a true digital ortho photo in close range photogrammetry
CN113870365B (zh) 相机标定方法、装置、设备以及存储介质
CN116993900A (zh) 一种激光雷达点云与无人机影像融合的三维场景制作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211116

WW01 Invention patent application withdrawn after publication