CN116894798A - 光固化3d打印机的投影畸形矫正方法及系统 - Google Patents
光固化3d打印机的投影畸形矫正方法及系统 Download PDFInfo
- Publication number
- CN116894798A CN116894798A CN202311164826.7A CN202311164826A CN116894798A CN 116894798 A CN116894798 A CN 116894798A CN 202311164826 A CN202311164826 A CN 202311164826A CN 116894798 A CN116894798 A CN 116894798A
- Authority
- CN
- China
- Prior art keywords
- projection
- image
- feature
- feature map
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000016 photochemical curing Methods 0.000 title claims abstract description 60
- 238000012937 correction Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000011176 pooling Methods 0.000 claims description 46
- 238000009826 distribution Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000007639 printing Methods 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 7
- 208000032170 Congenital Abnormalities Diseases 0.000 description 46
- 239000011347 resin Substances 0.000 description 12
- 229920005989 resin Polymers 0.000 description 12
- 230000004927 fusion Effects 0.000 description 10
- 238000001723 curing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 239000007788 liquid Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010146 3D printing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006552 photochemical reaction Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Materials Engineering (AREA)
- Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
Abstract
公开了一种光固化3D打印机的投影畸形矫正方法及系统。其首先获取实时投影图像,接着,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,然后,将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。这样,可以纠正投影畸变偏差,以使得光固化3D打印机的打印结果与设计模型相一致。
Description
技术领域
本申请涉及畸形矫正领域,且更为具体地,涉及一种光固化3D打印机的投影畸形矫正方法及系统。
背景技术
光固化3D打印机是一种使用光固化技术的3D打印设备,它使用紫外线(UV)光源,通过逐层固化液态光敏树脂或光敏聚合物,将物体逐渐构建成三维形状。光固化3D打印机的工作原理如下:首先,液态光敏树脂或光敏聚合物被注入到打印机的打印槽中。然后,打印机的光源(通常是紫外线激光或LED)发出特定波长的光,照射到液态树脂上。光敏树脂在受到光照后会发生光化学反应,固化成固体。光固化3D打印机通过逐层重复这个过程,将固化的层叠加在一起,最终形成完整的三维打印对象。
光固化3D打印机在使用过程中会出现投影畸变的问题,即打印结果与设计模型存在一定的形状偏差。这主要是由于光束在通过光学系统时会发生折射、散射和畸变等影响所致。
因此,期待一种用于光固化3D打印机的投影畸形矫正方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种光固化3D打印机的投影畸形矫正方法及系统。其可以纠正投影畸变偏差,以使得光固化3D打印机的打印结果与设计模型相一致。
根据本申请的一个方面,提供了一种光固化3D打印机的投影畸形矫正方法,其包括:
获取实时投影图像;
对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及
将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。
根据本申请的另一个方面,提供了一种光固化3D打印机的投影畸形矫正系统,其包括:
图像采集模块,用于获取实时投影图像;
投影畸形矫正模块,用于对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及
传输模块,用于将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。
与现有技术相比,本申请提供的光固化3D打印机的投影畸形矫正方法及系统,其首先获取实时投影图像,接着,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,然后,将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。这样,可以纠正投影畸变偏差,以使得光固化3D打印机的打印结果与设计模型相一致。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的流程图。
图2为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的架构示意图。
图3为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的子步骤S120的流程图。
图4为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的子步骤S122的流程图。
图5为根据本申请实施例的光固化3D打印机的投影畸形矫正系统的框图。
图6为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
固化3D打印机是一种特殊类型的3D打印机,也被称为光固化3D打印机(Stereolithography 3D Printer)。它使用光固化技术来制造物体,通过逐层固化液态光敏树脂(photosensitive resin)来构建三维模型。固化3D打印机的工作原理是利用紫外线(UV)光源对液态光敏树脂进行固化。首先,液态光敏树脂被注入到打印机的打印槽中,形成一个薄层。然后,紫外线光源照射在树脂上,引起树脂的固化。这个过程会逐层进行,每固化一层后,打印平台会下降一定距离,以便打印下一层。最终,通过逐层固化和平台下降的重复过程,完整的三维模型被构建出来。固化3D打印机在制造精细和复杂的物体时具有优势。它可以实现高精度和高分辨率的打印,适用于需要细节和平滑表面的应用,如珠宝、模型、原型制作等。此外,由于使用液态光敏树脂,固化3D打印机还可以打印出具有良好物理性能和细节表现的物体。需要注意的是,固化3D打印机的工作原理和材料与传统的熔融沉积3D打印机(Fused Deposition Modeling,FDM)等不同。固化3D打印机使用光敏树脂,而FDM打印机使用熔化的塑料丝。每种类型的3D打印技术都有其适用的应用领域和特点。
针对前述技术问题,本申请的技术构思为使用畸变校正算法对实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,通过这样的方式,来纠正投影畸变偏差,以使得光固化3D打印机的打印结果与设计模型相一致。
图1为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的流程图。图2为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的架构示意图。如图1和图2所示,根据本申请实施例的光固化3D打印机的投影畸形矫正方法,包括步骤:S110,获取实时投影图像;S120,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及,S130,将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。
具体地,在本申请的技术方案中,首先获取由光固化3D打印机的投影系统投射的实时投影图像。接着,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,并将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。
相应地,在本申请的技术方案中,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像的过程,包括如下步骤:首先将所述实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图。也就是,使用基于深度神经网络模型作为图像特征提取器来捕捉所述实时投影图像中的投影图像局部特征。在本申请一个具体的示例中,所述骨干网络为ResNet 50。
接着,为了充分所述投影特征图中各个局部特征的上下文关联信息,以提高畸变校正的精准度,对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图,也就是,对所述投影特征图进行空间金字塔池化聚合以从所述投影特征图提取不同尺度的上下文关联信息并将所述投影特征图中不同尺度的上下文关联信息进行聚合以得到所述多尺度投影特征图。
在本申请一个具体的示例中,对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图的过程,包括:首先使用具有不同尺寸的池化核对所述投影特征图进行池化以得到多个投影池化特征图,其中,所述多个投影池化特征图具有不同尺度;接着,融合所述多个投影池化特征图以得到多尺度投影特征图,例如,计算所述多个投影池化特征图之间的按位置加权和以得到所述多尺度投影特征图。
在得到所述多尺度投影特征图,将所述多尺度投影特征图通过基于解码器的图像畸变矫正器以得到所述畸变校正后投影图像。在本申请一个具体的示例中,所述基于解码器的图像畸变矫正器包括多个反卷积层。也就是,所述基于解码器的图像畸变矫正器通过多次叠加的反卷积编码对所述多尺度投影特征图进行分辨率重构以得到所述畸变校正后投影图像。值得一提的是,解码器是卷积神经网络中的一种层类型,用于将编码器产生的低维特征映射恢复到原始输入图像的尺寸。在本申请中,解码器的作用是将多尺度投影特征图恢复到畸变校正后的投影图像的尺寸,多尺度投影特征图是通过编码器和其他处理步骤生成的,它们的尺寸通常较小,解码器通过逆向的卷积操作(也称为反卷积或转置卷积)将这些低维特征映射逐渐恢复到原始图像的尺寸,从而得到畸变校正后的投影图像。解码器在图像畸变校正中的作用是重建输入图像的空间结构和细节。通过解码器的逆向操作,可以将抽象的低维特征映射转换为高维的图像表示,从而还原图像的细节和形状。解码器的结构通常采用与编码器相对称的方式,通过堆叠转置卷积层和其他卷积层来逐步恢复图像的尺寸和细节信息。解码器在图像畸变校正中的使用可以帮助纠正图像中的畸变效应,如镜头畸变、透视畸变等。通过将多尺度投影特征图输入到解码器中,解码器可以逆向操作,逐渐恢复图像的尺寸和形状,从而得到畸变校正后的投影图像。这有助于提高图像的视觉质量和几何形状的准确性,使得投影图像更符合真实场景的特征和结构。即,解码器在图像畸变校正中扮演着重要的角色,用于将编码器产生的低维特征映射恢复到原始输入图像的尺寸,从而实现畸变校正后的投影图像的生成。
相应地,如图3所示,对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,包括:S121,将所述实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图;S122,对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图;S123,基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图;以及,S124,将所述多尺度投影特征图通过基于解码器的图像畸变矫正器以得到所述畸变校正后投影图像。应可以理解,在步骤S121中,将实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图,使用基于骨干网络的图像特征提取器对实时投影图像进行处理,提取出图像中的特征信息,骨干网络通常是指深度卷积神经网络的主干部分,如ResNet、VGG等,通过使用骨干网络,可以从输入的实时投影图像中提取出高级、抽象的特征表示,这些特征可以用于后续的处理步骤。在步骤S122中,对投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图,使用空间金字塔池化聚合技术对投影特征图进行处理,得到多个尺度的投影池化特征图,这样做的目的是捕捉不同尺度下的特征信息,以便更好地适应不同尺度的物体或场景,通过在不同尺度上进行池化操作,可以获取到多个尺度的特征表示,提高模型的感受野,增强模型对不同尺度物体的识别能力。在步骤S123中,基于投影特征图对多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图,利用投影特征图对多尺度投影特征图进行特征分布优化,特征分布优化的目的是通过调整特征的分布,使得特征更具有区分度和判别性,这可以通过一些优化方法,如特征重排、特征映射、特征融合等来实现,优化后的多尺度投影特征图可以提供更准确和可靠的特征表示,有助于提升后续处理步骤的性能。在步骤S124中,将多尺度投影特征图通过基于解码器的图像畸变矫正器以得到畸变校正后投影图像,使用基于解码器的图像畸变矫正器对多尺度投影特征图进行处理,得到畸变校正后的投影图像,图像畸变矫正器通常是指一种模型或算法,用于纠正图像中的畸变,例如镜头畸变、透视畸变等,通过将多尺度投影特征图输入到图像畸变矫正器中,可以对投影图像进行畸变校正,使其更符合真实场景的几何形状和结构。这些步骤的组合可以实现对实时投影图像的畸变校正,从而获得更准确和可靠的投影图像。
其中,应可以理解,所述骨干网络为ResNet 50。值得一提的是,ResNet-50是一种深度卷积神经网络模型,它是ResNet(Residual Network)系列中的一员。ResNet是一种用于图像识别和计算机视觉任务的神经网络架构。ResNet-50具有50层的深度,包括卷积层、池化层和全连接层。它的主要特点是引入了残差连接(residual connections),通过跨层的直接连接来解决深度神经网络中的梯度消失和梯度爆炸问题。这种连接方式使得网络可以更容易地训练深层网络,同时减轻了梯度在网络中传播时的退化问题。ResNet-50的结构采用了堆叠的残差块(residual blocks),每个残差块由多个卷积层组成。其中,第一个残差块的输入和输出具有相同的维度,后续的残差块则通过卷积操作来改变维度。在整个网络中,ResNet-50使用了大量的卷积层和批量归一化层,以提取图像特征并实现分类任务。ResNet-50在图像分类、目标检测和语义分割等计算机视觉任务中取得了很好的性能,成为了一个重要的基准模型。它的设计思想也对后续的深度神经网络模型产生了广泛的影响,促进了更深、更复杂的网络结构的发展。
更具体地,在步骤S122中,如图4所示,对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图,包括:S1221,使用具有不同尺寸的池化核对所述投影特征图进行池化以得到多个投影池化特征图,其中,所述多个投影池化特征图具有不同尺度;以及,S1222,融合所述多个投影池化特征图以得到多尺度投影特征图。值得一提的是,空间金字塔池化聚合是一种用于处理图像或特征图的技术,旨在获取多尺度的特征表示。它通过使用具有不同尺寸的池化核对投影特征图进行池化,得到多个投影池化特征图,并将它们融合以获得多尺度的投影特征图。在步骤S1221中,使用具有不同尺寸的池化核对投影特征图进行池化操作,池化操作通常是指在特定区域内对特征进行统计汇聚,常见的池化方式包括最大池化(Max Pooling)和平均池化(Average Pooling),通过使用不同尺寸的池化核,可以在不同尺度上对特征进行汇聚,从而获取多个尺度的投影池化特征图,这有助于捕捉不同尺度下的物体或图像结构信息。在步骤S1222中,融合多个投影池化特征图以得到多尺度的投影特征图,融合可以采用简单的操作,如连接或拼接,也可以使用更复杂的操作,如加权求和或卷积,融合多个尺度的特征图可以提供更全面和丰富的特征表示,从而增强模型的表达能力和性能。空间金字塔池化聚合的主要目的是捕捉不同尺度下的特征信息。在计算机视觉任务中,物体的尺度和空间上下文信息对于准确的识别和定位非常重要。通过使用空间金字塔池化聚合,可以获取到多个尺度的特征表示,使模型能够更好地适应不同尺度的物体,并且具备对尺度变化更加鲁棒的能力。这在目标检测、图像分割和图像分类等任务中都具有重要的应用价值。
更具体地,在步骤S1222中,融合所述多个投影池化特征图以得到多尺度投影特征图,包括:计算所述多个投影池化特征图之间的按位置加权和以得到所述多尺度投影特征图。值得一提的是,按位置加权和是一种将多个特征图按照位置进行加权求和的操作。在融合多个投影池化特征图以得到多尺度投影特征图的步骤中,按位置加权和可以用于对不同尺度的特征图进行加权融合,以得到最终的多尺度投影特征图。按位置加权和的目的是根据不同位置的重要性对特征图进行加权融合。通常情况下,不同位置的特征对于任务的贡献是不同的。通过对特征图进行加权融合,可以使得重要的位置具有更大的权重,从而增强它们在最终特征表示中的影响力。在多尺度投影特征图的生成过程中,按位置加权和可以帮助模型更好地整合不同尺度的信息。不同尺度的特征图可能包含不同层次的细节和语义信息,通过按位置加权和进行融合,可以使得模型能够同时利用不同尺度的信息,从而获得更全面和丰富的特征表示。这有助于提升模型的性能,特别是在需要处理多尺度物体或场景的任务中,如目标检测和图像分割。按位置加权和的具体计算方式可以根据具体任务和模型的需求而定。常见的加权计算方法包括简单的加权平均、逐元素相乘和加权求和等。根据任务的复杂性和特征的性质,可以设计不同的加权策略来实现按位置加权和的操作。
进一步地,应可以理解,所述基于解码器的图像畸变矫正器包括多个反卷积层。值得一提的是,反卷积层(Deconvolutional layer),也被称为转置卷积层(TransposedConvolutional layer),是卷积神经网络(Convolutional Neural Network,CNN)中的一种常见层类型。它在图像处理和计算机视觉任务中用于实现上采样(Upsampling)操作,将低分辨率的特征图恢复到原始输入图像的尺寸。在常规的卷积层中,通过卷积操作将输入特征图映射到较小的输出特征图。反卷积层则相反,它将输入特征图映射到较大的输出特征图。这种操作可以被看作是对输入特征图进行上采样,通过填充和卷积操作来扩大特征图的尺寸。反卷积层通常使用转置卷积(transposed convolution)操作来实现上采样。转置卷积操作与常规卷积操作相似,但是输入和输出的维度关系相反。转置卷积通过在输入特征图中插入空白像素,并使用卷积核进行卷积操作,从而实现上采样。反卷积层在图像分割、目标定位和生成对抗网络(Generative Adversarial Networks,GANs)等任务中经常被使用。它可以将低分辨率的特征图恢复到原始图像的尺寸,从而提供更详细的信息和更准确的预测。此外,反卷积层还可以用于可视化卷积神经网络的特征图,帮助理解网络的学习和表示过程。
特别地,进一步地,在本申请的技术方案中,使用具有不同尺寸的池化核对所述投影特征图进行池化以得到所述多个投影池化特征图,并融合所述多个投影池化特征图以得到所述多尺度投影特征图的情况下,所述多尺度投影特征图可以具有对所述投影特征图在不同尺度下的均值关联特征的融合表达,从而提升了所述多尺度投影特征图的表达效果,但是,由于在不同尺度的均值关联特征融合时,所述多尺度投影特征图的特征表示也可能偏离了所述投影特征图对于所述实时投影图像的主干图像语义特征的表示,期望基于所述投影特征图的所述实时投影图像的主干图像语义特征表示来对所述多尺度投影特征图进行校正。
基于此,本申请的申请人对于所述投影特征图,例如记为和所述多尺度投影特征图,例如记为/>进行平滑响应参数化解耦融合,来获得优化后的多尺度投影特征图,例如记为/>。
相应地,在一个具体示例中,基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图,包括:基于所述投影特征图,以如下优化公式对所述多尺度投影特征图进行特征分布优化以得到所述优化多尺度投影特征图;其中,所述优化公式为:
其中,表示所述投影特征图,/>表示所述多尺度投影特征图,/>表示所述投影特征图/>和所述多尺度投影特征图/>之间的余弦距离,且/>为以2为底的对数函数,/>表示按位置点乘,/>表示按位置差分,/>表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,/>表示所述优化多尺度投影特征图。
这里,所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述投影特征图和所述多尺度投影特征图/>之间的余弦距离的非负对称性来编译所述投影特征图/>和所述多尺度投影特征图/>的特征之间的逐点嵌入,从而以特征之间的空间变换(transformation)来推断所述投影特征图/>和所述多尺度投影特征图/>之间的信息分布转移(information distribution shift),从而表达特征之间的平滑响应在解码规则下的信息结构化融合,从而提升优化后的所述多尺度投影特征图/>对于所述实时投影图像的主干图像语义特征表示的基于解码规则的表达效果,以提升所述多尺度投影特征图通过基于解码器的图像畸变矫正器得到的畸变校正后投影图像的图像质量。
值得一提的是,按位置点乘(Element-wise Multiplication)是指对两个具有相同尺寸的张量(如特征图)进行逐元素的乘法操作,在计算机视觉和深度学习中,按位置点乘常用于特征融合、注意力机制等任务中。按位置点乘在注意力机制中常用于计算注意力权重,例如,给定一个特征图A作为输入特征,通过另一个特征图B来计算注意力权重,可以通过按位置点乘操作将A和B逐元素相乘,得到注意力加权后的特征图。按位置点乘是指对两个具有相同尺寸的张量进行逐元素的乘法操作,常用于特征融合、注意力机制等任务中,用于实现特征的加权或融合。
按位置差分(Element-wise Difference)是指对两个具有相同尺寸的张量(如特征图)进行逐元素的差分操作,在计算机视觉和深度学习中,按位置差分常用于计算特征之间的差异或距离。按位置差分可以用于多种任务,例如计算特征图之间的残差、计算特征之间的欧氏距离、计算特征之间的相似度等,这种操作可以帮助捕捉特征之间的细微变化或差异,从而提供更多的信息用于后续的处理或分析。
综上,基于本申请实施例的光固化3D打印机的投影畸形矫正方法被阐明,其可以纠正投影畸变偏差,以使得光固化3D打印机的打印结果与设计模型相一致。
图5为根据本申请实施例的光固化3D打印机的投影畸形矫正系统100的框图。如图5所示,根据本申请实施例的光固化3D打印机的投影畸形矫正系统100,包括:图像采集模块110,用于获取实时投影图像;投影畸形矫正模块120,用于对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及,传输模块130,用于将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统。
在一个示例中,在上述光固化3D打印机的投影畸形矫正系统100中,所属投影畸形矫正模块120,包括:图像特征提取单元,用于将所述实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图;空间金字塔池化聚合单元,用于对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图;特征分布优化单元,用于基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图;以及,解码单元,用于将所述多尺度投影特征图通过基于解码器的图像畸变矫正器以得到所述畸变校正后投影图像。
在一个示例中,在上述光固化3D打印机的投影畸形矫正系统100中,所述骨干网络为ResNet 50。
这里,本领域技术人员可以理解,上述光固化3D打印机的投影畸形矫正系统100中的各个模块的具体功能和操作已经在上面参考图1到图4的光固化3D打印机的投影畸形矫正方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的光固化3D打印机的投影畸形矫正系统100可以实现在各种无线终端中,例如具有光固化3D打印机的投影畸形矫正算法的服务器等。在一个示例中,根据本申请实施例的光固化3D打印机的投影畸形矫正系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该光固化3D打印机的投影畸形矫正系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该光固化3D打印机的投影畸形矫正系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该光固化3D打印机的投影畸形矫正系统100与该无线终端也可以是分立的设备,并且该光固化3D打印机的投影畸形矫正系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
图6为根据本申请实施例的光固化3D打印机的投影畸形矫正方法的应用场景图。如图6所示,在该应用场景中,首先,获取实时投影图像(例如,图6中所示意的D),然后,将所述实时投影图像输入至部署有光固化3D打印机的投影畸形矫正算法的服务器中(例如,图6中所示意的S),其中,所述服务器能够使用所述光固化3D打印机的投影畸形矫正算法对所述实时投影图像进行处理以得到所述畸变校正后投影图像。
进一步地,在本申请的另一个实施例中,本申请还提供一种使用DLP器件的微米级高精度的光固化3D打印系统,其由DMD控制板、DMD显示板、LED驱动板、光学匀光及准直系统和光学镜头五部分组成。其中,DMD控制板是整个系统的核心,控制整个系统协调工作LED驱动板给LED提供工作电流;光光及准直系统对LED发出的光进行均匀化和准直处理,用于给DMD提供一定初始角度的入射光,DMD显示板接收DMD控制板命令,将入射光按照命令反射至光学镜头;光学镜头收集DMD显示板反射光并在一定距离进行成像。
其中,双远心投影系统中,第一透镜、第二透镜、第三透镜、第四透镜、第五透镜、第六透镜、第七透镜和第八透镜的相对孔径在1:1.3到1:5.7之间,且有,在第一折射选镜组中,第一透镜、第二透镜、第三透镜和第四透镜的相对孔径依次增大,在第二折射透镜组中,第五透镜、第六透镜、第七透镜和第八透镜的相对孔径依次减小。双远心系统的放大倍率为1/3.7,双远心镜头的分辨率为12um,双远心镜头的远心度为0.022°,双远心镜头的变<0.02%,双远心镜头的焦深为>35um。
其中,LED光源用于准直及匀光,通过本技术生产出LED光源的数字微镜成像驱动模组,再经过数字微镜空间光调制器(DMD)进行投影成像,生成大功率高精度数字图像。
其中,倾斜式扫描是将DMD旋转一定的角度,目前通过大量实验旋转角度拟定为7.125°,利用曝光点的位置与光斑积分能量的多少形成更小的像素尺寸,因此可以在增大像素大小以提高曝光速度。在倾斜工作方式下,图像前后两帧的相关性障低,同时要求图像更小的网格精度,需要更多的图像数据用于显示。DMD的不同旋转角度下,图像的网格精度不同,旋转角度越小则网格精度越高,可以实现的图像分辨率也越高,图像解析度也越高,显示的图像相关性也更少。
相应地,本申请的双远心系统具有很高的分辨率、大像方视场和很低的变成像效果极好方便产品调试和批量生产,直接采用特殊设计的准直透镜来代替现在常用的普通半球型透镜对LED芯片进行封装,来达到准直的目的。并且,利用能量的多次叠加进行3D打印,使3D打印精度和面积没有关系,相比传统方案,使本项目产品能具备高精度和大面积的优势。在DMD的不同旋转角度下,图像的网格精度不同,旋转角度越小则网格精度越高可以实现的图像分辨率也越高,最终解析度越高。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (8)
1.一种光固化3D打印机的投影畸形矫正方法,其特征在于,包括:
获取实时投影图像;
对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及
将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统;
对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像,包括:
将所述实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图;
对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图;
基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图;以及
将所述多尺度投影特征图通过基于解码器的图像畸变矫正器以得到所述畸变校正后投影图像。
2.根据权利要求1所述的光固化3D打印机的投影畸形矫正方法,其特征在于,所述骨干网络为ResNet 50。
3.根据权利要求2所述的光固化3D打印机的投影畸形矫正方法,其特征在于,对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图,包括:
使用具有不同尺寸的池化核对所述投影特征图进行池化以得到多个投影池化特征图,其中,所述多个投影池化特征图具有不同尺度;以及
融合所述多个投影池化特征图以得到多尺度投影特征图。
4.根据权利要求3所述的光固化3D打印机的投影畸形矫正方法,其特征在于,融合所述多个投影池化特征图以得到多尺度投影特征图,包括:
计算所述多个投影池化特征图之间的按位置加权和以得到所述多尺度投影特征图。
5.根据权利要求4所述的光固化3D打印机的投影畸形矫正方法,其特征在于,基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图,包括:
基于所述投影特征图,以如下优化公式对所述多尺度投影特征图进行特征分布优化以得到所述优化多尺度投影特征图;
其中,所述优化公式为:
其中,表示所述投影特征图,/>表示所述多尺度投影特征图,/>表示所述投影特征图/>和所述多尺度投影特征图/>之间的余弦距离,且/>为以2为底的对数函数,/>表示按位置点乘,/>表示按位置差分,/>表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,/>表示所述优化多尺度投影特征图。
6.根据权利要求5所述的光固化3D打印机的投影畸形矫正方法,其特征在于,所述基于解码器的图像畸变矫正器包括多个反卷积层。
7.一种光固化3D打印机的投影畸形矫正系统,其特征在于,包括:
图像采集模块,用于获取实时投影图像;
投影畸形矫正模块,用于对所述实时投影图像进行投影畸形矫正以得到畸变校正后投影图像;以及
传输模块,用于将所述畸变校正后投影图像传输给所述光固化3D打印机的投影系统;
所属投影畸形矫正模块,包括:
图像特征提取单元,用于将所述实时投影图像通过基于骨干网络的图像特征提取器以得到投影特征图;
空间金字塔池化聚合单元,用于对所述投影特征图进行空间金字塔池化聚合以得到多尺度投影特征图;
特征分布优化单元,用于基于所述投影特征图对所述多尺度投影特征图进行特征分布优化以得到优化多尺度投影特征图;以及
解码单元,用于将所述多尺度投影特征图通过基于解码器的图像畸变矫正器以得到所述畸变校正后投影图像。
8.根据权利要求7所述的光固化3D打印机的投影畸形矫正系统,其特征在于,所述骨干网络为ResNet 50。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311164826.7A CN116894798B (zh) | 2023-09-11 | 2023-09-11 | 光固化3d打印机的投影畸形矫正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311164826.7A CN116894798B (zh) | 2023-09-11 | 2023-09-11 | 光固化3d打印机的投影畸形矫正方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116894798A true CN116894798A (zh) | 2023-10-17 |
CN116894798B CN116894798B (zh) | 2023-12-05 |
Family
ID=88309755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311164826.7A Active CN116894798B (zh) | 2023-09-11 | 2023-09-11 | 光固化3d打印机的投影畸形矫正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116894798B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173748A (zh) * | 2023-11-03 | 2023-12-05 | 杭州登虹科技有限公司 | 一种基于人形识别与人形检测的视频人形事件提取系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107105209A (zh) * | 2017-05-22 | 2017-08-29 | 长春华懋科技有限公司 | 投影图像几何畸变自动校正系统及其校正方法 |
CN107945130A (zh) * | 2017-11-28 | 2018-04-20 | 华南理工大学 | 一种光固化3d打印机的投影畸形矫正方法 |
FI20175244L (fi) * | 2017-03-17 | 2018-09-18 | Planmeca Oy | Itsekalibroiva lääketieteellinen kuvannuslaite |
US20180297114A1 (en) * | 2017-04-14 | 2018-10-18 | Desktop Metal, Inc. | Printed object correction via computer vision |
CN114926669A (zh) * | 2022-05-17 | 2022-08-19 | 南京理工大学 | 一种基于深度学习的高效散斑匹配方法 |
CN115205155A (zh) * | 2022-07-27 | 2022-10-18 | 广东电网有限责任公司 | 一种畸变图像的矫正方法、装置及终端设备 |
CN116704590A (zh) * | 2023-05-27 | 2023-09-05 | 北京万里红科技有限公司 | 虹膜图像的矫正模型训练方法、矫正方法、装置及介质 |
-
2023
- 2023-09-11 CN CN202311164826.7A patent/CN116894798B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20175244L (fi) * | 2017-03-17 | 2018-09-18 | Planmeca Oy | Itsekalibroiva lääketieteellinen kuvannuslaite |
US20180297114A1 (en) * | 2017-04-14 | 2018-10-18 | Desktop Metal, Inc. | Printed object correction via computer vision |
CN107105209A (zh) * | 2017-05-22 | 2017-08-29 | 长春华懋科技有限公司 | 投影图像几何畸变自动校正系统及其校正方法 |
CN107945130A (zh) * | 2017-11-28 | 2018-04-20 | 华南理工大学 | 一种光固化3d打印机的投影畸形矫正方法 |
CN114926669A (zh) * | 2022-05-17 | 2022-08-19 | 南京理工大学 | 一种基于深度学习的高效散斑匹配方法 |
CN115205155A (zh) * | 2022-07-27 | 2022-10-18 | 广东电网有限责任公司 | 一种畸变图像的矫正方法、装置及终端设备 |
CN116704590A (zh) * | 2023-05-27 | 2023-09-05 | 北京万里红科技有限公司 | 虹膜图像的矫正模型训练方法、矫正方法、装置及介质 |
Non-Patent Citations (3)
Title |
---|
HE LUAN 等: ""Prescriptive modeling and compensation of in-plane shape deformation for 3-D printed freeform products"", 《IEEE》 * |
王健;陈文艺;王波;陈瑞;: "投影图像畸变的一种校正方法", 西安邮电学院学报, no. 01 * |
贾红帅;赵学进;胡天亮;张承瑞;: "面成型3D打印工艺中投影图像畸变校正技术", 山东大学学报(工学版), no. 01 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173748A (zh) * | 2023-11-03 | 2023-12-05 | 杭州登虹科技有限公司 | 一种基于人形识别与人形检测的视频人形事件提取系统 |
CN117173748B (zh) * | 2023-11-03 | 2024-01-26 | 杭州登虹科技有限公司 | 一种基于人形识别与人形检测的视频人形事件提取系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116894798B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11450066B2 (en) | 3D reconstruction method based on deep learning | |
CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
Bouritsas et al. | Neural 3d morphable models: Spiral convolutional networks for 3d shape representation learning and generation | |
Elmalem et al. | Learned phase coded aperture for the benefit of depth of field extension | |
CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 | |
CN108225216B (zh) | 结构光系统标定方法及装置、结构光系统及移动设备 | |
CN116894798B (zh) | 光固化3d打印机的投影畸形矫正方法及系统 | |
CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN110288697A (zh) | 基于多尺度图卷积神经网络的3d人脸表示与重建方法 | |
CN111292408B (zh) | 一种基于注意力机制的阴影生成方法 | |
US11676294B2 (en) | Passive and single-viewpoint 3D imaging system | |
CN114152217B (zh) | 基于监督学习的双目相位展开方法 | |
CN115984494A (zh) | 一种基于深度学习的月面导航影像三维地形重建方法 | |
WO2023241267A1 (zh) | 光刻掩膜生成模型的训练方法、装置、设备及存储介质 | |
CN111462302A (zh) | 基于深度编码网络的多视点人体动态三维重建方法及系统 | |
CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
CN114787828A (zh) | 利用具有有意受控畸变的成像器进行人工智能神经网络的推理或训练 | |
CN106384364A (zh) | 一种基于lpp‑elm的立体图像质量客观评价方法 | |
CN114022529B (zh) | 一种基于自适应双目结构光的深度感知方法和装置 | |
CN115147577A (zh) | Vr场景生成方法、装置、设备及存储介质 | |
CN111833390A (zh) | 一种基于无监督深度学习的光场深度估计方法 | |
CN115984104B (zh) | 一种基于自监督学习的多聚焦图像融合方法及装置 | |
Lee et al. | Disentangled feature-guided multi-exposure high dynamic range imaging | |
CN113066165B (zh) | 多阶段无监督学习的三维重建方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |