CN113140010B - 适用少/无特征环境的三维重建方法及系统、设备、介质 - Google Patents

适用少/无特征环境的三维重建方法及系统、设备、介质 Download PDF

Info

Publication number
CN113140010B
CN113140010B CN202110527869.1A CN202110527869A CN113140010B CN 113140010 B CN113140010 B CN 113140010B CN 202110527869 A CN202110527869 A CN 202110527869A CN 113140010 B CN113140010 B CN 113140010B
Authority
CN
China
Prior art keywords
light source
map
image
parameter
calibrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110527869.1A
Other languages
English (en)
Other versions
CN113140010A (zh
Inventor
范佳程
冯源
陈敏
王石刚
梁庆华
莫锦秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110527869.1A priority Critical patent/CN113140010B/zh
Publication of CN113140010A publication Critical patent/CN113140010A/zh
Application granted granted Critical
Publication of CN113140010B publication Critical patent/CN113140010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提供了一种适用少/无特征环境的三维重建方法，其特征在于，包括如下步骤S1：利用在线标定方法对当前手术环境的光源参数进行标定；步骤S2：待光源参数标定之后得到光源参数σ1，采集RGB图像，RGB图像命名为I；步骤S3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S；步骤S4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数；步骤S5：将校准后的光源参数与明暗图S一并输入到明暗恢复形状算法中计算得到三维形状。本发明还提供了一种适用少/无特征环境的三维重建系统、设备、介质。本发明解决了无需图像特征即可进行三维重建的问题，使之能在少/无特征的环境中进行应用。

Description

适用少/无特征环境的三维重建方法及系统、设备、介质
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种适用少/无特征环境的三维重建方法及系统、设备、介质。
背景技术
机器人辅助微创手术是目前医学领域新兴起的一项技术，是使用机器人操纵器进行主从式内窥镜手术的手术，其具有操作精准、创伤小、愈后效果好的特点，这些优点使得该项技术取得了广泛的关注。但目前商用的机器人辅助微创手术缺少良好的对手术视野的三维信息进行感知的方法，即缺少合适的三维重建方法。
不同于日常环境的三维重建，机器人辅助微创手术环境下的三维重建有其自身的难点与特点。一方面，日常环境的图片特征非常密集，很容易找到图像特征点。而机器人辅助微创手术环境下所面对的物体通常特征稀少或者无特征，如软组织，牙齿，骨骼等。另一方面，日常环境中的光照较为均匀，不同位置处拍摄的同一物体在图像灰度上差别不大。而辅助微创手术环境下的光照由单一近场点光源提供，十分不均匀，不同位置处拍摄的同一物体在图像灰度上差别较大。对应的，这样的情况导致了基于传统双目视觉的三维重建的算法无法很好的实现其功能。少/无特征的物体表面使得传统算法难以识别到密集的图像特征，光照的变化也进一步加剧了建立特征点对的难度，也就无法依据特征的三角关系实现三维重建。那么较为理想的解决方法为使用明暗恢复形状算法(Shape From Shading，SFS)。这是一种非常独特的方法，可以根据物体在光照下的反射模型来推断表面的三维形状。由于此方法仅需要单张明暗图而无需任何特征信息，所以可以看出明暗恢复形状算法十分适合于机器人辅助微创手术环境。
但是，目前明暗恢复形状算法的应用仍存在许多问题。首先，明暗恢复形状算法需要明暗图作为输入，相机采集得到的RGB图片无法直接输入到算法。此外，算法解算所需的光源参数信息需要通过标定获得，复杂的标定设备无法在手术环境中布置。
经过检索，专利文献CN110992431A公开了一种双目内窥镜软组织图像的联合三维重建方法，先通过双目内窥镜获取目标的左右图像对，利用立体视觉发进行初步重建，然后以左图为例，利用基于微表面理论构造的双向反射分布方程，模拟内窥镜环境下的成像过程，进一步构造左图像的亮度图像，最后利用SFS算法进行精细重建。该现有技术结合了两种计算机视觉领域的两种主流的重建方法，通过双目视觉算法的途径实现三维重建，但是不足之处在于使用基于微表面理论的双向反射分布方程，替代传统SFS算法中的经验反射方程，仍然没有解决相机采集得到的RGB图片无法直接输入到算法，并且利用双目内窥镜进行标定的设备和方法都较为负责，并不能减轻在在手术环境中布置的负担。
因此，亟需研发设计一种能解决相机采集得到的RGB图片直接输入到算法并且能够在线标定光源参数的方法和系统应用到机器人辅助微创手术环境中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用少/无特征环境的三维重建方法及系统、设备、介质，解决了无需图像特征即可进行三维重建，并能够广泛应用于少/无特征的环境中。
根据本发明提供的一种适用少/无特征环境的三维重建方法，包括如下步骤：
步骤S1：利用在线标定方法对当前手术环境的光源参数进行标定；
步骤S2：待光源参数标定之后得到光源参数σ1，采集RGB图像，RGB图像命名为I；
步骤S3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S；
步骤S4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数；
步骤S5：将校准后的光源参数与明暗图S一并输入到明暗恢复形状算法中计算得到三维形状。
优选地，步骤S1中的在线标定方法是通过选取拍摄位置拍摄照片，将拍摄的照片进行三维重建并计算得到照片的相对转换矩阵。
优选地，若光源参数准确，则照片的三维形状的由照片的相对转换矩阵转换得到。
优选地，若光源参数不准确，则利用粒子群算法迭代光源参数的值，找到使误差达到最小时对应的光源参数。
优选地，步骤S3中的本质图像算法将采集到的RGB图像通过明暗图和反射图的自身特性进行分解，明暗图为物体三维形状在光照下反射后形成的亮度图，反射图为物体表面属性的图。
优选地，步骤S3中将采集到的RGB图像根据反射图R和明暗图S自身的特性，构造能量方程g对反射图R和明暗图S的约束，当分解得到的反射图R和明暗图S的组合能量误差g达到最小值时完成分解过程。
优选地，步骤S4中对光源参数进行校准得到校准后的光源参数σ2：
分解原理公式：log I1＝log S1+log R1，
单颜色区域内RGB成像公式：I1＝σ1·F(Ψ1)，
明暗成像公式：S1＝σ2·F(Ψ1)
记录光源参数标定阶段S1选择的均匀的颜色块小区域，记小区域内标定得到的光源参数为σ1，三维形状为Ψ1，RGB图像为I1，经过S3步骤得到的反射图R，截取获得相应小区域的反射图参数，记为R1，依据上述公式计算得到校准后的光源参数σ2。
根据本发明提供的一种适用少/无特征环境的三维重建系统，包括：
模块M1：利用在线标定方法对当前手术环境的光源参数进行标定；
模块M2：待光源参数标定好之后，采集RGB图像，RGB图像命名为I；
模块M3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S；
模块M4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数；
模块M5：将校准后的光源参数与明暗图S一并输入到明暗恢复形状算法中计算得到深度图。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种适用少/无特征环境的三维重建设备，包括上述的适用少/无特征环境的三维重建系统或者上述的存储有计算机程序的计算机可读存储介质或者单一内窥镜摄像头。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过运用在线标定光源参数方法，无需复杂的标定设备，且标定是面向当前手术环境进行的，能够更好适应当前的手术环境下的参数。
2、本发明通过引入本质图像分解算法将相机拍摄得到的RGB图像分解为明暗图和反射图，解决了相机拍摄得到的RGB图像无法直接输入明暗恢复形状算法进行深度的求解的问题。
3、本发明仅需要单目视觉摄像机，现有的内窥镜设备即可满足要求，无需对设备进行额外的改造。
4、本发明的物体表面仅具有少量特征或者无需具有特征也可以进行三维重建，更加适合机器人辅助微创手术环境下的物体表面。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中适用少/无特征环境的三维重建方法的步骤流程图；
图2为本发明中适用少/无特征环境的三维重建系统的整体框架图；
图3为本发明中适用少/无特征环境的三维重建方法的步骤S1的具体实现示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1、图3所示，本发明提供了一种适用少/无特征环境的三维重建方法，包括以下步骤：
步骤S1：利用在线标定方法对当前手术环境的光源参数进行标定。若光源参数准确，则照片的三维形状的由照片的相对转换矩阵转换得到；若光源参数不准确，则利用粒子群算法迭代光源参数的值，找到使误差达到最小时对应的光源参数。具体为选取颜色统一的一小块区域，使用机器人手持相机在两个位置处拍摄得到两张图片I1，I2，机器人从位置1运动到位置2处所对应的变换矩阵为M。采用粒子群算法，在参数空间内随机选取多个光源参数σ作为粒子，将粒子作为已知量输入明暗恢复形状算法中，利用算法分别对两个位置处拍摄的两张图片I1，I2进行三维重建，获得的三维形状分别表示为Ψ1，Ψ2。若粒子对应的光源参数σ估计准确，计算获得的三维形状应当存在三维转换关系Ψ2＝MΨ1，若不准确，三维形状Ψ1经过前式转换后与真实三维形状Ψ2之间则不匹配Ψ2≠MΨ1，将转换后的形状匹配程度表示为误差e1＝(Ψ2-MΨ1)2。当粒子值σ准确时，e1＝0，不准确时，e1＞0，且越不准确e1值越大，依据每个粒子对应的误差值e1，进行粒子的筛选与速度位置的更新，从而不断迭代光源参数σ的值，直到寻找到使误差e1达到最小时对应的光源参数σ1，即可完成标定流程。
步骤S2：待光源参数标定之后得到光源参数σ1，采集RGB图像，RGB图像命名为I。
步骤S3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S。具体为待光源参数标定好后，相机位置固定，拍摄实际操作场景获得RGB图像I，根据本质图像分解算法将图像I分解为明暗图S和反射图R，三者之间的关系式可以表达为log I＝log S+log R。这一分解的实现是通过明暗图和反射图的自身特性来实现的，具体来讲，由反射图R所产生的影响通常是低频但突变的，如颜色一般呈块状分布，颜色与颜色之间的变化很大；由明暗图S所造成的影响是高频但变化慢的，如形状造成的明暗是在整张图片上都有分布的，且通常会持续变化。依据他们本身的这些特性来外加约束项，最终通过优化方法即可进行分解，其他分解优化算法同样适用于本发明。
采集到的RGB图像根据反射图R和明暗图S自身的特性，构造能量方程g，方程中包括对R和S的约束，如反射图R应当呈块状离散分布，反射块内的反射特征一般是均匀的，明暗图应当呈连续分布，且连续变化的，对于R的约束形成的误差记为g1，对于S的约束形成的误差记为g2，R和S组合得到的理论RGB图像与实际获得的I所形成的误差记为g3，这三个误差能量项组合为g。当分解得到的R和S准确时，组合能量误差g会达到最小值。依据这一原理进行优化求解，使得求解出的R和S能够使g达到最小值，完成分解过程。
步骤S4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数。对光源参数进行校准得到校准后的光源参数σ2：
分解原理公式：log I1＝log S1+log R1，
单颜色区域内RGB成像公式：I1＝σ1·F(Ψ1)，
明暗成像公式：S1＝σ2·F(Ψ1)
记录光源参数标定阶段S1选择的均匀的颜色块小区域，记小区域内标定得到的光源参数为σ1，三维形状为Ψ1，RGB图像为I1，经过S3步骤得到的反射图R，截取获得相应小区域的反射图参数，记为R1，依据上述公式计算得到校准后的光源参数σ2。
步骤S5：将校准后的光源参数σ2与明暗图S一并输入到明暗恢复形状算法中计算得到三维形状。具体操作为将标定得到的光源参数σ1以及分解得到的反射图R综合起来，依据标定时的颜色以及反射图的颜色，对光源参数σ1进行校准。将校准后的光源参数σ2和明暗图S输入明暗恢复形状算法，由明暗恢复形状算法计算出三维形状。具体地，设三维形状为Ψ，理论上的明暗图S′可以表示为形状Ψ和光源参数σ′的函数S′＝σ′·F(Ψ)，即给与形状Ψ和光源参数σ′可以依据明暗图方程计算出理论明暗图S′。当三维形状计算准确时，应当存在方程S＝S′，据此，建立误差能量方程e2＝(S-S′)2。通过最小化求解误差能量方程即可得到三维形状，其求解方程为Ψ＝argmin[(S-S′)2]。
现有基于SFS算法的发明都需要对图片的反射特性进行标定，才能实现从RGB图I直接计算出三维形状，这一过程非常复杂麻烦，一般需要特定的标定设备才能完成。本质图像分解算法一般应用于图像的重新渲染、增强等方面。但究其本质，明暗图就是展示出三维形状与光照之间关系的图，不含反射特性，所以通过合适的标定过程，明暗图更适合于输入明暗恢复形状算法中。
大多数现有微创手术环境中的视觉系统为单目相机，很少具有双目视觉系统，因此本发明能够很好地适应现在的设备任何有一个相机，并且能够进行移动的设备都可以应用本发明。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种适用少/无特征环境的三维重建方法，其特征在于，包括如下步骤：
步骤S1：利用在线标定方法对当前手术环境的光源参数进行标定；
步骤S2：待光源参数标定之后得到光源参数σ1，采集RGB图像，RGB图像命名为I；
步骤S3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S；
步骤S4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数；
步骤S5：将校准后的光源参数与明暗图S一并输入到明暗恢复形状算法中计算得到三维形状；
所述步骤S4中对光源参数进行校准得到校准后的光源参数σ2：
分解原理公式：logI1＝logS1+logR1，
单颜色区域内RGB成像公式：I1＝σ1·F(Ψ1)，
明暗成像公式：S1＝σ2·F(Ψ1)，
记录光源参数标定阶段S1选择的均匀的颜色块小区域，记小区域内标定得到的光源参数为σ1，三维形状为Ψ1，RGB图像为I1，经过S3步骤得到的反射图R，截取获得相应小区域的反射图参数，记为R1，依据上述公式计算得到校准后的光源参数σ2；
设三维形状为Ψ，明暗图S′表示为形状Ψ和光源参数σ′的函数S′＝σ′·F(Ψ)，即给与形状Ψ和光源参数σ′依据明暗图方程计算出理论明暗图S′。
2.根据权利要求1所述的适用少/无特征环境的三维重建方法，其特征在于，所述步骤S1中的在线标定方法是通过选取拍摄位置拍摄照片，将拍摄的照片进行三维重建并计算得到照片的相对转换矩阵。
3.根据权利要求2所述的适用少/无特征环境的三维重建方法，其特征在于，若光源参数准确，则照片的三维形状的由照片的相对转换矩阵转换得到。
4.根据权利要求2所述的适用少/无特征环境的三维重建方法，其特征在于，若光源参数不准确，则利用粒子群算法迭代光源参数的值，找到使误差达到最小时对应的光源参数。
5.根据权利要求1所述的适用少/无特征环境的三维重建方法，其特征在于，所述步骤S3中的本质图像算法将采集到的RGB图像通过明暗图和反射图的自身特性进行分解，所述明暗图为物体三维形状在光照下反射后形成的亮度图，所述反射图为物体表面属性的图。
6.根据权利要求1所述的适用少/无特征环境的三维重建方法，其特征在于，所述步骤S3中将采集到的RGB图像根据反射图R和明暗图S自身的特性，构造能量方程g对反射图R和明暗图S的约束，当分解得到的反射图R和明暗图S的组合能量误差g达到最小值时完成分解过程。
7.一种适用少/无特征环境的三维重建系统，其特征在于，包括：
模块M1：利用在线标定方法对当前手术环境的光源参数进行标定；
模块M2：待光源参数标定好之后，采集RGB图像，RGB图像命名为I；
模块M3：通过本质图像分解算法将采集到的RGB图像分解为反射图R和明暗图S；
模块M4：利用反射图R对标定好的光源参数进行更新得到校准后的光源参数；
模块M5：将校准后的光源参数与明暗图S一并输入到明暗恢复形状算法中计算得到深度图；
所述模块M4中对光源参数进行校准得到校准后的光源参数σ2：
分解原理公式：logI1＝logS1+logR1，
单颜色区域内RGB成像公式：I1＝σ1·F(Ψ1)，
明暗成像公式：S1＝σ2·F(Ψ1)，
记录光源参数标定阶段S1选择的均匀的颜色块小区域，记小区域内标定得到的光源参数为σ1，三维形状为Ψ1，RGB图像为I1，经过S3步骤得到的反射图R，截取获得相应小区域的反射图参数，记为R1，依据上述公式计算得到校准后的光源参数σ2；
设三维形状为Ψ，明暗图S′表示为形状Ψ和光源参数σ′的函数S′＝σ′·F(Ψ)，即给与形状Ψ和光源参数σ′依据明暗图方程计算出理论明暗图S′。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
9.一种适用少/无特征环境的三维重建设备，其特征在于，包括权利要求8所述的适用少/无特征环境的三维重建系统或者权利要求8所述的存储有计算机程序的计算机可读存储介质或者单一内窥镜摄像头。
CN202110527869.1A 2021-05-14 2021-05-14 适用少/无特征环境的三维重建方法及系统、设备、介质 Active CN113140010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110527869.1A CN113140010B (zh) 2021-05-14 2021-05-14 适用少/无特征环境的三维重建方法及系统、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110527869.1A CN113140010B (zh) 2021-05-14 2021-05-14 适用少/无特征环境的三维重建方法及系统、设备、介质

Publications (2)

Publication Number Publication Date
CN113140010A CN113140010A (zh) 2021-07-20
CN113140010B true CN113140010B (zh) 2022-08-12

Family

ID=76817037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110527869.1A Active CN113140010B (zh) 2021-05-14 2021-05-14 适用少/无特征环境的三维重建方法及系统、设备、介质

Country Status (1)

Country Link
CN (1) CN113140010B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127818A (zh) * 2016-06-30 2016-11-16 珠海金山网络游戏科技有限公司 一种基于单幅图像的材质外观获取系统及方法
CN106991718A (zh) * 2017-03-31 2017-07-28 上海健康医学院 一种基于明暗度恢复重建眼底三维结构的方法
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN111164375A (zh) * 2017-10-06 2020-05-15 亚伦·伯恩斯坦 生成一个或多个亮度边缘以形成物体的三维模型

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3130273B1 (en) * 2015-08-13 2019-05-15 MedicalTek Co., Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
WO2017024422A1 (zh) * 2015-08-13 2017-02-16 明士股份有限公司 使用色度成形法的内视镜立体可视化系统及方法
US10733745B2 (en) * 2019-01-07 2020-08-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video
CN110728671B (zh) * 2019-10-15 2021-07-20 西安电子科技大学 基于视觉的无纹理场景的稠密重建方法
CN110992431B (zh) * 2019-12-16 2023-04-18 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127818A (zh) * 2016-06-30 2016-11-16 珠海金山网络游戏科技有限公司 一种基于单幅图像的材质外观获取系统及方法
CN106991718A (zh) * 2017-03-31 2017-07-28 上海健康医学院 一种基于明暗度恢复重建眼底三维结构的方法
CN111164375A (zh) * 2017-10-06 2020-05-15 亚伦·伯恩斯坦 生成一个或多个亮度边缘以形成物体的三维模型
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法

Also Published As

Publication number Publication date
CN113140010A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN107403463B (zh) 在成像系统中具有非刚性部分的人体表示
CN110992431B (zh) 一种双目内窥镜软组织图像的联合三维重建方法
US9418474B2 (en) Three-dimensional model refinement
CN108735279B (zh) 一种虚拟现实脑中风上肢康复训练系统及控制方法
CN112613609A (zh) 基于联合位姿优化的神经辐射场增强方法
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
CN113240622B (zh) 人体场景图像本征分解与重光照方法和装置
CN107874831B (zh) 一种基于隐函数的颅颌面部导板设计方法
CN112802185B (zh) 面向微创手术空间感知的内窥镜图像三维重构方法和系统
Wu et al. Reconstructing 3D lung shape from a single 2D image during the deaeration deformation process using model-based data augmentation
CN114445546A (zh) 渲染模型训练方法、渲染方法、装置、设备及存储介质
CN113140010B (zh) 适用少/无特征环境的三维重建方法及系统、设备、介质
CN107993227B (zh) 一种获取3d腹腔镜手眼矩阵的方法和装置
CN112562070A (zh) 基于模板匹配的颅缝早闭手术切割坐标生成系统
Lou et al. WS-SfMLearner: self-supervised monocular depth and ego-motion estimation on surgical videos with unknown camera parameters
Wang et al. Improving 3d surface reconstruction from endoscopic video via fusion and refined reflectance modeling
WO2022229816A1 (en) 3d reconstruction of anatomical images
Pei et al. Volumetric reconstruction of craniofacial structures from 2D lateral cephalograms by regression forest
Breuß et al. Perspective Shape from Shading: An Exposition on Recent Works with New Experiments
CN111402421A (zh) 肝脏三维重建方法、装置、计算机设备和存储介质
CN117103286B (zh) 一种机械手手眼标定方法、系统和可读存储介质
Maekawa et al. Dense 3D organ modeling from a laparoscopic video
CN116091378A (zh) 图像处理的方法和电子设备
EP4336455A1 (en) Reconstruction of a 3d mesh of a person

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant