CN111402421B - 肝脏三维重建方法、装置、计算机设备和存储介质 - Google Patents

肝脏三维重建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111402421B
CN111402421B CN202010186981.9A CN202010186981A CN111402421B CN 111402421 B CN111402421 B CN 111402421B CN 202010186981 A CN202010186981 A CN 202010186981A CN 111402421 B CN111402421 B CN 111402421B
Authority
CN
China
Prior art keywords
liver
dimensional model
deformed
pixel
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010186981.9A
Other languages
English (en)
Other versions
CN111402421A (zh
Inventor
盛斌
戴超
贺加原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhitang Health Technology Co ltd
Original Assignee
Shanghai Zhitang Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhitang Health Technology Co ltd filed Critical Shanghai Zhitang Health Technology Co ltd
Priority to CN202010186981.9A priority Critical patent/CN111402421B/zh
Publication of CN111402421A publication Critical patent/CN111402421A/zh
Application granted granted Critical
Publication of CN111402421B publication Critical patent/CN111402421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种肝脏三维重建方法、装置、计算机设备和存储介质。所述方法包括：获取多张形变肝脏图像及标准肝脏三维模型；基于多张形变肝脏图像构造形变肝脏三维模型；确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；根据相匹配的第一像素点和第二像素点，将未形变肝脏图像映射至所述形变肝脏三维模型。采用本方法能够重建形变肝脏三维模型。

Description

肝脏三维重建方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种肝脏三维重建方法、装置、计算机设备和存储介质。
背景技术
最近的技术发展使计算机辅助手术在临床手术中得到了广泛的应用。腹腔镜微创手术是一门新发展起来的微创方法，通过事先采集术前的肝脏数据，并利用术前采集的肝脏数据构建肝脏三维模型，之后再利用二氧化碳气体填充腹腔，为腹腔镜构造足够大的肝脏视野，基于腹腔镜拍摄的肝脏图像以及构建的三维模型进行相关手术。但是利用二氧化碳气体填充腹腔，会导致肝脏会发生移位和变形，从而使得基于腹腔镜拍摄的肝脏图像与构建的三维模型并不匹配，迫使外科医生只能依靠口头评估和经验进行手术。因此急需提出一种能够重建形变后的肝脏三维模型方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够重建形变后的肝脏三维模型的肝脏三维重建方法、装置、计算机设备和存储介质。
一种肝脏三维重建方法，所述方法包括：
获取多张形变肝脏图像及标准肝脏三维模型；所述标准肝脏三维模型是基于多张未形变肝脏图像生成的；
基于所述多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据所述各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定所述标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
根据相匹配的第一像素点和第二像素点，将所述未形变肝脏图像映射至所述形变肝脏三维模型。
在其中一个实施例中，所述基于所述多张形变肝脏图像构造形变肝脏三维模型包括：
提取每张形变肝脏图像中的肝脏轮廓特征；
根据所述肝脏轮廓特征确定形变肝脏图像中的关键点；
对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；
基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；
根据所述点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
在其中一个实施例中，所述基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵包括：
根据匹配关键点确定基础矩阵；
根据基础矩阵确定相机矩阵。
在其中一个实施例中，所述基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵之后还包括：
确定与各第一像素点相对应的位于不同形变肝脏图像中的关键点；
根据所述点坐标及所述相机矩阵，将第一像素点重投影至形变肝脏图像中；
根据
Figure BDA0002414528790000021
计算重投影后的第一像素点的点坐标与对应关键点之间的坐标差，得到重投影误差；式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表点i在第j张形变肝脏图像上的投影；
基于最小化的重投影误差调整各第一像素点的点坐标。
在其中一个实施例中，所述根据相匹配的第一像素点和第二像素点，将所述未形变肝脏图像映射至所述形变肝脏三维模型包括：
确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；
计算不同视角下的标准肝脏三维模型与所述当前视角下的未形变肝脏图像之间的刚性转换；
根据所述刚性转换，对所述标准肝脏三维模型进行旋转、平移；
确定旋转、平移后的标准肝脏三维模型中的与所述轮廓像素点相对应的第二像素点；
根据与所述轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将所述轮廓像素点投影至对应的第二像素点上。
在其中一个实施例中，所述方法还包括：
确定所述形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；
确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；
根据所述形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；
确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；
根据坐标差对应调整所述形变三维模型。
一种肝脏三维重建装置，所述装置包括：
形变肝脏三维模型重建模块，用于获取多张形变肝脏图像及标准肝脏三维模型；标准肝脏三维模型是基于多张未形变肝脏图像生成的；基于多张形变肝脏图像构造形变肝脏三维模型；
匹配模块，用于确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
映射模块，用于根据相匹配的第一像素点和第二像素点，将所述未形变肝脏图像映射至所述形变肝脏三维模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多张形变肝脏图像及标准肝脏三维模型；所述标准肝脏三维模型是基于多张未形变肝脏图像生成的；
基于所述多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据所述各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定所述标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
根据相匹配的第一像素点和第二像素点，将所述未形变肝脏图像映射至所述形变肝脏三维模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多张形变肝脏图像及标准肝脏三维模型；所述标准肝脏三维模型是基于多张未形变肝脏图像生成的；
基于所述多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据所述各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定所述标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
根据相匹配的第一像素点和第二像素点，将所述未形变肝脏图像映射至所述形变肝脏三维模型。
上述肝脏三维重建方法、装置、计算机设备和存储介质，通过获取多张形变肝脏图像及标准肝脏三维模型，可以基于多张形变肝脏图像构造形变肝脏三维模型；通过确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度，可以对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，从而通过相匹配的像素点，将未形变的肝脏图像映射至形变肝脏三维模型中，进而使得用户可以直观地得到形变肝脏三维模型与未形变肝脏图像之间差异。
附图说明
图1为一个实施例中肝脏三维重建方法的应用环境图；
图2为一个实施例中肝脏三维重建方法的流程示意图；
图3为一个实施例中形变肝脏三维模型的示意图；
图4为一个实施例中未形变肝脏图像映射至形变肝脏三维模型中的示意图；
图5为一个实施例中形变肝脏三维模型重建的流程示意图；
图6为一个实施例中肝脏三维重建装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中精子细胞识别方法的应用环境图。参照图1，该肝脏三维重建方法应用于肝脏三维重建系统。该肝脏三维重建系统包括终端110和服务器120。该肝脏三维重建方法可以在终端110或服务器120完成。当需要从形变肝脏图像中识别出形变数据，并根据形变数据生成形变肝脏图像时，终端110可以对形变肝脏图像进行处理，从而对肝脏进行三维重建，也可以将形变肝脏图像发送至服务器120，由服务器120对形变肝脏图像进行处理。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑和笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。形变肝脏图像是指在腹腔镜在手术的过程中针对变形后的肝脏采集得到的图像帧。
在一个实施例中，如图2所示，提供了一种肝脏三维重建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202，获取多张形变肝脏图像及标准肝脏三维模型。
其中，标准肝脏三维模型是指对未形变肝脏图像进行三维重建而得到的立体模型。未形变肝脏图像是指针对术前的肝脏采集得到的未发生形变的图像帧。
具体地，可以在二氧化碳气体插入腹腔之后，基于腹腔镜查看肝脏是否发生形变，若是，通过腹腔镜针对此形变肝脏采集多张不同视角下的形变肝脏图像，并将采集得到的多视角下的形变肝脏图像发送至服务器。服务器中预存储有标准肝脏三维模型，当接收到形变肝脏图像后，服务器从存储空间中提取出标准肝脏三维模型。其中，标准肝脏三维模型是指对未发生形变的肝脏进行三维建模后得到的立体模型。
在一个实施例中，服务器获取在术前针对未发生形变的肝脏采集得到的多视角下的未形变肝脏图像，并对多张未形变肝脏图像进行图像处理，得到构建标准肝脏三维模型所需的术前数据，从而根据预设的传统三维重建算法对术前数据进行三维重建。传统三维重建算法可以根据需要自定义，如可以是OpenCV中的稀疏重建算法、半稠密重建算法、稠密重建算法等，或者是matlab中的双目重建算法、单目重建算法等。
在一个实施例中，服务器根据预设的尺寸对多视角下的形变肝脏图像进行剪裁，得到具有统一标准尺寸的形变肝脏图像。
在一个实施例中，腹腔镜在采集到现场肝脏图像后，直接将采集的现场肝脏图像发送至服务器，服务器再检测该现场肝脏图像中是否存在肝脏，若存在肝脏，则获取该图像帧作为形变肝脏图像。
在一个实施例中，腹腔镜在采集到当前顺序的形变肝脏图像后，直接将采集的当前顺序的形变肝脏图像发送至服务器，服务器确定当前顺序的形变肝脏图像采集视角，并将采集视角存放至缓存中。当服务器接收到下一顺序的形变肝脏图像后，服务器确定下一顺序的形变肝脏图像的采集视角，并判断下一顺序的形变肝脏图像的采集视角是否已存在缓存中，若已存在，则可以认为服务器已接收过在此采集视角下的形变肝脏图像，此时服务器获取下一顺序的形变肝脏图像与当前顺序的形变肝脏图像的清晰度信息，将清晰度信息高的形变图像进行缓存，删除清晰度低的形变图像。
S204，基于多张形变肝脏图像构造形变肝脏三维模型。
具体地，服务器对形变肝脏图像进行下采样，得到多层级的肝脏图像金字塔。图像金字塔是指将原始图像不断下采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。为了让尺度体现其连续性，服务器在下采样的基础上加上了高斯滤波，即将图像金字塔每层的一张图像使用不同参数做高斯模糊，使得金字塔的每层含有多张高斯模糊图像。服务器将肝脏金字塔每层中的相邻两个高斯模糊图像相减，得到高斯差分图像，对高斯差分图像进行极值检测，得到极值点。服务器对极值点进行函数拟合，从而得到不同尺度的形变肝脏图像中的关键点。其中，关键点是指形变肝脏图像中的拐点，比如，肝脏轮廓中的拐点即为一个关键点。
进一步地，服务器将形变肝脏图像的局部梯度设置为无光照形式，并求取图像中每一个关键点的图像梯度，根据图像梯度确定关键点的方向信息。服务器获取每个关键点的位置信息、所在形变肝脏图像的尺度信息以及方向信息，根据这三种信息生成对应的描述符。描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等。服务器根据关键点的描述符，对每两张具有不同视角的形变肝脏图像进行关键点匹配，从而得到匹配关键点。其中，匹配关键点是指针对同一肝脏表面点拍摄的不同视角下的图像点，例如，A为肝脏表面点，a为腹腔镜在第一视角下针对A采集到的图像点，b为腹腔镜在第二视角下针对B采集到的图像点，则a与b为一对匹配关键点。
服务器提取匹配关键点的描述符，根据描述符中的位置信息、所在形变肝脏图像的尺度信息以及方向信息计算于匹配关键点对应的第一像素点的点坐标以及腹腔镜的相机矩阵，并根据第一像素点的点坐标以及腹腔镜的相机矩阵生成如图3所示的形变肝脏三维模型。其中，第一像素点是指构成形变三维模型所需的三维点，腹腔镜在两个不同的视角下对第一像素点进行图像采集，从而得到与第一像素点相对应的匹配关键点。图3为一个实施例中，形变肝脏三维模型的示意图。
在一个实施例中，可以使用最近邻搜索(NNS)算法来实现第一像素点的生成。服务器基于NNS对不同视角的形变肝脏图像中的关键点进行关键点匹配，从而基于匹配关键点得到的第一像素点的点坐标。在本申请中，约定可以根据至少三个形变肝脏图像中的关键点生成至少两个第一像素点，从而可以基于此约定自动删除形变肝脏图像中的模糊区域。
在一个实施例中，当基于描述符号生成的第一像素点的数量不足以用于重建三维模型时，服务器将相机矩阵输入至多视点立体图聚类视图(CMVS)算法和基于补丁的多视图立体图(PMVS 2)算法中，由CMVS将重叠的形变肝脏图像分解成可控大小的簇，由PMVS 2增加单个簇的点密度，从而得到密集的第一像素点集。
S206，确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度。
S208，根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点。
其中，梯度强度是指对应第一像素点与第二像素点之间的水平距离。
具体地，服务器对形变肝脏三维模型与未形变肝脏图像进行极线矫正，使得形变肝脏三维模型中的极线垂直对齐，即极线矫正后的相机坐标系的X轴与基线平行，Z轴与像平面垂直。由于坐标形变肝脏模型中的极线垂直，所以极线在形变肝脏三维模型中的位置与相应点在未形变肝脏图像的位置是同一位置上。之后，服务器计算形变肝脏三维模型以及标准肝脏三维模型各像素点的带符号阈值梯度强度，并根据带符号的阈值梯度强度确定形变肝脏三维模型与标准肝脏三维模型之间的对应点。
值得注意的是，本申请各像素点的带符号阈值梯度强度是通过两个几何约束条件得到的。第一种是超极约束，它将三维搜索空间转换为一维搜索空间。第二约束是基于对每个张形变肝脏图像的假设，梯度幅度在小图像块中保持恒定。基于上述两个约束条件，服务器对形变肝脏三维模型与标准肝脏三维模型进行像素点匹配，确定标准肝脏三维模型中每一个第一像素点与形变肝脏三维模型中相匹配的第二像素点。在本申请中，由于服务器对形变肝脏三维模型与未形变肝脏图像进行了极线矫正，因此形变肝脏三维模型中的极线垂直对齐，因此，相匹配的第一像素点与第二像素点之间的水平距离被称为梯度强度。
S210，根据相匹配的第一像素点和第二像素点，将未形变肝脏图像映射至形变肝脏三维模型。
具体地，服务器确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点，并计算不同视角下的标准肝脏三维模型与当前视角下的未形变肝脏图像之间的刚性转换，根据刚性转换，对标准肝脏三维模型进行旋转、平移。之后，服务器确定旋转、平移后的标准肝脏三维模型中的与轮廓像素点相对应的第二像素点，根据与轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将轮廓像素点投影至对应的第二像素点上，从而得到如图4所示的映射图。图4为一个实施例中，未形变肝脏图像映射至形变肝脏三维模型中的示意图。
形变肝脏图像相对于对应的未形变肝脏图像的平移运动W由等式中定义的3×3矩阵表示，设定第一像素点x＝(x1，x2，1)，则
Figure BDA0002414528790000091
角度θ是形变肝脏三维模型围绕原点旋转的角度，从而将极点i定位在X轴上，形变肝脏图像相对于对应的未形变肝脏图像的旋转运动O为：
Figure BDA0002414528790000092
其中，极点是指即腹腔镜的基线与每幅图像的交点。对于某些形变肝脏图像，当极点i＝(i1,i2,i3)T在X轴上旋转时，若OLi≈(1,0f)T，f为第f张形变肝脏图像，可以得到sinθ(i1-i3x1)+cosθ(i1-i3x2)＝0。基于上述方程，可以通过确定任意视角下第一像素点的旋转角θ来确定肝脏的形变。在第一张形变肝脏图像中，服务器通过表达式T＝OL来计算完全变换，对于其余形变肝脏图像，也可以通过上述方法计算转换T*。变换后的肝脏形变图像的初等矩阵表示如下:F＝T*F0T-1。这里，F0表示在进行变换T和T*之前的初等矩阵。
之后，服务器通过y(Y,t)＝M(t).Y+O(t)来计算形变肝脏三维模型中的仿射变形，其中，y是第一像素点的位置，Y是对应未形变肝脏图像中的位置，t是时间变量，W是平移。
当肝脏表面是兰伯弥(Lambertian)漫反射表面。为了计算这类曲面的反照率β(u，v)，可以用反射模型定义的视场强度被表示为R(u，v)沿远距离光源的表面法线M(u，v)。由于，R：I(S(u,v))＝β(u,v)LcotM(u,v)，其中，M是为形变肝脏三维模型表面法线，(u,v)是上述计算得到的形变肝脏图像相对于对应的未形变肝脏图像的平移运动W。从而服务器可以根据R：I(S(u,v))＝β(u,v)LcotM(u,v)对形变肝脏三维模型添加阴影提示。
上述肝脏三维重建方法中，通过获取多张形变肝脏图像及标准肝脏三维模型，可以基于多张形变肝脏图像构造形变肝脏三维模型；通过确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度，可以对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，从而通过相匹配的像素点，将未形变的肝脏图像映射至形变肝脏三维模型中，进而使得用户可以直观地得到形变肝脏三维模型与未形变肝脏图像之间差异。
在一个实施例中，如图5所示，基于多张形变肝脏图像构造形变肝脏三维模型包括：
S502，提取每张形变肝脏图像中的肝脏轮廓特征。
S504，根据肝脏轮廓特征确定形变肝脏图像中的关键点。
S506，对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点。
S508，基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵。
S510，根据点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
具体地，服务器分别对每张形变肝脏图像进行下采样，生成肝脏图像金字塔。服务器对肝脏图像金字塔内的每张图像进行不同尺度的高斯模糊，得到包含肝脏轮廓特征的高斯模糊图像，并将肝脏金字塔中同一层中的相邻两个高斯模糊图像相减，基于相减结果生成对应极值点。服务器对极值点进行函数拟合，从而得到不同尺度的形变肝脏图像中的关键点。服务器确定每个关键点的描述符，并根据描述符对关键点进行匹配，得到匹配关键点。
进一步地，服务器基于公式Y＝α(V,V,R,R)来代表第一像素点，其中，V与V’为相匹配的关键点，R为在V所在的坐标系下计算得到的相机矩阵，R’为在V’所在的坐标系下计算得到的相机矩阵，α代表点V到对应的V’之间的变化，以及R到R’之间的变化。当α(V,V',R,R')＝T-1α(V,V',RT-1,R'T-1)时，则可以认为转化矩阵T不变。假设一个高斯噪声，相应形变肝脏图像中像素点的真实值V*到V*o与关键点V到V’相似，并满足V*oTFV*时，得到d(V,V*)2+d(Vo,V*o)。d(V,V*)代表欧几里得距离，在极约束下，d(V,V*)可以为：V*oTFV*＝0。当将d(V,V*)2+d(Vo,V*o)最小化时，即可得到Y的坐标值，并将Y的坐标值作为腹腔镜所在的位置。服务器基于上述方法依次遍历各形变肝脏图像中的匹配关键点，以校准腹腔镜的位置信息。
本实施例中，通过获取形变肝脏图像中的关键点，并对关键点进行匹配，可以得到匹配关键点；通过对依次遍历形变肝脏图像中的匹配关键点，可以预估第一像素点的点坐标以及对腹腔镜的相机矩阵进行矫正，从而得到准确的腹腔镜位置信息。
在一个实施例中，基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵包括：根据匹配关键点确定基础矩阵；根据基础矩阵确定相机矩阵。
具体地，当得到匹配关键点后，服务器根据公式x'TFx＝0计算F。其中F为基础矩阵，基础矩阵是对极几何的代数表达式，描述了图像中任意匹配点之间的约束关系。x'与x为一对匹配点。之后，服务器将确定的基础矩阵F代入K'-TEK-1＝F中，得到两个相机矩阵K与K'。其中，K与K'分别为x与x'所在的形变肝脏图像的相机矩阵。又因p'TEp＝0，p与p'为x与x'在对应形变肝脏图像中的坐标。基于此，服务器得到x与x'的相机矩阵K与K'。
本实施例中，通过确定基础矩阵，可以根据基础矩阵获取相机矩阵，从而后续可以根据相机矩阵以及基础矩阵确定第一像素点的位置。
在一个实施例中，基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵之后还包括：确定与各第一像素点相对应的位于不同形变肝脏图像中的关键点；根据点坐标及所述相机矩阵，将第一像素点重投影至形变肝脏图像中；根据
Figure BDA0002414528790000111
计算重投影后的第一像素点的点坐标与对应关键点之间的坐标差，得到重投影误差；式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表第一像素点i在第j张形变肝脏图像上的投影；基于最小化的重投影误差调整各第一像素点的点坐标。
具体地，当得到第一像素点的点坐标以及相机矩阵后，服务器确定与第一像素点相对应的位于不同形变肝脏图像中的关键点，即确定与第一像素点对应的匹配关键点，以及匹配关键点所在的形变肝脏图像。服务器根据第一像素点的点坐标以及相机矩阵，分别将第一像素重投影至对应的形变肝脏图像中。比如，匹配关键点A位于a形变肝脏图像中，其对应的相机矩阵为K，服务器根据点坐标以及K将第一像素重投影至a形变肝脏图像中，得到重投影点A'。
进一步地，服务器确定重投影后的点与原关键点之间的误差，并根据
Figure BDA0002414528790000121
得到多个关键点与重投影点之间的重投影误差。服务器最小化重投影误差，即计算
Figure BDA0002414528790000122
并基于最小化的重投影误差调整第一像素点的点坐标，其中，式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表点i在第j张形变肝脏图像上的投影。
本实施例中，通过最小化重投影误差来调整第一像素的位置信息，从而使得调整后的第一像素点的位置信息更为准确，进而使得重建的形变三维模型也更为准确。
在一个实施例中，确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；计算不同视角下的标准肝脏三维模型与所述当前视角下的未形变肝脏图像之间的刚性转换；根据所述刚性转换，对所述标准肝脏三维模型进行旋转、平移；确定旋转、平移后的标准肝脏三维模型中的与所述轮廓像素点相对应的第二像素点；根据与所述轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将所述轮廓像素点投影至对应的第二像素点上。
具体地，服务器从多张未形变肝脏图像中选取一张图像，作为当前视角下的未形变肝脏图像。服务器将标准肝脏三维模型按预设旋转角度进行旋转，比如，将标准肝脏三维模型旋转1度，之后将旋转后的标准肝脏三维模型投影至与标准肝脏三维模型的中轴线平行的二维平面中，得到标准肝脏图像。服务器假定标准肝脏图像与当前视角下的未形变肝脏图像之间的刚性变换为平移(x,y)像素，旋转z像素。服务器将x设置为-100至100，步距为1像素，y为-100至100，步距为1像素，z为0至360度，步距为1度。服务器对x、y、z的取值进行排列组合，直至按照当前的x、y、z值对标准肝脏图像进行变换后的图像与当前视角下的未形变肝脏图像之间的重合像素最多，并将当前的x、y、z值判定为最佳变换值。
如此，服务器按照步距为1度对标准肝脏三维模型进行旋转，直至得到0至360度之间的最佳变换值。服务器确定当最佳变换值为(0,0,0)时所对应的标准肝脏三维模型的旋转角度，并基于此旋转角度对标准肝脏三维模型进行旋转，此时旋转后的标准肝脏三维模型的轮廓与当前视角下的未形变肝脏图像中的肝脏轮廓一致。服务器获取位于旋转后的标准肝脏三维模型轮廓上的第二像素点，并根据标准肝脏三维模型中的第二像素点与形变肝脏三维模型中的第一像素点之间的对应关系，确定相对应的第一像素点，记作轮廓第一像素点。之后，服务器根据位于旋转后的标准肝脏三维模型轮廓上的第二像素点，与将当前视角下的未形变肝脏图像中肝脏轮廓像素点之间的对应关系，以及第一像素点与第二像素点之间的对应关系，将当前视角下的未形变肝脏图像中肝脏轮廓像素点映射至轮廓第一像素点上，并调整映射方式，直至当前视角下的未形变肝脏图像中肝脏轮廓像素点与轮廓第一像素点之间的重合像素点最多，从而得到最佳映射方式。服务器基于最佳映射方式将整张当前视角下未形变图像映射至形变肝脏三维模型中。
本实施例中，通过将当前视角下的未形变肝脏图像映射至形变肝脏三维模型中，使得用户可以方便、直观地辨别形变肝脏三维模型与标准肝脏三维模型之间所发生的形变，从而后续可以有效地辅助医生进行肝脏形变的判别。
在一个实施例中，上述肝脏三维重建方法还包括：确定形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；根据形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；根据坐标差对应调整形变三维模型。
具体地，服务器基于综合变形模型(SDM)来预估形变三维模型与标准肝脏三维模型之间的变形估计值。SDM由一组三重态向量表示：(She,Roe,Rpe,Ede)e∈E,E＝1,...,f，其中E为变形肝脏图像的数量，She、Roe、Rpe和Ede为形状误差、旋转误差、再投影误差和边缘误差。形变肝脏三维模型中的形状和边缘值随旋转和曲率值的不同而变化。在本申请中，标准肝脏三维模型表面的几何位置被标记为地面真值(GT)。服务器根据形变肝脏三维模板与GT曲面边缘长度的均方根求和范数的差值计算边缘长度误差。再投影误差是形变肝脏三维模板中的第一像素点在形变肝脏图像中重投影点对应的差值的范数。形状误差she是对所有第一像素点进行平均，并除以形变肝脏三维模板网格的边长。旋转误差Roε被计算为形变肝脏三维模板与标准肝脏三模板之间的旋转角距离。Roε作为进行两次旋转重合的最小角度。因此，Roε被定义为所有形变肝脏图像上均方根角距离的平均值，除以总旋转角。
进一步地，服务器设定第一像素点的位置信息为(0，0，0，0)，对应的第二像素点的位置信息为(She，Roe，Rpe，Ede)，服务器根据第二像素点的位置信息以及公式
Figure BDA0002414528790000141
计算第三像素点的位置信息
Figure BDA0002414528790000142
其中，Mi作为第二像素点ui在标准肝脏三维模型表面的单位法线，∈是顶点在切线平面上的移动量，w是ui上的预设变形模型函数。服务器确定
Figure BDA0002414528790000143
与第一像素点之间的坐标差，并根据坐标查对应调整形变三维模型，直至坐标差最小。
本实施例中，通过确定形状误差、旋转误差、再投影误差以及边缘误差，来对应调整形变肝脏三维模型，使得调整后的形变肝脏三维模型更准确。
应该理解的是，虽然图2、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种肝脏三维重建装置600，包括：形变肝脏三维模型重建模块602、匹配模块604和映射模块606，其中：
形变肝脏三维模型重建模块602，用于获取多张形变肝脏图像及标准肝脏三维模型；标准肝脏三维模型是基于多张未形变肝脏图像生成的；基于多张形变肝脏图像构造形变肝脏三维模型。
匹配模块604，用于确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点。
映射模块606，用于根据相匹配的第一像素点和第二像素点，将未形变肝脏图像映射至形变肝脏三维模型。
在一个实施例中，形变肝脏三维模型重建模块602还包括关键点匹配模块6021，用于提取每张形变肝脏图像中的肝脏轮廓特征；根据肝脏轮廓特征确定形变肝脏图像中的关键点；对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；根据点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
在一个实施例中，关键点匹配模块6021还用于，根据匹配关键点确定基础矩阵；根据基础矩阵确定相机矩阵。
在一个实施例中，关键点匹配模块6021还用于，确定与各第一像素点相对应的位于不同形变肝脏图像中的关键点；根据点坐标及相机矩阵，将第一像素点重投影至形变肝脏图像中；根据
Figure BDA0002414528790000161
计算重投影后的第一像素点的点坐标与对应关键点之间的坐标差，得到重投影误差；式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表点i在第j张形变肝脏图像上的投影；基于最小化的重投影误差调整各第一像素点的点坐标。
在一个实施例中，映射模块606还用于确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；计算不同视角下的标准肝脏三维模型与当前视角下的未形变肝脏图像之间的刚性转换；根据刚性转换，对标准肝脏三维模型进行旋转、平移；确定旋转、平移后的标准肝脏三维模型中的与轮廓像素点相对应的第二像素点；根据与轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将轮廓像素点投影至对应的第二像素点上。
在一个实施例中，肝脏三维重建装置600还包括修正模块608，用于确定形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；根据形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；根据坐标差对应调整形变三维模型。
关于肝脏三维重建装置的具体限定可以参见上文中对于肝脏三维重建方法的限定，在此不再赘述。上述肝脏三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储肝脏三维重建数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种肝脏三维重建方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多张形变肝脏图像及标准肝脏三维模型；标准肝脏三维模型是基于多张未形变肝脏图像生成的；
基于多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
根据相匹配的第一像素点和第二像素点，将未形变肝脏图像映射至形变肝脏三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取每张形变肝脏图像中的肝脏轮廓特征；
根据肝脏轮廓特征确定形变肝脏图像中的关键点；
对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；
基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；
根据点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据匹配关键点确定基础矩阵；
根据基础矩阵确定相机矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定与各第一像素点相对应的位于不同形变肝脏图像中的关键点；
根据点坐标及相机矩阵，将第一像素点重投影至形变肝脏图像中；
根据
Figure BDA0002414528790000181
计算重投影后的第一像素点的点坐标与对应关键点之间的坐标差，得到重投影误差；式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表点i在第j张形变肝脏图像上的投影；
基于最小化的重投影误差调整各第一像素点的点坐标。
在一个实施例中，多张未形变的肝脏图像是在不同的视角下采集而得；处理器执行计算机程序时还实现以下步骤：
确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；
计算不同视角下的标准肝脏三维模型与当前视角下的未形变肝脏图像之间的刚性转换；
根据刚性转换，对标准肝脏三维模型进行旋转、平移；
确定旋转、平移后的标准肝脏三维模型中的与轮廓像素点相对应的第二像素点；
根据与轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将轮廓像素点投影至对应的第二像素点上。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；
确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；
根据形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；
确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；
根据坐标差对应调整形变三维模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多张形变肝脏图像及标准肝脏三维模型；标准肝脏三维模型是基于多张未形变肝脏图像生成的；
基于多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第一像素点与形变肝脏三维模型中相匹配的第二像素点；
根据相匹配的第一像素点和第二像素点，将未形变肝脏图像映射至形变肝脏三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取每张形变肝脏图像中的肝脏轮廓特征；
根据肝脏轮廓特征确定形变肝脏图像中的关键点；
对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；
基于匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；
根据点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据匹配关键点确定基础矩阵；
根据基础矩阵确定相机矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定与各第一像素点相对应的位于不同形变肝脏图像中的关键点；
根据点坐标及相机矩阵，将第一像素点重投影至形变肝脏图像中；
根据
Figure BDA0002414528790000201
计算重投影后的第一像素点的点坐标与对应关键点之间的坐标差，得到重投影误差；式中aij为在第一像素点i在第j张形变肝脏图像上的投影点，bij为对aij进行二进制变换后的值，向量ci代表腹腔镜的位置向量，向量di代表第一像素点的位置向量，p(ci，dj)代表点i在第j张形变肝脏图像上的投影；
基于最小化的重投影误差调整各第一像素点的点坐标。
在一个实施例中，多张未形变的肝脏图像是在不同的视角下采集而得；计算机程序被处理器执行时还实现以下步骤：
确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；
计算不同视角下的标准肝脏三维模型与当前视角下的未形变肝脏图像之间的刚性转换；
根据刚性转换，对标准肝脏三维模型进行旋转、平移；
确定旋转、平移后的标准肝脏三维模型中的与轮廓像素点相对应的第二像素点；
根据与轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将轮廓像素点投影至对应的第二像素点上。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；
确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；
根据形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；
确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；
根据坐标差对应调整形变三维模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种肝脏三维重建方法，其特征在于，所述方法包括：
获取多张形变肝脏图像及标准肝脏三维模型；所述标准肝脏三维模型是基于多张未形变肝脏图像生成的；所述多张未形变的肝脏图像是在不同的视角下采集而得；
基于所述多张形变肝脏图像构造形变肝脏三维模型；
确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；
根据所述各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定所述标准肝脏三维模型中每个第二像素点与形变肝脏三维模型中相匹配的第一像素点；
确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；
计算不同视角下的标准肝脏三维模型与所述当前视角下的未形变肝脏图像之间的刚性转换，并根据所述刚性转换，对所述标准肝脏三维模型进行旋转、平移；其中，旋转后的所述标准肝脏三维模型的轮廓与当前视角下的未形变肝脏图像中的肝脏轮廓一致；
确定旋转、平移后的标准肝脏三维模型中的与所述轮廓像素点相对应的第二像素点；
根据与所述轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将所述轮廓像素点投影至对应的第一像素点上，并调整映射方式，直至当前视角下的所述未形变肝脏图像中的肝脏轮廓像素点与第一像素点之间的重合像素点最多。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多张形变肝脏图像构造形变肝脏三维模型包括：
提取每张形变肝脏图像中的肝脏轮廓特征；
根据所述肝脏轮廓特征确定形变肝脏图像中的关键点；
对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；
基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；
根据所述点坐标以及腹腔镜的相机矩阵构造形变肝脏三维模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵包括：
根据匹配关键点确定基础矩阵；
根据基础矩阵确定相机矩阵。
4.根据权利要求1所述的方法，其特征在于，所述标准肝脏三维模型是指对未发生形变的肝脏进行三维建模后得到的立体模型。
5.根据权利要求1所述的方法，其特征在于，所述第一像素点是指构成形变肝脏三维模型所需的三维点。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述形变肝脏三维模型与标准肝脏三维模型之间的形状误差、旋转误差、再投影误差以及边缘误差；
确定第一像素点的位置坐标以及相匹配的第二像素点的位置坐标；
根据所述形状误差、旋转误差、再投影误差以及边缘误差，以及相匹配的第二像素点的位置坐标计算第三像素点的位置坐标；
确定第三像素点的位置坐标与对应第一像素点的位置坐标之间的坐标差；
根据坐标差对应调整所述形变肝脏三维模型。
7.一种肝脏三维重建装置，其特征在于，所述装置包括：
形变肝脏三维模型重建模块，用于获取多张形变肝脏图像及标准肝脏三维模型；标准肝脏三维模型是基于多张未形变肝脏图像生成的；基于多张形变肝脏图像构造形变肝脏三维模型；所述多张未形变的肝脏图像是在不同的视角下采集而得；
匹配模块，用于确定标准肝脏三维模型及形变肝脏三维模型中各像素的阈值梯度强度；根据各像素的阈值梯度强度，对标准肝脏三维模型和形变肝脏三维模型进行像素匹配，确定标准肝脏三维模型中每个第二像素点与形变肝脏三维模型中相匹配的第一像素点；
映射模块，用于确定当前视角下的未形变肝脏图像，以及当前视角下的未形变肝脏图像中的肝脏的轮廓像素点；计算不同视角下的标准肝脏三维模型与所述当前视角下的未形变肝脏图像之间的刚性转换，并根据所述刚性转换，对所述标准肝脏三维模型进行旋转、平移；其中，旋转后的所述标准肝脏三维模型的轮廓与当前视角下的未形变肝脏图像中的肝脏轮廓一致；确定旋转、平移后的标准肝脏三维模型中的与所述轮廓像素点相对应的第二像素点；根据与所述轮廓像素点相对应的第二像素点，以及第一像素点和第二像素点之间的匹配关系，将所述轮廓像素点投影至对应的第一像素点上，并调整映射方式，直至当前视角下的所述未形变肝脏图像中的肝脏轮廓像素点与第一像素点之间的重合像素点最多。
8.根据权利要求7所述的装置，其特征在于，所述形变肝脏三维模型重建模块还用于：
提取每张形变肝脏图像中的肝脏轮廓特征；根据所述肝脏轮廓特征确定形变肝脏图像中的关键点；对每两张形变肝脏图像中的关键点进行匹配，得到匹配关键点；基于所述匹配关键点，确定第一像素点的点坐标以及腹腔镜的相机矩阵；根据所述点坐标以及腹腔镜的相机矩阵构造形变三维模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010186981.9A 2020-03-17 2020-03-17 肝脏三维重建方法、装置、计算机设备和存储介质 Active CN111402421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010186981.9A CN111402421B (zh) 2020-03-17 2020-03-17 肝脏三维重建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010186981.9A CN111402421B (zh) 2020-03-17 2020-03-17 肝脏三维重建方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111402421A CN111402421A (zh) 2020-07-10
CN111402421B true CN111402421B (zh) 2021-12-28

Family

ID=71432604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010186981.9A Active CN111402421B (zh) 2020-03-17 2020-03-17 肝脏三维重建方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111402421B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100255B (zh) * 2022-06-16 2023-05-26 赛维森(广州)医疗科技服务有限公司 图像对齐方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663819A (zh) * 2012-05-02 2012-09-12 清华大学深圳研究生院 基于超声图像和三维模型的肝脏体积测量方法
CN104978440A (zh) * 2014-04-03 2015-10-14 上海联影医疗科技有限公司 一种心脏模型建立、配准及多平面重建的方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN107610121A (zh) * 2017-09-28 2018-01-19 河北大学 一种肝脏统计形状模型初始位姿设定方法
CN109509199A (zh) * 2018-10-10 2019-03-22 华南理工大学 一种基于三维重建的医学影像组织智能分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131038B2 (en) * 2007-08-21 2012-03-06 Siemens Aktiengesellschaft System and method for global-to-local shape matching for automatic liver segmentation in medical imaging
CN106097422A (zh) * 2016-04-29 2016-11-09 青岛大学附属医院 基于大数据的肝脏三维图像动态演示系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663819A (zh) * 2012-05-02 2012-09-12 清华大学深圳研究生院 基于超声图像和三维模型的肝脏体积测量方法
CN104978440A (zh) * 2014-04-03 2015-10-14 上海联影医疗科技有限公司 一种心脏模型建立、配准及多平面重建的方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN107610121A (zh) * 2017-09-28 2018-01-19 河北大学 一种肝脏统计形状模型初始位姿设定方法
CN109509199A (zh) * 2018-10-10 2019-03-22 华南理工大学 一种基于三维重建的医学影像组织智能分割方法

Also Published As

Publication number Publication date
CN111402421A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
JP5455873B2 (ja) シーンにおける物体の姿勢を求めるための方法
US8908913B2 (en) Voting-based pose estimation for 3D sensors
US7664339B2 (en) Image processing method for object recognition and dynamic scene understanding
Läbe et al. Automatic relative orientation of images
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN112562082A (zh) 一种三维人脸重建方法及系统
CN111881985B (zh) 立体匹配方法、装置、终端和存储介质
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN113689535A (zh) 基于无人机影像的建筑物模型的生成方法和装置
CN111402421B (zh) 肝脏三维重建方法、装置、计算机设备和存储介质
Baráth et al. Optimal multi-view surface normal estimation using affine correspondences
Grasa et al. EKF monocular SLAM 3D modeling, measuring and augmented reality from endoscope image sequences
WO2024037562A1 (zh) 三维重建方法、装置及计算机可读存储介质
CN112950684A (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
Tong et al. 3D information retrieval in mobile robot vision based on spherical compound eye
CN113361400B (zh) 一种头部姿态估计方法、装置及存储介质
CN110264562A (zh) 颅骨模型特征点自动标定方法
CN113178000B (zh) 三维重建方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant