CN106097437B - 基于纯光学系统的生物自发光三维成像方法 - Google Patents
基于纯光学系统的生物自发光三维成像方法 Download PDFInfo
- Publication number
- CN106097437B CN106097437B CN201610417527.3A CN201610417527A CN106097437B CN 106097437 B CN106097437 B CN 106097437B CN 201610417527 A CN201610417527 A CN 201610417527A CN 106097437 B CN106097437 B CN 106097437B
- Authority
- CN
- China
- Prior art keywords
- target object
- dimensional
- light
- graceful
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 71
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 59
- 239000003550 marker Substances 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000000799 fluorescence microscopy Methods 0.000 claims abstract description 13
- 238000009792 diffusion process Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 210000002706 plastid Anatomy 0.000 claims description 2
- 230000004060 metabolic process Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000009885 systemic effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 241000699666 Mus <mouse, genus> Species 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000000243 solution Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 108091005804 Peptidases Proteins 0.000 description 1
- 239000004365 Protease Substances 0.000 description 1
- 102100037486 Reverse transcriptase/ribonuclease H Human genes 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006555 catalytic reaction Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010172 mouse model Methods 0.000 description 1
- UPSFMJHZUCSEHU-JYGUBCOQSA-N n-[(2s,3r,4r,5s,6r)-2-[(2r,3s,4r,5r,6s)-5-acetamido-4-hydroxy-2-(hydroxymethyl)-6-(4-methyl-2-oxochromen-7-yl)oxyoxan-3-yl]oxy-4,5-dihydroxy-6-(hydroxymethyl)oxan-3-yl]acetamide Chemical compound CC(=O)N[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1O[C@H]1[C@H](O)[C@@H](NC(C)=O)[C@H](OC=2C=C3OC(=O)C=C(C)C3=CC=2)O[C@@H]1CO UPSFMJHZUCSEHU-JYGUBCOQSA-N 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009261 transgenic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Abstract
本发明公开了一种基于纯光学系统的生物自发光三维成像方法，所述方法包括以下步骤：获取目标对象多个角度的二维白光图像和二维荧光图像及二维白光标记点分布；重建目标对象的三维表面结构；网格剖分得到匀质体模型；对标志物的三维坐标配准得到旋转中轴线与光心外法向量间的距离偏差；将二维荧光图像荧光信号映射到匀质体模型中，得到荧光表面光强信息；建立光子在目标对象内部的扩散传输模型；建立优化目标函数并求解得到目标对象内部的最优光强分布，进而得到生物自发荧光的发光光源分布，即生物自发荧光成像结果。本发明能有效地应用于目标体全身生理代谢的研究，重建效率高且适用于成像系统性能较低或者实验环境较差的情况。
Description
技术领域
本发明属于医学分子影像领域，涉及计算机视觉与自发荧光断层成像方法，尤其是一种融合了多角度光学图像进行光学投影的3D表面重建与基于分裂布雷格曼的自发荧光断层成像技术。
背景技术
光学成像技术是近年来新兴的一种分子影像技术，具有高灵敏度，辐射非电离，操作简便等优点，逐渐成为小动物在体成像相关研究中的一类重要模态，是一种可以在细胞分子水平上实现生物组织内部生物物理过程进行无创实时动态连续成像的一种技术。其通过获取到的目标体表面出射光强分布，探测到在目标体内部的光源分布，则能够对目标体进行定量化研究，为荧光光源提供三维的定位信息。
目前主要的小动物自发荧光成像普遍采用的方法是结合BLI模态和CT模态。通过BLI模态获得肿瘤病灶的荧光分布，通过CT模态获得三维空间解剖结构信息，再根据CT得到的几何结构信息获取空间非匀质模型，进而进行光源重建。但由于CT在采集过程中会产生辐射，因而传统三维空间解剖信息获取过程会对拍摄对象、拍摄人员以及环境造成一定的危害，由此，使用纯光学的三维重建来获取拍摄对象的三维结构信息显得尤为重要。
基于纯光学系统的生物自发光三维成像方法有别于传统CT重建获取三维空间解剖信息的方法，其使用二次校正多角度光学投影表面重建获取成像对象的三维匀质空间信息。在提供三维匀质空间信息的同时，该光学投影表面重建方法也受到了本荧光成像方法中单个标记物分别在多个角度下配准得到的三维位置信息的二次校正，从而消减了光学投影表面重建对象不在旋转中心，以及旋转中心与光心外法向量间存在距离偏差的不良影响。
此外，由于单纯使用光学投影表面重建得到的三维匀质空间信息缺乏解剖信息，将光学投影表面重建替换传统的CT成像会对重建结果造成不良影响。因此，本发明方法选取分裂布雷格曼重建方法来进行自发荧光成像。分裂布雷格曼重建方法是一种非常有效的数值计算方法，且近年来被广泛应用于各类图像去噪，压缩感知等领域。本发明方法以分裂布雷格曼作为自发荧光重建方法，以保证即使在三维光学投影表面重建获取的匀质空间信息下，也能得到良好的光源强度和光源位置的重建结果。此外，将代理模型结合到分裂布雷格曼中，能够加速布雷格曼算法的运算速度。通过将多角度光学投影表面重建和分裂布雷格曼的有效结合，本发明方法能够达到良好的纯光学自发荧光成像方法。
发明内容
本发明的目的是提供一种结合了基于二次校正的多角度光学投影表面重建和分裂布雷格曼重建算法的纯光学的生物自发光三维成像方法。该方法使用自制的多角度光学投影表面重建系统，利用高性能探测器多角度拍摄成像对象表面信息，重建形成成像对象的三维空间匀质结构，并使用分裂布雷格曼重建方法提高成像对象体内光源的光强分布重建。
为了实现上述目的，本发明基于纯光学系统的生物自发光三维成像方法包括以下步骤：
步骤1：获取目标对象多个角度的二维白光图像和二维荧光图像，并基于得到的二维白光图像获取白光环境下目标对象周围人为设置的标记物在二维白光图像中的二维像素坐标，即二维白光标记点分布；
步骤2：基于所述步骤1得到的二维白光标记点分布将所述目标对象多个角度的二维白光图像重建成目标对象的三维表面结构；
步骤3：对所述步骤2得到的目标对象的三维表面结构进行网格剖分，得到目标对象的匀质体模型；
步骤4：使用基于小孔成像的线性映射方法，将二维白光图中人为设置的标志物在二维白光图中的二维像素坐标与所述步骤3得到的匀质体模型中相应标记物的三维坐标进行配准，得到旋转中轴线与光心外法向量间的距离偏差；
步骤5：如果所述旋转中轴线与光心外法向量间的距离偏差大于某一预定阈值，则对所述二维白光图像进行相应的平移补偿，再返回步骤2，否则，进入步骤6；
步骤6：将所述二维荧光图像上的荧光信号，同样按照小孔成像的原理，映射到所述匀质体模型中，得到荧光表面光强信息；
步骤7：建立光子在目标对象内部的扩散传输模型；
步骤8：基于所述荧光表面光强信息，将所述扩散传输模型转换为线性矩阵方程；
步骤9：建立重建优化目标函数；
步骤10：求解所述重建优化目标函数，得到目标对象内部的最优光强分布，进而得到生物自发荧光的发光光源分布，即生物自发荧光成像结果。
可选地，所述步骤2中，利用视觉外壳进行目标对象三维表面结构的重建。
可选地，所述步骤4中，使用基于小孔成像的线性映射方法，将标志物在二维白光图中的二维像素坐标与匀质体模型中相应标记物的三维坐标进行配准。
可选地，所述步骤4进一步包括以下步骤：
步骤41，计算承载目标对象的旋转台的旋转中心与相机之间的距离D；
步骤42，根据旋转中心与相机之间的距离D，以及成像结果中同一个标记点在旋转180度前后的坐标变化的中心线的中点o，计算得到相机光心在以旋转台旋转轴线的中点为坐标原点的三维直角坐标系中的对应位置O；
步骤43，根据位置O得到旋转台的旋转中轴线与光心外法向量间的距离偏差。
可选地，所述步骤6进一步包括以下步骤：
步骤61，已知相机光心位置，通过小孔成像原理，将匀质体模型表面点映射到二维荧光图像中，并剔除表面点中的背面点；
步骤62，将表面点映射所在位置的荧光强度赋值给该表面点，得到荧光表面光强信息。
可选地，所述线性矩阵方程表示为：
其中，A是描述模型性质的系统矩阵，S表示待求解的目标对象内部的光强分布，表示荧光表面光强信息在匀质体模型表面上的分布。
可选地，所述重建优化目标函数为：
其中，μ为正则化参数，||S||1表示l1范数。
可选地，所述步骤10进一步包括以下步骤：
步骤101，利用布雷格曼迭代算法构建所述重建优化目标函数在布雷格曼距离基础上的L1正则项变化形式；
步骤102，利用分裂布雷格曼迭代算法消除布雷格曼迭代过程中存在的正则项非凸问题，得到与所述重建优化目标函数的求解式等价的两个子问题；
步骤103，对于所述两个子问题进行求解，得到目标对象内部的光强分布S；
步骤104，根据目标对象内部的光强分布S计算判断R＜0.1是否为假，若是则执行k＝k+1，并跳至所述步骤103，进入下一次迭代；若为真，则重建停止。
可选地，所述两个子问题表示为：
bk+1＝bk+J(Sk+1)-dk+1
其中，Sk+1表示第k次迭代后的S，dk+1表示迭代k次后的分裂变量，λ表示分裂布雷格曼算法参数，J(S)表示正则项，表示迭代产生的残量。
可选地，所述步骤103中利用分裂布雷格曼迭代算第一个子问题，并将分裂布雷格曼迭代算法与sorrogate代理模型方法结合，降低分裂布雷格曼迭代算第一个子问题的计算复杂度。
本发明的有益效果是：使用多角度光学投影表面重建获得的成像对象三维空间表面结构，可以有效避免CT过程的辐射危害，并且使用荧光成像配准系统中的标志物来二次校正光学投影表面重建，能够提高二次教正光学投影结果。此外，由于光学投影表面重建获得的匀质模型并不利于生物自发荧光成像的光源强度以及光源位置的重建，故本发明方法通过将分裂布雷格曼重建算法与多角度光学投影表面重建联合运用，能够有效地提供纯光学的有效的生物自发荧光成像。
附图说明
图1为根据本发明一实施例的基于纯光学系统的生物自发光快速三维成像方法的流程图。
图2为基于多角度光学投影表面重接方法的白光采集过程，其中图2(a)为多角度采集小鼠表面白光图片的过程及所使用的设备，图2(b)为旋转0度时小鼠表面荧光配准的过程，图2(c)为旋转48度时小鼠表面荧光配准过程。
图3为荧光成像系统设备上的标记物展示。
图4为在小鼠匀质体表面配准荧光信息的结果图。
图5为在小鼠匀质体下分裂布雷格曼重建算法得到的小鼠体内光源重建结果。
图6为圆盘上的标记物的分布设计图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明是一种结合了基于二次校正的多角度光学投影表面重建和分裂布雷格曼重建算法的纯光学生物自发光三维成像方法。基于二次校正多角度光学投影表面重建是一种借助多角度二维图像的拍摄结果进行物体表面三维结构重建，为荧光配准提供空间信息的方法，并且利用荧光配准信息在各个角度下同一个标志物的位置偏差推算相机光心偏差，进而修正相机光心与拍摄对象旋转中心间的距离偏差，将荧光成像系统和多角度光学投影表面重建进行互补融合，并建立了一种基于纯光学系统的生物自发光快速三维成像方法。其中，纯光学系统是指没有使用计算机断层扫描(Computer Tomography)或者核磁造影成像(Magnetic Resonance Imaging)，而是使用光学三维表面重建方法来得到生物自发光重建对象的三维结构信息的系统。
自发荧光断层成像，通过对小动物打入转基因肿瘤细胞，使得小动物在病灶处产生荧光蛋白酶，进而通过静脉注射荧光底物，使肿瘤细胞在蛋白酶催化作用下发射出近红外光。发射光在生物体中传递，不断受到组织器官的吸收和散射，最终有一部分光子来到动物体表面，被高灵敏度相机捕捉。将相机捕捉的表面荧光信息与动物的三维空间结构融合，并使用合理的重建算法，自发荧光成像将获得动物体内的光源强度分布。
图1为根据本发明一实施例的基于纯光学系统的生物自发光快速三维成像方法的流程图，在本实施例中，利用高性能CCD相机在目标体周围360°方向上，均匀地获取N幅白光图像及相同位置的荧光图像，用于进行目标体表面轮廓的重建，并且通过捕捉目标体在自发荧光断层成像中出射的表面光强分布，融合表面轮廓结构信息，采用分裂布雷格曼迭代算法重建得到目标体的光源分布。如图1所示，所述方法包括以下步骤：
步骤1：获取目标对象多个角度的二维白光图像和二维荧光图像，并基于得到的二维白光图像获取白光环境下目标对象周围人为设置的标记物在二维白光图像中的二维像素坐标，即二维白光标记点分布；
其中，所述标记物分为两种，一种是在固定目标对象的物体上设置的标记物，诸如圆洞(见图3)，另一种是在固定目标对象的物体下方放置的圆盘上设置的圆洞(见图2(a)和图6)。
其中，优选使用高灵敏相机来获得目标对象多个角度的二维白光图像和二维荧光图像。
需要注意的是，所述人为设置的标记物是人为地在目标对象的物体上安置的固体标志物，其外形需要清楚可见，如图3所示，当然也可以采用其他外形清晰的标志物，本发明对其不作具体限定。
步骤2：基于所述步骤1得到的二维白光标记点分布将所述目标对象多个角度的二维白光图像重建成目标对象的三维表面结构；
在本发明一实施例中，采用“Visual Hull视觉外壳”进行目标对象三维表面结构的重建，其中，“Visual Hull视觉外壳”是一种基于多视点拍摄的二维图像进行物体表面轮廓三维重建的成熟技术。本发明所使用的“Visual Hull视觉外壳”方法为matlab下现有的工具包。
步骤3：对所述步骤2得到的目标对象的三维表面结构进行网格剖分，得到目标对象的匀质体模型；
步骤4：使用基于小孔成像的线性映射方法，将二维白光图中人为设置的标志物在二维白光图中的二维像素坐标与所述步骤3得到的匀质体模型中相应标记物的三维坐标进行配准，得到旋转中轴线与光心外法向量间的距离偏差；
所述步骤4进一步包括以下步骤：
步骤41，计算承载目标对象的旋转台的旋转中心与相机之间的距离D；
记标记物所在圆盘(见图6)的直径已知为R，由圆盘在成像平面得到的椭圆图像的长径为r，得到承载目标对象的旋转台的旋转中心与相机之间的距离D为：
D＝(R×d)/r
其中，d为相机成像平面到相机光心的距离。
步骤42，根据旋转中心与相机之间的距离D，以及成像结果中同一个标记点在旋转180度前后的坐标变化的中心线的中点o，计算得到相机光心在以旋转台(见图2)旋转轴线的中点为坐标原点的三维直角坐标系(轴线为Z轴)中的对应位置O，其中，记光心法向量向外为系统中Z轴正方向：
O＝[o×D/d -D]
步骤43，根据位置O得到旋转台的旋转中轴线与光心外法向量间的距离偏差||O||2。
步骤5：如果所述旋转中轴线与光心外法向量间的距离偏差大于某一预定阈值，比如1mm，则使用图像处理方法对所述二维白光图像进行相应的平移补偿，再返回步骤2，否则，进入步骤6；
步骤6：将所述二维荧光图像上的荧光信号，同样按照小孔成像的原理，映射到所述匀质体模型中，得到荧光表面光强信息；
所述步骤6进一步包括以下步骤：
步骤61，已知相机光心位置，通过小孔成像原理，将匀质体模型表面点映射到二维荧光图像中，并剔除表面点中的背面点，即被物体自身遮挡住的点，映射公式如下
i＝-I×d/D
其中，I为三维空间中表面点位置，i为该表面点在二维荧光图像上的映射位置。
步骤62，将表面点映射所在位置的荧光强度赋值给该表面点，得到荧光表面光强信息。
步骤7：建立光子在目标对象内部的扩散传输模型；
在本发明一实施例中，采用波尔兹曼传输方程的一阶球谐近似得到的扩散方程来建立光子在目标对象内部的扩散传输模型。
步骤8：基于所述荧光表面光强信息，将所述扩散传输模型转换为线性矩阵方程；
在本发明一实施例中，利用有限元方法将所述扩散传输模型转换为线性矩阵方程：其中，A是描述模型性质的系统矩阵，S表示待求解的目标对象内部的光强分布，表示步骤6中获得的荧光表面光强信息在匀质体模型表面上的分布。
步骤9：建立重建优化目标函数；
该函数利用L1正则项进行稀疏重建，具体地，该函数在荧光光源，即肿瘤源分布相较目标对象身体而言稀疏的先验知识下进行光源分布的三维重建，从而提高重建精度。
在本发明一实施例中，利用正则理论建立如下式所示的重建优化目标函数：
其中，μ为正则化参数，||S||1表示l1范数。
步骤10：求解所述重建优化目标函数，得到目标对象内部的最优光强分布，该分布结果代表匀质体模型中各个点的光强值，进而得到生物自发荧光的发光光源分布，即生物自发荧光成像结果(见图4)。
所述步骤10进一步包括以下步骤：
步骤101，利用布雷格曼迭代算法构建所述重建优化目标函数在布雷格曼距离基础上的L1正则项变化形式；
所述布雷格曼迭代算法从次梯度的角度，使用布雷格曼距离代替原本所述重建优化目标函数中的正则项J(S)，在本方法中为步骤9优化目标函数中的S(该正则项为凸函数)，进而提高迭代收敛速率。
其中，对于函数J上的u，v两点，布雷格曼距离定义为：
其中，P是函数J在v点的次梯度，<P，u-v>为内积算子。
步骤102，利用分裂布雷格曼迭代算法消除布雷格曼迭代过程中存在的正则项非凸问题，得到与所述重建优化目标函数的求解式等价的两个子问题；
该步骤中，当函数J是步骤9中的L1正则项问题时，引入分裂思想，即设立一个分裂变量d，其理论上等于正则项J(u)，用来解决布雷格曼迭代过程中存在的正则项非凸问题，得到分裂布雷格曼迭代算法，提高收敛速度。
采用分裂布雷格曼迭代框架，并经过公式整理，所述重建优化目标函数的求解式等价于求解下面两个子问题：
bk+1＝bk+J(Sk+1)-dk+1
其中，Sk+1表示第k次迭代后的S，dk+1表示迭代k次后的分裂变量，λ表示分裂布雷格曼算法参数，J(S)表示正则项，表示迭代产生的残量，由次梯度P整理得到。
步骤103，对于所述两个子问题进行求解，得到目标对象内部的光强分布S；
该步骤中，针对步骤102得到的两个子问题中的第一个子问题，本实施例使用分裂布雷格曼迭代算法，分别对S和d进行迭代更新，其中对S的更新涉及到基于对的最优化求解问题，故通过“surrogate代理模型”方法，将该项进行解耦，得到S中每个元素独自的计算表达式，其中，μ是正则化参数，λ是分裂布雷格曼算法参数，bi代表迭代残量b的第i个元素，αij代表矩阵A的一个元素，ai为矩阵A的第i行，m为矩阵A的行向量：
其中，“surrogate model代理模型”是指一种计算量小，但其结果与高精度模型的计算结果相似的分析模型。使用代理模型替代原有的高精度分析模型，能够有效的减少计算过程的计算量，进而提高计算效率。
步骤104，根据目标对象内部的光强分布S计算判断R＜0.1是否为假，若是则执行k＝k+1，并跳至所述步骤103，进入下一次迭代；若为真，则重建停止。
本发明将多角度光学投影表面重建与多角度荧光配准系统相结合，用多角度光学投影表面重建为荧光配准系统提供物体表面空间结构，而荧光配准系统的配准偏差又能反应实际多角度光学投影表面重建中的标定偏差。此外，使用多角度光学投影表面重建的方法，可以避开传统CT产生辐射的问题，进而得到代替断层扫描的三维物体表面结构，获取匀质体模型，然后使用分裂布雷格曼重建算法，并结合代理模型解耦布雷格曼算法的迭代过程，使三维自发荧光重建结果，即使在匀质体模型下，也能快速地得到较为准确的光源分布信息，从而使整个系统成为了一个良好的光学三维自发荧光成像系统。
本发明所搭建的光学系统平台的空间标记点与“Visual Hull”多角度光学投影表面重建方法进行组合，形成一种改良型的二次校准“Visual Hull”多角度投影重建系统。使用单个空间标记点在多个角度下分别配准之后的位置偏差进行估算，进而补偿多角度光学投影表面重建时，被重建物体的旋转轴心与相机镜头光心处之间的距离偏差，从而为“Visual Hull”表面重建进行二次校准。
本发明使用基于多角度的光学投影表面重建过程获得对象模型的空间匀质模型和表面光斑分布。
本发明将基于L1范数的分裂布雷格曼重建算法用于自发荧光光源重建，克服基于多角度的光学投影表面重建获得的空间匀质模型下重建精准下降问题。
本发明将代理模型替换传统的分裂布雷格曼算法的L2求解环节，得到改良的分裂布雷格曼算法。
本发明将分裂布雷格曼重建算法和基于多角度的光学投影表面重建结合，使重建系统能够在纯光学的体系下依旧保持良好的重建结果。
综上，本发明使用纯光学进行三维表面重建和自发荧光断层成像，尤其是使用经过成像系统二次校正的纯光学三维表面重建代替传统的计算机断层扫描，并与以分裂布雷格曼重建算法为核心的自发荧光光源定位方法进行有效地结合。这种技术所使用的二次校正方法能够避免一般的多角度光学投影表面重建在实际拍摄时由于拍摄对象与旋转中心之间的偏差，旋转中心与光心之间的偏差产生的不良影响。而该光学投影表面重建得到的三维物体表面结构能够代替传统的CT，进而避免CT辐射在成像中带来的危害。此外，本发明方法巧妙地结合了分裂布雷格曼重建算法，使其在光学投影得到的匀质模型中也能得到良好的目标体内部光源强度与位置结果。本发明技术方案的要点在于，利用成像系统上标志物对多角度光学投影表面重建进行二次校正，而光学投影表面重接结果又进而为成像系统提供三维表面结构。在这种架构下，本发明方法使多角度光学图像进行光学投影的3D表面重建与多角度荧光进行互补融合。之后再使用扩散方程建立光子传输模型，采用分裂布雷格曼重建算法对自发荧光内部光源，进行精确重建。本发明技术能有效地应用于目标体全身生理代谢的研究，重建效率高且适用于成像系统性能较低或者实验环境较差的情况。
请参阅图2为基于多角度光学投影表面重建环节多角度白光图像拍摄过程，图2(a)为多角度采集小鼠表面白光图片的过程及所使用的设备，图2(b)为旋转0度时小鼠表面荧光配准的过程，图2(c)为旋转48度时小鼠表面荧光配准过程。通过对小鼠进行旋转，进而拍摄多张小鼠白光图像，进而使用Visual Hall进行老鼠三维表面结构重建。图4给出了将拍摄的荧光图像配准在小鼠匀质体模型上的结果。
请参阅图3为荧光光学成像系统设备上的标识物。图中白十字标注的为其中一个标志物。通过这些标志物，将白光图与匀质体模型进行配准，将得到在当前角度下该标志物的三维空间位置。然后综合考量同一个标志物在不同角度下重建得到的三维空间位置，进而计算旋转中心与光心的偏差。
请参阅图5为结合了基于多角度光学投影表面重建和分裂布雷格曼重建算法的三维重建结果，左边一列是CT中，光源(人工内置的光源，仿微小肿瘤)的位置，右边一列是重建得到的肿瘤，重建对象为缝入了荧光棒的老鼠模型。可以看出，本发明所构建的三维自发荧光成像方法可以很好的获得成像对象的光源分布结果。
请参阅图6为圆盘上的标记物的分布设计图。该圆盘上标记了32个标记孔，且每个方向的的标记孔队列由小孔和大孔由圆心到边缘以不同排列顺序组成，从而在二维白光图中确认各个标记孔队列位置，进而确认转盘方向。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于纯光学系统的生物自发光三维成像方法，其特征在于，所述方法包括以下步骤：
步骤1：获取目标对象多个角度的二维白光图像和二维荧光图像，并基于得到的二维白光图像获取白光环境下目标对象周围人为设置的标记物在二维白光图像中的二维像素坐标，即二维白光标记点分布；
步骤2：基于所述步骤1得到的二维白光标记点分布将所述目标对象多个角度的二维白光图像重建成目标对象的三维表面结构；
步骤3：对所述步骤2得到的目标对象的三维表面结构进行网格剖分，得到目标对象的匀质体模型；
步骤4：使用基于小孔成像的线性映射方法，将二维白光图中人为设置的标志物在二维白光图中的二维像素坐标与所述步骤3得到的匀质体模型中相应标记物的三维坐标进行配准，得到旋转中轴线与光心外法向量间的距离偏差；
步骤5：如果所述旋转中轴线与光心外法向量间的距离偏差大于某一预定阈值，则对所述二维白光图像进行相应的平移补偿，再返回步骤2，否则，进入步骤6；
步骤6：将所述二维荧光图像上的荧光信号，同样按照小孔成像的原理，映射到所述匀质体模型中，得到荧光表面光强信息；
步骤7：建立光子在目标对象内部的扩散传输模型；
步骤8：基于所述荧光表面光强信息，将所述扩散传输模型转换为线性矩阵方程；
步骤9：建立重建优化目标函数；
步骤10：求解所述重建优化目标函数，得到目标对象内部的最优光强分布，进而得到生物自发荧光的发光光源分布，即生物自发荧光成像结果；
其中，所述线性矩阵方程表示为：
其中，A是描述模型性质的系统矩阵，S表示待求解的目标对象内部的光强分布，表示荧光表面光强信息在匀质体模型表面上的分布；
其中，所述重建优化目标函数为：
其中，μ为正则化参数，||S||1表示l1范数；
其中，所述步骤10进一步包括以下步骤：
步骤101，利用布雷格曼迭代算法构建所述重建优化目标函数在布雷格曼距离基础上的L1正则项变化形式；
步骤102，利用分裂布雷格曼迭代算法消除布雷格曼迭代过程中存在的正则项非凸问题，得到与所述重建优化目标函数的求解式等价的两个子问题；
步骤103，对于所述两个子问题进行求解，得到目标对象内部的光强分布S；
步骤104，根据目标对象内部的光强分布S计算判断R＜0.1是否为假，若是则执行k＝k+1，并跳至所述步骤103，进入下一次迭代；若为真，则重建停止。
2.根据权利要求1所述的方法，其特征在于，所述步骤2中，利用视觉外壳进行目标对象三维表面结构的重建。
3.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：
步骤41，计算承载目标对象的旋转台的旋转中心与相机之间的距离D；
步骤42，根据旋转中心与相机之间的距离D，以及成像结果中同一个标记点在旋转180度前后的坐标变化的中心线的中点o，计算得到相机光心在以旋转台旋转轴线的中点为坐标原点的三维直角坐标系中的对应位置O；
步骤43，根据位置O得到旋转台的旋转中轴线与光心外法向量间的距离偏差。
4.根据权利要求1所述的方法，其特征在于，所述步骤6进一步包括以下步骤：
步骤61，已知相机光心位置，通过小孔成像原理，将匀质体模型表面点映射到二维荧光图像中，并剔除表面点中的背面点；
步骤62，将表面点映射所在位置的荧光强度赋值给该表面点，得到荧光表面光强信息。
5.根据权利要求1所述的方法，其特征在于，所述两个子问题表示为：
bk+1＝bk+J(Sk+1)-dk+1
其中，Sk+1表示第k次迭代后的S，dk+1表示迭代k次后的分裂变量，λ表示分裂布雷格曼算法参数，J(S)表示正则项，表示迭代产生的残量。
6.根据权利要求1所述的方法，其特征在于，所述步骤103中利用分裂布雷格曼迭代算第一个子问题，并将分裂布雷格曼迭代算法与sorrogate代理模型方法结合，降低分裂布雷格曼迭代算第一个子问题的计算复杂度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610417527.3A CN106097437B (zh) | 2016-06-14 | 2016-06-14 | 基于纯光学系统的生物自发光三维成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610417527.3A CN106097437B (zh) | 2016-06-14 | 2016-06-14 | 基于纯光学系统的生物自发光三维成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106097437A CN106097437A (zh) | 2016-11-09 |
| CN106097437B true CN106097437B (zh) | 2019-03-15 |
Family
ID=57845304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610417527.3A Active CN106097437B (zh) | 2016-06-14 | 2016-06-14 | 基于纯光学系统的生物自发光三维成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106097437B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392977B (zh) * | 2017-08-22 | 2021-04-13 | 西北大学 | 单视图切伦科夫发光断层成像重建方法 |
| CN111163697B (zh) * | 2017-10-10 | 2023-10-03 | 柯惠有限合伙公司 | 用于在荧光三维重构中识别和标记目标的系统和方法 |
| EP3756166A4 (en) * | 2018-04-27 | 2021-10-27 | Hewlett-Packard Development Company, L.P. | IMAGING THREE-DIMENSIONAL VOLUMES |
| CN108451508B (zh) * | 2018-04-28 | 2020-05-05 | 中国科学院自动化研究所 | 基于多层感知机的生物自发荧光三维成像方法 |
| CN109872353B (zh) * | 2019-01-04 | 2023-05-12 | 西北大学 | 基于改进迭代最近点算法的白光数据与ct数据配准方法 |
| CN113112499B (zh) * | 2021-04-29 | 2022-04-12 | 中国科学院深圳先进技术研究院 | 肝脏内部组织的位移预测方法、装置、系统及电子设备 |
| CN113160376B (zh) * | 2021-05-13 | 2023-04-18 | 中国工程物理研究院流体物理研究所 | 一种多色光照明三维粒子成像系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324529A (zh) * | 2008-07-18 | 2008-12-17 | 北京工业大学 | 一种自发荧光成像方法及系统 |
| CN101856220A (zh) * | 2010-05-14 | 2010-10-13 | 西安电子科技大学 | 定量光学分子断层成像装置和重建方法 |
| CN101947103A (zh) * | 2010-09-20 | 2011-01-19 | 西安电子科技大学 | 全光学生物发光断层成像方法 |
| CN103271723A (zh) * | 2013-06-26 | 2013-09-04 | 西安电子科技大学 | 一种生物发光断层成像重建方法 |
-
2016
- 2016-06-14 CN CN201610417527.3A patent/CN106097437B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324529A (zh) * | 2008-07-18 | 2008-12-17 | 北京工业大学 | 一种自发荧光成像方法及系统 |
| CN101856220A (zh) * | 2010-05-14 | 2010-10-13 | 西安电子科技大学 | 定量光学分子断层成像装置和重建方法 |
| CN101947103A (zh) * | 2010-09-20 | 2011-01-19 | 西安电子科技大学 | 全光学生物发光断层成像方法 |
| CN103271723A (zh) * | 2013-06-26 | 2013-09-04 | 西安电子科技大学 | 一种生物发光断层成像重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Improving limited-projection-angle fluorescence molecular tomography using a co-registered x-ray computed tomography scan;Karin Radrich等;《Journal of Biomedical Optics》;20121204;第17卷(第12期);全文 * |
| In vivo bioluminescence tomography based on multi-view projection and 3D surface reconstruction;Shuang Zhang等;《Proceedings Volume 9328, Imaging, Manipulation, and Analysis of Biomolecules, Cells, and Tissues XIII》;20150302;全文 * |
| Mapping of bioluminescent images onto CT volume surface for dual-modality BLT and CT imaging;chen xueli等;《Journal of X-Ray Science and Technology》;20121231;第20卷(第1期);全文 * |
| The Visual Hull Concept for Silhouette-Based Image Understanding;Aldo Laurentini;《IEEE TRANSACTIONS ON PATERN ANALYSIS AND MACHINE INTELLIGENCE》;19940228;第16卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106097437A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106097437B (zh) | 基于纯光学系统的生物自发光三维成像方法 | |
| JP6437286B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法及び治療システム | |
| US8090431B2 (en) | Systems and methods for bioluminescent computed tomographic reconstruction | |
| CN106456098B (zh) | 衰减图的生成方法及系统 | |
| US8170302B1 (en) | System and method for generating motion corrected tomographic images | |
| Jiang et al. | Reconstruction of fluorescence molecular tomography via a fused LASSO method based on group sparsity prior | |
| US8467584B2 (en) | Use of multifocal collimators in both organ-specific and non-specific SPECT acquisitions | |
| CN109031395A (zh) | 利用晶体辐射对患者床移位的自动检测和校正方法和装置 | |
| CN107133549A (zh) | Ect运动门控信号获取方法及ect图像重建方法 | |
| CN101947103B (zh) | 全光学生物发光断层成像方法 | |
| CN103300829A (zh) | 一种基于迭代重加权的生物自发荧光断层成像方法 | |
| Lin et al. | A model‐based tracking method for measuring 3D dynamic joint motion using an alternating biplane x‐ray imaging system | |
| Ma et al. | An encoder-decoder network for direct image reconstruction on sinograms of a long axial field of view PET | |
| Cloutier et al. | Deformable scintillation dosimeter: II. Real-time simultaneous measurements of dose and tracking of deformation vector fields | |
| Wang et al. | Mouse atlas registration with non-tomographic imaging modalities—a pilot study based on simulation | |
| Bray et al. | Three-dimensional surface reconstruction and fluorescent visualization of cardiac activation | |
| CN105662354B (zh) | 一种广视角光学分子断层成像导航系统及方法 | |
| Chen et al. | Color structured light system of chest wall motion measurement for respiratory volume evaluation | |
| Wissel et al. | Tissue thickness estimation for high precision head-tracking using a galvanometric laser scanner—A case study | |
| Wu et al. | Optical imaging for medical diagnosis based on active stereo vision and motion tracking | |
| Beattie et al. | Registration of planar bioluminescence to magnetic resonance and x-ray computed tomography images as a platform for the development of bioluminescence tomography reconstruction algorithms | |
| Zhang et al. | Multi-projection bioluminescence tomography guided system for small animal radiation research platform (SARRP) | |
| US10605742B2 (en) | System, method and computer-accessible medium for providing body-conforming animal bed, calibration cell and organ probability map for quantitative optical imaging of anatomical structures | |
| TWI430777B (zh) | 雙光子發射性斷層掃描系統及方法 | |
| Chen et al. | Mapping of bioluminescent images onto CT volume surface for dual-modality BLT and CT imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |