CN102247118B - 医疗用图像处理装置 - Google Patents

医疗用图像处理装置 Download PDF

Info

Publication number
CN102247118B
CN102247118B CN201110082529.9A CN201110082529A CN102247118B CN 102247118 B CN102247118 B CN 102247118B CN 201110082529 A CN201110082529 A CN 201110082529A CN 102247118 B CN102247118 B CN 102247118B
Authority
CN
China
Prior art keywords
shape
threshold value
value
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110082529.9A
Other languages
English (en)
Other versions
CN102247118A (zh
Inventor
井上凉子
西村博一
田中秀树
中村健次
沢美穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN102247118A publication Critical patent/CN102247118A/zh
Application granted granted Critical
Publication of CN102247118B publication Critical patent/CN102247118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明的内窥镜系统的要部构成为具有医疗用观察装置、医疗用图像处理装置以及监视器。医疗用图像处理装置的CPU(22)由三维模型估计部(22a)、检测对象区域设定部(22b)、形状特征量计算部(22c)、三维形状检测部(22d)、阈值决定部(22e)以及息肉决定部(22f)各功能部构成。根据这种结构，可执行与对象的二维图像的观察状态恰当地适应的处理，与以往相比能提高在检测具有局部隆起形状的病变的情况下的检测精度。

Description

医疗用图像处理装置
本申请基于专利法实施细则第42条提出，是申请日为2007年4月10日、申请号为200780026931.7的发明专利申请“医疗用图像处理装置”的分案申请。
技术领域
本发明涉及医疗用图像处理装置和医疗用图像处理方法，特别是涉及根据活体组织的像的二维图像估计该活体组织的三维模型的医疗用图像处理装置和医疗用图像处理方法。
背景技术
以往，在医疗领域中，广泛进行使用X线诊断装置、CT、MRI、超声波观测装置以及内窥镜装置等图像摄像设备的观察。这种图像摄像设备中的内窥镜装置例如具有以下的作用和结构，即：具有可插入到体腔内的插入部，使用固体摄像元件等摄像单元拍摄由配置在该插入部的前端部的物镜光学系统所成像的体腔内的像并作为摄像信号来输出，根据该摄像信号在监视器等显示单元上显示体腔内的像的图像。然后，用户根据显示在监视器等显示单元上的体腔内的像的图像进行例如体腔内的脏器等的观察。
并且，内窥镜装置可直接拍摄消化道粘膜的像。因此，用户可综合地观察例如粘膜的色调、病变的形状和粘膜表面的细微结构等。
而且，内窥镜装置中，作为能对存在具有局部隆起形状病变的规定图像进行检测的图像处理方法，例如通过使用日本特开2005-192880号公报(现有文献1)等所记载的图像处理方法，还能检测包含有息肉等病变部位的图像。
该现有文献1所记载的图像处理方法可提取所输入的图像具有的轮廓，并可根据该轮廓的形状检测该图像中具有局部隆起形状的病变。
并且，以往在大肠息肉检测处理中，根据二维图像估计三维数据，使用三维特征量(形状指标(Shape Index)/曲率(Curvedness))来检测大肠息肉(现有文献2：日本電子情報通信学会、信学技報(MI2003-102)，形状情報に基づく3次元腹部CT像からの大腸ポリ一プ自動検出手法に関する検討木村、林、北坂、森、末長pp.29～34，2004)。该三维特征量通过根据三维数据计算参考点的偏微分系数并使用偏微分系数进行计算来实现。然后，在大肠息肉检测处理中，通过对三维特征量进行阈值处理来检测息肉候选。
然而，由于以往用作三维数据估计方法的“从明暗恢复形状(ShapeFrom Shading)”法受到由对象的反射/散射特性和针对对象的二次光引起的影响，因而以往的大肠息肉检测处理具有检测精度下降和产生误检测的问题。
并且，该“从明暗恢复形状”法根据图像而产生三维数据密度的疏密。三维特征量的标准误差(表示样品值相对于平均值在何种程度的范围内分布的统计指标)受到三维数据密度的疏密的影响。由于该标准误差，以往的大肠息肉检测处理具有检测精度下降和产生误检测的问题。
发明内容
鉴于上述情况，本发明的目的是提供一种医疗用图像处理装置和医疗用图像处理方法，其能执行与对象的二维图像的观察状态恰当地适应的处理，与以往相比能提高在检测具有局部隆起形状的病变的情况下的检测精度。
本发明的一方式的医疗用图像处理装置构成为具有：
三维模型估计单元，其根据从医疗用摄像装置输入的体腔内的活体组织的像的二维图像，估计所述活体组织的三维模型；
检测对象区域设定单元，其在所述三维模型中设定具有隆起形状的病变的检测对象区域；
形状特征量计算单元，其计算形状特征量，所述形状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；
三维形状检测单元，其根据针对所述形状特征量的阈值处理，检测存在于所述检测对象区域内的局部隆起形状的病变区域；以及
阈值决定单元，其决定在所述三维形状检测单元中使用的阈值，
所述阈值决定单元根据在将从所述医疗用摄像装置输入的体腔内的活体组织的像的所述二维图像的摄像位置作为视点并将所述检测对象区域上的一个点作为关注点时的、从所述视点到所述关注点的视线矢量与所述关注点在所述检测对象区域内的法线矢量之间的夹角，决定在所述形状特征量的计算中使用的所述阈值
附图说明
图1是示出本发明实施例1的医疗用图像处理装置所使用的内窥镜系统的整体结构的一例的图。
图2是示出图1的CPU的功能结构的功能框图。
图3是示出图2的CPU的处理流程的流程图。
图4是示出图3的阈值T1、T2的决定处理流程的流程图。
图5是示出在图4的处理中使用的“Z坐标-阈值T1、T2”阈值表数据的图。
图6是说明图4的处理的图。
图7是示出本发明实施例2的阈值T1、T2的决定处理流程的流程图。
图8是示出在图7的处理中使用的“夹角-乘法值”阈值表数据的图。
图9是说明图7的处理的第1图。
图10是说明图7的处理的第2图。
图11是说明图7的处理的第3图。
图12是说明本发明实施例3的局部偏微分系数的计算处理的图。
图13是示出图12的局部偏微分系数的计算处理流程的流程图。
图14是示出图13的处理后级的阈值T1、T2的决定处理流程的流程图。
图15是示出在图13的处理中使用的数据点数量Mi与阈值T1、T2之间的对应的阈值表的图。
图16是示出图12的局部偏微分系数的计算处理的变形例的流程的流程图。
具体实施方式
以下，参照附图描述本发明的实施例。
(实施例1)
图1至图6涉及本发明的实施例1，图1是示出医疗用图像处理装置所使用的内窥镜系统的整体结构的一例的图，图2是示出图1的CPU的功能结构的功能框图，图3是示出图2的CPU的处理流程的流程图，图4是示出图3的阈值T1、T2的决定处理流程的流程图，图5是示出在图4的处理中使用的“Z坐标-阈值T1、T2”阈值表数据的图，图6是说明图4的处理的图。
如图1所示，本实施例的内窥镜系统1的要部构成为具有：医疗用观察装置2，医疗用图像处理装置3，以及监视器4。
所述医疗用观察装置2是拍摄被摄体并输出该被摄体的像的二维图像的观察装置。并且，医疗用图像处理装置3由个人计算机等构成，是对从医疗用观察装置2输出的二维图像的映像信号进行图像处理、并将进行了该图像处理后的映像信号作为图像信号来输出的图像处理装置。而且，监视器4是显示基于从医疗用图像处理装置3输出的图像信号的图像的显示装置。
所述内窥镜观察装置2的要部构成为具有：内窥镜6，光源装置7，相机控制单元(以下简记为CCU)8，以及监视器9。
所述内窥镜6被插入到被检体的体腔内，并且拍摄该体腔内存在的活体组织等被摄体并作为摄像信号来输出。所述光源装置7提供用于对由内窥镜6拍摄的被摄体进行照明的照明光。所述CCU 8进行对内窥镜6的各种控制，并且对从内窥镜6输出的摄像信号进行信号处理，作为二维图像的映像信号进行输出。所述监视器9根据从CCU 8输出的二维图像的映像信号，对由内窥镜6所拍摄的被摄体的像进行图像显示。
所述内窥镜6构成为具有：插入到体腔内的插入部11，以及设置在插入部11的基端侧的操作部12。并且，在从插入部11内的基端侧到插入部11内的前端侧的前端部14这部分上，插通有用于传送从光源装置7提供的照明光的光导管(light guide)13。
所述光导管13的前端侧配置在内窥镜6的前端部14，并且后端侧与所述光源装置7连接。
由于光导管13具有这种结构，因而从光源装置7提供的照明光在通过光导管13传送后，从设在插入部11的前端部14的前端面上的未作图示的照明窗射出。然后，通过照明光从未作图示的照明窗射出，从而对作为被摄体的活体组织等进行照明。
在内窥镜6的前端部14设有摄像部17，该摄像部17具有：安装在与未作图示的照明窗邻接的未作图示的观察窗上的物镜光学系统15，以及配置在该物镜光学系统15的成像位置上的由例如CCD(电荷耦合元件)等构成的摄像元件16。根据这种结构，由物镜光学系统15所成像的被摄体的像在由摄像元件16拍摄后，作为摄像信号被输出。另外，摄像元件16不限于CCD，也可以由C-MOS传感器构成。
所述摄像元件16经由信号线与CCU 8连接。然后，摄像元件16根据从CCU 8输出的驱动信号进行驱动，并向CCU 8输出与所拍摄的被摄体的像对应的摄像信号。
并且，输入到CCU 8的摄像信号在设于CCU 8的内部的未作图示的信号处理电路中进行信号处理，从而转换成二维图像的映像信号来输出。从CCU 8输出的二维图像的映像信号被输出到监视器9和医疗用图像处理装置3。由此，监视器9将基于从CCU 8所输出的映像信号的被摄体的像作为二维图像进行显示。
医疗用图像处理装置3构成为具有：图像输入部21，其对从医疗用观察装置2输出的二维图像的映像信号进行A/D转换并进行输出；作为中央运算处理装置的CPU 22，其对从图像输入部21输出的映像信号进行图像处理；处理程序存储部23，其被写入了与该图像处理相关的处理程序；图像存储部24，其存储从图像输入部21输出的映像信号等；以及分析信息存储部25，其存储由CPU 22进行的图像处理中的运算结果等。
并且，医疗用图像处理装置3具有：存储装置接口(I/F)26；作为存储装置的硬盘27，其经由存储装置接口26存储作为CPU 22的图像处理结果的图像数据、CPU22在图像处理中使用的各种数据等；显示处理部28，其根据作为CPU 22的图像处理结果的图像数据，进行用于将该图像数据显示在监视器4上的显示处理，并将进行了该显示处理后的图像数据作为图像信号进行输出；以及输入操作部29，其由键盘或鼠标等指向器件等构成，可由用户输入在CPU 22进行的图像处理中的参数和对医疗用图像处理装置3的操作指示。然后，监视器4显示基于从显示处理部28所输出的图像信号的图像。
另外，医疗用图像处理装置3的图像输入部21、CPU 22、处理程序存储部23、图像存储部24、分析信息存储部25、存储装置接口26、显示处理部28以及输入操作部29分别经由数据总线30相互连接。
如图2所示，CPU 22由以下各功能部构成：作为三维模型估计单元的三维模型估计部22a，作为检测对象区域设定单元的检测对象区域设定部22b，作为形状特征量计算单元的形状特征量计算部22c，作为三维形状检测单元的三维形状检测部22d，作为阈值决定单元的阈值决定部22e，以及息肉决定部22f。
另外，在本实施例中，这些功能部使用由CPU 22执行的软件来实现。并且，关于这些功能部的详细作用在后面描述。
下面，使用图3和图4的流程图，并参照图5和图6来说明这样构成的本实施例的内窥镜系统1的作用。
首先，用户在接通了内窥镜系统1具有的各部的电源之后，将内窥镜6的插入部11插入到被检体的体腔内。
然后，当由用户将插入部11插入到被检体的体腔内时，例如，该体腔内存在的活体组织等被摄体的像由设在前端部14上的摄像部17拍摄。然后，由摄像部17所拍摄的被摄体的像作为摄像信号被输出到CCU 8。
CCU 8通过在未作图示的信号处理电路中，对从摄像部17的摄像元件16所输出的摄像信号进行信号处理，将该摄像信号转换成二维图像的映像信号来输出。然后，监视器9根据从CCU 8输出的映像信号，将由摄像部17所拍摄的被摄体的像显示为二维图像。并且，CCU 8将通过对从摄像部17的摄像元件16所输出的摄像信号进行信号处理而获得的二维图像的映像信号输出到医疗用图像处理装置3。
输出到医疗用图像处理装置3的二维图像的映像信号在图像输入部21中进行了A/D转换之后，被输入到CPU 22。
然后，如图3所示，CPU 22的三维模型估计部22a在步骤S1中使用例如“从明暗恢复形状(Shape From Shading)”法等，对从图像输入部21输出的二维图像实施基于该二维图像的亮度信息等的几何变换等处理，从而估计与该二维图像对应的三维模型，并将三维模型的各数据点的坐标经由存储装置接口26存储在硬盘27内。
然后，CPU 22的检测对象区域设定部22b在步骤S2中检测从图像输入部21输出的二维图像的色调变化、以及通过图3的步骤S1的处理所估计的三维模型的隆起性变化，从而设定作为该三维模型中的用于检测具有隆起形状的病变的处理应用对象的区域的检测对象区域即对象区域。
具体地说，CPU 22的检测对象区域设定部22b例如将从图像输入部21输出的二维图像分离成R(红色)图像、G(绿色)图像以及B(蓝色)图像的各平面图像之后，根据按照该R图像估计出的三维模型的数据检测隆起性变化，并根据该R图像和G图像的色度来检测色调变化。然后，CPU 22的检测对象区域设定部22b根据所述隆起性变化的检测结果和所述色调变化的检测结果，将检测出所述隆起性变化和所述色调变化两者的区域设定为所述对象区域。
之后，CPU 22的形状特征量计算部22c在步骤S3中计算对象区域的局部偏微分系数。具体地说，CPU 22的形状特征量计算部22c针对计算出的三维形状，计算包含关注的三维位置(x、y、z)在内的局部区域(曲面)中的其R像素值f的1阶偏微分系数fx、fy、fz、以及2阶偏微分系数fxx、fyy、fzz、fxy、fyz、fxz。
然后，CPU 22的形状特征量计算部22c在步骤S4中针对三维模型的处理对象区域内存在的各数据点，进行根据局部偏微分系数计算形状指标值和曲率值作为(三维形状)的形状特征量的处理。
即，CPU 22的形状特征量计算部22c使用这些局部偏微分系数来计算高斯曲率K和平均曲率H。
另一方面，曲面的主曲率k1、k2(k1≥k2)使用高斯曲率K和平均曲率H表示为式(1)。
k1＝H+(H2-K)1/2 k2＝H-(H2-K)1/2       (1)
并且，在该情况下的表示曲面形状的特征量即形状指标SI和曲率CV分别为式(2)、(3)。
SI＝1/2-(1/π)arctan[(k1+k2)/(k1-k2)] (2)
CV＝((k12+k22)/2)1/2                  (3)
CPU 22的形状特征量计算部22c按照这样计算出三维的各曲面中的形状指标SI和曲率CV作为三维形状信息，并将其存储在分析信息存储部25内。
所述的形状指标值是用于表示三维模型具有的各数据点上的凹凸状态的值，表示为0以上1以下的范围内的数值。具体地说，在存在于三维模型内的各个数据点上，在形状指标值接近0的情况下，暗示了存在凹状形状，并且在形状指标值接近1的情况下，暗示了存在凸状形状。
并且，所述的曲率值是用于表示三维模型具有的各数据点上的曲率的值。具体地说，在存在于三维模型内的各个数据点上，曲率值越小，则暗示了存在弯曲得越大的曲面，并且，曲率值越大，则暗示了存在弯曲得越平缓的曲面。
然后，在步骤S5中，CPU 22的阈值决定部22e在存在于三维模型的对象区域内的各数据点上，进行同形状指标值和曲率值的各值进行比较的阈值T1、T2的决定处理。该步骤S5的阈值T1、T2的决定处理的详情在后面描述。
并且，在步骤S6中，CPU 22的三维形状检测部22d在存在于三维模型的对象区域内的各数据点上，进行形状指标值以及曲率值的各值与阈值决定部22e所决定的阈值T1、T2之间的比较处理，从而在该数据点中检测出具有隆起形状的数据组。具体地说，CPU 22在存在于三维模型的处理对象区域内的各数据点中检测例如形状指标值大于阈值T1且曲率值大于阈值T2的多个数据点来作为具有隆起形状的数据组。
然后，CPU 22的息肉决定部22f在步骤S7中进行隆起形状判别处理，即：判别在三维模型中检测为具有隆起形状的数据组的多个数据点各方是否是与息肉等病变引起的隆起形状对应的数据点。
之后，CPU 22的息肉决定部22f在步骤S8中将具有数据组的区域决定为息肉区域，并检测病变区域即息肉，该数据组由与病变引起的隆起形状对应的数据点构成。
然后，CPU 22将该检测结果与检测对象的内窥镜图像相关联地存储在例如图1的硬盘27内，并经由显示处理部28与例如检测对象的内窥镜图像并排地显示在监视器4上。
由此，在监视器4上，对用户能容易识别出由息肉等病变引起的隆起形状所存在的位置的被摄体的三维模型进行图像显示。
下面，说明上述步骤S5的阈值T1、T2的决定处理。如图4所示，CPU 22的阈值决定部22e在步骤S51中将参数i设定为1，在步骤S52中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi，yi，zi)。
然后，在步骤S53中，CPU 22的阈值决定部22e根据Z坐标zi，从经由存储装置接口26存储在硬盘27内的图5所示的“Z坐标-阈值T1、T2”阈值表数据中读出阈值T1(i)、T2(i)。然后，在步骤S54中，CPU 22的阈值决定部22e作为第i个数据点的形状指标值和曲率值的阈值T1(i)、T2(i)存储在分析信息存储部25内。
然后，CPU 22的阈值决定部22e在步骤S55中判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i＞N时，在步骤S56中使参数i递增并返返回到步骤S52。CPU 22的阈值决定部22e重复上述步骤S52～S56的处理，直到在步骤S55中对三维模型的对象区域内的全部数据点上的阈值T1(i)、T2(i)进行决定。
另外，可以采用以下结构：通过应用“Z坐标-阈值T1、T2”阈值表(参照图5)所示的值的1次或2次函数使Z坐标值与T1、T2之间的关系公式化，利用公式运算求出该关系。
在二维图像中，离光源越近，来自粘膜下的散射光就越增强，其他位置的反射光(二次光)的入射量也就增大。并且，由于大肠内窥镜图像是肠道的摄像图像，因此，在肠道方向处于图像内的情况下，进深方向较远位置上的图像部分是对从斜向观察肠道壁时的图像进行拍摄的，与对肠壁正视观察时相比，反射光和散射光的角度特性不同。即，息肉候选检测用的形状指标(表示凹凸性的指标)和曲率(表示凹凸的尖锐度的指标)的最佳的阈值组合根据阈值判定点的Z坐标而不同。例如图6是通过相同的阈值组合来进行息肉候选检测的例子，不仅检测出近前的应有的息肉250，而且还检测出内部的平缓的凸部251和接近峰状的凸部252。
如上所述，在本实施例中，由于使用三维数据的关注点的位置(Z坐标)来校正阈值，因而可将排除了由对象的反射/散射特性和针对对象的二次光的影响后的阈值用于息肉检测处理，可提高息肉候选的检测精度。因此，可促进用户在大肠内窥镜检查中提高息肉候选的发现率。
(实施例2)
图7至图11涉及本发明的实施例2，图7是示出阈值T1、T2的决定处理流程的流程图，图8是示出在图7的处理中使用的“夹角-乘法值”阈值表数据的图，图9是说明图7的处理的第1图，图10是说明图7的处理的第2图，图11是说明图7的处理的第3图。
实施例2与实施例1的不同点在于与形状指标值以及曲率值的各值进行比较的阈值T1、T2的决定处理，由于结构与实施例1相同，因而仅说明不同点。
在本实施例的与形状指标值以及曲率值的各值进行比较的阈值T1、T2的决定处理中，如图7所示，CPU 22的阈值决定部22e在步骤S51中将参数i设定为1，在步骤S52中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi，yi，zi)。
然后，CPU 22的阈值决定部22e在步骤S57中计算视点坐标与所述坐标点的差，生成视线矢量。视点位置的坐标(x0，y0，z0)是在图3的步骤S1中决定的，该视线矢量V0(Vx0，Vy0，Vz0)为(xi-x0，yi-y0，zi-z0)。
然后，CPU 22的阈值决定部22e在步骤S58中计算出第i个数据点上的法线矢量Vi(Vxi，Vyi，Vzi)。该法线矢量Vi是针对在图3的步骤S2中求出的二维曲面f计算出在数据点上的微分值(fx，fy，fz)而求得的。并且，CPU 22的阈值决定部22e在步骤S59中计算出视线矢量与法线矢量的夹角θi。该夹角θi是根据矢量的内积公式而求得的。
另外，在本实施例中，图8所示的“夹角-乘法值”阈值表数据和阈值的默认值T1(0)、T2(0)被存储在硬盘27内。
然后，在步骤S60中，CPU 22的阈值决定部22e从存储在硬盘27内的“夹角-乘法值”阈值表数据中提取与求得的夹角θi对应的乘法值αi、βi，并从硬盘27中取得阈值的默认值(T1(0)、T2(0))，求出将阈值的默认值T1、T2和乘法值αi、βi分别相乘后的值T1(i)(＝αi×T1(0))、T2(i)(＝βi×T2(0))。
然后，在步骤S54中，CPU 22的阈值决定部22e作为第i个数据点的形状指标值和曲率值的阈值T1(i)、T2(i)存储在分析信息存储部25内。
然后，在步骤S55中，CPU 22的阈值决定部22e判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i＞N时，在步骤S56中使参数i递增并返回到步骤S52。CPU 22的阈值决定部22e重复上述图7的步骤S52、S57～S60以及S54～S56的处理，直到在步骤S55中决定三维模型的对象区域内的全部数据点上的阈值T1(i)、T2(i)。
使用该阈值T1(i)、T2(i)，执行在图3所示的步骤S6中的三维模型的对象区域内存在的各数据点的形状指标值和曲率值的各值与阈值决定部22e所决定的阈值T1、T2之间的比较处理。
大肠内窥镜图像由于反射光和散射光的角度特性根据对肠壁的正视/斜视而不同，因而息肉候选检测用的形状指标值和曲率值的最佳的阈值组合根据阈值判定点的肠壁的法线矢量与视线角所形成的角度而不同。
例如图9是以正视拍摄半球状的样品100后的图像，而当采用“从明暗恢复形状(Shape From Shading)”法生成三维数据时，具有从视点观察到的图像由于反射光和散射光的角度特性而延伸成半椭圆球状的问题。
在本实施例中，由于使用三维数据的关注点的位置和角度信息来校正阈值，因而可获得与实施例1相同的效果，并且由于采用使表值和默认值相乘的结构，因而可根据默认值的变更来求出最佳的阈值。
另外，还能采用这样的结构：通过使用例如日本特开2003-93328号公报等所公开的内窥镜图像的视野内管腔检测方法，根据内窥镜图像的视野内管腔检测的有无，决定图像整体的平均阈值。
例如，如图10所示，在视野内检测出管腔101整体的情况下，肠道表面的法线矢量与视线角的夹角是取较大的值来作为图像整体的平均值。因此，使用例如图8的阈值表的夹角＝60～的值来提取乘法值αi＝1.03、βi＝0.90，将阈值确定为T1＝1.03×T1(0))、T2＝0.90×T2(0))。
并且，如图11所示，在视野内未检测出管腔101整体的情况下，肠道表面的法线矢量与视线角的夹角是取较小的值来作为图像整体的阈值。因此，使用例如图8的阈值表的夹角＝20～30的值来提取乘法值αi＝1.01、βi＝0.98，将阈值确定为T1＝1.01×T1(0))、T2＝0.98×T2(0))。
(实施例3)
图12至图16涉及本发明的实施例3，图12是说明局部偏微分系数的计算处理的图，图13是示出图12的局部偏微分系数的计算处理流程的流程图，图14是示出图13的处理后级的阈值T1、T2的决定处理流程的流程图，图15是示出在图13的处理中使用的数据点数量Mi与阈值T1、T2之间的对应的阈值表的图，图16是示出图13的局部偏微分系数的计算处理的变形例的流程的流程图。
实施例3与实施例1的不同点在于局部偏微分系数的计算处理(图3的步骤S3)以及同形状指标值和曲率值的各值进行比较的阈值T1、T2的决定处理(图3的步骤S5)，由于结构与实施例1相同，因而仅说明不同点。
在实施例1中，使用在固定尺寸的立方或球的范围内存在的三维数据点。因此，在实施例1应用的局部偏微分系数的计算处理(图3的步骤S3)中，如图12所示，由于产生三维数据点的疏密，因而所估计的局部偏微分系数的标准误差当数据变疏时则增大。在以数据密的范围作为基准而设定了阈值的情况下，在数据疏的范围内发生漏取。并且，在以数据疏的范围作为基准而设定了阈值的情况下，在数据密的范围内误检测增多。
本实施例的局部偏微分系数的计算处理与实施例1的不同点是附加了决定三维数据点取得区域的处理。
在本实施例的局部偏微分系数的计算处理中，首先，针对通过图3的步骤S2计算出的肠道表面上的点中的关注的1个点，估计并计算出该位置上的肠道表面的二维曲面方程式的系数，通过对二维曲面方程式进行偏微分而求出局部偏微分系数。二维曲面方程式是这样求出的：设定以关注的1个点为中心的立方或球的局部区域，根据局部区域内存在的包含自身在内的三维数据点的坐标值生成矩阵(需要9点以上的坐标值)，生成其伪逆矩阵。
具体地说，在本实施例的局部偏微分系数的计算处理中，如图13所示，CPU 22的形状特征量计算部22c在步骤S31中将参数i设定为1，当在步骤S32中计算出第i个三维数据点的局部偏微分系数时，首先对变量L设定初始值L0。
接下来，CPU 22的形状特征量计算部22c在步骤S33中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi，yi，zi)。
然后，在步骤S34中，CPU 22的形状特征量计算部22c从存储在硬盘27内的、表示肠道表面的三维数据点序列中取得以第i个数据点的坐标(xi，yi，zi)为中心的立方范围(xi±L，yi±L，zi±L)的范围内存在的数据点信息。对该数据点信息的数量ni进行计数。
然后，CPU 22的形状特征量计算部22c在步骤S35中将计数的数量ni与规定的值K进行比较，在计数的数量ni大于K的情况下，进行步骤S36中的二维曲面方程式的系数计算处理以及步骤S37中的局部偏微分系数的计算处理，进入图3的步骤S3的形状指标/曲率的计算处理。
在计数的数量ni小于等于规定的值K的情况下，在步骤S38中使L加上规定的增量LS来扩大所述范围，之后返回到步骤S34，重新对处于范围内的数据点信息进行计数。
然后，在步骤S39中，CPU 22的形状特征量计算部22c判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i＞N时，在步骤S56中使参数i递增并返回到步骤S32。CPU 22的阈值决定部22e重复上述图12的S32～S39以及S56的处理，直到在步骤S39中完成三维模型的对象区域内的全部数据点上的二维曲面方程式的系数计算和局部偏微分系数的计算。
通过以上处理，进行局部区域的尺寸变更，以使局部区域内包含的三维数据点数量大于等于规定数量。
并且，在本实施例的与形状指标值以及曲率值的各值进行比较的阈值T1、T2的决定处理中，如图14所示，CPU 22的阈值决定部22e在步骤S51中将参数i设定为1，在步骤S52中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi，yi，zi)。
然后，CPU 22的阈值决定部22e在步骤S61中使用规定的值L来设定以该三维坐标(xi，yi，zi)为中心的立方区域。即，设定为{(xi’，yi’，zi’)|xi-L≤xi’≤xi+L，yi-L≤yi’≤yi+L，zi-L≤zi’≤zi+L}。根据存储在硬盘27内的三维数据点序列对该立方区域内的数据点数量Mi进行计数。
另外，在硬盘27内存储有图15所示的、数据点数量Mi与阈值T1、T2对应起来的阈值表。
然后，CPU 22的阈值决定部22e在步骤S62中根据所述的数据点数量Mi，从阈值表取得与数据点数量Mi对应的阈值T1、T2。
接下来，CPU 22的阈值决定部22e在步骤S54中，作为第i个数据点的形状指标值和曲率值的阈值T1(i)、T2(i)而存储在分析信息存储部25内。
然后，CPU 22的阈值决定部22e在步骤S55中判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i＞N时，在步骤S56中使参数i递增并返回到步骤S52。CPU 22的阈值决定部22e重复上述图14的步骤S52、S61、S62、S54～S56的处理，直到在步骤S55中决定三维模型的对象区域内的全部数据点的阈值T1(i)、T2(i)。
另外，在数据点数量Mi是0～8的情况下，由于阈值处理是无效的，因而阈值T1、T2被代入表示无效的值0。并且，尽管构成为对以坐标为中心的立方区域内的数据点数量进行计数，然而也可以构成为：除了xk’2+yk’2+zk’2＜L的条件以外，还对以坐标为中心的球区域内的数据点数量进行计数。
这样，在本实施例中，进行局部区域的尺寸变更，以使局部区域内包含的三维数据点数量大于等于规定数，并根据三维数据的点密度设定用于求出三维特征量(形状指标值和曲率值)的阈值T1、T2，因而通过根据三维数据的密度来变更息肉检测处理中的处理参数，可提高息肉候选的检测精度，可促进在大肠内窥镜检查中息肉候选发现率的提高。
另外，在存在于范围内的数据点数量过多的情况下，计算二维曲面方程式的系数时的处理时间增加。
因此，如本实施方式的局部偏微分系数的计算处理的变形例的图16的处理流程所示，CPU 22的形状特征量计算部22c可以构成为，在步骤S40中判断所取得的数据点数量是否大于规定的值J(K＜J)，在大于规定的值J的情况下，在步骤S41中将在二维曲面方程式的系数计算中使用的数据点控制为K+1。
在该情况下，通过将所取得的数据点数量与规定的值J进行比较，在计数的数量ni大于J的情况下，通过删除数据点信息中的第K+2以后的数据并计算二维曲面方程式的系数来实现。
本发明不限于上述的实施例，可在不改变本发明宗旨的范围内进行各种变更、改变等。
本申请是以2006年7月27日向日本申请的日本特願2006-205142号作为优先权要求的基础来提出申请的，上述的公开内容被引用在本申请说明书和权利要求书中。

Claims (2)

1.一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：
三维模型估计单元，其根据从医疗用摄像装置输入的体腔内的活体组织的像的二维图像，估计所述活体组织的三维模型；
检测对象区域设定单元，其在所述三维模型中设定具有隆起形状的病变的检测对象区域；
形状特征量计算单元，其计算形状特征量，所述形状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；
三维形状检测单元，其根据针对所述形状特征量的阈值处理，检测存在于所述检测对象区域内的局部隆起形状的病变区域;以及
阈值决定单元，其决定在所述三维形状检测单元中使用的阈值，
所述阈值决定单元根据在将从所述医疗用摄像装置输入的体腔内的活体组织的像的所述二维图像的摄像位置作为视点并将所述检测对象区域上的一个点作为关注点时的、从所述视点到所述关注点的视线矢量与所述关注点在所述检测对象区域内的法线矢量之间的夹角，决定在所述三维形状检测单元中使用的所述阈值。
2.根据权利要求1所述的医疗用图像处理装置，其特征在于：所述形状特征量是形状指标值和曲率值，所述阈值是和所述形状指标值以及曲率值进行比较的比较阈值。
CN201110082529.9A 2006-07-27 2007-04-10 医疗用图像处理装置 Active CN102247118B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-205142 2006-07-27
JP2006205142A JP4994737B2 (ja) 2006-07-27 2006-07-27 医療用画像処理装置及び医療用画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007800269317A Division CN101489466B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置

Publications (2)

Publication Number Publication Date
CN102247118A CN102247118A (zh) 2011-11-23
CN102247118B true CN102247118B (zh) 2014-01-15

Family

ID=38981284

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201110082529.9A Active CN102247118B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置
CN2011100823645A Active CN102172321B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置
CN2007800269317A Active CN101489466B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2011100823645A Active CN102172321B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置
CN2007800269317A Active CN101489466B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置

Country Status (5)

Country Link
US (1) US8165370B2 (zh)
EP (2) EP2447909B1 (zh)
JP (1) JP4994737B2 (zh)
CN (3) CN102247118B (zh)
WO (1) WO2008012968A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US20110161056A1 (en) * 2009-12-31 2011-06-30 Timothy Mueller System and method of creating a 3-d replica of a body structure
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
WO2012118109A1 (ja) * 2011-03-03 2012-09-07 株式会社 日立メディコ 医用画像処理装置及び医用画像処理方法
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
JP5221722B2 (ja) * 2011-08-29 2013-06-26 株式会社東芝 撮像装置及び内視鏡装置
JP5811951B2 (ja) * 2012-05-29 2015-11-11 トヨタ自動車株式会社 対象物変化検出装置
JP5850380B2 (ja) * 2012-07-23 2016-02-03 富士通株式会社 形状データ生成方法及び装置
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6150617B2 (ja) * 2013-05-30 2017-06-21 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6128989B2 (ja) * 2013-06-27 2017-05-17 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法
WO2015141260A1 (ja) * 2014-03-17 2015-09-24 株式会社河合楽器製作所 手書き音楽記号認識装置およびプログラム
JP6405138B2 (ja) 2014-07-15 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3357402B1 (en) * 2015-09-28 2020-06-17 FUJIFILM Corporation Endoscope system and operation method for endoscope system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US20020164061A1 (en) * 2001-05-04 2002-11-07 Paik David S. Method for detecting shapes in medical images
JP4885388B2 (ja) 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
ATE514144T1 (de) * 2001-10-16 2011-07-15 Univ Chicago Computerunterstützte erkennung dreidimensionaler läsionen
JP2004097535A (ja) 2002-09-10 2004-04-02 Toshiba Corp 医用３次元画像データの領域分割方法
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4130428B2 (ja) * 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
WO2006070669A1 (ja) 2004-12-27 2006-07-06 Olympus Corporation 医療画像処理装置及び医療画像処理方法
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置
JP2006205142A (ja) 2005-01-24 2006-08-10 N Ii T Kk 原水調整槽

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2005-192880A 2005.07.21
JP特开2006-187470A 2006.07.20

Also Published As

Publication number Publication date
US20090148017A1 (en) 2009-06-11
CN102172321B (zh) 2013-08-14
EP2447909A1 (en) 2012-05-02
EP2047791A1 (en) 2009-04-15
EP2047791B1 (en) 2012-07-25
US8165370B2 (en) 2012-04-24
CN101489466A (zh) 2009-07-22
EP2447909B1 (en) 2014-03-12
CN101489466B (zh) 2011-06-08
CN102247118A (zh) 2011-11-23
EP2047791A4 (en) 2010-01-20
WO2008012968A1 (fr) 2008-01-31
JP4994737B2 (ja) 2012-08-08
JP2008029520A (ja) 2008-02-14
CN102172321A (zh) 2011-09-07

Similar Documents

Publication Publication Date Title
CN102247118B (zh) 医疗用图像处理装置
CN101389260B (zh) 医疗用图像处理装置和医疗用图像处理方法
CN101404924B (zh) 医疗用图像处理装置
CN104883946A (zh) 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
CN109381152B (zh) 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
CN101404923B (zh) 医疗用图像处理装置
CN101594817B (zh) 医疗用图像处理装置以及医疗用图像处理方法
US20180214006A1 (en) Image processing apparatus and image processing method
JP2012509715A (ja) 大腸内視鏡検査追跡および評価システム
CN103458765B (zh) 图像处理装置
JP2017522072A (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
CN115294128B (zh) 一种用于消化内镜的单目结构三维成像方法及装置
JP2020014711A (ja) 検査支援装置、方法およびプログラム
CN110458834B (zh) 一种乳腺肿瘤图像处理系统、方法及装置
CN101378692B (zh) 医疗用图像处理装置及医疗用图像处理方法
CN101394780B (zh) 医疗用图像处理装置以及医疗用图像处理方法
CN116188554A (zh) 一种基于双目立体测量内镜的三维成像方法及装置
JP2022172637A (ja) 画像処理方法、画像処理装置、およびプログラム
Floor et al. 3D reconstruction of the human colon from capsule endoscope video
CN114785948B (zh) 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
CN115797348B (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
US20230078857A1 (en) Method of robust surface and depth estimation
JP7462255B2 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
CN102567988B (zh) 图像处理装置以及图像处理方法
CN117224251A (zh) 目标尺寸测量方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151116

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Medical Systems Corp.