CN112819051B - 胶囊内镜图像相似度评估方法、系统、终端及存储介质 - Google Patents

胶囊内镜图像相似度评估方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN112819051B
CN112819051B CN202110092877.8A CN202110092877A CN112819051B CN 112819051 B CN112819051 B CN 112819051B CN 202110092877 A CN202110092877 A CN 202110092877A CN 112819051 B CN112819051 B CN 112819051B
Authority
CN
China
Prior art keywords
image block
determining
target
target image
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110092877.8A
Other languages
English (en)
Other versions
CN112819051A (zh
Inventor
潘宁
田昊
胡怀飞
刘海华
李旭
高智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202110092877.8A priority Critical patent/CN112819051B/zh
Publication of CN112819051A publication Critical patent/CN112819051A/zh
Application granted granted Critical
Publication of CN112819051B publication Critical patent/CN112819051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于医学图像处理技术领域，公开了一种胶囊内镜图像相似度评估方法、系统、终端及存储介质。该方法包括：获取参考图像以及目标图像；将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；根据所述目标图像确定各目标图像块的坐标信息；获取各参考图像块的描述符向量以及各目标图像块的描述符向量；根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。通过上述方式，可以确定相似度高的图像，加快了医生的阅片效率。

Description

胶囊内镜图像相似度评估方法、系统、终端及存储介质
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种胶囊内镜图像相似度评估方法、系统、终端及存储介质。
背景技术
无线胶囊内镜(Wireless capsule endoscopy，WCE)是本世纪初一项重要的创新技术。从功能上讲，胶囊内镜能够到达消化道任何位置，可以提供真实、直观的消化道场景信息，克服了传统内镜无法检查小肠道疾病的局限，且具有无创伤、耐受性好的特点。虽然胶囊内镜在临床使用时间不常，但其检测的有效性逐渐的得到了医学界的认同，目前国内外许多著名的医院已经开始将胶囊内镜作为小肠疾病检测和诊断的首选设备。胶囊内镜平均在消化道内逗留8个小时，其摄像系统会自动拍摄全程消化道场景，平均每秒钟拍摄两幅，一例检查可采集50000-80000幅彩色的消化道图像数据。从胶囊内镜图像数据中筛查出含有可疑病变的图像对于临床医生来说，是一项任务繁重(一例病人临床阅片平均需要花费两个半天)，且相当枯燥的工作。因此，如何将这部分相似度较高的图像从胶囊内镜图像序列中筛查出或标记出(不从序列中剔除，保证图像序列的完整性)，对提高医生的诊疗效率，有效地减少阅片时间具有重要的意义。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种胶囊内镜图像相似度评估方法、系统、终端及存储介质，旨在解决现有技术中由于胶囊内镜图像数量过多导致医生诊疗效率低的技术问题。
为实现上述目的，本发明提供了一种胶囊内镜图像相似度评估方法，所述方法包括以下步骤:
获取参考图像以及目标图像；
将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；
根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；
根据所述目标图像确定各目标图像块的坐标信息；
获取各参考图像块的描述符向量以及各目标图像块的描述符向量；
根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。
可选地，所述根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块，包括：
根据所述参考图像块的坐标信息确定在所述目标图像中目标图像块的偏移量，并确定所述目标图像块与所述参考图像块的目标匹配值；
根据所述偏移量确定所述目标图像块的邻域图像块，并确定所述参考图像块与所述邻域图像块的邻域匹配值；
当所述邻域匹配值大于所述目标匹配值时，将所述邻域图像块替代为所述目标图像块。
可选地，所述根据所述偏移量确定所述目标图像块的邻域图像块之后，还包括：
根据所述预设尺寸确定搜索范围；
根据所述搜索范围确定搜索图像块，并确定所述搜索图像块与参考图像块的搜索匹配值；
当所述搜索匹配值大于所述目标匹配值时，将所述搜索图像块替代为所述目标图像块。
可选地，所述获取各参考图像块的描述符向量以及各目标图像块的描述符向量，包括：
将所述参考图像块及所述目标图像块作为待测图像块；
根据所述待测图像块获得所述待测图像块的直方图特征；
根据所述待测图像块获得所述待测图像块的尺度不变特征；
根据所述待测图像块获得所述待测图像块的纹理特征；
根据所述待测图像块的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量。
可选地，所述根据所述待测图像的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量，包括：
根据所述尺度不变特征、所述纹理特征及所述直方图特征获得提取特征；
根据所述提取特征、所述尺度不变特征、所述纹理特征及所述直方图特征确定所述待测图像块的描述符向量；
根据所述待测图像块的描述符向量确定对应的参考图像块或目标图像块的描述符向量。
可选地，所述根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度，包括：
根据所述参考图像块的描述符向量及对应目标图像块的描述符向量，确定描述符向量相似度；
根据所述参考图像块的坐标信息确定参考相对位置信息，并根据对应的目标图像块的坐标信息确定目标相对位置信息；
根据所述参考相对位置信息以及所述目标相对位置信息确定位置相似度；
根据所述参考图像块的坐标信息以及描述符向量确定非参数模型；
根据所述描述符向量相似度、所述位置相似度及所述非参数模型确定所述参考图像与所述目标图像的相似度。
可选地，所述获取参考图像以及目标图像，包括：
获取待测胶囊内镜图像的序列号；
根据所述序列号查找所述待测胶囊内镜图像；
将所述待测胶囊内镜图像进行镜像获得所述参考图像以及所述目标图像。
此外，为实现上述目的，本发明还提出一种胶囊内镜图像相似度评估系统，所述胶囊内镜图像相似度评估系统包括：
图像获取模块，用于获取参考图像以及目标图像；
图像块划分模块，用于将所述参考图像划分为的预设尺寸的参考图像块，并确定各参考图像块的坐标信息；
图像块确定模块，用于根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；
所述图像块确定模块，还用于根据所述目标图像确定各目标图像块的坐标信息；
描述符向量模块，用于获取各参考图像块的描述符向量以及各目标图像块的描述符向量；
相似度确定模块，用于根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。
此外，为实现上述目的，本发明还提出一种胶囊内镜图像相似度评估终端，所述胶囊内镜图像相似度评估终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的胶囊内镜图像相似度评估程序，所述胶囊内镜图像相似度评估程序配置为实现如上文所述的胶囊内镜图像相似度评估方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有胶囊内镜图像相似度评估程序，所述胶囊内镜图像相似度评估程序被处理器执行时实现如上文所述的胶囊内镜图像相似度评估方法的步骤。
本发明通过获取参考图像以及目标图像；将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；根据所述目标图像确定各目标图像块的坐标信息；获取各参考图像块的描述符向量以及各目标图像块的描述符向量；根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。通过上述方式，将参考图像块与目标图像块进行匹配，并通过图像块计算参考图像与目标图像的相似度，从而可以确定相似度高的图像，加快了医生的阅片效率，从而提升了治疗效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的胶囊内镜图像相似度评估终端的结构示意图；
图2为本发明胶囊内镜图像相似度评估方法第一实施例的流程示意图；
图3a为本发明胶囊内镜图像相似度评估方法一实施例的胶囊内镜原始图；
图3b为本发明胶囊内镜图像相似度评估方法一实施例的胶囊内镜镜像图；
图4a为本发明胶囊内镜图像相似度评估方法一实施例的参考图像块匹配图；
图4b为本发明胶囊内镜图像相似度评估方法一实施例的目标图像块匹配图；
图5为本发明胶囊内镜图像相似度评估方法一实施例的不同相似度图像块分布图；
图6为本发明胶囊内镜图像相似度评估系统第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的胶囊内镜图像相似度评估终端结构示意图。
如图1所示，该胶囊内镜图像相似度评估终端可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准无线接口(如2.4ghz无线技术接口)。网络接口1004与胶囊内镜进行无线连接，接收胶囊内镜采集的数据并发送至存储器1005。存储器1005中包括胶囊内镜图像相似度评估程序，用于对胶囊内镜采集的数据进行处理。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对胶囊内镜图像相似度评估终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及胶囊内镜图像相似度评估程序。
在图1所示的胶囊内镜图像相似度评估终端中，网络接口1004可用于与胶囊内镜进行数据通信，也可用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明胶囊内镜图像相似度评估终端中的处理器1001、存储器1005可以设置在胶囊内镜图像相似度评估终端中，所述胶囊内镜图像相似度评估终端通过处理器1001调用存储器1005中存储的胶囊内镜图像相似度评估程序，并执行本发明实施例提供的胶囊内镜图像相似度评估方法。
本发明实施例提供了一种胶囊内镜图像相似度评估方法，参照图2，图2为本发明一种胶囊内镜图像相似度评估方法第一实施例的流程示意图。
本实施例中，所述胶囊内镜图像相似度评估方法包括以下步骤：
步骤S10：获取参考图像以及目标图像。
需要说明的是，本实施例的执行主体可为终端设备，例如电脑，胶囊内镜通过无线方式将拍摄的图片发送至终端设备。
可以理解的是，参考图像与目标图像均为胶囊内镜图像，但参考图像与目标图像在同组胶囊内镜图像中序列不同。
进一步地，步骤S10包括：获取待测胶囊内镜图像的序列号；根据所述序列号查找所述待测胶囊内镜图像；将所述待测胶囊内镜图像进行镜像获得所述参考图像以及所述目标图像。
应理解的是，一组胶囊内镜图像中包含50000至80000张图像，每张胶囊境内图像均有对应的序列号。而胶囊内镜平均每秒拍着两幅图像，所以相似度高的图像通常序列号相差不大。
需要说明的是，一幅原始WCE图像如图3a所示，其周围有部分黑色区域对于后续图像块之间的匹配存在一定不利影响，因此需要对一幅WCE图像进行镜像操作。
可以理解的是，例如一个240×240像素的WCE图像，其存在图像信息的圆形区域半径约为105个像素，105个像素为经验值，通过多次试验确定的最佳区域半径，WCE图像不仅限于240×240像素，还包括256×256像素及240×256像素等，不同尺寸的WCE图像存在图像信息的圆形区域半径不同，本实施例不做限制。据此以图像的像素中心为坐标点提取出不包含图像信息的部分，并计算其各个像素点距离圆形区域的长度和各像素点相对于中心点的角度。之后根据三角函数公式将圆内有图像信息的像素点映射到圆外。镜像后的WCE图像如图3b所示。将两幅需要进行相似度对比的原始胶囊内镜图像进行镜像操作，两幅镜像后的图像作为参考图像以及目标图像。
步骤S20：将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息。
需要说明的是，对参考图像可提取预设尺寸的图像块，例如：预设尺寸可为7×7像素、30×30像素、40×40像素等，本实施例不做限制。如果一幅参考图像是240×240像素，在参考图像块不重叠时可提取40×40像素的参考图像块有36幅，在参考图像块重叠时，则参考图像块数量可根据需求进行设定。
可以理解的是，以参考图像的中心像素为坐标原点，可以获得参考图像中各参考图像块的坐标信息，例如：(0，0)、(0，40)、(40，0)、(40，40)为某一参考图像块四个角的坐标，(20，20)为此参考图像块的中心坐标。
步骤S30：根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块。
进一步地，步骤S30包括：根据所述参考图像块的坐标信息确定在所述目标图像中目标图像块的偏移量，并确定所述目标图像块与所述参考图像块的目标匹配值；根据所述偏移量确定所述目标图像块的邻域图像块，并确定所述参考图像块与所述邻域图像块的邻域匹配值；当所述邻域匹配值大于所述目标匹配值时，将所述邻域图像块替代为所述目标图像块。
需要说明的是，目标匹配值、邻域匹配值以及搜索匹配值是指两图像块之间的相似度，根据相似度比较结果的不同执行不同的后续操作。
可以理解的是，需要在目标图像中建立对应的坐标系，即以目标图像的中心像素点为坐标原点。
需要说明的是，本实施例可使用PatchMatch算法将参考图像块与目标图像进行匹配获得目标图像块，但由于PatchMatch算法运用在WCE图像查找相似图片时，因其庞大的图像数量从而显得略有不足，因此需要对PatchMatch算法进行优化改进。
应理解的是，偏移量为参考图像块坐标与目标图像块坐标之间的偏差值，在传统的PatchMatch算法中，目标图像块的选择是随机的，例如参考图像块的中心坐标为(20，20)，目标图像块的中心坐标可能为(35，5)。而在本实施例中，根据先验信息，在相似的目标图像与参考图像中，图像分布大致向同，因此可以将初始的偏移量设置为0或一个较小的偏移量区间，例如：参考图像块的中心坐标为(20，20)，目标图像块的中心坐标为(20，20)或(21，21)，本实施例不做限制。
需要说明的是，在确定目标图像块后，需要计算参考图像块与目标图像块的匹配值，即目标匹配值，目标匹配值计算方法可包括PatchMatch算法中相似度的计算方法，本实施例不做限制。
可以理解的是，邻域图像块是指在目标图像中与目标图像块相差一像素的图像块，例如目标图像块的中心坐标为(x，y)，则邻域图像块中心坐标可为(x-1，y)或(x，y-1)。选择邻域图像块后计算邻域图像块与参考图像块的匹配值，即邻域匹配值，若邻域匹配值大于目标匹配值，说明邻域图像块与参考图像块的相似度更高，则将邻域图像块替代为目标图像块。
进一步地，根据所述偏移量确定所述目标图像块的邻域图像块之后，还包括：根据所述预设尺寸确定搜索范围；根据所述搜索范围确定搜索图像块，并确定所述搜索图像块与参考图像块的搜索匹配值；当所述搜索匹配值大于所述目标匹配值时，将所述搜索图像块替代为所述目标图像块。
需要说明的是，仅根据初始化与最近邻域图像块的往往不能得到最好的偏移量，且容易陷入局部极值，因此需要进行随机搜索以提供更好的偏移量，本实施例将随机搜索范围确定至预设尺寸的一倍范围内，例如，参考图像块的预设尺寸为40×40像素，则搜索范围为以参考图像块为中心的80×80像素内。
可以理解的是，在搜索范围内随机提取搜索图像块，并计算与参考图像块的匹配值，即搜索匹配值，当搜索匹配值大于目标匹配值时，说明搜索图像块与参考图像块的相似度更高，则将搜索图像块作为目标图像块。搜索过程将搜索范围减半，直至搜索范围小于目标图像块的，则停止搜索，此时，通过获取邻域图像块与搜索图像块，完成一次迭代。
需要说明的是，在偶数迭代过程中，即第2、4、6等迭代次数时，邻域图像块的中心坐标选择通过反向顺序，即当目标图像块中心坐标为(x，y)时，运用(x+1，y)和(x，y+1)来获得邻域图像块，避免因单独进行顺序而出现的迅速收敛而导致的局部极值问题。
可以理解的是，迭代次数可以根据需求进行设定。匹配效果如图4a及图4b所示，图4a为参考图像，图4b为目标图像，参考图像中的参考图像块编号与目标图像中的目标图像块对应。
步骤S40：根据所述目标图像确定各目标图像块的坐标信息。
需要说明的是，迭代完成后，可以确定在目标图像中各参考图像块对应的目标图像块，则可以根据目标图像获得各目标图像块的坐标信息。
步骤S50：获取各参考图像块的描述符向量以及各目标图像块的描述符向量。
可以理解的是，在确定目标图像块之后，需要确定各参考图像块以及各目标图像块的描述符向量。描述符向量是图像块特征的集合，可以根据描述符向量确定参考图像块与目标图像块之间的相似度。
进一步地，步骤S50包括：将所述参考图像块及所述目标图像块作为待测图像块；根据所述待测图像块获得所述待测图像块的直方图特征；根据所述待测图像块获得所述待测图像块的尺度不变特征；根据所述待测图像块获得所述待测图像块的纹理特征；根据所述待测图像块的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量。
需要说明的是，待测图像块为参考图像块与目标图像块的集合，在计算图像块的描述符向量时，参考图像块与目标图像块可同步计算。
需要说明的是，计算待测图像块的直方图特征可以用方向梯度直方图算法(Histogram of Oriented Gradient，HOG)，通过计算和统计图像局部区域的梯度方向直方图来构造特征。具体实现方法为：首先对输入图像进行灰度化，利用gamma校正法对图像颜色空间归一化，再将图像切分成等大小的图像块，作为一个单元，计算和统计每个单元的梯度方向直方图，最后将这些直方图有序的组合起来，得到最终的直方图特征。
需要说明的是，计算待测图像块的尺度不变特征可以用尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)，SIFT算法是一种基于尺度空间的，对图像缩放、旋转、甚至仿射变换保持不变形的图像局部特征描述算法。SIFT算法的实质是在不同的尺度空间上查找关键点，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征进行描述，即尺度不变特征。
需要说明的是，计算待测图像块的纹理特征可以用局部二值模式算法(LocalBinary Pattern，LBP)，LBP算法是一种用来描述图像局部纹理特征的算法，它具有旋转不变性和灰度不变性等显著的优点。传统LBP算法定义在3*3的窗口内，以窗口中心像素为阈值，将相邻8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样3*3邻域内的8个点经过比较可产生8位二进制数，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息，即纹理特征。
可以理解的是，提取待测图像块的纹理特征还可以采用卷积神经网络(Convolutional Neural Networks,CNN)，通过卷积神经网络对待测图像块的像进行分析，获得待测图像块的纹理特征。
进一步地，根据所述待测图像的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量，包括：根据所述尺度不变特征、所述纹理特征及所述直方图特征获得提取特征；根据所述提取特征、所述尺度不变特征、所述纹理特征及所述直方图特征确定所述待测图像块的描述符向量；根据所述待测图像块的描述符向量确定对应的参考图像块或目标图像块的描述符向量。
需要说明的是，在获得待测图像块的各特征后，由于特征的维度问题，即特征维度不够或特征过于复杂，需要对特征进行提取，增加维度或降低维度，可用自编码学习算法将输入信息进行压缩，提取出数据中最具有代表性的信息。其目的实在保证重要特征不丢失的情况下，降低输入信息的维度，从而减小网络的负担。通过自编码算法即可获得提取特征。
可以理解的是，可将上述提到的四种特征提取的方法相结合，结合方式例如，第1种方式：HOG/SIFT，各自与自编码器提取的特征相组合，扩充维度，形成新的特征向量；第2种方式：将HOG/SIFT提取的图像特征向量，作为输入传入自编码器得到更加精炼的图像特征。
在具体实现中，将上述特征进行组合可以获得描述符向量，在同一组胶囊内镜图像组中，描述符向量中的特征应当一致。
步骤S60：根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。
需要说明的是，如图5所示，是四张WCE图像(a)，(b)，(c)，(d)与参考图像图像块的空间分布对比，由图可知，相似度高的两张图像，其图像块的空间分布与大体上也是相似的，如图5(a)(b)所示；而相似度较低的图片，其图像块的空间分布相似度也是较低的，甚至是杂乱无章的。因此，可以用以下数学公式对两张WCE图像的相似度进行建模计算。
进一步地，步骤S60包括：根据所述参考图像块的描述符向量及对应目标图像块的描述符向量，确定描述符向量相似度。
在具体实现中，分别将两张WCE图像命名为A(参考图像)，B(目标图像)，则图像A，B中的图像块集合由x，y表示，则A和B的相似度评估即可用联合概率P(x,y)表示，可将联合概率用公式表示为：P(x,y)＝P(y|x)P(x)。
根据所述参考图像块的坐标信息确定参考相对位置信息，并根据对应的目标图像块的坐标信息确定目标相对位置信息。
在具体实现中，令表示x中第i个图像块的描述符向量，/>表示其绝对坐标位置。类似的，/>表示y中第i个图像块的描述符向量，/>表示其绝对坐标位置。令cx和cy表示A，B图像的中心坐标点，则任何这样一组集合x，y之间的相似度可通过以下公式计算：
根据所述参考相对位置信息以及所述目标相对位置信息确定位置相似度。
在具体实现中，为了公式1的计算易于处理，做出以下简化的统计假设：对于给定的集合x及其描述符假定相应的描述符/>独立于其他图像块的描述符。而后使用高斯分布对描述符之间的相似性进行计算：
公式2中α1为常数，SD是常量协方差矩阵，它确定了描述符向量之间允许的偏差。
根据所述参考图像块的坐标信息以及描述符向量确定非参数模型。
在具体实现中，给定图像A中图像块的相对位置假设对应于图像B中的图像块的相对位置/>独立于其他图像块的位置。这一假设能够比较x，y集合的集合排列，具有足够的灵活性，从而适应视角、比例和行为的微小变化。因此：
公式3中α2为常数，SL是常量协方差矩阵，它确定了图像块相对位置允许的偏差。以上对集合x，y中和/>都进行了建模，但仍然要对集合x中图像块的描述符/>与其位置/>之间的关系进行建模。一般情况下，这种关系是高度非解析的，不进行参数建模，因此用集合x中的示例对其进行非参数建模：
公式4中，dx和lx是任意的特征描述符及其位置。
根据所述描述符向量相似度、所述位置相似度及所述非参数模型确定所述参考图像与所述目标图像的相似度。
在具体实现中，对于公式(1)中的P(x,y)可用公式2-4表示为：
公式5则为图像A，B之间的相似度量，为了便于后续的处理，对公式(5)取负对数：
公式6中，α1＝log(α)为常数。
根据公式6得出的结果，即相似度，值越大，代表两幅图像的相似度越高，值越小代表两幅图像相似度越小。
需要说明的是，当胶囊内镜图像序列中每组图像都完成相似度计算后，则输出每组图像的相似度，即每两幅相邻图像的相似度，当相似度高于预设相似度阈值时，表明相邻两幅图像包含信息大致相同，则对图像进行过滤，已达到提升医生的阅片效率的目的。
本实施例通过获取参考图像以及目标图像；将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；根据所述目标图像确定各目标图像块的坐标信息；获取各参考图像块的描述符向量以及各目标图像块的描述符向量；根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。通过上述方式，将参考图像块与目标图像块进行匹配，并通过图像块计算参考图像与目标图像的相似度，从而可以确定相似度高的图像，并过滤相似度较高的图像，加快了医生的阅片效率，从而提升了治疗效率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有胶囊内镜图像相似度评估程序，所述胶囊内镜图像相似度评估程序被处理器执行时实现如上文所述的胶囊内镜图像相似度评估方法的步骤。
参照图6，图6为本发明胶囊内镜图像相似度评估系统第一实施例的结构框图。
如图6所示，本发明实施例提出的胶囊内镜图像相似度评估系统包括：图像获取模块，用于获取参考图像以及目标图像。
图像块划分模块10，用于将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息。
图像块确定模块20，用于根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块。
所述图像块确定模块30，还用于根据所述目标图像确定各目标图像块的坐标信息。
描述符向量模块40，用于获取各参考图像块的描述符向量以及各目标图像块的描述符向量。
相似度确定模块50，用于根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过获取参考图像以及目标图像；将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；根据所述目标图像确定各目标图像块的坐标信息；获取各参考图像块的描述符向量以及各目标图像块的描述符向量；根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度。通过上述方式，将参考图像块与目标图像块进行匹配，并通过图像块计算参考图像与目标图像的相似度，从而可以确定相似度高的图像，加快了医生的阅片效率，从而提升了治疗效率。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的胶囊内镜图像相似度评估方法，此处不再赘述。
在一实施例中，所述图像块划分模块10，还用于获取待测胶囊内镜图像的序列号；根据所述序列号查找所述待测胶囊内镜图像；将所述待测胶囊内镜图像进行镜像获得所述参考图像以及所述目标图像。
在一实施例中，所述图像块确定模块30，还用于根据所述参考图像块的坐标信息确定在所述目标图像中目标图像块的偏移量，并确定所述目标图像块与所述参考图像块的目标匹配值；根据所述偏移量确定所述目标图像块的邻域图像块，并确定所述参考图像块与所述邻域图像块的邻域匹配值；当所述邻域匹配值大于所述目标匹配值时，将所述邻域图像块替代为所述目标图像块。
在一实施例中，所述图像块确定模块30，还用于根据所述预设尺寸确定搜索范围；根据所述搜索范围确定搜索图像块，并确定所述搜索图像块与参考图像块的搜索匹配值；当所述搜索匹配值大于所述目标匹配值时，将所述搜索图像块替代为所述目标图像块。
在一实施例中，所述描述符向量模块40，还用于将所述参考图像块及所述目标图像块作为待测图像块；根据所述待测图像块获得所述待测图像块的直方图特征；根据所述待测图像块获得所述待测图像块的尺度不变特征；根据所述待测图像块获得所述待测图像块的纹理特征；根据所述待测图像块的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量。
在一实施例中，所述描述符向量模块40，还用于根据所述尺度不变特征、所述纹理特征及所述直方图特征获得提取特征；根据所述提取特征、所述尺度不变特征、所述纹理特征及所述直方图特征确定所述待测图像块的描述符向量；根据所述待测图像块的描述符向量确定对应的参考图像块或目标图像块的描述符向量。
在一实施例中，所述相似度确定模块50，还用于根据所述参考图像块的描述符向量及对应目标图像块的描述符向量，确定描述符向量相似度；根据所述参考图像块的坐标信息确定参考相对位置信息，并根据对应的目标图像块的坐标信息确定目标相对位置信息；根据所述参考相对位置信息以及所述目标相对位置信息确定位置相似度；根据所述参考图像块的坐标信息以及描述符向量确定非参数模型；根据所述描述符向量相似度、所述位置相似度及所述非参数模型确定所述参考图像与所述目标图像的相似度。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种胶囊内镜图像相似度评估方法，其特征在于，所述胶囊内镜图像相似度评估方法包括：
获取参考图像以及目标图像；
将所述参考图像划分为预设尺寸的参考图像块，并确定各参考图像块的坐标信息；
根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；
根据所述目标图像确定各目标图像块的坐标信息；
获取各参考图像块的描述符向量以及各目标图像块的描述符向量；
根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度；
所述根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块，包括：
根据所述参考图像块的坐标信息确定在所述目标图像中目标图像块的偏移量，并确定所述目标图像块与所述参考图像块的目标匹配值；
根据所述偏移量确定所述目标图像块的邻域图像块，并确定所述参考图像块与所述邻域图像块的邻域匹配值；
当所述邻域匹配值大于所述目标匹配值时，将所述邻域图像块替代为所述目标图像块；
所述根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度，包括：
根据所述参考图像块的描述符向量及对应目标图像块的描述符向量，确定描述符向量相似度；
根据所述参考图像块的坐标信息确定参考相对位置信息，并根据对应的目标图像块的坐标信息确定目标相对位置信息；
根据所述参考相对位置信息以及所述目标相对位置信息确定位置相似度；
根据所述参考图像块的坐标信息以及描述符向量确定非参数模型；
根据所述描述符向量相似度、所述位置相似度及所述非参数模型确定所述参考图像与所述目标图像的相似度。
2.如权利要求1所述的方法，其特征在于，所述根据所述偏移量确定所述目标图像块的邻域图像块之后，还包括：
根据所述预设尺寸确定搜索范围；
根据所述搜索范围确定搜索图像块，并确定所述搜索图像块与参考图像块的搜索匹配值；
当所述搜索匹配值大于所述目标匹配值时，将所述搜索图像块替代为所述目标图像块。
3.如权利要求1所述的方法，其特征在于，所述获取各参考图像块的描述符向量以及各目标图像块的描述符向量，包括：
将所述参考图像块及所述目标图像块作为待测图像块；
根据所述待测图像块获得所述待测图像块的直方图特征；
根据所述待测图像块获得所述待测图像块的尺度不变特征；
根据所述待测图像块获得所述待测图像块的纹理特征；
根据所述待测图像块的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量。
4.如权利要求3所述的方法，其特征在于，所述根据所述待测图像的所述直方图特征、所述尺度不变特征及所述纹理特征确定对应的参考图像块或目标图像块的描述符向量，包括：
根据所述尺度不变特征、所述纹理特征及所述直方图特征获得提取特征；
根据所述提取特征、所述尺度不变特征、所述纹理特征及所述直方图特征确定所述待测图像块的描述符向量；
根据所述待测图像块的描述符向量确定对应的参考图像块或目标图像块的描述符向量。
5.如权利要求1至4中任一项所述的方法，其特征在于，所述获取参考图像以及目标图像，包括：
获取待测胶囊内镜图像的序列号；
根据所述序列号查找所述待测胶囊内镜图像；
将所述待测胶囊内镜图像进行镜像获得所述参考图像以及所述目标图像。
6.一种胶囊内镜图像相似度评估系统，其特征在于，所述胶囊内镜图像相似度评估系统包括：
图像获取模块，用于获取参考图像以及目标图像；
图像块划分模块，用于将所述参考图像划分为的预设尺寸的参考图像块，并确定各参考图像块的坐标信息；
图像块确定模块，用于根据各参考图像块以及所述目标图像确定在所述目标图像中各参考图像块对应的目标图像块；
所述图像块确定模块，还用于根据所述目标图像确定各目标图像块的坐标信息；
描述符向量模块，用于获取各参考图像块的描述符向量以及各目标图像块的描述符向量；
相似度确定模块，用于根据各参考图像块的描述符向量和坐标信息以及各目标图像块的描述符向量以及坐标信息，确定所述参考图像与所述目标图像的相似度；
所述图像块确定模块，还用于根据所述参考图像块的坐标信息确定在所述目标图像中目标图像块的偏移量，并确定所述目标图像块与所述参考图像块的目标匹配值；根据所述偏移量确定所述目标图像块的邻域图像块，并确定所述参考图像块与所述邻域图像块的邻域匹配值；当所述邻域匹配值大于所述目标匹配值时，将所述邻域图像块替代为所述目标图像块；
所述相似度确定模块，还用于根据所述参考图像块的描述符向量及对应目标图像块的描述符向量，确定描述符向量相似度；根据所述参考图像块的坐标信息确定参考相对位置信息，并根据对应的目标图像块的坐标信息确定目标相对位置信息；根据所述参考相对位置信息以及所述目标相对位置信息确定位置相似度；根据所述参考图像块的坐标信息以及描述符向量确定非参数模型；根据所述描述符向量相似度、所述位置相似度及所述非参数模型确定所述参考图像与所述目标图像的相似度。
7.一种胶囊内镜图像相似度评估终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的胶囊内镜图像相似度评估程序，所述胶囊内镜图像相似度评估程序配置为实现如权利要求1至5中任一项所述的胶囊内镜图像相似度评估方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有胶囊内镜图像相似度评估程序，所述胶囊内镜图像相似度评估程序被处理器执行时实现如权利要求1至5任一项所述的胶囊内镜图像相似度评估方法的步骤。
CN202110092877.8A 2021-01-22 2021-01-22 胶囊内镜图像相似度评估方法、系统、终端及存储介质 Active CN112819051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110092877.8A CN112819051B (zh) 2021-01-22 2021-01-22 胶囊内镜图像相似度评估方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110092877.8A CN112819051B (zh) 2021-01-22 2021-01-22 胶囊内镜图像相似度评估方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112819051A CN112819051A (zh) 2021-05-18
CN112819051B true CN112819051B (zh) 2023-09-29

Family

ID=75859065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110092877.8A Active CN112819051B (zh) 2021-01-22 2021-01-22 胶囊内镜图像相似度评估方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112819051B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429649B (zh) * 2022-04-07 2022-06-24 青岛美迪康数字工程有限公司 目标图像识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069131A (zh) * 2015-08-14 2015-11-18 北京工业大学 基于视觉词汇和局部描述符的胶囊内镜图像检索方法
CN108615045A (zh) * 2018-03-06 2018-10-02 重庆金山医疗器械有限公司 筛选胶囊内镜拍摄的图像的方法、装置及设备
CN111739007A (zh) * 2020-06-22 2020-10-02 中南民族大学 内窥镜图像识别方法、设备、存储介质及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069131A (zh) * 2015-08-14 2015-11-18 北京工业大学 基于视觉词汇和局部描述符的胶囊内镜图像检索方法
CN108615045A (zh) * 2018-03-06 2018-10-02 重庆金山医疗器械有限公司 筛选胶囊内镜拍摄的图像的方法、装置及设备
CN111739007A (zh) * 2020-06-22 2020-10-02 中南民族大学 内窥镜图像识别方法、设备、存储介质及装置

Also Published As

Publication number Publication date
CN112819051A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
JP6639123B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021129323A1 (zh) 超声图像病灶描述方法、装置、计算机设备和存储介质
CN110148121B (zh) 一种皮肤图像处理方法、装置、电子设备及介质
CN112967236B (zh) 图像的配准方法、装置、计算机设备和存储介质
US20210174505A1 (en) Method and system for imaging and analysis of anatomical features
US8437521B2 (en) Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
US8867836B2 (en) Image registration methods and apparatus using random projections
CN110415792B (zh) 图像检测方法、装置、计算机设备和存储介质
US20130136322A1 (en) Image-Based Detection Using Hierarchical Learning
CN109124662B (zh) 肋骨中心线检测装置及方法
CN110766735B (zh) 一种图像的匹配方法、装置、设备及存储介质
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN110782428B (zh) 一种用于构建临床脑部ct图像roi模板的方法及系统
WO2021129324A1 (zh) 超声图像病灶的分割方法、装置和计算机设备
CN113223668A (zh) 胶囊内镜图像冗余数据筛查方法
CN112819051B (zh) 胶囊内镜图像相似度评估方法、系统、终端及存储介质
CN114549594A (zh) 图像配准方法、装置和电子设备
CN112950684B (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
CN112215878B (zh) 一种基于surf特征点的x光图像配准方法
Ding et al. Combining feature correspondence with parametric chamfer alignment: hybrid two-stage registration for ultra-widefield retinal images
CN114120008A (zh) 胶囊内镜图像序列关键帧确定方法及系统
Devadas et al. Intensity based image registration on brain mri images
CN110334582B (zh) 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法
US11074427B2 (en) Method for reconstructing an imprint image from image portions
CN113744319B (zh) 一种胶囊胃镜轨迹跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant