CN115115545A - 内窥镜图像校正方法、系统及计算机存储介质 - Google Patents
内窥镜图像校正方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN115115545A CN115115545A CN202210749787.6A CN202210749787A CN115115545A CN 115115545 A CN115115545 A CN 115115545A CN 202210749787 A CN202210749787 A CN 202210749787A CN 115115545 A CN115115545 A CN 115115545A
- Authority
- CN
- China
- Prior art keywords
- current
- image
- correction
- endoscope
- correction factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000003702 image correction Methods 0.000 title claims abstract description 79
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 201
- 238000001514 detection method Methods 0.000 claims abstract description 170
- 230000001133 acceleration Effects 0.000 claims abstract description 144
- 230000008569 process Effects 0.000 claims description 23
- 238000007477 logistic regression Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 21
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000036544 posture Effects 0.000 description 61
- 230000005484 gravity Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 230000006872 improvement Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000009191 jumping Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 239000002775 capsule Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 235000015110 jellies Nutrition 0.000 description 2
- 239000008274 jelly Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本发明揭示了一种内窥镜图像校正方法、系统及计算机存储介质,其中,方法用于对内窥镜的检测图像得方向进行校正,包括:获取当前检测图像以及与所述当前检测图像对应的加速度信息序列;根据所述加速度信息序列,计算对应所述当前检测图像的图像校正因子,得到当前校正因子,并判断所述内窥镜的当前姿态信息是否包含于加速度检测死区范围内;若否,则根据所述当前校正因子,校正所述当前检测图像;若是,则根据对应所述内窥镜当前姿态的前向姿态的先校正因子,校正所述当前检测图像。本发明提供的内窥镜图像校正方法,能够适应传感器低功耗、低成本、小体积的要求,应对死区问题,提升观察视角方向的校正精度和效果。
Description
技术领域
本发明涉及医疗设备技术领域,尤其涉及一种内窥镜图像校正方法、系统及计算机存储介质
背景技术
磁控胶囊内窥镜系统,通过外部控制磁体(例如,永磁体或电磁体)或其他外部设备,对吞服到体内或设置于诸如仿真胃部、肠道等的空腔内的胶囊内窥镜进行较远距离非接触式的控制,由此可以采集得到人体内或空腔内某些参数作为中间结果,进而辅助完成消化道的检查,并辅助医疗工作者进行疾病的诊断和治疗,或辅助进行模拟实验。
受到自身运动的影响,特别是在发生沿自身旋转轴自转的情况下,内窥镜拍摄得到检测图像的方向同样会发生旋转,如图1所示。初始状态下,如图1(a),对于某个检测对象,内窥镜沿“A上B下”的方向生成检测图像;在内窥镜旋转至沿“A下B上”的姿态时,如图1(b),对于同一检测对象,仍然会沿“A上B下”的方向生成检测图像,导致检测对象在后一检测图像中发生角度偏转(倒置)。如此,会极大地增加医疗工作者阅读检测图像的困难程度,加剧检测图像抖动的不良情况,甚至导致医疗工作者阅片时发生眩晕。
一种现有技术中采用在设备中设置陀螺仪的方式,通过高频率采集设备绕各轴运动的角速度,从而对图像进行调整,但陀螺仪体积较大、功耗较高、成本较大,难以应用于内窥镜设备中。基于此,如何提供一种对内窥镜中传感器要求较低,且能够解决检测图像“天旋地转”的问题的内窥镜图像校正方法,成为亟待解决的技术难题。
发明内容
本发明的目的之一在于提供一种内窥镜图像校正方法,以解决现有技术中检测图像随内窥镜自转导致的阅片困难,以及校正方法对硬件配置要求高,难以应用于内窥镜中的技术问题。
本发明的目的之一在于提供一种内窥镜图像校正系统。
本发明的目的之一在于提供一种计算机存储介质。
为实现上述发明目的之一,本发明一实施方式提供一种内窥镜图像校正方法,用于对内窥镜的检测图像的方向进行校正;所述内窥镜图像校正方法包括:获取当前检测图像以及与所述当前检测图像对应的加速度信息序列;根据所述加速度信息序列,计算对应所述当前检测图像的图像校正因子,得到当前校正因子,并判断所述内窥镜的当前姿态信息是否包含于加速度检测死区范围内;若否,则根据所述当前校正因子,校正所述当前检测图像;若是,则根据对应所述内窥镜当前姿态的前向姿态的先校正因子,校正所述当前检测图像。
作为本发明一实施方式的进一步改进,所述方法具体包括:根据所述加速度信息序列生成数据信息序列;其中,所述数据信息序列包括第一方向数据,第二方向数据和第三方向数据;根据所述第一方向数据和所述第二方向数据,计算得到所述当前校正因子;根据所述第三方向数据,判断所述当前姿态信息是否包含于所述加速度检测死区范围内。
作为本发明一实施方式的进一步改进,所述方法具体包括:根据预设的滤波窗口,对所述加速度信息序列中的第一加速度序列、第二加速度序列和第三加速度序列分别执行均值滤波,分别对应得到所述第一方向数据、所述第二方向数据和所述第三方向数据,生成所述数据信息序列。
作为本发明一实施方式的进一步改进,所述方法具体包括:根据所述第一方向数据和所述第二方向数据,拟合加速度坐标点;对所述加速度坐标点执行四象限反正切变换,得到当前自旋角数据;根据所述当前自旋角数据,计算所述当前校正因子。
作为本发明一实施方式的进一步改进,所述方法具体包括:计算所述当前自旋角数据的相反数与预设的角度偏置数据之和,得到所述当前校正因子;其中,所述角度偏置数据用于定义观察视角的方向。
作为本发明一实施方式的进一步改进,所述方法具体包括:根据所述第一方向数据、所述第二方向数据和所述第三方向数据,计算综合速度数据;根据所述综合速度数据和所述第三方向数据,执行反余弦变换,得到当前姿态下内窥镜与第三方向的夹角数据,并以所述夹角数据作为当前死区判据值;若所述当前死区判据值小于预设的奇异点值,则判定当前姿态信息包含于所述加速度检测死区范围内。
作为本发明一实施方式的进一步改进,所述方法具体包括:遍历在时间上位于所述内窥镜的当前姿态之前的前向姿态信息,判断是否对所述当前校正因子进行更新;若所述前向姿态信息中存在包含于所述加速度检测死区范围内的死区姿态信息,则提取在时间上最靠近所述当前姿态信息的第一姿态信息,计算并根据对应所述第一姿态信息的方向偏转量,更新所述当前校正因子。
作为本发明一实施方式的进一步改进,所述方法具体包括:以所述当前姿态信息为起点向前检索,当检索到对应所述前向姿态信息的死区判据值小于预设的奇异点值时,判定所述前向姿态信息中存在包含于所述加速度检测死区范围内的死区姿态信息;若所述第一姿态信息包含于所述加速度检测死区范围内,则提取并根据所述内窥镜的第二姿态信息所对应的第二校正因子,以及对应所述第一姿态信息的第一校正因子,计算得到所述方向偏转量,并根据所述方向偏转量更新所述当前校正因子;其中,第二姿态在时间上为所述第一姿态的前一姿态。
作为本发明一实施方式的进一步改进,所述方法还包括:若所述第一姿态信息不包含于所述加速度检测死区范围内,,则在所述内窥镜继续调整姿态的过程中,始终根据对应的前一姿态信息的方向偏转量,更新所述当前校正因子,直至所述前一姿态信息包含于所述加速度检测死区范围内,或所述当前姿态信息包含于所述加速度检测死区范围内。
作为本发明一实施方式的进一步改进,所述方法具体包括:调用预设的逻辑回归函数,根据所述当前校正因子和对应前向姿态信息的先校正因子,优化所述当前校正因子。
作为本发明一实施方式的进一步改进,所述方法具体包括:调用所述逻辑回归函数,根据所述当前校正因子和所述先校正因子,计算得到优化缓冲值;以所述优化缓冲值和所述先校正因子之和,作为优化后的当前校正因子。
作为本发明一实施方式的进一步改进,所述逻辑回归函数为sigmoid函数。
作为本发明一实施方式的进一步改进,所述方法具体包括:调用预设的图像旋转函数,分别以当前图像信息和所述当前校正因子作为参量,计算并生成中间校正图像;按照预设掩膜提取所述中间校正图像中至少部分,得到当前校正图像。
作为本发明一实施方式的进一步改进,所述方法具体包括:分析所述中间校正图像的尺寸,并根据所述中间校正图像的较短边长,设定所述预设掩膜的直径;对准所述预设掩膜与所述中间校正图像的几何中心,遍历得到所述中间校正图像与所述预设掩膜的像素值差集,将所述像素值差集中的像素值设定为预设隐藏值,得到所述当前校正图像。
作为本发明一实施方式的进一步改进,所述方法具体包括:获取对应于所述内窥镜的前一姿态的先检测图像和先校正图像,以及对应于所述内窥镜的当前姿态的当前检测图像和当前校正图像;计算所述先检测图像和当前检测图像的检测区分度,以及所述先校正图像和当前校正图像的校正区分度,并判断所述校正区分度是否小于等于所述检测区分度;若小于等于,则输出所述当前校正图像;若大于,则重新确定所述当前校正因子,得到并输出重新确定的当前校正图像。
为实现上述发明目的之一,本发明一实施方式提供一种内窥镜图像校正系统,包括内窥镜,以及至少用于对所述内窥镜的检测图像的方向进行校正的控制装置,所述控制装置配置为执行上述任一种技术方案所述的内窥镜图像校正方法。
为实现上述发明目的之一,本发明一实施方式提供一种计算机存储介质,其上存储有应用程序,所述应用程序被执行时,实现上述任一种技术方案所述的内窥镜图像校正方法的步骤。
与现有技术相比,本发明提供的内窥镜图像校正方法,通过单纯分析内窥镜的加速度信息,解算得到图像校正因子,并复用加速度信息进一步判断内窥镜的当前姿态是否属于图像校正因子偏差较大的加速度检测死区,从而对应采用不同的策略进行图像校正,如此,在硬件上只要求内窥镜能够获取加速度信息即可,能够适应内窥镜内传感器低功耗、低成本、小体积的配置要求,并且能够应对加速度检测过程中出现的死区问题,摆脱需要陀螺仪等其他传感器进行辅助的限制,能够在保持成本收益率最大化的基础上,提升校正精度和效果,使得检测图像始终按照统一的方向输出。
附图说明
图1是现有技术中内窥镜、检测对象及对应的检测图像的结构示意图。
图2是本发明一实施方式中内窥镜图像校正系统中内窥镜的结构示意图。
图3是本发明一实施方式中内窥镜图像校正方法的步骤示意图。
图4是本发明一实施方式中执行内窥镜图像校正方法时内窥镜处于一种姿态下的状态示意图。
图5是本发明一实施方式中执行内窥镜图像校正方法时内窥镜处于另一种姿态下的状态示意图。
图6是本发明一实施方式中内窥镜图像校正方法一具体实施例的部分步骤示意图。
图7是本发明另一实施方式中执行内窥镜图像校正方法时内窥镜处于变化姿态下的状态示意图。
图8是本发明另一实施方式中执行内窥镜图像校正方法时处于变化状态下的内窥镜所获取图像的示意图。
图9是本发明另一实施方式中内窥镜图像校正方法的部分步骤示意图。
图10是本发明另一实施方式中内窥镜图像校正方法的另一部分步骤示意图。
图11是本发明另一实施方式中执行内窥镜图像校正方法时处于变化状态下的内窥镜与加速度死区的配合状态示意图。
图12是本发明又一实施方式中执行内窥镜图像校正方法中不同步骤所对应得到图像的示意图。
图13是本发明又一实施方式中内窥镜图像校正方法的部分步骤示意图。
图14是本发明再一实施方式中内窥镜图像校正方法的部分步骤示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
需要说明的是,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者还包括为这种过程、方法、物品或者设备所固有的要素。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明一实施方式提供一种计算机存储介质,其上存储有应用程序,应用程序被执行时,实现一种内窥镜图像校正方法,通过对简单的加速度信息,分析得到内窥镜当前的姿态信息,并通过对应的判断策略和处理策略计算得到合适的图像校正因子来校正检测图像,从而实现图像始终沿预定且合适的方向输出的效果,且无需设置陀螺仪或额外获取重力参数。
所述计算机存储介质可以能够存取数据的任何可用介质,或可以是包含一个或多个可用介质集成的服务器、数据中心等存储设备。可用介质可以是例如软盘、硬盘、磁带等的磁性介质,或例如DVD(Digital Video Disc,高密度数字视频光盘)等的光介质,或例如SSD(Solid State Disk,固态硬盘)等的半导体介质。
本发明一实施方式提供一种内窥镜图像校正系统,包括如图2所示的内窥镜100,以及至少用于对所述内窥镜100的检测图像的方向进行校正的控制装置,具体地,所述控制装置中可以设置有上述计算机存储介质,或至少所述控制装置配置为执行一种内窥镜图像校正方法,通过对简单的加速度信息,分析得到内窥镜100当前的姿态信息,并通过对应的判断策略和处理策略计算得到合适的图像校正因子来校正检测图像,从而实现图像始终沿预定且合适的方向输出的效果,且无需设置陀螺仪或额外获取重力参数。
具体地,作为所述内窥镜图像校正系统的一部分,且/或作为内窥镜图像校正方法的作用对象,内窥镜100包括摄像部11、加速度传感器12,以及用于电子元器件的壳体10。其中,摄像部11至少包括用于采集图像的相机,加速度传感器12至少用于采集表征内窥镜100当前运动状态的加速度信息序列,壳体10优选配置为便于用户吞服的胶囊状或药片状。
在一种改进的实施方式中,内窥镜100并不必然排斥对陀螺仪的设置,相反,可以利用陀螺仪实现其他附加功能。在结构层面,内窥镜100可以进一步包括定位组件13,用于采集分析内窥镜100当前的实际位置和姿态情况,具体地,定位组件13可以包括磁场传感器131和陀螺仪132,分别采集磁场信息和重力场情况,实现对上述情况的分析。当然内窥镜100中所包含的其他必要或附加元器件,诸如电池、主控模块、通信模块、磁体等,本领域技术人员在本发明的启示下能够想到进行相关配置,此处不再进行赘述。
值得注意地,图2中以内窥镜100为参考定义了三种方向,在一种实施方式中,可以定义内窥镜100的宽度延伸平面上包括相互垂直的第一方向X和第二方向Y,并定义内窥镜100的长度延伸方向为第三方向Z。当然,也可以定义内窥镜100调整俯仰姿态的旋转轴沿第一方向X延伸,内窥镜100调整偏航或摆动姿态的旋转轴沿第二方向Y延伸,内窥镜100调整横滚或自转姿态的旋转轴沿第三方向Z延伸。下文提供的对方向的描述,可以优选采用上述定义方式,当然也可以采用其他定义方式。
本发明一实施方式提供一种如图3所示的内窥镜图像校正方法,至少用于对内窥镜的检测图像的方向进行校正。该方法对应的程序或指令可以搭载于上述计算机存储介质中,该方法也可以以程序、指令或其他形式搭载于上述内窥镜图像校正系统中,以实现内窥镜图像校正的技术效果。所述内窥镜图像校正方法具体可以包括下述步骤。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤22,根据加速度信息序列,计算对应当前检测图像的图像校正因子,得到当前校正因子,并判断内窥镜的当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转步骤23A,根据当前校正因子,校正当前检测图像。
若是,则跳转步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
如此,一方面,能够利用加速度信息序列确认图像校正因子,将检测图像的方向校正为便于医护人员观察的状态,防止医疗工作者阅片时眩晕,以及避免采用陀螺仪等器件,产生占用内窥镜体积、增加内窥镜功耗和成本等问题。另一方面,能够复用加速度信息序列分析判断内窥镜的姿态信息是否包含于加速度检测死区范围内,以判断结果作为确定图像校正因子的前置条件和内在因素,能够利用简单的加速度信息序列(硬件层面上,是成本低、能耗低且体积小的加速度传感器)实现良好的校正效果,避免校正失效或准确性差等问题。
具体地,如图2和图4所示,内窥镜100在体内或空腔内的运动至少可以分解为相对于第三方向Z发生倾斜的第一运动分量,和以第三方向Z为旋转轴的第二运动分量,以第三方向Z平行于重力方向布置为内窥镜100的初始状态,则所述第一运动分量相对于所述重力方向会产生偏转角所述第二运动分量相对于所述初始状态以第三方向Z的初始姿态而言会产生自旋角φ。可以理解地,偏转角可以用于表示内窥镜100的俯仰姿态和偏航或摆动姿态,自旋角φ可以用于表示内窥镜100的横滚或自转姿态。此外,可以定义内窥镜100在第一方向X和第二方向Y所形成的平面上的运动为第三运动分量。
作为补充说明地,所述加速度检测死区的出现,是基于加速度传感器自身工作原理的限制,导致在内窥镜100处于某些角度或姿态下,加速度传感器12无法检测到足以计算姿态信息的加速度数据,并且存在较大的噪声,使得得到的加速度数据在很大范围内跳变,从而将这些角度和姿态定义为加速度检测死区,表征在此种角度范围或姿态类型处检测得到的加速度信息序列置信度低,至少无法用于计算图像校正因子。
在一种情况下,如图2、图4和图5所示,当内窥镜100的第三方向Z与重力方向平行,或者与重力方向呈较小的夹角时,内窥镜100的加速度数据检测效果差,从而可以以偏转角作为判据,定义偏转角满足时,内窥镜100处于所述加速度检测死区DB,其中τ或-τ可以定义为奇异点值。对应可以理解地,加速度检测死区DB可以定义为[-τ,τ]这一偏转角区域,也可以定义为以奇异中心点SP为中心所建立的、具有一定覆盖范围的区域,其中,所述奇异中心点SP为内窥镜100的重心在重力方向上的任一点,在内窥镜100的第三方向Z与所述加速度检测死区DB相交时,认为内窥镜100当前姿态落入加速度检测死区DB内,或内窥镜100当前姿态信息包含于加速度检测死区DB范围内。
所述内窥镜的前向姿态,表征处于对应于所述当前姿态信息的当前姿态之前的姿态,所述前向姿态可以被具体定义为在时间上处于所述当前姿态之前。如此,可以避免在加速度检测死区范围内图像校正效果差的问题,利用先校正因子形成对校正效果一定程度上的补偿,保持整体校正效果趋于均衡稳定。
本发明提供一种基于上述实施方式的具体实施例,如图3和图6所示,该具体实施例包括下述步骤。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤221,根据加速度信息序列生成数据信息序列。
步骤222,根据第一方向数据和第二方向数据,计算得到所述当前校正因子。
步骤223,根据第三方向数据,判断当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转步骤23A,根据当前校正因子,校正当前检测图像。
若是,则跳转步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
其中,所述数据信息序列包括第一方向数据,第二方向数据和第三方向数据。所述第一方向数据可以是对应上述第一方向X的加速度数据,所述第二方向数据可以是对应上述第二方向Y的加速度数据,所述第三方向数据可以是对应上述第三方向Z的加速度数据。从而,第一方向数据和第二方向数据可以反映内窥镜以第三方向Z为旋转轴的自转情况,第三方向数据可以反映内窥镜相对于重力方向的偏转情况。当然,本发明并不排斥其他对于三种方向的定义,以及由此衍生的其他三种方向数据的意义,例如作为基准方向的所述重力方向,可以由操作者可选地定义为除重力方向以外的其他方向,例如磁场方向或其他力场方向。
如此,能够根据数据信息序列中的部分数据求得当前校正因子,并利用数据信息序列中的另一部分数据来判断当前姿态信息是否包含于加速度检测死去范围内,从而综合两方面因素,共同确定一个最合适的校正因子以校正内窥镜的检测图像,兼顾数据量需求小、运算量小且校正效果好的有益效果。
其中,步骤222和步骤223之间并不必然具有现有顺序关系,步骤223可以设置于步骤222和步骤221之间。所述数据信息序列和所述加速度信息序列可以做区分解释,例如对加速度信息序列进行运算或标准化处理,以形成包含三种方向数据的其他形式的数据信息序列,当然,在其他实施方式中也可以做等同解释,从而步骤221也可以被进一步解释为,对加速度信息序列进行提取和整理,得到包含三种方向数据的数据信息序列。
对于前者,优选地,可以是对加速度信息序列进行滤波处理后得到数据信息序列的。基于此,步骤221可以被进一步细化为包括:根据预设的滤波窗口,对加速度信息序列中的第一加速度序列、第二加速度序列和第三加速度序列分别执行均值滤波,分别对应得到第一方向数据、第二方向数据和第三方向数据,生成数据信息序列。具体地,举例而言,定义第一加速度序列为ax(t),定义所述滤波窗口的步长为ΔT,则滤波后且表征内窥镜沿第一方向运动加速度情况的第一方向数据至少可以满足:
对于其中的步骤222,优选地,可以包括下述具体步骤。
步骤2221,根据第一方向数据和第二方向数据,拟合加速度坐标点。
步骤2222,对加速度坐标点执行四象限反正切变换,得到当前自旋角数据。
步骤2223,根据当前自旋角数据,计算当前校正因子。
如此,能够通过第一方向数据和第二方向数据进行简单的坐标运算,得到自旋角数据,并根据自旋角数据确定检测图像相对于正常观察视角方向(或称显示方向)的旋转角度,以此计算对应于所述当前检测图像的当前校正因子,实现快速、稳定、高效校正检测图像视角方向的技术效果。
如此,能够根据第一方向数据和第二方向数据所表征的实际含义,与直角坐标系建立匹配关系,并利用该匹配关系与内窥镜自旋角的对应关系,计算得到内窥镜处于当前姿态下所发生偏转的自旋角,从而,通过简单具体的数据计算得到抽象复杂的数据,节省了运算步骤,提升了自旋角估算的准确性。
通常情况下,自旋角本身即表征了内窥镜以第三方向Z为旋转轴发生自转所导致的检测图像发生旋转的程度,步骤222或具体的步骤2223中可以直接以该自旋角作为校正因子,将检测图像旋转复位到“由上至下”顺序排列或其他方便阅读的状态。但在一些特殊情况下,医疗工作者所实际需要的观察视角方向可能是反向或者斜向的。基于此,步骤2223可以优选地,包括步骤:计算当前自旋角数据的相反数与预设的角度偏置数据之和,得到当前校正因子。其中,所述角度偏置数据用于定义观察视角的方向。
例如,定义原始图像为I,定义自旋角数据为φ,定义角度偏置数据为φbias,定义旋转校正函数为imageRotate(),则旋转校正后的图像I′可以至少满足:
I′=imageRotate(I,-φ+φbias)。
其中,角度偏置数据φbias为0时,表征直接以自旋角数据的相反数作为当前校正因子进行检测图像观察视角方向的校正;角度偏置数据φbias为180度时,表征以正常观察视角方向相反的方向校正检测图像。从而,医疗工作者可以方便地通过角度偏置数据φbias调整校正后检测图像的方向。
对于其中的步骤223,优选地,可以包括下述具体步骤。
步骤2231,根据第一方向数据、第二方向数据和第三方向数据,计算综合速度数据。
步骤2232,根据综合速度数据和第三方向数据,执行反余弦变换,得到当前姿态下内窥镜与第三方向的夹角数据,并以夹角数据作为当前死区判据值。
步骤2233,若当前死区判据值小于预设的奇异点值,则判定当前姿态信息包含于加速度检测死区范围内。
如此,能够利用数据信息序列中的方向数据,通过简单运算和变换,拟合得到所述夹角数据,也即偏转角从而提升获知内窥镜当前姿态情况的速度,减小过程中的计算量。同时,以所述夹角数据作为判据,进一步判断其与加速度检测死区所设定的奇异点值之间的数量关系,从而能够快速高效地判断内窥镜与加速度检测死区之间的关系,以便辅助进行检测图像的校正。
所述综合速度数据,表征综合内窥镜在所有方向下的加速度而形成的总加速度数据,在本实施方式中,则表征综合内窥镜在第一方向、第二方向和第三方向的加速度而形成的总加速度数据。所述反余弦变换的对象,可以是对综合速度数据和第三方向数据运算后生成的能够表征内窥镜相对重力方向偏转量的任何数据,优选地,可以是第三方向数据与综合速度数据之间的商,从而将第三方向数据归一化以便于计算。
由于对第三方向数据和综合速度数据a分别取绝对值后作商以作为反余弦变换的对象,因此判断当前姿态信息是否包含于加速度检测死区内的条件可以简化为判断其与奇异点值中的正值τ之间的大小,也即,当时,判定当前姿态信息包含于加速度检测死区范围内,处于当前姿态的内窥镜所获得的加速度信息序列,至少其中用于计算校正因子的部分置信度低。当然,在反余弦变换作用的对象并不是非负值的情况下,所述奇异点值的形式可以对应调整,以实现对当前姿态信息和加速度检测死区之间包含关系的判断。优选地,奇异点值τ可以为1度至5度,对应于图5中,可以解释为
继续如图2、图7和图8所示,在偏转角的调整过程中,存在一种情况,内窥镜的第三方向Z从沿重力方向延伸的基准线一侧,旋转至所述基准线的另一侧,从而扫描得到位于内窥镜沿重力方向而言的上方或下方的检测图像。例如,内窥镜由图7中的第一位置100A,经过第二位置100B移动至第三位置100C的过程中,会分别以第一标记点C、第二标记点D、第三标记点E、第四标记点F和第五标记点G中至少部分作为检测对象,分别得到对应的检测图像。在搭载有图3所示的内窥镜图像校正方法时,上述过程所采集得到的图像如图8(a)所示,可见,在分别包含第二标记点D、第三标记点E和第四标记点F的图像,与分别包含第三标记点E、第四标记点F和第五标记点G的图像中,标记点分布的顺序与其实际所处的位置顺序存在差异。在内窥镜由姿态信息包含于加速度检测死区中旋转至姿态信息不包含于加速度检测死区的过程中,会发生顺序跳变。
基于此,应用前文所提供的技术方案,实际上能够达到,标记点或检测对象在检测图像中由上至下的顺序,始终与标记点或检测对象相对于地球由远至近的顺序保持一致,能够辅助医疗工作者稳定观察方向与重力方向一致。但是在一些特殊要求的情况下,特别是在医疗工作者需要手动控制或按照预设轨迹控制内窥镜进行俯仰姿态和偏航或摆动姿态的情况下,医疗工作者按照日常生活的习惯,在需要获取内窥镜沿重力方向的上方或后方的检测图像,或需要对连续的标记点、检测对象进行扫描观测时,需要与人眼一致地,在此过程中保持标记点、检测对象本身的顺序不被打乱。也即需要实现采集的到如图8(b)所示的检测图像,由上至下将“第三标记点E—第四标记点F—第五标记点G”更正为“第五标记点G—第四标记点F—第三标记点E”。
因此,本发明另一种实施方式提供一种如图3和图9所示的内窥镜图像校正方法,具体可以包括下述步骤。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤22,根据加速度信息序列,计算对应当前检测图像的图像校正因子,得到当前校正因子,并判断内窥镜的当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转并依次实施下述步骤:
步骤241A,遍历在时间上位于内窥镜的当前姿态之前的前向姿态信息,判断是否对当前校正因子进行更新;
步骤242A,若前向姿态信息中存在包含于加速度检测死区范围内的死区姿态信息,则提取在时间上最靠近当前姿态信息的第一姿态信息,计算并根据对应第一姿态信息的方向偏转量,更新当前校正因子;
步骤23A,根据当前校正因子,校正当前检测图像。
若是,则跳转步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
如此,能够根据对前向姿态信息中指定姿态信息进行分析,得到对应于该姿态信息的方向偏转量,并根据该方向偏转量来更新校正因子,例如,如图7所示,使得第三位置100C处的校正因子与第二位置100B处校正因子的方向偏转量相匹配,以得到图8(b)所示的检测图像观察视角方向的配置。
详细地,以图11所示状态为例,定义内窥镜100处于所述当前姿态时的第三方向所在直线为当前参考线L0,从而,在所述当前姿态之前的多个前向姿态下,内窥镜100的第三方向所在直线对应包括第一参考线L1、第二参考线L2、第三参考线L3和第四参考线L4。
继续地,可以确定第二参考线L2和第三参考线L3所对应的前向姿态信息包含于加速度检测死区范围内,判定第二参考线L2和第三参考线L3所对应的前向姿态信息为死区姿态信息。在图11中的胶囊内窥镜按照图7描述的运动过程实现“抬头”动作时,上述多条参考线按照“第四参考线L4—第三参考线L3—第二参考线L2—第一参考线L1—当前参考线L0”的顺序产生,第一参考线L1所对应的姿态信息为相对于当前姿态信息在时间上最靠近的姿态信息,从而,判定第一参考线L1对应的姿态信息为第一姿态信息,计算该第一姿态信息的方向偏转量,更新当前校正因子。
当然,如若上述动作过程仅介于第一参考线L1和当前参考线L0之间,则属于“前向姿态信息中不存在包含于加速度检测死区DB范围内的死区姿态信息”,此时可以不对当前校正因子进行更新,直接根据当前校正因子对当前检测图像进行校正。
为了下文描述方便,定义第三参考线L3沿重力方向延伸,定义第四参考线L4相对于第三参考线L3的偏转角等于奇异点值中的负值-τ。从而,第三参考线L3与加速度检测死区DB的交点即为奇异中心点SP,加速度检测死区DB与第四参考线L4没有交点。
对于获取第一姿态信息及其偏转量的具体方法,可以是对前向姿态信息排列后进行筛选,也可以是在内窥镜100运动过程中即按照时间顺序进行标记。本发明对应提供一种较优的具体实施例,在该具体实施例中,上述步骤242A可以具体包括下述步骤:
步骤2421A,以当前姿态信息为起点向前检索,当检索到对应前向姿态信息的死区判据值小于预设的奇异点值时,判定所述前向姿态信息中存在包含于加速度检测死区范围内的死区姿态信息。
步骤2422A,若所述第一姿态信息包含于所述加速度检测死区范围内,则提取并根据内窥镜的第二姿态信息所对应的第二校正因子,以及对应第一姿态信息的第一校正因子,计算得到方向偏转量,并根据方向偏转量更新当前校正因子。
其中,第二姿态在时间上为所述第一姿态的前一姿态。如此,通过前向检索和死区判据值的判断,能够更快速地检索到对应于当前姿态信息的第一姿态信息;并且,考虑到加速度检测死区范围内的内窥镜的加速度信息序列的置信度较低,在得到对应第一姿态信息的第一校正因子之后,可以进一步获取对应第一校正因子的先校正因子,也即所述第二校正因子,结合两者共同确定所述方向偏转量,进而能够得到更为准确且满足图8(b)中观察视角方向的所述当前校正因子。
详细地,以图11所示状态为例,当以当前参考线L0所对应的当前姿态信息作为起点向前检索时,能够依次检索到第一参考线L1、第二参考线L2和第三参考线L3等,从而,依次根据不同参考线对应的加速度信息序列计算所述夹角数据或所述偏转角并以该夹角数据或偏转角作为死区判据值与奇异点值τ比较,可以最终检索到满足小于关系的参考线及对应的姿态信息,判定所述前向姿态信息中存在包含于加速度检测死区DB范围内的死区姿态信息。例如在本实施方式中,可以是检索到第一参考线L1对应的死区判据值、第二参考线L2对应的死区判据值,或第三参考线L3对应的死区判据值符合上述条件。
由此可见,第一参考线L1可能存在两种状态:第一种是,第一参考线L1与加速度检测死区DB存在交点,或是第一参考线L1对应的死区判据值小于所述奇异点值,或是第一参考线L1对应的第一姿态信息包含于加速度检测死区范围内;第二种是,第一参考线L1与加速度检测死区DB不存在交点,或是第一参考线L1对应的死区判据值大于等于所述奇异点值,或是第一参考线L1对应的第一姿态信息不包含于加速度检测死区范围内。
对于前者,本发明上述技术方案提供了,结合第二姿态信息和第一姿态信息共同确定方向偏转量的技术方案。反映在图中即为,结合第二参考线L2对应的第二校正因子,以及第一参考线L1对应的第一校正因子来计算方向偏转量,保持偏转匹配过程的稳定进行。
对于后者,作为前文技术方案的补充,或作为独立于前文所述技术方案而提出地,由于第一姿态信息的加速度信息序列具有较高的置信度,并且在时间上位于第一姿态信息之后的当前姿态信息,同样未包含于加速度检测死区,对应的加速度信息序列也具有较高的置信度,因此在内窥镜继续调整姿态的过程中,可以始终采用对应于实时姿态信息的前一姿态信息的方向偏转量来更新校正因子,从而进一步简化校正过程,并达到更好的技术效果。
基于加速度检测死区的定义,在内窥镜100处以垂直于重力方向的方向为对称轴,应当对称地设置有两个加速度检测死区,并对应包括两个奇异中心点,也即如图11所示的第一检测死区DB、第二检测死区DB’,以及第一中心点SP和第二中心点SP’。因此,上述对当前校正因子的迭代更新,在当前参考线L0包含于第二检测死区DB’,或当前姿态信息的前一姿态信息包含于加速度检测死区范围内时,上述当前校正因子的更新可以停止,换言之,对应当前校正因子的方向偏转量可以重置,保持以合适的观察视角方向的同时,防止方向偏转量的无限累加。
基于此,步骤242A可以具体包括下述步骤2423A:若所述第一姿态信息不包含于所述加速度检测死区范围内,则在所述内窥镜继续调整姿态的过程中,始终根据对应的前一姿态信息的方向偏转量,更新所述当前校正因子,直至所述前一姿态信息包含于所述加速度检测死区范围内,或所述当前姿态信息包含于所述加速度检测死区范围内。
值得强调地,上述步骤2421A和步骤2422A与步骤2423A可以包含于同一优选实施方式中,也可以作为两种技术方案分别形成所述步骤242A。对于前者,可以使内窥镜100在旋转过程中,持续且动态地调节检测图像的观察视角方向,使观察视角方向符合一般控制逻辑。
当然,不论在上述两种技术方案中,还是在两种技术方案组合形成的新的技术方案中,优选地,至少利用第一校正因子中的第一自旋角数据和第二校正因子中的第二自旋角数据进行更新,且至少对当前校正因子中的当前自旋角数据进行更新。则,定义当前自旋角数据为φ(t),第一自旋角数据为φ(t-1),第二自旋角数据为φ(t-2),对应当前自旋角数据φ(t)的方向偏转量为Δφ(t),对应第一自旋角数据φ(t-1)的方向偏转量为Δφ(t-1),对应第二自旋角数据φ(t-2)的方向偏转量为Δφ(t-2),则更新后的当前自旋角数据φ′(t)至少满足:
φ′(t)=φ(t)+Δφ(t);
对应当前自旋角数据φ(t)的方向偏转量Δφ(t)至少满足:
φ′(t-1)=φ(t-1)+Δφ(t-1);
并且,对应第一自旋角数据φ(t-1)的方向偏转量Δφ(t-1)至少满足:
由此迭代运算以求解,在一种实施方式中,上述前向的迭代运算过程,将在计算至第四参考线L4所对应的第四姿态信息时停止。
在该另一实施方式中,对应于图3中步骤22至步骤23B之间,还可以包括一些细化的步骤,以提升内窥镜校正结果的整体流畅度,防止在正常校正过程中出现“果冻效应”或明显的卡顿感。如图3和图10所示,内窥镜图像校正方法具体可以包括下述步骤。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤22,根据加速度信息序列,计算对应当前检测图像的图像校正因子,得到当前校正因子,并判断内窥镜的当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转步骤23A,根据当前校正因子,校正当前检测图像。
若是,则跳转并实施下述步骤:
步骤24B,调用预设的逻辑回归函数,根据所述当前校正因子和对应前向姿态信息的先校正因子,优化所述当前校正因子;
步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
如此,可以至少以先校正因子作为逻辑回归函数的参量,来对当前校正因子形成进一步优化,由于对先校正因子和当前校正因子进行了融合运算,能够使得校正过程在整体上连贯性更强,校正过程不会产生瞬间的突变和果冻效应,从而使得校正后的检测图像观感更优。
虽然上文将步骤24B设置于步骤23B和步骤22之间,但可以理解地,上述步骤24B及其衍生步骤可以设置于本发明提供的任何位置处以实现对应的技术效果。在一种优选的实施方式中,步骤24B还可以设置于步骤242A与步骤23A,从而补偿步骤242A中,由于当前姿态信息包含于加速度检测死区范围内而对当前校正因子做出估计所产生的误差。
一方面,优选地,所述逻辑回归函数为sigmoid函数,能够利用其独特的S型分布,使得不同姿态的校正因子之间的变化更平缓。
另一方面,步骤24B在一种较优的实施方式中,还可以进一步包括下述步骤:
步骤241B,调用逻辑回归函数,根据当前校正因子和先校正因子,计算得到优化缓冲值。
步骤242B,以优化缓冲值和先校正因子之和,作为优化后的当前校正因子。
优选地,至少根据先校正因子中的先自旋角数据,以及当前校正因子中的当前自旋角数据实现上述优化过程。则,定义先自旋角数据为φ(t-i),当前自旋角数据为φ(t),逻辑回归函数为f(),则优化后的当前自旋角数据(下文称,优化自旋角数据)至少满足:
也即,以当前校正因子中当前自旋角数据φ(t)和先校正因子中的先自旋角数据φ(t-i)之差作为逻辑回归函数的参量,计算得到优化缓冲值f(φ(t)-φ(t-i)),然后将优化缓冲值f(φ(t)-φ(t-i))与先校正因子中的先自旋角数据φ(t-i)之和作为优化后的当前校正因子中的优化自旋角数据
进一步地,前向姿态信息可以具体是前一姿态信息,从而,先自旋角数据则可以是对应于前一姿态信息的前一自旋角数据φ(t-1),能够在相邻自旋角数据层面增进当前校正因子的前后连贯性。
基于此,定义当前自旋角φ(t)和前一自旋角数据φ(t-1)之差为Δφ,则对应生成的优化缓冲值f(Δφ),可以是至少满足:
其中,a,b,c为常数。
进一步地,在正常情况下,内窥镜的检测图像应当如图12(a)所示,沿预设的观察视角方向以矩形或其他设定形状输出,在内窥镜的移动过程存在第二移动分量时,则会出现观察视角方向的偏移,内窥镜产生自旋角φ的偏差,导致呈现如图12(b)所示的情况。实施本发明上述内窥镜校正方法后,能够经由图12(c)所示的中间状态,最终校正为图12(d)所示的、正确的观察视角方向,此时会出现基于自旋角φ校正而切割形成的不均匀黑边,导致检测图像整体显示效果较差。从而,本发明又一实施方式中提供一种内窥镜图像校正方法,如图3、图12和图13所示,能够利用下述步骤解决上述技术问题,改善检测图像整体的显示效果。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤22,根据加速度信息序列,计算对应当前检测图像的图像校正因子,得到当前校正因子,并判断内窥镜的当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转并依次执行下述步骤:
步骤231A,调用预设的图像旋转函数,分别以当前图像信息和当前校正因子作为参量,计算并生成中间校正图像;
步骤232A,按照预设掩膜提取中间校正图像中至少部分,得到当前校正图像。
若是,则跳转步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
所述预设掩膜可以是如图12(e)所示的,将四周边缘选择性隐藏或屏蔽,并将中间部分保留显示的图形模板,所述中间校正图像和所述当前校正图像可以对应是如图12(d)和图12(f)所示的形态。所述“按照预设掩膜提取……”的步骤,可以是选择性提取中间校正图像中的部分像素进行重组,以此生成所述当前校正图像,也可以是将预设掩膜与中间校正图像层叠设置,从而形成所述当前校正图像。
在一种较优的实施方式中,所述步骤232A可以进一步包括下述步骤。
步骤2321A,分析所述中间校正图像的尺寸,并根据所述中间校正图像的较短边长,设定所述预设掩膜的直径。
步骤2322A,对准所述预设掩膜与所述中间校正图像的几何中心,遍历得到所述中间校正图像与所述预设掩膜的像素值差集,将所述像素值差集中的像素值设定为预设隐藏值,得到所述当前校正图像。
如此,能够将图12(d)示出的、包含不均匀黑边的中间校正图像,按照预设掩膜的修正形成如图12(f)所示的当前校正图像,当前校正图像具有均匀的黑边,能够带给医疗工作者更好的视觉观感。并且,由于所述预设掩膜的尺寸是根据中间校正图像的尺寸进行设定的,因此能够应对多种图像检测环境。
其中,所述“像素值的差集”,表征存在于中间校正图像的像素值集合中但不存在于预设掩膜的像素值集合中的像素的集合。所述预设隐藏值,可以是0,也即将差集的部分同样设置为黑色,而与其他黑边部分保持一致,最终形成如图12(f)所示当前校正图像。可以理解地,当中间校正图像12(d)中存在的影像显示效果的边缘并非显示为黑色时,可以通过调整预设隐藏值的数值以使差集部分与所述边缘的颜色保持一致,达到隐藏的效果,提升图像整体的观感。
继续地,所述较短边长的提取,能够方便的辅助内窥镜校准方法生成合适的尺寸的掩膜,防止最终生成的图像中可视范围仍具有不规则的形状。其中,可以理解地,所述直径指代所述预设掩膜中内切圆的直径,所述预设掩膜的尺寸可以与所述中间校正图像保持一致,因此所述预设掩膜中的所述内切圆,在尺寸上可以与所述中间校正图像的内切圆保持一致,在所述中间校正图像为长方形时,所述内切圆可以是以所述长方形的宽(即较短边长)为直径做出的圆。对于其他形状的适应性调整为现有技术,此处不进行赘述。
本发明再一实施方式中,提供一种内窥镜校正方法,能够在输出校正图像之前,进行主动验证,并选择是否直接输出或调整后输出。如图3和图14所示,所述方法具体包括下述步骤。
步骤21,获取当前检测图像以及与当前检测图像对应的加速度信息序列。
步骤22,根据加速度信息序列,计算对应当前检测图像的图像校正因子,得到当前校正因子,并判断内窥镜的当前姿态信息是否包含于加速度检测死区范围内。
若否,则跳转步骤23A,根据当前校正因子,校正当前检测图像。
若是,则跳转步骤23B,根据对应内窥镜当前姿态的前向姿态的先校正因子,校正当前检测图像。
步骤31,获取对应于内窥镜的前一姿态的先检测图像和先校正图像,以及对应于内窥镜的当前姿态的当前检测图像和当前校正图像。
步骤32,计算先检测图像和当前检测图像的检测区分度,以及先校正图像和当前校正图像的校正区分度,并判断校正区分度是否小于等于检测区分度。
若是,则跳转步骤33A,输出当前校正图像。
若否,则跳转步骤33B,重新确定当前校正因子,得到并输出重新确定的当前校正图像。
如此,可以计算校正前后相邻图像之间的相似度或区分度,考虑到相邻时刻移动幅度较小,较优情况下的画面内容差异对应较小,从而,可以以此作为判断当前校正效果优劣的依据,并选择性地重新确定、更新或优化校正因子以达到更优的效果。
具体地,定义Ii为当前检测图像中至少部分区域的像素值,优选地,至少经过掩膜处理后的圆形部分的像素值;定义Ii-1为先检测图像中至少部分区域的像素值,优选地,至少经过掩膜处理后的圆形部分的像素值。基于此,所述检测区分度mse(Ii,Ii-1)至少满足:
其中,M为用于计算所述检测区分度mse(Ii,Ii-1)的像素数量,在本实施方式中,默认位于所述当前检测图像中至少部分区域的像素数量,与位于所述先检测图像中至少部分区域得像素数量相等,且均为M。(x,y)为对应图像中的对应位置坐标。此外,本实施方式中虽然采用的是均方误差函数(Mean Square Error)mse()来计算两者之间的区分度,但本领域技术人员可以理解的,在其他实施方式中,同样可以采用其他诸如结构相似性函数(Structrual Similarity Index Metric,SSIM)的方式完成类似于区分度指标的计算过程,当然,为了适应上述观察视角方向的校正过程,优选地避免采用具有旋转不变形得相似度计算方法。
定义根据当前检测图像的像素值Ii,执行步骤21至步骤23A或步骤23B对应得到的当前校正图像的像素值为I′i,定义根据先监测图像的像素值Ii-1,执行步骤21至步骤23A或步骤23B对应得到的先校正图像的像素值为I′i-1,则所述校正区分度mse(I′i,I′i-1)至少满足
基于此,如果mse(I′i,I′i-1)≤mse(Ii,Ii-1),则输出当前校正图像(也即,输出当前校正图像的像素值I′i),如果mse(I′i,I′i-1)>mse(Ii,Ii-1),则,重新确定当前校正因子,得到并输出重新确定的校正因子所对应的当前校正图像。
所述重新确定当前校正因子的步骤,可以是采用上述任一种对校正因子进行更新、优化的步骤,也可以是将当前校正因子和对应所述先校正图像的先校正因子进行加权融合,从而得到重新确定的、合适的当前校正因子,增加图像的视觉连贯性。例如,在一种实施方式中,对当前校正因子的重新确定可以至少根据当前校正因子中的当前自旋角,以及先校正因子中的先自旋角进行校正。
其中,η为权重值,取值范围0~1,优选地,可以是0.5。同时,上述检验步骤可以在每次输出校正图像之前都进行,也可以为进行上述步骤设置特殊的判断逻辑作为先决条件。例如在一种实施方式中,步骤31之前还可以包括步骤:获取并计算先检测图像和当前检测图像的检测区分度,判断所述检测区分度是否小于等于预设的区分度阈值;若是,则跳转步骤31;若否,则计算并输出当前校正图像。
值得注意地,本发明提供的对内窥镜的检测图像校正的方法,主要集中于在输出显示层面的校正,在本方法搭载于利用控制装置或其他磁控设备实线对内窥镜的动作控制的场景下,动作控制的实现仍然基于观察视角校正之前的内窥镜检测图像数据,此点应当为本领域技术人员所知。
综上,本发明提供的内窥镜图像校正方法,通过单纯分析内窥镜的加速度信息,解算得到图像校正因子,并复用加速度信息进一步判断内窥镜的当前姿态是否属于图像校正因子偏差较大的加速度检测死区,从而对应采用不同的策略进行图像校正,如此,在硬件上只要求内窥镜能够获取加速度信息即可,能够适应内窥镜内传感器低功耗、低成本、小体积的配置要求,并且能够应对加速度检测过程中出现的死区问题,摆脱需要陀螺仪等其他传感器进行辅助的限制,能够在保持成本收益率最大化的基础上,提升校正精度和效果,使得检测图像始终按照统一的方向输出。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (17)
1.一种内窥镜图像校正方法,用于对内窥镜的检测图像的方向进行校正;所述内窥镜图像校正方法包括:
获取当前检测图像以及与所述当前检测图像对应的加速度信息序列;
根据所述加速度信息序列,计算对应所述当前检测图像的图像校正因子,得到当前校正因子,并判断所述内窥镜的当前姿态信息是否包含于加速度检测死区范围内;
若否,则根据所述当前校正因子,校正所述当前检测图像;
若是,则根据对应所述内窥镜当前姿态的前向姿态的先校正因子,校正所述当前检测图像。
2.根据权利要求1所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
根据所述加速度信息序列生成数据信息序列;其中,所述数据信息序列包括第一方向数据,第二方向数据和第三方向数据;
根据所述第一方向数据和所述第二方向数据,计算得到所述当前校正因子;
根据所述第三方向数据,判断所述当前姿态信息是否包含于所述加速度检测死区范围内。
3.根据权利要求2所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
根据预设的滤波窗口,对所述加速度信息序列中的第一加速度序列、第二加速度序列和第三加速度序列分别执行均值滤波,分别对应得到所述第一方向数据、所述第二方向数据和所述第三方向数据,生成所述数据信息序列。
4.根据权利要求2所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
根据所述第一方向数据和所述第二方向数据,拟合加速度坐标点;
对所述加速度坐标点执行四象限反正切变换,得到当前自旋角数据;
根据所述当前自旋角数据,计算所述当前校正因子。
5.根据权利要求4所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
计算所述当前自旋角数据的相反数与预设的角度偏置数据之和,得到所述当前校正因子;其中,所述角度偏置数据用于定义观察视角的方向。
6.根据权利要求2所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
根据所述第一方向数据、所述第二方向数据和所述第三方向数据,计算综合速度数据;
根据所述综合速度数据和所述第三方向数据,执行反余弦变换,得到当前姿态下内窥镜与第三方向的夹角数据,并以所述夹角数据作为当前死区判据值;
若所述当前死区判据值小于预设的奇异点值,则判定当前姿态信息包含于所述加速度检测死区范围内。
7.根据权利要求1所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
遍历在时间上位于所述内窥镜的当前姿态之前的前向姿态信息,判断是否对所述当前校正因子进行更新;
若所述前向姿态信息中存在包含于所述加速度检测死区范围内的死区姿态信息,则提取在时间上最靠近所述当前姿态信息的第一姿态信息,计算并根据对应所述第一姿态信息的方向偏转量,更新所述当前校正因子。
8.根据权利要求7所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
以所述当前姿态信息为起点向前检索,当检索到对应所述前向姿态信息的死区判据值小于预设的奇异点值时,判定所述前向姿态信息中存在包含于所述加速度检测死区范围内的死区姿态信息;
若所述第一姿态信息包含于所述加速度检测死区范围内,则提取并根据所述内窥镜的第二姿态信息所对应的第二校正因子,以及对应所述第一姿态信息的第一校正因子,计算得到所述方向偏转量,并根据所述方向偏转量更新所述当前校正因子;其中,第二姿态在时间上为所述第一姿态的前一姿态。
9.根据权利要求7所述的内窥镜图像校正方法,其特征在于,所述方法还包括:
若所述第一姿态信息不包含于所述加速度检测死区范围内,则在所述内窥镜继续调整姿态的过程中,始终根据对应的前一姿态信息的方向偏转量,更新所述当前校正因子,直至所述前一姿态信息包含于所述加速度检测死区范围内,或所述当前姿态信息包含于所述加速度检测死区范围内。
10.根据权利要求1所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
调用预设的逻辑回归函数,根据所述当前校正因子和对应前向姿态信息的先校正因子,优化所述当前校正因子。
11.根据权利要求10所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
调用所述逻辑回归函数,根据所述当前校正因子和所述先校正因子,计算得到优化缓冲值;
以所述优化缓冲值和所述先校正因子之和,作为优化后的当前校正因子。
12.根据权利要求10所述的内窥镜图像校正方法,其特征在于,所述逻辑回归函数为sigmoid函数。
13.根据权利要求1所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
调用预设的图像旋转函数,分别以当前图像信息和所述当前校正因子作为参量,计算并生成中间校正图像;
按照预设掩膜提取所述中间校正图像中至少部分,得到当前校正图像。
14.根据权利要求13所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
分析所述中间校正图像的尺寸,并根据所述中间校正图像的较短边长,设定所述预设掩膜的直径;
对准所述预设掩膜与所述中间校正图像的几何中心,遍历得到所述中间校正图像与所述预设掩膜的像素值差集,将所述像素值差集中的像素值设定为预设隐藏值,得到所述当前校正图像。
15.根据权利要求1所述的内窥镜图像校正方法,其特征在于,所述方法具体包括:
获取对应于所述内窥镜的前一姿态的先检测图像和先校正图像,以及对应于所述内窥镜的当前姿态的当前检测图像和当前校正图像;
计算所述先检测图像和当前检测图像的检测区分度,以及所述先校正图像和当前校正图像的校正区分度,并判断所述校正区分度是否小于等于所述检测区分度;
若小于等于,则输出所述当前校正图像;
若大于,则重新确定所述当前校正因子,得到并输出重新确定的当前校正图像。
16.一种内窥镜图像校正系统,其特征在于,包括内窥镜,以及至少用于对所述内窥镜的检测图像的方向进行校正的控制装置,所述控制装置配置为执行权利要求1-15任一项所述的内窥镜图像校正方法。
17.一种计算机存储介质,其上存储有应用程序,其特征在于,所述应用程序被执行时,实现如权利要求1-15任一项所述的内窥镜图像校正方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210749787.6A CN115115545A (zh) | 2022-06-28 | 2022-06-28 | 内窥镜图像校正方法、系统及计算机存储介质 |
PCT/CN2023/102433 WO2024002012A1 (zh) | 2022-06-28 | 2023-06-26 | 内窥镜图像校正方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210749787.6A CN115115545A (zh) | 2022-06-28 | 2022-06-28 | 内窥镜图像校正方法、系统及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115115545A true CN115115545A (zh) | 2022-09-27 |
Family
ID=83330382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210749787.6A Pending CN115115545A (zh) | 2022-06-28 | 2022-06-28 | 内窥镜图像校正方法、系统及计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115115545A (zh) |
WO (1) | WO2024002012A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024002012A1 (zh) * | 2022-06-28 | 2024-01-04 | 安翰科技(武汉)股份有限公司 | 内窥镜图像校正方法、系统及计算机存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11266295B2 (en) * | 2016-08-08 | 2022-03-08 | Sony Corporation | Endoscope apparatus and control method of endoscope apparatus |
KR20210005682A (ko) * | 2018-04-26 | 2021-01-14 | 데카 프로덕츠 리미티드 파트너쉽 | 회전 가능한 카메라를 갖는 내시경 및 관련 방법 |
CN114066781B (zh) * | 2022-01-18 | 2022-05-10 | 浙江鸿禾医疗科技有限责任公司 | 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备 |
CN115115545A (zh) * | 2022-06-28 | 2022-09-27 | 安翰科技(武汉)股份有限公司 | 内窥镜图像校正方法、系统及计算机存储介质 |
-
2022
- 2022-06-28 CN CN202210749787.6A patent/CN115115545A/zh active Pending
-
2023
- 2023-06-26 WO PCT/CN2023/102433 patent/WO2024002012A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024002012A1 (zh) * | 2022-06-28 | 2024-01-04 | 安翰科技(武汉)股份有限公司 | 内窥镜图像校正方法、系统及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024002012A1 (zh) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062776B (zh) | 相机姿态跟踪方法和装置 | |
US10410089B2 (en) | Training assistance using synthetic images | |
CN110175558B (zh) | 一种人脸关键点的检测方法、装置、计算设备及存储介质 | |
US9635251B2 (en) | Visual tracking using panoramas on mobile devices | |
CN103703489B (zh) | 对象数字化 | |
JP5090474B2 (ja) | 電子カメラおよび画像処理方法 | |
JP5219795B2 (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP4799104B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
US20050201594A1 (en) | Movement evaluation apparatus and method | |
US9049397B2 (en) | Image processing device and image processing method | |
WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
US20140168367A1 (en) | Calibrating visual sensors using homography operators | |
JP2007087346A (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
CN109885169B (zh) | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 | |
CN111814556A (zh) | 一种基于计算机视觉的教学辅助方法和系统 | |
JP2007129480A (ja) | 撮像装置 | |
CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
US11321960B2 (en) | Deep learning-based three-dimensional facial reconstruction system | |
CN115115545A (zh) | 内窥镜图像校正方法、系统及计算机存储介质 | |
JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CN109978908A (zh) | 一种适应大尺度形变的单目标快速跟踪定位方法 | |
CN117152206A (zh) | 一种无人机多目标长期追踪方法 | |
WO2021033242A1 (ja) | 画像認識装置、画像認識方法、及び、画像認識プログラム | |
CN114500839B (zh) | 一种基于注意力跟踪机制的视觉云台控制方法及系统 | |
US11985424B2 (en) | Signal processing device and signal processing method for correcting input signal from sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |