CN114983317A - 用于胃肠道中的胶囊相机的行进距离测量的方法及装置 - Google Patents

用于胃肠道中的胶囊相机的行进距离测量的方法及装置 Download PDF

Info

Publication number
CN114983317A
CN114983317A CN202210637502.XA CN202210637502A CN114983317A CN 114983317 A CN114983317 A CN 114983317A CN 202210637502 A CN202210637502 A CN 202210637502A CN 114983317 A CN114983317 A CN 114983317A
Authority
CN
China
Prior art keywords
image
motion vector
camera
images
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210637502.XA
Other languages
English (en)
Inventor
王康怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN114983317A publication Critical patent/CN114983317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/07—Endoradiosondes
    • A61B5/073—Intestinal transmitters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及用于胃肠道中的胶囊相机的行进距离测量的方法及装置。具体地，本发明揭示用于确定胶囊相机的行进距离的方法及系统。确定图像序列中的当前图像的当前全局运动向量，其中，该当前全局运动向量对应至在该当前图像与关联该图像序列的参考图像之间该胶囊相机所作的运动。依据该当前全局运动向量及针对在初始图像与该当前图像之间的先前图像导出的先前全局运动向量，确定在该胃肠道中的该胶囊相机的行进距离，其中，从关联该初始图像的初始位置至关联该当前图像的当前位置测量该行进距离。本发明还揭示用于显示由胶囊相机撷取的图像序列的方法及系统。在显示器上显示与该图像序列关联的该行进距离。

Description

用于胃肠道中的胶囊相机的行进距离测量的方法及装置
本申请是申请号为2019101194736，申请日为2019年2月18日，发明名称为“用于胃肠道中的胶囊相机的行进距离测量的方法及装置”的中国专利申请的分案申请。
相关申请的交叉参考
本发明与2018年4月3日公告的序列号为9,936,151的美国专利以及2018年3月23日提交的序列号为15/933,375的美国专利申请相关。该美国专利及美国专利申请整体通过参考包括于此。
技术领域
本发明涉及当胶囊相机经过胃肠道时，基于该胶囊相机所撷取的图像估计胃肠道中的胶囊相机的行进距离。
背景技术
用于在体内成像体腔或通道的装置是现有技术已知的，并包括内窥镜及自主胶囊化相机。内窥镜是通过身体孔洞或外科手术开口进入体内的挠性或刚性管，通常经由口腔进入食道或者经由直肠进入结肠。通过使用透镜在远端形成图像并通过透镜中继系统或通过相干光纤束将该图像传输至体外的近端。概念上类似的仪器可能例如通过使用CCD或CMOS阵列在远端电子记录图像，并通过线缆将该图像数据作为电性信号传送至近端。内窥镜允许医生控制视场并且是被广泛接受的诊断工具。不过，它们的确具有若干限制，为患者带来风险，对于患者来说是侵入性的且不舒服的，且它们的成本限制它们作为常规健康筛查工具的应用。
由于难以穿过盘旋通道，内窥镜无法轻易地到达大部分小肠，且需要增加成本的特定技术及预防措施来到达整个结肠。内窥镜风险包括所穿过的身体器官可能穿孔以及由麻醉引起的并发症。而且，必须在该程序期间的患者疼痛与健康风险以及与麻醉相关的程序后停歇时间之间进行折衷。
解决这些问题的其中许多问题的一种替代体内图像传感器是胶囊内窥镜。相机与无线电发送器一起被容置于可吞咽胶囊中，该无线电发送器用于向体外的基站接收器或收发器以及数据记录器传输主要包括该数字相机所记录的图像的数据。该胶囊还可包括用于自基站发送器接收指令或其它数据的无线电接收器。代替射频传输，可使用较低频率电磁信号。功率可自外部电感器向该胶囊内的内部电感器电感供应或者由该胶囊内的电池供应。
2011年7月19日获准的名称为“In Vivo Autonomous Camera with On-BoardData Storage or Digital Wireless Transmission in Regulatory Approved Band”的美国专利号7,983,458中揭示具有板上数据储存的自主胶囊相机系统。此专利说明通过使用板上储存例如半导体非易失性档案存储器来储存所撷取的图像的胶囊系统。在该胶囊自体内经过后，它被取回。胶囊壳体被打开，且所储存的图像被传送至电脑工作站以供储存及分析。对于通过无线传输接收或自板上储存检索的胶囊图像，该些图像将必须由诊断医生显示并检查，以识别潜在异常。
图1显示具有板上储存的示例胶囊系统。胶囊系统110包括照明系统12以及包括光学系统14及图像传感器16的相机。可设置半导体非易失性档案存储器20以使图像能够被储存并后续在胶囊被取回以后在体外的坞站被检索。系统110包括电池功率供应24以及输出端口26。胶囊系统110可透过蠕动而被推动穿过胃肠道。
照明系统12可通过LED实施。在图1中，该LED邻近相机的光圈设置，不过其它配置是可能的。例如，光源也可设于光圈后面。也可使用其它光源，例如激光二极管。或者，也可使用白光源或两个或更多窄波长波带源的组合。白LED是可获得的，其可包括蓝LED或紫LED，以及经LED光激发以发出较长波长的光的磷光材料。允许光通过的胶囊壳体10的部分可由生物兼容玻璃或聚合物制成。
光学系统14(可包括多个折射、衍射或反射透镜元件)在图像传感器16上提供管腔壁的图像。图像传感器16可通过将所接收的光强度转换为相应电性信号的电荷耦合装置(charged-coupled device；CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor；CMOS)型装置来设置。图像传感器16可具有单色响应，或包括彩色滤光片阵列，从而可撷取彩色图像(例如，通过使用RGB或CYM表示)。较佳地，来自图像传感器16的模拟信号被转换为数字形式，以允许以数字形式处理。此类转换可通过模拟-数字(analog-to-digital；A/D)转换器实施，该模拟-数字转换器可设于该传感器内部(如当前情况那样)，或者设于胶囊壳体10内的另一部分中。该A/D单元可设于图像传感器16与该系统的其余部分之间。照明系统12中的LED与图像传感器16的操作同步。处理模块22可用于提供该系统所需的处理，例如图像处理以及视频压缩。该处理模块还可提供所需的系统控制，例如在图像撷取操作期间控制该些LED。该处理模块还可负责其它功能，例如管理图像撷取以及协调图像检索。
在该胶囊相机经过胃肠道并从身体退出以后，取回该胶囊相机并通过输出端口读出储存于该档案存储器中的图像。通常将所接收的图像传送至基站进行处理并供诊断医生检查。诊断的准确性以及效率是最重要的。期望诊断医生检查所有图像并正确识别所有异常。而且，想要收集该异常的位置信息，这对于该异常的可能操作或处理是有用的。尽管可向该胶囊装置嵌入或附着各种位置检测装置，但想要开发基于所撷取的图像确定行进距离的方法。
发明内容
本发明揭示用于确定胶囊相机的行进距离的方法及系统。依据此方法，接收图像序列，其中，当该胶囊相机运动经过胃肠(GI)道时，该胶囊相机撷取该图像序列。接收关联该胶囊相机与该图像序列中的当前图像中的多个点之间的对象距离的距离信息。依据该胶囊相机与该当前图像中的该多个点之间的该对象距离标准化该当前图像，以生成标准化当前图像。确定该图像序列中的该标准化当前图像的当前全局运动向量，其中，该当前全局运动向量对应至在该标准化当前图像与关联该图像序列的标准化参考图像之间该胶囊相机所作的运动。依据该当前全局运动向量及针对在标准化初始图像与该标准化当前图像之间的先前图像导出的先前全局运动向量，确定在该胃肠道中的该胶囊相机的行进距离，其中，从关联该标准化初始图像的初始位置至关联该标准化当前图像的当前位置测量该行进距离。
基于该当前全局运动向量与该先前全局运动向量通过累计沿该胃肠道的纵向方向的胶囊运动可估计该行进距离。而且，沿该胃肠道的该纵向方向的与目标全局运动向量关联的胶囊运动可通过将该目标全局运动向量投影至该纵向方向来确定。该图像序列的图像包括全景图像，其中，各全景图像与该胶囊相机周围的一段胃肠道壁的覆盖360度的视场中的场景对应。
在一个实施例中，针对目标图像，通过将该目标图像划分为区块以导出针对该区块的单独运动向量来导出全局运动向量，并自该单独运动向量导出该全局运动向量。在另一个实施例中，针对目标图像，通过在该目标图像与目标参考图像之间应用仿射运动模型来导出该全局运动向量。
该方法还可包括提供将该行进距离与该图像序列的图像关联的信息。例如，将该行进距离与该图像序列的该图像关联的该信息包括当前行进距离以及相应图像的识别。
可沿正向或逆向测量该行进距离。当沿正向测量时，该当前图像在时间上在该初始图像之后。当沿逆向测量时，该当前图像在时间上在该初始图像之前。
本发明还揭示用于显示由胶囊相机撷取的图像序列的方法及系统。依据此方法，接收图像序列，其中，当该胶囊相机运动经过胃肠(GI)道时，该胶囊相机撷取该图像序列。在显示器上呈现与该图像序列关联的行进距离，其中，各行进距离与从关联该图像序列中的初始图像的初始位置至关联该图像序列中的当前图像的当前位置所测量的估计距离对应。依据一个或多个图形表示上的位置，在该显示器上显示代表行进距离的该一个或多个图形表示。
上述方法还可包括在该一个或多个图形表示的至少其中一个上显示标示器，以标示与该标示器所指的目标位置关联的相应图像。此外，该方法可包括在该显示器上显示与该标示器所指的该目标位置关联的该相应图像。上述方法还可包括在该显示器上显示与该标示器所指的该目标位置关联的该相应图像。
在上述方法中，可从关联该图像序列中的的该初始图像该当前图像的全局运动向量累计该当前行进距离。该全局运动向量是自该图像序列的标准化图像导出，且各标准化图像是通过依据该胶囊相机与对应图像中的多个点之间的距离标准化该对应图像来生成。
附图说明
图1示出具有板上储存的示例胶囊系统，其中，该胶囊系统包括照明系统以及包括光学系统及图像传感器的相机。
图2示出相机几何的简化例子，其中，图像传感器被置于透镜后面的焦平面处。
图3示出基于全局运动向量及相机光学参数的行进距离估计的简化例子。
图4示出四透镜子系统的简化剖视图，其中，光轴在目标空间中相隔90°。
图5A及图5B示出在胃肠道环境中的相机-对象距离的两个例子，其中，与图5B中的例子相比，在图5A中相机距离胃肠壁上的对象(息肉)更远。
图6A示出针对胶囊相机位于胃肠道壁的中心的情形的胃肠道的剖面，其中，该胃肠道壁被模拟为完美的圆管。
图6B示出胶囊更靠近胃肠壁的底侧的另一种情形。
图7A示出在图6A的情形下由全景相机撷取的图像中的均匀运动向量场。
图7B示出在图6B的情形下由全景相机撷取的图像中的变化运动向量场。
图8示出依据相应相机与胃肠道壁之间的距离的标准化运动向量的例子。
图9示出因不光滑的胃肠道壁以及胶囊相机的非中心位置导致胶囊相机与胃肠道壁之间的变化距离的情形。
图10示出针对图9中的情形的运动向量场的例子。
图11示出通过考虑局部图像标准化来处理变化的对象-相机距离而导致针对图10中的运动向量的标准化运动向量的例子。
图12示出具有由虚线标示的在胃肠道的中心的纵向方向的一段胃肠道的例子。
图13A至图13E示出在显示器上显示行进距离信息的各种实施例。
图14示出显示行进距离信息以及图像信息的一个例子，其中，在显示器上的区域中显示行进距离以及由标记标示的图像的时间代码的图形表示。
图15示出显示行进距离信息以及与图14类似的图像信息的另一个例子，不过，在显示器上的区域中还显示由该标记标示的图像而不是时间代码。
图16示出显示行进距离信息以及图像信息的又一个例子，其中，在行进距离的图形表示上还标记胃肠道的解剖部分。
图17示出基于笔记本电脑实施的例子，其中，该笔记本电脑中的CPU将执行所需处理并可在显示器(也就是，笔记本电脑屏幕)上显示行进距离信息以及/或者相应图像信息。
图18示出依据本发明的实施例用于确定胶囊相机的行进距离的示例流程图。
图19示出依据本发明的实施例用于显示由胶囊相机撷取的图像序列的示例流程图。
具体实施方式
将很容易理解，这里的附图中概括说明并显示的本发明的组件可以各种不同的配置来安排和设计。因此，下面对附图中所示的本发明的系统及方法的实施例的更详细说明并非意图限制所请求保护的本发明的范围，而仅是本发明的所选实施例的代表。本说明书中提到的“一个实施例”、“实施例”或类似语言是指与该实施例关联说明的特定特征、结构或特性可被包括于本发明的至少一个实施例中。因此，在本说明书中的不同地方出现“在一个实施例中”或“在实施例中”等说法并不一定都指同一个实施例。
而且，在一个或多个实施例中可以任意合适的方式组合所述的特征、结构或特性。不过，相关领域的技术人员将意识到，本发明可在不具有一个或多个具体细节的情况下或者通过其它方法、组件等实施。在其它例子中，未显示或详细说明已知结构或操作，以避免模糊本发明的态样。通过参照附图将更好地理解本发明的示例实施例，附图中类似的附图标记表示类似的部件。下面的说明仅为示例，简单说明与这里所请求保护的发明一致的装置及方法的某些选定实施例。
通常通过自然开口例如口腔或肛门将内窥镜插入人体中。因此，内窥镜较佳为小尺寸，以最小化侵入性。如前所述，内窥镜可用于人体胃肠(GI)道的诊断。可观看所撷取的图像序列来识别任意可能的异常。如发现异常，则识别该异常的特性以及它的位置是有意义的。相应地，本发明揭示一种内窥镜，其包含基于所撷取的胃肠道的图像估计胃肠道内的相机的行进距离的方式。
过去，使用特定种类的定位组件例如加速器、回转器等以于包含这些组件的可摄取装置经过胃肠道时跟踪胃肠道中的可摄取装置。不过，在吞咽可摄取装置以后，受试者通常不会保持静止。当受试者运动时，这些组件无法可靠地区分躯干或胃肠道中的装置的运动。组件所记录的是两种运动的组合。为了开发可靠的行进距离估计，本发明揭示一种基于图像的方法。尤其，本发明揭示基于自胶囊相机经过胃肠道时所撷取的图像序列导出的全局运动向量的行进距离估计。通过使用全局运动估计方法，纵向方向的跟踪是相对胃肠道的装置运动的跟踪。因此，它更可靠地记录胃肠道纵向曲线。尽管体内的肠不被完全地固定于躯干内，但其不确定性远小于整个躯干运动。
运动估计是一种被广泛用于视频压缩以估计图像之间的运动从而补偿运动并减少图像之间的差别的技术。通过该减少的差别，编码视频序列所需的比特率大大降低。通常通过运动场或运动向量来描述场景中的运动。运动可对应与场景内的运动对象关联的局部运动或者与大面积或整个帧关联的全局运动。全局运动常常由相机移动拍摄或相机运动引起。例如，在由面向与运动方向垂直的方向的运动车辆上的相机撷取的视频序列中，图像中的运动向量将显着一致，且主运动向量对应全局运动向量。若已知相机光学参数，则全局运动向量(也就是，在两个图像之间的运动)可通过相机的运动模拟。
图2显示相机几何的简化例子。在相机系统中，图像传感器被置于透镜210后面的焦平面220处。相机可撷取在延伸角度α的视场内的场景。焦长f是该透镜与该图像传感器之间的距离。焦长针对于内窥镜应用常常是固定的且通过设计已知。若已知相机与对象之间的距离D，则通过测量图像中的对象图像的尺寸可自撷取图像确定对象的尺寸。例如，若具有高度H的对象230与相机距离D，则依据下式可自图像中的对象图像高度h导出对象图像高度H。
Figure BDA0003681113640000081
在上面的式子中，h自图像测量得到，焦长f通过设计已知，以及距离D通过选定的距离测量方式例如结构光技术确定。相应地，若可确定距离，则可导出对象尺寸。可以物理尺寸测量图像中的对象尺寸。不过，数字式撷取图像并以像素数进行尺寸测量可能更方便。因为图像传感器表面的物理尺寸及光学足印(optical footprint)是已知的。此外，像素数是已知的(例如，320x240)。因此，可以像素数测量图像中的对象图像尺寸并将其转换为图像中的物理对象图像尺寸。
如上所示，图像中的对象图像尺寸依赖于实际对象尺寸以及它与相机的距离。距离较近的较小对象与距离较远的图像中的较大对象可能看起来具有相同的尺寸。
图3显示基于全局运动向量及相机光学参数的行进距离估计的简化例子。在此例中，对象310是静止的，而相机在运动。在时间t1，相机处于位置320，且对象310在相机前面。对象310被投影至撷取帧f1的中心位置330。在时间t2，相机运动至位置340。对象310被投影至撷取帧f2的图像位置330。在撷取帧f2中，标示与撷取帧f1中的对象位置(330)对应的对象位置(330’)。可通过使用运动估计技术自撷取帧f1及撷取帧f2导出在对象位置330与对象位置330’之间的运动向量。尤其，可基于该些图像导出对应全局运动向量(MVg)的运动向量，其中，以像素数测量该运动向量。
由于图像传感器尺寸及分辨率也是已知的，因此可依据l＝|MV|×pl确定该运动向量的实际长度(l)，其中，|MV|对应该运动向量的幅度且pl对应像素之间的距离。可依据下式测量实际行进距离L：
Figure BDA0003681113640000091
可将运动估计的概念应用于胶囊相机在经过人体受试者的胃肠道时所撷取的图像。不过，自胶囊相机所撷取的胃肠道的图像导出的运动向量与如上所述的图3中所示的理想运动向量相差甚远。该胶囊相机可能对应位于长条形胶囊装置的一端的前视相机。代表该相机运动的全局运动向量可能不容易导出。该胶囊相机还可能对应全景相机，例如2011年5月10日公告的美国专利号7,940,973中所述的胶囊相机系统。图4显示四透镜子系统401至404的简化剖视图，其中，光轴在目标空间中相隔90°。透镜子系统401覆盖视场411，透镜子系统402覆盖视场412，透镜子系统403覆盖视场413，以及透镜子系统404覆盖视场414。通过该多个相机撷取的子图像可被结合在一起以形成360°广角图像。
当胶囊相机经过胃肠道时，该胶囊相机可能不位于胃肠道的中心。因此，从相机至胃肠壁的距离可能不相同。图5A及5B显示在胃肠道环境中的相机-对象距离的两个例子。在图5A中，与图5B中的例子相比，相机511距离胃肠壁512上的对象513(息肉)较远。因此，对应图5A的情况的图像中的对象将看起来小于对应图5B的情况的图像中的对象。
图6A显示胶囊相机611位于胃肠道壁612的中心的情形的剖面。在图6A中，胃肠道壁被模拟为完美的圆管。各全景相机覆盖对应θ的视场(Field of View；FOV)。如图6A中所示，相邻相机的FOV稍微重叠。重叠图像区域将经处理以形成无缝图像。由于胶囊位于胃肠道的中心，因此具有相同尺寸的位于胃肠壁上的对象在相应相机前面应当看起来具有相同尺寸。图6B显示胶囊更靠近胃肠壁的底侧的另一种情形。在此情况下，对于具有相同尺寸的位于胃肠壁上的对象，与图片2(也就是，由仰视相机撷取的图像)中的对象相比，在图像4(也就是，由俯视相机撷取的图像)中的对象将看起来更大。另一方面，图像1及3中的对象将看起来小于图像4中的对象，但大于图像2中的对象。
在图6A的情况下，若胶囊装置沿胃肠道的纵向方向行进，则由全景相机撷取的图像710将显示如图7A中所示的均匀运动向量场。在图7A中，全景图像710由具有由虚线标示的无缝子图像边界的经编号的4个子图像组成。由于在此例中的全景相机覆盖360°视野，因此全景图像710的右边(A’)被包裹于左边(A)。在图6B的情况下，若胶囊装置沿胃肠道的纵向方向行进，则由全景相机撷取的图像720将显示如图7B中所示的取决于图像的水平位置的变化运动向量场。对于子图像4，相机非常靠近胃肠道壁，与在相对侧上的相机所撷取的图像(也就是，关联子图像2)相比，对象将看起来更大。相应地，与子图像2中的运动向量相比，在子图像4中的运动向量将更大。依据传统的运动估计技术，将不识别全局运动。
在图7B中所示的情形中，变化运动向量由相应相机与胃肠道壁之间的不同距离引起。相机的光学参数通过设计已知。因此，若相应相机与胃肠道壁之间的距离也是已知的，则可使用各运动向量来依据式(2)估计相机的行进距离，如图3中所示。胶囊装置的行进距离可被导出为基于单独运动向量所估计的单独行进距离的平均值。在另一个例子中，可基于相应相机与胃肠道壁之间的距离标准化运动向量。例如，可相对名义距离例如各相机与胃肠道壁之间的平均距离(也就是，图6A中各相机与胃肠道壁之间的距离)标准化运动向量。在图7B中，尽管运动向量的幅度沿水平方向变化，但这些运动向量应当被映射至胶囊相机的相同行进距离。换句话说，对于在相应相机与胃肠道壁之间分别具有距离D1及D2的两个不同图像块的两个运动向量MV1及MV2，下面的式子成立：
Figure BDA0003681113640000101
因此，该两个运动向量依据D1·|MV1|＝D2·|MV2|相关。若相对名义距离
Figure BDA0003681113640000104
标准化所有运动向量，则相对
Figure BDA0003681113640000106
的标准化运动向量MV1’及MV2’(也就是，具有距离
Figure BDA0003681113640000105
的相应运动向量)被导出为：
Figure BDA0003681113640000102
以及
Figure BDA0003681113640000103
图8显示依据相应相机与胃肠道壁之间的距离的标准化运动向量的例子。由于图像中的噪声，自全景图像810导出的运动向量可能不精确。相应地，标准化运动向量也可能不精确。不过，平均标准化运动向量(820)将提供较可靠的真实全局运动的估计。在图8中，相对相机与胃肠道壁之间的平均距离标准化标准化运动向量。尽管可使用标准化运动向量的平均值来估计全局运动向量，但也可使用其它技术来估计全局运动向量。例如，可使用中值或主导运动向量来估计全局运动向量。
在上面的讨论中，使用简化的胃肠道壁模型(也就是，圆柱形管)来说明变化运动向量可由胃肠道壁与胶囊相机之间的不同距离导致。在现实环境下，情况可能更复杂。例如，胃肠道与简化的圆柱形管模型相差甚远且胶囊相机与胃肠道之间的距离将因位置不同而不同。而且，胶囊相机的纵轴可能不与胶囊相机所处的一段胃肠道的纵向方向对齐。此外，胶囊相机可能经历三维运动，例如倾斜及旋转，这使运动估计过程更加复杂。
可自运动向量导出纵向方向。例如，可平滑运动向量且平滑后的运动向量代表躯干内部的胃肠道的踪迹的形状。关于胶囊相机所行进的纵向距离的信息可向医生提供良好的位置信息，以对图像中所发现的病变进行手术。
图9显示因不平滑的胃肠道壁912以及胶囊相机910的非中心位置导致胶囊相机与胃肠道壁之间的变化距离的情形。距离线921、922、923、931、932及933显示因不平滑的胃肠道壁912以及胶囊相机910的非中心位置及倾斜导致的变化距离。尽管胃肠道壁是不平滑的，但胃肠道壁的各剖面可被模拟为如图9中所示的圆圈920。胃肠道的不平滑表面将使胶囊相机所撷取的图像局部失真。例如，具有距离线922的点将比具有距离线921或923的点在图像中看起来大，因为具有距离线922的点比其它两个点更靠近相机。
胃肠道壁的不平滑表面将引起运动估计过程的不精确。在视频压缩领域中已知各种运动估计方法。其中，块匹配是一种非常流行的搜索算法，其中，块匹配过程针对当前图片中的给定块在参考图片(也就是，先前处理的图片)中搜索最佳匹配块。使用运动向量来具体说明该两个对应块之间的运动。运动可对应简单的平移运动，该平移运动代表通过将块水平地及/或垂直地偏移一定偏移量的块运动。运动可对应包括二维块旋转以及二维变形的更复杂的运动。仿射模型能够描述二维块旋转以及二维变形，以将方形(或矩形)转换为平行四边形。此模型可被描述如下：
x'＝a0+a1*x+a2*y，以及
y'＝b0+b1*x+b2*y
在上面的式子中，(x,y)对应当前图像的像素坐标，且(x’,y’)对应参考图像的像素坐标。对于当前图像中的每个像素A(x,y)，在此像素与其对应参考像素A’(x’,y’)之间的运动向量是(a0+a1*x+a2*y,b0+b1*x+b2*y)。因此，每个像素的运动向量也与位置相关。仿射运动估计也是现有技术已知的且在本文中将不重复说明细节。
如上所述，胃肠道壁的不平滑表面将导致对应图像区域中的像素的对象位置与相机之间的不同距离。该局部距离变化将对运动估计结果的精确性产生负面影响。因此，依据本发明的一个实施例，在执行块匹配过程之前，对运动估计的搜索区域内的像素的对象-相机距离及当前区块内的像素的对象-相机距离的局部变化进行标准化。例如，对于剖面中的弧线930所标示的搜索区域，在该搜索区域内的像素的对象-相机距离依据单独像素的对象-相机距离被标准化。对象-相机距离标准化将放大在较远距离处的小块并缩小在较近距离处的小块。基于对象-相机距离的图像标准化可通过将区域划分为子块(例如，4x4像素)而基于子块执行，且各子块与单独对象-相机距离相关。若给定子块的距离小于名义距离，则依据名义距离-单独距离比按比例缩小子块。若给定子块的距离大于名义距离，则依据名义距离-单独距离比按比例放大子块。如图像处理中所已知的那样，在图像放大或缩小(也就是，缩放)期间将需要像素插值。在基于对象-相机距离的图像标准化以后，运动估计过程应当导致更精确的运动估计结果。图像标准化主要关注因胃肠道壁的不平滑表面而导致的距离变化。此标准化用于运动估计过程之前的阶段中，以提升运动估计的精确性。相应地，上面用以补偿胃肠道壁的不平滑表面的图像标准化被称为针对对象-相机距离变化的局部图像标准化。在一个实施例中，因胶囊相机的偏心位置导致的距离变化的影响将在导出运动向量后进行处理。图10显示通过考虑局部图像标准化来处理变化的对象-相机距离的针对图9中的情形的运动向量场的例子。在没有局部图像标准化来补偿不平滑胃肠道壁的影响的情况下，导出的运动向量将不太精确。
在图10中，运动向量主要指向右上，其代表胶囊相机也围绕其纵轴旋转的情况。而且，由于胶囊相机偏离胃肠道壁的中心，因此子图像2中的运动向量通常小于子图像4中的运动向量。因此，可应用图7及式(4)及(5)中所示的运动向量标准化来标准化图10中的运动向量。尤其，可相对目标距离例如相机与胃肠道壁之间的平均距离标准化运动向量。图11显示针对图10中的运动向量的标准化运动向量的例子。标准化向量的平均值(1120)可被用作胶囊相机的全局运动向量。
作为替代，可基于在FOV内所测量的距离将图9中的变化的相机-胃肠道壁标准化为单位半径，类似图6A中所示的情形。例如，单位半径可被设为1cm或1.25cm。
我们意图使用全局运动向量来估计在胃肠道内的胶囊装置的行进距离。胃肠道在人体内是折叠的。从胶囊装置的行进距离的观点来看，沿胃肠道的纵向方向的胶囊相机运动是受关注的。因此，应当测量沿胃肠道的纵向方向的运动。在图12中，显示一段胃肠道1210并用虚线1220标示在胃肠道的中心的纵向方向。在胃肠道壁的内表面上用粗线标示与一段胃肠道的表面关联的图像区域1221。基于图像区域1221可导出全局运动向量1222。图像区域1221可对应该目标段的360°图像。不过，图像区域1221可对应该目标段的部分图像。该全局运动向量可通过将图像区域1221划分为块来确定并首先导出单独运动向量。接着，自该运动向量导出全局运动向量。不过，也可自该图像区域直接导出该全局运动向量。例如，通过使用该图像区域而没有将其划分为块，可导出与全局运动向量关联的参数(例如，针对仿射运动模型的参数)。
由于胶囊装置在蠕动的作用下沿胃肠道运动，它可能不会精确地沿纵向方向运动。例如，自胃肠道的不同段导出的全局运动向量由箭头表示。为测量胶囊装置的行进距离，必须确定沿纵向方向的运动向量分量。沿纵向方向的运动向量分量可通过将运动向量投影至纵向方向来确定。例如，将运动向量1222投影至纵向方向以获得与运动向量1222关联的行进距离1223。可累计自胃肠道的图像序列导出的单独行进距离以获得总行进距离。
如技术领域中所已知的那样，胃肠道蠕动可引起胶囊装置偶尔向后运动(也就是，“逆行”)或振荡。因此，运动向量可能偶尔指向后方(例如，图12中的运动向量1224及1225)。当胶囊装置向后运动时，相关运动向量向累计行进距离贡献负值。
可向用户(例如，医生)呈现估计行进距离的结果，以评估胶囊装置经过胃肠道时所收集的医学图像。例如，可将沿纵向方向的行进距离显示为水平线，其中，可将参考点设为原点。水平距离对应自原点的行进距离。例如，图13A中的线1310对应显示累计行进距离的例子，其中，原点1311对应第一参考位置且终点对应第二参考位置。该第一参考位置及该第二参考位置可对应胃肠道的特定解剖部分。例如，该第一参考位置可对应十二指肠且该第二参考位置可对应肛门。正被观看的图像可被显示于显示装置上的另一个显示窗口中。当前图像在胃肠道的纵轴上的位置可通过标记例如向下箭头1320在水平纵线1310上标示。特定解剖部分可依据这些特定解剖部分的特性自撷取图像确定。可依据所测量的行进距离标记水平轴。例如，从对应十二指肠的原点至对应肛门的终点位置的总长度可为7.5米。可每10厘米标记水平轴。也可使用更精细或更粗糙的标记。在另一个实施例中，可将与当前图像关联的全局运动向量显示为图13B中的箭头1330，其中，该箭头可指向前方或后方(也就是，逆行运动)。而且，可在行进距离线1310上标记逆行运动的位置。例如，对应逆行运动的距离的线段1340可被叠置于行进距离线1310上，如图13C中所示。或者，逆行运动可由如图13D中所示的从原始行进距离线1350a至另一条原始行进距离线1350b的向后迁移1352更明确地表示。在图13E中，示出不同的显示模式，其中，图13D的迁移1352由对应与逆行运动关联的行进距离的线段1354替代。尽管使用一条或多条水平线来代表行进距离，但也可使用其它图形表示。例如，可使用一条或多条水平条。在另一个例子中，可显示数值来标示行进距离且可使用上/下箭头以允许用户选择所需行进距离。用户可使用输入装置例如电脑鼠标或按钮来控制该选择。
该方法也可在显示器上显示图像或相关信息以及行进距离信息。图14示出显示行进距离信息以及图像信息的例子，其中，在显示器1410上的区域1430中显示行进距离1420以及由标记1424标示的图像的时间代码的图形表示。图15示出显示行进距离信息以及图像信息的另一个例子，其中，由标记1424标示的图像也被显示器1410上的区域1510中。图16示出显示行进距离信息以及图像信息的又一个例子，其中，在行进距离的图形表示上标记胃肠道的解剖部分1610。与图15中的情况类似，用户可在行进距离线上选点(例如，通过使用显示于距离线上方的光标)且对应该位置的图像将被显示于图16中的显示器1410上的区域1510中。
通过使用各种可编程装置例如微控制器、中央处理单元(CPU)、现场可编程门阵列(FPGA)、数字信号处理(DSP)或任意可编程处理器可实施上述方法。可使用显示器呈现与行进距离及/或图像信息相关的视觉信息。而且，可使用移动装置例如平板电脑或智能电话实施上述方法，因为该移动装置通常具有显示器及充足的计算能力来处理上述所需处理。笔记本电脑或电脑也可充当支持上述方法的系统。例如，图17显示基于笔记本电脑的实施的例子，其中，笔记本电脑1710中的CPU将执行所需处理并可在显示器1720(也就是，笔记本电脑屏幕)上显示行进距离信息1730以及/或者相应图像信息1740。
图18显示依据本发明的实施例用于确定胶囊相机的行进距离的示例流程图。依据此方法，在步骤1810中接收图像序列，其中，当该胶囊相机运动经过GI(胃肠)道时，该胶囊相机撷取该图像序列。在步骤1820中确定该图像序列中的当前图像的当前全局运动向量，其中，该当前全局运动向量对应在该当前图像与关联该图像序列的参考图像之间该胶囊相机所作的运动。在步骤1830中，依据该当前全局运动向量与针对在初始图像与该当前图像之间的先前图像导出的先前全局运动向量确定在该胃肠道中的该胶囊相机的行进距离，其中，从关联该初始图像的初始位置至关联该当前图像的当前位置测量该行进距离。
图19显示依据本发明的实施例用于显示由胶囊相机撷取的图像序列的示例流程图。依据该方法，在步骤1910中接收图像序列，其中，当该胶囊相机运动经过GI(胃肠)道时，该胶囊相机撷取该图像序列。在步骤1920中，在显示器上呈现与该图像序列关联的行进距离，其中，各行进距离与从关联该图像序列中的初始图像的初始位置至关联该图像序列中的当前图像的当前位置所测量的估计距离对应。在步骤1930中，依据一个或多个图形表示上的位置，在该显示器上显示代表行进距离的该一个或多个图形表示。
上述说明用于使本领域的普通技术人员能够在特定应用及其要求的背景下实施本发明。对所述实施例的各种修改将对于本领域的技术人员显而易见，且本文中所定义的一般原理可被应用于其它实施例。因此本发明并非意图限于所示及所述的特定实施例，而是具有与本文中所揭示的原理及新颖特征一致的最广范围。在上面的详细说明中，示例各种特定细节以提供本发明的透彻理解。不过，本领域的技术人员将理解，本发明可实施。
本发明可以其它特定形式实施，而不背离其精神或基本特性。上述例子应当在所有方面都仅被视为说明性质而非限制性质。因此，本发明的范围由权利要求而非上述说明表示。在权利要求的等同的意思及范围内所作的所有变更都将被包括于权利要求的范围内。

Claims (5)

1.一种显示由内窥镜撷取的图像序列的方法，该方法包括：
接收图像序列，其中，当该内窥镜运动经过胃肠(GI)道时，该内窥镜的内窥镜相机撷取该图像序列；
在显示器上呈现该内窥镜在该胃肠(GI)道中的行进距离，其中，该行近距离依据当前标准化全局运动向量与先前标准化全局运动向量来确定，其中，当前行进距离与估计距离对应，该估计距离是从该内窥镜所在的关联该图像序列中的初始图像的初始位置至该内窥镜所在的关联该图像序列中的当前图像的当前位置所测量，其中，分别为该当前图像与该先前图像确定该当前标准化全局运动向量与该先前标准化全局运动向量，且其中，每个标准化全局运动向量是通过将相对于内窥镜相机和胃肠(GI)道之间的名义物距的一个图像关联的相应全局运动向量进行标准化而导出；以及
依据一个或多个图形表示上的位置，在该显示器上显示代表该内窥镜相机的行进距离的该一个或多个图形表示。
2.如权利要求1所述的方法，还包括在该一个或多个图形表示的至少其中一个上显示标示器，以标示与该标示器所指的目标位置关联的相应图像。
3.如权利要求2所述的方法，还包括在该显示器上显示与该标示器所指的该目标位置关联的该相应图像。
4.如权利要求1所述的方法，还包括标示在该一个或多个图形表示的至少其中一个上的目标位置的该胃肠道的解剖部分，其中，在该目标位置的相应图像与该胃肠道的该解剖部分关联。
5.一种用于显示由胶囊相机撷取的图像序列的系统，该系统包括：
显示器，能显示图形信息；以及
一个或多个电子电路或处理器，经配置以：
接收图像序列，其中，当该内窥镜运动经过胃肠(GI)道时，该内窥镜的内窥镜相机撷取该图像序列；
在该显示器上呈现该内窥镜在该胃肠(GI)道中的行进距离，其中，该行近距离依据当前标准化全局运动向量与先前标准化全局运动向量来确定，其中，当前行进距离与估计距离对应，该估计距离是从该内窥镜所在的关联该图像序列中的初始图像的初始位置至该内窥镜所在的关联该图像序列中的当前图像的当前位置所测量，其中，分别为该当前图像与该先前图像确定该当前标准化全局运动向量与该先前标准化全局运动向量，且其中，每个标准化全局运动向量是通过将相对于内窥镜相机和胃肠(GI)道之间的名义物距的一个图像关联的相应全局运动向量进行标准化而导出；以及
依据一个或多个图形表示上的位置，显示代表该内窥镜相机的行进距离的该一个或多个图形表示。
CN202210637502.XA 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置 Pending CN114983317A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/158,159 2018-10-11
US16/158,159 US10506921B1 (en) 2018-10-11 2018-10-11 Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
CN201910119473.6A CN111035351B (zh) 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910119473.6A Division CN111035351B (zh) 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置

Publications (1)

Publication Number Publication Date
CN114983317A true CN114983317A (zh) 2022-09-02

Family

ID=68841293

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210637502.XA Pending CN114983317A (zh) 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
CN201910119473.6A Active CN111035351B (zh) 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910119473.6A Active CN111035351B (zh) 2018-10-11 2019-02-18 用于胃肠道中的胶囊相机的行进距离测量的方法及装置

Country Status (2)

Country Link
US (2) US10506921B1 (zh)
CN (2) CN114983317A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
US11445108B1 (en) 2021-03-05 2022-09-13 International Business Machines Corporation Turn direction guidance of an endoscopic device
US20230143451A1 (en) * 2021-11-05 2023-05-11 CapsoVision, Inc. Method and Apparatus of Image Adjustment for Gastrointestinal Tract Images
WO2023105520A1 (en) * 2021-12-08 2023-06-15 Check-Cap Ltd. Scan control for x-ray imaging capsule
US20230410336A1 (en) 2022-06-15 2023-12-21 CapsoVision, Inc. Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US7983458B2 (en) * 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
EP2810216B1 (en) * 2012-01-31 2017-11-15 Given Imaging Ltd. System and method for displaying motility events in an in vivo image stream
US20140051924A1 (en) * 2012-08-16 2014-02-20 Capso Vision, Inc In Vivo Capsule Device with Electrodes
EP2868100B1 (en) * 2012-06-29 2019-01-30 Given Imaging Ltd. System and method for displaying an image stream
CN104885120A (zh) * 2012-12-31 2015-09-02 基文影像公司 用于显示图像流的系统和方法
WO2014193670A2 (en) * 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule
US20150313445A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
US10402992B2 (en) * 2015-10-16 2019-09-03 Capsovision Inc. Method and apparatus for endoscope with distance measuring for object scaling
US10484629B2 (en) * 2015-10-16 2019-11-19 Capso Vision Inc Single image sensor for capturing mixed structured-light images and regular images
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images

Also Published As

Publication number Publication date
US10506921B1 (en) 2019-12-17
CN111035351B (zh) 2022-06-24
CN111035351A (zh) 2020-04-21
US10835113B2 (en) 2020-11-17
US20200113422A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN111035351B (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
US20220000387A1 (en) System for detecting the location of an endoscopic device during a medical procedure
US10402992B2 (en) Method and apparatus for endoscope with distance measuring for object scaling
US10346978B2 (en) Method and apparatus for area or volume of object of interest from gastrointestinal images
US10068334B2 (en) Reconstruction of images from an in vivo multi-camera capsule
US10736559B2 (en) Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
US7744528B2 (en) Methods and devices for endoscopic imaging
US8582853B2 (en) Device, system and method for automatic detection of contractile activity in an image frame
US20070116119A1 (en) Movement detection and construction of an "actual reality" image
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
US20060183993A1 (en) Device, system, and method for locating an in-vivo signal source
US20110135170A1 (en) System and method for display speed control of capsule images
US20080117968A1 (en) Movement detection and construction of an "actual reality" image
US20190304121A1 (en) Method and Apparatus for Estimating Area or Volume of Object of Interest from Gastrointestinal Images
JP5750669B2 (ja) 内視鏡システム
US8150123B2 (en) System and method for image enhancement of dark areas of capsule images
US20100262000A1 (en) Methods and devices for endoscopic imaging
WO2018140062A1 (en) Method and apparatus for endoscope with distance measuring for object scaling
US20230410336A1 (en) Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract
Hackner et al. Deep-learning based reconstruction of the stomach from monoscopic video data
EP3173010B1 (en) Passive capsule type endoscope for the intestine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination