CN110035687B - 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 - Google Patents
对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 Download PDFInfo
- Publication number
- CN110035687B CN110035687B CN201680091275.8A CN201680091275A CN110035687B CN 110035687 B CN110035687 B CN 110035687B CN 201680091275 A CN201680091275 A CN 201680091275A CN 110035687 B CN110035687 B CN 110035687B
- Authority
- CN
- China
- Prior art keywords
- image
- bridge
- stitched
- images
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000002775 capsule Substances 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 42
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 description 16
- 238000013519 translation Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 9
- 238000007667 floating Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000002496 gastric effect Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004826 seaming Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明揭示一种处理通过胶囊相机自人体胃肠(GI)道所撷取的图像的方法及装置。接收通过胶囊相机自人体胃肠(GI)道所撷取的高帧率图像以供处理。该高帧率图像包括具有对应常规帧率的第一空间分辨率的第一图像以及具有第二空间分辨率的第二图像，该第一图像与该第二图像交错，且该第二空间分辨率低于该第一空间分辨率。通过对该高帧率图像应用图像配准，导出该高帧率图像之间的运动模型。依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出。提供该拼接输出。
Description
相关申请的交叉参考
本发明与2014年5月19日所提交的序列号为PCT/US14/38533的PCT专利申请相关，该申请要求2013年5月29日所提交的序列号为61/828,653的美国临时专利申请的优先权。本发明还与2015年4月1日所提交的序列号为14/675,744的美国非临时专利申请相关。该PCT专利申请、美国临时专利申请及美国非临时专利申请整体通过参考包括于此。
技术领域
本发明涉及针对在胶囊相机经过人体胃肠(gastrointestinal；GI)道时通过该胶囊相机所撷取的图像进行图像拼接。尤其，本发明涉及用以提升拼接效率以减少在拼接输出的图像的数目的技术。
背景技术
胶囊相机是一种试图解决传统内窥镜的许多问题的体内成像装置。相机与用于向基站接收器或收发器传输数据的无线电发送器一起被容置于可吞咽胶囊中。还可使用位于体外的数据记录器以接收并记录所传输的数据。该数据主要包括通过该数字相机所记录的图像。该胶囊还可包括用于自基站发送器接收指令或其它数据的无线电接收器。替代使用射频传输，可使用较低频率电磁信号。功率可自外部电感器向该胶囊内的内部电感器电感供应或者由该胶囊内的电池供应。在具有板上存储器(on-board storage)的另一种类型胶囊相机中，所撷取的图像在板上被储存，而不是传输至外部装置。在该胶囊排出以后，取回具有板上存储器的该胶囊。具有板上存储器的该胶囊向患者提供舒适及自由，患者无需佩戴数据记录器或被限制于无线数据接收器的邻近范围。
获取并处理后的图像及数据通常被显示于显示装置上，以供诊断医生或医学专家检查。不过，每个胶囊仅提供胃肠道的一小段的有限视图。想要自多个胶囊图像形成(拼接)具有较大视场的单个合成图片。大图片可利用高分辨率大屏幕显示装置，以允许使用者同时视觉化更多信息。图像拼接过程可包括移除图像之间的冗余重叠区域，从而可在单个合成图片中同时观看较大面积的内部胃肠道表面。此外，大图片可提供完整视图或内部胃肠道表面的重要部分。诊断医生或医学专家应当更容易且更快地快速发现兴趣点，例如息肉。而且，所撷取的图像可能具有例如30,000帧。使用者将需要不止一小时进行审查。因此，图像拼接过程可减少帧数并加速该审查过程。
不过，胃肠道中的组织常常变形。此外，在胃肠道内部的胶囊运动是不稳定的。相机可能在人体胃肠道内部旋转并停顿。此外，尽管在服用胶囊之前胃肠道应当已被很好地清洗，但各种物体例如食物残留及气泡仍可能出现于图像中。因此，通过胶囊相机所撷取的图像就用于各种图像合成或图像拼接处理的图像模型来说是不理想的。想要开发考虑所撷取的图像不理想的事实并提升处理或算法收敛速度的方法。
发明内容
本发明揭示一种处理通过胶囊相机自人体胃肠(gastrointestinal；GI)道所撷取的图像的方法及装置。接收通过胶囊相机自人体胃肠(GI)道所撷取的高帧率图像以供处理。该高帧率图像包括具有第一空间分辨率的第一图像以及具有第二空间分辨率的第二图像，该第一图像与该第二图像交错，且该第二空间分辨率低于该第一空间分辨率。通过对该高帧率图像应用图像配准，导出该高帧率图像之间的运动模型。依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出。提供该拼接输出。
应用于该高帧率图像的图像配准可包括可变形配准及运动估计。该可变形配准可应用于该运动估计之前或之后。可迭代地对该高帧率图像应用该可变形配准及该运动估计，直至满足停止标准。该运动估计可对应全局平移运动估计。该运动估计还可对应仿射变换。
在一个实施例中，该拼接仅应用于该第一图像。当对该高帧率图像应用图像配准时，以该第一空间分辨率及该第二空间分辨率执行该图像配准。不过，总是以该第一空间分辨率执行该拼接。用于识别属于各拼接图像的至少部分隶属的信息可与该拼接输出一起提供。若在该拼接输出中的任何非拼接图像属于该第二图像，则自该拼接输出移除该非拼接图像。该第二空间分辨率在水平方向及垂直方向可等于该第一空间分辨率的一半或四分之一。而且，与该第一图像相比，以较低的位深度撷取该第二图像。
依据另一种方法，执行与该第一种方法类似的步骤。不过，该第二空间分辨率可低于或等于该第一空间分辨率。而且，若在该拼接输出中的任何非拼接图像属于该第二图像，则自该拼接输出移除该非拼接图像。
依据又一种方法，该方法包括图像撷取及图像处理。当胶囊相机被人体吞服后经过人体胃肠(GI)道时，利用该胶囊相机撷取高帧率图像。高帧率图像包括具有第一空间分辨率的第一图像以及具有第二空间分辨率的桥接图像。该第一图像与该桥接图像交错，且该第二空间分辨率低于该第一空间分辨率。配准过程及拼接过程可与前面相同。在一个实施例中，与该第一图像相比，通过减少照明该胶囊相机的视场(field of view；FOV)中的场景的光源能量来撷取该桥接图像。例如，针对该桥接图像，该光源能量可减少至少一半。调节该第一图像或该桥接图像的像素值以考虑不同的光源能量。若压缩所撷取的该高帧率图像，则与该第一图像相比，可利用较高的压缩比来压缩该桥接图像。依据另一个实施例，与该第一图像相比，可以较低的位深度撷取该桥接图像。调节该第一图像或该桥接图像的像素值以考虑不同的位深度。
附图说明
图1A显示常规图像序列及高帧率图像序列的例子，其中，该高帧率图像序列包括常规图像及桥接图像。
图1B显示针对该常规图像序列的示例图像拼接。
图1C显示针对该高帧率图像序列的示例图像拼接，其中，该桥接图像提供额外的信息以估计两个常规图像之间的运动模型。
图2显示依据本发明的实施例针对图像序列拼接系统的示例流程图，其中，该桥接图像具有较低的空间分辨率。
图3显示依据本发明的实施例针对另一个图像序列拼接系统的示例流程图，其中，若非拼接图像为桥接图像，则自拼接输出移除该非拼接图像。
图4显示依据本发明的实施例针对另一个图像序列拼接系统的示例流程图，其中，该系统包括图像撷取及图像处理。
具体实施方式
在下面的说明中，将说明本发明的各种方面。出于解释目的，阐述具体的配置及细节以提供有关本发明的透彻理解。可能略去或简化公知特征，以免模糊本发明。
关于图像配准(registration)及拼接(stitching)的一般技术方法的回顾可见于Szeliski的“Image Alignment and stitching：A Tutorial”，Microsoft ResearchTechnical Report MSR-TR-2004-92，2006年12月10日。
序列图像拼接是常用于图像拼接的过程。它将相机所撷取的几个序列图像作为输入并将它们无缝地组合在大画布上。此过程通过将类似的连续图像镶嵌(mosaic)成“大图片”来减少图像帧的数目。因此，它减少医生或医学专家检查拼接图像的时间。输入图像可对应通过使用多个相机所撷取的全景图像(例如，具有隔开90°的视场的四个相机，以覆盖360°全景)。而且，假定通过该多个相机同时撷取的各组透视图像已被适当拼接成全景图像。在此情况下，将按序列拼接全景图像。
在可对图像应用图像镶嵌之前，必须识别该些图像之间的对应关系。识别对应关系的过程被称为图像配准。在图像配准中，首先检测并识别来自两个图像的相应特征、对象或区域。接着，依据一些数学模型，将一个图像扭曲至另一个图像以对齐该两个图像。必须自所撷取的图像计算模型参数。由于胃肠道不断经历变形运动，因此需要可变形配准来对齐两个连续图像，该可变形配准说明非线性空间变换。相应地，基于强度的可变形配准框架优于基于特征的可变形配准框架，因为好的特征并不总是存在于胃肠图像中。优选的变形模型是自由变形立方B样条(free-form deformation cubic B-splines)。可使用基于梯度的隐式欧拉法(gradient-based implicit Euler method)进行优化。能量模型使用相关系数作为差异度量及位移的惩罚拉普拉斯算子(penalizes Laplacian of thedisplacements)以正则化。为方便起见，将第一帧称为参考R并将第二帧称为浮动图像F。该可变形配准使浮动图像F变形直至它与参考R匹配并保持参考R不变。
胶囊相机所撷取的图像不仅包含变形，而且具有全局刚性变换，其由胃肠道内部的相机运动引起。为获得良好的图像配准结果，引入估计全局变换(更具体地说，两个连续图像帧之间的平移)的步骤。通过最大限度地降低特定相似性度量(例如，互相关、互信息等)来估计刚性变换的方法常常无法产生合理的结果，因为变形通常大于全局变换。为克服此问题，使用简单的基于可变形配准的方法。对于每对输入图像，我们假定它们完全重叠并以较低的分辨率(例如，原始分辨率的1/16)运行可变形配准。基于每个像素的优化变形计算位移向量。接着导出平均位移并将其用作两个图像之间的全局平移。
接着，将恢复的平移应用于输入图像并在重叠区重新计算可变形配准。在我们的实验中，当全局平移小时，发现此方法是有效的。不过，当平移大时，它无法获得准确的平移。但是，恢复的平移通常与真实的平移在相同的方向。因此，通过平移浮动图像F更接近其真实位置，仍提升配准。可在所选的一组全局偏移位置应用可变形配准并选择获得最佳匹配的最佳位置以确定可变形配准与运动估计两者。例如，可在几个全局偏移(例如，[0,-10]，[0 0]，[0 10])应用可变形配准并使用最佳匹配作为全局运动。其相关联的可变形配准也被用作最佳配准。
在配准过程中，将当前图像帧指定为参考R并将下一帧指定为浮动图像F。在R与F之间应用上述可变形配准。若配准足够好，则将帧R与F拼接在一起以形成新的参考R。下一图像帧成为浮动图像F。若配准不是足够好，则将当前参考R写至输出且帧F成为新的参考帧R。以此方式，将连续输入帧以贪婪的方式拼接至较大的画布上。被写至输出的当前帧R变为拼接输出图像。若拼接两个或更多图像来形成此拼接输出图像，则此拼接输出图像可对应拼接图像。若相应参考R从未与任何图像拼接，则此拼接输出图像可对应非拼接图像。
为确定配准是否良好，可使用数个标准。例如，可计算在配准后两个图像之间的重叠。若重叠百分比低于特定阈值(例如，参考图像的75％)，则拒绝该配准。还可计算变形的最大位移。若发现大的变形(例如，40个像素)，则拒绝该配准。在另一个例子中，可计算配准的质量度量。该质量度量可与为临床目的所保存的信息相关。例如，能够检测两个帧之间的少量变化的度量。可针对R与扭曲F之间的差值图像的三个通道(例如RGB)计算此度量。可对差值图像应用30x30像素的平均滤波器并使用最大差值作为得分。若该得分超过阈值(例如，0.18)，则可拒绝该配准。
一旦通过可变形配准来对齐该些图像，即可镶嵌(也就是拼接)该些图像。有两种广泛使用的图像镶嵌技术。第一种方法是混合，其旨在通过平滑图像之间的过渡来最大限度地降低伪影(例如，羽化(feathering)或α混合(alpha blending))。第二种方法是最优接缝，其在两个图像匹配最佳的重叠区中搜索最优接缝。
羽化或α混合计算充当参考图像R与扭曲浮动图像F之间的混合的权重的每像素α值(per-pixel alpha value)，在本申请中将其称为α映射A(alpha map A)。混合结果I可被写为
I＝F×(1-A)+R×A (1)
其中，×表示逐元素相乘(element-wise multiplication)。为计算A，首先计算在大的空白画布上的R及F的轮廓。接着计算在两个轮廓上的距离变换DR及DF。最后，基于至各轮廓的距离计算A：
α混合的一个问题是高频细节可能因为该混合而被抹去。此外，即使轻微的不对齐也会导致模糊的图像。当对较大量的图像应用混合时，这会变得更糟。
最优接缝技术是基于Efros及Freeman所揭示的最小误差边界切割方法(“ImageQuilting for Texture Synthesis and Transfer”，Alexei A.Efros及WilliamT.Freeman，Proceedings of the 28th Annual Conference on Computer Graphics andInteractive Techniques(SIGGRAPH)，Pages 341-346，2001)。关键思想是找到两个图像最佳匹配之处的像素上的切口。通过在该切口的每侧放置仅一个图像而没有任何混合或通过在围绕接缝的窄带上应用混合可构成输出图像。在重叠区域内的各像素位置，误差被定义为两个像素之间的RGB通道的差值的平方和。
为拼接变形的F与R，首先识别需要被附着至参考R的F的部分。由于变形可能具有任意形状，因此可能有不止一个这样的附着。可执行关于附着的连接组件分析并将每个组件视为一个对象。
对于每个对象，可找到起始及终止点，在这些点，附着对象的轮廓进入并离开参考图像R。当浮动F的轮廓的部分与R的轮廓对齐时，这些点可为单个像素(大多数情况下)或一组连接像素。可它们的其中之一设置为源点且另一个设置为汇点。在重叠区上运行最小切割算法，以找到从该源点的任意像素至该汇点的任意像素的路径。在计算出最优路径以后，由该路径及附着对象包围的像素由浮动图像F的像素替代。为移除任何剩余的视觉接缝，在沿该路径的窄带像素(例如，10个像素)上可应用羽化。为避免多条路径相互交叉，所有的计算路径位置经记录并设置以在最小误差边界切割过程期间具有无限误差。以此方式，任何新的路径将不会与现有的路径交叉。
上述图像拼接技术已被应用于使用胶囊相机在体内所撷取的图像序列组。图像序列以每秒两帧的帧率撷取，以生成约30,000个图像的图像总数。基于此测试，可移除约20％冗余，也就是，拼接输出图像的总数约减少20％。
对于胶囊相机应用，该小型装置必须长时间(例如，10小时或更多)经过人体胃肠(GI)道并拍摄大量图像(例如，30,000或更多)。所有该操作都由位于胶囊壳体内部的小纽扣电池或电池组支持。而且，所有图像必须通过使用位于该胶囊相机内的一个或多个光源拍摄。因此，功率源成为该系统非常珍贵的资源。实际上，胶囊系统仅可承受得起以极低的帧率(例如，每秒2帧)撷取图像。尽管该胶囊相机在胃肠道中非常缓慢地行进，但由于各种原因，例如该低帧率在图像之间引起大的相对差异，在连续图像之间的配准仍然很难以很好地执行。
提升拼接效率的一种技术是增加帧率，从而它可导致较好的配准以及提升的拼接效率。不过，增加帧率还将导致撷取更多图像，其似乎与较少数目的拼接输出图像的目标冲突。但是，若额外冗余移除超过增加的撷取图像数目，则可实现冗余移除的净增益。例如，若将帧率增加至6帧/秒(也就是，2帧/秒的三倍)，在相同时期内所撷取的帧的总数将增加至三倍。在2帧/秒的速率，发现可拼接约20％的图像。若所撷取的图像的总数为30,000，则拼接输出图像的数目将为24,000。随着增加的帧率，预期由于在较短的帧周期的两个相邻图像之间的较小变化而导致较好的配准。为实现较少数目的拼接输出图像的目标，必须大幅增加拼接图像的百分比。在上面的例子中，拼接图像的百分比必须大于73.33％。若假设可拼接的图像在60％，则针对此情况的拼接输出图像为36,000(也就是，90,000x(1-60％))，其远高于传统方法。因此，想要开发一种系统，其通过使用高帧率撷取可实际上实现冗余移除的净增益。
如前所述，该胶囊相机就功率及储存而言具有极有限的资源。该胶囊相机通过一个或多个纽扣电池提供功率，预期该电池在成像人体胃肠道的过程期间持续超过10小时。该电池将由光源(例如LED)使用以照明被成像的场景。该电池还由图像传感器及处理器使用以撷取并处理图像。该胶囊相机很难将帧率加倍或者甚至增至三倍。
高帧率撷取的思想主要意图通过减小两个图像之间的帧周期增加该相邻图像之间的配准质量，从而可拼接更多的图像。相应地，本发明揭示一种提升拼接的效率而没有对额外图像数据及/或处理资源造成太多负担的技术。基于本发明，撷取额外的“桥接图像(bridging images)”以辅助图像配准以及运动模型的导出。该桥接图像不必以全分辨率撷取。为节约珍贵的系统资源例如储存及电池功率，依据优选实施例，以降低的空间分辨率撷取该桥接图像。不过，技术将逐渐发展，该系统在未来可能能够承受得起以全分辨率撷取桥接图像。
图1A显示在传统系统中撷取常规图像以及依据本发明的实施例以交错方式撷取常规图像与桥接图像的例子。在图1A中，图像序列A对应常规序列，其中，各图像101代表具有全分辨率的常规图像。图像序列B对应高帧率图像序列，其包括交错的常规图像(111)与桥接图像(112)。在此例子中，该高帧率是常规帧率的三倍。图1B显示对应传统方法的针对该常规帧率图像的图像拼接的例子。将前两个图像拼接成拼接图像121；下一各图像是非拼接的(123)；将接下来的两个图像拼接成拼接图像122；以及最后的图像是非拼接的(124)。在此例子中，拼接输出图像由两个拼接图像(121及122)以及两个非拼接图像(123及124)组成。所有拼接图像及非拼接图像都具有高分辨率。由于该常规帧率图像以较低的帧率撷取，因此各图像可能包含病理重要性。因此，所有拼接输出图像，无论是拼接还是非拼接图像，都将被保留为最终输出图像。换句话说，基于传统的方法，将具有四个最终输出图像。在图1B中，显示该拼接图像具有较宽的方块尺寸，以标示该拼接图像较大。不过，图1B中所示的拼接图像的方块尺寸并非意图与实际的拼接图像尺寸成比例显示。
图1C显示针对该高帧率图像的图像拼接的例子。将前七个图像拼接成拼接图像131；接下来的两个桥接图像是非拼接的(134及135)；将接下来的四个图像拼接成拼接图像132；接下来的桥接图像是非拼接的(136)；以及将最后两个图像拼接成拼接图像133。当对该高帧率图像应用图像配准时，通过中间桥接图像来辅助常规图像之间的配准。例如，可在常规图像1与桥接图像2之间、在桥接图像2与3之间，以及在桥接图像3与常规图像4之间应用配准。通过中间桥接图像2与3，预期提升常规图像1与4之间的配准。可将拼接应用于高帧率图像，也就是常规图像与桥接图像两者。不过，在一个优选实施例中，拼接仅应用于常规图像。在拼接两个图像以后，可基于已拼接的图像与新的图像(常规图像或桥接图像)进一步执行图像拼接。在图1C中所示的例子中，拼接输出图像是由拼接图像131-133及非拼接图像134-136组成。由于该桥接图像以降低的分辨率撷取，因此若该非拼接图像为桥接图像，则可自最终输出删除该图像。于是，在最终输出具有三个拼接图像131-133。与传统方法相比，如图1C中所示的依据本发明的实施例少拼接一个图像。
为减少储存以及所需处理能力，以在水平及垂直方向2:1或4:1的降低分辨率撷取该桥接图像。在水平及垂直方向4:1的降低分辨率的情况下，每个桥接图像对应常规尺寸图像的1/16。因此，当帧率增加至原始帧率的三倍时，总图像数据仅增加12.5％。对于具有板上存储器的胶囊相机，所撷取的图像将被储存于板上内存(memory)中。在该胶囊相机自人体排出并被取回以后，取出板上储存的该图像以供处理及/或观看。为节约储存空间，可以压缩格式储存该图像。对于具有无线发送器的胶囊相机，所撷取的图像将被传输至位于人体外部的无线接收器。例如，患者可佩戴无线背包以在该胶囊相机在人体内部行进时接收自该胶囊相机所传输的图像。接着，将该图像从该无线包检索至基站以供处理及/或显示。
除以降低的分辨率撷取该桥接图像以外，该系统还可通过以减少的光源能量撷取该桥接图像来节约功率，该光源能量照明该胶囊相机的视场(field of view；FOV)中的场景。例如，与原始光源能量相比，可减少该光源能量以使像素中的预期光子生成电荷(photon-generated charges)变为约一半。因此，该桥接图像的强度可放大2倍以匹配常规图像的强度，例如通过将传感器的像素值输出乘以2或者通过使传感器读出增益增加2。也可将常规图像的强度缩小2倍，以在图像配准期间匹配该桥接图像的强度。
依据又一个实施例，该系统可通过以较小的位深度(bit-depth)撷取该桥接图像来减少能量。例如，可以每像素10位撷取该常规图像，而以每像素9位撷取该桥接图像。当以9位撷取图像时，整个色域被划分成512级。当以10位撷取图像时，整个色域被划分成1024级。在处理期间，可在配准期间将与该桥接图像相关联的数据左移1位或舍入，以匹配与该常规图像相关联的数据。在此情况下，可填充“0”作为该9位输出的LSB，从而将其转换为10位。或者，可在配准期间将与该常规图像对应的数据下移1位，以匹配与该桥接图像对应的数据。在此情况下，可删除或舍入该10位输出的LSB，从而将其转换为9位。
依据另一个实施例，当对所撷取的图像应用图像压缩时，该桥接图像可使用与该常规图像相比较高的压缩比。由于该桥接图像主要用于配准，因此图像质量可能不是那么重要。相应地，该桥接图像可承受得起由图像压缩造成的较大的扭曲。
尽管针对该高帧率图像的该配准可能利用额外桥接图像以在两个常规图像之间提供中间运动模型，但拼接两个常规图像的可能性得以提升。不过，不保证桥接图像总是有助于提升拼接。相应地，在一个实施例中，若具有中间桥接图像的两个常规图像无法拼接，则检查直接在该两个常规图像之间的配准。换句话说，依据此实施例，使用桥接图像辅助图像拼接的该系统在任何情况下都不会比传统方法更糟糕。
对于拼接输出图像，若具有任何非拼接桥接图像，则自最终输出删除该非拼接桥接图像。若具有任何非拼接常规图像，则在最终输出中保留该非拼接常规图像。最终图像的输出顺序可为处理顺序。换句话说，当生成拼接图像且不再有新的图像可拼接至此拼接图像时，可输出该拼接图像。若发现常规图像是非拼接的，则输出该非拼接常规图像。因此，最终输出图像由交错的拼接图像与非拼接图像组成。
在将图像拼接成拼接图像以后，在执行拼接以后可能不知道该拼接图像与其隶属(membership)图像(也就是，被拼接成该拼接图像的图像)之间的对应关系。不过，医生或医学专家可能对与该拼接图像相关联的原始隶属图像中的病理信息感兴趣。因此，依据本发明的一个实施例，属于各拼接图像的隶属或至少部分隶属与拼接输出一起提供。甚至对于被拼接成拼接图像的图像，常常储存原始图像。在一个实施例中，与各拼接图像相关联的隶属信息与该拼接图像的数据一起储存或独立储存，从而可使用该隶属信息检索单独的原始图像。类似地，可储存有关未拼接的常规图像的信息。此信息可有助于避免储存非拼接常规图像及相应原始常规图像的需要。
对于图像拼接，该过程主要包括两个任务：配准及拼接(也就是，镶嵌)。该配准通常包括强度计算，不论它是基于强度还是基于特征。通过使用胶囊相机所撷取的胃肠壁的图像通常包含很少的特征。由于蠕动，肠壁的图像常常逐帧变形。相应地，针对胃肠道的图像需要可变形配准，其进一步增加图像配准的复杂性。另一方面，在配准以后，运动模型已知，拼接过程(也就是，镶嵌)较容易。可在显示终端(例如，笔记本电脑)本地潜在执行该拼接过程，以供医生或医学专家观看。相应地，在一个实施例中，独立地执行该两个主要任务(也就是，配准及镶嵌)。尤其，该配准通过较强大的处理站例如服务器、高端电脑或经布置以共同地或协作地工作的多台电脑执行。可储存或传输该配准结果，从而可通过使用该配准结果执行该图像镶嵌。在此情况下，假定原始常规图像在本地可获得，从而可应用该镶嵌过程。该处理可在云环境下执行，其中，使用者可上传该高帧率图像至云服务器并接收所导出的配准结果。接着，在本地实时执行该镶嵌。
如前所述，通过胶囊相机所撷取的图像不仅包含变形，而且具有全局刚性变换。相应地，引入全局变换以处理变形。在一个实施例中，迭代地应用全局变换及可变形配准。可首先应用该全局变换，接着应用该可变形配准。或者，可首先应用该可变形配准，接着应用该全局变换。当满足预定义标准时，可终止该迭代过程。全局平移运动已被揭示为全局平移的一种形式。在另一个实施例中，还可使用仿射变换(affine transformation)进行运动估计。在又一个实施例中，可使用预定义的一组全局变换并在各变换执行该可变形配准。获得最佳匹配的全局变换被用作所选的全局变换。其相关联的可变形配准被用作所选的可变形配准。
图2显示依据本发明的一个实施例针对图像序列拼接系统的示例流程图，其中，桥接图像具有较低的空间分辨率。在步骤210中，该系统接收通过胶囊相机自人体胃肠(GI)道所撷取的高帧率图像。该高帧率图像包括具有第一空间分辨率的第一图像以及具有第二空间分辨率的第二图像，该第一图像与该第二图像交错，且该第二空间分辨率低于该第一空间分辨率。在步骤220中，通过对该高帧率图像应用图像配准，导出该高帧率图像之间的运动模型。在步骤230中，依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出。在步骤240中，提供该拼接输出。可向医生或医学专家显示该拼接输出以供观看。
图3显示依据本发明的另一个实施例针对图像序列拼接系统的示例流程图，其中，若非拼接图像为桥接图像，则自拼接输出移除该非拼接图像。此系统与图2的系统类似。不过，桥接图像可具有与该第一图像相同的空间分辨率。此系统还包括步骤：若非拼接图像为桥接图像，则自拼接输出移除该非拼接图像。在步骤310中，该系统接收通过胶囊相机自人体胃肠(GI)道所撷取的高帧率图像。该高帧率图像包括具有对应常规帧率的第一空间分辨率的第一图像以及具有第二空间分辨率的第二图像，该第一图像与该第二图像交错，且该第二空间分辨率低于或等于该第一空间分辨率。在步骤320中，通过对该高帧率图像应用图像配准，导出该高帧率图像之间的运动模型。在步骤330中，依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出。在步骤340中，若该非拼接图像属于该第二图像，自该拼接输出移除任何非拼接图像。在步骤350中，提供该拼接输出。
图4显示依据本发明的一个实施例针对另一个图像序列拼接系统的示例流程图，其中，该系统包括图像撷取及图像处理。在步骤410中，当胶囊相机被人体吞服后经过人体胃肠(GI)道时，该系统使用该胶囊相机撷取高帧率图像。撷取高帧率图像包括撷取具有第一空间分辨率的第一图像以及撷取具有第二空间分辨率的桥接图像，该第一图像与该桥接图像交错，且该第二空间分辨率低于该第一空间分辨率。在步骤420中，通过处理单元接收该高帧率图像。在步骤430中，通过该处理单元对该高帧率图像应用图像配准，导出该高帧率图像之间的运动模型。在步骤440中，依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出。在步骤450中，提供该拼接输出。
上述方法可被实施为将要被执行于电脑上的位于机器可读媒体上的电脑程序。术语“机器可读媒体”应当被视为包括储存一组或多组指令的单个媒体或多个媒体(例如，集中式或分布式数据库，以及/或者相关联的缓存及服务器)。术语“机器可读媒体”还应当被视为包括能够储存、编码或携带一组指令以供机器执行并使机器执行本发明的任意一种或多种方法的任意媒体。该机器可读媒体包括以机器(例如，电脑、平板电脑、智能手机等)可读的形式提供(也就是，储存及/或传输)信息的任意机制。例如，机器可读媒体包括存储器(例如上述)，光储存媒体或闪速存储器装置可被用作该机器可读媒体。
尽管附图中说明并显示特定的示例实施例，但应当理解，此类实施例仅为广义发明的示例而非限制，且本发明不限于所显示及说明的特定构造及布置，因为本领域的普通技术人员可想到各种其它修改。相应地，说明书及附图将被视为示例而非限制。
本发明可以其他特定形式实施，而不背离其精神或基本特征。上述例子应当在所有方面都仅被视为说明性质而非限制性质。因此，由所附权利要求而非上述说明表示本发明的范围。在权利要求的等同的意思及范围内所作的所有变更都将包括于其范围内。
Claims (22)
1.一种处理通过胶囊相机自人体胃肠道所撷取的图像的方法，该方法包括：
接收通过胶囊相机自人体胃肠道所撷取的高帧率图像，其中，该高帧率图像包括常规图像以及桥接图像，其中，该常规图像与该桥接图像交错，且其中，以低于该常规图像的空间分辨率撷取该桥接图像；
基于图像配准导出该高帧率图像之间的运动模型，其中，该图像配准包括桥接图像之间或常规图像及桥接图像之间的目标图像配准；
依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出；以及
提供该拼接输出。
2.如权利要求1所述的方法，其中，对该高帧率图像所应用的该图像配准包括可变形配准及运动估计。
3.如权利要求2所述的方法，其中，在该运动估计之前应用该可变形配准。
4.如权利要求2所述的方法，其中，在所选的一组全局变换应用该可变形配准，并选择获得最佳匹配的最佳全局变换作为最佳运动估计，以及选择其相关联的可变形配准作为最佳配准。
5.如权利要求2所述的方法，其中，在该运动估计以后应用该可变形配准。
6.如权利要求2所述的方法，其中，迭代地对该高帧率图像应用该可变形配准及该运动估计，直至满足停止标准。
7.如权利要求2所述的方法，其中，该运动估计对应于全局平移运动估计。
8.如权利要求2所述的方法，其中，该运动估计对应于仿射变换。
9.如权利要求1所述的方法，其中，所述拼接该高帧率图像仅应用于该常规图像。
10.如权利要求1所述的方法，其中，用于识别属于各拼接图像的至少部分隶属的信息与该拼接输出一起被提供。
11.如权利要求1所述的方法，还包括若该非拼接图像属于该桥接图像，自该拼接输出移除任何非拼接图像。
12.如权利要求1所述的方法，其中，在水平方向及垂直方向上以一半的该常规图像的空间分辨率撷取该桥接图像。
13.如权利要求1所述的方法，其中，与该常规图像相比，以较低的位深度撷取该桥接图像。
14.一种用于处理通过胶囊相机自人体胃肠道所撷取的图像的系统，该系统包括一个或多个处理器，其经布置以：
接收通过胶囊相机自人体胃肠道所撷取的高帧率图像，其中，该高帧率图像包括常规图像以及桥接图像，其中，该常规图像与该桥接图像交错，且其中，以低于该常规图像的空间分辨率撷取该桥接图像；
基于图像配准导出该高帧率图像之间的运动模型，其中，该图像配准包括桥接图像之间或常规图像及桥接图像之间的目标图像配准；
依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出；以及
提供该拼接输出。
15.一种处理通过胶囊相机自人体胃肠道所撷取的图像的方法，该方法包括：
接收通过胶囊相机自人体胃肠道所撷取的高帧率图像，其中，该高帧率图像包括常规图像以及桥接图像，其中，该常规图像与该桥接图像交错，且其中，以低于该常规图像的空间分辨率撷取该桥接图像；
基于图像配准导出该高帧率图像之间的运动模型，其中，该图像配准包括桥接图像之间或常规图像及桥接图像之间的目标图像配准；
依据该运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出；
若该非拼接图像属于该桥接图像，自该拼接输出移除任何非拼接图像；以及
提供该拼接输出。
16.一种撷取并处理人体胃肠道的图像的方法，该方法包括：
利用胶囊相机撷取高帧率图像，其中，所述撷取高帧率图像包括撷取常规图像并撷取桥接图像，其中，该常规图像与该桥接图像交错，且其中，以低于该常规图像的空间分辨率撷取该桥接图像；
通过处理单元接收该高帧率图像；
通过该处理单元对该高帧率图像应用图像配准，其中，所述对该高帧率图像应用该图像配准包括决定桥接图像之间或常规图像及桥接图像之间的目标图像配准；
依据从该图像配准导出的运动模型拼接该高帧率图像，以生成包括拼接图像及非拼接图像的拼接输出；以及
提供该拼接输出。
17.如权利要求16所述的方法，其中，与该常规图像相比，通过减少照明该胶囊相机的视场中的场景的光源能量来撷取该桥接图像。
18.如权利要求17所述的方法，其中，针对该桥接图像，该光源能量减少至少一半。
19.如权利要求17所述的方法，其中，调节该常规图像或该桥接图像的像素值以考虑不同的光源能量。
20.如权利要求16所述的方法，还包括压缩及解压缩所撷取的该高帧率图像，其中，与该常规图像相比，利用较高的压缩比来压缩该桥接图像。
21.如权利要求16所述的方法，其中，与该常规图像相比，以较低的位深度撷取该桥接图像。
22.如权利要求21所述的方法，其中，调节该常规图像或该桥接图像的像素值以考虑不同的位深度。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2016/064245 WO2018101936A1 (en) | 2016-11-30 | 2016-11-30 | Method and apparatus for image stitching of images captured using a capsule camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110035687A CN110035687A (zh) | 2019-07-19 |
| CN110035687B true CN110035687B (zh) | 2022-02-11 |
Family
ID=62242664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680091275.8A Active CN110035687B (zh) | 2016-11-30 | 2016-11-30 | 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10943342B2 (zh) |
| CN (1) | CN110035687B (zh) |
| WO (1) | WO2018101936A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909609B (zh) * | 2017-11-01 | 2019-09-20 | 欧阳聪星 | 一种图像处理方法及装置 |
| US11184556B2 (en) | 2018-10-31 | 2021-11-23 | Signify Holding B.V. | Camera vision system overlap management without network coordination |
| EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101485192A (zh) * | 2006-10-30 | 2009-07-15 | 松下电器产业株式会社 | 图像生成装置以及图像生成方法 |
| CN101493936A (zh) * | 2008-05-30 | 2009-07-29 | 内蒙古科技大学 | 一种基于图像边缘的多分辨非刚性头部医学图像配准方法 |
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉系统目标图像稳定化方法 |
| CN102110227A (zh) * | 2010-11-24 | 2011-06-29 | 清华大学 | 基于上下文关系的多分辨率遥感图像复合分类方法 |
| CN103003662A (zh) * | 2010-07-15 | 2013-03-27 | 佳能株式会社 | 用于测量被检表面的形状的测量方法、测量设备和光学元件的制造方法 |
| CN103168315A (zh) * | 2010-09-09 | 2013-06-19 | 数字光学欧洲有限公司 | 手持式设备上的立体(3d)全景图创建 |
| CN103201766A (zh) * | 2010-11-03 | 2013-07-10 | 伊斯曼柯达公司 | 产生高动态范围图像的方法 |
| CN103607954A (zh) * | 2011-06-10 | 2014-02-26 | 皇家飞利浦有限公司 | 用于混合式扫描器上ac和定位的剂量优化方案 |
| CN104395928A (zh) * | 2012-06-28 | 2015-03-04 | 阿尔卡特朗讯公司 | 用于生成高分辨率视频流的方法和系统 |
| CN104851091A (zh) * | 2015-04-28 | 2015-08-19 | 中山大学 | 一种基于卷积增强和hcs变换的遥感影像融合方法 |
| CN106023078A (zh) * | 2016-05-18 | 2016-10-12 | 南京普爱医疗设备股份有限公司 | 一种dr影像的拼接方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7097311B2 (en) * | 2003-04-19 | 2006-08-29 | University Of Kentucky Research Foundation | Super-resolution overlay in multi-projector displays |
| CN100498839C (zh) * | 2006-03-08 | 2009-06-10 | 杭州电子科技大学 | 一种多模态医学体数据三维可视化方法 |
| US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| CN101216939B (zh) * | 2008-01-04 | 2010-06-02 | 江南大学 | 基于量子行为粒子群算法的多分辨率医学图像配准方法 |
| US8529441B2 (en) | 2008-02-12 | 2013-09-10 | Innurvation, Inc. | Ingestible endoscopic optical scanning device |
| US8078009B2 (en) * | 2008-07-08 | 2011-12-13 | Harris Corporation | Optical flow registration of panchromatic/multi-spectral image pairs |
| GB201002973D0 (en) * | 2010-02-23 | 2010-04-07 | Airbus Operations Ltd | Recording the location of a point of interest on an object |
| EP2939210A4 (en) * | 2012-12-31 | 2016-03-23 | Given Imaging Ltd | SYSTEM AND METHOD FOR DISPLAYING AN IMAGE STREAM |
| CN105308621B (zh) * | 2013-05-29 | 2019-05-21 | 王康怀 | 从活体内多相机胶囊重建影像 |
| CN106455956A (zh) * | 2014-06-01 | 2017-02-22 | 王康怀 | 通过置信度匹配重建来自体内多相机胶囊的图像 |
| JP2017536968A (ja) * | 2014-12-04 | 2017-12-14 | ミカエル・トロルサス | 画像取得制御に用いられるカプセルコーティング |
| CN104732482B (zh) * | 2015-03-30 | 2018-06-12 | 中国人民解放军63655部队 | 一种基于控制点的多分辨率图像拼接方法 |
| US20160295126A1 (en) * | 2015-04-03 | 2016-10-06 | Capso Vision, Inc. | Image Stitching with Local Deformation for in vivo Capsule Images |
| US10402992B2 (en) * | 2015-10-16 | 2019-09-03 | Capsovision Inc. | Method and apparatus for endoscope with distance measuring for object scaling |
-
2016
- 2016-11-30 US US16/462,215 patent/US10943342B2/en active Active
- 2016-11-30 CN CN201680091275.8A patent/CN110035687B/zh active Active
- 2016-11-30 WO PCT/US2016/064245 patent/WO2018101936A1/en active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101485192A (zh) * | 2006-10-30 | 2009-07-15 | 松下电器产业株式会社 | 图像生成装置以及图像生成方法 |
| CN101493936A (zh) * | 2008-05-30 | 2009-07-29 | 内蒙古科技大学 | 一种基于图像边缘的多分辨非刚性头部医学图像配准方法 |
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉系统目标图像稳定化方法 |
| CN103003662A (zh) * | 2010-07-15 | 2013-03-27 | 佳能株式会社 | 用于测量被检表面的形状的测量方法、测量设备和光学元件的制造方法 |
| CN103168315A (zh) * | 2010-09-09 | 2013-06-19 | 数字光学欧洲有限公司 | 手持式设备上的立体(3d)全景图创建 |
| CN103201766A (zh) * | 2010-11-03 | 2013-07-10 | 伊斯曼柯达公司 | 产生高动态范围图像的方法 |
| CN102110227A (zh) * | 2010-11-24 | 2011-06-29 | 清华大学 | 基于上下文关系的多分辨率遥感图像复合分类方法 |
| CN103607954A (zh) * | 2011-06-10 | 2014-02-26 | 皇家飞利浦有限公司 | 用于混合式扫描器上ac和定位的剂量优化方案 |
| CN104395928A (zh) * | 2012-06-28 | 2015-03-04 | 阿尔卡特朗讯公司 | 用于生成高分辨率视频流的方法和系统 |
| CN104851091A (zh) * | 2015-04-28 | 2015-08-19 | 中山大学 | 一种基于卷积增强和hcs变换的遥感影像融合方法 |
| CN106023078A (zh) * | 2016-05-18 | 2016-10-12 | 南京普爱医疗设备股份有限公司 | 一种dr影像的拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| An effective video stitching method;Linqiang Chen，等;《2010 International Conference On Computer Design and Applications》;20100627;297-301 * |
| Robust image registration for multi-frame mobile applications;Marius Tico，等;《2010 Conference Record of the Forty Fourth Asilomar Conference on Signals, Systems and Computers》;20101010;860-864 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US10943342B2 (en) | 2021-03-09 |
| US20190287229A1 (en) | 2019-09-19 |
| CN110035687A (zh) | 2019-07-19 |
| WO2018101936A1 (en) | 2018-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10068334B2 (en) | Reconstruction of images from an in vivo multi-camera capsule | |
| Weibel et al. | Graph based construction of textured large field of view mosaics for bladder cancer diagnosis | |
| CN110035687B (zh) | 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 | |
| EP3148399B1 (en) | Reconstruction of images from an in vivo multi-camera capsule with confidence matching | |
| US20160295126A1 (en) | Image Stitching with Local Deformation for in vivo Capsule Images | |
| US20150045619A1 (en) | System and method for mosaicing endoscope images using wide angle view endoscope | |
| Iakovidis et al. | Efficient homography-based video visualization for wireless capsule endoscopy | |
| CN109068035B (zh) | 一种智能微相机阵列内窥成像系统 | |
| JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
| US11120547B2 (en) | Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching | |
| Pandey et al. | A novel technique for mosaicing of medical images | |
| CN113034365B (zh) | 一种基于超像素的多图拼接方法及系统 | |
| JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
| CN110520893B (zh) | 对通过胶囊相机所撷取的图像进行图像处理并显示的方法 | |
| Peng et al. | Endoscopic video deblurring via synthesis | |
| WO2016160862A1 (en) | Method of overlap-dependent image stitching for images captured using a capsule camera | |
| CN108615223A (zh) | 基于局部优化算法的牙齿唇颊侧全景图像拼接方法 | |
| US10624533B2 (en) | Endoscope with images optimized based on depth map derived from structured light images | |
| CN114463236A (zh) | 单目内窥镜三维图像的显示方法和系统 | |
| CN116744088A (zh) | 一种内窥镜成像系统及其数据传输方法 | |
| Morteza Safdarnejad et al. | Spatio-Temporal Alignment of Non-Overlapping Sequences From Independently Panning Cameras | |
| Li et al. | Improved IBP for super-resolving remote sensing images | |
| Safdarnejad et al. | Spatio-Temporal Alignment of Non-Overlapping Sequences from Independently Panning Cameras | |
| CN117294829A (zh) | 深度补偿方法及其装置 | |
| JP2006020746A (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |