CN111308690B - 一种光场电子内窥设备及其成像方法 - Google Patents
一种光场电子内窥设备及其成像方法 Download PDFInfo
- Publication number
- CN111308690B CN111308690B CN201911229431.4A CN201911229431A CN111308690B CN 111308690 B CN111308690 B CN 111308690B CN 201911229431 A CN201911229431 A CN 201911229431A CN 111308690 B CN111308690 B CN 111308690B
- Authority
- CN
- China
- Prior art keywords
- light field
- endoscopic
- image
- light
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 115
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 41
- 239000013307 optical fiber Substances 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 241000251468 Actinopterygii Species 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000005855 radiation Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 239000002775 capsule Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012634 optical imaging Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000003800 pharynx Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
Landscapes
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种光场电子内窥设备及其成像方法，光场电子内窥设备包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有多个微小结构以及相同的焦距，光学超透镜阵列与内窥物镜、探测器之间满足预设的位置关系，以使探测器获取四维光场信息。本发明通过内窥物镜和光学超透镜阵列直接获取光场图像，保留了原始的光场四维信息，使用电缆传递信号，不会影响光线的角度信息，从而提高光场图像处理的精度。
Description
技术领域
本发明涉及内窥成像的技术领域，尤其涉及一种光场电子内窥设备及其成像方法。
背景技术
传统光学相机将人眼可以看到的三维物体信息压缩在二维的探测器上，因而所记录的图像一般只包含位置信息和失去了角度信息。光场成像通过保留光线的方向和位置的四维信息，可通过后续图像处理手段复原出光辐射的三维分布信息，从而获得重聚焦的数字图像和超大景深的显微图像，后者也进一步用于光场图像的三维重建。光场成像的雏形可以追溯到1903年Ives发明的双目视差显示系统中运用的针孔成像技术，通过在主透镜的像面处放置一针孔面阵列，从而使原像面某一像元处的光辐射按角度进行重新分布后记录在光探测器上，避免了光线角度信息的丢失。
图1(a)为现有技术中四维光场的参数化示意图，图1(b)为现有技术中光场相机的原理图。1908年，Lippman发明集成照相术,通过把针孔阵列换成微透镜阵列，由于单个微透镜片位置的差别，对应在底片上接收到的是具有微小差别的一系列基元图像，该思想后被广泛运用于三维全息成像。Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分来计算像面上每点的光辐射量。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证。20世纪末，随着计算机技术的不断发展和微透镜制作精度的不断提高，Anderson和Levoy等相继提出了全光场以及光场渲染理论，从而将光场进行参数化表示来实现光场图像的复原和重建。在此基础上，Ng Ren在2005年发明了第一台手持式光场照相机，其操作方便，可在影像第一次获取后再对其他物点进行重对焦，工作原理如图1(b)所示。2006年，Levoy将光场理论运用于显微成像，并发明出了光场显微镜，能够一次曝光得到多个视角多组焦平面图像，从而得到大景深的三维显微图像。然而，光场成像记录光线角度信息是以牺牲一定的空间分辨率为代价，导致常规的光场相机普遍存在图像的空间分辨率不能满足需求；如果加大图像空间分辨率的同时兼顾探测器尺寸限制，则会对光学元器件提出更高的加工性能要求。
专利公告号为CN103417181B，专利名称为“一种光场视频摄像机内窥方法”的现有技术公开的光场视频摄像机包含内窥物镜、传像光纤、目镜、光场视频摄像机和显示屏，其原理为内窥物镜获取二维图像经过传像光纤后在用光场视频摄像机进行光场图像的在获取。此方法避免了将体积过大的微透镜阵列放置于物镜处，从而可以保留现有的光纤内窥镜结构。现有技术(CN103417181B)由于采用光纤传递二维影像，在传递图像过程中已经模糊了大部分光线的角度信息，会导致光场视频摄像机获得的光场图像并非原始影像，大大影响光场图像的复原和重建精度。
现有技术(CN103417181B)具有如下缺点：(1)重聚焦精度差。该方案中的光场内窥通过是通过传像光纤束将二维影像传出后再对已获得的二维图像或视频进行光场化，而光纤传像束中的每一根光纤代表一个像素，是一个像素点所有光线在空间角度维的积分，因而角度信息在二维图像获得时已经大量丢失。所以后续光场视频摄像机获得的光场图像仅仅是对该二维图像的光场化，原始物体表面发出的上千万根光线携带的大量角度信息中涵盖了物体的景深和角度不能很好的复原。所以该方案获取的光场信号仅仅是该二维图像的光场，并不能很好的表征和重现原始物体的三维形貌，而重聚焦其实是在观察物体不同的景深剖面，因而光场图像重聚焦的精度受限，也不能在此基础上进行三维图像的重建。(2)空间分辨率低。由于光纤传像大大限制了空间分辨率(不超过10万根光纤束)，再加上光场视频摄像机对空间分辨率的进一步降低(大于4倍)，最终获得的影像分辨率会很低。
授权公告号为205181290U，专利名称为“具有拍照后聚焦功能的光场式胶囊内窥相机”的现有技术将所有的硬件集成在一个胶囊里，进入消化道后，依靠肠胃组织蠕动自上向下单向运行，同时获取光场图像，再通过无线信号将获取的光场图像传输到人体外的接收装置。由于胶囊相机对微镜片体积的限制，所获取的图像空间分辨率极低；此外光场重聚焦并不能针对很远范围内的物体，而只限于对焦物平面较近的区域，由于胶囊相机在体内的运动很随机，并不能保证所需要观察的组织样本一直在光场相机的景深范围内，导致复原图片的精度和有效性都大大受限。
现有技术(205181290U)具有如下缺点：(1)单镜片的主镜大大影响了光场图像的锐度。(2)光场图像的智能化处理受限。由于采用了常规的微镜片阵列，在胶囊内窥相机的体积束缚下，微镜片数量和可实现的空间分辨率以及景深都大大受限，这限制了后续对光场图像的智能处理。
发明内容
为解决现有技术存在的局限和缺陷，本发明提供一种光场电子内窥设备，包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，所述内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，所述光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有多个微小结构以及相同的焦距，所述光学超透镜阵列与所述内窥物镜、所述探测器之间满足预设的位置关系，以使所述探测器获取四维光场信息。
可选的，当所述光学超透镜阵列的位置在所述内窥物镜的一次像面时，所述光学超透镜阵列与所述探测器的位置关系满足l＝f，其中，l是所述光学超透镜阵列与所述探测器之间的距离，f是所述光学超透镜阵列的亚单元的焦距。
可选的，当所述光学超透镜阵列的位置不在所述内窥物镜的一次像面时，所述光学超透镜阵列与所述探测器的位置关系满足1/a+1/b＝1/f，其中，a是所述光学超透镜阵列与所述一次像面的偏离距离，b是所述光学超透镜阵列与所述探测器之间的距离，f是所述光学超透镜阵列的亚单元的焦距。
可选的，所述光源包括可调光源和导光光纤或者所述光源包括集成LED模块；
所述集成控制系统用于控制所述内窥光场相机和所述光源的光源信号进行同步，所述内窥光场相机用于收集和捕获四维光场信息，通过电缆传输至所述集成控制系统，所述集成控制系统用于对所述四维光场信息进行读出电路和图像的预处理，所述光场图像智能处理系统用于进行光场图像处理；
所述内窥光场相机设置在可弯曲电缆的前端，用于进入待测人体内部管道器官，插入部分直径需控制在数毫米以内；
所述光源用于照亮待测目标的表面，调节光照亮度和光谱范围，获得光场图像；
所述光场图像智能处理系统用于对所述光场图像进行标定和几何校正，在依次经过超分辨、重聚焦和三维重建获得增强之后的光场图像。
可选的，所述微小结构包括多个纳米级别或者亚微米级别的圆柱，每个微小结构具有不同的直径、高度、中心位置以及数量，获取不同的焦距和波前相位分布。
可选的，所述亚单元是方形或者圆形，在二维空间上具有可重复性。
可选的，所述集成电路控制系统用于控制所述内窥光场相机、所述光源和所述光场图像智能处理系统，对观测目标进行拍摄，存储视频影像，将采集的图像数据传输至计算机。
可选的，所述内窥物镜为显微物镜或者鱼眼物镜。
本发明还提供一种光场电子内窥设备的成像方法，所述光场电子内窥设备包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，所述光源包括可调光源和导光光纤或者所述光源包括集成LED模块；
所述内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，所述光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有相同的焦距和微小结构，所述光学超透镜阵列与所述内窥物镜、所述探测器之间满足预设的位置关系，以使所述探测器获取四维光场信息；
所述成像方法包括：
所述集成控制系统控制所述内窥光场相机和所述光源的光源信号进行同步，所述内窥光场相机收集和捕获四维光场信息，通过电缆传输至所述集成控制系统，所述集成控制系统对所述四维光场信息进行读出电路和图像的预处理，所述光场图像智能处理系统进行光场图像处理；
所述内窥光场相机设置在可弯曲电缆的前端，进入待测人体内部管道器官，插入部分直径需控制在数毫米以内；
所述光源照亮待测目标的表面，调节光照亮度和光谱范围，获得光场图像；
所述光场图像智能处理系统对所述光场图像进行标定和几何校正，在依次经过超分辨、重聚焦和三维重建获得增强之后的光场图像。
可选的，还包括：
所述集成电路控制系统控制所述内窥光场相机、所述光源和所述光场图像智能处理系统，对观测目标进行拍摄，存储视频影像，将采集的图像数据传输至计算机。
本发明具有下述有益效果：
本发明提供一种光场电子内窥设备及其成像方法，光场电子内窥设备包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，光源包括可调光源和导光光纤或者光源包括集成LED模块，内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有多个微小结构以及相同的焦距，光学超透镜阵列与内窥物镜、探测器之间满足预设的位置关系，以使探测器获取四维光场信息。本发明通过内窥物镜和光学超透镜阵列直接获取光场图像，保留了原始的光场四维信息，使用电缆传递信号，不会影响光线的角度信息，从而提高光场图像处理的精度。本发明使用光学超透镜阵列替代常规的微镜片阵列，从而大大提高了光学成像性能。本发明可以选择LED照明模块，也可以选择导光光纤从外部导入用户自定义光源，从而使得窄带成像、多光谱成像成为可能。另外，由于光学超透镜阵列是一个微纳光学表面，从外观上看就是一个平板玻璃，相比常规微镜片阵列，可以实现的透镜焦距更大，而且数量更多，从而为后续智能处理提供了更多的可能。而且，探测器可以选择的范围也更为广泛，这大大提高了仪器的整体性能。
附图说明
图1(a)为现有技术中四维光场的参数化示意图。
图1(b)为现有技术中光场相机的原理图。
图2(a)为本发明实施例一提供的一种光场电子内窥设备的结构示意图。
图2(b)为本发明实施例一提供的另一种光场电子内窥设备的结构示意图。
图3(a)为本发明实施例一提供的一种内窥光场相机的光路示意图。
图3(b)为本发明实施例一提供的另一种内窥光场相机的光路示意图。
图4(a)为本发明实施例一提供的光学超透镜阵列的结构示意图。
图4(b)为本发明实施例一提供的光学超透镜阵列的部分结构放大图。
图5为本发明实施例一提供的集成控制系统的结构示意图。
图6为本发明实施例二提供的光场图像预处理的流程图。
图7为本发明实施例二提供的多视角图像超分辨的流程图。
图8为本发明实施例二提供的四维光场的参数化示意图。
图9为本发明实施例二提供的数字重聚焦的原理图。
图10(a)为本发明实施例二提供的光场显微重聚焦示意图。
图10(b)为本发明实施例二提供的不同景深的三维截面图。
其中，附图标记为：待测目标-1；内窥光场相机-2；导光光纤-3；可弯曲电缆-4；可调光源-5；集成控制系统-6；光场图像智能处理系统-7；集成LED模块-8；光学超透镜阵列-9；探测器-10；一次像面-11；亚单元-12。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的光场电子内窥设备及其成像方法进行详细描述。
实施例一
本实施例中，内窥成像是用于观测耳鼻咽喉、呼吸道、消化道等深入体内的相关器官，其解剖结构及其精细、复杂，不能直接窥视，因此内窥医用成像仪器在相关领域发挥着重要作用。可用于人体内部器官检查的成像技术包括X射线造影、B超和内窥光学成像，其中B超和X射线均采用高频电磁波作为成像载体，由于波长极短，可无障碍穿透人体，从而进行成像。与光学可见波段的成像不同，看到的影像是通过声波或者X射线进行二维或三维距离重建的结果，多为黑白影像，很难看到血管的直观、精细结构。因而，可进行“内部直接窥视”的光学内窥成像仪器具有不可替代的作用。光学内窥镜根据使用部位的不同，可以分为喉镜、鼻腔镜、胃镜、肠镜、支气管镜、输尿管镜、子宫镜、腹腔镜等，它们的共同特点是，采用照明光源、具备光学成像功能的镜头和细长的管道进入人体内部，以近距离观察人体组织器官的状况。由于被观察细胞或组织极其靠近相机(<1mm)导致景深很小、人体内部光照不足或者不均匀、使用场合极其狭小(<5mm)和细长软管带来的操作不便等，内窥图像很容易出现跑焦、失焦现象，大大增加医生诊断困难和病患接受检查的时间。
随着CPU运算速度的爆炸式增长和重构算法的不断改进，与计算机性能紧密联系在一起的光场成像技术的发展迅猛。目前光场成像正逐步渗透到航空拍摄、动画渲染、安全监视、科学仪器等各个领域，朝着集成化、实用化、多元化的方向迈进。但是在空间局限更多的内窥医学成像领域，光场成像尚未获得足够的运用。加入光场信息来实现更多维度内窥影像的获取，充分运用日益强大的计算分辨率增强、智能医学影像处理等技术来提高内窥图像的客观识别病变的能力，将是未来内窥技术发展的一个重要方向。当前光场成像在获取内窥图像上发展缓慢，主要有两个局限因素：一是目前用于获取光场信息的相机阵列或微透镜阵列体积较大，无法深入人体耳鼻咽喉、呼吸道、消化道等相关器官；二是狭窄的人体内部环境导致内窥影像的空间分辨率受到极大的掣肘，光场的获取也需要牺牲一定空间分辨率，容易导致图像分辨率过低而无法使用。
图2(a)为本发明实施例一提供的一种光场电子内窥设备的结构示意图，图2(b)为本发明实施例一提供的另一种光场电子内窥设备的结构示意图。本实施例提出的光场电子内窥设备包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统。所述光源包括可调光源和导光光纤或者所述光源包括集成LED模块。
光场电子内窥设备的工作流程简述如下：集成控制系统控制内窥光场相机和光源信号的同步，光场相机收集和捕获四维光场信号，通过电缆传输至集成控制系统进行简单的读出电路和图像预处理，最后在计算机里进行光场图像的智能处理。
内窥光场相机被安装在可弯曲电缆的前端，进入待测人体内部管道器官，插入部分直径需控制在数毫米以内以减少病人的不适。光源照射待观测组织表面，光照亮度和光谱范围可调，从而获得最佳光照下的图像。集成电路控制系统对光源照明、内窥光场相机快门和计算机界面采集界面进行控制，对观测目标进行拍摄而且存储视频影像，将采集到的图像数据送到计算机。光场成像智能处理软件对光场图像分别做标定、几何校正之后再依次经过超分辨、重聚焦和三维重建获得增强后的光场数据。使用者可以自主选择不同的处理模式，切换使用不同影像数据来适用人体内部管道器官检查的多功能需求。
图3(a)为本发明实施例一提供的一种内窥光场相机的光路示意图，图3(b)为本发明实施例一提供的另一种内窥光场相机的光路示意图。本实施例使用光学超透镜阵列代替常规微透镜或相机阵列获取光场图像，其体积远小于现有的微透镜阵列，可放置于内窥物镜中继像面附近直接成像至电子内窥镜的探测器，保证了原始四维光场信息的获取。光学超透镜可以通过光刻、微纳光学镜头打印等技术来实现大规模复刻。其中的内窥物镜和超透镜阵列具体形式以及刻度尺寸仅作为示意，其他形式的内窥物镜和超透镜阵列也不脱离本发明的范畴，包括改变透镜的数量、几何外形、材料等。此外，内窥物镜也可以换成其他形式的物镜，比如显微物镜等，放大局部区域来实现细胞级别的微小观测。
本实施例使用的光学超透镜需要经过特殊的设计和位置考虑才能满足获取光场的条件：(i)光学超透镜与前置物镜的位置，需处于前置内窥物镜的一次像面处，这样才能保证四维光场信息的获取，放置于其他位置会导致四维光场信息的缺失。(ii)光学超透镜必须具备一定的周期阵列特性，可以称之为超透镜阵列。图4(a)为本发明实施例一提供的光学超透镜阵列的结构示意图，图4(b)为本发明实施例一提供的光学超透镜阵列的部分结构放大图。超透镜的表面需具备一定的亚单元，每个亚单元拥有相同的焦距和类似的表面微小结构。微小结构是由多个纳米或者亚微米级的圆柱构成，其直径、高度、中心位置以及数量可以变化从而获取不同的焦距和波前相位分布。每个亚单元可以是方形或者圆形口径，在二维空间上具备可重复的特性，而重复的次数决定了内窥影像所能达到的分辨率S×T，但可以采用超分辨率的方法对其进行提高。(iii)光学超透镜与探测器的距离，需要满足l＝f的条件，其中f是超透镜每个亚单位的焦距。
在其他特殊实施形式中，光学超透镜可以不处于内窥物镜的一次像面位置，但是需要使探测器和一次像面处于物像共轭的关系。假定超透镜与一次像面有一定的偏离距离a，需要满足条件1/a+1/b＝1/f。
在以上所有的实施形式中，超透镜可以不止一片，而是几片胶合在一起的结构。胶合的超透镜的整体性能依然满足以上所描述的位置要求和周期性的结构。
高度集成的电路控制系统对图像传感器驱动、图像的采集和处理、结果的显示等进行一体化控制，实现高性能自动化检测。具备通用总线接口的集成控制系统对光源装置、运动装置和图像采集设备进行高精度的运行控制和数据传输，并可以对采集到图像和视频数据进行数据预清洗、疑似病变区域智能标定，支持用户快速、实时地完成相关医疗检测操作。
图5为本发明实施例一提供的集成控制系统的结构示意图。集成控制系统作为本装置的中枢，处理各个分系统，主要功能包括控制前端光源装置的强度，采集前端光源装置和广角物镜的图像信息、视频数据和工作状态参数，对图像信息和视频数据进行预处理，为用户提供辅助智能诊断工具，快速定位病变位置，最后将采集到的所有诊断数据分类保存，以便后续用户进一步分析判读。集成控制系统服务于电子内窥镜的全工作周期，包括系统实时运行、数据回放和系统自检三种工作模式，在集成控制系统运行过程中，集成控制软件通过标准的硬件接口，控制光源装置的亮度、图像和视频采集参数(帧频、快门数、分辨率)，将采集到的数据按照一定的格式进行保存。
本实施例提供一种光场电子内窥设备，包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，光源包括可调光源和导光光纤或者光源包括集成LED模块，内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有多个微小结构以及相同的焦距，光学超透镜阵列与内窥物镜、探测器之间满足预设的位置关系，以使探测器获取四维光场信息。本实施例通过内窥物镜和光学超透镜阵列直接获取光场图像，保留了原始的光场四维信息，使用电缆传递信号，不会影响光线的角度信息，从而提高光场图像处理的精度。本实施例使用光学超透镜阵列替代常规的微镜片阵列，从而大大提高了光学成像性能。本实施例可以选择LED照明模块，也可以选择导光光纤从外部导入用户自定义光源，从而使得窄带成像、多光谱成像成为可能。另外，由于光学超透镜阵列是一个微纳光学表面，从外观上看就是一个平板玻璃，相比常规微镜片阵列，可以实现的透镜焦距更大，而且数量更多，从而为后续智能处理提供了更多的可能。而且，探测器可以选择的范围也更为广泛，这大大提高了仪器的整体性能。
实施例二
本实施例提供的四维光场信号降低了原内窥物镜的空间分辨率，需利用深度学习等超分辨率算法来提高光场内窥图像的分辨率。由于光场图像保留了光线的角度和位置信息，本实施例可以在检查完毕之后对内窥影像进行重聚焦和三维重建来获得高清的对焦准确图像，使得医生在使用内窥镜时不必一一查看细节和等待图像对焦清晰，从而节省大量检查时间，减轻病患检查痛苦。重聚焦的高清图像也可用于病变区域自动识别，将会大大提高医生检查的效率，减少误诊、漏诊的概率。
通过集成控制系统获取多通道原始图像数据后，首先需要对光场图像进行预处理，包括暗电流噪声校正、平场校正、超透镜阵列标定、子图像提取和中心点定位等，为后续算法提供可靠的输入数据。其次，光场图像可以提取不同超透镜后的同样视角点，重建为多个视角的二维图像，每个视角的图像有亚像元的区别，利用超分辨率算法对多视角图像进行空间分辨率的增强。然后，数字重聚焦算法将增强后的影像与多视角图像融合获得增强后数字重聚焦图像。三维重建算法将不同视角的超分图像作为输入，提取图像特征点进行匹配和配准，得到目标区域的深度图再融合成三维图像。最终，处理后的图像可根据工作模式的不同进行显示，当处于三维模式时，立体图像可分解为左右眼模式显示，医生通过立体眼镜观看；当处于重聚焦成像模式时，经过融合增强后的图像在可触摸显示器中点击不同的位置即可重聚焦到该位置处，并对可以病灶区域进行增强显示，便于医生进行病变区域的位置精确快速诊断。
图6为本发明实施例二提供的光场图像预处理的流程图。本实施例根据光场数据的计算成像特性，在二维光场图转化为四维光场矩阵之前，先要对二维光场图像进行定标处理。图像定标的主要目的在于消除系统固有因素引起的图像误差，探测器的暗电流噪声，像元响应不一致，光学元件(透镜、超透镜阵列以及探测器感光面等)污染引起的图像奇异点，超透镜阵列杂散光等。然后，需要对超透镜阵列进行标定，确定其中心位置和子孔径区域，确保子图像之间没有重叠，以进行子图像的提取和拼接。最后，根据用均匀面光源获得的平场校正系数对拼接后的有效光场图像进行平场校正。
由于光场照片在拍摄过程中会牺牲横向分辨率去换取轴向分辨率，导致图像分辨率有所下降。本实施例将采用一种超分辨的方法去提高光场图像的空间分辨率。微透镜阵列中的每一个微透镜记录了一个子孔径图像，从这个子孔径图像中提取来自同一个视场的像素点，即可用重构出该视场方向的图像。如此，对所有的子孔径图像做处理，就可以重构出多个视角的图像。但是，由于探测器的像面大小有限，光场图像子孔径图像之间存在大量重复信息，导致记录的空间信息不足，同时也为超分辨重建技术来提高光场的分辨率提供了可能。目前有很多方法可以对光场图像进行超分辨重建，比如贝叶斯框架下利用盲反卷积、利用光场子孔径图像之间的视差关联采用混合高斯模型作为先验来提高分辨率、以及深度学习尤其是卷积神经网络等。
首先，本实施例使用频域方法计算低分辨光场图像的配准参数；其次，基于配准结果将这些低分辨图像的像素值投射到高分率的网格上部分位置之后，通过合适的插值方法(例如，双三次插值)生成初始的高分辨率图像；第三，对生成的初始高分辨率图像做高通滤波，找出加权特征；最后，通过稀疏表示执行超分辨率重建以生成最终的的超分辨图像。该方法具体描述如下：
以某一帧低分辨率图为参考，计算其他视角低分辨率图像的相对旋转角度α和亚像元偏移μ：
本实施例在完成配准参数估计之后，可利用低分辨率图像的配准参数将其投影到高分辨率网格；然后利用合适的插值方法生成初始高分辨率图像。提取该初始高分辨率图像的加权特征提取，由于人类视觉对高频信号更加敏感，所以挑选高频特征作为后续处理的关键信息，此步骤需要合理抑制噪声。对步骤二中生成的高分辨率网格图像的副本做低通滤波去除网格特征，并生成一系列的子图，赋予不同的权重信息：
其中，Pk(i，j)对应低k个子图上的像素值，Pkc代表中心像素点的值。
根据以上获取的自适应特征向量，进行局部子图的超分辨重建，并最后形成全视场的超分辨率图，包括四步：(1)求局部子图的均值；(2)对每个子图做权重向量估算；(3)根据权重想想和特征向量对子图的每个像素点做优化处理；(4)从重建后的超分辨子图生成全视场的超分辨率。
图7为本发明实施例二提供的多视角图像超分辨的流程图。图8为本发明实施例二提供的四维光场的参数化示意图。本实施例提出的内窥光场相机可以抽象出两个平面来表征四维光场。uv面为光学系统的主面，xy面是探测器所在的平面，LF(x,y,u,v)代表给定光线的光辐射量，下标F代表两平面之间的距离，像面上接受到的辐射量可表示为：
其中，θ为光线LF(x,y,u,v)与uv面法线的夹角(已包含于4D光场)，A(u,v)为光瞳函数。
假定xy和uv面无穷大，光瞳之外的光线LF(x,y,u,v)＝0，将公式简化为：
图9为本发明实施例二提供的数字重聚焦的原理图。通过数值积分近似求解，便可得到一幅数字图像。
为变焦倍率，xy面为重聚焦目标物所在的空间像平面，其接收到的光辐射量可表示为：
其中，
代入公式(5)，定义切片算子β[f](x)＝f(βx)，重聚焦后的图像表达式为：
在一般内窥物镜进行观测时，可以通过光场进行多视角图像的获取，从而根据双目立体的原理可以对图像进行三维重建，该原理较为成熟，此处不再赘述。光场在显微成像的时候，也能够突破传统几何图像的衍射限制，获得大孔径的同时，获得大景深的图像，通过不同景深处的图像叠加获得显微图像的三维重建。传统显微镜的景深由几何景深Δg和物理景深Δp两部分组成，总的景深为两者之和：
其中，NA为显微物镜的数值孔径，M为视角放大率，n为物方折射率，e为人眼能够分辨的物方两点之间的最小距离。通常情况下，Δp＞＞Δg，所以有：
在光场显微镜中，景深的来源也有三个方面：一是物理景深，二是牺牲一部分横向分辨率获取的轴向分辨率，三是重聚焦技术能够提取出多层焦面从而增大几何景深。近似计算公式为：
其中，a为微透镜面元的横向尺寸，Nu为单个微透镜面元成像在探测器上对应的像素数。
其中，σ＝0.5λ/NA是道威判据界定的分辨率大小。
本实施例将公式(11)代入公式(10)获得：
图10(a)为本发明实施例二提供的光场显微重聚焦示意图，图10(b)为本发明实施例二提供的不同景深的三维截面图。举例说明，用一个16×/0.4NA的非浸液物镜计算传统显微镜景深为Δt＝3.3μm，而光场显微的景深为Δlp＝261.6μm，计算结果表明景深得到将近百倍的提高。图10(a)为光场显微获取的四维光场数据，图10(b)为采用数字重聚焦方法获得的大景深的显微图像，以及聚焦于不同深度的三维显微图像截面。
本实施例将超透镜阵列用于内窥物镜获取光场内窥影像，从而实现先拍照后对焦的功能，大大增加医生内窥检查的操作便利，缩短检查时间，减少病患痛苦。进一步的，将智能光场图像处理技术应用于内窥影像，拓展了数字超分辨增强、重聚焦和三维图像重建等功能。数字超分辨增强和重聚焦可以大大提高内窥图像的空间分辨率，提高病变区域的自动检测率，为医疗健康大数据的建立提供更有效支撑。适用于观测人体内部喉部、鼻腔、腹腔、肠道、胰腺、支气管、输尿管等空间极其狭窄的场合。
本实施例采用超透镜阵列实现光场内窥镜影像，可以方便医生先拍照后聚焦，大大减少检查内窥检查的时间和病患痛苦。通过计算机、信号处理与光学成像等学科融合，引入数字光场图像的超分辨和三维重建于内窥检测系统，极大地拓展了现有电子内窥镜的功能，增强了空间分辨率和图像景深，辅助医生定位病变部位，从而提高疾病的诊断率。
本发明提到的实施方式仅仅作为本发明技术方案的示例性说明，而不应解释为对本发明的限制，任何对本发明进行显而易见的局部更改都应视为本发明的替代方案，这些更改和变化不脱离本发明的实质范围：
(1)对内窥物镜局部改变，包括改变透镜的数量、几何外形、材料等。
(2)对内窥物镜的整体改变，包括用显微物镜、鱼眼物镜等替换常规内窥物镜。
(3)对超透镜阵列的改变，包括超透镜的大小和数量、使用材料、加工方法等。
(4)对光场图像进行超分辨的实现手段，可以是深度学习、神经网络、遗传算法等已有的算法，并不局限于某一种。
Claims (7)
1.一种光场电子内窥设备，其特征在于，包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，所述内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，所述光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有多个微小结构以及相同的焦距，所述光学超透镜阵列与所述内窥物镜、所述探测器之间满足预设的位置关系，以使所述探测器获取四维光场信息；
当所述光学超透镜阵列的位置在所述内窥物镜的一次像面时，所述光学超透镜阵列与所述探测器的位置关系满足l=f，其中，l是所述光学超透镜阵列与所述探测器之间的距离，f是所述光学超透镜阵列的亚单元的焦距；
当所述光学超透镜阵列的位置不在所述内窥物镜的一次像面时，所述光学超透镜阵列与所述探测器的位置关系满足1/a+1/b=1/f，其中，a是所述光学超透镜阵列与所述一次像面的偏离距离，b是所述光学超透镜阵列与所述探测器之间的距离，f是所述光学超透镜阵列的亚单元的焦距；
所述光源包括可调光源和导光光纤或者所述光源包括集成LED模块；
所述集成控制系统用于控制所述内窥光场相机和所述光源的光源信号进行同步，所述内窥光场相机用于收集和捕获四维光场信息，通过电缆传输至所述集成控制系统，所述集成控制系统用于对所述四维光场信息进行读出电路和图像的预处理，所述光场图像智能处理系统用于进行光场图像处理；
所述内窥光场相机设置在可弯曲电缆的前端，用于进入待测人体内部管道器官，插入部分直径需控制在数毫米以内；
所述光源用于照亮待测目标的表面，调节光照亮度和光谱范围，获得光场图像；
所述光场图像智能处理系统用于对所述光场图像进行标定和几何校正，在依次经过超分辨、重聚焦和三维重建获得增强之后的光场图像。
2.根据权利要求1所述的光场电子内窥设备，其特征在于，所述微小结构包括多个纳米级别或者亚微米级别的圆柱，每个微小结构具有不同的直径、高度、中心位置以及数量，获取不同的焦距和波前相位分布。
3.根据权利要求1所述的光场电子内窥设备，其特征在于，所述亚单元是方形或者圆形，在二维空间上具有可重复性。
4.根据权利要求1所述的光场电子内窥设备，其特征在于，所述集成控制系统用于控制所述内窥光场相机、所述光源和所述光场图像智能处理系统，对观测目标进行拍摄，存储视频影像，将采集的图像数据传输至计算机。
5.根据权利要求1所述的光场电子内窥设备，其特征在于，所述内窥物镜为显微物镜或者鱼眼物镜。
6.一种光场电子内窥设备的成像方法，其特征在于，所述光场电子内窥设备包括内窥光场相机、光源、集成控制系统和光场图像智能处理系统，所述光源包括可调光源和导光光纤或者所述光源包括集成LED模块；
所述内窥光场相机包括内窥物镜、探测器以及至少一个光学超透镜阵列，所述光学超透镜阵列的表面设置有多个亚单元，每个亚单元具有相同的焦距和微小结构，所述光学超透镜阵列与所述内窥物镜、所述探测器之间满足预设的位置关系，以使所述探测器获取四维光场信息；
所述成像方法包括：
所述集成控制系统控制所述内窥光场相机和所述光源的光源信号进行同步，所述内窥光场相机收集和捕获四维光场信息，通过电缆传输至所述集成控制系统，所述集成控制系统对所述四维光场信息进行读出电路和图像的预处理，所述光场图像智能处理系统进行光场图像处理；
所述内窥光场相机设置在可弯曲电缆的前端，进入待测人体内部管道器官，插入部分直径需控制在数毫米以内；
所述光源照亮待测目标的表面，调节光照亮度和光谱范围，获得光场图像；
所述光场图像智能处理系统对所述光场图像进行标定和几何校正，在依次经过超分辨、重聚焦和三维重建获得增强之后的光场图像。
7.根据权利要求6所述的光场电子内窥设备的成像方法，其特征在于，还包括：
所述集成控制系统控制所述内窥光场相机、所述光源和所述光场图像智能处理系统，对观测目标进行拍摄，存储视频影像，将采集的图像数据传输至计算机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229431.4A CN111308690B (zh) | 2019-12-04 | 2019-12-04 | 一种光场电子内窥设备及其成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229431.4A CN111308690B (zh) | 2019-12-04 | 2019-12-04 | 一种光场电子内窥设备及其成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111308690A CN111308690A (zh) | 2020-06-19 |
| CN111308690B true CN111308690B (zh) | 2022-04-05 |
Family
ID=71156260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911229431.4A Active CN111308690B (zh) | 2019-12-04 | 2019-12-04 | 一种光场电子内窥设备及其成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111308690B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112098413A (zh) * | 2020-07-31 | 2020-12-18 | 中核核电运行管理有限公司 | 一种不可达部位光学腐蚀检查装置 |
| CN112261399B (zh) * | 2020-12-18 | 2021-03-16 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
| CN113900247A (zh) * | 2021-09-13 | 2022-01-07 | 北京航空航天大学 | 内窥镜 |
| CN113905164A (zh) * | 2021-10-09 | 2022-01-07 | 奕目(上海)科技有限公司 | 光场成像系统以及通过光场成像系统采集光场信息的方法 |
| CN113905165A (zh) * | 2021-10-09 | 2022-01-07 | 奕目(上海)科技有限公司 | 光场成像系统以及利用光场成像系统采集光场信息的方法 |
| CN114159029B (zh) * | 2021-11-30 | 2022-10-21 | 深圳先进技术研究院 | 光学相干层析扫描系统及其成像导管 |
| CN114137715B (zh) * | 2021-12-15 | 2023-09-29 | 湖南华南光电(集团)有限责任公司 | 一种基于光场成像的全景深手持观察镜光学系统 |
| CN114488511B (zh) * | 2021-12-23 | 2024-10-15 | 南京大学 | 一种基于深度测量辅助成像的拓展景深光纤内窥成像方法 |
| WO2024191870A1 (en) * | 2023-03-15 | 2024-09-19 | Qualcomm Incorporated | Meta-lens array for plenoptic camera |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104539832A (zh) * | 2014-12-31 | 2015-04-22 | 上海理工大学 | 混合式光场成像系统 |
| CN205787334U (zh) * | 2016-06-02 | 2016-12-07 | 苏州大学 | 一种光场光谱显微成像装置 |
| CN106901679A (zh) * | 2017-04-27 | 2017-06-30 | 苏州双威医疗器械科技有限公司 | 荧光显微内窥成像系统及荧光显微内窥成像方法 |
| CN109068035A (zh) * | 2018-07-13 | 2018-12-21 | 中科光电(北京)科学技术有限公司 | 一种智能微相机阵列内窥成像系统 |
| CN109343217A (zh) * | 2018-11-13 | 2019-02-15 | 南京大学 | 一种基于超构透镜阵列的消色差光场相机系统及消色差方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7936392B2 (en) * | 2004-10-01 | 2011-05-03 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangements and methods therefor |
-
2019
- 2019-12-04 CN CN201911229431.4A patent/CN111308690B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104539832A (zh) * | 2014-12-31 | 2015-04-22 | 上海理工大学 | 混合式光场成像系统 |
| CN205787334U (zh) * | 2016-06-02 | 2016-12-07 | 苏州大学 | 一种光场光谱显微成像装置 |
| CN106901679A (zh) * | 2017-04-27 | 2017-06-30 | 苏州双威医疗器械科技有限公司 | 荧光显微内窥成像系统及荧光显微内窥成像方法 |
| CN109068035A (zh) * | 2018-07-13 | 2018-12-21 | 中科光电(北京)科学技术有限公司 | 一种智能微相机阵列内窥成像系统 |
| CN109343217A (zh) * | 2018-11-13 | 2019-02-15 | 南京大学 | 一种基于超构透镜阵列的消色差光场相机系统及消色差方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111308690A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111308690B (zh) | 一种光场电子内窥设备及其成像方法 | |
| JP6287238B2 (ja) | プレノプティック型検耳鏡 | |
| EP2235576B1 (en) | Grin lens microscope system | |
| CN106901680B (zh) | 光场耳镜的光学设计 | |
| US10098529B2 (en) | Optical design of a light field otoscope | |
| CN109068035B (zh) | 一种智能微相机阵列内窥成像系统 | |
| CN116430568A (zh) | 显微镜系统、显微镜自动对焦方法和医疗设备 | |
| CN103932661A (zh) | 全光耳镜 | |
| CN210902962U (zh) | 可扫描腹腔内部的腹腔镜外视镜装置 | |
| CN109893092B (zh) | 可扫描腹腔内部的腹腔镜外视镜装置 | |
| CN112835192B (zh) | 一种面向手术显微镜的立体图像互补增强装置及方法 | |
| CN110680264A (zh) | 基于双光路设计的3d光学内窥镜系统 | |
| US20230284883A9 (en) | Endoscopic three-dimensional imaging systems and methods | |
| CN216792582U (zh) | 内窥镜偏振光光学适配器 | |
| CN216696844U (zh) | 偏振光内窥镜光学适配器 | |
| US11806112B2 (en) | Method, system, software, and device for remote, miniaturized, and three-dimensional imaging and analysis of human lesions research and clinical applications thereof | |
| CN110115557B (zh) | 一种高光谱内窥成像装置及成像方法 | |
| CN220236851U (zh) | 一种内置3d成像装置的光学阴道镜 | |
| CN118172266B (zh) | 一种基于自适应光场重建和低秩分解的去高光内窥镜 | |
| CN111443477A (zh) | 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质 | |
| CN217548000U (zh) | 一种偏振光内窥镜光学适配器 | |
| CN115316919B (zh) | 双相机3d光学荧光内窥镜摄像系统、方法及电子设备 | |
| CN115054183B (zh) | 一种3d内窥镜的可调成像组件、3d内窥镜及成像系统 | |
| CN116849598A (zh) | 一种内置3d成像装置的光学阴道镜 | |
| US20240036297A1 (en) | Optical axis compensator for manually guided visual examination with vision aid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210113 Address after: 100040 No.19, Yuquan Road (a), Shijingshan District, Beijing Applicant after: University OF CHINESE ACADEMY OF SCIENCES Address before: Room 13-1-012, 1st floor, building 13, block 351, north side of Shuian hot spring, Wenquan Town, Haidian District, Beijing Applicant before: ZHONGKE PHOTOELECTRIC (BEIJING) SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230626 Address after: 101400 room 605, 6 / F, building 13, yard 53, Yanqi street, Yanqi Economic Development Zone, Huairou District, Beijing Patentee after: Beijing Zhongke endoscope technology Co.,Ltd. Address before: 100040 No.19, Yuquan Road (a), Shijingshan District, Beijing Patentee before: University OF CHINESE ACADEMY OF SCIENCES |