CN104434001A - 全方位三维立体视觉的单目内窥镜系统 - Google Patents

全方位三维立体视觉的单目内窥镜系统 Download PDF

Info

Publication number
CN104434001A
CN104434001A CN201410658292.8A CN201410658292A CN104434001A CN 104434001 A CN104434001 A CN 104434001A CN 201410658292 A CN201410658292 A CN 201410658292A CN 104434001 A CN104434001 A CN 104434001A
Authority
CN
China
Prior art keywords
fish
eye lens
monocular
sensor chip
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410658292.8A
Other languages
English (en)
Other versions
CN104434001B (zh
Inventor
王新伟
李友福
周燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN201410658292.8A priority Critical patent/CN104434001B/zh
Publication of CN104434001A publication Critical patent/CN104434001A/zh
Application granted granted Critical
Publication of CN104434001B publication Critical patent/CN104434001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种单目内窥镜系统。该单目内窥镜系统包括:透明护罩,由透明材料制备,呈圆筒状结构;图像传感器芯片,固定于透明护罩的后端,其所在平面与透明护罩的中心轴线垂直;鱼眼透镜,固定于透明护罩内,图像传感器芯片的正前方;以及二次曲面反射镜,固定于透明护罩内,鱼眼透镜的正前方,其凸部朝向鱼眼透镜。其中,单目内窥镜系统外围的环向视场内的场景信息透过透明护罩,并由二次曲面反射镜反射至鱼眼透镜,图像传感器芯片采集鱼眼透镜上的图像,从而实现环向视场内场景信息的收集。本发明采用鱼眼透镜和二次曲面反射镜结合的方式可实现环向360°成像,解决了传统内窥镜只能实现前向小视场成像的问题。

Description

全方位三维立体视觉的单目内窥镜系统
技术领域
本发明属于医学成像领域,尤其涉及一种全方位三维立体视觉的单目内窥镜系统。
背景技术
无创、微创外科技术是当代临床医学最主要的发展趋势之一,它推动了医疗工程朝着高度自动化、低损伤性诊断治疗的方向发展。传统的内窥镜诊疗术作为无创、微创外科的一种重要手段,得到了广泛的应用,其典型器材是光导纤维内窥镜、电子内窥镜和超声内窥镜。但是当前内窥镜技术主要是二维成像技术,所成图像缺乏三维空间信息,无法获得深度、尺寸等三维场景信息,使得医生在手术时需凭经验进行判断和操作。然而在临床医学上,很多胃肠道等疾病的病灶处具有独特的表面形貌,三维图像比二维图像更利于发现病灶处,并进行诊断。因此,如内窥镜可实现三维成像,则将利于诊断,并可大大提高手术安全系数,使许多高难度的手术得意顺利实施。
目前医用三维内窥镜技术主要有两种:双目视觉三维内窥镜和结构光三维内窥镜。其中,双目视觉三维内窥镜的前端集成两个微型摄像头,可从两个视点观察同一目标,获取不同视角下的目标图像,然后通过三角测量原理计算图像像素间的位置偏差(即视差)来获取目标的三维信息,实现三维成像,利用该方法的代表性发明专利有三维电子内窥镜摄像装置(专利申请号:201310018826.6),以及内窥镜和管道内壁三维图像重建方法(专利申请号:201310226328.0)等;结构光三维内窥镜则主要由一个微型摄像头和一个结构光投射器组成,工作时结构光投射器向目标投射结构光,结构光照射到目标上被目标表面形貌信息调制而发生变形,微型摄像头接收携带目标三维轮廓信息的变形光场,通过解调变形光场便可实现目标三维成像,利用该方法的代表性发明专利有振幅型投射光栅三维内窥镜(专利申请号:200810040865.5),三维内窥镜装置(专利申请号:201310027653.4)等。现有医用三维内窥镜技术存在以下问题:
(1)视野小无法实现全方位成像
现有三维内窥镜大多成像视场小,无法实现全景成像,如图1所示,对于肠道等环形腔道无法实现环向三维成像,只能获得内窥镜探头前方腔道或组织的图像,不能获取内窥镜探头环向的全景图像,存在较大盲区。
(2)直径尺寸瓶颈问题
对于传统的双目视觉三维内窥镜和结构光三维内窥镜,都存在尺寸瓶颈问题。对于双目视觉,为了形成视差图像,要求两个摄像头间满足一定的距离间隔,这大大限制了双目视觉三维内窥镜的直径尺寸的压缩;对于结构光三维内窥镜,则要求结构光投射器和摄像头间也必须满足一定的距离间隔,这限制了内窥镜直径尺寸的进一步压缩。因此,现有的三维内窥镜的直径尺寸遇到了瓶颈,难以进一步压缩内窥镜探头的直径尺寸。
发明内容
(一)要解决的技术问题
鉴于上述技术问题,本发明提供了一种单目内窥镜系统,以解决传统内窥镜只能实现前向小视场成像的问题。
(二)技术方案
根据本发明的一个方面,提供了一种单目内窥镜系统。该单目内窥镜系统包括:透明护罩7,由透明材料制备,呈圆筒状结构;图像传感器芯片1,固定于透明护罩7的后端,其所在平面与透明护罩7的中心轴线垂直;鱼眼透镜2,固定于透明护罩7内,图像传感器芯片1的正前方;以及二次曲面反射镜3,固定于透明护罩7内,鱼眼透镜2的正前方,其凸部朝向鱼眼透镜2。其中,单目内窥镜系统外围的环向视场内的场景信息透过透明护罩7,并由二次曲面反射镜3反射至鱼眼透镜2,图像传感器芯片1采集鱼眼透镜2上的图像,从而实现环向视场内场景信息的收集。
(三)有益效果
从上述技术方案可以看出,本发明全方位三维立体视觉的单目内窥镜系统具有以下有益效果:
(1)采用鱼眼透镜和二次曲面反射镜结合的方式可实现环向360°成像,并可提供二维全景图像,从而解决了传统内窥镜只能实现前向小视场成像的问题,尤其可用于环向360°成像需求的肠胃内窥成像;
(2)采用鱼眼透镜、二次曲面反射镜以及前视透镜组可实现不同视场场景信息的采集,并通过图像实现环向360°和不小于180°半球视域视场内场景的圆形全景图像,所以,相比于传统的医学内窥镜,本发明可提供更大视野内场景信息,有效减少盲区;
(3)实现三维成像所用的一个微型图像传感器芯片和一个鱼眼透镜及二次曲面反射镜均布放在内窥镜轴向方向,通过鱼眼透镜和二次曲面反射镜实现视差图像的采集与处理,实现立体视觉三维成像,解决了传统双目视觉内窥镜径向特定间局布放微型摄像头而导致三维内窥镜直径尺寸无法进一步压缩的问题,同时也为结构光三维内窥镜直径尺寸无法压缩而导致无法应用的情况提供了替代技术解决方案。
附图说明
图1为现有技术三维内窥镜的示意图;
图2A、图2B和图2C分别为根据本发明实施例单目内窥镜系统中单目内窥镜本体的剖面图、俯视图和侧视图;
图3A为图2A中单目内窥镜本体的光路图;
图3B为图2A中单目内窥镜本体的视场示意图;
图3C为由单目内窥镜本体中图像传感器芯片获得的原始图像;
图3D为利用图3C中的圆形环带图像A、B、D和E通过图像处理按照由内向外A、D、E和B的顺序进行图像融合后的圆形全景图像;
图3E为根据本发明实施例单目内窥镜系统中数据处理部分,利用图3C中相同感兴趣场景所成的不同视点的两幅图像-圆形环带C和圆形环带E进行三维重建,获得的三维图像。
【图中主要元件符号说明】
1-微型图像传感器芯片;        2-鱼眼透镜;
3-二次曲面反射镜;            4-前视透镜组;
5-LED灯;                     6-半透半反镜;
7-透明护罩;                  8-前视窗口;
9-头部固定支架;              10-鱼眼透镜固定支架;
11-外围电路板;               12-尾部护套;
13-前面板;                   14-导线束;
15-细导线束;                 16-通光孔;
17-目标。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。需要说明的是,在附图或说明书描述中,相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式,为所属技术领域中普通技术人员所知的形式。另外,虽然本文可提供包含特定值的参数的示范,但应了解,参数无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于相应的值。实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向。因此,使用的方向用语是用来说明并非用来限制本发明的保护范围。
本发明通过鱼眼透镜和二次曲面反射镜实现视差图像的采集,从而实现全方位三维立体视觉,解决了传统双目视觉内窥镜径向特定间局布放微型摄像头而导致三维内窥镜直径尺寸无法进一步压缩的问题。
在本发明的一个示例性实施例中,提供了一种全方位三维立体视觉的单目内窥镜系统。该单目内窥镜系统包括单目内窥镜本体(即光学部分)和数据处理装置(即计算机)。
图2A、图2B和图2C分别为根据本发明实施例单目内窥镜系统中单目内窥镜本体的剖面图、俯视图(从垂直前面板方向)和侧视图。请参照图2A、图2B和图2C,本实施例单目内窥镜系统中的单目内窥镜本体包括:透明护罩7,由透明材料制备,呈圆筒状结构;微型图像传感器芯片1,通过外围电路板固定于透明护罩7的后端,其所在平面与透明护罩7的中心轴线垂直;鱼眼透镜2,通过鱼眼透镜固定支架10固定于透明护罩7内,微型图像传感器芯片1的前方;二次曲面反射镜3,其为空心结构,顶部具有通光孔,固定于透明护罩7内,鱼眼透镜2的正前方,其凸部朝向鱼眼透镜2;前视透镜组4,固定于透明护罩7内,二次曲面反射镜3的正前方,正对二次曲面反射镜3的通光孔设置。
本实施例中,单目内窥镜本体外围的环向360°的场景信息透过透明护罩7,并由二次曲面反射镜3反射至鱼眼透镜2,前方的场景信息经由前视透镜组4和二次曲面反射镜3顶部的通光孔,透射至鱼眼透镜2,微型图像传感器芯片1采集鱼眼透镜2上的图像,从而实现环向360°和前方不小于180°半球视域视场内场景的圆形全景图像。
以下分别对本实施例单目内窥镜系统的各个组成部分进行详细说明。
如图2A所示,在单目内窥镜本体中,外围电路板11与微型图像传感器芯片1相连,用于为微型图像传感器芯片1提供所需的外围电路支持,保证微型图像传感器芯片1正常工作,并将微型图像传感器芯片1采集的图像信息经导线束14回传给数据处理装置,即计算机。
鱼眼透镜2通过鱼眼透镜固定支架10固定在微型图像传感器芯片1的前方,用于收集环向360°和180°半球域视场内全部场景信息。
含通光孔16的二次曲面反射镜3固定在头部固定支架9上,位于鱼眼透镜2的正前方,与鱼眼透镜2相对,将环向360°的场景信息反射至鱼眼透镜2,经鱼眼透镜2后进入微型图像传感器芯片1实现图像信息采集。二次曲面反射镜3内部为空心,且在二次曲面反射镜3的顶部存在圆形通光孔16。
前视透镜组4固定在头部固定支架9上,可收集内窥镜前方的场景信息,并将收集的场景信息经由二次曲面反射镜3的通光孔16后进入鱼眼透镜2,最终被微型图像传感器芯片1采集。
需要注意的是,如图2B所示,头部固定支架9除固定二次曲面反射镜3和前视透镜组4外,该固定支架上还装有4组照明灯,4组照明灯位于前视透镜组4四周,用于环向360°照明和前向视场照明。每组照明灯由一个LED灯5和位于LED灯前方的半透半反镜6组成。
LED灯5由细导线束15供电(见图2C),该细导线束含正线和负线两根导线,贴在透明护罩内侧,将外部供电经导线束14后再经该细导线束输送给4个LED灯5。4个LED灯5并联工作,工作时,LED灯5发光照射到半透半反镜6上,一部分光透过半透半反镜6由单目内窥镜本体的前端射出,对前方视场进行照明,另一部分光则经半透半反镜6反射由单目内窥镜本体侧面向侧后方射出,如图3A所示,每组照明灯可实现环向90°照明,从而4组照明灯可对内窥镜环向360°视场进行照明。
鱼眼透镜固定支架10、微型图像传感器芯片1和外围电路板11都封装在不透明的尾部护套12中。鱼眼透镜2、二次曲面反射镜3、前视透镜组4、头部固定支架9和照明灯则封装在透明护罩7中。在该内窥镜的前端有前面板13,如图2B所示,前面板上有前视窗口8,便于前视透镜组4收集前方视场内的场景信息,同时保护前视透镜组4不受污染。
单目内窥镜本体的尾部有导线束14输出。该导线束具有三方面功能:一是实现单目内窥镜本体方向控制,实现导向操作;二是为单目内窥镜本体内的LED灯5、外围电路板11和微型图像传感器芯片1供电。三是将微型图像传感器芯片1采集的图像信息输出至数据处理装置。
本实施例中,单目内窥镜本体前端的头部固定支架9通过前面板13固定在透明护罩7上。该头部固定支架9呈圆筒状,其后端向径向外围延伸,由不透明材料制备。该头部固定支架具有四个功能,如图2A所示:一是固定二次曲面反射镜3,该二次曲面反射镜与鱼眼透镜2相对,二次曲面反射镜3的通光孔指向鱼眼透镜2;二是固定前视透镜组4于其圆筒结构内,实现前视透镜组4的光轴和二次曲面反射镜3、鱼眼透镜2以及微型图像传感器芯片1的光轴共轴;三是固定4组LED灯5和半透半反镜6,其中每组的半透半反镜5均位于LED灯6的前方;四是隔离LED灯5发出的灯光,阻止灯光直接经前视透镜组4通过二次曲面反射镜3的通光孔16及鱼眼透镜2后被微型图像传感器芯片1接收而形成光污染。
需要说明的是,本实施例中由LED灯和半透半反镜组成的照明装置为四组,但本发明并不以此为限。本发明中,照明装置可以为固定在头部固定支架上,分布在前视透镜组四周的M组,其中,照明灯的组数M由每组照明装置中LED灯所实现的照明视场θIOV决定,
如图2A和图2C所示,透明护罩7具有两个功能:一是窗口功能,允许本实施例单目内窥镜本体环向360°视场内的场景信息透过透明护罩7进入鱼眼透镜2以及被二次曲面反射镜3反射,并允许LED灯5经半透半反镜6反射的光透过透明护罩7向单目内窥镜本体的侧后方输出,照亮侧后方场景;二是保护功能,保护鱼眼透镜2、二次曲面反射镜3、LED灯5和半透半反镜6不受污染。
本实施例中,二次曲面反射镜3满足单一视点约束,可采用双曲面反射镜实现,该双曲面反射镜的焦点与鱼眼透镜2的光心重合。
如图3A所示,各个区域的成像情况如下:
(1)以目标17的P1点为例,LED灯5经半透半反镜6反射对P1点照明,由P1点散射的光一部分可经二次曲面反射镜3反射后再进入鱼眼透镜2,并最终被微型图像传感器芯片1接收,同时,由P1点散射的光还可直接进入鱼眼透镜2,经鱼眼透镜2后被微型图像传感器芯片1接收,从而在微型图像传感器芯片1上形成与P1点对应的两个像点c和e;
(2)以目标17的P2点为例,LED灯5经半透半反镜6反射对P2点照明,由P2点散射的光直接进入鱼眼透镜2被微型图像传感器芯片1采集,形成与P2点对应的像点d,该P2点无法经二次曲面发射镜3反射成像;
(3)以目标17的P3点为例,LED灯5经半透半反镜6反射对P3点照明,由P3点散射的光经二次曲面反射镜3反射后进入鱼眼透镜2,在微型图像传感器芯片1上形成与P3点对应的像点b。
此外,对于单目内窥镜本体正前方某点为例,可由LED灯5发出的光经半透半反镜6后照亮,该点的散射光可经前视窗口8后由前视透镜组4收集,然后通过二次曲面发射镜3的通光孔16,再进入鱼眼透镜2,最终在微型图像传感器芯片1上形成与该点对应的像点a。
显然,通过鱼眼透镜2、二次曲面反射镜3以及前视透镜组4可分别收集不同视场内的场景信息,并在微型图像传感器芯片上形成呈同心环状的原始图像,如图3B所示。
请参照图3B和图3C,原始图像由内向外由A、B、C、D和E五个圆形环带图像组成。该原始图像的组成如下:
(1)在图3C中,A为中心图像,由前视透镜组4收集内窥镜前方视场内场景信息,即图3B中阴影区A所示区域的场景信息,并先后经过二次曲面反射镜3的通光孔16以及鱼眼透镜2汇聚至微型图像传感器芯片1上获得;
(2)B和C所对应的圆形环带图像是二次曲面反射镜反射成像区图像,即内窥镜360°环向场景信息经二次曲面反射镜3反射后再经鱼眼透镜2汇聚至微型图像传感器芯片1上所形成的图像,所成像区域为图3B中阴影区B和C所示区域;
其中,C为二次曲面反射镜反射成像区图像中与鱼眼透镜直接成像区图像交叠区域的图像,B为二次曲面反射镜反射成像区图像除去C后剩余部分的图像。
(3)D和E所对应的圆形环带图像则是鱼眼透镜直接成像区图像,即环向360°和180°半球域视场内场景信息经鱼眼透镜2直接汇聚至微型图像传感器芯片1上所成的图像,所成像区域为图3B中阴影区D和E所示区域;
其中,E为鱼眼透镜直接成像区图像中与二次曲面反射镜反射成像区图像交叠区域的图像,D为鱼眼透镜直接成像区图像除去E后剩余部分的图像。
需要注意的是,圆形环带图像C和E是对相同感兴趣场景所成的不同视点的两幅图像,对应图3B中阴影区C和E所覆盖区域,其中圆形环带图像C是感兴趣场景信息经二次曲面反射镜3反射后再经鱼眼透镜2汇聚所成图像,圆形环带图像E则是感兴趣场景信息直接由鱼眼透镜2汇聚所成图像。
由于圆形环带图像C和E所对应的成像场景一致,因此在重建圆形全景图像时,圆形环带图像C和E只选择具有较高分辨率的圆形环带图像E即可。利用图3C中的圆形环带图像A、B、D和E通过图像处理按照由内向外A、D、E和B的顺序进行图像融合,如图3D所示,获得单目内窥镜本体环向360°和不小于180°半球视域视场内场景的圆形全景图像,即图3B中阴影区A、D、E和B所覆盖区域,从而实现环向360°三维成像和全方位全景成像。
圆形环带C和E是相同感兴趣场景所成的不同视点的两幅图像,这两幅图像具有视差,满足双目立体视觉算法进行三维重建的条件,因此,可利用C和E对应的圆形环带图像通过双目立体视觉算法可实现感兴趣场景的三维重建,获得图3B中阴影区C和E所对应的感兴趣场景的三维图像,如图3E所示。
本实施例中,感兴趣场景的三维重建由数据处理装置,即计算机完成,其利用相同感兴趣场景所成的不同视点的两幅图像通过双目立体视觉算法可实现感兴趣场景的三维重建,获得感兴趣区域的三维图像。用户可进一步通过三维图像获取目标尺寸、距离信息等。
总体而言,本实施例内窥镜系统的具体操作步骤如下:
步骤一:开启单目内窥镜本体,照明灯照明场景;
步骤二:微型图像传感器芯片采集图像,并经过导线束将采集的原始图像信息回传给计算机;
步骤三:圆形全景图像重建:计算机对原始图像进行处理,通过对原始图像中环带图像进行图像融合,重建圆形全景图像;
步骤四:三维图像重建:计算机对原始图像进行处理,利用原始图像中的环带图像C和E通过双目立体视觉算法进行三维重建,获取环向场景的三维图像;
步骤五:用户可通过显示器上的圆形全景图像和三维图像观察目标,并对内窥镜进行导向。
至此,已经结合附图对本实施例进行了详细描述。依据以上描述,本领域技术人员应当对本发明单目内窥镜系统有了清楚的认识。
此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
综上所述,本发明采用鱼眼透镜和二次曲面反射镜结合的方式可实现环向360°三维成像,并可提供二维全景图像,从而解决了传统三维内窥镜只能实现前向小视场成像的问题,尤其可用于360°环向三维成像需求的肠胃内窥成像。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种单目内窥镜系统,其特征在于,包括:
透明护罩(7),由透明材料制备,呈圆筒状结构;
图像传感器芯片(1),固定于所述透明护罩(7)的后端,其所在平面与所述透明护罩(7)的中心轴线垂直;
鱼眼透镜(2),固定于所述透明护罩(7)内,所述图像传感器芯片(1)的正前方;以及
二次曲面反射镜(3),固定于所述透明护罩(7)内,所述鱼眼透镜(2)的正前方,其凸部朝向所述鱼眼透镜(2);
其中,单目内窥镜系统外围的环向视场内的场景信息透过所述透明护罩(7),并由所述二次曲面反射镜(3)反射至所述鱼眼透镜(2),所述图像传感器芯片(1)采集鱼眼透镜(2)上的图像,从而实现环向视场内场景信息的收集。
2.根据权利要求1所述的单目内窥镜系统,其特征在于,所述二次曲面反射镜(3)为空心结构,其顶部具有通光孔;
所述单目内窥镜还包括:
前视透镜组(4),固定于所述透明护罩(7)内,所述二次曲面反射镜(3)的正前方,正对所述二次曲面反射镜(3)顶部的通光孔设置;
其中,所述前视透镜组(4)、二次曲面反射镜(3)、鱼眼透镜(2)以及图像传感器芯片(1)的光轴共轴,所述单目内窥镜前方视场内的场景信息经由所述前视透镜组(4)和所述二次曲面反射镜(3)顶部的通光孔,透射至鱼眼透镜(2),所述图像传感器芯片(1)采集鱼眼透镜(2)上的图像,实现前方视场内场景信息的收集。
3.根据权利要求2所述的单目内窥镜系统,其特征在于,还包括:
鱼眼透镜固定支架(10),用于将所述鱼眼透镜(2)固定于所述透明护罩(7)内,所述图像传感器芯片(1)的正前方;
头部固定支架(9),呈圆筒状结构,固定于所述透明护罩内,由不透明材料制备;
其中,所述二次曲面透镜固定于该头部固定支架(9)的后端,且所述前视透镜组(4)固定于该头部固定支架(9)的圆筒状结构内。
4.根据权利要求3所述的单目内窥镜系统,其特征在于,所述头部固定支架(9)的后端朝向径向外围延伸;
所述单目内窥镜还包括:M组的照明装置,固定于头部固定支架的后端,前视透镜组(4)的外围,用于对视场进行照明,其中M≥1。
5.根据权利要求4所述的单目内窥镜系统,其特征在于,所述照明装置的组数M满足:
M = 360 θ IOV
其中,θIOV为照明装置中LED灯所实现的照明视场。
6.根据权利要求4所述的单目内窥镜系统,其特征在于,所述N组的照明装置中,每一组照明装置包括:
LED灯(5);以及
位于该LED(4)前方的半透半反镜(6);
其中,所述LED灯(5)发射光的一部分由所述半透半反镜(5)反射,穿过所述透明护罩,从所述单目内窥镜侧面向侧后方射出,照亮所述单目内窥镜的环向视场,另一部分透过所述半透半反镜(5),从所述单目内窥镜前端射出,照亮所述内窥镜的前方视场。
7.根据权利要求6所述的单目内窥镜系统,其特征在于,还包括:
导线束(14),由单目内窥镜的尾部输出,其具有三方面功能:一是实现所述单目内窥镜方向控制;二是为单目内窥镜内的LED灯(5)和图像传感器芯片(1)供电;三是将所述图像传感器芯片(1)采集的图像信息输出。
8.根据权利要求7所述的单目内窥镜系统,其特征在于,由所述图像传感器芯片获取的原始图像由A、B、C、D和E五个圆形环带图像组成,其中:
中心图像A为由前视透镜组(4)收集单目内窥镜的前方视场内场景信息,并先后经过所述二次曲面反射镜(3)的通光孔(16)以及鱼眼透镜(2)汇聚至图像传感器芯片(1)上获得;
圆形环带图像B、C为单目内窥镜的环向视场内的场景信息经所述二次曲面反射镜(3)反射后再经由所述鱼眼透镜(2)汇聚至图像传感器芯片(1)上获得;
圆形环带图像D、E为是环向和180°半球域视场内场景信息经所述鱼眼透镜(2)直接汇聚至所述图像传感器芯片(1)上获得。
9.根据权利要求8所述的单目内窥镜系统,其特征在于,所述圆形环带图像C和E是由相同感兴趣区域所成的不同视点的两幅图像;
所述单目内窥镜系统还包括:
数据处理装置,用于利用所述圆形环带图像C和E通过双目立体视觉算法实现感兴趣场景的三维重建,获得感兴趣场景的三维图像。
10.根据权利要求1至9中任一项所述的单目内窥镜系统,其特征在于,所述二次曲面反射镜(3)为双曲面反射镜,其焦点与所述鱼眼透镜(2)的光心重合。
CN201410658292.8A 2014-11-18 2014-11-18 全方位三维立体视觉的单目内窥镜系统 Active CN104434001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410658292.8A CN104434001B (zh) 2014-11-18 2014-11-18 全方位三维立体视觉的单目内窥镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410658292.8A CN104434001B (zh) 2014-11-18 2014-11-18 全方位三维立体视觉的单目内窥镜系统

Publications (2)

Publication Number Publication Date
CN104434001A true CN104434001A (zh) 2015-03-25
CN104434001B CN104434001B (zh) 2017-01-18

Family

ID=52881319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410658292.8A Active CN104434001B (zh) 2014-11-18 2014-11-18 全方位三维立体视觉的单目内窥镜系统

Country Status (1)

Country Link
CN (1) CN104434001B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507184A (zh) * 2018-10-09 2019-03-22 天津大学 一种小口径异型深孔内壁检测成像系统
CN109556530A (zh) * 2018-10-09 2019-04-02 天津大学 一种异型深孔内壁检测方法
CN110381237A (zh) * 2019-07-02 2019-10-25 北京航空航天大学 一种基于单视点成像的曲面反射式全景视觉系统
CN110392545A (zh) * 2017-04-03 2019-10-29 Hoya株式会社 具有广角透镜和工作通道的内窥镜
CN110755020A (zh) * 2019-11-14 2020-02-07 江苏欧曼电子设备有限公司 一种内窥镜套膜
CN110811527A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具备形状推测及疾病在线辅助诊断功能的内窥镜
CN110811491A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具有三维重建功能的在线疾病识别内窥镜
CN111952327A (zh) * 2020-08-14 2020-11-17 北京高芯惠通医疗科技有限公司 一种用于医用内窥镜的cmos图像传感器芯片及设计方法
CN113613544A (zh) * 2019-03-22 2021-11-05 奥林巴斯株式会社 内窥镜
CN114264249A (zh) * 2021-12-14 2022-04-01 中国石油大学(华东) 深孔狭小内腔三维测量系统及方法
TWI791311B (zh) * 2021-08-29 2023-02-01 榮晶生物科技股份有限公司 內視鏡影像擷取組件以及相關的內視鏡裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341409A (ja) * 2001-05-21 2002-11-27 Accowle Co Ltd 全方位撮影装置
JP2004312593A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 広視野撮像装置
US20050049462A1 (en) * 2003-09-01 2005-03-03 Pentax Corporation Capsule endoscope
CN1789988A (zh) * 2004-12-09 2006-06-21 富士能株式会社 光断层影像装置
US20070049794A1 (en) * 2005-09-01 2007-03-01 Ezc Medical Llc Visualization stylet for medical device applications having self-contained power source
CN103503434A (zh) * 2011-12-16 2014-01-08 奥林巴斯医疗株式会社 深度扩展装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341409A (ja) * 2001-05-21 2002-11-27 Accowle Co Ltd 全方位撮影装置
JP2004312593A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 広視野撮像装置
US20050049462A1 (en) * 2003-09-01 2005-03-03 Pentax Corporation Capsule endoscope
CN1789988A (zh) * 2004-12-09 2006-06-21 富士能株式会社 光断层影像装置
US20070049794A1 (en) * 2005-09-01 2007-03-01 Ezc Medical Llc Visualization stylet for medical device applications having self-contained power source
CN103503434A (zh) * 2011-12-16 2014-01-08 奥林巴斯医疗株式会社 深度扩展装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612304B2 (en) 2017-04-03 2023-03-28 Hoya Corporation Endoscope having a wide-angle lens and a working channel
CN110392545A (zh) * 2017-04-03 2019-10-29 Hoya株式会社 具有广角透镜和工作通道的内窥镜
CN109507184A (zh) * 2018-10-09 2019-03-22 天津大学 一种小口径异型深孔内壁检测成像系统
CN109556530A (zh) * 2018-10-09 2019-04-02 天津大学 一种异型深孔内壁检测方法
CN113613544A (zh) * 2019-03-22 2021-11-05 奥林巴斯株式会社 内窥镜
CN113613544B (zh) * 2019-03-22 2024-05-28 奥林巴斯株式会社 内窥镜
CN110381237B (zh) * 2019-07-02 2020-06-19 北京航空航天大学 一种基于单视点成像的曲面反射式全景视觉系统
CN110381237A (zh) * 2019-07-02 2019-10-25 北京航空航天大学 一种基于单视点成像的曲面反射式全景视觉系统
CN110755020A (zh) * 2019-11-14 2020-02-07 江苏欧曼电子设备有限公司 一种内窥镜套膜
CN110811527A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具备形状推测及疾病在线辅助诊断功能的内窥镜
CN110811491A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具有三维重建功能的在线疾病识别内窥镜
CN111952327A (zh) * 2020-08-14 2020-11-17 北京高芯惠通医疗科技有限公司 一种用于医用内窥镜的cmos图像传感器芯片及设计方法
TWI791311B (zh) * 2021-08-29 2023-02-01 榮晶生物科技股份有限公司 內視鏡影像擷取組件以及相關的內視鏡裝置
US11759095B2 (en) 2021-08-29 2023-09-19 Altek Biotechnology Corporation Image capturing assembly and related endoscope
CN114264249A (zh) * 2021-12-14 2022-04-01 中国石油大学(华东) 深孔狭小内腔三维测量系统及方法

Also Published As

Publication number Publication date
CN104434001B (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN104434001B (zh) 全方位三维立体视觉的单目内窥镜系统
US11517200B2 (en) Processing images from annular receptor arrays
CN106236006B (zh) 3d光学分子影像腹腔镜成像系统
CN106455944B (zh) Q3d模型与3d图像的对准
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
US8928746B1 (en) Endoscope having disposable illumination and camera module
CN105996961B (zh) 基于结构光的3d立体成像胶囊内窥镜系统及方法
CN107072482A (zh) 单次使用、端口可部署的关节运动内窥镜
CN102058381B (zh) 三维立体电子支气管镜系统及其使用方法
CN103908216A (zh) 一种具磁场定位功能的胶囊内镜系统及其胶囊内镜
JP2020110258A (ja) 内視鏡
CN106231986A (zh) 图像处理装置
CN105342561A (zh) 无线声控穿戴式分子影像导航系统
Hanna et al. Image display technology and image processing
CN110811489A (zh) 一种具有3d测量功能的胶囊内窥镜及相应成像方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
WO2017218206A1 (en) Method and apparatus of lens alignment for capsule camera
US20220308328A1 (en) Binocular device
Paulson et al. Miniaturized omnidirectional flexible side-view endoscope for rapid monitoring of thin tubular biostructures
CN218792184U (zh) 一种单目3d立体内窥镜系统
CN204293118U (zh) 一种具运动定位功能的胶囊内镜系统及其胶囊内镜
CN2875317Y (zh) 医用胶囊腔体检查小机器人系统
CN2636816Y (zh) 三维立体腹腔镜
CN102085087B (zh) 三维立体电子食管镜系统及其使用方法
CN205094589U (zh) 无线声控穿戴式分子影像导航系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant