一种医用近距离成像方法、系统以及探头
技术领域
本发明涉及医疗成像设备领域,特别涉及在近距离对活体进行实时立体成像的领域。该发明可应用于人体管状器官内,如鼻腔、口腔等,通过对感兴趣区域的活体组织和细胞结构进行实时立体地成像,目的在于获得大景深的组织立体图,从而在更大范围内得到组织器官的成像信息,并可测量感兴趣区域内目标的距离及大小。本发明提供了该医用近距离实时成像方法,以及使用该成像方法的系统以及探头。
背景技术
一般情况下,人体器官会由于病变而在组织和细胞结构上发生变化,因此观测人体内部器官成为早期诊断的重要依据。传统的标本取样及显微镜观察法非常繁琐,需要经过活体取样,样本固定,脱水,切片等一系列漫长的步骤获得样本信息,因此,实时观察活体组织和细胞结构对医学界非常有吸引力。
近年来,出现一系列可实时观察活体组织的方法,如光学相关断层扫描(OCT)利用相干光(例如激光和迈克尔逊干涉仪)来穿透皮肤,通过这种方法得到的图像是纵深平面的。或利用共聚焦显微镜,利用相同的光路照明和接收生物组织内发出的光信号,最终的成像是生物组织内横向平面图像,通过一个点状光用来照明一个特定的目标样品,因此可以消除传统显微镜应变光线和其他副作用。尽管如此,现有设备具有一定局限性,因为OCT和共聚焦显微镜装置通常比较笨重,而且限定单一波长如激光作为光源,在对管状人体器官,如鼻腔、口腔、食管进行实时活体成像时难以直接成像。
另外,在将成像探头设计成管状伸入近距离成像时,也面临着诸多问题,比如如何获得大的景深。景深,是指在镜头前沿着能够取得清晰图像的成像景深相机器轴线所测定的物体距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,便叫做景深。在活体立体成像领域,皮肤并非如人眼所看到的完全不透光的,在一定的光强和一定的光线波长下,光线可穿透皮肤表面,并对皮下一定范围内的组织反射光线,因此在活体立体成像领域,利用这一皮下范围内不同层面的反射成像,可以获得皮肤组织下细胞的信息。而获得更大景深的意义在于,可以在更大范围内获得更多的深层信息,进一步的,通过深度图可以得到组织的距离和大小信息,因此获得大景深在近距离的活体立体成像领域具有重要意义。
然而近距离成像时,景深大小和入射光大小是相互矛盾的。请参考图1和图2.
附图1为大光圈(f=1,f/#=2.0(f=2),CoC=0.01mm)情况下,聚焦距离(Focus Distance)与最远聚焦距离(Df)及最近聚焦距离(Dn)的关系图。“f=1”指焦距(focal length)=1,“f/#=2.0(f=2)”指相对光圈(relative aperture)为f/2,且编码光圈(coded aperture)也为f=2(采用多镜头相对光圈会被重新界定);“CoC=0.01mm”指传感器参数CoC=0.01mm。
附图2为小光圈(f=1,f/#=2.0(f=11),CoC=0.01mm)情况下,焦点距离(Focus Distance)与最远聚焦距离(Df)及最近聚焦距离(Dn)的关系图。“f=1”指焦距(focal length)=1,“f/#=2.0(f=11)”指相对光圈(relative aperture)为f/2,采用多镜头相对光圈会被重新界定,并可能成为小光圈f=11的情况;“CoC=0.01mm”指传感器参数CoC=0.01mm。
由图1、2可知,在大光圈情况下,获得的景深范围小;在小光圈下,可以获得大范围的景深。然而,在短距离采用大光圈镜头时,尽管景深很窄,但光线入射较多;采用小光圈时,尽管景深可以大大扩展,但是入射光减少了30倍。这意味着,采用大光圈(F/2)时,获得的景深很窄,但有足够的入射光进入镜头,而当采取小光圈(F/11)时,尽管景深很宽,但没有足够的光线进入镜头。当焦距很小,即1MM左右时,这种情况会严重很多。
因此,近距离成像时,获得足够的入射光线以清晰成像是获得大景深成像必须解决的问题,由于大强度光源对人体组织是有伤害的,因此光源强度不能无限扩大,而在实时观测时,不可能延长曝光时间以增加光线的入射量,这就使如何获得大景深并同时解决入射光不足的问题是需解决的难题。
随着光学技术发展,编码孔径成像以及多镜头测距技术均有发展,比如中国专利号为ZL200610152745.5公开一种三维高清晰度乳腺成像仪,采用近红外光作为光源,用特殊的编码孔径对照射光进行空间调制,用被调制的光束对人体乳腺组织进行无损探测,接收携带乳腺组织结构信息的投射光。该专利利用了编码孔径成像以及变换函数的概念,其主要是使用了菲涅耳波带板对光路进行调制,但仅使用了一组透镜和传感器,因此在应用上具有较大限制,无法解决近距离小孔径成像时的景深大小和入射光大小问题。目前,本领域技术人员没有发现问题,也没有提供解决该问题的技术方案。
发明内容
本发明的目的,首先在于提供一种医用近距离成像方法,该方法可在近距离成像时,在获得足够的入射光线以清晰成像基础上,得到大景深的组织内的动态立体图。
本发明的另一个目的在于提供应用上述方法的系统。
本发明的另一个目的还在于提供上述系统所采用的探头。
为了实现以上目的,本发明包括如下技术特征:
一种医用近距离成像方法,所基于的硬件包括光源、两个或两个以上的镜头、传感区域以及数字图像处理单元,所述传感区域为与不同镜头对应的传感器阵列,或为一传感器,所述传感器阵列或传感器上具有与不同镜头区分对应的传感像素区域,传感区域与镜头采用编码孔径方式成像;所述成像方法包括如下步骤:
步骤1:光源照射感兴趣区域,获得目标反射光线;
步骤2:两个或两个以上的镜头同时捕获反射光线,不同的镜头通过编码孔径方式在传感器区域内同时成像,各自形成对应不同镜头所捕获的反射光线的电信号;
步骤3:上述的多组电信号进入数字图像处理单元,数字图像处理单元先计算目标与镜头间的距离D,然后进行反卷积计算以恢复多个原始图像,再将多个原始图像合成目标图像。
本发明的成像方法主要采用多镜头成像的原理,与单镜头成像相比,其具有如下有益效果:
首先,解决了近距离成像时获得大景深的问题。由背景技术可知,尽管采取小光圈时可获得大景深,但没有足够的光线进入镜头,当焦距1MM左右时,这种情况更加严重,这严重影响了管状组织的近距离的成像。本发明采用多个镜头成像原理,每个镜头作为小光圈镜头成像,各自获得大景深图像,多个镜头同时可以接收到更多的反射光,最终,通过数字图像处理单元将反卷积恢复的多个原始图像合成目标图像,与单透镜装置相比,本方法在获得大景深的同时,能够接收到更多的入射光,从而解决了获得大景深的同时获得充足光线的问题。
其次,使得原始图像与投影图像之间的变换函数H可以被更准确估计。编码孔径成像技术是一种现有技术,本发明采用了编码孔径成像,由于编码孔径成像的变换函数H为距离D的函数,而距离信息D在采用多镜头时可以通过多透镜的立体成像原理获得。通过距离函数D可获得变换函数H,并通过变换函数H以去卷积方式恢复原始图像。对管状组织成像时,伸入管状组织内的探头与目标的距离是不断变化,而成像变化函数H与距离D是相关的,从而使数字处理系统的成像处理过程与距离也是相关的。这意味着,随着距离D的变化成像变化函数H也随之变化,并不断适应当前的距离值,最终可使去卷积后获得的原始图像的成像更加精准。
最终,还可以利用多镜头系统对目标距离进行测距。由于镜头与目标的距离距离D是可以被准确的测量的,因此多镜头成像也有利于测距。
进一步的,在本发明的优选方案中,采用如下方法进行反卷积和获得距离D。
反卷积过程具体为:
步骤31:基于多个镜头的立体成像原理,获得目标与镜头间的距离D;
步骤32:编码孔径成像时,由原始图像投射到传感区域时获得的投影图像之间的变换函数H为距离D的函数,根据距离D获得变换函数H;
步骤33:认为图像投射到传感区域满足卷积运算等式:P=H*O;
其中P是在传感区域中的投影图像,H是变换函数,O是原始图像;在获得变换函数H后,根据O=deconv(P)进行反卷积计算以恢复原始图像。
当使用编码孔径成像时,H是可以根据距离D来确定的,即在编码孔径成像系统里,可以使用去卷积得到原始图像,此处的“*”意思为卷积运算,变换函数H可以根据距离D确定,则最终通过O=deconv(P)进行反卷积恢复原始图像。由于目标与镜头间的距离D可以在多镜头系统形成的立体成像方法中获得,因此变换函数H可以准确估计,使得成像精度更高,更加准确。
多镜头成像获得距离D是一种现有技术。本发明包括的测距技术具体为,在所述步骤31中,将两个镜头中心与目标点视为一个任意三角形,由于两个镜头中心的距离d已知的,测量目标至镜头中心的连线与镜头轴线的夹角,获得夹角值后可确定三角形的其余两边,最终获得距离D。
使用编码孔径成像时,距离D可以作为估算变换函数H的依据,而且也可以医疗成像的准确测量提供依据。
本发明的另一个目的在于提供应用以上方法的系统,该系统包括光源、两个或两个以上的镜头、传感区域、以及数字图像处理单元;传感区域与镜头采用编码孔径方式进行成像;所述多个镜头并排设置;传感区域为与不同镜头对应的传感器阵列,或为一传感器,所述传感器阵列或传感器上具有与不同镜头区分对应的传感像素区域;在镜头与各自对应传感器之间分别设有编码孔径掩膜;所述传感区域与数字图像处理单元连接。
优选的,所述光源为LED光源,该LED光源为单色光源,或包含多色光的混合光,或为波长可变的光源。
本发明的系统采用了多镜头成像的原理,解决了近距离成像时获得大景深和足够入射光的问题,使得变换函数H(原始图像投射到传感区域时获得的投影图像之间的函数)可以更准确估计,同时,还可以利用多镜头系统对目标距离进行测距。
本发明的第三个目的在于提供应用于上述系统的探头,该探头用于伸入人体管状器官内探测,包括壳体,壳体呈管状,壳体的一端为与数字图像处理单元的连接端;所述壳体内封装有:两个或两个以上的镜头,镜头并排设于与连接端相对一端的端部;传感区域,传感区域为与镜头对应的多个传感器组成的阵列,或为一传感器,所述传感器阵列或传感器上具有与不同镜头区分对应的传感像素区域;编码孔径掩膜,对应设于在各个镜头与传感区域之间,使传感区域与镜头为编码孔径方式进行成像。
优选的,所述壳体的连接端与数字图像处理单元为可拆卸连接。所述光源封装在壳体内或附设于壳体外。
探头采用管状壳体封装后,更加方便深入人体管状器官内成像,封装的形式使得探头可以数字图像处理单元可拆卸连接,便于将探头设计成为一次性探头,或便于将探头拆卸下来后单独进行消毒。
附图说明
图1为大光圈情况下,聚焦距离(Focus Distance)与最远聚焦距离(Df)及最近聚焦距离(Dn)的关系图;
图2为为小光圈情况下,聚焦距离(Focus Distance)与最远聚焦距离(Df)及最近聚焦距离(Dn)的关系图;
图3为本发明采用两个镜头时的成像原理图;
图4为本发明采用两个镜头时的立体图;
图5为本发明采用四个镜头时的立体图。
图6为本发明采用多镜头成像时计算距离D的方法原理图。
具体实施方式
如图3所示,为本发明采用两个镜头成像的原理图。由图3可知,包括两个镜头1,两个镜头1并排设于探头的一端,与每个镜头1对应的是由两个传感器2组成的传感器阵列,在镜头1和传感器2之间设有编码孔径掩膜3,使得镜头1和传感器2之间为编码孔径成像。进一步的,传感器2与数字图像处理单元连接,传感器产生的电信号输入数字图像处理单元。
本发明的成像过程在于:
步骤1:先通过光源4照射感兴趣区域,使目标反射光线。这里的光源可以为LED光源、如单色LED光源,或包含多色光的LED混合光,或为波长可变的LED光源。不同波长的光源穿透人体皮肤组织的效果不同的,采用不同波长的光源取决于需要成像的组织深度。
步骤2:两个镜头1同时捕获反射光线,不同的镜头1通过编码孔径方式在传感器区域2内同时成像,各自形成对应不同镜头所捕获的反射光线的电信号。在使用编码孔径成像时,变换函数H为距离D的函数,而距离信息D在采用多镜头时可以通过多透镜的立体成像原理获得,获得变换函数H后,通过去卷积方式恢复原始图像。在对管状组织进行成像时,探头深入管状组织内与目标的距离是不断变化的过程,而此时的成像变化函数H与距离D相关联,从而使数字处理系统的成像处理过程与距离相关联,获得的成像更加精准。
步骤3:上述的多组电信号进入数字图像处理单元,数字图像处理单元将各组电信号反卷积分别恢复多个原始图像,再将多个原始图像合成目标图像。本发明采用两个镜头分别成像,每个镜头为小光圈成像,各自获得大景深图像,多个镜头同时可以接收到更多的反射光,最终,通过数字图像处理单元将反卷积恢复的多个原始图像合成目标图像,与单透镜装置相比,本方法可以获得大景深,同时也能够接收到更多的入射光,从而解决了如何在获得大景深的同时获得充足光线的问题。
本步骤中采用反卷积获得原始图像,先是利用了两个镜头形成的立体成像原理,获得目标与镜头间的距离D;由于在使用编码孔径时,由原始图像投射到传感区域时获得的投影图像之间的变换函数H为距离D的函数,根据距离D获得变换函数H;最后,根据图像投射到传感区域满足等式:P=H*O;其中P是在传感区域中的投影图像,H是变换函数,O是原始图像;在获得变换函数H后,根据O=deconv(P)进行反卷积恢复原始图像。
利用了两个镜头或多镜头获得目标与镜头间的距离D是常见的现有技术,可通过几何计算获得,如图6所示两个镜头为例,两个镜头的中心与目标点形成一个任意的三角形,两个镜头中心的距离d已知的,两个角度a、b通过测量可获得,则可以经过几何计算得出三角形的其余两边,即距离D可以计算。
作为本发明的探头结构,为便于深入管状组织内,本发明的探头还包括一个管状的壳体5,壳体5的一端为与数字图像处理单元的连接端;壳体5内封装有图3所示的结构,又如图4所示,所述光源为2个,分别附设于壳体外,另外,所述每个镜头间可以具有倾斜夹角以实现焦平面。
作为本发明的立体成像系统,本发明的探头与一个数字图像处理单元连接,数字图像处理单元为电脑主机,内置数字图像处理程序,探头与数字图像处理单元之间为可拆卸的连接,便于更换探头或者清洗消毒。
图5为本发明另一个实施例的立体图,其镜头1为4个,此外该实施例的内部结构和工作原理与上一个实施例相同,应该这么理解,镜头的数量越多,则成像的效果越好,但是成本和数字图像处理单元的运算量也会相应增加,本领域技术人员可以根据实际需求予以选择,但是镜头的数量变化无论多少,仍落入本专利的保护范围内。
作为一种替换,以上实施例中的传感区域也可以仅为一块传感器平面,在该传感器平面上具有区分的与不同镜头对应的传感像素区域,然后通过数字图像处理单元读取不同区域像素的电信号以实现多镜头分别成像。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。