CN117994193A - 一种内窥镜成像方法及系统 - Google Patents
一种内窥镜成像方法及系统 Download PDFInfo
- Publication number
- CN117994193A CN117994193A CN202211362572.5A CN202211362572A CN117994193A CN 117994193 A CN117994193 A CN 117994193A CN 202211362572 A CN202211362572 A CN 202211362572A CN 117994193 A CN117994193 A CN 117994193A
- Authority
- CN
- China
- Prior art keywords
- image
- acquisition device
- image acquisition
- detected area
- matching points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 72
- 238000005286 illumination Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000013307 optical fiber Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种内窥镜成像方法及系统，方法包括：在接收到预设指令时，控制光源装置向被测区域投射出预设照明光束，预设照明光束投射在被测区域形成散斑图案，以及控制第一图像采集装置和第二图像采集装置获取来自被测区域的光线并基于获取的光线进行成像，分别获得第一图像以及第二图像，根据第一图像和第二图像找出第一图像和第二图像的匹配点并获得匹配点的视差，得到视差图，根据视差图、第一图像和第二图像获得被测区域的三维信息。本发明通过向被测区域投射出散斑图案，通过两图像采集装置对被测区域成像，在获得的图像中借助散斑与被测区域纹理的叠加特征寻找匹配点，以快速、准确地获得被测区域的三维信息。
Description
技术领域
本发明涉及内窥镜领域，特别是涉及一种内窥镜成像方法及系统。
背景技术
内窥镜成像系统用于辅助医生进行疾病诊断和治疗。传统的内窥镜成像系统只能获取被测区域的二维图像，医生根据图像只能掌握被测区域的二维信息，无法获取到被测区域的病灶和生理特征的深度信息或者三维信息。
因此，提供一种内窥镜成像方法及系统，能够获取到被测区域的三维信息，以辅助医生进行疾病诊断和治疗，有助于降低误诊率，提高手术的效果。
发明内容
本发明的目的是提供一种内窥镜成像方法及系统，能够获得被测区域的三维信息。
为实现上述目的，本发明提供如下技术方案：
一种内窥镜成像方法，包括：
在接收到预设指令时，控制光源装置向被测区域投射出预设照明光束，所述预设照明光束投射在所述被测区域形成散斑图案，以及控制第一图像采集装置和第二图像采集装置获取来自所述被测区域的光线并基于获取的光线进行成像；
获取所述第一图像采集装置成像获得的第一图像以及所述第二图像采集装置成像获得的第二图像；
根据所述第一图像和所述第二图像，找出所述第一图像和所述第二图像的匹配点并获得匹配点的视差，得到视差图，并根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息；其中，每一对匹配点对应所述被测区域的同一物点。
可选地，所述散斑图案包括亮斑和暗斑，所述暗斑的总面积小于所述被测区域的总面积的1/2。
可选地，所述散斑图案中的亮斑的位置分布是无规律的。
可选地，所述散斑图案中的亮斑或暗斑按照一致的疏密程度均匀分布于所述被测区域。
可选地，所述方法还包括：
确定所述被测区域所在部位；
根据所述部位确定所述散斑图案中的亮斑或暗斑的疏密程度。
可选地，所述根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息包括：
根据所述视差图和以下公式得到深度图：
其中，Z表示一对匹配点对应物点的深度，B表示第一图像采集装置光心和第二图像采集装置光心的距离，f表示第一图像采集装置镜头的焦距，Δδ表示一对匹配点的视差，Δδ＝xl-xr，xl表示一对匹配点在第一图像中对应点的列坐标，xr表示一对匹配点在第二图像中对应点的列坐标；
根据以下公式获得一对匹配点对应物点在三维坐标系的坐标(X，Y，Z)：
其中，(x,y)表示一对匹配点对应物点在第一图像中的像素坐标，(u0,v0)表示第一图像的主点，fx、fy分别表示第一图像采集装置的水平焦距和垂直焦距，所述三维坐标系为以第一图像采集装置建立的三维坐标系；
基于各对匹配点在三维坐标系的坐标，得到所述被测区域的三维信息。
可选地，所述根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息之后，所述方法还包括：
在所述第一图像中选定待测量的任意两像素(x1,y1)和(x2,y2)，并根据以下公式获得该两像素对应物点之间的距离：
其中，L12表示该两像素对应物点之间的距离，(X1,Y1,Z1)表示像素(x1,y1)对应物点的坐标，(X2,Y2,Z2)表示像素(x2,y2)对应物点的坐标。
可选地，在接收所述预设指令之前，还包括：
对所述第一图像采集装置和所述第二图像采集装置进行极线校正，使得所述第一图像采集装置的图像平面和所述第二图像采集装置的图像平面平行，且同一物点在两者图像平面中的对应点处于相同行。
可选地，在接收所述预设指令之前，还包括：
对所述第一图像采集装置和所述第二图像采集装置进行标定，获得所述第一图像采集装置和所述第二图像采集装置的焦距、光轴与图像平面的交点以及畸变系数，以及所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移矩阵。
一种内窥镜成像系统，包括：
光源装置，用于出射照明光束；
导光部，用于使所述照明光束沿着所述导光部传播，并从所述导光部延伸出的远端发射出以照射至被测区域；
第一图像采集装置和第二图像采集装置，分别用于获取来自所述被测区域的光线并基于获取的光线进行成像；
图像处理装置，分别与所述光源装置、所述第一图像采集装置和所述第二图像采集装置通信连接，用于控制所述光源装置、所述第一图像采集装置和所述第二图像采集装置，以实现如上所述的内窥镜成像方法。
可选地，所述光源装置包括光源和微镜阵列，所述微镜阵列位于所述光源的出光光路上，所述光源出射的照明光束入射至所述微镜阵列，经所述微镜阵列反射后形成所述预设照明光束，并会聚至所述导光部的近端，其中，所述微镜阵列的任一微镜均具有反射状态和不反射状态，当本微镜处于反射状态时形成亮斑，当本微镜处于不反射状态时形成暗斑。
可选地，所述导光部包括多根光纤，该多根光纤的近端在所述导光部近端面的排布位置与该多根光纤的远端在所述导光部远端面的排布位置一致。
由上述技术方案可知，本发明的内窥镜成像方法及系统，通过向被测区域投射出散斑图案，通过第一图像采集装置和第二图像采集装置对被测区域成像，在第一图像采集装置和第二图像采集装置成像获得的图像中借助散斑与被测区域纹理的叠加特征寻找匹配点，可以快速、准确地获得被测区域的三维信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种内窥镜成像方法的流程图；
图2为本发明一实施例中获得被测区域的三维信息的方法流程图；
图3为本发明一实施例中对第一图像采集装置和第二图像采集装置进行极线校正的示意图；
图4为本发明一实施例中根据一对匹配点的视差得到对应物点的深度的示意图；
图5为本发明一实施例提供的一种内窥镜成像系统的示意图。
说明书附图中的附图标记包括：
图像处理装置-101，光源-102，微处理器-103，第一光学器件-104，微镜阵列-105，第二光学器件-106，导光部-107，信号线-108，图像传感器-109，第二镜头-110，第一镜头-111，第三镜头-112。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
传统的内窥镜成像系统只能获取到被测区域的二维图像，医生根据图像只能掌握被测区域的二维信息，无法获取到被测区域的病灶和生理特征的深度信息或者三维信息。其中，为了解决该问题，可以将三维重建测量方法应用到内窥镜成像系统中，比如，采用双目CCD对被测区域拍摄图像，根据获得的图像对被测区域进行三维重建。但是在实际应用中，对于被测区域的一些弱纹理，在图像中查找匹配点时容易产生误匹配，导致测量结果误差较大，无法准确地恢复出三维信息。针对此，本发明提供一种内窥镜成像方法及系统，通过向被测区域投射出散斑图案，在两图像采集装置成像获得的图像中借助散斑与被测区域纹理的叠加特征寻找匹配点，以获得被测区域的三维信息，与现有采用双目CCD直接成像来实现三维重建的方法相比，以散斑增强被测区域的纹理特征，降低了匹配误差，提高了获得被测区域三维信息的准确性。另外，本内窥镜成像方法及系统可以在内窥镜对腔体内成像过程中，在需要获得被测区域的三维信息时，只要在采集一帧图像的时间内向被测区域投射出包含散斑图案的照明光束，在两图像采集装置同步采集完一帧图像后，即可恢复为正常成像状态，这一操作可在很短的时间内完成。根据两图像采集装置同步采集的一帧图像即可获得被测区域的三维信息，这一操作对内窥镜对腔体正常观察的影响很小，因此，本发明实施例提供的内窥镜成像方法和系统还可以快速地获取到被测区域的三维信息，基本不影响内窥镜的常规观察。
请参考图1，图1为本实施例提供的一种内窥镜成像方法的流程图，如图所示，所述内窥镜成像方法包括但不限于以下步骤：
S11：在接收到预设指令时，控制光源装置向被测区域投射出预设照明光束，所述预设照明光束投射在所述被测区域形成散斑图案，以及控制第一图像采集装置和第二图像采集装置获取来自所述被测区域的光线并基于获取的光线进行成像。
被测区域是指通过内窥镜对腔体内成像观察时的感兴趣区域。
在接收到预设指令时，同步地控制光源装置以及第一图像采集装置、第二图像采集装置进行动作。
S12：获取所述第一图像采集装置成像获得的第一图像以及所述第二图像采集装置成像获得的第二图像。
第一图像采集装置获取来自被测区域的光线，进行成像获得第一图像。第二图像采集装置获取来自被测区域的光线，进行成像获得第二图像。
S13：根据所述第一图像和所述第二图像，找出所述第一图像和所述第二图像的匹配点并获得匹配点的视差，得到视差图，并根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息；其中，每一对匹配点对应所述被测区域的同一物点。
以第一图像中被测区域的纹理信息和散斑为特征以及以第二图像中被测区域的纹理信息和散斑为特征，在第一图像和第二图像中借助散斑与被测区域纹理的叠加特征寻找相匹配的点。每一对匹配点包括在第一图像中的一点以及在第二图像中相对应的一点，每一对匹配点对应被测区域的同一物点。
匹配点的视差是指在第一图像中对应点的列坐标和在第二图像中对应点的列坐标的差量。视差图描述了得到的每一对匹配点的视差。根据视差图、第一图像和第二图像，获得被测区域的各个物点在建立的三维坐标系中的位置，获得被测区域的三维信息。
本实施例的内窥镜成像方法，通过向被测区域投射出散斑图案，通过第一图像采集装置和第二图像采集装置对被测区域成像，在第一图像采集装置和第二图像采集装置成像获得的图像中借助散斑与被测区域纹理的叠加特征寻找匹配点，进而获得被测区域的三维信息。本实施例的内窥镜成像方法能够获得被测区域的三维信息，并且与现有采用双目CCD直接成像来实现三维重建的方法相比，以散斑增强被测区域的纹理特征来寻找匹配点，降低了匹配误差，提高了获得被测区域三维信息的准确性。
本实施例中，对预设指令的产生方式不做限定，可选地，可以是人为触发产生，或者可以是自动产生，比如基于内窥镜成像系统当前采集到的图像，若根据图像确定需要获得当前被测区域的三维信息时，则自动触发产生预设指令。比如根据内窥镜成像系统采集的图像在AI模型判定存在病变部位时，自动触发产生预设指令，以获得病变部位的三维信息。
本实施例中，对光源装置向被测区域投射形成的散斑图案形式不做限定。在一些实施方式中，散斑图案可包括亮斑和暗斑，亦即，该散斑图像可以由排布的多个亮斑和多个暗斑形成。优选地，散斑图案中暗斑的总面积小于被测区域的总面积的1/2。其中，暗斑的总面积是指所有暗斑所占区域的面积的总和，暗斑的总面积越大，所采集到的图像越暗。通过使散斑图案中暗斑的总面积小于被测区域的总面积的1/2，可以保证所采集到的图像具有一定的亮度，避免因所成图像过暗而影响对被测区域纹理信息的识别。具体地，暗斑的总面积与被测区域的总面积的比值范围可以为1/4至1/2，如此，既可以保证对被测区域纹理信息的识别度，又可以便于形成具有丰富纹理特征的散斑图案，进而提升匹配点的匹配精度。
本实施例中，对亮斑和暗斑的排布形式不做限定，亮斑和暗斑的排布形式要使散斑图案具有丰富的纹理特征。优选地，散斑图案中的亮斑的位置分布是无规律的，使得散斑图案具有良好的随机性，便于提升弱纹理区域的匹配精度，有助于提高测量被测区域三维信息的准确性。散斑图案中的亮斑/暗斑按照一致的疏密程度均匀分布于所述被测区域，保证被测区域各个位置都分布有亮斑。
进一步地在一些实施方式中，本内窥镜成像方法还可包括以下过程：确定所述被测区域所在部位；根据所述部位确定所述散斑图案中的亮斑/暗斑的疏密程度。在实际应用中，不同体腔部位的结构特征不同，对应的弱纹理区域的范围或者纹理特点也可能不一样，针对此，为了能够对被测区域图像较准确地寻找匹配点以测量三维信息，本方法中针对不同的体腔部位设置相适应的散斑图案，散斑图案中亮斑和暗斑的疏密程度要使得对该体腔部位探测时，以散斑增强该体腔部位被测区域的纹理特征能够较准确地寻找出匹配点，提高测量被测区域三维信息的准确性。
在另一些实施方式中，为了能够保证所形成的散斑图案可适应各种纹理场景，可以根据体腔中纹理最弱和/或弱纹理区域所占面积最大的场景/部位确定散斑图案中亮斑/暗斑的疏密程度，进而在各种部位都使用具有相同疏密程度的散斑图案。散斑图案中亮斑/暗斑越密集，在所成图像中散斑与弱纹理区域叠加的纹理越丰富，根据体腔中纹理最弱和/或弱纹理区域所占面积最大的场景/部位确定散斑图案中亮斑和暗斑的疏密程度，根据该确定的散斑图案对各种部位进行探测，对各种部位能够较好地寻找匹配点以测量三维信息。
下面对根据获得的被测区域的第一图像和第二图像获得被测区域三维信息的实施方式进行详细说明。可参考图2，图2为一实施例中获得被测区域的三维信息的方法流程图，如图所示，包括但不限于以下步骤：
S21：对第一图像采集装置和第二图像采集装置进行标定，获得所述第一图像采集装置和所述第二图像采集装置的焦距、光轴与图像平面的交点以及畸变系数，以及所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移矩阵。
本实施例中，对第一图像采集装置和第二图像采集装置进行标定的方法不做限定，可采用但不限于张正友标定方法。张正友标定方法包括以下过程：
首先，使用第一图像采集装置、第二图像采集装置，对处于不同姿态时的平面标靶采集图像。
然后，根据采集到的标靶图像，对标靶图像进行检测，获取标靶图像的特征点，再求解理想无畸变情况下的各个图像采集装置的内参数和外参数，并求出各个图像采集装置实际的畸变系数。其中，图像采集装置的内参数包括图像采集装置沿对应图像坐标轴的焦距fx、fy，fx、fy分别表示图像采集装置的水平焦距和垂直焦距，图像采集装置的光轴与图像平面的交点(u0，v0)(即光心在图像平面上的投影，称为主点)，畸变系数包括径向畸变系数k1、k2、k3和切向畸变系数p1、p2。外参数包括两图像采集装置之间的旋转矩阵R和平移矩阵T。
可选地，可采用最小二乘法求出图像采集装置的径向畸变系数。优选地，在求解过程中可采用极大似然法对各个参数进行优化估计，提升估计精度。
S22：对第一图像采集装置和第二图像采集装置进行极线校正，使得所述第一图像采集装置的图像平面和所述第二图像采集装置的图像平面平行，且同一物点在两者图像平面中的对应点处于相同行。
具体地，可使用第一图像采集装置和第二图像采集装置，对同一场景采集图像，对采集获得的两个图像进行投影变换，使两个图像采集装置的图像平面平行，并且使得同一物点在两个图像平面中处于相同行，即同一物点在两个图像平面中的对应点具有相同的行坐标。可参考图3所示，图3为一实施例中对第一图像采集装置和第二图像采集装置进行极线校正的示意图，如图所示，对两图像采集装置进行校正后，两图像采集装置的图像平面平行。并且对于物点P，在校正前和校正后的第一图像采集装置的图像平面中对应点分别为Pl和Pl′，在校正前和校正后的第二图像采集装置的图像平面中对应点分别为Pr和Pr′，可以看出，Pl′和Pr′处于相同行。这样在后续对两图像采集装置采集的图像中寻找匹配点时，对两幅图像的二维匹配搜索变成一维，减小了搜索范围，排除虚假匹配点，有助于提高搜索匹配点的速度和精度；另外，将两个图像采集装置的图像平面共面且行对准，方便于使用三角原理测距。
以上步骤S21和步骤S22是在对被测区域进行成像和测量之前完成。
S23：寻找匹配点，得到视差图。对于第一图像采集装置对被测区域采集的第一图像以及第二图像采集装置对被测区域采集的第二图像，找出第一图像和第二图像的匹配点并获得匹配点的视差，得到视差图。
对第一图像采集装置和第二图像采集装置极线校正后，对于对被测区域采集的第一图像和第二图像，被测区域的同一物点在两个图像中的对应点具有相同的行坐标，被测区域的同一物点在两个图像中的对应点的列坐标分别表示为xl、xr。
以第一图像中被测区域的纹理信息和散斑为特征以及以第二图像中被测区域的纹理信息和散斑为特征，在第一图像和第二图像中借助散斑与被测区域纹理的叠加特征寻找相匹配的点。在第一图像和第二图像中找出匹配点之后，根据两个图像中对应点的列坐标，可以得到对应物点的视差，表示为Δδ＝xl-xr。根据所述方法，可以得到第一图像和第二图像中找出的所有匹配点的视差。
本实施例中，对根据第一图像中的特征和第二图像中的特征找出第一图像和第二图像的匹配点的方法不做限定，可采用但不限于SGBM(Semi-global Matching)双目匹配算法，此算法属于非全局方法，具有计算量小的特点，利用此算法在精度和计算效率上有较好的平衡。
S24：对视差图进行滤波处理。
对得到的视差图进行滤波处理，具体以视差图中正确的视差为基准，去除噪声，将噪声以正确近似的视差值替代，变为稠密视差。使滤波之后的视差图尽可能接近原图，同时在梯度较小区域尽可能平滑，保持高梯度的边缘部分。梯度较小区域对应物体表面变化不大的区域，平滑处理符合表面情况，减小误差；高梯度部分对应物体表面起伏大的区域，一般是细节部分，应当保留，这样使得视差图尽可能接近原图。
对视差图滤波处理的方法可采用但不限于保边的加权最小二乘滤波WLS(Weighted Least Squares)算法。
S25：根据视差图得到深度图。可结合参考图4，图4为一实施例中根据一对匹配点的视差得到对应物点的深度的示意图，如图所示，点P表示一物点，Ol、Or分别表示第一图像采集装置的光心、第二图像采集装置的光心。根据视差图和以下公式得到深度图：
其中，Z表示一对匹配点对应物点的深度，B表示第一图像采集装置光心和第二图像采集装置光心的距离，f表示第一图像采集装置镜头的焦距，Δδ表示一对匹配点的视差，Δδ＝xl-xr，xl表示一对匹配点在第一图像中对应点的列坐标，xr表示一对匹配点在第二图像中对应点的列坐标。
S26：根据深度图获得对应物点的三维信息。可根据以下公式获得一对匹配点对应物点在三维坐标系的坐标(X，Y，Z)：
其中，(x,y)表示一对匹配点对应物点在第一图像中的像素坐标，(u0,v0)表示第一图像的主点，fx、fy分别表示第一图像采集装置的水平焦距和垂直焦距，所述三维坐标系为以第一图像采集装置建立的三维坐标系。进而，基于各对匹配点在三维坐标系的坐标，得到所述被测区域的三维信息。
本实施例中以第一图像采集装置坐标系为主坐标系，被测区域的点云数据建立在以第一图像采集装置建立的三维坐标系中，被测区域的任一物点Pi坐标最终由一组向量(Xi，Yi，Zi)表示。
进一步地，得到被测区域的三维点云数据后，可以获得被测区域任意两点之间的距离，实现三维测距。具体可包括：
在第一图像中选定待测量的任意两像素(x1,y1)和(x2,y2)，并根据以下公式获得该两像素对应物点之间的距离：
其中，L12表示该两像素对应物点之间的距离，(X1,Y1,Z1)表示像素(x1,y1)对应物点的坐标，(X2,Y2,Z2)表示像素(x2,y2)对应物点的坐标。
需要说明的是，在上述实施例中是以第一图像采集装置的坐标系来建立三维坐标系，描述被测区域的三维点云数据的，可以理解的是在其它实施例中，也可以是以第二图像采集装置的坐标系来建立被测区域点云数据的三维坐标系，也在本发明保护范围内。
本实施例的内窥镜成像方法，通过向被测区域投射出散斑图案，通过第一图像采集装置和第二图像采集装置对被测区域成像，在第一图像采集装置和第二图像采集装置成像获得的图像中借助散斑与被测区域纹理的叠加特征寻找匹配点，获得被测区域的三维信息。在内窥镜对腔体内成像过程中，在需要获得被测区域的三维信息时，只要在采集一帧图像的时间内向被测区域投射出包含散斑图案的照明光束，在两图像采集装置同步采集完一帧图像后，即可恢复为正常成像状态，这一操作可在很短的时间内完成。根据两图像采集装置同步采集的一帧图像即可获得被测区域的三维信息。
本实施例还提供一种内窥镜成像系统，所述内窥镜成像系统包括光源装置、导光部、第一图像采集装置、第二图像采集装置和图像处理装置。
所述光源装置用于出射照明光束，并会聚至所述导光部的近端；所述导光部用于使光源装置出射的照明光束沿着所述导光部传播，并从所述导光部延伸出的远端发射出以照射至被测区域；
所述第一图像采集装置和所述第二图像采集装置分别用于获取来自所述被测区域的光线并基于获取的光线进行成像，分别获得第一图像和第二图像；在一些实施例中，所述第一图像采集装置和所述第二图像采集装置具体可以分别设置于所述导光部远端的一侧。
所述图像处理装置分别与光源装置、所述第一图像采集装置和所述第二图像采集装置通信连接，用于控制所述光源装置、所述第一图像采集装置和所述第二图像采集装置，以实现如上任一实施例所述的内窥镜成像方法。
本实施例的内窥镜成像系统，通过向被测区域投射出散斑图案，通过第一图像采集装置和第二图像采集装置对被测区域成像，根据第一图像采集装置和第二图像采集装置获得的图像，借助图像中散斑与被测区域纹理的叠加特征获得被测区域的三维信息。
本实施例中，对光源装置向被测区域投射出可形成散斑图案的照明光束的实现方式不做限定。可选地，在一些实施方式中，光源装置包括光源和微镜阵列，所述微镜阵列位于所述光源的出光光路上，所述光源出射的照明光束入射至所述微镜阵列，经所述微镜阵列反射后形成所述预设照明光束，并会聚至所述导光部的近端，其中，所述微镜阵列的任一微镜均具有反射状态和不反射状态，当本微镜处于反射状态时形成亮斑，当本微镜处于不反射状态时形成暗斑。通过控制微镜阵列的多个微镜处于不反射状态，其余微镜处于反射状态，使得照明光束入射至微镜阵列时，处于反射状态的微镜形成亮斑，处于不反射状态的微镜形成暗斑，使产生的照明光束可投射形成散斑图案。
其中，光源装置向被测区域投影出预设照明光束以形成散斑图案时，微镜阵列中处于反射状态的微镜数量和处于不反射状态的微镜数量，要使散斑图案具有丰富的纹理特征，暗斑不能太多或太大，以避免图像过暗而影响匹配点的识别。处于不反射状态的微镜数量与微镜阵列的微镜总数量的比值小于1/2，优选地，处于不反射状态的微镜数量与所述微镜阵列的微镜总数量的比值范围为1/4至1/2。
进一步优选地，从微镜阵列中随机选取多个所述微镜，控制所选取的所述微镜处于不反射状态，以使得所述光源装置向所述被测区域投射出所述预设照明光束。从微镜阵列中随机选取多个微镜处于不反射状态，这样随机生成散斑图案，符合散斑图像良好的随机性，便于提升弱纹理区域的匹配精度，有助于提高测量被测区域三维信息的准确性。
本内窥镜成像系统还可包括分别与微镜阵列和图像处理装置相连的微处理器，微处理器用于接收图像处理装置发出的控制信号，从所述微镜阵列中选取多个微镜，并控制所选取的微镜处于不反射状态。其中，由于微处理器、第一图像采集装置、第二图像采集装置均与图像处理器相连，因此，通过图像处理装置可以同步地控制光源装置以及第一图像采集装置、第二图像采集装置进行动作。
优选地，光源装置还可包括设置于光源和所述微镜阵列之间光路上的第一光学器件，所述第一光学器件用于收集所述光源出射的照明光束，并使照明光束入射至所述微镜阵列。第一光学器件收集光源出射的照明光束，可以对光束进行准直，进一步使照明光束以适当的角度入射至微镜阵列。可选地，第一光学器件可包括但不限于透镜或者二向色镜。优选地，光源装置还可包括设置于所述微镜阵列和所述导光部之间光路上的第二光学器件，所述第二光学器件用于收集由所述微镜阵列反射的光，将光会聚至所述导光部的近端。第二光学器件可包括但不限于透镜。
示例的可参考图5，图5为一实施例提供的一种内窥镜成像系统的示意图，如图所示，光源装置包括光源102、第一光学器件104、微镜阵列105和第二光学器件106。导光部107的近端与光源装置的出光端耦合。微处理器103与微镜阵列105、图像处理装置101分别相连。
导光部107可采用光纤。优选地，导光部107包括多根光纤，该多根光纤的近端在所述导光部107近端面的排布位置与该多根光纤的远端在所述导光部107远端面的排布位置一致，使得预设照明光束通过导光部107传输，预设照明光束投射在被测区域的散斑图案与投射在导光部107近端的散斑图案一致，预设照明光束传输至被测区域时包含的散斑图案不会变形。
优选地可参考图5所示，还可包括设置于所述导光部107的远端出光一侧的第一镜头111，所述导光部107的远端端面位于所述第一镜头111的物面上，第一镜头111将通过导光部107远端出射的光束进行准直，向被测区域发射出。
可选地，第一图像采集装置可包括第一图像传感器和第二镜头，所述第二镜头设置于所述第一图像传感器接收光一侧，所述第一图像传感器位于所述第二镜头的像面，通过第二镜头收集来自被测区域的光线，使光线会聚至第一图像传感器。所述第二图像采集装置包括第二图像传感器和第三镜头，所述第三镜头设置于所述第二图像传感器接收光一侧，所述第二图像传感器位于所述第三镜头的像面，通过第三镜头收集来自被测区域的光线，使光线会聚至第二图像传感器。可参考图5所示的内窥镜成像系统，其包括两个图像传感器109，分别位于导光部107远端的两侧，在其中一个图像传感器109的接收光一侧设置有第二镜头110，在另一个图像传感器109的接收光一侧设置有第三镜头112。每一图像传感器109通过信号线108与相机接口连接，相机接口与图像处理装置101连接，通过信号线108可以将图像传感器109采集的图像传输到图像处理装置101。
另外需要说明的是，本实施例的内窥镜成像系统实现获得被测区域的三维信息的具体实施方式，均可参考上面关于内窥镜成像方法的实施方式的详细描述，在此不再赘述。
以上对本发明所提供的一种内窥镜成像方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (12)
1.一种内窥镜成像方法，其特征在于，包括：
在接收到预设指令时，控制光源装置向被测区域投射出预设照明光束，所述预设照明光束投射在所述被测区域形成散斑图案，以及控制第一图像采集装置和第二图像采集装置获取来自所述被测区域的光线并基于获取的光线进行成像；
获取所述第一图像采集装置成像获得的第一图像以及所述第二图像采集装置成像获得的第二图像；
根据所述第一图像和所述第二图像，找出所述第一图像和所述第二图像的匹配点并获得匹配点的视差，得到视差图，并根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息；其中，每一对匹配点对应所述被测区域的同一物点。
2.根据权利要求1所述的内窥镜成像方法，其特在于，所述散斑图案包括亮斑和暗斑，所述暗斑的总面积小于所述被测区域的总面积的1/2。
3.根据权利要求2所述的内窥镜成像方法，其特征在于，所述散斑图案中的亮斑的位置分布是无规律的。
4.根据权利要求3所述的内窥镜成像方法，其特征在于，所述散斑图案中的亮斑或暗斑按照一致的疏密程度均匀分布于所述被测区域。
5.根据权利要求4所述的内窥镜成像方法，其特征在于，所述方法还包括：
确定所述被测区域所在部位；
根据所述部位确定所述散斑图案中的亮斑或暗斑的疏密程度。
6.根据权利要求1所述的内窥镜成像方法，其特征在于，所述根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息包括：
根据所述视差图和以下公式得到深度图：
其中，Z表示一对匹配点对应物点的深度，B表示第一图像采集装置光心和第二图像采集装置光心的距离，f表示第一图像采集装置镜头的焦距，Δδ表示一对匹配点的视差，Δδ＝xl-xr，xl表示一对匹配点在第一图像中对应点的列坐标，xr表示一对匹配点在第二图像中对应点的列坐标；
根据以下公式获得一对匹配点对应物点在三维坐标系的坐标(X，Y，Z)：
其中，(x,y)表示一对匹配点对应物点在第一图像中的像素坐标，(u0,v0)表示第一图像的主点，fx、fy分别表示第一图像采集装置的水平焦距和垂直焦距，所述三维坐标系为以第一图像采集装置建立的三维坐标系；
基于各对匹配点在三维坐标系的坐标，得到所述被测区域的三维信息。
7.根据权利要求6所述的内窥镜成像方法，其特征在于，所述根据所述视差图、所述第一图像和所述第二图像获得所述被测区域的三维信息之后，所述方法还包括：
在所述第一图像中选定待测量的任意两像素(x1,y1)和(x2,y2)，并根据以下公式获得该两像素对应物点之间的距离：
其中，L12表示该两像素对应物点之间的距离，(X1,Y1,Z1)表示像素(x1,y1)对应物点的坐标，(X2,Y2,Z2)表示像素(x2,y2)对应物点的坐标。
8.根据权利要求6所述的内窥镜成像方法，其特征在于，在接收所述预设指令之前，还包括：
对所述第一图像采集装置和所述第二图像采集装置进行极线校正，使得所述第一图像采集装置的图像平面和所述第二图像采集装置的图像平面平行，且同一物点在两者图像平面中的对应点处于相同行。
9.根据权利要求6所述的内窥镜成像方法，其特征在于，在接收所述预设指令之前，还包括：
对所述第一图像采集装置和所述第二图像采集装置进行标定，获得所述第一图像采集装置和所述第二图像采集装置的焦距、光轴与图像平面的交点以及畸变系数，以及所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移矩阵。
10.一种内窥镜成像系统，其特征在于，包括：
光源装置，用于出射照明光束；
导光部，用于使所述照明光束沿着所述导光部传播，并从所述导光部延伸出的远端发射出以照射至被测区域；
第一图像采集装置和第二图像采集装置，分别用于获取来自所述被测区域的光线并基于获取的光线进行成像；
图像处理装置，分别与所述光源装置、所述第一图像采集装置和所述第二图像采集装置通信连接，用于控制所述光源装置、所述第一图像采集装置和所述第二图像采集装置，以实现如权利要求1～9任一项所述的内窥镜成像方法。
11.根据权利要求10所述的内窥镜成像系统，其特征在于，所述光源装置包括光源和微镜阵列，所述微镜阵列位于所述光源的出光光路上，所述光源出射的照明光束入射至所述微镜阵列，经所述微镜阵列反射后形成所述预设照明光束，并会聚至所述导光部的近端，其中，所述微镜阵列的任一微镜均具有反射状态和不反射状态，当本微镜处于反射状态时形成亮斑，当本微镜处于不反射状态时形成暗斑。
12.根据权利要求10所述的内窥镜成像系统，其特征在于，所述导光部包括多根光纤，该多根光纤的近端在所述导光部近端面的排布位置与该多根光纤的远端在所述导光部远端面的排布位置一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211362572.5A CN117994193A (zh) | 2022-11-02 | 2022-11-02 | 一种内窥镜成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211362572.5A CN117994193A (zh) | 2022-11-02 | 2022-11-02 | 一种内窥镜成像方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117994193A true CN117994193A (zh) | 2024-05-07 |
Family
ID=90885861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211362572.5A Pending CN117994193A (zh) | 2022-11-02 | 2022-11-02 | 一种内窥镜成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994193A (zh) |
-
2022
- 2022-11-02 CN CN202211362572.5A patent/CN117994193A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11629955B2 (en) | Dual-resolution 3D scanner and method of using | |
| CN102188290B (zh) | 用于获取牙齿的3d表面轮廓图像数据的装置和方法 | |
| US8366273B2 (en) | Iris image definition estimation system using the astigmatism of the corneal reflection of a non-coaxial light source | |
| US10708553B2 (en) | Measurement support device, endoscope system, processor for endoscope system | |
| CA2299426A1 (en) | Scanning apparatus and methods | |
| KR20190074841A (ko) | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법 | |
| WO2018230098A1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
| US20130023732A1 (en) | Endoscope and endoscope system | |
| CN110891471A (zh) | 采用结构光提供生理特征尺寸测量的内窥镜 | |
| JPH11337845A (ja) | 内視鏡装置 | |
| JP6210483B2 (ja) | 立体内視鏡画像からの３次元形状取得装置 | |
| KR101137516B1 (ko) | 구강용 스캐너 및 이를 포함하는 기공물 제조 시스템 | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| US7896497B2 (en) | Corneal measurement apparatus having a segmented aperture and a method of using the same | |
| CN118105060A (zh) | 根据阴影提供形状的测量系统 | |
| CN117994193A (zh) | 一种内窥镜成像方法及系统 | |
| JP2023029537A (ja) | 眼科装置 | |
| JP2003057535A (ja) | 光学的観察装置と広がりのある被検試料との間の距離測定方法及び該方法を実行する顕微鏡 | |
| JPH0984760A (ja) | 眼科器械用位置合わせ検出装置 | |
| JP4545871B2 (ja) | 眼科装置 | |
| JP4191428B2 (ja) | カメラ方式三次元計測装置 | |
| WO2022230563A1 (ja) | 内視鏡システム及びその作動方法 | |
| Hasegawa et al. | Endoscope system for high‐speed 3D measurement | |
| CN114782434B (zh) | 一种内窥镜合作目标定位方法及系统 | |
| JP2023553792A (ja) | 撮像システム、腹腔鏡及び対象物を撮像するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |