CN117456000A - 一种内窥镜的对焦方法、装置、存储介质和电子设备 - Google Patents

Abstract

本申请公开了一种内窥镜的对焦方法、装置、存储介质和电子设备，包括：对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测内窥镜图像的目标对象及其位置区域；在检测到目标对象时，将目标对象的位置区域作为目标区域；在未检测到目标对象时，基于内窥镜图像确定感兴趣区域和手术器械区域，在每个所述感兴趣区域中去除与所述手术器械区域重叠的部分；将剩余的感兴趣区域作为目标区域；基于所述目标区域进行内窥镜的对焦。应用本申请，能够实时稳定对焦到目标对象上，并避免对焦到手术器械上。

Description

一种内窥镜的对焦方法、装置、存储介质和电子设备

技术领域

本申请涉及图像处理技术，特别涉及一种内窥镜的对焦方法、装置、存储介质和电子设备。

背景技术

近年来，智能医疗内窥镜的发展使得很多内窥镜产品具备自动对焦/聚焦功能，其通过自动或者用户手动方式，在指定对焦点区域使得图像更加清晰/锐利。

现有的自动对焦技术中，自动对焦功能要么是手术开始前一次性完成，术中无法及时定位到医生关注的目标对象的位置上；要么手术中实时自动对焦的时候容易对焦到手术器械上，不能稳定对焦到医生关注的目标对象的位置上。

发明内容

本申请提供一种内窥镜的对焦方法、装置、存储介质和电子设备，能够实时稳定对焦到目标对象上，并避免对焦到手术器械上。

为实现上述目的，本申请采用如下技术方案：

一种内窥镜的对焦方法，包括：

对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测所述内窥镜图像的目标对象及其位置区域；其中，所述目标对象不包括手术器械；

在检测到目标对象时，将目标对象的位置区域作为目标区域；

在未检测到目标对象时，基于所述内窥镜图像确定感兴趣区域和手术器械区域，在所述感兴趣区域中去除与所述手术器械区域重叠的部分；将剩余的感兴趣区域作为目标区域；

基于所述目标区域进行内窥镜的对焦。

较佳地，在检测到目标对象的多个位置区域时，选择目标对象的一个位置区域作为所述目标区域。

较佳地，所述选择目标对象的一个位置区域作为目标区域，包括：选择目标对象的面积最大位置区域作为所述目标区域，或者，选择目标对象的置信度值最大的位置区域作为所述目标区域。

较佳地，在确定出多个感兴趣区域时，在多个所述剩余的感兴趣区域中选择一个，作为所述目标区域。

较佳地，所述在多个所述剩余的感兴趣区域中选择一个，包括：选择剩余的视觉显著区域中面积最大的一个区域，或者，基于剩余的感兴趣区域中各像素点的特征值选择一个区域。

较佳地，在多个所述剩余的感兴趣区域中选择一个作为目标区域包括：

识别任一剩余的感兴趣区域的面积小于设定要求，则不选择该剩余的感兴趣区域作为所述目标区域。

较佳地，所述目标对象为目标组织或目标器械。

较佳地，所述基于所述目标区域进行内窥镜的对焦，包括：

基于所述目标区域计算对焦点；

基于所述对焦点进行内窥镜的对焦。

较佳地，所述基于所述目标区域计算对焦点，包括：将所述目标区域的加权中心点作为所述对焦点。

较佳地，所述基于所述对焦点进行内窥镜的对焦，包括：

若所述对焦点与上一帧内窥镜图像的对焦点的距离小于设定的距离阈值，保持内窥镜的对焦位置不变；

若所述对焦点与上一帧内窥镜图像的对焦点的距离大于或等于设定的距离阈值，按照所述对焦点重新进行内窥镜的对焦。

一种内窥镜设备，包括：目标对象检测单元、第一区域确定单元、第二区域确定单元和对焦单元；

所述目标对象检测单元，用于对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测所述内窥镜图像的目标对象及其位置区域；其中，所述目标对象不包括手术器械；

所述第一区域确定单元，用于在检测到目标对象时，将目标对象的位置区域作为目标区域，输出到所述对焦单元；

所述第二区域确定单元，用于所述目标对象检测单元未检测到目标对象时，基于所述内窥镜图像确定感兴趣区域和手术器械区域，在所述感兴趣区域中去除与所述手术器械区域重叠的部分；将剩余的感兴趣区域作为目标区域，输出到所述对焦单元；

所述对焦单元，用于基于所述目标区域进行内窥镜的对焦。

较佳地，所述第一区域确定单元，进一步用于在所述目标对象检测单元检测到目标对象的多个位置区域时，选择目标对象的一个位置区域作为所述目标区域。

较佳地，在所述第一区域确定单元中，所述选择目标对象的一个位置区域作为目标区域，包括：选择目标对象的面积最大位置区域作为所述目标区域，或者，选择目标对象的置信度值最大的位置区域作为所述目标区域。

较佳地，所述第二区域确定单元，进一步用于在确定出多个感兴趣区域时，在多个所述剩余的感兴趣区域中选择一个，作为所述目标区域。

较佳地，在所述第二区域确定单元中，所述在多个所述剩余的感兴趣区域中选择一个，包括：选择剩余的感兴趣区域中面积最大的一个区域，或者，基于剩余的感兴趣区域中各像素点的特征值选择一个区域。

较佳地，在所述第二区域确定单元中，所述在多个所述剩余的感兴趣区域中选择一个作为目标区域，包括：

识别任一剩余的感兴趣区域的面积是否满足设定要求；

在不满足所述设定要求的情况下，则不选择该剩余的感兴趣区域作为目标区域。

较佳地，所述对焦单元包括对焦点计算子单元和对焦处理子单元；

所述对焦点计算子单元，用于基于所述目标区域计算对焦点；

所述对焦处理子单元，用于基于所述对焦点进行内窥镜的对焦。

较佳地，在所述对焦点计算子单元中，所述基于所述目标区域计算对焦点，包括：将所述目标区域的加权中心点作为所述对焦点。

较佳地，在所述对焦处理子单元中，所述基于所述对焦点进行内窥镜的对焦，包括：

若所述对焦点与上一帧内窥镜图像的对焦点的距离小于设定的距离阈值，保持内窥镜的对焦位置不变；

若所述对焦点与上一帧内窥镜图像的对焦点的距离大于或等于设定的距离阈值，按照所述对焦点重新进行内窥镜的对焦。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的内窥镜对焦方法。

一种内窥镜系统，该内窥镜系统至少包括计算机可读存储介质，还包括处理器；

所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的内窥镜对焦方法。

由上述技术方案可见，本申请中，对于采集的每帧内窥镜图像均采用本申请的对焦方法进行对焦处理，从而实现实时对焦。具体地，对于每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测目标对象及其位置区域；且目标对象不包括手术器械，这样可以利用神经网络模型有效检测出医生关注的目标对象及其位置，并避免检测到手术器械。若未能检测到目标对象，则确定感兴趣区域和手术器械区域，在感兴趣区域中去除与手术器械区域重叠的部分，并将剩余的感兴趣区域作为目标区域，用于计算对焦点。通过上述方式，可以利用神经网络实时准确检测目标对象的位置区域，保证实时稳定对焦到目标对象；即使未检测到目标对象，也可以在感兴趣区域中剔除手术器械区域，再基于剔除手术区域后的感兴趣区域计算画面的对焦点，避免聚焦在手术器械上。

附图说明

图1为本申请中内窥镜对焦方法的基本流程示意图；

图2为本申请具体实施例中内窥镜对焦方法的具体流程示意图；

图3为本申请中内窥镜设备的基本结构示意图；

图4为本申请中所提供电子设备的基本结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

图1为本申请中内窥镜对焦方法的基本流程示意图。如图1所示，该方法包括：

步骤101，对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测所述内窥镜图像的目标对象及其位置区域。

本申请的对焦方法是对采集的内窥镜图像逐帧进行处理，对于每帧内窥镜图像，均采用步骤101-104的处理。

步骤101用于进行目标对象的检测。其中，目标对象也就是医生手术过程中所关注的对象，可以是目标组织，例如肝脏手术中的肝脏组织，还可以是植入人体的目标器械，例如心脏手术中的心脏支架等。该目标对象不包括手术器械。

具体地，将内窥镜图像输入目标对象检测模型，该目标对象检测模型是预先训练好的神经网络模型，可以采用各种现有的目标识别和检测网络，例如faster-rcnn、yolo系列检测网络等。利用该目标对象检测模型对内窥镜图像进行目标检测处理，输出检测到的目标对象及其位置区域。其中，在目标对象检测模型中，通过对目标对象的特征提取和分析，可以得到内窥镜图像中候选目标对象的坐标位置、分类类别和置信度值，可以将分类类别属于目标对象、置信度值大于置信度阈值的候选目标对象作为检测到的目标对象，输出该目标对象及其坐标位置。

在经过目标对象检测模型的处理后，若检测到目标对象，则执行步骤102，若未检测到目标对象，则执行步骤103。

步骤102，在检测到目标对象时，将目标对象的位置区域作为目标区域。

在目标对象检测模型检测到目标对象时，可能在一个或多个不同的位置区域检测到目标对象，对于在多个不同位置区域检测到目标对象的情况，可以选择目标对象的一个位置区域作为目标区域，用于后续进行对焦点的确定。具体可以根据实际需要进行选择，例如选择面积最大的一个位置区域或者选择置信度指最大的一个位置区域等。

另外，由于目标对象检测模型是训练好的神经网络，因此能够保证其对目标对象的识别和检测的准确性，由于目标对象中不包括手术器械，因此通过目标对象检测网络将手术器械误认为是目标对象的可能性很小，因此，在检测到目标对象后，通常能够保证该目标对象的位置区域不包括手术器械区域，从而能够避免对焦到手术器械上。

步骤103，在未检测到目标对象时，基于内窥镜图像确定感兴趣区域和手术器械区域，在感兴趣区域中去除与手术器械区域重叠的部分，并将剩余的感兴趣区域作为目标区域。

在采集的某帧内窥镜图像中，可能不存在目标对象，例如，假定目标对象为心脏支架，在手术进路所采集的内窥镜图像中，可能不会出现心脏支架，也就无法检测到目标对象。

在未检测到目标对象时，可以在内窥镜图像中确定感兴趣区域，基于感兴趣区域确定对焦点。同时，考虑到手术器械的材质往往使得手术器械部分反光程度较高，容易被判定为感兴趣区域，但是手术器械往往不是医生关注的，不应对焦到手术器械上，因此，本申请中在确定出的感兴趣区域中需要去除手术器械部分，以避免对焦到手术器械上。

基于此，本申请中确定感兴趣区域和手术器械区域。另外，确定出的感兴趣区域可能为一个或多个。当确定出多个感兴趣区域时，可以在每个感兴趣区域中去除与手术器械区域重叠的部分，再基于剩余的感兴趣区域确定对焦点。同时，考虑到剩余的感兴趣区域可能不只一个，因此，本申请中在剩余的感兴趣区域中选择一个作为目标区域，用于确定对焦点。

其中，选择剩余的感兴趣区域时，可以按照预先设定的标准进行选择，例如可以选择面积最大的一个区域或者基于剩余的感兴趣区域中各像素点的特征值选择一个区域。

步骤104，基于目标区域进行内窥镜的对焦。

通过步骤102或103确定出目标区域后，本步骤基于确定出的目标区域进行的内窥镜的对焦。具体地，可以基于确定出的目标区域计算对焦点，再基于计算得到的对焦点进行内窥镜的对焦。具体对焦点的确定方式可以根据实际需要，例如可以选择目标区域的中心点或加权中心点作为对焦点，进行内窥镜图像的对焦时，可以按照各种现有的方式进行内窥镜的对焦处理。

另外，对于每帧内窥镜图像，都可以通过前述步骤101-104的方式确定该帧的对焦点并进行内窥镜的对焦，为简化处理，可选地，可以在本帧的对焦点与上一帧的对焦点之间距离较近时，仍然采用上一帧的对焦点，这样，不需要再调整内窥镜重新对焦，在本帧的对焦点与上一帧的对焦点之间距离较远时，按照本帧的对焦点重新进行内窥镜的对焦。其中，距离较近可以是距离小于设定的距离阈值，距离较远可以是大于或等于设定的距离阈值。

至此，本申请中对于一帧内窥镜图像进行的对焦处理结束。对于每帧内窥镜图像，都按照上述步骤101-104的处理进行对焦，这样一方面可以实时稳定地对焦到目标对象上，同时能够避免对焦到手术器械上。

下面通过一个具体实施例说明本申请中对焦方法的具体实现。在该具体实施例中假定目标对象为目标组织，例如胰腺组织、子宫内膜组织等。图2为本申请具体实施例中内窥镜对焦方法的具体流程示意图，如图2所示，该方法包括：

步骤201，采集第一帧内窥镜图像，并将第一帧内窥镜图像作为当前帧内窥镜图像。

步骤202，利用目标对象检测模型，对当前帧内窥镜图像进行处理。

其中，目标对象检测模型在预先训练时，输入内窥镜采集的体内场景图以及场景图内属于目标组织的坐标位置，目标对象检测模型对输入的体内场景图进行处理，得到候选目标组织及其坐标位置，并与输入的场景图内属于目标组织的坐标位置进行比较，确定损失函数，再基于损失函数更新目标对象检测模型的参数，直到满足模型的训练结束调节，例如损失函数满足预设要求，或者训练次数达到设定要求。通过训练，可以得到能够识别和检测到目标组织的目标对象检测模型。

本步骤中，利用训练好的目标对象检测模型对当前帧内窥镜图像进行处理，并得到候选目标组织的坐标位置、类别和置信度值，基于此就能够确定当前帧内窥镜图像是否存在目标组织以及相应的位置坐标。

步骤203，基于目标对象检测模型的处理结果判断当前帧内窥镜图像中是否检测到目标组织，若是，则执行步骤204，否则，执行步骤205~206。

基于步骤202的处理结果，就可以确定当前帧内窥镜图像中是否检测到目标组织。具体地，可以将类别为目标组织、且置信度值满足设定要求的候选目标组织作为检测到的目标组织，并输出相应的位置坐标。

步骤204，将目标对象的面积最大位置区域作为目标区域。

假定本实施例中检测到目标组织的多个位置区域，在目标对象的位置区域中选择目标区域时，选择面积最大的位置区域。

步骤205，基于内窥镜图像确定感兴趣区域和手术器械区域。

确定感兴趣区域的处理，可以采用各种已有方式。本实施例，通过视觉显著性算法确定感兴趣区域。

视觉显著性是基于图像处理算法从图像中提取出一个感兴趣的子集，为后续高级视觉处理减少处理复杂度的一种图像处理技术。视觉显著性算法通常对输入的图像，提取相关的初级视觉特征（颜色，亮度，方向，多尺度信息等），然后通过特定的融合算法将这些特征融合得到每个像素的融合特征值，还可以基于该特征值生成视觉显著性图，基于视觉显著性图按照设定的标准确定感兴趣区域，即，特征值用于表达颜色，亮度，方向，多尺度信息等。

在内窥镜图像中确定手术器械区域的处理可以采用神经网络模型来完成。具体地，可以预先训练手术器械检测模型，该模型通常可以使用目标检测网络，在训练时，输入内窥镜采集的体内场景图以及场景图内属于手术器械的坐标位置，手术器械检测模型对输入的体内场景图进行处理，得到候选手术器械及其坐标位置，并与输入的场景图内属于手术器械的坐标位置进行比较，确定损失函数，再基于损失函数更新手术器械检测模型的参数，直到满足模型的训练结束调节，例如损失函数满足预设要求，或者训练次数达到设定要求。通过训练，可以得到能够识别和检测到手术器械的手术器械检测模型。在本步骤205中，可以利用训练好的手术器械检测模型对当前帧内窥镜图像进行处理，并得到候选手术器械的坐标位置、类别和置信度值，基于此就能够确定当前帧内窥镜图像中的手术器械以及相应的位置坐标。

步骤206，在每个感兴趣区域中去除与手术器械区域重叠的部分，在剩余的感兴趣区域中选择一个作为目标区域。

本实施例中假定步骤205确定出多个感兴趣区域。由于手术器械区域不属于医生关注的部分，又容易被判定为感兴趣区域，因此，需要在感兴趣区域中去除属于手术器械区域的部分，这样保证后续不再基于手术器械区域进行对焦点的计算，以避免对焦在手术器械上。

具体地，在感兴趣区域中去除与手术器械区域重叠部分的处理，可以如下进行：

（1） 将所有感兴趣区域构成感兴趣区域集合，将所有手术器械区域构成手术器械区域集合，遍历感兴趣区域集合中的所有区域，对其中任一当前感兴趣区域Ai执行下面（2）~（4）的处理；

（2） 对当前感兴趣区域Ai，遍历手术器械区域集合中的所有区域，对其中任一当前手术器械区域Bj执行下面（3）~（4）的处理；

（3） 计算当前感兴趣区域Ai和当前手术器械区域Bj相交的区域，记为Cij。

（4） 在区域Ai中剔除Cij部分，并将保留的区域更新为Ai，若更新后的Ai区域过小（例如剩余区域面积小于预设的面积阈值，或者剩余区域面积在整个图像中的占比小于预设的占比阈值），则不将区域Ai作为感兴趣区域。

去除手术器械区域后的感兴趣区域可能有多个，可以根据实际需要选择一个区域作为目标区域，用于计算对焦点。例如，可以选择面积最大的一个区域，或者选择视觉显著值的均值最大的一个区域等。

步骤207，基于目标区域计算当前帧内窥镜图像的对焦点。

通过步骤204或206确定出目标区域后，本步骤基于确定出的目标区域计算对焦点。具体对焦点的确定方式可以根据实际需要，例如可以选择目标区域的中心点或加权中心点作为对焦点。

步骤208，判断当前帧内窥镜图像的对焦点与上一帧内窥镜图像的对焦点之间的距离是否小于设定的距离阈值，若是，则执行步骤209，否则，执行步骤210。

步骤209，保持内窥镜的对焦位置不变。

若当前帧内窥镜图像的对焦点与上一帧内窥镜图像的对焦点之间的距离小于设定的距离阈值，则表明当前帧内窥镜图像的对焦点与上一帧内窥镜图像的对焦点之间比较接近，执行本步骤，保持内窥镜的对焦位置不变，不需要重新进行对焦。

步骤210，按照当前帧内窥镜图像的对焦点重新进行内窥镜的对焦。

若当前帧内窥镜图像的对焦点与上一帧内窥镜图像的对焦点之间的距离不小于设定的距离阈值，则表明当前帧内窥镜图像的对焦点与上一帧内窥镜图像的对焦点之间不够接近，执行本步骤，按照当前帧内窥镜图像的对焦点重新进行内窥镜的对焦，可以按照各种现有的方式进行内窥镜的对焦处理。

具体地，可以根据步骤207确定的对焦点位置，不断循环驱动电机对焦设备，使得获取的图像足够清晰的过程。详细步骤可以为：

（1） 根据输入的对焦点，驱动电机来调整对焦设备；

（2） 获取调整后的当前帧图像；

（3） 计算当前帧图像的清晰度；

（4） 根据计算得到的图像清晰度值，判断图像是否足够清晰；若足够清晰，则完成对焦过程，继续执行步骤211；若不够清晰，则返回步骤（1）继续操作流程。

步骤211，将采集的下一帧内窥镜图像作为当前帧内窥镜图像，返回步骤202。

上述即为本申请中内窥镜的对焦方法的具体实现。本申请还提供了一种内窥镜设备，可以用于实现上述对焦方法。图3为本申请中内窥镜设备基本结构示意图如图3所示，该内窥镜设备包括：目标对象检测单元、第一区域确定单元、第二区域确定单元和对焦单元。

其中，目标对象检测单元，用于对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测内窥镜图像的目标对象及其位置区域；其中，目标对象不包括手术器械；

第一区域确定单元，用于在检测到目标对象时，将目标对象的位置区域作为目标区域，输出到对焦单元；

第二区域确定单元，用于在目标对象检测单元未检测到目标对象时，基于内窥镜图像确定感兴趣区域和手术器械区域，在感兴趣区域中去除与手术器械区域重叠的部分；将剩余的感兴趣区域作为目标区域，输出到对焦单元；

对焦单元，用于基于目标区域进行内窥镜的对焦。

可选地，第一区域确定单元，进一步用于在目标对象检测单元检测到目标对象的多个位置区域时，选择目标对象的一个位置区域作为目标区域。

其中，目标对象可以为目标组织或目标器械。

可选地，在第一区域确定单元中，选择目标对象的一个位置区域作为目标区域的处理，具体可以包括：选择目标对象的面积最大位置区域作为目标区域，或者，选择目标对象的置信度值最大的区域作为目标区域。

可选地，第二区域确定单元，进一步用于在确定出多个感兴趣区域时，在多个剩余的感兴趣区域中选择一个，作为目标区域。

可选地，在第二区域确定单元中，在多个剩余的感兴趣区域中选择一个的处理，具体可以包括：选择剩余的感兴趣区域中面积最大的一个区域，或者，基于剩余的感兴趣区域中各像素点的特征值选择一个区域。

可选地，在第二区域确定单元中，在多个剩余的感兴趣区域中选择一个作为目标区域的处理，具体可以包括：当任一剩余的感兴趣区域的面积小于设定要求，则可以不选择该剩余的感兴趣区域。

可选地，在对焦单元中包括对焦点计算子单元和对焦处理子单元；

其中，对焦点计算子单元，可以用于基于目标区域计算对焦点；

对焦处理子单元，可以用于基于对焦点进行内窥镜的对焦。

可选地，在对焦点计算子单元中，基于目标区域计算对焦点的处理，具体可以包括：将目标区域的加权中心点作为对焦点。

可选地，在对焦处理子单元中，基于对焦点进行内窥镜的对焦处理，具体可以包括：

若对焦点与上一帧内窥镜图像的对焦点的距离小于设定的距离阈值，保持内窥镜的对焦位置不变；

若对焦点与上一帧内窥镜图像的对焦点的距离不小于设定的距离阈值，按照对焦点重新进行内窥镜的对焦。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储指令，指令在由处理器执行时可执行如上所述实现内窥镜对焦方法中的步骤。实际应用中，计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上所述内窥镜对焦方法中的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

图4为本申请还提供的一种电子设备。如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器402的程序时，可以实现内窥镜的对焦方法。

具体的，实际应用中，该电子设备还可以包括电源403、输入输出单元404等部件。本领域技术人员可以理解，图4中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。

存储器402可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

该电子设备还包括给各个部件供电的电源403，可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入输出单元404，该输入单元输出404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学信号输入。该输入单元输出404还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种内窥镜的对焦方法，其特征在于，包括：

对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测所述内窥镜图像的目标对象及其位置区域；其中，所述目标对象不包括手术器械；

在检测到目标对象时，将目标对象的位置区域作为目标区域；

在未检测到目标对象时，基于所述内窥镜图像确定感兴趣区域和手术器械区域，从所述感兴趣区域中去除与所述手术器械区域重叠的部分；将剩余的感兴趣区域作为目标区域；

基于所述目标区域进行内窥镜的对焦。

2.根据权利要求1所述的方法，其特征在于，在检测到目标对象的多个位置区域时，选择目标对象的一个位置区域作为所述目标区域。

3.根据权利要求2所述的方法，其特征在于，所述选择目标对象的一个位置区域，包括：

选择目标对象的面积最大位置区域，或者，选择目标对象的置信度值最大的位置区域。

4.根据权利要求1或2所述的方法，其特征在于，在确定出多个感兴趣区域时，在多个所述剩余的感兴趣区域中选择一个，作为所述目标区域。

5.根据权利要求4所述的方法，其特征在于，所述在多个所述剩余的感兴趣区域中选择一个，包括：

选择剩余的感兴趣区域中面积最大的一个区域，或者，基于剩余的感兴趣区域中各像素点的特征值选择一个区域。

6.根据权利要求4所述的方法，其特征在于，在多个所述剩余的感兴趣区域中选择一个作为目标区域包括：

识别任一剩余的感兴趣区域的面积是否满足设定要求；

在不满足所述设定要求的情况下，不选择该剩余的感兴趣区域作为所述目标区域。

7.根据权利要求1所述的方法，其特征在于，所述目标对象为目标组织或目标器械。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标区域进行内窥镜的对焦，包括：

基于所述目标区域计算对焦点；

基于所述对焦点进行内窥镜的对焦。

9.根据权利要求8所述的方法，其特征在于，所述基于所述目标区域计算对焦点，包括：

将所述目标区域的加权中心点作为对焦点。

10.根据权利要求8所述的方法，其特征在于，所述基于所述对焦点进行内窥镜的对焦，包括：

若所述对焦点与上一帧内窥镜图像的对焦点的距离小于设定的距离阈值，保持内窥镜的对焦位置不变；

若所述对焦点与上一帧内窥镜图像的对焦点的距离大于或等于设定的距离阈值，按照所述对焦点重新进行内窥镜的对焦。

11.一种内窥镜设备，其特征在于，包括：目标对象检测单元、第一区域确定单元、第二区域确定单元、对焦点计算单元和对焦单元；

所述目标对象检测单元，用于对于采集的每帧内窥镜图像，利用预先训练好的目标对象检测模型，检测所述内窥镜图像的目标对象及其位置区域；其中，所述目标对象不包括手术器械；

所述第一区域确定单元，用于在检测到目标对象时，将目标对象的位置区域作为目标区域，输出到所述对焦单元；

所述第二区域确定单元，用于所述目标对象检测单元未检测到目标对象时，基于所述内窥镜图像确定感兴趣区域和手术器械区域，在所述感兴趣区域中去除与所述手术器械区域重叠的部分；将剩余的感兴趣区域中作为目标区域，输出到所述对焦单元；

所述对焦单元，用于基于所述目标区域进行内窥镜的对焦；

所述第一区域确定单元，进一步用于在所述目标对象检测单元检测到目标对象的多个位置区域时，选择目标对象的一个位置区域作为所述目标区域；选择目标对象的面积最大位置区域，或者，选择目标对象的置信度值最大的位置区域；

所述第二区域确定单元，进一步用于在确定出多个感兴趣区域时，在多个所述剩余的感兴趣区域中选择一个，作为所述目标区域；

在多个所述剩余的感兴趣区域中选择一个，包括：选择剩余的感兴趣区域中面积最大的一个区域，或者，基于剩余的感兴趣区域中各像素点的特征值选择一个区域；

在多个所述剩余的感兴趣区域中选择一个作为目标区域，包括：识别任一剩余的感兴趣区域的面积是否满足设定要求；在不满足所述设定要求的情况下，不选择该剩余的感兴趣区域作为所述目标区域。

12.根据权利要求11所述的内窥镜设备，其特征在于，所述对焦单元包括对焦点计算子单元和对焦处理子单元；所述对焦点计算子单元，用于基于所述目标区域计算对焦点；所述对焦处理子单元，用于基于所述对焦点进行内窥镜的对焦；

在所述对焦点计算子单元中，所述基于所述目标区域计算对焦点，包括：将所述目标区域的加权中心点作为所述对焦点；

在所述对焦处理子单元中，所述基于所述对焦点进行内窥镜的对焦，包括：若所述对焦点与上一帧内窥镜图像的对焦点的距离小于设定的距离阈值，保持内窥镜的对焦位置不变；若所述对焦点与上一帧内窥镜图像的对焦点的距离大于或等于设定的距离阈值，按照所述对焦点重新进行内窥镜的对焦。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1~10任一项所述的内窥镜对焦方法。

14.一种内窥镜系统，其特征在于，该内窥镜系统至少包括计算机可读存储介质，还包括处理器；

所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述权利要求1~10任一项所述的内窥镜对焦方法。