CN114785948B - 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 - Google Patents
内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 Download PDFInfo
- Publication number
- CN114785948B CN114785948B CN202210391141.5A CN202210391141A CN114785948B CN 114785948 B CN114785948 B CN 114785948B CN 202210391141 A CN202210391141 A CN 202210391141A CN 114785948 B CN114785948 B CN 114785948B
- Authority
- CN
- China
- Prior art keywords
- focusing
- endoscope
- image
- gaze point
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001228 spectrum Methods 0.000 claims description 63
- 210000005252 bulbus oculi Anatomy 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 210000001035 gastrointestinal tract Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000004400 mucous membrane Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 210000003200 peritoneal cavity Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Abstract
本申请涉及一种内窥镜调焦方法、装置、内镜图像处理器和可读存储介质。该方法包括：在内窥镜采集的目标部位的图像中确定凝视点，获取凝视点中的第一凝视点的第一对焦图像区块和凝视点中的第二凝视点的第二对焦图像区块，根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦，若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号。采用本方法能够利用视点追踪技术确定凝视点，然后基于相邻两个凝视点确定内窥镜是否需要调焦，若确定需要，则向内窥镜发送调焦控制信号，从而使得内窥镜根据接收到的调焦控制信号自动进行调焦，该过程不需要人工参与，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度。
Description
技术领域
本申请涉及医学仪器技术领域，特别是涉及一种内窥镜调焦方法、装置、内镜图像处理器及可读存储介质。
背景技术
在消化内镜病理筛查时，需要通过内窥镜对消化道黏膜表面腺管开口、微血管及毛细血管等微细结构的改变进行观察。其中，在观察过程中，若内窥镜前端产生轻微位移或相对黏膜倾斜，则会导致内镜图像失焦，因此，为了保持内镜图像的清晰度，需要对内窥镜调焦以让内窥镜与黏膜之间保持稳定距离。
相关技术中，用户手动控制内窥镜操作部的变焦旋钮完成内窥镜调焦。但是，采用相关技术中的调焦方式对内窥镜调焦会存在调焦操作复杂，不够便利的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种内窥镜调焦方法、装置、内镜图像处理器及存储介质。
一种内窥镜调焦方法，上述方法包括：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
在其中一个实施例中，根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦，包括：
若重叠区域图像的面积小于预设面积阈值，则确定内窥镜需要调焦；
若重叠区域图像的面积大于预设面积阈值，则通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值，确定内窥镜是否需要调焦。
在其中一个实施例中，上述方法还包括：
若重叠区域图像的面积小于预设面积阈值，则获取第二对焦图像区块的位置信息；
根据第二对焦图像区块的位置信息计算内窥镜的第一调焦偏移量；
根据内窥镜的第一调焦偏移量，生成调焦控制信号。
在其中一个实施例中，通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值，确定内窥镜是否需要调焦，包括：
通过第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值，确定第一对焦图像区块与第二对焦图像区块之间的频谱差异值；
若频谱差异值小于预设频谱阈值，则确定内窥镜不需要调焦；
若频谱差异值大于预设频谱阈值，则确定内窥镜需要调焦。
在其中一个实施例中，上述方法还包括：
若频谱差异值大于预设频谱阈值，则获取第一对焦图像区块的位置信息；
根据第一对焦图像区块的位置信息计算内窥镜的第二调焦偏移量；
根据内窥镜的第二调焦偏移量，生成调焦控制信号。
在其中一个实施例中，获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块，包括：
根据第一凝视点的坐标位置，将第一凝视点转换为第一对焦图像区块；
根据第二凝视点的坐标位置，将第二凝视点转换为第二对焦图像区块。
在其中一个实施例中，在内窥镜采集的目标部位的图像中确定凝视点，包括：
获取用户的眼球图像数据，眼球图像数据为通过图像所在的显示屏的屏下图像采集设备采集的；
根据眼球图像数据提取眼球特征数据，并根据眼球特征数据确定凝视点。
一种内窥镜调焦装置，装置包括：
凝视点确定模块，用于在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
图像区块获取模块，用于获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
调焦确定模块，用于根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
控制信息发送模块，用于在内窥镜需要进行调焦时，向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
一种内镜图像处理器，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
上述内窥镜调焦方法、装置、内镜图像处理器和可读存储介质，内镜图像处理器可以在内窥镜采集的目标部位的图像中确定凝视点，获取凝视点中的第一凝视点的第一对焦图像区块和凝视点中的第二凝视点的第二对焦图像区块，根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦，若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号；上述方法利用视点追踪技术确定凝视点，然后基于相邻两个凝视点确定内窥镜是否需要调焦，若确定需要，则向内窥镜发送调焦控制信号，从而使得内窥镜根据接收到的调焦控制信号自动进行调焦，该方法不需要人工参与，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度。
附图说明
图1为一个实施例中内窥镜调焦方法的应用环境图；
图2为一个实施例中内窥镜调焦方法的流程示意图；
图3为一个实施例中根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像确定内窥镜是否需要调焦步骤的流程示意图；
图4为一个实施例中如何生成调焦控制信号的方法流程示意图；
图5为另一个实施例中通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值确定内窥镜是否需要调焦步骤的流程示意图；
图6为另一个实施例中如何生成调焦控制信号的方法流程示意图；
图7为另一个实施例中获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块步骤的流程示意图；
图8为另一个实施例中在内窥镜采集的目标部位的图像中确定凝视点步骤的流程示意图；
图9为一个实施例中内窥镜调焦装置的结构框图；
图10为一个实施例中内镜图像处理器的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的内窥镜调焦方法，可以适用于图1所示的内窥镜调焦系统。该内窥镜调焦系统包括计算机设备的摄像头1、内镜图像处理器2和内窥镜3；摄像头1设置在计算机设备的显示屏的下方。可选的，摄像头1、内镜图像处理器2和内窥镜3之间可以为通信连接，该通信方式可以为Wi-Fi，移动网络或蓝牙连接等等。图1仅示出了任意一种类型的摄像头1、内镜图像处理器2和内窥镜3的结构，本实施例不限于图1所示的类型。其中，内镜图像处理器2可以设置在内窥镜3的内部，也可以设置在内窥镜3的外部，对此不做限定。图1中所示内镜图像处理器2是在内窥镜3的外部设置的，且图1中的4表示医护人员的眼睛所凝视的图像中的任意一个凝视点，该凝视点周围的虚线框表示凝视点对应的对焦图像区块。
在实际应用时，医护人员可以将内窥镜导入待检对象的目标部位，通过内窥镜可直接窥视有关目标部位的生理变化。上述待检对象可以为人或动物。可选的，目标部位可以为预检查的器官所处部位。
可选的，按照成像构造分类，上述内窥镜可以分为硬管式内镜、光学纤维(软管式)内镜和电子内镜等等；按照功能分类，上述内窥镜可以分为用于消化道的内镜、用于呼吸系统的内镜、用于腹膜腔的内镜、用于胆道的内镜、用于泌尿系的内镜、用于血管的内镜、用于关节的内镜等等。
其中，内窥镜3主要依赖于在探头前端设置的成像部件，对目标部位进行内窥镜成像得到内镜图像，即目标部位的图像。可选的，内窥镜3的成像原理为：置于探头前端的光源或者是后置光源的光线经光纤束传输至前端后，照亮检测区域，物镜将目标部位成像在微型摄像机的光敏面上，将光信号转换成电信号，并将光信号发送至内镜图像处理器2，内镜图像处理器2对光信号进行处理得到内镜图像，进一步，内镜图像处理器2将内镜图像发送至计算机设备，计算机设备通过显示屏显示内镜图像。
在本实施例中，通过内窥镜3采集目标部位的图像之前，可以设置内窥镜3的对焦模式。可选的，内窥镜3的对焦模式可以为手动对焦模式和自动对焦模式，但在本实施例中，内窥镜3的对焦模式被设置为自动对焦模式。下面实施例将以内窥镜为用于消化道的内镜为例，对内窥镜调焦方法的实现过程进行说明。
在一个实施例中，如图2所示，提供了一种内窥镜调焦方法，以该方法应用于图1中的内镜图像处理器为例进行说明，包括以下步骤：
S100、在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻。
具体的，若内窥镜为用于消化道的内镜，则上述目标部位可以为消化道黏膜表面腺管开口、微血管及毛细血管等部位。
在实际应用中，计算机设备的显示屏上可以显示内窥镜采集的目标部位的图像，此时，医护人员的眼睛可以凝视显示屏中图像上的感兴趣位置，利用视点追踪技术来确定医护人员的眼睛所凝视的凝视点。另外，采用视点追踪技术还可以确定凝视点的方向和角度。可选的，上述感兴趣位置可以为病灶点、疑似病灶点、病灶区域或者疑似病灶区域。
同时，凝视点的方向可以为图像中的任意方向。凝视点的方向可以通过眼球或脸部图像中头的方位和眼睛的方位来确定。可选的，眼球或脸部图像可以为对眼球或脸部图像数据重建得到的图像。另外，当前凝视点的方向还可以根据当前凝视点的坐标位置和当前凝视点前一个相邻凝视点的坐标位置确定。例如，当前凝视点的前一个相邻凝视点在当前凝视点的左侧，则当前凝视点的方向可以为从左到右的方向，其它情况的确定方式也类似。可选的，当前凝视点的角度可以理解为用户人员的眼球与当前凝视点之间的方向夹角。
可以理解的是，上述凝视点可以为一个，也可以为多个。可选的，凝视点可以为图像中的一个微小区域。可选的，不同时刻，医护人员眼睛的凝视点可以相同，也可以不相同。在本实施例中，医护人员的可以确定相邻两个时刻医护人员凝视图像中的两个点，即第一凝视点和第二凝视点。
S200、获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块。
具体的，内镜图像处理器可以通过第一凝视点的属性信息进行算术运算、分析、角度转换、裁剪等处理，得到第一凝视点的第一对焦图像区块；同时，内镜图像处理器可以通过第二凝视点的属性信息进行算术运算、分析、角度转换、裁剪等处理，得到第二凝视点的第二对焦图像区块。可选的，凝视点的属性信息可以为凝视点的大小和/或凝视点的角度等等。
需要说明的是，图像可以包括多个对焦图像区块。第一对焦图像区块和第二对焦图像区块分别可以为图像中的任一图像区域，两者不相同。第一对焦图像区块和第二对焦图像区块的大小可以相同，也可以不相同。
S300、根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦。
具体的，内镜图像处理器可以根据第一对焦图像区块的属性信息和第二对焦图像区块的属性信息进行算术运算、位置转换和/或分析等等处理，确定第一对焦图像区块和第二对焦图像区块之间的重叠区域图像的大小，进一步，根据重叠区域图像的大小确定内窥镜是否需要调焦。可选的，上述算术运算处理可以为加法运算、减法运算、乘法运算、除法运算、对数运算和/或指数运算等等。位置转换处理可以理解为将对焦图像区块整体移动一个位移量的过程。分析处理可以理解为根据第一对焦图像区块的属性信息和第二对焦图像区块的属性信息，对第一对焦图像区块的大小和第二对焦图像区块的大小进行比较的过程。
需要说明的是，对焦图像区块的属性信息可以为对焦图像区块的像素值和/或对焦图像区块的大小等等。可选的，若重叠区域图像的大小小于或等于0时，可以确定内窥镜需要调焦，表明当前凝视点与上一凝视点相比已经发生了偏移，内窥镜需要重新调焦；若重叠区域图像的大小大于0时，可以表明当前凝视点与上一凝视点相比未发生明显偏移，需要进一步判断才能确定内窥镜是否需要重新调焦。
S400、若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
具体的，若内镜图像处理器确定内窥镜需要进行调焦时，内镜图像处理器可以根据重叠区域图像的属性信息确定调焦控制信号，并将调焦控制信号发送给内窥镜，以让内窥镜根据接收到的调焦控制信号对内窥镜进行自动调焦。
需要说明的是，调焦控制信号中可以携带调焦的焦距、方向和/或位置等等信息。重叠区域图像的属性信息可以为重叠区域图像的大小和/或重叠区域图像的像素值。
需要说明的是，内窥镜接收到调焦控制信号后，内窥镜中的调焦电机可以控制调焦镜片进行自动调焦操作。
上述内窥镜调焦方法中，内镜图像处理器可以在内窥镜采集的目标部位的图像中确定凝视点，获取凝视点中的第一凝视点的第一对焦图像区块和凝视点中的第二凝视点的第二对焦图像区块，根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦，若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦；上述方法可以利用视点追踪技术在内窥镜采集的目标部位的图像中确定凝视点，然后基于相邻两个凝视点确定内窥镜是否需要调焦，若确定内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，从而使得内窥镜根据接收到的调焦控制信号自动进行调焦，该过程不需要人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性；同时，该过程不需要医护人员具有充足的调焦经验，从而能够降低医护人员对调焦的专业性要求；另外，上述方法可以实现自动调焦操作，从而使得医护人员观察到的图像的清晰度较高，进一步能够提高病理分析结果的准确性。
作为其中一个实施例，如图3所示，上述S300中根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦的步骤，可以包括：
S310、若重叠区域图像的面积小于预设面积阈值，则确定内窥镜需要调焦。
具体的，内镜图像处理器可以判断重叠区域图像的面积是否小于预设面积阈值，若确定重叠区域图像的面积小于预设面积阈值时，可以确定内窥镜需要调焦。
其中，重叠区域图像的面积可以是内镜图像处理器对第一对焦图像区块的面积与第二对焦图像区块的面积作差得到的；也可以是内镜图像处理器先得到重叠区域图像，然后在计算重叠区域图像的面积得到。可选的，重叠区域图像的面积可以等于重叠区域图像中所有像素点的总数量，也可以等于重叠区域图像的长度乘以宽度得到的值。在本实施例中，预设面积阈值可以为大于0的任意常数。
需要说明的是，上述预设面积阈值不能设置的太小，若预设面积阈值太小，可能出现相邻两个凝视点未发生明显偏移时，也确定为内窥镜需要调焦的结果，从而增加了内窥镜调焦的次数，可能会出现调焦不准确，导致采集到的内镜图像不清晰的问题。
S320、若重叠区域图像的面积大于预设面积阈值，则通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值，确定内窥镜是否需要调焦。
具体的，若内镜图像处理器确定重叠区域图像的面积大于预设面积阈值时，确定第一凝视点和第二凝视点未发生明显偏移，进一步可以通过第一对焦图像区块和第二对焦图像区块的像素、分辨率等图像特性，来确定内窥镜是否需要调焦。
但是，在本实施例中，若内镜图像处理器确定重叠区域图像的面积大于预设面积阈值时，确定第一凝视点和第二凝视点未发生明显偏移，此时，可以通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值进行算术运算、频谱转换和/或分析等等处理，根据处理结果确定内窥镜是否需要调焦。
实际上可以理解为，在确定第一凝视点和第二凝视点未发生明显偏移时，内镜图像处理器可以进一步判断第二对焦图像区块是否因内窥镜与目标部位之间的距离变动而产生失焦，并根据判断结果确定内窥镜是否需要调焦。
其中，内镜图像的频谱值是内窥镜采集内镜图像时同步获取到的。可选的，第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值可以不相同，也可以相同。
需要说明的是，上述预设面积阈值不能设置的太大，若预设面积阈值太大，可能会导致相邻两个凝视点即使发生明显偏移，还需要判断第二对焦图像区块是否因内窥镜与目标部位之间的距离变动而产生失焦，进一步根据判断结果才能确定内窥镜是否需要调焦，这样会使得确定内窥镜是否需要调焦的过程变得更加复杂。
上述内窥镜调焦方法可以根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦，进一步在确定内窥镜需要调焦时获取对应的调焦控制信号，以让内窥镜根据调焦控制信号实现自动调焦，该过程不需要人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性；同时，该过程不需要医护人员具有充足的调焦经验，从而能够降低医护人员对调焦的专业性要求。
在一些场景中，若确定内窥镜需要调焦时，内镜图像处理器可以根据重叠区域图像确定调焦控制信号，进一步内窥镜根据调焦控制信号进行自动调焦。
因此，在则一实施例中，执行上述S310之后，如图4所示，上述方法还包括：
S410、若重叠区域图像的面积小于预设面积阈值，则获取第二对焦图像区块的位置信息。
具体的，若内镜图像处理器确定重叠区域图像的面积小于预设面积阈值，此时，确定内窥镜需要调焦，进一步获取第二凝视点对应的第二对焦图像区块的位置信息。可选的，第二对焦图像区块的位置信息可以为第二对焦图像区块的轮廓上所有点的坐标，也可以为第二对焦图像区块的中心点的坐标。
S420、根据第二对焦图像区块的位置信息计算内窥镜的第一调焦偏移量。
需要说明的是，内镜图像处理器可以根据第二对焦图像区块的位置信息与第一对焦图像区块的位置信息，计算内窥镜的第一调焦偏移量。可选的，可以通过第二对焦图像区块的中心点的坐标与第一对焦图像区块的中心点的坐标，计算两个坐标之间的偏移量，即为内窥镜的第一调焦偏移量。该第一调焦偏移量可以为一个矢量，既包括偏移大小又包括偏移方向。
S430、根据内窥镜的第一调焦偏移量，生成调焦控制信号。
可以理解的是，内镜图像处理器可以根据内窥镜的第一调焦偏移量，生成对应的调焦控制信号。调焦控制信号可以理解为一个调焦指令，该调焦指令中携带有第一调焦偏移量，即携带有待执行的调焦操作所需的焦距和调焦方向。
上述内窥镜调焦方法可以在确定内窥镜需要调焦时获取对应的调焦控制信号，以让内窥镜根据调焦控制信号方便实现自动调焦，该过程不需要人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性；同时，该过程不需要医护人员具有充足的调焦经验，从而能够降低医护人员对调焦的专业性要求。
作为其中一个实施例，如图5所示，上述S320中通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值，确定内窥镜是否需要调焦的步骤，可以通过以下步骤实现：
S321、通过第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值，确定第一对焦图像区块与第二对焦图像区块之间的频谱差异值。
在本实施例中，内镜图像处理器可以对第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值作差，得到第一对焦图像区块与第二对焦图像区块之间的频谱差异值。
S322、若频谱差异值小于预设频谱阈值，则确定内窥镜不需要调焦。
具体的，内镜图像处理器可以判断第一对焦图像区块与第二对焦图像区块之间的频谱差异值是否小于预设频谱阈值，若确定频谱差异值小于预设频谱阈值，则确定第二对焦图像区块清晰度较高，表明第二对焦图像区块未产生失焦，此时，确定内窥镜不需要调焦。
S323、若频谱差异值大于预设频谱阈值，则确定内窥镜需要调焦。
可以理解的是，若内镜图像处理器确定频谱差异值大于预设频谱阈值，则确定第二对焦图像区块清晰度较低，表明第二对焦图像区块因内窥镜与目标部位之间的距离变动产生了失焦，此时，可以确定内窥镜需要调焦。其中，内窥镜失焦时会使对焦图像区块对应的频谱中的高频分量明显下降。
上述内窥镜调焦方法在确定两个相邻凝视点未发生明显偏移时，可以进一步判断当前凝视点的下一凝视点对应的对焦图像区块是否因内窥镜与目标部位之间的距离变动而产生失焦，并根据判断结果确定内窥镜是否需要调焦，该过程可以准确地确定内窥镜是否需要调焦的结果，提高内镜图像的清晰度，进一步能够提高医护人员对待检对象的病例分析结果。
作为其中一个实施例，在上述S323之后，如图6所示，上述方法还可以包括：
S3231、若频谱差异值大于预设频谱阈值，则获取第一对焦图像区块的位置信息。
具体的，若内镜图像处理器确定频谱差异值大于预设频谱阈值，则确定第二对焦图像区块清晰度较低，表明第二对焦图像区块因内窥镜与目标部位之间的距离变动产生了失焦，此时，可以获取第一凝视点对应的第一对焦图像区块的位置信息。可选的，第一对焦图像区块的位置信息可以为第一对焦图像区块的轮廓上所有点的坐标，也可以为第一对焦图像区块的中心点的坐标。
S3232、根据第一对焦图像区块的位置信息计算内窥镜的第二调焦偏移量。
需要说明的是，内镜图像处理器可以根据第一对焦图像区块的位置信息与第二对焦图像区块的位置信息，计算内窥镜的第二调焦偏移量。可选的，可以通过第一对焦图像区块的中心点的坐标与第二对焦图像区块的中心点的坐标，计算两个坐标之间的偏移量，即为内窥镜的第二调焦偏移量。该第二调焦偏移量可以为一个矢量，既包括偏移大小又包括偏移方向。
S3233、根据内窥镜的第二调焦偏移量，生成调焦控制信号。
可以理解的是，内镜图像处理器可以根据内窥镜的第二调焦偏移量，生成对应的调焦控制信号。该情况下，调焦控制信号中携带有第二调焦偏移量。
上述内窥镜调焦方法可以在确定内窥镜需要调焦时获取对应的调焦控制信号，以让内窥镜根据调焦控制信号方便实现自动调焦，该过程不需要人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性；同时，该过程不需要医护人员具有充足的调焦经验，从而能够降低医护人员对调焦的专业性要求。
作为其中一个实施例，如图7所示，上述S200中获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块的步骤，具体可以包括：
S210、根据第一凝视点的坐标位置，将第一凝视点转换为第一对焦图像区块。
具体的，上述转换可以理解为将凝视点的位置转换成图像中对应位置的过程。其中，内镜图像处理器可以根据第一凝视点的坐标位置确定第一凝视点在图像中的所处位置，并将第一凝视点在图像中的所处位置对应的图像区块确定为第一对焦图像区块。
S220、根据第二凝视点的坐标位置，将第二凝视点转换为第二对焦图像区块。
可以理解的是，内镜图像处理器可以根据第二凝视点的坐标位置确定第二凝视点在图像中的所处位置，并将第二凝视点在图像中的所处位置对应的图像区块确定为第二对焦图像区块。
上述内窥镜调焦方法可以获取相邻两个凝视点对应的对焦图像区块，进一步基于第一对焦图像区块和第二对焦图像区块确定内窥镜是否需要调焦，在确定内窥镜需要调焦时获取对应的调焦控制信号，以让内窥镜根据调焦控制信号实现自动调焦，该过程不需要人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性。
作为其中一个实施例，如图8所示，上述S100中在内窥镜采集的目标部位的图像中确定凝视点的步骤，可以包括：
S110、获取用户的眼球图像数据，眼球图像数据为通过图像所在的显示屏的屏下图像采集设备采集的。
具体的，利用计算机设备的摄像头采集眼球图像数据或脸部图像数据，并将采集到的这些图像数据发送给内镜图像处理器，然后内镜图像处理器采用图像处理算法直接对眼球或脸部图像数据中的眼球进行检测、定位和/或跟踪等处理。
可以理解的是，图像处理算法可以为图像分割算法、二值化算法、图像增强算法和/或灰度化算法等等。上述检测、定位和/或跟踪等处理采用的算法可以为识别算法、特征提取算法等等，对此不做限制。
S120、根据眼球图像数据提取眼球特征数据，并根据眼球特征数据确定凝视点。
需要说明的是，内镜图像处理器可以采用特征提取算法，从眼球图像数据中提取眼球特征数据，之后根据眼球特征数据估算出不同时刻医护人员的眼睛在显示屏上的凝视点。
或者，内镜图像处理器还可以采用阈值处理、椭圆检测算法、支持向量机或者神经网络等方法，先对眼球图像数据进行去噪处理，然后采用特征提取算法，从去噪后的眼球数据中提取眼球特征数据，之后再估算出不同时刻医护人员的眼睛在显示屏上的凝视点，这样能够提高获取的凝视点的准确性。
可选的，上述特征提取算法可以为FAST算法、SIFT算法、PCA-SIFT算法、SURF算法等等。
上述内窥镜调焦方法可以采用视点追踪技术在内窥镜采集的目标部位的图像中确定不同时刻眼睛的凝视点，进一步根据不同时刻眼睛凝视的凝视点来确定内窥镜是否需要调焦，并根据确定结果实现内窥镜自动调焦操作，该过程能够避免人工参与调焦操作，不但能够缩短调焦操作的时间，还能够降低调焦操作的复杂度，提高了调焦操作的便利性。
为了便于本领域技术人员的理解，以执行主体为内镜图像处理器为例介绍本申请提供的内窥镜调焦方法，具体的，该方法包括：
(1)获取用户的眼球图像数据，眼球图像数据为通过图像所在的显示屏的屏下图像采集设备采集的。
(2)根据眼球图像数据提取眼球特征数据，并根据眼球特征数据确定凝视点。
(3)根据第一凝视点的坐标位置，将第一凝视点转换为第一对焦图像区块。
(4)根据第二凝视点的坐标位置，将第二凝视点转换为第二对焦图像区块。
(5)若重叠区域图像的面积小于预设面积阈值，则确定内窥镜需要调焦。
(6)若确定确定内窥镜需要调焦且重叠区域图像的面积小于预设面积阈值，则获取第二对焦图像区块的位置信息。
(7)根据第二对焦图像区块的位置信息计算内窥镜的第一调焦偏移量。
(8)根据内窥镜的第一调焦偏移量，生成调焦控制信号。
(9)若重叠区域图像的面积大于预设面积阈值，则通过第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值，确定第一对焦图像区块与第二对焦图像区块之间的频谱差异值。
(10)若频谱差异值小于预设频谱阈值，则确定内窥镜不需要调焦。
(11)若频谱差异值大于预设频谱阈值，则确定内窥镜需要调焦。
(12)若确定内窥镜需要调焦且频谱差异值大于预设频谱阈值，则获取第一对焦图像区块的位置信息。
(13)根据第一对焦图像区块的位置信息计算内窥镜的第二调焦偏移量。
(14)根据内窥镜的第二调焦偏移量，生成调焦控制信号。
(15)向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
以上(1)至(15)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种内窥镜调焦装置，包括：凝视点确定模块11、图像区块获取模块12、调焦确定模块13和控制信息发送模块14，其中：
凝视点确定模块11，用于在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
图像区块获取模块12，用于获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
调焦确定模块13，用于根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
控制信息发送模块14，用于在内窥镜需要进行调焦时，向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，调焦确定模块13包括：第一确定单元和第二确定单元，其中：
第一确定单元，用于在重叠区域图像的面积小于预设面积阈值时，确定内窥镜需要调焦；
第二确定单元，用于在重叠区域图像的面积大于预设面积阈值时，通过第一对焦图像区块的第一频谱值以及第二对焦图像区块的第二频谱值，确定内窥镜是否需要调焦。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，调焦确定模块13还包括：第一位置信息获取单元、第二计算单元和第一信号生成单元，其中：
第一位置信息获取单元，用于在重叠区域图像的面积小于预设面积阈值时，获取第二对焦图像区块的位置信息；
第二计算单元，用于根据第二对焦图像区块的位置信息计算内窥镜的第一调焦偏移量；
控制信号生成单元，用于根据内窥镜的第一调焦偏移量，生成调焦控制信号。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，第二确定单元包括：差异值确定子单元、第一确定子单元和第二确定子单元，其中：
差异值确定子单元，用于通过第一对焦图像区块的第一频谱值与第二对焦图像区块的第二频谱值，确定第一对焦图像区块与第二对焦图像区块之间的频谱差异值；
第一确定子单元，用于在频谱差异值小于预设频谱阈值时，确定内窥镜不需要调焦；
第二确定子单元，用于在频谱差异值大于预设频谱阈值时，确定内窥镜需要调焦。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，第二确定单元还包括：位置信息获取子单元、计算子单元和控制信号生成子单元，其中：
位置信息获取子单元，用于在频谱差异值大于预设频谱阈值时，获取第一对焦图像区块的位置信息；
计算子单元，用于根据第一对焦图像区块的位置信息计算内窥镜的第二调焦偏移量；
控制信号生成子单元，用于根据内窥镜的第二调焦偏移量，生成调焦控制信号。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，图像区块获取模块12包括：第一转换单元和第二转换单元，其中：
第一转换单元，用于根据第一凝视点的坐标位置，将第一凝视点转换为第一对焦图像区块；
第二转换单元，用于根据第二凝视点的坐标位置，将第二凝视点转换为第二对焦图像区块。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，凝视点确定模块11包括：数据获取单元和凝视点确定单元，其中：
数据获取单元，用于获取用户的眼球图像数据，眼球图像数据为通过图像所在的显示屏的屏下图像采集设备采集的；
凝视点确定单元，用于根据眼球图像数据提取眼球特征数据，并根据眼球特征数据确定凝视点。
本实施例提供的内窥镜调焦装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于内窥镜调焦装置的具体限定可以参见上文中对于内窥镜调焦方法的限定，在此不再赘述。上述内窥镜调焦装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于内镜图像处理器中的处理器中，也可以以软件形式存储于内镜图像处理器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种内镜图像处理器，该内镜图像处理器可以是服务器，其内部结构图可以如图10所示。该内镜图像处理器包括通过系统总线连接的处理器、存储器和网络接口。其中，该内镜图像处理器的处理器用于提供计算和控制能力。该内镜图像处理器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该内镜图像处理器的数据库用于存储内窥镜采集的目标部位的图像。该内镜图像处理器的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种内窥镜调焦方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的内镜图像处理器的限定，具体的内镜图像处理器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种内镜图像处理器，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
在内窥镜采集的目标部位的图像中确定凝视点；凝视点包括第一凝视点和第二凝视点；第一凝视点和第二凝视点所处位置相邻；
获取第一凝视点的第一对焦图像区块和第二凝视点的第二对焦图像区块；
根据第一对焦图像区块和第二对焦图像区块之间的重叠区域图像，确定内窥镜是否需要调焦；
若内窥镜需要进行调焦，则向内窥镜发送调焦控制信号，调焦控制信号用于指示内窥镜进行调焦。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种内窥镜调焦方法，其特征在于，所述方法包括：
在内窥镜采集的目标部位的图像中确定凝视点；所述凝视点包括第一凝视点和第二凝视点；所述第一凝视点和所述第二凝视点为所述目标部位的图像中用户在相邻两个时刻所凝视的点；
获取所述第一凝视点的第一对焦图像区块和所述第二凝视点的第二对焦图像区块；
根据所述第一对焦图像区块和所述第二对焦图像区块之间的重叠区域图像，确定所述内窥镜是否需要调焦；
若所述内窥镜需要进行调焦，则向所述内窥镜发送调焦控制信号，所述调焦控制信号用于指示所述内窥镜进行调焦。
2.根据权利要求1所述的内窥镜调焦方法，其特征在于，所述根据所述第一对焦图像区块和所述第二对焦图像区块之间的重叠区域图像，确定所述内窥镜是否需要调焦，包括：
若所述重叠区域图像的面积小于预设面积阈值，则确定所述内窥镜需要调焦；
若所述重叠区域图像的面积大于预设面积阈值，则通过所述第一对焦图像区块的第一频谱值以及所述第二对焦图像区块的第二频谱值，确定所述内窥镜是否需要调焦。
3.根据权利要求2所述的内窥镜调焦方法，其特征在于，所述方法还包括：
若所述重叠区域图像的面积小于预设面积阈值，则获取所述第二对焦图像区块的位置信息；
根据所述第二对焦图像区块的位置信息计算所述内窥镜的第一调焦偏移量；
根据所述内窥镜的第一调焦偏移量，生成所述调焦控制信号。
4.根据权利要求2所述的内窥镜调焦方法，其特征在于，所述通过所述第一对焦图像区块的第一频谱值以及所述第二对焦图像区块的第二频谱值，确定所述内窥镜是否需要调焦，包括：
通过所述第一对焦图像区块的第一频谱值与所述第二对焦图像区块的第二频谱值，确定所述第一对焦图像区块与所述第二对焦图像区块之间的频谱差异值；
若所述频谱差异值小于预设频谱阈值，则确定所述内窥镜不需要调焦；
若所述频谱差异值大于预设频谱阈值，则确定所述内窥镜需要调焦。
5.根据权利要求4所述的内窥镜调焦方法，其特征在于，所述方法还包括：
若所述频谱差异值大于预设频谱阈值，则获取所述第一对焦图像区块的位置信息；
根据所述第一对焦图像区块的位置信息计算所述内窥镜的第二调焦偏移量；
根据所述内窥镜的第二调焦偏移量，生成所述调焦控制信号。
6.根据权利要求1所述的内窥镜调焦方法，其特征在于，所述获取所述第一凝视点的第一对焦图像区块和所述第二凝视点的第二对焦图像区块，包括：
根据所述第一凝视点的坐标位置，将所述第一凝视点转换为所述第一对焦图像区块；
根据所述第二凝视点的坐标位置，将所述第二凝视点转换为所述第二对焦图像区块。
7.根据权利要求1或6所述的内窥镜调焦方法，其特征在于，所述在内窥镜采集的目标部位的图像中确定凝视点，包括：
获取用户的眼球图像数据，所述眼球图像数据为通过所述图像所在的显示屏的屏下图像采集设备采集的；
根据所述眼球图像数据提取眼球特征数据，并根据所述眼球特征数据确定所述凝视点。
8.一种内窥镜调焦装置，其特征在于，所述内窥镜调焦装置包括：
凝视点确定模块，用于在内窥镜采集的目标部位的图像中确定凝视点；所述凝视点包括第一凝视点和第二凝视点；所述第一凝视点和所述第二凝视点为所述目标部位的图像中用户在相邻两个时刻所凝视的点；
图像区块获取模块，用于获取所述第一凝视点的第一对焦图像区块和所述第二凝视点的第二对焦图像区块；
调焦确定模块，用于根据所述第一对焦图像区块和所述第二对焦图像区块之间的重叠区域图像，确定所述内窥镜是否需要调焦；
控制信息发送模块，用于在所述内窥镜需要进行调焦时，向所述内窥镜发送调焦控制信号，所述调焦控制信号用于指示所述内窥镜进行调焦。
9.一种内镜图像处理器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述内窥镜调焦方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述内窥镜调焦方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210391141.5A CN114785948B (zh) | 2022-04-14 | 2022-04-14 | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210391141.5A CN114785948B (zh) | 2022-04-14 | 2022-04-14 | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114785948A CN114785948A (zh) | 2022-07-22 |
| CN114785948B true CN114785948B (zh) | 2023-12-26 |
Family
ID=82429845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210391141.5A Active CN114785948B (zh) | 2022-04-14 | 2022-04-14 | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114785948B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101010611A (zh) * | 2004-11-16 | 2007-08-01 | 西铁城时计株式会社 | 自动调焦点装置 |
| CN102685387A (zh) * | 2011-03-14 | 2012-09-19 | 佳能株式会社 | 摄像设备 |
| CN103415240A (zh) * | 2011-10-27 | 2013-11-27 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
| CN103516985A (zh) * | 2013-09-18 | 2014-01-15 | 上海鼎为软件技术有限公司 | 移动终端及其获取图像的方法 |
| CN105848558A (zh) * | 2013-12-27 | 2016-08-10 | 奥林巴斯株式会社 | 内窥镜装置、内窥镜装置的控制方法以及程序 |
| CN106028903A (zh) * | 2014-06-10 | 2016-10-12 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜系统的工作方法 |
| CN106456148A (zh) * | 2014-03-19 | 2017-02-22 | 直观外科手术操作公司 | 使用眼球凝视跟踪的医疗装置、系统和方法 |
| CN111067468A (zh) * | 2019-12-30 | 2020-04-28 | 北京双翼麒电子有限公司 | 用于控制内窥镜系统的方法、设备及存储介质 |
| CN112930676A (zh) * | 2018-11-06 | 2021-06-08 | 奥林巴斯株式会社 | 摄像装置、内窥镜装置及摄像装置的工作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013209956A1 (de) * | 2013-05-28 | 2014-12-04 | Xion Gmbh | Videoendoskopische Vorrichtung |
-
2022
- 2022-04-14 CN CN202210391141.5A patent/CN114785948B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101010611A (zh) * | 2004-11-16 | 2007-08-01 | 西铁城时计株式会社 | 自动调焦点装置 |
| CN102685387A (zh) * | 2011-03-14 | 2012-09-19 | 佳能株式会社 | 摄像设备 |
| CN103415240A (zh) * | 2011-10-27 | 2013-11-27 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
| CN103516985A (zh) * | 2013-09-18 | 2014-01-15 | 上海鼎为软件技术有限公司 | 移动终端及其获取图像的方法 |
| CN105848558A (zh) * | 2013-12-27 | 2016-08-10 | 奥林巴斯株式会社 | 内窥镜装置、内窥镜装置的控制方法以及程序 |
| CN106456148A (zh) * | 2014-03-19 | 2017-02-22 | 直观外科手术操作公司 | 使用眼球凝视跟踪的医疗装置、系统和方法 |
| CN106028903A (zh) * | 2014-06-10 | 2016-10-12 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜系统的工作方法 |
| CN112930676A (zh) * | 2018-11-06 | 2021-06-08 | 奥林巴斯株式会社 | 摄像装置、内窥镜装置及摄像装置的工作方法 |
| CN111067468A (zh) * | 2019-12-30 | 2020-04-28 | 北京双翼麒电子有限公司 | 用于控制内窥镜系统的方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114785948A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6348078B2 (ja) | 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム | |
| JP4994737B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
| CN111295127B (zh) | 检查支持装置、内窥镜装置及记录介质 | |
| US9345391B2 (en) | Control device, endoscope apparatus, aperture control method, and information storage medium | |
| JP6949999B2 (ja) | 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体 | |
| US20120120305A1 (en) | Imaging apparatus, program, and focus control method | |
| JPWO2012114600A1 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
| CN114332019B (zh) | 内窥镜图像检测辅助系统、方法、介质和电子设备 | |
| JPWO2012153568A1 (ja) | 医用画像処理装置 | |
| JP2017522072A (ja) | 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築 | |
| WO2017212725A1 (ja) | 医療用観察システム | |
| JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
| CN114004969A (zh) | 一种内镜图像病灶区检测方法、装置、设备及存储介质 | |
| CN114022547A (zh) | 一种内窥镜图像检测方法、装置、设备及存储介质 | |
| JP2018153346A (ja) | 内視鏡位置特定装置、方法およびプログラム | |
| US20210161604A1 (en) | Systems and methods of navigation for robotic colonoscopy | |
| CN114785948B (zh) | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 | |
| JP2001111882A (ja) | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 | |
| CN112969402A (zh) | 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法 | |
| WO2023162216A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
| WO2023187886A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| EP4302681A1 (en) | Medical image processing device, medical image processing method, and program | |
| WO2022230563A1 (ja) | 内視鏡システム及びその作動方法 | |
| CN117710233A (zh) | 一种内窥图像的景深扩展方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |