CN114332028A - 内窥镜图像的处理方法、装置、可读介质和电子设备 - Google Patents

内窥镜图像的处理方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN114332028A
CN114332028A CN202111652171.9A CN202111652171A CN114332028A CN 114332028 A CN114332028 A CN 114332028A CN 202111652171 A CN202111652171 A CN 202111652171A CN 114332028 A CN114332028 A CN 114332028A
Authority
CN
China
Prior art keywords
image
tissue
tissue image
sample
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111652171.9A
Other languages
English (en)
Inventor
边成
杨志雄
李剑
赵家英
石小周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaohe Medical Instrument Hainan Co ltd
Original Assignee
Xiaohe Medical Instrument Hainan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaohe Medical Instrument Hainan Co ltd filed Critical Xiaohe Medical Instrument Hainan Co ltd
Priority to CN202111652171.9A priority Critical patent/CN114332028A/zh
Publication of CN114332028A publication Critical patent/CN114332028A/zh
Priority to PCT/CN2022/137570 priority patent/WO2023124877A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T3/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

本公开涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取当前时刻内窥镜采集的组织图像，根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像，历史组织图像为当前时刻之前内窥镜采集的图像，将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，根据可见区域和盲区区域，确定内窥镜检查过程中的盲区比例。本公开能够及时反应检查范围，以避免漏检，保证检查有效。

Description

内窥镜图像的处理方法、装置、可读介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备。
背景技术
内窥镜上设置有光学镜头、图像传感器、光源等组件，能够进入人体内部的组织进行检查，使得医生能够直观地观察到人体内部的情况，在医疗领域得到了广泛应用。在内窥镜进入人体内部的组织进行检查时，由于组织(例如肠道、胃等)会发生蠕动，组织存在褶皱，或者检查人员的冲水、解襻行为等原因，都容易导致内窥镜的视野中存在盲区，进一步可能导致漏检，无法保证检查的有效性。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种内窥镜图像的处理方法，所述方法包括：
获取当前时刻内窥镜采集的组织图像；
根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
第二方面，本公开提供一种内窥镜图像的处理装置，所述装置包括：
获取模块，用于获取当前时刻内窥镜采集的组织图像；
重建模块，用于根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
投影模块，用于将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
处理模块，用于根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取当前时刻内窥镜采集的组织图像，之后根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像。其中，历史组织图像为当前时刻之前内窥镜采集的图像。最后将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，并根据可见区域和盲区区域确定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、姿态参数，以此进行三维重建，能够快速得到准确的三维组织图像。并在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种内窥镜图像的处理方法的流程图；
图2是根据一示例性实施例示出的一种三维重建模型的示意图；
图3是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图4是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图5是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图6是根据一示例性实施例示出的一种三维重建模型与光流模型连接关系示意图；
图7是根据一示例性实施例示出的一种联合训练三维重建模型和光流模型的示意图；
图8是根据一示例性实施例示出的另一种联合训练三维重建模型和光流模型的示意图；
图9是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图10是根据一示例性实施例示出的一种内窥镜图像的处理装置的框图；
图11是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图12是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图13是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图14是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图15是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
人体内部的组织通常是存在腔体的软组织，在医生运镜的过程中，软组织(例如肠道、胃等)会发生蠕动，并且在内窥镜检查的过程中，医生会有冲水、解襻等操作，导致内窥镜检查过程中可能存在盲区。另外由于软组织中通常存在褶皱，也会导致软组织中的部分区域未能出现在内窥镜的视野中(即存在盲区)。如果内窥镜检查过程中盲区比例过大，很可能导致漏检，例如没有检查到息肉等较小的部位。因此在内窥镜检查过程中，需要及时检测盲区比例，以避免漏检，保证检查有效。
图1是根据一示例性实施例示出的一种内窥镜图像的处理方法的流程图，如图1所示，该方法包括可以下步骤：
步骤101，获取当前时刻内窥镜采集的组织图像。
举例来说，在进行内窥镜检查时，内窥镜会按照预设的采集周期不断地采集组织中的图像，本实施例中的组织图，可以理解为当前时刻内窥镜采集的图像，相应的，后文提及的历史组织图像，可以理解为当前时刻之前内窥镜采集的图像，例如可以是当前时刻之前上一时刻采集的图像。需要说明的是，本公开实施例中所述的内窥镜，例如可以是肠镜、胃镜等，若内窥镜为肠镜，那么上述组织图像即为肠道图像。若内窥镜为胃镜，那么上述组织图像可以为食道图像、胃部图像或者十二指肠图像。内窥镜还可以用于采集其他组织的图像，本公开对此不作具体限定。
由于内窥镜检查过程中，可能由于进镜手法不稳定，或者内窥镜的位置不合适等原因，会采集到很多无效的图像，例如障碍物遮挡、曝光度过大、清晰度过低等图像。这些无效的图像会对内窥镜的检查结果产生干扰。因此，在得到组织图像之后，可以先判断组织图像是否有效，若组织图像为无效的图像，可以直接丢弃该组织图像，等待内窥镜下一时刻采集的组织图像。若组织图像为有效图像，再进行之后的处理步骤，这样能够减少不必要的数据处理，提高处理速度。例如，可以利用预先训练的识别模型对组织图像进行识别，以确定组织图像是否有效，识别模型例如可以是CNN(英文：Convolutional Neural Networks，中文：卷积神经网络)或者LSTM(英文：Long Short-Term Memory，中文：长短期记忆网络)，也可以是Transformer(例如Vision Transformer)中的Encoder等，本公开对此不作具体限定。进一步的，还可以对组织图像进行预处理，可以理解为对组织图像中包括的数据进行增强处理。为了保证组织图像的质量，预处理不会对组织图像的模糊度或者色彩进行修改，因此预处理可以包括：multi-crop处理、翻转处理(包括：左右翻转、上下翻转、旋转等)、随机仿射变换、尺寸变换(英文：Resize)等处理，最后得到的预处理后的组织图像可以是指定尺寸(例如可以是384*384)的图像。
步骤102，根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像，历史组织图像为当前时刻之前内窥镜采集的图像。
示例的，可以将预处理后的组织图像和历史组织图像，输入预先训练的三维重建模型，以使三维重建模型根据组织图像和历史组织图像，确定组织图像对应的深度图像、和组织图像与历史组织图像之间的姿态参数。其中，组织图像对应的深度图像，包括了组织图像中每个像素点的深度(也可以理解为距离)，因此深度图像能够反映组织图像中可见表面的几何形状，而不受组织图像中纹理、颜色等的影响，也就是说，通过深度图像可以表征组织图像对应的组织的结构信息。姿态参数能够表征内窥镜在组织内的运动过程，例如可以包括旋转矩阵和平移向量。
之后，三维重建模型可以根据组织图像、深度图像和姿态参数进行三维重建，以得到组织图像对应的三维组织图像。三维组织图像能够表征组织图像对应的组织的三维结构。组织图像中每个像素点的位置，可以理解为该像素点的二维坐标，相应的，组织图像对应的深度图像中包括了每个像素点的深度，三维重建模型可以将组织图像与对应的深度图像进行融合，以得到包括每个像素点的三维坐标的三维组织图像，在进行融合的同时，还可以利用姿态参数去除畸变。具体的，可以采用SurfelMeshing融合算法来实现三维重建，也可以采用其他融合算法来实现三维重建，本公开对此不作具体限定。
步骤103，将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，组织模板用于表征内窥镜检查的组织的整体形状。
步骤104，根据可见区域和盲区区域，确定内窥镜检查过程中的盲区比例。
示例的，在得到三维组织图像之后，可以将三维组织图像投影至组织模板，并根据投影与组织模板重叠的可见区域，以及投影与组织模板不重叠的盲区区域，来确定内窥镜检查过程中的盲区比例。盲区比例可以理解为内窥镜检查过程中盲区(即内窥镜的视野中无法观测到的部分)占组织内部整体表面积的比例。组织模板可以理解为能够反映内窥镜当前检查的组织整体形状的模板。以内窥镜为肠镜为例，对应检查的组织即为肠道，那么组织模板可以为一个扭曲的圆柱体。在一种实现方式中，可以直接将三维组织图像投影至组织模板，从而得到三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，然后根据盲区区域与可见区域的比例，确定盲区比例。
在另一种实现方式中，由于三维组织图像表征的是组织图像对应的组织的三维结构，一个组织图像的视野范围有限，以组织图像为肠道图像来举例，三维组织图像只能反映一小段肠道的三维结构。因此可以将一段时间(例如：15s)内采集的多个组织图像对应的多个三维组织图像进行拼接，得到一个能够反映一段较长的肠道的三维结构的三维总图像，然后将三维总图像投影至组织模板，从而得到其中投影与组织模板重叠的可见区域，和其中投影与组织模板不重叠的盲区区域，然后根据盲区区域与可见区域的比例，确定盲区比例。
三维重建模型能够确定组织图像对应的深度图像，无需在内窥镜进行检查时增加深度传感器，便于操作，也节省了成本。同时，三维重建模型能够确定姿态参数，以在三维重建过程中去除畸变，从而快速获得准确的三维组织图像。进一步的，在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像。其中，历史组织图像为当前时刻之前内窥镜采集的图像。最后将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，并根据可见区域和盲区区域确定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、姿态参数，以此进行三维重建，能够快速得到准确的三维组织图像。并在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
在一种实现方式种，三维重建模型的结构可以如图2所示，其中包括：深度子模型、姿态子模型和融合子模型。深度子模型的输入与姿态子模型的输入，作为三维重建模型的输入，深度子模型的输出与姿态子模型的输出，一起作为融合子模型的输入，融合子模型的输出作为三维重建模型的输出。
图3是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图3所示，步骤102可以包括：
步骤1021，将组织图像输入深度子模型，以得到深度子模型输出的深度图像。
示例的，可以将组织图像作为深度子模型的输入，深度子模型能够输出对应的深度图像。深度子模型的结构如图2所示，可以是一个UNet结构，其中包括多个步幅卷积层(英文：stride conv)对组织图像进行下采样，例如可以下采样到组织图像分辨率的1/8，再利用多个转置卷积层(英文：transpose conv)进行上采样到组织图像的分辨率，得到对应的深度图像。
步骤1022，将组织图像和历史组织图像输入姿态子模型，以得到姿态子模型输出的姿态参数，姿态参数包括旋转矩阵和平移向量。
示例的，可以将组织图像和历史组织图像作为姿态子模型的输入，姿态子模型能够输出对应的旋转矩阵和平移向量。具体的，可以将组织图像和历史组织图像进行拼接(英文：Concat)，以将拼接后的结果输入姿态子模型。姿态子模型的结构如图2所示，可以是一个ResNet结构(例如可以是ResNet34)，组织图像和历史组织图像的拼接结果输入最开始的卷积池化层，通过中间的多个残差块(英文：Residual block)，最后由全连接层输出旋转矩阵和平移向量。
步骤1023，通过融合子模型根据组织图像、深度图像和姿态参数进行三维融合，以得到三维组织图像。
示例的，在得到深度图像和姿态参数之后，可以将组织图像、深度图像和姿态参数输入融合子模型，融合子模型能够按照预设的融合算法(例如SurfelMeshing融合算法)，将组织图像与对应的深度图像进行融合，同时利用姿态参数去除畸变，以输出包括每个像素点的三维坐标的三维组织图像。
图4是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图4所示，该方法还可以包括：
步骤105，获取内窥镜的运动轨迹，并对运动轨迹进行平滑处理。
步骤106，以平滑处理后的运动轨迹作为中心线，按照预设的模板半径建立组织模板。
举例来说，可以实时获取内窥镜的运动轨迹。由于进镜手法不稳定，或者内窥镜的位置不合适等原因，内窥镜的运动轨迹比较复杂，有较多弯曲。因此可以先对运动轨迹进行平滑处理。平滑处理例如可以为滑动平均(英文：Moving Average)算法，也可以是Savitzky-Golay滤波算法，还可以是样条曲线平滑算法，本公开对此不作具体限定。以滑动平均算法来举例，可以通过公式1对运动轨迹进行滑动平均，以得到平滑处理后的运动轨迹：
Figure BDA0003446846230000061
其中，ys(i)表示滑动平均后的运动轨迹中第i个点的坐标，M表示滑动窗口的大小，yi表示实时获取的运动轨迹中第i个点的坐标。
之后，可以以平滑处理后的运动轨迹作为中心线，按照预设的模板半径建立组织模板。以组织图像为肠道图像来举例，组织模板即为肠道模板，可以以平滑处理后的运动轨迹作为中心线，按照半径为1建立一个圆柱体，作为组织模板。
图5是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图5所示，步骤103的实现方式可以包括：
步骤1031，将预设时间段内采集的多个组织图像中，每个组织图像对应的三维组织图像进行拼接，以得到三维总图像。
步骤1032，将三维总图像投影至组织模板，以确定三维总图像中投影与组织模板重叠的可见区域，和三维总图像中投影与组织模板不重叠的盲区区域。
示例的，可以获取预设时间段内采集的多个组织图像，然后按照步骤102的方式，依次确定每个组织图像对应的三维组织图像。再将多个三维组织图像按照对应的空间位置关系，拼接为三维总图像。同样的，以组织图像为肠道图像来举例，每个三维组织图像可以理解为一小段肠道的三维结构，拼接后的三维总图像可以理解为一段较长的肠道的三维结构。
在得到三维总图像之后，可以将三维总图像投影至组织模板，三维总图像中投影与组织模板重叠的可见区域，即为内窥镜采集多个组织图像时视野能够覆盖的范围，三维总图像中投影与组织模板不重叠的盲区区域，即为内窥镜采集多个组织图像时视野不能覆盖的范围(即盲区)。那么盲区比例＝盲区区域/(盲区区域+可见区域)。
由于三维总图像在组织模板上的投影往往是不规则的，因此可以采用蒙特卡洛方法(英文：Monte Carlo method)来计算盲区区域的面积和可见区域的面积。例如，可以在组织模板上均匀分布K个测试点(K≥100)，然后分别统计可见区域内测试点的数量Λ，以及盲区区域内测试点的数量Ω，那么盲区比例
Figure BDA0003446846230000071
在一种实现方式种，三维重建模型可以与光流模型联合训练得到，三维重建模型与光流模型的连接关系如图6所示。图7是根据一示例性实施例示出的一种联合训练三维重建模型和光流模型的示意图，如图7所示，三维重建模型是通过以下步骤，与光流模型联合训练得到的：
步骤A，将样本组织图像输入深度子模型，以得到样本组织图像对应的样本深度图像以及采集样本组织图像的内窥镜内参数，并将历史样本组织图像输入深度子模型，以得到历史样本组织图像对应的历史样本深度图像，历史样本组织图像为在样本组织图像之前采集的图像，内窥镜内参数包括焦距和平移尺寸。
举例来说，将样本组织图像(表示为Ia)作为深度子模型的输入，深度子模型能够输出样本组织图像对应的样本深度图像(表示为Da)以及采集样本组织图像的内窥镜内参数(表示为K)，内窥镜内参数可以包括焦距和平移尺寸。同样的，将历史样本组织图像(表示为Ib)作为深度子模型的输入，深度子模型能够输出历史样本组织图像对应的历史样本深度图像(表示为Db)。其中，样本组织图像可以是从内窥镜视频中抽帧得来的，内窥镜视频可以是此前进行内窥镜检查时录制的视频，可以选用不同的内窥镜检查不同的用户得到。进一步的，在对内窥镜视频进行抽帧时，可以过滤掉无效的图像(例如障碍物遮挡、曝光度过大、清晰度过低等图像)。相应的，历史样本组织图像，即为样本组织图像前一帧的组织图像。
在训练阶段，深度子模型在多个步幅卷积层和多个转置卷积层的基础上，还可以增加一个线性层(表示为linear)，如图6所示。线性层能够输出内窥镜内参数。内窥镜内参数K的形式可以为：
Figure BDA0003446846230000081
其中，fx和fy分别表示内窥镜在X、Y方向上的焦距(单位为像素)，cx和cy分别表示原点在X、Y方向上的平移尺寸(单位为像素)。深度子模型能够在得到样本深度图像的同时，得到内窥镜内参数，无需事先对内窥镜进行标定，便于操作，同时能够适应于各种不同的内窥镜，提高了深度子模型的适用范围。
步骤B，将样本组织图像和历史样本组织图像输入姿态子模型，以得到姿态子模型输出的，样本组织图像与历史样本组织图像之间的样本姿态参数。
示例的，可以将样本组织图像和历史样本组织图像作为姿态子模型的输入，姿态子模型能够输出样本组织图像与历史样本组织图像之间的样本姿态参数，样本姿态参数包括样本旋转矩阵(表示为R)和样本平移向量(表示为t)。具体的，可以将样本组织图像和历史样本组织图像进行拼接，以将拼接后的结果输入姿态子模型。
步骤C，将样本组织图像和历史样本组织图像输入光流模型，以得到光流模型输出的，样本组织图像与历史样本组织图像之间的样本光流图。
示例的，可以将样本组织图像和历史样本组织图像作为光流模型的输入，光流模型能够输出样本组织图像与历史样本组织图像之间的样本光流图，样本光流图中包括了历史样本组织图像与样本组织图像中相同位置的像素点的偏移量，也就是说，样本光流图能够表征内窥镜从采集历史样本组织图像到样本组织图像过程中，观测表面(即组织的表面)的运动速度。具体的，可以将样本组织图像和历史样本组织图像进行拼接，以将拼接后的结果输入光流模型。光流模型的结构如图6所示，同样可以是一个UNet结构，相比于深度子模型，光流模型的通道数更少。光流模型包括多个步幅卷积层对样本组织图像进行下采样，为了能够捕捉到较远距离的运动状态，光流模型下采样更深(即光流模型中步幅卷积层的数量大于深度子模型中步幅卷积层的数量)，例如可以下采样到样本组织图像分辨率的1/16，再利用多个转置卷积层进行上采样到样本组织图像的分辨率(即光流模型中转置卷积层的数量大于深度子模型中转置卷积层的数量)，得到对应的样本光流图。
步骤D，根据内窥镜内参数、样本深度图像、历史样本深度图像、样本姿态参数和样本光流图，确定目标损失。
步骤E，以降低目标损失为目标，利用反向传播算法训练三维重建模型和光流模型。
示例的，可以根据内窥镜内参数、样本深度图像、历史样本深度图像、样本姿态参数和样本光流图，确定目标损失，并以降低目标损失为目标，利用反向传播算法训练三维重建模型和光流模型。在对三维重建模型和光流模型进行训练时，不需要预先进行标注，就能快速获取到用于训练三维重建模型和光流模型的样本组织图像以及历史样本组织图像，也就是说，三维重建模型和光流模型采用的是无监督学习的训练方式。
进一步的，训练三维重建模型和光流模型的初始学习率可以设置为：1e-2，Batchsize可以设置为：16*4，优化器可以选择：SGD，Epoch可以设置为：500，样本组织图像的大小可以为：384×384。
图8是根据一示例性实施例示出的另一种联合训练三维重建模型和光流模型的示意图，如图8所示，步骤D的实现方式可以包括：
步骤D1，根据样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行插值，以得到插值组织图像。
步骤D2，根据样本组织图像和插值组织图像确定光度损失。
示例的，可以利用样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行可微双线性插值处理，得到插值组织图像。从而根据样本组织图像和插值组织图像确定光度损失。插值组织图像可以理解为以采集历史样本组织图像的视角观测样本组织图像中的内容得到的图像。按照光束平差法的原则，同一个空间点的像素灰度，在各个图像中应当是固定不变的，因此，将不同视角采集的图像转换到另一视角，相同视角下两个图像中相同位置的像素应该相同。因此，光度损失可以理解为样本组织图像和插值组织图像之间的差异。例如可以通过公式2来确定光度损失：
Figure BDA0003446846230000091
其中，Lp表示光度损失，p表示像素点，N表示样本组织图像中有效的像素点，|N|表示有效的像素点的个数。Ia(p)表示样本组织图像中p的像素值，I'a(p)表示插值组织图像中p的像素值。||||1表示L1范数，L1范数对于离散点更加鲁棒。
步骤D3，根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失。
示例的，在样本组织图像(或者插值组织图像)的低纹理区域，由于图像特征信息较少，光度损失的表现较弱，因此可以加入平滑损失作为正则项，来约束生成的样本深度图像。可以根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失，平滑损失能够保证样本深度图像是由样本组织图像引导生成，这样生成的样本深度图在边缘处能够保留更多的梯度信息，即边缘处更加明显，细节信息更加丰富。例如可以通过公式3来确定平滑损失：
Figure BDA0003446846230000092
其中，Ls表示平滑损失，
Figure BDA0003446846230000093
表示样本组织图像中p的梯度，
Figure BDA0003446846230000094
表示样本深度图像中p的梯度。
步骤D4，根据样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像。
步骤D5，根据样本光流图、样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像。
步骤D6，根据第一深度图像和第二深度图像确定一致性损失。
示例的，由于样本组织图像和历史样本组织图像面对的是同一个三维空间，因此样本深度图像和历史样本深度图像之间具有空间一致性。可以利用样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像(表示为
Figure BDA0003446846230000095
)，并利用样本光流图、样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像(表示为D′b)。其中，第一深度图像可以理解为通过姿态变换将样本深度图像转换为，以采集历史样本组织图像的视角观测样本组织图像中的内容得到的深度图像。第二深度图像可以理解为通过对历史样本深度图像进行插值，以得到以采集历史样本组织图像的视角观测样本组织图像中的内容得到的深度图像。
然后再根据第一深度图像和第二深度图像确定一致性损失。也就是说，一致性损失能够反映第一深度图像与第二深度图像之间的差异。通过训练，一致性可以传播到多个样本深度图像中，这样也保证了多个样本深度图像的尺度一致性，相当于对多个样本深度图像进行平滑处理，保证了空间一致性。例如可以通过公式4来确定一致性损失：
Figure BDA0003446846230000101
其中，LG表示一致性损失，
Figure BDA0003446846230000102
表示第一深度图像中p的深度，D′b(p)表示第二深度图像中p的深度。
步骤D7，根据光度损失、平滑损失和一致性损失，确定目标损失。
示例的，可以根据光度损失、平滑损失和一致性损失，确定目标损失。例如可以通过公式5对光度损失、平滑损失和一致性损失进行加权求和，得到目标损失：
L＝αLp+βLs+γLG 公式5
其中，α、β和γ分别为光度损失、平滑损失和一致性损失对应的权重，其中，α可以是0.7，β可以是0.7，γ可以是0.3。
在一种实现方式中，步骤D2可以通过以下方式来实现：
根据样本组织图像、插值组织图像，以及样本组织图像和插值组织图像的结构相似度，确定光度损失。
示例的，内窥镜在采集样本组织图像和历史样本组织图像时，光照条件可能会发生变化，因此，可以引入SSIM(英文：Structural Similarity，中文：结构相似度)来确定光度损失，以避免光照条件变化对光度损失的干扰。SSIM能够反映局部结构的相似度。改进后的光度损失可以通过公式6来确定：
Figure BDA0003446846230000103
其中，λ1和λ2分别表示预设的权重，SSIM(p)表示样本组织图像与插值组织图像之间逐像素的SSIM。其中，λ1可以为0.7，λ2可以为0.3。
在另一种实现方式中，步骤D2还可以包括：
步骤1)根据第一深度图像和第二深度图像的差异度，确定掩膜矩阵，掩膜矩阵包括样本组织图像中每个像素点对应的权重。
步骤2)根据掩膜矩阵对光度损失进行修正。
示例的，样本组织图像对应的组织如果发生蠕动，可能会影响到光度损失，因此，可以通过第一深度图像和第二深度图像的差异度，确定掩膜矩阵，其中，掩膜矩阵中包括了样本组织图像中每个像素点对应的权重，权重与第一深度图像和第二深度图像的差异度负相关。也就是说，若某个像素点在第一深度图像和第二深度图像上的差异度很大，表示该像素点对应的位置，在内窥镜采集样本组织图像时，和采集历史样本组织图像时可能出现了蠕动，对光度损失会有干扰，因此该像素点对应的权重小。若该像素点在第一深度图像和第二深度图像上的差异度很小，表示该像素点对应的位置，在内窥镜采集样本组织图像时，和采集历史样本组织图像时变化不大(接近静止状态)，对光度损失不会有干扰，因此该像素点对应的权重大。掩膜矩阵可以通过公式7来确定：
Figure BDA0003446846230000104
其中，M表示掩膜矩阵，M(p)表示掩膜矩阵中包括的，样本组织图像中p对应的权重，
Figure BDA0003446846230000105
表示第一深度图像和第二深度图像的差异度。
然后再根据掩膜矩阵对光度损失进行修正。这样，修正后的光度损失能够避免组织发生蠕动产生的干扰。修正后的光度损失可以通过公式8来确定：
Figure BDA0003446846230000111
图9是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图9所示，在步骤103之后，该方法还可以包括：
步骤107，输出盲区比例，并在盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，提示信息用于指示存在漏检风险。
举例来说，在确定盲区比例之后，可以输出盲区比例，例如可以在用于展示组织图像的显示界面中实时显示盲区比例，从而实时展示内窥镜检查过程中的检查范围。进一步的，还可以在盲区比例大于或等于预设的比例阈值(例如可以时20％)的情况下，发出提示信息，以提示医生内窥镜当前的视野存在较大的盲区，存在漏检风险。提示信息的呈现形式可以包括：文字形式、图像形式、声音形式中的至少一种。例如，提示信息可以是“当前漏检风险高”、“请重新检查”、“请执行退镜”等文字提示或者图像提示，提示信息也可以是语音、指定频率的蜂鸣声或者报警声等声音提示。这样，医生可以根据提示信息，调整内窥镜的方向，或者执行退镜，再或者重新进行检查。由此，可以在医生进行内窥镜检查过程中对盲区比例进行实时监控，并在盲区比例较大时进行提示，从而避免漏检，保证检查有效。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像。其中，历史组织图像为当前时刻之前内窥镜采集的图像。最后将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，并根据可见区域和盲区区域确定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、姿态参数，以此进行三维重建，能够快速得到准确的三维组织图像。并在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
图10是根据一示例性实施例示出的一种内窥镜图像的处理装置的框图，如图10所示，该装置200可以包括：
获取模块201，用于获取当前时刻内窥镜采集的组织图像。
重建模块202，用于根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像，历史组织图像为当前时刻之前内窥镜采集的图像。
投影模块203，用于将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，组织模板用于表征内窥镜检查的组织的整体形状。
处理模块204，用于根据可见区域和盲区区域，确定内窥镜检查过程中的盲区比例。
图11是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图11所示，三维重建模型包括：深度子模型、姿态子模型和融合子模型。重建模块202可以包括：
深度图像确定子模块2021，用于将组织图像输入深度子模型，以得到深度子模型输出的深度图像。
姿态确定子模块2022，用于将组织图像和历史组织图像输入姿态子模型，以得到姿态子模型输出的姿态参数，姿态参数包括旋转矩阵和平移向量。
三维融合子模块2023，用于通过融合子模型根据组织图像、深度图像和姿态参数进行三维融合，以得到三维组织图像。
图12是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图12所示，该装置200还可以包括：
轨迹处理模块205，用于获取内窥镜的运动轨迹，并对运动轨迹进行平滑处理。
模板建立模块206，用于以平滑处理后的运动轨迹作为中心线，按照预设的模板半径建立组织模板。
图13是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图13所示，投影模块203可以包括：
拼接子模块2031，用于将预设时间段内采集的多个组织图像中，每个组织图像对应的三维组织图像进行拼接，以得到三维总图像。
投影子模块2032，用于将三维总图像投影至组织模板，以确定三维总图像中投影与组织模板重叠的可见区域，和三维总图像中投影与组织模板不重叠的盲区区域。
在一种实现方式种，三维重建模型是通过以下步骤，与光流模型联合训练得到的：
步骤A，将样本组织图像输入深度子模型，以得到样本组织图像对应的样本深度图像以及采集样本组织图像的内窥镜内参数，并将历史样本组织图像输入深度子模型，以得到历史样本组织图像对应的历史样本深度图像，历史样本组织图像为在样本组织图像之前采集的图像，内窥镜内参数包括焦距和平移尺寸。
步骤B，将样本组织图像和历史样本组织图像输入姿态子模型，以得到姿态子模型输出的，样本组织图像与历史样本组织图像之间的样本姿态参数。
步骤C，将样本组织图像和历史样本组织图像输入光流模型，以得到光流模型输出的，样本组织图像与历史样本组织图像之间的样本光流图。
步骤D，根据内窥镜内参数、样本深度图像、历史样本深度图像、样本姿态参数和样本光流图，确定目标损失。
步骤E，以降低目标损失为目标，利用反向传播算法训练三维重建模型和光流模型。
在另一种实现方式种，步骤D可以包括：
步骤D1，根据样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行插值，以得到插值组织图像。
步骤D2，根据样本组织图像和插值组织图像确定光度损失。
步骤D3，根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失。
步骤D4，根据样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像。
步骤D5，根据样本光流图、样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像。
步骤D6，根据第一深度图像和第二深度图像确定一致性损失。
步骤D7，根据光度损失、平滑损失和一致性损失，确定目标损失。
在又一种实现方式中，步骤D2可以通过以下方式来实现：
根据样本组织图像、插值组织图像，以及样本组织图像和插值组织图像的结构相似度，确定光度损失。
在又一种实现方式中，步骤D2还可以包括：
步骤1)根据第一深度图像和第二深度图像的差异度，确定掩膜矩阵，掩膜矩阵包括样本组织图像中每个像素点对应的权重。
步骤2)根据掩膜矩阵对光度损失进行修正。
图14是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图14所示，该装置200还可以包括：
输出模块207，用于在根据三维组织图像和组织模板，确定内窥镜检查过程中的盲区比例之后，输出盲区比例，并在盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，提示信息用于指示存在漏检风险。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像。其中，历史组织图像为当前时刻之前内窥镜采集的图像。最后将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，并根据可见区域和盲区区域确定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、姿态参数，以此进行三维重建，能够快速得到准确的三维组织图像。并在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
下面参考图15，其示出了适于用来实现本公开实施例的电子设备(例如本公开实施例的执行主体，可以为终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图15示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图15所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图15示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取当前时刻内窥镜采集的组织图像；根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取组织图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种内窥镜图像的处理方法，包括：获取当前时刻内窥镜采集的组织图像；根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述三维重建模型包括：深度子模型、姿态子模型和融合子模型；所述根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，包括：将所述组织图像输入所述深度子模型，以得到所述深度子模型输出的所述深度图像；将所述组织图像和历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的所述姿态参数，所述姿态参数包括旋转矩阵和平移向量；通过所述融合子模型根据所述组织图像、所述深度图像和所述姿态参数进行三维融合，以得到所述三维组织图像。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述方法还包括：获取所述内窥镜的运动轨迹，并对所述运动轨迹进行平滑处理；以平滑处理后的所述运动轨迹作为中心线，按照预设的模板半径建立所述组织模板。
根据本公开的一个或多个实施例，示例4提供了示例1的方法，所述将所述三维组织图像投影至组织模板，以确定所述三维图像中投影与所述组织模板重叠的可见区域，和所述三维图像中投影与所述组织模板不重叠的盲区区域，包括：将预设时间段内采集的多个所述组织图像中，每个所述组织图像对应的所述三维组织图像进行拼接，以得到三维总图像；将所述三维总图像投影至所述组织模板，以确定所述三维总图像中投影与所述组织模板重叠的所述可见区域，和所述三维总图像中投影与所述组织模板不重叠的所述盲区区域。
根据本公开的一个或多个实施例，示例5提供了示例2的方法，所述三维重建模型是通过以下步骤，与光流模型联合训练得到的：将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像以及采集所述样本组织图像的内窥镜内参数，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像，所述内窥镜内参数包括焦距和平移尺寸；将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本姿态参数；将所述样本组织图像和所述历史样本组织图像输入所述光流模型，以得到所述光流模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本光流图；根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像、所述样本姿态参数和所述样本光流图，确定目标损失；以降低所述目标损失为目标，利用反向传播算法训练所述三维重建模型和所述光流模型。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像、所述样本姿态参数和所述样本光流图，确定目标损失，包括：根据所述样本深度图像、所述样本姿态参数和所述内窥镜内参数，对所述历史样本组织图像进行插值，以得到插值组织图像；根据所述样本组织图像和所述插值组织图像确定光度损失；根据所述样本深度图像的梯度和所述样本组织图像的梯度，确定平滑损失；根据所述样本姿态参数和所述内窥镜内参数，将所述样本深度图像变换为第一深度图像；根据所述样本光流图、所述样本姿态参数和所述内窥镜内参数，将所述历史样本深度图像变换为第二深度图像；根据所述第一深度图像和所述第二深度图像确定一致性损失；根据所述光度损失、所述平滑损失和所述一致性损失，确定所述目标损失。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述根据所述样本组织图像和所述插值组织图像确定光度损失，包括：根据所述样本组织图像、所述插值组织图像，以及所述样本组织图像和所述插值组织图像的结构相似度，确定所述光度损失。
根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述根据所述样本组织图像和所述插值组织图像确定光度损失，还包括：根据所述第一深度图像和所述第二深度图像的差异度，确定掩膜矩阵，所述掩膜矩阵包括所述样本组织图像中每个像素点对应的权重；根据所述掩膜矩阵对所述光度损失进行修正。
根据本公开的一个或多个实施例，示例9提供了示例1至示例8的方法，在所述根据所述三维组织图像和组织模板，确定所述内窥镜检查过程中的盲区比例之后，所述方法还包括：输出所述盲区比例，并在所述盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，所述提示信息用于指示存在漏检风险。
根据本公开的一个或多个实施例，示例10提供了一种内窥镜图像的处理装置，包括：获取模块，用于获取当前时刻内窥镜采集的组织图像；重建模块，用于根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；投影模块，用于将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；处理模块，用于根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例9中所述方法的步骤。
根据本公开的一个或多个实施例，示例12提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例9中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (12)

1.一种内窥镜图像的处理方法，其特征在于，所述方法包括：
获取当前时刻内窥镜采集的组织图像；
根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
2.根据权利要求1所述的方法，其特征在于，所述三维重建模型包括：深度子模型、姿态子模型和融合子模型；
所述根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，包括：
将所述组织图像输入所述深度子模型，以得到所述深度子模型输出的所述深度图像；
将所述组织图像和历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的所述姿态参数，所述姿态参数包括旋转矩阵和平移向量；
通过所述融合子模型根据所述组织图像、所述深度图像和所述姿态参数进行三维融合，以得到所述三维组织图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述内窥镜的运动轨迹，并对所述运动轨迹进行平滑处理；
以平滑处理后的所述运动轨迹作为中心线，按照预设的模板半径建立所述组织模板。
4.根据权利要求1所述的方法，其特征在于，所述将所述三维组织图像投影至组织模板，以确定所述三维图像中投影与所述组织模板重叠的可见区域，和所述三维图像中投影与所述组织模板不重叠的盲区区域，包括：
将预设时间段内采集的多个所述组织图像中，每个所述组织图像对应的所述三维组织图像进行拼接，以得到三维总图像；
将所述三维总图像投影至所述组织模板，以确定所述三维总图像中投影与所述组织模板重叠的所述可见区域，和所述三维总图像中投影与所述组织模板不重叠的所述盲区区域。
5.根据权利要求2所述的方法，其特征在于，所述三维重建模型是通过以下步骤，与光流模型联合训练得到的：
将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像以及采集所述样本组织图像的内窥镜内参数，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像，所述内窥镜内参数包括焦距和平移尺寸；
将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本姿态参数；
将所述样本组织图像和所述历史样本组织图像输入所述光流模型，以得到所述光流模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本光流图；
根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像、所述样本姿态参数和所述样本光流图，确定目标损失；
以降低所述目标损失为目标，利用反向传播算法训练所述三维重建模型和所述光流模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像、所述样本姿态参数和所述样本光流图，确定目标损失，包括：
根据所述样本深度图像、所述样本姿态参数和所述内窥镜内参数，对所述历史样本组织图像进行插值，以得到插值组织图像；
根据所述样本组织图像和所述插值组织图像确定光度损失；
根据所述样本深度图像的梯度和所述样本组织图像的梯度，确定平滑损失；
根据所述样本姿态参数和所述内窥镜内参数，将所述样本深度图像变换为第一深度图像；
根据所述样本光流图、所述样本姿态参数和所述内窥镜内参数，将所述历史样本深度图像变换为第二深度图像；
根据所述第一深度图像和所述第二深度图像确定一致性损失；
根据所述光度损失、所述平滑损失和所述一致性损失，确定所述目标损失。
7.根据权利要求6所述的方法，其特征在于，所述根据所述样本组织图像和所述插值组织图像确定光度损失，包括：
根据所述样本组织图像、所述插值组织图像，以及所述样本组织图像和所述插值组织图像的结构相似度，确定所述光度损失。
8.根据权利要求7所述的方法，其特征在于，所述根据所述样本组织图像和所述插值组织图像确定光度损失，还包括：
根据所述第一深度图像和所述第二深度图像的差异度，确定掩膜矩阵，所述掩膜矩阵包括所述样本组织图像中每个像素点对应的权重；
根据所述掩膜矩阵对所述光度损失进行修正。
9.根据权利要求1-8中任一项所述的方法，其特征在于，在所述根据所述三维组织图像和组织模板，确定所述内窥镜检查过程中的盲区比例之后，所述方法还包括：
输出所述盲区比例，并在所述盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，所述提示信息用于指示存在漏检风险。
10.一种内窥镜图像的处理装置，其特征在于，所述装置包括：
获取模块，用于获取当前时刻内窥镜采集的组织图像；
重建模块，用于根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
投影模块，用于将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
处理模块，用于根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-9中任一项所述方法的步骤。
12.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求-9中任一项所述方法的步骤。
CN202111652171.9A 2021-12-30 2021-12-30 内窥镜图像的处理方法、装置、可读介质和电子设备 Pending CN114332028A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111652171.9A CN114332028A (zh) 2021-12-30 2021-12-30 内窥镜图像的处理方法、装置、可读介质和电子设备
PCT/CN2022/137570 WO2023124877A1 (zh) 2021-12-30 2022-12-08 内窥镜图像的处理方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111652171.9A CN114332028A (zh) 2021-12-30 2021-12-30 内窥镜图像的处理方法、装置、可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN114332028A true CN114332028A (zh) 2022-04-12

Family

ID=81018604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111652171.9A Pending CN114332028A (zh) 2021-12-30 2021-12-30 内窥镜图像的处理方法、装置、可读介质和电子设备

Country Status (2)

Country Link
CN (1) CN114332028A (zh)
WO (1) WO2023124877A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
WO2023124877A1 (zh) * 2021-12-30 2023-07-06 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010074058A1 (ja) * 2008-12-25 2010-07-01 株式会社 日立メディコ 医用画像表示装置及び方法
CN111145238B (zh) * 2019-12-12 2023-09-22 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
AU2021241444A1 (en) * 2020-03-21 2022-07-14 Smart Medical Systems Ltd. Artificial intelligence detection system for mechanically-enhanced topography
CN111753961B (zh) * 2020-06-26 2023-07-28 北京百度网讯科技有限公司 模型训练方法和装置、预测方法和装置
CN114332028A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124877A1 (zh) * 2021-12-30 2023-07-06 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN115035152B (zh) * 2022-08-12 2022-10-25 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
CN115035153B (zh) * 2022-08-12 2022-10-28 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备

Also Published As

Publication number Publication date
WO2023124877A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN114332028A (zh) 内窥镜图像的处理方法、装置、可读介质和电子设备
US10929669B2 (en) Systems and methods for processing colon images and videos
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
TWI532460B (zh) 從活體內多相機膠囊重建影像
WO2023138619A1 (zh) 内窥镜图像的处理方法、装置、可读介质和电子设备
JPH05108819A (ja) 画像処理装置
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
CN114332019B (zh) 内窥镜图像检测辅助系统、方法、介质和电子设备
WO2023207564A1 (zh) 基于图像识别的内窥镜进退镜时间确定方法及装置
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN113487609B (zh) 组织腔体的定位方法、装置、可读介质和电子设备
CN110771140A (zh) 云台系统及其图像处理方法、无人机
CN114663575A (zh) 图像处理的方法、设备和计算机可读存储介质
CN114332033A (zh) 基于人工智能的内窥镜图像处理方法、装置、介质及设备
WO2023165332A1 (zh) 组织腔体的定位方法、装置、可读介质和电子设备
JPWO2005091649A1 (ja) 単一の撮像装置で連続取得したビデオ映像による立体表示方法
Gong et al. Intensity-mosaic: automatic panorama mosaicking of disordered images with insufficient features
CN116797713A (zh) 一种三维重建方法和终端设备
WO2021248432A1 (en) Systems and methods for performing motion transfer using a learning model
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
CN115731326A (zh) 虚拟角色生成方法及装置、计算机可读介质和电子设备
Ahmad et al. 3D reconstruction of gastrointestinal regions using shape-from-focus
JP2021069698A (ja) 放射線撮影装置、放射線撮影システム、放射線撮影方法及びプログラム
CN114785948B (zh) 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination