CN114638798A - 目标区域的定位方法、电子设备、介质 - Google Patents

目标区域的定位方法、电子设备、介质 Download PDF

Info

Publication number
CN114638798A
CN114638798A CN202210234627.8A CN202210234627A CN114638798A CN 114638798 A CN114638798 A CN 114638798A CN 202210234627 A CN202210234627 A CN 202210234627A CN 114638798 A CN114638798 A CN 114638798A
Authority
CN
China
Prior art keywords
coordinate information
information
nuclear magnetic
coordinate system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210234627.8A
Other languages
English (en)
Inventor
林涛
李聚龙
谭智刚
蒲里鹏
伍小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Haifu Medical Technology Co ltd
Original Assignee
Chongqing Haifu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Haifu Medical Technology Co ltd filed Critical Chongqing Haifu Medical Technology Co ltd
Priority to CN202210234627.8A priority Critical patent/CN114638798A/zh
Publication of CN114638798A publication Critical patent/CN114638798A/zh
Priority to PCT/CN2023/074338 priority patent/WO2023169108A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标区域的定位方法、电子设备、计算机可读存储介质，目标区域的定位方法包括：通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像；其中，所述反应骨为具有目标特征的骨骼；从所述目标图像中识别出所述皮肤表面区域；确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息；根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息；其中，所述第一位置关系信息为所述皮肤表面区域的中心位置与所述目标区域的中心位置之间的位置关系信息。

Description

目标区域的定位方法、电子设备、介质
技术领域
本公开实施例涉及智慧医疗技术领域，特别涉及目标区域的定位方法、电子设备、计算机可读存储介质。
背景技术
微无创治疗技术是指通过影像引导，采用聚焦超声、氩氦刀冷冻、导管介入、射频消融等微创方法，对肿瘤实行精确性毁损、杀灭的治疗方法。随着医学技术的不断发展，微无创治疗以其创伤小、疗效精确、针对性强、恢复较快等特征，称为现今肿瘤综合治疗领域中最活跃、最具有发展前景的技术之一。但是，在治疗过程中，由于患者组织内部比较复杂，对于医生寻找患者病灶的能力要求很高，尤其是没有经验的医生，几乎要花很长时间才能找到病灶，由此限制很多医生进入微无创治疗领域；同时医生在确认所观察的是否为患者病灶时，主要是医生的主观性判断，因此会存在因医生主观判断失误造成治疗位置不当等问题。另外，在治疗过程中患者体位发生改变，医生还需要依赖经验重新定位才能继续治疗，又要花很长时间。
为了减少医生的工作量，降低手术操作对医生经验的依赖性，需要对患者病灶位置进行智能识别，目前的智能识别技术需要采用粘贴标记的方式，粘贴标记会增加患者的不适感，并且标记材料的选择、粘贴位置的培训等问题还增加了医护人员的工作量。
公开内容
本公开实施例提供一种目标区域的定位方法、电子设备、计算机可读存储介质。
第一方面，本公开实施例提供一种目标区域的定位方法，包括：
通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像；其中，所述反应骨为具有目标特征的骨骼；
从所述目标图像中识别出所述皮肤表面区域；
确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息；
根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息；其中，所述第一位置关系信息为所述皮肤表面区域的中心位置与所述目标区域的中心位置之间的位置关系信息。
在一些示例性实施例中，所述从所述目标图像中识别出所述皮肤表面区域包括：
对所述目标图像进行图像增强处理；
将图像增强处理后的目标图像输入到训练好的分类模型中得到所述皮肤表面区域在像素坐标系中的第一像素坐标信息。
在一些示例性实施例中，所述将图像增强处理后的目标图像输入到训练好的分类模型中得到所述皮肤表面区域在像素坐标系中的第一像素坐标信息之前，该方法还包括：
通过所述摄像头采集包括所述皮肤表面区域的样本图像；
对所述样本图像进行图像增强处理；
根据图像增强处理后的样本图像进行模型训练得到所述分类模型。
在一些示例性实施例中，所述确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息包括：
确定所述皮肤表面区域的中心位置在像素坐标系中的第二像素坐标信息；
根据所述第二像素坐标信息和第一转换关系确定所述皮肤表面区域的中心位置在摄像头坐标系中的摄像头坐标信息；其中，所述第一转换关系为所述像素坐标系与所述摄像头坐标系之间的转换关系；
根据所述摄像头坐标信息和第二转换关系确定所述第一设备坐标信息；其中，所述第二转换关系为所述摄像头坐标系与所述设备坐标系之间的转换关系。
在一些示例性实施例中，所述第一位置关系信息为所述第一设备坐标信息和所述目标区域的中心位置在所述设备坐标系中的第四设备坐标信息之间的差值；
所述根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息包括：
确定所述第二设备坐标信息为所述第一设备坐标信息和所述第一位置关系信息之差。
在一些示例性实施例中，所述通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像之前，该方法还包括：
预先根据核磁图像获取所述第一位置关系信息。
在一些示例性实施例中，所述预先根据核磁图像获取所述第一位置关系信息包括：
根据所述核磁图像确定所述目标区域的中心位置在核磁坐标系中的第一核磁坐标信息，以及所述反应骨的目标位置在核磁坐标系中的第二核磁坐标信息；
根据所述第二核磁坐标信息和所述核磁图像确定所述皮肤表面区域的中心位置在所述核磁坐标系中的第三核磁坐标信息；
根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息。
在一些示例性实施例中，所述根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息包括：
确定所述第一位置关系信息为所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；
或者，确定所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；确定所述第一位置关系信息为所述差值和第三转换关系之间的乘积；其中，所述第三转换关系为所述核磁坐标系和所述设备坐标系之间的转换关系。
第二方面，本公开实施例提供一种电子设备，包括：
至少一个处理器；
存储器，存储器上存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任意一种目标区域的定位方法。
第三方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现上述任意一种目标区域的定位方法。
本公开实施例提供的目标区域的定位方法，实现了手术操作过程中对患者病灶位置的智能识别和智能定位，提高了对患者病灶位置的定位精度；并且不需要粘贴标记，减轻了医护人员的工作量。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例性实施例进行描述，在附图中：
图1为本公开一个实施例提供的目标区域的定位方法的流程图；
图2为本公开实施例的摄像头坐标系和图像物理坐标系之间的转换示意图；
图3为本公开另一个实施例提供的目标区域的定位装置的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的目标区域的定位方法、电子设备、计算机可读存储介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括至少一个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加至少一个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
图1为本公开一个实施例提供的目标区域的定位方法的流程图。
第一方面，参照图1，本公开一个实施例提供一种目标区域的定位方法，包括：
步骤100、通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像；其中，反应骨为具有目标特征的骨骼。
在一些示例性实施例中，摄像头可以是单目摄像头、双目摄像头、多目摄像头、3D结构光学摄像头中的任意一个。
在一些示例性实施例中，反应骨可以是自然状态下与人体皮肤表面之间的空间位置关系不会发生变化的骨骼。例如反应骨可以是鼻梁骨、骶尾骨等。
在一些示例性实施例中，与反应骨对应的皮肤表面区域是指人体皮肤表面上与反应骨所处位置相同，而深度不同的区域。例如，反应骨为鼻梁骨时，皮肤表面区域可以是包括鼻子的区域；反应骨为骶尾骨时，皮肤表面区域可以是骶尾骨三角区域。
步骤101、从目标图像中识别出皮肤表面区域。
在一些示例性实施例中，从目标图像中识别出皮肤表面区域包括：对目标图像进行图像增强处理；将图像增强处理后的目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息。
在一些示例性实施例中，从目标图像中识别出皮肤表面区域包括：将目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息。
在一些示例性实施例中，像素坐标系是建立在目标图像上的二维坐标系。像素坐标系的原点可以是目标图像上的任意一点，也可以是非目标图像上的任意一点，例如可以是目标图像的左上角；像素坐标系的其中一个轴平行于目标图像的行，另一个轴平行于目标图像的列；或者，像素坐标系的其中一个轴平行于目标图像的列，另一个轴平行于目标图像的行。目标图像上的某一点在像素坐标系中的像素坐标信息是离散的，以像素为单位的，只能是整数值。
在一些示例性实施例中，由于目标图像中皮肤表面区域的亮度比周围其他区域的亮度要小，即偏暗，为了增强皮肤表面区域的图像对比度，防止图像灰度接近造成过度放大噪声的情况出现，减少光线条件对图像特征的影响，对目标图像进行图像增强处理，具体可以采用本领域技术人员熟知的方式对目标图像进行图像增强处理，例如可以采用限制对比度自适应直方图均衡算法(CLAHE，Contrast Limited Adaptive HistogramEqualization)对目标图像进行图像增强处理。
在一些示例性实施例中，将图像增强处理后的目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息之前，或将目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息之前，该方法还包括：通过摄像头采集包括皮肤表面区域的样本图像；对样本图像进行图像增强处理；根据图像增强处理后的样本图像进行模型训练得到分类模型。
在一些示例性实施例中，将图像增强处理后的目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息之前，或将目标图像输入到训练好的分类模型中得到皮肤表面区域在像素坐标系中的第一像素坐标信息之前，该方法还包括：通过摄像头采集包括皮肤表面区域的样本图像；根据样本图像进行模型训练得到分类模型。
在一些示例性实施例中，可以采用本领域技术人员熟知的模型进行训练得到分类模型，例如可以采用Mask R-CNN神经网络模型进行训练得到分类模型。具体的，Mask R-CNN神经网络模型的实现过程大致包括：对样本图像或图像增强处理后的样本图像进行皮肤表面区域的标注，生成mask标签数据集；对mask标签数据集进行筛选和预处理，将筛选和预处理后的数据集进行划分得到不同姿态图像组合的数据集；将不同姿态图像组合的数据集输入到预训练的神经网络(如ResNet等)中得到相应的体表特征图；为体表特征图中的每一点感兴趣区域(ROI，Region ofInterest)，根据ROI得到候选框；对候选框进行二值分类和回归(BB，Bounding-box regression)处理，以过滤一部分低分(1ower Score)ROI对应的点；对候选框中剩下的点进行ROI对齐(Align)操作，对ROI Align操作后的点进行分类。
步骤102、确定皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息。
在一些示例性实施例中，设备可以是进行手术操作的任何设备，例如机械臂等。
在一些示例性实施例中，设备坐标系是基于设备建立的三维坐标系。
在一些示例性实施例中，确定皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息包括：确定皮肤表面区域的中心位置在像素坐标系中的第二像素坐标信息；根据第二像素坐标信息和第一转换关系确定皮肤表面区域的中心位置在摄像头坐标系中的摄像头坐标信息；其中，第一转换关系为像素坐标系与摄像头坐标系之间的转换关系；根据摄像头坐标信息和第二转换关系确定第一设备坐标信息；其中，第二转换关系为摄像头坐标系与设备坐标系之间的转换关系。
在一些示例性实施例中，摄像头坐标系是基于摄像头建立的三维坐标系。
在一些示例性实施例中，第一转换关系可以采用第一转换矩阵表示。
在一些示例性实施例中，摄像头坐标系和像素坐标系之间通过图像物理坐标系关联，第一转换关系可以基于摄像头坐标系和图像物理坐标系之间的转换关系，以及图像物理坐标系和像素坐标系之间的转换关系获得。
在一些示例性实施例中，摄像头坐标系和图像物理坐标系之间的转换关系可以采用第三转换矩阵表示，图像物理坐标系和像素坐标系之间的转换关系可以采用第四转换矩阵表示，那么第一转换矩阵可以根据第三转换矩阵和第四转换矩阵确定。
在一些示例性实施例中，图像物理坐标系是建立在图像传感器上的二维坐标系。图像物理坐标系的原点为摄像头光轴与成像平面的交点；图像物理坐标系的其中一个轴平行于图像传感器的行，另一个轴平行于图像传感器的列；或者，图像物理坐标系的其中一个轴平行于图像传感器的列，另一个轴平行于图像传感器的行。图像传感器上的某一点在图像物理坐标系中的图像物理坐标信息是离散的，以长度为单位的。
在一些示例性实施例中，摄像头坐标系为三维坐标系，图像物理坐标系为二维坐标系，因此，第三转换矩阵是三维坐标系和二维坐标系之间的转换矩阵。具体的，假设皮肤表面区域上有一点P，点P在摄像头坐标系中的摄像头坐标信息为(Xc，Yc，Zc)，摄像头光轴与成像平面的交点Oc和点P的连线OcP与摄像头成像平面的交点为p，即点P在摄像头成像平面上的投影点，如图2所示，点p在图像物理坐标系的图像物理坐标信息为(x，y)f为摄像头的焦距，那么根据相似三角形原理可知：
Figure BDA0003540932390000081
Figure BDA0003540932390000082
那么，第三转换矩阵可以表示为：
Figure BDA0003540932390000083
第四转换矩阵是两个二维坐标系之间的转换矩阵，即：
Figure BDA0003540932390000084
其中，α为x方向单位长度包含的像素个数，β为y方向单位长度包含的像素个数，(u，v)为点p的像素坐标信息，(x，y)为点p的物理图像坐标信息，(u0，v0)为图像物理坐标系的原点在像素坐标系中的像素坐标信息。
那么，第一转换矩阵可以表示为：
Figure BDA0003540932390000091
其中，K为摄像头的内参矩阵，即第一转换矩阵。
在一些示例性实施例中，根据第二像素坐标信息和第一转换关系确定皮肤表面区域的中心位置在摄像头坐标系中的摄像头坐标信息包括：按照公式(4)确定摄像头坐标信息。
在一些示例性实施例中，第二转换关系可以采用第二转换矩阵Le表示。
在一些示例性实施例中，摄像头坐标系和设备坐标系均为三维坐标系，因此，第二转换矩阵是两个三维坐标系之间的转换矩阵，同一时间皮肤表面区域在两个三维坐标系中仅仅是空间位置和朝向发生了变化，形状并没有发生变化，因此，第二转换矩阵Le可以采用旋转矩阵R和平移矩阵T来表示。具体的，假设皮肤表面区域上有一点P，点P在摄像头坐标系中的摄像头坐标信息为(Xc，Yc，Zc)，点P在设备坐标系中的设备坐标信息为(Xe，Ye，Ze)，两个坐标信息的转换关系表示如公式(5)所示。
Figure BDA0003540932390000092
其中，R为3×3矩阵，
Figure BDA0003540932390000093
T为平移向量，
Figure BDA0003540932390000094
Le是反应摄像头在设备坐标系中的外参矩阵。
在一些示例性实施例中，根据摄像头坐标信息和第二转换关系确定第一设备坐标信息包括：按照公式(5)确定第一设备坐标信息。
步骤103、根据第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在设备坐标系中的第二设备坐标信息；其中，第一位置关系信息为皮肤表面区域的中心位置与目标区域的中心位置之间的位置关系信息。
在一些示例性实施例中，病灶可以是肿瘤，如子宫肌瘤等。
在一些示例性实施例中，第一位置关系信息为第一设备坐标信息和目标区域的中心位置在设备坐标系中的第四设备坐标信息之间的差值；根据第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在设备坐标系中的第二设备坐标信息包括：确定第二设备坐标信息为第一设备坐标信息和第一位置关系信息之差。
在一些示例性实施例中，第一位置关系信息为皮肤表面区域的中心位置在核磁坐标系中的第三核磁坐标信息和目标区域的中心位置在核磁坐标系中的第一核磁坐标信息之间的差值；根据第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在设备坐标系中的第二设备坐标信息包括：根据第三转换关系、第三核磁坐标信息和第一核磁坐标信息之间的差值确定第一设备坐标信息和第四设备坐标信息之间的差值；确定第二设备坐标信息为第一设备坐标信息，与第一设备坐标信息和第四设备坐标信息之间的差值之差。
在一些示例性实施例中，第三转换关系为核磁坐标系和设备坐标系两个三维坐标系之间的转换关系，第三转换关系可以采用第五转换矩阵表示，第三转换矩阵与第二转换矩阵Le类似，这里不再赘述。
在一些示例性实施例中，通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像之前，该方法还包括：预先根据核磁图像获取第一位置关系信息。
在一些示例性实施例中，预先根据核磁图像获取第一位置关系信息包括：根据核磁图像确定目标区域的中心位置在核磁坐标系中的第一核磁坐标信息，以及反应骨的目标位置在核磁坐标系中的第二核磁坐标信息；根据第二核磁坐标信息和核磁图像确定皮肤表面区域的中心位置在核磁坐标系中的第三核磁坐标信息；根据第一核磁坐标信息和第三核磁坐标信息确定第一位置关系信息。
在一些示例性实施例中，反应骨的目标位置可以是骶尾骨交替处。
在一些示例性实施例中，皮肤表面区域的中心位置为与骶尾骨交替处处于不同深度，但位置相同的位置。
在一些示例性实施例中，根据第一核磁坐标信息和第三核磁坐标信息确定第一位置关系信息包括：确定第一位置关系信息为第一核磁坐标信息和第三核磁坐标信息之间的差值；或者，确定第一核磁坐标信息和第三核磁坐标信息之间的差值；确定第一位置关系信息为差值和第三转换关系之间的乘积；其中，第三转换关系为核磁坐标系和设备坐标系之间的转换关系。
本公开实施例提供的目标区域的定位方法，实现了手术操作过程中对患者病灶位置的智能识别和智能定位，提高了对患者病灶位置的定位精度；并且不需要粘贴标记，减轻了医护人员的工作量。
第二方面，本公开另一个实施例提供一种电子设备，包括：
至少一个处理器；
存储器，存储器上存储有至少一个程序，当至少一个程序被至少一个处理器执行，使得至少一个处理器实现上述任意一种目标区域的定位方法。
其中，处理器为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)。
在一些示例性实施例中，处理器、存储器通过总线相互连接，进而与计算设备的其它组件连接。
在一些示例性实施例中，电子设备还包括：摄像头，用于采集包括与反应骨对应的皮肤表面区域的目标图像；其中，所述反应骨为具有目标特征的骨骼。
第三方面，本公开另一个实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，程序被处理器执行时实现上述任意一种目标区域的定位方法。
图3为本公开另一个实施例提供的目标区域的定位装置的组成框图。
第四方面，本公开另一个实施例提供一种目标区域的定位装置，包括：获取模块301，用于通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像；其中，所述反应骨为具有目标特征的骨骼；识别模块302，用于从所述目标图像中识别出所述皮肤表面区域；坐标信息确定模块303，用于确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息；根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息；其中，所述第一位置关系信息为所述皮肤表面区域的中心位置与所述目标区域的中心位置之间的位置关系信息。
在一些示例性实施例中，识别模块302具体用于：对所述目标图像进行图像增强处理；将图像增强处理后的目标图像输入到训练好的分类模型中得到所述皮肤表面区域在像素坐标系中的第一像素坐标信息。
在一些示例性实施例中，获取模块301还用于：通过所述摄像头采集包括所述皮肤表面区域的样本图像；识别模块302还用于：对所述样本图像进行图像增强处理；根据图像增强处理后的样本图像进行模型训练得到所述分类模型。
在一些示例性实施例中，坐标信息确定模块303具体用于采用以下方式实现所述确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息：确定所述皮肤表面区域的中心位置在像素坐标系中的第二像素坐标信息；根据所述第二像素坐标信息和第一转换关系确定所述皮肤表面区域的中心位置在摄像头坐标系中的摄像头坐标信息；其中，所述第一转换关系为所述像素坐标系与所述摄像头坐标系之间的转换关系；根据所述摄像头坐标信息和第二转换关系确定所述第一设备坐标信息；其中，所述第二转换关系为所述摄像头坐标系与所述设备坐标系之间的转换关系。
在一些示例性实施例中，所述第一位置关系信息为所述第一设备坐标信息和所述目标区域的中心位置在所述设备坐标系中的第四设备坐标信息之间的差值；坐标信息确定模块303具体用于采用以下方式实现所述根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息：确定所述第二设备坐标信息为所述第一设备坐标信息和所述第一位置关系信息之差。
在一些示例性实施例中，获取模块301还用于：预先根据核磁图像获取所述第一位置关系信息。
在一些示例性实施例中，获取模块301具体用于采用以下方式实现所述预先根据核磁图像获取所述第一位置关系信息：根据所述核磁图像确定所述目标区域的中心位置在核磁坐标系中的第一核磁坐标信息，以及所述反应骨的目标位置在核磁坐标系中的第二核磁坐标信息；根据所述第二核磁坐标信息和所述核磁图像确定所述皮肤表面区域的中心位置在所述核磁坐标系中的第三核磁坐标信息；根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息。
在一些示例性实施例中，获取模块301具体用于采用以下方式实现所述根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息：确定所述第一位置关系信息为所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；或者，确定所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；确定所述第一位置关系信息为所述差值和第三转换关系之间的乘积；其中，所述第三转换关系为所述核磁坐标系和所述设备坐标系之间的转换关系。
上述目标区域的定位装置的具体实现过程与前述实施例目标区域的定位方法的具体实现过程相同，这里不再赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储器、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种目标区域的定位方法，包括：
通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像；其中，所述反应骨为具有目标特征的骨骼；
从所述目标图像中识别出所述皮肤表面区域；
确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息；
根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息；其中，所述第一位置关系信息为所述皮肤表面区域的中心位置与所述目标区域的中心位置之间的位置关系信息。
2.根据权利要求1所述的目标区域的定位方法，其中，所述从所述目标图像中识别出所述皮肤表面区域包括：
对所述目标图像进行图像增强处理；
将图像增强处理后的目标图像输入到训练好的分类模型中得到所述皮肤表面区域在像素坐标系中的第一像素坐标信息。
3.根据权利要求2所述的目标区域的定位方法，所述将图像增强处理后的目标图像输入到训练好的分类模型中得到所述皮肤表面区域在像素坐标系中的第一像素坐标信息之前，该方法还包括：
通过所述摄像头采集包括所述皮肤表面区域的样本图像；
对所述样本图像进行图像增强处理；
根据图像增强处理后的样本图像进行模型训练得到所述分类模型。
4.根据权利要求1所述的目标区域的定位方法，其中，所述确定所述皮肤表面区域的中心位置在设备坐标系中的第一设备坐标信息包括：
确定所述皮肤表面区域的中心位置在像素坐标系中的第二像素坐标信息；
根据所述第二像素坐标信息和第一转换关系确定所述皮肤表面区域的中心位置在摄像头坐标系中的摄像头坐标信息；其中，所述第一转换关系为所述像素坐标系与所述摄像头坐标系之间的转换关系；
根据所述摄像头坐标信息和第二转换关系确定所述第一设备坐标信息；其中，所述第二转换关系为所述摄像头坐标系与所述设备坐标系之间的转换关系。
5.根据权利要求1所述的目标区域的定位方法，其中，所述第一位置关系信息为所述第一设备坐标信息和所述目标区域的中心位置在所述设备坐标系中的第四设备坐标信息之间的差值；
所述根据所述第一设备坐标信息和预先确定的第一位置关系信息确定包括病灶的目标区域的中心位置在所述设备坐标系中的第二设备坐标信息包括：
确定所述第二设备坐标信息为所述第一设备坐标信息和所述第一位置关系信息之差。
6.根据权利要求1-5任意一项所述的目标区域的定位方法，所述通过摄像头采集包括与反应骨对应的皮肤表面区域的目标图像之前，该方法还包括：
预先根据核磁图像获取所述第一位置关系信息。
7.根据权利要求6所述的目标区域的定位方法，其中，所述预先根据核磁图像获取所述第一位置关系信息包括：
根据所述核磁图像确定所述目标区域的中心位置在核磁坐标系中的第一核磁坐标信息，以及所述反应骨的目标位置在核磁坐标系中的第二核磁坐标信息；
根据所述第二核磁坐标信息和所述核磁图像确定所述皮肤表面区域的中心位置在所述核磁坐标系中的第三核磁坐标信息；
根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息。
8.根据权利要求7所述的目标区域的定位方法，其中，所述根据所述第一核磁坐标信息和所述第三核磁坐标信息确定所述第一位置关系信息包括：
确定所述第一位置关系信息为所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；
或者，确定所述第一核磁坐标信息和所述第三核磁坐标信息之间的差值；确定所述第一位置关系信息为所述差值和第三转换关系之间的乘积；其中，所述第三转换关系为所述核磁坐标系和所述设备坐标系之间的转换关系。
9.一种电子设备，包括：
至少一个处理器；
存储器，所述存储器上存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-8任意一项所述的目标区域的定位方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-8任意一项所述的目标区域的定位方法。
CN202210234627.8A 2022-03-10 2022-03-10 目标区域的定位方法、电子设备、介质 Pending CN114638798A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210234627.8A CN114638798A (zh) 2022-03-10 2022-03-10 目标区域的定位方法、电子设备、介质
PCT/CN2023/074338 WO2023169108A1 (zh) 2022-03-10 2023-02-03 目标区域的定位方法、电子设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234627.8A CN114638798A (zh) 2022-03-10 2022-03-10 目标区域的定位方法、电子设备、介质

Publications (1)

Publication Number Publication Date
CN114638798A true CN114638798A (zh) 2022-06-17

Family

ID=81947625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234627.8A Pending CN114638798A (zh) 2022-03-10 2022-03-10 目标区域的定位方法、电子设备、介质

Country Status (2)

Country Link
CN (1) CN114638798A (zh)
WO (1) WO2023169108A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169108A1 (zh) * 2022-03-10 2023-09-14 重庆海扶医疗科技股份有限公司 目标区域的定位方法、电子设备、介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0015683D0 (en) * 2000-06-28 2000-08-16 Depuy Int Ltd Apparatus for positioning a surgical instrument
CN113041519A (zh) * 2019-12-27 2021-06-29 重庆海扶医疗科技股份有限公司 一种智能空间定位方法
CN112258494B (zh) * 2020-10-30 2021-10-22 北京柏惠维康科技有限公司 一种病灶位置确定方法、装置及电子设备
CN115089303A (zh) * 2021-05-10 2022-09-23 武汉联影智融医疗科技有限公司 机器人定位方法及系统
CN113274130A (zh) * 2021-05-14 2021-08-20 上海大学 用于光学手术导航系统的无标记手术注册方法
CN114638798A (zh) * 2022-03-10 2022-06-17 重庆海扶医疗科技股份有限公司 目标区域的定位方法、电子设备、介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169108A1 (zh) * 2022-03-10 2023-09-14 重庆海扶医疗科技股份有限公司 目标区域的定位方法、电子设备、介质

Also Published As

Publication number Publication date
WO2023169108A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
WO2021213508A1 (zh) 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
Hetherington et al. SLIDE: automatic spine level identification system using a deep convolutional neural network
CN109464196B (zh) 采用结构光影像配准的手术导航系统及配准信号采集方法
CN106340021B (zh) 血管提取方法
Varnavas et al. Fully automated 2D–3D registration and verification
US10268915B2 (en) Real-time collimation and ROI-filter positioning in X-ray imaging via automatic detection of the landmarks of interest
US20210374452A1 (en) Method and device for image processing, and elecrtonic equipment
CN110464462B (zh) 腹部外科介入手术的图像导航配准系统及相关装置
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
CN110123453B (zh) 一种基于无标记增强现实的手术导航系统
Nosrati et al. Simultaneous multi-structure segmentation and 3D nonrigid pose estimation in image-guided robotic surgery
WO2023169108A1 (zh) 目标区域的定位方法、电子设备、介质
CN112184720B (zh) 一种ct图像的内直肌和视神经分割方法及系统
US20160135776A1 (en) Method and system for intraoperative imaging of soft tissue in the dorsal cavity
CN113538533B (zh) 一种脊柱配准方法、装置、设备及计算机存储介质
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
CN113705807A (zh) 神经网络的训练装置及方法，消融布针规划装置及方法
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
CN112308764A (zh) 图像配准方法及装置
CN113693739B (zh) 肿瘤导航修正方法、装置及便携式荧光影像导航设备
CN117408908B (zh) 一种基于深度神经网络的术前与术中ct图像自动融合方法
CN115132357B (zh) 基于医学影像图预测目标疾病指标状态的装置
CN114399503B (zh) 医学图像处理方法、装置、终端及存储介质
CN116580820B (zh) 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination