CN109389590B - 结肠图像数据处理系统及方法 - Google Patents

结肠图像数据处理系统及方法 Download PDF

Info

Publication number
CN109389590B
CN109389590B CN201811142545.0A CN201811142545A CN109389590B CN 109389590 B CN109389590 B CN 109389590B CN 201811142545 A CN201811142545 A CN 201811142545A CN 109389590 B CN109389590 B CN 109389590B
Authority
CN
China
Prior art keywords
roi
region
virtual scene
interest
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811142545.0A
Other languages
English (en)
Other versions
CN109389590A (zh
Inventor
杨春山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Publication of CN109389590A publication Critical patent/CN109389590A/zh
Application granted granted Critical
Publication of CN109389590B publication Critical patent/CN109389590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种结肠图像数据的处理系统和方法。所述方法包括获取包含第一ROI的图像数据，所述第一ROI可以包括由多个体素表示的软组织，所述每个体素都对应一个体素值。基于所述图像数据可视化第一虚拟场景，所述第一虚拟场景显示至少部分所述第一ROI。至少部分所述第一ROI和虚拟目标在所述第一虚拟场景中执行碰撞检测。基于所述碰撞检测，确定至少部分所述第一ROI的反馈力。基于所述反馈力，确定所述多个体素中的至少一个体素对应的第二ROI，所述第二ROI与所述第一ROI中的软组织有关。

Description

结肠图像数据处理系统及方法
优先权声明
本申请要求2017年9月28日提交的申请号为PCT/CN2017/104120的国际申请的优先权，其全部内容以引用方式并入本申请中。
技术领域
本申请涉及结肠图像数据处理系统及方法，尤其涉及从医疗图像中确定感兴趣区域(ROI)的系统和方法。
背景技术
随着计算机科学和信息技术的发展，虚拟内窥镜技术广泛应用于临床检测。虚拟内窥镜技术可以根据扫描设备，例如CT、PET等生成的图像数据，重建关于目标的虚拟场景(也指真实感图像)。关于目标的虚拟场景可以帮助用户(例如：医生、技术人员等)识别目标与虚拟场景表现的其他组织或器官的差异。因此，本申请提供了提高虚拟场景的真实性的准确性的系统和方法。
发明内容
本申请的一个方面，披露了一种结肠图像数据处理方法。该方法可以包括一个或多个步骤。获取包含第一感兴趣区域ROI的图像数据，所述第一感兴趣区域ROI可以包括由多个体素表示的软组织，所述多个体素都对应一个体素值。第一虚拟场景可以基于图像数据进行可视化处理，所述第一虚拟场景显示至少部分所述第一感兴趣区域ROI。在所述第一虚拟场景中的第一感兴趣区域ROI和一个虚拟目标之间至少执行一次碰撞检测。根据所述碰撞检测，反馈力可以根据至少部分所述第一感兴趣区域ROI确定。与第二感兴趣区域ROI相关的至少一个体素可以基于反馈力确定，所述第二感兴趣区域ROI与所述第一感兴趣区域ROI中的软组织有关。
本申请的另一个方面，披露了一种结肠图像数据处理的系统。该系统可以包括至少一种存储介质、存储一组指令、至少一种处理器与至少一种存储介质通信，当执行指令集时，至少可以配置一个处理器来使系统：获得包含第一感兴趣区域ROI的图像数据，所述第一感兴趣区域ROI包括由多个体素所表示的软组织，所述的多个体素都对应一个体素值；基于所述图像数据可视化第一虚拟场景，所述第一虚拟场景显示至少部分所述第一感兴趣区域ROI；在所述第一虚拟场景中的第一感兴趣区域ROI和至少部分的第一虚拟目标之间执行碰撞检测；根据所述碰撞检测，确定至少部分所述第一感兴趣区域ROI的反馈力；基于所述反馈力确定与第二感兴趣区域ROI相关的至少一个体素，所述第二感兴趣区域ROI与所述第一感兴趣区域ROI中的软组织有关。
本申请的另一个方面，披露了一种结肠图像数据处理方法。该方法可以在至少一台机器上实现，每个机器至少有处理器和存储器。该方法可以包括以下一个或多个步骤。获取与感兴趣区域ROI相关的图像数据，所述感兴趣区域ROI可以包括由多个体素表示的结肠图像。基于所述图像数据显示第一虚拟场景，所述第一虚拟场景显示至少部分所述感兴趣区域ROI。所述第一虚拟场景可以由现实显示设备显示。与所述第一虚拟场景相关的用户交互信息可以通过交互设备获取。基于所述用户交互信息和图像数据生成第二虚拟场景。
因为采用了以上的技术方案，本发明具备以下的技术效果：
一、人体病变组织如息肉与周围正常组织的触感不同，如肿块型结节和溃疡浸润型结节与正常结肠内壁的触感是不一致的，同时不同组织的CT值也不同。本技术可以根据结肠图像中不同组织CT值不同，对不同组织进行碰撞检测并确定不同组织的反馈力，从而模拟不同组织的触感。
二、基于结肠的图像数据，使用体渲染技术渲染左右眼图像，绘制所述结肠的三维虚拟场景，基于用户与所述虚拟场景之间的交互行为，更新所述虚拟场景，从而提高场景真实性。并可以通过用户交互信息，实现虚拟场景的导航漫游，并实时更新所述虚拟场景。
附图说明
在此描述的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。其中的几个视图引用的数字表示类似的结构。
图1是根据本申请的一些实施例所示的结肠图像数据处理设备示意图。
图2是根据本申请的一些实施例所示的在虚拟现实(VR)场景中确定感兴趣区域(ROI)步骤流程图。
图3A-3B是根据本申请的一些实施例所示的弹簧-质点模型示意图。
图4是根据本申请的一些实施例所示的确定反馈力步骤流程图。
图5是根据本申请的一些实施例所示的确定息肉流程图。
图6是根据本申请的一些实施例所示的基于反馈力确定息肉示意图。
具体实施方式
下面的描述是为了帮助更好的理解图像处理。可以理解的是这并不是要限定本申请的披露范围。对于本领域的普通技术人员来讲，在本申请的指导下，一定数量的变化、变更和/或修改可以被扣除。诸如此类的变形，均在本申请的保护范围之内。
图1是根据本申请一些实施例所示的一种结肠图像数据处理设备100的示意图。结肠图像数据处理设备100包括获取模块102、预处理模块104、ROI确定模块106、模型构建模块108、虚拟场景生成模块110、反馈力确定模块112、更新模块114以及交互模块116。
获取模块102可以获取数据。在一些实施例中，获取模块102可以获取来自扫描仪、数据库、外部设备和/或交互设备中的数据。在一些实施例中，所述数据可以包括图像数据、指令等其中的一种或多种的组合。例如，所述图像数据可以通过X射线穿过物体时产生。
预处理模块104可以预处理图像数据。所述图像数据可以通过获取模块102从扫描仪(例如，计算机断层扫描仪)和/或数据库中获取。预处理操作可以包括初始定位、图像增强操作、图像降噪操作、图像平滑操作、归一化操作、图像分割操作等其中的一个或者多个的组合。预处理操作通过使用点操作、几何操作等其中的一种或几种的组合执行。所述点操作可以包括加法操作、减法运算、乘法计算、除法运算等。所述几何操作可以包括平移操作、缩放操作、旋转操作、失真校正操作等。在一些实施例中，所述预处理后的图像数据可以由ROI确定模块106、模型构建模块108、和/或虚拟场景生成模块110进一步处理。
ROI确定模块106可以确定一个或多个ROI。ROI可以是感兴趣目标显示在图像数据(例如，二维图像或者三维图像)中的区域。ROI通过图像数据中多个像素或体素来定义。在一些实施例中，所述目标可以是身体的一部分(例如，腹部)、特定的器官或组织(例如，结肠)、部分身体或器官的特定的组织(例如，息肉)等。在一些实施例中，ROI确定模块106可以确定第一ROI和第二ROI，所述第一ROI可以包括所述第二ROI。例如，所述第一ROI可以包括结肠，所述第二ROI可以包括结肠中的息肉。在一些实施例中，ROI确定模块106可以根据一个或多个反馈力和/或一个或多个初步确定的第二ROI来确定第二ROI。关于所述第二ROI的确定的更多描述参考本申请其它地方的描述。例如图2以及相关描述。在一些实施例中，确定的ROI可以由模型构建模块108和/或虚拟场景生成模块110进一步处理。
模型构建模块108可以根据与目标相关的ROI生成一个或多个模型。在一些实施例中，所述模型包括几何模型、物理模型等其中的一种或几种的组合。所述几何模型(也可以称为3D模型)表示与所述ROI或目标相关的几何特征，例如形状、大小、纹理、颜色、饱和度、对比度、亮度、灰度值等。所述物理模型表示与所述ROI或目标相关的物理特性，例如质量、惯性、弹性、粘弹性、应变-应力关系、变形、运动(例如，蠕变、反弹等)等其中的一种或几种的组合。在一些实施例中，所述几何模型和物理模型可以集成至同一个模型中。例如，所述物理模型可以集成至所述几何模型中。在一些实施例中，模型构建模块108可以确定模型的一个或多个参数。在一些实施例中，模型构建模块108确定的模型由虚拟场景生成模块110、反馈力确定模块112和/或更新模块114进一步处理。
虚拟场景生成模块110可以建立关于目标的虚拟场景，也可以称为可视化与所述目标物体对应的ROI的几何模型。所述虚拟场景可以表示现实中所述目标的特征信息。在一些实施例中，所述特征信息可以包括如本申请中描述的所述目标的几何信息(例如，颜色、纹理、形状等)、物理信息(例如，变形、运动等)等。在一些实施例中，虚拟场景生成模块110可以基于图像数据构建虚拟场景，例如，获取模块102所获得的图像数据，或者预处理模块104处理的图像数据等。在一些实施例中，虚拟场景生成模块110可以基于一个或多个模型(例如，模型构建模块108生成的几何模型)渲染虚拟场景。例如，虚拟场景生成模块110可以通过与目标对应的ROI的几何模型上执行一个或多个可视化操作来渲染一个或多个虚拟场景。虚拟场景生成模块110可以添加，例如，颜色、照度、纹理等至所述几何模型上。在一些实施例中，虚拟场景生成模块110确定的虚拟场景可以通过反馈力确定模块112和/或更新模块114进一步处理。
反馈力确定模块112可以基于模型构建模块108确定的物理模型确定反馈力。在一些实施例中，反馈力确定模块112可以在虚拟场景中的ROI与虚拟目标之间执行碰撞检测。在一些实施例中，反馈力确定模块112在虚拟场景中的ROI的一个或多个部分的和虚拟目标之间进行碰撞检测。并基于所述碰撞检测确定反馈力。在一些实施例中，所述虚拟目标可以是虚拟的手指、虚拟的手、虚拟的手臂、虚拟的腿、虚拟的脚等其中的一种或几种的组合。在一些实施例中，所述虚拟目标可以由真实物体通过交互设备来控制。在一些实施例中，所述真实物体可以是人体的一部分(例如，手指、手、胳膊、腿、脚等)。在一些实施例中，反馈力确定模块112可以确定一个或多个碰撞参数。所述碰撞参数可以包括碰撞的方向、碰撞力、碰撞速度、碰撞位置等。反馈力确定模块112通过执行碰撞检测确定虚拟场景中是否发生碰撞。在一些实施例中，所述碰撞检测可通过交互设备(例如，反馈力装置)在虚拟场景中对ROI施加应力来执行。所述力反馈装置可以是手镯、眼镜、手套或其他智能可穿戴设备，包括头盔、手表、衣服、背包、装备、智能配件等其中的一种或多种的组合。力反馈装置也可以是虚拟现实(VR)设备，例如虚拟现实头盔、虚拟性现实眼镜、虚拟现实补丁、增强现实头盔等。在一些实施例中，所述交互设备(例如，手套)可以产生虚拟接触力，所述反馈力确定模块112可以基于所述交互设备产生的虚拟接触力，向所述虚拟场景中的ROI相关的物理模型施加所述虚拟接触力，即在虚拟场景中交互设备150与ROI发生碰撞，虚拟场景中表示的ROI会发生变形和/或产生反馈力。与ROI相关的物理模型由于碰撞而发生变形。反馈力确定模块112可基于变形的物理模型和一个或多个碰撞参数确定反馈力。不同组织在相虚拟接触力的作用下，形变不同，因此产生反馈力不同。组织越柔软，形变越大，反馈力越大。交互设备可以基于不同反馈力产生不同的用户感知。因此用户可以基于感知(例如，触觉)确定不同组织的特性。例如，包含更多脂肪和/或血液的息肉组织的触感更柔软，而结节的触感相对于正常结肠组织不柔软。在一些实施例中，由反馈力确定模块112确定的反馈力由更新模块114、交互模块116和/或虚拟场景生成模块110进一步处理。。
更新模块114可以更新由结肠图像数据处理设备100生成的数据。在一些实施例中，所述数据包括ROI确定模块106确定的ROI、模型构建模块108确定的模型、虚拟场景生成模块110建立的虚拟场景等。例如，更新模块114基于反馈力确定模块112的反馈力更新ROI确定模块106确定的ROI。又例如，更新模块114在ROI发生碰撞时更新虚拟场景生成模块110构建的虚拟场景，以在虚拟场景中表示ROI的变形。
交互模块116可以促进用户或操作人员和结肠图像数据处理设备100之间的信息和/或数据交换。在一些实施例中，所述信息和/或数据可以包括用户行为信息、结肠图像数据处理设备100生成的数据(例如，虚拟场景生成模块110构建的虚拟场景)。在一些实施例中，所述用户行为信息包括声音、情绪、表情、动作(例如，眼镜或头部的旋转、手势等)。在一些实施例中，交互设备所检测到的用户行为通过交互模块116转换为用户交互信息和/或进一步传输至结肠图像数据处理设备100。在一些实施例中，交互模块116通过外部设备/或交互设备显示结肠图像数据处理设备100所产生的数据。在一些实施例中，结肠图像数据处理设备100生成的数据包括ROI确定模块106确定的ROI、反馈力确定模块112确定的反馈力、模型构建模块108确定的模型、虚拟场景生成模块110构建的虚拟场景等。
图2是根据本申请的一些实施例所示的虚拟场景(VR)中确定感兴趣区域(ROI)的流程图。
在201中，可以获取图像数据。步骤101可以由获取模块102执行。在一些实施例中，所述图像数据可以从扫描仪、数据库或外部数据源获得。在一些实施例中，所述图像数据包括2D图像数据、2D图像、3D图像数据、3D图像、4D图像数据、4D图像等其中的一个或者多个组合。例如，所述图像数据可以是3D的CT图像数据或3D的CT图像。又例如，所述图像数据包括一系列的二维断层图像。需要注意的是，所述图像具有相应的图像数据。例如，2D图像可以有相应的2D图像数据。又例如，3D图像有相应的3D图像数据。又例如，4D图像有相应的4D图像数据。在一些实施例中，图像数据包括扫描数据，例如与目标相关的投影数据。
在202中，可以预处理所述图像数据。步骤202由预处理模块104执行。在一些实施例中，所述预处理步骤可以包括一个或多个操作，例如，初始定位、增强操作、归一化操作、几何变形、插值运算、降噪操作、形态操作、图像平滑等其中的一种或几种的组合，通过初始定位，基于图像数据确定感兴趣区域(ROI)。在一些实施例中，所述初始定位可以包括确定(或提取)图像数据中表示的目标中心线。所述中心线穿过目标的中心。在一些实施例中，所述中心线在各个方向远离物体表面。在一些实施例中，所述初始定位可以是自动的、半自动的、手动等或其中的一种或几种的组合。例如，根据一个或多个路径提取算法自动确定中心线，如拓扑变薄算法、距离映射算法等。所述增强操作可以增强与图像数据相关图像中的特定区域(例如，ROI)。所述增强操作包括对数转换、伽马转换、直方图均衡化、伪色增强、过滤、梯度操作等其中的一种或几种的组合。所述归一化操作确定图像的一个或多个常量参数，以消除其他变换作用。所述归一化操作包括最小值缩放、Z值标准化等其中的一种或几种的组合。所述几何变换改变图像中的一个或多个像素的位置，例如图像转换、图像旋转、图像剪切、图像缩放、图像镜像等。所述插值操作可以在图像中添加一个或多个像素，比如最近邻插值、双线性插值、双三次插值、分形插值等。
在一些实施例中，所述降噪操作可以使用一个或多个滤波器，包括空间域滤波器、变换域滤波器、形态学噪声滤波器等其中的一种或几种的组合。空间域过滤器可以包括场平均过滤器、中值滤波器、高斯滤波器等其中的一种或几种的组合。变换域滤波器可用于执行傅里叶变换、沃尔什哈达德变换、余弦变换、K-L变换、小波变换等其中的一种或几种的组合。形态学噪声滤波器可用于执行膨胀操作、腐蚀操作、开闭操作、闭合操作、击中或不击中变换操作或等其中的一种或几种的组合。在一些实施例中，可以采用微分方程或变分法来进行降噪操作。偏微分方程可以包括Perona方程、Malik方程等其中的一种或几种的组合。根据图像中不同区域的形态，可以对图像进行形态操作，例如侵蚀操作、膨胀操作、开操作、闭操作等。图像平滑操作平滑图像的亮度和/或减少亮度的变化梯度。
在一些实施例中，所述预处理操作可以包括图像分割。所述图像分割可以基于分割技术从图像数据中提取感兴趣区域(ROI)或者将图像数据划分为感兴趣区域(ROI)和不感兴趣兴趣区域。例如，在息肉的检测中，ROI包括至少部分的结肠。不感兴趣区域可以是结肠的肠道残留物。在一些实施例中，不感兴趣的区域被识别并从图像中去除(也被称为“电子清肠”)。所述分割技术包括基于区域的分割、基于边缘的分割、小波变换分割、数学形态学分割、基于人工神经网络的分割、基于遗传算法的分段分割等其中的一种或几种的组合。基于区域的分割包括阈值分割算法、聚类分析分割算法、区域增长分割算法等其中的一种或几种的组合。阈值分割算法包括全局阈值算法(例如，P-量化算法、迭代算法、凹直方图分析法、最大类间方差法、模糊集算法、二维熵阈值算法、直方图阈值技术、松弛算法等)、局部阈值算法、多阈值算法(例如，基于小波的多阈值算法、基于边界的递归多阈值算法等)等其中的一种或几种的组合。聚类分析分割算法包括K-均值算法、模糊C-均值聚类(FCM)算法等。数学形态学分割基于海森点增强模型、海森线增强模型、多尺度高斯模板匹配模型、多尺度形态学过滤模型等。基于边缘的分割是基于微分运算符(例如，Rober算子、Sobel算子、Prewitt算子、Log算子、Canny算子等)、基于表面的拟合、基于边界和表面的拟合、连续边界搜索等其中的一种或几种的组合。
在204中，可以确定第一ROI。步骤204由ROI确定模块106执行。所述第一ROI基于分割技术从图像数据中识别。在一些实施例中，所述图像数据是202中的预处理图像数据。
在一些实施例中，所述第一ROI是图像数据中表示的第一目标对应的区域。在一些实施例中，所述第一物体包括身体的一部分，例如头部、腹部、胸腔或任何其他部位，例如食道、气管、支气管、胃、胆囊、小肠、大肠、膀胱、输尿管、子宫或其他任何器官或组织。在一些实施例中，所述第一ROI是二维(2D)ROI。例如，图像数据包括与所述第一目标(例如，结肠)相关的多个二维断层图像，所述多个二维断层图像中某一图像的所述第一目标可以是第一ROI。第一ROI在所述多个二维断层图像中的每一个图像中被确定。因此，关于所述第一目标的多个第一ROI可被确定。在一些实施例中，第一ROI可以是一个三维(3D)ROI。例如，图像数据包括与所述第一目标相关的3D图像。在所述3D图像中表示的所述第一目标(例如，结肠)可以是第一ROI。
在一些实施例中，所述第一ROI从所述第一ROI周围邻近的区域识别和/或提取。在一些实施例中，所述第一ROI周围的区域可以从图像数据中删除。例如，所述第一ROI周围的区域可以有多个像素或体素。每个像素或体素都对应一个灰度值。进一步地，通过设置第一ROI周围区域内的体素或像素的灰度值为0来消除所述第一ROI的周围区域。在一些实施例中，提取与第一ROI相关的特征信息。所述特征信息包括第一ROI内的体素或像素的灰度值、第一ROI内的体素或像素灰度值的平均值、第一ROI的纹理、第一ROI内的像素或体素的颜色信息等。在一些实施例中，所述第一ROI根据本申请其他地方披露的分割技术来确定。
在206中，可以预确定第二ROI。步骤206由ROI确定模块106来执行。第二ROI是图像数据中表示的第二个目标对应的区域。在一些实施例中，第二目标包括头部特定的器官或组织、腹部、胸腔或身体任何其他部位，例如食道、气管、支气管、胃、胆囊、小肠、大肠、膀胱、输尿管、子宫、子宫管或其他任何器官。在一些实施例中，第二目标包括特定器官中的特定组织，例如肿瘤、结节、囊肿、息肉、钙化组织、损伤组织等。在一些实施例中，第一ROI包括第二ROI。例如，第一ROI包括结肠，第二ROI包括结肠中的息肉。
在一些实施例中，在确定第二ROI之前，第二ROI被识别和/或从第一ROI中提取出来。例如，确定第二ROI的轮廓，而轮廓包括第二ROI。在一些实施例中，第二ROI预确定通过自动、半自动、手动或其中的一种或几种组合的方法执行。例如，用户使用外部设备140(例如，鼠标)手动绘制第二ROI的轮廓线。又例如，第二ROI根据边缘检测算法或分割技术来确定。用户使用外部设备140(例如，鼠标)手动修改或调整第二ROI。又例如，第二ROI可以像本申请其他地方披露的那样，基于分割技术预确定。分割技术可以提高第二ROI和第一ROI其他部分之间的差别，不包括第二ROI。在一些实施例中，第二ROI可以是二维(2D)ROI。例如，图像数据包括与第二目标相关的二维区域图像。代表大多数二维平面图像的第二目标(例如，息肉)可以是第二ROI。第二ROI是在每个二维区域图像的多样性中预先确定的。因此，对于第二目标，其多样性可以预先确定。在一些实施例中，第二ROI是一个三维(3D)ROI。例如，图像数据包括与第二目标相关的3D图像。第二目标(例如，息肉)表示的3D图像是第二ROI。
在208中，可以根据所述图像数据(例如，在201步骤中获得的图像数据，202步骤中预处理后的图像数据等)生成至少一个模型。在一些实施例中，可以基于所述第一ROI生成所述至少一个模型。步骤208由模型构建模块108执行。在一些实施例中，所述至少一个模型是如申请中披露的几何模型、物理模型等或其中的一种或多种的组合。在一些实施例中，与所述图像数据(或第一ROI)相关的几何模型基于3D重建技术生成。3D重建技术包括一种表面重建技术、体积重建技术等其中的一种或几种的组合。表面重建技术用来确定与所述第一ROI相关的第一目标的表面。表面重建技术包括轮廓线重建技术、基于表面的重建技术、基于体素的表面重建技术等。轮廓线重建技术用于提取不同的二维断层图像中表示的第一ROI的一个或多个轮廓线，插值所述轮廓线以绘制所述第一目标的轮廓面。基于体素的表面重建技术可以根据第一ROI(例如，3D ROI)内的体素重构轮廓表面。基于表面的重建技术可用于重建所述第一目标的轮廓面。在对所述第一目标的轮廓面进行重建时，一个或多个三角形或多边形可用于填补不同二维断层图像中的所述轮廓线之间的空隙。利用卷重建技术，虚拟光线穿越在不同的二维断层图像中的第一ROI。然后，分析虚拟光线穿过的一个或多个像素，并确定由虚拟光线穿过的多个像素的集成信息。体积重建技术包括射线/追踪法、雪球法、剪切变形法等。
所述物理模型包括弹簧-质点模型、有限元模型、边界元模型等其中的一种或几种的组合。在弹簧-质点模型中，所述图像数据(例如，第一ROI)被定义为一组质点。两个相邻的质点通过弹簧连接。弹簧有弹性系数。根据弹性系数，确定所述第一ROI或第二ROI的形变。在有限元模型中，所述第一ROI和/或第二ROI可以使用一组弹性模型来定义。根据弹性模型的形变，确定所述第一ROI或第二ROI的形变。在边界元模型中，所述第一ROI或第二ROI的形变根据所述第一ROI或第二ROI的表面结构特征信息来确定，例如所述第一ROI或第二ROI表面体素的灰度值。在一些实施例中，所述物理模型可用于确定反馈力。例如，当对所述第一ROI的一部分施加压力时，一个或多个像素或体素所表示的关于该部分的位置会发生改变并产生形变。根据与所述第一ROI相对应的物理模型确定所述形变和反馈力。在一些实施例中，所述特征信息与行为信息之间的关系(例如，灰度值与反馈力之间的关系)基于所述物理模型确定。
在一些实施例中，所述几何模型和物理模型可以集成至一个单一模型中。例如，所述几何模型由许多网格表示。所述网格包括一系列节点。在一些实施例中，一个或多个节点被定义为一个质点。两个或多个相邻的质点通过一个或多个弹簧连接。在一些实施例中，所述节点为特征点。所述特征点包括与所述第一ROI或第二ROI相关的一个或多个与体素。在一些实施例中，当从模型中移除一个特征点时，模型的结构、形状和/或大小会随之发生改变。
在210中，可视化包含所述第一ROI的虚拟场景。步骤210由虚拟场景生成模块110执行。包含所述第一ROI的虚拟场景也可称作第一虚拟场景。在一些实施例中，基于在208中生成的至少一个模型来执行一个或多个视觉渲染操作。所述一个或多个视觉渲染操作生成虚拟场景，所述虚拟场景包括逼真的图像、声音和其他模拟真实环境的感觉。在一些实施例中，视觉渲染操作包括视觉转换、颜色操作、光线操作、动画效果操作、纹理映射操作等其中的一种或几种的组合。例如，颜色操作根据所述第一ROI的特征(例如，像素或者体素的颜色)信息来对所述至少一个模型进行着色。又例如，纹理映射操作提取所述第一ROI的纹理，并基于纹理映射算法将纹理映射到模型(例如，步骤208中生成的模型)。在一些实施例中，纹理映射算法包括宾氏算法、两步纹理映射算法、线性插值映射纹理算法等其中的一种或几种的组合。
在一些实施例中，所述虚拟场景基于渲染算法来表示。所述渲染算法包括射线跟踪/投射算法等。利用所述射线跟踪/投射算法，可以发射光束从图像数据中每个像素穿过所述图像数据，沿着固定的方向，(通常沿着视线方向)获得与每个像素相对应的颜色信息，并根据光的吸收模型，累积光束上的像素或体素的颜色值。累积的颜色值可以是渲染的虚拟场景颜色。利用射线跟踪/投射算法，从每个像素处发射光束。光束沿着直线传播，并与虚拟场景中的每个像素相交。光的传播路径、光的颜色和/或光的强度根据相应的像素或体素的特征信息来改变。此外，一个或更多的光束聚集形成虚拟场景。
在212中，可以根据碰撞检测确定反馈力。步骤212由反馈力确定模块112执行。通过碰撞检测，确定208中生成的模型是否被施加压力。根据模型与虚拟目标之间的碰撞确定反馈力。所述虚拟目标包括交互设备。交互设备包括一个或多个智能可穿戴设备，如手镯、眼镜、手套150-3或其他智能可穿戴设备，包括头盔、手表、衣服、背包、装备、智能配件等其中的一种或多种的组合。在一些实施例中，交互设备包括虚拟现实(VR)设备。VR设备包括虚拟现实头盔、虚拟性现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁等其中的一种或多种的组合。例如，虚拟现实设备和/或现实增强设备包括Google Glass、Oculus Rift、Hololens、Gear VR等。在一些实施例中，交互设备可以是力反馈装置，所述力反馈装置可以执行碰撞检测。例如，所述力反馈装置可以产生虚拟接触力，并向目标(例如，感兴趣区域)施加所述接触力。所述力反馈装置可以进一步接收目标产生的反馈力，并将所述反馈力转化成用户感知。例如，所述力反馈装置可以是手镯、眼镜、手套或其他智能可穿戴设备，包括头盔、手表、衣服、背包、装备、智能配件等其中的一种或多种的组合。又例如，力反馈装置可以是虚拟现实(VR)设备，例如虚拟现实头盔、虚拟性现实眼镜、虚拟现实补丁、增强现实头盔等。所述力反馈装置可以包括一个或多个传感器，例如触觉传感器、力觉传感器、位移传感器、角度传感器等。在一些实施例中，所述一个或多个传感器(例如，力觉传感器、位移传感器、角度传感器等)可以获取用户行为(例如，运动)。在一些实施例中，所述一个或多个传感器(例如，触觉传感器)可以基于获取所述反馈力，并将所述反馈力转化成用户感知(例如，触觉)。基于碰撞检测算法执行所述碰撞检测，所述碰撞检测算法包括层次包围盒算法、空间剖分算法等。利用分级边界卷算法，虚拟目标(例如，第二ROI)通过几何结构限定，并根据虚拟目标的特征信息(例如，灰度值)建立分层的层次树。该算法的分级边界体积算法可以包括AABB边界体积算法、球面边界体积算法、OBB边界体积算法、K-dop边界体积算法等。利用空间分割算法，210中渲染的虚拟场景被分割成多个具有相同容量的单元，并在相同单元或相邻单元的虚拟目标(例如，第二ROI)上执行交互测试。空间分割算法包括四树算法、八叉树算法、k-d算法、BP算法等。
在一些实施例中，所述反馈力根据208中产生的至少一个模型(例如，弹簧-质点模型)的形变来确定。所述反馈力与至少一个节点的按压深度有关。在一些实施例中，按压深度越深，反馈力越大。在一些实施例中，所述反馈力通过力反馈装置(例如，交互设备或外部设备)获得。用户通过力反馈装置感知所述反馈力。
在214中，获取用户交互信息。步骤214由交互模块116执行。在一些实施例中，所述交互信息由用户生成或者由外部设备和/或交互设备采集。例如，所述交互信息包括用户部分身体的运动数据，比如手、头、眼睛、脖子等。又例如，所述交互信息包括用户通过外部设备和/或交互设备的输入的数据。在一些实施例中，所述输入的数据包括文本、声音、图像等。
在一些实施例中，所述交互信息与虚拟场景中的虚拟导航有关。在虚拟导航中，虚拟摄像机(也可称为视点)在虚拟场景中沿着路线(例如，虚拟场景的中心线)移动。在一些实施例中，虚拟导航可以自动执行。例如，虚拟摄像机根据预先设定的路线和与虚拟导航相关的预定参数自动移动。所述预定的路线根据所述虚拟场景的中心线来确定。所述与虚拟导航相关的参数包括视点的方向、视图的角度、视线的位置等。在一些实施例中，虚拟导航可以是半自动执行的。例如，虚拟摄像机沿着虚拟场景的中心线移动，用户可以控制与虚拟导航相关的参数来改变虚拟摄像机的运动，例如运动的方向、虚拟摄像机的位置等其中的一种或几种的组合。在一些实施例中，虚拟导航根据人与虚拟摄像机的交互而进行。例如，虚拟摄像机通过交互信息来控制，例如眼睛、手或头部的移动。
在216中，可以根据用户交互信息更新虚拟场景。步骤206由更新模块114执行。在一些实施例中，210中渲染的虚拟场景(即第一虚拟场景)表示所述第一ROI。所述第一ROI对应的不同部分以相同分辨率在虚拟场景中表示。第一ROI的一个或多个部分可以通过更新所述虚拟场景更清晰的表示出来。在一些实施例中，虚拟场景中的至少一部分形状会发生改变。例如，向所述虚拟场景中的ROI(例如，第二ROI)施加虚拟压力。压力使所述ROI变形。所述虚拟场景根据所述变形更新。基于虚拟场景中的至少部分形变获取的更新后的虚拟场景(即第一虚拟场景)也可以称作第二虚拟场景。当释放所述ROI与虚拟目标之间的虚拟压力时，形变的虚拟场景可以恢复。在一些实施例中，当释放所述ROI和虚拟目标之间的碰撞时，虚拟场景重新被可视化(或更新)。
在一些实施例中，虚拟场景的更新基于虚拟导航来实现。在虚拟导航过程中，虚拟摄像机从路线的起始点移动到路线的终点。在虚拟场景中，靠近虚拟摄像机的区域采用高分辨率表示。远离虚拟摄像机的区域采用低分辨率表示。虚拟场景根据虚拟摄像机的位置进行更新。在一些实施例中，感兴趣目标(例如，第二ROI)在虚拟摄像机的视野范围内，虚拟场景被更新来清晰地表示所述感兴趣目标，例如扩展所述虚拟场景。在一些实施例中，基于用户交互信息(例如，虚拟导航)获取更新后的虚拟场景也可以称作是第三虚拟场景。
在218中，可以根据反馈力来确定第二ROI。步骤218由ROI确定模块106执行。在一些实施例中，与所述第二ROI对应的第二目标基于所述反馈力和预确定的第二ROI生成。在一些实施例中，第二目标可以是不正常的组织或病理组织。相对于不同的第二目标，反馈力不同。第二目标越柔软，反馈力越大。例如，若所述反馈力大于正常结肠组织的反馈力，所述第二目标确定为息肉。又例如，若所述反馈力比正常的结肠组织的反馈力小，所述第二目标确定为结节。
在一些实施例中，所述反馈力被传送到交互设备(例如，力反馈装置)。反馈力被进一步处理，并通过虚拟现实设备转化为感觉信号。在一些实施例中，所述感觉信号帮助用户或操作人员确定与所述第二ROI对应的第二目标。例如，包括更多脂肪和/或血液的息肉组织的触感更柔软，而结节的触感相对于正常结肠组织不那么柔软。又例如，增生性结肠息肉比正常的结肠组织更柔软。在一些实施例中，反馈力和不同的第二目标(例如，息肉、结节、肿瘤等)之间的关系模型基于机器学习技术生成。进一步地，所述第二ROI基于所述关系模型确定。例如，提取与第二目标相关的特征信息(例如，形状、大小、润湿性、结构等)，并获得与所述第二目标相对应的反馈力。进一步地，根据机器学习技术，利用与第二目标相关的特征信息和相应的反馈力生成所述关系模型。
图3A-3B是根据本申请的一些实施例所示的弹簧-质点模型示意图。如图所示，目标(例如，软组织)的弹簧-质点模型是正六边形结构。所述弹簧-质点模型包括具有相同中心(例如，质点n0)的多个层(例如，第一层、第二层)，质点n0是受力点，质点n0发生碰撞。所述多层对应所述目标的一系列的同心层。弹簧-质点模型的每一层有许多质点。两个相邻的质点通过一个或多个弹簧连接。每一层的质点和弹簧的数量可以是不同的。第m层质点的数量可以是600万，弹簧的数量可以是6(2m-1)。如果在第一层的质点n0上施加作用力，质点n0可以从初始位置移动。连接质点n0和第二层的质点的弹簧随着质点n0的运动而发生形变。一些弹簧会收缩，而一些弹簧会拉伸。第二层的质点沿着弹簧收缩或拉伸方向移动。进一步地，质点n0上施加的作用力通过弹簧被传送至不同层上的其他质点，并且弹簧-质点模型会发生形变。弹簧-质点模型的变形等效为目标表面的形变。随着弹簧-质点模型的变形，产生反馈力。质点产生的反馈力等效于每层上弹簧弹力的合力。例如，当压力作用于质点n0时，质点n0发生移动并离开初始位置。当模型处于平衡状态时，质点n0的位置转变为质点n0′的位置。当处于质点n0′的位置时，根据力平衡关系确定由第一层质点产生的反馈力，如公式1所示：
Figure BDA0001816115140000151
其中，fT0表示质点n0的切向力，fN0表示质量点n0的法向力，KN0表示与质点n0相连的弹簧的弹性系数。ΔZ0表示质点n0法向位移，也可表示质量点n0按压深度，θ0表示在水平方向上连接变形质量点n0和n1的直线倾斜角度。
对第i层来说，通过公式2确定正切方向的反馈力
Figure BDA0001816115140000152
通过公式3确定法向方向的反馈力
Figure BDA0001816115140000153
Figure BDA0001816115140000154
表示正切力，
Figure BDA0001816115140000155
表示法向力，
Figure BDA0001816115140000156
表示与质点ni相连的弹簧的弹性系数，ΔZi表示质点ni法向位移，也可表示质点ni的按压深度，θi表示变形质点ni和ni-1在水平方向上连接线的倾斜角度。
当m＝i时，根据公式(1)和公式(3)，第一层到第i层的质点在质点no处产生的反馈力F通过如下公式表示：
Figure BDA0001816115140000157
进一步地，
Figure BDA0001816115140000158
在一些实施例中，按压深度与第i层上弹簧的法向形变有关。根据公式(5)，反馈力F由每个质点的按压深度ΔZi确定。
图4是根据本申请的一些实施例所示确定反馈力的流程图。
在402中，可以生成与ROI相关的物理模型。步骤402由模型构建模块108执行。在一些实施例中，所述模型包括本申请在其他地方披露的物理模型。所述物理模型根据与ROI相关的器官或组织的生物力学特性确定。所述生物力学特性包括弹性、粘弹性等。由于器官或组织的弹性或粘弹性，在对器官或组织施加压力的情况下，产生一个或多个具有特征(例如，滞后、松弛、蠕变、各向异性、非线性应力-应变等)的物理行为。对于不同的器官或组织，弹性和/或粘弹性可以不同。所述物理模型表示与不同的器官或组织对应的不同的物理特征(例如，反馈力、变形等)。在一些实施例中，所述物理模型和几何模型被集成至单一模型中。例如，与所述ROI相关的几何模型根据本申请披露的3D重建技术构建。所述几何模型由一个或多个质点定义。两个相邻的质点与一个或多个弹簧连接形成物理模型。在一些实施例中，所述物理模型根据所述几何模型确定，但是与所述几何模型各自独立。例如，一个或多个与物理模型相关的参数(例如，弹性参数、质量点等)根据几何模型中的体素的特征(例如，灰度值、体素数量等)确定。然后，根据与物理模型相关的参数生成所述物理模型。
在404中，可以获取碰撞信息。步骤404由反馈力确定模块112来执行。在一些实施例中，如果通过交互设备对虚拟场景(例如，210中的虚拟场景)中ROI施加压力，就会发生碰撞。碰撞信息包括一个或多个关于压力的参数。所述参数包括压力值、压力方向、施加压力的速度、承受压力的位置等。压力相关的参数由用户或操作员预先确定。
在406中，可以执行碰撞检测。步骤406由反馈力确定模块112来执行。在一些实施例中，碰撞检测确定在所述ROI与虚拟目标间是否发生碰撞。在一些实施例中，所述虚拟目标通过交互设备控制。在一些实施例中，所述碰撞检测根据本申请图2中披露的一个或多个碰撞检测算法来执行。
在408中，可以根据碰撞检测和物理模型确定反馈力。在一些实施例中，步骤408由反馈力确定模块112来执行。在一些实施例中，步骤408由反馈力确定模块112执行。在一些实施例中，所述反馈力根据图3中的相关描述确定。
在410中，可以输出所述反馈力。步骤410由交互模块116执行。在一些实施例中，所述反馈力被输出至力反馈装置。在一些实施例中，所述反馈力被输出至其他的触觉设备中，例如，智能手套。在一些实施例中，输出的反馈力进一步处理。例如，力反馈装置将所述反馈力转换为感觉信号，以便用户可以感知所述反馈力。在一些实施例中，所述反馈力被传送至ROI确定模块106以根据步骤218相关描述确定ROI。
图5是根据本申请的一些实施例所示确定息肉的流程图。
在502中，获取图像数据，所述图像数据包括结肠图像。在一些实施例中，步骤502由获取单元来执行。在一些实施例中，所述图像数据根据所述步骤获取。所述结肠图像包括由多个像素/体素表示的结肠。
在504中，从图像数据中分割结肠图像。在一些实施例中，步骤504由预处理模块104或者ROI确定模块106来执行。在一些实施例中，根据本申请披露的一个或多个分割技术对所述结肠图像进行分割。所述结肠图像的分割包括从所述结肠周围的其他组织或器官，如小肠、肝组织、胃、或结肠周围的血管等增强、识别、分类和/或提取结肠。
在506中，可以对一个或多个结肠进行预先分割。步骤506由ROI确定模块106来执行。在一些实施例中，504中确定的结肠包括一个或多个息肉。在一些实施例中，所述息肉通过手动、自动、半自动等其中的一种或几种的组合进行预先分割。例如，用户或操作人员使用外部设备(例如：鼠标)手动绘制息肉的轮廓线。又例如，息肉根据一个或多个分割技术自动进行预先分割。进一步地，用户或操作人员确定息肉轮廓线上或周围的一个或多个点，并且根据这些点来进行插值操作，形成息肉的轮廓线。
在508中，可以重建关于结肠的3D模型。步骤508由模型构建模块108执行。在一些实施例中，所述3D模型可以是几何模型或者是本申请其他地方披露的几何模型和物理模型的组合模型。
根据本申请中披露的一个或多个3D重建技术确定结肠相关的3D模型。例如，根据体积重建技术重建所述3D模型。体积重建技术利用射线穿过与所述结肠有关得3D图像数据中的每一个体素，获得所述射线上的体素的多个颜色值，并且基于体素透明度组合所述多个颜色值以确定集成的颜色值。根据与多射线相对应的多个集成颜色值重建结肠的3D模型。在一些实施例中，体积重建技术重建第一(例如，左眼)视图和/或第二(例如，右眼)视图的3D模型。在一些实施例中，第一视图和第二视图可以同时重建。例如，在重建3D模型的过程中，如果射线源位于第二只眼睛的位置，光线就可以从第二只眼睛位置发射。3D模型在第二视图中进行重建。如果射线源位于第一只眼睛，光线可以从第一只眼睛位置发射。3D模型基于第一视图进行重建。第一视图中的3D模型和第二视图中的3D模型可以相互结合来达到较好的3D效果。
在510中，可以通过508中重建的3D模型可视化与所述结肠有关的虚拟场景。步骤510由虚拟场景生成模块110执行。在一些实施例中，结肠的虚拟场景包括真实的图像、声音、动作以及模拟真实环境中结肠的其他感受。在一些实施例中，3D模型的渲染可以使用本申请披露的一个或多个视觉渲染操作实现。例如，在3D模型上执行动画效果操作。动画效果操作体现呼吸引起的结肠的波动。
在512中，可以根据508中重建的3D模型提取结肠图像中结肠的中心线。在一些实施例中，步骤512由预处理模块104或模型构建模块108执行。所述中心线穿过结肠(或者是结肠的3D模型)的中心。所述中心线包括许多目标点。目标点在不同方向上远离结肠表面(或者结肠3D模型)。所述中心线通过虚拟场景中的导航提取出来。在一些实施例中，所述中心线根据本申请披露的一个或多个中心线提取算法提取。例如，通过距离映射算法，确定3D模型中每个体素与所述3D模型的边界之间的最短距离。一个或多个目标点根据所述最短距离确定。例如，在不同方向上距离所述3D模型边界最短距离的体素点作为目标点。所述中心线通过连接目标点确定。
在514中，可以基于512中提取的中心线获取用户交互信息。步骤514由交互模块116执行。在一些实施例中，所述用户交互信息包括用户或操作人员身体或身体某部位的运动，例如头部或眼睛的转动、手势等。在一些实施例中，所述用户交互信息用于指导虚拟场景中的导航。例如，眼睛的运动可以与虚拟场景中虚拟摄像机的运动相关。在一些实施例中，所述虚拟摄像机基于512所确定的中心线移动。所述用户交互信息可用于控制虚拟摄像机沿中心线或中心线附近移动。
在516中，可以基于514所获取的用户交互信息更新虚拟场景。在一些实施例中，步骤516由更新模块114或虚拟场景生成模块110执行。在一些实施例中，所述用户交互信息(例如，用户眼睛的转动)控制虚拟摄像机在虚拟场景中的位置。靠近虚拟摄像机的区域在虚拟场景中以高分辨率显示，而远离虚拟摄像机的区域以低分辨率显示。虚拟场景根据虚拟摄像机的位置进行更新，以显示不同的区域。在一些实施例中，用户通过外部设备和/或交互设备输入或选择ROI(例如，506中预分割的息肉)，并更新虚拟场景中以高分辨率显示的所述ROI。
在518中，可以根据更新的虚拟场景确定息肉。步骤518由ROI确定模块106来执行。在一些实施例中，用户或操作人员可能无法确定506中从图像数据中预分割的息肉属性(例如，炎性、扩散性等)。虚拟摄像机沿着所述中心线移动到包括506中预分割的息肉区域。此后，更新虚拟场景以高分辨率显示预先分割的息肉。用户可以进一步识别更新的虚拟场景中显示的息肉。
图6是根据本申请的一些实施例所示的根据反馈力确定息肉的流程图。
在602中，可以获取与结肠图像相关的图像数据。步骤602由获取模块102执行。在一些实施例中，所述图像数据根据本申请其他地方的描述获取。所述结肠图像包括由所述图像数据中的多个像素或体素表示的结肠。
在604中，可以基于所述图像数据分割息肉。步骤604由ROI确定模块106来执行。在一些实施例中，所述息肉根据本申请披露的一个或多个分割技术进行分割。
在606中，可以根据所述结肠生成至少包括一个节点的软组织模型。步骤606由模型构建模块108执行。在一些实施例中，所述软组织模型可以是物理模型(例如，图3所示的弹簧-质点模型)或图2所描述的物理模型和几何模型的组合。例如，基于所述图像数据生构建关于结肠的几何模型。进一步地，根据几何模型生成物理模型和/或将物理模型集成至与所述结肠相关的几何模型中。在一些实施例中，根据结肠的生物力学特性(例如，弹性、粘弹性等)构建所述软组织模型。根据结肠的生物力学特性确定所述软组织模型的一个或多个参数。例如，所述软组织模型可以是图3所述的弹簧-质点模型。所述软组织模型包括一个或多个质点。相邻两质点之间通过一个或多个弹簧连接。结肠越柔软，弹簧的弹性系数越大。
所述软组织模型表示结肠结构信息和/或结肠的物理特性。例如，所述软组织模型表示结肠的3D结构信息，例如形状、大小、质地、颜色等其中的一种或几种的组合。又例如，所述软组织模型表示结肠的力学特性，如变形、运动、质量等。根据本申请披露的一个或多个3D重建技术构建结肠的几何模型。在一些实施例中，所述软组织模型包括第一模型和/或第二模型。所述第一模型包括用于重建软组织(例如，ROI)的结构信息。所述第二模型与所述软组织的一个或多个部分(例如，ROI)有关。在一些实施例中，所述第二模型可以是所述软组织的一个或多个力学模型。所述第二模型包括一个或多个节点。
在608中，可以生成虚拟场景。步骤608由虚拟场景生成模块110执行。在一些实施例中，基于602中获得的关于结肠的图像数据，通过一个或多个本申请披露的体积重建技术构建所述虚拟场景。在一些实施例中，基于606中生成的软组织模型(例如，几何模型)构建虚拟场景。例如，如果所述软组织模型包括几何模型和物理模型的组合模型，那么所述虚拟场景可以通过本申请披露的一个或多个视觉渲染操作表示出来。
在610中，可以确定是否检测到碰撞。步骤610可以是由反馈力确定模块112执行。如果检测到碰撞，步骤500继续执行步骤612。如果没有检测到碰撞，步骤500重新执行步骤610或暂停直到检测到碰撞。在一些实施例中，碰撞根据本申请披露的一个或多个碰撞检测算法进行检测。在一些实施例中，如果对606中的软组织模型施加压力，就会发生碰撞。压力可以是虚拟的压力，例如用户或操作人员通过外部设备(例如，键盘)预设的或输入的压力值和/或压力位置。在一些实施例中，用户通过对交互设备(例如，压力传感装置)施加压力，所述压力转换为电信号并传送给反馈力确定模块112。电信号应用于所述软组织模型，这等同于对所述软组织模型施加压力。
在612中，可以确定与软组织模型节点对应的按压深度。步骤612由反馈力确定模块112来执行。在一些实施例中，对所述软组织模型的节点施加压力。按压深度指在压力的法向方向上的节点位移，例如，质点n0到n0′的位移。节点的法向位移根据与节点连接的弹簧形变来确定。
在614中，可以根据612中确定的按压深度确定软组织模型的形变程度。步骤614由反馈力确定模块112来执行。在一些实施例中，软组织模型的形变根据所述软组织模型的按压深度(也称为法向位移)确定。在一些实施例中，所述软组织模型中不同位置的节点有不同的法向位移。
在616中，可以更新至少一个节点。步骤616由更新模块114执行。节点的法向位移导致所述软组织模型中节点位置的变化。节点位置根据612中确定的压陷深度和/或614中确定的软组织模型的形变来更新。例如，软组织模型包括图3所示的包括一个或多个质点和弹簧的弹簧-质点模型。节点也可称为质点。如果在弹簧-质点模型上施加作用力，弹簧-质点模型发生形变。不同质点对应的位置更新。在一些实施例中，一个或多个节点从所述软组织模型中移除。当对所述软组织模型施加压力时，移除的节点对所述软组织模型的形变没有影响。例如，一个或多个质点(例如，远离质点-弹簧模型的质点)可以从弹簧-质点模型中移除。
在618中，可以根据与节点对应的按压深度确定反馈力。步骤618由反馈力确定模块112执行。在一些实施例中，所述反馈力与节点对应的按压深度有关。按压深度越大，反馈力越大。在一些实施例中，所述反馈力由方程(5)确定。
在620中，可以输出所述反馈力。步骤620由交互模块116执行。在一些实施例中，所述反馈力由交互单元(例如力反馈装置)进一步处理。例如，交互设备处理和/或将反馈力转换成感觉信号。
在622中，可以根据反馈力确定604中分割的息肉。步骤622由反馈力确定模块112执行。在一些实施例中，输出的反馈力被转换成用户的感觉信号。例如，息肉比结肠更柔软。用户根据感觉信号确定604中分割的息肉是真的息肉还是其他组织，例如结肠。在一些实施例中，输出的反馈力用来识别反馈力和不同组织或器官之间的关系。当其他条件(例如，压力、施加作用力的速度、作用力方向等)相同时，不同组织或器官的反馈力可以不同。
以上描述了基本概念，对于本领域的技术人员而言明显的是，在阅读本申请详细披露后，前述详细披露旨在通过举例来表示而并非限制。尽管在此没有明确地指出，本领域普通技术人员可以想到并且能够做出各种变更、改进和修正。这些变更、改进和修正旨在由本申请来建议，并且落入本申请的示例性实施例的精神和范围。
综上，应该理解的是，上面公开的申请实施例仅说明本申请实施例的原理。可以采用的其他修正可以落入本申请的范围。因此，通过举例但非限制的方式，根据本文的教导，可使用本申请实施例的可选配置。因此，本申请实施例并非被限制为精确地所示和所述的。

Claims (9)

1.一种结肠图像数据处理方法，包括：
获取包含第一感兴趣区域ROI的图像数据，所述第一感兴趣区域ROI包括由多个体素表示的软组织，每个体素具有体素值；
基于所述图像数据可视化第一虚拟场景，所述第一虚拟场景显示至少部分的所述第一感兴趣区域ROI；
在所述第一虚拟场景中的至少部分的所述第一感兴趣区域ROI和虚拟目标之间执行碰撞检测；
基于所述碰撞检测结果，确定所述至少部分的第一感兴趣区域ROI产生的反馈力；
基于所述反馈力，确定所述多个体素中的至少一个体素对应的第二感兴趣区域ROI，所述第二感兴趣区域ROI与所述第一感兴趣区域ROI中的软组织有关；
基于所述反馈力、反馈力与不同物体特征信息的关系模型和所述第二感兴趣区域ROI生成与所述第二感兴趣区域ROI对应的第二目标；以及
使交互设备将反馈力转换为感觉信号，该感觉信号帮助用户确定所述第二目标是不正常的组织或病理组织。
2.根据权利要求1所述的方法，其特征在于，所述可视化第一虚拟场景进一步包括：
确定第一模型，所述第一模型包括用于重建至少部分的所述图像数据的结构信息，所述至少部分的图像数据包括所述至少部分的第一感兴趣区域ROI；以及
基于所述第一模型和所述图像数据构建所述第一虚拟场景。
3.根据权利要求2所述的方法，其特征在于，所述可视化第一虚拟场景进一步包括：
在第一视图中确定与所述第一感兴趣区域ROI相关的第一图像，在第二视图中确定与所述第一感兴趣区域ROI相关的第二图像；以及
基于所述第一图像和所述第二图像，显示所述第一虚拟场景。
4.根据权利要求1所述的方法，其特征在于，所述基于所述碰撞检测结果，确定所述至少部分的第一感兴趣区域ROI产生的反馈力进一步包括：
确定与所述第一感兴趣区域ROI相关的第二模型，所述第二模型包括所述软组织的力学模型，所述第二模型包括多个节点；
基于所述第二模型，确定由第一虚拟目标引起的所述至少部分的第一感兴趣区域ROI的按压深度以及
基于所述按压深度以及与所述至少部分的第一感兴趣区域ROI相关的体素值确定所述反馈力。
5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：
基于所述按压深度和所述第二模型确定至少部分所述第一感兴趣区域ROI的形变；
更新所述第二模型中的多个节点中至少一个节点；以及
基于所述更新的多个节点渲染第二虚拟场景，所述第二虚拟场景显示变形的所述至少部分的第一感兴趣区域ROI。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
从交互设备中获取与所述第一虚拟场景相关的用户交互信息；以及
基于所述用户交互信息和所述图像数据构建第三虚拟场景。
7.一种结肠图像数据处理方法，包括：
获取包含感兴趣区域ROI的图像数据，所述感兴趣区域ROI包括多个体素表示的结肠图像；
根据所述图像数据构建第一虚拟场景，所述第一虚拟场景显示至少部分的所述感兴趣区域ROI；
通过真实显示设备显示所述第一虚拟场景，所述第一虚拟场景显示至少部分的第一感兴趣区域ROI；
在所述第一虚拟场景中的至少部分的第一感兴趣区域ROI和虚拟目标之间执行碰撞检测；
基于所述碰撞检测结果，确定所述至少部分的第一感兴趣区域ROI产生的反馈力；
从交互设备中获取与所述第一虚拟场景相关的用户交互信息；
基于所述用户交互信息和所述图像数据构建第二虚拟场景；
根据反馈力来确定第二感兴趣区域ROI，
基于所述反馈力、反馈力与不同物体特征信息的关系模型和第二感兴趣区域ROI生成与所述第二感兴趣区域ROI对应的第二目标；以及
使交互设备将反馈力转换为感觉信号，该感觉信号帮助用户确定所述第二目标是不正常的组织或病理组织。
8.根据权利要求7所述的方法，其特征在于，所述真实显示设备包括头戴显示器HMD的至少一部分、手持设备或智能玻璃。
9.一种结肠图像数据处理系统，包括：
至少一种存储介质的一组指令；以及
至少一种处理器与至少一种存储介质通信，其特征在于，当执行一组指令时，配置所述至少一个处理器使装置执行如权利要求1-8任一项所述的方法。
CN201811142545.0A 2017-09-28 2018-09-28 结肠图像数据处理系统及方法 Active CN109389590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2017/104120 WO2019061202A1 (en) 2017-09-28 2017-09-28 SYSTEM AND METHOD FOR PROCESSING COLON IMAGE DATA
CNPCT/CN2017/104120 2017-09-28

Publications (2)

Publication Number Publication Date
CN109389590A CN109389590A (zh) 2019-02-26
CN109389590B true CN109389590B (zh) 2022-02-08

Family

ID=65418362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811142545.0A Active CN109389590B (zh) 2017-09-28 2018-09-28 结肠图像数据处理系统及方法

Country Status (3)

Country Link
US (2) US11216948B2 (zh)
CN (1) CN109389590B (zh)
WO (1) WO2019061202A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094576A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 운동 보조 장치
JP2020525127A (ja) 2017-06-26 2020-08-27 ザ・リサーチ・ファウンデーション・フォー・ザ・ステイト・ユニヴァーシティ・オブ・ニューヨーク 仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体
EP3852023A4 (en) * 2018-09-13 2022-06-08 Kyoto University MACHINE LEARNING DEVICE, INFERENCE DEVICE, LEARNED PROGRAM AND MODEL
CN109410318B (zh) * 2018-09-30 2020-09-08 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
EP3683765A1 (en) * 2019-01-18 2020-07-22 Koninklijke Philips N.V. System for determining a tissue-specific property
KR102174794B1 (ko) * 2019-01-31 2020-11-05 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
CN110021016B (zh) * 2019-04-01 2020-12-18 数坤（北京）网络科技有限公司 一种钙化检测方法
ES2938687T3 (es) * 2019-04-03 2023-04-13 Mecwins S A Procedimiento de detección óptica de biomarcadores
CN114945950A (zh) * 2020-01-06 2022-08-26 Oppo广东移动通信有限公司 仿真真实世界场景中变形的计算机实现方法、电子装置及计算机可读存储介质
CN111429589B (zh) * 2020-03-11 2023-09-19 上海嘉奥信息科技发展有限公司 基于二维视图进行三维空间划分的方法及系统
CN111489360A (zh) * 2020-03-18 2020-08-04 上海商汤智能科技有限公司 一种图像分割方法及相关设备
CN113129314B (zh) * 2021-04-01 2022-08-02 上海市第一人民医院 一种针对肺部阴影智能图像处理方法
CN113786239B (zh) * 2021-08-26 2023-08-01 哈尔滨工业大学（深圳） 胃部消化道下手术器械追踪和实时预警的方法和系统
CN116561935B (zh) * 2023-07-11 2023-10-03 成都信息工程大学 一种基于体弹簧和多尺度体积不变的软组织形变模拟方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007019546A2 (en) * 2005-08-08 2007-02-15 Old Dominion University System, device, and methods for simulating surgical wound debridements

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
WO2006042077A2 (en) * 2004-10-09 2006-04-20 Viatronix Incorporated Sampling medical images for virtual histology
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
CN103106348A (zh) * 2013-03-08 2013-05-15 上海交通大学医学院附属第九人民医院 虚拟外科手术模拟方法及其装置
CN103943017B (zh) * 2014-03-22 2016-08-17 北京航空航天大学 一种带有力反馈的虚拟腹腔镜手术模拟器及其制作方法
EP3191264A4 (en) * 2014-09-12 2018-04-25 University of Washington Integration of auxiliary sensors with point cloud-based haptic rendering and virtual fixtures
CN105303605B (zh) * 2015-10-26 2017-10-13 哈尔滨理工大学 一种基于力反馈的骨外科手术仿真系统
CN106890024A (zh) * 2016-12-29 2017-06-27 李岩 一种肝脏肿瘤热消融手术的术前辅助装置
CN107080586B (zh) * 2017-03-24 2019-05-21 南京信息工程大学 虚拟手术中用于软组织实时形变的交叉弹簧模型

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007019546A2 (en) * 2005-08-08 2007-02-15 Old Dominion University System, device, and methods for simulating surgical wound debridements

Also Published As

Publication number Publication date
WO2019061202A1 (en) 2019-04-04
US11216948B2 (en) 2022-01-04
US20220122263A1 (en) 2022-04-21
CN109389590A (zh) 2019-02-26
US20190096064A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN109389590B (zh) 结肠图像数据处理系统及方法
US7450749B2 (en) Image processing method for interacting with a 3-D surface represented in a 3-D image
Zeng et al. Supine and prone colon registration using quasi-conformal mapping
CN109584349B (zh) 用于渲染材料属性的方法和设备
US7825924B2 (en) Image processing method and computer readable medium for image processing
CN109389669A (zh) 虚拟环境中人体三维模型构建方法及系统
US20060078194A1 (en) Image processing system for automatic adaptation of a 3-d mesh model onto a 3-d surface of an object
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
JP4837036B2 (ja) デジタル化された医用画像内の身体とは異なる構造物の識別方法およびコンピュータ可読プログラム記憶装置
US7668349B2 (en) Three-dimensional segmentation using deformable surfaces
CN115496864B (zh) 模型构建方法、重建方法、装置、电子设备及存储介质
Mazier et al. A rigged model of the breast for preoperative surgical planning
WO2022060230A1 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
JP4668289B2 (ja) 画像処理装置および方法並びにプログラム
JP2016209399A (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN111652876B (zh) 一种三维盆底超声图像的检测方法
Rhee et al. Scan-based volume animation driven by locally adaptive articulated registrations
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN107170009B (zh) 一种基于医学图像的护目镜基弯数据测量方法
CN112381825B (zh) 用于病灶区图像几何特征提取的方法和相关产品
CN116964629A (zh) 用于使用深度神经网络来推断二维医学图像中的感兴趣的对象类的厚度的系统和方法
JP2018149055A (ja) 超音波画像処理装置
JP5954846B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
Jeong et al. Depth estimation of endoscopy using sim-to-real transfer
US20240023925A1 (en) Systems and methods for fetus monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant