CN115546240A - 电子设备及器官轮廓获取方法 - Google Patents

Abstract

本发明是关于一种电子设备及器官轮廓获取方法，涉及医学显示技术领域，本发明包括：响应用户触发的选择指令，确定选择指令选择的目标器官的目标三维图像数据；其中，目标三维图像数据形成的三维图像与目标器官中可通过摄像头直接拍摄的部分相匹配；针对每个投影角度，根据投影角度，将目标三维图像数据渲染在预设的渲染窗口上，得到渲染窗口上的投影图像；根据渲染窗口上的投影图像，确定投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的目标器官进行标定。由于本发明能够通过三维图像得到任何角度的二维图像，再进行轮廓提取，从而能够更加准确对目标器官的标定，提高了标定的准确率。

Description

电子设备及器官轮廓获取方法

技术领域

本发明涉及医学显示技术领域，尤其涉及一种电子设备及器官轮廓获取方法。

背景技术

在手术导航中，需要将目标器官的模型和通过深入人体内的摄像头拍摄的目标器官进行配准，并进行显示，从而利用术前重建的血管、病灶用于标记出视频中实际的血管和病灶位置。

例如：肝脏手术，腹腔镜，也就是深入人体内的摄像头，拍摄时需要变焦，因此无法实时获取当前的相机内参，从而无法获得像素点的深度信息，并且肝脏表面非常光滑，没有太明显的标记点，导致无法获取相机的深度信息，从而通过摄像头拍摄的肝脏并非是3D(3-dimension，三维)图像，从而只能通过摄像头拍摄的二维图像和目标器官的二维模型进行匹配。

现有的方式中，通过CT图像采集目标器官，用CT图像构建目标器官的二维模型，由于CT图像拍摄角度有限制，从而在与通过摄像头拍摄的器官进行匹配时，导致目标器官的二维模型与通过摄像头拍摄的器官匹配不精准，降低对后续目标器官的标定的准确度。

发明内容

本发明提供一种电子设备及器官轮廓获取方法，通过三维图像得到任何角度的二维图像，再进行轮廓提取，从而能够找到更加匹配的轮廓对目标器官的标定，提高了标定的准确率。

第一方面，本发明实施例提供的一种电子设备，包括：接收单元和处理器；

所述接收单元，用于接收用户触发的选择指令；

所述处理器，用于响应用户触发的选择指令，确定所述选择指令选择的目标器官的目标三维图像数据；其中，所述目标三维图像数据形成的三维图像与所述目标器官中可通过摄像头直接拍摄的部分相匹配；

针对每个投影角度，根据所述投影角度，将所述目标三维图像数据渲染在预设的渲染窗口上，得到所述渲染窗口上的投影图像；

根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的所述目标器官进行标定。

上述电子设备，在用户选择目标器官后，确定与目标器官中可通过摄像头直接拍摄的部分相匹配的目标三维图像数据，然后按照多个投影角度，将目标三维图像数据渲染在渲染窗口上，得到投影图像，从而得到对应的目标器官的轮廓，实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的目标器官进行标定，本发明从目标器官的三维图像中可以得到任何角度的二维图像，使得其轮廓与通过摄像头拍摄到的目标器官匹配时，能够找到匹配更加准确的轮廓，实现对目标器官的标定，从而提高了标定的准确率。

在一种可能的实现方式中，所述处理器，具体用于：

从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，其中，所述目标器官的三维图像数据是根据多个包含所述目标器官的二维医学影像得到的。

由于人体内器官和器官叠在一起，导致摄像头进行拍摄时会拍摄不到完整的器官，考虑到此种情况，上述电子设备，从多个二维医学影像构建的三维图像数据中，将目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据去除，剩余的三维图像数据组成的三维图像与通过摄像头直接拍摄到的部位相匹配，提高了匹配的准确率。

在一种可能的实现方式中，所述处理器，具体用于：

根据所述目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，所述目标轴方向是根据所述目标器官中无法通过摄像头直接拍摄到的部位确定的；所述临界值是代表所述目标器官中无法通过摄像头直接拍摄到的部位到，所述目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将所述目标轴方向上的图像数据大于所述临界值的所述目标器官的三维图像数据，作为所述目标器官的目标三维图像数据。

上述电子设备，提供了一种获取目标三维图像数据的方式，能够通过目标轴方向的图像数据找到，代表目标器官中无法通过摄像头直接拍摄到的部位到目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值，从而根据这个值找到目标器官中可通过摄像头直接拍摄到的部位。

在一种可能的实现方式中，所述处理器，具体用于：

根据所述目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

在摄像头拍摄目标器官时，由于需要进入人体拍摄，所以，并不能够拍摄到所有角度的目标器官，基于此，上述电子设备，能够根据目标器官的拍摄角度范围、以及每个轴方向上预设的移步长，确定多个投影角度，这样避免设定有摄像头拍摄不到的投影角度，从而增加工作量。

在一种可能的实现方式中，所述处理器，具体用于：

对所述渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的初始轮廓；

对所述投影角度对应的目标器官的初始轮廓进行下采样处理，得到所述投影角度对应的目标器官的轮廓。

上述电子设备，能够将投影图像进行二值化处理，并根据二值化处理后的投影图像，确定投影角度对应的目标器官的初始轮廓，并对目标器官的初始轮廓进行下采样处理，能够减少后续进行匹配时算法复杂度。

第二方面，本发明实施例提供的一种器官轮廓获取方法，包括：

响应用户触发的选择指令，确定所述选择指令选择的目标器官的目标三维图像数据；其中，所述目标三维图像数据形成的三维图像与所述目标器官中可通过摄像头直接拍摄的部分相匹配；

针对每个投影角度，根据所述投影角度，将所述目标三维图像数据渲染在预设的渲染窗口上，得到所述渲染窗口上的投影图像；

根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的所述目标器官进行标定。

在一种可能的实现方式中，确定所述选择指令选择的目标器官的目标三维图像数据，包括：

从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，其中，所述目标器官的三维图像数据是根据多个包含所述目标器官的二维医学影像得到的。

在一种可能的实现方式中，从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，包括：

根据所述目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，所述目标轴方向是根据所述目标器官中无法通过摄像头直接拍摄到的部位确定的；所述临界值是代表所述目标器官中无法通过摄像头直接拍摄到的部位到所述目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将所述目标轴方向上的图像数据大于所述临界值的所述目标器官的三维图像数据，作为所述目标器官的目标三维图像数据。

在一种可能的实现方式中，通过以下方式确定多个投影角度：

根据所述目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

在一种可能的实现方式中，根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，包括：

对所述渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的初始轮廓；

对所述投影角度对应的目标器官的初始轮廓进行下采样处理，得到所述投影角度对应的目标器官的轮廓。

第三方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第二方面所述的器官轮廓获取方法的步骤。

另外，第二方面至第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。

图1是本发明实施例提供的一种术前标定的场景示意图；

图2是本发明实施例提供的一种电子设备的结构图；

图3是本发明实施例提供的一种器官轮廓获取方法的流程图；

图4A是本发明实施例提供的一种肝脏的三维图像的示意图；

图4B是本发明实施例提供的另一种肝脏的三维图像的示意图；

图5是本发明实施例提供的一种投影角度1对应的轮廓提取过程的示意图；

图6是本发明实施例提供的一种投影角度2对应的轮廓提取过程的示意图；

图7是本发明实施例提供的一种mitk的开源软件平台的显示界面的示意图。

具体实施方式

为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

本发明提出的摄像头为能够拍摄到人体内的器官的拍照装置。

在手术导航中，需要将目标器官的模型和通过深入人体内的摄像头拍摄的目标器官进行配准，并进显示，从而标记出视频中实际的血管和病灶位置。

结合图1所示，医生选择对患者动手术的目标器官，通过术前拍摄的多个CT(Computed Tomography，计算机体层摄影)图像，构建目标器官的三维图像，得到三维图像数据。

由于人体内器官和器官叠在一起，导致摄像头进行拍摄时会拍摄不到完整的器官，考虑到此种情况，从目标器官的三维图像数据中，获取与目标器官中可通过摄像头直接拍摄的部分匹配的目标三维图像数据，然后针对不同的投影角度，将目标三维图像数据渲染在预设的渲染窗口上，得到渲染窗口上的投影图像，根据渲染窗口上的投影图像，确定投影角度对应的目标器官的轮廓。

将得到的多个投影角度对应的轮廓与通过摄像头拍摄到的目标器官进行匹配，得到通过摄像头拍摄到的目标器官最佳匹配的轮廓，三角形代表需要标定的点，通过轮廓计算三角形的位置，从而能够实现对目标器官的三角形的位置进行手术。

示例性的，首先介绍本发明实施例提供的电子设备，图2示出了电子设备的结构示意图。

下面以电子设备为例对实施例进行具体说明。应该理解的是，图2所示电子设备仅是一个范例，并且电子设备可以具有比图2中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

图2中示例性示出了根据示例性实施例中电子设备的硬件配置框图。如图2所示，电子设备包括：包括：射频(Radio Frequency，RF)电路210、电源220、处理器230、存储器240、输入单元250、显示单元260、通信接口270、以及无线保真(Wireless Fidelity，Wi-Fi)模块280等部件。本领域技术人员可以理解，图2中示出的电子设备的结构并不构成对终端的限定，本申请实施例提供的电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

所述RF电路210可用于通信过程中，数据的接收和发送。特别地，所述RF电路210在接收到基站的下行数据后，发送给所述处理器230处理；另外，将待发送的上行数据发送给基站。通常，所述RF电路210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

此外，RF电路210还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

Wi-Fi技术属于短距离无线传输技术，电子设备通过Wi-Fi模块280可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述Wi-Fi模块280可用于通信过程中，数据的接收和发送。

电子设备可以通过所述通信接口270与其他设备实现物理连接。可选的，所述通信接口270与所述其他设备的通信接口通过电缆连接，实现电子设备和其他设备之间的数据传输。其他设备例如摄像头，能够将摄像头采集的器官的图像输入到电子设备中进行显示。

电子设备可以通过通信接口270、或Wi-Fi模块280、或RF电路210接收摄像头发送的器官的图像，使得电子设备进行匹配，并显示，如图1中右侧图。

由于在本申请实施例中，电子设备能够实现通信业务，向其他联系人发送信息，因此电子设备需要具有数据传输功能，即电子设备内部需要包含通信模块。虽然图2示出了所述RF电路210、所述Wi-Fi模块280、和所述通信接口270等通信模块，但是可以理解的是，电子设备中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。

所述存储器240可用于存储软件程序以及模块。所述处理器230通过运行存储在所述存储器240的软件程序以及模块，从而执行重建设备的各种功能应用以及数据处理，并且当处理器230执行存储器240中的程序代码后，可以实现本发明实施例图3中的部分或全部过程。

可选的，所述存储器240可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。

此外，所述存储器240可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述输入单元250可用于接收用户输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键信号输入。

可选的，输入单元250可包括触控面板251以及其他输入终端252。

其中，所述触控面板251，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板251上或在所述触控面板251附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板251可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器230，并能接收所述处理器230发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板251。

可选的，所述其他输入终端252可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

所述显示单元260可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种菜单。所述显示单元260即为电子设备的显示系统，用于呈现界面，实现人机交互。

所述显示单元260可以包括显示面板261。可选的，所述显示面板261可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。

进一步的，所述触控面板251可覆盖所述显示面板261，当所述触控面板251检测到在其上或附近的触摸操作后，传送给所述处理器230以确定触摸事件的类型，随后所述处理器230根据触摸事件的类型在所述显示面板261上提供相应的视觉输出。

虽然在图2中，所述触控面板251与所述显示面板261是作为两个独立的部件来实现电子设备的输入和输入功能，但是在某些实施例中，可以将所述触控面板251与所述显示面板261集成而实现电子设备的输入和输出功能。

所述处理器230是电子设备的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器240内的软件程序和/或模块，以及调用存储在所述存储器240内的数据，执行电子设备的各种功能和处理数据，从而实现基于所述电子设备的多种业务。

可选的，所述处理器230可包括一个或多个处理单元。可选的，所述处理器230可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器230中。

电子设备还包括用于给各个部件供电的电源220(比如电池)。可选的，所述电源220可以通过电源管理系统与所述处理器230逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

以下结合附图说明本发明的技术方案。

结合图3所示，本发明实施例提供了一种器官轮廓获取方法，应用于上述介绍的电子设备，包括：

S300：响应用户触发的选择指令，确定选择指令选择的目标器官的目标三维图像数据；其中，目标三维图像数据形成的三维图像与目标器官中可通过摄像头直接拍摄的部分相匹配；

S301：针对每个投影角度，根据投影角度，将目标三维图像数据渲染在预设的渲染窗口上，得到渲染窗口上的投影图像；

S301：根据渲染窗口上的投影图像，确定投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的目标器官进行标定。

上述实施例中，由于在摄像头拍摄目标器官时，需要进入人体内的拍摄，同时人体内的器官相互叠放，导致通过摄像头可能并不能够拍摄到所有角度的目标器官，所以本发明实施例获取与目标器官中可通过摄像头直接拍摄的部分相匹配的目标器官的目标三维图像数据，避免没有拍到的部分也进行轮廓匹配，导致匹配失败，本发明能够提高之后轮廓匹配的成功率。同时，本发明采用三维图像在渲染窗口渲染的方式，由于在渲染窗口上可以调整三维图像投影的任意角度，使得渲染窗口上能够显示三维图像的任意一个面，得到任意一个面的目标器官的投影图像，即二维图像，然后根据该二维图像求取对应的轮廓，这样可以根据多种投影角度对应的轮廓与通过摄像头拍摄到的目标器官匹配时，能够找到匹配更加准确的轮廓，实现对目标器官的标定，从而提高了标定的准确率。

其中，确定选择指令选择的目标器官的目标三维图像数据，包括：

从目标器官的三维图像数据中，去除目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的目标器官的三维图像数据作为目标器官的目标三维图像数据，其中，目标器官的三维图像数据是根据多个包含目标器官的二维医学影像得到的。

具体来说，是先拍摄目标器官的二维医学影像，例如CT图像，然后根据该CT图像创建目标器官的三维图像，得到目标器官的三维图像数据。然后从目标器官的三维图像数据中，去除目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，即去除目标器官中被其他器官遮挡而导致无法通过摄像头直接拍摄到的部位对应的三维图像数据，这样使得剩余的目标器官的三维图像数据形成的三维图像，与目标器官中可通过摄像头直接拍摄的部分相匹配，从而提高了后期轮廓匹配的准确率。

以拍摄肝脏为例，肝脏的后半部分是被内壁覆盖，从而使得摄像头拍摄肝脏时，无法获取到肝脏中被内壁覆盖的地方。根据CT图像创建肝脏的三维图像，其中，该三维图像数据是根据进行CT图像的扫描方向确定的坐标系下的三维图像数据，该CT图像的扫描方向为三维图像数据的三个轴方向，即从图片的左侧到右侧的方向为X轴方向，从图片的下面到上面的方向为Z轴方向，从图片的内侧到外侧的方向为Y轴方向。在Y轴方向上肝脏的后面是被内壁覆盖的地方，将被内壁覆盖的后半部分剔除，剩下的前半部分的肝脏对应的三维图像数据作为目标三维图像数据，结合图4A和图4B所示，白色部分为未被内部遮挡的肝脏部分，即能够通过摄像头直接拍摄到的部分，曲线包围的肝脏部分为被内壁遮挡的部分，即无法通过摄像头直接拍摄到的部分。

进一步的，根据目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，目标轴方向是根据目标器官中无法通过摄像头直接拍摄到的部位确定的；临界值是代表目标器官中无法通过摄像头直接拍摄到的部位到，目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将目标轴方向上的图像数据大于临界值的目标器官的三维图像数据，作为目标器官的目标三维图像数据。

其中，包含临界值的三维图像数据是临界部分对应的三维图像数据，临界值是根据目标轴方向上的图像数据计算得到的。

以肝脏为例，由于在Y轴方向上肝脏的后面是被内壁覆盖的地方，为肝脏中无法通过摄像头直接拍摄到的部位，也就是说y比较小的地方是被内壁覆盖的地方，y比较大的地方是未被内壁覆盖的地方。

将Y轴方向作为目标轴方向，三维图像数据均为(x，y，z)表示，Y轴方向上的图像数据为y的值，根据所有的y的值，确定临界值，该临界值可以为所有y的值的平均值，则三维图像数据中所有包含这个临界值的三维图像数据形成的部分为临界部分，即肝脏中无法通过摄像头直接拍摄到的部位到肝脏中可通过摄像头直接拍摄到的部位，该所有y的值的平均值为代表这个部分的一个值。然后将小于所有y的值的平均值的肝脏的三维图像数据，为被内壁覆盖的地方对应的三维图像数据，无法通过摄像头直接拍摄到的部位对应的三维图像数据，去除掉。将大于所有y的值的平均值的肝脏的三维图像数据，为未被内壁覆盖的地方对应的三维图像数据，通过摄像头直接拍摄到的部位对应的三维图像数据，作为肝脏的目标三维图像数据。

由于摄像头在人体内拍摄目标器官，并非是目标器官的所有角度均能拍摄到，例如，拍摄肝脏时，肝脏的下面就不能拍摄到，所以，在获取不同投影角度的轮廓时，无需将拍摄不到的地方的角度进行提取轮廓，对此，本发明实施例提出了通过以下方式确定多个投影角度：

根据目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

其中，设定不同的投影角度，就像用户旋转三维图像，从而显示不同面的三维图像，得到三维图像的投影图像。即按照不同的投影角度，将目标三维图像数据渲染在渲染窗口上，使得渲染窗口上显示不同面的三维图像。

以肝脏为例，在腹腔镜手术视频中，腹腔镜在X轴方向的旋转幅度不会超过60°，在Y轴方向上的旋转幅度不会超过120°，在Z轴方向上的旋转角度不会超过60°，也就是说，X轴、Y轴、Z轴方向的旋转幅度最大为60°、120°、60°。基于腹腔镜的视频角度都是仰视肝脏，所有X轴的旋转范围设置为[-60°,0°]，Y轴的旋转范围为[-60°,60°]，Z轴的旋转范围为[-60°,60°]。X轴、Y轴、Z轴方向上预设移动步长，例如，X轴、Y轴、Z轴的预设移动步长分别为5°、5°、5°。投影角度例如X轴方向为-5°、Y轴方向为0°、Z轴方向为0°。然后根据设定的投影角度，将目标三维图像数据渲染到渲染窗口上，得到对应的投影图像，并根据对应的投影图像得到对应的轮廓。

完成该投影角度对应的轮廓后，X轴方向不变，Y轴方向不变，Z轴方向增加5°，确定对应的轮廓，依次类推，按照Z轴预先设定的移动步长，确定Z轴范围内的[-60°,60°]的全部轮廓，在确定完成后，X轴方向不变，Y轴方向增加5°，Z轴方向为0°，求取对应的轮廓，依次类推，按照Y轴预先设定的移动步长，确定Y轴范围内的[-60°,60°]的全部轮廓。按照上述的规律，确定X轴的旋转范围设置为[-60°,0°]，Y轴的旋转范围为[-60°,60°]，Z轴的旋转范围为[-60°,60°]的所有投影角度对应的轮廓。

进一步的，由于三维图像数据的颜色为彩色，所以将三维图像的RGB图像转换成灰度图，为后续对渲染窗口上的投影图像进行二值化处理做准备。

对于求取轮廓的方式，包括：对渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的渲染窗口上的投影图像，确定投影角度对应的目标器官的初始轮廓；

对投影角度对应的目标器官的初始轮廓进行下采样处理，得到投影角度对应的目标器官的轮廓。

由于该投影图像为灰度图，则通过设定阈值例如，阈值为1，进行二值化处理，得到二值化后的投影图像，再利用OpenCv的findContour函数，获取投影图像中目标器官的初始轮廓。为减小后续算法复杂度，再采用Douglas Peuker算法对目标器官的初始轮廓进行下采样处理。Douglas Peuker算法使用点到边的距离差，该算法从粗略的简化开始，将原始折线的第一个和最后一个顶点连接在一起的单边。然后，计算所有中间顶点到该边的距离。距离该边最远且计算出的距离大于指定阈值的顶点将被标记为关键点并添加到简化顶点集合中。上述过程在所有的简化顶点集合中进行递归，直到原始折线的所有顶点到简化后的折线距离小于给定阈值，得到下采样后的轮廓。进行下采用处理后，可以减少轮廓中的点的数量，从而在进行轮廓匹配时，减少计算量。

如图5所示，按照X轴方向为-5°、Y轴方向为0°、Z轴方向为0°的投影角度1，根据该投影角度1，将肝脏的目标三维图像数据渲染到渲染窗口上，然后将投影图像进行二值化处理，得到二值化图像，即黑白的图像，然后通过OpenCv的findContour函数，获取投影图像中肝脏的初始轮廓。

然后对初始轮廓进行下采样处理，得到点数比较少的轮廓，该轮廓为投影角度1对应的轮廓。

如图6所示，按照X轴方向为-10°、Y轴方向为10°、Z轴方向为0°的投影角度2，根据该投影角度2，将肝脏的目标三维图像数据渲染到渲染窗口上，然后将投影图像进行二值化处理，得到二值化图像，即黑白的图像，然后通过OpenCv的findContour函数，获取投影图像中肝脏的初始轮廓。

然后对初始轮廓进行下采样处理，得到点数比较少的轮廓，该轮廓为投影角度2对应的轮廓。

通过上述过程，可以得到所有拍摄范围内对应的投影角度对应的轮廓，例如，投影角度的个数为n，即得到投影角度n对应的轮廓。

这样可以将投影角度1对应的轮廓、投影角度2对应的轮廓、……、投影角度n对应的轮廓与通过摄像头拍摄的肝脏进行轮廓匹配，得到最匹配的轮廓，从而根据该最匹配的轮廓进行标定。

基于上述的介绍，本发明实施例提供了一种应用。可以根据预先存储的拍摄人体的CT图像构建人体内多个器官的三维图像。结合图7所示，采用Mitk的开源软件平台上显示，将三维图像数据导入到Mitk的开源软件平台上，Mitk的开源软件平台将三维图像数据进行加载，将三维图像数据的器官名字显示在候选器官的列表中，该Mitk的开源软件平台的显示界面上可以选择调整器官的三维图像的颜色，并且显示数据管理，该数据管理中每个器官的名字对应该器官的存储地址，Mitk的开源软件平台的显示界面的右侧显示不同角度的CT图像。

其中，该Mitk的开源软件平台中，默认的显示器官的三维图像的窗口的背景颜色为灰色，且显示器官的三维图像的窗口是有黄色线围起来的区域，并且显示器官的三维图像的窗口还可能显示其他文字等其它标识。同时在显示器官的三维图像的窗口中显示着多个不同器官的三维图像，无法直接在显示界面中，将目标器官从所有的器官投影中区分开来，进而也就无法获取目标器官的投影轮廓。

若在显示器官的三维图像的窗口中，只获取目标器官的投影，需要手动更改渲染窗口的底色，同时需要修改目标器官的颜色，使其与其它器官的颜色区分开。在完成投影后，仍需要将目标器官区域从全部投影图像中分割出来。此过程比较繁琐，耗时较长。

对此，本发明将使用VTK获取投影图像，具体来说，将重新创建一个隐藏的渲染窗口，该隐藏的渲染窗口不会显示给用户，这样用户会不会看到有提取轮廓时，显示的卡顿，同时，再提取完一个目标器官后，直接反馈给用户提取完该目标器官，从而可以使得用户进行其他器官的轮廓提取，提高了用户体验感。在该渲染窗口中，设置窗口尺寸和Mitk中显示器官的三维图像的窗口一致，由于Mitk中显示器官的三维图像的窗口与视频中的图像尺寸一直，从而使得匹配和标定过程无需重新调整尺寸，并且将该渲染窗口的颜色置为黑色，为后续进行二值化投影图像做准备。

具体来说，当用户在Mitk的开源软件平台的显示界面上选择需要进行轮廓提取的目标器官，例如肝脏，然后点击“获取轮廓”按钮，通过在Mitk的开源软件平台上记录的存储肝脏的存储地址，获取肝脏的三维图像数据，然后从肝脏的三维图像数据中，去除肝脏中无法通过摄像头直接拍摄到的部位对应的三维图像数据，得到肝脏的目标三维图像数据，然后，设定不同的投影角度，然后根据该投影角度，将肝脏的目标三维图像数据渲染到RenderWindow，即渲染窗口上，根据RenderWindow上的投影图像，确定该投影角度对应的轮廓。

基于上述介绍的器官轮廓获取方法，本发明实施例还提供一种电子设备，包括：接收单元和处理器；

其中，接收单元可以为上述图2中介绍的输入单元250。

所述接收单元，用于接收用户触发的选择指令；

所述处理器，用于响应用户触发的选择指令，确定所述选择指令选择的目标器官的目标三维图像数据；其中，所述目标三维图像数据形成的三维图像与所述目标器官中可通过摄像头直接拍摄的部分相匹配；

针对每个投影角度，根据所述投影角度，将所述目标三维图像数据渲染在预设的渲染窗口上，得到所述渲染窗口上的投影图像；

根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的所述目标器官进行标定。

可选的，所述处理器，具体用于：

从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，其中，所述目标器官的三维图像数据是根据多个包含所述目标器官的二维医学影像得到的。

可选的，所述处理器，具体用于：

根据所述目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，所述目标轴方向是根据所述目标器官中无法通过摄像头直接拍摄到的部位确定的；所述临界值是代表所述目标器官中无法通过摄像头直接拍摄到的部位到，所述目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将所述目标轴方向上的图像数据大于所述临界值的所述目标器官的三维图像数据，作为所述目标器官的目标三维图像数据。

可选的，所述处理器，具体用于：

根据所述目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

可选的，所述处理器，具体用于：

对所述渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的初始轮廓；

对所述投影角度对应的目标器官的初始轮廓进行下采样处理，得到所述投影角度对应的目标器官的轮廓。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述器官轮廓获取方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本发明实施例上述任意一项器官轮廓获取方法。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种电子设备，其特征在于，包括：接收单元和处理器；

所述接收单元，用于接收用户触发的选择指令；

所述处理器，用于响应用户触发的选择指令，确定所述选择指令选择的目标器官的目标三维图像数据；其中，所述目标三维图像数据形成的三维图像与所述目标器官中可通过摄像头直接拍摄的部分相匹配；

针对每个投影角度，根据所述投影角度，将所述目标三维图像数据渲染在预设的渲染窗口上，得到所述渲染窗口上的投影图像；

根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的所述目标器官进行标定。

2.根据权利要求1所述的电子设备，其特征在于，所述处理器，具体用于：

从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，其中，所述目标器官的三维图像数据是根据多个包含所述目标器官的二维医学影像得到的。

3.根据权利要求2所述的电子设备，其特征在于，所述处理器，具体用于：

根据所述目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，所述目标轴方向是根据所述目标器官中无法通过摄像头直接拍摄到的部位确定的；所述临界值是代表所述目标器官中无法通过摄像头直接拍摄到的部位到，所述目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将所述目标轴方向上的图像数据大于所述临界值的所述目标器官的三维图像数据，作为所述目标器官的目标三维图像数据。

4.根据权利要求1所述的电子设备，其特征在于，所述处理器，具体用于：

根据所述目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

5.根据权利要求1～4任一项所述的电子设备，其特征在于，所述处理器，具体用于：

对所述渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的初始轮廓；

对所述投影角度对应的目标器官的初始轮廓进行下采样处理，得到所述投影角度对应的目标器官的轮廓。

6.一种器官轮廓获取方法，其特征在于，包括：

响应用户触发的选择指令，确定所述选择指令选择的目标器官的目标三维图像数据；其中，所述目标三维图像数据形成的三维图像与所述目标器官中可通过摄像头直接拍摄的部分相匹配；

针对每个投影角度，根据所述投影角度，将所述目标三维图像数据渲染在预设的渲染窗口上，得到所述渲染窗口上的投影图像；

根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，以实现根据每个投影角度对应的轮廓与通过摄像头拍摄到的所述目标器官进行标定。

7.根据权利要求6所述的器官轮廓获取方法，其特征在于，确定所述选择指令选择的目标器官的目标三维图像数据，包括：

从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，其中，所述目标器官的三维图像数据是根据多个包含所述目标器官的二维医学影像得到的。

8.根据权利要求7所述的器官轮廓获取方法，其特征在于，从所述目标器官的三维图像数据中，去除所述目标器官中无法通过摄像头直接拍摄到的部位对应的三维图像数据，将剩余的所述目标器官的三维图像数据作为所述目标器官的目标三维图像数据，包括：

根据所述目标器官的三维图像数据中目标轴方向上的图像数据，确定临界值；其中，所述目标轴方向是根据所述目标器官中无法通过摄像头直接拍摄到的部位确定的；所述临界值是代表所述目标器官中无法通过摄像头直接拍摄到的部位到，所述目标器官中可通过摄像头直接拍摄到的部位的临界部分的一个值；

将所述目标轴方向上的图像数据大于所述临界值的所述目标器官的三维图像数据，作为所述目标器官的目标三维图像数据。

9.根据权利要求6所述的方法，其特征在于，通过以下方式确定多个投影角度：

根据所述目标器官的拍摄角度范围、以及每个轴方向上预设的移动步长，确定多个投影角度。

10.根据权利要求6～9任一项所述的方法，其特征在于，根据所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的轮廓，包括：

对所述渲染窗口上的投影图像进行二值化处理；

根据二值化处理后的所述渲染窗口上的投影图像，确定所述投影角度对应的目标器官的初始轮廓；

对所述投影角度对应的目标器官的初始轮廓进行下采样处理，得到所述投影角度对应的目标器官的轮廓。

Images