CN115345823A - 医学图像处理方法、医学图像处理系统、设备和介质 - Google Patents

Abstract

本申请涉及一种医学图像处理方法、医学图像处理系统、计算机设备、存储介质以及计算机程序产品。所述方法包括：获取所采集的初始医学图像，并将所述初始医学图像发送至第一显示设备进行显示；接收所述第一显示设备发送的针对所述初始医学图像的区域标记指令；基于所述区域标记指令以及所述初始医学图像生成目标医学图像；将所述目标医学图像投屏至第二显示设备。采用本方法能够实现不同操作者之间的基于图像的快速交互，引入了操作者的经验，避免仅依赖机器算法，提高智能化水平。

Description

医学图像处理方法、医学图像处理系统、设备和介质

技术领域

本申请涉及内窥镜技术领域，特别是涉及一种医学图像处理方法、医学图像处理系统、计算机设备、存储介质以及计算机程序产品。

背景技术

随着医疗技术的不断发展，内窥镜作为集中传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，应用范围越来越广。内窥镜可以进入待检测者的体内(例如食道)，以获取待检测部位的图像，进而确定待检测部位是否存在病变。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。

内窥镜系统一般具有能够插入到生物体内部的部件，通过将该部件经口腔或其他天然孔道、或者经手术做的小切口等伸入到生物体内部后，这部分部件在获取到生物体内部的图像信息，再传输出来并被显示于显示器。

传统的内窥镜系统是基于普通显示器的显示，将内窥镜采集的图像在普通显示器中进行显示，从而医生可以观察到内窥镜所采集的图像，但是该方式仅是图像显示的过程，智能化水平较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实现不同操作者之间的基于图像的快速交互，引入了操作者的经验，避免仅依赖机器算法，提高智能化水平和准确性的医学图像处理方法、医学图像处理系统、计算机设备、存储介质以及计算机程序产品。

第一方面，本申请提供一种医学图像处理方法，所述方法包括：

获取所采集的初始医学图像，并将所述初始医学图像发送至第一显示设备进行显示；

接收所述第一显示设备发送的针对所述初始医学图像的区域标记指令；

基于所述区域标记指令以及所述初始医学图像生成目标医学图像；

将所述目标医学图像投屏至第二显示设备。

在其中一个实施例中，所述接收所述第一显示设备发送的针对所述初始医学图像的区域标记指令之后，还包括：

接收模式选择指令；

当所述模式选择指令表示非目标对象时，则继续基于所述区域标记指令以及所述初始医学图像生成目标医学图像；

当所述模式选择指令表示目标对象且进行跟踪时，根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备；

当所述模式选择指令表示目标对象且不进行跟踪时，则继续基于所述区域标记指令以及所述初始医学图像生成目标医学图像。

在其中一个实施例中，所述根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备，包括：

根据所述区域标记指令确定待检测区域；

对所述待检测区域进行对象识别得到目标对象，对所述目标对象进行跟踪；

根据跟踪的结果得到导航路线，将所述导航路线投屏至所述第二显示设备。

在其中一个实施例中，所述对所述待检测区域进行对象识别得到目标对象，对所述目标对象进行跟踪，包括：

对当前帧的识别区域进行对象识别得到目标对象；

当所述当前帧图像中的对象识别成功，则对所述目标对象进行跟踪；

当对所述目标对象跟踪成功，则获取下一帧图像，并继续对所述目标对象进行跟踪的步骤；

当对所述目标对象跟踪失败，则获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤；

当所述当前帧图像中的对象识别失败，则继续获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤。

在其中一个实施例中，所述根据跟踪的结果得到导航路线，包括：

当所述目标对象跟踪成功，则根据跟踪的目标对象的边界得到导航路线；

当所述目标对象跟踪失败，则根据识别区域的边界得到导航路线；

当当前帧图像中的对象识别失败，则根据所述区域标记指令对应的待检测区域得到导航路线。

在其中一个实施例中，所述根据跟踪标记的结果得到导航路线之后，还包括：

检测所述导航路线的连贯性；

当所述导航路线不连贯时，对所述导航路线进行连通性操作。

在其中一个实施例中，所述将所述导航路线投屏至所述第二显示设备，包括：

检索所述初始医学图像中与所述导航路线相同位置的目标像素点；

通过目标属性的像素点替换所述目标像素点；

将像素点替换完成的图像投屏至所述第二显示设备。

在其中一个实施例中，所述根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备之后，还包括：

检测所述目标对象是否超出图像边界；

当所述目标对象超出图像边界时，输出报警信息。

在其中一个实施例中，所述方法还包括：

接收所述第一显示设备发送的清空标记指令；

根据所述清空标记指令将无标记的初始医学图像投屏至所述第二显示设备。

第二方面，本申请还提供一种医学图像处理系统，包括：

图像采集设备，用于采集初始医学图像；

第一显示设备，用于显示所述初始医学图像以及接收输入的针对所述初始医学图像的区域标记指令；

第二显示设备，用于显示处理器输出的目标医学图像；

处理器，用于执行上述任意一个实施例中所述的医学图像处理方法。

第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中所述的方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。

第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。

上述医学图像处理方法、医学图像处理系统、计算机设备、存储介质以及计算机程序产品，将采集的初始医学图像发送至第一显示设备进行显示，从而第一显示设备可以接收到针对初始医学图像的区域标记指令，这样处理器可以基于该区域标记指令和初始医学图像生成目标医学图像，进而将目标医学图像显示在第二显示设备中，从而实现不同操作者之间的基于图像的快速交互，引入了操作者的经验，避免仅依赖机器算法，提高智能化水平。

附图说明

图1为一个实施例中医学图像处理系统的结构示意图；

图2为一个实施例中图像采集设备的结构示意图；

图3为一个实施例中图像采集组件的结构示意图；

图4为一个实施例中医学图像处理装置的示意图；

图5为一个实施例中医学图像处理方法的流程示意图；

图6为一个实施例中触摸区域算法处理流程图；

图7为一个实施例中对话框处理的流程示意图；

图8为一个实施例中跟踪标记模式下的对话框信息交互机制的原理图；

图9为一个实施例中跟踪标记模式下的算法处理流程的示意图；

图10为一个实施例中目标对象识别步骤的示意图；

图11为一个实施例中目标对象跟踪步骤的示意图；

图12为一个实施例中导航路线获取步骤的示意图；

图13为一个实施例中导航路线优化步骤的示意图；

图14为一个实施例中导航路线叠加流程示意图；

图15为一个实施例中导航路线叠加算法示意图；

图16为一个实施例中边界警报处理流程示意图；

图17为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种医学图像处理系统，包括图像采集设备100、第一显示设备200、第二显示设备300以及处理器400。

其中图像采集设备100可选地为内窥镜系统，在本实施例中内窥镜系统包括照明光源主机110、内窥镜镜体120，其中内窥镜镜体120包括图像采集组件122以及照明组件121，照明光源主机110主要为照明组件提供医用冷光源，图像采集组件120则可以对目标对象进行图像采集。

具体地，结合图2所示，其中照明光源主机110为内窥镜提供外部光源。通过导光束130，延申至内窥镜镜头前端，尽可能减少光源在传播过程中的损耗。图像采集组件120则主要用来采集图像数据，它的物镜安放在镜头最前端，靠近光源，内部还包括棱镜以及传感器等。具体地，结合图3，图像采集组件包括镜头141、滤光片142、棱镜143、传感器144以及模数转换模块145。其中光线通过镜头141进入图像采集组件122，经过滤波片142以及棱镜143的处理，使得有效的光源信息在传感器144上将光信号转换为电信号，其中滤波片142主要是滤除无关波段的光信号，棱镜143则是将光信号反射纸传感器中，最后经过模数转换模块145将模拟信号转换为数字信号，传输给处理器。

第一显示设备200和第二显示设备300为不同的显示设备，例如第一显示设备200为可触摸显示设备，第二显示设备300为非触摸显示设备。在其他的实施例中，第一显示设备200和第二显示设备300为相同的显示设备，例如均为触摸显示设备。需要说明的一点是本申请中第一显示设备200为可以接收到用户反馈的显示设备，例如可以接收到针对初始医学图像的区域选择指令的显示设备，其方便操作者对初始医学图像进行标记。第二显示设备300则是可以同步显示第一显示设备200的操作以及图像的设备。此外，还需要说明的一点是，本申请并不对第一显示设备200和第二显示设备300的数量进行限制，例如在一个场景中，存在多个助手，每个助手对应一个第一显示设备200，从而处理器可以将多个第一显示设备200发送的区域标记指令进行综合，例如求并集，然后将并集区域与初始医学图像进行融合得到目标医学图像，最后将目标医学图像发送至各个第二显示设备300中进行显示。

处理器400可以对所采集的初始医学图像进行相应的算法处理，并将处理后的初始医学图像发送至第一显示设备200和/或第二显示设备300中进行显示。

具体地，参见图4所示，处理器中可以设置不同的功能模块，其中处理器中安装有医学图像处理装置，该医学图像处理装置包括照明模块401、图像采集模块402、图像处理模块403、第一显示设备模块405、第二显示设备模块406以及区域算法处理模块404，其中照明模块401主要用于控制内窥镜的照明光源主机输出光照，以提供光照环境，图像采集模块402则是用于控制内窥镜的图像采集组件进行图像采集，并发送至图像处理模块403。图像处理模块403可以是基于FPGA(Field Programmable Gata Array，现场可编程门阵列)实现，其主要是将图像采集模块402数据，在FPGA上进行处理生成彩色图像，传输至第一显示设备模块405和第二显示设备模块406；同时将控制信号传递至图像采集模块402，以控制图像采集模块402进行图像的采集。第一显示设备模块405用于为操作者提供可直接触摸标记的人机操控平台。区域算法处理模块404，用于对操作者的触摸操作进行识别，并进行相应动作处理，如病灶识别、病灶跟踪等。第二显示设备模块406则是将第一显示设备模块以及区域算法处理模块最终的图像效果，同步显示在第二显示设备300，即非触摸屏显示模块上。

在一个实施例中，如图5所示，提供了一种医学图像处理方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：

S502：获取所采集的初始医学图像，并将初始医学图像发送至第一显示设备进行显示。

具体地，初始医学图像是图像采集设备所采集的初始医学图像，例如内窥镜所采集的初始医学图像，处理器将该初始医学图像发送至第一显示设备进行显示。可选地，处理器还可以将该初始医学图像发送至第二显示设备进行显示，此处并不限制初始医学图像的显示。

在实际应用中，第一显示设备可以是指医生的助手所使用的显示设备，医生在手术的时，通过第二显示设备观察内窥镜所采集的初始医学图像，医生助手则通过第一显示设备观察内窥镜所采集的初始医学图像，并可以对第一显示设备中所采集的初始医学图像进行标记，例如圈出来一部分图像，或者是点选一部分图像等，此处并不限制对初始医学图像的标记的方式。

S504：接收第一显示设备发送的针对初始医学图像的区域标记指令。

区域标记指令是指第一显示设备接收到针对初始医学图像的区域的标记时所生成的，例如第一显示设备接收医生助手对初始医学图像的触摸操作，从而根据该触摸操作确定对应的操作区域，进而根据该操作区域生成区域标记指令，例如触摸操作所形成的封闭的轨迹，然后将该区域标记指令发送至处理器。

S506：基于区域标记指令以及初始医学图像生成目标医学图像。

S508：将目标医学图像投屏至第二显示设备。

具体地，处理器将区域标记指令所对应的封闭的轨迹与初始医学图像进行融合得到目标医学图像，例如通过确定初始医学图像中与区域标记指令所对应的封闭的轨迹的位置的待处理像素点，并通过区域标记指令所对应的封闭的轨迹对应的目标像素点替换待处理像素点，从而得到目标医学图像。

处理器将所得到的目标医学图像投屏至第二显示设备中，从而不同的操作者可以通过图像进行快速交互，提高智能化水平。

仍以上述应用场景为例进行说明，医生助手在第一显示设备所显示的初始医学图像中进行区域标记，并将区域标记反馈至处理器，处理器将区域标记和初始医学图像进行融合，得到目标医学图像，进而将目标医学图像发送至第二显示设备，从而医生可以及时了解医生助手的反馈，以对手术以指导，从而尽快将手术器械移动至病灶区域，以对病灶区域进行手术处理。

其中本实施例中通过增加第一显示设备，也即触摸屏，以及触摸屏与第二显示设备之间的投屏功能，实现助手与医生基于图像的快速交互方式。通过触摸屏，助手医生可对可疑重要病灶区域做标记，提高手术准确率。

上述医学图像处理方法，将采集的初始医学图像发送至第一显示设备进行显示，从而第一显示设备可以接收到针对初始医学图像的区域标记指令，这样处理器可以基于该区域标记指令和初始医学图像生成目标医学图像，进而将目标医学图像显示在第二显示设备中，从而实现不同操作者之间的基于图像的快速交互，引入了操作者的经验，避免仅依赖机器算法，提高智能化水平。

在其中一个实施例中，接收第一显示设备发送的针对初始医学图像的区域标记指令之后，还包括：接收模式选择指令；当模式选择指令表示非目标对象时，则继续基于区域标记指令以及初始医学图像生成目标医学图像；当模式选择指令表示目标对象且进行跟踪时，根据区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至第二显示设备；当模式选择指令表示目标对象且不进行跟踪时，则继续基于区域标记指令以及初始医学图像生成目标医学图像。

具体地，本实施例中基于区域标记指令确定第二显示设备所显示的目标医学图像包括以下至少一种工作模式：普通标记模式、跟踪标记模式以及退出标记模式。

其中，普通工作模式是指直接将区域选择指令对应的标记信息叠加至初始医学图像中得到目标医学图像。跟踪标记模式是指对区域选择指令对应的目标对象进行跟踪标记，例如对区域选择指令对应的病灶区域进行跟踪标记。退出标记模式则是指退出跟踪标记模式和普通标记模式。可选地，处理器接收第一显示设备发送的清空标记指令；根据清空标记指令将无标记的初始医学图像投屏至第二显示设备，也就是说在退出标记模式下，第一显示设备和第二显示设备均显示图像采集设备采集的初始医学图像。

具体地，结合图6和图7所示，其中第一显示设备接收区域选择指令，则处理器控制第一显示设备弹出第一对话框，该第一对话框中显示“是否重要病灶”，其中该是否重要病灶对应上文中的是否目标对象的判断，当非重要病灶时，则进入普通标记模式，当是重要病灶时，则处理器还可以控制第一显示设备弹出第二对话框，该第二对话框中显示“是”或“否”，当点击是，则进入跟踪标记模式，点击否，则进入普通标记模式。此外，若是第一显示设备接收到退出标记模式的指令，则退出跟踪标记模式和普通标记模式，也就是说此时第一显示设备和第二显示设备均显示初始医学图像。

在实际应用中，医生通过第一显示设备，及触摸屏对初始医学图像可能的病灶区域进行标记，此时会弹出对话框“是否为重要病灶”。如果医生点击“是”，且选中进入跟踪标记模式，以此经过目标对象识别、目标对象跟踪、导航路线规划算法处理。同时将触摸屏图像投屏至第二显示设备，即非触摸屏，可供其他医生参考。在触发“退出跟踪标记模式”时，退出跟踪标记模式。如果医生点击“否”，则仅实现触摸屏图像投屏至非触摸屏的功能，即仅以普通标记模式进行运行。

为了方便说明，再次结合图7所示，医生通过第一显示设备，即触摸屏选定图像区域后，可通过双击屏幕，弹出第一对话框：“是否为重要病灶区域”。点击该对话框，会弹出第二对话框，第二对话框中显示选项“是”和“否”。若点击“否”，则退出对话框界面，触摸屏图像只将医生选定的图像区域及图像投屏至第二显示设备，即非触摸屏显示器；若点击“是”，则调出第三对话框，“跟踪标记模式”和“退出跟踪标记模式”；若点击“跟踪标记模式”，则图像经过一系列算法处理，在初始医学图像上规划出导航路线，同时投屏至非触摸屏显示器。在一定时间段，例如若干秒后，对话框被隐藏。可通过点击屏幕，调出“退出跟踪标记模式”按钮。此时，点击该按钮，图像会退出跟踪标记模式，恢复至正常模式。若点击“退出跟踪标记模式”，则退出对话框界面，同时进行普通标记模式下的投屏。

上述实施例中，通过触摸屏医生标记与目标对象识别，增加对病灶区域的诊断率；通过对识别出的病灶区域进行跟踪与导航规划，提高手术效率。且通过算法对病灶区域进行识别、跟踪与导航规划，为医生提供更多可靠信息，提高手术效率。

在其中一个实施例中，根据区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至第二显示设备，包括：根据区域标记指令确定待检测区域；对待检测区域进行对象识别得到目标对象，对目标对象进行跟踪；根据跟踪的结果得到导航路线，将导航路线投屏至第二显示设备。

具体地，待检测区域是指区域标记指令在初始医学图像中所确定的一个区域，该区域在医生的观察下疑似有病灶，为了提高准确性，处理器对该检测区域进行对象识别以确定该待检测区域是否真的存在有病灶，也即目标对象，若是识别到目标对象，则对该目标对象进行跟踪，即多采集的多帧初始医学图像中的目标对象进行识别并确定位置，从而可以生成导航路线，可选地，该导航路线可以单指目标对象，例如目标对象的边界，在其他的实施例中，导航路线可以指从医疗器械的当前位置移动至目标对象所在位置的路线，在此不做具体的限制。

具体地，结合图8所示，为跟踪标记模式下的对话框信息交互机制的原理图，在跟踪标记模式下，第一显示设备捕捉医生的双击信号，例如医生双击第一显示设备的信号，发送给处理器，处理器根据对话框交互，经过对信号的交互处理，弹出对话框界面；医生通过对话框操作，进入跟踪标记模式后，经信号传递回处理器，并调用相应的导航算法处理，在初始医学图像上叠加导航路线得到目标医学图像，并通过图8中的路径二投屏至第二显示设备。医生通过第一显示设备，退出跟踪标记模式后，并通过图8中的路径一将没有叠加导航路线的图像投屏至非触摸显示器。

结合图9，跟踪标记模式下，图像信号会根据手动选中区域确定待识别区域，分别进行病灶识别、病灶跟踪以及导航路线规划算法处理，获得导航位置信息。并经过图像叠加模块，将原始图像信号与导航路线信息进行叠加，作为最终含有导航信息的输出图像信号，输出至第二显示设备。

其中对待检测区域进行对象识别得到目标对象可以参见图10所示，其对医生手动标记的区域，作为待检测区域，利用病灶识别模型，进行病灶的识别。不仅可以提高识别率，也可提高系统的运行速度。

图10中，给出了模型的训练和模型的应用的两个流程，其中在模型的训练时，可以采集数据，并对数据使用机器学习方法和/或深度学习方法训练识别模型，例如对采集到的病灶区域数据进行大量学习，训练获得识别不同病灶的病灶识别模型。这样后续，使用时，医生手动标记待检测区域，然后通过病灶识别模型，进行病灶的识别，并标记病灶区域边界。

在其中一个实施例中，对待检测区域进行对象识别得到目标对象，对目标对象进行跟踪，包括：对当前帧的识别区域进行对象识别得到目标对象；若当前帧图像中的对象识别成功，则对目标对象进行跟踪；当对目标对象跟踪成功，则获取下一帧图像，并继续对目标对象进行跟踪的步骤；当对目标对象跟踪失败，则获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤；若当前帧图像中的对象识别失败，则继续获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤。

具体地，结合图11所示，在前一帧图像病灶识别成功的前提下，当前帧会进入病灶跟踪状态。在病灶跟踪状态下，首先调用跟踪算法，进行病灶跟踪。若跟踪成功，则对跟踪区域边界做标记，作为当前帧图像的识别区域。否则，取前一帧图像识别区域边界为识别区域。若当前帧跟踪成功，下一帧图像可直接进入跟踪状态，减小系统延时。若当前帧跟踪失败，下一帧图像会重新进入识别状态。

在其中一个实施例中，根据跟踪的结果得到导航路线，包括：当目标对象跟踪成功，则根据跟踪的目标对象的边界得到导航路线；当目标对象跟踪失败，则根据识别区域的边界得到导航路线；若当前帧图像中的对象识别失败，则根据区域标记指令对应的待检测区域得到导航路线。

其中，结合图12所示，导航路线包括三种规划路线：在初始医学图像识别和跟踪成功的状态下，选取跟踪区域边界作为导航路线。在初始医学图像识别成功，跟踪失败的情况下，选取识别区域边界作为导航路线。在初始医学图像识别失败的情况下，直接将用户手动圈定的区域作为导航路线。

上述实施例中，通过算法对病灶区域进行识别、跟踪与导航规划，为医生提供更多可靠信息，提高手术效率。

在其中一个实施例中，根据跟踪标记的结果得到导航路线之后，还包括：检测导航路线的连贯性；当导航路线不连贯时，对导航路线进行连通性操作。

具体地，连贯性是指识别区域或跟踪区域会出现不连通的情况。因此，由此得到的导航路线不连通的情况也时有发生。为了防止上述现象的发生，一般会对导航路线，进行连通性操作。

具体地，结合图13所示，处理器将经过连通性操作的路线，作为最终的导航路线叠加至原图。为了防止导航路线不连通，一般检测导航路线的连贯性，然后会对导航路线，进行连通性操作，经过连通性操作的路线作为导航路线与初始医学图像进行实时叠加；若导航路线连贯，不对导航路线进行处理，直接与初始医学图像进行实时叠加。

本实施例中，对导航路线与初始医学图像进行实时叠加以前，判断导航路线是否连贯，在导航路线不连贯时，对其进行连通性操作，提高了导航路线的精度，增强了导航路线的可参考性。

在其中一个实施例中，将导航路线投屏至第二显示设备，包括：检索初始医学图像中与导航路线相同位置的目标像素点；通过目标属性的像素点替换目标像素点；将像素点替换完成的图像投屏至第二显示设备。

具体地，结合图14和图15所示，其中导航路线与初始医学图像的叠加主要需要初始医学图像以及导航路线的位置坐标，将两者信息叠加处理，获得有导航信息的图像，作为最终的输出。

具体地，在初始医学图像的基础上，依据导航信息，对图像进行相应位置检索，并修改相应位置处的像素点值为特殊标记颜色，同时保持其他像素点值不变，即位有导航信息的目标医学图像。

处理器获取导航路线区域内的图像作为导航信息，根据导航信息在初始医学图像中检索位置相同的像素点，在初始医学图像中使用特殊颜色的像素点(例如红色)替换与导航信息位置相同的像素点，生成有导航信息的目标医学图像，有导航信息的目标医学图像中有导航路线以及初始医学图像，将有导航信息的目标医学图像通过第二显示设备进行显示。

本实施例中，根据导航信息在初始医学图像中检索位置相同的像素点，并在初始医学图像中使用特殊颜色的像素点替换与导航信息位置相同的像素点，生成有导航信息的目标医学图像，最后将有导航信息的目标医学图像通过第二显示设备进行显示，实现了将导航路线在初始医学图像中的显示，为医生手术提供了参考信息，提高了手术成功率。

在其中一个实施例中，根据区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至第二显示设备之后，还包括：检测目标对象是否超出图像边界；当目标对象超出图像边界时，输出报警信息。

具体地，结合图16所示，在有导航信息的目标医学图像上，判定病灶区域是否超出边界，若超出边界，则通过处理器向图像添加提示语，以及指示性箭头图标。其中，当导航信息超过半数落在图像任一边界上时，可判定此时病灶区域超出图像边界。

具体地，将有导航信息的目标医学图像通过第二显示设备进行显示后，还需判断有导航信息的目标医学图像中的病灶区域是否超过目标医学图像边界，到导航信息超过半数落在目标医学图像任一边界上时，可认定病灶区域超过图像边界。若病灶区域超过图像边界，在有导航信息的目标医学图像中添加病灶区域超过图像边界的提示语以及指示箭头，提示医生注意。若不超过，正常显示有导航信息的目标医学图像。

本实施例中，通过判断有导航信息的目标医学图像中的病灶区域是否超过图像边界，当病灶区域超过图像边界时，在有导航信息的目标医学图像中添加病灶区域超过图像边界的提示语以及指示箭头，提高了导航路线的可靠性。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种医学图像处理装置，包括：

第一显示设备模块，用于获取所采集的初始医学图像，并将初始医学图像发送至第一显示设备进行显示；

区域算法处理模块，用于接收第一显示设备发送的针对初始医学图像的区域标记指令；基于区域标记指令以及初始医学图像生成目标医学图像；

第二显示设备模块，用于将目标医学图像投屏至第二显示设备。

在其中一个实施例中，上述的区域算法处理模块还用于接收模式选择指令；当模式选择指令表示非目标对象时，则继续基于区域标记指令以及初始医学图像生成目标医学图像；当模式选择指令表示目标对象且进行跟踪时，根据区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至第二显示设备；当模式选择指令表示目标对象且不进行跟踪时，则继续基于区域标记指令以及初始医学图像生成目标医学图像。

在其中一个实施例中，上述的区域算法处理模块还用于根据区域标记指令确定待检测区域；对待检测区域进行对象识别得到目标对象，对目标对象进行跟踪；根据跟踪的结果得到导航路线，将导航路线投屏至第二显示设备。

在其中一个实施例中，上述的区域算法处理模块还用于对当前帧的识别区域进行对象识别得到目标对象；若当前帧图像中的对象识别成功，则对目标对象进行跟踪；当对目标对象跟踪成功，则获取下一帧图像，并继续对目标对象进行跟踪的步骤；当对目标对象跟踪失败，则获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤；若当前帧图像中的对象识别失败，则继续获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤。

在其中一个实施例中，上述的区域算法处理模块还用于当目标对象跟踪成功，则根据跟踪的目标对象的边界得到导航路线；当目标对象跟踪失败，则根据识别区域的边界得到导航路线；若当前帧图像中的对象识别失败，则根据区域标记指令对应的待检测区域得到导航路线。

在其中一个实施例中，上述的区域算法处理模块还用于检测导航路线的连贯性；当导航路线不连贯时，对导航路线进行连通性操作。

在其中一个实施例中，上述的第二显示设备模块还用于检索初始医学图像中与导航路线相同位置的目标像素点；通过目标属性的像素点替换目标像素点；将像素点替换完成的图像投屏至第二显示设备。

在其中一个实施例中，上述的区域算法处理模块还用于检测目标对象是否超出图像边界；当目标对象超出图像边界时，输出报警信息。

在其中一个实施例中，上述的区域算法处理模块还用于接收第一显示设备发送的清空标记指令；根据清空标记指令将无标记的初始医学图像投屏至第二显示设备。

上述医学图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于内窥镜系统的病灶识别与跟踪方法。

本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的医生信息(包括但不限于医生设备信息、医生个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经医生授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种医学图像处理方法，其特征在于，所述方法包括：

获取所采集的初始医学图像，并将所述初始医学图像发送至第一显示设备进行显示；

接收所述第一显示设备发送的针对所述初始医学图像的区域标记指令；

基于所述区域标记指令以及所述初始医学图像生成目标医学图像；

将所述目标医学图像投屏至第二显示设备。

2.根据权利要求1所述的方法，其特征在于，所述接收所述第一显示设备发送的针对所述初始医学图像的区域标记指令之后，还包括：

接收模式选择指令；

当所述模式选择指令表示非目标对象时，则继续基于所述区域标记指令以及所述初始医学图像生成目标医学图像；

当所述模式选择指令表示目标对象且进行跟踪时，根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备；

当所述模式选择指令表示目标对象且不进行跟踪时，则继续基于所述区域标记指令以及所述初始医学图像生成目标医学图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备，包括：

根据所述区域标记指令确定待检测区域；

对所述待检测区域进行对象识别得到目标对象，对所述目标对象进行跟踪；

根据跟踪的结果得到导航路线，将所述导航路线投屏至所述第二显示设备。

4.根据权利要求3所述的方法，其特征在于，所述对所述待检测区域进行对象识别得到目标对象，对所述目标对象进行跟踪，包括：

对当前帧的识别区域进行对象识别得到目标对象；

当所述当前帧图像中的对象识别成功，则对所述目标对象进行跟踪；

当对所述目标对象跟踪成功，则获取下一帧图像，并继续对所述目标对象进行跟踪的步骤；

当对所述目标对象跟踪失败，则获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤；

当所述当前帧图像中的对象识别失败，则继续获取下一帧图像作为当前帧，并继续对当前帧的识别区域进行对象识别得到目标对象的步骤。

5.根据权利要求4所述的方法，其特征在于，所述根据跟踪的结果得到导航路线，包括：

当所述目标对象跟踪成功，则根据跟踪的目标对象的边界得到导航路线；

当所述目标对象跟踪失败，则根据识别区域的边界得到导航路线；

当当前帧图像中的对象识别失败，则根据所述区域标记指令对应的待检测区域得到导航路线。

6.根据权利要求3所述的方法，其特征在于，所述根据跟踪标记的结果得到导航路线之后，还包括：

检测所述导航路线的连贯性；

当所述导航路线不连贯时，对所述导航路线进行连通性操作。

7.根据权利要求3所述的方法，其特征在于，所述将所述导航路线投屏至所述第二显示设备，包括：

检索所述初始医学图像中与所述导航路线相同位置的目标像素点；

通过目标属性的像素点替换所述目标像素点；

将像素点替换完成的图像投屏至所述第二显示设备。

8.根据权利要求2所述的方法，其特征在于，所述根据所述区域标记指令对目标对象进行跟踪标记，并将跟踪标记的结果投屏至所述第二显示设备之后，还包括：

检测所述目标对象是否超出图像边界；

当所述目标对象超出图像边界时，输出报警信息。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收所述第一显示设备发送的清空标记指令；

根据所述清空标记指令将无标记的初始医学图像投屏至所述第二显示设备。

10.一种医学图像处理系统，其特征在于，包括：

图像采集设备，用于采集初始医学图像；

第一显示设备，用于显示所述初始医学图像以及接收输入的针对所述初始医学图像的区域标记指令；

第二显示设备，用于显示处理器输出的目标医学图像；

处理器，用于执行权利要求1至9任意一项所述的医学图像处理方法。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images