CN118135556A - 交互识别方法、装置、存储介质及电子设备 - Google Patents
交互识别方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN118135556A CN118135556A CN202410548771.8A CN202410548771A CN118135556A CN 118135556 A CN118135556 A CN 118135556A CN 202410548771 A CN202410548771 A CN 202410548771A CN 118135556 A CN118135556 A CN 118135556A
- Authority
- CN
- China
- Prior art keywords
- organ
- organ model
- model
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 54
- 210000000056 organ Anatomy 0.000 claims abstract description 726
- 238000003709 image segmentation Methods 0.000 claims abstract description 64
- 238000000338 in vitro Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 31
- 230000000877 morphologic effect Effects 0.000 claims abstract description 28
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 20
- 230000004048 modification Effects 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 210000002220 organoid Anatomy 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000007877 drug screening Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种体外三维器官模型的交互识别方法、装置、存储介质及电子设备，其中，方法包括：响应于用户的自动识别操作，基于器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，响应于用户的框选识别操作，在器官模型图像上确定目标框选区域进行器官模型框选识别得到第二器官模型识别结果，第二器官模型识别结果包括至少一个标记于目标框选区域上的器官识别轮廓；和/或，响应于用户所输入的器官标记操作，在器官模型图像上确定标记器官区域信息，基于标记器官区域信息生成第三器官模型识别结果，基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息。
Description
技术领域
本申请涉及生物模型的识别领域，尤其涉及一种体外三维器官模型的交互识别方法、装置、存储介质及电子设备。
背景技术
体外三维器官模型近几年来正蓬勃发展，例如在芯片上构建肺、肾、肠、肝、心脏、血管、皮肤、大脑、等模型，通过与细胞生物学、工程学和生物材料等多种学科的方法相结合，在体外模拟多种活体细胞、组织器官微环境，反映人体组织器官的主要结构和功能特征。例如从组织提取构建的类器官或干细胞分化的类器官，是体外三维器官模型的一种。
体外三维器官模型，在药物评价、再生医学、发育生物学和疾病建模等诸多领域具有广阔的应用前景。三维器官模型包括孔板、芯片上构建的类器官模型，以及其他体外三维器官模型。
在显微图像中定期观察类器官等体外三维器官模型以获得形态或者生长特征是器官药物筛选的必要条件。然而对体外三维器官模型进行筛选既困难又耗时（仅依靠少数几何参数和模糊的形态特征）或细胞计数（类器官是细胞复合体，很难得到精确的细胞数量），且相关技术中体外三维器官模型的识别过程对于用户而言不便捷且灵活性较差，因此相关技术中相关技术中体外三维器官模型的识别过程存在一定的局限性。
发明内容
本申请实施例提供了一种体外三维器官模型的交互识别方法、装置、存储介质及电子设备，进而可以解决相关技术中体外三维器官模型的识别过程中的局限性，所述技术方案如下：
第一方面，本申请实施例提供了一种体外三维器官模型的交互识别方法，所述方法包括：
获取用户所上传的器官模型图像；
响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；和/或，响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
第二方面，本申请实施例提供了一种体外三维器官模型的交互识别装置，所述装置包括：
图像获取模块，用于获取用户所上传的器官模型图像；
交互识别模块，用于响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
所述交互识别模块，用于响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；和/或，响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
识别输出模块，用于基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请一个或多个实施例中，交互识别装置响应于用户的自动识别操作，基于器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，以及可以响应于用户的框选识别操作在器官模型图像上确定目标框选区域进行器官模型框选识别得到第二器官模型识别结果，第二器官模型识别结果包括至少一个标记于目标框选区域上的器官识别轮廓；以及可以响应于用户所输入的器官标记操作，在器官模型图像上确定标记器官区域信息以生成第三器官模型识别结果，基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息。整个对体外三维器官模型的识别过程可基于自动识别、框选识别等多种方式进行器官模型分割，同时识别结果对传统的框体标记进行优化引入了器官模型轮廓形式，提高了器官模型识别的显示效果，且整个模型识别过程充分与用户进行交互，交互识别过程更为便捷且灵活性更高，以及提升了体外三维器官模型的识别准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种体外三维器官模型的交互识别系统示意图；
图2是本申请实施例提供的一种体外三维器官模型的交互识别的流程示意图；
图3是本申请实施例提供的另一种体外三维器官模型的交互识别的场景示意图；
图4是本申请实施例提供的一种交互式分割的场景示意图；
图5是本申请实施例提供的一种结果展示的界面示意图;
图6是本申请实施例提供的一种器官模型自动识别的流程示意图；
图7是本申请实施例提供的一种器官模型图像分割模型的模型结构示意图；
图8是本申请实施例提供的一种器官模型识别的场景示意图；
图9是本申请实施例提供的一种体外三维器官模型的交互识别装置的结构示意图；
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、 “第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括成像设备（如图1中所示显微镜设备101、照相机102和便携式计算机103中的一种或多种，当然也可以是手机等等，只要是能够成像的设备均可以）、网络104和服务器105。网络104用以在成像设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的成像设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的成像设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用成像设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如用户利用成像设备103（也可以是成像设备101或102）向服务器105上传器官模型图像，服务器105可以响应于所述用户在成像设备所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
可选的，可以响应于所述用户在成像设备所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；
可选的，可以响应于所述用户在成像设备所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果，基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
需要说明的是，本申请实施例所提供的体外三维器官模型的交互识别方法可以由服务器105执行，相应地，图像识别装置一般设置于服务器105中。但是，在本申请的其它实施例中，成像设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的图像识别的方案。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中，特提出了一种体外三维器官模型的交互识别方法，如图2所示，图2是一种体外三维器官模型的交互识别的流程示意图，图3是一种体外三维器官模型的交互识别的场景示意图，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的体外三维器官模型的交互识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。所述体外三维器官模型的交互识别装置可以为成像设备，也可以是服务器。
具体的，结合图2和图3所示，该体外三维器官模型的交互识别方法包括：
S102：获取用户所上传的器官模型图像；
可选的，用户上传器官模型图像后可以先进行图像预处理，得到图像预处理后的器官模型图像；具体图像预处理可以是对输入图像进行预处理操作。预处理操作通常包括将图像调整到模型指定的输入尺寸、归一化处理、通道顺序调整等操作。
S104：响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
自动识别（也可称之为自动分割）操作可以理解为用户在设备上针对所上传的一个或多个器官模型图像所触发的自动器官模型分割操作，基于该自动识别操作，交互识别装置基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果。
可选的，对器官模型图像进行预处理后，可以将器官模型图像输入器官模型图像分割模型，由器官模型图像分割模型进行器官模型自动识别处理，得到对应的第一器官模型识别结果，第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓。
在一种可行的实施方式中，在执行所述基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果之前，可以向进行加载与预热模型操作，例如：加载预先训练好的器官模型图像分割模型，判断交互识别装置是否有GPU并采用GPU加速,并模拟一张模拟器官模型图像（可以是一种虚拟图像，可以是预设的模拟器官模型图像）送入器官模型图像分割模型进行推理，从而预热器官模型图像分割模型，提高后续推理的速度。
示例性的，器官模型图像分割模型采用已标注器官模型识别结果标签的样本器官模型图像对基础及其学习模型进行模型训练得到。
以下对器官模型图像分割模型的模型训练过程进行释义，如下：
模型创建：基于机器学习模型创建针对器官模型图像分割场景的初始器官模型图像分割模型；
样本数据获取：获取大量样本器官模型图像，样本器官模型图像的来源可以是公网、数据库等；
样本数据标注：基于器官模型图像分割场景的需求引入专家端服务由人工对样本数据（样本器官模型图像）标注对应的器官模型识别结果标签。
模型训练过程：将样本器官模型图像输入初始器官模型图像分割模型进行至少一轮模型训练，得到预测器官模型识别结果，基于预测器官模型识别结果和器官模型识别结果标签采用模型损失函数确定模型损失值，基于该模型损失值对初始器官模型图像分割模型进行模型参数调整，直至满足模型训练结束条件得到器官模型图像分割模型。
可选的，模型的模型结束训练条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。具体模型结束训练条件可基于实际情况确定，此处不作具体限定。
可选的，模型损失函数可以是合页损失函数、交叉熵损失函数、特征向量距离损失函数等；
需要说明的是，本说明书一个或多个实施例所涉及的机器学习模型包括但不限于卷积神经网络（Convolutional Neural Network，CNN）模型，深度神经网络（Deep NeuralNetwork，DNN）模型、循环神经网络（Recurrent Neural Networks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树（Gradient Boosting Decision Tree，GBDT）模型、逻辑回归（Logistic Regression，LR）模型，快速分割一切模型（Fast SAM模型）等机器学习模型中的一种或多种的拟合；
S106：响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；
示意性的，交互识别装置可支持框选识别（也可称之为框选分割）功能，如图4所示，图4是一种交互式分割的场景示意图，在图5所示的界面中，交互识别装置基于器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果之后，界面中在器官模型图像上展示了第一器官模型识别结果，进一步的，用户监督自动分割的准确性。具体的是，用户来判断第一器官模型识别结果中是否存在器官模型错误标记，漏标，标记不准确等情形（所有的轮廓都是可删可改的，每个坐标点都是可移动的），进一步的，用户可在交互识别装置上述输入框选识别操作，例如，用户可在图4所示的界面中点击“交互式分割按钮”在器官模型图像上框选出需要识别的目标框选区域，目标框选区域可以是如图4中黑色虚线框所示的区域，在器官模型图像上确定目标框选区域之后，可以对目标框选区域进行器官模型框选识别得到第二器官模型识别结果，第二器官模型识别结果包括至少一个标记于目标框选区域上的器官识别轮廓。
S108：响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
示意性的，进一步的，用户监督自动分割的准确性。如遇到困难样本，用户可以使用人工标记的方式输入器官标记操作，在器官模型图像上通过器官标记操作标记器官模型所在区域，以此得到标记器官区域信息，此时交互识别装置自动记录标记器官区域信息，从而得到包含标记器官区域信息的第三器官模型识别结果，例如，交互识别装置可以将标记器官区域信息与当前所展示的器官模型识别结果进行融合，从而生成第三器官模型识别结果。
需要说明的是，“S108：响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果”与“S106：响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果”的执行顺序可以不分先后，也可以基于实际应用环境下用户的实际操作是仅执行S108与S106中的其一。
S110：基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
在一种可行的实施方式中，可以获取器官模型显示参数信息，以器官模型显示参数信息为参考，基于器官模型识别结果在器官模型图像绘制每个器官识别轮廓对应器官模型对象以及标记所述器官模型对象的器官模型序号；
示意性的，基于实际应用环境下用户的实际操作，交互识别装置所确定的器官模型识别结果可以是第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一；交互识别装置基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息；
示意性的，器官模型识别输出图像是交互识别装置对器官模型图像的最终器官模型图像分割的输出结果，通常可以是基于器官模型识别结果将所分割出的器官模型轮廓绘制在原始器官模型图像上，然后对每个器官模型轮廓进行标记，例如如图5所示，图5是一种结果展示的界面示意图，在图5基于器官模型识别结果将所分割出的器官模型轮廓绘制在原始器官模型图像上，然后对每个器官模型轮廓进行标记，在每个器官模型轮廓中心点绘制标记出了相应器官模型的序号。
可选的，器官模型显示参数信息可以是预先设置好的；
可选的，响应于用户所输入的显示参数设置操作，交互识别装置确定器官模型显示参数信息；例如，用户输入的显示参数设置操作可以设置器官模型数据以像素为单位还是以真实大小为单位，以及输出结果是否需要按照面积进行排序，并显示相应的序号。
在一种可行的实施方式中，可以获取器官形态参数类型信息，以所述器官形态参数类型信息为参考，基于器官模型识别结果计算每个器官识别轮廓对应器官模型对象的器官模型形态参数信息，展示所述器官模型形态参数信息。
示意性的，器官模型形态参数信息是基于器官模型识别结果将所分割出的器官模型轮廓进行解析得到每个器官模型轮廓的器官模型形态参数信息，展示器官模型形态参数信息，器官模型形态参数信息可以是器官模型的面积、周长、中心点坐标、冗余周长、多尺度熵指数、圆度等形态参数中的一种或多种的拟合。如图5所示，图5是一种结果展示的界面示意图，在图5所示的器官模型识别结果展示界面中包含数据输出栏，数据输出栏展示了每个器官模型轮廓的器官模型形态参数信息，例如面积、周长等形态参数，用户可通过数据输出栏直观观察到每个识别出的已标号的器官模型的诸如面积、周长等形态参数；
可选的，器官形态参数类型信息可以是预先设置好的；
可选的，响应于用户所输入的输出形态参数类型设置操作，交互识别装置确定器官形态参数类型信息。
在本说明书一个或多个实施例中，整个对体外三维器官模型的识别过程可基于自动识别、框选识别等多种方式进行器官模型分割，同时识别结果对传统的框体标记进行优化引入了器官模型轮廓形式，提高了器官模型识别的显示效果，且整个模型识别过程充分与用户进行交互，交互识别过程更为便捷且灵活性更高，以及提升了体外三维器官模型的识别准确度，以及采用了交互式分割方式，可以让用户自定义导入想要的识别图像，勾选想要分析的参数，提供了多种输出形态计量形式，能够直观的看到图像分割的结果和每一个类器官的数据。
具体的，在一些实施例中，步骤“基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果”的具体实施方式可以参阅图6，图6是一种器官模型自动识别的流程示意图。
S202：将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到器官模型分割结果，其中，所述器官模型分割结果包括至少一个标记于所述器官模型图像上的器官识别框；
示意性的，器官识别框在器官模型分割结果中针对器官模型图像对应有本次图像分割的器官分割掩码图像，器官分割掩码图像通常在展示环节可以加载在器官模型图像上，以便用户直观看到本次器官模型分割结果；
示例性的，所述器官模型图像分割模型为在体外三维器官模型场景下采用快速分割一切模型训练得到，如图7所示，图7是一种器官模型图像分割模型的模型结构示意图，所述器官模型图像分割模型包括CloFormer注意力模块、平均池化模块以及分类器模块，所述CloFormer注意力模块包括一个卷积主干（例如CONV stem）和四个stage模块，每个stage模块包括Cloblock层与ConvFFN层；
示意性的，将CloFormer注意力模块引入到器官模型图像分割模型并进行体外三维器官模型场景下的应用，以提升模型在识别器官模型方面的能力。CloFormer是一个轻量级的视觉模块，其结构如图7所示，该模型包含多个阶段，分别为 Clo Block层、ConvFFN层、convolution stem卷积主干。输入图像首先经过conv stem来获得图像token。然后经过一系列的Clo Block和ConvFFN进行提取器官模型图像特征，最后使用全局平均池化和全连接层得到最终的预测结果，也即初始器官模型识别结果；
进一步的，CloFormer注意力模块中的Clo块是其重要的组成。每个 Clo Block块包含全局分支和局部分支。全局分支主要使用注意力机制，并采用下采样减少K和V的计算量，从而更好的捕获全局低频信息。局部分支则能够有效地融合共享权重和上下文感知权重，以聚合高频局部信息。最后，则将全局特征和局部特征合并起来，使用MLP得到最终的输出。此外，为了能局部信息融入前馈神经网络中，采用ConvFFN在 GELU 激活函数之后使用了深度卷积（DWconv），从而使 ConvFFN 能够聚合局部信息。
可以理解的，所述将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到初始器官模型识别结果，采用下述方式：
将所述器官模型图像输入器官模型图像分割模型，通过所述CloFormer注意力模块的所述卷积主干传递以获取图像token，将所述图像token经历四个Cloblock层与ConvFFN层进行图像特征提取得到器官模型图像特征，基于所述平均池化模块以及所述分类器模块对器官模型图像特征进行器官模型预测处理，得到初始器官模型识别结果。
图像token在相关技术中可理解为图像处理领域中的一个特定的编码单元（可以是像素），用于表示图像中的语义信息或特征。
S204：基于所述器官识别框进行器官模型轮廓转换得到第一器官模型识别结果。
在一种可行的实施方式中，将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到器官模型分割结果之后，可以执行非极大值抑制步骤和仿射变化步骤，如下：
非极大值抑制步骤：器官模型图像分割模型在器官模型对象检测的过程中在同一器官模型对象的位置上可能会产生大量的候选框，这些候选框相互之间可能会有重叠，可以对这些器官识别框进行非极大值抑制找到最佳的目标边界框，消除冗余的边界框，从而保留最正确的器官识别框。
仿射变化步骤：由于送入器官模型图像分割模型中的图像尺寸比较大一般需要将其缩放，如从（2448×2048）图像尺寸缩放到（1024×1024）图像尺寸，并且器官模型图像分割模型推理得到的结果也是1024×1024大小，因此需要仿射变换，主要将推理得到的结果的填充图像裁减掉（由于俩者图像尺寸不一样，因此需要对原始图像进行边缘填充，然后在等比例缩放至目标大小，反向则同理，这里得到的大小1024×856）。
具体的，执行基于所述器官识别框进行器官模型轮廓转换得到第一器官模型识别结果可以视作是掩码转为轮廓的过程。
在一种可行的实施方式中，可以采用下述方式：
A2：基于所述器官模型分割结果获取所述器官识别框对应的器官分割掩码图像，对所述器官分割掩码图像进行阈值分割处理得到器官掩码图像，对所述器官掩码图像进行边缘轮廓检索处理得到初始器官轮廓；
A4：确定所有所述初始器官轮廓的器官轮廓点，计算两两器官轮廓点的器官轮廓点距离，基于器官轮廓点距离对所述器官轮廓点进行轮廓点筛选处理得到目标器官轮廓点；
A6：基于所述目标器官轮廓点在所述器官分割掩码图像上标记至少一个器官识别轮廓，以生成第一器官模型识别结果；
示意性的，模型推理得到的结果形状是（N，X，Y）。N表示类器官的个数，也就是每一张器官分割掩码图像代表一个器官模型，X，Y表示器官分割掩码图像的图像尺寸，例如（1024, 856）；
示意性的，通过阈值分割处理和opencv库函数进行边缘轮廓检索处理对所述器官掩码图像进行边缘轮廓检索处理得到初始器官轮廓，从而找到器官分割掩码图像上每个器官识别框中器官模型对象的初始器官轮廓，由于轮廓点之间相邻很近，导致一个器官模型对象有非常多个边缘点，因此这里采用距离函数进行过滤，只保留关键和重要的轮廓点，从而避免存储大量数据。也即确定所有所述初始器官轮廓的器官轮廓点，计算两两器官轮廓点的器官轮廓点距离，基于器官轮廓点距离对所述器官轮廓点进行轮廓点筛选处理得到目标器官轮廓点，可以设置轮廓点筛选阈值使用轮廓点筛选阈值进行轮廓点筛选处理，假设轮廓点筛选阈值为5，从某一器官轮廓点开始计算相邻边缘点之间的器官轮廓点距离，如果器官轮廓点距离大于轮廓点筛选阈值5，则将其视为轮廓点并保留目标轮廓点，在以该目标轮廓点计算下一相邻轮廓点之间的器官轮廓点距离，以此类推，直至完成轮廓点筛选处理得到所有目标器官轮廓点。
可选的，保留下来的目标器官轮廓点可以乘以相应的放大比例系数，以便在原始图像（如2448×2048）中正确的显示出来。
示意性的，然后基于目标器官轮廓点在器官分割掩码图像上标记至少一个器官识别轮廓，以生成第一器官模型识别结果。
具体的，在一些实施例中，步骤“对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果”的具体实施方式可以参阅下述方式。
S3002：采用GrabCut图像分割算法基于目标框选区域训练器官模型对象和背景的高斯模型；
S3004：采用所述高斯模型对所述器官模型图像进行针对器官模型图像分割任务的至少一轮迭代训练，直至所述高斯模型完成迭代训练得到第二器官模型识别结果。
示意性的，在本说明书中对于器官模型框选识别引入GrabCut图像分割算法并具体应用到器官模型识别场景下得到了类器官框选分割的算法。可以有效帮助用户分割器官模型目标，响应更快。
示意性的，如图8所示，图8是一种器官模型识别的场景示意图，用户从原始器官模型图像中框选出了一个目标框选区域，通常采用RGB颜色空间，分别用一个K个高斯分量（如K=5）的全协方差GMM（混合高斯模型）来对器官模型目标和背景进行建模。于是就存在一个额外的向量k = {k1, . . ., kn, . . ., kN}，其中kn就是第n个像素对应于哪个高斯分量，kn∈ {1, . . . K}。对于每个像素，要不来自于器官模型目标GMM的某个高斯分量，要不就来自于背景GMM的某个高斯分量。通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，描述器官模型目标的GMM和描述背景的GMM的这三个参数（高斯分量的权重、每个高斯分量的均值向量和协方差矩阵）都需要学习确定。一旦确定了这三个参数，可确定一个像素的RGB颜色值之后，就可以代入目标的GMM和背景的GMM，就可以得到该像素分别属于目标和背景的概率；
其主要算法步骤如下：
迭代损失最小，每次迭代过程都使得对器官模型目标和背景建模的GMM的参数更优，使得图像分割更优。
初始化
（1）用户通过直接框选目标来得到一个初始的目标框选区域T，通常将T外的像素全部作为背景像素（TB），而T方框内（TU）的像素全部作为“可能是器官模型目标”的像素。
（2）对背景像素集合（TB）内的每一像素n，初始化像素n的标签an=0，即为背景像素；而对TU内的每个像素n，初始化像素n的标签αn=1，即作为“可能是目标”的像素。
（3）经过上面两个步骤，可以分别得到属于目标（αn=1）的一些像素，剩下的为属于背景（αn=0）的像素，可以通过这个像素来估计器官模型目标和背景的GMM了。诸如可以通过k-mean算法分别把属于目标和背景的像素聚类为K类，即GMM中的K个高斯模型，这时候GMM中每个高斯模型就具有了一些像素样本集，其参数均值和协方差就可以通过RGB值估计得到，而该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。
迭代训练最小化
（1）对每个像素分配GMM中的高斯分量（例如像素n是器官模型目标像素，那么把像素n的RGB值代入目标GMM中的每一个高斯分量中，概率最大的那个就是最有可能生成n的，也即像素n的第kn个高斯分量）：
（2）对于给定的图像数据Z，学习优化GMM的参数（因为在步骤（1）中为每个像素归为哪个高斯分量做了归类，那么每个高斯模型就具有了一些像素样本集，这时候它的参数均值和协方差就可以通过这些像素样本的RGB值估计得到，而该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定；
（3）分割估计，虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都与一个背景后前景节点相连接；基于虚拟边与周边像素颜色的相似性，确定每条边属于器官模型目标或背景的概率，主要是基于该像素与周边像素颜色上的相似性(权重)；在节点完成连接后，根据节点连接的权重的最小损失函数，切断它们之间的边，这样就能将图像前景和背景区分开，完成一轮分割估计；
（4）重复步骤（1）到（3），直到收敛。经过（3）的分割后，每个像素属于器官目标GMM还是背景GMM就变了，所以每个像素的kn就变了，故GMM也变了，所以每次的迭代会交互地优化GMM模型和分割结果。另外，因为步骤（1）到（3）的过程都是能量递减的过程，所以可以保证迭代过程会收敛。
（5）采用border matting对分割的边界进行平滑等等后期处理，得到了第二器官模型识别结果。
在本说明书一个或多个实施例中，采用上述方式实现了框选分割功能，可以实现对单个器官模型进行半自动的框选分割，其可以作为自动分割的不错。大大地提高结果的可靠性，弥补了自动分割存在误差的问题。
具体的，在一些实施例中，所述体外三维器官模型的交互识别方法还包括以下步骤：
在一种可行的实施方式中，响应于用户所输入的识别配置操作，确定器官模型识别配置参数，基于所述器官模型识别配置参数对器官模型图像分割模型进行配置，其中，所述器官模型识别配置参数包括器官模型置信度、器官模型交并比、器官模型分割精度、器官模型重叠比阈值中的至少一种；
示意性的，识别配置操作可以用于用户交互式调节模型输入参数与模型推理。具体的是，用户通过输入识别配置操作选择合适的器官模型识别配置参数，例如置信度（模型认为该目标为器官模型的概率阈值，小于该阈值的将被过滤）、交并比（两个器官模型面积之间的交与并的比值，大于该比值的目标将被过滤）、分割精度等级（调节输入图像大小，从而提高分割精度）、重叠比阈值，基于所述器官模型识别配置参数对器官模型图像分割模型进行配置之后，可以执行“响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果”的步骤，通过识别配置操作用户可以交互设置器官模型识别配置参数，提高了识别过程中的交互程度；
在一种可行的实施方式中，响应于用户针对器官模型识别结果所输入的轮廓修改操作，基于所述轮廓修改操作在所述器官掩码图像中对所述器官模型识别结果进行轮廓点修改，得到修改之后的所述器官模型识别结果；
示意性的，交互识别装置确定器官模型识别结果之后，会展现在器官模型图像上展示器官模型识别结果，被识别为器官模型的区域会标记器官模型轮廓，器官模型轮廓是有多个器官模型轮廓点组成，所有的轮廓点都是可删可改的，每个器官模型轮廓点都是可移动的，用户监督本次器官模型分割的准确性。用户来判断是否存在器官模型错误标记，漏标，标记不准确等情形，用户通过针对器官模型识别结果所输入的轮廓修改操作，交互识别装置基于轮廓修改操作在器官掩码图像中对所述器官模型识别结果进行轮廓点修改，可以得到修改之后的所述器官模型识别结果。
本说明书一个或多个实施例中引入了分割轮廓。在完成自动识别、框选识别、手工标记等至少其一之后，并不是直接生成结果，而是先生成轮廓，每个轮廓都是用户可以调节的，可以删除可以增加，增强了体外三维器官模型的交互识别的灵活性。
下面将结合图9，对本申请实施例提供的体外三维器官模型的交互识别装置进行详细介绍。需要说明的是，图9所示的体外三维器官模型的交互识别装置，用于执行本申请图1~图8所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1~图7所示的实施例。
请参见图9，其示出本申请实施例的体外三维器官模型的交互识别装置的结构示意图。该体外三维器官模型的交互识别装置1可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。根据一些实施例，该体外三维器官模型的交互识别装置1包括体外三维器官模型的交互识别模块11、体外三维器官模型的交互识别模块12和体外三维器官模型的交互识别模块13，具体用于：
图像获取模块11，用于获取用户所上传的器官模型图像；
交互识别模块12，用于响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
所述交互识别模块12，用于响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；和/或，响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
识别输出模块13，用于基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
可选的，所述交互识别模块12，用于：
将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到器官模型分割结果，其中，所述器官模型分割结果包括至少一个标记于所述器官模型图像上的器官识别框；
基于所述器官识别框进行器官模型轮廓转换得到第一器官模型识别结果。
可选的，所述器官模型图像分割模型为在体外三维器官模型场景下采用快速分割一切模型训练得到，所述器官模型图像分割模型包括CloFormer注意力模块、平均池化模块以及分类器模块，所述CloFormer注意力模块包括一个卷积主干和四个stage模块，每个stage模块包括Cloblock层与ConvFFN层；
所述交互识别模块12，用于：
将所述器官模型图像输入器官模型图像分割模型，通过所述CloFormer注意力模块的所述卷积主干传递以获取图像token，将所述图像token经历四个Cloblock层与ConvFFN层进行图像特征提取得到器官模型图像特征，基于所述平均池化模块以及所述分类器模块对器官模型图像特征进行器官模型预测处理，得到初始器官模型识别结果。
可选的，所述交互识别模块12，用于：
基于所述器官模型分割结果获取所述器官识别框对应的器官分割掩码图像，对所述器官分割掩码图像进行阈值分割处理得到器官掩码图像，对所述器官掩码图像进行边缘轮廓检索处理得到初始器官轮廓；
确定所有所述初始器官轮廓的器官轮廓点，计算两两器官轮廓点的器官轮廓点距离，基于器官轮廓点距离对所述器官轮廓点进行轮廓点筛选处理得到目标器官轮廓点；
基于所述目标器官轮廓点在所述器官分割掩码图像上标记至少一个器官识别轮廓，以生成第一器官模型识别结果。
可选的，所述交互识别模块12，用于：
采用GrabCut图像分割算法基于目标框选区域训练器官模型对象和背景的高斯模型；
采用所述高斯模型对所述器官模型图像进行针对器官模型图像分割任务的至少一轮迭代训练，直至所述高斯模型完成迭代训练得到第二器官模型识别结果。
可选的，所述装置1，还用于：
响应于用户所输入的识别配置操作，确定器官模型识别配置参数，基于所述器官模型识别配置参数对器官模型图像分割模型进行配置，其中，所述器官模型识别配置参数包括器官模型置信度、器官模型交并比、器官模型分割精度、器官模型重叠比阈值中的至少一种；和/或，
响应于用户针对器官模型识别结果所输入的轮廓修改操作，基于所述轮廓修改操作在所述器官掩码图像中对所述器官模型识别结果进行轮廓点修改，得到修改之后的所述器官模型识别结果；和/或，
响应于用户所输入的显示参数设置操作，确定器官模型显示参数信息；和/或，
响应于用户所输入的输出形态参数类型设置操作，确定器官形态参数类型信息。
可选的，所述基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，包括：
获取器官模型显示参数信息，以所述器官模型显示参数信息为参考，基于器官模型识别结果在所述器官模型图像绘制每个器官识别轮廓对应器官模型对象以及标记所述器官模型对象的器官模型序号；
获取器官形态参数类型信息，以所述器官形态参数类型信息为参考，基于器官模型识别结果计算每个器官识别轮廓对应器官模型对象的器官模型形态参数信息，展示所述器官模型形态参数信息。
需要说明的是，上述实施例提供的体外三维器官模型的交互识别装置在执行体外三维器官模型的交互识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的体外三维器官模型的交互识别装置与体外三维器官模型的交互识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1~图8所示实施例的所述体外三维器官模型的交互识别方法，具体执行过程可以参见图1~图8所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1~图8所示实施例的所述体外三维器官模型的交互识别方法，具体执行过程可以参见图1~图8所示实施例的具体说明，在此不进行赘述。
图10是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图10示出的电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统包括中央处理单元（Central Processing Unit，CPU）1801，其可以根据存储在只读存储器（Read-Only Memory，ROM）1802中的程序或者从存储部分1808加载到随机访问存储器（Random Access Memory，RAM）1803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1803中，还存储有系统操作所需的各种程序和数据。CPU 1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出（Input /Output，I/O）接口1805也连接至总线1804。
以下部件连接至I/O接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1807；包括硬盘等的存储部分1808；以及包括诸如LAN（Local AreaNetwork，局域网）卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至I/O接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元（CPU）1801执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种体外三维器官模型的交互识别方法，其特征在于，所述方法包括：
获取用户所上传的器官模型图像；
响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；和/或，响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
2.根据权利要求1所述的方法，其特征在于，所述基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，包括：
将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到器官模型分割结果，其中，所述器官模型分割结果包括至少一个标记于所述器官模型图像上的器官识别框；
基于所述器官识别框进行器官模型轮廓转换得到第一器官模型识别结果。
3.根据权利要求2所述的方法，其特征在于，所述器官模型图像分割模型为在体外三维器官模型场景下采用快速分割一切模型训练得到，所述器官模型图像分割模型包括CloFormer注意力模块、平均池化模块以及分类器模块，所述CloFormer注意力模块包括一个卷积主干和四个stage模块，每个stage模块包括Cloblock层与ConvFFN层；
所述将所述器官模型图像输入器官模型图像分割模型中进行器官模型自动分割得到初始器官模型识别结果，包括：
将所述器官模型图像输入器官模型图像分割模型，通过所述CloFormer注意力模块的所述卷积主干传递以获取图像token，将所述图像token经历四个Cloblock层与ConvFFN层进行图像特征提取得到器官模型图像特征，基于所述平均池化模块以及所述分类器模块对器官模型图像特征进行器官模型预测处理，得到初始器官模型识别结果。
4.根据权利要求2所述的方法，其特征在于，所述基于所述器官识别框进行器官模型轮廓转换得到第一器官模型识别结果，包括：
基于所述器官模型分割结果获取所述器官识别框对应的器官分割掩码图像，对所述器官分割掩码图像进行阈值分割处理得到器官掩码图像，对所述器官掩码图像进行边缘轮廓检索处理得到初始器官轮廓；
确定所有所述初始器官轮廓的器官轮廓点，计算两两器官轮廓点的器官轮廓点距离，基于器官轮廓点距离对所述器官轮廓点进行轮廓点筛选处理得到目标器官轮廓点；
基于所述目标器官轮廓点在所述器官分割掩码图像上标记至少一个器官识别轮廓，以生成第一器官模型识别结果。
5.根据权利要求1所述的方法，其特征在于，所述对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，包括：
采用GrabCut图像分割算法基于目标框选区域训练器官模型对象和背景的高斯模型；
采用所述高斯模型对所述器官模型图像进行针对器官模型图像分割任务的至少一轮迭代训练，直至所述高斯模型完成迭代训练得到第二器官模型识别结果。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于用户所输入的识别配置操作，确定器官模型识别配置参数，基于所述器官模型识别配置参数对器官模型图像分割模型进行配置，其中，所述器官模型识别配置参数包括器官模型置信度、器官模型交并比、器官模型分割精度、器官模型重叠比阈值中的至少一种；和/或，
响应于用户针对器官模型识别结果所输入的轮廓修改操作，基于所述轮廓修改操作在器官掩码图像中对所述器官模型识别结果进行轮廓点修改，得到修改之后的所述器官模型识别结果；和/或，
响应于用户所输入的显示参数设置操作，确定器官模型显示参数信息；和/或，
响应于用户所输入的输出形态参数类型设置操作，确定器官形态参数类型信息。
7.根据权利要求1所述的方法，其特征在于，所述基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，包括：
获取器官模型显示参数信息，以所述器官模型显示参数信息为参考，基于器官模型识别结果在所述器官模型图像绘制每个器官识别轮廓对应器官模型对象以及标记所述器官模型对象的器官模型序号；
获取器官形态参数类型信息，以所述器官形态参数类型信息为参考，基于器官模型识别结果计算每个器官识别轮廓对应器官模型对象的器官模型形态参数信息，展示所述器官模型形态参数信息。
8.一种体外三维器官模型的交互识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取用户所上传的器官模型图像；
交互识别模块，用于响应于所述用户所输入的自动识别操作，基于所述器官模型图像采用器官模型图像分割模型进行器官模型自动识别得到第一器官模型识别结果，所述第一器官模型识别结果包括至少一个标记于所述器官模型图像上的器官识别轮廓；
所述交互识别模块，用于响应于所述用户所输入的框选识别操作，在所述器官模型图像上确定目标框选区域，对所述目标框选区域进行器官模型框选识别得到第二器官模型识别结果，所述第二器官模型识别结果包括至少一个标记于所述目标框选区域上的器官识别轮廓；和/或，响应于所述用户所输入的器官标记操作，在所述器官模型图像上确定标记器官区域信息，基于所述标记器官区域信息生成第三器官模型识别结果；
识别输出模块，用于基于器官模型识别结果确定针对器官模型图像的器官模型识别输出图像和器官模型形态参数信息，所述器官模型识别结果包括第一器官模型识别结果、第二器官模型识别结果以及第三器官模型识别结果中的至少其一。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1~7任意一项的所述方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的所述方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410548771.8A CN118135556B (zh) | 2024-05-06 | 交互识别方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410548771.8A CN118135556B (zh) | 2024-05-06 | 交互识别方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135556A true CN118135556A (zh) | 2024-06-04 |
| CN118135556B CN118135556B (zh) | 2024-10-25 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640120A (zh) * | 2020-04-09 | 2020-09-08 | 之江实验室 | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 |
| CN112465827A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 |
| KR20210080244A (ko) * | 2019-12-20 | 2021-06-30 | (주)시안솔루션 | 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법 |
| US20210248747A1 (en) * | 2020-02-11 | 2021-08-12 | DeepVoxel, Inc. | Organs at risk auto-contouring system and methods |
| US20220414402A1 (en) * | 2021-06-28 | 2022-12-29 | Varian Medical Systems, Inc. | Automatic localized evaluation of contours with visual feedback |
| CN116128887A (zh) * | 2021-11-08 | 2023-05-16 | 上海微创卜算子医疗科技有限公司 | 目标器官组织感兴趣区域定位方法、电子设备和存储介质 |
| CN116167990A (zh) * | 2023-01-28 | 2023-05-26 | 阿里巴巴（中国）有限公司 | 基于图像的目标识别、神经网络模型处理方法 |
| CN116596937A (zh) * | 2023-07-19 | 2023-08-15 | 南京星罗基因科技有限公司 | 一种鸡头部器官各参数的检测方法 |
| CN116883341A (zh) * | 2023-07-03 | 2023-10-13 | 桂林电子科技大学 | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210080244A (ko) * | 2019-12-20 | 2021-06-30 | (주)시안솔루션 | 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법 |
| US20210248747A1 (en) * | 2020-02-11 | 2021-08-12 | DeepVoxel, Inc. | Organs at risk auto-contouring system and methods |
| CN111640120A (zh) * | 2020-04-09 | 2020-09-08 | 之江实验室 | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 |
| CN112465827A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 |
| US20220414402A1 (en) * | 2021-06-28 | 2022-12-29 | Varian Medical Systems, Inc. | Automatic localized evaluation of contours with visual feedback |
| CN116128887A (zh) * | 2021-11-08 | 2023-05-16 | 上海微创卜算子医疗科技有限公司 | 目标器官组织感兴趣区域定位方法、电子设备和存储介质 |
| CN116167990A (zh) * | 2023-01-28 | 2023-05-26 | 阿里巴巴（中国）有限公司 | 基于图像的目标识别、神经网络模型处理方法 |
| CN116883341A (zh) * | 2023-07-03 | 2023-10-13 | 桂林电子科技大学 | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 |
| CN116596937A (zh) * | 2023-07-19 | 2023-08-15 | 南京星罗基因科技有限公司 | 一种鸡头部器官各参数的检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899245B (zh) | 图像分割、模型的训练方法及装置，电子设备及存储介质 | |
| CN112163634B (zh) | 实例分割模型样本筛选方法、装置、计算机设备及介质 | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN111640120B (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN111369576B (zh) | 图像分割模型的训练方法、图像分割方法、装置及设备 | |
| US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
| Wen et al. | A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization | |
| CN109215032A (zh) | 图像分割的方法及系统 | |
| CN112085714B (zh) | 一种肺结节检测方法、模型训练方法、装置、设备及介质 | |
| CN110298844A (zh) | X光造影图像血管分割与识别方法及装置 | |
| CN111583385B (zh) | 一种可变形数字人解剖学模型的个性化变形方法及系统 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| CN111899244A (zh) | 图像分割、网络模型的训练方法及装置，及电子设备 | |
| CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
| CN117994263A (zh) | 一种基于用户交互的医学图像分割方法、系统和装置 | |
| Kitrungrotsakul et al. | Interactive deep refinement network for medical image segmentation | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN118135556B (zh) | 交互识别方法、装置、存储介质及电子设备 | |
| CN117292217A (zh) | 一种基于对抗生成网络的皮肤分型数据增广方法与系统 | |
| US20230237647A1 (en) | Ai driven longitudinal liver focal lesion analysis | |
| CN118135556A (zh) | 交互识别方法、装置、存储介质及电子设备 | |
| CN110706209B (zh) | 一种网格网络的大脑磁共振图像肿瘤定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |