CN117831030A - 基于多模态的癌症早期器官病变症状智能识别方法 - Google Patents
基于多模态的癌症早期器官病变症状智能识别方法 Download PDFInfo
- Publication number
- CN117831030A CN117831030A CN202311521217.2A CN202311521217A CN117831030A CN 117831030 A CN117831030 A CN 117831030A CN 202311521217 A CN202311521217 A CN 202311521217A CN 117831030 A CN117831030 A CN 117831030A
- Authority
- CN
- China
- Prior art keywords
- cell
- tissue
- morphology
- cancer
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 84
- 201000011510 cancer Diseases 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000000056 organ Anatomy 0.000 title claims abstract description 46
- 208000024891 symptom Diseases 0.000 title claims abstract description 35
- 230000003902 lesion Effects 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 157
- 238000010586 diagram Methods 0.000 claims abstract description 87
- 230000002902 bimodal effect Effects 0.000 claims abstract description 51
- 238000001000 micrograph Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 210000004027 cell Anatomy 0.000 claims description 219
- 210000001519 tissue Anatomy 0.000 claims description 131
- 210000000170 cell membrane Anatomy 0.000 claims description 88
- 210000003855 cell nucleus Anatomy 0.000 claims description 65
- 238000001574 biopsy Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 9
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004904 shortening Methods 0.000 abstract 1
- 230000000120 cytopathologic effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000635 electron micrograph Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本申请涉及一种基于多模态的癌症早期器官病变症状智能识别方法，能够快速通过检测模型对细胞的双模态进行检测，判断双模态是否符合癌症早期的细胞病变形态，若是符合，则标记出符合癌症早期细胞病变形态的所述细胞单元图，根据所标记的所述细胞单元图来快速识别出癌症早期器官病变症状以及具体的部位，能够仅对患者取样下快速智能识别和判断出早期器官病变症状以及具体的部位，可以由智能检测模型快速对图像进行识别，不需要医师进行判断，取得患者的组织电镜图像之后即可进行图像上组织细胞的智能双模态检测，得到癌变识别结果，因此可以缩减传统方式对癌变图像进行处理、识别和判断的时间，节约患者检测时间。
Description
技术领域
本公开涉及智能医疗技术领域，尤其涉及一种基于多模态的癌症早期器官病变症状智能识别方法、装置和电子设备。
背景技术
癌症可以分为1期、2期、3期和4期，表示疾病发展的不同阶段。第三期是肿瘤的中后期。肿瘤的转移和扩散通常发生在晚期患者身上。为了控制肿瘤的转移和扩散，及时治疗。三肿瘤病人处于晚期，无法及时进行抗癌控制。
因此，癌症早期的及时发现，能够为患者尽早进行预防和治疗。而癌症早期诊断是一种专门针对癌症早期患者的诊疗方法，其目的在于早发现早治疗，从而减轻患者痛苦和精神、经济负担。争取通过癌症早期诊断治疗让癌症患者早日康复。
现有癌症早期的检查是影像学检查，通过医师对患者内部器官的组织细胞图像进行对比识别，以此来判断患者的器官组织是否癌变以及病变阶段。从患者挂号、检验到组织细胞图像的癌变识别过程，需要患者花费较多的时间配合检测，而若是患者行动不便，比如患者身体缺陷或者患有其他重症，或者存在较多的癌症检测数据需要等待医师进行查看的情形，则会影响患者的治疗活动、耽搁其检测时间，加重患者的病情和治疗负担。
发明内容
为了解决上述问题，本申请提出一种基于多模态的癌症早期器官病变症状智能识别方法、装置和电子设备。
本申请一方面，提出一种基于多模态的癌症早期器官病变症状智能识别方法，包括如下步骤：
获取活检取样的组织电镜图像；
从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
作为本申请的一可选实施方案，可选地，获取活检取样的组织电镜图像，包括：
对患者活检取样，将取样的活检组织置于预设的电镜扫描环境下进行扫描，获取取样的组织电镜图像；
将所述组织电镜图像上传至后台服务器，并保存在所述后台数据库中。
作为本申请的一可选实施方案，可选地，从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中，包括：
随机在所述组织电镜图像上，标记出一识别区域，作为组织区域图；
对所述组织单元图进行规整处理，得到组织中细胞排列整起的组织单元图；
将所述组织单元图导入图像识别应用中，对所述组织单元图进行遍历，识别并提取所述组织单元图中各个组织细胞的细胞单元图；
按照提取时序，将各个组织细胞的所述细胞单元图从所述图像识别应用中有序输出并保存在后台数据库中。
作为本申请的一可选实施方案，可选地，遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态，包括：
遍历所述后台数据库，按照提取时序，依次对各个所述细胞单元图进行图像识别，识别出所述细胞单元图中的细胞膜和细胞核；
在所述细胞单元图中，对所识别的所述细胞膜和所述细胞核的轮廓分别进行轮廓标记，得到对应的所述细胞膜形态和所述细胞核形态；
将所述细胞单元图中的所述细胞膜形态和所述细胞核形态，分别保存在后台数据库中的第一子数据库和第二子数据库中。
作为本申请的一可选实施方案，可选地，采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果，包括：
在后台服务器上，分别部署识别细胞膜形态的第一形态检测模型和识别细胞核形态的第二形态检测模型，并设置好模型参数；
按照提取时序，同步从所述第一子数据库和所述第二子数据库中，调取出所述细胞单元图上的所述细胞膜形态和所述细胞核形态；
将所述细胞膜形态导入所述第一形态检测模型，经所述第一形态检测模型进行细胞膜形态检测后，输出对应的第一模态检测结果；
将所述细胞核形态导入所述第二形态检测模型，经所述第二形态检测模型进行细胞核形态检测后，输出对应的第二模态检测结果；
将所述第一模态检测结果和所述第二模态检测结果，作为所述细胞单元图的双模态检测结果，输出并保存在后台数据库中。
作为本申请的一可选实施方案，可选地，所述第一形态检测模型的生成方法，包括：
准备癌症早期的细胞膜形态图片集；
将所述细胞膜形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞膜形态的所述第一形态检测模型；
将所述第一形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
作为本申请的一可选实施方案，可选地，所述第二形态检测模型的生成方法，包括：
准备癌症早期的细胞核形态图片集；
将所述细胞核形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞核形态的所述第二形态检测模型；
将所述第二形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
作为本申请的一可选实施方案，可选地，根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图，包括：
根据所述双模态检测结果，判断处于癌症早期器官病变的所述细胞单元图；
在后台服务器上，标记出处于癌症早期器官病变的所述细胞单元图，并将标记出的各个所述细胞单元图通过原路反馈至电镜扫描系统；
在所述电镜扫描系统中显示出由各个处于癌变早期的所述细胞单元图组成癌变早期器官图像。
本申请另一方面，提出一种实现所述基于多模态的癌症早期器官病变症状智能识别方法的装置，包括：
电镜扫描模块，用于获取活检取样的组织电镜图像；
单元图识别模块，用于从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
形态提取模块，用于遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
双模态检测模块，用于采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
标记模块，用于根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于多模态的癌症早期器官病变症状智能识别方法。
本发明的技术效果：
本申请通过对患者活检取样后，获取活检取样的组织电镜图像；从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。能够快速通过检测模型对细胞的双模态进行检测，判断双模态是否符合癌症早期的细胞病变形态，若是符合，则标记出符合癌症早期细胞病变形态的所述细胞单元图，根据所标记的所述细胞单元图来快速识别出癌症早期器官病变症状以及具体的部位，能够仅对患者取样下快速智能识别和判断出早期器官病变症状以及具体的部位，可以由智能检测模型快速对图像进行识别，不需要医师进行判断，取得患者的组织电镜图像之后即可进行图像上组织细胞的智能双模态检测，得到癌变识别结果，因此可以缩减传统方式对癌变图像进行处理、识别和判断的时间，节约患者检测时间。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为病变癌细胞和正常细胞之间的对比示意图；
图2示出为本发明癌症早期器官病变症状的多模态智能识别应用系统示意图；
图3示出为本发明对各个细胞单元图进行双模态识别的处理机制示意图；
图4示出为本发明双模态检测模型的同步检测示意图；
图5示出为本发明电子设备的应用示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
如图1所示，为病变癌细胞和正常细胞之间的对比示意图，可知病变细胞的细胞膜和细胞核的形态皆发生了变化，而早期的形态和晚期等形态又是不同的，因此可以通过一个专门识别早期病变形态的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
对于癌症早期、中期和晚期的器官病变状态，可以参见现有医学上对癌变的示意图。
本实施例采取早期的症状作为癌症早期病变检测的对象，将利用癌症早期的病变细胞图集来训练智能模型，通过生成的癌变早期形态检测模型，对早期癌细胞的双模态进行智能检测，以此来识别出处于癌变早期的细胞，并进一步对其病变器官的病变年龄进行评估。
如图2所示，本申请一方面，提出一种基于多模态的癌症早期器官病变症状智能识别方法，包括如下步骤：
获取活检取样的组织电镜图像；
从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
本方案对胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果。通过检测模型对细胞的双模态进行检测，判断双模态是否符合癌症早期的细胞病变形态，若是符合，则标记出符合癌症早期细胞病变形态的所述细胞单元图，根据所标记的所述细胞单元图来快速识别出癌症早期器官病变症状以及具体的部位，能够仅对患者取样下快速智能识别和判断出早期器官病变症状以及具体的部位，可以由智能检测模型快速对图像进行识别，不需要医师进行判断。
电镜扫描系统与后台之间的通信由具体的电镜系统负责。可以利用遍历算法来遍历后台数据库中的细胞单元图，有序对各个细胞单元图进行细胞形态的识别，从图像中可以对细胞的细胞膜形态以及细胞核形态进行轮廓形态识别，比如采用边缘轮廓检测算法来识别得到各个细胞单元图中的细胞膜形态以及细胞核形态。
在得到两个形态之后，可以利用提前部署的智能检测模型来对两个细胞膜形态进行双模态检测，并输出对应的检测结果。正常细胞的细胞膜形态与细胞核形态，与癌变早期的细胞核形态和细胞膜形态具有不同的变化。
当癌变之后，细胞膜的边界发生变化，如图1所示，细胞核和细胞膜的形态发生形变，可以将癌变后的细胞膜形态与正常细胞膜形态进行对比，通过细胞膜的表面凸起深度、沟壑深度等症状，以此来判别细胞膜形态所处的癌变阶段，细胞核形态的对比同理。
通过细胞膜的形态检测模型和细胞核检测模型来分别对各个细胞单元图中的细胞膜形态和细胞核形态进行在模态检测之后，输出对应的每一个细胞单元图的双模态检测结果，以此来识别并判断当前细胞所处的细胞癌变阶段。在对所有的细胞单元图进行识别和和检测之后，标记出处于癌变早期的细胞单元图，将所有被标记的细胞单元图集合，可以表征该癌变早期的病变器官。
作为本申请的一可选实施方案，可选地，获取活检取样的组织电镜图像，包括：
对患者活检取样，将取样的活检组织置于预设的电镜扫描环境下进行扫描，获取取样的组织电镜图像；
将所述组织电镜图像上传至后台服务器，并保存在所述后台数据库中。
对癌变患者(初次确诊并未进入早期)进行活检取样，并将取样活检组织置于电镜扫描环境下，通过电镜扫描获取该取样组织的细胞显微图像，可以得到各个组织中各个细胞的单元图。该取样显微图像中包含若干个队列布置的细胞单元图，将各个细胞单元图通过图像处理软件进行识别之后，将各个细胞单元图识别出并保存在后台数据库中。
作为本申请的一可选实施方案，可选地，从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中，包括：
随机在所述组织电镜图像上，标记出一识别区域，作为组织区域图；
对所述组织单元图进行规整处理，得到组织中细胞排列整起的组织单元图；
将所述组织单元图导入图像识别应用中，对所述组织单元图进行遍历，识别并提取所述组织单元图中各个组织细胞的细胞单元图；
按照提取时序，将各个组织细胞的所述细胞单元图从所述图像识别应用中有序输出并保存在后台数据库中。
在电镜扫描下，该组织细胞经扫描之后可以得到还有一块组织细胞的电镜图像，该组织图像中包含若干个组织区域，可以对该组织区域进行标记，将其中一块区域作为组织区域图(随机勾画一块出来进行细胞形态分析和检测，避免整体检测导致大量时间)，在该组织区域图上进行图像的预处理：对该组织区域区域进行轮廓处理以及规整处理，使得该组织区域中的细胞排列整齐。将该规整处理之后的组织单元图输入图像识别软件应用中，通过图像识别应用来对该组织单元图进行图像的一系列操作处理比如细胞轮廓识别和细胞单元图的提取。通过对该组织单元图中的每个细胞单元图像进行遍历识别，可以获取该组织单元图中各个细胞单元的单元图像，并进行识别提取得到各个细胞单元的细胞单元图，可以按照细胞单元各个细胞单元图的提取顺序和时间来将所提取到的各个细胞单元图输出并保存在后台数据库中。
作为本申请的一可选实施方案，可选地，遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态，包括：
遍历所述后台数据库，按照提取时序，依次对各个所述细胞单元图进行图像识别，识别出所述细胞单元图中的细胞膜和细胞核；
在所述细胞单元图中，对所识别的所述细胞膜和所述细胞核的轮廓分别进行轮廓标记，得到对应的所述细胞膜形态和所述细胞核形态；
将所述细胞单元图中的所述细胞膜形态和所述细胞核形态，分别保存在后台数据库中的第一子数据库和第二子数据库中。
如图3所示，后台数据库中存储有各个组织细胞的细胞单元图像，对于每个细胞单元图像，其图像中存在该细胞的细胞膜轮廓以及细胞核的形态轮廓，可以对该细胞单元图进行图像识别和处理，比如通过边缘轮廓检测算法等等，对该细胞单元图中的细胞膜形态以及细胞核形态所在的轮廓进行识别并标记，将细胞膜和细胞核所在的轮廓标记出来，该轮廓所包围的区域分别为细胞膜所在的轮廓以及细胞核所在的轮廓。
将该两个轮廓分别标记为细胞膜形态和细胞核形态。该细胞膜形态将用于表征当前细胞处于癌变早期的癌变细胞膜形态，细胞核的形态将用于表征处于癌变早期时的病变细胞核形态。本方案通过对细胞单元图中的两种形态分开保存。在后台数据库中，预设有第一子数据库和第二子数据库，分别保存每个细胞单元图中的细胞膜形态和细胞核形态，对于所有的细胞单元图皆按照上述轮廓识别与标记的方式，得到各自形态，将各自所识别的形态分别保存在第一或者第二子数据库中。
后续在对某个细胞单元图进行双模态检测识别时，将同步从第一子数据库中调取该细胞的细胞膜形态以及从第二子数据库中同步调取该细胞的细胞核形态，在调取两个形态之后同时发送至后台服务器，并输入预先部署在服务器上的智能检测模型中。
作为本申请的一可选实施方案，可选地，采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果，包括：
在后台服务器上，分别部署识别细胞膜形态的第一形态检测模型和识别细胞核形态的第二形态检测模型，并设置好模型参数；
按照提取时序，同步从所述第一子数据库和所述第二子数据库中，调取出所述细胞单元图上的所述细胞膜形态和所述细胞核形态；
将所述细胞膜形态导入所述第一形态检测模型，经所述第一形态检测模型进行细胞膜形态检测后，输出对应的第一模态检测结果；
将所述细胞核形态导入所述第二形态检测模型，经所述第二形态检测模型进行细胞核形态检测后，输出对应的第二模态检测结果；
将所述第一模态检测结果和所述第二模态检测结果，作为所述细胞单元图的双模态检测结果，输出并保存在后台数据库中。
如图4所示，后台服务器上同时部署有识别癌变早期细胞的智能检测模型，识别细胞膜形态的第一形态检测模型，以及识别癌变早期的细胞核心态的第二形态检测模型，两个形态检查模型分别通过癌变早期所对应的细胞轮廓形态图像进行深度学习训练所生成，并部署在后台服务器上，且设置有对应的模型参数，便于进行模型工作，再对细胞膜形态和细胞核形态进行处理和检测，通过该两个形态检测模型分别对细胞膜形态和细胞核形态进行智能检测。
第一形态检测模型，将由处于癌变早期的大量细胞膜形态图片进行训练所生成。训练方法可以采用各种深度学习技术，比如说卷积神经网络等等，本方案不做限定。
在利用检测模型对细胞膜形态进行检测时，可以通过模型中的细胞膜形态参数来对各个细胞图像中的细胞膜形态进行参数检测，并输出对应的细胞膜形态参数检测结果。若是细胞中的细胞膜和细胞核的形态参数与检测模型的形态参数基本一致，则可以认为该细胞处于癌变早期阶段，具体形态参数的上下限值的设定，由后台管理员进行设定。
对于细胞核形态检测，参照上述第一形态检测模型的检测方式。
按照上述方式进行检测，实现双模态的检测，将对应的双模态检测结果输出并保存在后台数据库中，后续可以利用该双模态检查结果来判断当前细胞的形态癌变症状以及预估出的器官组织的癌变早期时间。比如可以结合细胞核以及细胞膜的形态检测结果，从形态参数上来推测出癌变的早期大致时间，比如早期癌变45天，可以结合癌变的衰变形态参数来进行对比评估，具体结合医学上对癌变早期、中期和晚期的器官细胞形态衰变时间表等等，来进行具体的评估。
通过本方式，可以快速输出病人癌变器官的大致时间。
作为本申请的一可选实施方案，可选地，所述第一形态检测模型的生成方法，包括：
准备癌症早期的细胞膜形态图片集；
将所述细胞膜形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞膜形态的所述第一形态检测模型；
将所述第一形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
作为本申请的一可选实施方案，可选地，所述第二形态检测模型的生成方法，包括：
准备癌症早期的细胞核形态图片集；
将所述细胞核形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞核形态的所述第二形态检测模型；
将所述第二形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
上述深度学习技术，本方案不做限定。
作为本申请的一可选实施方案，可选地，根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图，包括：
根据所述双模态检测结果，判断处于癌症早期器官病变的所述细胞单元图；
在后台服务器上，标记出处于癌症早期器官病变的所述细胞单元图，并将标记出的各个所述细胞单元图通过原路反馈至电镜扫描系统；
在所述电镜扫描系统中显示出由各个处于癌变早期的所述细胞单元图组成癌变早期器官图像。
通过检测模型来对细胞的细胞膜形态以及细胞和形态进行智能检测之后，可以判断出各当前细胞是否是处于癌症早期的细胞，若是处于癌症早期，那么就需要将该癌细胞进行标记，通过对组织细胞图像中的各个细胞单元图接皆进行上述判断并标记，可以将处于癌症早期那器官病变的细胞标记出来，并将所标记的各个细胞单元图按照原路反馈至电竞扫描系统，在电竞扫描系统下将所标记的各个细胞显示出来，这样由各个所标记细胞组成的细胞组织甚至器官，将在电竞扫描系统下可视化显示出来。
采用上述区域/单元的图像识别和检测处理方法，可以对患者的整个器官皆按照上述处理方式来处理，对整个器官的各个部位进行识别处理，以此来得到整个器官的早期癌变情况。
因此，本申请能够快速通过检测模型对细胞的双模态进行检测，判断双模态是否符合癌症早期的细胞病变形态，若是符合，则标记出符合癌症早期细胞病变形态的所述细胞单元图，根据所标记的所述细胞单元图来快速识别出癌症早期器官病变症状以及具体的部位，能够仅对患者取样下快速智能识别和判断出早期器官病变症状以及具体的部位，可以由智能检测模型快速对图像进行识别，不需要医师进行判断，取得患者的组织电镜图像之后即可进行图像上组织细胞的智能双模态检测，得到癌变识别结果，因此可以缩减传统方式对癌变图像进行处理、识别和判断的时间，节约患者检测时间。
显然，本领域的技术人员应该明白，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。本领域技术人员可以理解，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例2
基于实施例1的实施原理，本申请另一方面，提出一种实现所述基于多模态的癌症早期器官病变症状智能识别方法的装置，包括：
电镜扫描模块，用于获取活检取样的组织电镜图像；
单元图识别模块，用于从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
形态提取模块，用于遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
双模态检测模块，用于采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
标记模块，用于根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
上述步骤详见实施例1的描述。
上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
如图5所示，更进一步地，本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于多模态的癌症早期器官病变症状智能识别方法。
本公开实施例来电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于多模态的癌症早期器官病变症状智能识别方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的电子设备中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于多模态的癌症早期器官病变症状智能识别方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，包括如下步骤：
获取活检取样的组织电镜图像；
从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
2.根据权利要求1所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，获取活检取样的组织电镜图像，包括：
对患者活检取样，将取样的活检组织置于预设的电镜扫描环境下进行扫描，获取取样的组织电镜图像；
将所述组织电镜图像上传至后台服务器，并保存在所述后台数据库中。
3.根据权利要求2所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中，包括：
随机在所述组织电镜图像上，标记出一识别区域，作为组织区域图；
对所述组织单元图进行规整处理，得到组织中细胞排列整起的组织单元图；
将所述组织单元图导入图像识别应用中，对所述组织单元图进行遍历，识别并提取所述组织单元图中各个组织细胞的细胞单元图；
按照提取时序，将各个组织细胞的所述细胞单元图从所述图像识别应用中有序输出并保存在后台数据库中。
4.根据权利要求1所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态，包括：
遍历所述后台数据库，按照提取时序，依次对各个所述细胞单元图进行图像识别，识别出所述细胞单元图中的细胞膜和细胞核；
在所述细胞单元图中，对所识别的所述细胞膜和所述细胞核的轮廓分别进行轮廓标记，得到对应的所述细胞膜形态和所述细胞核形态；
将所述细胞单元图中的所述细胞膜形态和所述细胞核形态，分别保存在后台数据库中的第一子数据库和第二子数据库中。
5.根据权利要求4所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果，包括：
在后台服务器上，分别部署识别细胞膜形态的第一形态检测模型和识别细胞核形态的第二形态检测模型，并设置好模型参数；
按照提取时序，同步从所述第一子数据库和所述第二子数据库中，调取出所述细胞单元图上的所述细胞膜形态和所述细胞核形态；
将所述细胞膜形态导入所述第一形态检测模型，经所述第一形态检测模型进行细胞膜形态检测后，输出对应的第一模态检测结果；
将所述细胞核形态导入所述第二形态检测模型，经所述第二形态检测模型进行细胞核形态检测后，输出对应的第二模态检测结果；
将所述第一模态检测结果和所述第二模态检测结果，作为所述细胞单元图的双模态检测结果，输出并保存在后台数据库中。
6.根据权利要求5所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，所述第一形态检测模型的生成方法，包括：
准备癌症早期的细胞膜形态图片集；
将所述细胞膜形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞膜形态的所述第一形态检测模型；
将所述第一形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
7.根据权利要求5所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，所述第二形态检测模型的生成方法，包括：
准备癌症早期的细胞核形态图片集；
将所述细胞核形态图片集作为输入，并基于深度学习方法，进行模型训练，得到识别所述细胞核形态的所述第二形态检测模型；
将所述第二形态检测模型部署于后台服务器上，并配置对应的模型性能参数。
8.根据权利要求1所述的一种基于多模态的癌症早期器官病变症状智能识别方法，其特征在于，根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图，包括：
根据所述双模态检测结果，判断处于癌症早期器官病变的所述细胞单元图；
在后台服务器上，标记出处于癌症早期器官病变的所述细胞单元图，并将标记出的各个所述细胞单元图通过原路反馈至电镜扫描系统；
在所述电镜扫描系统中显示出由各个处于癌变早期的所述细胞单元图组成癌变早期器官图像。
9.一种实现权利要求1-8中任一项所述基于多模态的癌症早期器官病变症状智能识别方法的装置，其特征在于，包括：
电镜扫描模块，用于获取活检取样的组织电镜图像；
单元图识别模块，用于从所述组织电镜图像中，识别并提取得到各个组织细胞的细胞单元图，并将各个组织细胞的所述细胞单元图有序输出并保存在后台数据库中；
形态提取模块，用于遍历所述后台数据库中所述细胞单元图，提取并得到各个组织细胞的细胞膜形态和细胞核形态；
双模态检测模块，用于采用预设的智能检测模型，对各个组织细胞的细胞膜形态和细胞核形态进行双模态检测，并输出对应的双模态检测结果；
标记模块，用于根据所述双模态检测结果，识别并标记出处于癌症早期的所述细胞单元图。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1-8中任一项所述的一种基于多模态的癌症早期器官病变症状智能识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521217.2A CN117831030A (zh) | 2023-11-15 | 2023-11-15 | 基于多模态的癌症早期器官病变症状智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521217.2A CN117831030A (zh) | 2023-11-15 | 2023-11-15 | 基于多模态的癌症早期器官病变症状智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117831030A true CN117831030A (zh) | 2024-04-05 |
Family
ID=90521640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311521217.2A Pending CN117831030A (zh) | 2023-11-15 | 2023-11-15 | 基于多模态的癌症早期器官病变症状智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831030A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154509A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN110458835A (zh) * | 2019-08-16 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113989799A (zh) * | 2021-11-02 | 2022-01-28 | 北京智源人工智能研究院 | 一种宫颈异常细胞识别方法、装置和电子设备 |
| CN115100647A (zh) * | 2022-07-29 | 2022-09-23 | 烟台至公生物医药科技有限公司 | 一种宫颈癌细胞的识别方法及装置 |
| CN116664550A (zh) * | 2023-07-10 | 2023-08-29 | 广州医科大学附属第一医院（广州呼吸中心） | 肺癌组织免疫组化pd-l1病理切片的智能识别方法及装置 |
-
2023
- 2023-11-15 CN CN202311521217.2A patent/CN117831030A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154509A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN110458835A (zh) * | 2019-08-16 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113989799A (zh) * | 2021-11-02 | 2022-01-28 | 北京智源人工智能研究院 | 一种宫颈异常细胞识别方法、装置和电子设备 |
| CN115100647A (zh) * | 2022-07-29 | 2022-09-23 | 烟台至公生物医药科技有限公司 | 一种宫颈癌细胞的识别方法及装置 |
| CN116664550A (zh) * | 2023-07-10 | 2023-08-29 | 广州医科大学附属第一医院（广州呼吸中心） | 肺癌组织免疫组化pd-l1病理切片的智能识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Computer-aided diagnosis in histopathological images of the endometrium using a convolutional neural network and attention mechanisms | |
| AU2017292642B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| WO2018155898A1 (en) | Method and apparatus for processing histological image captured by medical imaging device | |
| CN109858540B (zh) | 一种基于多模态融合的医学图像识别系统及方法 | |
| TWI667996B (zh) | 乳房腫瘤輔助檢測模型及乳房腫瘤輔助檢測系統 | |
| CN109670532A (zh) | 生物体器官组织图像的异常识别方法、装置及系统 | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| JP2016531709A (ja) | 疾患を診断するための画像解析技術 | |
| EP3698719B1 (en) | Mammography apparatus and program | |
| CN111986206A (zh) | 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质 | |
| JPH09167238A (ja) | 異常陰影の検出方法 | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| CN109948671A (zh) | 图像分类方法、装置、存储介质以及内窥镜成像设备 | |
| CN111445463A (zh) | 相似肺部疾病病例的检索方法、装置和计算机设备 | |
| Kaldera et al. | MRI based glioma segmentation using deep learning algorithms | |
| CN111462139A (zh) | 医学图像显示方法、装置、计算机设备和可读存储介质 | |
| CN113205111B (zh) | 适用于肝脏肿瘤的识别方法、装置及电子设备 | |
| CN110070125A (zh) | 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统 | |
| CN113298773A (zh) | 基于深度学习的心脏视图识别与左心室检测装置、系统 | |
| CN117831030A (zh) | 基于多模态的癌症早期器官病变症状智能识别方法 | |
| Saeed et al. | Technique for Tumor Detection Upon Brain MRI Image by Utilizing Support Vector Machine | |
| Zulfikar et al. | Android application: skin abnormality analysis based on edge detection technique | |
| CN115035086A (zh) | 一种基于深度学习的结核皮试智能筛查分析方法和装置 | |
| WO2013150419A1 (en) | Quality-check during medical imaging procedure | |
| CN111035403A (zh) | 一种扫描时机确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |