CN109872803A - 一种人工智能病理标注系统 - Google Patents
一种人工智能病理标注系统 Download PDFInfo
- Publication number
- CN109872803A CN109872803A CN201910081438.XA CN201910081438A CN109872803A CN 109872803 A CN109872803 A CN 109872803A CN 201910081438 A CN201910081438 A CN 201910081438A CN 109872803 A CN109872803 A CN 109872803A
- Authority
- CN
- China
- Prior art keywords
- mark
- processing
- artificial intelligence
- view
- pathological image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提供了一种人工智能病理标注系统，该人工智能病理标注系统能够同时解决多层级、大尺寸和超高分辨率的全扫描病理图像的读取问题和标注问题，其能够实现对全扫描病理图像的快速存储和读取操作，使得对全扫描病理图像的读取速度并不再局限于系统的硬件设备条件，并且该系统还采用较为人性化和便捷的图像标注工具，其能够辅助医生在全扫描病理图像上方便快速地进行疑似病变区域的标注，同时还能对经过标注修改的全扫描病理图像进行实时存储，从而改善人工智能图像分析技术辅助医生做出诊断结果的效率和准确性。
Description
技术领域
本发明涉及人工智能医疗应用的技术领域，特别涉及一种人工智能病理标注系统。
背景技术
人工智能技术和大数据处理技术是现今科学技术的重要发展方向，而人工智能技术和大数据处理技术两者是相辅相成的，人工智能技术就是基于大数据技术来实现相应模型的训练和优化，而大数据技术又是依靠于人工智能技术提供的不同模型来对某一领域的数据进行分析以及对该领域的发展趋势做出判断。实际上，人工智能技术由于其自身在数据分析和趋势判断的准确性、数据运算和处理的速度以及对于不同领域均具有普适性等特点，人工智能技术已经广泛应用于日常生活的不同领域中。人工智能技术凭借其自身的优点，其已经被应用到医疗领域中。人工智能技术在医疗领域中的应用主要包括：X光片、CT成像、眼底成像或者病理图像等不同类型医疗图像的分析和处理，基于病理等大数据进行隐疾或者发病预测，辅助手术机器人寻找和确定适合病人的最优手术方案，以及针对不同疾病的新药研发和测试等这几个方面。通过人工智能技术与大数据处理技术在医疗领域的结合应用，研发人员能够突破现有医疗领域发展的局限，实现医疗领域不同方向的更细化和精准的研究。
虽然，人工智能技术在医疗图像处理的应用取得一定的成效，但是其远远未达到应用成熟的阶段。相比于X光技术和CT技术等医疗成像技术，人工智能技术在病理图像中进行辅助诊断面临着更大的挑战。目前，人工智能技术用于医疗图像进行人工智能诊断主要包括应用于普通医疗图像或者病理图像的人工智能辅助诊断；其中，应用于普通医疗图像的人工智能辅助诊断主要是针对CT图像、磁共振图像或者超声波图像等这类尺寸较小的图像，通过人工智能技术能够在单机上一次性完成对全图的分析，并识别出图像中存在的可能病变区域，以辅助医生做出进一步的诊断，但是这种方式只能应用于普通医疗图像，其对应的分析模型无法迁移应用到病理图像的诊断；而应用于病理图像的人工智能辅助诊断通常是配合数字病理扫描仪等专门的病理诊断分析设备，其将病理图像进行数字化处理后上传至病理诊断分析设备中，再在本地完成对病理图像的分析，以辅助医生做出进一步的诊断，但是这种方式只适用于普通分辨率的病理图像，其无法处理具有超高分辨率的病理全扫描图像。
发明内容
在人工智能技术应用于医疗图像的分析处理过程中，现有的人工智能图像分析方式只能用于分析处理普通医疗图像或者具有普通分辨率的病理图像，并且该人工智能图像分析方式针对普通医疗图像或者病理图像的分析模型具有专属性，不同类型图像的分析模型并不能迁移应用于其他类型图像的分析处理中；此外，由于具有超高分辨率的病理图像能够更加全面和详细反应病灶区域的病变细节，其对于医生做出精确的诊断结果具有重要的参考意义，但是现有的人工智能图像分析方式却无法对具有超高分辨率的病理图像进行全扫描分析处理，这严重地限制了超分辨率病理图像在人工智能医疗诊断的应用，同时也不能辅助医生做出更加准确的诊断结果。还有，在现有的针对医疗图像的人工智能图像分析方式中，其对于医疗图像中存在的疑似病变区域，只能通过普通的标注工作对其做出简单的标注，并且所有的标注工作均由人工操作进行，其不包含基于人工智能的辅助标注操作。
针对现有技术存在的缺陷，本发明提供一种人工智能病理标注系统，该人工智能病理标注系统能够针对具有超高分辨率的病理图像进行人工智能分析处理；该人工智能病理标注系统能够同时解决多层级、大尺寸和超高分辨率的全扫描病理图像的读取问题和标注问题，其能够实现对全扫描病理图像的快速存储和读取操作，使得对全扫描病理图像的读取速度并不再局限于系统的硬件设备条件，并且该系统还采用较为人性化和便捷的图像标注工具，其能够辅助医生在全扫描病理图像上方便快速地进行疑似病变区域的标注，同时还能对经过标注修改的全扫描病理图像进行实时存储，以便于后续分析处理之用。可见，本发明的人工智能病理标注系统能够将人工智能图像分析技术应用到全扫描病理图像中，这样能够扩大全扫描病理图像的应用范围。从而进一步改善人工智能图像分析技术辅助医生做出诊断结果的效率和准确性。
本发明提供一种人工智能病理标注系统，其特征在于，所述人工智能病理标注系统包括：
移动终端单元，用于提供关于全扫描病理图像的读取操作、分析操作和标注操作的交互界面；其中，所述读取操作包括在多层级图像框架中实施对所述全扫描病理图像的读取处理；所述分析操作包括将所述全扫描病理图像进行分割处理以获得关于所述全扫描病理图像的若干分块，再将所述若干分块中的每一个作为单独任务执行并行式的分析处理；
人工标注单元，用于在所述移动终端单元提供的交互界面中实施所述标注操作；其中，所述标注操作包括在所述多层级图像框架提供的关于每一所述分块的多层级块状图像中，对所述多层级块状图像进行相应的标注线增加或者删除处理；
进一步，所述移动终端单元提供所述交互界面具体包括所述移动终端单元基于MVC和MVVM的设计模式提供一视图模型处理中介，其中，所述视图模型处理中介用于处理一关于所述全扫描病理图像的视图与一关于所述全扫描病理图像的分析模型之间的数据交互关系，以及处理关于所述全扫描病理图像的视图与一对所述视图进行标注操作的控制端之间的界面视图交互关系；
进一步，所述视图模型处理中介在处理所述数据交互关系和所述界面视图交互关系的过程中还包括基于所述控制端发送的用户动作或者所述视图发送的用户动作，向所述控制端或者所述界面进行对应的数据更新反馈，或者基于所述分析模型发送的标注动作，向所述分析模型进行对应的数据更新反馈；
进一步，所述视图模型处理中介还用于将处理所述数据交互关系或者界面视图交互关系的过程中相关的业务逻辑进行模块化操作；其中，所述模块化操作包括实施关于所述业务逻辑的封装处理操作、封装网络请求操作或者封装数据缓存操作；
进一步，所述移动终端单元提供的交互界面具体为Tabbar-Navigation-Controller界面；其中，所述Tabbar-Navigation-Controller界面包括window窗口、Tabbar控制视图、Navigation导航视图和全业务视图，并且所述window窗口作为所述Tabbar-Navigation-Controller界面的最底层视图，所述Tabbar控制视图位于所述window窗口之上，所述全业务视图位于所述Tabbar控制视图之上，所述Navigation导航视图位于所述全业务视图之上；
进一步，在所述Tabbar-Navigation-Controller界面中，所述window窗口用作所有界面视图的承担载体；所述Tabbar控制视图用于承载并显示一标注模块和用户中心模块；所述Navigation导航视图用于对所述界面顶部的信息进行导航形式的显示，并且其悬浮于所有其他可视化的视图之上；
进一步，所述读取操作实施所述读取处理对应的多层级图像框架是基于OpenSlide开源库来实现的，所述多层级图像框架用于为具有不同格式的病理图像提供统一的图像读取接口、用于为不同底层文件进行封装处理、以及用于应对处理具有分布式形式的文件；
进一步，所述人工标注单元实施所述标注操作具体包括当所述人工标注单元对所述多层级块状图像每次进行相应的标注线增加或者删除处理后，都会对处理后的标注线进行实时存储；
进一步，所述人工标注单元在实施所述标注操作时还基于弱监督模型和分割模型来对人工标注的数据进行模型训练；其中，所述模型训练具体包括对每一所述分块的多层级块状图像进行机器标注处理后，再对所述机器标注处理得到的机器标注数据进行人工辅助修正标注处理，随后将所述人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对所述新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现所述模型的参数最优化；
所述模型训练中对每一所述分块的多层级块状图像进行机器标注处理具体为对每一所述分块的多层级块状图像对应的矩阵进行处理，其将所述机器标注处理后对应得到的矩阵与所述人工辅助标修正标注处理得到的修正标注数据对应的矩阵进行优化训练，随后再进行迭代运算处理，其中，所述优化训练对应的训练公式为Ji＝Ai·Pi·ri (1)
在上述训练公式(1)中，Ji为每一所述分块的第i层级块状图像进行机器标注处理后，再对所述机器标注处理得到的机器标注数据进行人工辅助修正标注处理后添加至原有的训练集中对应得到的矩阵，Ai为第i层级块状图像进行所述机器标注处理对应的矩阵，Pi为每一所述分块的第i层级块状图像对应的矩阵，ri为每一所述分块的第i层级块状图像进行人工辅助标注处理对应的矩阵；
其中，所述迭代运算处理对应的迭代公式为
在上述迭代公式(2)中，为Ji迭代n次后对应的优化矩阵，n为迭代次数；
接着，将所述优化矩阵与一相似病理图像矩阵进行图像匹配处理，以排除机器标注与人工辅助标注对同一病理区域均未标注的情况，所述图像匹配处理的匹配公式为
在上述匹配公式(3)中，X为病理相似度，B(k)为相似病理图像矩阵，k为优化矩阵或者相似病理图像矩B(k)中的第k个元素，m为为优化矩阵或者相似病理图像矩B(k)中元素的总数；
进一步，所述人工智能病理标注系统还包括登录验证单元，所述登录验证单元用于对需要登录进入所述系统的用户进行身份验证操作。
相比于现有技术，本发明的人工智能病理标注系统是针对具有超高分辨率的病理图像进行人工智能分析处理，其能够同时解决多层级、大尺寸和超高分辨率的全扫描病理图像的读取问题和标注问题；该人工智能病理标注系统能够对全扫描病理图像进行高效和快速的全图像分析，该系统在进行全图像分析的过程中还能够辅助医生对该全扫描病理图像进行对应区域的标注，该系统同时还大规模的神经网络运行，以便于提高诊断结果的精度和准确率，该系统还能够通过扩展不同的硬件设备来提高图像分析处理的速度，其具有优越的硬件扩展性，此外，该系统还具有较高的容错性，从而防止系统因意外故障的出现而导致整个图像分析过程的失败。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种人工智能病理标注系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种人工智能病理标注系统的结构示意图。该人工智能病理标注系统包括移动终端单元和人工标注单元，该移动终端单元中可运行有相应的人工智能图像分析程序，以便于医生等用户能够实时地通过该移动终端单元对全扫描病理图像实施人工智能图像分析处理。优选地，该移动终端单元可为但不限于是智能手机、平板电脑或者便携式个人笔记本等电子设备；优选地，该移动终端单元能够在其相应的人机交互界面中为用户提供相应的人工智能图像分析处理界面，此时用户通过操作该人工标注单元就能够在该人工智能图像分析处理界面中实施不同的标注操作。
优选地，该移动终端单元中关于该人工智能图像分析程序的程序应用端了采用Object-C语言进行撰写；优选地，该程序应用端并未使用storyboard搭建界面结果，其是部分使用XIB的形式进行程序应用端运行界面的搭建。优选地，该程序应用端可使用MVC和MVVM的设计模式，这样能够使该程序应用端的界面对应的显示层更加细节化和可定制化，并且其数据管理业务逻辑也更加清晰。由于该移动终端单元并不是专供某一用户使用的，上述采用MVVM的设计模式来构建该程序应用端的界面的方式能够使得该界面的布局设计能够根据不同用户的使用习惯来定制形成，通过上述方定制形成的界面更符合不同用户的需求，并且还有助于提高不同用户基于该界面进行人工智能图像分析处理的效率。
优选地，该移动终端单元提供该交互界面具体包括该移动终端单元基于MVC和MVVM的设计模式提供一视图模型处理中介；其中，该视图模型处理中介用于处理一关于该全扫描病理图像的视图与一关于该全扫描病理图像的分析模型之间的数据交互关系，以及处理关于该全扫描病理图像的视图与一对该视图进行标注操作的控制端之间的界面视图交互关系。
优选地，该视图模型处理中介在处理该数据交互关系和该界面视图交互关系的过程中还包括基于该控制端发送的用户动作或者该视图发送的用户动作，向该控制端或者该界面进行对应的数据更新反馈，或者基于该分析模型发送的标注动作，向该分析模型进行对应的数据更新反馈。
优选地，该视图模型处理中介还用于将处理该数据交互关系或者界面视图交互关系的过程中相关的业务逻辑进行模块化操作；其中，该模块化操作包括实施关于该业务逻辑的封装处理操作、封装网络请求操作或者封装数据缓存操作。
相应地，该移动终端单元可用于体用关于扫描病理图像的读取操作、分析操作和标注操作的交互界面。优选地，该移动终端单元接收外界输入的全扫描病理图像后，将该全扫描病理图像传输至该关于该人工智能图像分析程序的程序应用端中，随后该程序应用端就会对该全扫描病理图像实施该读取操作、分析操作和标注操作。
优选地，该移动终端单元提供的交互界面可具体为Tabbar-Navigation-Controller界面；其中，该Tabbar-Navigation-Controller界面包括window窗口、Tabbar控制视图、Navigation导航视图和全业务视图，并且该window窗口作为该Tabbar-Navigation-Controller界面的最底层视图，该Tabbar控制视图位于该window窗口之上，所述全业务视图位于所述Tabbar控制视图之上，所述Navigation导航视图位于所述全业务视图之上。相应地，在该Tabbar-Navigation-Controller界面中，该window窗口用作所有界面视图的承担载体；该Tabbar控制视图用于承载并显示一标注模块和用户中心模块；该Navigation导航视图用于对该界面顶部的信息进行导航形式的显示，并且其悬浮于所有其他可视化的视图之上。
由于，该全扫描病理图像是通过全自动显微镜或者光学放大系统对来自病人的样本组织进行扫描成像后，采集得到的具有高分辨率的数字图像，再经过计算机对该数字图像经高精度多视野无缝隙拼接处理后，形成的多层级可视化图像。由于该全扫描病理图像具有高分辨率和多层级化的结构，这使得该全扫描病理图像的数据量较大且其占用的存储空间也较大。一般来说，若需要从存储器终读取该全扫描病理图像，通常都需要花费较长的时间才能全面地读取该全扫描病理图像，这不仅占用了较长的处理时间，并且还可能存在由于图像读取时间过程而导致系统运行中断的问题。针对现有关于全扫描病理图像在读取过程中存在的缺陷，该移动终端单元的交互界面提供的读取操作可包括在多层级图像框架中实施对该全扫描病理图像的读取处理。由于该全扫描病理图像是具有多层级化的结构，通过在多层级图像框架中对该全扫描病理图像进行读取，这样能够使得该读取所基于的框架结构匹配于该全扫描病理图像自身的图像结构。实际上，当用户通过该移动终端单元的交互界面执行该读取操作时，该交互界面会通过该多层级图像框架的不同层级获取该全扫描病理图像中对应的不同层级图像，该交互界面实施的读取操作有别于现有技术中对图像直接进行整体读取的方式，该移动终端单元根据该全扫描病理图像本身的图像结构设置与之相适应的图像读取框架，这样使得该图像读取框架能够在同一时间对该全扫描图像进行整体读取从而提高图像读取操作的效率和速度。
优选地，该读取操作实施该读取处理对应的多层级图像框架是基于OpenSlide开源库来实现的，该多层级图像框架用于为具有不同格式的病理图像提供统一的图像读取接口、用于为不同底层文件进行封装处理、以及用于应对处理具有分布式形式的文件。实际上，该多层级图像框架简称为ThoSlide，其是在OpenSlide开源库的基础上通过C语言开发形成的，其针对不同功能业务进行性能优化，从而能够为对应的前端产品提供快速流畅的图片读取浏览服务；此外，该多层级图像框架能够应对分布式文件系统，这使得其在文件格式和文件存储方面都具有较强的可扩展性。
此外，该移动终端单元的交互界面提供的分析操作可包括将该全扫描病理图像进行分割处理以获得关于所述全扫描病理图像的若干分块，再将所述若干分块中的每一个作为单独任务执行并行式的分析处理。由于该全扫描病理图像的自身数据量较多且图像结构复杂，通过将该全扫描病理图像分割成若干不同的分块能够有效地降低对每一分块进行分析处理的难度，这样能够降低对全扫描病理图像进行分析处理的硬件要求。优选地，该每一个分块作为单独任务执行并行式的分析处理是在分布式异构的集群上进行的。当对每一个分块完成分析处理后，再将第一个分块对应的分析处理结果进行汇总从而得到对该全扫描病理图像的整体分析处理结果。
进一步，该人工标注单元可用于在该移动终端单元提供的交互界面中实施该标注操作。优选地，该标注操作包括在该多层级图像框架提供的关于每一该分块的多层级块状图像中，对该多层级块状图像进行相应的标注线增加或者删除处理。优选地，当用户通过该人工标注单元在该多层级块状图像中增加标注线或者删除标注线之后，该系统会对经过标注线增加或者删除处理后的标注线进行实时的存储，这样能够保证用户进行该标注操作的标注结果能够及时地被保存，从而提高该人工标注单元实施该标注操作的便捷性。优选地，该人工标注单元可为pencil形式的可操作画笔，这样能够使得用户通过该可操作画笔进行标注操作，如同通过使用可擦除签字笔在纸件上进行标注涂画一般方便，同时该人工标注单元的具体设置形式能够极大地提高实施该标注操作的便捷性。
优选地，该人工标注单元在实施该标注操作时还基于弱监督模型和分割模型来对人工标注的数据进行模型训练；其中，该模型训练具体包括对每一所述分块的多层级块状图像进行机器标注处理后，再对该机器标注处理得到的机器标注数据进行人工辅助修正标注处理，随后将该人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对该新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现该模型的参数最优化。
该模型训练中对每一该分块的多层级块状图像进行机器标注处理具体为对每一该分块的多层级块状图像对应的矩阵进行处理，其将该机器标注处理后对应得到的矩阵与该人工辅助标修正标注处理得到的修正标注数据对应的矩阵进行优化训练，随后再进行迭代运算处理，其中，该优化训练对应的训练公式为Ji＝Ai·Pi·ri (1)
在该训练公式(1)中，Ji为每一该分块的第i层级块状图像进行机器标注处理后，再对该机器标注处理得到的机器标注数据进行人工辅助修正标注处理后添加至原有的训练集中对应得到的矩阵，Ai为第i层级块状图像进行该机器标注处理对应的矩阵，Pi为每一该分块的第i层级块状图像对应的矩阵，ri为每一该分块的第i层级块状图像进行人工辅助标注处理对应的矩阵；
其中，该迭代运算处理对应的迭代公式为
在该迭代公式(2)中，为Ji迭代n次后对应的优化矩阵，n为迭代次数；
接着，虽然该优化矩阵能够很好地对机器标注和人工辅助标注的结果进行表征，但是其依然会存在机器标注与人工辅助标注对同一病理区域均未标注的情况。为此，将该优化矩阵与一相似病理图像矩阵进行图像匹配处理，以排除机器标注与人工辅助标注对同一病理区域均为标注的情况，该图像匹配处理的匹配公式为
在该匹配公式(3)中，X为病理相似度，B(k)为相似病理图像矩阵，k为优化矩阵或者相似病理图像矩B(k)中的第k个元素，m为为优化矩阵或者相似病理图像矩B(k)中元素的总数。
此外，为了更加直观地看出该病理相似度所表示的百分比值，可在该病理相似度X中加入一个指数形式的变形，从而得到最终的病理相似度百分比。优选地，当该病理相似度百分比超过一百分比阈值(比如90％)，则认为该优化矩阵中对应的病理区域与相似病理图像矩阵B(k)中对应的病理区域相同。
上述人工标注单元实施的标注操作实际上为属于人工智能的辅助标注，经过该人工智能的辅助标注能够不断地训练数据集合进行更新，从而使该模型能够获得最新训练数据的训练以实现性能的最优化。此外，该模型的训练采用迭代训练优化的方式，这样能够在训练模型的过程中及时发现模型存在问题，并且是训练数据集合的更新积累更加具有针对性。
优选地，该人工智能病理标注系统还包括登录验证单元；其中，该登录验证单元用于对需要登录进入该系统的用户进行身份验证操作。由于该系统分析和训练所针对的图像数据都是关于不同病人的病理图像数据，这些数据都涉及到病人的个人隐私，为了提高该系统的数据安全性，可通过在该系统中增设具有TouchID功能的登录验证单元，该登录验证单元可优选用户个人的指纹信息来进行登录权限的认证。该登录验证单元中保存有具有相应登录权限的用户的指纹信息，当用户需要登录进入该系统时，该登录验证单元就会要求当前登录的用户进行指纹扫描，随后该登录验证单元会将该用户的指纹信息与其预先保存的指纹信息集合进行匹配处理，只有当该用户的指纹信息与该指纹信息集合相匹配，该登录验证单元才会允许当前用户登录进入系统，否则，该登录验证单元会拒绝当前用户的登录系统请求。
从上述实施例可以看出，该人工智能病理标注系统能够同时解决多层级、大尺寸和超高分辨率的全扫描病理图像的读取问题和标注问题，其能够实现对全扫描病理图像的快速存储和读取操作，使得对全扫描病理图像的读取速度并不再局限于系统的硬件设备条件，并且该系统还采用较为人性化和便捷的图像标注工具，其能够辅助医生在全扫描病理图像上方便快速地进行疑似病变区域的标注，同时还能对经过标注修改的全扫描病理图像进行实时存储，以便于后续分析处理之用。可见，该人工智能病理标注系统具有高性能、高可用性和可扩展性的优点，其能够快速响应图像标注的读写和显示人工智能辅助诊断的结果，并且该系统能够针对大规模全扫描病理图像进行深度优化的分析处理，同时还支持大尺度、高分辨率和多层级图像的分析处理；此外，该人工智能病理标注系统不仅适用于全扫描病理图像，而且还适用于卫星遥感图像等其他大规模图像场景，其能够有效地改善不同类型大规模图像的分析处理效果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种人工智能病理标注系统，其特征在于，所述人工智能病理标注系统包括：
移动终端单元，用于提供关于全扫描病理图像的读取操作、分析操作和标注操作的交互界面；其中，所述读取操作包括在多层级图像框架中实施对所述全扫描病理图像的读取处理；所述分析操作包括将所述全扫描病理图像进行分割处理以获得关于所述全扫描病理图像的若干分块，再将所述若干分块中的每一个作为单独任务执行并行式的分析处理；
人工标注单元，用于在所述移动终端单元提供的交互界面中实施所述标注操作；其中，所述标注操作包括在所述多层级图像框架提供的关于每一所述分块的多层级块状图像中，对所述多层级块状图像进行相应的标注线增加或者删除处理。
2.如权利要求1所述的人工智能病理标注系统，其特征在于：所述移动终端单元提供所述交互界面具体包括所述移动终端单元基于MVC和MVVM的设计模式提供一视图模型处理中介，其中，所述视图模型处理中介用于处理一关于所述全扫描病理图像的视图与一关于所述全扫描病理图像的分析模型之间的数据交互关系，以及处理关于所述全扫描病理图像的视图与一对所述视图进行标注操作的控制端之间的界面视图交互关系。
3.如权利要求2所述的人工智能病理标注系统，其特征在于：所述视图模型处理中介在处理所述数据交互关系和所述界面视图交互关系的过程中还包括基于所述控制端发送的用户动作或者所述视图发送的用户动作，向所述控制端或者所述界面进行对应的数据更新反馈，或者基于所述分析模型发送的标注动作，向所述分析模型进行对应的数据更新反馈。
4.如权利要求2所述的人工智能病理标注系统，其特征在于：所述视图模型处理中介还用于将处理所述数据交互关系或者界面视图交互关系的过程中相关的业务逻辑进行模块化操作；其中，所述模块化操作包括实施关于所述业务逻辑的封装处理操作、封装网络请求操作或者封装数据缓存操作。
5.如权利要求1所述的人工智能病理标注系统，其特征在于：所述移动终端单元提供的交互界面具体为Tabbar-Navigation-Controller界面；其中，所述Tabbar-Navigation-Controller界面包括window窗口、Tabbar控制视图、Navigation导航视图和全业务视图，并且所述window窗口作为所述Tabbar-Navigation-Controller界面的最底层视图，所述Tabbar控制视图位于所述window窗口之上，所述全业务视图位于所述Tabbar控制视图之上，所述Navigation导航视图位于所述全业务视图之上。
6.如权利要求5所述的人工智能病理标注系统，其特征在于：在所述Tabbar-Navigation-Controller界面中，所述window窗口用作所有界面视图的承担载体；所述Tabbar控制视图用于承载并显示一标注模块和用户中心模块；所述Navigation导航视图用于对所述界面顶部的信息进行导航形式的显示，并且其悬浮于所有其他可视化的视图之上。
7.如权利要求1所述的人工智能病理标注系统，其特征在于：所述读取操作实施所述读取处理对应的多层级图像框架是基于OpenSlide开源库来实现的，所述多层级图像框架用于为具有不同格式的病理图像提供统一的图像读取接口、用于为不同底层文件进行封装处理、以及用于应对处理具有分布式形式的文件。
8.如权利要求1所述的人工智能病理标注系统，其特征在于：所述人工标注单元实施所述标注操作具体包括当所述人工标注单元对所述多层级块状图像每次进行相应的标注线增加或者删除处理后，都会对处理后的标注线进行实时存储。
9.如权利要求1所述的人工智能病理标注系统，其特征在于：所述人工标注单元在实施所述标注操作时还基于弱监督模型和分割模型来对人工标注的数据进行模型训练；其中，所述模型训练具体包括对每一所述分块的多层级块状图像进行机器标注处理后，再对所述机器标注处理得到的机器标注数据进行人工辅助修正标注处理，随后将所述人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对所述新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现所述模型的参数最优化；
所述模型训练中对每一所述分块的多层级块状图像进行机器标注处理具体为对每一所述分块的多层级块状图像对应的矩阵进行处理，其将所述机器标注处理后对应得到的矩阵与所述人工辅助标修正标注处理得到的修正标注数据对应的矩阵进行优化训练，随后再进行迭代运算处理，其中，所述优化训练对应的训练公式为
Ji＝Ai·Pi·ri (1)
在上述训练公式(1)中，Ji为每一所述分块的第i层级块状图像进行机器标注处理后，再对所述机器标注处理得到的机器标注数据进行人工辅助修正标注处理后添加至原有的训练集中对应得到的矩阵，Ai为第i层级块状图像进行所述机器标注处理对应的矩阵，Pi为每一所述分块的第i层级块状图像对应的矩阵，ri为每一所述分块的第i层级块状图像进行人工辅助标注处理对应的矩阵；
其中，所述迭代运算处理对应的迭代公式为
在上述迭代公式(2)中，为Ji迭代n次后对应的优化矩阵，n为迭代次数；
接着，将所述优化矩阵与一相似病理图像矩阵进行图像匹配处理，
以排除机器标注与人工辅助标注对同一病理区域均未标注的情况，所述图像匹配处理的匹配公式为
在上述匹配公式(3)中，X为病理相似度，B(k)为相似病理图像矩阵，k为优化矩阵或者相似病理图像矩B(k)中的第k个元素，m为为优化矩阵或者相似病理图像矩B(k)中元素的总数。
10.如权利要求1所述的人工智能病理标注系统，其特征在于：所述人工智能病理标注系统还包括登录验证单元，所述登录验证单元用于对需要登录进入所述系统的用户进行身份验证操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910081438.XA CN109872803B (zh) | 2019-01-28 | 2019-01-28 | 一种人工智能病理标注系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910081438.XA CN109872803B (zh) | 2019-01-28 | 2019-01-28 | 一种人工智能病理标注系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872803A true CN109872803A (zh) | 2019-06-11 |
| CN109872803B CN109872803B (zh) | 2020-01-14 |
Family
ID=66918175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910081438.XA Active CN109872803B (zh) | 2019-01-28 | 2019-01-28 | 一种人工智能病理标注系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872803B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110459302A (zh) * | 2019-08-05 | 2019-11-15 | 苏州米特希赛尔人工智能有限公司 | 超声医疗影像ai辅助标注系统 |
| CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
| CN111091539A (zh) * | 2019-12-09 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN111126502A (zh) * | 2019-12-26 | 2020-05-08 | 北京安德医智科技有限公司 | 一种面向人工智能辅助诊断的dicom医疗影像序列分类方法 |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| WO2021017272A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 病理图像标注方法、装置、计算机设备及存储介质 |
| CN114171166A (zh) * | 2021-01-20 | 2022-03-11 | 赛维森(广州)医疗科技服务有限公司 | 可视化数字病理人工智能的模型的管理系统 |
| CN117809853A (zh) * | 2024-02-29 | 2024-04-02 | 首都医科大学附属北京友谊医院 | 一种肝细胞癌病理识别模型的构建方法及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3893245A1 (en) * | 2020-04-10 | 2021-10-13 | Koninklijke Philips N.V. | Correction of automated label data for tomographic medical imaging systems |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975793A (zh) * | 2016-05-23 | 2016-09-28 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于数字病理图像的癌症辅助诊断方法 |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN108197320A (zh) * | 2018-02-02 | 2018-06-22 | 北方工业大学 | 一种多视图图像自动标注方法 |
| CN108629777A (zh) * | 2018-04-19 | 2018-10-09 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种数字病理全切片图像病变区域自动分割方法 |
| CN109215017A (zh) * | 2018-08-16 | 2019-01-15 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置、用户终端、服务器及存储介质 |
-
2019
- 2019-01-28 CN CN201910081438.XA patent/CN109872803B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975793A (zh) * | 2016-05-23 | 2016-09-28 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于数字病理图像的癌症辅助诊断方法 |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN108197320A (zh) * | 2018-02-02 | 2018-06-22 | 北方工业大学 | 一种多视图图像自动标注方法 |
| CN108629777A (zh) * | 2018-04-19 | 2018-10-09 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种数字病理全切片图像病变区域自动分割方法 |
| CN109215017A (zh) * | 2018-08-16 | 2019-01-15 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置、用户终端、服务器及存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017272A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 病理图像标注方法、装置、计算机设备及存储介质 |
| CN110459302A (zh) * | 2019-08-05 | 2019-11-15 | 苏州米特希赛尔人工智能有限公司 | 超声医疗影像ai辅助标注系统 |
| CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
| CN110751179B (zh) * | 2019-09-18 | 2022-04-12 | 无锡祥生医疗科技股份有限公司 | 超声设备 |
| CN111091539A (zh) * | 2019-12-09 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN111091539B (zh) * | 2019-12-09 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN111126502A (zh) * | 2019-12-26 | 2020-05-08 | 北京安德医智科技有限公司 | 一种面向人工智能辅助诊断的dicom医疗影像序列分类方法 |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN111986150B (zh) * | 2020-07-17 | 2024-02-09 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN114171166A (zh) * | 2021-01-20 | 2022-03-11 | 赛维森(广州)医疗科技服务有限公司 | 可视化数字病理人工智能的模型的管理系统 |
| CN117809853A (zh) * | 2024-02-29 | 2024-04-02 | 首都医科大学附属北京友谊医院 | 一种肝细胞癌病理识别模型的构建方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872803B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872803A (zh) | 一种人工智能病理标注系统 | |
| Egger et al. | Medical deep learning—A systematic meta-review | |
| US10902588B2 (en) | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities | |
| CN103988150B (zh) | 用于初始化基于视觉的手跟踪器的快速指尖检测 | |
| CN101136041A (zh) | 医用图像处理装置 | |
| Curiel-Lewandrowski et al. | Artificial intelligence approach in melanoma | |
| Kubassova et al. | History, current status, and future directions of artificial intelligence | |
| CN115458108A (zh) | 一种融合多元技术的可视化糖尿病大数据智能分析系统 | |
| Roppelt et al. | Artificial intelligence in healthcare institutions: A systematic literature review on influencing factors | |
| US20230368878A1 (en) | Systems and methods using multidimensional language and vision models and maps to categorize, describe, coordinate, and track anatomy and health data | |
| CN104376396A (zh) | 一种眼底检查记录随访管理系统 | |
| CN117237351A (zh) | 一种超声图像分析方法以及相关装置 | |
| Chatterjee et al. | Technology disruption in healthcare: artificial intelligence application, challenges, and policy recommendations in India | |
| França et al. | An overview of the impact of PACS as health informatics and technology e-health in healthcare management | |
| Tshimanga et al. | An Overview of Open Source Deep Learning-Based Libraries for Neuroscience | |
| Al-qaness et al. | Chest X-ray Images for Lung Disease Detection Using Deep Learning Techniques: A Comprehensive Survey | |
| Braudes et al. | Workstation modelling and development: clinical definition of a picture archiving and communications system (PACS) user interface | |
| CN113177923A (zh) | 医学影像内容识别方法、电子设备及存储介质 | |
| Hu et al. | Slimmable transformer with hybrid axial-attention for medical image segmentation | |
| Horvitz | The future of biomedical informatics: Bottlenecks and opportunities | |
| CN110289065A (zh) | 一种辅助生成医学电子报告的控制方法以及装置 | |
| Narejo | AI in Healthcare | |
| Pareek et al. | State of the art and prediction model for brain tumor detection | |
| Bellamy | Veterinary informatics--why are we dragging our feet? | |
| Pavithra et al. | Machine and deep learning (ML/DL) algorithms for next-generation healthcare applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221020 Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing Patentee after: Beijing Thorough Future Technology Co.,Ltd. Address before: 100000 1101, Floor 11, Building A, Yard 10, Xueqing Road, Haidian District, Beijing Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd. |