CN109949907A - 基于云端的大型病理学图像协作注释方法及系统 - Google Patents

基于云端的大型病理学图像协作注释方法及系统 Download PDF

Info

Publication number
CN109949907A
CN109949907A CN201910252955.9A CN201910252955A CN109949907A CN 109949907 A CN109949907 A CN 109949907A CN 201910252955 A CN201910252955 A CN 201910252955A CN 109949907 A CN109949907 A CN 109949907A
Authority
CN
China
Prior art keywords
request
user
subregion
image
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910252955.9A
Other languages
English (en)
Other versions
CN109949907B (zh
Inventor
李辰
帕戈姆·普塔皮拉特
张海川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910252955.9A priority Critical patent/CN109949907B/zh
Publication of CN109949907A publication Critical patent/CN109949907A/zh
Priority to US16/831,796 priority patent/US11392634B2/en
Application granted granted Critical
Publication of CN109949907B publication Critical patent/CN109949907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明基于云端的大型病理学图像协作注释方法及系统，首先通过图像预处理模块，在云端通过超像素分割，对病理图片进行预先处理，同时以二值图像进行存储其边际；通过数据记录模块，进行多用户的数据记录，使用户可以协同标注图像；通过前端交互模块，完成对用户动作的捕获，以及病理图片的展示，通过后端处理模块，响应前端交互模块发来的请求，完成数据的标注以及对用户的可能标注区域的提示。通过以上模块所达到的效果，本发明完成在网页端对病理图片进行多人协作、像素级便捷标注的目的。

Description

基于云端的大型病理学图像协作注释方法及系统
技术领域
本发明涉及数字化病理领域，具体为基于云端的大型病理学图像协作注释方法及系统。
背景技术
目前较为多数的数字化病理软件，主要针对已经标注完数据的病理图像进行展示与分析，缺少用户进行标注数据的软件。对于支持用户标注数据的软件，仅有以QuPath为典型代表的本地图像注释软件，以及以The Digital Slide Archive为代表的在线标注软件，但两者都有着各有优缺点。以QuPath为主的单机标注软件，可以在小区域进行超像素分割，并且用户可以进行选定区域，进行标注数据，然而其缺点也尤为明显，分别有以下四点：(1)若在不同电脑进行标注时，需要每台电脑各自安装配置软件，并且拷贝病理图片。通常软件与图片占据储存空间巨大，对电脑有较高要求，同时，需要专业人士进行安装调试。(2)导入图片之后需要软件进行对选定区域进行超像素分割。当选择较大区域或者全图进行超像素分割时，需要等待时间长。同时，每次超像素分割的结果不能保存，因此每次重启程序需要进行再次处理图片。(3)目前仅有单机版本，不支持多个用户进行同时标注，造成标注效率低下。(4)软件标注数据后的图片不具有机器可读性，仅可以用本身的软件进行打开，造成无法用其他软件进行分析标注的数据。以The Digital Slide Archive为代表的在线标注软件虽可以在线标注，但是除上文提到的第4点缺点外，同时功能较为单一，仅具有类似于涂鸦或者自定义多边形形状的标注，无法为用户进行准确便捷的标注。
发明内容
针对现有技术中存在的问题，本发明提供一种基于云端的大型病理学图像协作注释方法及系统，能够使得医疗图片进行便捷的像素级的云端标注，在用户标注数据前，预先进行处理图像时，使其对用户使用的电脑配置要求不高，能够多用户位于一个服务器内进行标注数据，以及通过用户已经标注的数据，预测以及提示用户标注。
本发明是通过以下技术方案来实现：
基于云端的大型病理学图像协作注释方法，包括如下步骤，
图像预处理步骤；
在云端，通过并行处理对多张病理图片按照设定的子区域大小等级，进行超像素分割，得到多个子区域以及各个子区域平均像素个数所对应的子区域边界；
数据记录步骤；包括，
在云端，对图像预处理步骤得到的子区域和子区域边界进行记录和更新；
以及根据后端处理步骤中进行的增加或删除标记请求的处理结果，对请求的标记子区域进行一一对应的记录和更新；
后端处理步骤；
根据对数据记录步骤产生记录的查询；
以及根据前端交互步骤获取的图像处理请求、标记子区域请求、删除标记子区域请求和提示标注请求，分别对图像预处理步骤得到的子区域进行对应处理；
前端交互步骤；包括，
对后端处理步骤的处理结果的展示；
以及根据捕获的用户动作、对预览图片和标记子区域的操作，分别形成对应的图像处理请求、标记子区域请求、删除标记子区域请求和提示标注请求。
优选的，图像预处理的具体步骤包括如下，
步骤1.1，通过并行处理，读取多张病理图片，转换成可超像素分割处理格式图片；
步骤1.2，设置子区域大小等级，每个等级对应不同子区域平均像素个数；
步骤1.3，重复取不同子区域平均像素个数，使用超像素分割算法将病理图片分割成多个子区域，得到各个子区域平均像素个数所对应的子区域边界；
步骤1.4，将所有分割好的子区域边界进行存储。
优选的，数据记录的具体步骤包括如下，
步骤2.0，记录和更新分割好的子区域和子区域边界；
步骤2.1，若接收到查询标记请求，在数据库中，根据用户信息，查询该用户已标记的区域，返回所有查询到的数据；
步骤2.2，若接收到增加标记请求，将其中用户需要新增的标记区域，增加至数据库中；
步骤2.3，若接收到删除标记请求，将需要删除的标记区域，从数据库中删除，或标记为已删除区域。
优选的，后端处理的具体步骤包括如下，
步骤3.1，若接收到图像处理请求，获取请求中所需处理的区域在原病理图片中的位置与大小，用户设置的子区域大小等级，以及无法标记的标记点在原病理图片中位置；并将进行以下操作：
步骤3.1.1，提取原病理图片中需要处理的区域，根据用户屏幕分辨率，计算出前端用户交互界面中显示图片所用像素尺寸，放缩提取出的图片使得提取区域像素尺寸符合所需像素尺寸，并保存在图层一；
步骤3.1.2，从对应子区域大小等级的子区域边界文件中，提取所需处理区域中，所有子区域的边界，保存至图层二；
步骤3.1.3，向数据记录模块发送查询标记请求，获取用户已标注的区域；
步骤3.1.4，在图层二中，对于用户已标注的区域，进行再处理，使其与未标记区域不同；
步骤3.1.5，在图层二中，将无法标记的标记点进行标记；
步骤3.1.6，合并图层一与图层二后再压缩图片，并且将压缩后的图片传输至前端；
步骤3.2，若接收到标记子区域请求，提取请求中的所有标记点信息，前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息；并进行以下操作：
步骤3.2.1，根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域；
步骤3.2.2，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.2.3，若含有可以标记的子区域，则向数据记录步骤发送增加标记请求；
步骤3.2.4，若已标记子区域含有标记点，则将已标记子区域所含标记点作为无法标记的标记点传回前端交互步骤；
步骤3.2.4，向前端交互模块发送图片处理处理完成信号。
步骤3.3，若接收到删除标记子区域请求，提取请求中的所有标记点信息，前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息；并进行以下操作：
步骤3.3.1，根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域；
步骤3.3.2，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.3.3，若含有可以删除标记的子区域，则向数据记录模块发送删除标记请求；
步骤3.3.4，若未标记子区域含有标记点，则将未标记子区域所含标记点作为无法标记的标记点传回前端交互模块；
步骤3.3.5，向前端交互模块发送处理完成信号。
步骤3.4，若接收到提示标注请求，提取请求中的用户信息；并进行以下操作：
步骤3.4.1，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.4.2，使用图像特征提取算法，例如方向梯度直方图算法，计算所有子区域的特征向量；
步骤3.4.3，比对用户已标记的子区域图像特征向量，以及未标注的子区域特征向量，选取未标注子区域的特征向量中，与已标注子区域的特征向量相似的区域，发送至前端交互步骤进行显示提示标注。
进一步，后端处理的具体步骤还包括如下，
若接收到数据导出请求，将所有子区域边界文件，病理图片，以及用户标记区域进行打包存储，并返回数据包；
若接收到更改病理图片请求，则将更换病理图片，及其所有子区域边界文件。
进一步，所述前端交互的具体步骤包括如下，
步骤4.1，若捕获到用户打开前端交互模块，则获取用户信息；在后端处理模块中虚拟出独立的后端处理模块实例，并且根据用户信息向对应的后端处理模块实例发送图像处理请求；若用户关闭前端交互模块，则关闭对应的后端处理模块实例；
步骤4.2，若捕获到用户对预览图片的操作，判断是否需要更新预览图片，如果所需向用户展示的区域包含之前未处理的区域，则需要更新，向后端处理步骤发送图像处理请求；否则不更新；
步骤4.3，若捕获到用户标记子区域或删除标记子区域操作，向后端处理步骤发送标记子区域请求或者删除子区域请求，并且将所有记录的标记点传送至后端处理步骤；当收到处理完成信号时，将后端处理步骤传回的无法标记的标记点，再次传回后端处理步骤，并且发送图像处理请求；
步骤4.4，若捕获到用户更改子区域大小等级，更改发送请求中的子区域大小等级，向后端处理步骤发送图像处理请求；
步骤4.5，若捕获到用户欲更改显示的病理图片，向后端处理步骤发送更改病理图片请求；
步骤4.6，若捕获到用户导出数据的请求，向后端处理步骤发送导出数据请求；
步骤4.7，若捕获到用户提示标注的请求，向后端处理步骤发送提示标注请求。
再进一步，所述前端交互模块采用基于网页浏览器设置的前端用户交互界面。
基于云端的大型病理学图像协作注释系统，包括，
一个图像预处理模块，在云端通过超像素分割，对病理图片进行预先处理，同时以二值图像进行存储其边际；
一个数据记录模块，用于多用户的数据记录，使用户协同标注图像；
若干个前端交互模块，用于完成对用户动作的捕获产生对应的请求发送到后端处理模块，以及用于病理图片的展示；
一个后端处理模块，用于虚拟与前端交互模块一一对应的后端处理模块实例，从而同时响应若干个前端交互模块的请求，完成数据的标注以及对用户的可能标注区域的提示后，反馈给对应的前端交互模块。
优选的，基于本发明所述的方法，图像预处理模块、数据记录模块、前端交互模块和后端处理模块，分别用于执行图像预处理步骤、数据记录步骤、前端交互步骤和后端处理步骤。
基于云端的大型病理学图像协作注释系统，包括处理器和存储器；存储器中存储的程序用于执行上述的方法，处理器用于执行存储器中存储的程序。
与现有技术相比，本发明具有以下有益的技术效果：
本发明首先通过图像预处理模块，在云端通过超像素分割，对病理图片进行预先处理，同时以二值图像进行存储其边际；通过数据记录模块，进行多用户的数据记录，使用户可以协同标注图像；通过前端交互模块，完成对用户动作的捕获，以及病理图片的展示，通过后端处理模块，响应前端交互模块发来的请求，完成数据的标注以及对用户的可能标注区域的提示。通过以上模块所达到的效果，本发明完成在网页端对病理图片进行多人协作、像素级便捷标注的目的。
附图说明
图1为本发明所述系统内模块间数据处理示意图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
本发明所述的方法主要在云端通过超像素分割整张图片，并且用户在网页上可以对已经超像素分割完的图片进行标注，同时建造自己的导出文件类型，达到解决目前单机版数据标注软件对电脑配置要求较高，处理图像时间较长，不能多用户同时标注以及标注的数据不具有可读性的问题。
本发明基于云端的大型病理学图像协作注释方法，包括如下模块及对应的方法步骤，
1.图像预处理模块
1.1.通过并行处理，读取病多张理图片，转换成可超像素分割处理格式图片。
1.2.设置子区域大小等级，每个等级对应不同子区域平均像素个数。
1.3.重复取不同子区域平均像素个数，使用超像素分割算法将病理图片分割成多个子区域，得到各个子区域平均像素个数所对应的子区域边界。
1.4.将所有分割好的子区域边界，使用存储所占空间较小的格式例如二值图片等，进行存储边界。
2.数据记录模块
2.1.若接收到查询标记请求，在数据库中，根据用户信息，查询该用户已标记的区域，返回所有查询到的数据，
2.2.若接收到增加标记请求，将其中用户需要新增的标记区域，增加至数据库中。
2.3.若接收到删除标记请求，将需要删除的标记区域，从数据库中删除，或标记为已删除区域。
3.后端处理模块
3.1.若接收到图像处理请求，获取请求中所需处理的区域在原病理图片中的位置与大小，用户设置的子区域大小等级，以及无法标记的标记点在原病理图片中位置。并将进行以下操作：
3.1.1.提取原病理图片中需要处理的区域，根据用户屏幕分辨率，计算出前端用户交互界面中显示图片所用像素尺寸，放缩提取出的图片使得提取区域像素尺寸符合所需像素尺寸，并保存在图层一。
3.1.2.从对应子区域大小等级的子区域边界文件中，提取所需处理区域中，所有子区域的边界，保存至图层二。
3.1.3.向数据记录模块发送查询标记请求，获取用户已标注的区域。
3.1.4.在图层二中，对于用户已标注的区域，进行再处理，使其与未标记区域不同。例如对用户已标记区域，进行颜色泛洪填充。
3.1.5.在图层二中，将无法标记的标记点进行显示；
3.1.6.合并图层一与图层二，减少所需传输图片数量以及传输图片总大小；压缩图片，再次减小所需传输图片的大小，最后将图片传输至前端。
3.2.若接收到标记子区域请求，提取请求中的所有标记点信息，前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息。并进行以下操作：
3.2.1.根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域。
3.2.2.向数据记录模块发送查询标记请求，获取用户已标记的子区域。
3.2.3.若含有可以标记的子区域，则向数据记录模块发送增加标记请求。
3.2.4.若已标记子区域含有标记点，则将已标记子区域所含标记点作为无法标记的标记点传回前端交互模块。
3.2.5.向前端交互模块发送图片处理处理完成信号。
3.3.若接收到删除标记子区域请求，提取请求中的所有标记点信息，并在前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息。并进行以下操作：
3.3.1.根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域。
3.3.2.向数据记录模块发送查询标记请求，获取用户已标记的子区域。
3.3.3.若含有可以删除标记的子区域，则向数据记录模块发送删除标记请求。
3.3.4.若未标记子区域含有标记点，则将未标记子区域所含标记点作为无法标记的标记点传回前端交互模块。
3.3.5.向前端交互模块发送处理完成信号。
3.4.若接收到数据导出请求，将所有子区域边界文件，病理图片，以及用户标记区域进行打包存储，并返回数据包。
3.5.若接收到更改病理图片请求，更换病理图片，及其所有子区域边界文件。
3.6.若接收到提示标注请求，提取请求中的用户信息。并进行以下操作：
3.6.1.向数据记录模块发送查询标记请求，获取用户已标记的子区域。
3.6.2.使用图像特征提取算法，例如方向梯度直方图算法，计算所有子区域的特征向量。
3.6.3.比对用户已标记的子区域图像特征向量，以及未标注的子区域特征向量，选取未标注子区域的特征向量中，与已标注子区域的特征向量相似度大于用户设定值的区域。根据与已标注区域特征向量相似度，依次从高到低发送至前端交互模块。
4.前端交互模块；优选的，所述前端交互模块采用基于网页浏览器设置的前端用户交互界面。
4.1.若用户在网页浏览器中，打开前端用户交互界面，则获取用户信息。并且，根据用户信息，在后端处理模块中虚拟出独立的后端处理模块实例，向对应的后端处理模块实例发送图像处理请求。若用户关闭前端用户交互界面，则关闭对应的后端处理模块实例。
4.2.若捕获到用户对预览图片的操作，例如：放缩，移动等。判断是否需要更新预览图片，例如：是否所需向用户展示的区域是否包含之前未处理的区域。若需要更新，则将向后端处理模块发送图像处理请求。
4.3.若捕获到用户标记子区域或删除标记子区域操作，例如：在预览图片中使用鼠标进行右键点击或拖拽。向后端处理模块发送标记子区域请求或者删除子区域请求，并且将所有记录的标记点传送至后端处理模块。当收到处理完成信号时，将后端处理模块传回的无法标记的标记点，再次传回后端处理模块，并且发送图像处理请求。
4.4.若捕获到用户更改子区域大小等级，更改发送请求中的子区域大小等级，向后端处理模块发送图像处理请求。
4.5.若捕获到用户欲更改显示的病理图片，向后端处理模块发送更改病理图片请求。
4.6.若捕获到用户导出数据的请求，向后端处理模块发送导出数据请求。
4.7.若捕获到用户提示标注的请求，向后端处理模块发送导出提示标注请求。
具体的。
一，使用Matlab编写图像预处理模块。
a)从目录“./source”下，读取名为“example”病理图片。
b)使用OpenSlide开源软件理将deepzoom图片转化为MATLAB Array格式图片。
c)使用simple linear iterative clustering(SLIC)算法进行超像素分割，确定细胞的边界。
d)以二值图像对边界进行存储。
二，使用MySQL程序建立数据库，使用Python语言编写数据记录模块。
a)读取配置文件中数据库的用户账号，密码与数据库名称，使用pymysql库进行连接数据库。
b)根据接收到的查询，删除，增加请求，分别对应数据库语言的SELECT，DELET，INSERT指令，对数据库进行操作，记录数据。
三，通过JavaScript脚本编写前端图像预览模块，其为前端交互模块的一部分。
a)前端通过jQuery发送get访问请求，后端处理模块向浏览器回复病理图像照片数据，包括完整的图片大小，病人信息等数据。
b)浏览器根据获取到的信息，确定需要预览区域，若没有具体设置则默认预览全部图片。通过jQuery发送post请求，将所需要预览的四角坐标，加上图片边界大小级别，以及无法标记的标记点，发送图片处理请求至后端处理模块中的服务端。
c)前端读取服务端返回的结果，通过OpenSeadragon开源图片浏览插件，将图片展现在网页上。
d)通过OpenSeadragon读取用户拖动，缩放图片的动作，计算原有图片大小以及显示图片的大小比例，得到目前的放缩倍数的大小，并将其展现在网页前端。
e)通过OpenSeadragon读取图像显示在页面上的位置，判断是否有图片展示区域是否有空白，以及放缩比例是否达到当前获取图片的最高放大值，如果需要更新图片返回至步骤b，若不需要则返回至步骤e。
四，通过JavaScript与Python配合编写数据标注请求模块，其为前端交互模块的又一部分。
a)通过jQuery读取鼠标右键摁下的动作状态，触发右键按下动作时，通过OpenSeadragon读取光标位置，并将光标坐标储存至坐标数组中。
b)通过jQuery读取鼠标右键松开的动作状态，触发右键松开动作时，将坐标数组中储存的内容，添加上COOKIE标注的病理级别以及分区大小级别等内容，通过JQuery使用post请求，传送至后端处理模块。
c)将从后端处理模块收到的无法标记的点(若没有则为空)，加上
目前正在预览的区域的信息，传送至后端处理模块，并发送更新图片请求。
五，使用Flask-WTF组件运行网页登录模块，其为后端处理模块的一部分。
a)读取浏览器内COOKIE，判断COOKIE内数据是否与已有用户COOKIE相同，若两者相同，则前端图像预览模块跳转至数据标定的主页面，否则进入下一步。
b)读取用户输入的用户名与密码，判断用户名与密码是否与已有用户名与密码一致，一致则进行下一步，否则结束请求。
c)根据目前在线的分析者数量，创建新分析者编号及其所对应的密文，并保存至数据库，同时加密传送至前端图像预览模块，将密文存储至COOKIE中。
d)前端图像预览模块跳转至数据标定的主页面。
六，使用Python编写图像在线处理模块，其为后端处理模块的又一部分。
a)后端处理模块读取前端发送的get请求，获得需要返回的的图片区域大小与位置，读取MySQL数据库中在需要显示的区域中已经标记的点。
b)通过OpenSlide提取病理图片中需要展示的部分，并以JPG格式进行存储。
c)使用OpenCV中泛洪填充函数，在二值图像(即超像素分割后的边界图像)中，所对已经标记的区域进行颜色，建立填充建立图层1
d)将通过OpenCV将所有无法标记的标记点参数中的无法标记的标记点坐标在图层2中进行标记。
e)使用阿尔法区域填充，以透明度为0.5，将图层1，2与原图像进行组合，并且以JPG格式图像格式进行储存。
七，使用Python编写数据标注处理模块，其为后端处理模块的另一部分。
a)接受到数据标注或删除的post请求时，将所有记录的数据进行按区域分类，对于同一区域的坐标，只将第一个坐标点进行标记。
b)若接收到的是数据标注请求，进入下一步骤c；若为数据删除操作，则跳转至d。
c)将标记坐标标记于图像在线处理模块中的图层一，如果标记坐标已经被更该颜色(即所在区域已近完成标注)，则作为无法标记的点传送回前端。
d)向数据记录模块发送请求，将可以进行标记的点储存于数据库，或删除已标记的区域。
八，使用Python编写标注相似区域模块，其为后端处理模块的另一部分。
a)使用方向梯度直方图的图片特征提取算法，提取整张图片各个区域的特征向量。
b)将图片中所有区域与限定区域进行特征向量对比，当两者特征向量差值小于阈值时，则为相似区域。
c)将找到的区域根据特征向量差值从小到大，依次传送至前端，进行展示给用户进行快速选择。
九，使用Python编写数据导出模块，其为后端处理模块的另一部分。
a)提取超像素分割处理后的边界图像，并导出至文件一。
b)提取所有选定区域的说有点坐标，并导出至文件二。
c)打包文件一与文件二，并进行压缩加密。

Claims (10)

1.基于云端的大型病理学图像协作注释方法，其特征在于，包括如下步骤，
图像预处理步骤；
在云端，通过并行处理对多张病理图片按照设定的子区域大小等级，进行超像素分割，得到多个子区域以及各个子区域平均像素个数所对应的子区域边界；
数据记录步骤；包括，
在云端，对图像预处理步骤得到的子区域和子区域边界进行记录和更新；
以及根据后端处理步骤中进行的增加或删除标记请求的处理结果，对请求的标记子区域进行一一对应的记录和更新；
后端处理步骤；
根据对数据记录步骤产生记录的查询；
以及根据前端交互步骤获取的图像处理请求、标记子区域请求、删除标记子区域请求和提示标注请求，分别对图像预处理步骤得到的子区域进行对应处理；
前端交互步骤；包括，
对后端处理步骤的处理结果的展示；
以及根据捕获的用户动作、对预览图片和标记子区域的操作，分别形成对应的图像处理请求、标记子区域请求、删除标记子区域请求和提示标注请求。
2.根据权利要求1所述的基于云端的大型病理学图像协作注释方法，其特征在于，图像预处理的具体步骤包括如下，
步骤1.1，通过并行处理，读取多张病理图片，转换成可超像素分割处理格式图片；
步骤1.2，设置子区域大小等级，每个等级对应不同子区域平均像素个数；
步骤1.3，重复取不同子区域平均像素个数，使用超像素分割算法将病理图片分割成多个子区域，得到各个子区域平均像素个数所对应的子区域边界；
步骤1.4，将所有分割好的子区域边界进行存储。
3.根据权利要求1所述的基于云端的大型病理学图像协作注释方法，其特征在于，数据记录的具体步骤包括如下，
步骤2.0，记录和更新分割好的子区域和子区域边界；
步骤2.1，若接收到查询标记请求，在数据库中，根据用户信息，查询该用户已标记的区域，返回所有查询到的数据；
步骤2.2，若接收到增加标记请求，将其中用户需要新增的标记区域，增加至数据库中；
步骤2.3，若接收到删除标记请求，将需要删除的标记区域，从数据库中删除，或标记为已删除区域。
4.根据权利要求1所述的基于云端的大型病理学图像协作注释方法，其特征在于，后端处理的具体步骤包括如下，
步骤3.1，若接收到图像处理请求，获取请求中所需处理的区域在原病理图片中的位置与大小，用户设置的子区域大小等级，以及无法标记的标记点在原病理图片中位置；并将进行以下操作：
步骤3.1.1，提取原病理图片中需要处理的区域，根据用户屏幕分辨率，计算出前端用户交互界面中显示图片所用像素尺寸，放缩提取出的图片使得提取区域像素尺寸符合所需像素尺寸，并保存在图层一；
步骤3.1.2，从对应子区域大小等级的子区域边界文件中，提取所需处理区域中，所有子区域的边界，保存至图层二；
步骤3.1.3，向数据记录模块发送查询标记请求，获取用户已标注的区域；
步骤3.1.4，在图层二中，对于用户已标注的区域，进行再处理，使其与未标记区域不同；
步骤3.1.5，在图层二中，将无法标记的标记点进行标记；
步骤3.1.6，合并图层一与图层二后再压缩图片，并且将压缩后的图片传输至前端；
步骤3.2，若接收到标记子区域请求，提取请求中的所有标记点信息，前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息；并进行以下操作：
步骤3.2.1，根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域；
步骤3.2.2，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.2.3，若含有可以标记的子区域，则向数据记录步骤发送增加标记请求；
步骤3.2.4，若已标记子区域含有标记点，则将已标记子区域所含标记点作为无法标记的标记点传回前端交互步骤；
步骤3.2.4，向前端交互模块发送图片处理处理完成信号。
步骤3.3，若接收到删除标记子区域请求，提取请求中的所有标记点信息，前端交互模块中，展示病理图片所用的子区域大小等级，以及用户信息；并进行以下操作：
步骤3.3.1，根据对应子区域大小等级的子区域边界文件，将所有标记点对应至含该标记点的子区域；
步骤3.3.2，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.3.3，若含有可以删除标记的子区域，则向数据记录模块发送删除标记请求；
步骤3.3.4，若未标记子区域含有标记点，则将未标记子区域所含标记点作为无法标记的标记点传回前端交互模块；
步骤3.3.5，向前端交互模块发送处理完成信号。
步骤3.4，若接收到提示标注请求，提取请求中的用户信息；并进行以下操作：
步骤3.4.1，向数据记录模块发送查询标记请求，获取用户已标记的子区域；
步骤3.4.2，使用图像特征提取算法，例如方向梯度直方图算法，计算所有子区域的特征向量；
步骤3.4.3，比对用户已标记的子区域图像特征向量，以及未标注的子区域特征向量，选取未标注子区域的特征向量中，与已标注子区域的特征向量相似的区域，发送至前端交互步骤进行显示提示标注。
5.根据权利要求4所述的基于云端的大型病理学图像协作注释方法，其特征在于，后端处理的具体步骤还包括如下，
若接收到数据导出请求，将所有子区域边界文件，病理图片，以及用户标记区域进行打包存储，并返回数据包；
若接收到更改病理图片请求，则将更换病理图片，及其所有子区域边界文件。
6.根据权利要求1所述的基于云端的大型病理学图像协作注释方法，其特征在于，所述前端交互的具体步骤包括如下，
步骤4.1，若捕获到用户打开前端交互模块，则获取用户信息；在后端处理模块中虚拟出独立的后端处理模块实例，并且根据用户信息向对应的后端处理模块实例发送图像处理请求；若用户关闭前端交互模块，则关闭对应的后端处理模块实例；
步骤4.2，若捕获到用户对预览图片的操作，判断是否需要更新预览图片，如果所需向用户展示的区域包含之前未处理的区域，则需要更新，向后端处理步骤发送图像处理请求；否则不更新；
步骤4.3，若捕获到用户标记子区域或删除标记子区域操作，向后端处理步骤发送标记子区域请求或者删除子区域请求，并且将所有记录的标记点传送至后端处理步骤；当收到处理完成信号时，将后端处理步骤传回的无法标记的标记点，再次传回后端处理步骤，并且发送图像处理请求；
步骤4.4，若捕获到用户更改子区域大小等级，更改发送请求中的子区域大小等级，向后端处理步骤发送图像处理请求；
步骤4.5，若捕获到用户欲更改显示的病理图片，向后端处理步骤发送更改病理图片请求；
步骤4.6，若捕获到用户导出数据的请求，向后端处理步骤发送导出数据请求；
步骤4.7，若捕获到用户提示标注的请求，向后端处理步骤发送提示标注请求。
7.根据权利要求6所述的基于云端的大型病理学图像协作注释方法，其特征在于，所述前端交互模块采用基于网页浏览器设置的前端用户交互界面。
8.基于云端的大型病理学图像协作注释系统，其特征在于，包括，
一个图像预处理模块，在云端通过超像素分割，对病理图片进行预先处理，同时以二值图像进行存储其边际；
一个数据记录模块，用于多用户的数据记录，使用户协同标注图像；
若干个前端交互模块，用于完成对用户动作的捕获产生对应的请求发送到后端处理模块，以及用于病理图片的展示；
一个后端处理模块，用于虚拟与前端交互模块一一对应的后端处理模块实例，从而同时响应若干个前端交互模块的请求，完成数据的标注以及对用户的可能标注区域的提示后，反馈给对应的前端交互模块。
9.根据权利要求8所述逇基于云端的大型病理学图像协作注释系统，其特征在于，基于权利要求1-7的方法，图像预处理模块、数据记录模块、前端交互模块和后端处理模块，分别用于执行图像预处理步骤、数据记录步骤、前端交互步骤和后端处理步骤。
10.基于云端的大型病理学图像协作注释系统，其特征在于，包括处理器和存储器；存储器中存储的程序用于执行权利要求1-7中任意一项所述的方法，处理器用于执行存储器中存储的程序。
CN201910252955.9A 2019-03-29 2019-03-29 基于云端的大型病理学图像协作注释方法及系统 Active CN109949907B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910252955.9A CN109949907B (zh) 2019-03-29 2019-03-29 基于云端的大型病理学图像协作注释方法及系统
US16/831,796 US11392634B2 (en) 2019-03-29 2020-03-26 Cloud-based large-scale pathological image collaborative annotation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910252955.9A CN109949907B (zh) 2019-03-29 2019-03-29 基于云端的大型病理学图像协作注释方法及系统

Publications (2)

Publication Number Publication Date
CN109949907A true CN109949907A (zh) 2019-06-28
CN109949907B CN109949907B (zh) 2021-07-13

Family

ID=67013191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910252955.9A Active CN109949907B (zh) 2019-03-29 2019-03-29 基于云端的大型病理学图像协作注释方法及系统

Country Status (2)

Country Link
US (1) US11392634B2 (zh)
CN (1) CN109949907B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111326263A (zh) * 2020-02-03 2020-06-23 深圳安泰创新科技股份有限公司 标注轨迹显示方法、装置、设备及计算机可读存储介质
CN111784284A (zh) * 2020-06-15 2020-10-16 杭州思柏信息技术有限公司 一种宫颈图像多人协同标记云服务系统及云服务方法
CN112835482A (zh) * 2021-01-05 2021-05-25 天津大学 一种交互式天气雷达样本制作的方法
CN116821396A (zh) * 2023-08-25 2023-09-29 神州医疗科技股份有限公司 基于OpenSeadragon框架的病理标注系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435447B (zh) * 2021-07-26 2023-08-04 杭州海康威视数字技术股份有限公司 图像标注方法、装置及图像标注系统
CN113706361B (zh) * 2021-08-19 2022-04-26 兰州大学 一种基于机密计算的数字图像权属保护云系统
CN115732061A (zh) * 2021-08-30 2023-03-03 华为云计算技术有限公司 数据标注的方法、装置、设备和存储介质
CN115622819B (zh) * 2022-12-20 2023-05-05 首都医科大学附属北京胸科医院 一种影像文件的处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206315A1 (en) * 2014-01-21 2015-07-23 Adobe Systems Incorporated Labeling Objects in Image Scenes
CN106776939A (zh) * 2016-12-01 2017-05-31 山东师范大学 一种图像无损标注方法及系统
CN107492135A (zh) * 2017-08-21 2017-12-19 维沃移动通信有限公司 一种图像分割标注方法、装置及计算机可读存储介质
CN107516005A (zh) * 2017-07-14 2017-12-26 上海交通大学 一种数字病理图像标注的方法和系统
CN108319985A (zh) * 2018-02-07 2018-07-24 北京航空航天大学 图像语义标注的方法和装置
CN109427068A (zh) * 2017-08-30 2019-03-05 新加坡国立大学 基于超像素自动标注的深度学习共分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178266A1 (en) * 2015-12-16 2017-06-22 Sap Se Interactive data visualisation of volume datasets with integrated annotation and collaboration functionality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206315A1 (en) * 2014-01-21 2015-07-23 Adobe Systems Incorporated Labeling Objects in Image Scenes
CN106776939A (zh) * 2016-12-01 2017-05-31 山东师范大学 一种图像无损标注方法及系统
CN107516005A (zh) * 2017-07-14 2017-12-26 上海交通大学 一种数字病理图像标注的方法和系统
CN107492135A (zh) * 2017-08-21 2017-12-19 维沃移动通信有限公司 一种图像分割标注方法、装置及计算机可读存储介质
CN109427068A (zh) * 2017-08-30 2019-03-05 新加坡国立大学 基于超像素自动标注的深度学习共分割方法
CN108319985A (zh) * 2018-02-07 2018-07-24 北京航空航天大学 图像语义标注的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111326263A (zh) * 2020-02-03 2020-06-23 深圳安泰创新科技股份有限公司 标注轨迹显示方法、装置、设备及计算机可读存储介质
CN111326263B (zh) * 2020-02-03 2023-09-29 深圳安泰创新科技股份有限公司 标注轨迹显示方法、装置、设备及计算机可读存储介质
CN111784284A (zh) * 2020-06-15 2020-10-16 杭州思柏信息技术有限公司 一种宫颈图像多人协同标记云服务系统及云服务方法
CN111784284B (zh) * 2020-06-15 2023-09-22 杭州思柏信息技术有限公司 一种宫颈图像多人协同标记云服务系统及云服务方法
CN112835482A (zh) * 2021-01-05 2021-05-25 天津大学 一种交互式天气雷达样本制作的方法
CN112835482B (zh) * 2021-01-05 2022-06-14 天津大学 一种交互式天气雷达样本制作的方法
CN116821396A (zh) * 2023-08-25 2023-09-29 神州医疗科技股份有限公司 基于OpenSeadragon框架的病理标注系统

Also Published As

Publication number Publication date
CN109949907B (zh) 2021-07-13
US20200226174A1 (en) 2020-07-16
US11392634B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN109949907A (zh) 基于云端的大型病理学图像协作注释方法及系统
US11023666B2 (en) Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area
AU2017302250B2 (en) Optical character recognition in structured documents
CN110458918B (zh) 用于输出信息的方法和装置
US10735494B2 (en) Media information presentation method, client, and server
US7970240B1 (en) Method and apparatus for archiving and visualizing digital images
US20170364526A1 (en) Systems and Methods for Remote Replay of User Interaction with a Webpage
CN110928507A (zh) 基于智能书写的同步显示及数据电子化系统及实现方法
JP2002055748A (ja) 情報処理方法及び装置
TWI627540B (zh) 雲端字形服務系統
WO2009012580A1 (en) Video signal content indexing and linking to information sources and a video player therefor
CN113568995B (zh) 基于检索条件的动态瓦片地图制作方法及瓦片地图系统
WO2021169122A1 (zh) 图像标注管理方法、装置、计算机系统及可读存储介质
CN105631051A (zh) 基于文字识别的移动增强现实阅读方法及其阅读系统
CN109726712A (zh) 文字识别方法、装置及存储介质、服务器
CN108509589B (zh) 信息流展示方法及系统、计算机可读存储介质
CN104951537A (zh) 一种图像搜索的方法和装置
JP2000339327A (ja) サムネイル画像情報操作システム
US20210349531A1 (en) Collecting of points of interest on web-pages by eye-tracking
CN112862558A (zh) 产品详情页面的生成方法和系统、数据处理方法
CN113822899A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115408562A (zh) 目标对象的搜索方法和图像的搜索方法
TWI262409B (en) Method and system for rapidly acquiring website information
CN116226557B (zh) 待标注数据的拾取方法、装置、电子设备和存储介质
WO2023100618A1 (ja) 画像ファイル、生成装置、及びデータ処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant