CN114494465A - 面向自动扫描的组织病理切片检测目标定位方法与装置 - Google Patents
面向自动扫描的组织病理切片检测目标定位方法与装置 Download PDFInfo
- Publication number
- CN114494465A CN114494465A CN202210185218.3A CN202210185218A CN114494465A CN 114494465 A CN114494465 A CN 114494465A CN 202210185218 A CN202210185218 A CN 202210185218A CN 114494465 A CN114494465 A CN 114494465A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- slide
- image
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000001575 pathological effect Effects 0.000 claims abstract description 50
- 230000009466 transformation Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 18
- 230000007170 pathology Effects 0.000 claims description 16
- 238000012015 optical character recognition Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000001681 protective effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种面向自动扫描的组织病理切片检测目标定位方法与装置，该装置结构简单，主要由四部分组成：相机及镜头、背光源、相机固定架、遮光外壳。该方法从所采集图片中快速提取玻片的标签信息，并对组织标本病理区域进行定位提取出若干病理小矩形区域相对玻片原点的距离。将每张玻片上的若干病理小矩形区域相对玻片原点的位置标定换算成实际偏移距离之后，结合对应玻片的标签信息存储在数据库中。在实际进行显微自动检测时，直接对玻片预处理得到的检测目标位置信息进行读取，进而控制载物台的移动位置，使物镜逐个定位到检测目标的位置进行快速扫描采集，减少了目标物遍历查找搜集的时间，提高了工作效率。
Description
技术领域
本发明涉及医疗信息采集和临床检测技术领域，尤其涉及一种面向自动扫描的组织病理切片检测目标定位方法与装置。
背景技术
组织病理检查，主要是指将病变的组织通过手术切取、腔镜下钳取，或者经细针穿刺而获得的病变组织，将其通过取材、固定、脱水、透明，以及浸蜡、包埋、切片、染色等一系列的组织处理而制成的规范的组织病理切片。在显微镜下进行观察，根据其组织结构和形态的变化，以给予明确的病理诊断，从而指导临床医生根据病理检查结果进行针对性的治疗。
组织病理检查在临床中应用比较广泛，能够定性。临床上，组织病理检查往往用于确诊疾病，因为病理检查是所有检查的金标准。比如进行胃部取活组织，进行组织病理学检查，以明确炎症的类型，判断严重性，同时明确炎症组织有没有恶变。此外，例如对于胃癌的确诊也是需要进行组织病理检查的，所以成为了一种常用的医学检测手段，包括其它部位的肿瘤，切除组织后再进行组织病理检查可作为确诊的重要依据。病理玻片可以辅助医生进行初步诊断快速筛选大量病患的病理情况，提高临床诊断效率，同时可以决定下一步的治疗方案以及估计预后，进而提高临床治疗水平。组织病理学检查不论在临床医学还是医学研究中都具有重要的意义。
目前国内外现有的临床组织病理检测主要靠人工观察显微镜的检验方式进行，人工镜检是医生通过手、眼、脑配合操作和观察显微镜下玻片的过程，人工手动镜检的存在的问题在于这几个方面：①检测医师的劳动强度比较大，需要检测的组织病理玻片数目较多，检测效率低下。②人工检测成本较高，存在“用人荒”的问题，检测人员供不应求。③人工检测的局限性，因仅仅依靠宏观上的大体病理位置进行显微镜物镜的定位调节，存在着较多的区域漏检问题。
当前出现的显微自动扫描仪可以替代医生阅片过程的体力劳动，是未来的技术趋势。目前的自动显微扫描主要以扫描液基玻片为主，比如宫颈脱落细胞、尿液细胞学、痰液细胞学等应用领域，针对当前临床检验量十分庞大的组织病理检测，如消化道内镜切除组织、穿刺取出组织等临床细胞学检测尚无自动扫描装置，导致消化病理临床医生工作强度巨大，急需自动化仪器解放医生的体力劳动。液基玻片和组织病理玻片病理样本分布有着明显差异：液基玻片待观测区域较为集中，多密集分布在指定区域，采用固定位置的“弓字形”或“堆垛式”扫描轨迹即可实现被检测目标的扫描；然而组织病理玻片因人工制片的随机性造成了病理区域呈分散式随机排布，所述差异见图1、图2所示。
采用液基细胞学玻片的固定区域和路径的扫描方式对组织病理玻片进行扫描检测，存在无法找到检测目标的问题，组织的随机分布使常规的检测过程犹如大海捞针，效率极其低下。
若要实现临床组织病理检验的自动扫描，需要让扫描系统预先知晓检测目标在玻片坐标系中的分布数量、位置、形状、面积等信息，扫描仪可以根据这些形位信息规划扫描路径，有的放矢，提高检验精准度和效率。因此提出一种面向自动扫描的组织病理切片检测目标定位方法与装置非常重要，尤其为医疗组织病理类玻片自动化检测提供了新的思路与方法，保证检测设备能够连续高效的稳定运行。
发明内容
本发明针对上述技术问题，提出一种面向自动扫描的组织病理切片检测目标定位方法与装置，该装置结构简单，主要由四部分组成：相机及镜头、背光源、相机固定架、遮光外壳。该方法可以从所采集图片中快速提取玻片的标签信息(含二维码信息)，并对组织标本病理区域进行定位提取出若干病理小矩形区域相对玻片原点的距离(定义玻片竖直摆放时右下角点为玻片原点)。将每张玻片上的若干病理小矩形区域相对玻片原点的位置标定换算成实际偏移距离之后，结合对应玻片的标签信息存储在数据库中。在实际进行显微自动检测时，直接对玻片预处理得到的检测目标位置信息进行读取，进而控制载物台的移动位置，使物镜逐个定位到检测目标的位置进行快速扫描采集，将采集到的组织病理图像结合相关算法再进行后续处理工作。本发明为面向显微镜自动扫描的组织病理切片检测目标快速定位信息采集工作提供了新的方法与思路。
为了实现上述目的，本发明提供如下技术方案：
本发明提供了一种面向自动扫描的组织病理切片检测目标定位方法，包括以下步骤：
S1、开启相机初始化相机参数之后，进行图像采集，结合形态学预处理定位玻片标签OCR矩形区域；
S2、判定矩形区域的中心点坐标是否位于左半区象限，若是则对图像扭转180度，若否则进入步骤S3；
S3、获得矩形区域Phi角度，Phi的输出范围为[-pi,pi)；
S4、根据矩形区域的中心点坐标以及区域Phi角度，对该区域进行仿射变换对图像进行定位矫正，以矩形区域右下角点O为原点，水平为X、垂直为Y建立直角坐标系；
S5、由得到的矩形区域扩展向上建立另一个矩形ROI截取整个玻片区域，以该矩形ROI在相机采集的灰度图上抠图截取，获得玻片全区域图像；
S6、对该图像进行图像增强处理，获得组织玻片的标签信息；
S7、依据标签区域与病理区域的相对位置建立病理ROI，并在玻片全区域抠图，获得病理全区域；
S8、对于病理全区域应用数学形态学提取出若干目标检测区域，按行排序之后，获得目标检测区域最小外接矩形的角点坐标信息；
S9、根据角点坐标信息与玻片全区域原点坐标计算出所有目标检测区域的X、Y偏移像素距离；
S10、结合实际相机标定的坐标系转换实现由图像坐标系转换为世界坐标系，将像素偏移距离(Pix)换算为实际偏移距离(mm)，坐标变换关系式如公式(1)所示：
其中，深度s为目标点在相机坐标系Z方向的值，等号左侧的矩阵为图像坐标系中的坐标，等号右侧第一个矩阵为相机内参数矩阵，第二个矩阵为相机外参数矩阵，第三个矩阵为相机坐标系中的坐标；
S11、结合该组织病理玻片的标签信息对应好目标检测区域的位置信息保存在数据库中。
进一步地，步骤S1中形态学预处理采用二值阈值处理方法。
进一步地，步骤S6中获得组织玻片的标签信息方法为：经过阈值化和形态学特征选取获得OCR连通域，对OCR连通域进行OCR光学字符识别或者二维码解码处理。
进一步地，步骤S10中坐标变换流程采用顺序变换：先从图像坐标系到相机坐标系，使用内参变换，之后从相机坐标系到世界坐标系，使用外参变换。
进一步地，从图像坐标系到相机坐标系获得的相机坐标为非齐次，转换为齐次坐标再进行下一步变换。
进一步地，从相机坐标系到世界坐标系时，将外参矩阵转换为齐次再进行计算。
进一步地，内参变换公式为：
其中，等号左边为相机坐标系中的点坐标，等号右边第一项为图像坐标系到相机坐标系的变换矩阵，第二项为图像坐标系中的像点坐标，第三项为图像的位深。
进一步地，外参变换公式为：
其中，等号左侧表示为世界坐标系上的点坐标，等号右侧第一项为相机坐标系到世界坐标系的变换矩阵，第二项为相机坐标系上的点坐标。
本发明还提供了一种面向自动扫描的组织病理切片检测目标定位装置，包括：相机及镜头、背光源、相机固定架、遮光外壳和显示器；
所述相机配有芯片，搭配镜头使用，用于采集组织病理玻片图像，并于显示器上呈现，所述芯片用于实现上述的方法步骤；
所述背光源放在相机固定架底座前端居中放置，作为病理组织玻片检测时的光源；
所述相机固定架，用于固定相机和承托光源以及调节相机镜头的垂直高度；
所述遮光外壳作为整套采集装置的保护外壳。
进一步地，所述芯片包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明提出一种面向自动扫描的组织病理切片检测目标定位方法与装置，实现了组织病理类玻片进行显微自动扫描时快速定位目标区域，相当于实际检测工作的“预处理”环节。为组织病理类玻片的显微镜自动检测提供了新的思路与方法，减少了目标物遍历查找搜集的时间，提高了工作效率，并且结构简单，控制了成本，避免了人工劳动产生的疲劳，可以很好的推动医疗检测行业的发展，在医疗组织病理类玻片显微视觉自动检测行业有着广泛的应用前景。其主要优点如下：
(1)降低人员工作难度与强度的同时保证了效率和精度；
(2)结合“预处理”信息控制载物台快速实现物镜定位，避免“大海捞针”，提高了工作效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为常规液基玻片与组织病理玻片对比图。
图2为本发明实施例提供的面向自动扫描的组织病理切片检测目标定位方法流程图。
图3为本发明实施例提供的区域Phi角度描述示意图。
图4为本发明实施例提供的面向自动扫描的组织病理切片检测目标定位装置结构示意图。图4中，1.相机及镜头、2.背光源、3.相机固定架、4.遮光外壳、5.组织病理玻片、6.显示器。
图5为本发明实施例提供的芯片结构示意图。
图6为本发明实施例提供的面向自动扫描的组织病理切片检测目标定位装置整体工作流程图。
图7为本发明实施例提供的对不同方向摆放的玻片进行检测算法运行示例图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的面向自动扫描的组织病理切片检测目标定位方法，如图2，包括以下步骤：
S1、开启相机初始化相机参数之后，进行图像采集，结合形态学预处理定位玻片标签OCR矩形区域，本实施例中采用二值阈值处理方法。
S2、判定矩形区域的中心点坐标是否位于左半区象限，若是则对图像扭转180度，若否则进入步骤S3。
具体操作方法为：判定标签端区域Phi角度正方向朝向，如果标签端Phi正方形朝向左侧，继续下一步获取矩形区域的Phi角度，所谓Phi角度即为表示将区域拟合为最小椭圆时，该椭圆长轴与水平方向的夹角，并且长轴尖锐的一侧为正方向。当长轴两侧尖锐情况相同时(比如矩形)坐标小的一侧为正方向，一般认为图像窗口的左上角点即为图像坐标系原点位置，Phi角顺时针为负，逆时针为正，例如下图3中左图的Phi为正，右图Phi为负。如果标签端朝向右侧，则需要先对图像翻转180°统一转向左侧区域进行上述后续Phi处理。
S3、获得矩形区域Phi角度，Phi的输出范围为[-pi,pi)。
S4、根据矩形区域的中心点坐标以及区域Phi角度，对该区域进行仿射变换对图像进行定位矫正，以矩形区域右下角点O为原点，水平为X、垂直为Y建立直角坐标系。
S5、由得到的矩形区域扩展向上建立另一个矩形ROI截取整个玻片区域，以该矩形ROI在相机采集的灰度图上抠图截取，获得玻片全区域图像；
S6、对该图像进行图像增强处理，经过阈值化和形态学特征选取可获得OCR连通域，对OCR连通域进行OCR光学字符识别或者二维码解码处理，获得组织玻片的标签信息。
S7、依据标签区域与病理区域的相对位置建立病理ROI，并在玻片全区域抠图，获得病理全区域。
S8、对于病理全区域应用数学形态学提取出若干目标检测区域，按行排序之后，获得目标检测区域最小外接矩形的角点坐标信息。
S9、根据角点坐标信息与玻片全区域原点坐标计算出所有目标检测区域的X、Y偏移像素距离。
S10、结合实际相机标定的坐标系转换实现由图像坐标系转换为世界坐标系，将像素偏移距离(Pix)换算为实际偏移距离(mm)，坐标变换关系式如公式(1)所示：
其中，深度s为目标点在相机坐标系Z方向的值，等号左侧的矩阵为图像坐标系中的坐标，等号右侧第一个矩阵为相机内参数矩阵，第二个矩阵为相机外参数矩阵，第三个矩阵为相机坐标系中的坐标；
坐标变换流程采用顺序变换：先从图像坐标系到相机坐标系，使用内参变换，之后从相机坐标系到世界坐标系，使用外参变换。
内参变换公式为：
其中，等号左边为相机坐标系中的点坐标，等号右边第一项为图像坐标系到相机坐标系的变换矩阵，第二项为图像坐标系中的像点坐标，第三项为图像的位深。
外参变换公式为：
其中，等号左侧表示为世界坐标系上的点坐标，等号右侧第一项为相机坐标系到世界坐标系的变换矩阵，第二项为相机坐标系上的点坐标。
两个变换之间的矩阵大小不同，需要分开计算，从图像坐标系到相机坐标系获得的相机坐标为非齐次，转换为齐次坐标再进行下一步变换。从相机坐标系到世界坐标系时，将外参矩阵转换为齐次再进行计算。
S11、结合该组织病理玻片的标签信息对应好目标检测区域的位置信息保存在数据库中，以便实际显微检测时读取上述“预处理”信息快速调整载物台移动使物镜对准观测位置。
本发明还提供了一种面向自动扫描的组织病理切片检测目标定位装置，如图4所示，包括：相机及镜头1、背光源2、相机固定架3、遮光外壳4以及显示器6。
所述相机配有芯片，搭配镜头使用，根据具体应用，搭配适合应用要求不太严格与较长工作距离的镜头。所述芯片用于实现上述的面向自动扫描的组织病理切片检测目标定位方法步骤。
所述背光源2放在相机固定架底座前端居中放置，作为病理组织玻片检测时的光源；采用针对玻片这种透明玻璃材质为目标的背光光源，在实际检测时直接将病理组织玻片5任意方向摆放在背光源覆盖区域即可进行相机采图操作，操作简单，便于后期的图像算法实现。
所述相机固定架3，用于固定相机和承托光源以及调节相机镜头的垂直高度；其采用高度可调的结构，例如伸缩杆、套杆等，可以调节相机镜头的垂直高度，以调整图像质量，确保采集到清晰度最高的图像，为后续病理检测目标的定位创造良好条件。
所述遮光外壳4作为整套采集装置的保护外壳，兼顾保护内部相机和隔绝大部分环境光的作用，避免周围环境光造成的玻片区域亮暗不均的现象，确保相机采集到清晰稳定的组织病理玻片图像，并于显示器6上呈现。
相应于上述本发明实施例提供的方法和装置，本发明实施例还提供了一种芯片，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述本发明实施例提供的任一面向自动扫描的病理组织切片检测目标定位与信息提取。
上述电子芯片提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述本发明实施例提供的任一面向自动扫描的病理组织切片检测的目标定位与信息提取的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
采用本发明的上述装置，对组织病理类玻片进行图像采集，然后提取出目标物的位置信息和玻片标签信息对应保存在数据库中，如图6所示，具体包含如下步骤：
步骤一：开启相机，初始化参数调整好白平衡，增益，曝光时间等；
步骤二：将组织病理玻片任意方向摆放在背光源覆盖范围内，进行图像采集工作；
步骤三：对采集到的图像进行相关算法检测，提取得到玻片标签信息和目标物的位置信息，对应存储在数据库中。
步骤四：实际检测时，通过扫描读取当前组织病理玻片标签信息，在数据库中进行查询比对，调取之前“预处理”获得的目标物位置信息来控制显微自动扫描平台的载物台的运动路线使得物镜对准目标物。
采用本发明的装置和方法对不同方向摆放的玻片进行检测的运行示例，如图7所示。
以上所述的只是用图解说明本发明相关的一种面向自动扫描的组织病理切片检测目标定位方法与装置的优选应用实例，由于对相同技术领域的技术人员来说很容易在此基础上进行若干的修改，因此本说明书并非要将本发明所述的面向自动扫描的组织病理切片检测目标定位方法与装置局限在所示或者所述的具体机构及适用范围内，故凡是可能被利用的相应修改以及等同替换等，均属于本发明专利的保护范围。
综上，本发明所述的一种面向自动扫描的组织病理切片检测目标定位方法与装置，实现了组织病理类玻片进行显微自动扫描时快速定位目标区域，相当于实际检测工作的“预处理”环节。为组织病理类玻片的显微镜自动检测提供了新的思路与方法，减少了目标物遍历查找搜集的时间，提高了工作效率，并且结构简单，控制了成本，避免了人工劳动产生的疲劳，可以很好的推动医疗检测行业的发展，在医疗组织病理类玻片显微视觉自动检测行业有着广泛的应用前景。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种面向自动扫描的组织病理切片检测目标定位方法，其特征在于，包括以下步骤：
S1、开启相机初始化相机参数之后，进行图像采集，结合形态学预处理定位玻片标签OCR矩形区域；
S2、判定矩形区域的中心点坐标是否位于左半区象限，若是则对图像扭转180度，若否则进入步骤S3；
S3、获得矩形区域Phi角度，Phi的输出范围为[-pi,pi]；
S4、根据矩形区域的中心点坐标以及区域Phi角度，对该区域进行仿射变换对图像进行定位矫正，以矩形区域右下角点O为原点，水平为X、垂直为Y建立直角坐标系；
S5、由得到的矩形区域扩展向上建立另一个矩形ROI截取整个玻片区域，以该矩形ROI在相机采集的灰度图上抠图截取，获得玻片全区域图像；
S6、对该图像进行图像增强处理，获得组织玻片的标签信息；
S7、依据标签区域与病理区域的相对位置建立病理ROI，并在玻片全区域抠图，获得病理全区域；
S8、对于病理全区域应用数学形态学提取出若干目标检测区域，按行排序之后，获得目标检测区域最小外接矩形的角点坐标信息；
S9、根据角点坐标信息与玻片全区域原点坐标计算出所有目标检测区域的X、Y偏移像素距离；
S10、结合实际相机标定的坐标系转换实现由图像坐标系转换为世界坐标系，将像素偏移距离(Pix)换算为实际偏移距离(mm)，坐标变换关系式如公式(1)所示：
其中，深度s为目标点在相机坐标系Z方向的值，等号左侧的矩阵为图像坐标系中的坐标，等号右侧第一个矩阵为相机内参数矩阵，第二个矩阵为相机外参数矩阵，第三个矩阵为相机坐标系中的坐标；
S11、结合该组织病理玻片的标签信息对应好目标检测区域的位置信息保存在数据库中。
2.根据权利要求1所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，步骤S1中形态学预处理采用二值阈值处理方法。
3.根据权利要求1所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，步骤S6中获得组织玻片的标签信息方法为：经过阈值化和形态学特征选取获得OCR连通域，对OCR连通域进行OCR光学字符识别或者二维码解码处理。
4.根据权利要求1所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，步骤S10中坐标变换流程采用顺序变换：先从图像坐标系到相机坐标系，使用内参变换，之后从相机坐标系到世界坐标系，使用外参变换。
5.根据权利要求4所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，从图像坐标系到相机坐标系获得的相机坐标为非齐次，转换为齐次坐标再进行下一步变换。
6.根据权利要求4所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，从相机坐标系到世界坐标系时，将外参矩阵转换为齐次再进行计算。
7.根据权利要求4所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，内参变换公式为：
其中，等号左边为相机坐标系中的点坐标，等号右边第一项为图像坐标系到相机坐标系的变换矩阵，第二项为图像坐标系中的像点坐标，第三项为图像的位深。
8.根据权利要求4所述的面向自动扫描的组织病理切片检测目标定位方法，其特征在于，外参变换公式为：
其中，等号左侧表示为世界坐标系上的点坐标，等号右侧第一项为相机坐标系到世界坐标系的变换矩阵，第二项为相机坐标系上的点坐标。
9.一种面向自动扫描的组织病理切片检测目标定位装置，其特征在于，包括：相机及镜头、背光源、相机固定架、遮光外壳和显示器；
所述相机配有芯片，搭配镜头使用，用于采集组织病理玻片图像，并于显示器上呈现，所述芯片用于实现权利要求1-8中任一项所述的方法步骤；
所述背光源放在相机固定架底座前端居中放置，作为病理组织玻片检测时的光源；
所述相机固定架，用于固定相机和承托光源以及调节相机镜头的垂直高度；
所述遮光外壳作为整套采集装置的保护外壳。
10.根据权利要求1所述的面向自动扫描的组织病理切片检测目标定位装置，其特征在于，所述芯片包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185218.3A CN114494465B (zh) | 2022-02-28 | 2022-02-28 | 面向自动扫描的组织病理切片检测目标定位方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185218.3A CN114494465B (zh) | 2022-02-28 | 2022-02-28 | 面向自动扫描的组织病理切片检测目标定位方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494465A true CN114494465A (zh) | 2022-05-13 |
| CN114494465B CN114494465B (zh) | 2024-06-04 |
Family
ID=81483583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210185218.3A Active CN114494465B (zh) | 2022-02-28 | 2022-02-28 | 面向自动扫描的组织病理切片检测目标定位方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494465B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012147492A1 (ja) * | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム |
| CN106973258A (zh) * | 2017-02-08 | 2017-07-21 | 上海交通大学 | 病理切片信息快速获取装置 |
| CN111443475A (zh) * | 2020-05-20 | 2020-07-24 | 广州市汇研微电子技术有限公司 | 一种物镜自动定位扫描玻片的方法及装置 |
| WO2020243556A1 (en) * | 2019-05-29 | 2020-12-03 | Leica Biosystems Imaging, Inc. | Neural network based identification of areas of interest in digital pathology images |
| CN112464802A (zh) * | 2020-11-26 | 2021-03-09 | 湖南国科智瞳科技有限公司 | 一种玻片样本信息的自动识别方法、装置和计算机设备 |
-
2022
- 2022-02-28 CN CN202210185218.3A patent/CN114494465B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012147492A1 (ja) * | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム |
| CN106973258A (zh) * | 2017-02-08 | 2017-07-21 | 上海交通大学 | 病理切片信息快速获取装置 |
| WO2020243556A1 (en) * | 2019-05-29 | 2020-12-03 | Leica Biosystems Imaging, Inc. | Neural network based identification of areas of interest in digital pathology images |
| CN111443475A (zh) * | 2020-05-20 | 2020-07-24 | 广州市汇研微电子技术有限公司 | 一种物镜自动定位扫描玻片的方法及装置 |
| CN112464802A (zh) * | 2020-11-26 | 2021-03-09 | 湖南国科智瞳科技有限公司 | 一种玻片样本信息的自动识别方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494465B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7146886B2 (ja) | 包括的なマルチアッセイ組織分析のためのシステムおよび方法 | |
| US11927738B2 (en) | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens | |
| US20220076411A1 (en) | Neural netork based identification of areas of interest in digital pathology images | |
| DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
| Kolar et al. | Hybrid retinal image registration using phase correlation | |
| CN112257704A (zh) | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 | |
| CN111275016A (zh) | 一种玻片扫描影像采集与分析方法及装置 | |
| Keikhosravi et al. | Non-disruptive collagen characterization in clinical histopathology using cross-modality image synthesis | |
| CN112712522A (zh) | 一种病理学图像的口腔癌上皮组织区域自动分割方法 | |
| CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
| Zhang et al. | Evaluation of a new dataset for visual detection of cervical precancerous lesions | |
| Athinarayanan et al. | COMPUTER AIDED DIAGNOSIS FOR DETECTION AND STAGE IDENTIFICATION OF CERVICAL CANCER BY USING PAP SMEAR SCREENING TEST IMAGES. | |
| CN114494465B (zh) | 面向自动扫描的组织病理切片检测目标定位方法与装置 | |
| CN113222928B (zh) | 一种尿细胞学人工智能尿路上皮癌识别系统 | |
| Muštra | Creating segmentation masks for benchmark in digital mammography | |
| Alvarez et al. | Tele-pathology: A use case in colombia | |
| Speier et al. | Image-based patch selection for deep learning to improve automated Gleason grading in histopathological slides | |
| Yamaguchi | Computer-aided differentiation for pathology images | |
| Wieczorek et al. | Choice of distance function in the segmentation of regions of interest in microscopic images of breast tissues | |
| dos Santos et al. | Hematoxylin and eosin stained oral squamous cell carcinoma histological images dataset | |
| Doyle et al. | Quantification of tumor morphology via 3D histology: application to oral cavity cancers | |
| CN112991166A (zh) | 智能辅助导引方法、超声设备及存储介质 | |
| Zhao et al. | Two-Stage Segmentation of Lung Cancer Metastasis Lesions by Fusion of Multi-Resolution Features | |
| Alzubaidi | Fully automated computer system for diagnosis of corneal diseases. Development of image processing technologies for the diagnosis of Acanthamoeba and Fusarium diseases in confocal microscopy images | |
| Ometto et al. | Automated detection of retinal landmarks for the identification of clinically relevant regions in fundus photography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |