CN114708229A - 一种病理切片数字图像的全层次分析系统 - Google Patents

一种病理切片数字图像的全层次分析系统 Download PDF

Info

Publication number
CN114708229A
CN114708229A CN202210348626.6A CN202210348626A CN114708229A CN 114708229 A CN114708229 A CN 114708229A CN 202210348626 A CN202210348626 A CN 202210348626A CN 114708229 A CN114708229 A CN 114708229A
Authority
CN
China
Prior art keywords
image
module
staining
pathological section
pathology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210348626.6A
Other languages
English (en)
Inventor
尤海航
侯兴中
侍璐琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Diatech Biological Technology Co ltd
Original Assignee
Chongqing Diatech Biological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Diatech Biological Technology Co ltd filed Critical Chongqing Diatech Biological Technology Co ltd
Priority to CN202210348626.6A priority Critical patent/CN114708229A/zh
Publication of CN114708229A publication Critical patent/CN114708229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及病理图像辅助分析技术领域，尤其是一种病理切片数字图像的全层次分析系统，包括数据采集模块、图像处理模块和图像分析模块；所述数据采集模块，用于采集HE染色病理切片图像；所述图像处理模块，用于根据采集到的HE染色病理切片图像，生成CK染色病理切片图像；所述图像分析模块，用于分析所述CK染色病理切片图像，生成肿瘤识别结果。采用本方案，能够减小人工诊断压力，提升肿瘤诊断效率，提高患者治愈可能性。

Description

一种病理切片数字图像的全层次分析系统
技术领域
本发明涉及病理图像辅助分析技术领域，特别涉及一种病理切片数字图像的全层次分析系统。
背景技术
数字病理学(Digital Pathology)是病理学领域的一个新兴学科。它的主要目的是将病理信息(包括幻灯片和数据)的获取、管理、共享和解释融入到数字环境中，从而使病理学家在研究和诊断过程中得以透明、一致的进行参与、评估和协作，从而解决病理学面临的质量和数量问题。
数字病理学包含了两个基石：对病理学组织切片进行数字化，以及使用计算方法处理、分析数据。在临床应用中，原始的数字切片未经处理呈透明状，病理学家难以从其中分辨出组织细胞结构，这是因为组织细胞制成的组织切片本身并没有颜色，在标准的光学显微镜下几乎显示不出对比度，为了将组织内部的微观结构展示出来，区分不同的细胞结构，病理学中发明了各种的组织染色技术。这些染色方法采用不同的彩色染料试剂，对组织中的微观结构染上不同的颜色，可以形成颜色丰富的标本图像，为病理医生提供视觉上的明显对比，从而便于病理医生进行诊断。其中苏木素-伊红(HE)染色是病理科最常用的染色方法，染色后组织细胞核呈蓝色，细胞质呈红色，便于诊断医师观察组织结构，提供诊断依据。
然而，组织标本的传统染色过程耗时多且程序复杂，除此以外，传统临床肿瘤诊断过程依赖于病理医生的专业知识，具有极大的主观性，误诊率高。当前的数字病理学虽然显著提高了检测精度，为病理学医生及研究人员提供了极大的工作便利。但是数字病理学现有的成果仍然无法解决病理学领域面临的核心问题，即病理学领域巨大的人力需求与现实中病理学产业能提供的人员之间存在的巨大鸿沟。虽然现有的病理切片扫描仪提供的数字化切片可以达到非常理想的分辨率，但是数字生理学的另一个基石——计算机图像处理在现阶段难以实现理想的辅助医疗人员这一功能。基于传统计算机图像算法的软件在病理学诊断的形态特征识别、特征半量化分析及特征与病症发展整合三个基础方面存在显著的困难。当前数字病理学在临床实践中仅限于通过病理切片扫描仪完成的切片数字化，诊断过程仍然与传统的病理学差别不大。
另外，由于组织病理图像的复杂性和多样性，仅对苏木素-伊红病理切片图像进行人工诊断不仅耗时耗力且要求病理学家具备丰富的知识和经验，同时诊断过程受主观影响容易导致误判，目前国内外已有一些相关的基于深度学习等人工智能技术对数字病理切片图像进行自动化肿瘤识别的工作，虽然在特定场景下可以实现对病变区域的检测，但是目前基于计算机技术的肿瘤识别任务仍需要输入高质量的病理染色图像，目前还未实现虚拟染色与肿瘤自动识别的一体化结合。因此，亟需提供一种能够实现虚拟染色，并根据数字图像自动完成肿瘤识别的病理切片分析系统，减小人工诊断压力，提升肿瘤诊断效率，提高患者治愈可能性。
发明内容
本发明提供了一种病理切片数字图像的全层次分析系统，能够减小人工诊断压力，提升肿瘤诊断效率，提高患者治愈可能性。
为了达到上述目的，本发明的基础方案如下：
一种病理切片数字图像的全层次分析系统，包括数据采集模块、图像处理模块和图像分析模块；
所述数据采集模块，用于采集HE染色病理切片图像；
所述图像处理模块，用于根据采集到的HE染色病理切片图像，生成CK染色病理切片图像；
所述图像分析模块，用于分析所述CK染色病理切片图像，生成肿瘤识别结果。
本发明的原理及优点在于：通过本方案，可以将HE染色病理切片图像数字化并生成CK染色病理切片图像，根据CK染色病理切片图像对肿瘤情况进行识别分析，生成肿瘤识别结果，为病理医生的临床诊断提供一种快速、准确的参考数据。采用本方案，无需人工干预病理图像的生成，避免了耗时耗力的人工染色过程，同时也可以实现对CK染色病理切片图像的自动分析进行自动化的肿瘤辅助诊断，能够减小人工诊断压力，提升肿瘤诊断效率，提高患者治愈可能性。
进一步，所述图像处理模块包括预处理模块，所述预处理模块包括背景分割模块、组织区域提取模块和图像块提取模块；
所述背景分割模块，用于对所述HE染色病理切片图像进行图像背景分割处理，并生成HE背景分割图像；所述HE背景分割图像包括目标区域和背景区域；
所述组织区域提取模块，用于分析所述HE背景分割图像中的目标区域，并生成HE图像有效组织区域；
所述图像块提取模块，用于对所述HE图像有效组织区域进行图像分块处理，并生成若干组织病理图像块。
有益效果：通过背景分割模块完成对于HE染色病理切片图像中目标区域与背景区域的区分，通过背景分割，可以将后续处理的焦点放在目标区域，忽略掉背景，只关注HE染色病理切片图像中的有效信息，从而提高分析速度，提升诊断效率。组织区域提取模块分析HE背景分割图像中的目标区域，识别出目标区域中的HE图像有效组织区域，从而便于将该组织完整的从原始图像上提取出来，通过上述处理，可以减小图像大小，提高运算速度，并且减小图像匹配的误差。
进一步，所述图像块提取模块采用滑动窗口对所述HE图像有效组织区域进行图像分块处理。
有益效果：图像块提取模块采用滑动窗口的方法进行图像分块处理，可以进一步降低图像尺寸，便于后续的图像处理。
进一步，所述图像处理模块还包括图像转换模块；
所述图像转换模块，用于对所述组织病理图像块进行虚拟染色处理，生成CK染色病理切片图像。
有益效果：对所述组织病理图像块进行虚拟染色处理，生成CK染色病理切片图像，便于后续的肿瘤识别，且由于CK染色病理切片图像具有更为明显的颜色差异，所以本方案中对CK染色病理切片图像进行分析，能够提升肿瘤识别准确性。
进一步，所述图像处理模块还包括模型建立模块；
所述模型建立模块，用于获取训练数据，所述训练数据包括组织病理训练图像块和对应的CK染色病理切片训练图像；还用于通过人工智能的方式，将组织病理训练图像块作为输入层的输入，将CK染色病理切片训练图像作为输出层的输出，建立虚拟染色模型。
有益效果：将现有的组织病理训练图像块和对应的CK染色病理切片训练图像作为训练数据，建立虚拟染色模型，便于对新的组织病理训练图像块进行自动转化，生成CK染色病理切片图像，提升染色效率。
进一步，所述图像转换模块，用于通过虚拟染色模型对所述组织病理图像块进行虚拟染色处理；
在虚拟染色模型的输入层输入组织病理图像块，输出层输出CK染色病理切片图像。
有益效果：采用虚拟染色模型完成对于组织病理图像块的自动染色处理，提供了一种快速高效、低成本的CK染色技术。
进一步，所述图像分析模块，采用基于ResNet的图像识别网络对所述CK染色病理切片图像进行分析，生成肿瘤识别结果。
有益效果：基于ResNet的图像识别网络对CK染色病理切片图像进行分析，并生成肿瘤识别结果，实现了肿瘤的自动识别，在CK染色病理切片图像上可以直接进行肿瘤诊断，并提供肿瘤识别结果辅助病理医生进行诊断。
附图说明
图1为本发明实施例一种病理切片数字图像的全层次分析系统的逻辑框图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例1：
实施例1基本如附图1所示：
一种病理切片数字图像的全层次分析系统，如图1所示，包括数据采集模块、图像处理模块和图像分析模块。
数据采集模块用于采集HE染色病理切片图像。本实施例中，数据采集模块外接扫描仪，经扫描得到未经CK染色的HE染色病理切片图像，输入到图像处理模块。
图像处理模块用于根据采集到的HE染色病理切片图像，生成CK染色病理切片图像。图像处理模块包括图像预处理和虚拟染色两个部分，具体包括预处理模块、图像转换模块和模型建立模块。
预处理模块采用的技术包括背景分割、组织区域提取、图像块提取等，数据预处理模块负责对原始病例图像进行预处理，将高分辨率的超大医学图像划分为深度学习网络能够处理的小图，提高运算速度，预处理模块具体包括背景分割模块、组织区域提取模块和图像块提取模块。
所述背景分割模块用于对HE染色病理切片图像进行图像背景分割处理，并生成HE背景分割图像；所述HE背景分割图像包括目标区域和背景区域。通过背景分割，可以将后续处理的焦点放在目标区域，忽略掉背景，只关注HE染色病理切片图像中的有效信息，从而提高分析速度，提升诊断效率。
所述组织区域提取模块用于分析所述HE背景分割图像中的目标区域，并生成HE图像有效组织区域。组织区域提取模块分析HE背景分割图像中的目标区域，识别出目标区域中的HE图像有效组织区域，从而便于将该组织完整的从原始图像上提取出来，通过上述处理，可以减小图像大小，提高运算速度，并且减小图像匹配的误差。
所述图像块提取模块用于对所述HE图像有效组织区域进行图像分块处理，并生成若干组织病理图像块。本实施例中，所述图像块提取模块采用滑动窗口对所述HE图像有效组织区域进行图像分块处理，以进一步降低图像尺寸，降低到深度学习网络可以处理的大小。
考虑到训练集数据中正样本数量远少于负样本，在基于滑动窗口的图像块提取模块中添加了阈值控制的数据均衡模块，过滤掉过多的负样本，最终可以获得512×512大小的组织病理图像块。
模型建立模块用于获取训练数据，所述训练数据包括组织病理训练图像块和对应的CK染色病理切片训练图像；还用于通过人工智能的方式，将组织病理训练图像块作为输入层的输入，将CK染色病理切片训练图像作为输出层的输出，建立虚拟染色模型。使用训练数据去调整深度卷积神经网络的参数，在此过程中，使用了端到端的网络，这样在预测过程中，神经网络能够更快地输出虚拟染色结果，提高吞吐量。由于端到端的网络缺少了关于虚拟染色的额外信息，所以又加入了HE和CK的分类器来辅助网络训练，分类器用于将组织病理训练图像块和对应的CK染色病理切片训练图像分类到同一类区域中，从而增强了神经网络的稳定性和泛化能力。当网络收敛后，保存虚拟染色模型，可用于对新的组织病理训练图像块进行推断，输出该对应的CK染色病理切片训练图像。
图像转换模块用于对所述组织病理图像块进行虚拟染色处理，生成CK染色病理切片图像。具体的，通过虚拟染色模型对所述组织病理图像块进行虚拟染色处理；在虚拟染色模型的输入层输入组织病理图像块，输出层输出CK染色病理切片图像，由此实现了HE图像到CK图像的转换。染色后的图像块可以经过图像拼接技术还原原始切片图像大小，也可以直接输入至图像分析模块进行数据分析。
图像分析模块用于分析所述CK染色病理切片图像，生成肿瘤识别结果。图像分析模块采用基于深度卷积神经网络完成对图像的特征提取和检测识别，该模块利用算法模型自动学习图像中的与病理相关的医学特征，实现病理图像的辅助诊断。本实施例中，所述图像分析模块采用基于ResNet的图像识别网络对所述CK染色病理切片图像进行分析，生成肿瘤识别结果。具体的，图像分析模块也分为模型训练和测试两阶段。训练阶段，由于CK具有明显的颜色差异，所以设计了根据颜色色域提取肿瘤区域的方式来辅助模型训练。一旦模型训练结束，保存的模型可以对CK染色图像块进行预测并且不再需要其他辅助方式，得到肿瘤识别结果，所述肿瘤识别结果包括区域病变的可能性以及对整个病理切片绘制肿瘤区域热力图。
还包括用于结果展示的数据传输模块，数据分析的结果包括数值结果和可视化图表经过数据传输模块传输给病理医生，为病理医生提供参考，辅助病理诊断。
实施例2：
实施例2基本如附图1所示：
实施例2基本原理与实施例1相同，其区别在于实施例2中还包括样本扩增模块用于扩增训练数据，所述样本扩增模块包括特征提取模块、变形模块和拼接模块。
所述特征提取模块，用于提取组织病理图像块和对应的CK染色病理切片训练图像。
所述变形模块，用于对组织病理图像块进行图像处理，所述图像处理包括随机旋转、高斯模糊和扭曲，并添加随机噪声，生成变形特征图像。
所述拼接模块，用于随机选择负样本，并在负样本上融合变形特征图像，生成拓展样本。
模型建立模块用于获取拓展样本及对应的CK染色病理切片训练图像，还用于通过人工智能的方式，将拓展样本作为输入层的输入，将CK染色病理切片训练图像作为输出层的输出，建立虚拟染色模型。扩大样本集，使得建立的模型更加准确，有利于后续对模糊图像进行处理。
所述变形模块，还用于对组织病理图像块进行超分辨率缩放，并生成变形特征图像。相对于对其进行随机旋转、高斯模糊和扭曲而言，采用超分辨率缩放，可以防止变形后的图像过分失真，降低图像基础轮廓失真的可能性，从而使得生成的模型准确性更高。
以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.一种病理切片数字图像的全层次分析系统，其特征在于：包括数据采集模块、图像处理模块和图像分析模块；
所述数据采集模块，用于采集HE染色病理切片图像；
所述图像处理模块，用于根据采集到的HE染色病理切片图像，生成CK染色病理切片图像；
所述图像分析模块，用于分析所述CK染色病理切片图像，生成肿瘤识别结果。
2.根据权利要求1所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像处理模块包括预处理模块，所述预处理模块包括背景分割模块、组织区域提取模块和图像块提取模块；
所述背景分割模块，用于对所述HE染色病理切片图像进行图像背景分割处理，并生成HE背景分割图像；所述HE背景分割图像包括目标区域和背景区域；
所述组织区域提取模块，用于分析所述HE背景分割图像中的目标区域，并生成HE图像有效组织区域；
所述图像块提取模块，用于对所述HE图像有效组织区域进行图像分块处理，并生成若干组织病理图像块。
3.根据权利要求2所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像块提取模块采用滑动窗口对所述HE图像有效组织区域进行图像分块处理。
4.根据权利要求2所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像处理模块还包括图像转换模块；
所述图像转换模块，用于对所述组织病理图像块进行虚拟染色处理，生成CK染色病理切片图像。
5.根据权利要求4所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像处理模块还包括模型建立模块；
所述模型建立模块，用于获取训练数据，所述训练数据包括组织病理训练图像块和对应的CK染色病理切片训练图像；还用于通过人工智能的方式，将组织病理训练图像块作为输入层的输入，将CK染色病理切片训练图像作为输出层的输出，建立虚拟染色模型。
6.根据权利要求5所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像转换模块，用于通过虚拟染色模型对所述组织病理图像块进行虚拟染色处理；
在虚拟染色模型的输入层输入组织病理图像块，输出层输出CK染色病理切片图像。
7.根据权利要求1所述的病理切片数字图像的全层次分析系统，其特征在于：所述图像分析模块，采用基于ResNet的图像识别网络对所述CK染色病理切片图像进行分析，生成肿瘤识别结果。
CN202210348626.6A 2022-04-01 2022-04-01 一种病理切片数字图像的全层次分析系统 Pending CN114708229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210348626.6A CN114708229A (zh) 2022-04-01 2022-04-01 一种病理切片数字图像的全层次分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210348626.6A CN114708229A (zh) 2022-04-01 2022-04-01 一种病理切片数字图像的全层次分析系统

Publications (1)

Publication Number Publication Date
CN114708229A true CN114708229A (zh) 2022-07-05

Family

ID=82172470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210348626.6A Pending CN114708229A (zh) 2022-04-01 2022-04-01 一种病理切片数字图像的全层次分析系统

Country Status (1)

Country Link
CN (1) CN114708229A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法
CN116883397A (zh) * 2023-09-06 2023-10-13 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法
CN116883397A (zh) * 2023-09-06 2023-10-13 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统

Similar Documents

Publication Publication Date Title
JP7344568B2 (ja) ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN114708229A (zh) 一种病理切片数字图像的全层次分析系统
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割系统
CN111583201B (zh) 一种用于构建超分辨率病理显微镜的迁移学习方法
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN110826560A (zh) 一种食管癌病理图像标注方法
Hossain et al. Tissue artifact segmentation and severity assessment for automatic analysis using wsi
CN115205250A (zh) 基于深度学习的病理图像病变分割方法及系统
Juhong et al. Super-resolution and segmentation deep learning for breast cancer histopathology image analysis
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
CN115206495A (zh) 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
Abraham et al. Applications of artificial intelligence for image enhancement in pathology
CN111476857B (zh) 基于深度学习的结构不变的病理图像颜色标准化方法
US11763453B1 (en) Automatic generation method of fine-labeled digital pathological data set based on hyperspectral imaging
CN114565593B (zh) 基于半监督和注意力的全视野数字图像分类与检测方法
Mao et al. W-net: A two-stage convolutional network for nucleus detection in histopathology image
CN117496276B (zh) 肺癌细胞形态学分析、识别方法及计算机可读存储介质
EP4246468A1 (en) Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium
CN117058014B (zh) 一种基于lab色彩空间匹配的染色归一化系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination