CN114848019A - 基于柔性协作机器人的自动心脏超声检测系统及方法 - Google Patents

基于柔性协作机器人的自动心脏超声检测系统及方法 Download PDF

Info

Publication number
CN114848019A
CN114848019A CN202210409677.5A CN202210409677A CN114848019A CN 114848019 A CN114848019 A CN 114848019A CN 202210409677 A CN202210409677 A CN 202210409677A CN 114848019 A CN114848019 A CN 114848019A
Authority
CN
China
Prior art keywords
section
ultrasonic
detection
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210409677.5A
Other languages
English (en)
Inventor
刘治
李德春
任科
陶可猛
罗广惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210409677.5A priority Critical patent/CN114848019A/zh
Publication of CN114848019A publication Critical patent/CN114848019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/4281—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by sound-transmitting media or devices for coupling the transducer to the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405—Device being mounted on a trolley
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/486—Diagnostic techniques involving arbitrary m-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开提出了基于柔性协作机器人的自动心脏超声检测系统及方法，系统包括柔性协作机器人以及终端处理控制单元，柔性协作机器人被配置为自动进行扫描，获取待检测患者心脏的超声检测图像；终端处理控制单元根据超声检测图像，采用迁移学习算法进行检测切面识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面。通过迁移学习算法与柔性协作机械臂自动控制结合对患者进行自动心脏超声检测并识别心脏标准超声切面，保证检测效果良好稳定，降低检测的人力成本。

Description

基于柔性协作机器人的自动心脏超声检测系统及方法
技术领域
本公开涉及智能医疗设备相关技术领域，具体的说，是涉及基于柔性协作机器人的自动心脏超声检测系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
超声心动图是最常见的心脏成像方式，当前一次标准的超声检查需要由经过专业培训，工作经验丰富的超声医生，处于静息态的患者以及合适的超声检测装备共同配合完成，检查效果依赖于专业超声医生的经验，客观上增加了超声医生的工作强度。
面对基层超声科高水平医生短缺、城乡医疗分布不均匀、不同设备精度存在差异等诸多问题，在许多临床环境中获取的超声心动图存在非诊断性和误导性成像的风险，会因为超声心动图质量欠缺造成医生误诊。为此开发相应工具系统代替医疗人员进行工作，对于减轻劳动力需求以及医疗资源压力，提高超声检查服务质量和效率以及响应速度有着十分重要的意义。并且，单纯的依靠专业超声医生进行图像采集和分析，在耗费大量人力物力的同时会增加时间成本。
发明内容
本公开为了解决上述问题，提出了基于柔性协作机器人的自动心脏超声检测系统及方法，通过迁移学习算法与柔性协作机械臂自动控制结合对患者进行自动心脏超声检测并识别心脏超声标准切面，保证检测效果良好稳定，降低检测的人力成本。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于柔性协作机器人的自动心脏超声检测系统，包括柔性协作机器人以及终端处理控制单元，柔性协作机器人被配置为自动进行扫描，获取待检测患者心脏的超声检测图像；终端处理控制单元根据超声检测图像，采用迁移学习算法进行检测切面识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面。
一个或多个实施例提供了基于柔性协作机器人的自动心脏超声检测方法，包括图像采集控制方法和超声检测模组控制方法，通过图像采集控制方法实现标准检测姿势的图像获取，超声检测模组控制方法通过采用迁移学习算法进行超声检测切面的识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面以及检测结果。
与现有技术相比，本公开的有益效果为：
在心脏超声标准切面采集过程中，存在标记样本获取困难以及小样本的问题。本公开使用柔性协作机器人自动进行扫描获取超声心动图视频，结合迁移学习算法将跨领域、任务和分布的知识进行迁移，利用其中的相关性进行知识复用，解决标签获取困难和单一类型数据量较少的问题，实现自动心脏超声检测并识别心脏标准超声切面。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的系统的框图；
图2是本公开实施例2的方法流程图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式公开的技术方案中，如图1所示，基于柔性协作机器人的自动心脏超声检测系统，包括柔性协作机器人以及终端处理控制单元，柔性协作机器人被配置为自动进行扫描，获取待检测患者心脏的超声检测图像；终端处理控制单元根据超声检测图像采用迁移学习算法进行检测切面识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面。
心脏标准超声切面，即为胸骨旁标准切面：胸骨旁左室长轴切面，胸骨旁右心室流入道切面，胸骨旁右心室流出道切面，胸骨旁短轴-主动脉瓣水平切面，胸骨旁短轴-二尖瓣水平切面胸骨旁短轴-左心室乳头肌水平切面，胸骨旁短轴-左心心尖水平切面；心尖方位标准切面：心尖四腔心切面心尖五腔心切面心尖三腔心切面心尖二腔心切面；剑突下标准切面：剑突下四腔心切面，剑突下下腔静脉长轴切面，剑突下右心室流出道切面，剑突下双心房切面；胸骨上窝标准切面：胸骨上窝主动脉弓长轴切面，胸骨上窝主动脉弓短轴切面共18个清晰超声切面图。
本实施例中，使用柔性协作机器人自动进行扫描获取超声心动图视频，结合迁移学习算法将跨领域、任务和分布的知识进行迁移，利用其中的相关性进行知识复用，解决标签获取困难和单一类型数据量较少的问题，实现自动心脏超声检测并识别心脏标准超声切面，可以真正实现无超声医生参与进行超声检测，在全程智能化处理下提高检测稳定性以及偶然误差，减轻医疗压力，提高超声医生工作效率，缩短病患急救等待时间，提高急救成功率。
在一些实施例中，柔性协作机器人包括检测区域视觉采集设备和柔性协作机械臂，机械臂末端设置超声检测模组、耦合剂涂抹模组和清洁模组。
可选的，柔性协作机器人还包括AGV小车，柔性协作机械臂设置在AGV(AutomaticGuidedVehicle)上，用于实现柔性协作机器人的位置移动。
检测区域视觉采集设备：用于采集并分析处于检测区域的图像，包括采集患者的位姿，传输至终端处理控制单元以判断位姿是否正确，采集耦合剂涂抹区域图像，传输至终端处理控制单元以判断耦合剂涂抹效果是否合格。
超声检测模组：用于对待检测区域进行超声检测。
可选的，超声检测模组包括但不限于超声诊断仪、便携式超声采集仪等，超声设备采用主机和探头的产品形式，通过超声探头对心脏标准超声切面进行采集。
耦合剂涂抹模组：用于对待检测区域涂抹耦合剂。
清洁模组：用于对检测区域耦合剂进行清洁。
使用时，如图2所示，终端处理控制单元接收到患者准备就绪信号，控制视觉采集设备开始采集患者的位姿信息，终端处理控制单元根据采集的位置信息判断患者是否处于标准检测位姿，若患者未处于标准检测位姿，则通过语音指令指引患者自行或者在辅助人员帮助下调整至标准检测位姿；终端处理控制单元计算并指引所述机械臂底端集成AGV运载所述柔性协作机械臂移动到合适位置，待所述柔性协作机械臂稳定后，终端处理控制单元计算并指引所述柔性协作机械臂移动到合适位姿准备进行操作，并由所述检测区域视觉采集设备辅助所述柔性协作机械臂定位至待检测区域；所述柔性协作机械臂完成待检测区域定位后，控制机械臂末端的耦合剂涂抹模组在患者待检测区域涂抹耦合剂，并通过检测区域视觉采集设备采集图像传输至所述终端处理控制单元，判断耦合剂涂抹效果是否合格，若不合格，则控制耦合剂涂抹模组继续执行耦合剂涂抹工作，若合格，则由检测区域视觉采集设备辅助超声检测模组移动至待检测区域进行超声检测，所述终端处理控制单元将实时输出的超声检测影像信息输入深度神经网络进行特征提取，通过神经网络模型推理输出当前切面类型以及获得标准切面所需移动的距离、角度及力度信息，通过推理结果控制柔性协作机械臂调整超声检测模组超声检测探头位置、角度以及力度至获得所需的标准切面数据，可输出得到超声报告单；清洁模组为患者清理检测部位耦合剂并对检测区域进行清洁消毒作业，本实施例的系统能够实现智能辅助医疗。
在进行检测前，准备就绪信号可由辅助医疗人员确认发出。
进一步的技术方案，柔性协作机械臂采用全状态反馈的直接力控制，具备高动态力控制与柔顺控制能力。
全状态反馈的直接力控制的控制方法，可以具体为：利用先进的力控搜索规划在确保空间位置高精度的同时兼顾高动态力控与柔顺控制能力。通过关节力矩传感器感知环境信息，识别接触立即降低力和速度，并对轨迹进行修正，实现作业自主化、智能化。
可选的，柔性协作机械臂设置多自由度，每个关节内置高精度力矩传感器；
可选的，终端处理控制单元，具体的，被配置为用于根据采集到的超声检测图像，进行心脏标准超声切面类型的识别，并对超声检测图像提取的特征信息进行特征检测，根据当前切面和标准切面计算得到超声探头的移动位置及角度信息，控制柔性协作机器人的机械臂移动，最终获得心脏标准超声切面。
在一个具体的实施例中，终端处理控制系统包括人体关键点识别模块、图像识别分类模块、数据获取模块、特征获取模块以及结果反馈模块。
人体关键点识别模块：被配置为根据采集的检测区域的图像，识别患者当前位姿，通过识别位姿输出语音控制指令，通过语音引导待测人员调制至最优位姿。
图像识别分类模块：被配置为根据采集的检测区域的图像，定位患者身体的待检测区域，以及判断患者待检测区域耦合剂涂抹效果。
数据获取模块：与超声检测模组连接，被配置为用于获取采集的心脏超声图像信息。
特征分析模块：被配置为用于对数据获取模块获得的心脏超声切面图像进行分类，利用特征提取得到深层特征信息，并将关键特征信息进行特征检测，通过数据分析得到超声探头的移动位置信息和检测结果。
检测结果即为检测报告单，包括M超或二维超声对心脏和血管量化测量指标，心脏收缩功能指标，重要或有诊断意义的超声切面截图展示，以M超和二维超声为基础的心脏和大血管形态学描述，以多普勒超声为基础的检查指标，通过M超或B超测量后的室壁运动分析，心超的结论报告。
结果反馈模块，被配置接收识别结果的修正意见，并反馈给特征分析模块。
结果反馈模块用来指导识别结果的准确性，专业超声医生可直接对识别结果进行质量认定，通过修改识别结果和位置信息进一步指导系统的准确性。
在一些实施例中，所述人体关键点识别模块识别检测区域中的人体，可以精准定位人体的主要关键点，可以包含头顶、五官、颈部、四肢主要关节部位，通过关键点的相对位置分析得到患者位姿信息，根据位姿信息输出语音控制指令，指引患者调整至标准检测位姿；
在一些实施例中，图像识别分类模块，根据患者身体部位采集的图像数据，通过导航算法引导机械臂末端移动至待检测区域，并且在所述耦合剂涂抹模组完成工作后，根据获取的涂抹区域图像判断涂抹效果是否合格；
耦合剂涂抹效果的识别步骤，具体为：
步骤A1、获取涂抹耦合剂合格以及不合格图像，建立数据集；
步骤A2、构建检测部位耦合剂涂抹图像分类模型，通过数据集的数据训练检测部位耦合剂涂抹图像分类模型；
步骤A3、获取将涂抹耦合剂后的图像，输入检测部位耦合剂涂抹图像分类模型进行预测，获得耦合剂涂抹合格置信度。
可选的，特征分析模块包括切面识别模块、特征提取模块、特征检测模块以及控制指令输出模块。
切面识别算法模块：被配置为对超声检测图像进行切面类型识别。
切面识别算法模块的处理算法可以包括但不限于支持向量机、极限学习机、最邻近节点算法、小波变换、傅立叶变换和神经网络等切面分类算法，通过对超声切面进行识别，对超声检测图像的切面类型进行分类。
特征提取模块：被配置为采用迁移学习领域中对抗网络的方法对特征进行深层提取，具体步骤包括：
步骤S1、利用卷积神经网络组成的特征提取器对超声心动图特征进行提取，提取超声心动图的深层特征；
步骤S2、构建包括特征提取器和判别器的领域对抗网络，利用特征提取器和判别器的相互对抗训练，学习标准超声切面具有不变性的特征，将步骤S1中提取的深层特征输入至对抗网络进行对抗，提取得到切面特征；
上述步骤S1-S2中进行了两次特征提取，步骤S2能够通过第一步提取的特征生成新特征进行对抗，并更好地提取特征。
可选的，对抗网络的具体结构包括生成器模型和判别器模型。
具体的，在网络训练阶段，首先利用生成器生成切面图像和输入的切面图像输入到特征提取器中；其次，利用判别器判断当前图像是生成的图像还是网络输入的图像，二者的差别越小，判别器越不能判定出当前图像是生成的图像还是原始的图像，与此相反，判别器的效果越好，生成器和特征提取器要寻找更有效地特征生成和提取方式去寻找当前切面图像的本质特征；之后，通过二者之间的博弈，对抗过程最终达到动态平衡，在此状态下，特征提取器可提取出识别超声切面所需要的不变性特征。利用以上方法训练后，得到的特征提取网络可以有效的应用于超声心动图特征提取。
步骤S3、针对对抗网络提取特征，利用Softmax对切面进行分类，得到超声检测图像的切面类型；
切面类型包括胸骨旁标准切面：胸骨旁左室长轴切面，胸骨旁右心室流入道切面，胸骨旁右心室流出道切面，胸骨旁短轴-主动脉瓣水平切面，胸骨旁短轴-二尖瓣水平切面胸骨旁短轴-左心室乳头肌水平切面，胸骨旁短轴-左心心尖水平切面；心尖方位标准切面：心尖四腔心切面心尖五腔心切面心尖三腔心切面心尖二腔心切面；剑突下标准切面：剑突下四腔心切面，剑突下下腔静脉长轴切面，剑突下右心室流出道切面，剑突下双心房切面；胸骨上窝标准切面：胸骨上窝主动脉弓长轴切面，胸骨上窝主动脉弓短轴切面共18个清晰超声切面图。
设置分类器对当前所示切面进行更精确的分类，分类器利用Softmax对切面进行分类，该方法输出当前切面分别属于各类切面的概率，并将概率最大项作为结果进行输出，得到最终的分类结果。
特征检测模块：被配置为用于将对抗网络输出的切面特征与标准切面特征进行匹配，识别当前超声图像的切面类型；
切面特征包括图像中心房、心室的长宽比和相应的面积大小。
具体的，通过输入的切面图像计算测量出心脏切面图像中心房、心室的长度和宽度，从而得到图像中心房、心室的长宽比和相应的面积大小，上述参数和标准切面中的超声图像参数进行对比，进而分析出当前切面是否为标准切面并且确定切面类型。
控制指令输出模块：被配置为用于根据切面特征，对当前切面类型以及获得标准切面所需移动的距离、角度及力度信息进行计算，确定超声探头移动角度和方向，输出控制指令；
具体的，控制指令可以包括六个自由度的信息：探头向病人头部和脚部倾斜、探头向病人左侧和右侧倾斜、探头向顺时针和逆时针旋转、探头向左侧和右侧移动、探头向病人头部和脚部移动，控制指令还包括探头的按压力度强弱。
所述结果反馈模块5用来增强识别结果的准确性，减少错误率的同时提高系统的稳定性。该部分通过专家对识别结果进行鉴定，判断识别切面是否标准，并通过判断探头移动信息修改超声探头移动手法。在此过程中，专家可通过直接修改最终结论从而修改报告信息，修改的结果将反馈到特征提取模块中，从而进一步提高模型的训练精度。
实施例2
基于实施例1，如图2所示，本实施例提供基于柔性协作机器人的自动心脏超声检测方法，可以在终端处理控制单元中实现，包括图像采集控制方法、超声检测模组控制方法，通过图像采集控制实现标准检测姿势的图像获取，超声检测模组控制通过采用迁移学习算法进行超声检测切面的识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面以及检测结果。
在一些实施例中，图像采集控制方法，包括如下步骤：
步骤A1、获取检测区域视觉采集设备采集的患者位姿图像信息，判断位姿是否为标准检测姿势；
步骤A2、根据当前检测位姿与标准检测位姿，输出语音指令，所述语音指令用于引导患者调整检测姿态。
其中，判断位姿的方法，可以具体为：识别检测区域中的人体，定位人体的主要关键点，可以包含头顶、五官、颈部、四肢主要关节部位，通过关键点的相对位置分析得到患者位姿信息，根据位姿信息输出语音控制指令，指引患者调整至标准检测位姿；
步骤A3、当判断位姿为标准检测位姿，控制柔性机器人的机械臂调整至合适的位姿，控制耦合剂涂抹模组进行耦合剂的涂抹。
进一步的技术方案，图像采集控制方法，还包括耦合剂涂抹效果的识别步骤，具体为耦合剂涂抹效果的识别步骤，具体为：
步骤B1、获取涂抹耦合剂合格以及不合格图像，建立数据集；
步骤B2、构建检测部位耦合剂涂抹图像分类模型，通过数据集的数据训练检测部位耦合剂涂抹图像分类模型；
步骤B3、获取将涂抹耦合剂后的图像，输入检测部位耦合剂涂抹图像分类模型进行预测，获得耦合剂涂抹合格置信度。
当耦合剂涂抹合格，超声检测控制方法通过采用迁移学习算法进行超声检测切面的识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面以及检测结果，具体的，包括如下步骤：
步骤C1、对超声检测图像进行切面类型识别，并提取切面特征；
切面识别算法模块的处理算法可以包括但不限于支持向量机、极限学习机、最邻近节点算法、小波变换、傅立叶变换和神经网络等切面分类算法，通过对超声切面进行识别，对超声检测图像的切面类型进行分类。
可选的，切面特征提取，可以采用迁移学习领域中的对抗网络的方法对特征进行深层提取，具体步骤包括：
步骤C11、利用卷积神经网络组成的特征提取器对超声心动图特征进行提取，提取超声心动图的深层特征；
步骤C12、构建包括特征提取器和判别器的领域对抗网络，利用特征提取器和判别器的相互对抗训练，学习标准超声切面具有不变性的特征，将步骤S1中提取的深层特征输入至对抗网络进行对抗，提取得到切面特征；
上述步骤C11-C12中进行了两次特征提取，步骤C12能够通过第一步提取的特征生成新特征进行对抗，并更好地提取特征。
可选的，对抗网络的具体结构包括生成器模型和判别器模型。
具体的，在网络训练阶段，首先利用生成器生成切面图像和输入的切面图像输入到特征提取器中；其次，利用判别器判断当前图像是生成的图像还是网络输入的图像，二者的差别越小，判别器越不能判定出当前图像是生成的图像还是原始的图像，与此相反，判别器的效果越好，生成器和特征提取器要寻找更有效地特征生成和提取方式去寻找当前切面图像的本质特征；之后，通过二者之间的博弈，对抗过程最终达到动态平衡，在此状态下，特征提取器可提取出识别超声切面所需要的不变性特征。利用以上方法训练后，得到的特征提取网络可以有效的应用于超声心动图特征提取。
步骤C13、针对对抗网络提取特征，利用Softmax对切面进行分类，得到超声检测图像的切面类型；
切面类型包括胸骨旁标准切面：胸骨旁左室长轴切面，胸骨旁右心室流入道切面，胸骨旁右心室流出道切面，胸骨旁短轴-主动脉瓣水平切面，胸骨旁短轴-二尖瓣水平切面胸骨旁短轴-左心室乳头肌水平切面，胸骨旁短轴-左心心尖水平切面；心尖方位标准切面：心尖四腔心切面心尖五腔心切面心尖三腔心切面心尖二腔心切面；剑突下标准切面：剑突下四腔心切面，剑突下下腔静脉长轴切面，剑突下右心室流出道切面，剑突下双心房切面；胸骨上窝标准切面：胸骨上窝主动脉弓长轴切面，胸骨上窝主动脉弓短轴切面共18个清晰超声切面图。
设置分类器对当前所示切面进行更精确的分类，分类器利用Softmax对切面进行分类，该方法输出当前切面分别属于各类切面的概率，并将概率最大项作为结果进行输出，得到最终的分类结果。
步骤C2、将领域对抗网络输出的切面特征与标准切面特征进行匹配，识别当前超声图像的切面类型；
具体的，通过输入的切面图像计算测量出心脏切面图像中心房、心室的长度和宽度，从而得到图像中心房、心室的长宽比和相应的面积大小，上述参数和标准切面中的超声图像参数进行对比，进而分析出当前切面是否为标准切面。
步骤C3、根据当前切面特征，对当前切面类型以及获得标准切面所需移动的距离、角度及力度信息进行计算，确定超声探头移动角度和方向，输出控制指令；
具体的，控制指令可以包括六个自由度的信息：探头向病人头部和脚部倾斜、探头向病人左侧和右侧倾斜、探头向顺时针和逆时针旋转、探头向左侧和右侧移动、探头向病人头部和脚部移动，控制指令还包括探头的按压力度强弱。
循环执行上述步骤C1-C3，直到获取心脏标准超声切面，并生成检测结果。
还包括结果反馈：获取专家对识别结果的鉴定结果，修改超声探头移动角度和方向，输出修改正后的控制指令。
结果反馈用来增强识别结果的准确性，减少错误率的同时提高系统的稳定性。该部分通过专家对识别结果及进行鉴定，判断识别切面是否标准，并通过预测的探头移动信息修改超声探头移动手法。在此过程中，专家可通过直接修改最终结论从而修改报告信息，修改的结果将反馈到特征提取模块中，从而进一步提高模型的训练精度。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于柔性协作机器人的自动心脏超声检测系统，其特征在于：包括柔性协作机器人以及终端处理控制单元，柔性协作机器人被配置为自动进行扫描，获取待检测患者心脏的超声检测图像；终端处理控制单元根据超声检测图像，采用迁移学习算法进行检测切面识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面。
2.如权利要求1所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：柔性协作机器人包括检测区域视觉采集设备和柔性协作机械臂，机械臂末端设置超声检测模组、耦合剂涂抹模组和清洁模组；
或者，柔性协作机器人还包括AGV小车，柔性协作机械臂设置在AGV小车上，用于实现柔性协作机器人的位置移动。
3.如权利要求2所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：
检测区域视觉采集设备：用于采集并分析处于检测区域的图像，包括采集患者的位姿，传输至终端处理控制单元以判断位姿是否正确，采集耦合剂涂抹区域图像，传输至终端处理控制单元以判断耦合剂涂抹效果是否合格；
或者，超声检测模组：用于对待检测区域进行超声检测；
或者，耦合剂涂抹模组：用于对待检测区域涂抹耦合剂；
或者，清洁模组：用于对检测区域耦合剂进行清洁。
4.如权利要求1所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：
终端处理控制单元，被配置为用于根据采集到的超声检测图像，进行心脏切面类型的识别，并对超声检测图像提取的特征信息进行特征检测，根据当前切面和标准切面计算得到超声探头的移动位置及角度信息，控制柔性协作机器人的机械臂移动，最终获得心脏标准超声切面。
5.如权利要求1所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：
终端处理控制系统包括人体关键点识别模块、图像识别分类模块、特征获取模块和特征分析模块；
或者，终端处理控制系统还包括结果反馈模块。
6.如权利要求5所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：
人体关键点识别模块：被配置为根据采集的检测区域的图像，识别患者当前位姿，通过识别位姿输出语音控制指令，通过语音引导待测人员调制至最优位姿；
或者，图像识别分类模块：被配置为根据采集的检测区域的图像，定位患者身体的待检测区域，以及判断患者待检测区域耦合剂涂抹效果；
或者，数据获取模块：与柔性协作机器人上的超声检测模组连接，被配置为用于获取采集的心脏超声图像信息；
或者，特征分析模块：被配置为用于对数据获取模块获得的心脏超声切面图像进行分类，利用特征提取得到深层特征信息，并将关键特征信息进行特征检测，通过数据分析得到超声探头的移动位置信息和检测结果；
或者，结果反馈模块，被配置接收识别结果的修正意见，并反馈给特征分析模块。
7.如权利要求5所述的基于柔性协作机器人的自动心脏超声检测系统，其特征在于：特征分析模块包括切面识别模块、特征提取模块、特征检测模块以及控制指令输出模块；
切面识别算法模块：被配置为对超声检测图像进行切面类型识别；
特征提取模块：被配置为采用迁移学习中领域对抗网络的方法对特征进行深层提取；
特征检测模块：被配置为用于将对抗网络输出的切面特征与标准切面特征进行匹配，识别当前超声图像的切面是否为标准切面；
控制指令输出模块：被配置为用于根据切面特征，对当前切面类型以及获得标准切面所需移动的距离、角度及力度信息进行计算，确定超声探头移动角度和方向，输出控制指令；
或者，特征提取模块被配置执行以下步骤：
利用卷积神经网络组成的特征提取器对超声心动图特征进行提取，提取超声心动图的深层特征；
构建包括特征提取器和判别器的领域对抗网络，利用特征提取器和判别器的相互对抗训练，学习标准超声切面具有不变性的特征，将提取的深层特征输入至对抗网络，再进行特征提取得到切面特征；
针对对抗网络提取特征，利用Softmax对切面进行分类，得到超声检测图像的切面类型。
8.基于柔性协作机器人的自动心脏超声检测方法，其特征在于：包括图像采集控制方法和超声检测模组控制方法，通过图像采集控制方法实现标准检测姿势的图像获取，超声检测模组控制方法通过采用迁移学习算法进行超声检测切面的识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面以及检测结果。
9.如权利要求8所述的基于柔性协作机器人的自动心脏超声检测方法，其特征在于：图像采集控制方法，包括如下步骤：
获取检测区域视觉采集设备采集的患者位姿图像信息，判断位姿是否为标准检测姿势；
根据当前检测位姿与标准检测位姿，输出语音指令，所述语音指令用于引导患者调整检测姿态；
或者，当判断位姿为标准检测位姿，控制柔性机器人的机械臂调整至合适的位姿，控制耦合剂涂抹模组进行耦合剂的涂抹并识别涂抹效果。
10.如权利要求8所述的基于柔性协作机器人的自动心脏超声检测方法，其特征在于：超声检测模组控制方法，通过采用迁移学习算法进行超声检测切面的识别，根据识别的切面类型控制柔性机器人调整直到获取心脏标准超声切面以及检测结果，步骤如下：
采用领域对抗网络的方法对获取的超声检测图像进行切面类型识别，并提取切面特征；
将领域对抗网络输出的切面特征与标准切面特征进行匹配，识别当前超声图像的切面是否为标准切面；
根据当前切面特征，对当前切面类型以及获得标准切面所需移动的距离、角度及力度信息进行计算，确定超声探头移动角度和方向，输出控制指令；
循环执行上述步骤，直到获取心脏标准超声切面，并生成检测结果。
CN202210409677.5A 2022-04-19 2022-04-19 基于柔性协作机器人的自动心脏超声检测系统及方法 Pending CN114848019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210409677.5A CN114848019A (zh) 2022-04-19 2022-04-19 基于柔性协作机器人的自动心脏超声检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210409677.5A CN114848019A (zh) 2022-04-19 2022-04-19 基于柔性协作机器人的自动心脏超声检测系统及方法

Publications (1)

Publication Number Publication Date
CN114848019A true CN114848019A (zh) 2022-08-05

Family

ID=82632319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210409677.5A Pending CN114848019A (zh) 2022-04-19 2022-04-19 基于柔性协作机器人的自动心脏超声检测系统及方法

Country Status (1)

Country Link
CN (1) CN114848019A (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105877780A (zh) * 2015-08-25 2016-08-24 上海深博医疗器械有限公司 全自动超声扫描仪及扫描检测方法
CN107374674A (zh) * 2017-08-28 2017-11-24 深圳开立生物医疗科技股份有限公司 一种超声探头扫查控制方法及装置
CN207055506U (zh) * 2017-01-19 2018-03-02 周莺歌 一种彩超检查用耦合剂柔性清理装置
CN109199387A (zh) * 2018-10-22 2019-01-15 上海联影医疗科技有限公司 扫描引导装置以及扫描引导方法
CN109549667A (zh) * 2018-12-29 2019-04-02 无锡祥生医疗科技股份有限公司 超声换能器扫描系统、方法及超声成像设备
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断系统的智能扫查方法
CN110960262A (zh) * 2019-12-31 2020-04-07 上海杏脉信息科技有限公司 超声扫查系统、方法及介质
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人系统、超声扫查方法及介质
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN112155598A (zh) * 2020-10-23 2021-01-01 周敬洋 一种超声波诊断系统
CN112329536A (zh) * 2020-10-09 2021-02-05 东南大学 一种基于交替对抗迁移学习的单样本人脸识别方法
CN112401928A (zh) * 2020-11-17 2021-02-26 深圳度影医疗科技有限公司 一种盆底肛提肌切面的获取方法、存储介质及终端设备
CN113171118A (zh) * 2021-04-06 2021-07-27 上海深至信息科技有限公司 一种基于生成式对抗网络的超声检查操作引导方法
CN113842165A (zh) * 2021-10-14 2021-12-28 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN215458144U (zh) * 2021-04-15 2022-01-11 南昌大学 一种全自动b超检查机器人系统
EP3964136A1 (en) * 2020-09-02 2022-03-09 Diagnoly System and method for guiding a user in ultrasound assessment of a fetal organ
CN114176628A (zh) * 2021-11-15 2022-03-15 上海深至信息科技有限公司 一种超声扫查设备的耦合剂涂抹方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105877780A (zh) * 2015-08-25 2016-08-24 上海深博医疗器械有限公司 全自动超声扫描仪及扫描检测方法
CN207055506U (zh) * 2017-01-19 2018-03-02 周莺歌 一种彩超检查用耦合剂柔性清理装置
CN107374674A (zh) * 2017-08-28 2017-11-24 深圳开立生物医疗科技股份有限公司 一种超声探头扫查控制方法及装置
CN109199387A (zh) * 2018-10-22 2019-01-15 上海联影医疗科技有限公司 扫描引导装置以及扫描引导方法
CN109549667A (zh) * 2018-12-29 2019-04-02 无锡祥生医疗科技股份有限公司 超声换能器扫描系统、方法及超声成像设备
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断系统的智能扫查方法
CN110960262A (zh) * 2019-12-31 2020-04-07 上海杏脉信息科技有限公司 超声扫查系统、方法及介质
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人系统、超声扫查方法及介质
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
EP3964136A1 (en) * 2020-09-02 2022-03-09 Diagnoly System and method for guiding a user in ultrasound assessment of a fetal organ
CN112329536A (zh) * 2020-10-09 2021-02-05 东南大学 一种基于交替对抗迁移学习的单样本人脸识别方法
CN112155598A (zh) * 2020-10-23 2021-01-01 周敬洋 一种超声波诊断系统
CN112401928A (zh) * 2020-11-17 2021-02-26 深圳度影医疗科技有限公司 一种盆底肛提肌切面的获取方法、存储介质及终端设备
CN113171118A (zh) * 2021-04-06 2021-07-27 上海深至信息科技有限公司 一种基于生成式对抗网络的超声检查操作引导方法
CN215458144U (zh) * 2021-04-15 2022-01-11 南昌大学 一种全自动b超检查机器人系统
CN113842165A (zh) * 2021-10-14 2021-12-28 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN114176628A (zh) * 2021-11-15 2022-03-15 上海深至信息科技有限公司 一种超声扫查设备的耦合剂涂抹方法

Similar Documents

Publication Publication Date Title
Kusunose et al. A deep learning approach for assessment of regional wall motion abnormality from echocardiographic images
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
CN101309645B (zh) 超声波诊断装置
KR101625256B1 (ko) 심장 ｍ-모드 뷰들의 자동 분석
CN110177504A (zh) 超声图像中参数测量的方法和超声成像系统
CN101103377A (zh) 进行局部可变形运动分析的系统和方法
Li et al. Image-guided navigation of a robotic ultrasound probe for autonomous spinal sonography using a shadow-aware dual-agent framework
CN112206006A (zh) 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
CN109620293B (zh) 一种图像识别方法、装置以及存储介质
CN111973228A (zh) B超数据采集分析诊断一体化机器人，平台
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
Bi et al. VesNet-RL: Simulation-based reinforcement learning for real-world US probe navigation
US11534133B2 (en) Ultrasonic detection method and ultrasonic imaging system for fetal heart
CN112447276A (zh) 用于提示数据捐赠以用于人工智能工具开发的方法和系统
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
Wang et al. Differentiating operator skill during routine fetal ultrasound scanning using probe motion tracking
WO2024114507A1 (zh) 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统
Yuan et al. Development of a human-friendly robot for socially aware human-robot interaction
Shida et al. Automated image acquisition of parasternal long-axis view with robotic echocardiography
CN109993116A (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN114848019A (zh) 基于柔性协作机器人的自动心脏超声检测系统及方法
CN113066111A (zh) 一种基于ct影像的心脏二尖瓣顶点的自动定位方法
Gearhart et al. Artificial intelligence in echocardiography to diagnose congenital heart disease and fetal echocardiography
Zhang et al. Visual Perception and Convolutional Neural Network-Based Robotic Autonomous Lung Ultrasound Scanning Localization System
Zhou et al. A VS ultrasound diagnostic system with kidney image evaluation functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination