CN113052310A - 医用信息处理装置 - Google Patents

医用信息处理装置 Download PDF

Info

Publication number
CN113052310A
CN113052310A CN202011548617.9A CN202011548617A CN113052310A CN 113052310 A CN113052310 A CN 113052310A CN 202011548617 A CN202011548617 A CN 202011548617A CN 113052310 A CN113052310 A CN 113052310A
Authority
CN
China
Prior art keywords
learned model
data
similarity
related information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011548617.9A
Other languages
English (en)
Inventor
伴苗修平
水口麻希
秋山寿美江
大迫久晃
筱原滉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of CN113052310A publication Critical patent/CN113052310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明解决的课题是输出再学习所需的数据数量。实施方式医涉及的用信息处理装置具备登记部、第一计算部、第二计算部及输出部。所述登记部登记与新生成的第一学习完毕模型关联的第一关联信息。所述第一计算部针对多个所述第二学习完毕模型的每一个计算与已有的第二学习完毕模型关联的第二关联信息与所述第一关联信息之间的类似度。所述第二计算部基于多个所述第二学习完毕模型的每一个第二学习完毕模型的所述类似度，针对多个所述第二学习完毕模型的每一个第二学习完毕模型，计算所述第一学习完毕模型的生成所需的数据数量。所述输出部针对多个所述第二学习完毕模型的每一个，输出所述第一学习完毕模型的生成所需的所述数据数量。

Description

医用信息处理装置
相关申请的参照
本申请享受以2019年12月27日申请的日本专利申请号2019-238183的优先权，本申请引用该日本专利申请的全部内容。
技术领域
实施方式涉及医用信息处理装置。
背景技术
以往，公开了通过对已有的学习完毕模型进行再学习来新生成学习完毕模型的迁移学习等技术。通过进行这样的迁移学习(Transfer Learning)等，能够以少的数据生成精度高的学习完毕模型。
然而，难以判断针对已有的学习完毕模型中的哪个学习完毕模型进行再学习是有效的。因此，要求一种能够将已有的学习完毕模型各自的再学习所需的数据数量等的成本予以提示的技术。
发明内容
本发明解决的技术问题在于，输出再学习所需的数据数量。
实施方式的医用信息处理装置具备登记部、第一计算部、第二计算部以及输出部。所述登记部登记与新生成的第一学习完毕模型关联的第一关联信息。所述第一计算部针对多个所述第二学习完毕模型计算与已有的第二学习完毕模型关联的第二关联信息与所述第一关联信息的类似度。所述第二计算部基于多个所述第二学习完毕模型的每一个第二学习完毕模型的所述类似度，针对多个所述第二学习完毕模型的每一个第二学习完毕模型，计算所述第一学习完毕模型的生成所需的数据数量。所述输出部针对多个所述第二学习完毕模型的每一个第二学习完毕模型，输出所述第一学习完毕模型的生成所需的所述数据数量。
效果
根据实施方式的医用信息处理装置，能够输出再学习所需的数据数量。
附图说明
图1是表示本实施方式的医用信息处理系统的结构的一例的图。
图2是表示本实施方式的医用信息处理装置的结构的一例的框图。
图3是表示学习完毕模型表的数据结构的一例的图。
图4是表示数据数量的计算方法的一例的图。
图5是表示所需数量的一览的一例的图。
图6是示出了表示相关关系的曲线图的一例的图。
图7是表示本实施方式的医用信息处理装置执行的输出处理的处理顺序的流程图。
图8是表示成为第二实施方式的类似度的计算对象的模型(phantom)图像数据的一例的图。
图9是表示第二实施方式的医用信息处理装置的结构的一例的框图。
图10是表示第三实施方式的医用信息处理装置的结构的一例的框图。
图11是表示得分表的数据结构的一例的图。
图12是表示第四实施方式的医用信息处理装置的结构的一例的框图。
图13是表示按每个精度来表示数据数量与类似度的相关关系的曲线图的一例的图。
图14是表示第五实施方式的医用信息处理装置的结构的一例的框图。
具体实施方式
以下，参照附图，对医用信息处理装置的实施方式详细地进行说明。另外，本申请的医用信息处理装置并不通过以下所示的实施方式来限定。
(第一实施方式)
图1是表示本实施方式的医用信息处理系统1的结构的一例的图。如图1所示，医用信息处理系统1具备影像采集设备(modality)10、PACS(Pi1ture Archiving andCommunication System：影像存档和通信系统)20、以及医用信息处理装置30。另外，各系统以及各装置经由网络以能够通信的方式连接。另外，图1所示的结构是一个例子，各系统以及各装置的台数也可以任意地变更。此外，图1中未示出的装置可以连接于网络。
影像采集设备10生成被检体的图像数据。例如，影像采集设备10是MRI(MagneticResonance Imaging：磁共振成像)装置、X射线CT(Computed Tomography：计算机断层扫描)装置、X射线诊断装置、超声波诊断装置、PET(Positron Emission Tomography：正电子发射计算机断层扫描)装置、SPECT(Single Photon Emission Computed Tomography：单光子发射型计算机断层扫描)装置等。然后，影像采集设备10将所生成的图像数据发送至PACS20。
PACS20是保管影像采集设备10生成的三维信息的服务器装置。例如，PACS20由服务器、工作站等计算机设备来实现。更具体地，PACS20从影像采集设备10接收三维信息。而且，PACS20将三维信息存储于本装置的存储电路等。
医用信息处理装置30输出在对已有的学习完毕模型进行再学习的迁移学习等中所需的数据数量。例如，医用信息处理装置30由服务器、工作站等计算机设备实现。更详细而言，医用信息处理装置30计算与已有的学习完毕模型关联的第一关联信息和与新生成的学习完毕模型关联的第二关联信息的类似度。医用信息处理装置30基于类似度，计算新的学习完毕模型的生成所需的数据数量。然后，医用信息处理装置30针对已有的学习完毕模型的每一个，输出新的学习完毕模型的生成所需的数据数量。
接着，对本实施方式的医用信息处理装置30的结构进行说明。
图2是表示本实施方式的医用信息处理装置30的结构的一例的框图。如图2所示，本实施方式的医用信息处理装置30具有网络接口310、存储电路320、输入接口330、显示器340以及处理电路350。
网络接口310连接于处理电路350，并且经由网络控制在影像采集设备10和PACS20之间进行的各种数据的传输和通信。更详细而言，网络接口310从各系统接收各种信息，并将接收到的信息输出至处理电路350。例如，网络接口310由网卡、网络适配器、NIC(NetworkInterface Controller：网络接口控制器)等实现。
存储电路320与处理电路350连接，存储各种数据。例如，存储电路320由RAM(Random Access Memory：随机存取存储器)、闪存等半导体存储器元件、硬盘、光盘等实现。
存储电路320存储学习完毕模型表321。图3是表示学习完毕模型表321的数据结构的一例的图。学习完毕模型表321是学习完毕模型、分类、以及多个学习数据集被建立了对应而得到的学习完毕模型信息。学习完毕模型是已有的学习完毕模型。分类是表示被建立对应的已有的学习完毕模型在深度学习中的分类的信息。分类包括例如图像分类(classification)、图像检测(detection)和图像分割(segmentation)。图像分类用于识别图像中包含的对象。图像检测是对图像中包含的物体的识别和识别出的物体在图像上的何处进行识别。图像分割是以像素为单位来识别图像中包含的物体。
学习数据集是针对被建立对应的已有的学习完毕模型而言在学习中使用的数据。学习数据集包括学习数据和标签数据。学习数据是针对已有的学习完毕模型而言在学习中使用的数据。例如，学习数据是由影像采集设备10等生成的图像数据。此外，学习数据不限于图像数据，也可以是其他形式的数据。标签数据是用于识别学习数据中包含的物品的信息。在分类是图像分类的情况下，标签数据是表示在图像中包含的物体的信息。在分类是图像检测的情况下，标签数据包含表示在图像中包含的物体的信息和表示物体的位置的坐标等的信息。在分类为图像分割的情况下，标签数据是以像素为单位表示图像中包含的物体的信息。另外，在本实施方式中，以学习数据集中包含学习数据和标签数据的情况为例进行说明。然而，学习数据集也可以不包含标签数据。
输入接口330将从使用者接受的输入操作变换为电信号并输出至处理电路350。例如，输入接口330通过轨迹球、开关按钮、鼠标、键盘、通过接触操作面而进行输入操作的触摸板、显示画面和触摸板一体化而成的触摸屏、使用了光学传感器的非接触输入接口、声音输入接口等输入装置来实现。另外，输入接口330也可以是从与医用信息处理装置30分体设置的操作装置接受与操作对应的电子信号的连接接口等控制电路。
显示器340显示从处理电路350输出的各种信息和各种图像。例如，显示器340由有机EL(Electro Luminescence：电致发光)监视器、液晶监视器、CRT(Cathode Ray Tube：阴极射线管)监视器、触摸面板等显示装置来实现。例如，显示器340显示用于接受使用者的指示的GUI(Graphical User Interface：图形用户界面)、各种显示用的图像数据、处理电路350的各种处理结果。
处理电路350控制医用信息处理装置30所具有的各构成要素。例如，处理电路350由处理器实现。更详细而言，本实施例的处理电路350具有登记功能351、分类指定功能352、提取功能353、类似度计算功能354、数据计算功能355、推定功能356及输出功能357。
在此，例如，图2所示的处理电路350的构成要素即登记功能351、分类指定功能352、提取功能353、类似度计算功能354、数据计算功能355、推定功能356以及输出功能357执行的各处理功能以计算机可执行的程序的形态存储于存储电路320。处理电路350是通过从存储电路320读出各程序并执行而实现与各程序对应的功能的处理器。换言之，读出了各程序的状态的处理电路350具有图2的处理电路350内所示的各功能。
此外，登记功能351、分类指定功能352、提取功能353、类似度计算功能354、数据计算功能355、推定功能356以及输出功能357的全部处理功能也可以以能够由计算机执行的1个程序的方式记录在存储电路320中。例如，这样的程序也被称为医用信息处理程序。在该情况下，处理电路350从存储电路320读出医用信息处理程序，并执行所读出的医用信息处理程序，由此实现与医用信息处理程序对应的登记功能351、分类指定功能352、提取功能353、类似度计算功能354、数据计算功能355、推定功能356以及输出功能357。
登记功能351是登记部的一例。登记功能351登记与新生成的学习完毕模型即第一学习完毕模型关联的第一关联信息。第一关联信息是针对新生成的学习完毕模型而言在学习中使用的图像数据。或者，登记功能351也可以登记包含第一标签数据的第一关联信息，该第一标签数据是作为用于识别第一关联信息的信息的标签数据。更详细而言，第一标签数据被使用于判定第一关联信息所关联的第一学习完毕模型是深度学习中的哪一个分类。即，第一标签数据被使用于判定符合图像分类、图像检测以及图像分割中的哪一个。另外，在存在多个第一关联信息的情况下，登记功能351既可以登记从多个第一关联信息中选择的代表性的第一关联信息，也可以登记将多个第一关联信息合并后的一个第一关联信息，也可以登记多个第一关联信息中的平均的第一关联信息，也可以登记多个第一关联信息。
分类指定功能352是指定部的一例。分类指定功能352指定新生成的学习完毕模型在深度学习中的分类。例如，分类指定功能352指定图像分类、图像检测以及图像分割中的任意一个。例如，分类指定功能352指定通过操作而确定的分类。
或者，分类指定功能352在登记功能351登记了包含第一标签数据的第一关联信息的情况下，基于第一标签数据来指定分类。即，分类指定功能352在第一标签数据与图像分类对应的情况下指定图像分类，在第一标签数据与图像检测对应的情况下指定图像检测，在第一标签数据与图像分割对应的情况下指定图像分割。
提取功能353是第一提取部的一例。提取功能353根据学习完毕模型信息，提取至少一个由分类指定功能352指定的分类的第二学习完毕模型，该学习完毕模型信息是已有的学习完毕模型即第二学习完毕模型、第二学习完毕模型在深度学习中的分类、与第二学习完毕模型关联的第二关联信息建立对应而得到的。第二学习完毕模型是学习完毕模型表321中存储的已有的学习完毕模型。第二关联信息是在已有的学习完毕模型的学习中使用的图像数据。另外，在第二关联信息中也可以包含标签数据。即，提取功能353从学习完毕模型表321中提取分类指定功能352指定的分类的学习完毕模型。
类似度计算功能354是第一计算部的一例。类似度计算功能354针对多个第二学习完毕模型，计算与已有的学习完毕模型关联的第二关联信息与第一关联信息的类似度。另外，类似度计算功能354针对由提取功能353提取的至少一个已有的学习完毕模型，计算类似度。更详细而言，类似度计算功能354计算学习完毕模型表321中存储的已有的学习完毕模型中的、提取功能353所提取的已有的学习完毕模型的第二关联信息与新生成的学习完毕模型的第一关联信息之间的类似度。
类似度计算功能354对于像素值的平均、直方图法、相关系数、或频率成分等，通过MSE(Mean Square Error：均方误差)或SSIM(Structural Similarity：结构相似性)等方法计算类似度。在此，在存在多个第二关联信息或第一关联信息的情况下，类似度计算功能354针对一个已有的学习完毕模型，计算多个类似度。并且，类似度计算功能354使用平均值、中央值等通过统计方法得到的值，从而针对已有的每个学习完毕模型，计算类似度。
另外，类似度计算功能354也可以基于第一关联信息的第一标签数据和作为用于识别第二关联信息的信息的标签数据即第二标签数据，计算类似度。第二标签数据被使用于判定第二关联信息所关联的第二学习完毕模型是深度学习中的哪一个分类。即，第二标签数据被使用于判定符合图像分类、图像检测以及图像分割中的哪一个。即，类似度计算功能354也可以考虑第一关联信息的第一标签数据和第二关联信息的第二标签数据来计算类似度。在分类为图像分割的情况下，学习内容根据标签数据所包含的物体的位置、大小、形状、范围等而变化。因此，类似度计算功能354通过添加类似度的标签数据，能够提高类似度的精度。
数据计算功能355是第二计算部的示例。数据计算功能355基于多个已有的学习完毕模型的每一个已有的学习完毕模型的类似度，针对多个已有的学习完毕模型的每一个已有的学习完毕模型，计算新的学习完毕模型的生成所需的数据数量。在此，图4是表示数据数量的计算方法的一例的图。首先，针对已有的学习完毕模型的学习中使用的图像数据，准备多个图像数据，该多个图像数据的类似度不同。数据计算功能355根据类似度进行逆运算，从而生成类似度不同的图像数据。例如，数据计算功能355通过执行将组织形状或物体的边缘进行增强的图像处理，生成类似度不同的图像数据。此外，不限于增强边缘的图像处理，也可以通过其他图像处理，生成类似度不同的图像数据。并且，不限于图像处理，也可以通过其他方法准备类似度不同的图像数据。在图4的情况下，准备类似度为1.0的图像数据、类似度为0.8的图像数据、类似度为0.5的图像数据、类似度为0.3的图像数据。
数据计算功能355针对每个类似度，计算新的学习完毕模型的生成所需的数据数量。更详细而言，数据计算功能355使用每个类似度的图像数据进行学习。由此，数据计算功能355在使用某个类似度的图像数据进行了学习的情况下，导出达到各精度所需的数据数量。另外，数据计算功能355针对每个已有的学习完毕模型，生成对所需的数据数量与类似度的关系进行表示的曲线图。
在此，类似度计算功能354针对每个已有的学习完毕模型，计算类似度。因此，数据计算功能355通过从曲线图中提取与由类似度计算功能354计算出的类似度对应的必要的数据数量，从而能够针对每个已有的学习完毕模型，计算新的学习完毕模型的生成所需的数据数量。
推定功能356是推定部的示例。推定功能356推定新的学习完毕模型的生成所需的数据数量与新生成的学习完毕模型输出的输出结果的精度之间的相关关系。在此，精度是学习完毕模型的输出结果的正确率。并且，推定功能356生成针对每个已有的学习完毕模型而表示新的学习完毕模型的生成所需的数据数量与精度之间的相关关系的曲线图。
输出功能357是输出部的一例。输出功能357对多个已有的学习完毕模型的每一个，输出新的学习完毕模型的生成所需的数据数量。即，输出功能357输出数据计算功能355计算出的新的学习完毕模型的生成所需的数据数量。输出功能357输出新的学习完毕模型的生成所需的所需数量的一览。在此，图5是表示所需数量的一览的一例的图。如图5所示，输出功能357针对每个已有的学习完毕模型，显示对新的学习完毕模型的生成所需的数据数量、费用和时间进行表示的一览。数据数量是数据计算功能355计算出的数据数量。费用是为了取得数据数量的数据所需的金额。例如，基于单位数据的购买、单位数据的制作花费的人力成本等来计算费用。时间是为了取得数据数量的数据所需的时间。例如，基于单位数据的制作所花费的时间等来计算时间。
输出功能357通过曲线图等输出表示推定功能356推定出的相关关系的信息。在此，图6是对表示相关关系的曲线图的一例进行表示的图。如图6所示，输出功能357针对已有的学习完毕模型A、已有的学习完毕模型B、以及已有的学习完毕模型C，显示表示数据数量与精度之间的相关关系的曲线图。这样，通过显示曲线图，使用者能够选择与自身的状况对应的学习完毕模型。
例如，在判明需要图6所示的a的精度的情况下，能够采用在a处数据数量最少的学习完毕模型C。另外，在判明需要图6所示的b的精度的情况下，能够采用在b处数据数量最少的学习完毕模型B。另外，在判明能够准备图6所示的c的数据数量的数据的情况下，能够采用在c处精度最高的学习完毕模型B。另外，在判明只能够准备图6所示的d的数据数量的数据的情况下，能够采用在d处精度最高的学习完毕模型C。
接着，对本实施方式的医用信息处理装置30执行的输出处理进行说明。输出处理是输出新的学习完毕模型的生成所需的数据数量的处理。图7是表示本实施方式的医用信息处理装置30执行的输出处理的处理顺序的流程图。
登记功能351登记在新生成的学习完毕模型的学习中使用的学习数据集(步骤S1)。
分类指定功能352指定新生成的学习完毕模型的分类(步骤S2)。
提取功能353从学习完毕模型表321中提取与分类指定功能352指定的分类相同分类的学习完毕模型(步骤S3)。
类似度计算功能354计算由提取功能353提取的学习完毕模型的学习数据集与新生成的学习完毕模型的学习数据集之间的类似度(步骤S4)。
数据计算功能355基于类似度计算功能354计算出的类似度，计算新生成的学习完毕模型的生成所需的数据数量(步骤S5)。
类似度计算功能354判定是否对提取功能353所提取的全部学习完毕模型的学习数据集执行了类似度的计算(步骤S6)。在未对全部的学习完毕模型的学习数据集执行了类似度的计算的情况下(步骤S6。否)，类似度计算功能354进入步骤S4，对尚未执行类似度的计算的学习完毕模型的学习数据集，执行类似度的计算。
在对全部的学习完毕模型的学习数据集执行了类似度的计算的情况下(步骤S6：是)，输出功能357针对每个已有的学习完毕模型，输出数据计算功能355计算出的新的学习完毕模型的生成所需的数据数量(步骤S7)。
通过以上，医用信息处理装置30结束输出处理。
如上所述，第一实施方式的医用信息处理装置30，计算在新生成的学习完毕模型中使用的图像数据与在已有的学习完毕模型的生成中使用的图像数据的类似度。然后，医用信息处理装置30针对多个已有的学习完毕模型的每一个，输出与计算出的类似度对应的、新的学习完毕模型的生成所需的数据数量。因此，医用信息处理装置30能够输出再学习所需的数据数量。这样，医用信息处理装置30针对多个已有的学习完毕模型的每一个，输出新的学习完毕模型的生成所需的数据数量。因此，使用者能够推定再学习所需的数据数量等成本。因此，使用者能够判断在成为通过再学习而新生成的学习完毕模型的基础的已有的学习完毕模型中使用哪个学习完毕模型是有效的。
(第二实施方式)
接着，对第二实施方式的医用信息处理装置30a(参照图9)进行说明。另外，对于与上述的第一实施方式相同的构成要素，标注相同的附图标记并省略说明。
在第二实施方式中，设想针对每个影像采集设备10生成学习完毕模型的情况。在导入了新的影像采集设备10的情况下，需要生成与新导入的影像采集设备10相适应的学习完毕模型。因此，通过对已有的影像采集设备10的学习完毕模型执行迁移学习等的再学习，由此生成与新导入的影像采集设备10相适应的学习完毕模型。
在此，在第一实施方式中，计算在已有的学习完毕模型的学习中使用的图像数据与新生成的学习完毕模型的学习中使用的图像数据的类似度。但是，在第二实施方式中，设想生成与新导入的影像采集设备10相适应的学习完毕模型。因此，有时无法如第一实施方式那样、准备在类似度的计算中使用的图像数据。因此，在第二实施方式中，计算已有的影像采集设备10的模型图像数据与新的影像采集设备10的模型图像数据的类似度。另外，第二实施方式的第一关联信息为新的影像采集设备10的模型图像数据。另外，第二关联信息为已有的影像采集设备10的模型图像数据。
图8是表示成为第二实施方式的类似度的计算对象的模型图像数据的一例的图。模型图像数据是指，通过拍摄被称为“模型”的性能评价用的对象而生成的装置的性能评价用的图像数据。另外，已有的影像采集设备10和新的影像采集设备10，通过在同一拍摄条件下对模型进行拍摄来生成模型图像数据。由此，在第二实施方式中，识别影像采集设备10的性能的类似度。而且，在第二实施方式中，基于影像采集设备10的性能的类似度，计算出再学习所需的数据数量。
在此，图9是表示第二实施方式的医用信息处理装置30a的结构的一例的框图。
学习完毕模型表321a是学习完毕模型、学习完毕模型在深度学习中的分类、多个学习数据集、以及在与学习数据集中所包含的图像数据的拍摄条件相同的拍摄条件下拍摄到的模型图像数据被建立了对应而得到的。
登记功能351a登记模型图像数据作为与新生成的学习完毕模型关联的第一关联信息。更详细而言，登记功能351a登记在学习完毕模型表321a中存储的模型图像数据的拍摄条件和在同一拍摄条件下新导入的影像采集设备10拍摄到的模型图像数据。
类似度计算功能354a计算生成在新生成的学习完毕模型的生成中使用的图像数据的影像采集设备10的模型图像数据、与生成了在已有的学习完毕模型的生成中使用的图像数据的影像采集设备10的模型图像数据的类似度。具体而言，类似度计算功能354a计算学习完毕模型表321a中存储的模型图像数据与登记功能351a登记的模型图像数据的类似度。
数据计算功能355根据每个已有的学习完毕模型的类似度，针对每个已有的学习完毕模型，计算新的学习完毕模型的生成所需的数据数量。
输出功能357针对每个第二学习完毕模型输出生成所需的数据数量。
如上所述，第二实施方式的医用信息处理装置30a，计算在与已有的学习完毕模型的生成中使用的图像数据相同的拍摄条件下拍摄到的模型图像数据、与新生成的学习完毕模型的生成中使用的模型图像数据的类似度。然后，医用信息处理装置30a针对每个已有的学习完毕模型，输出与计算出的类似度对应的、新的学习完毕模型的生成所需的数据数量。因此，第二实施方式的医用信息处理装置30a即使在无法准备对患者等被检体进行拍摄而得到的图像数据的情况下，也能够针对每个已有的学习完毕模型，输出新的学习完毕模型的生成所需的数据数量。
(第三实施方式)
接着，对第三实施方式的医用信息处理装置30b(参照图10)进行说明。另外，对于与上述的第一实施方式相同的构成要素，标注相同的附图标记并省略说明。
在第二实施方式中，为了生成与新导入的影像采集设备10相适应的学习完毕模型，计算已有的影像采集设备10的模型图像数据与新的影像采集设备10的模型图像数据的类似度。在第三实施方式中，计算图像数据的取得条件的类似度。例如，取得条件包括影像采集设备10的种类、影像采集设备10的制造商、机型、版本、拍摄方法、重构条件等项目。另外，取得条件中也可以包含这些以外的项目。
在此，图10是表示第三实施方式的医用信息处理装置30b的结构的一例的框图。
第三实施方式的学习完毕模型表321b是学习完毕模型、分类、多个学习数据集、以及学习数据集中所包含的图像数据的取得条件被建立了对应而得到的。
另外，存储电路320存储有得分表322。图11是表示得分表322的数据结构的一例的图。得分表322具有取得条件的每个项目的得分。图11所示的得分表322表示关于作为取得条件的项目的影像采集设备10的类别的得分。在影像采集设备10的类别为X射线CT装置的情况下，比较对象的取得条件下的影像采集设备10的类别为X射线CT装置的情况下为1.0，为MRI装置的情况下为0.6，为X射线血管造影装置的情况下为0.4，为超声波诊断装置的情况下为0.2。另外，图11所示的得分表322示出了与影像采集设备10的类别相关的得分，但得分表322对于取得条件的项目的其他项目也同样具有得分。另外，第三实施方式的第一关联信息成为新生成的学习完毕模型的学习中使用的图像数据的取得条件。另外，第二关联信息成为在已有的学习完毕模型的学习中使用的图像数据的取得条件。
登记功能351b登记取得条件作为与新生成的第一学习完毕模型关联的第一关联信息。即，登记功能351b登记新生成的学习完毕模型的学习中使用的图像数据的取得条件。
类似度计算功能354b计算对在新生成的学习完毕模型的生成中使用的图像数据的取得条件进行表示的第一关联信息与对在已有的学习完毕模型的生成中使用的图像数据的取得条件进行表示的第二关联信息的类似度。更详细而言，类似度计算功能354b基于得分表322，提取学习完毕模型表321b中存储的取得条件的各项目和登记功能351b登记的取得条件的各项目的得分。然后，类似度计算功能354b基于各项目的得分，计算类似度。类似度计算功能354b针对每个已有的学习完毕模型，执行这样的类似度的计算。
数据计算功能355基于每个已有的每个学习完毕模型的类似度，针对每个已有的学习完毕模型，计算新的学习完毕模型的生成所需的数据数量。
输出功能357针对每个第二学习完毕模型，输出生成所需的数据数量。
如上所述，第三实施方式的医用信息处理装置30b，计算在已有的学习完毕模型的生成中使用的图像数据的取得条件与在新生成的学习完毕模型的生成中使用的图像数据的取得条件的类似度。然后，医用信息处理装置30b针对每个已有的学习完毕模型，输出与计算出的类似度对应的、新的学习完毕模型的生成所需的数据数量。因此，第三实施方式的医用信息处理装置30b，即使在无法准备对患者等被检体进行拍摄而得到的图像数据的情况下，也能够针对每个已有的学习完毕模型，输出新的学习完毕模型的生成所需的数据数量。
(第四实施方式)
接着，对第四实施方式的医用信息处理装置30c(参照图12)进行说明。另外，对于与上述的第一实施方式相同的构成要素，标注相同的附图标记并省略说明。
第四实施方式的医用信息处理装置30d，计算到新生成的学习完毕模型的生成所需的数据数量为止的余量。
在此，图12是表示第四实施方式的医用信息处理装置30b的结构的一例的框图。
第四实施方式的医用信息处理装置30c，具备计算到新生成的学习完毕模型的生成所需的数据数量为止的余量的余量计算功能358。余量计算功能358是第三计算部的一例。余量计算功能358基于推定功能356推定出的推定结果，计算成为目标值的精度所需的数据数量。更详细而言，余量计算功能358从学习完毕模型表321接受成为余量的计算对象的已有的学习完毕模型的指定和目标值的指定。在此，推定功能356推定数据数量与精度之间的相关关系。因此，余量计算功能358基于推定功能356的推定结果，直到从所指定的学习完毕模型生成作为目标值的精度的学习完毕模型为止、计算需要进行再学习的数据数量。
另外，所需的数据数量根据类似度而不同。因此，余量计算功能358针对所指定的学习完毕模型，针对每个类似度，计算从当前的精度到成为目标值的精度所需的数据数量。然后，余量计算功能358基于推定功能356的推定结果，生成曲线图，该曲线图中，按每个类似度示出了直到从所指定的学习完毕模型生成作为目标值的精度的学习完毕模型为止、需要进行再学习的数据数量。
输出功能357输出余量计算功能358计算出的数据数量。另外，输出功能357输出余量计算功能358生成的曲线图。图13是表示按每个精度示出了数据数量与类似度的相关关系的曲线图的一例的图。如图13所示，曲线图针对所指定的学习完毕模型，针对每个精度，示出了数据数量与类似度的相关关系。另外，曲线图示出了到由推定功能356所指定的精度为止还需要多少个特定的类似度的数据数量。
如上所述，第四实施方式的医用信息处理装置30c，基于推定功能356推定出的推定结果，输出成为目标值的精度所需的数据数量。因此，使用者能够掌握准备剩余的几个数据即可。
(第五实施方式)
接着，对第五实施方式的医用信息处理装置30d(参照图14)进行说明。另外，对于与上述的第一实施方式相同的构成要素，标注相同的附图标记并省略说明。
第五实施方式的医用信息处理装置30d，输出提高精度的取得条件的项目。在此，通过提高取得条件的类似度，也能够期待精度的提高。因此，医用信息处理装置30d在新生成的学习完毕模型的生成中使用的图像数据的取得条件与已有的学习完毕模型的生成中使用的图像数据的取得条件中，提取使类似度降低的项目。由此，医用信息处理装置30d输出提高类似度的取得条件的项目。
在此，图14是表示第五实施方式的医用信息处理装置30d的结构的一例的框图。
与第三实施方式同样地，学习完毕模型表321c，是学习完毕模型、分类、多个学习数据集、以及学习数据集中所包含的图像数据的取得条件被建立了对应而得到的。另外，与第三实施方式同样地，存储电路320存储有得分表322。
另外，与第三实施方式同样地，类似度计算功能354基于得分表322，提取学习完毕模型表321c中存储的取得条件的各项目和登记功能351登记的取得条件的各项目的得分。然后，类似度计算功能354根据各项目的得分，计算类似度。
另外，医用信息处理装置30d具备项目提取功能359。项目提取功能359是第二提取部的一例。项目提取功能359提取使类似度提高的取得条件的项目，该类似度是对在新生成的学习完毕模型的生成中使用的图像数据的取得条件进行表示的第一关联信息、与对在已有的学习完毕模型的生成中使用的图像数据的取得条件进行表示的第二关联信息的类似度。更详细而言，项目提取功能359提取类似度计算功能354提取出的各项目中得分低的项目。在此，在提高了得分的情况下，类似度提高，因此学习完毕模型的精度提高。因此，项目提取功能359为了提高精度而提取得分低的项目。
输出功能357输出项目提取功能359提取出的取得条件的项目。
如上所述，第五实施方式的医用信息处理装置30d，将在新生成的学习完毕模型的生成中使用的图像数据的取得条件与在已有的学习完毕模型的生成中使用的图像数据的取得条件进行比较，提取得分低的取得条件的项目。然后，医用信息处理装置30d输出得分低的项目。因此，使用者能够对得分低的项目进行提高得分的处置。另外，医用信息处理装置30d也可以输出针对得分低的项目提高得分的方法。
另外，在上述的实施方式中，以医用信息处理装置30具备特征性的功能的情况为例进行了说明。但是，医用信息处理装置30所具备的登记功能351、351a、351b、分类指定功能352、提取功能353、类似度计算功能354、354a、354b、数据计算功能355、推定功能356、输出功能357、余量计算功能358、以及项目提取功能359等这些功能的全部或者一部分既可以是影像采集设备10具备的功能，也可以是PACS20具备的功能，还可以是这些以外的装置或者系统具备的功能。
另外，在上述的实施方式中，说明了通过单一的处理电路350实现各处理功能的情况的例子，但实施方式不限于此。例如，处理电路350也可以将多个独立的处理器组合而构成，各处理器通过执行各程序来实现各处理功能。另外，处理电路350所具有的各处理功能也可以适当地分散或合并于单一或多个处理电路350中来实现。
另外，在上述说明中使用的“处理器”这样的用语例如是CPU(Central ProcessingUnit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、或者面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑器件(例如，简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复合可编程逻辑器件(Complex Programmable Logic Device：CPLD)、以及现场可编程门阵列(FieldProgrammable Gate Array：FPGA))等电路。在此，也可以构成为代替在存储电路中保存程序，而在处理器的电路内直接装入程序。在此情况下，处理器通过读出并执行装入到电路内的程序来实现功能。另外，本实施方式的各处理器不限于按每个处理器构成为单一的电路的情况，也可以将多个独立的电路组合而构成为1个处理器，而实现其功能。
在此，由处理器执行的程序预先装入于ROM(Read Only Memory：只读存储器)或存储部等来提供。此外，该程序也可以以可安装于这些装置的形式或可执行形式的文件记录于CD(Compact Disk)-ROM、FD(Flexible Disk：软盘)、CD-R(Recordable：可记录)、DVD(Digital Versatile Disk：数字多功能光盘)等计算机可读取的存储介质中来提供。另外，该程序也可以保存在与因特网(internet)等网络(network)连接的计算机上，通过经由网络下载(download)来提供或发布。例如，该程序由包含上述各功能部的模块(module)构成。作为实际的硬件，CPU从ROM等存储介质读出程序并执行，由此将各模块装载(load)到主存储装置上，在主存储装置上生成。
此外，本说明书中的登记部、第一计算部、第二计算部、输出部、推定部、第三计算部、指定部以及第二提取部，除了通过上述各实施方式中叙述的处理电路350实现以外，也可以仅通过硬件、仅通过软件、或者通过硬件和软件的混合来实现相同功能。
根据以上说明的至少一个实施方式，能够输出再学习所需的数据数量。
以上，例示了本发明的几个实施方式，但这些实施方式是作为例子提示的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更等。这些实施方式及其变形例包含在发明的范围及主旨内同样地包含在权利要求书所记载的发明及其等同的范围内。

Claims (9)

1.一种医用信息处理装置，具备：
登记部，登记与新生成的第一学习完毕模型关联的第一关联信息；
第一计算部，针对多个第二学习完毕模型的每一个第二学习完毕模型，计算与已有的所述第二学习完毕模型关联的第二关联信息与所述第一关联信息之间的类似度；
第二计算部，基于多个所述第二学习完毕模型的每一个第二学习完毕模型的所述类似度，针对多个所述第二学习完毕模型的每一个第二学习完毕模型，计算所述第一学习完毕模型的生成所需的数据数量；以及
输出部，针对多个所述第二学习完毕模型的每一个第二学习完毕模型，输出所述第一学习完毕模型的生成所需的所述数据数量。
2.根据权利要求1所述的医用信息处理装置，其中，还具备：
推定部，推定所述数据数量与精度之间的相关关系，该精度是所述第二学习完毕模型输出的输出结果的精度，
所述输出部输出表示所述相关关系的信息。
3.根据权利要求2所述的医用信息处理装置，其中，还具备：
第三计算部，基于所述推定部推定出的推定结果，计算成为目标值的精度所需的所述数据数量，
所述输出部输出所述第三计算部计算出的所述数据数量。
4.根据权利要求1至3中任一项所述的医用信息处理装置，其中，还具备：
指定部，指定所述第一学习完毕模型在深度学习中的分类；以及
第一提取部，从学习完毕模型信息中，提取至少一个由所述指定部所指定的所述分类的所述第二学习完毕模型，该学习完毕模型信息是所述第二学习完毕模型、所述分类、以及所述第二关联信息被建立了对应而得到的，
所述第一计算部对于所述第一提取部提取出的至少一个所述第二学习完毕模型，计算所述类似度。
5.根据权利要求4所述的医用信息处理装置，其中，
所述登记部登记包含第一标签数据的所述第一关联信息，所述第一标签数据是用于识别所述第一关联信息的信息，
所述指定部基于所述第一标签数据，指定所述分类。
6.根据权利要求5所述的医用信息处理装置，其中，
所述第一计算部基于所述第一关联信息的所述第一标签数据和用于识别所述第二关联信息的信息即第二标签数据，计算所述类似度。
7.根据权利要求1至3中任一项所述的医用信息处理装置，其中，
所述第一计算部计算第一装置的性能评价用的图像数据即所述第一关联信息与第二装置的性能评价用的图像数据即所述第二关联信息之间的所述类似度，所述第一装置生成在所述第一学习完毕模型的生成中使用的图像数据，所述第二装置生成了在所述第二学习完毕模型的生成中使用的图像数据。
8.根据权利要求1至3中任一项所述的医用信息处理装置，其中，
所述第一计算部计算所述第一关联信息与所述第二关联信息之间的所述类似度，所述第一关联信息表示在所述第一学习完成模型的生成中使用的图像数据的取得条件，所述第二关联信息表示在所述第二学习完成模型的生成中使用的图像数据的取得条件。
9.根据权利要求1至3中任一项所述的医用信息处理装置，其中，还具备：
第二提取部，提取使所述第一关联信息与所述第二关联信息之间的所述类似度提高的取得条件的项目，所述第一关联信息表示在所述第一学习完成模型的生成中使用的图像数据的取得条件，所述第二关联信息表示在所述第二学习完成模型的生成中使用的图像数据的取得条件，
所述输出部输出所述第二提取部提取出的所述项目。
CN202011548617.9A 2019-12-27 2020-12-24 医用信息处理装置 Pending CN113052310A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-238183 2019-12-27
JP2019238183A JP7413011B2 (ja) 2019-12-27 2019-12-27 医用情報処理装置

Publications (1)

Publication Number Publication Date
CN113052310A true CN113052310A (zh) 2021-06-29

Family

ID=76508136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011548617.9A Pending CN113052310A (zh) 2019-12-27 2020-12-24 医用信息处理装置

Country Status (3)

Country Link
US (1) US20210202070A1 (zh)
JP (1) JP7413011B2 (zh)
CN (1) CN113052310A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240019837A (ko) 2021-06-25 2024-02-14 캐논 파인테크 니스카 가부시키가이샤 튜브 프린터

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798333A (zh) * 2016-09-07 2018-03-13 东芝泰格有限公司 信息处理装置及控制方法、终端设备、机器可读存储介质
US20190341153A1 (en) * 2018-05-01 2019-11-07 International Business Machines Corporation Generating personalized treatment options using precision cohorts and data driven models
CN110431570A (zh) * 2018-02-26 2019-11-08 株式会社日立信息通信工程 状态预测装置和状态预测控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753767B2 (en) * 2014-03-11 2017-09-05 Sas Institute Inc. Distributed data set task selection
US10922604B2 (en) * 2016-09-09 2021-02-16 Cylance Inc. Training a machine learning model for analysis of instruction sequences
JP6849915B2 (ja) 2017-03-31 2021-03-31 富士通株式会社 比較プログラム、比較方法および比較装置
JP6577516B2 (ja) 2017-05-01 2019-09-18 日本電信電話株式会社 判定装置、分析システム、判定方法および判定プログラム
US10878090B2 (en) * 2017-10-18 2020-12-29 AO Kaspersky Lab System and method of detecting malicious files using a trained machine learning model
US20190214138A1 (en) * 2018-01-10 2019-07-11 Canon Medical Systems Corporation Diagnosis support apparatus, diagnosis support system, and diagnosis support method
US11250951B2 (en) 2018-03-30 2022-02-15 Hitachi, Ltd. Feature engineering method, apparatus, and system
US11189367B2 (en) * 2018-05-31 2021-11-30 Canon Medical Systems Corporation Similarity determining apparatus and method
US10824912B2 (en) * 2018-06-28 2020-11-03 General Electric Company Methods and apparatus to adapt medical image interfaces based on learning
US11138350B2 (en) * 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
JP7246912B2 (ja) * 2018-12-18 2023-03-28 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
CA3076638A1 (en) * 2019-03-22 2020-09-22 Royal Bank Of Canada Systems and methods for learning user representations for open vocabulary data sets
US11295239B2 (en) * 2019-04-17 2022-04-05 International Business Machines Corporation Peer assisted distributed architecture for training machine learning models
US11322234B2 (en) * 2019-07-25 2022-05-03 International Business Machines Corporation Automated content avoidance based on medical conditions
US20210097428A1 (en) * 2019-09-30 2021-04-01 International Business Machines Corporation Scalable and dynamic transfer learning mechanism

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798333A (zh) * 2016-09-07 2018-03-13 东芝泰格有限公司 信息处理装置及控制方法、终端设备、机器可读存储介质
CN110431570A (zh) * 2018-02-26 2019-11-08 株式会社日立信息通信工程 状态预测装置和状态预测控制方法
US20190341153A1 (en) * 2018-05-01 2019-11-07 International Business Machines Corporation Generating personalized treatment options using precision cohorts and data driven models

Also Published As

Publication number Publication date
JP2021105960A (ja) 2021-07-26
US20210202070A1 (en) 2021-07-01
JP7413011B2 (ja) 2024-01-15

Similar Documents

Publication Publication Date Title
JP5893623B2 (ja) データ・セットにおける異常検出方法およびシステム
US9282929B2 (en) Apparatus and method for estimating malignant tumor
US10413236B2 (en) Medical-image processing apparatus
EP3611699A1 (en) Image segmentation using deep learning techniques
US10867423B2 (en) Deformation field calculation apparatus, method, and computer readable storage medium
US11257211B2 (en) Medical image processing apparatus, medical image processing system, and medical image processing method
US10748282B2 (en) Image processing system, apparatus, method and storage medium
US11182901B2 (en) Change detection in medical images
US20150110369A1 (en) Image processing apparatus
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
CN113052310A (zh) 医用信息处理装置
CN112330787B (zh) 图像标注方法、装置、存储介质和电子设备
CN107632997B (zh) 依据签名集合确定图像组
WO2021116011A1 (en) Medical image segmentation and atlas image selection
US10249050B2 (en) Image processing apparatus and image processing method
JP5132559B2 (ja) デジタル画像のセグメント化方法およびコンピュータ読み取り可能なプログラム記憶装置
US20230368913A1 (en) Uncertainty Estimation in Medical Imaging
US20240169491A1 (en) Masking unwanted pixels in an image
Sylvia Grace et al. Osteoporosis Detection Using Deep Learning
Jimeno et al. Automated detection of motion artifacts in brain MR images using deep learning and explainable artificial intelligence
JP6253474B2 (ja) 情報処理装置、コンピュータプログラムおよび記録媒体
JP2024509039A (ja) 分類の視覚的説明、方法、システム
KR20240051159A (ko) 의료 이미지 변환을 위한 시스템 및 방법
CN114974560A (zh) 肿瘤良恶性智能诊断装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination