CN111373256B - 波形分析装置 - Google Patents

波形分析装置 Download PDF

Info

Publication number
CN111373256B
CN111373256B CN201780096533.6A CN201780096533A CN111373256B CN 111373256 B CN111373256 B CN 111373256B CN 201780096533 A CN201780096533 A CN 201780096533A CN 111373256 B CN111373256 B CN 111373256B
Authority
CN
China
Prior art keywords
waveform
image
peak
signal
signal waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780096533.6A
Other languages
English (en)
Other versions
CN111373256A (zh
Inventor
小副川健
樋田祐辅
金泽裕治
金泽慎司
山田洋平
安田弘之
国泽研大
寺田英敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN111373256A publication Critical patent/CN111373256A/zh
Application granted granted Critical
Publication of CN111373256B publication Critical patent/CN111373256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02—Column chromatography
    • G01N30/86—Signal analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

在已学习模型存储部(114)中预先保存通过以将大量的色谱进行图像化所得到的图像和准确的峰信息作为学习数据进行深度学习来进行学习而构建出的模型。当输入通过LC测定部(10)得到的针对目标试样的色谱数据时，图像生成部(112)将该色谱进行图像化，在该图像中对以色谱曲线为边界的两个区域中的一个区域进行填充来生成输入用图像。峰位置估计部(113)将输入用图像的像素值输入到基于已学习的模型的神经网络，得到峰的起点/终点的位置信息和峰检测准确度来作为输出。峰决定部(115)基于峰检测准确度来决定各峰的起点/终点。由此，能够减少参数设定等要由操作者进行的烦杂的操作、作业，能够自动地以高精度针对各种形状的色谱波形检测峰。

Description

波形分析装置
技术领域
本发明涉及一种对通过分析装置得到的信号的波形进行分析的波形分析装置。本发明例如适用于通过气相色谱(GC)装置、液相色谱(LC)装置等获取的色谱波形、通过质量分析装置获取的质谱波形、通过分光光度计等获取的吸光光谱波形、通过X射线分析装置获取的X射线光谱波形等通过各种分析装置得到的信号的波形的分析中。
背景技术
在气相色谱装置、液相色谱装置中，将包含各种成分的试样导入管柱中，在该试样通过管柱的过程中将各种成分在时间上分离，利用设置于管柱的出口的检测器进行检测。在基于由检测器得到的检测信号制作的色谱中出现与试样中的成分对应的峰。由于观测到该峰的时间(保持时间)与成分的种类对应，因此能够根据该峰的保持时间来确定成分，也就是能够进行定性分析。另外，由于峰的高度、面积与该成分的浓度或含量对应，因此能够根据峰的高度值、面积值求出该成分的浓度、含量，也就是能够进行定量分析。
进行定性分析、定量分析需要在色谱波形上准确地检测峰，确定峰的起点、终点的位置(时间)。在实际的色谱波形中，会重叠有各种噪声、或基线发生了变动、或源自多种成分的峰重叠。因此，根据色谱波形准确地检测峰并不容易，以往，作为基于色谱波形的峰检测法，提出了各种算法以供实际使用(参照专利文献1、2等)。
在以往的通常的峰检测算法中，针对实际测量的色谱波形，通过平滑处理等噪声去除、峰位置的检测、基线估计、峰起点和终点的检测、重叠的峰的分离等波形处理来计算峰的高度值、面积值。根据算法，有时在进行峰位置的检测之前执行基线估计、峰起点和终点的检测，但无论在以往的哪种通常的峰检测算法中，均需要操作者进行很多作业，如由操作者(分析担当者)预先设定各种参数、或由操作者在显示画面上观察色谱波形来指定峰的起点/终点、或由操作者判断哪个基线是恰当的并选择该基线用以将重叠的峰分离等。另外，难以对基线、峰的形状各种各样的色谱波形应用一个固定的峰检测算法，因此还需要操作者从预先准备的多个峰检测算法之中选择要使用的算法的作业。
这样的操作对于操作者而言是很大的负担并且非常有碍于分析作业的效率改善。另外，分析作业需要一定程度的熟练、经验，因此能够担当的人有限。并且，无法避免根据操作者存在的判断的偏差，还具有操作者随意进行操作的可能性。因此，也存在难以确保分析结果的精度、再现性或可靠性的问题。
为了减轻操作者的作业负担，还开发了自动地检测峰的起点/终点的算法(参照非专利文献1等)。然而，在这样的算法中也是，依赖于操作者的操作的要素多，期望进一步减轻负担。
现有技术文献
专利文献
专利文献1：日本特开2009-8582号公报
专利文献2：国际公开第2017/094170号小册子
非专利文献
非专利文献1：“通过智能的波形处理算法使分析业务效率化”、“online”、“平成29年10月23日检索”、株式会社岛津制作所、网络<URL：http://www.an.shimadzu.co.jp/hplc/support/faq/faq8/i-peakfinder_introduction.ht m>
非专利文献2：“通过利用深度学习技术的小型启动服务来辅助预测分析导入”、Wave 2017.5vol.21、“online”、“平成29年10月23日检索”、东芝信息系统株式会社、网络<URL：https://www.tjsys.co.jp/wave/files/Wave-21_06.pdf>
非专利文献3：Wei Liu及其他六人、“SSD：单发多盒探测器(SSD：Single ShotMultibox Detector)”、“online”、“平成29年10月23日检索”、arXiv.org、网络<URL：https://arxiv.org/pdf/1512.02325.pdf>
非专利文献4：绪方贵纪、“SSD：Single Shot MultiBox Detector(ECCV2016)”、“online”、“平成29年10月24日检索”、slideshare、网络<URL：https://www.slideshare.net/takanoriogata1121/ssd-single-shot-multibox-detector-eccv2016>
发明内容
发明要解决的问题
本发明是为了解决上述课题而完成的，其主要的目的在于提供一种能够减少要由操作者进行的繁杂的操作、作业且高精度地对各种形状的信号波形进行峰检测的波形分析装置。
用于解决问题的方案
为了解决上述课题而完成的本发明是一种波形分析装置，对基于通过对试样进行规定的分析而得到的信号列的信号波形进行分析来检测该信号波形上的峰，所述波形分析装置的特征在于，具备：
a)图像生成部，其将所述信号波形或根据该信号波形求出的次级信号波形转换为图像，在通过在该图像内用与信号波形对应的线进行分割而形成的多个区域中的一个区域中，沿该线在距离该线的至少规定的范围内用相对于其它范围能够识别的一种或多种颜色进行填充，由此生成输入用图像；以及
b)峰检测部，使用已学习模型针对由所述图像生成部生成的作为目标的输入用图像检测在该图像中的信号波形中出现的一个或多个峰的起点的位置和终点的位置中的至少一方，所述已学习模型是通过使用基于峰的起点和终点已知的多个信号波形生成的输入用图像进行的机器学习预先构建出的。
在本发明中，规定的分析例如为液相色谱、气相色谱等的色谱分析、质量分析、离子迁移率分析、吸光光谱分析和荧光光谱分析等光谱分析、X射线分析等。另外，基于通过进行这样的分析而得到的信号列的信号波形为表示将时间、质荷比、离子迁移率、波长、能量等设为变量的信号强度的变化的色谱波形、光谱波形等。
在本发明中，图像生成部例如将色谱波形本身或根据该色谱波形求出的次级信号波形转换为图像。在该图像中，信号波形为直线、曲线、折线等线条，但在以该线为边界形成的两个区域的一个区域中，沿该线在距离该线的至少规定的范围内用一种或多种颜色进行进行填充。优选的是，将两个区域中的一个区域的整体进行填充，以使在以与信号波形对应的线为边界的两个区域之间能够将各区域内的微小区域间进行区别。另外，设为该填充是按照灰阶或色阶进行的为宜。由此，能够在与信号波形对应的线的附近、也就是两个区域的边界附近，根据该边界与像素的位置关系对各像素赋予中间色。
峰检测部利用通过机器学习从图像中探测物体的方法来估计峰的起点和终点。即，峰检测部具备已学习模型，该已学习模型是通过使用基于峰的准确的起点和终点已知的多个(通常为相当多的)信号波形生成的输入用图像进行的机器学习预先构建出的。而且，当提供由上述图像生成部生成的作为目标的输入用图像时，基于该已学习模型在输入用图像中估计与上述信号波形中出现的一个或多个峰的起点或终点相当的部位，将该部位作为峰的起点或终点来识别。通过这样得到在图像中检测出的峰的起点/终点的位置来作为像素的位置信息，因此通过将该像素的位置信息转换为时间、波长等参数的信息，能够求出原始的信号波形中的峰的起点/终点。
作为本发明所涉及的波形分析装置的一个方式，所述图像生成部能够构成为：根据通过分析得到的单一的信号波形来生成一个以上的次级信号波形，基于多个该信号波形分别生成输入用图像，或者通过将多个该图像进行重叠来制作输入用图像。
具体地说，例如，所述图像生成部能够构成为：将通过对通过分析得到的信号波形进行n次(其中，n为正的整数)微分而得到的信号波形与原始的信号波形一同转换为图像来生成输入用图像。
当对信号波形进行1次微分时，信号强度的变化大的部分、也就是峰的上升(起点)和下降(终点)被强调。另外，当对信号波形进行2次微分时，信号强度的变化程度大的部分被强调，因此例如提取单调减少的突出部的峰顶等。因此，例如使基于对原始的信号波形进行1次微分以及/或者2次微分得到的信号波形的图像与基于原始的信号波形的图像进行重叠来生成输入用图像，由此能够基于与峰波形有关的更多的信息进行估计，峰检测的精度提高。
另外，作为本发明所涉及的波形分析装置的其它方式，所述图像生成部可以构成为：将通过关于相同的试样使用不同的参数进行相同的分析而得到的多个信号波形进行重叠，并且将通过利用与各信号波形对应的线进行分割而形成的三个以上的区域用各不相同的颜色单独进行填充，由此生成输入用图像。
例如在分析方法为LC/MS分析、GC/MS分析的情况下，能够将定量离子的质量色谱(提取离子色谱)波形以及一个或多个确认离子的质量色谱(提取离子色谱)波形设为上述多个信号波形。在该情况下，上述参数为质荷比。
一般来说，在这样的多个信号波形中，在相同的位置出现峰，但除此以外的要素例如基线、噪声的共性小。因此，将多个信号波形进行重叠来生成输入用图像，基于该输入用图像进行峰检测，由此能够容易地识别峰与基线、噪声。由此，峰检测的精度提高。
另外，作为本发明所涉及的波形分析装置的另一其它方式，所述图像生成部可以构成为生成输入用图像，该输入用图像是将通过将针对目标试样的分析重复多次而得到的多个信号波形进行重叠或合成所得到的图像。
在该结构中，也与上述方式同样地能够容易地识别峰和基线、噪声，因此峰检测的精度提高。
另外，作为本发明所涉及的波形分析装置的另一其它方式，所述图像生成部可以构成为生成输入用图像，该输入用图像是将针对目标试样得到的信号波形与针对包含该目标试样中的目标成分的标准试样的信号波形进行重叠或合成的图像。
在该结构中也是，通过添加针对包含目标成分的标准试样的信号波形的信息，来大致了解与目标成分对应的峰的峰顶的位置、峰宽度等信息，因此峰检测的精度提高。
另外，在本发明所涉及的波形分析装置中，能够使用各种机器学习的方法来构建已学习模型，但优选的是使用基于机器学习的一般物体探测算法来构建已学习模型。
在一般物体探测算法中，能够在作为处理对象的图像中设置大量的检测范围，能够针对每个检测范围学习存在峰的范围。作为其结果，能够无遗漏地检测各种尺寸的峰，从而能够以高精度进行峰检测。
另外，在本发明中，设为所述已学习模型是使用作为机器学习的方法之一的深度学习构件关键出的为宜。
通过利用深度学习(参照非专利文献2等)进行学习，能够使图像识别的精度提高，使峰检测的准确性也提高。
另外，关于深度学习提出了各种各样的算法，但在本发明中优选设为使用卷积神经网络(CNN)来构建所述已学习模型。
在此所说的卷积神经网络例如包括在被称作R-CNN(Regions with CNNfeatures：预选框内的特征)、SPP(Spatial Pyramid Pooling：空间金字塔池化)net、FastR-CNN、Faster R-CNN、YOLO(You Only Look Once：统一的实时目标检测)、SSD(SingleShot multibox Detector：单发多框检测)等的算法中。根据该结构，能够高速地进行高精度的峰检测。
发明的效果
根据本发明所涉及的波形分析装置，不需要以往的各种峰检测算法中所需的繁琐的作业，如检测用的参数的调整、适当的算法的选择等。另外，无需操作者一边观看信号波形一边通过手动作业来设定峰的起点和终点的作业，不会插入操作者的习惯性的、随意的操作，因此能够自动地进行排除了人属性的高精度的峰检测。另外，将信号波形捕捉为图像来估计峰，因此还具有容易得到与人进行的识别、判断一致的结果且容易保持与以往的依靠人工得到的准确的峰检测之间的结果的一贯性的效果。
附图说明
图1是使用本发明所涉及的波形分析装置的一个实施例的液相色谱系统和制作该系统中使用的已学习模型的系统的概要结构图。
图2是表示制作本实施例的波形分析装置中使用的已学习模型时的处理的流程的流程图。
图3是表示本实施例的波形分析装置中的峰检测处理的流程的流程图。
图4是表示本实施例的波形分析装置中的色谱波形的图像化的一例的图。
图5是表示本实施例的波形分析装置中使用的、基于神经网络的已学习模型的示意图。
图6是用于说明制作在本实施例的波形分析装置中使用的已学习模型时的处理的示意图。
图7是用于说明在本实施例的波形分析装置中使用已学习模型进行的峰检测处理的示意图。
具体实施方式
下面，详细地说明本发明所涉及的波形分析装置的一个实施例。
图1是利用本发明所涉及的波形分析装置的一个实施例的液相色谱(LC)系统和制作该系统中使用的已学习模型的系统的概要结构图。
该LC系统1具备LC测定部10、数据分析部11、操作部12以及显示部13。虽然没有图示，但LC测定部10包括送液泵、喷射器、管柱、管柱加热部、检测器等，关于所提供的试样执行LC分析来获取表示由检测器得到的信号强度的随时间的变化的色谱数据。
数据分析部11包括数据收集部110、峰检测处理部111、定性/定量分析部116等功能块，并且，峰检测处理部111包括图像生成部112、峰位置估计部113、已学习模型存储部114、峰决定部115等功能块。
在数据分析部11中，数据收集部110收集并存储通过LC测定部10得到的色谱数据。相当于本发明所涉及的波形分析装置的峰检测处理部111在基于收集到的色谱数据的色谱波形中自动地检测峰，输出包括检测出的峰的起点和终点的位置(保持时间)的峰信息。定性/定量分析部116基于从峰检测处理部111提供的峰信息来鉴定与各峰对应的成分，或计算峰高度值、峰面积值并根据其值来计算各成分的浓度或含量。
在图1中，与LC系统1相分别地设置的模型制作部2包括学习数据输入部20、图像生成部21、学习执行部22以及模型构建部23来作为功能块。由该模型制作部2制作出的已学习模型被保存于LC系统1的数据分析部11中的存储部，作为已学习模型存储部114发挥功能。
此外，通常，数据分析部11的实体为安装有规定的软件的个人计算机、性能更高的工作站、或者包括经由通信线路而与这样的计算机连接的高性能的计算机的计算机系统。即，关于数据分析部11中包括的各块的功能，能够通过执行计算机单体或包括多个计算机的计算机系统上搭载的软件来实施，通过利用该计算机或计算机系统中存储的各种数据进行的处理来具体化。
接着，详细地说明由峰检测处理部111实施的峰检测处理。
极度概括地说，在该峰检测处理部111中，通过使用在将色谱波形(色谱曲线)转换为二维图像后对存在于该图像上的物体的分类和位置进行检测的作为机器学习的一个方法的深度学习(Deep Learning)的方法，来检测峰的起点和终点的位置。
[已学习模型的制作]
如众所周知的那样，在机器学习法中，需要使用大量的学习数据来预先构建已学习模型。如上述的那样，该已学习模型的构建作业并不在作为LC系统1的一部分的数据分析部11中进行，而是通过由其它计算机系统构成的模型制作部2来实施，并且将实施的结果保存在已学习模型存储部114中。这是因为，一般来说，在已学习模型的构建作业中要处理大量的数据，因此计算量非常大，需要性能相当高且与图像处理对应的计算机。图2是表示在模型制作部2中进行的已学习模型制作时的处理的流程的流程图。
在制作已学习模型时，准备大量且多样的色谱波形数据，并且事先准确地求出该各色谱波形中出现的一个或多个峰的起点和终点的保持时间。此处所说的多样的色谱波形数据为包括可能出现在实际实施峰检测时的色谱波形中的以下要素的色谱波形，所述要素为各种噪声的混入、基线的变动(抖动)、多个峰的重叠或者峰形状的变形。学习数据输入部20将该大量的色谱波形数据与包括峰起点/终点的准确的峰信息的组合作为学习数据来读入(步骤S1)。
图像生成部21基于作为时间系列信号的色谱波形数据来制作色谱，将表示信号强度的随时间经过的变化的色谱波形(色谱曲线)转换为规定的像素数的二维图像(步骤S2)。在此，作为一例，设为像素数为512×512。在进行该图像转换时，以色谱波形上的峰之中的信号强度最大的峰的峰顶与矩形状的图像的上边一致的方式将该波形的y方向上的尺寸进行标准化。另外，以色谱波形的整个测定时间范围或一部分的测定时间范围(例如由用户指示的测定时间范围)与矩形状的图像的x方向(横向)上的长度一致的方式将该波形的x方向上的尺寸进行标准化(步骤S3)。
当如上述那样将色谱波形进行标准化时，以与该波形对应的线为边界将矩形状的图像分割为两个区域。因此，将通过该图像分割而形成的两个区域中的一个区域用不同于另一个区域的颜色的规定的颜色进行填充(步骤S4)。此时，使颜色的浓度分为多级，在与波形对应的线也就是两个区域的边界线的附近，根据边界线与像素的位置关系来决定各像素的颜色的浓度为宜。具体地说，例如当用0～255的256级的灰阶对一个区域进行填充时，一个区域中的远离边界线的部分为黑色，另一个区域中的远离边界线的部分为白色，但边界线附近的像素为它们的中间色。
在图4中表示色谱波形的一例(a)以及基于步骤S2～S4对其实施图像化所得到的二维图像(b)。在图4的(b)的下方示意性地表示两个区域的边界线附近的像素的颜色。此外，在此，将两个区域中的一个区域的整体进行填充。由此，在将各区域中的微小区域(一个像素或多个像素的集合)之间进行比较时，能够识别为是不同的区域。这有利于在后述的机器学习的算法中提高图像识别的精度。但是，根据所使用的机器学习的算法，不一定对两个区域中的一个区域的整体进行填充，例如也可以使用沿该边界线整体仅填充距该边界线规定长度的范围内的图像。另外，理所当然的是，可以不用灰阶进行填充，用黑色以外的另一种颜色、或按照色阶的多个颜色进行填充。即，以能够在隔着边界线位于边界线的两侧的区域中的微小区域之间进行识别的方式进行填充即可。
将通过步骤S1读入的全部的色谱波形数据同样地转换为图像。通过伴随色谱波形的标准化进行的图像化的处理，生成表示原始的色谱波形的强度信息、时间信息丢失的波形形状的图像。此外，当然，也可以不在通过步骤S1读入全部的数据后执行步骤S2～S4的处理，一边进行步骤S1中的数据的读入一边基于步骤S2～S4将已读入的数据进行图像化。
另外，图像生成部21根据进行上述的图像化时的x方向、y方向上的标准化、也就是色谱波形的伸缩，来将与色谱波形数据相组合的峰信息转换为图像上的位置信息，也就是x方向和y方向上的像素位置的信息(步骤S5)。
接着，学习执行部22利用通过上述那样根据作为学习数据的色谱波形生成的大量的图像来实施机器学习，模型构建部23基于其学习结果来构建用于估计色谱波形上的峰的起点和终点的学习模型。如公知的那样，机器学习具有各种算法，在此使用作为图像识别中的一般物体探测算法之一的深度学习，其中还使用在图像识别方面尤为优异的SSD法(步骤S6)。
SSD法为使用深度学习之中最为广泛利用的卷积神经网络(CNN)的方法之一，是目前速度最快且能够实现高的识别精度的算法。SSD法是Liu Wei等人在非专利文献3中提出的，在非专利文献3、4等中详细地说明了该算法的详情，因此在此仅叙述本实施例中的特征点。
在通常的SSD法中，使用通过CNN提取出的图像特征图(feature map)来在二维的图像内估计存在物体的部分，但通过对该图像特征图逐步进行卷积来利用各种尺寸(像素数)的图像特征图。由此，能够检测各种大小的物体区域候选。与此相对地，在本实施例中想要检测的是峰的起点和终点的在x方向上的位置。因此，变更算法以检测x方向上的各种大小的区间内存在的峰的起点和终点。
图5是表示在本实施例中使用的基于神经网络得到的已学习模型的示意图。另外，图6是用于说明制作已学习模型时的处理的示意图。如图6所示，在此，设定具有宽度为通过上述步骤S2～S4的处理生成的图像的x方向上的整个长度的窗口的线段Sg1，接着，设定将线段Sg1的窗口分割为一半得到的窗口宽度为1/2的线段Sg2、Sg3。同样地，设定分别将线段Sg2、Sg3的窗口分割为一半得到的窗口宽度为原来的1/4的四个线段Sg4、Sg5、Sg6、Sg7，通过重复进行这样的操作来总共设定120个线段Sg1～Sg120。该各线段为通过CNN来提取图像特征图的单位，基于作为学习数据的图像按该单位来学习由峰的起点和终点决定的峰范围。
如图5所示，在该学习模型中的神经网络中，向设置于输入层的262144个节点的各节点输入512×512像素的图像中的各像素的像素值(在此为灰阶的0～255的范围)。在图5中，pxn表示一张图像中的第n个像素。此外，在图像为彩色或多种颜色的情况下，针对每个像素例如输入三原色的各颜色的像素值，因此输入层的节点数例如变为3倍。
在学习执行部22中，针对基于大量的图像的如上述那样的输入，通过深度学习来学习包括大量的中间层的层构造的网络，从设置于最终输出层的600个节点分别输出数值信息。从该600个节点输出的信息为关于120个线段Sg1～Sg120的各线段计算出的峰检测的准确度(confidence)confn、从该线段的窗口的左端至峰起点的在x方向上的偏移量xsn、从输入图像的下端至峰起点的在y方向上的偏移量ysn、从该线段的窗口的右端至峰终点的在x方向上的偏移量xen、从输入图像的下端至峰终点的在y方向上的偏移量yen这五维的信息。在图6中，将针对第一个线段Sg1的上述五维的信息表示为{conf1，xs1，ys1，xe1，ye1}。在此，用峰范围与窗口的重叠长度来定义峰检测的准确度。
在图6的例子中，色谱波形中存在两个峰。前面的峰的起点的像素位置为(xs_a，ys_a)，终点的像素位置为(xe_a，ye_a)，该峰范围为A。另一方面，后面的峰的起点的像素位置为(xs_b，ys_b)，终点的像素位置为(xe_b，ye_b)，峰范围为B。在该情况下，线段Sg1中的xs1、ys1、xe1以及ye1如图6中所示。另外，conf为同Sg1的窗口宽度与峰范围A的重叠相应的计算值。如上述的那样，学习数据中的峰的起点/终点的像素位置、峰范围是已知的，因此关于大量的学习数据以尽可能与正确答案一致的方式进行学习来计算各中间层中的网络权重并且构建模型。
模型构建部23暂时保存通过这样使用大量的学习数据进行深度学习所求出的学习模型(步骤S7)。在LC系统1中，例如经由通信线路将由模型制作部2如上述那样制作出的学习模型进行传输并且保存在数据分析部11的已学习模型存储部114中。
[针对目标试样的峰检测处理]
接着，对通过LC系统1的数据分析部11执行的、在针对目标试样得到的色谱波形上进行的峰的检测处理进行说明。图3是表示由峰检测处理部111进行的峰检测处理的流程的流程图。
首先，图像生成部112从数据收集部110读入作为处理对象的色谱波形数据(步骤S11)。然后，对读入的数据执行与通过由模型制作部2的图像生成部21执行的步骤S2～S4进行的色谱波形数据的图像化同样的、步骤S12～S14的处理，由此生成包括色谱曲线的512×512像素的图像。
峰位置估计部113对生成的图像的各像素的像素值应用已学习模型存储部114中保存的已学习模型，来获取120个线段的每个线段的上述五维的信息。即，将在图像内被估计为峰的起点和终点的像素位置的信息与峰检测准确度一同获取(步骤S15)。
图7是表示峰检测结果的一例的图。在此，针对每个线段求出{confn，xsn，ysn，xen，yen}(其中n为1～120)，因此，在大多数情况下，对一个峰通过多个线段得到峰检测的准确度不为0的{confn，xsn，ysn，xen，yen}。此外，一般来说，峰检测的准确度confn低的峰信息缺乏可靠性。因此，当在该例中计算出的confn为规定值(在此为0.5)以下的情况下，可以视作该五维的峰信息无用，设为{0，0，0，0，0}，但不基于这样的准确度进行取舍选择，利用全部的结果。
如上述的那样，一般来说，针对一个峰得到多个起点和终点的位置的候选。峰决定部115将针对每个峰得到的多个候选的峰的准确度confn进行比较，将该值最大的候选决定为图像内的该峰的起点和终点的像素位置。而且，基于生成图像时的色谱波形的伸缩的信息和图像化后的色谱波形的时间范围的信息，将峰的起点和终点的像素位置转换为时间和强度信息(步骤S16)。峰决定部115输出通过这样得到的信息来作为峰检测结果(步骤S17)。
在数据分析部11中，定性/定量分析部116接受峰检测结果，例如针对每个峰计算峰面积值或高度值，参照预先获取该值而得到的标准曲线来计算目标成分的浓度、含量。或者，在成分未知的情况下，针对每个峰，基于该保持时间来鉴定成分。
[变形例]
在上述实施例中，将该测定时间整体或其一部分的色谱波形进行图像化并且实施了深度学习，但能够设为各种方式以提高峰检测的精度。
例如当在时间上对色谱波形进行1次微分时，得到信号强度的变化越大则值越大的1次微分色谱波形。在该1次微分色谱波形中，在原始的色谱波形中的上升、下降的斜坡的坡度最大的时间，值最大，在峰顶等拐点、相同值连续的没有峰的时间范围内，值变为零。另外，当在时间上对色谱波形进行2次微分时，得到信号强度的变化的程度越大则值越大的2次微分色谱波形。在该2次微分色谱波形中，在例如对原始的色谱波形中的上升、下降的单调递增或单调减少的斜坡重叠其它成分而突出的峰顶示出大的值。因此，也可以是，除了原始的色谱波形以外还分别将1次微分色谱波形、2次微分色谱波形进行图像化，将它们的像素值也设为神经网络的输入数据。
像这样，求出源自原始的色谱波形的其它信号波形，将对该信号波形进行图像化所得到的信息(其它图像的像素值)添加至基于原始的色谱波形的图像的信息中，但也可以将源自原始的色谱波形的其它信号波形与原始的色谱波形以时间范围一致的方式进行重叠来生成一张图像。在该情况下，通过互不相同的颜色分别单独地对图像内的用与多个信号波形对应的线划分出的三个以上的区域进行填充即可。
另外，也可以是，不将通过对一个试样进行一次测定所得到的色谱波形进行图像化，将通过对相同试样重复进行多次测定所得到的多个色谱波形进行图像化，对此进行学习来制作学习模型。另外，也可以分别将通过实际测量包含目标成分的试样所得到的色谱波形和关于包含该目标成分的标准试样得到的色谱波形(也就是标准的色谱波形)进行图像化，或者生成将色谱波形进行重叠所得到的图像，学习该图像并且制作学习模型。
另外，在图1所示的LC系统1中的LC测定部10的检测器为质量分析装置的情况下，也就是LC测定部10为液相色谱质量分析装置(LC-MS)的情况下，能够针对一个试样获取质荷比不同的多个色谱。一般来说，在定量分析的情况下，获取对目标成分附加特征的(通常，信号强度最大的)、定量离子的质荷比的色谱以及对目标成分附加特征的、质荷比与定量离子的质荷比不同的一个或多个确认离子的质荷比的色谱。在这些多个色谱中均出现与一个目标成分对应的峰，因此将定量离子的色谱波形与一个或多个确认离子的色谱波形中的两个以上的色谱波形重叠来生成一张图像并且将该图像的像素值设为神经网络的输入数据、或者将根据这些多个色谱波形生成的多个图像的像素值设为神经网络的输入数据。
另外，上述实施例为将本发明所涉及的波形分析装置应用于通过作为LC、GC的色谱装置得到的色谱波形来进行峰检测的例子，但本发明能够利用于通过色谱装置以外的各种分析装置得到的信号波形的处理。例如，明确可知的是，也能够将本发明应用于通过质量分析装置得到的质谱、通过吸光分光光度计、荧光分光光度计等各种光谱分析装置得到的光学光谱、通过离子迁移率分析装置得到的离子迁移率光谱、通过X射线分析装置得到的X射线光谱等中出现的峰的检测。
另外，在上述实施例中，使用深度学习中的SSD法来制作学习模型，但能够使用于本发明的算法并不限于此。另外，并不限于已知的算法，只要为探测图像中的物体的一般物体探测算法，也可以不是目前已知的算法。另外，可以利用不包括在深度学习中的机器学习的方法。
另外，明确可知的是，对上述记载以外的点在本发明的主旨的范围中适当进行变形、修正、追加也包括在本申请专利权利要求书中。
附图标记说明
1：液相色谱(LC)系统；10：LC测定部；11：数据分析部；110：数据收集部；111：峰检测处理部；112：图像生成部；113：峰位置估计部；114：已学习模型存储部；115：峰决定部；116：定性/定量分析部；12：操作部；13：显示部；2：模型制作部；20：学习数据输入部；21：图像生成部；22：学习执行部；23：模型构建部。

Claims (9)

1.一种波形分析装置，对基于通过对试样进行规定的分析而得到的信号列的信号波形进行分析来检测该信号波形上的峰，所述波形分析装置的特征在于，具备：
a)图像生成部，其将所述信号波形或根据该信号波形求出的次级信号波形转换为图像，在通过在该图像内用与信号波形对应的线进行分割而形成的多个区域中的一个区域中，沿该线在距离该线的至少规定的范围内用相对于其它范围能够识别的一种或多种颜色进行填充，由此生成输入用图像；以及
b)峰检测部，使用已学习模型针对由所述图像生成部生成的作为目标的输入用图像检测在该图像中的信号波形中出现的一个或多个峰的起点的位置和终点的位置中的至少一方，所述已学习模型是通过使用基于峰的起点和终点已知的多个信号波形生成的输入用图像进行的机器学习预先构建出的。
2.根据权利要求1所述的波形分析装置，其特征在于，
所述图像生成部根据通过分析得到的单一的信号波形来生成一个以上的次级信号波形，基于多个所述信号波形分别生成输入用图像，或者通过将多个所述图像进行重叠来制作输入用图像。
3.根据权利要求2所述的波形分析装置，其特征在于，
所述图像生成部将通过对通过分析得到的信号波形进行n次微分而得到的信号波形与原始的信号波形一同转换为图像来生成输入用图像，其中，n为正的整数。
4.根据权利要求1所述的波形分析装置，其特征在于，
所述图像生成部将通过关于相同的试样使用不同的参数进行相同的分析而得到的多个信号波形进行重叠，并且将通过利用与各信号波形对应的线进行分割而形成的三个以上的区域用各不相同的颜色单独进行填充，由此生成输入用图像。
5.根据权利要求1所述的波形分析装置，其特征在于，
所述图像生成部生成输入用图像，所述输入用图像是将通过将针对目标试样的分析重复多次而得到的多个信号波形进行重叠或合成所得到的图像。
6.根据权利要求1所述的波形分析装置，其特征在于，
所述图像生成部生成输入用图像，所述输入用图像是将通过将针对目标试样得到的信号波形与针对包含该目标试样中的目标成分的标准试样的信号波形进行重叠或合成所得到的图像。
7.根据权利要求1至6中的任一项所述的波形分析装置，其特征在于，
所述已学习模型是使用基于机器学习的一般物体探测算法构建出的。
8.根据权利要求7所述的波形分析装置，其特征在于，
所述已学习模型是使用深度学习构建出的。
9.根据权利要求8所述的波形分析装置，其特征在于，
所述已学习模型是使用卷积神经网络构建出的。
CN201780096533.6A 2017-11-09 2017-11-09 波形分析装置 Active CN111373256B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040486 WO2019092836A1 (ja) 2017-11-09 2017-11-09 波形解析装置

Publications (2)

Publication Number Publication Date
CN111373256A CN111373256A (zh) 2020-07-03
CN111373256B true CN111373256B (zh) 2022-07-22

Family

ID=66438340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096533.6A Active CN111373256B (zh) 2017-11-09 2017-11-09 波形分析装置

Country Status (4)

Country Link
US (1) US11302039B2 (zh)
JP (1) JP6992817B2 (zh)
CN (1) CN111373256B (zh)
WO (1) WO2019092836A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11201042B2 (en) * 2018-05-30 2021-12-14 Shimadzu Corporation Imaging mass spectrometry data processing device
CN113056672A (zh) * 2018-11-19 2021-06-29 佳能株式会社 信息处理装置、信息处理装置的控制方法、程序、计算装置和计算方法
KR20210145210A (ko) 2019-03-29 2021-12-01 벤 바이오사이언시스 코포레이션 질량 분석 데이터의 경계 자동 검출
CN113711031B (zh) * 2019-05-08 2024-01-23 株式会社岛津制作所 分析装置
US11841373B2 (en) * 2019-06-28 2023-12-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and program
US11410336B2 (en) * 2019-10-01 2022-08-09 The Boeing Company Visual signal processing of signals
CN114391099A (zh) * 2019-10-02 2022-04-22 株式会社岛津制作所 波形解析方法和波形解析装置
CN115280143A (zh) * 2020-03-27 2022-11-01 文塔纳医疗系统公司 用于识别质谱响应曲线中的至少一个峰的计算机实现的方法
CA3178717A1 (en) * 2020-04-03 2021-10-07 Decision Tree, Llc Systems and methods for interpreting high energy interactions
JP7130267B2 (ja) 2020-09-03 2022-09-05 株式会社リガク 全反射蛍光ｘ線分析装置及び推定方法
JP7463944B2 (ja) * 2020-11-09 2024-04-09 株式会社島津製作所 波形処理支援装置および波形処理支援方法
CN112587152B (zh) * 2020-11-11 2022-08-16 上海数创医疗科技有限公司 一种融合U-net网络和滤波方法的12导联T波提取方法
JP7472775B2 (ja) * 2020-12-21 2024-04-23 株式会社島津製作所 波形処理支援装置および波形処理支援方法
US20220309777A1 (en) * 2021-03-26 2022-09-29 Sam Houston State University Intelligent system for determining hemp by headspace chemical analysis
US20240219360A1 (en) * 2021-04-30 2024-07-04 Shimadzu Corporation Analysis device and waveform processing program for analysis device
JP2023078028A (ja) * 2021-11-25 2023-06-06 Cyberdyne株式会社 脳活動検出装置および脳活動検出方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694696A (ja) * 1992-09-17 1994-04-08 Hitachi Ltd クロマトグラム解析方法及びクロマトグラフ装置
JPH0954071A (ja) * 1995-08-17 1997-02-25 Kao Corp ガスクロマトグラフ装置
WO2013090613A1 (en) * 2011-12-13 2013-06-20 Rutgers, The State University Of New Jersey Compositions and methods for functional quality control for human blood-based gene expression products
JP2014020857A (ja) * 2012-07-17 2014-02-03 Shimadzu Corp 分析データ表示処理装置
WO2016155138A1 (en) * 2015-03-31 2016-10-06 Vita-Course Technologies Co.,Ltd System and method for blood pressure monitoring
WO2017046988A1 (en) * 2015-09-18 2017-03-23 Sony Corporation Information processing apparatus, information processing method, and information processing system
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239196B2 (ja) * 1993-07-29 2001-12-17 花王株式会社 形状抽出システム
US5920297A (en) * 1997-03-12 1999-07-06 Hewlett-Packard Company Front panel color annunciators for multi-channel instrument with color display
CA2671592C (en) * 2006-09-01 2015-04-28 Landmark Graphics Corporation, A Halliburton Company Systems and methods for imaging waveform volumes
JP2009008582A (ja) 2007-06-29 2009-01-15 Shimadzu Corp クロマトグラムデータ処理装置
US8421802B2 (en) * 2008-03-07 2013-04-16 Olympus Ndt Peak visualization enhancement display system for use with a compressed waveform display on a non-destructive inspection instrument
US20120179389A1 (en) * 2009-08-20 2012-07-12 Spectrosense Ltd. Gas Chromatographic Analysis Method and System
CN103439743B (zh) * 2013-08-30 2017-04-19 电子科技大学 一种地震数据剖面图形绘制方法
US11499950B2 (en) 2015-12-03 2022-11-15 Shimadzu Corporation Peak detection method and data processing device
US9972092B2 (en) 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694696A (ja) * 1992-09-17 1994-04-08 Hitachi Ltd クロマトグラム解析方法及びクロマトグラフ装置
JPH0954071A (ja) * 1995-08-17 1997-02-25 Kao Corp ガスクロマトグラフ装置
WO2013090613A1 (en) * 2011-12-13 2013-06-20 Rutgers, The State University Of New Jersey Compositions and methods for functional quality control for human blood-based gene expression products
JP2014020857A (ja) * 2012-07-17 2014-02-03 Shimadzu Corp 分析データ表示処理装置
WO2016155138A1 (en) * 2015-03-31 2016-10-06 Vita-Course Technologies Co.,Ltd System and method for blood pressure monitoring
WO2017046988A1 (en) * 2015-09-18 2017-03-23 Sony Corporation Information processing apparatus, information processing method, and information processing system
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李灵巧.1. GC-MS数据高性能分析算法研究.《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》.2013,第1-85页. *
色谱保留时间在蛋白质组研究中的应用;邵晨 等;《色谱》;20100228;第28卷(第02期);第128-134页 *
色谱保留时间预测算法分析与比较;刘亚辉 等;《生命科学仪器》;20160430;第14卷;第29-32页 *

Also Published As

Publication number Publication date
US11302039B2 (en) 2022-04-12
CN111373256A (zh) 2020-07-03
WO2019092836A1 (ja) 2019-05-16
US20200279408A1 (en) 2020-09-03
JPWO2019092836A1 (ja) 2020-12-03
JP6992817B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
CN111373256B (zh) 波形分析装置
CN111316095B (zh) 波形分析装置
CN108603867B (zh) 峰检测方法以及数据处理装置
CN113167777B (zh) 鉴别器的生成方法
JP7108136B2 (ja) 分析装置
JP7424595B2 (ja) 識別器の生成方法及び装置
CN106596814A (zh) 一种液‑质联用数据中复杂环境下的色谱峰定量分析新方法
JP2023159214A (ja) 波形解析方法及び波形解析装置
CN115398226B (zh) 波形信息估计方法及装置以及峰波形处理方法及装置
US11475575B2 (en) Apparatus and method for measuring hair movement characteristics
US20230280316A1 (en) Learning data producing method, waveform analysis device, waveform analysis method, and recording medium
US20230243789A1 (en) Analysis device and analysis method
WO2022230162A1 (ja) 分析装置及び分析装置用波形処理プログラム
US20230280318A1 (en) Learning data producing method, waveform analysis device, waveform analysis method, and recording medium
CN118212420B (zh) 一种骨龄识别建模与预测方法及装置
GB2614237A (en) Method of analysing a spectral peak using a neural network
CN118628774A (zh) 一种基于显著性区域的异源图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant