CN112639865B - 图像处理系统、学习完毕模型和图像处理方法 - Google Patents

图像处理系统、学习完毕模型和图像处理方法 Download PDF

Info

Publication number
CN112639865B
CN112639865B CN201980057249.7A CN201980057249A CN112639865B CN 112639865 B CN112639865 B CN 112639865B CN 201980057249 A CN201980057249 A CN 201980057249A CN 112639865 B CN112639865 B CN 112639865B
Authority
CN
China
Prior art keywords
image
feature
statistic
image set
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980057249.7A
Other languages
English (en)
Other versions
CN112639865A (zh
Inventor
安藤淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112639865A publication Critical patent/CN112639865A/zh
Application granted granted Critical
Publication of CN112639865B publication Critical patent/CN112639865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理系统(10)包括：存储学习图像集和参照图像集的存储部(20)；以及进行确定用于图像扩展的扩展参数的处理的处理部(30)。处理部(30)通过对保护在学习图像集中的图像应用图像扩展来生成扩展图像集，根据基于扩展图像集的识别对象的特征的统计量即扩展特征统计量与基于参照图像集的识别对象的特征的统计量即参照特征统计量之间的类似度，确定扩展参数。

Description

图像处理系统、学习完毕模型和图像处理方法
技术领域
本发明涉及图像处理系统、学习完毕模型和图像处理方法等。
背景技术
以往，已知使用机器学习从图像中进行识别对象的检测处理的方法。另外，在生成学习完毕模型的学习处理中，还已知通过对学习数据进行图像扩展来提高精度的方法。例如，专利文献1公开了一种通过使用图像校正参数对学习图像执行校正处理来生成追加图像的方法。
在先技术文献
专利文献
[专利文献1]日本特开2016-38732号公报
发明内容
【发明要解决的问题】
尽管检测具有给定特征的识别对象的重要性高，但是有时学习图像集中可能未包含足够数量的包含有具有该特征的识别对象的图像。可以考虑各种特征，例如图像中的识别对象的尺寸。在这种情况下，通过应用上述图像扩展，增加包含具有期望特征的识别对象的图像的张数、比例是有效的。
然而，难以适当地确定用于图像扩展的扩展参数。专利文献1仅公开了根据作为图像取得源的设备的信息来设定校正参数的方法，使用校正参数生成的追加图像中的识别对象不一定具有期望的特征。
根据本公开的一些方面，可以提供能够适当地确定用于图像扩展的扩展参数的图像处理系统、学习完毕模型和图像处理方法等。
【用于解决问题的手段】
本公开的一个方面涉及一种图像处理系统，所述图像处理系统具有：存储部，其存储学习图像集和参照图像集；以及处理部，其进行确定在图像扩展中使用的扩展参数的处理，所述处理部进行如下处理：通过对包含在所述学习图像集中的图像应用所述图像扩展，生成扩展图像集，其中所述图像扩展由所述扩展参数的候选即候选扩展参数所确定；根据所述扩展图像集，计算识别对象的特征的统计量即扩展特征统计量；根据所述参照图像集，计算所述识别对象的特征的统计量即参照特征统计量；以及根据所述扩展特征统计量与所述参照特征统计量之间的类似度，确定所述扩展参数。
本公开的另一个方面涉及一种图像处理系统，其特征在于，所述图像处理系统具有：图像取得部，其取得应用图像；存储部，其存储学习完毕模型；以及处理部，其通过对所述应用图像进行基于所述学习完毕模型的处理，来进行识别对象的检测处理，所述学习完毕模型使用扩展图像集来学习，其中所述扩展图像集是通过对学习图像集应用由扩展参数所确定的图像扩展而生成的，所述扩展参数是被确定为使得所述扩展图像集中的所述识别对象的特征与参照图像集中的所述识别对象的特征接近的参数，其中所述参照图像集是在与所述应用图像的取得环境对应的环境中取得的图像的集合。
本公开的又一方面涉及一种学习完毕模型，其用于使计算机发挥功能，以接受应用图像作为输入，进行从所述应用图像中检测识别对象的处理，并输出检测结果，所述学习完毕模型使用通过如下处理得到的所述扩展图像集来学习：通过将由扩展参数的候选即候选扩展参数所确定的图像扩展应用到包含在学习图像集中的图像，生成扩展图像集，根据所述扩展图像集计算所述识别对象的特征的统计量即扩展特征统计量，根据参照图像集计算所述识别对象的特征的统计量即参照特征统计量，根据所述扩展特征统计量与所述参照特征统计量之间的类似度确定所述扩展参数，由所确定的所述扩展参数生成所述扩展图像集。
本公开的又一个方面涉及一种图像处理方法，所述图像处理方法包括：学习图像集取得步骤，取得学习图像集；扩展图像集生成步骤，通过对包含在所述学习图像集中的图像应用图像扩展，生成扩展图像集，其中所述图像扩展由扩展参数的候选即候选扩展参数所确定；扩展特征统计量计算步骤，根据所述扩展图像集计算识别对象的特征的统计量即扩展特征统计量；参照图像集取得步骤，取得参照图像集；参照特征统计量计算步骤，根据所述参照图像集，计算所述识别对象的特征的统计量即参照特征统计量；以及扩展参数确定步骤，根据所述扩展特征统计量与所述参照特征统计量之间的类似度，确定所述扩展参数。
附图说明
图1的(A)和图1的(B)是学习图像集中包含的图像的例子。
图2的(A)、图2的(B)是扩展图像集中包含的图像的例子。
图3的(A)、图3的(B)是参照图像集中包含的图像的例子。
图4是图像处理系统的结构例。
图5是说明本实施方式的处理的流程图。
图6是扩展特征统计量和参照特征统计量的例子。
图7是扩展特征统计量和参照特征统计量的例子。
图8的(A)、图8的(B)是说明作为学习完毕模型的一例的神经网络的图。
图9是说明本实施方式的处理的另一流程图。
图10是进行识别对象的检测处理的图像处理系统的结构例。
图11是包含图像处理系统的内窥镜装置的结构例。
具体实施方式
以下，对本实施方式进行说明。另外，以下说明的本实施方式不用于对权利要求书所记载的内容进行不当限定。另外，并不限于在本实施方式中说明的全部结构都是必要技术特征。
1.本实施方式的方法
近年来，使用机器学习进行物体检测的方法已广为人知。例如，检测装置使用通过机器学习生成的学习完毕模型来执行从图像中检测识别对象的处理。例如，检测装置是内窥镜装置，在使用内窥镜的检查和诊断支持中，进行息肉等识别对象的检测。在该情况下，根据包含息肉的学习图像集，执行生成学习完毕模型的学习处理。
在息肉出现在画面内的情况下，尽可能迅速地进行检测是重要的。其原因在于，对以内窥镜图像为首的对管状构造物的内部进行拍摄而得到的图像内的识别对象在帧内出现一次之后，有可能会由于内窥镜的操作或内部构造物的变动而立即离开拍摄范围。如果能够进行快速的息肉检测，则可抑制漏检。并且，即使对于从出现起经过某段时间后还存在于画面内的息肉，用户也比较容易发现和观察。这里的用户例如是医生。息肉检测用于进行由用户进行的检查等的支援，如果仅检测用户自己能够发现的息肉，则不能说支援效果好。即，从报知用户未识别到的息肉的存在的观点出发，快速的息肉检测也很重要。
在检测息肉的学习完毕模型的生成中，使用包含息肉的图像的集合即学习图像集来进行学习。这里的学习具体而言是有示教的学习，学习图像集中包含的各图像与用于确定息肉位置的信息对应。用于确定息肉位置的信息是指例如对包含在息肉区域内的像素分配第1值、对不包含在息肉区域内的像素分配与第1值不同的第2值的掩膜(mask)数据。
图1的(A)和图1的(B)是包含在学习图像集中的图像的例子。作为学习图像集而取得的图像是对管状(管腔状)的被摄体的内部进行拍摄而得到的图像。所谓管腔状的被摄体例如是消化器官，更具体地说是大肠。例如，图1的(A)表示在摄像光学系统的光轴沿着管腔的长度方向的状态下拍摄的图像。图1的(B)表示在摄像光学系统正对管腔的壁面的状态下拍摄的图像。在图1的(A)、图1的(B)中，A1和A2是与大肠的内壁对应的区域，B1和B2是息肉区域。
例如通过从使用了内窥镜的病例图像中提取拍摄到息肉的图像来取得学习图像集。因此，包含在学习图像集中的图像是被清晰地拍摄、包含适合观察的形式的息肉的图像的比例高。具体而言，如图1的(A)和图1的(B)所例示的那样，息肉存在在比较大的、明亮的、对比度高的状态下被拍摄的趋势。与此相对，检测重要性高的刚出现后的息肉位于图像的周缘部、被不清晰地拍摄的可能性高。具体而言，与图1的(A)、图1的(B)相比，刚出现后的息肉小、暗、模糊。
学习图像集具有可取得的图像的数量大并且种类丰富的优点。具体地，通过使用光源、摄像元件等的特性分别不同的多种摄像装置，将许多实验者作为对象，对各个部位进行拍摄而获得的图像能够用作学习图像集。然而，由于学习图像集中的息肉的特征与期望环境中的息肉的特征不同，因而在将学习图像集直接用于学习的情况下，有可能难以提高检测精度。
另一方面，通过对学习图像集应用图像扩展(Data Augmentation)来生成扩展图像集的方法是众所周知的。图2的(A)、图2的(B)是在扩展图像集中包含的图像的例子。例如，图2的(A)是对图1的(A)的图像进行缩小尺寸的图像尺寸调整处理后的图像。图2的(B)是对图1的(B)的图像进行了降低亮度的亮度校正处理后的图像。在图2的(A)、图2的(B)中，A3和A4是与大肠内壁对应的区域，B3和B4是息肉区域。由此，扩展图像集成为与学习图像集相比、息肉被不清晰地拍摄的图像的比例增大的图像集。即，能够通过图像扩展来调整尺寸、亮度、模糊量这样的息肉特征。
但是，在图像扩展中，存在难以设定适当的扩展参数的问题。例如，如果尺寸的缩小程度不足，则尺寸小的息肉的检测精度不够高。另一方面，如果尺寸的缩小程度过大，则有可能把包含有小到在实际环境中设想不到的程度的息肉的图像作为学习对象，反而有可能使检测精度下降。专利文献1的方法是基于图像取得源的器件特性来确定参数的方法，即使应用于本实施方式中设想的情况，也难以适当地确定参数。
考虑到以上的点，在本实施方式中利用参照图像集。这里，参照图像集是在与进行识别对象的检测处理的环境相同的环境下取得的图像的集合。更具体地讲，参照图像集是包含有从息肉在画面内出现起规定时间以内的帧的图像的图像集。
图3的(A)、图3的(B)是参照图像集中包含的图像的例子。在图3的(A)、图3的(B)中，A5和A6是与大肠内壁对应的区域，B5和B6是息肉区域。参照图像集中包含的图像大多是息肉被不清晰地拍摄到的图像。例如，图3的(A)是息肉尺寸比图1的(A)和图1的(B)小的图像。图3的(B)是息肉的边界部分被不清楚地拍摄、与图1的(A)和图1的(B)相比模糊量大的图像。参照图像集具有息肉的统计性特征适合实际环境的优点。
但是，在学习图像集的说明中，如上所述，能够作为息肉图像来收集的图像中，大多数是清晰地拍摄到息肉的图像。因此，与学习图像集相比，参照图像集中包括的图像的数量、种类较少，并且在将参照图像集用作机器学习的输入时，难以提高检测精度。
因此，在本实施方式中，将参照图像集用于扩展参数的确定。如图4所示，本实施方式的图像处理系统10包括存储学习图像集和参照图像集的存储部20、以及进行确定用于图像扩展的扩展参数的处理的处理部30。然后，处理部30通过将由作为扩展参数的候选的候选扩展参数所确定的图像扩展应用到包含在学习图像集中的图像，来生成扩展图像集。处理部30基于扩展图像集，计算作为识别对象的特征的统计量的扩展特征统计量。同样，处理部30根据参照图像集，计算作为识别对象的特征的统计量的参照特征统计量。然后，处理部30根据扩展特征统计量和参照特征统计量之间的类似度，确定扩展参数。另外，识别对象的特征是尺寸、亮度、模糊量等。另外，在扩展图像集以及参照图像集中包含多个图像，各图像包含一个或多个识别对象。即，扩展图像集中的识别对象的特征不是一个值，而是识别对象的数量个的值的集合。参照图像集也同样。所谓特征统计量是根据表示特征的多个值求出的统计量。通过使用特征统计量，能够对扩展图像集中的识别对象的特征和参照图像集中的识别对象的特征适当地进行比较。
这样，在本实施方式的方法中，在使用候选扩展参数来生成暂定的扩展图像集的基础上，对扩展图像集与参照图像集的特征统计量进行比较。换言之，处理部30进行使用候选扩展参数的候选扩展图像集的生成、基于候选扩展图像集的候选扩展特征统计量的计算、以及候选扩展特征统计量和参照特征统计量的比较。处理部30确定用于图像扩展的扩展参数，以使得使用图像扩展生成的扩展图像集中包含的识别对象的特征统计量接近参照图像集中包含的识别对象的特征统计量。具体的处理如使用图5以及图9后述的那样，考虑各种方法。这样，能够进行设想了进行识别对象的检测处理的环境的、适当的扩展参数的设定。此外，通过使用由适当的扩展参数生成的扩展图像集来进行图像识别处理的学习，能够提高识别性能。
这里，参照图像集包含从出现识别对象的帧到经过规定时间为止的帧的图像。规定时间优选为10秒左右，更优选为1秒～数秒。但是，规定时间可以进行各种变形实施。另外，参照图像集可以包含直到经过规定时间为止的所有帧的图像。在把规定时间设为t秒、把拍摄的帧速率设为每秒f帧的情况下，每当出现1次息肉，参照图像集就包含与t×f相当的张数的图像。但是，参照图像集也可以是提取了直到经过规定时间为止的帧的图像中的一部分而得到的图像集。
这样，能够将恰当地反映了刚刚出现之后的识别对象的特征的图像集用作参照图像集。另外，通过确定出现了识别对象的一个帧，将最大t×f张图像追加到参照图像集中。由于不需要逐个确定参照图像集中包含的图像，所以可以减轻参照图像集的生成负担。
并且，参照图像集可以是拍摄管状的构造物内部而得到的图像。管状的构造物如上所述可以是消化器官，但不限于此。例如管状的构造物也可以是工业用的管道等。通过使用这种参照图像集来确定扩展参数，能够提高位于管状的构造物内部的识别对象的检测精度。特别是在管状的构造物的情况下，识别对象因摄像部与被摄体的相对运动而离开拍摄范围的可能性比平面的构造物高。通过提高识别对象的检测精度，能够抑制识别对象的漏检。
并且，参照图像集中所包含的图像中的识别对象可以是位于图像周缘部的关注被摄体。通过使用这样的参照图像集来确定扩展参数，能够提高在图像周边部拍摄的关注被摄体的检测精度。因此，能够提高刚刚出现后的关注被摄体的检测精度，抑制关注被摄体的漏检等。
另外，参照图像集的生成方法、参照图像集中包含的图像中的识别对象的特征、被摄体等不限于上述内容，可以进行各种变形实施。例如，考虑这样的情况：尽管需要在夜间检测给定的识别对象，但是能够作为学习图像集而获得的图像以白天的图像为主导。在这种情况下，通过对学习图像集应用使得亮度降低的图像变多的图像扩展，来生成扩展图像集。此时，在将夜间取得的图像作为参照图像集的基础上，根据该参照图像集来确定扩展参数。这样，在扩展图像集中，与夜间拍摄的情况同样，包含很多亮度低的识别对象，能够提高夜间的识别对象的检测精度。
下面，说明识别对象是管状的生物体器官内部产生的息肉，使用包含从出现该息肉的帧到经过规定时间为止的帧的图像的参照图像集的例子。但是，如上所述，本实施方式的方法不限于此。本实施方式的方法适合如下条件的各种方法的扩展：以使扩展图像集中的识别对象的特征接近参照图像集中的识别对象的特征的方式确定扩展参数，并且参照图像集是反映了实际的检测环境中的识别对象的特征的图像集。
2.系统结构例
详细说明图4所示的图像处理系统10的结构。图像处理系统10包括存储部20和处理部30。
处理部30由下述硬件构成。硬件可以包括处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件可以由安装在电路基板上的一个或多个电路装置、一个或多个电路元件构成。一个或多个电路装置例如是IC等。一个或多个电路元件例如是电阻、电容器等。
另外，处理部30也可以通过下述处理器来实现。本实施方式的图像处理系统10包括存储信息的存储器和根据存储器中存储的信息进行动作的处理器。信息例如是程序和各种数据等。处理器包括硬件。处理器可以使用CPU、GPU(Graphics Processing Unit：图像处理单元)、DSP(Digital Signal Processor：数字信号处理器)等各种处理器。存储器可以是诸如SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等半导体存储器，或者可以是寄存器，还可以是硬盘装置(HDD：Hard Disk Drive)等磁存储装置，也可以是光盘装置等光学式存储装置。例如，存储器存储可由计算机读取的命令，通过由处理器执行该命令，将处理部30的各部的功能作为处理来实现。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
存储部20存储数据和程序等各种信息。处理部30例如将存储部20作为工作区域进行动作。存储部20可以是半导体存储器，也可以是寄存器，也可以是磁存储装置，还可以是光学式存储装置。
如图4所示，处理部30包括学习图像集输入部31、扩展图像集生成部32、扩展特征统计量计算部33、参照图像集输入部34、参照特征统计量计算部35、扩展参数确定部36和学习部37。但是，图像处理系统10和处理部30不限于图4的结构，可以实施省略这些结构要素的一部分、追加其他结构要素等各种变形。
学习图像集输入部31接受学习图像集的输入。学习图像集输入部31例如是用于从存储部20读取数据的接口。或者，学习图像集输入部31可以是经由网络从外部装置接收学习图像集并且将所接收的学习图像集写入存储部20的通信接口。
扩展图像集生成部32通过对包含在学习图像集中的各图像应用由扩展参数所确定的图像扩展，来生成扩展图像集。另外，有时这里生成的扩展图像集没有被确定为用于学习部37中的学习处理，而通过扩展参数确定部36的处理被丢弃。即，这里的扩展参数严格地说是候选扩展参数。
扩展特征统计量计算部33由扩展图像集计算识别对象的特征的统计量即扩展特征统计量。识别对象的特征例如是尺寸、亮度、模糊量等。统计量是频度分布等。稍后将描述特征统计量的详细内容。
参照图像集输入部34接受参照图像集的输入。与学习图像集输入部31同样，参照图像集输入部34可以由各种接口实现。参照特征统计量计算部35由参照图像集计算识别对象的特征的统计量即参照特征统计量。参照特征统计量的计算处理与扩展特征统计量的计算处理相同。
扩展参数确定部36根据扩展特征统计量和参照特征统计量之间的类似度来确定扩展参数。学习部37使用与所确定的扩展参数对应的扩展图像集来执行图像识别处理的学习。
另外，在图4中，示出了图像处理系统10包括学习部37的例子。换句话说，处理部30通过基于使用所确定的扩展参数而生成的扩展图像集来进行机器学习，生成用于进行从应用图像中检测识别对象的处理的学习完毕模型。应用图像是成为检测识别对象的处理的应用对象的图像，是检测装置(推导装置、识别装置)中的输入图像。
这样，能够在同一图像处理系统10中执行用于学习的扩展图像集的生成和使用该扩展图像集的学习。例如，能够在一个电子设备中执行扩展参数的确定和学习处理。然而，图像处理系统10可以由多个装置构成，并且扩展图像集的生成和学习处理可以由不同的装置执行。此外，可以通过多个装置的分布式处理来实现扩展图像集的生成和学习中的至少一个处理。
3.处理的详细内容
图5是说明本实施方式的处理的流程图。当该处理开始时，首先，学习图像集输入部31接受学习图像集的输入(步骤S101)。接下来，扩展图像集生成部32通过对学习图像集应用图像扩展来生成扩展图像集(步骤S102)。
扩展图像集生成部32进行图像尺寸调整处理、亮度校正处理、平滑化处理，作为图像扩展。此时，扩展参数成为图像尺寸调整率的上限下限、亮度校正的上限下限、平滑化处理的上限下限。另外，这里将图像尺寸调整率的上限设为使图像变大的一侧的界限，将下限设为使图像变小的一侧的界限。将亮度校正的上限设为使亮度变高的一侧的界限，将下限设为使亮度变低的一侧的界限。将平滑化处理的上限设为平滑化程度大的一侧的界限，将下限设为平滑化程度小的一侧的界限。但是，图像尺寸调整处理、亮度校正处理、平滑化处理并不是全部都是必需的处理，也可以省略一部分处理。此外，可以向图像扩展追加诸如旋转等的其他处理。
例如，对于图像尺寸调整率，设为可以在上限和下限之间设定NA种值。例如，在图像尺寸调整率的下限为0.7倍、上限为1.2倍、能够以0.1倍间隔来设定尺寸调整率的情况下，NA＝6。同样，对于亮度校正中的参数值，设为能够在上限和下限之间设定NB种值，对于平滑化处理中的参数值，设为能够在上限和下限之间设定NC种值。在这种情况下，通过对包含在学习图像集中的一个图像进行图像扩展，能够生成最多NA×NB×NC个图像。换句话说，扩展图像集生成部32能够生成包含有数量是学习图像集中包含的图像数量的NA×NB×NC倍的图像的图像集作为扩展图像集。然而，在扩展图像集中包含的图像的数量过大的情况下，学习处理的负荷变大。因此，扩展图像集生成部32也可以不对NA×NB×NC种的全部情况进行图像扩展，而通过进行其中一部分的图像扩展，从而抑制扩展图像集中包含的图像张数。
亮度校正处理例如是伽马校正处理。扩展图像集生成部32基于下式(1)将RGB的像素值变换到HSV颜色空间。H是色调(Hue)，S是饱和度(Saturation)，V是亮度(Value)。下式(1)中的R、G、B表示红绿蓝的像素值。此外，Max表示RGB的像素值中的最大值，Min表示RGB的像素值中的最小值。接着，扩展图像集生成部32基于下式(2)，进行对于亮度V的伽马校正处理。V'表示伽马校正处理后的亮度。在γ＝1的情况下维持原来的亮度，γ越大则亮度越降低，γ越小则亮度越增高。具体而言，扩展参数是γ的值的上限及下限。在伽马校正处理后，根据下式(3)，进行向RGB的像素值的重新变换。下式(3)中的R'、G'、B'表示重新变换后的红绿蓝的像素值。floor(x)表示x以下的最大整数。
[数式1]
[数式2]
[数式3]
平滑化处理例如是使用平滑化滤波器的滤波处理。平滑化滤波器例如是平滑化程度可变的滤波器，平滑化处理中的参数值的上限下限是指该平滑化滤波器中的平滑化程度的上限下限。平滑化程度例如是高斯滤波器中的σ的值，σ越大则平滑化程度越大。已知有各种平滑化滤波器以及确定该滤波器的平滑化程度的参数，在本实施方式中能够广泛地应用这些参数。或者，平滑化滤波器例如是平滑化程度固定的滤波器，平滑化处理中的参数值的上限下限可以是该平滑化滤波器的应用次数的上限下限。在这种情况下，应用次数越少，平滑化程度越小。例如，能够通过应用几次σ固定的高斯滤波器来调整平滑度。
在图5的步骤S102中，扩展图像集生成部32基于参数值不同的多个扩展参数来生成多个扩展图像集。这里的扩展参数是候选扩展参数。例如，第1扩展参数和第2扩展参数的图像尺寸调整率的上限、图像尺寸调整率的下限、亮度校正的上限、亮度校正的下限、平滑化处理的上限、平滑化处理的下限中的至少一个不同。
如果是检测息肉的例子，则图像扩展是为了增加其中的息肉小、暗、被模糊地拍摄的图像而进行的。因此，适当地确定减小息肉的界限、变暗的界限、增加模糊量的界限是重要的。即，第1扩展参数和第2扩展参数的图像尺寸调整率的下限、亮度校正的下限、平滑化处理的上限中的至少一个不同。换言之，也可以将图像尺寸调整率的上限、亮度校正的上限、平滑化处理的下限固定。
例如，考虑图像尺寸调整率的上限固定为1.2倍，作为图像尺寸调整率的下限的候选，设想了0.5倍、0.6倍、0.7倍这3个的例子。在这种情况下，扩展图像集生成部32通过使用图像尺寸调整率的范围为0.5倍～1.2倍的第1扩展参数进行图像扩展、使用图像尺寸调整率的范围是0.6倍～1.2倍的第2扩展参数进行图像扩展、和使用图像尺寸调整率的范围是0.7倍～1.2倍的第3扩展参数进行图像扩展，生成第1～第3扩展图像集。对于亮度校正处理以及平滑化处理也同样，扩展图像集生成部32通过使用参数值不同的多个扩展参数进行图像扩展，生成多个扩展图像集。
扩展特征统计量计算部33根据不同的多个扩展图像集，分别计算识别对象的特征的统计量即扩展特征统计量(步骤S103)。处理部30使用识别对象的尺寸、识别对象的亮度和识别对象的模糊量中的至少一方作为识别对象的特征。这样，能够根据适当的特征来确定扩展参数。如果是息肉的例子，则问题在于学习图像集中的息肉的尺寸、亮度、模糊量与检测阶段中的实际环境不同。关于这一点，通过把尺寸、亮度、模糊量用作特征来确定扩展参数，能够使扩展图像集中的息肉的尺寸、亮度、模糊量接近检测环境。即，提高了基于学习完毕模型的检测处理的精度。
识别对象的尺寸具体是指识别对象的像素数。识别对象的亮度例如使用上式(1)中的亮度V来求出。例如，在一个识别对象与多个像素对应的情况下，针对各像素求出V，将求出的多个V的值的平均值作为该识别对象的亮度。识别对象的模糊量例如是对比度值。例如，扩展特征统计量计算部33对扩展图像集中包含的图像的各像素应用带通滤波器，通过对其输出值进行累积来计算对比度值。另外，对比度值的计算不限于使用带通滤波器，可以广泛应用公知的方法。
扩展图像集包含许多图像，还包含许多识别对象。因此，根据扩展图像集计算出的识别对象的尺寸不是一个值，而是许多个值的集合。为了恰当地把握扩展图像集中的识别对象的特征，使用该许多个值的整体性趋势是有用的。对于识别对象的亮度和模糊量也同样。
因此，处理部30使用识别对象的特征的频率分布、平均值、方差、最大值、最小值和高阶矩(higher-order moment)中的至少一方作为识别对象的特征的统计量。频度分布例如使用图6、图7如后所述的那样，是表示根据值将特征分割为多个区间(bin)的情况下的、属于各区间的识别对象的数量的信息。平均值可以是单纯平均，也可以是加权平均或切尾平均(trimmed mean)等。最大值、最小值也不限于单纯的最大、最小，也可以在排除与平均值相比值极端不同的信息的基础上求出最大、最小。另外，平均值是一次矩，方差是围绕平均值的二次矩。关于3次以上的矩也广为人知，这里的高次矩可以广泛包含该3次以上的矩。
通过使用统计量，能够适当地表现扩展图像集中的识别对象的特征。此外，通过使用统计量，与参照图像集中的识别对象的特征的比较也变得容易。扩展特征统计量计算部33通过对多个扩展图像集的各个扩展图像集求出扩展特征统计量，来计算多个扩展特征统计量。
参照图像集输入部34接受参照图像集的输入(步骤S104)。参照图像集仅由例如在内窥镜图像那样的拍摄管状构造物的内部而得到的动态图像中、从出现识别对象的帧到经过规定时间为止的帧构成。因此，在图像周缘部包含许多以小、暗且模糊的状态存在的识别对象。
参照特征统计量计算部35根据参照图像集计算作为识别对象的特征的统计量的参照特征统计量(步骤S105)。对识别对象的特征、识别对象的特征的统计量使用与步骤S103相同的统计量。
另外，在图5中，示出了在步骤S101～S103之后执行步骤S104的例子，但不限于此。步骤S101～S103的处理和步骤S104以及S105的处理能够独立地执行，例如也可以并行地进行处理。
接着，扩展参数确定部36在不同的多个扩展特征统计量中，将与参照特征统计量的类似度最高的扩展特征统计量所对应的扩展参数确定为用于图像识别处理的学习的扩展参数(步骤S106)。即，扩展参数确定部36执行如下处理：采用在步骤S102中用于扩展图像集的生成的多个候选扩展参数中、被判定为最优的候选扩展参数，作为用于学习处理的扩展参数。
图6是说明根据与识别对象的尺寸有关的扩展特征统计量和参照特征统计量的比较，确定作为图像尺寸调整率的下限的扩展参数的处理的图。图6的横轴是识别对象的尺寸，在此表示相对于图像尺寸的比率。图6是示出针对各图像集，求出尺寸比率为0～0.5％的识别对象的数量、尺寸比率为0～1.0％的识别对象的数量、尺寸比率为0～1.5％的识别对象的数量、尺寸比率为0～2.0％的识别对象的数量和尺寸比率为0～100％的识别对象的数量这5个值，并且通过连接这5个值而绘制折线图的例子。即，图6的纵轴是图像集中包含的识别对象的数量的累计。另外，为了判定曲线的类似度，优选使各曲线的纵轴的比例尺一致。例如，扩展参数确定部36针对各图像集将作为处理对象的识别对象的总数统一，或者针对各图像集根据识别对象的总数进行归一化处理。
图6的C1是表示学习图像集的特征统计量的曲线。另外，为了便于说明而显示C1，处理部30也可以不计算学习图像集的特征统计量。由于包含在学习图像集中的息肉中大多数息肉较大，所以在0.5％以下～2.0％以下的4个区间内，存在识别对象的数量较少的倾向。
图6的C2、C3、C4分别是表示利用尺寸调整率的下限为0.7倍、0.6倍、0.5倍的扩展参数而生成的扩展图像集的扩展特征统计量的曲线。在任一情况下，尺寸调整率的下限低于1.0倍，因此尺寸比率为2.0％以下的识别对象的数量比学习图像集多。因此，与C1相比，C2～C4的曲线位于上方。并且，尺寸调整率的下限越小，较小的息肉增加的可能性越高，所以沿着纵轴的向上方向按C2、C3、C4的顺序排列曲线。
这里，设表示参照图像集的参照特征统计量的曲线是C5。此时，在C2～C4中，判断为C3的曲线最接近C5。即，在图像尺寸调整率的下限为0.6倍时，扩展图像集的特征的频度分布和参照图像集的特征的频度分布最接近。因此，扩展参数确定部36将图像尺寸调整率的下限确定为0.6倍。
另外，考虑各种用于确定频度分布最接近的扩展图像集的具体处理。例如，扩展参数确定部36如图6所示，分别利用扩展特征量和参照特征量生成频度分布，其中该频度分布为横轴取按照识别对象的特征的大小进行分割而得到的bin、纵轴取识别对象的数量。然后，扩展参数确定部36针对全部bin将2个频度分布的各bin中的差分绝对值进行合计。合计值越小，扩展参数确定部36判定为扩展特征统计量与参照特征统计量之间的类似度越高。或者，扩展参数确定部36也可以进行计算合计值的倒数作为类似度，并选择该类似度的值大的一方的处理。
如上所述，处理部30通过对包含在学习图像集中的图像应用包括图像尺寸调整处理在内的图像扩展来生成扩展图像集。然后，处理部30根据扩展特征统计量和参照特征统计量之间的类似度，进行确定图像尺寸调整率的下限的处理。图像尺寸调整率的下限表示图像尺寸调整处理中的图像缩小程度的界限。这样，能够适当地确定用于缩小识别对象的扩展参数，所以能够提高相对小的识别对象的检测精度。
图7是说明基于与识别对象的亮度有关的扩展特征统计量和参照特征统计量的比较，确定作为亮度校正的下限的扩展参数的处理的图。图7的横轴是识别对象的亮度，这里将亮度划分为各为20的区间。另外，图7是亮度为0～255的范围，示出了其中的一部分。图7的纵轴是图像集中包含的识别对象的数量。另外，也可以将图7的区间变更为0～20、0～40等，即将图7的纵轴设为识别对象的数量的累计，频率分布的具体形式可以实施各种变形。
图7的D1是表示学习图像集的特征统计量的曲线。由于包含在学习图像集中的息肉大多数较明亮，所以在亮度为80以下的范围内，存在识别对象的数量较少的倾向。
图7的D2是表示利用伽马校正处理中的γ的上限为1.2的扩展参数而生成的扩展图像集的扩展特征统计量的曲线。D3对应于γ的上限为1.3的情况，D4对应于γ的上限为1.4的情况。在任何情况下，由于γ的上限大于1，所以暗的识别对象的数量比学习图像集多。因此，在亮度为80以下的范围中，D2～D4的曲线与D1相比位于上方。
D5是表示参照图像集的参照特征统计量的曲线。此时，在D2～D4中，D3的曲线最接近D5。即，在γ的上限为1.3时，扩展图像集的特征的频度分布与参照图像集的特征的频度分布最接近。因此，扩展参数确定部36将亮度校正中的下限，即γ的上限确定为1.3。
如上所述，处理部30通过对包含在学习图像集中的图像应用包括亮度校正处理在内的图像扩展来生成扩展图像集。然后，处理部30基于扩展特征统计量和参照特征统计量之间的类似度，进行确定亮度校正的下限的处理。亮度校正的下限表示亮度校正处理中的亮度的降低程度的界限。这样，能够适当地确定用于使识别对象变暗的扩展参数，因此能够提高拍摄得相对较暗的识别对象的检测精度。
此外，以上使用图6和图7对尺寸和亮度进行了说明，但对于模糊量也可以同样地考虑。处理部30通过对包含在学习图像集中的图像应用包括平滑化处理在内的图像扩展来生成扩展图像集。然后，处理部30基于扩展特征统计量和参照特征统计量之间的类似度，进行确定平滑化处理的强度的上限的处理。这样，能够适当地确定用于提高识别对象的模糊程度的扩展参数，因此能够提高在相对模糊的状态下拍摄的识别对象的检测精度。具体地，模糊程度由对比度值的大小表示。
另外，以上示出了根据一个特征计算一个特征统计量的例子。但是，扩展参数确定部36中的处理不限于此。例如，也可以根据如尺寸和亮度、亮度和模糊量那样将多个识别对象的特征排列而得到的向量来计算统计量，计算扩展特征统计量和参照特征统计量之间的类似度。这样，通过还考虑多个特征的相关，能够生成更类似于参照图像集的扩展图像集。
如上所述，参照图像集仅由从出现识别对象的帧到经过规定时间为止的帧构成，因此难以准备大量的参照图像集。根据本实施方式的方法，能够基于学习图像集来构建具有与参照图像集相似的识别对象的特征分布的扩展图像集。学习图像集与出现帧之间的关系没有限制，并且狭义上可以包括从所有帧中提取的图像。
关于扩展参数确定后的处理，返回图5的流程图进行说明。接下来，学习部37使用与在步骤S106的处理中确定的扩展参数对应的扩展图像集来进行图像识别处理的学习(步骤S107)。包含在学习图像集中的各个图像与用于确定识别对象的位置的信息相关联。因此，对于扩展图像集中包含的各图像，也能够与用于确定识别对象的位置的信息建立对应。学习部37基于扩展图像集和用于确定识别对象的位置的信息的数据集来进行学习。另外，本实施方式的方法用于确定适当的扩展参数，使用基于该扩展参数生成的扩展图像集的学习方法是任意的。例如，可以使用SVM(support vector machine：支持向量机)等公知的学习处理。
但是，众所周知，图像扩展在与神经网络的组合中是有用的。图8的(A)是说明神经网络的示意图。神经网络具有输入数据的输入层、根据来自输入层的输出进行运算的中间层、以及根据来自中间层的输出而输出数据的输出层。在图8的(A)中，例示了中间层为2层的网络，但中间层可以是1层，也可以是3层以上。此外，各层中包含的节点(神经元)的数量不限于图8的(A)的例子，可以进行各种变形实施。另外，如果考虑精度，则本实施方式的学习优选使用采用了多层神经网络的深度学习(Deep learning)。这里的多层狭义上是指4层以上。
如图8的(A)所示，给定的层中包含的节点与相邻的层的节点连接。对各连接设定权重。各节点将前级节点的输出乘以权重，求出相乘结果的合计值。进而，各节点对合计值加上偏置，通过对相加结果应用激活函数来求出该节点的输出。通过从输入层到输出层按顺序执行该处理，获得神经网络的输出。神经网络中的学习是确定适当权重(包括偏置)的处理。在学习中公知有误差逆传播法等各种方法，在本实施方式中能够广泛地应用这些方法。
更具体地，学习部37可以在图像识别处理中使用卷积神经网络(CNN：Convolutional Neural Network)。图8的(B)是用于说明CNN的示意图。CNN包括执行卷积计算的卷积层和池化(pooling)层。卷积层是进行滤波处理的层。池化层是进行缩小纵向、横向的尺寸的池化运算的层。图8的(B)所示的例子是在进行了两次基于卷积层和池化层的运算后，通过进行基于卷积层的运算来求出输出的网络。另外，也可以通过进行全连接层的运算来求出输出。全连接层是在前面的层的所有节点与给定层的节点连接的情况下进行运算处理的层，对应于上面使用图8的(A)所述的各层的运算。另外，在图8的(B)中省略了基于激活函数的运算处理。另外，可以对CNN的具体结构进行将卷积层设为三层或更多层的各种变形实施。CNN的卷积层中的权重是滤波器的参数。即，CNN中的学习包括用于卷积计算的滤波器的学习。由于包括CNN的神经网络是众所周知的技术，因此省略对其的详细描述。
如上所述，处理部30通过对包含在学习图像集中的图像应用由具有不同参数值的多个候选扩展参数所确定的图像扩展，来生成多个扩展图像集。然后，处理部30基于多个扩展图像集，计算出多个扩展特征统计量之后，确定该多个扩展特征统计量中与参照特征统计量之间的类似度最高的扩展特征统计量。然后，处理部30将参数值不同的多个候选扩展参数中的、与所确定的扩展特征统计量对应的候选扩展参数确定为用于图像扩展的扩展参数。
这样，在存在多个扩展参数的候选的情况下，可以在针对各候选扩展参数实际生成扩展图像集的基础上，判定与参照图像集之间的类似度。因此，可以适当地判定多个候选扩展参数中的哪个是最佳的扩展参数。
另外，本实施方式的方法能够应用于通过学习部37的学习而取得的学习完毕模型。本实施方式的学习完毕模型是用于使计算机发挥功能以接受应用图像作为输入、执行从应用图像中检测识别对象的处理并且输出检测结果的学习完毕模型。学习完毕模型通过对包含在学习图像集中的图像应用由作为扩展参数的候选的候选扩展参数所确定的图像扩展来生成扩展图像集，并且根据扩展图像集计算识别对象的特征的统计量即扩展特征统计量，根据参照图像集计算识别对象的特征的统计量即参照特征统计量，基于扩展特征统计量和参照特征统计量之间的类似度来确定扩展参数，使用根据所确定的扩展参数生成的扩展图像集来进行学习。
这里，学习完毕模型例如可以是与神经网络对应的模型。即，学习完毕模型是包括如下的层的神经网络：将应用图像作为输入来接受的输入层、根据来自输入层的输出进行运算处理的中间层、和根据来自中间层的输出而输出应用图像中的识别对象的检测结果的输出层。然后，通过使用由基于上述方法的扩展参数而生成的扩展图像集来进行学习处理，确定神经网络中的权重。
另外，本实施方式的方法可以适用于执行图5或后述的图9所示的各步骤的图像处理方法。图像处理方法包括学习图像集取得步骤、扩展图像集生成步骤、扩展特征统计量计算步骤、参照图像集取得步骤、参照特征统计量计算步骤和扩展参数确定步骤。学习图像集取得步骤是取得学习图像集的步骤。扩展图像集生成步骤是通过对包含在学习图像集中的图像应用由扩展参数的候选即候选扩展参数所确定的图像扩展来生成扩展图像集的步骤。扩展特征统计量计算步骤是根据扩展图像集来计算识别对象的特征的统计量即扩展特征统计量的步骤。参照图像集取得步骤是取得参照图像集的步骤。参照特征统计量计算步骤是根据参照图像集来计算识别对象的特征的统计量即参照特征统计量的步骤。扩展参数确定步骤是根据扩展特征统计量和参照特征统计量之间的类似度来确定扩展参数的步骤。
4.变形例
在使用图5所述的例子中，处理部30预先生成多个扩展图像集，使用参照图像集进行选择其中一个扩展图像集的处理。该处理能够对例如能够成为候选的全部扩展参数，进行扩展图像集的生成、以及扩展特征统计量与参照特征统计量的比较，所以具有容易选择最佳的扩展参数的优点。另一方面，上述处理需要生成许多个扩展图像集，处理负荷大，有可能压迫存储器容量。
图9是说明处理部30中的其他处理的流程图。学习图像集的输入接受(步骤S201)、参照图像集的输入接受(步骤S202)、参照特征统计量的计算(步骤S203)与图5的步骤S101、S104、S105相同。
扩展图像集生成部32根据给定的值对扩展参数进行初始化(步骤S204)。换言之，扩展图像集生成部32进行选择多个候选扩展参数中的任意的候选扩展参数、将该候选扩展参数的参数值作为初始值的处理。然后，扩展图像集生成部32通过将使用初始化之后的扩展参数的图像扩展应用于学习图像集，来生成扩展图像集(步骤S205)。在步骤S205的处理中，生成的数量比扩展参数的候选数少，狭义上生成1个扩展图像集。
接着，扩展特征统计量计算部33根据在步骤S205中生成的扩展图像集，计算扩展特征统计量(步骤S206)。扩展参数确定部36对在步骤S203的处理中计算出的参照特征统计量和在步骤S206的处理中计算出的扩展特征统计量进行比较(步骤S207)。
扩展参数确定部36判断参照特征统计量与扩展特征统计量之差是否小于给定的阈值(步骤S208)。特征统计量之差例如是图6或图7的各区间中的差分绝对值之和。步骤S208的处理也可以认为是参照特征统计量与扩展特征统计量之间的类似度是否较低的判定。
在差是阈值以上的情况下(步骤S208中“否”)，扩展图像集中的识别对象的特征与参照图像集中的识别对象的特征相背离，所以判定为该扩展图像集不适合学习。因此，扩展参数确定部36进行扩展参数的更新处理(步骤S209)。在扩展参数是图像尺寸调整率的下限的情况下，扩展参数确定部36使该下限的值变化1个级别。在图6的例子中，1个级别的变化是指图像尺寸调整率增大或减小0.1。如使用图6以及图7所述的那样，使扩展参数变化时的特征统计量的变化方向是已知的。即，在步骤S207的比较处理中，通过对扩展特征统计量和参照特征统计量的大小关系进行判定，能够确定扩展参数的适当的变化方向。另外，扩展参数的更新处理也可以说成是选择多个候选扩展参数中的其他候选扩展参数的处理。
在扩展参数的更新处理后，根据更新后的扩展参数，生成扩展图像集(步骤S205)，计算扩展特征统计量(步骤S206)，与参照特征统计量进行比较(步骤S207)，判定特征统计量之差(步骤S208)。即，重复扩展参数的更新处理，直到在步骤S208中判断为“是”为止。
在差小于阈值的情况下(步骤S208中“是”)，认为扩展图像集中的识别对象的特征与参照图像集中的识别对象的特征十分接近。因此，学习部37使用在最新的步骤S205中生成的扩展图像集来执行图像识别处理的学习(步骤S210)。
如上所述，处理部30通过对包含在学习图像集中的图像应用由给定参数值的候选扩展参数所确定的图像扩展，来生成扩展图像集。处理部30基于扩展图像集，计算扩展特征统计量。然后，处理部30在判断为扩展特征统计量与参照特征统计量之间的类似度高时，将给定的参数值的候选扩展参数确定为用于图像扩展的扩展参数。另一方面，在判断为扩展特征统计量和参照特征统计量之间的类似度低时，进行参数值的更新处理。判定类似度的高低的处理具体如步骤S208所示，是与给定阈值的比较处理。
这样，不需要一次生成许多个扩展图像集，因此能够高效地搜索适当的扩展参数。
5.作为检测装置的图像处理系统
此外，以上说明了进行基于适当的扩展参数的扩展图像集的生成处理和基于该扩展图像集的学习处理的图像处理系统10。换句话说，以上所说明的图像处理系统10是对应于在学习阶段中使用的学习装置的系统。但是，本实施方式的方法可以应用于根据学习结果进行识别对象的检测处理的图像处理系统10。该情况下的图像处理系统10是与检测装置对应的系统。
图10是图像处理系统10的其他结构例。图像处理系统10包括图像取得部40、存储部50和处理部60。图像取得部40取得应用图像。存储部50存储学习完毕模型。学习完毕模型被用作作为人工智能软件的一部分的程序模块。处理部60通过对应用图像进行基于学习完毕模型的处理，进行识别对象的检测处理。换言之，处理部60按照来自存储在存储部50中的学习完毕模型的指令进行动作，以便根据作为输入的应用图像而输出识别对象的检测结果。处理部60与处理部30同样，通过各种硬件、处理器来实现。存储部50与存储部20同样，可以是半导体存储器，也可以是寄存器，还可以是磁存储装置，还可以是光学式存储装置。另外，处理部60也可以包含用于进行基于学习完毕模型的处理的专用硬件。如果是使用神经网络的例子，则处理部60也可以包括进行卷积运算中的滤波处理、全连接层中的积和运算处理的电路装置。电路装置例如可以通过FPGA(field-programmable gate array：现场可编程门阵列)等来实现。在该情况下，存储部50存储表示权重的参数作为学习完毕模型，包括上述电路装置的处理部60按照该权重进行动作，由此进行识别对象的检测处理。或者，存储部50也可以将用于进行滤波处理或积和运算处理的程序和上述权重双方作为学习完毕模型进行存储。这样，对于处理部60用于按照存储在存储部50中的来自学习完毕模型的指令进行动作的具体结构，能够实施各种变形。
此外，与检测装置对应的图像处理系统10可以是一个装置，也可以包括多个装置。例如，也可以通过由PC等终端装置和服务器系统协同动作，来实现图像处理系统10。另外，存储部50可以是ROM，也可以是RAM。具体地说，写入到存储部50中的学习完毕模型既可以是不可改写的，也可以是可改写的。在可改写的情况下，例如将学习完毕模型的信息汇集在服务器系统中，图像处理系统10的存储部50存储从服务器系统取得的学习完毕模型。此时，由于能够在服务器系统侧管理学习完毕模型，所以更新处理等变得容易。
这里，存储在存储部50中的学习完毕模型使用通过对学习图像集应用由扩展参数所确定的图像扩展而生成的扩展图像集来进行学习。扩展参数是被确定为使扩展图像集中的识别对象的特征与参照图像集中的识别对象的特征接近的参数，其中该参照图像集中是在与应用图像的取得环境对应的环境中取得的图像的集合。
更具体而言，学习完毕模型是通过执行使用了图5或图9的上述各步骤而学习的模型。这里的各个步骤包括：通过对包含在学习图像集中的图像应用由扩展参数的候选即候选扩展参数所确定的图像扩展来生成扩展图像集的步骤；根据扩展图像集计算识别对象的特征的统计量即扩展特征统计量的步骤；根据参照图像集计算识别对象的特征的统计量即参照特征统计量的步骤；根据扩展特征统计量和参照特征统计量之间的类似度来确定扩展参数的步骤；以及使用通过所确定的扩展参数而生成的扩展图像集来进行学习的步骤。
这样，能够使用通过识别对象的特征与参照图像集接近的扩展图像集而进行了学习的学习完毕模型，来执行识别对象的检测处理。由于进行设想了与检测环境相同的环境的学习，所以能够高精度地检测识别对象。更具体而言，能够高精度地检测出刚刚出现后的识别对象。
此外，实现本实施方式的图像处理系统10进行的处理的程序例如能够存储在作为可由计算机读取的介质的信息存储装置中。这里的程序包含学习完毕模型。信息存储装置例如可通过光盘、存储卡、HDD或半导体存储器等实现。处理部60根据存储在信息存储装置中的程序来进行包括识别对象的检测处理在内的各种处理。即，信息存储装置存储用于使计算机作为图像处理系统10发挥功能的程序。计算机是具备输入装置、处理部、存储部、输出部的装置。程序是用于使计算机执行图像处理系统10中的处理，特别是处理部60中的处理的程序。
此外，应用图像可以是在生物体内进行拍摄而得到的生物体内图像，识别对象可以是在生物体内图像中拍摄到的关注被摄体。关注被摄体是指对用户而言观察的优先顺序比其他被摄体相对高的被摄体，例如在用户是医生、希望进行治疗的情况下，是粘膜部或病变部。如上所述，关注被摄体可以是息肉。另外，作为其他例子，如果医生想要观察的对象是泡或便，则关注被摄体成为该泡或便。用户应该关注的对象根据其观察目的而不同，但不管怎样，在其观察时，对用户而言观察的优先顺序比其他被摄体相对高的被摄体成为关注被摄体。这样，在观察生物体内图像时，能够提高作为识别对象的关注被摄体的检测精度。在这种情况下，图像处理系统10也可以是拍摄生物体内图像的内窥镜装置。
图11是内窥镜装置12的结构例。内窥镜装置12包括插入部100、外部I/F部200、系统控制装置300、显示部400和光源装置500。
插入部100是插入到体内的部分。插入部100包括物镜光学系统110、摄像元件120、致动器130、照明透镜140、导光部150、AF(Auto Focus：自动对焦)开始/结束按钮160。
导光部150将来自光源520的照明光引导至插入部100的前端。照明透镜140将由导光部150引导的照明光照射到被摄体。物镜光学系统110将从被摄体反射的反射光成像为被摄体像。物镜光学系统110包括对焦透镜111，能够根据对焦透镜111的位置来变更被摄体像成像的位置。致动器130基于来自AF控制器360的命令驱动对焦透镜111。另外，AF不是必须的，内窥镜装置12也可以是不包含AF控制部360的结构。
摄像元件120接收经由物镜光学系统110的来自被摄体的光。摄像元件120可以是单色传感器，也可以是具有滤色器的元件。滤色器可以是广为人知的贝叶尔滤波器，也可以是补色滤波器，还可以是其他滤波器。补色滤波器是包括青色、品红色和黄色的各色滤波器的滤波器。
AF开始/结束按钮160是用于用户操作AF的开始/结束的操作界面。外部I/F部200是用于进行用户对内窥镜装置12的输入的接口。外部I/F部200例如包括AF控制模式的设定按钮、AF区域的设定按钮、图像处理参数的调整按钮等。
系统控制装置300进行图像处理、整个系统的控制。系统控制装置300包括A/D转换部310、预处理部320、检测部330、后处理部340、系统控制部350、AF控制部360、存储部370。系统控制装置300包括图10的图像处理系统10。A/D转换部310对应于图10中的图像取得部40。存储部370对应于图10中的存储部50。预处理部320、检测部330、后处理部340等对应于图10的处理部60。
A/D转换部310将从摄像元件120依次输出的模拟信号转换为数字图像，并依次输出到预处理部320。预处理部320对从A/D转换部310依次输出的拍摄图像进行各种校正处理，并依次输出到检测部330、AF控制部360。校正处理例如包括白平衡处理、降噪处理等。
检测部330通过按照存储在存储部370中的学习完毕模型进行动作，从作为应用图像的拍摄图像中进行识别对象的检测处理。在训练模型是神经网络的情况下，检测部330利用通过训练确定的权重对作为输入的应用图像执行前向算术处理。然后，根据输出层的输出，输出识别对象的检测结果。另外，在识别对象的检测中，不仅是识别对象的有无的判定，图像上的位置的确定也很重要。已知各种包括位置在内的物体检测方法。例如，检测部330也可以预先从应用图像中提取多个区域候选，通过对各区域候选进行分类处理来检测识别对象。另外，也可以通过在一个神经网络中同时进行从应用图像中的多个区域候选的提取和对各区域候选的分类处理，来检测识别对象。或者，神经网络可以被学习为对应用图像的各个像素进行类别分类。在该情况下，输出层针对图像的各像素，输出是否为识别对象的分类结果。
后处理部340进行基于检测部330中的检测处理结果的后处理，并将后处理后的图像输出到显示部400。这里的后处理可以考虑应用图像中的识别对象的强调、表示检测结果的信息的附加等各种处理。
系统控制部350与摄像元件120、AF开始/结束按钮160、外部I/F部200、AF控制部360相互连接，对各部进行控制。具体而言，系统控制部350进行各种控制信号的输入输出。AF控制部360使用从预处理部320依次输出的应用图像来进行AF控制。
显示部400依次显示从后处理部340输出的图像。显示部400例如是液晶显示器或EL(Electro-Luminescence：电致发光)显示器等。光源装置500包括发出照明光的光源520。光源520可以是氙光源，可以是LED，也可以是激光光源。此外，光源520也可以是其他光源，发光方式不受限制。
另外，如上所述对本实施方式进行了详细说明，但本领域技术人员能够容易地理解，能够进行实质上不脱离本实施方式的新事项和效果的多种变形。因此，本公开的范围包括所有这样的变形例。例如,在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任何地方都可以用不同的术语来替换。此外，本实施方式和变形例的所有组合也包含在本公开的范围内。并且，图像处理系统、内窥镜装置的结构和动作等也不限于在本实施方式中说明的内容，可以实施各种变形。
标号说明
10：图像处理系统；12：内窥镜装置；20：存储部；30：处理部；31：学习图像集输入部；32：扩展图像集生成部；33：扩展特征统计量计算部；34：参照图像集输入部；35：参照特征统计量计算部；36：扩展参数确定部；37：学习部；40：图像取得部；50：存储部；60：处理部；100：插入部；110：物镜光学系统；111：对焦透镜；120：摄像元件；130：致动器；140：照明透镜；150：导光部；160：AF开始/结束按钮；200：外部I/F部；300：系统控制装置；310：A/D转换部；320：预处理部；330：检测部；340：后处理部；350：系统控制部；360：AF控制部；370：存储部；400：显示部；500：光源装置，520：光源

Claims (16)

1.一种图像处理系统，其特征在于，所述图像处理系统具有：
存储部，其存储学习图像集和参照图像集；以及
处理部，其进行确定在图像扩展中使用的扩展参数的处理，
所述处理部进行如下处理：
通过对包含在所述学习图像集中的图像应用如下的图像扩展，生成扩展图像集，其中所述图像扩展是由所述扩展参数的候选即候选扩展参数所确定的；
根据所述扩展图像集，计算识别对象的特征的统计量即扩展特征统计量；
根据所述参照图像集，计算所述识别对象的特征的统计量即参照特征统计量；以及
根据所述扩展特征统计量与所述参照特征统计量之间的类似度，确定所述扩展参数，
所述处理部使用所述识别对象的特征的频度分布、所述识别对象的特征的平均值、所述识别对象的特征的方差、所述识别对象的特征的最大值、所述识别对象的特征的最小值、以及所述识别对象的特征的高阶矩中的至少一方，作为所述识别对象的特征的统计量。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述参照图像集包含从所述识别对象出现的帧到经过规定时间为止的帧的图像。
3.根据权利要求2所述的图像处理系统，其特征在于，
所述参照图像集是拍摄管状的构造物的内部而得到的图像。
4.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部进行如下处理：
通过对包含在所述学习图像集中的图像应用如下的图像扩展，生成多个所述扩展图像集，其中所述图像扩展是由参数值不同的多个所述候选扩展参数所确定的；
根据多个所述扩展图像集，计算多个所述扩展特征统计量；
确定多个所述扩展特征统计量中的、与所述参照特征统计量之间的所述类似度最高的所述扩展特征统计量；以及
将所述参数值不同的多个所述候选扩展参数中的、与所确定的所述扩展特征统计量对应的所述候选扩展参数，确定为用于所述图像扩展的所述扩展参数。
5.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部进行如下处理：
通过将如下的图像扩展应用于包含在所述学习图像集中的图像，生成所述扩展图像集，其中所述图像扩展是由给定参数值的所述候选扩展参数所确定的；
根据所述扩展图像集，计算所述扩展特征统计量；
在判定为所述扩展特征统计量与所述参照特征统计量之间的所述类似度高时，将所述给定参数值的所述候选扩展参数确定为用于所述图像扩展的所述扩展参数；以及
在判定为所述扩展特征统计量与所述参照特征统计量之间的所述类似度低时，进行所述参数值的更新处理。
6.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
包含在所述参照图像集中的图像中的所述识别对象是位于图像周缘部的关注被摄体。
7.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部通过对包含在所述学习图像集中的图像应用包括图像尺寸调整处理的所述图像扩展，生成所述扩展图像集，
所述处理部根据所述扩展特征统计量与所述参照特征统计量之间的所述类似度，进行确定图像尺寸调整率的下限的处理，其中所述图像尺寸调整率的下限表示所述图像尺寸调整处理中的图像缩小程度的界限。
8.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部通过对包含在所述学习图像集中的图像应用包括亮度校正处理的图像扩展，生成所述扩展图像集，
所述处理部根据所述扩展特征统计量与所述参照特征统计量之间的所述类似度，进行确定亮度校正的下限的处理，其中所述亮度校正的下限表示所述亮度校正处理中的亮度的降低程度的界限。
9.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部通过对包含在所述学习图像集中的图像应用包括平滑化处理的所述图像扩展，生成所述扩展图像集，
所述处理部根据所述扩展特征统计量与所述参照特征统计量之间的所述类似度，进行确定所述平滑化处理的强度的上限的处理。
10.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部使用所述识别对象的尺寸、所述识别对象的亮度、以及所述识别对象的模糊量中的至少一方，作为所述识别对象的特征。
11.根据权利要求1至3中的任一项所述的图像处理系统，其特征在于，
所述处理部通过根据使用所确定的所述扩展参数而生成的所述扩展图像集来进行机器学习，生成学习完毕模型，其中所述学习完毕模型用于进行从应用图像中检测所述识别对象的处理。
12.一种图像处理系统，其特征在于，所述图像处理系统具有：
图像取得部，其取得应用图像；
存储部，其存储学习完毕模型；以及
处理部，其通过对所述应用图像进行基于所述学习完毕模型的处理，来进行识别对象的检测处理，
所述学习完毕模型使用扩展图像集来进行了学习，其中所述扩展图像集是通过对学习图像集应用由扩展参数所确定的图像扩展而生成的，
所述扩展参数是被确定为使得所述扩展图像集中的所述识别对象的特征的统计量与参照图像集中的所述识别对象的特征的统计量接近的参数，其中所述参照图像集是在与所述应用图像的取得环境对应的环境中取得的图像的集合，
其中，使用所述识别对象的特征的频度分布、所述识别对象的特征的平均值、所述识别对象的特征的方差、所述识别对象的特征的最大值、所述识别对象的特征的最小值、以及所述识别对象的特征的高阶矩中的至少一方，作为所述识别对象的特征的统计量。
13.根据权利要求12所述的图像处理系统，其特征在于，
所述学习完毕模型使用通过如下处理生成的如下的扩展图像集来进行了学习：
通过将由所述扩展参数的候选即候选扩展参数所确定的所述图像扩展应用到包含在所述学习图像集中的图像，生成所述扩展图像集，根据所述扩展图像集计算所述识别对象的特征的统计量即扩展特征统计量，根据所述参照图像集计算所述识别对象的特征的统计量即参照特征统计量，根据所述扩展特征统计量与所述参照特征统计量之间的类似度确定所述扩展参数，由所确定的所述扩展参数生成所述扩展图像集。
14.根据权利要求12或13所述的图像处理系统，其特征在于，
所述应用图像是对生物体内进行拍摄而得到的生物体内图像，
所述识别对象是拍摄到所述生物体内图像中的关注被摄体。
15.一种学习完毕模型，其用于使计算机发挥功能，以接受应用图像作为输入，进行从所述应用图像中检测识别对象的处理，并输出检测结果，其特征在于，
所述学习完毕模型使用通过如下处理生成的扩展图像集来进行了学习：
通过将由扩展参数的候选即候选扩展参数所确定的图像扩展应用到包含在学习图像集中的图像，生成扩展图像集，根据所述扩展图像集计算所述识别对象的特征的统计量即扩展特征统计量，根据参照图像集计算所述识别对象的特征的统计量即参照特征统计量，根据所述扩展特征统计量与所述参照特征统计量之间的类似度确定所述扩展参数，由所确定的所述扩展参数生成所述扩展图像集，
其中，使用所述识别对象的特征的频度分布、所述识别对象的特征的平均值、所述识别对象的特征的方差、所述识别对象的特征的最大值、所述识别对象的特征的最小值、以及所述识别对象的特征的高阶矩中的至少一方，作为所述识别对象的特征的统计量。
16.一种图像处理方法，其特征在于，所述图像处理方法包括：
学习图像集取得步骤，取得学习图像集；
扩展图像集生成步骤，通过对包含在所述学习图像集中的图像应用图像扩展，生成扩展图像集，其中所述图像扩展是由扩展参数的候选即候选扩展参数所确定的；
扩展特征统计量计算步骤，根据所述扩展图像集计算识别对象的特征的统计量即扩展特征统计量；
参照图像集取得步骤，取得参照图像集；
参照特征统计量计算步骤，根据所述参照图像集，计算所述识别对象的特征的统计量即参照特征统计量；以及
扩展参数确定步骤，根据所述扩展特征统计量与所述参照特征统计量之间的类似度，确定所述扩展参数，
其中，使用所述识别对象的特征的频度分布、所述识别对象的特征的平均值、所述识别对象的特征的方差、所述识别对象的特征的最大值、所述识别对象的特征的最小值、以及所述识别对象的特征的高阶矩中的至少一方，作为所述识别对象的特征的统计量。
CN201980057249.7A 2019-01-15 2019-01-15 图像处理系统、学习完毕模型和图像处理方法 Active CN112639865B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/000831 WO2020148797A1 (ja) 2019-01-15 2019-01-15 画像処理システム、学習済みモデル及び画像処理方法

Publications (2)

Publication Number Publication Date
CN112639865A CN112639865A (zh) 2021-04-09
CN112639865B true CN112639865B (zh) 2024-05-14

Family

ID=71614018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057249.7A Active CN112639865B (zh) 2019-01-15 2019-01-15 图像处理系统、学习完毕模型和图像处理方法

Country Status (4)

Country Link
US (1) US11721086B2 (zh)
JP (1) JP7104810B2 (zh)
CN (1) CN112639865B (zh)
WO (1) WO2020148797A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007722T5 (de) * 2019-09-20 2022-06-02 Hoya Corporation Endoskopprozessor, trainingsvorrichtung, informationsverarbeitungsverfahren,trainingsverfahren und programm
JP7410619B2 (ja) * 2019-10-31 2024-01-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
JP7440388B2 (ja) 2020-09-28 2024-02-28 株式会社日立製作所 画像診断支援装置および画像処理方法
TWI802906B (zh) * 2021-01-28 2023-05-21 旺宏電子股份有限公司 資料識別裝置及辨識方法
CN115700838A (zh) * 2021-07-29 2023-02-07 脸萌有限公司 用于图像识别模型的训练方法及其装置、图像识别方法
CN113963318B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人流量统计方法、装置、电子设备和存储介质
CN114648672A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 构建样本图像集的方法、装置、电子设备及可读存储介质
CN115937153A (zh) * 2022-12-13 2023-04-07 北京瑞医博科技有限公司 模型训练方法、装置、电子设备及计算机存储介质
CN115937219B (zh) * 2023-03-14 2023-05-12 合肥合滨智能机器人有限公司 一种基于视频分类的超声图像部位识别方法及系统
CN117338556B (zh) * 2023-12-06 2024-03-29 四川大学华西医院 胃肠镜检查按压系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778259A (ja) * 1993-09-08 1995-03-20 Matsushita Electric Ind Co Ltd イメージ出力方法およびイメージ出力装置
JP2012124555A (ja) * 2010-12-06 2012-06-28 Canon Inc 撮像装置
CN102663010A (zh) * 2012-03-20 2012-09-12 复旦大学 基于标注语义的个性化图像浏览与推荐方法及系统
CN103503434A (zh) * 2011-12-16 2014-01-08 奥林巴斯医疗株式会社 深度扩展装置
CN105453540A (zh) * 2013-08-02 2016-03-30 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN106165392A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN107106110A (zh) * 2014-12-26 2017-08-29 株式会社日立制作所 图像处理装置以及图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433187B2 (ja) 2014-08-07 2018-12-05 キヤノン株式会社 情報処理装置、その制御方法およびコンピュータプログラム
US9959615B2 (en) * 2015-07-01 2018-05-01 Arizona Board Of Regents On Behalf Of Arizona State University System and method for automatic pulmonary embolism detection
CN106570515A (zh) * 2016-05-26 2017-04-19 北京羽医甘蓝信息技术有限公司 处理医学图像的方法和系统
US20180314943A1 (en) * 2017-04-27 2018-11-01 Jianming Liang Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US11308614B2 (en) * 2018-03-20 2022-04-19 EndoVigilant Inc. Deep learning for real-time colon polyp detection
US10956785B2 (en) * 2018-04-27 2021-03-23 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for selecting candidates for annotation for use in training classifiers
US11348239B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11010902B2 (en) * 2018-06-04 2021-05-18 University Of Central Florida Research Foundation, Inc. Capsules for image analysis
US11514579B2 (en) * 2018-06-04 2022-11-29 University Of Central Florida Research Foundation, Inc. Deformable capsules for object detection
US11276164B2 (en) * 2018-08-21 2022-03-15 International Business Machines Corporation Classifier trained with data of different granularity
KR102641116B1 (ko) * 2018-08-23 2024-02-27 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
US11100685B2 (en) * 2018-08-29 2021-08-24 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for detection and visualization of pulmonary embolism

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778259A (ja) * 1993-09-08 1995-03-20 Matsushita Electric Ind Co Ltd イメージ出力方法およびイメージ出力装置
JP2012124555A (ja) * 2010-12-06 2012-06-28 Canon Inc 撮像装置
CN103503434A (zh) * 2011-12-16 2014-01-08 奥林巴斯医疗株式会社 深度扩展装置
CN102663010A (zh) * 2012-03-20 2012-09-12 复旦大学 基于标注语义的个性化图像浏览与推荐方法及系统
CN105453540A (zh) * 2013-08-02 2016-03-30 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN106165392A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN107106110A (zh) * 2014-12-26 2017-08-29 株式会社日立制作所 图像处理装置以及图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The complex data denoising in MR images based on the directional extension for the undecimated wavelet transform;Kai Hu等;《Biomedical Signal Processing and Control》;全文 *
基于深度学习的图像识别算法研究;衣世东;;网络安全技术与应用(第01期);全文 *
基于深度融合特征的高分辨率遥感图像检索方法;尹文昕等;《第五届高分辨率对地观测学术年会论文集》;全文 *

Also Published As

Publication number Publication date
US20210166066A1 (en) 2021-06-03
WO2020148797A1 (ja) 2020-07-23
US11721086B2 (en) 2023-08-08
JP7104810B2 (ja) 2022-07-21
JPWO2020148797A1 (ja) 2021-09-30
CN112639865A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112639865B (zh) 图像处理系统、学习完毕模型和图像处理方法
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US20220207728A1 (en) Quality assessment in video endoscopy
US12026935B2 (en) Image processing method, training device, and image processing device
CN111402146B (zh) 图像处理方法以及图像处理装置
AU2017213456B2 (en) Diagnosis assisting device, and image processing method in diagnosis assisting device
JP6825625B2 (ja) 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
CN110855889B (zh) 图像处理方法、装置、图像处理设备及存储介质
CN110889803A (zh) 信息处理方法、信息处理装置及记录介质
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
US20220335610A1 (en) Image processing system, training method for training device, and storage medium
CN101563913B (zh) 消除闪光灯图像中的赝像
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
JP2019118670A (ja) 診断支援装置、画像処理方法及びプログラム
JP7451680B2 (ja) 処理システム、画像処理方法、学習方法及び処理装置
JP2011071925A (ja) 移動体追尾装置および方法
US20230255443A1 (en) Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object
JP2012003584A (ja) 動画像強調処理システムおよび方法
WO2021149141A1 (ja) フォーカス制御装置、内視鏡システム及びフォーカス制御装置の作動方法
WO2023106103A1 (ja) 画像処理装置およびその制御方法
WO2021140601A1 (ja) 画像処理システム、内視鏡システム及び画像処理方法
JP2021196995A (ja) 画像処理システム、画像処理方法及びプログラム
JP2023086274A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant