CN111164645A - 图像分割方法及装置 - Google Patents

图像分割方法及装置 Download PDF

Info

Publication number
CN111164645A
CN111164645A CN201980004787.XA CN201980004787A CN111164645A CN 111164645 A CN111164645 A CN 111164645A CN 201980004787 A CN201980004787 A CN 201980004787A CN 111164645 A CN111164645 A CN 111164645A
Authority
CN
China
Prior art keywords
image
patch
generation
image set
patch image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980004787.XA
Other languages
English (en)
Inventor
宋孝燮
李俊昊
宋智恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Original Assignee
Samsung SDS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung SDS Co Ltd filed Critical Samsung SDS Co Ltd
Publication of CN111164645A publication Critical patent/CN111164645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

公开一种图像分割装置及方法。根据本发明的一实施例的图像分割方法在计算装置中执行，所述计算装置包括一个以上的处理器以及存储有通过所述一个以上的处理器执行的一个以上的程序的存储器，其中，所述图像分割方法包括以下步骤：(a)接收图像的输入；(b)重叠分割输入的所述图像而生成一代碎片图像集；(c)从所述一代碎片图像集生成二代以上的碎片图像集，并且将上一代碎片图像集所包括的多个碎片图像中的至少一个进行重叠分割而生成下一代碎片图像集。

Description

图像分割方法及装置
技术领域
公开的实施例涉及一种图像分割技术。
背景技术
现有的基于深度学习(deep learning)的分类技术的问题有如下：当学习分类器时无法将高分辨率图像的丰富信息全部使用；使用部分信息而被分类的结果需要二次经过应用不同条件的过程才能够实现最终分类。
在以图像作为输入而使基于深度学习的物体分类器学习的情况下，通常方法如下：在要分类的对象的图像中指定与物体相对应的区域，在经过对关于指定的区域的标签(label)进行注释(annotation)的过程之后，缩小或放大(resize)为均匀的大小以与为了学习而选择的深度学习网络的输入端一致，之后进行学习。
这样的方法可以在仅通过外观来区分人-狗-猫的图像分类等情况下获得较大效果。但是，对于外观相同但必须要考虑诸如颜色、图案、纹理之类的内部信息的差异才能够实现区分的图像而言(尤其，在将高分辨率图像缩小而使用的情况下)，成为特征的区域会由于缩小而消失，或者发生变更为相同形状的现象。例如，在2000×2000分辨率的图像中，若将整个图像缩小到200×200，则存在于10×10区域的圆形形状的特征很可能会成为1像素的点或者消失。作为又一示例，在2000×2000分辨率的图像中，若将整个图像缩小到200×200，则以10×10大小存在的圆形形状、三角形形状、四边形形状的图案之类的特征会全部同样地转换为1像素的点，从而特征会消失。
另外，作为用于基于深度学习的物体分类器的图像学习的另一种方法为使用为了易于并行处理按相同大小的网格进行划分而生成的碎片图像。但是，在划分为网格的情况下，难以寻找相邻碎片图像之间的关联性，并且生成的碎片图像可能仅具有一部分信息，而不具有作为学习对象的物体的全部信息。
利用碎片图像的学习方法是在将用于寻找分类后的碎片图像的位置的检测(检测、分类及定位)作为目的的情形下更适合的方法。使用检测技术能够解决的代表性问题有正常/非正常的分类问题。通常，若发现奇异点(singularity)，则一般将其分类为非正常。
但是，即使发现奇异点，也要通过奇异程度、奇异点的数量等各种复杂的组合才能够对正常和非正常实现分类，因此即使在应用检测技术之后，也要经过根据多样的组合的规则(rule)的滤除才能够实现准确的正常/非正常分类。作为代表性的示例，即使在图像内发现病变，也不会无条件地判断为疾病，根据病变的严重程度、病变的数量等而有可能判断为正常，而非疾病。
发明内容
技术问题
公开的实施例用于提供一种图像分割装置及方法。
技术方案
根据本发明的一实施例的图像分割方法，在计算装置中执行，所述计算装置包括一个以上的处理器以及存储有通过所述一个以上的处理器执行的一个以上的程序的存储器，其中，所述图像分割方法包括以下步骤：(a)接收图像的输入；(b)将所输入的所述图像重叠地分割而生成一代碎片图像集；(c)从所述一代碎片图像集生成二代以上的碎片图像集，并且将上一代碎片图像集所包括的多个碎片图像中的至少一个碎片图像重叠地分割而生成下一代碎片图像集。
j代碎片图像集所包括的多个碎片图像中的每一个碎片图像可以包括与所述j代碎片图像集所包括的其他一个以上的碎片图像重叠的区域，其中，j为大于等于1的整数。
在所述步骤(c)中，可以将所述上一代碎片图像集所包括的多个碎片图像中满足预设的选择条件的至少一个碎片图像重叠地分割而生成所述下一代碎片图像集。
所述步骤(c)可以包括以下步骤：针对所述上一代碎片图像集所包括的多个碎片图像中的每一个碎片图像计算图像内像素相似度；以及将所述上一代碎片图像集所包括的多个碎片图像中所述像素相似度为预设的基准值以下的各个碎片图像重叠地分割而生成所述下一代碎片图像集。
在所述步骤(c)中，若不存在所述像素相似度为所述基准值以下的碎片图像，则可以结束生成所述下一代碎片图像集。
在所述步骤(c)中，若满足预设的分割结束条件，则可以结束生成所述下一代碎片图像集。
在所述步骤(c)中，可以基于所述上一代碎片图像集所包括的多个碎片图像各自的大小以及预设的基准值判断是否满足了所述预设的分割结束条件。
在所述步骤(c)中，可以基于目前为止生成的碎片图像集所包括的碎片图像的总数量以及预设的基准值判断是否满足了所述预设的分割结束条件。
所述图像分割方法还可以包括以下步骤：(d)将输入的所述图像以及所述一代碎片图像集至n代碎片图像集中的每一个碎片图像集包括的多个碎片图像的全部或一部分缩小为预设的大小，其中，n为大于等于2的整数。
所述图像分割方法还可以包括以下步骤：(e)利用缩小后的所述图像使基于深度学习的图像分类器学习。
根据本发明的一实施例的图像分割装置包括：一个以上的处理器；存储器；以及一个以上的程序，其中，构成为所述一个以上的程序存储于所述存储器，并且通过所述一个以上的处理器执行，所述一个以上的程序包括用于执行以下步骤的指令：(a)接收图像的输入；(b)将所输入的所述图像重叠地分割而生成一代碎片图像集；(c)从所述一代碎片图像集生成二代以上的碎片图像集，并且将上一代碎片图像集所包括的多个碎片图像中的至少一个碎片图像重叠地分割而生成下一代碎片图像集。
j代碎片图像集所包括的多个碎片图像中的每一个碎片图像可以包括与所述j代碎片图像集所包括的其他一个以上的碎片图像重叠的区域，其中，j为大于等于1的整数。
在所述步骤(c)中，可以将所述上一代碎片图像集所包括的多个碎片图像中满足预设的选择条件的至少一个碎片图像重叠地分割而生成所述下一代碎片图像集。
所述步骤(c)可以包括以下步骤：针对所述上一代碎片图像集所包括的多个碎片图像中的每一个碎片图像计算图像内像素相似度；以及将所述上一代碎片图像集所包括的多个碎片图像中所述像素相似度为预设的基准值以下的各个碎片图像重叠地分割而生成所述下一代碎片图像集。
在所述步骤(c)中，若不存在所述像素相似度为所述基准值以下的碎片图像，则可以结束生成所述下一代碎片图像集。
在所述步骤(c)中，若满足预设的分割结束条件，则可以结束生成所述下一代碎片图像集。
在所述步骤(c)中，可以基于所述上一代碎片图像集所包括的多个碎片图像各自的大小以及预设的基准值判断是否满足了所述预设的分割结束条件。
在所述步骤(c)中，可以基于目前为止生成的碎片图像集所包括的碎片图像的总数量以及预设的基准值判断是否满足了所述预设的分割结束条件。
所述一个以上的程序还可以包括用于执行以下步骤的指令：(d)将输入的所述图像以及所述一代碎片图像集至n代碎片图像集中的每一个碎片图像集所包括的多个碎片图像的全部或一部分缩小为预设的大小，其中，n为大于等于2的整数。
所述一个以上的程序还可以包括用于执行以下步骤的指令：(e)利用缩小后的所述图像使基于深度学习的图像分类器学习。
有益效果
根据本发明的实施例，通过将图像重叠地分割而生成多代碎片图像集，据此能够在不损失图像内关于大小较小的特征区域的信息的情况下生成具有关联性的碎片图像。
并且，根据本发明的实施例，为了基于深度学习的图像分类器学习而利用重叠地分割后的多代碎片图像集所包括的碎片图像，并且转换为图像分类器的输入大小而执行学习，从而能够获得最后一代碎片图像集所包括的碎片图像相比于上一代碎片图像集所包括的碎片图像被放大(zoom-in)而进行学习的效果，并且能够将图像的全部信息与作为特征的部分信息一同组合而实现学习。
附图说明
图1是用于举例说明包括在示例性实施例中适合使用的计算装置的计算环境的框图。
图2是根据本发明的一实施例的图像分割方法的流程图。
图3是输入的图像的示例图。
图4是用于说明根据本发明的一实施例的碎片图像生成过程的图。
图5至图8是用于说明根据本发明的另一实施例的碎片图像生成过程的图。
图9至图14是用于说明根据本发明的又一实施例的碎片图像生成过程的图。
图15是示出一代碎片图像集的一示例的图。
图16是根据本发明的追加实施例的图像分割方法的流程图。
图17是示出根据本发明的一实施例生成的碎片图像集的一示例的图。
图18及图19是用于说明根据本发明的一实施例的学习图像集生成的示例图。
具体实施方式
以下，参照附图对本发明的具体实施形态进行说明。以下的详细说明是为了有助于全面理解本说明书中记载的方法、装置和/或系统而提供的。然而这些仅为示例，本发明并不限于此。
在对本发明的实施例进行说明的过程中，如果判断为对有关本发明的公知技术的具体说明有可能对本发明的主旨造成不必要的混乱，则省略其详细说明。另外，后述的术语均为考虑到本发明中的功能而定义的术语，其可能根据使用者、运用者的意图或惯例等而不同。因此，需要以贯穿本说明书整体的内容为基础而对其定义。在详细说明中使用的术语只用于记载本发明的实施例，而绝不限制本发明。除非明确不同地使用，否则单数形态的表述包括复数形态的含义。在本说明书中，如“包括”或“具有”等术语用于指代某种特性、数字、步骤、操作、要素及它们的一部分或组合，不可被解释为排除所记载项之外的一个或一个以上的其他特性、数字、步骤、操作、要素及其一部分或组合的存在或可存在性。
以下，参照附图对本发明的具体实施形态进行说明。以下的详细说明是为了有助于全面理解本说明书中记载的方法、装置和/或系统而提供的。然而这些仅为示例，本发明并不限于此。
在对本发明的实施例进行说明的过程中，如果判断为对有关本发明的公知技术的具体说明有可能对本发明的主旨造成不必要的混乱，则省略其详细说明。另外，后述的术语均为考虑到本发明中的功能而定义的术语，其可能根据使用者、运用者的意图或惯例等而不同。因此，需要以贯穿本说明书整体的内容为基础而对其定义。在详细说明中使用的术语只用于记载本发明的实施例，而绝不限制本发明。除非明确不同地使用，否则单数形态的表述包括复数形态的含义。在本说明书中，如“包括”或“具有”等术语用于指代某种特性、数字、步骤、操作、要素及他们的一部分或组合，不可被解释为排除所记载项之外的一个或一个以上的其他特性、数字、步骤、操作、要素及其一部分或组合的存在或可存在性。
图1是用于举例说明包括在示例性实施例中适合使用的计算装置的计算环境10的框图。在图示的实施例中，各组件可以具有除了以下描述的之外的不同的功能及能力，并且除了以下描述的组件之外也可以包括追加的组件。
图示的计算环境10包括计算装置12。在一实施例中，计算装置12可以是根据本发明的实施例的图像分割装置。计算装置12包括至少一个的处理器14，计算机可读存储介质16及通信总线18。处理器14可以使计算装置12根据上述的示例性实施例进行操作。例如，处理器14可以执行存储于计算机可读存储介质16的一个以上的程序。所述一个以上的程序可以包括一个以上的计算机可执行指令，所述一个以上的计算机可执行指令被构成为在通过处理器14执行情况下，使计算装置12执行根据示例性实施例的操作。
计算机可读存储介质16构成为存储计算机可执行指令乃至程序代码、程序数据和/或其他合适形态的信息。存储于计算机可读存储介质16的程序20包括可通过处理器14执行的指令的集合。在一实施例中，计算机可读存储介质16可以是存储器(诸如随机存取存储器之类的易失性存储器、非易失性存储器，或其适当的组合)、一个以上的磁盘存储设备、光盘存储设备、闪存设备此外的能够被计算装置12访问并可存储所期望的信息的其他形态的存储介质、或其适当的组合。
通信总线18包括处理器14、计算机可读存储介质16在内使计算装置12的其他多种组件相互连接。
计算装置12还可以包括为一个以上的输入输出装置24提供接口的一个以上的输入输出接口22及一个以上的网络通信接口26。输入输出接口22及网络通信接口26连接于通信总线18。输入输出装置24可以通过输入输出接口22连接于计算装置12的其他组件。示例性的输入输出装置24可以包括诸如指示装置(鼠标或触控板等)、键盘、触摸输入装置(触摸板或触摸屏等)、语音或声音输入装置、多种传感器装置和/或拍摄装置之类的输入装置、和/或诸如显示装置、打印机、扬声器和/或诸如网卡之类的输出装置。示例性的输入输出装置24作为构成计算装置12的一组件，可以被包含于计算装置12的内部，并且也可以作为与计算装置12区别的单独的装置而与计算装置12连接。
图2是根据本发明的一实施例的图像分割方法的流程图。
参照图2，在步骤210中，计算装置12接收图像的输入。
此时，输入的图像可以是由用户输入或者从包括预先收集的多个图像的图像数据库获取的原始图像。然而，并不一定限定于此，根据实施例，输入的图像例如可以是从原始图像中去除全部或部分诸如空白或背景等不必要的区域后的图像。此时，不必要的区域的去除方法并不一定限定于特定的方法。
具体而言，图3是输入的图像的示例图。
在图3所示的示例中，310示出由用户输入或者从图像数据库获取的视网膜图像(即，原始图像)的一示例，320示出从原始图像310去除除了视网膜区域之外的空白区域中的一部分后的图像的一示例。
以下，为了便于说明，假设输入的图像为图3所示的原始图像310而进行说明，然而应该注意，根据实施例，输入的图像也可以是从原始图像310去除空白区域中的一部分后的图像320。
再次参照图2，在步骤220中，计算装置12重叠地分割所输入的图像而生成一代碎片图像集。
此时，“将图像重叠地分割”的含义是指从分割对象图像生成分别包括分割对象图像中的一部分区域的多个碎片图像，并且以使其分别包括与其他一个以上的碎片图像重叠的区域的方式生成多个碎片图像。
即，一代碎片图像集包括多个碎片图像，所述多个碎片图像分别包括输入的图像中的一部分区域。并且，包括于一代碎片图像集的多个碎片图像中的每一个包括与包括于一代碎片图像集的另一个碎片图像重叠的区域。
图4是用于说明根据本发明的一实施例的碎片图像生成过程的图。
参照图4，计算装置12可以在输入的图像400上布置预设大小的窗口410。并且，计算装置12可以使窗口410在输入的图像400内沿X轴方向及Y轴方向依次移动预设距离，从而将窗口410内所包括的区域提取为各个关于输入的图像400的碎片图像。此时，窗口410的X轴方向移动距离可以设定为小于窗口410的X轴方向长度，窗口410的Y轴方向移动距离可以设定为小于窗口301的Y轴方向长度
另外，在图4所示的示例中，窗口410的大小、X轴方向移动距离及Y轴方向移动距离可以根据要生成的碎片图像的数量、作为分割对象的图像的大小进行变更。
图5至图8是用于说明根据本发明的另一实施例的碎片图像生成过程的图。
参照图5至图8，首先，如图5所示的示例，计算装置12可以将输入的图像500四等分而生成第一碎片图像510、第二碎片图像520、第三碎片图像530及第四碎片图像540。
之后，如图6所示的示例，计算装置12可以从输入的图像500生成包括与第一碎片图像510的下半面和第三碎片图像530的上半面相对应的区域的第五碎片图像550。并且，计算装置12可以生成包括与第二碎片图像520的下半面和第四碎片图像540的上半面相对应的区域的第六碎片图像560。
并且，如图7所示的示例，计算装置12可以从输入的图像500生成包括与第一碎片图像510的右半面和第二碎片图像520的左半面相对应的区域的第七碎片图像570。并且，计算装置12可以从输入的图像500生成包括与第三碎片图像530的右半面和第四碎片图像540的左半面相对应的区域的第八碎片图像580。
之后，如图8所示的示例，计算装置12可以从输入的图像500生成包括与第七碎片图像570的下半面和第八碎片图像580的上半面相对应的区域的第九碎片图像590。
图9至图14是用于说明根据本发明的又一实施例的碎片图像生成过程的图。
参照图9至图14，首先，如图9所示的示例，计算装置12可以将输入的图像600四等分而生成第一碎片图像610、第二碎片图像620、第三碎片图像630及第四碎片图像640。
之后，如图10所示的示例，计算装置12可以将第一碎片图像610和第三碎片图像630分别分割为上半面和下半面，之后将第一碎片图像610的下半面和第三碎片图像630的上半面结合而生成第五碎片图像650。
并且，如图11所示的示例，计算装置12可以将第二碎片图像620和第四碎片图像640分别分割为上半面和下半面，之后将第二碎片图像620的下半面和第四碎片图像640的上半面结合而生成第六碎片图像660。
并且，如图12所示的示例，计算装置12可以将第一碎片图像610和第二碎片图像620分别分割为左半面和右半面，之后将第一碎片图像610的右半面和第二碎片图像610的左半面结合而生成第七碎片图像670。
并且，如图13所示的示例，计算装置12可以将第三碎片图像630和第四碎片图像640分别分割为左半面和右半面，之后将第三碎片图像630的右半面和第四碎片图像640的左半面结合而生成第八碎片图像680。
并且，如图14所示的示例，计算装置12可以将第一碎片图像610、第二碎片图像620、第三碎片图像630及第四碎片图像640分别四等分，之后将第一碎片图像610的第四象限、第二碎片图像620的第三象限、第三碎片图像630的第一象限及第四碎片图像640的第二象限结合而生成第九碎片图像690。
并且，图15是示出根据上述的实施例生成的一代碎片图像集的一示例的图。
如图15所示的示例，可以得知一代碎片图像集包括九个碎片图像，并且各个碎片图像包括与另一个碎片图像重叠的区域。
另外，在上述的实施例中，假设从输入的图像生成九个碎片图像而进行了说明，然而生成的碎片图像的数量可以与上述的示例不同地根据实施例而进行改变。
另外，只要能够从输入的图像生成分别包括与其他一个以上的碎片图像重叠的区域的多个碎片图像，则第一碎片图像集可以通过除了上述实施例之外的多种方式生成。
再次参照图2，在步骤230中，计算装置12从一代碎片图像集生成二代以上的碎片图像集。此时，计算装置12可以将上一代碎片图像集所包括的多个碎片图像中的至少一个重叠地分割而生成下一代碎片图像。
具体而言，根据本发明的一实施例，计算装置12可以将i(此时，i为i1的整数)代碎片图像集所包括的多个碎片图像中的至少一个重叠地分割而生成i+1代碎片图像集。
此时，i+1代碎片图像集可以利用与上述的i代碎片图像集生成方式相同的方式生成。并且，各代碎片图像集所包括的多个碎片图像各自包括与同一代的碎片图像集所包括的其他一个以上的碎片图像重叠的区域。
图16是根据本发明的追加实施例的图像分割方法的流程图。
在图16所示的流程图中，步骤810及步骤820分别与图2所示的步骤210及步骤220相同，因此省略对此的重复说明。
参照图16，在步骤830中，计算装置12将表示当前生成的碎片图像集的代序索引值的i设定为1。
在步骤840中，计算装置12判断一代碎片图像集所包括的多个碎片图像中是否存在满足预设的选择条件的碎片图像。
具体而言，根据本发明的一实施例，计算装置12可以针对一代碎片图像集所包括的多个碎片图像中的每一个碎片图像计算图像内像素相似度，并且选择计算出的像素相似度为预设基准值以下的碎片图像。此时，像素相似度例如可以基于碎片图像内像素的亮度、颜色值、频率、梯度(gradient)等来计算。
另外，若在一代碎片图像集所包括的多个碎片图像中不存在满足预设的选择条件的碎片图像，则计算装置12结束生成针对一代碎片图像集的下一代碎片图像集。
相反，若在一代碎片图像集所包括的多个碎片图像中存在满足预设的选择条件的一个以上的碎片图像，则在步骤850中，计算装置12选择满足选择条件的一个以上的碎片图像分别作为追加分割对象。
在选择了追加分割对象碎片图像的情况下，在步骤860中，计算装置12将选择的碎片图像中的每一个碎片图像重叠地分割而生成二代碎片图像集。
之后，在步骤870中，计算装置12判断是否满足了预设的分割结束条件。
此时，根据本发明的一实施例，计算装置12可以基于在步骤860中生成的二代碎片图像集所包括的多个碎片图像各自的大小以及预设的第一基准值判断是否满足了分割结束条件。例如，在将二代碎片图像集所包括的多个碎片图像中的至少一个重叠地分割而生成的碎片图像的大小小于第一基准值的情况下，计算装置12可以判断为满足了分割结束条件。此时，第一基准值可以设定为与在后述的基于深度学习(deep learning)的图像分类器中设定的输入图像大小相同。
根据本发明的另一实施例，计算装置12可以基于目前为止生成的碎片图像集所包括的碎片图像总数量以及预设的第二基准值判断是否满足了分割条件。例如，计算装置12基于作为目前为止生成的碎片图像集的一代碎片图像集及二代碎片图像集所包括的碎片图像总数量，在从二代碎片图像集生成三代碎片图像集的情况下，若碎片图像总数量超过第二基准值，则可以判断为满足了分割结束条件。此时，第二基准值例如可以由用户考虑运算量而设定为合适的值。
另外，在步骤870中，在不满足分割结束条件的情况下，计算装置12可以在将代序索引值i增加1之后反复执行步骤840至步骤880而生成二代以上的碎片图像集，直到满足上述的分割结束条件，或者在i代碎片图像集中不存在满足上述选择条件的碎片图像时为止。
图17是示出根据本发明的一实施例生成的碎片图像集的一示例的图。
在图17所示的示例中，假设从输入图像A生成一代碎片图像至三代碎片图像。
参照图17，首先，一代碎片图像集包括将输入图像A重叠地分割而生成的九个碎片图像(A-1至A-9)。
并且，二代碎片图像集包括分别将一代碎片图像集所包括的碎片图像中的A-7重叠地分割而生成的九个碎片图像(A-7-1至A-7-9)和将A-9重叠地分割而生成的九个碎片图像(A-9-1至A-9-9)。
并且，三代碎片图像集包括分别将二代碎片图像集所包括的碎片图像中的A-7-4重叠地分割而生成的九个碎片图像(A-7-4-1至A-7-4-9)和将A-9-2重叠地分割而生成的九个碎片图像(A-9-2-1至A-9-2-9)。
另外，根据本发明的一实施例，计算装置12可以将输入图像以及生成的各个碎片图像集所包括的碎片图像中的至少一部分缩小为预设的大小，进而生成包括缩小后的图像的学习图像集。此时，预设的大小可以设定为与在基于深度学习的图像分类器中设定的输入图像大小相同。
并且，计算装置12可以利用学习图像集使基于深度学习的图像分类器学习。另外，基于深度学习的图像分类器用于识别或者分类所输入的图像，例如可以是卷积神经网络(CNN：Convolution Neural Network)模型，然而只要能够利用多个学习图像实现学习，则并不一定限定于特定的结构。
图18及图19是用于说明根据本发明的一实施例的学习图像集生成的示例图。
在图18及图19所示的示例中，为了便于说明，假设从输入图像生成一代碎片图像集，从一代碎片图像集中的一个碎片图像1010生成二代碎片图像集。
参照图18，计算装置12例如可以将输入图像、一代碎片图像集所包括的碎片图像以及二代碎片图像集所包括的碎片图像各自缩小为预设的大小，进而生成包括缩小后的图像的学习图像集。
作为另一示例，参照图19，计算装置12可以将输入图像、作为最后一代的二代碎片图像集所包括的碎片图像各自缩小为预设的大小。
并且，计算装置12可以将一代碎片图像集所包括的碎片图像中除了为了生成二代碎片图像集所利用的碎片图像1010之外的其余碎片图像分别缩小为预设的大小。
之后，计算装置12可以生成包括缩小后的图像的学习图像集。
即，在从输入图像生成一代碎片图像集至n(此时，n为n≥2的整数)代碎片图像集的情况下，根据实施例，计算装置12可以如图18所示的示例，为了生成学习图像集而利用一代碎片图像集至n代碎片图像集所包括的全部碎片图像，或者如图19所示的示例，为了生成学习图像集而利用一代碎片图像集至n-1代碎片图像集各自所包括的碎片图像中的未利用于生成下一代的碎片图像以及n代碎片图像集所包括的碎片图像。
另外，用于生成学习图像集的碎片图像的选择除了上述的示例之外还可以考虑学习的效率性、学习结果的准确性、运算量等通过多样的方式变形实施。
另外，本发明的实施例可以包括用于在计算机上执行本说明书中记载的方法的程序和包括所述程序的计算机可读记录介质。所述计算机可读记录介质可以单独地或者组合地包括程序命令、本地数据文件、本地数据结构等。所述介质可以是为本发明而专门地设计并构成的介质，或者可以是在计算机软件领域中通常能够使用的介质。计算机可读记录介质的示例包括：磁介质，诸如硬盘、软盘以及磁带等；光记录介质，诸如CD-ROM、DVD等；以及ROM、RAM、闪存之类的为了储存并执行程序命令而专门构成的硬件装置。作为程序的示例，不仅包括如利用编译器制作的机器语言代码，还可以包括可利用解释器等而由计算机执行的高级语言代码。
以上，对本发明的代表性实施例进行了详细的说明，然而在本发明所属的技术领域中具有基本知识的人员可以理解上述的实施例可在不脱离本发明的范围的限度内实现多种变形。因此，本发明的权利范围不应局限于上述的实施例，本发明的权利范围需要根据权利要求书的范围以及与该权利要求书等同的范围来确定。

Claims (20)

1.一种图像分割方法，所述方法在计算装置中执行，所述计算装置包括一个以上的处理器以及存储有通过所述一个以上的处理器执行的一个以上的程序的存储器，
其中，所述图像分割方法包括以下步骤：
(a)接收图像的输入；
(b)将所输入的所述图像重叠地分割而生成一代碎片图像集；
(c)从所述一代碎片图像集生成二代以上的碎片图像集，并且将上一代碎片图像集所包括的多个碎片图像中的至少一个碎片图像重叠地分割而生成下一代碎片图像集。
2.根据权利要求1所述的图像分割方法，其中，
j代碎片图像集所包括的多个碎片图像中的每一个碎片图像包括与所述j代碎片图像集所包括的其他一个以上的碎片图像重叠的区域，其中，j为大于等于1的整数。
3.根据权利要求1所述的图像分割方法，其中，
在所述步骤(c)中，将所述上一代碎片图像集所包括的多个碎片图像中满足预设的选择条件的至少一个碎片图像重叠地分割而生成所述下一代碎片图像集。
4.根据权利要求3所述的图像分割方法，其中，
所述步骤(c)包括以下步骤：
针对所述上一代碎片图像集所包括的多个碎片图像中的每一个碎片图像计算图像内像素相似度；以及
将所述上一代碎片图像集所包括的多个碎片图像中所述像素相似度为预设的基准值以下的各个碎片图像重叠地分割而生成所述下一代碎片图像集。
5.根据权利要求4所述的图像分割方法，其中，
在所述步骤(c)中，若不存在所述像素相似度为所述基准值以下的碎片图像，则结束生成所述下一代碎片图像集。
6.根据权利要求1所述的图像分割方法，其中，
在所述步骤(c)中，若满足预设的分割结束条件，则结束生成所述下一代碎片图像集。
7.根据权利要求6所述的图像分割方法，其中，
在所述步骤(c)中，基于所述上一代碎片图像集所包括的多个碎片图像各自的大小以及预设的基准值判断是否满足了所述预设的分割结束条件。
8.根据权利要求6所述的图像分割方法，其中，
在所述步骤(c)中，基于目前为止生成的碎片图像集所包括的碎片图像的总数量以及预设的基准值判断是否满足了所述预设的分割结束条件。
9.根据权利要求1所述的图像分割方法，其中，还包括以下步骤：
(d)将输入的所述图像以及所述一代碎片图像集至n代碎片图像集中的每一个碎片图像集所包括的多个碎片图像的全部或一部分缩小为预设的大小，其中，n为大于等于2的整数。
10.根据权利要求9所述的图像分割方法，其中，还包括以下步骤：
(e)利用缩小后的所述图像使基于深度学习的图像分类器学习。
11.一种图像分割装置，包括：
一个以上的处理器；
存储器；以及
一个以上的程序，
其中，构成为所述一个以上的程序存储于所述存储器，并且通过所述一个以上的处理器执行，
所述一个以上的程序包括用于执行以下步骤的指令：
(a)接收图像的输入；
(b)将所输入的所述图像重叠地分割而生成一代碎片图像集；
(c)从所述一代碎片图像集生成二代以上的碎片图像集，并且将上一代碎片图像集所包括的多个碎片图像中的至少一个碎片图像重叠地分割而生成下一代碎片图像集。
12.根据权利要求11所述的图像分割装置，其中，
j代碎片图像集所包括的多个碎片图像中的每一个碎片图像包括与所述j代碎片图像集所包括的其他一个以上的碎片图像重叠的区域，其中，j为大于等于1的整数。
13.根据权利要求11所述的图像分割装置，其中，
在所述步骤(c)中，将所述上一代碎片图像集所包括的多个碎片图像中满足预设的选择条件的至少一个碎片图像重叠地分割而生成所述下一代碎片图像集。
14.根据权利要求13所述的图像分割装置，其中，
所述步骤(c)包括以下步骤：
针对所述上一代碎片图像集所包括的多个碎片图像中的每一个碎片图像计算图像内像素相似度；以及
将所述上一代碎片图像集所包括的多个碎片图像中所述像素相似度为预设的基准值以下的各个碎片图像重叠地分割而生成所述下一代碎片图像集。
15.根据权利要求14所述的图像分割装置，其中，
在所述步骤(c)中，若不存在所述像素相似度为所述基准值以下的碎片图像，则结束生成所述下一代碎片图像集。
16.根据权利要求11所述的图像分割装置，其中，
在所述步骤(c)中，若满足预设的分割结束条件，则结束生成所述下一代碎片图像集。
17.根据权利要求16所述的图像分割装置，其中，
在所述步骤(c)中，基于所述上一代碎片图像集所包括的多个碎片图像各自的大小以及预设的基准值判断是否满足了所述预设的分割结束条件。
18.根据权利要求16所述的图像分割装置，其中，
在所述步骤(c)中，基于目前为止生成的碎片图像集所包括的碎片图像的总数量以及预设的基准值判断是否满足了所述预设的分割结束条件。
19.根据权利要求11所述的图像分割装置，其中，
所述一个以上的程序还包括用于执行以下步骤的指令：
(d)将输入的所述图像以及所述一代碎片图像集至n代碎片图像集中的每一个碎片图像集所包括的多个碎片图像的全部或一部分缩小为预设的大小，其中，n为大于等于2的整数。
20.根据权利要求19所述的图像分割装置，其中，
所述一个以上的程序还包括用于执行以下步骤的指令：
(e)利用缩小后的所述图像使基于深度学习的图像分类器学习。
CN201980004787.XA 2018-05-31 2019-05-22 图像分割方法及装置 Pending CN111164645A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180062295A KR102580062B1 (ko) 2018-05-31 2018-05-31 이미지 분할 방법 및 장치
KR10-2018-0062295 2018-05-31
PCT/KR2019/006132 WO2019231162A1 (ko) 2018-05-31 2019-05-22 이미지 분할 방법 및 장치

Publications (1)

Publication Number Publication Date
CN111164645A true CN111164645A (zh) 2020-05-15

Family

ID=68698290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004787.XA Pending CN111164645A (zh) 2018-05-31 2019-05-22 图像分割方法及装置

Country Status (5)

Country Link
US (1) US11715197B2 (zh)
EP (1) EP3686841B1 (zh)
KR (1) KR102580062B1 (zh)
CN (1) CN111164645A (zh)
WO (1) WO2019231162A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507213A (zh) * 2020-04-03 2020-08-07 北京三快在线科技有限公司 图像识别方法、装置、存储介质及电子设备
US20230043089A1 (en) * 2021-08-04 2023-02-09 Samsung Electronics Co., Ltd. Super resolution sem image implementing device and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634534A (zh) * 2012-08-22 2014-03-12 索尼公司 图像处理装置、图像处理方法和程序
CN103903236A (zh) * 2014-03-10 2014-07-02 北京信息科技大学 人脸图像超分辨率重建的方法和装置
CN104318236A (zh) * 2014-10-28 2015-01-28 苏州科达科技股份有限公司 一种获取图像局部特征的方法及系统
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法
CN105787466A (zh) * 2016-03-18 2016-07-20 中山大学 一种车辆类型的精细识别方法及系统
CN107832807A (zh) * 2017-12-07 2018-03-23 深圳联影医疗科技有限公司 一种图像处理方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075935A1 (en) * 2009-09-25 2011-03-31 Sony Corporation Method to measure local image similarity based on the l1 distance measure
JP5615088B2 (ja) 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
KR101412727B1 (ko) 2013-11-15 2014-07-01 동국대학교 산학협력단 얼굴 인식 장치 및 방법
KR101678453B1 (ko) * 2014-07-31 2016-11-23 한국과학기술연구원 이미지 처리 장치 및 방법
US9430697B1 (en) 2015-07-03 2016-08-30 TCL Research America Inc. Method and system for face recognition using deep collaborative representation-based classification
US20180060719A1 (en) * 2016-08-29 2018-03-01 International Business Machines Corporation Scale-space label fusion using two-stage deep neural net

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634534A (zh) * 2012-08-22 2014-03-12 索尼公司 图像处理装置、图像处理方法和程序
CN103903236A (zh) * 2014-03-10 2014-07-02 北京信息科技大学 人脸图像超分辨率重建的方法和装置
CN104318236A (zh) * 2014-10-28 2015-01-28 苏州科达科技股份有限公司 一种获取图像局部特征的方法及系统
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法
CN105787466A (zh) * 2016-03-18 2016-07-20 中山大学 一种车辆类型的精细识别方法及系统
CN107832807A (zh) * 2017-12-07 2018-03-23 深圳联影医疗科技有限公司 一种图像处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAO MING REN 等: "An Efficient Multi-scale Overlapped Block LBP Approach for Leaf Image Recognition", INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING THEORIES & APPLICATIONS, pages 237 - 243 *

Also Published As

Publication number Publication date
EP3686841B1 (en) 2023-02-22
US20200320711A1 (en) 2020-10-08
EP3686841A4 (en) 2021-01-20
KR20190136493A (ko) 2019-12-10
KR102580062B1 (ko) 2023-09-19
WO2019231162A1 (ko) 2019-12-05
EP3686841A1 (en) 2020-07-29
US11715197B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
JP6188400B2 (ja) 画像処理装置、プログラム及び画像処理方法
US8861869B2 (en) Determining correspondence between image regions
JP4545641B2 (ja) 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
EP2808828B1 (en) Image matching method, image matching device, model template generation method, model template generation device, and program
US20210279461A1 (en) Performing electronic document segmentation using deep neural networks
KR102305230B1 (ko) 객체 경계정보의 정확도 개선방법 및 장치
JP5754055B2 (ja) 物体または形状の情報表現方法
CN110852326B (zh) 一种手写体版面分析和多风格古籍背景融合方法
KR102305229B1 (ko) 객체 경계정보의 추출에 사용되는 피쳐맵 정보를 생성하는 방법 및 장치
US20220270341A1 (en) Method and device of inputting annotation of object boundary information
CN111164645A (zh) 图像分割方法及装置
US20130254688A1 (en) Content Aware Image Editing
US20140355831A1 (en) Apparatus, method and computer-readable recording medium for detecting moving object using depth map
AU2017279613A1 (en) Method, system and apparatus for processing a page of a document
Yu et al. An effective method for figures and tables detection in academic literature
Žalik et al. A sweep-line algorithm for spatial clustering
US11288534B2 (en) Apparatus and method for image processing for machine learning
KR102256409B1 (ko) 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치
JP2011210160A (ja) 画像処理方法、画像処理装置、プログラム、及びプログラム記憶媒体
KR102069073B1 (ko) 의약품 분류 장치, 이를 이용한 의약품 분류 방법 및 의약품 분류를 위한 학습 방법, 이를 수행하기 위한 기록매체
CN112183500A (zh) 数据增强方法、训练方法、计算机装置及存储介质
JP2009020689A (ja) データ検索方法及びデータ検索装置
JP6336827B2 (ja) 画像検索装置、画像検索方法および検索システム
KR102592348B1 (ko) 이미지 스타일 전이 방법 및 장치
JP2010092159A (ja) 画像データ判定装置、画像データ判定システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination