CN109427061A - 影像切割方法及装置 - Google Patents
影像切割方法及装置 Download PDFInfo
- Publication number
- CN109427061A CN109427061A CN201810722108.XA CN201810722108A CN109427061A CN 109427061 A CN109427061 A CN 109427061A CN 201810722108 A CN201810722108 A CN 201810722108A CN 109427061 A CN109427061 A CN 109427061A
- Authority
- CN
- China
- Prior art keywords
- image
- convolutional neural
- neural networks
- instantly
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 202
- 238000005070 sampling Methods 0.000 claims abstract description 90
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 230000009467 reduction Effects 0.000 claims abstract description 37
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 230000001537 neural effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种影像切割方法,通过由影像切割装置实现的神经网络执行影像切割,并包括:由降低取样模块根据输入影像产生降低取样影像;对于切割模块的一当下切割模块,接收具有第一分辨率的先前卷积神经网络数据进行提升取样;接收当下降低取样影像及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,进行卷积以产生并传送当下卷积神经网络数据至下一切割模块;当当下切割模块为最后切割模块时,进行卷积产生影像切割结果。本发明的影像分割装置及方法根据不同的分辨率的影像进行卷积,以获得其包括的信息,达到更精确的切割结果。
Description
技术领域
本发明涉及影像处理技术,且特别涉及一种影像切割方法及装置。
背景技术
语意(semantic)影像切割在影像辨识中占有重要的角色,使电脑得以辨识影像中的物件。物件的辨识与描绘(delineation)可由对影像中的各像素进行分类而实现。这样的处理方式在电脑视觉以及各种成长中的领域如自动驾驶和医学影像上有广泛的应用。现在的影像切割技术,是对于影像数据中的同一影像画面进行不同尺度的缩放,以分别进行切割运算后,再将各别的影像切割结果进行串接。然而,这样的方式必须先决定影像切割架构中的模块数目,而无法保有弹性。
因此,如何设计一个新的影像切割方法及装置,以解决上述的缺失,乃为此一业界亟待解决的问题。
发明内容
本发明的目的在于通过影像分割装置及方法根据不同的分辨率的影像进行卷积,以获得其包括的信息,达到更精确的切割结果。
因此,本发明的一实施方式在于提供一种影像切割(image segmentation)方法,用以通过由影像切割装置实现的神经网络(neural network)执行影像切割,影像切割方法包括:由神经网络的降低取样(down-sampling)模块对输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样(up-sampling)单元接收具有第一分辨率的先前卷积神经网络(convolution neural network;CNN)数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据,其中先前卷积神经网络数据是由先前切割模块的先前卷积神经网络单元根据降低取样影像中具有第一分辨率的先前降低取样影像所产生;由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块;以及当当下切割模块为最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生影像切割结果。
在本发明的一实施例中,先前卷积神经网络数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果,或是由先前卷积神经网络单元的隐藏层(hidden layer)所输出的多个先前隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收先前卷积神经网络数据以及当下降低取样影像;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为等当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收当下降低取样影像;由当下卷积神经网络单元的隐藏层接收先前卷积神经网络数据;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:通过自当下卷积神经网络单元的输出层输出的多个当下输出层运算结果中选取一部分以产生影像切割结果,其中该部分相较当下输出层运算结果的其他部分具有较大的数值。
在本发明的一实施例中,神经网络为递归神经网络(recurrent neural network;RNN)。
在本发明的一实施例中,当先前切割模块不存在时,先前卷积神经网络数据为预设虚拟数据(dummy data)。
在本发明的一实施例中,当当下切割模块为最后切割模块时,当下卷积神经网络单元根据具有相同分辨率的提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生与输入影像具有相同分辨率的影像切割结果。
本发明的另一实施方式在于提供一种影像切割装置,包括:存储单元以及处理单元。存储单元配置以存储多个电脑可执行指令。处理单元电性耦接于存储单元,并配置以撷取并执行电脑可执行指令,以执行影像切割方法,影像切割方法用以通过由处理单元执行电脑可执行指令时实现的神经网络执行影像切割,影像切割方法包括:由神经网络的降低取样模块对输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样单元接收具有第一分辨率的先前卷积神经网络数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据,其中先前卷积神经网络数据是由先前切割模块的先前卷积神经网络单元根据降低取样影像中具有第一分辨率的先前降低取样影像所产生;由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块;以及当当下切割模块为最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生影像切割结果。
在本发明的一实施例中,先前卷积神经网络数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果,或是由先前卷积神经网络单元的隐藏层所输出的多个先前隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收先前卷积神经网络数据以及当下降低取样影像;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为等当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收当下降低取样影像;由当下卷积神经网络单元的隐藏层接收先前卷积神经网络数据;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:通过自当下卷积神经网络单元的输出层输出的多个当下输出层运算结果中选取一部分以产生影像切割结果,其中该部分相较当下输出层运算结果的其他部分具有较大的数值。
在本发明的一实施例中,神经网络为递归神经网络。
在本发明的一实施例中,当先前切割模块不存在时,先前卷积神经网络数据为预设虚拟数据。
在本发明的一实施例中,当当下切割模块为最后切割模块时,当下卷积神经网络单元根据具有相同分辨率的提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生与输入影像具有相同分辨率的影像切割结果。
本发明的影像分割装置及影像分割方法中,切割模块形成递归神经网络,以使各卷积神经网络单元可根据当下影像以及提升取样先前卷积神经网络数据进行影像切割。由于各卷积神经网络单元根据不同的影像分辨率进行卷积,可获得多个尺寸中包括的信息。
附图说明
图1为本发明一实施例中,一种影像切割装置的方框图;
图2为本发明一实施例中,影像切割方法的流程图;
图3为本发明一实施例中,由影像切割装置实现的神经网络的方框图;
图4为本发明一实施例中,卷积神经网络单元的范例性示意图;以及
图5为本发明一实施例中,卷积神经网络单元的范例性示意图。
附图标记说明:
1:影像切割装置
10:存储单元
12:处理单元
100:电脑可执行指令
102:影像数据
200:影像切割方法
201-206:步骤
3:神经网络
400、500:卷积神经网络单元
401、501:输入层
402、502:隐藏层
403、503:输出层
CNN0-CNNN:卷积神经网络单元
Dd、D1-DN-1:先前卷积神经网络数据
Dd’、D0’-DN-1’:提升取样先前卷积神经网络数据
D0,0,0,0-D0,A-1,B-1,2:数据
Dd,0,0,0-Dd,A-1,B-1,2:数据
DM:降低取样模块
hN:影像切割结果
h0,0,0,0-h0,A-1,B-1,2:运算结果
IN:输入影像
SEG0-SEGN:切割模块
UU0-UUN:提升取样单元
X0-XN:影像
X0,0,0,0-X0,A-1,B-1,2:数据
具体实施方式
请参照图1。图1为本发明一实施例中,一种影像切割装置1的方框图。影像切割装置1包含存储单元10以及处理单元12。
于一实施例中,存储单元10可为例如,但不限于光盘、随机存取存储器(randomaccess memory;RAM)、只读存储器(read only memory;ROM)、软盘、硬盘或光学磁盘片。存储单元10配置以存储多个电脑可执行指令100。
处理单元12电性耦接于存储单元10。于一实施例中,处理单元12配置以撷取并执行电脑可执行指令100,并据以执行影像切割装置1的功能。更详细地说,处理单元12接收影像数据102,以对影像数据102的各影像执行影像切割。
于一实施例中,处理单元12接收存储于存储单元10中的影像数据102,如图1所示。于其他实施例中,处理单元12可利用例如,但不限于通讯单元(未示出),通过有线或是无线的方式自远端服务器(未示出)接收影像数据102。
请同时参照图2及图3。影像切割装置1的详细功能将在后续段落搭配图2及图3进行说明。
图2为本发明一实施例中,影像切割方法200的流程图。影像切割方法200可应用于图1的影像切割装置1中。
图3为本发明一实施例中,由影像切割装置1实现的神经网络3的方框图。其中当电脑可执行指令100由处理单元12执行时,将运行为神经网络3以执行影像切割方法200。
于一实施例中,神经网络3为递归神经网络,包含降低取样模块DM以及多个串联的切割模块SEG0、SEG1、SEG2、…及SEGN。各个切割模块SEG0、SEG1、SEG2、…及SEGN包含相串联的提升取样单元以及卷积神经网络单元。更详细地说,提升取样单元UU0、UU1、UU2、…及UUN分别设置于切割模块SEG0、SEG1、SEG2、…及SEGN中。卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN分别设置于切割模块SEG0、SEG1、SEG2、…及SEGN中,并分别与提升取样单元UU0、UU1、UU2、…及UUN串联。
影像切割方法200包含下列步骤(应了解到,在本实施方式中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行)。
于步骤201,由神经网络3的降低取样模块DM对输入影像IN,例如图1的影像数据102的其中一影像,进行降低取样,以产生具有不同的分辨率的多个降低取样影像X0、X1、X2、…及XN,分别对应于切割模块SEG0、SEG1、SEG2、…及SEGN其中之一。
举例来说,输入影像IN可具有1024×768的分辨率。于一实施例中,当切割模块SEG0、SEG1、SEG2、…及SEGN的数目为4个时,降低取样模块DM将产生四个降低取样影像,分辨率分别降低为1/(8×8)、1/(4×4)、1/(2×2)以及1/(1×1)。更详细地说,四个降低取样影像的分辨率分别为128×96、256×192、512×384以及1024×768。于一实施例中,对应于最后切割模块SEGN的降低取样影像的分辨率,将与输入影像IN的分辨率相同。
于步骤202,对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样单元接收具有第一分辨率的先前卷积神经网络数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据。
于一实施例中,当当下切割模块为切割模块SEG0时,由于先前切割模块不存在时,先前卷积神经网络数据Dd将为预设虚拟数据(dummy data)。提升取样单元UU0将接收先前卷积神经网络数据Dd并进行提升取样,以产生提升取样先前卷积神经网络数据Dd’。
当当下切割模块为切割模块SEG1、SEG2、…及SEGN其中之一时,具有第一分辨率的先前卷积神经网络数据,是由先前切割模块中的先前卷积神经网络单元根据降低取样影像中,具有第一分辨率的先前降低取样影像所产生。
举例来说,当当下切割模块为切割模块SEG1时,先前卷积神经网络数据是由切割模块SEG0的卷积神经网络单元CNN0根据具有例如128×96的第一分辨率的降低取样影像X0产生。提升取样单元UU1将接收卷积神经网络数据D1并进行提升取样,以产生具有例如256×192的第二分辨率的提升取样先前卷积神经网络数据D1’。
于步骤203,由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据。
以切割模块SEG0为例,当当下切割模块为切割模块SEG0时,卷积神经网络单元CNN0接收具有128×96的分辨率的降低取样影像X0做为当下降低取样影像,并接收具有128×96的分辨率的提升取样先前卷积神经网络数据Dd’。
另一方面,当当下切割模块为切割模块SEG1时,卷积神经网络单元CNN1接收具有256×192的分辨率的降低取样影像X1做为当下降低取样影像,并接收具有256×192的分辨率的提升取样先前卷积神经网络数据D0’。
于步骤204,判断当下切割模块是否为最后切割模块,亦即是否为切割模块SEGN。
当当下切割模块并非最后切割模块时,于步骤205,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块。
以切割模块SEG0为例,当当下切割模块为切割模块SEG0时,卷积神经网络单元CNN0根据降低取样影像X0以及提升取样先前卷积神经网络数据Dd’进行卷积,以产生当下卷积神经网络数据D0。
另一方面,当当下切割模块为切割模块SEG1时,卷积神经网络单元CNN1接收具有256×192根据降低取样影像X1以及提升取样先前卷积神经网络数据D0’进行卷积,以产生当下卷积神经网络数据D1。
类似地,影像切割方法200的步骤可应用于切割模块SEG2(未示出)、…及SEGN中,以使各卷积神经网络单元CNN2(未示出)、…及CNNN中分别根据先前卷积神经网络数据D1’、…及DN-2’以及降低取样影像X2、…及XN-1产生对应的当下卷积神经网络数据D2、…及DN-1。
当当下切割模块为最后切割模块,例如切割模块SEGN时,于步骤206,由卷积神经网络单元CNNN根据具有与输入影像IN相同的分辨率,例如1024×768的提升取样先前卷积神经网络数据DN-1’以及降低取样影像XN进行卷积,以产生影像切割结果hN。影像切割结果hN是输入影像IN的最终切割结果。
请参照图4。图4为本发明一实施例中,卷积神经网络单元400的范例性示意图。于一实施例中,图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN可由卷积神经网络单元400实现。
于一实施例中,卷积神经网络单元400包括输入层401、隐藏层402以及输出层403。于一实施例中,各输入层401、隐藏层402以及输出层403包括多个运算节点。
当卷积神经网络单元400被用来实现卷积神经网络单元CNN0时,输入层401配置以接收具有例如,但不限于A×B的尺寸且具有三个数据通道的影像X0,其中影像X0的各个像素具有三个通道的数据。举例而言,对应于位置(0,0)的像素具有三个通道的数据,包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中,下标的第一位数代表影像,第二位数及第三位数代表像素的坐标,第四位数代表通道数目。
因此,本实施例中的输入层401具有A×B×3个运算点,分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2,以接收影像X0的所有数据。于本实施例中,隐藏层402接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd’,包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、…、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的数据。
因此,卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd’进行卷积,以使输出层403产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中,各运算结果的数值表示切割物件的类别的几率。因此,当卷积神经网络单元400被用以实现最后切割模块SEGN的卷积神经网络单元时,对各像素来说,运算结果其中的一具有最大值者,将被选择输出为当下影像切割结果hN的其中一个像素。举例而言,当运算结果hN,0,0,1具有大于运算结果hN,0,0,0以及运算结果hN,0,0,2的数值时,运算结果hN,0,0,1将被选择为当下影像切割结果hN的输出像素。
于一实施例中,图3所示出的递归神经网络3为Elman网络,其中隐藏层402亦产生隐藏层运算结果,做为下一个切割模块,例如切割模块SEG1的先前卷积神经网络数据D0,包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据,以使提升取样单元UU1据以进行提升取样,以产生提升取样先前卷积神经网络数据D0’,并使卷积神经网络单元CNN1根据提升取样先前卷积神经网络数据D0’以及影像X1进行卷积。
需注意的是,图4中所示出的各输入层401、隐藏层402以及输出层403的运算节点的数目仅为一范例。于其他实施例中,运算节点的数目可依实际应用而有所不同。
请参照图5。图5为本发明一实施例中,卷积神经网络单元500的范例性示意图。于一实施例中,于图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…或CNNN可由卷积神经网络单元500所实现。
于一实施例中,卷积神经网络单元500包括输入层501、隐藏层502以及输出层503。于一实施例中,各输入层501、隐藏层502以及输出层503包括多个运算节点。
当卷积神经网络单元500被用来实现卷积神经网络单元CNN0时,输入层501配置以接收具有例如,但不限于A×B的尺寸且具有三个数据通道的影像X0,其中影像X0的各个像素具有三个通道的数据。举例而言,对应于位置(0,0)的像素具有三个通道的数据,包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中,下标的第一位数代表影像,第二位数及第三位数代表像素的坐标,第四位数代表通道数目。
因此,本实施例中的输入层501具有A×B×3个运算点,分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2,以接收影像X0的所有数据。于本实施例中,隐藏层502接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd’,包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、…、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的数据。
因此,卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd’进行卷积,以使输出层503产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中,各运算结果的数值表示切割物件的类别的几率。因此,当卷积神经网络单元500被用以实现最后切割模块SEGN的卷积神经网络单元时,对各像素来说,运算结果其中的一具有最大值者,将被选择输出为当下影像切割结果hN的其中一个像素。举例而言,当运算结果hN,0,0,1具有大于运算结果hN,0,0,0以及运算结果hN,0,0,2的数值时,运算结果hN,0,0,1将被选择为当下影像切割结果hN的输出像素。
于一实施例中,图3所示出的递归神经网络3为Jordan网络,其中由输出层503产生的运算结果h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2做为下一个切割模块,例如切割模块SEG1的先前卷积神经网络数据D0,包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据,以使提升取样单元UU1据以进行提升取样,以产生提升取样先前卷积神经网络数据D0’,并使卷积神经网络单元CNN1根据提升取样先前卷积神经网络数据D0’以及影像X1进行卷积。
需注意的是,图5中所示出的各输入层501、隐藏层502以及输出层503的运算节点的数目仅为一范例。于其他实施例中,运算节点的数目可依实际应用而有所不同。
需注意的是,在部分实施例中,先前卷积神经网络数据亦可由下一卷积神经网络单元的输入层接收,以使下一卷积神经网络单元据以进行卷积。
在本发明的影像分割装置1及影像分割方法200中,切割模块SEG0、SEG1、SEG2、…及SEGN形成递归神经网络,以使各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN可根据当下影像以及提升取样先前卷积神经网络数据进行影像切割。由于各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN根据不同的影像分辨率进行卷积,可获得多个尺寸中包括的信息。
更进一步地,当需要使用不同数目且不同分辨率的影像进行影像切割时,本发明的影像分割装置1及影像分割方法200可弹性地增减切割模块的数目。因此,当运算资源不足时,可将切割模块的数目减少,以取得较粗略的切割结果。而当运算资源足够时,可将切割模块的数目增加,以取得具有较高精确度的切割结果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改、等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种影像切割方法,用以通过由一影像切割装置实现的一神经网络执行影像切割,其特征在于,该影像切割方法包括:
由该神经网络的一降低取样模块对一输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;
对于该神经网络的所述多个切割模块其中的一当下切割模块,由该当下切割模块的一当下提升取样单元接收具有一第一分辨率的一先前卷积神经网络数据,以对该先前卷积神经网络数据进行提升取样,以产生具有一第二分辨率的一提升取样先前卷积神经网络数据,其中该先前卷积神经网络数据是由一先前切割模块的一先前卷积神经网络单元根据所述多个降低取样影像中具有该第一分辨率的一先前降低取样影像所产生;
由该当下切割模块的一当下卷积神经网络单元接收所述多个降低取样影像中具有该第二分辨率的一当下降低取样影像以及该提升取样先前卷积神经网络数据;
当该当下切割模块并非一最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生并传送一当下卷积神经网络数据至一下一切割模块;以及
当该当下切割模块为该最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生一影像切割结果。
2.如权利要求1所述的影像切割方法,其特征在于,该先前卷积神经网络数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果,或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
3.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
由该当下卷积神经网络单元的一输入层接收该先前卷积神经网络数据以及该当下降低取样影像;以及
根据该先前卷积神经网络数据以及该当下降低取样影像进行卷积,以由该当下卷积神经网络单元的一隐藏层产生多个当下隐藏层运算结果,以及由该当下卷积神经网络单元的一输出层产生多个当下输出层运算结果,其中该当下卷积神经网络数据为所述多个当下输出层运算结果或所述多个当下隐藏层运算结果。
4.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
由该当下卷积神经网络单元的一输入层接收该当下降低取样影像;
由该当下卷积神经网络单元的一隐藏层接收该先前卷积神经网络数据;以及
根据该先前卷积神经网络数据以及该当下降低取样影像进行卷积,以由该当下卷积神经网络单元的一隐藏层产生多个当下隐藏层运算结果,以及由该当下卷积神经网络单元的一输出层产生多个当下输出层运算结果,其中该当下卷积神经网络数据为所述多个当下输出层运算结果或所述多个当下隐藏层运算结果。
5.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
通过自该当下卷积神经网络单元的一输出层输出的多个当下输出层运算结果中选取一部分以产生该影像切割结果,其中该部分相较所述多个当下输出层运算结果的其他部分具有较大的数值。
6.如权利要求1所述的影像切割方法,其特征在于,该神经网络为一递归神经网络。
7.如权利要求1所述的影像切割方法,其特征在于,当该先前切割模块不存在时,该先前卷积神经网络数据为一预设虚拟数据。
8.如权利要求1所述的影像切割方法,其特征在于,当该当下切割模块为该最后切割模块时,该当下卷积神经网络单元根据具有相同分辨率的该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生与该输入影像具有相同分辨率的该影像切割结果。
9.一种影像切割装置,其特征在于,包括:
一存储单元,配置以存储多个电脑可执行指令;以及
一处理单元,电性耦接于该存储单元,并配置以撷取并执行所述多个电脑可执行指令,以执行一影像切割方法,该影像切割方法用以通过由该处理单元执行所述多个电脑可执行指令时实现的一神经网络执行影像切割,该影像切割方法包括:
由该神经网络的一降低取样模块对一输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;
对于该神经网络的所述多个切割模块其中的一当下切割模块,由该当下切割模块的一当下提升取样单元接收具有一第一分辨率的一先前卷积神经网络数据,以对该先前卷积神经网络数据进行提升取样,以产生具有一第二分辨率的一提升取样先前卷积神经网络数据,其中该先前卷积神经网络数据是由一先前切割模块的一先前卷积神经网络单元根据所述多个降低取样影像中具有该第一分辨率的一先前降低取样影像所产生;
由该当下切割模块的一当下卷积神经网络单元接收所述多个降低取样影像中具有该第二分辨率的一当下降低取样影像以及该提升取样先前卷积神经网络数据;
当该当下切割模块并非一最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生并传送一当下卷积神经网络数据至一下一切割模块;以及
当该当下切割模块为该最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生一影像切割结果。
10.如权利要求9所述的影像切割装置,其特征在于,该先前卷积神经网络数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果,或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762552412P | 2017-08-31 | 2017-08-31 | |
US62/552,412 | 2017-08-31 | ||
US15/981,919 US10628919B2 (en) | 2017-08-31 | 2018-05-17 | Image segmentation method and apparatus |
US15/981,919 | 2018-05-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109427061A true CN109427061A (zh) | 2019-03-05 |
CN109427061B CN109427061B (zh) | 2020-11-17 |
Family
ID=65435376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810722108.XA Active CN109427061B (zh) | 2017-08-31 | 2018-07-04 | 影像切割方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10628919B2 (zh) |
CN (1) | CN109427061B (zh) |
TW (1) | TWI675349B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10628919B2 (en) * | 2017-08-31 | 2020-04-21 | Htc Corporation | Image segmentation method and apparatus |
KR20210067788A (ko) * | 2019-11-29 | 2021-06-08 | 삼성전자주식회사 | 전자 장치, 시스템 및 그 제어 방법 |
CN111161301B (zh) * | 2019-12-31 | 2021-07-27 | 上海商汤智能科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
CN113554742B (zh) * | 2020-04-26 | 2024-02-02 | 上海联影医疗科技股份有限公司 | 一种三维图像的重建方法、装置、设备及存储介质 |
CN112150470B (zh) * | 2020-09-22 | 2023-10-03 | 平安科技(深圳)有限公司 | 图像分割方法、装置、介质及电子设备 |
WO2022073100A1 (en) * | 2020-10-07 | 2022-04-14 | Afx Medical Inc. | Systems and methods for segmenting 3d images |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI381735B (zh) * | 2009-06-15 | 2013-01-01 | Univ Kun Shan | 影像監視設備之影像處理系統及其影像解析自動調適之方法 |
CN102970532A (zh) * | 2012-11-13 | 2013-03-13 | 鸿富锦精密工业(深圳)有限公司 | 影像切割系统及方法 |
CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
US20150347861A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Object-Of-Interest Detection And Recognition With Split, Full-Resolution Image Processing Pipeline |
US20160104053A1 (en) * | 2014-10-10 | 2016-04-14 | Beijing Kuangshi Technology Co., Ltd. | Hierarchical Interlinked Multi-scale Convolutional Network for Image Parsing |
CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
CN106127725A (zh) * | 2016-05-16 | 2016-11-16 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
CN106778664A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种虹膜图像中虹膜区域的分割方法及其装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567735B (zh) * | 2010-12-30 | 2013-07-24 | 中国科学院电子学研究所 | 一种自动提取遥感图像控制点切片的方法 |
CN103824223B (zh) * | 2014-02-21 | 2016-09-14 | 浙江大学 | 基于MapReduce和神经网络的农作物产量遥感估算方法 |
EP3203412A1 (en) * | 2016-02-05 | 2017-08-09 | Delphi Technologies, Inc. | System and method for detecting hand gestures in a 3d space |
WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
CN110461240A (zh) * | 2017-01-19 | 2019-11-15 | 纽约大学 | 用于超声分析的系统、方法和计算机可访问介质 |
CN106934455B (zh) * | 2017-02-14 | 2019-09-06 | 华中科技大学 | 基于cnn的遥感影像光学适配结构选取方法及系统 |
US10706547B2 (en) * | 2017-06-02 | 2020-07-07 | Htc Corporation | Image segmentation method and apparatus |
US10290107B1 (en) * | 2017-06-19 | 2019-05-14 | Cadence Design Systems, Inc. | Transform domain regression convolutional neural network for image segmentation |
JP7149692B2 (ja) * | 2017-08-09 | 2022-10-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10628919B2 (en) * | 2017-08-31 | 2020-04-21 | Htc Corporation | Image segmentation method and apparatus |
US10803555B2 (en) * | 2017-08-31 | 2020-10-13 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for determining a trained neural network model for scattering correction |
US10783640B2 (en) * | 2017-10-30 | 2020-09-22 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for image segmentation using a scalable and compact convolutional neural network |
US10769411B2 (en) * | 2017-11-15 | 2020-09-08 | Qualcomm Technologies, Inc. | Pose estimation and model retrieval for objects in images |
US20190205700A1 (en) * | 2017-12-29 | 2019-07-04 | Uber Technologies, Inc. | Multiscale analysis of areas of interest in an image |
CN111095291B (zh) * | 2018-02-27 | 2024-04-09 | 辉达公司 | 由自动驾驶车辆实时检测车道和边界 |
KR102565278B1 (ko) * | 2018-03-26 | 2023-08-09 | 삼성전자주식회사 | 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법 |
US11244195B2 (en) * | 2018-05-01 | 2022-02-08 | Adobe Inc. | Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images |
KR102565849B1 (ko) * | 2018-05-14 | 2023-08-11 | 한국전자통신연구원 | 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치 |
-
2018
- 2018-05-17 US US15/981,919 patent/US10628919B2/en active Active
- 2018-06-27 TW TW107122153A patent/TWI675349B/zh active
- 2018-07-04 CN CN201810722108.XA patent/CN109427061B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI381735B (zh) * | 2009-06-15 | 2013-01-01 | Univ Kun Shan | 影像監視設備之影像處理系統及其影像解析自動調適之方法 |
CN102970532A (zh) * | 2012-11-13 | 2013-03-13 | 鸿富锦精密工业(深圳)有限公司 | 影像切割系统及方法 |
US20150347861A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Object-Of-Interest Detection And Recognition With Split, Full-Resolution Image Processing Pipeline |
CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
US20160104053A1 (en) * | 2014-10-10 | 2016-04-14 | Beijing Kuangshi Technology Co., Ltd. | Hierarchical Interlinked Multi-scale Convolutional Network for Image Parsing |
CN106127725A (zh) * | 2016-05-16 | 2016-11-16 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
CN106778664A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种虹膜图像中虹膜区域的分割方法及其装置 |
Non-Patent Citations (4)
Title |
---|
CHAOBEN DU 等: "Image Segmentation-Based Multi-Focus Image Fusion Through Multi-Scale Convolutional Neural Network", 《DIGITAL OBJECT IDENTIFIER》 * |
LEI BI 等: "Stacked fully convolutional networks with multi-channel learning:application to medical image segmentation", 《VIS COMPUT》 * |
刘丹 等: "一种多尺度CNN的图像语义分割算法", 《遥感信息》 * |
吕力兢: "基于卷积神经网络的结肠病理图像中的腺体分割", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
US20190066265A1 (en) | 2019-02-28 |
TWI675349B (zh) | 2019-10-21 |
US10628919B2 (en) | 2020-04-21 |
CN109427061B (zh) | 2020-11-17 |
TW201913557A (zh) | 2019-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109427061A (zh) | 影像切割方法及装置 | |
CN108986100A (zh) | 影像切割方法及装置 | |
US20190108552A1 (en) | Method and device for pushing information | |
US20220019843A1 (en) | Efficient refinement neural network for real-time generic object-detection systems and methods | |
CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
CN110633717A (zh) | 一种目标检测模型的训练方法和装置 | |
CN109905255A (zh) | 一种基于时序统计分段的云计算网络流量预测方法及装置 | |
KR101687828B1 (ko) | 전자문서 생성방법 및 그 시스템 | |
CN110211181B (zh) | 视觉定位的方法、装置、存储介质和电子设备 | |
CN113052246B (zh) | 用于训练分类模型及图像分类的方法和相关装置 | |
CN112561061A (zh) | 神经网络稀疏化方法、装置、设备、存储介质及程序产品 | |
CN116434039A (zh) | 一种基于多尺度拆分注意力机制的目标检测方法 | |
CN114842482B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN114882212B (zh) | 一种基于先验结构的语义分割方法及装置 | |
CN113486781B (zh) | 一种基于深度学习模型的电力巡检方法及装置 | |
KR101964755B1 (ko) | 모의기 연동을 위한 최적화된 시간-동기화 방법 및 시스템 | |
CN113627460B (zh) | 一种基于时间切片卷积神经网络的目标识别系统与方法 | |
CN109993767A (zh) | 图像处理方法和系统 | |
CN114066766A (zh) | 图数据处理方法及相关装置、电子设备和存储介质 | |
CN114723933A (zh) | 区域信息生成方法、装置、电子设备和计算机可读介质 | |
CN113610704B (zh) | 图像生成方法、装置、设备和可读存储介质 | |
CN106911527A (zh) | 一种流量监测装置及方法 | |
CN113516224A (zh) | 神经网络的优化方法及装置、电子设备及存储介质 | |
CN116402913B (zh) | 医学影像的生成方法、模型训练方法、装置、设备及介质 | |
CN111126454B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |