CN108986100B - 影像切割方法及装置 - Google Patents

影像切割方法及装置 Download PDF

Info

Publication number
CN108986100B
CN108986100B CN201810545910.6A CN201810545910A CN108986100B CN 108986100 B CN108986100 B CN 108986100B CN 201810545910 A CN201810545910 A CN 201810545910A CN 108986100 B CN108986100 B CN 108986100B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
current
image
network unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810545910.6A
Other languages
English (en)
Other versions
CN108986100A (zh
Inventor
林政宪
卓柏全
杨宏毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN108986100A publication Critical patent/CN108986100A/zh
Application granted granted Critical
Publication of CN108986100B publication Critical patent/CN108986100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种影像切割方法，用以通过由影像切割装置实现的神经网络执行影像切割，并包括：由神经网络的当下卷积神经网络单元接收由神经网络的先前卷积神经网络单元根据影像数据中对应先前时间点的先前影像产生的先前卷积神经网络权重数据；由当下卷积神经网络单元接收影像数据中对应当下时间点的当下影像，其中当下时间点邻接于先前时间点后；及由当下卷积神经网络单元根据先前卷积神经网络权重数据及当下影像进行卷积，以产生当下影像切割结果。本发明的影像切割方法及装置根据时序信息进行处理，而具有平滑的边缘及较少的抖动。

Description

影像切割方法及装置
技术领域
本发明涉及影像处理技术，且特别涉及一种影像切割方法及装置。
背景技术
语意(semantic)影像切割在影像辨识中占有重要的角色，使电脑得以辨识影像中的物件。物件的辨识与描绘(delineation)可由对影像中的各像素进行分类而实现。这样的处理方式在电脑视觉以及各种成长中的领域如自动驾驶和医学影像上有广泛的应用。然而，现在的影像切割技术，是对于影像数据中的不同影像画面分别进行影像切割。因此，由这样的方式所产生的整体影像数据的切割结果中，边缘容易产生抖动的现象。
因此，如何设计一个新的影像切割方法及装置，以解决上述的缺失，乃为此一业界亟待解决的问题。
发明内容
本发明的目的在于通过影像切割方法及装置，以根据时序信息进行影像切割，而产生具有平滑的边缘及较少的抖动的切割结果。
因此，本发明的一实施方式是在提供一种影像切割(image segmentation)方法，用以通过由影像切割装置实现的神经网络(neural network)执行影像切割，影像切割方法包括：由神经网络的当下卷积神经网络(convolution neural network；CNN)单元接收先前卷积神经网络权重数据，其中先前卷积神经网络权重数据是由神经网络的先前卷积神经网络单元根据影像数据中对应先前时间点的先前影像产生；由当下卷积神经网络单元接收影像数据中对应当下时间点的当下影像，其中当下时间点邻接于先前时间点后；以及由当下卷积神经网络单元根据先前卷积神经网络权重数据以及当下影像进行卷积，以产生当下影像切割结果。
在本发明的一实施例中，先前卷积神经网络权重数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果，或是由先前卷积神经网络单元的隐藏层(hidden layer)所输出的多个先前隐藏层运算结果。
在本发明的一实施例中，影像切割方法还包含：由当下卷积神经网络单元的输入层接收先前卷积神经网络权重数据以及当下影像；以及根据先前卷积神经网络权重数据以及当下影像进行卷积，以由当下卷积神经网络单元的输出层产生当下影像切割结果。
在本发明的一实施例中，影像切割方法还包含：由当下卷积神经网络单元的输入层接收该当下影像；由当下卷积神经网络单元的隐藏层接收先前卷积神经网络权重数据；以及根据先前卷积神经网络权重数据以及当下影像进行卷积，以由当下卷积神经网络单元的输出层产生当下影像切割结果。
在本发明的一实施例中，影像切割方法还包含：选择多个当下运算结果中其中之一具有最大值者以产生当下影像切割结果，其中当下运算结果是由当下卷积神经网络单元的输出层产生；以及传送当下卷积神经网络权重数据至下一卷积神经网络单元，其中当下卷积神经网络权重数据为当下运算结果或是由当下卷积神经网络单元的隐藏层所输出的多个当下隐藏层运算结果。
在本发明的一实施例中，神经网络为递归神经网络(recurrent neural network；RNN)，包含多个卷积神经网络单元，卷积神经网络单元包含先前卷积神经网络单元以及当下卷积神经网络单元。
在本发明的一实施例中，当先前卷积神经网络单元不存在时，先前卷积神经网络权重数据为预设虚拟数据(dummy data)。
本发明的另一实施方式是在提供一种影像切割装置，包括：存储单元以及处理单元。存储单元配置以存储多个电脑可执行指令。处理单元电性耦接于存储单元，并配置以获取并执行电脑可执行指令，以执行影像切割方法，影像切割方法用以通过由处理单元执行电脑可执行指令时实现的神经网络执行影像切割，影像切割方法包括：由神经网络的当下卷积神经网络单元接收先前卷积神经网络权重数据，其中先前卷积神经网络权重数据是由神经网络的先前卷积神经网络单元根据影像数据中对应先前时间点的先前影像产生；由当下卷积神经网络单元接收影像数据中对应当下时间点的当下影像，其中当下时间点邻接于先前时间点后；以及由当下卷积神经网络单元根据先前卷积神经网络权重数据以及当下影像进行卷积，以产生当下影像切割结果。
在本发明的一实施例中，先前卷积神经网络权重数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果，或是由先前卷积神经网络单元的隐藏层所输出的多个先前隐藏层运算结果。
在本发明的一实施例中，影像切割方法还包含：由当下卷积神经网络单元的输入层接收先前卷积神经网络权重数据以及当下影像；以及根据先前卷积神经网络权重数据以及当下影像进行卷积，以由当下卷积神经网络单元的输出层产生当下影像切割结果。
在本发明的一实施例中，影像切割方法还包含：由当下卷积神经网络单元的输入层接收该当下影像；由当下卷积神经网络单元的隐藏层接收先前卷积神经网络权重数据；以及根据先前卷积神经网络权重数据以及当下影像进行卷积，以由当下卷积神经网络单元的输出层产生当下影像切割结果。
在本发明的一实施例中，影像切割方法还包含：选择多个当下运算结果中其中之一具有最大值者以产生当下影像切割结果，其中当下运算结果是由当下卷积神经网络单元的输出层产生；以及传送当下卷积神经网络权重数据至下一卷积神经网络单元，其中当下卷积神经网络权重数据为当下运算结果或是由当下卷积神经网络单元的隐藏层所输出的多个当下隐藏层运算结果。
在本发明的一实施例中，神经网络为递归神经网络，包含多个卷积神经网络单元，卷积神经网络单元包含先前卷积神经网络单元以及当下卷积神经网络单元。
在本发明的一实施例中，当先前卷积神经网络单元不存在时，先前卷积神经网络权重数据为预设虚拟数据。
本发明的影像分割装置及影像分割方法中，卷积神经网络单元形成递归神经网络，以使各卷积神经网络单元可根据对应当下时间点的当下影像以及对应先前时间点的先前卷积神经网络权重数据进行影像切割。根据上述方法所产生的影像切割结果，将具有较平滑的边缘，并因为时序的信息而具有较少的抖动。更进一步地，因为时序的信息，随时间逐渐改变角度的物件亦可被辨识出。
附图说明
图1为本发明一实施例中，一种影像切割装置的方框图；
图2为本发明一实施例中，影像切割方法的流程图；
图3为本发明一实施例中，由影像切割装置实现的神经网络的方框图；
图4为本发明一实施例中，卷积神经网络单元的范例性示意图；以及
图5为本发明一实施例中，卷积神经网络单元的范例性示意图。
附图标记说明：
1：影像切割装置
10：存储单元
12：处理单元
100：电脑可执行指令
102：影像数据
200：影像切割方法
201-203：步骤
3：神经网络
400、500：卷积神经网络单元
401、501：输入层
402、502：隐藏层
403、503：输出层
CNN0-CNNN：卷积神经网络单元
Dd、D1-DN-1：先前卷积神经网络权重数据
Dd,0,0,0-Dd,A-1,B-1,2：数据
D0,0,0,0-D0,A-1,B-1,2：数据
h0-hN：当下影像切割结果
h0,0,0,0-h0,A-1,B-1,2：运算结果
T0-TN：时间点
X0-XN：影像
X0,0,0,0-X0,A-1,B-1,2：数据
具体实施方式
请参照图1。图1为本发明一实施例中，一种影像切割装置1的方框图。影像切割装置1包含存储单元10以及处理单元12。
于一实施例中，存储单元10可为例如，但不限于光盘、随机存取存储器(randomaccess memory；RAM)、只读存储器(read only memory；ROM)、软盘、硬盘或光学磁盘片。存储单元10配置以存储多个电脑可执行指令100。
处理单元12电性耦接于存储单元10。于一实施例中，处理单元12配置以获取并执行电脑可执行指令100，并据以执行影像切割装置1的功能。
更详细地说，处理单元12接收影像数据102，以对影像数据102的各影像执行影像切割。于一实施例中，处理单元12接收存储于存储单元10中的影像数据102，如图1所示。于其他实施例中，处理单元12可利用例如，但不限于通信单元(未示出)，通过有线或是无线的方式自远端服务器(未示出)接收影像数据102。
请同时参照图2及图3。影像切割装置1的详细功能将在后续段落搭配图2及图3进行说明。
图2为本发明一实施例中，影像切割方法200的流程图。影像切割方法200可应用于图1的影像切割装置1中。
图3为本发明一实施例中，由影像切割装置1实现的神经网络3的方框图。其中当电脑可执行指令100由处理单元12执行时，将运行为神经网络3以执行影像切割方法200。
于一实施例中，神经网络3为递归神经网络，包含多个串联的卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN。
影像切割方法200包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。
于步骤201，由当下卷积神经网络单元接收先前卷积神经网络权重数据。
于一实施例中当，当下卷积神经网络单元为卷积神经网络单元CNN0时，由于不存在有先前的卷积神经网络单元，因此先前卷积神经网络权重数据，亦即卷积神经网络权重数据Dd，为预设虚拟数据。
而如当下卷积神经网络单元为卷积神经网络单元CNN1、CNN2、…或CNNN其中之一时，先前卷积神经网络权重数据是由先前卷积神经网络单元根据影像数据，例如图1中的影像数据102中，对应先前时间点的先前影像产生。
举例而言，如当下卷积神经网络单元为卷积神经网络单元CNN1时，先前卷积神经网络权重数据是由卷积神经网络单元CNN0根据影像数据中对应时间点T0的影像X0。
于步骤202，由当下卷积神经网络单元接收影像数据中对应当下时间点的当下影像，其中当下时间点邻接于先前时间点后。
以卷积神经网络单元CNN0为例，如卷积神经网络单元CNN0为当下卷积神经网络单元时，卷积神经网络单元CNN0接收对应时间点T0的影像X0为当下影像。另一方面，如卷积神经网络单元CNN1为当下卷积神经网络单元时，卷积神经网络单元CNN1接收对应时间点T1的影像X1为当下影像。
于步骤203，由当下卷积神经网络单元根据先前卷积神经网络权重数据以及当下影像进行卷积，以产生当下影像切割结果。
以卷积神经网络单元CNN0为例，如卷积神经网络单元CNN0为当下卷积神经网络单元时，卷积神经网络单元CNN0根据先前卷积神经网络权重数据Dd以及当下影像X0进行卷积，以产生当下影像切割结果h0。另一方面，如卷积神经网络单元CNN1为当下卷积神经网络单元时，卷积神经网络单元CNN1根据先前卷积神经网络权重数据D1以及当下影像X1进行卷积，以产生当下影像切割结果h1。
类似地，影像切割方法200中的步骤可应用于卷积神经网络单元CNN2…及CNNN，以使各卷积神经网络单元CNN2…及CNNN根据先前卷积神经网络权重数据D1…及DN-1以及对应时间点T2…及TN的当下影像X2…及XN进行卷积，以产生当下影像切割结果h2…及hN。
请参照图4。图4为本发明一实施例中，卷积神经网络单元400的范例性示意图。于一实施例中，于图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…或CNNN可由卷积神经网络单元400所实现。
于一实施例中，卷积神经网络单元400包括输入层401、隐藏层402以及输出层403。于一实施例中，各输入层401、隐藏层402以及输出层403包括多个运算节点。
当卷积神经网络单元400被用来实现卷积神经网络单元CNN0时，输入层401配置以接收具有例如，但不限于A×B的尺寸且具有三个数据通道的影像X0，其中影像X0的各个像素具有三个通道的数据。举例而言，对应于位置(0,0)的像素具有三个通道的数据，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下标的第一位数代表影像，第二位数及第三位数代表像素的坐标，第四位数代表通道数目。
因此，本实施例中的输入层401具有A×B×3个运算点，分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有数据。于本实施例中，隐藏层402接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd，包括Dd,0,0,0、Dd,0,0,1、Dd,0,0,2、…、Dd,A-1,B-1,0、Dd,A-1,B-1,1至Dd,A-1,B-1,2的数据。
因此，卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd进行卷积，以使输出层403产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中，各运算结果h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的数值表示切割物件的类别的几率。因此，对各像素来说，运算结果，例如h0,0,0,0、h0,0,0,1、h0,0,0,2的其中之一具有最大值者，将被选择输出为当下影像切割结果h0的其中一个像素。举例而言，当运算结果h0,0,0,1具有大于运算结果h0,0,0,0以及运算结果h0,0,0,2的数值时，运算结果h0,0,0,1将被选择为当下影像切割结果h0的输出像素。
于一实施例中，图3所示出的递归神经网络3为Elman网络，其中隐藏层402亦产生隐藏层运算结果，做为下一个卷积神经网络单元，例如卷积神经网络单元CNN1的先前卷积神经网络权重数据D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据，以使下一个卷积神经网络单元(例如卷积神经网络单元CNN1)的输入层以及隐藏层分别接收影像X1及先前卷积神经网络权重数据D0据以进行卷积。
需注意的是，图4中所示出的各输入层401、隐藏层402以及输出层403的运算节点的数目仅为一范例。于其他实施例中，运算节点的数目可依实际应用而有所不同。
请参照图5。图5为本发明一实施例中，卷积神经网络单元500的范例性示意图。于一实施例中，于图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…或CNNN可由卷积神经网络单元500所实现。
于一实施例中，卷积神经网络单元500包括输入层501、隐藏层502以及输出层503。于一实施例中，各输入层501、隐藏层502以及输出层503包括多个运算节点。
当卷积神经网络单元500被用来实现卷积神经网络单元CNN0时，输入层501配置以接收具有例如，但不限于A×B的尺寸且具有三个数据通道的影像X0，其中影像X0的各个像素具有三个通道的数据。举例而言，对应于位置(0,0)的像素具有三个通道的数据，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下标的第一位数代表影像，第二位数及第三位数代表像素的坐标，第四位数代表通道数目。
因此，本实施例中的输入层501具有A×B×3个运算点，分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有数据。于本实施例中，隐藏层502接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd，包括Dd,0,0,0、Dd,0,0,1、Dd,0,0,2、…、Dd,A-1,B-1,0、Dd,A-1,B-1,1至Dd,A-1,B-1,2的数据。
因此，卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd进行卷积，以使输出层503产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中，各运算结果h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的数值表示切割物件的类别的几率。因此，对各像素来说，运算结果，例如h0,0,0,0、h0,0,0,1、h0,0,0,2的其中之一具有最大值者，将被选择输出为当下影像切割结果h0的其中一个像素。举例而言，当运算结果h0,0,0,1具有大于运算结果h0,0,0,0以及运算结果h0,0,0,2的数值时，运算结果h0,0,0,1将被选择为当下影像切割结果h0的输出像素。
于一实施例中，图3所示出的递归神经网络3为Jordan网络，其中由输出层503产生的运算结果h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2做为下一个卷积神经网络单元，例如卷积神经网络单元CNN1的先前卷积神经网络权重数据D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据，以使下一个卷积神经网络单元(例如卷积神经网络单元CNN1)的输入层以及隐藏层分别接收影像X1及先前卷积神经网络权重数据D0据以进行卷积。
需注意的是，图5中所示出的各输入层501、隐藏层502以及输出层503的运算节点的数目仅为一范例。于其他实施例中，运算节点的数目可依实际应用而有所不同。
需注意的是，在部分实施例中，先前卷积神经网络权重数据亦可由下一卷积神经网络单元的输入层接收，以使下一卷积神经网络单元据以进行卷积。
在本发明的影像分割装置1及影像分割方法200中，卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN形成递归神经网络，以使各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN可根据对应当下时间点的当下影像以及对应先前时间点的先前卷积神经网络权重数据进行影像切割。根据上述方法所产生的影像切割结果，将具有较平滑的边缘，并因为时序的信息而具有较少的抖动。更进一步地，因为时序的信息，随时间逐渐改变角度的物件亦可被辨识出。
以上所述仅为本发明的优选实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (9)

1.一种影像切割方法，用以通过由一影像切割装置实现的一神经网络执行影像切割，其特征在于，该影像切割方法包括：
由该神经网络的一当下卷积神经网络单元接收一先前卷积神经网络权重数据，其中该先前卷积神经网络权重数据是由该神经网络的一先前卷积神经网络单元根据一影像数据中对应一先前时间点的一先前影像产生；
由该当下卷积神经网络单元接收该影像数据中对应一当下时间点的一当下影像，其中该当下时间点邻接于该先前时间点后；
由该当下卷积神经网络单元根据该先前卷积神经网络权重数据以及该当下影像进行卷积，由该当下卷积神经网络单元的一输出层产生多个当下运算结果，其中该当下影像包括多个像素，每个所述像素包括多个通道，每个所述像素的每个所述通道都对应至一个所述当下运算结果，对于每个所述像素，选择对应所述通道的所述当下运算结果中其中之一具有一最大值者做为一当下影像切割结果的输出像素；以及
传送一当下卷积神经网络权重数据至一下一卷积神经网络单元，其中该当下卷积神经网络权重数据为所述多个当下运算结果或是由该当下卷积神经网络单元的一隐藏层所输出的多个当下隐藏层运算结果。
2.如权利要求1所述的影像切割方法，其特征在于，该先前卷积神经网络权重数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果，或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
3.如权利要求1所述的影像切割方法，其特征在于，该影像切割方法还包含：
由该当下卷积神经网络单元的一输入层接收该先前卷积神经网络权重数据以及该当下影像；以及
根据该先前卷积神经网络权重数据以及该当下影像进行卷积，以由该当下卷积神经网络单元的一输出层产生该当下影像切割结果。
4.如权利要求1所述的影像切割方法，其特征在于，该影像切割方法还包含：
由该当下卷积神经网络单元的一输入层接收该当下影像；
由该当下卷积神经网络单元的一隐藏层接收该先前卷积神经网络权重数据；以及
根据该先前卷积神经网络权重数据以及该当下影像进行卷积，以由该当下卷积神经网络单元的一输出层产生该当下影像切割结果。
5.如权利要求1所述的影像切割方法，其特征在于，该神经网络为一递归神经网络，包含多个卷积神经网络单元，所述多个卷积神经网络单元包含该先前卷积神经网络单元以及该当下卷积神经网络单元。
6.如权利要求1所述的影像切割方法，其特征在于，当该先前卷积神经网络单元不存在时，该先前卷积神经网络权重数据为一预设虚拟数据。
7.一种影像切割装置，其特征在于，包括：
一存储单元，配置以存储多个电脑可执行指令；以及
一处理单元，电性耦接于该存储单元，并配置以获取并执行所述多个电脑可执行指令，以执行一影像切割方法，该影像切割方法用以通过由该处理单元执行所述多个电脑可执行指令时实现的一神经网络执行影像切割，该影像切割方法包括：
由该神经网络的一当下卷积神经网络单元接收一先前卷积神经网络权重数据，其中该先前卷积神经网络权重数据是由该神经网络的一先前卷积神经网络单元根据一影像数据中对应一先前时间点的一先前影像产生；
由该当下卷积神经网络单元接收该影像数据中对应一当下时间点的一当下影像，其中该当下时间点邻接于该先前时间点后；
由该当下卷积神经网络单元根据该先前卷积神经网络权重数据以及该当下影像进行卷积，由该当下卷积神经网络单元的一输出层产生多个当下运算结果，其中该当下影像包括多个像素，每个所述像素包括多个通道，每个所述像素的每个所述通道都对应至一个所述当下运算结果，对于每个所述像素，选择对应所述通道的所述当下运算结果中其中之一具有一最大值者做为一当下影像切割结果的输出像素；以及
传送一当下卷积神经网络权重数据至一下一卷积神经网络单元，其中该当下卷积神经网络权重数据为所述多个当下运算结果或是由该当下卷积神经网络单元的一隐藏层所输出的多个当下隐藏层运算结果。
8.如权利要求7所述的影像切割装置，其特征在于，该先前卷积神经网络权重数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果，或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
9.如权利要求7所述的影像切割装置，其特征在于，该影像切割方法还包含：
由该当下卷积神经网络单元的一输入层接收该先前卷积神经网络权重数据以及该当下影像；以及
根据该先前卷积神经网络权重数据以及该当下影像进行卷积，以由该当下卷积神经网络单元的一输出层产生该当下影像切割结果。
CN201810545910.6A 2017-06-02 2018-05-25 影像切割方法及装置 Active CN108986100B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762514024P 2017-06-02 2017-06-02
US62/514,024 2017-06-02
US15/975,751 2018-05-09
US15/975,751 US10706547B2 (en) 2017-06-02 2018-05-09 Image segmentation method and apparatus

Publications (2)

Publication Number Publication Date
CN108986100A CN108986100A (zh) 2018-12-11
CN108986100B true CN108986100B (zh) 2022-04-19

Family

ID=64459933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810545910.6A Active CN108986100B (zh) 2017-06-02 2018-05-25 影像切割方法及装置

Country Status (3)

Country Link
US (1) US10706547B2 (zh)
CN (1) CN108986100B (zh)
TW (1) TWI689894B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
US11257217B2 (en) * 2017-11-20 2022-02-22 Google Llc Image segmentation using neural networks
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
CN110490867B (zh) * 2019-08-22 2020-08-28 四川大学 基于深度学习的金属增材制造成形尺寸实时预测方法
CN112669324B (zh) * 2020-12-31 2022-09-09 中国科学技术大学 基于时序特征聚合和条件卷积的快速视频目标分割方法
CN113139518B (zh) * 2021-05-14 2022-07-29 江苏中天互联科技有限公司 基于工业互联网的型材切割状态监控方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
WO2016156236A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Method and electronic device
CN104881681B (zh) * 2015-05-22 2018-08-14 浙江大学 基于混合图模型的图像序列类别标注方法
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
US10049279B2 (en) * 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
CN106096568B (zh) * 2016-06-21 2019-06-11 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN106778854B (zh) * 2016-12-07 2019-12-24 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法
US10262218B2 (en) * 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
US10311326B2 (en) * 2017-03-31 2019-06-04 Qualcomm Incorporated Systems and methods for improved image textures
US11797837B2 (en) * 2017-04-24 2023-10-24 Intel Corporation Dynamic distributed training of machine learning models

Also Published As

Publication number Publication date
US10706547B2 (en) 2020-07-07
CN108986100A (zh) 2018-12-11
TWI689894B (zh) 2020-04-01
TW201903714A (zh) 2019-01-16
US20180350077A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
CN108986100B (zh) 影像切割方法及装置
CN105659286B (zh) 自动化图像裁剪和分享
KR102421819B1 (ko) 이미지에서의 시퀀스를 인식하는 방법 및 장치, 전자 기기 및 기억 매체
KR102538164B1 (ko) 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체
EP3138046B1 (en) Techniques for distributed optical character recognition and distributed machine language translation
WO2020228418A1 (zh) 视频处理方法及装置、电子设备和存储介质
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
CN109427061B (zh) 影像切割方法及装置
WO2020258902A1 (zh) 图像生成和神经网络训练方法、装置、设备和介质
JP6158882B2 (ja) 生成装置、生成方法、及び生成プログラム
JP2017211939A (ja) 生成装置、生成方法、及び生成プログラム
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN112381071A (zh) 一种视频流中目标的行为分析方法、终端设备及介质
KR101687828B1 (ko) 전자문서 생성방법 및 그 시스템
JP2023109570A (ja) 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法
CN110992387B (zh) 一种图像处理方法、装置及电子设备和存储介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
US20200074709A1 (en) Methods and systems for performing editing operations on media
CN113010736A (zh) 一种视频分类方法、装置、电子设备及存储介质
US11176696B2 (en) Point depth estimation from a set of 3D-registered images
US20180182056A1 (en) Information sending and receiving method and apparatus
US11770617B2 (en) Method for tracking target object
CN113609960B (zh) 一种目标图片的人脸驱动方法及装置
US10783616B2 (en) Method and apparatus for sharing and downloading light field image
CN111126454B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant