CN110574077B - 利用虚拟三维深层神经网络的影像分析装置及方法 - Google Patents

利用虚拟三维深层神经网络的影像分析装置及方法 Download PDF

Info

Publication number
CN110574077B
CN110574077B CN201880027104.8A CN201880027104A CN110574077B CN 110574077 B CN110574077 B CN 110574077B CN 201880027104 A CN201880027104 A CN 201880027104A CN 110574077 B CN110574077 B CN 110574077B
Authority
CN
China
Prior art keywords
dimensional
neural network
data
image
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027104.8A
Other languages
English (en)
Other versions
CN110574077A (zh
Inventor
金东珉
白钟焕
李明宰
孙智秀
姜信顼
金元泰
金东亿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jlk Inspection
Original Assignee
Jlk Inspection
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jlk Inspection filed Critical Jlk Inspection
Publication of CN110574077A publication Critical patent/CN110574077A/zh
Application granted granted Critical
Publication of CN110574077B publication Critical patent/CN110574077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

公开了一种利用虚拟三维深层神经网络的影像分析装置及方法。影像分析装置包括：影像获取部，按预先设定的顺序堆叠多个二维影像数据；三维影像生成部，基于对来自影像获取部的堆叠形态的多个二维影像数据的不同形态的多个信息，生成多个三维数据；以及深度学习算法分析部，对来自三维影像生成部的多个三维数据分别适用二维卷积神经网络，合并针对多个三维数据的二维卷积神经网络的适用结果。

Description

利用虚拟三维深层神经网络的影像分析装置及方法
技术领域
本发明的实施例涉及利用影像重组的影像分析技术，更详细地说涉及利用虚拟三维深层神经网络的影像分析装置及方法。
背景技术
人工神经网络(artificial neural network，ANN)是体现机械学习(machinelearning)的技术之一。
一般来讲，人工神经网络由输入层(input layer)、隐藏层(hidden layer)及输出层(output layer)组成。各个层由神经元(neuron)所构成，各层神经元与之前层的神经元的输出相连接。将之前层的神经元的各个输出值与其相应的连接加权值(weight)内积(inner product)后的值加上偏差(bias)的值，放进通常为非线性(non-linear)的激活函数(activation function)中后将其输出值传送给下一层的神经元。
现有的机械学习技术是通过在输入的数据中人为设计的特征提取(featureextraction)过程获得的信息中，学习分类器(classifier)，但是人工神经网络的特征是从头到尾学习特征提取和分类器(end-to-end learning)。
卷积神经网络(convolutional neural network，CNN)在影像识别领域以凌驾于现有机械学习技术的性能而备受瞩目。卷积神经网络的结构与普通的人工神经网络的结构基本相同，额外的构成因素是卷积层(convolutional layer)与采样层(pooling layer)。
普通的卷积神经网络的结构是卷积层和采样层交替进行，经过两三个左右的全连接层(fully-connected layer)最后抵达输出层。卷积层的神经网与之前层的与所有神经元全连接(fully-connected)的人工神经网络不同，只与之前层的小区域连接(localconnectivity)。
并且，如特征图(feature map)属于切片(slice)的神经元拥有相同的值(parameter sharing)的加权值和偏差。如此执行的演算为卷积，适用加权值的集合称为滤波器(filter)或者内核(kernel)。卷积神经网络可以有效提取影像中的特征，并且通过减少参数量防止过拟合(overfitting)，提升泛化(generalization)性能。
采样层位于卷积层之间，起到减少特征图(feature map)的空间(spatial)大小的作用。并且此过程也起到通过减少参数量防止过拟合的作用。使用最多的形态是将2x2的滤波器以2的间距适用的最大池化(max-pooling)法。此过程会将特征图的大小对于宽度和高度方向各减少一半。
另一方面，现有的技术有涉及用于视觉内容基础的影像识别的深度学习框架及影像识别方法的韩国公开专利公报第10-2016-0122452号(2016.10.24公开)。但是所述技术是提供适用基本的深度学习算法模型的框架，与构成特定结构的模型多少有些差别。
发明内容
(要解决的问题)
为解决所述现有技术的问题，本发明的目的在于提供在三维空间里将二维影像重组为三维数据，并且通过旋转重组的三维数据生成另一个三维数据，然后在生成的多个三维数据分别适用二维卷积神经网络后合并，从而能够在深层神经网络容易地分析三维影像数据的影像分析装置及方法。
(解决问题的手段)
为解决所述技术问题，根据本发明的另一面的利用虚拟三维深层神经网络的影像分析装置包括：影像获取部，按预先设定的顺序堆叠多个二维影像数据；三维影像生成部，基于对来自所述影像获取部的堆叠形态的多个二维影像数据的不同形态的多个信息，生成多个三维数据；以及深度学习算法分析部，对来自所述三维影像生成部的多个三维数据分别适用二维卷积神经网络，合并针对所述多个三维数据的二维卷积神经网络的适用结果。
在一实施例中，所述三维影像生成部能够在生成所述多个三维数据前，对所述多个二维影像数据分别执行零均值化(zero-mean)或者单位方差(unit-variance)演算。
在一实施例中，所述多个不同形态的多个信息可以包括识别根据所述堆叠的二维影像数据的时间或位置的对应于移动或者模样的变化的图案。
在一实施例中，所述深度学习算法分析部能够将针对所述多个三维数据的所述二维卷积神经网络的适用结果在卷积层(convolutional layer)、全连接层(fully-connected layer)、输出层(output layer)及导出最终结果的平均的决策层融合(decision level fusion)中的某一个进行合并。
为解决所述技术问题，根据本发明的另一面的利用虚拟三维深层神经网络的影像分析方法包括：在影像获取部按预先设定的顺序堆叠多个二维影像数据的步骤；在三维影像生成部基于对堆叠形态的所述多个二维影像数据的不同形态的多个信息，生成多个三维数据的步骤；及在深度学习算法分析部对所述多个三维数据分别适用二维卷积神经网络，合并针对所述多个三维数据的二维卷积神经网络的适用结果的步骤。
在一实施例中，所述生成步骤在生成所述多个三维数据之前，对所述多个二维影像数据分别执行零均值化(zero-mean)或者单位方差(unit-variance)演算。
在一实施例中，所述合并步骤将针对所述多个三维数据的所述二维卷积神经网络的适用结果在卷积层(convolutional layer)、全连接层(fully-connected layer)、输出层(output layer)及导出最终结果的平均的决策层融合(decision level fusion)中的某一个进行合并。
为解决所述技术问题，根据本发明的另一面的利用虚拟三维深层神经网络的影像分析装置包括：影像获取部，将二维影像按照摄影位置和时间顺序堆叠；三维影像生成部，由从所述影像获取部接收的二维影像生成第一三维影像数据，为了表示所述摄影位置或者时间的轴与其余两个轴的任何一个一致，旋转所述第一三维影像数据生成第二三维影像数据；以及对由从所述三维影像生成部接收的多个三维数据分别适用二维卷积神经网络，合并对各个三维数据的适用结果的深度学习算法分析部。
在一实施例中，所述三维影像生成部能够基于对通过所述二维影像的框架之间的差异或光流得到的所述二维影像进行旋转得出的其他二维影像，生成额外的三维数据。
为解决所述技术问题，根据本发明的另一面的利用虚拟三维深层神经网络的影像分析方法包括：在影像获取部将二维影像按照摄影位置或者时间顺序堆叠的的步骤；在三维影像生成部由从所述影像获取部接收的二维影像生成第一三维影像数据，为了表示所述摄影位置或者时间的轴与其余两个轴的任何一个一致，旋转所述第一三维影像数据生成第二三维影像数据的步骤；以及对由从所述三维影像生成部接收的多个三维数据分别适用二维卷积神经网络，合并对各个三维数据的适用结果的步骤。
在一实施例中，所述生成步骤能够基于对通过所述二维影像的框架之间的差异或光流得到的所述二维影像进行旋转得出的其他二维影像，生成额外的三维数据。
(发明的效果)
根据本发明，拥有能够利用比普通的三维卷积神经网络方法拥有更少的参数的二维卷积神经网络，更加有效的学习三维数据并分析影像的优点。
并且，根据本发明，能够解决参数过多导致占太多内存，学习耗时太长，且在利用学习的模型时计算时间太长的三维卷积神经网络模型的问题，并能够提供对三维影像数据进行有效的学习和影像分析的新的影像分析模型。
附图说明
图1是示出根据本发明的实施例的利用虚拟三维深层神经网络的影像分析装置的方框图。
图2是示出公式化示出图1的影像分析装置的工作原理的示例图。
图3是示出在图1的影像分析装置能够采用的二维卷积神经网络现有的工作原理的示例图。
图4示出根据比较例的三维卷积神经网络的工作原理的示例图。
图5是示出根据本发明的另一个实施例的利用虚拟三维深层神经网络的影像分析方法的流程图。
图6是示出根据本发明的另一个实施例的利用虚拟三维深层神经网络的影像分析装置的方框图。
具体实施方式
以下，参照附图更详细地说明本发明的可取的实施例。在说明本发明时为了更便于整体地理解，对附图的相同构成因素使用相同的附图标记，对相同的构成因素的重复说明给予省略。
图1是示出根据本发明的一实施例的利用虚拟三维深层神经网络的影像分析装置的方框图。
参照图1，根据本实施例的影像分析装置100包括影像获取部110、三维影像生成部120及深度学习算法分析部130。
影像获取部110准备根据二维影像的摄影角度或时间顺序堆叠的二维影像。影像获取部110能够连接至相机、控制部、通信部等。
三维影像生成部120通过从影像获取部110接收的二维影像生成多个三维数据。作为简单的例子，三维影像生成部120能够将三维数据重组为多个，所述重组的三维数据叠层二维影像并转换为第一三维数据，将转换的第一三维数据在三维空间以任意角度，优选三维空间的三个轴(x，y，z)中的任何一个轴旋转至另一个轴的位置以便生成第二三维数据。
这表示根据预设的标准，例如将根据时间轴叠层的多个二维影像数据，根据对所述多个二维影像数据的相对的时间或位置变化，可获得不同形态的多个三维数据。即，本实施例中堆叠二维影像数据，基于堆叠的二维影像数据的时间或位置变化，分别执行多个演算获得多个三维数据。三维数据可包括三维影像数据。
并且，作为一个例子，如细胞影像的包括动态视频信息的二维影像数据在各个二维影像数据拥有形态可变化位置可变化的形态，即可进行跟踪的状态。在这里，在考虑到轮廓线时，影像识别装置在根据位置或时间的二维影像数据中提取轮廓线已变化或位置稍微变化的差异，在对二维影像数据进行三维数据化时，基于提取的信息可识别对应于动作的变化或模样变化的图案。
换句话说，将二维影像数据在X-Y平面上沿着时间轴Z方向堆叠时，堆叠的二维影像数据拥有三维数据形态，在此，从上方和侧方查看堆叠的二维影像数据会发生差异，例如从上方查看二维影像数据时，所述差异可能被识别为形态上的差异的主要差异，从侧方查看二维影像数据时，所述差异根据时间的差异被识别为对其位置的变化。如此，在本实施例中获得并利用以堆叠的二维影像数据的其他形态识别的多个数据，即多个虚拟三维数据。
深度学习算法分析部130的对于重组的多个三维数据分别适用二维卷积神经网络(2D Convolutional Neural Network，CNN)，合并对各个三维数据的适用结果分析三维影像。
如此，本实施例以堆叠二维影像数据后，通过二维卷积神经网络学习对堆叠的二维影像数据的其他形态的信息，执行三维影像分析为主要技术特点。
前述构成因素110至130能够以硬件方式构成，但不限于此。影像分析装置100的构成因素能够体现为以软件模块形态储存于内存等储存装置，与储存装置连接的处理器执行软件模块从而以虚拟三维深层神经网络为基础有效学习并分析三维影像数据。
以下，详细说明利用虚拟三维深层神经网络的影像分析装置。
图2是示出公式化示出图1的影像分析装置的工作原理的示例图。
参照图2，影像获取部可以根据摄影位置或摄影时间堆叠从外部接收或获得的二维影像或者读取存储在影像分析装置外部或内部的存储器等的二维影像。
三维影像生成部利用从影像获取部接收的二维影像生成多个三维数据。三维数据可以包括三维影像数据。
三维影像生成部能够将多个二维影像按摄影位置或时间顺序叠层生成三维影像数据。三维影像生成部将生成的三维影像数据按预设角度进行旋转，从而生成额外的三维影像数据。
例如，对三维影像数据相互直交的三个方向进行分析时，根据下面的过程能够生成多个三维影像数据。即，如果将二维影像的两个轴设为x和y，表示二维影像的摄影位置或时间的轴设为z，则可以使用按z轴顺序叠层二维影像得出的三维数据Dxyz(第一三维数据)，将Dxyz分别向另外两个轴方向进行旋转得出的三维数据Dyzx和三维数据Dzxy。
当然，根据最终模型的储存器大小或计算速度或目标的性能，可以只对三个方向中的两个方向实施。
并且，三维影像生成部相加在上述的多个三维数据，可额外生成其他三维数据并进行使用。即，三维影像生成部对于从原来的二维影像中通过预设的计算得出的其他影像适用上述方法生成多个三维影像。例如，对各二维影像进行规格化(normalization)使得它们具有零均值(zero-mean)和单位方差(unit-variance)后，通过上述方法生成多个三维数据。
在另一个体现中，视频时，三维影像生成部可生成通过框架之间的差异或光流(optical flow)等的计算获得的影像和旋转其影像的额外的三维影像。
深度学习算法分析部能够根据需要对从三维影像生成部获得的多个三维数据分别以任意间隔分割、投影，从而生成多个二维数据集。多个二维数据集能够包括于三维数据中。
深度学习算法分析部对从三维影像生成部获得的多个三维数据分别适用二维卷积神经网络，并通过合并这些的过程获得影像分析结果。
在深度学习算法分析部中合并各二维卷积神经网络的地方可以是卷积层(convolutional layer)或者全连接层(fully-connected layer)或者输出层(outputlayer)或者是导出最终结果的平均的决策层融合(d ecision level fusion)。
图3是示出图1的影像分析装置能够采用的二维卷积神经网络现有的工作原理的示例图。图4是示出根据比较例的三维卷积神经网络的工作原理的示例图。
首先，参照图3，示出了二维卷积神经网络的卷积(convolution)计算结构。二维卷积神经网络的卷积计算结构可以表现为以下数学式1。
【数学式1】
数学式1中，表示第i个层(layer)的第j个特征图(feature map)中的(x，y)位置的值。
f(·)表示激活函数(activation function)。
bij表示对于相应的特征图的变差(bias)。
m表示第(i-1)个层的特征图的索引。
表示适用于第m个特征图的内核(kernel)或滤波器(filter)的(p，q)位置的值。
Pi和Qi分别显示内核的横向和竖向大小。
前述的二维卷积神经网络在影像识别中展现卓越的性能。但是，卷积(convolution)只计算二维空间(spatial)特征，因此只利用二维神经网络时，无法学习多个二维影像相聚的三维影像中的深度或时间方向的信息。
为克服上述技术问题，即使代替用三维卷积神经网络模型进行使用，普通的三维卷积神经网络为了分析三维影像学习三维滤波器，因此参数量过多导致占用太多内存且需要较长的学习时间(参照数学式2)。因此本实施例以新的方式组合并使用二维卷积神经网络的卷积计算结构和利用三维卷积神经网络的卷积计算结构。
在二维卷积神经网络的卷积计算结构结合三维卷积神经网络的卷积计算结构如图4所示，并且可以表现为以下数学式2。
【数学式2】
数学式2中，表示第i个层的第j个特征图中的(x，y，z)位置的值。
f(·)表示激活函数。
bij表示对于相应的特征图的变差。
m表示第(i-1)个层的特征图的索引。
表示适用于第m个特征图的内核(kernel)或滤波器(filter)的(p，q，r)位置的值。
Pi、Qi、Ri分别显示内核的横向、竖向以及深度(或者时间)方向的大小。
如此，前述的只利用三维卷积神经网络模型的现有技术由于基本的参数量太多导致占用太多内存，学习耗时较长，且在使用已学习的模型时也需要较长的计算时间。因此本实施例利用拥有比三维卷积神经网络更少的参数量的二维卷积神经网络，对三维影像数据进行有效的学习和影像分析。
即，深度学习算法分析部可导出由‘虚拟三维深层神经网络’的影响分析结果，所述影响分析结果包括对从三维影像生成部获得的多个二维数据集(多个三维数据)分别适用二维卷积神经网络，并合成其适用结果的过程。
图5是示出根据本发明的另一个实施例的利用虚拟三维深层神经网络的影像分析方法的流程图。
参照图5，根据本实施例的利用虚拟三维深层神经网络的影像分析方法，包括：首先在影像分析装置内的影像获取部，根据摄影位置或者时间堆叠特定组的二维影像步骤S51；利用二维影像生成三维影像(第一三维数据)，并旋转第一三维数据生成第二三维数据的步骤S52；并且对多个三维影像(第一及第二三维数据)分别适用二维卷积神经网络并合并对各个三维影像的适用结果的步骤S53。
根据本发明的利用虚拟三维深层神经网络的影像分析方法，利用比普通的三维卷积神经网络方法拥有更少的参数的二维卷积神经网络，从而更加有效的学习三维数据并适用于分析影像。这样的方法可以命名为根据‘虚拟三维深层神经网络’的方法。
图6是示出根据本发明的另一个实施例的利用虚拟三维深层神经网络的影像分析装置的方框图。
参照图6，根据本实施例的影像分析装置100可以包括通讯部160、控制部170以及储存器180。影像分析装置100可以体现为包含控制器或计算装置。影像分析装置100根据从用户、管理员、控制终端等的输入处理数据或信号后，能够连接至为了输出处理结果的输入输出装置190。并且，影像分析装置100能够与具备数据库的数据库系统200连接。数据库能够包含提供需要分析的影像的装置的识别信息、连接信息、验证信息中的至少一个。
本实施例的输入输出装置190及数据库系统200示为不包含在影像分析装置100的形态，但本发明不限于这样的结构，根据具体情况可以体现为输入输出装置190及数据库系统200中的至少任何一个以上。
通讯部160将影像分析装置100连接至通讯网络。通讯部160能够从通过网络访问的用户终端、服务器、管理员终端等，接收影像或影像分析的相关信息或信号。
通讯部160能够包含支持一个以上的通讯协议的一个以上的有线及/或无线通讯子系统。有线通讯子系统能包括为PSTN(public switched telephone network，公共交换电话网)、ADSL(Asymmetric Digital Subscriber Line，非对称数字用户线路)、VDSL(Veryhigh-data rate Digital Subscriber Line，超高速数字用户回路)网络或PES(PSTNEmulation Service，PSTN仿真服务)的子系统和IP(internet protocol，互联网协议)多媒体子系统(IMS)等。无线通讯子系统能够包括无线电频率(radio frequency，RF)接收器、RF发射机、RF收发器、光(例如,红外线)接收器、光发射机、光收发器或这些的组合。
无线网络一般指Wi-Fi，但不限于此。本实施例的通讯部160能够体现为支持多种无线网络，例如从GSM(Global System for Mobile Communication，全球移动通信系统)、EDGE(Enhanced Data GSM Environment，增强型数据GSM环境)、CDMA(Code DivisionMultiple Access，码分多址连接方式)、W-CDMA(W-Code Division Multiple Access，W码分多址连接方式)、LTE(Long Term Evolution，长期演进)、LET-A(LET-Advanced，演进计划)、OFDMA(Orthogonal Frequency Division Multiple Access，正交频分多址)、WiMax(全球微波接入互操作性)、Wi-Fi(Wireless Fidelity，无线保真)、Bluetooth(蓝牙)等中选择的至少一个以上的无线网络。
控制部170能够通过执行储存于内存或储存器180的软件模块或程序体现影像分析方法。例如，控制部170可以被称为处理器，并能够执行图5所示的一系列步骤。
控制部170能够体现为包含至少一个以上的中央处理器(CPU)或核心的处理器或微处理器。中央处理器或核心能够具备储存需要处理的命令的寄存器(register)；负责比较、判断、演算的运算器(arithmetic logical unit，ALU)；为解析和实行命令而内部控制CPU的控制部件(control unit)及连接这些的内部总线。中央处理装置或核心能够体现为与MCU(micro control unit)和周边装置(为外部扩展装置的集成电路)一同配置的SOC(system on chip)，但不限于此。
并且，控制部170可以包含一个以上的数据处理器，图像处理器或编码解码器(CODEC)，但不限于此。控制部170可以具备周边装置界面和储存器界面。周边装置界面连接控制部170和输入输出装置190等的输入输出系统或其他周边装置，储存器能够连接控制部170和储存器180。
储存器180可以储存利用虚拟三维深层神经网络分析影像的软件模块。软件模块可以包括分别执行图5的步骤们S51至S53的第一模块至第三模块。
上述的储存器180可以体现为非易失性内存(non-volatile RAM，NVRAM)，作为典型的易失性内存的DRAM(dynamic random access memory，动态随机访问存储器)等的半导体储存器、硬盘驱动器(hard disk drive，HDD)、光储存器、闪存等。并且储存器180除了利用三维深层神经网络分析影像的软件模块之外，还能储存操作系统、程序、命令集等。
另一方面，根据本实施例的影像分析方法可以体现为能够通过不同的计算机手段执行的程序命令形态并记录在计算机可读媒体。计算机可读媒体可以单独或组合包含程序命令、数据文件、数据结构等。记录在计算机可读媒体的程序命令可以是为本发明特意设计或构成的，或是给计算机软件技术人员通告从而可以使用的。
计算机可读媒体的例子包括为储存并执行只读储存器(rom)、随机存取储存器(ram)、闪存(flash memory)等程序命令而特意构成的硬件装置。程序命令的例子不仅包括通过编译系统(compiler)制作的机器语言代码，还包括通过使用解释器(interpreter)能够由计算机执行的高级语言代码。所述硬件装置为执行本发明的动作而可以运行为至少一个软件模块，反之亦然。
如此，本实施例提供用于分析三维影像数据构成深层神经网络的结构的方法。根据本实施例的虚拟三维深层神经网络结构能够用于在输入的医疗影像中诊断疾病，找出病变的位置，或在视频中识别人的动作等三维影像数据分析。
以上参照本发明的可取的实施例进行了说明，本发明的熟练技术人员应当理解在所述权利要求记载的本发明的思想及领域的范围内能够不同的修改及变更本发明。

Claims (5)

1.一种利用虚拟三维深层神经网络的影像分析装置，其特征在于，包括：
影像获取部，按预先设定的顺序堆叠多个二维影像数据；
三维影像生成部，基于对来自所述影像获取部的堆叠形态的多个二维影像数据的不同形态的多个信息，生成多个三维数据；及
深度学习算法分析部，对来自所述三维影像生成部的多个三维数据分别适用二维卷积神经网络，合并针对所述多个三维数据的二维卷积神经网络的适用结果，
所述三维影像生成部在生成所述多个三维数据前，对所述多个二维影像数据分别执行零均值化或者单位方差演算。
2.根据权利要求1所述的利用虚拟三维深层神经网络的影像分析装置，其特征在于，
所述多个不同形态的多个信息包括识别根据所述堆叠的二维影像数据的时间或位置的对应于移动或者模样的变化的图案。
3.根据权利要求1所述的利用虚拟三维深层神经网络的影像分析装置，其特征在于，
所述深度学习算法分析部将针对所述多个三维数据的所述二维卷积神经网络的适用结果在卷积层、全连接层、输出层及导出最终结果的平均的决策层融合中的某一个进行合并。
4.一种利用虚拟三维深层神经网络的影像分析方法，其特征在于，包括：
在影像获取部按预先设定的顺序堆叠多个二维影像数据的步骤；
在三维影像生成部基于对堆叠形态的所述多个二维影像数据的不同形态的多个信息，生成多个三维数据的步骤；及
在深度学习算法分析部对所述多个三维数据分别适用二维卷积神经网络，合并针对所述多个三维数据的二维卷积神经网络的适用结果的步骤，
所述生成步骤在生成所述多个三维数据之前，对所述多个二维影像数据分别执行零均值化或者单位方差演算。
5.根据权利要求4所述的利用虚拟三维深层神经网络的影像分析方法，其特征在于，
所述合并步骤将针对所述多个三维数据的所述二维卷积神经网络的适用结果在卷积层、全连接层、输出层及导出最终结果的平均的决策层融合中的某一个进行合并。
CN201880027104.8A 2017-03-24 2018-03-23 利用虚拟三维深层神经网络的影像分析装置及方法 Active CN110574077B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0037958 2017-03-24
KR20170037958 2017-03-24
PCT/KR2018/003404 WO2018174623A1 (ko) 2017-03-24 2018-03-23 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
CN110574077A CN110574077A (zh) 2019-12-13
CN110574077B true CN110574077B (zh) 2023-08-01

Family

ID=63585872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027104.8A Active CN110574077B (zh) 2017-03-24 2018-03-23 利用虚拟三维深层神经网络的影像分析装置及方法

Country Status (6)

Country Link
US (1) US10970520B1 (zh)
EP (1) EP3605472A4 (zh)
JP (1) JP6979664B2 (zh)
KR (1) KR102061408B1 (zh)
CN (1) CN110574077B (zh)
WO (1) WO2018174623A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018204917A1 (en) 2017-05-05 2018-11-08 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
WO2019219968A1 (en) * 2018-05-18 2019-11-21 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
KR102107182B1 (ko) * 2018-10-23 2020-05-06 전남대학교 산학협력단 손 제스처 인식 시스템 및 방법
KR102250163B1 (ko) * 2018-11-23 2021-05-10 네이버웹툰 유한회사 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
RU2703327C1 (ru) * 2018-12-10 2019-10-16 Самсунг Электроникс Ко., Лтд. Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
KR102263005B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 동적으로 3d cnn을 이용하는 고속 영상 인식 방법 및 장치
KR102263017B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 3d cnn을 이용한 고속 영상 인식 방법 및 장치
US11851217B1 (en) * 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
CN111988666B (zh) * 2019-05-23 2022-04-26 阿里巴巴集团控股有限公司 视频检测、3d卷积与映射方法、设备及存储介质
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
KR102081854B1 (ko) 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
KR102219364B1 (ko) * 2019-09-19 2021-02-25 주식회사 싸인텔레콤 영상감지장치 기반의 버스정류장 조명제어 시스템
TWI730452B (zh) * 2019-10-16 2021-06-11 逢甲大學 立體類神經網路系統
KR102166835B1 (ko) 2019-10-28 2020-10-16 주식회사 루닛 신경망 학습 방법 및 그 장치
KR102581941B1 (ko) * 2019-12-27 2023-09-22 권세기 딥러닝을 이용한 반려견의 입마개 착용 여부 감시 시스템 및 방법
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
US11276249B2 (en) 2020-05-14 2022-03-15 International Business Machines Corporation Method and system for video action classification by mixing 2D and 3D features
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
US20210398338A1 (en) * 2020-06-22 2021-12-23 Nvidia Corporation Image generation using one or more neural networks
KR102453834B1 (ko) * 2020-07-15 2022-10-11 한국로봇융합연구원 다수의 열화상 및 영상 카메라의 출력 정보를 심층신경망 모델의 입력데이터로 구조화하기 위한 방법
CN111985618B (zh) * 2020-08-14 2024-03-05 杭州海康威视数字技术股份有限公司 3d卷积神经网络在神经网络处理器上的处理方法和装置
KR102505994B1 (ko) * 2020-09-28 2023-03-07 (주)제이엘케이 경량 3차원 볼륨 데이터 획득 시스템 및 방법
KR102575224B1 (ko) * 2021-01-07 2023-09-08 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
KR20230027948A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 이미지 초고해상도를 위한 컨볼루션 신경망 시스템
KR20230027949A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 초고해상도 컨볼루션 신경망 시스템의 연산량 감소 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105838A (ja) 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
JP2000293704A (ja) 1999-04-02 2000-10-20 Kazuo Yamada ３次元データ表示装置及び３次元データ表示方法並びに情報記録媒体
JP2010051691A (ja) 2008-08-29 2010-03-11 Shimadzu Corp 超音波診断装置
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
US11094137B2 (en) * 2012-02-24 2021-08-17 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
SG11201604981UA (en) 2013-12-19 2016-07-28 Avigilon Fortress Corp System and method for identifying faces in unconstrained media
US9898804B2 (en) * 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
US9715642B2 (en) * 2014-08-29 2017-07-25 Google Inc. Processing images using deep neural networks
US9928410B2 (en) 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
KR20160061856A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR102276339B1 (ko) 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
KR101719278B1 (ko) 2015-04-14 2017-04-04 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법
GB2543893A (en) 2015-08-14 2017-05-03 Metail Ltd Methods of generating personalized 3D head models or 3D body models
US11425866B2 (en) * 2015-11-03 2022-08-30 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
US11055063B2 (en) * 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
US10282918B2 (en) * 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
HK1224513A (zh) * 2016-10-14 2017-08-18 萬維數碼有限公司 通過機器學習技術改進 的自動轉換質量的方法
JP2018067154A (ja) * 2016-10-19 2018-04-26 ソニーセミコンダクタソリューションズ株式会社 演算処理回路および認識システム
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
US11195280B2 (en) * 2017-06-08 2021-12-07 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Progressive and multi-path holistically nested networks for segmentation
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3474192A1 (en) * 2017-10-19 2019-04-24 Koninklijke Philips N.V. Classifying data
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
US11636668B2 (en) * 2017-11-10 2023-04-25 Nvidia Corp. Bilateral convolution layer network for processing point clouds
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US10552664B2 (en) * 2017-11-24 2020-02-04 International Business Machines Corporation Image feature classification and localization using discriminative representations for robotic surgical control
US11132797B2 (en) * 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
KR102106694B1 (ko) * 2018-05-17 2020-05-04 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
US10297070B1 (en) * 2018-10-16 2019-05-21 Inception Institute of Artificial Intelligence, Ltd 3D scene synthesis techniques using neural network architectures
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Action Recognition From Depth Maps Using Deep Convolutional Neural Networks;Pichao Wang .etc;《IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS》;20151217;第46卷(第4期);489-509 *
深度学习及其在医学图像分析中的应用研究;王媛媛等;《电视技术》;20161017(第10期);118-126 *
深度学习在神经影像中的应用研究;田苗等;《中国医疗设备》;20161225(第12期);4-9 *

Also Published As

Publication number Publication date
US10970520B1 (en) 2021-04-06
WO2018174623A1 (ko) 2018-09-27
EP3605472A1 (en) 2020-02-05
KR102061408B1 (ko) 2019-12-31
EP3605472A4 (en) 2020-12-23
KR20180108501A (ko) 2018-10-04
US20210103716A1 (en) 2021-04-08
CN110574077A (zh) 2019-12-13
JP2020513124A (ja) 2020-04-30
JP6979664B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
CN110574077B (zh) 利用虚拟三维深层神经网络的影像分析装置及方法
US11508146B2 (en) Convolutional neural network processing method and apparatus
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN110033003B (zh) 图像分割方法和图像处理装置
US10891537B2 (en) Convolutional neural network-based image processing method and image processing apparatus
CN112308200B (zh) 神经网络的搜索方法及装置
US11151361B2 (en) Dynamic emotion recognition in unconstrained scenarios
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
Vig et al. Large-scale optimization of hierarchical features for saliency prediction in natural images
EP4145353A1 (en) Neural network construction method and apparatus
Hattori et al. Synthesizing a scene-specific pedestrian detector and pose estimator for static video surveillance: Can we learn pedestrian detectors and pose estimators without real data?
Li et al. Deep learning methods in real-time image super-resolution: a survey
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN110222718B (zh) 图像处理的方法及装置
Talab et al. Super-low resolution face recognition using integrated efficient sub-pixel convolutional neural network (ESPCN) and convolutional neural network (CNN)
CN110023989A (zh) 一种素描图像的生成方法及装置
WO2022052782A1 (zh) 图像的处理方法及相关设备
JP2021096850A (ja) 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
JP2024026745A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
Zeng et al. Gum-net: Unsupervised geometric matching for fast and accurate 3d subtomogram image alignment and averaging
KR102634186B1 (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
CN116888605A (zh) 神经网络模型的运算方法、训练方法及装置
KR102358355B1 (ko) 얼굴 영상의 점진적 디블러링 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant