CN113424203A - 图像处理设备及其操作方法 - Google Patents

图像处理设备及其操作方法 Download PDF

Info

Publication number
CN113424203A
CN113424203A CN202080013383.XA CN202080013383A CN113424203A CN 113424203 A CN113424203 A CN 113424203A CN 202080013383 A CN202080013383 A CN 202080013383A CN 113424203 A CN113424203 A CN 113424203A
Authority
CN
China
Prior art keywords
feature information
piece
information
sub
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080013383.XA
Other languages
English (en)
Inventor
朴在演
朴镛燮
安一埈
白相旭
千岷洙
崔光杓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113424203A publication Critical patent/CN113424203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种图像处理设备，包括：存储器，存储至少一个指令；以及处理器，被配置为执行存储在存储器中的所述至少一个指令以执行以下操作：通过对第一图像和多个卷积层中的第一卷积层中包括的第一内核执行卷积运算来获得第一特征信息；基于第一特征信息获得至少一条特性信息；基于第一特征信息和所述至少一条特性信息获得第二特征信息；通过对获得的第二特征信息和包括在第二卷积层中的第二内核执行卷积运算来获得第三特征信息，其中，第二卷积层是所述多个卷积层中的第一卷积层的下一层；以及基于第三特征信息获得输出图像。

Description

图像处理设备及其操作方法
技术领域
本公开涉及一种用于通过使用卷积神经网络来处理图像的图像处理设备及其操作方法，并且更具体地，涉及一种能够提高图像处理性能的图像处理设备及其操作方法。
背景技术
随着计算机技术的发展，数据流量以指数函数的形式增加，人工智能(AI)已经成为引领未来创新的重要趋势。因为AI模拟人们的思考方式，所以它实际上可以无限地应用于所有行业。代表性的AI技术包括模式识别、机器学习、专家系统、神经网络和自然语言处理。
神经网络通过数学表达式模拟人类生物神经元的特性，并使用一种模拟人类学习能力的算法。通过该算法，神经网络能够产生输入数据和输出数据之间的映射，并且产生这种映射的能力可以被称为神经网络的学习能力。此外，神经网络具有基于学习结果针对不用于学习的输入数据产生正确输出数据的泛化能力。
当通过使用卷积神经网络(CNN)来处理图像时，因为通过仅使用在先前层中产生的特征信息来执行卷积运算，所以不能从在先前层中产生的特征信息获得的特性不能被反映在图像处理中。
发明内容
技术方案
提供了一种图像处理设备及其操作方法，其中，可以通过将从作为卷积运算的结果而产生的多条特性信息获得的特征信息与多条现有特征信息组合并将组合的特征信息用于卷积运算来提高图像处理的性能。
有益效果
根据本公开实施例的图像处理设备可以通过将从在CNN中获得的现有特征信息获得的至少一个特性与现有特征信息组合来执行卷积运算，从而通过使用CNN来使用在卷积运算中从现有特征信息不可获得的其他特性和特征。
可以有意地获得根据本公开的实施例的至少一条特性信息，并且通过在将有意获得的特性信息与现有特征信息组合之后执行卷积运算，可以在沿预期方向处理图像的同时保持现有特征。
根据本公开的实施例的图像处理设备可以在不大幅增加硬件复杂度的情况下提高图像处理性能。
附图说明
图1是用于描述根据本公开的实施例的由图像处理设备执行的通过使用卷积神经网络来处理图像的方法的示图；
图2是用于描述根据本公开的另一实施例的由图像处理设备执行的通过使用卷积神经网络来处理图像的方法的示图；
图3是用于描述根据本公开的实施例的获得至少一条特性信息的方法的示图；
图4是用于描述根据本公开的实施例的由图像处理设备执行的从至少一条特性信息获得至少一条子特征信息的方法的示图；
图5是用于描述根据本公开的实施例的由图像处理设备执行的从至少一条特性信息获得至少一条子特征信息的方法的示图；
图6是用于描述根据本公开的实施例的由图像处理设备执行的获得第二特征信息的方法的示图；
图7是用于描述根据本公开的另一实施例的由图像处理设备执行的通过使用卷积神经网络来处理图像的方法的示图；
图8是用于描述根据本公开的另一实施例的由图像处理设备执行的通过使用卷积神经网络来处理图像的方法的示图；
图9是用于描述根据本公开的另一实施例的由图像处理设备执行的通过使用卷积神经网络来处理图像的方法的示图；
图10是根据本公开的实施例的图像处理设备的操作方法的流程图；
图11是根据本公开的实施例的图像处理设备的配置的框图；以及
图12是根据本公开的实施例的处理器的框图。
最佳模式
提供了一种图像处理设备及其操作方法，其中，可以通过将从作为卷积运算的结果而产生的多条特性信息获得的特征信息与多条现有特征信息组合并将组合的特征信息用于卷积运算来提高图像处理的性能。
另外的方面将部分地在下面的描述中阐述，并且将部分地从描述中显而易见，或者可以通过实践本公开的所呈现的实施例被学习。
根据本公开的实施例，一种图像处理设备包括：存储器，存储至少一个指令；以及处理器，被配置为执行存储在存储器中的所述至少一个指令以执行以下操作：通过对第一图像和多个卷积层中的第一卷积层中包括的第一内核执行卷积运算来获得第一特征信息；基于第一特征信息获得至少一条特性信息；基于第一特征信息和至少一条特性信息获得第二特征信息；通过对获得的第二特征信息和包括在所述多个卷积层中的第二卷积层中的第二内核执行卷积运算来获得第三特征信息，其中，第二卷积层是第一卷积层的下一层；以及基于第三特征信息获得输出图像。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：通过对第一特征信息执行滤波或转换来从第一特征信息获得所述至少一条特性信息。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：从第一特征信息获得关于第一特征信息的频率特性信息。
处理器还可以被配置为执行所述行至少一个指令以执行以下操作：从所述至少一条特性信息获得第一子特征信息；以及通过组合第一特征信息和第一子特征信息来获得第二特征信息。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：通过对所述至少一条特性信息和第一子内核执行卷积运算来从所述至少一条特性信息获得第一子特征信息。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：基于第一特征信息、所述至少一条特性信息和第一子特征信息来获得第二特征信息。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：从所述至少一条特性信息进一步获得第二子特征信息；以及基于所述至少一条特性信息、第一特征信息、第一子特征信息和第二子特征信息来获得第二特征信息。
处理器还可以被配置为执行所述至少一个指令以执行以下操作：通过对所述至少一条特性信息和第二子内核执行卷积运算来从所述至少一条特性信息获得第二子特征信息。
处理器还可以被配置为执行所述至少一个指令以通过以下操作来获得第二特征信息：将通过将第一特征信息和第一子特征信息相乘而获得的值与通过将所述至少一条特性信息和第二子特征信息相乘而获得的值相加。
根据本公开的另一实施例，一种图像处理设备的操作方法包括：通过对第一图像和多个卷积层中的第一卷积层中包括的第一内核执行卷积运算来获得第一特征信息；基于第一特征信息获得至少一条特性信息；基于第一特征信息和所述至少一条特性信息获得第二特征信息；通过对获得的第二特征信息和包括在所述多个卷积层中的第二卷积层中的第二内核执行卷积运算来获得第三特征信息，其中，第二卷积层是第一卷积层的下一层；以及基于第三特征信息获得输出图像。
根据本公开的另一实施例，一种图像处理设备包括：存储器，存储至少一个指令；以及处理器，被配置为执行存储在存储器中的所述至少一个指令以执行以下操作：通过对输入信号进行滤波或变换来从输入信号获得至少一条特性信息；获得输入信号的第一特征信息；通过对所述至少一条特性信息和所述多个卷积层中的卷积层中的第一子内核执行卷积运算，从所述至少一条特性信息获得第一子特征信息；通过对所述至少一条特性信息和所述多个卷积层中的卷积层中的第二子内核执行卷积运算，从所述至少一条特性信息获得第二子特征信息；基于第一特征信息、所述至少一条特性信息、第一子特征信息和第二子特征信息获得第二特征信息；通过对第二特征信息和所述多个卷积层中的卷积层中包括的第二内核执行卷积运算，从第二特征信息获得第三特征信息；并且基于第三特征信息获得输出图像。
具体实施方式
在整个公开中，表达“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c全部或其变形。
将简要定义说明书中使用的术语，并且将详细描述本公开的实施例。
这里使用的包括描述性或技术术语的所有术语应被解释为具有对本领域普通技术人员显而易见的含义。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可以具有不同的含义。此外，一些术语可以由申请人任意选择，并且在这种情况下，将在本公开的具体实施方式中详细描述选择的术语的含义。因此，这里使用的术语必须基于术语的含义以及整个说明书中的描述来定义。
当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件还可以包括其他元件，而不排除其他元件。在以下描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，所述单元和块可以被实现为硬件或软件或者通过组合硬件和软件被实现。
在下文中，将参照附图详细描述本公开的实施例，使得本领域普通技术人员可以容易地实现本公开的实施例。然而，本公开的实施例可以以许多不同的形式实现，并且不限于这里描述的那些形式。在附图中，为了清楚地描述本公开，省略了与描述无关的组件，并且在整个说明书中，附图中的相同的附图标号表示相同或相似的元件。
图1是用于描述根据本公开的实施例的由图像处理设备执行的通过使用卷积神经网络(CNN)50来处理图像的方法的示图。该方法可以由图11所示的将在下面详细描述的图像处理设备100执行。
参照图1，根据本公开的实施例的图像处理设备可以通过使用CNN 50对输入图像10执行图像处理来获得输出图像20。
参照图1，CNN 50可包括多个卷积层。例如，多个卷积层可以包括第一卷积层51至第n卷积层57(Conv_1至Conv_n)。此外，输入到CNN 50的输入图像是低分辨率图像，并且输出图像20可以是高分辨率图像，因此，CNN50还可以包括放大器58，但是本公开的实施例不限于此。
在第一卷积层51至第n卷积层57中的每个卷积层中，可以在内核与输入到第一卷积层51至第n卷积层57中的每个卷积层的至少一个图像(特征图)之间执行卷积运算，并且可以输出作为卷积运算的结果而产生的至少一个图像(或特征图)。此外，从当前卷积层输出的至少一个特征图可以被输入到下一卷积层。
例如，从第一卷积层51输出的值(例如，特征信息)可以被输入到第二卷积层52，并且从第二卷积层52输出的值可以被输入到第三卷积层(未示出)。
通过使用CNN 50，图像处理设备100可以获得关于输入图像10的多条特征信息，并且基于获得的多条特征信息获得对输入图像10执行图像处理的输出图像20。这里，图像处理可以包括各种类型的图像处理(诸如图像增强、分辨率增加、图像中的对象识别、细节增强等)，但不限于此。
根据本公开实施例的图像处理设备100可以基于从第一卷积层51至第n卷积层57中的第m卷积层55获得的第一特征信息60来获得至少一条特性信息。例如，图像处理设备100可以对第一特征信息60进行滤波或者对第一特征信息60执行变换，以获得至少一条特性信息70(例如，第一特性信息、第二特性信息和第三特性信息)。这将在下面详细描述。
图像处理设备100可基于至少一条特性信息70和第一特征信息60来获得第二特征信息。例如，图像处理设备100可以通过组合第一特征信息60和至少一条特性信息70来获得第二特征信息。可选地，图像处理设备100可以从至少一条特性信息70获得至少一条子特征信息，并且通过组合第一特征信息60和至少一条子特征信息来获得第二特征信息。可选地，图像处理设备100可以通过组合第一特征信息60、至少一条特性信息70和至少一条子特征信息来获得第二特征信息。这将在下面详细描述。
获得的第二特征信息可以被输入到第m+1卷积层56，输入的第二特征信息可以被包括在第m+1卷积层56中，使得可以利用内核执行卷积运算，并且可以基于此获得输出图像20。
这里，第m卷积层55可以包括第一卷积层51至第n-1卷积层(未示出)中的至少一个卷积层，但不限于此。此外，可以从输入图像10获得根据本公开实施例的至少一条特性信息70。例如，可以通过对输入图像10进行滤波或者通过对输入图像10执行变换来获得至少一条特性信息70。
图2是用于描述根据本公开的另一实施例的由图像处理设备100执行的通过使用CNN 50来处理图像的方法的示图。
参照图2，根据本公开实施例的图像处理设备100可以基于从第m卷积层55获得的第一特征信息60来获得至少一条特性信息330。将参照图3描述获得至少一条特性信息330的方法。
图3是用于描述根据本公开的实施例的获得至少一条特性信息的方法的示图。
根据本公开实施例的图像处理设备100可以通过对从第m卷积层55获得的第一特征信息60进行滤波来获得至少一条特性信息。
例如，图像处理设备100可以通过使用高斯滤波器执行滤波或者执行离散余弦变换(DCT)或小波变换来获得频率特性信息。
参照图3，图像处理设备100可以通过应用四个滤波器内核(即，第一滤波器内核至第四滤波器内核311、312、313和314)对第一特征信息60执行卷积运算。图像处理设备100可通过在第一特征信息60与第一滤波器内核311之间执行卷积运算来获得第一滤波信息321，通过在第一特征信息60与第二滤波器内核312之间执行卷积运算来获得第二滤波信息322，通过在第一特征信息60与第三滤波器内核313之间执行卷积运算来获得第三滤波信息323，以及通过在第一特征信息60与第四滤波器内核314之间执行卷积运算来获得第四滤波信息324。在图3中，示出并描述了四个滤波器内核，但是滤波器内核的数量不限于此。此外，滤波器内核可以是高斯内核，但不限于此。
用于对第一特征信息60进行滤波的第一滤波器内核311至第四滤波器内核314的权重值可以是预设值。
图像处理设备100可通过计算第一滤波信息321与第二滤波信息322之间的差来获得第一特性信息331，通过计算第二滤波信息322与第三滤波信息323之间的差来获得第二特性信息332，并且通过计算第三滤波信息323与第四滤波信息324之间的差来获得第三特性信息333。
这里，第一特性信息331至第三特性信息333可以分别是高频特性信息、中间特性特征信息和低频特性信息。
可选地，根据本公开实施例的图像处理设备100可以通过执行霍夫变换、拉东变换等从第一特征信息60获得关于线的特性信息。
可选地，图像处理设备100可以通过执行Harris角点、Shi-Tomasi角点等从第一特征信息60获得关于关键点的特性信息。然而，本公开的实施例不限于此。
返回参照图2，根据本公开实施例的图像处理设备100可以从至少一条特性信息330获得至少一条子特征信息。例如，可以经由至少一条特性信息330与包括在第一子卷积层400中的第一子内核之间的卷积运算来获得第一子特征信息，并且可以经由至少一条特性信息330与包括在第二子卷积层500中的第二子内核之间的卷积运算来获得第二子特征信息。这将参照图4和图5进行描述。
图4和图5是用于描述根据本公开的实施例的由图像处理设备100执行的从至少一条特性信息获得至少一条子特征信息的方法的示图。
参照图4，根据本公开的实施例的至少一条特性信息可以包括第一特性信息331至第三特性信息333。这里，第一特性信息331至第三特性信息333可以从根据本公开的实施例的第一特征信息60被获得，并且可以分别是高频特性信息、中频特性信息和低频特性信息，但不限于此。
图像处理设备100可以通过在至少一条特性信息和子内核之间执行卷积运算来获得关于至少一条特性信息的多条子特征信息(特性特征信息)。
例如，图像处理设备100可以通过在第一特性信息331(Ci,c1)至第三特性信息333(Ci,c3)与第一子内核集410之间执行卷积运算来获得多条第一子特征信息420。这里，第一子内核集410可以包括具有深度n的三个内核ki,c1,1,...,ki,c1,n,ki,c2,1,...,ki,c2,n,ki,c3,1,...,ki,c3,n，并且获得的多条第一子特征信息420(fi,c1,1,...,fi,c1,n,fi,c2,1,...,fi,c2,n,fi,c3,1,...,fi,c3,n)可以包括具有深度n的三条特征信息。这里，深度n可以被确定为与从第一卷积层获得的第一特征信息的深度相同的值，但不限于此。
此外，参照图5，图像处理设备100可以通过在第一特性信息331至第三特性信息333与第二子内核集510之间执行卷积运算来获得多条第二子特征信息520(f'i,c1,1,...,f'i,c1,n,f'i,c2,1,...,f'i,c2,n,f'i,c3,1,...,f'i,c3,n)。这里，第二子内核集510可以包括具有深度n的三个内核k'i,c1,1,...,k'i,c1,n,k'i,c2,1,...,k'i,c2,n,k'i,c3,1,...,k'i,c3,n,，并且获得的多条第二子特征信息520可以包括具有深度n的三条特征信息。这里，深度n可以被确定为与从第一卷积层获得的第一特征信息的深度相同的值，但不限于此。
可以经由训练来确定根据本公开的实施例的包括在第一子内核集410和第二子内核集510中的权重值，并且可以将第一子内核集410的权重值和第二子内核集510的权重值确定为不同的值。
返回参照图2，特性组合器600可以基于第一特征信息、至少一条特性信息、第一子特征信息和第二子特征信息来获得第二特征信息。
这将参照图6进行描述。
图6是用于描述根据本公开的实施例的由图像处理设备100执行的获得第二特征信息的方法的示图。
参照图6，特性组合器600可以基于从第一卷积层获得的第一特征信息fi、从第一特征信息fi获得的至少一条特性信息Ci,c(Ci,c1,Ci,c2,Ci,c3)以及从至少一条特性信息Ci,c获得的第一子特征信息fi,c(fi,c1,1,...,fi,c1,n,fi,c2,1,...,fi,c2,n,fi,c3,1,...,fi,c3,n)和第二子特征信息f'i,c(f'i,c1,1,...,f'i,c1,n,f'i,c2,1,...,f'i,c2,n,f'i,c3,1,...,f'i,c3,n)来获得第二特征信息fi+1。
这里，可以经由逐元素乘法来执行乘法，并且为了将至少一条特性信息Ci,c与第二子特征信息f'i,c相乘，至少一条特性信息Ci,c的深度可以被配置为与第二子特征信息f'i,c的深度n相同。此外，可以经由逐元素求和来执行加法。
特性组合器600可以通过以下操作来获得第二特征信息fi+1：将通过将第一特征信息fi和第一子特征信息fi,c相乘而获得的值与通过将至少一条特性信息Ci,c和第二子特征信息f'i,c相乘而获得的值相加。
可选地，特性组合器600可以通过以下操作来获得第二特征信息fi+1：将通过将第一特征信息fi和第一子特征信息fi,c相乘而获得的值与第二子特征信息f'i,c相加。
返回参照图2，可以将获得的第二特征信息输入到第m+1卷积层56，可以通过在输入的第二特征信息和第m+1卷积层56中包括的第二内核之间执行卷积运算来获得第三特征信息，并且可以基于第三特征信息获得输出图像20。
图7是用于描述根据本公开的另一实施例的由图像处理设备100执行的通过使用CNN 50来处理图像的方法的示图。
参照图7，根据本公开实施例的图像处理设备100可以基于从第m卷积层55获得的第一特征信息60来获得至少一条特性信息330。因为上面已经参照图3描述了获得至少一条特性信息的方法，所以不再提供其详细描述。
此外，图像处理设备100可从至少一条特性信息330获得特征信息。例如，图像处理设备100可以通过在至少一条特性信息330和子内核集之间执行卷积运算来获得多条子特征信息。
特性组合器600可以通过将第一特征信息fi和第一子特征信息fi,c相乘来获得第二特征信息fi+1。
可选地，特性组合器600可以通过将第一特征信息fi和第一子特征信息fi,c相加来获得第二特征信息fi+1。
这里，可以经由逐元素乘法来执行乘法，并且可以经由逐元素求和来执行加法。
可以将获得的第二特征信息fi+1输入到第m+1卷积层56，可以通过在输入的第二特征信息fi+1和第m+1卷积层56中包括的第二内核之间执行卷积运算来获得第三特征信息，并且可以基于第三特征信息获得输出图像20。
图8是用于描述根据本公开的另一实施例的由图像处理设备100执行的通过使用CNN 50来处理图像的方法的示图。
参照图8，根据本公开实施例的图像处理设备100可以基于从第m卷积层55获得的第一特征信息60来获得至少一条特性信息330。因为上面已经参照图3描述了获得至少一条特性信息的方法，所以不再提供其详细描述。
此外，图像处理设备100可从至少一条特性信息330获得特征信息。例如，图像处理设备100可以通过在至少一条特性信息330和子内核集之间执行卷积运算来获得多条子特征信息。
特性组合器600可以通过组合第一特征信息fi、至少一条特性信息Ci,c和第一子特征信息fi,c来获得第二特征信息fi+1。
例如，特性组合器600可以通过以下操作来获得第二特征信息fi+1：将通过将至少一条特性信息Ci,c和第一子特征信息fi,c,相乘而获得的值与第一特征信息fi相加。
这里，可以经由逐元素乘法来执行乘法，并且为了将至少一条特性信息Ci,c与第一子特征信息fi,c相乘，至少一条特性信息Ci,c的深度可以被配置为与第一子特征信息fi,c的深度n相同。此外，可以经由逐元素求和来执行加法。
可以将获得的第二特征信息fi+1输入到第m+1卷积层56，可以通过在输入的第二特征信息fi+1和第m+1卷积层56中包括的第二内核之间执行卷积运算来获得第三特征信息，并且可以基于第三特征信息获得输出图像20。
图9是用于描述根据本公开的另一实施例的由图像处理设备100执行的通过使用CNN 50来处理图像的方法的示图。
参照图9，根据本公开实施例的图像处理设备100可以从输入图像10获得至少一条特性信息330。例如，图像处理设备100可以通过对输入图像10进行滤波或对输入图像10进行变换来获得至少一条特性信息330。因为上面已经参照图3描述了经由滤波获得至少一条特性信息的方法，所以不再提供其详细描述。
此外，根据本公开实施例的图像处理设备100可以从至少一条特性信息330获得至少一条子特征信息。例如，可以经由至少一条特性信息330与包括在第一子卷积层400中的第一子内核之间的卷积运算来获得第一子特征信息，并且可以经由至少一条特性信息330与包括在第二子卷积层500中的第二子内核之间的卷积运算来获得第二子特征信息。因为已经参照图4和图5详细描述了这一点，所以不再提供其详细描述。
图像处理设备100可以从第m卷积层55获得第一特征信息fi，并且特性组合器600可以基于第一特征信息fi、至少一条特性信息Ci,c、第一子特征信息fi,c和第二子特征信息f'i,c获得第二特征信息fi+1。
可以将获得的第二特征信息fi+1输入到第m+1卷积层56，可以在输入的第二特征信息fi+1和包括在第m+1卷积层56中的内核之间执行卷积运算，并且可以基于此获得输出图像20。
图10是根据本公开的实施例的图像处理设备100的操作方法的流程图。
参照图10，在操作S1010，根据本公开实施例的图像处理设备100可以通过在第一图像与包括在第一卷积层中的第一内核之间执行卷积运算来获得第一特征信息。
根据本公开实施例的图像处理设备100可以通过使用包括n个卷积层的CNN处理输入图像来获得输出图像。这里，在每个卷积层中，可以在输入到卷积层的图像(特征信息)和包括在卷积层中的内核之间执行卷积运算，并且可以输出作为卷积运算的结果而产生的特征信息。图像处理设备100可以通过在输入到n个卷积层中的第m卷积层的第一图像与包括在第m卷积层中的第一内核之间执行卷积运算来获得第一特征信息。这里，第m卷积层可以包括第一卷积层至第n-1卷积层中的至少一个卷积层，但不限于此。
在操作S1020，根据本公开实施例的图像处理设备100可以基于第一特征信息获得至少一条特性信息。
图像处理设备100可以通过对第一特征信息进行滤波或变换来获得至少一条特性信息。因为上面已经参照图3描述了通过对第一特征信息进行滤波来获得至少一条特性信息的方法，所以不再提供其详细描述。
在操作S1030，根据本公开实施例的图像处理设备100可基于第一特征信息和至少一条特性信息来获得第二特征信息。
图像处理设备100可以从至少一条特性信息获得至少一条子特征信息。例如，图像处理设备100可以在至少一条特性信息和子内核之间执行卷积运算，以获得关于至少一条特性信息的至少一条子特征信息。
图像处理设备100可以通过组合第一特征信息、至少一条特性信息和至少一条子特征信息来获得第二特征信息。因为已经参照图6详细描述了这一点，所以不再提供其详细描述。
在操作S1040，图像处理设备100可通过将第二特征信息输入到作为第一卷积层的下一层的第二卷积层并且在第二特征信息与包括在第二卷积层中的第二内核之间执行卷积运算来获得第三特征信息。
在操作S1050，图像处理设备100可以基于第三特征信息获得输出图像。
图11是根据本公开的实施例的图像处理设备100的配置的框图。
参照图11，根据本公开实施例的图像处理设备100可以包括处理器120和存储器130。
根据本公开实施例的处理器120可以总体上控制图像处理设备100。根据本公开实施例的处理器120可以执行存储在存储器130中的至少一个程序。
根据本公开实施例的存储器130可以存储用于驱动和控制图像处理设备100的各种类型的数据、程序或应用。存储在存储器130中的程序可以包括至少一个指令。存储在存储器130中的程序(例如，至少一个指令)或应用可以由处理器120执行。
根据本公开实施例的处理器120可以通过在第一图像和包括在第一卷积层中的第一内核之间执行卷积运算来获得第一特征信息。
处理器120可以基于第一特征信息获得至少一条特性信息。例如，处理器120可以通过对第一特征信息进行滤波或变换来获得至少一条特性信息。因为上面已经参照图3描述了获得至少一条特性信息的方法，所以不再提供其详细描述。
处理器120可以从至少一条特性信息获得至少一条子特征信息。例如，处理器120可以在至少一条特性信息和子内核之间执行卷积运算，以获得至少一条子特征信息。
可选地，处理器120可以基于第一特征信息、至少一条特性信息和至少一条子特征信息来获得第二特征信息。
例如，处理器120可以通过将第一特征信息和至少一条特性信息相加或相乘来获得第二特征信息。可选地，处理器120可以通过将第一特征信息和至少一条子特征信息相加或相乘来获得第二特征信息。可选地，处理器120可以通过将至少一条特性信息与通过将第一特征信息和该至少一条特性信息相乘而获得的值相加来获得第二特征信息。可选地，处理器120可以通过将至少一条子特征信息与通过将第一特征信息和该至少一条特性信息相乘而获得的值相加来获得第二特征信息。可选地，处理器120可以通过将第二子特征信息与通过将第一特征信息和第一子特征信息相乘而获得的值相加来获得第二特征信息。可选地，处理器120可以通过将第一特征信息与通过将至少一条特性信息和至少一条子特征信息相乘而获得的值相加来获得第二特征信息。可选地，处理器120可以通过以下操作来获得第二特征信息：将通过将第一特征信息与至少一条特性信息相乘而获得的值与通过将至少一条子特征信息与至少一条特性信息相乘而获得的值相加。可选地，处理器120可以通过以下操作来获得第二特征信息：将通过将第一特征信息和第一子特征信息相乘而获得的值与通过将至少一条特性信息和第二子特征信息相乘而获得的值相加。这里，可以经由逐元素乘法来执行乘法，并且可以经由逐元素求和来执行加法。
处理器120可以通过在第二特征信息与作为第一卷积层的下一层的第二卷积层中包括的第二内核之间执行卷积运算来获得第三特征信息。处理器120可以基于第三特征信息获得输出图像。
图12是根据本公开的实施例的处理器120的框图。
参照图12，根据本公开的实施例的处理器120可包括第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240和第三特征获得器1250。
第一特征获得器1210可以通过在第一图像和包括在第一卷积层中的第一内核之间执行卷积运算来获得第一特征信息。
特性获得器1220可以基于第一特征信息获得至少一条特性信息。例如，特性获得器1220可以对第一特征信息进行滤波或变换以提取至少一条特性信息。因为上面已经参照图3描述了获得至少一条特性信息的方法，所以不再提供其详细描述。
子特征获得器1230可以从至少一条特性信息获得至少一条子特征信息。例如，子特征获得器1230可以在至少一条特性信息和子内核之间执行卷积运算，以获得至少一条子特征信息。
组合器1240可以基于第一特征信息、至少一条特性信息和至少一条子特征信息来获得第二特征信息。
例如，组合器1240可以通过将第一特征信息和至少一条特性信息相加或相乘来获得第二特征信息。可选地，组合器1240可以通过将第一特征信息和至少一条子特征信息相加或相乘来获得第二特征信息。可选地，组合器1240可以通过将至少一条特性信息与通过将第一特征信息和该至少一条特性信息相乘而获得的值相加来获得第二特征信息。可选地，组合器1240可以通过将至少一条子特征信息与通过将第一特征信息和至少一条特性信息相乘而获得的值相加来获得第二特征信息。可选地，组合器1240可以通过将第二子特征信息与通过将第一特征信息和第一子特征信息相乘而获得的值相加来获得第二特征信息。可选地，组合器1240可以通过将第一特征信息与通过将至少一条特性信息和至少一条子特征信息相乘而获得的值相加来获得第二特征信息。可选地，组合器1240可以通过以下操作来获得第二特征信息：将通过将第一特征信息与至少一条特性信息相乘而获得的值与通过将至少一条子特征信息与至少一条特性信息相乘而获得的值相加。可选地，组合器1240可以通过以下操作来获得第二特征信息：将通过将第一特征信息和第一子特征信息相乘而获得的值与通过将至少一条特性信息和第二子特征信息相乘而获得的值相加。这里，可以经由逐元素乘法来执行乘法，并且可以经由逐元素求和来执行加法。
第三特征获得器1250可以通过在第二特征信息与作为第一卷积层的下一层的第二卷积层中包括的第二内核之间执行卷积运算来获得第三特征信息。
另外，图12的第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240或第三特征获得器1250中的至少一个可以以硬件芯片的形式制造并安装在图像处理设备120上。例如，第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240或第三特征获得器1250中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式制造，或者可以通过被制造为现有通用处理器(例如，中央处理器(CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))的一部分而被安装在各种图像处理设备上。
在这种情况下，第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240和第三特征获得器1250可以被安装在一个图像处理设备上，或者第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240和第三特征获得器1250中的每个可以被安装在单独的图像处理设备上。
此外，第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240或第三特征获得器1250中的至少一个可被实现为软件模块。当第一特征获得器1210、特性获得器1220、子特征获得器1230、组合器1240或第三特征获得器1250中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(OS)或特定应用提供。可选地，至少一个软件模块的一部分可以由OS提供，并且剩余部分可以由特定应用提供。
另外，图11和图12的图像处理设备100和处理器120的框图仅是示例。基于实际实现的图像处理设备100的规格，可以集成组件，可以添加另一组件，或者可以省略组件。换言之，两个或更多个组件可以被集成为一个组件，或者在必要时可以将一个组件划分成两个或更多个组件。此外，由每个框执行的功能用于描述本公开的实施例，并且详细的操作或设备不限制本公开的范围。
根据本公开实施例的图像处理设备的操作方法可以通过在通过使用各种计算机执行的计算机程序中实现而被记录在非暂时性计算机可读记录介质上。非暂时性计算机可读记录介质可以包括程序命令、数据文件或数据结构中的至少一个。记录在非暂时性计算机可读记录介质中的程序命令可以是专门设计的或者是计算机软件领域的普通技术人员所熟知的。非暂时性计算机可读记录介质的示例包括专门被配置为存储和执行程序命令的硬件设备(诸如磁性介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM和DVD)、磁光介质(诸如光软盘和ROM、RAM和闪存))。计算机命令的示例包括由编译器准备的机械代码、以及由计算机通过使用解释器可执行的高级语言。
此外，根据本公开的实施例的图像处理设备和图像处理设备的操作方法可以通过被包括在计算机程序产品中被提供。计算机程序产品可以作为产品在销售者和购买者之间进行交易。
计算机程序产品可以包括软件(S/W)程序或存储S/W程序的非暂时性计算机可读存储介质。例如，计算机程序产品可以包括通过电子设备的制造商或电子市场(例如，GoogleTM Play Store或App Store)以电子方式发布的S/W程序形式的产品(例如，可下载的应用)。对于电子发布，S/W程序的至少一部分可以存储在存储介质中或临时产生。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器或临时存储S/W程序的转发服务器的存储介质。
在包括服务器和客户端装置的系统中，计算机程序产品可以包括服务器的存储介质或客户端装置的存储介质。可选地，当存在可通信地连接到服务器或客户端装置的第三设备(例如，智能电话)时，计算机程序产品可以包括第三装置的存储介质。可选地，计算机程序产品可以包括从服务器发送到客户端装置或第三装置或者从第三装置发送到客户端装置的S/W程序本身。
在这种情况下，服务器、客户端装置和第三装置中的一个可以执行计算机程序产品以执行根据本公开的实施例的方法。可选地，服务器、客户端装置和第三装置中的两个或更多个可以执行计算机程序产品以发布和执行根据本公开的实施例的方法。
例如，服务器(例如，云服务器或AI服务器)可以执行存储在服务器上的计算机程序产品，以控制可通信地连接到服务器的客户端装置执行根据本公开的实施例的方法。
根据本公开实施例的图像处理设备可以通过将从在CNN中获得的现有特征信息获得的至少一个特性与现有特征信息组合来执行卷积运算，从而通过使用CNN来使用在卷积运算中从现有特征信息不可获得的其他特性和特征。
可以有意地获得根据本公开的实施例的至少一条特性信息，并且通过在将有意获得的特性信息与现有特征信息组合之后执行卷积运算，可以在沿预期方向处理图像时保持现有特征。
根据本公开的实施例的图像处理设备可以在不大幅增加硬件复杂度的情况下提高图像处理性能。
虽然已经具体描述了本公开的实施例，但是本公开的范围不限于此，并且本领域普通技术人员将理解，使用由所附权利要求限定的本公开的基本概念的各种改变和修改也在本公开的范围内。

Claims (15)

1.一种图像处理设备，包括：
存储器，存储至少一个指令；以及
处理器，被配置为执行存储在存储器中的所述至少一个指令以执行以下操作：
通过对第一图像和多个卷积层中的第一卷积层中包括的第一内核执行卷积运算来获得第一特征信息；
基于第一特征信息获得至少一条特性信息；
基于第一特征信息和所述至少一条特性信息获得第二特征信息；
通过对获得的第二特征信息和包括在所述多个卷积层中的第二卷积层中的第二内核执行卷积运算来获得第三特征信息，其中，第二卷积层是第一卷积层的下一层；以及
基于第三特征信息获得输出图像。
2.如权利要求1所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：通过对第一特征信息执行滤波或转换来从第一特征信息获得所述至少一条特性信息。
3.如权利要求2所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：从第一特征信息获得关于第一特征信息的频率特性信息。
4.如权利要求1所述的图像处理设备，其中，处理器还被配置为执所述行至少一个指令以执行以下操作：
从所述至少一条特性信息获得第一子特征信息；以及
通过组合第一特征信息和第一子特征信息来获得第二特征信息。
5.如权利要求4所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：通过对所述至少一条特性信息和第一子内核执行卷积运算来从所述至少一条特性信息获得第一子特征信息。
6.如权利要求4所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：基于第一特征信息、所述至少一条特性信息和第一子特征信息来获得第二特征信息。
7.如权利要求4所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：
从所述至少一条特性信息进一步获得第二子特征信息；以及
基于所述至少一条特性信息、第一特征信息、第一子特征信息和第二子特征信息来获得第二特征信息。
8.如权利要求7所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以执行以下操作：通过对所述至少一条特性信息和第二子内核执行卷积运算来从所述至少一条特性信息获得第二子特征信息。
9.如权利要求7所述的图像处理设备，其中，处理器还被配置为执行所述至少一个指令以通过以下操作来获得第二特征信息：将通过将第一特征信息和第一子特征信息相乘而获得的值与通过将所述至少一条特性信息和第二子特征信息相乘而获得的值相加。
10.一种图像处理设备的操作方法，所述操作方法包括：
通过对第一图像和多个卷积层中的第一卷积层中包括的第一内核执行卷积运算来获得第一特征信息；
基于第一特征信息获得至少一条特性信息；
基于第一特征信息和所述至少一条特性信息获得第二特征信息；
通过对获得的第二特征信息和包括在所述多个卷积层中的第二卷积层中的第二内核执行卷积运算来获得第三特征信息，其中，第二卷积层是第一卷积层的下一层；以及
基于第三特征信息获得输出图像。
11.如权利要求10所述的操作方法，其中，获得所述至少一条特性信息的步骤包括：通过对第一特征信息执行滤波或转换来从第一特征信息获得所述至少一条特性信息。
12.如权利要求11所述的操作方法，其中，获得所述至少一条特性信息的步骤包括：从第一特征信息获得关于第一特征信息的频率特性信息。
13.如权利要求10所述的操作方法，其中，获得第二特征信息的步骤包括：
从所述至少一条特性信息获得第一子特征信息；以及
通过组合第一特征信息和第一子特征信息来获得第二特征信息。
14.如权利要求13所述的操作方法，其中，获得第一子特征信息的步骤包括：通过对所述至少一条特性信息和第一子内核执行卷积运算，从所述至少一条特性信息获得第一子特征信息。
15.一种计算机程序产品，包括：至少一个计算机可读记录介质，其中，所述至少一个计算机可读记录介质中存储有用于执行如权利要求10所述的方法的程序。
CN202080013383.XA 2019-05-16 2020-04-23 图像处理设备及其操作方法 Pending CN113424203A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190057603A KR102420104B1 (ko) 2019-05-16 2019-05-16 영상 처리 장치 및 그 동작방법
KR10-2019-0057603 2019-05-16
PCT/KR2020/005358 WO2020231035A1 (en) 2019-05-16 2020-04-23 Image processing apparatus and operating method of the same

Publications (1)

Publication Number Publication Date
CN113424203A true CN113424203A (zh) 2021-09-21

Family

ID=73228666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013383.XA Pending CN113424203A (zh) 2019-05-16 2020-04-23 图像处理设备及其操作方法

Country Status (5)

Country Link
US (1) US11380081B2 (zh)
EP (1) EP3871158A4 (zh)
KR (1) KR102420104B1 (zh)
CN (1) CN113424203A (zh)
WO (1) WO2020231035A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102604016B1 (ko) * 2018-10-24 2023-11-22 삼성전자주식회사 전자 장치 및 이의 제어방법
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
WO2023219277A1 (ko) * 2022-05-09 2023-11-16 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101287098B1 (ko) 2011-04-28 2013-07-16 서강대학교산학협력단 주파수 대역별 에너지를 이용하여 주파수 영상을 합성하는 방법 및 장치
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US11099918B2 (en) * 2015-05-11 2021-08-24 Xilinx, Inc. Accelerating algorithms and applications on FPGAs
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10185891B1 (en) * 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10373312B2 (en) * 2016-11-06 2019-08-06 International Business Machines Corporation Automated skin lesion segmentation using deep side layers
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
KR20180073314A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 시스템 및 그것의 동작 방법
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection
CN109426782B (zh) 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
US10083375B1 (en) * 2017-10-13 2018-09-25 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
KR102174777B1 (ko) * 2018-01-23 2020-11-06 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
KR20200140096A (ko) * 2019-06-05 2020-12-15 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치

Also Published As

Publication number Publication date
EP3871158A1 (en) 2021-09-01
EP3871158A4 (en) 2021-12-29
WO2020231035A1 (en) 2020-11-19
KR102420104B1 (ko) 2022-07-12
US20200364486A1 (en) 2020-11-19
KR20200132304A (ko) 2020-11-25
US11380081B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
KR102107709B1 (ko) 공간 트랜스포머 모듈들
US10373312B2 (en) Automated skin lesion segmentation using deep side layers
CN109328362B (zh) 渐进式神经网络
US11348004B2 (en) Method of managing data representation for deep learning, method of processing data for deep learning and deep learning system performing the same
CN113424203A (zh) 图像处理设备及其操作方法
US20160162782A1 (en) Convolution neural network training apparatus and method thereof
KR102432254B1 (ko) 전자 장치가 뉴럴 네트워크 내의 소정 레이어에서 컨볼루션 연산을 수행하는 방법 및 그 방법을 수행하는 전자 장치
US11954755B2 (en) Image processing device and operation method thereof
EP3836029A1 (en) Apparatus and method with neural network implementation of domain adaptation
US20210319240A1 (en) Generator exploitation for deepfake detection
KR20200067631A (ko) 영상 처리 장치 및 그 동작방법
CN112689849A (zh) 图像处理装置及其操作方法
US20230360359A1 (en) Image processing apparatus and operation method thereof
EP4083874A1 (en) Image processing device and operating method therefor
US20220004904A1 (en) Deepfake detection models utilizing subject-specific libraries
KR102235784B1 (ko) 행동 인식을 위한 시공간의 평활화 피처를 정규화하는 방법 및 시스템
US11347968B2 (en) Image enhancement for realism
KR20230038136A (ko) 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
JP2021028816A (ja) 計算機システム及びモデル学習方法
EP4276699A1 (en) Image processing device and operating method therefor
EP4187482A1 (en) Image processing device and operating method therefor
CN116997914A (zh) 图像处理装置及其操作方法
US20230360382A1 (en) Image processing apparatus and operating method thereof
CN115861862A (zh) 识别图像的方法和设备
CN117573763A (zh) 数据挖掘方法、装置、计算机设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination