CN114175042A - 用于分析处理输入信号的分析处理装置以及包括该分析处理装置的摄像机 - Google Patents

用于分析处理输入信号的分析处理装置以及包括该分析处理装置的摄像机 Download PDF

Info

Publication number
CN114175042A
CN114175042A CN202080054102.5A CN202080054102A CN114175042A CN 114175042 A CN114175042 A CN 114175042A CN 202080054102 A CN202080054102 A CN 202080054102A CN 114175042 A CN114175042 A CN 114175042A
Authority
CN
China
Prior art keywords
network
special
layer
input
networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054102.5A
Other languages
English (en)
Inventor
C·布格尔-沙伊德林
S·罗尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114175042A publication Critical patent/CN114175042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

用于分析处理输入信号7的分析处理装置，其中，分析处理装置具有基础网络11，其中，其中，基础网络11从机器学习系统中产生并且具有输入层2和边界层13，其中，在输入层2和边界层13之间布置多个借助连接部6连接的层4，其中，基础网络11依照基础目的被训练，具有至少两个特殊网络12、12a‑12b，其中，特殊网络12、12a‑12b分别形成机器学习系统并且分别具有特殊网络输入层14a、14b和特殊网络输出层15a、15b，其中，特殊网络12、12a‑12b分别依照特殊目的被训练和/或能够被训练，其中，所述分析处理装置构造用于，实施具有以下步骤的方法：‑接收输入信号7并且提供在输入层2上，‑借助基础网络11求取中间信号并且提供在边界层13上，‑从至少两个特殊网络12、12a‑12b的特殊网络输入层(14a、14b)接管所述中间信号，‑基于所述中间信号借助至少两个特殊网络12、12a‑12b分别求取特殊网络输出信号并且提供在相应的特殊网络输出层15a、15b上。

Description

用于分析处理输入信号的分析处理装置以及包括该分析处理 装置的摄像机
技术领域
本发明涉及一种用于分析处理输入信号的分析处理装置，其中，该分析处理装置从机器学习系统中产生，所述机器学习系统具有输入层和具有在中间的层的边界层。
背景技术
可能构成最接近的现有技术的出版物DE202018104373U1描述了一种用于运行机器学习系统、尤其是用于控制机器学习系统的运算的设备。该设备在此构造用于，有针对性地控制在神经网络的图内的节点的运算，使得出现所述节点的很小的顺序依赖性直至没有顺序依赖性。
本发明的任务是，当应使用多个分析组件时，减少在运行神经网络时的计算开销。
发明内容
提出具有权利要求的特征的用于分析处理输入信号的分析处理装置。此外，提出具有权利要求14的特征的具有分析处理装置的摄像机。优选的和/或有利的实施方式由从属权利要求、说明书和附图中得出。
提出用于分析处理输入信号的分析处理装置。分析处理装置例如能够形成硬件模块，该硬件模块优选能够作为芯片系统或者模块组件被集成到其他设备和/或装置中。用于分析处理输入信号的分析处理装置尤其以不同的方式和/或借助不同的分析技术来构造。在此，输入信号优选形成数字或者模拟形式的数据信号。特别优选的是，输入信号包括和/或形成图像信号，例如视频或者单个图像。此外，输入信号例如能够形成和/或包括音频信号或者其他传感器信号。输入信号的分析处理尤其构造为电脑辅助和/或计算机辅助的分析处理。
分析处理装置包括基础网络。基础网络尤其构造为神经网络并且特别是构造为深度神经网络。基础网络具有输入层和边界层。输入信号尤其被提供给输入层，和/或，输入层构造用于获得输入信号。输入层尤其形成机器学习系统和/或神经网络的处理的起始点。边界层尤其能够被理解为机器学习系统和/或基础网络的最后一层。在输入层和边界层之间布置有多个层(也称为被遮盖的层)。这些层尤其称作被遮盖的层，因为对于用户来说通常只有输入层和边界层或者末端层是可见的。被遮盖的层分别具有节点。尤其地，所述节点的布置和/或组织对于所述层来说是决定性的。所述节点借助边(Kante)而彼此连接。一个层的节点尤其仅与前一层或者后一层的节点连接。特别地，随着深度的增加，从输入层开始在朝向边界层的方向上通过分析处理装置和/或通过基础网络时，数据量减少。在节点之间和/或在层之间的连接部也称作边。
依照基础目的训练基础网络。该基础目的例如是图像的预处理。特别地，基础网络能够旨在(ausgerichtet)用于基本图像分析处理，例如以便识别特征和/或特性(Feature)，例如以便将线组合成多边形或者对象。基础网络的训练尤其被理解为用于具体处理的培训(Anlernen)，和/或，旨在执行具体任务。例如，为此，已知的输入信号被施加或者已被施加到输入层上，其中，该网络由此进行运算和/或分析处理并且随后执行对节点的处理的参数(也称为权重)的匹配，以便实现处理的精确化。在足够多的训练运行之后，神经网络(在此为基础网络)也能够处理迄今为止未知的图像。
分析处理装置还具有至少两个特殊网络，优选多于十个并且特别地多于100个的特殊网络。特殊网络构造为机器学习系统，并且特别地构造为神经网络、优选深度神经网络。特别地，特殊网络彼此独立和/或在数据技术上分开地构造。特殊网络尤其不同地构造，例如具有不同的层数。特殊网络分别具有特殊网络输入层和特殊网络输出层。在特殊网络输入层和特殊网络输出层之间优选布置有多个层、尤其是被遮盖的层。在特殊网络输入层和特殊网络输出层之间的层尤其包括多个节点。特殊网络输入层、节点和特殊网络输出层借助边(也称为连接部)而彼此连接。
分别依照特殊目的训练特殊网络。特殊目的能够理解为分析处理任务和/或分析任务。特殊网络的特殊目的优选彼此不同。特殊网络例如针对一种分析处理类型，其中，一种和/或多种其他的特殊目的针对其他类型的分析处理。特殊目的例如是对象识别任务、追踪任务和/或特征识别任务。特殊网络被训练和/或能够被训练，尤其是借助训练数据。这种训练(也称为学习)尤其应如同针对基础网络的基础目的的训练所描述的那样被理解和/或构造。其中，只有那些作为特殊网络的一部分的参数才能够被匹配。
分析处理装置具有至少一个计算机单元。计算机单元例如构造为电脑、处理器或者微芯片和/或包括它们。计算机单元尤其构造用于实施计算机程序和/或计算机程序的程序代码。此外，外部的装置具有存储介质，其中，该存储介质构造成机器可读的。例如，存储介质形成存储芯片。在机器可读的存储介质上存储指令。所述指令例如以计算机程序的或者计算机程序的程序代码的形式构造和/或存储。由至少一个计算机单元实施存储在存储介质上的指令实现：实施具有这些步骤的方法：接收输入信号并且将该输入信号提供到输入层上，借助基础网络求取中间信号并且在边界层上提供该中间信号。
通过在输入接口、例如电缆或者无线电接口上的接管，输入信号例如能够被接收。尤其也能够接收多个输入信号。输入信号被提供给输入层，在输入层上的提供尤其以模拟或者数字信号的形式实现。例如，输入信号构造为图像文件，其中，该图像文件例如由摄像机提供，其中，图像文件例如被提供到输入层上以用于处理。
中间信号尤其基于通过基础网络对输入信号的处理。中间信号例如是基础网络的层对输入信号的处理的结果。中间信号尤其能够被解释为以基础任务对输入信号的处理的结果和/或基础目的的结果。中间信号优选随后被提供在边界层上和/或能够在边界层上被截取和/或获得。
中间信号从边界层被提供在特殊网络中的至少两个上。中间信号从边界层的提供在至少两个特殊网络的特殊网络输入层上进行。中间信号的提供尤其能够在多于两个、例如至少五个或者十个特殊网络和/或特殊网络输入层上进行。为此，特殊网络输入层能够在数据技术上与基础网络的边界层连接和/或已连接。尤其是在数据技术上要耦合和/或已耦合到基础网络上的特殊网络是能够交换的，例如耦合的特殊网络能够通过另一个特殊网络交换和/或替换。
实施存储在存储介质上的且导致执行上述方法的指令还实现：中间信号由特殊网络输入层接管并且例如能够用于特殊网络的处理。特殊网络输出信号通过以下方式处理：通过特殊网络处理中间信号成为特殊网络输出信号，这优选借助层和/或通过特殊目的的用途实现。尤其如此生成至少两个不同的特殊网络输出信号，所述特殊网络输出信号均基于共同的中间信号，其中，中间信号已经借助共同的机器学习系统和/或神经网络形成对输入信号的处理。
本发明基于以下考虑：借助神经网络和/或机器学习系统为了不同的目的和/或以不同的方式分析处理和/或分析输入信号，其中，对输入信号的预处理的分析处理通过共同的基础网络进行。这具有优点：不同的处理和/或分析处理在相同和/或共同的基础网络上进行，使得例如能够降低计算开销，因为计算和/或分析不必双倍地、而仅仅共同简单地通过基础网络进行。基于基础网络将中间信号提供到不同的分析组件(也称为特殊网络)上能够显著地减少在分析处理时的计算开销。这尤其是通过以下方式实现：输入信号的两个分析处理被分别分成基本分析处理和特殊分析处理，其中，基本分析处理由共同的神经网络执行并且尤其是相同的，其中，只有不同的特殊分析处理由分开的神经网络实施。
可选地设置，借助至少两个特殊网络求取特殊网络输出信号同时进行。例如，这能够如此理解：通过至少两个特殊网络对中间信号的处理同时开始，其中，它们不一定必须同时结束，例如如果用于执行的计算开销是不同的。基于中间信号尤其能够同时进行通过不同的特殊网络多次处理以达到特殊网络输出信号。这个构型基于以下考虑：能够对输入信号同时执行不同的分析处理以达到特殊网络输出信号，而不一定必须相继地执行它们，使得不同类型的、更快的且降低计算性能的处理是可能的。
特别优选的是，基础网络形成经剪枝的(beschnitten)神经网络。基础网络尤其形成经剪枝的深度神经网络。经剪枝的神经网络基于未剪枝的原始网络。原始网络尤其理解为以下神经网络、特别是深度神经网络：该深度神经网络具有输入层和原始网络输出层，其中，特别是在这些层之间布置多个具有节点和连接部的层。在此，尤其设置，基础网络的输入层与原始网络的输入层相同。基础网络能够从原始网络中例如通过以下方式获得：至少原始网络输出层已被分离和/或被分离，此外，另外的层也能够尤其在原始网络的末端被切断。通过切除这些层，尤其并非原始网络的全部目的都由基础网络实现。基础网络的边界层尤其由经剪枝的神经网络的最后一层和/或结束层形成。
本发明的一个构型设置，分析处理装置具有至少一个补充网络。补充网络尤其是可交换的补充网络和/或能够从多个补充网络
Figure BDA0003490111110000051
中选择。补充网络能够与尤其特殊网络输出层的特殊网络相附加、交换和/或连接。例如依照补充分析处理或者任务训练补充网络。例如，依照详细分析处理，所述详细分析处理基于特殊网络输出信号。特别地，特殊网络和/或特殊网络输出层能够与多个补充网络已连接和/或连接，使得例如产生神经网络的树形结构。
可选地设置，在特殊网络中的一个中，特殊网络输出层同时形成特殊网络输入层。这例如导致，所输出的中间信号由该特殊网络输出层在没有多个在层中和/或在中间的节点的情况下直接转换成特殊网络输出信号。替代地和/或补充地能够设置，特殊网络中的一个的特殊网络输出层形成用于其他特殊网络的基础网络输出层。
本发明的一个构型设置，在存储介质中的至少一个上存储有多个特殊网络。例如，在该存储介质上保存多个和/或不同的特殊网络，例如多于十个或者100个的特殊网络。特殊网络的保存和/或存储优选作为应用实现，其中，作为应用例如能够理解为程序模块。尤其设置，用户能够从所述应用中选择特殊网络作为所选择的特殊网络。例如，该选择能够借助图形用户界面来进行。通过用户选择应用尤其基于：用户想要将期望的分析处理选择为待使用的特殊网络。通过计算机单元实施所存储的指令在此实现：关于所选择的特殊网络实施该方法或者该方法的步骤。因而，能够提供特别可变的
Figure BDA0003490111110000052
并且能够匹配于输入信号的分析处理期望的分析处理装置。
尤其能够设置，分析处理装置具有至少一个第一和第二计算机单元。第一和第二计算机单元优选在空间上和/或模块化地分开。例如设置，第一计算机单元构造用于，在实施所存储的指令时执行该方法的步骤，所述步骤涉及通过基础网络处理输入信号。在此，第二计算机单元优选构造用于，执行该方法以下片段(Stück)，所述片段配属于通过特殊网络中的至少一个来处理中间信号。该构型基于这种考虑：将输入信号到中间信号的以及中间信号到特殊网络输出信号的运算任务和/或分析处理分配到不同的计算机。
特别优选的是，第二计算机单元构造为外部的计算机单元，尤其是也称作布置在外包(ausgelagert)计算机单元。例如，第二计算机单元能够构造为云或者云应用。例如，为此将基础网络的中间信号提供和/或传递到云，其中，通过特殊网络对中间信号的处理在云中进行。这例如具有优点：输入信号的预处理和/或数据量的减少能够借助第一计算机单元中央地和/或在现场进行，并且，能够在外部进一步处理数据量减少的中间信号。
尤其设置，中间信号具有比输入信号更小的数据量。尤其地，中间信号具有比输入信号少的位数(Bitzahl)。这基于这种考虑：输入信号到中间信号的处理导致减缩(Reduzierung)和/或预分析处理，使得例如并非图像的所有像素都必须被传输，而是信息已针对当前的轮廓和/或特征。
特别优选的是，中间信号基于输入信号并且包括和/或描述从输入信号提取的特征。例如，特征是在一个图像中关联元素、识别出的边、结构形状和/或具体的对象。这例如能够用于，不应完整地传输图像和/或音频文件和视频文件，而是仅传输从其中提出的特征。
特别优选的是，输入信号包括和/或形成图像文件。例如，图像文件能够连接为单个图像，替代地和/或补充地，图像文件能够包括图像序列和/或具有图像和音频信息的视频文件。
尤其设置，特殊目的中的至少一个包括图像分析处理、面部识别和/或人员识别和/或视频监控。该构型基于这种考虑：能够将特殊目的设置在例如监控摄像机和/或监控设备中，使得它们在借助神经网络运行分析处理时能够以降低的计算性能运行。
特殊目的和/或特殊网络尤其构造成不同类型的。该构型基于这种考虑：特殊网络应满足不同的任务和/或目的并且应以不同的方式分析处理输入信号或者说中间信号，使得对输入信号的尽可能广泛的分析处理成为可能。
摄像机构成本发明的另一个主题。摄像机例如构造为监控摄像机。摄像机包括前述的分析处理装置。摄像机构造用于，拍摄监控区域的图像。例如，摄像机为此包括传感器元件，其中，该传感器元件实现和/或提供监控区域的、以图像形式的光学记录。图像被提供给分析处理装置。因此，分析处理装置构造用于，使用所提供的图像用作输入信号。分析处理装置构造用于，将作为输入信号的图像借助基础网络加工成中间信号，并且随后借助至少两个特殊网络将中间信号转换成特殊网络输出信号。该构型基于这种考虑：提供借助神经网络实现同时分析处理图像的摄像机，其中，显著地降低了计算性能和/或计算开销。
本发明还涉及一种用于分析处理输入信号的方法，其中，基于机器学习系统的基础网络根据输入信号在基础网络的边界层上提供中间信号，其中，依照基础目的训练所述基础网络，其中，分别在一个特殊网络输入层上将中间信号提供给至少两个基于机器学习系统的特殊网络，其中，依照特殊目的分别被训练和/或能够被训练所述特殊网络，其中，基于所述中间信号，借助所述至少两个特殊网络分别求取特殊网络输出信号，其中，在相应的特殊网络输出层上提供所述特殊网络输出信号。优选地，唯一的基础网络根据输入信号在基础网络的边界层上提供中间信号。特别优选地，特殊输出信号借助至少两个特殊网络同时、因而并行地被求取。优选地，第一计算机单元实现用于基础网络的方法的步骤，并且，第二计算机单元实现特殊网络中的至少一个特殊网络的方法的步骤。另外，该方法构造用于，实施参照分析处理装置所描述的步骤。
此外，本发明涉及一种计算机程序和一种机器可读的存储介质、尤其是非易失性机器可读的存储介质，该计算机程序设置用于实施所描述的方法的所有步骤，在所述存储介质上存储有该计算机程序。
附图说明
本发明的其他优点、效果和构型由附上的附图及其描述中得出。在此示出：
图1示意性地示出神经网络的用于图像处理的用途；
图2示出具有两个特殊网络的基础网络的实施例；
图3a示出具有分析处理装置的摄像机作为一种实施例；
图3b示出摄像机与分析处理装置的另一实施例。
具体实施方式
图1示意性地示出用于图像分析处理的神经网络。神经网络1尤其是从机器学习系统中产生。神经网络1具有输入层2和输出层3。在输入层2和输出层3之间布置多个被遮盖的层4。被遮盖的层4、输入层2、输出层3分别具有多个节点5。所述节点5与相邻层的节点5借助连接部6(也称为边)连接。
输入信号7被提供和/或已被提供给神经网络1。输入信号7在此构造为图像8。图像8除了背景还示出动物9，在此是狗。图像8作为输入信号7被提供给输入层2并且在被遮盖的层4中被处理和/或分析处理。例如，这样能够从各个像素识别和/或确定出关联和/或特征。神经网络1是经训练的神经网络，其中，借助训练数据训练该网络用于分析处理目的。
神经网络1在分析处理时依照目的被训练。该目的在此例如是确定动物种类。神经网络1在输出层3中输出例如概率P1、P2、P3和P4。概率P1至P4分别说明，动物种类的存在的可能性如何，例如概率P1说明已识别出狗，P2说明已识别出老鼠，或者P3说明已识别出鱼。尤其也能够输出具有识别出的动物的矩形。
图2示意性地示出包括基础网络11、第一特殊网络12a和第二特殊网络12b的神经网络1。特殊网络12a和特殊网络12b分别在数据技术上与基础网络11连接。特殊网络12a和特殊网络12b尤其是构造成在数据技术上彼此独立和/或不连接。
输入信号7被提供给基础网络11，其中，输入信号7包括和/或描述图像8。输入信号7被提供给基础网络11的输入层2。从输入层2开始，输入信号7在被遮盖的层4中被处理和/或分析处理，尤其是基于基础目的。该基础目的能够例如在特征、例如图像特征方面描述对输入信号7的分析。基础网络11还包括边界层13，其中，边界层13包括多个节点5。例如，边界层13如同图2的层4a那样构造。基础网络11例如通过神经网络1的剪枝可获得，在所述剪枝中切断输出层3。
特殊网络12a以及特殊网络12b分别包括特殊网络输入层14a或14b。特殊网络输入层14a或14b借助连接部6与边界层13连接。通过这些连接部6，施加在边界层13上的中间信号能够被传输到特殊网络输入层14a、14b。特殊网络12a和12b分别构造用于，借助和/或基于其特殊目的来分析处理中间信号。基于特殊目的的分析处理的执行分别借助自身的神经网络来实现。
特殊网络12a、12b分别具有特殊网络输出层15a或15b。特殊网络输出层15a、15b用于输出关于其分析处理的目的的概率，在此为特殊目的。例如，特殊网络12a输出概率P1 1、P1 2、P1 3、P1 4，其中，特殊网络12b输出概率P2 1、P2 2。借助所述神经网络1，基于基础网络11能够进行输入信号7的基本分析处理，其中，基础网络11提供中间信号，并且该中间信号由独立的特殊网络12a和12b进一步处理，尤其是针对不同的目的和/或分析处理。
图4a示例性地示出摄像机16。摄像机16构造为视频摄像机和/或监控摄像机。借助摄像机16，监控区域17在视频技术上被监控和/或能够被监控。摄像机16具有图像传感器18，其中，图像传感器18将图像8作为输入信号2提供给计算机单元19。此外，摄像机16包括存储介质20。在存储介质20上存储有指令，所述指令在实施时执行该方法。该方法设置，借助神经网络1来处理输入信号2。这种处理尤其是在计算机单元19中进行。在计算机单元19中借助基础网络11将输入信号2处理成中间信号，其中，该输入信号由特殊网络12a、12b和12c分析和/或分析处理。这些特殊网络12a至12c的输出导致特殊网络输出信号21a、21b和21c的输出。特殊网络输出信号21a至21c能够分别具有和/或包括关于特征或者分析处理的概率。特殊网络输出信号21a至21c能够在摄像机输出部22上被向外提供和/或已经被向外提供。
图4b示出摄像机16的构型。摄像机16基本上构造得如同图4a的摄像机16，其中，与此不同地，在摄像机中的计算机单元19中，输入信号2的分析处理仅借助基础网络11进行。因而，中间信号被施加在摄像机输出部22上并且能够在那里被截取。中间信号的数据量尤其是与输入信号2相比而减少。
中间信号由接口22提供到云23。然后，在云23中，借助特殊网络12a和12b来执行中间信号的分析处理。该构型基于这种考虑：将计算性能的一部分转移到云23中，其中，摄像机16的较小的数据流能够同时被传输到云23，因为中间信号在数据方面小于输入信号2。

Claims (17)

1.一种用于分析处理输入信号(7)的分析处理装置，
其中，所述分析处理装置具有基础网络(11)，其中，所述基础网络(11)基于机器学习系统并且具有输入层(2)和边界层(13)，其中，在输入层(2)与边界层(13)之间布置多个层(4)，所述多个层借助连接部(6)连接，
其中，所述基础网络(11)依照基础目的被训练，
所述分析处理装置具有至少两个特殊网络(12，12a-12b)，其中，所述特殊网络(12，12a-12b)分别具有特殊网络输入层(14a，14b)和特殊网络输出层(15a，15b)，
其中，所述特殊网络(12，12a-12b)分别依照特殊目的被训练和/或能够被训练，
所述分析处理装置具有至少一个计算机单元(19)和至少一个机器可读的存储介质(20)，在所述机器可读的存储介质上存储有指令，所述指令在通过所述至少一个计算机单元(19)实施时实现，实施具有以下步骤的方法：
-接收所述输入信号(7)并且提供在所述输入层(2)上，
-借助所述基础网络(11)求取中间信号并且提供在所述边界层(13)上，
其中，分别在所述特殊网络输入层(14a，14b)上将所述中间信号提供给所述至少两个特殊网络(12，12a-12b)，
其中，通过所述至少一个计算机单元(19)实施存储在所述至少一个存储介质(20)上的指令实现，实施具有以下步骤的方法：
-从所述至少两个特殊网络(12，12a-12b)的特殊网络输入输入层(14a，14b)接管所述中间信号，
-基于所述中间信号借助所述至少两个特殊网络(12，12a-12b)分别求取特殊网络输出信号并且提供在相应的特殊网络输出层(15a，15b)上。
2.根据权利要求1所述的分析处理装置，其特征在于，借助所述至少两个特殊网络(12，12a-12b)求取所述特殊输出信号同时进行。
3.根据权利要求1或2所述的分析处理装置，其特征在于，所述基础网络(11)形成经剪枝的神经网络并且基于未剪枝的原始网络，其中，所述未剪枝的原始网络包括所述输入层(2)和原始网络输出层以及在所述输入层和所述原始网络输出层之间的层，其中，所述边界层(13)由在输入层(2)和原始网络输出层之间的层中的一个层形成。
4.根据前述权利要求中任一项所述的分析处理装置，其特征在于至少一个补充网络，其中，所述补充网络具有补充网络输入层和补充网络输出层，其中，将至少一个特殊网络输出信号提供给所述补充网络输入层，其中，通过所述至少一个计算机单元(19)实施存储在所述至少一个存储介质(20)上的指令实现，由所述补充网络基于所述特殊网络输出信号确定补充网络输出信号。
5.根据前述权利要求中任一项所述的分析处理装置，其特征在于，在所述特殊网络(12，12a-12b)中的一个特殊网络中，所述特殊网络输出层(15a，15b)形成所述特殊网络输入层(14a，14b)。
6.根据前述权利要求中任一项所述的分析处理装置，其特征在于，在所述存储介质(20)中的至少一个存储介质上存储有多个特殊网络(12，12a-12b)作为应用，其中，用户能够从所述应用中选择特殊网络(12，12a-12b)作为所选择的特殊网络(12，12a-12b)，其中，通过所述至少一个计算机单元(19)实施存储在所述至少一个存储介质(20)上的指令实现，借助所选择的特殊网络(12，12a-12b)实施所述方法。
7.根据前述权利要求中任一项所述的分析处理装置，其特征在于第一和第二计算机单元(19)，其中，所述第一计算机单元(19)构造用于，实现用于所述基础网络(11)的方法的步骤，其中，所述第二计算机单元(19，23)构造用于，实现所述特殊网络(12，12a-12b)中的至少一个特殊网络的方法的步骤。
8.根据权利要求7所述的分析处理装置，其特征在于，所述第二计算机单元(19)构造为外部的计算机单元(19)和/或云(23)。
9.根据前述权利要求中任一项所述的分析处理装置，其特征在于，相比所述输入信号(7)，所述中间信号具有更少的数据量。
10.根据前述权利要求中任一项所述的分析处理装置，其特征在于，所述中间信号包括基于所述输入信号(7)的、提取的特征。
11.根据前述权利要求中任一项所述的分析处理装置，其特征在于，所述输入信号(7)包括图像(8)和/或形成图像文件。
12.根据前述权利要求中任一项所述的分析处理装置，其特征在于，所述特殊目的中的至少一个特殊目的包括图像分析处理、面部识别和/或人员识别和/或视频监控。
13.根据前述权利要求中任一项所述的分析处理装置，其特征在于，所述特殊目的和/或特殊网络(12，12a-12b)不同地构造。
14.一种摄像机(16)，所述摄像机包括根据前述权利要求中任一项的分析处理装置，其特征在于，所述摄像机(16)构造用于拍摄监控区域的图像(8)，其中，所述分析处理装置构造用于，以所述特殊目的和/或借助所述特殊网络(12，12a-12b)尤其同时分析处理所述图像(8)。
15.一种用于分析处理输入信号(7)的方法，
其中，基于机器学习系统的基础网络(11)根据所述输入信号(7)在所述基础网络(11)的边界层(13)上提供中间信号，其中，依照基础目的训练所述基础网络(11)，
其中，分别在特殊网络输入层(14a，14b)上将所述中间信号提供给基于机器学习系统的至少两个特殊网络(12，12a-12b)，其中，所述特殊网络(12，2a-12b)分别依照特殊目的被训练和/或能够被训练，
其中，基于所述中间信号，借助所述至少两个特殊网络(12，12a-12b)分别求取特殊网络输出信号，其中，在相应的特殊网络输出层(15a，15b)上提供所述特殊网络输出信号。
16.一种计算机程序，所述计算机程序设置用于实施根据权利要求15所述的方法的所有步骤。
17.一种机器可读的存储介质、尤其是非易失性机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求16所述的计算机程序。
CN202080054102.5A 2019-07-26 2020-06-09 用于分析处理输入信号的分析处理装置以及包括该分析处理装置的摄像机 Pending CN114175042A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019211116.5 2019-07-26
DE102019211116.5A DE102019211116A1 (de) 2019-07-26 2019-07-26 Auswerteeinrichtung zum Auswerten eines Eingangssignals sowie Kamera umfassend die Auswerteeinrichtung
PCT/EP2020/065947 WO2021018450A1 (de) 2019-07-26 2020-06-09 Auswerteeinrichtung zum auswerten eines eingangssignals sowie kamera umfassend die auswerteeinrichtung

Publications (1)

Publication Number Publication Date
CN114175042A true CN114175042A (zh) 2022-03-11

Family

ID=71094309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054102.5A Pending CN114175042A (zh) 2019-07-26 2020-06-09 用于分析处理输入信号的分析处理装置以及包括该分析处理装置的摄像机

Country Status (6)

Country Link
US (1) US20220269944A1 (zh)
EP (1) EP4004801A1 (zh)
KR (1) KR20220038686A (zh)
CN (1) CN114175042A (zh)
DE (1) DE102019211116A1 (zh)
WO (1) WO2021018450A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147958B (zh) * 2018-07-09 2023-07-14 康美药业股份有限公司 一种基于图片传送的健康咨询平台通道构建方法及系统
DE202018104373U1 (de) 2018-07-30 2018-08-30 Robert Bosch Gmbh Vorrichtung, die zum Betreiben eines maschinellen Lernsystems eingerichtet ist
CN109241880B (zh) * 2018-08-22 2021-02-05 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质

Also Published As

Publication number Publication date
US20220269944A1 (en) 2022-08-25
KR20220038686A (ko) 2022-03-29
EP4004801A1 (de) 2022-06-01
DE102019211116A1 (de) 2021-01-28
WO2021018450A1 (de) 2021-02-04

Similar Documents

Publication Publication Date Title
TWI746865B (zh) 深度視覺處理器
US11462007B2 (en) System for simplified generation of systems for broad area geospatial object detection
US10013774B2 (en) Broad area geospatial object detection using autogenerated deep learning models
US20240119286A1 (en) Adaptive artificial neural network selection techniques
EP3739504A1 (en) System and method for plant disease detection support
Memmesheimer et al. Gimme signals: Discriminative signal encoding for multimodal activity recognition
Gomez et al. Animal identification in low quality camera-trap images using very deep convolutional neural networks and confidence thresholds
Xiao et al. Deep salient object detection with dense connections and distraction diagnosis
US8463025B2 (en) Distributed artificial intelligence services on a cell phone
US11386598B2 (en) Method and system for sensor data recognition using data enrichment for the learning process
CN106462940A (zh) 图像中通用对象检测
CN109584266B (zh) 一种目标检测方法及装置
CN111090768A (zh) 一种基于深度卷积神经网络的相似图像检索系统和方法
JP2024502806A (ja) 病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム
CN112805717A (zh) 腹侧-背侧神经网络：通过选择性注意力的对象检测
CN110059577B (zh) 行人属性信息提取方法及装置
KR20210047230A (ko) 생성적 적대 신경망을 이용한 과수 병충해 분류 시스템 및 방법
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
KR102210404B1 (ko) 위치 정보 추출 장치 및 방법
CN111797862A (zh) 任务处理方法、装置、存储介质和电子设备
CN110659631A (zh) 车牌识别方法和终端设备
JP2017191458A (ja) 画像識別システム
DE112020006832T5 (de) Asynchrone aufgabenausführung für schaltung eines neuronalen prozessors
CN114175042A (zh) 用于分析处理输入信号的分析处理装置以及包括该分析处理装置的摄像机
JPWO2018131132A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination