CN109583462A - 基于深度神经网络的数据流处理方法、装置及系统 - Google Patents

基于深度神经网络的数据流处理方法、装置及系统 Download PDF

Info

Publication number
CN109583462A
CN109583462A CN201710896145.8A CN201710896145A CN109583462A CN 109583462 A CN109583462 A CN 109583462A CN 201710896145 A CN201710896145 A CN 201710896145A CN 109583462 A CN109583462 A CN 109583462A
Authority
CN
China
Prior art keywords
data
neural network
processing
deep neural
processing component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710896145.8A
Other languages
English (en)
Inventor
杜晶
陈清甫
范懿文
张弦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visual Interactive (beijing) Technology Co Ltd
Original Assignee
Visual Interactive (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Interactive (beijing) Technology Co Ltd filed Critical Visual Interactive (beijing) Technology Co Ltd
Priority to CN201710896145.8A priority Critical patent/CN109583462A/zh
Publication of CN109583462A publication Critical patent/CN109583462A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明技术方案提供了基于深度神经网络的数据流处理方法、装置及系统，包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。根据训练结果，指示处理组件对识别结果进行数据处理并输出。本发明的优点是，利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络处理控制器输入数据流对神经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。

Description

基于深度神经网络的数据流处理方法、装置及系统
技术领域
本发明涉及数据流处理领域，尤其涉及基于深度神经网络的数据流处理方法、装置及系统。
背景技术
随着半导体技术、电池技术和光学组件工艺的逐渐突破，智能眼镜将成为独立的设备进而取代手机。通过手势识别，语音识别，眼球追踪等多种交互方式，配合智能眼镜给予用户更好的的体验，最终成为能随身携带功能强大的小型智能计算中心。
当前智能眼镜是通过CPU(Central Processing Unit，中央处理器)+GPU(Graphics Processing Unit，图形处理器)的架构来进行数据处理。就目前而言，智能眼镜在每次获取图像、声音信息的时候，都是从零开始处理，无迹可寻。而CPU是通过串行方式处理数据，当数据量巨大时，就会产生处理数据慢的瓶颈，虽然GPU也开始参与计算工作，但其主要的显示工作随着分辨率的提高而负担不断加重，所以要让这个已经分身乏术的架构继续增加负荷，对智能眼镜的整体性能以及功耗表现会产生负面影响，从而导致数据处理效率降低。
为追求更高的效率，以及更好的功耗表现，只让CPU或GPU参与计算已经远远不够满足需求，还需要设备能够不断地对数据进行学习，在处理过程中智能的寻找捷径。
发明内容
本发明提供基于深度神经网络的数据流处理方法、装置及系统，用以解决智能眼镜处理数据处理效率低的问题。
为了实现上述目的，本发明技术方案提供了基于深度神经网络的数据流处理方法，所述方法包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。深度神经网络根据训练结果，指示处理组件对识别结果进行数据处理并输出。
作为上述技术方案的优选，所述方法包括：向深度神经网络输入预配置数据流集合。深度神经网络学习预配置数据流集合中各个数据流的数据特征，处理处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征。
作为上述技术方案的优选，所述方法包括：所述预配置数据流集合中每个数据流中至少包括：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据。所述深度神经网络学习：三维坐标数据、图像数所述音频数据、文本数据、人脸及手势数据、环境数据具有的数据特征。数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征。其中，训练结果包括：数据特征，处理过程，输出特征。训练结果存储在本地或云端。
作为上述技术方案的优选，所述方法包括：处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件。以上各个处理组件分别对所述图像数据、三维坐标数据、文本数据、音频数据、所述人脸及手势数据、环境数据进行数据处理，得到处理结果。深度神经网络学习所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。编码器对所述处理结果进行编码后输出。所述深度神经网络学习所述编码器的编码动作。其中，所述训练结果还包括：所述对应关系，所述编码动作。
作为上述技术方案的优选，所述方法还包括：数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络。深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征。
作为上述技术方案的优选，所述方法还包括：深度神经网络根据对应关系，通过控制组件指示处理组件对识别结果进行数据处理得到数据结果。深度神经网络还根据学习的编码动作，通过控制组件指示编码器对数据结果进行编码并输出。
本发明技术方案提供了基于深度神经网络的数据流处理装置，所述装置包括：训练模块，用于对深度神经网络进行训练，得到训练结果并储存。接收识别模块，用于所述深度神经网络接收多媒体数据流，根据所述训练模块得到的所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果。指示输出模块，用于所述深度神经网络根据所述训练模块得到的所述训练结果，指示处理组件对所述接收识别模块通过识别得到的所述识别结果进行数据处理并输出。
作为上述技术方案的优选，所述训练模块，包括：输入单元，用于向所述深度神经网络输入预配置数据流集合。学习单元，用于所述深度神经网络学习所述输入单元输入的所述预配置数据流集合中各个数据流的数据特征。处理输出单元，用于处理组件对所述输入单元输入的所述预配置数据流集合进行数据处理，得到输出数据并输出，所述学习单元学习所述处理输出单元的处理过程，以及所述输出数据的输出特征。
作为上述技术方案的优选，所述输入单元，包括：分流子单元，用于所述处理输出单元中的所述处理组件中数据分流器将预配置数据流集合中每个数据流中包含的数据进行分流。发送子单元，用于向将所述分流子单元的分流结果向所述处理输出单元发送。其中，学习单元学习：所述深度神经网络学习：分流子单元将所述预配置数据流集合至少被分流的三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据分别具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征；其中，所述训练结果具体包括：所述数据特征，所述处理过程，所述输出特征；具体的所述训练结果存储在本地或云端。
作为上述技术方案的优选，所述处理输出单元，包括：数据处理子单元，用于处理组件对预配置数据流集合通过分流子单元分流得到的：所述图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果。其中，所述处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件。其中，学习单元，用于所述深度神经网络学习所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。编码子单元，用于编码器对所述数据处理子单元得到的处理结果进行编码后输出。所述学习单元还用于所述深度神经网络学习编码子单元中编码器的编码动作。其中，所述训练结果还包括：所述对应关系，所述编码动作。
作为上述技术方案的优选，所述接收识别模块，包括：获取单元，用于数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络。识别单元，用于所述深度神经网络根据所述数据特征，识别所述获取单元获取的所述多媒体数据流中各个数据流中数据的特征。
作为上述技术方案的优选，所述指示输出模块，包括：指示单元，用于所述深度神经网络根据所述对应关系，通过指示单元中的控制组件指示所述数据处子理单元中的处理组件对所述识别结果进行数据处理得到数据结果。指示单元还用于，所述深度神经网络根据所述学习单元学习的所述编码动作，通过所述控制组件指示所述编码器对所述数据结果进行编码并输出。
本发明技术方案提供了基于深度神经网络的数据流处理系统，所述系统包括：总线，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流。数据处理器，用于处理组件对所述预配置数据流集合进行数据处理，得到输出数据并输出。深度神经网络处理控制器，用于深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征，深度神经网络学习数据处理器的处理过程，学习所述输出数据的输出特征，得到训练结果。总线还用于，输出深度神经网络根据所述训练结果指示处理组件对所述多媒体数据流进行数据处理得到的数据结果。
作为上述技术方案的优选，所述数据处理器，具体用于：数据处理器中有处理组件，所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流。所述预配置数据流集合中每个数据流中至少包括的三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据的特征，以上数据分别对应具有三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，以上特征为数据特征。还用于，编码器对所述处理结果进行编码后输出。
作为上述技术方案的优选，所述深度神经网络处理控制器，用于：深度神经网络学习所述数据特征，学习所述处理组件至少包括的影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。具体的，所述深度神经网络处理控制器将所述训练结果存储在本地或云端。还用于，所述深度神经网络学习所述编码器的编码动作。
作为上述技术方案的优选，所述深度神经网络处理控制器，还用于：深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征。深度神经网络根据所述对应关系，通过深度神经网络处理器中的控制组件指示所述数据处理器中的处理组件对所述识别结果进行数据处理得到数据结果。深度神经网络根据学习的所述编码动作，通过控制组件指示数据处理器中的编码器对所述数据结果进行编码并输出。
本发明技术方案提供了一种基于深度神经网络的数据流处理方法，所述方法包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。根据训练结果，指示处理组件对识别结果进行数据处理并输出。本发明技术方案还提供了基于深度神经网络的数据流处理装置，所述装置包括：训练模块，用于对深度神经网络进行训练，得到训练结果并储存。接收识别模块，用于所述深度神经网络接收多媒体数据流，根据训练结果识别多媒体数据流中的特征数据，得到识别结果。指示输出模块，用于深度神经网络根据所述训练模块得到的训练结果，指示处理组件对所述接收识别模块通过识别得到的识别结果进行数据处理并输出。本发明技术方案还提供了基于深度神经网络的数据流处理系统，包括：总线，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流。处理器，用于深度神经网络学习预配置数据流集合中各个数据流所包含数据的数据特征，用于处理组件对预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征，得到训练结果。总线还用于输出所述深度神经网络根据所述训练结果，指示处理组件对所述多媒体数据流进行数据处理得到的数据结果。
本发明的优点是，利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络输入数据流对神经经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度神经网络的数据流处理方法的流程示意图；
图2为本发明又一实施例提供的基于深度神经网络的数据流处理方法的流程图；
图3为本发明又一实施例提供基于深度神经网络的数据流处理方法的结构示意图；
图4为本发明实施例提供基于深度神经网络的数据流处理装置的结构示意图；
图5为，图4所示的训练模块41的结构示意图；
图6为，图5所示的输入单元51的结构示意图；
图7为，图5所示的处理输出单元53的结构示意图；
图8为，图4所示的接收识别模块42的结构示意图；
图9为，图4所示的指示输出模块43的结构示意图；
图10为本发明实施例提供基于深度神经网络的数据流处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供基于深度神经网络的数据流处理方法的流程示意图，如图1所示，包括：
步骤101、对深度神经网络进行训练，得到训练结果并储存。
外部设备向深度神经网络输入预配置数据流集合。预配置数据流集合中包含n个数据流(n为大于0的自然数)，具体的，所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流。每个数据流至少包括以下数据：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据。深度神经网络学习以上各个数据的数据特征。这些数据的特征分别为：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征。
处理组件对预配置数据流集合进行数据处理并输出，具体的：
处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件。上述组件分别对：图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果。
在以上处理过程中，深度神经网络学习所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。
之后，编码器对所述处理结果进行编码后输出。深度神经网络学习编码器的编码动作，学习输出数据的输出特征。
训练结果包括：数据特征，处理过程，输出特征，对应关系，编码动作。所述训练结果存储在本地或云端。
步骤102、深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。
数据流输入组件获取当前环境的多媒体数据流，并发送至深度神经网络。
深度神经网络根据数据特征，识别多媒体数据流中各个数据流中数据的特征。
步骤103、深度神经网络根据训练结果，指示处理组件对识别结果进行数据处理并输出。
深度神经网络根据之前步骤中学习的对应关系，通过控制组件指示处理组件对所述识别结果进行数据处理得到数据结果。
深度神经网络根据学习的编码动作和输出特征，通过控制组件指示编码器对数据结果进行编码并输出。
本发明技术方案提供了基于深度神经网络的数据流处理方法，包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。根据训练结果，指示处理组件对识别结果进行数据处理并输出。本发明利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络输入数据流对神经经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。
现用一具体实施例描述本发明技术方案，在本实施例中，数据分流器以EKF(Extended Kalman Filter，卡尔曼滤波器)为例、位置处理组件以SLAM(SimultaneousLocalization and Mapping，即时定位与地图构建)为例，文字处理组件以OCR(OpticalCharacter Recognition，光学字符识别)为例，图像处理组件以ISP(Image SignalProcessor，图像信号处理器)为例，外部设备以智能眼镜为例进行说明。本实施例中并非用以上具象的处理器、处理方法或外部设备类型对本发明技术方案进行限制。
图2为本发明又一实施例提供基于深度神经网络的数据流处理方法的流程图，具体的，如图所示：
步骤201、外设向深度神经网络输入预配置数据流集合。
外设可以是智能眼镜，也可以是电脑或者手机等终端设备。预配置数据流集合是预先采集的，包含影像、音频、手势及人脸等等数据信息的数据流集合。预配置数据流集合中数据流的数量为大于0的正整数。
步骤202、EKF将预配置数据流集合中每个数据流中包含的数据进行分流。
具体的，将每个数据流中数据分为，三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据。
步骤203、EKF将分流后的数据分别发送给相应处理组件，深度神经网络学习其中的对应关系以及数据特征。
具体的：三维坐标数据发送给SLAM、图像数据发送至ISP、音频数据发送至音频处理组件、文本数据发送至OCR、人脸及手势数据发送至特征图像处理组件、环境数据发送给环境处理组件。
这些数据的特征分别为：三维坐标数据具有类似三维坐标的三维特征，图像数据具有像素特征，音频数据具有声波特征，文本数据具有字符特征，人脸及手势数据具有能够组成人脸及手势图像的像素特征、环境数据具有(温度、湿度、压强等)环境特征。深度神经网络学习以上特征。
在发送过程中，数据与处理组件具有对应关系，深度神经网络学习这一对应关系。
步骤204、相应处理组件对数据进行处理，得到处理结果，深度神经网络学习处理过程。
步骤205、编码器对处理结果进行编码后输出，深度神经网络学习编码器的编码动作及输出数据的输出特征。
步骤206、对深度神经网络的训练完毕，得到训练结果并存储。
训练结果包括：数据特征，处理过程，输出特征，对应关系，编码动作。训练结果存储在本地或云端服务器中。
步骤207、智能眼镜采集当前环境的多媒体数据流。
多媒体数据流具体包括，智能眼镜上的深度摄像模组采集当前环境的图像数据，麦克风采集音频数据，陀螺仪采集三维坐标数据，深度摄像模组还采集显示界面上的文本数据，采集手部运动姿势和界面交互动作(其中，手部运送姿势包括手部每一个特征点的位置信息)，以及可能出现的脸部图像及脸部图像中特征点的位置信息。
步骤208、深度神经网络根据数据特征，识别多媒体数据流中各个数据流中数据的特征。
在深度神经网络识别数据特征之前，EKF会将多媒体数据流分流，具体将多媒体数据流分为步骤207中提到的各种数据。
具体的，深度神经网络在步骤208及之后的步骤中的各种动作，是根据步骤206中的训练结果进行的。
步骤209、深度神经网络根据对应关系，指示各个处理组件对数据进行数据处理得到数据结果。
深度神经网络通过深度神经网络控制器下达指示命令，指示SLAM、ISP、音频处理组件、OCR、特征图像处理组件分别对：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据进行数据处理。其中，深度神经网络控制器用于深度神经网络向处理组件发出调度指令。
步骤210、深度神经网络根据编码动作和输出特征，指示编码器对数据结果进行编码并输出。
图3为本发明又一实施例提供基于深度神经网络的数据流处理方法的结构示意图，具体的，如图所示：
外设向深度神经网络输入预配置数据流集合，EKF将预配置数据流集合中每个数据流中包含的数据进行分流，并分别将相应数据类型分别发送至相应处理组件，具体的，三维坐标数据发送给SLAM、图像数据发送至ISP、音频数据发送至音频处理组件、文本数据发送至OCR、人脸及手势数据发送至特征图像处理组件、环境数据发送至环境处理组件。上述处理组件对数据处理完毕后，编码器对数据处理结果进行编码后输出，深度神经网络学习输出特征和编码动作。当外设采集当前环境的多媒体数据流时，在EKF分流后向深度神经网络发送分流完毕信号，之后深度神经网络指示各个处理组件对多媒体数据流中相应数据进行数据处理，并指示编码器进行编码，之后输出。
深度神经网络进行学习后，在实际获取多媒体数据流时，所有的数据如何处理，编码，输出，都由深度神经网络进行指示，并且在实际处理中，深度神经网络参考训练过程，不断地学习实际多媒体数据流中可能包含的其他数据，比如地理信息(经纬度，海拔)。
本发明技术方案提供了基于深度神经网络的数据流处理方法，所述方法包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。根据训练结果，指示处理组件对识别结果进行数据处理并输出。本发明利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络输入数据流对神经经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。
图4为本发明实施例提供基于深度神经网络的数据流处理装置的结构示意图，具体的，如图所示：
训练模块41，用于对深度神经网络进行训练，得到训练结果并储存。
接收识别模块42，用于深度神经网络接收多媒体数据流，根据训练模块41得到的训练结果识别所述多媒体数据流中的特征数据，得到识别结果。
指示输出模块43，用于深度神经网络根据训练模块41得到的训练结果，指示处理组件对所述接收识别模块42通过识别得到的所述识别结果进行数据处理并输出。
如图5所示，训练模块41，包括：
输入单元51，用于向深度神经网络输入预配置数据流集合。
学习单元52，用于深度神经网络学习从输入单元51输入的预配置数据流集合中各个数据流的数据特征。
处理输出单元53，用于处理组件对从输入单元51输入的预配置数据流集合进行数据处理并输出，学习单元52学习处理过程，学习输出数据的输出特征。
如图6所示，输入单元51，包括：
分流子单元61，用于所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流。
发送子单元62，用于向将分流子单元61的分流结果向所述处理输出单元发送。
学习单元52，用于：深度神经网络学习：预配置数据流集合被分流子单元61分流后的三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据分别具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征。
训练结果具体包括：数据特征，处理过程，输出特征。训练结果存储在本地或云端服务器中。
如图7所示，处理输出单元53，包括：
数据处理子单元71，用于处理组件对所述预配置数据流通过所述分流子单元61分流得到的：图像数据、三维坐标数据、文本数据、音频数据、所述人脸及手势数据进行数据处理，得到处理结果。
处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件。
学习单元52，还用于深度神经网络学习数据处理子单元71中影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。
编码子单元72，用于编码器对数据处理子单元71得到的处理结果进行编码后输出。
学习单元52还用于所述深度神经网络学习编码子单元72中编码器的编码动作。
其中，所述训练结果还包括：所述对应关系，所述编码动作。
如图8所示，接收识别模块42，包括：
获取单元81，用于数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络；
识别单元82，用于所述深度神经网络根据数据特征，识别获取单元81获取的所述多媒体数据流中各个数据流中数据的特征。
如图9所示，指示输出模块43，包括：
指示单元91，用于深度神经网络根据学习单元52学习的对应关系，通过指示单元91中的控制组件指示数据处理子单元71中的处理组件对识别结果进行数据处理得到数据结果。
指示单元91还用于深度神经网络根据学习单元52学习的编码动作，通过控制组件指示编码器对数据结果进行编码得到待输出数据。
输出单元92，用于编码器将待输出数据输出。
本发明技术方案提供了基于深度神经网络的数据流处理装置，所述装置包括：训练模块，用于对深度神经网络进行训练，得到训练结果并储存。接收识别模块，用于所述深度神经网络接收多媒体数据流，根据训练结果识别多媒体数据流中的特征数据，得到识别结果。指示输出模块，用于深度神经网络根据所述训练模块得到的训练结果，指示处理组件对所述接收识别模块通过识别得到的识别结果进行数据处理并输出。本发明利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络输入数据流对神经经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。
图10为本发明实施例提供基于深度神经网络的数据流处理系统的结构示意图，具体的，如图所示：
总线1001，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流。
数据处理器1002，用于接收总线1001输入的预配置数据流集合，用于处理组件对所述预配置数据流集合进行数据处理，得到输出数据并输出。
数据处理器1002，具体用于：数据处理器中有处理组件，所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流。
预配置数据流集合中，每个数据流中的数据至少被分流为：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据的特征，以上数据分别对应具有三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，以上特征为数据特征。
还用于，编码器对所述处理结果进行编码后输出至显示装置1004，编码器在数据处理器1002中。
深度神经网络处理控制器1003，用于深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征，深度神经网络学习所述数据处理器1002的处理过程，学习所述输出数据的输出特征，得到训练结果。
深度神经网络处理控制器1003，还用于：深度神经网络学习数据特征，学习数据处理器1002中至少包括的影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。
具体的，深度神经网络处理控制器1003将所述训练结果存储在本地或云端。还用于，所述深度神经网络学习所述编码器的编码动作。
深度神经网络处理控制器1003，还用于：深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征，根据对应关系，通过深度神经网络处理控制器中的控制组件指示数据处理器1002中的处理组件，对识别结果进行数据处理。深度神经网络根据学习的编码动作，通过深度神经网络处理控制器1003控制组件，指示数据处理器1002中的编码器对所述数据结果进行编码，得到数据结果，之后将数据结果通过总线1001传输至显示装置1004。
显示装置1004，用于显示所述数据结果。其中，显示装置可以是LCD(LiquidCrystal Display，液晶显示器)、OLED(Organic Light Emitting Display，有机发光二极管)等传统的显示装置，还可以在平板光波导、自由曲面等光学介质上或者人眼视网膜上，通过光学投影的方式，将光学信号在特定不同的光路下进行折射，以达到对数据结果进行光学投影的目的，从而达到成像的目的。
本发明技术方案还提供了基于深度神经网络的数据流处理系统，包括：总线，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流。处理器，用于深度神经网络学习预配置数据流集合中各个数据流所包含数据的数据特征，用于处理组件对预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征，得到训练结果。总线还用于输出深度神经网络根据所述训练结果，指示处理组件对所述多媒体数据流进行数据处理得到的数据结果。
本发明的优点是，利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络输入数据流对神经经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.基于深度神经网络的数据流处理方法，其特征在于，所述方法包括：
对深度神经网络进行训练，得到训练结果并储存；
所述深度神经网络接收多媒体数据流，根据所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果；
所述深度神经网络根据所述训练结果，指示处理组件对所述识别结果进行数据处理并输出。
2.根据权利要求1所述的方法，其特征在于，所述对深度神经网络进行训练，得到训练结果并储存，包括：
向所述深度神经网络输入预配置数据流集合；
所述深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征；
处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征。
3.根据权利要求2所述的方法，其特征在于，所述深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征，包括：
所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流；
所述预配置数据流集合中，每个数据流中的数据至少被分流为：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据；
所述深度神经网络学习：所述三维坐标数据、所述图像数据、所述音频数据、所述文本数据、所述人脸及手势数据、所述环境数据具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征；
其中，所述训练结果包括：所述数据特征，所述处理过程，所述输出特征；所述训练结果存储在本地或云端。
4.根据权利要求2所述的方法，其特征在于，所述处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征，包括：
所述处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件；
所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件分别对所述图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果；
所述深度神经网络学习所述所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系；
编码器对所述处理结果进行编码后输出；
所述深度神经网络学习所述编码器的编码动作；
其中，所述训练结果还包括：所述对应关系，所述编码动作。
5.根据权利要求3和4所述的方法，其特征在于，所述深度神经网络接收多媒体数据流，根据所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果，包括：
数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络；
所述深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征。
6.根据权利要求5所述的方法，其特征在于，所述深度神经网络根据所述训练结果，指示处理组件对所述识别结果进行数据处理并输出，包括：
深度神经网络根据所述对应关系，通过控制组件指示所述处理组件对所述识别结果进行数据处理得到数据结果；
所述深度神经网络根据学习的所述编码动作，通过控制组件指示所述编码器对所述数据结果进行编码并输出。
7.基于深度神经网络的数据流处理装置，其特征在于，所述装置包括：
训练模块，用于对深度神经网络进行训练，得到训练结果并储存；接收识别模块，用于所述深度神经网络接收多媒体数据流，根据所述训练模块得到的所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果；
指示输出模块，用于所述深度神经网络根据所述训练模块得到的所述训练结果，指示处理组件对所述接收识别模块通过识别得到的所述识别结果进行数据处理并输出。
8.根据权利要求7所述的装置，其特征在于，所述训练模块，包括：
输入单元，用于向所述深度神经网络输入预配置数据流集合；
学习单元，用于所述深度神经网络学习所述输入单元输入的所述预配置数据流集合中各个数据流的数据特征；
处理输出单元，用于处理组件对所述输入单元输入的所述预配置数据流集合进行数据处理，得到输出数据并输出，所述学习单元学习所述处理输出单元的处理过程，以及所述输出数据的输出特征。
9.根据权利要求8所述的装置，其特征在于，所述输入单元，包括：
分流子单元，用于所述处理输出单元中的所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流；
发送子单元，用于向将所述分流子单元的分流结果向所述处理输出单元发送；
其中，所述学习单元学习：所述分流子单元将所述预配置数据流集合至少被分流的三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据分别具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征；
其中，所述训练结果具体包括：所述数据特征，所述处理过程，所述输出特征；具体的所述训练结果存储在本地或云端。
10.根据权利要求8所述的装置，其特征在于，所述处理输出单元，包括：
数据处理子单元，用于所述处理组件对所述预配置数据流集合通过所述分流子单元分流得到的：所述图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果；
所述处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件；
其中，学习单元，用于所述深度神经网络学习所述数据处理子单元中所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系；
编码子单元，用于编码器对所述数据处理子单元得到的所述处理结果进行编码后输出；
所述学习单元还用于所述深度神经网络学习所述编码子单元中所述编码器的编码动作；
其中，所述训练结果还包括：所述对应关系，所述编码动作。
11.根据权利要求9和10所述的装置，其特征在于，所述接收识别模块，包括：
获取单元，用于数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络；
识别单元，用于所述深度神经网络根据所述数据特征，识别所述获取单元获取的所述多媒体数据流中各个数据流中数据的特征。
12.根据权利要求11所述的装置，其特征在于，所述指示输出模块，包括：
指示单元，用于所述深度神经网络根据所述对应关系，通过所述指示单元中的控制组件指示所述数据处理子单元中的处理组件对所述识别结果进行数据处理得到数据结果；
指示单元还用于，所述深度神经网络根据所述学习单元学习的所述编码动作，通过所述控制组件指示所述编码器对所述数据结果进行编码并输出。
13.基于深度神经网络的数据流处理系统，其特征在于，所述系统包括：
总线，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流；
数据处理器，用于处理组件对所述预配置数据流集合进行数据处理，得到输出数据并输出；
深度神经网络处理控制器，用于所述深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征，深度神经网络学习所述数据处理器的处理过程，学习所述输出数据的输出特征，得到训练结果；
总线还用于，输出所述深度神经网络根据所述训练结果指示处理组件对多媒体数据流进行数据处理得到的数据结果。
14.根据权利要求13所述的系统，其特征在于，所述数据处理器，具体用于：
所述数据处理器中有处理组件，所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流；
所述预配置数据流集合中，每个数据流中的数据至少被分流为：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据的特征，以上数据分别对应具有三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，以上特征为数据特征；
还用于，编码器对所述处理结果进行编码后输出。
15.根据权利要求14所述的系统，其特征在于，所述深度神经网络处理控制器，用于：
所述深度神经网络学习所述数据特征，学习所述处理组件至少包括的影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系；
具体的，所述深度神经网络处理控制器将所述训练结果存储在本地或云端；
还用于，所述深度神经网络学习所述编码器的编码动作。
16.根据权利要求15所述的系统，其特征在于，所述深度神经网络处理控制器，还用于：
所述深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征；
所述深度神经网络根据所述对应关系，通过所述深度神经网络处理控制器中的控制组件指示所述数据处理器中的所述处理组件对所述识别结果进行数据处理得到数据结果；
所述深度神经网络根据学习的所述编码动作，通过所述控制组件指示所述数据处理器中的编码器对所述数据结果进行编码并输出。
CN201710896145.8A 2017-09-28 2017-09-28 基于深度神经网络的数据流处理方法、装置及系统 Pending CN109583462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710896145.8A CN109583462A (zh) 2017-09-28 2017-09-28 基于深度神经网络的数据流处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710896145.8A CN109583462A (zh) 2017-09-28 2017-09-28 基于深度神经网络的数据流处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN109583462A true CN109583462A (zh) 2019-04-05

Family

ID=65912641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710896145.8A Pending CN109583462A (zh) 2017-09-28 2017-09-28 基于深度神经网络的数据流处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN109583462A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021026768A1 (zh) * 2019-08-13 2021-02-18 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN116595443A (zh) * 2023-07-17 2023-08-15 山东科技大学 一种基于元学习的无线信号本手势识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412640A (zh) * 2013-05-16 2013-11-27 胡三清 牙齿控制的字符或命令输入的装置及方法
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN106203391A (zh) * 2016-07-25 2016-12-07 上海蓝灯数据科技股份有限公司 基于智能眼镜的人脸识别方法
CN106997236A (zh) * 2016-01-25 2017-08-01 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412640A (zh) * 2013-05-16 2013-11-27 胡三清 牙齿控制的字符或命令输入的装置及方法
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN106997236A (zh) * 2016-01-25 2017-08-01 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
CN106203391A (zh) * 2016-07-25 2016-12-07 上海蓝灯数据科技股份有限公司 基于智能眼镜的人脸识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021026768A1 (zh) * 2019-08-13 2021-02-18 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN116595443A (zh) * 2023-07-17 2023-08-15 山东科技大学 一种基于元学习的无线信号本手势识别方法
CN116595443B (zh) * 2023-07-17 2023-10-03 山东科技大学 一种基于元学习的无线信号本手势识别方法

Similar Documents

Publication Publication Date Title
Zhang et al. Empowering things with intelligence: a survey of the progress, challenges, and opportunities in artificial intelligence of things
CN106228982B (zh) 一种基于教育服务机器人的交互式学习系统与交互方法
US11559887B2 (en) Optimizing policy controllers for robotic agents using image embeddings
US9928605B2 (en) Real-time cascaded object recognition
KR101887637B1 (ko) 로봇 시스템
CN109658352A (zh) 图像信息的优化方法及装置、电子设备和存储介质
US11853895B2 (en) Mirror loss neural networks
CN105190700A (zh) 基于化身的视频编码
CN110850877A (zh) 基于虚拟环境和深度双q网络的自动驾驶小车训练方法
CN107020632A (zh) 一种教学机器人的控制系统
CN109493403A (zh) 一种基于运动单元表情映射实现人脸动画的方法
CN106446141B (zh) 面向智能机器人系统的交互数据处理方法及机器人系统
CN110060230A (zh) 三维场景分析方法、装置、介质及设备
CN110348278A (zh) 用于自主驾驶的基于视觉的样本高效的强化学习框架
CN106297441A (zh) 一种美术教学系统
CN109583462A (zh) 基于深度神经网络的数据流处理方法、装置及系统
CN110121719A (zh) 用于深度学习的装置、方法和计算机程序产品
CN106707512A (zh) 一种低功耗智能ar系统及智能ar眼镜
CN116229584A (zh) 一种人工智能领域的文本分割识别方法、系统、设备及介质
KR20190098930A (ko) 사용자에게 음식을 제공하는 방법 및 그 장치
CN109419609A (zh) 一种盲人导航的智能眼镜
CN106816054A (zh) 用于智能机器人的交互教学方法及终端
CN113222961A (zh) 智能船体检测系统及方法
Liu et al. Real-time object recognition based on NAO humanoid robot
Luo Research on gesture recognition based on YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190405