CN111383638A - 信号处理装置、信号处理方法及相关产品 - Google Patents

信号处理装置、信号处理方法及相关产品 Download PDF

Info

Publication number
CN111383638A
CN111383638A CN201911070287.4A CN201911070287A CN111383638A CN 111383638 A CN111383638 A CN 111383638A CN 201911070287 A CN201911070287 A CN 201911070287A CN 111383638 A CN111383638 A CN 111383638A
Authority
CN
China
Prior art keywords
image
signal
instruction
processing
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911070287.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cambricon Information Technology Co Ltd
Original Assignee
Shanghai Cambricon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cambricon Information Technology Co Ltd filed Critical Shanghai Cambricon Information Technology Co Ltd
Priority to CN201911070287.4A priority Critical patent/CN111383638A/zh
Publication of CN111383638A publication Critical patent/CN111383638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30025—Format conversion instructions, e.g. Floating-Point to Integer, decimal conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种信号处理装置，包括：信号采集器获取待处理图像；所述信号采集器采集输入的信号；指令转换器根据目标信号指令转换模型将所述信号转换为图像处理指令；图像处理器依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。采用本申请实施例可以实现输入信号即可对图像进行处理的功能，节省了用户在图像处理之前学习图像处理软件的时间，提高了用户体验。

Description

信号处理装置、信号处理方法及相关产品
技术领域
本申请涉及图像处理领域，尤其涉及一种信号处理装置、信号处理方法及相关产品。
背景技术
用户在拍完照片后，为了展现更好的图像效果，会通过电子设备(如手机、平板电脑等)中的图像处理(Photoshop)软件或者手机中的修图软件对图像进行处理。
但是，在使用电子设备中的图像处理(Photoshop)软件对图像进行处理之前，用户需要学习掌握软件的使用方法，并且在掌握软件的使用方法后，需要手动输入指令来让电子设备进行修图操作。这种方式对于用户来说，既耗费时间，并且用户体验差。
发明内容
本申请实施例提供一种信号处理装置、信号处理方法及相关产品，实现了输入信号即可对图像进行处理的功能，节省了用户在图像处理之前学习图像处理软件的时间，提高了用户体验。
第一方面，本申请实施例提供一种信号处理装置，包括：
信号采集器，用于获取待处理图像；
所述信号采集器，还用于采集输入的信号；
指令转换器，用于根据目标信号指令转换模型将所述信号转换为图像处理指令；
图像处理器，用于依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。
第二方面，本申请实施例还提供了一种机器学习运算装置，所述机器学习运算装置包括一个或多个如第一方面所述的信号处理装置，用于从其他处理装置中获取待运算输入数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其他处理装置；
当所述机器学习运算装置包含多个所述信号处理装置时，所述多个所述信号处理装置间可以通过特定的结构进行连接并传输数据；
其中，多个所述信号处理装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述信号处理装置共享同一控制系统或拥有各自的控制系统；多个所述信号处理装置共享内存或者拥有各自的内存；多个所述信号处理装置的互联方式是任意互联拓扑。
第三方面，本申请实施例还提供了一种组合处理装置，所述组合处理装置包括如第二方面所述的机器学习运算装置，通用互联接口和其他处理装置；
所述机器学习运算装置与所述其他处理装置进行交互，共同完成用户指定的计算操作。
第四方面，本申请实施例还提供了一种神经网络芯片，所述机器学习芯片包括如第二方面所述的机器学习运算装置或如第三方面所述的组合处理装置。
第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括如第四方面所述的芯片。
第六方面，本申请实施例还提供了一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及如第六方面所述的神经网络芯片；
其中，所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述芯片与外部设备之间的数据传输；
所述控制器件，用于对所述芯片的状态进行监控。
第七方面，本申请实施例还提供了一种信号处理方法，包括：
获取待处理图像；
采集输入的信号；
根据目标信号指令转换模型将所述信号转换为图像处理指令；
依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。
第八方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第七方面中所描述的部分或全部步骤。
第九方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第七方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例的方案中，信号采集器获取待处理图像以及采集输入的信号，指令转换器根据目标信号指令转换模型将所述信号转换为图像处理指令，图像处理器依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。与现有的图像处理技术相比，本申请通过输入信号进行图像处理，节省了用户在进行图像处理前学习图像处理软件的时间，提高了用户体验。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种信号处理装置的结构示意图；
图2为本申请实施例提供的另一种信号处理装置的局部结构示意图；
图3为本申请实施例提供的另一种信号处理装置的局部结构示意图；
图4为本申请实施例提供的另一种信号处理装置的局部结构示意图；
图5A是本申请实施例提供的一种计算装置的结构示意图；
图5B是本申请一个实施例提供的计算装置的结构图；
图5C是本申请另一个实施例提供的计算装置的结构图；
图5D是本申请实施例提供的主处理电路的结构图；
图5E是本申请实施例提供的另一种计算装置的结构图；
图5F是本申请实施例提供的树型模块的结构示意图；
图5G是本申请实施例提供的又一种计算装置的结构图；
图5H是本申请实施例提供的还一种计算装置的结构图；
图6A是本申请实施例提供的一种组合处理装置的结构图；
图6B是本申请实施例提供的一种计算装置的结构示意图；
图7A是本申请实施例提供的另一种组合处理装置的结构图；
图7B是本申请实施例提供的一种板卡的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图；
图9为本申请实施例提供的一种信号处理方法的流程示意图；
图10为本申请实施例提供的另一种信号处理装置的结构图；
图11为本申请实施例提供的另一种电子设备的结构图。
具体实施方式
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在一些实施例里，本申请实施中电子设备可包括以下至少一种：数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备，在此不做限定。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器可以包括以下至少一种：电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机，在此不做限定；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
请参见图1，图1为本申请实施例提供的一种信号处理装置的结构示意图。如图1所示，该信号处理装置100包括：
信号采集器1019，用于获取待处理图像。
其中，上述信号处理装置可以应用于电子设备。
可选地，所述信号处理装置还包括存储器，所述待处理图像为通过图像采集设备实时捕捉的内容，或者，从所述存储器中存储的图像或视频中的至少一帧内容。
上述待处理图像可以为电子设备的图像采集设备实时捕捉的内容，也可以是从相册、存储器中读取的之前保存或者缓存的图像或者视频中的任意一帧或者多帧的内容，当然，缓存的图像可以为预览图像，或者，上述图像采集设备可以为摄像头、超声波传感器或者其他图像采集设备。其中，该内容包括人的行为、人的表情、实物、场景等。其中，该摄像头可以是红外摄像头、可见光摄像头、景深摄像头等等，在此不做限定。
所述信号采集器1019，还用于采集输入的信号；
其中，上述信号包括但不限于语音信号、图像信号、文本信号、感应信号等。该信号采集装置可以只采集其中一种信号，也可以支持采集多种信号。举例说明下，上述感应信号可以为触控信号，即触摸触控显示屏生成的信号，或者，上述信号可以为语音信号，即通过麦克风接收到的音频信号，或者，上述信号可以为图像信号，即由获取的图像生成的信号，或者，上述信号可以为手势信号，即采集用户手势生成的信号。上述信号中包含指示电子设备对待处理图像进行编辑的指示信息。
可选地，上述触控信号可以解析为触控参数，触控参数可以为以下至少一种：触控次数、触控面积、触控力度、触控点数量、触控位置、触控轨迹、触控图案等等，在此不作限定。触控次数可以理解为在指定时间段内触控触控显示屏的次数，指定时间段可以由用户自行设置或者系统默认，触控面积可以为手指触控到触控显示屏的接触面积，触控力度可以为手指触控到触控显示屏的力度，触控点数量可以为触控显示屏检测到的触控显示屏的手指数目，具体地，如多点触控，触控位置为触控到触控显示屏的物理位置，当然，也可以理解为触控显示屏的显示界面的预设图案的位置，预设图案可以由用户自行设置或者系统默认，这种情况下，触控位置可以理解为一个动态位置，触控轨迹可以理解为触控显示屏检测的触摸轨迹，类似地，触控图案可以理解为触控显示屏检测到的触摸图案。
进一步可选地，在所述信号为触控信号时，在所述据目标信号指令转换模型将所述信号转换为图像处理指令方面，所述指令转换器具体用于：
将所述信号解析为目标触控参数；
按照预设的触控参数与指令之间的映射关系，确定所述目标触控参数对应的图像处理指令。
其中，具体实现中，存储器中可以预先存储预设的触控参数与指令之间的映射关系，信号处理装置可以将信号解析为触控参数，依据上述映射关系确定其对应的图像处理指令。
指令转换器1029，用于根据目标信号指令转换模型将所述信号转换为图像处理指令。
其中，不同类型的信号则可以对应不同的信号指令转换模型。进而，依据目标信号指令转换模型将信号转化为图像处理指令。
可选地，所述图像处理指令包括以下至少一项内容：图像编辑区域、图像编辑方式、图像编辑模式，其中，所述图像编辑模式为实时编辑模式，或者，单张图像编辑模式，或者，多张图像编辑模式。通过图像处理指令可以实现对一张或者多张图像进行编辑，当然，也可以对视频进行实时编辑。
图像处理器1039，用于依据所述图像处理指令对所述待处理图像进行编辑，得到结果图像。
电子设备可根据图像处理指令对图像进行编辑，并将编辑后的图像显示到电子设备的屏幕。当然，如果该图像为实时捕捉或者视频中的一帧，则可以对后续实时捕捉的图像或者视频的后续帧进行信号指定的编辑。
进一步地，电子设备还可以接收保存指令，响应该保存指令对结果图像进行保存。
对于本申请实施例，信号处理装置可通过图像处理指令对图像进行实时编辑，能够快速有效的处理用户对图像的编辑需求，并反馈给用户，提高用户体验，另外，则可以采用语音信号或者其他类型指令信号的一种或者几种，有效降低用户编辑图像的复杂度，进一步提高人性化操作。
可选地，上述信号处理装置100还包括信号过滤器，上述信号采集器101采集到上述信号后，上述信号过滤器对该输入的信号进行降噪处理，降低信号中无用数据的干扰。
可选地，该信号采集器可为语音信号采集器，可以包括但不仅限于：语音传感器、麦克风、拾音器，或者，获取其他音频采集装置，在此不作限定；该信号采集器还可为图像采集器，可以包括但不仅限于：照相机、摄像机及其他图像采集装置，在此不作限定；该信号采集器也可为感应信号采集器，可以包括但不仅限于：触摸屏、触控板、体感传感器、超声波传感器、脑电波传感器及其他感应信号采集装置。
具体地，以上述步骤101中的信号为语音信号为例，上述信号采集器1019可在接收语音信号时，还接收环境声音信号。上述信号过滤器可根据上述环境声音信号对上述语音信号进行降噪处理。该环境声音信号对上述语音信号来说是噪声。进一步地，上述该信号采集器101可包括麦克风阵列，既可用于采集上述语音信号和上述环境声音信号，又实现了降噪处理。
具体地，以上述步骤101中的信号为图像信号为例，上述信号采集器1019在接收图像信号时，图像信号中只有部分内容为有效信息，例如手势、面部表情、动作趋势。上述信号过滤器用于过滤掉无用信息，仅仅提取出图像中的有用信息，如手势、面部表情、动作趋势。进一步地，上述该图像采集器101可包括体感传感器，可用于采集图像后提取出人的体感动作和指向进行定位，得到有用信息。
具体地，以上述步骤101中的信号为文本信号为例，上述信号采集器1019在接收文本信号时，文本信息中并非全部内容均为有效信息。上述文本信号过滤器用于过滤掉无用信息，提取文本信号的有用信息，具体地，例如，提取关键字。
可选地，在一种可行的实施例中，上述信号处理装置还包括第一存储模块。上述信号采集器采集到上述信号后，上述信号处理装置将上述信号存储到第一存储模块中。
指令转换器1029，用于根据目标信号指令转换模型将所述信号转换成图像处理指令和目标区域，所述目标区域为待处理图像的处理区域。
可选地，上述指令转换器1029在根据语音识别技术、自然语言处理技术和图像识别技术等技术将所述信号转换成图像处理指令和目标区域之前，上述指令转换器1029从上述第一存储模块中获取上述步骤101中的信号。
其中，如图2所示，所述指令转换器1029包括：
第一信号识别器1021，用于将所述信号转换成文本信息。可选地，该识别器可包含一个或多个子识别器，如语音信号子识别器通过语音识别技术将语音信号转换成文本信息，图像信号子识别器通过图像识别技术将一幅图像或一组图像的有效信号转换成文本信息等；
可选地，在将所述信号转换成文本信息的过程中还可以同时处理多种类型信号，如同时输入语音信号和图像信号，分别利用语音信号子识别器和图像信号子识别器对其进行识别。
举例说明下，上述图像信号处理一组图像的过程。具体地，假设利用摄像头采集多幅图像，利用图像信号子识别器，对采集到的图像进行分割，剔除无效信息，即将图像的前景和背景进行分割，剔除背景信息，获取前景信息，接着，确定一个或多个目标的位置及大小等相关信息，或者，也可以利用图像信号子识别器，对采集到的图像进行分割，剔除无效信息，即将图像的前景和背景进行分割，剔除前景信息，获取背景信息，接着，确定一个或多个目标的位置及大小等相关信息。具体地，如进行利用边缘检测技术，确定人脸、人手、人的骨骼架构的位置及范围；其次，对目标进行识别，如果具有多个备选目标，则确定各备选目标备选的优先级；最后，筛选出有效目标，并利用目标追踪技术，追踪目标运动轨迹，得到该目标所表达的含义，如获取到人脸、人的骨骼架构基本没有变化，而人手从左边滑到右边，得到该有效信息是将待处理图像的图像编辑区域从左边移动到右边，而后将有效的图像信息转化为预设类型信息，预设类型信息可以为以下至少一种：文本信息、图像信息、语音信息、投影信息、振动信息等等，在此不作限定。
再举例说明下，上述文本信号处理一段文本的过程。假设利用文本信息采集器获取到了一段文本信息，利用文本信号子识别器，对采集到的文本进行切分，形成文本矢量。而后利用文本特征提取技术，筛选出有效文本信息。结合离线训练而成的文本匹配模型，将有效的采集文本信息转化成为可送入信号文本转换器的预设类型信息，预设类型信息可以为以下至少一种：文本信息、图像信息、语音信息、投影信息、振动信息等等，在此不作限定。
再举例说明下，上述多种类型信号的处理过程。假设两个或以上信号采集器采集到信号，假设是语音信号和图像信号，那么将语音信号通过语音信号子识别器进行处理，使其成为该语音信号对应的文本信息，将图像信号通过图像信号子识别器进行处理，使其成为该图像信号对应的预设类型信息，预设类型信息可以为以下至少一种：文本信息、图像信息、语音信息、投影信息、振动信息等等，在此不作限定。
信号文本转换器1022，用于将所述一条或多条文本信息通过自然语言处理技术和所述目标信号指令转换模型转换成所述图像处理指令；
第一图像识别器1023，用于根据所述图像处理指令中的语义区域的粒度和图像识别技术对所述待处理图像进行区域划分，获取所述图像编辑区域。
进一步地，上述指令转换器1029还包括：
获取模块1026，用于获取上述图像处理指令中的语义区域的粒度。
举例说明上述语义区域，假设上述信号处理装置100根据语音信号确定上述图像编辑区域为人脸区域时，则上述语义区域为上述待处理图像中的人脸区域，上述信号处理装置以人脸为粒度，获取上述待处理图像中的多个人脸区域；当上述图像编辑区域为背景，上述信号处理装置将上述待处理图像划分为背景区域和非背景区域；当上述图像编辑区域为红颜色区域时，上述信号处理装置将上述待处理图像按照颜色划分为不同颜色的区域。
可选地，上述指令转换器1029还包括判断模块，用于判断图像编辑区域和处理指令是否符合判断模型的预设要求，预设要求可以由用户自行设置，或者，系统默认。例如，要求头脚互换，则不符合常理。如果不符合，返回提示信息给用户，如询问用户是否确定执行该操作。其中，判断模型是通过离线训练得到的模型，也可以是用户自定义得到的模型。如收到确认的信息，则继续执行。用户确认的方式可以包括以下至少一种：可通过点击按钮、语音输入、图像输入等多种方式，在此不作限定。
具体地，本申请中使用的语音识别技术包括但不限于采用人工神经网络(Artificial Neural Network，ANN)、隐马尔科夫模型(Hidden Markov Model，HMM)等模型，上述第一信号识别器中的语音信号子识别器可根据上述语音识别技术处理上述语音信号；上述自然语言处理技术包括但不限于利用统计机器学习、ANN等方法，上述语义理解单元可根据上述自然语言处理技术提取出语义信息；上述图像识别技术包括但不限于利用基于边缘检测的方法、阈值分割方法、区域生长与分水岭算法、灰度积分投影曲线分析、模板匹配、可变形模板、Hough变换、Snake算子、基于Gabor小波变换的弹性图匹配技术、主动形状模型和主动外观模型等方法等算法，上述图像信号子识别器可根据上述图像识别技术将上述待处理图像分割成不同的区域。
在一种可行的实施例中，上述第一信号识别器1021将上述信号通过上述语音识别技术、图像识别技术、自然语言处理等转换成有效的文本信息，并将该文本信息保存到上述第一存储模块中。上述信号文本转换器1022从上述第一存储模块中获取上述文本信息，并将该文本信息通过自然语言处理技术和上述目标信号指令转换模型转换成图像处理指令，并将上述图像处理指令保存到上述第一存储模块中；上述第一图像识别器1023根据上述图像处理指令中的语义区域的粒度和图像识别技术对上述待处理图像进行区域划分，获取上述图像编辑区域，并将上述划分结果和上述图像编辑区域存储到上述第二存储模块中。
在一种可行的实施例中，如图3所示，上述指令转换器1029也可以包括：
第二信号识别器1025，用于根据语音识别技术、自然语言处理技术和上述目标信号指令转换模型将上述信号直接转化为上述图像处理指令，并将该图像处理指令保存到第一存储模块中；
可选地，第二信号识别器1025包括一个或多个子识别器，如语音信号子识别器通过语音识别技术来识别语音信号，图像信号子识别器通过图像识别技术来识别一幅图像或多幅图像的有效信号。
举例说明下，上述图像信号处理一组图像的过程。具体地，假设利用摄像头采集多幅图像，利用图像信号子识别器，对采集到的图像进行分割，剔除无效信息，即将图像的前景和背景进行分割，剔除背景信息，获取前景信息，接着，确定一个或多个目标的位置及大小等相关信息，类似地，还可以对采集到的图像进行分割，剔除无效信息，即将图像的前景和背景进行分割，剔除前景信息，获取背景信息，接着，确定一个或多个目标的位置及大小等相关信息。具体地，如进行利用边缘检测技术，确定人脸、人手、人的骨骼架构的位置及范围；其次，对目标进行识别，如果具有多个备选目标，则确定各备选目标备选的优先级；最后，筛选出有效目标，并利用目标追踪技术，追踪目标运动轨迹，得到该目标所表达的含义，如获取到人脸、人的骨骼架构基本没有变化，而人手从左边滑到右边，得到该有效信息是将待处理图像的图像编辑区域从左边移动到右边。
第二图像识别器1025，用于根据上述图像处理指令对上述待处理图像进行操作的语义区域的粒度，将该待处理图像按照该语义区域的粒度进行划分，获取图像编辑区域，该图像编辑区域为对上述待处理图像进行处理的区域，并将划分后的结果以及上述图像编辑区域存储到第二存储模块中。
可选地，在上述信号采集器1019接收上述信号和上述待处理图像之前，上述指令转换器1029对信号指令转换模型进行自适应训练，以得到上述目标信号指令转换模型。
其中，上述对信号指令转换模型进行自适应训练是离线进行的或者是在线进行的。
具体地，上述对信号指令转换模型进行自适应训练是离线进行的具体是上述指令转换器1029在其硬件的基础上对上述信号指令转换模型进行自适应训练，以得到目标信号指令转换模型；上述对信号指令转换模型进行自适应训练是在线进行的具体是一个不同于上述信号转换器102的云端服务器对上述信号指令转换模型进行自适应训练，以得到目标信号指令转换模型。上述指令转换器1029在需要使用上述目标信号指令转换模型时，该指令转换器1029从上述云端服务器中获取该目标信号指令转换模型。
可选地，上述对信号指令转换模型进行自适应训练是有监督的或者是监督的。
具体地，上述对上述信号指令转换模型进行自适应训练是有监督的具体为：
上述指令转换器1029根据信号指令转换模型将上述信号换成预测指令；然后确定上述预测指令与其对应的指令集合的相关系数，该指令集合为人工根据信号得到的指令的集合；上述指令转换器1029根据所述预测指令与其对应的指令集合的相关系数优化所述信号指令转换模型，以得到所述目标信号指令转换模型。
在一种可行的实施例中，上述信号处理装置100还包括：
训练器1059，用于根据所述信号指令转换模型将所述信号换成预测指令；确定所述预测指令与其对应的指令集合的相关系数；根据所述预测指令与其对应的指令集合的相关系数优化所述信号指令转换模型，以得到所述目标信号指令转换模型。
举例说明，上述对信号指令转换模型进行自适应训练是有监督的具体包括：上述指令转换器1029或者训练器1059接收一段包含相关命令的语音信号，如改变图像的颜色、旋转图像等。每种命令对应一个指令集合。对作为用于自适应训练的输入数据的语音信号来说，对应的指令集合是已知的，上述指令转换器1029或者训练器1059以这些语音信号作为信号指令转换模型的输入数据，获取输出后的预测指令。上述指令转换器1029或者训练器1059计算上述预测指令与其对应的指令集合的相关系数，并根据这些相关系数自适应地更新上述信号指令转换模型中的参数(如权值、偏置等等)，以提高上述信号指令转换模型的性能，进而得到上述目标信号指令转换模型。
又以图像信号为例，上述指令转换器1029或者训练器1059接收一段包含相关命令的图像信号，如通过手势指定图像中某物体，而后要求将其向右移动等。每种命令对应一个指令集合。对用于自适应训练的输入的图像信号来说，对应的指令集合是已知的，上述指令转换器1029或者训练器1059以这些图像信号作为信号指令转换模型的输入数据，获取输出后的预测指令。上述指令转换器1029或者训练器1059计算上述预测指令与其对应的指令集合的相关系数，并根据这些相关系数自适应地更新上述信号指令转换模型中的参数(如权值、偏置等等)，以提高上述信号指令转换模型的性能，进而得到上述目标信号指令转换模型。
所述信号处理装置100还包括：
存储器1049，用于存储所述文本信息或者所述图像处理指令或者所述图像编辑区域。
在一种可行的实施例中，上述存储器1049与上述第一存储模块和第二存储模块可以是同一个存储模块，还可以是不同的存储模块。
图像处理器1039，用于根据所述图像处理指令和目标图像处理模型对所述待处理图像进行处理，得到结果图像。
其中，如图4所示，所述图像处理器1039包括：
取指令模块1031，用于在预设时间窗口内从所述存储模块中获取M条图像处理指令，所述M为大于1的整数；
处理模块1032，用于根据所述M条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。
可选地，所述处理模块1032用于：
跳过或删除所述M条图像处理指令中功能相同的图像处理指令，以得到N条图像处理指令，所述N为小于所述M的整数；
根据所述N条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。
具体地，上述预设时间窗口可以理解成预设时长。在预设时长内上述获取单元1031从上述存储模块104中获取M条图像处理指令后，上述处理模块1032对上述M条图像处理指令进行两两比较，将该M条图像处理指令中功能相同的指令删除或者跳过，得到N条图像处理指令。上述处理模块1032根据上述N条处理指令和上述目标图像处理模型对上述待处理图像进行处理。
举例说明，上述处理模块1032对上述M条图像处理指令进行两两比较。当图像处理指令A和图像处理指令B一样时，上述处理模块1032跳过或者删除上述图像处理指令A和B中开销最大的一条；当图像处理指令A和图像处理指令B不一样时，上述处理模块1032获取上述图像处理指令A和上述图像处理指令B的相似系数。当该相似系数大于相似阈值时，确定上述图像处理指令A和上述图像处理指令B功能相同，上述处理模块1032跳过或者删除上述图像处理指令A和B中开销最大的一条；当上述相似系数小于上述相似阈值时，上述处理模块1032确定上述图像处理指令A和B的功能不同。该图像处理指令A和B为上述M条处理指令中的任意两条。
具体地，针对上述图像处理器1039，其输入和输出均为图像。上述图像处理器1039可以通过包括但不限定于ANN和传统计算机视觉方法对上述待处理图像进行的处理包括但不局限于：美体(例如美腿，隆胸)，换脸、美化脸，换物体(猫换狗、斑马变马，苹果换桔子等)，换背景(后面的森林换成田野)，去遮挡(例如人脸遮住了一个眼睛，重新把眼睛重构出来)，风格转换(一秒钟变梵高画风)，位姿转换(例如站着变坐着，正脸变侧脸)、非油画变油画、更换图像背景的颜色和更换图像中物体所处的季节背景、图像合成、图像融合、消除物体或阴影、图像着色、图像压缩、图像矢量化等。
本申请实施例中，图像处理指令可以定义如下几类处理指令，具体地：逻辑处理指令、精确处理指令、模糊处理指令，当然还可以包括其他处理指令。图像处理指令可至少包括操作类型、操作区域，当然，图像处理指令还可以包括操作数据。操作类型可以包括以下至少一种：图像识别、图像分割、图像增强、图像复原、图像去噪、背景虚化、图像拼接、图像整合等，在此不作限定。
逻辑处理指令，用于处理给定具有逻辑含义的操作需求，如把图中的足球移走，该操作包括对图中足球的区域的检测和定位，将足球的区域删除，以及将该区域和区域周围的内容进行融合。该逻辑处理指令中可包括操作类型，逻辑操作区域，逻辑操作数据。
精确处理指令，用于处理给定精确数据的操作需求，如给定坐标范围，如以图中心点为原点，半径为10个像素点的圆形区域内，改变该区间的颜色为RGB各值分别为255、0、0。该精准处理指令中可包括操作类型，精确操作区域，精确操作数据。精确处理指令可以是指操作时对应图像的绝对位置已经在指令中标明的指令，如修改图像中由像素坐标为(x1,y1)到像素坐标为(x2,y2)决定的矩形区域的颜色值为白色值，对应的指令为(CHANGECOLORRECTANGLE 0XFFFFFF x1 y1 x2 y2)。
模糊处理指令，用于对模糊数据进行处理，如对“中心点附近”的区域进行处理。该模糊处理指令中可包括操作类型，模糊操作区域，模糊操作数据。模糊处理指令可以是指指令提供了操作区域在图像中的抽象表示，需要针对图像进行判别得到图像的绝对位置，如将脸部涂红，其对应的指令为(CHANGECOLORMISTY 0XFF0000 FACE)，指令中的位置域为脸部，需要根据具体图像得到具体的操作坐标。
其他处理指令，包括对数据输入输出、数据判断等相关操作指令。
其中，上述操作类型可为编码的形式，通过某种编码方式定义而来，如依次按序编码的方式。操作类型包括但不限于移动，删除，替换，修改参数(如变色、亮度、对比度)，修改形状(缩小、放大、变形)等，具体而言，可包括改变操作区域的颜色，改变操作区域的亮度，改变操作区域的对比度等，删除操作区域的内容，替换操作区域的内容为其他内容，扩大/缩小/旋转操作区域的内容，虚化/雾化/马赛克化操作区域的内容，合成操作区域，拼接操作区域，对操作区域建模等，在此不作限定。
其中，上述操作区域可为整幅图像，可以为图像中的部分区域，根据其给定的方式可包括上述逻辑区域、精确区域、模糊区域或者其他区域。逻辑区域可指为具有某种特定的逻辑含义的区域，包括指定物品(如足球、书桌、小狗等)、指定背景(如海、山等)、指定部分(如人脸、骨骼框架、鸟的翅膀等)等。这些逻辑区域采用机器学习等算法进行离线训练而得，并且可以通过在线训练的方式，为用户定制个性化方案。精确区域可指具有精确定位的区域，包括精确坐标及范围，精确要求及范围。例如，以图中心点为原点，半径为10个像素点的圆形区域；图中所有颜色RGB值为(255，0，0)的位置等。模糊区域为给出一个指向但定位和范围略有模糊的区域，例如，图像左上角，红色系的地方等。该部分内容可以通过机器学习算法离线训练得到的选取模型来进行定位和确定，从而能够针对待处理图像的特征，智能地选取待处理的范围。
可选地，操作指令中还包括操作数据，包括逻辑操作数据、精确操作数据、模糊操作数据。逻辑操作数据是具有某种特定的逻辑含义的数据，包括指定物品(如足球、书桌、小狗等)、指定背景(如海、山等)、指定部分(如人脸、骨骼框架、鸟的翅膀等)等。精确数据可包括精确的数值参数或者指向数据的精确地址，以逻辑指令类为例，逻辑指令：人脸换足球，操作类型：替换，操作区域：人脸区域，操作数据：足球(或指向最求图形的地址)。模糊数据可包括模糊的描述，如颜色“深一点”、亮度“暗一点”等。
可选地，上述图像处理指令的指令格式包括操作域、操作区域、目的值、位置域等信息，还可以根据不同的操作域和/或操作区域增加其他指令信息。如下提供一种可实行的格式如下图：
操作域 操作区域 目的值 位置域
其中，操作域用于指明具体的操作，如改变颜色CHANGECOLOR、旋转图像SPIN。
例如，具体的操作可以为整体操作，如美体(CAREBODY)(例如美腿(CARELEG)，隆胸(CAREBREAST))、美颜(CAREFACE)、风格转换(CONVERSION-S)(一秒钟变梵高画风、其他风格转换为油画风格、更换图像背景的颜色和更换图像中物体所处的季节背景)，位姿转换(CONVERSION-P)(例如站着变坐着，正脸变侧脸)。也可进行指定的变换(ALTER)(如变换局部，即换脸，换衣服等；如变换物体，即猫换狗、斑马变马，苹果换桔子等；如变换背景，即后面的森林换成田野等)等，也可完成具体的操作，如移动(MOV)、删除(DEL)、替换(REP)、补全(COM)、优化(OPT)，用于移动整幅图像或者指定操作区域的内容、删除整幅图像或者指定操作区域的内容、替换整幅图像或者指定操作区域的内容为其他内容、将整幅图像或者指定操作区域补全、对整幅图像或者指定操作区域的内容优化。
进一步地，具体的操作还可以对图像参数进行修改和变换，也可以对整幅图像或者指定操作区域进行修改和变换，如修改参数(CHANGE-)(如变色(CHANGECOLOR)、亮度(CHANGEBRIGHTNESS)、对比度(CHANGECONTRAST))，修改形状(缩小(REDUCE)、放大(ENLARGE)、变形(DEFORM))、虚化/雾化/马赛克化(BOKEH/ATOMIZE/MOSAIC)等，从而改变整幅图像或者指定操作区域的颜色，改变整幅图像或者指定操作区域的亮度，改变整幅图像或者指定操作区域的对比度、虚化/雾化/马赛克化整幅图像或者操作区域的内容等。
进一步地，具体的操作还可以针对图像进行操作，如图像合成(SYNTHESIS)、图像融合(FUSION)、图像拼接(STITCH)、图像建模(MODEL)、消除物体或阴影(ELIMINATION)、图像着色(COLORING)、图像压缩(COMPRESSION)、图像矢量化(VECTORIZATION)等。
进一步地，具体的操作还可以为组合操作，如删除并补充，即DEL-COM，譬如，对人脸上遮住了一个眼睛时，去掉遮挡物，并重构眼睛并补充在该位置；删除并优化，即DEL-OPT，譬如删除操场上的男孩，即将男孩的区域删除，并结合周围环境，将该区域针对环境进行优化。
操作区域用于指明位置域中表示操作区域的方式，可以为整幅图形ALL，还可以采用矩形RECTANGLE、三角形TRIANGLE、圆形CIRCLE、像素点POINT，正方形SQUARE、椭圆ELLIPSE、多边形POLYGON等精确表示操作区域的方式，也可以采用模糊域MISTY；
其中，上述目的值对于不同的操作域含义不同，如操作域为CHANGECOLOR时，目的值表示替换后的颜色值；操作域为SPIN时，目的值表示旋转的角度。该目的值还可以给出一个变换趋势，例如，操作域为CHANGEBRIGHTNESS时，目的值可以为改变后的精确的亮度值，也可以为更亮一点或者更暗一点的变化趋势。
其中，上述位置域形式由操作区域的内容决定，如当操作区域为TRIANGLE时，位置域为三个像素点坐标；操作区域为MISTY时，位置域用抽象的表示方式表示待操作的位置，可以为小狗DOG、笔PEN等生物体或者物品，也可以为天空SKY、操场PLAYGROUND等环境或者背景，还可以为人脸FACE、鸟的翅膀WING、骨骼SKELETON等局部的区域。
举例说明下，输入单张图像，输出单张图像。信号采集器，接收语音信号，并进行预处理，降低无效信息，如噪音等，将经过预处理后的语音信号送入指令转换单元，利用语音识别技术，对语音信号进行解析，并将其转换为预先定义的图像处理指令，图像处理单元接收图像处理指令，根据指令利用图像识别技术对待处理图像进行定位和划分，得到待处理图像的图像编辑区域，如果需要操作数据，则从存储单元中读取所需要的操作数据，送入图像处理单元。图像处理单元根据处理指令，利用操作数据对待处理图像的图像编辑区域完成给定操作，操作完成，输出图像。
可选地，在图像处理器1039中还包含数据统计模块，该数据统计模块用于统计用户语音指令，并定期将统计结果传入到用户行为分析模块或者传到服务器，使得用户行为分析模块或者服务器能够对用户行为进行分析，并根据用户的行为调整修正该用户常用的模型(目标图像处理模型)和参数(目标图像处理模型对应的参数)，从而能够完成个性化设定，有助于该用户在使用的时候更符合用户的习惯，更容易得到用户所希望的图像处理结果。
举例说明下，当打开摄像头时，电子设备可通过摄像头实时捕获图像。对于打开摄像头的方式不作限定，例如，可通过用户的触发操作被开启，亦可采用按键操作、语音唤醒等方式。当用户未发出任何信号时，信号处理装置可不对图像进行处理，亦可采取预设的默认处理，并显示到屏幕。其中，电子设备的存储器中预设的默认处理可以为调整对比度、调整亮度、图像降噪、背景虚化等。例如，当用户发出信号的时候，电子设备可以接收用户发出的信号，并对该信号进行转换，得到相应的指令，并判断该指令是否为编辑图像的指令，若是，对图像进行相应的处理。电子设备可接收并分析信号，得到相应指令，并根据指令对图像进行相应的编辑，并实时显示到屏幕。
可选地，该信号可以为语音信号，信号处理装置可接收语音信号，对该语音信号利用语音分析技术，提取出有效信息，得到图像处理指令，判断该图像处理指令是否为对该图像进行编辑的指令，若是，则对该指令中的特征进行进一步提取，确定图像编辑区域以及编辑方式。
可选地，该信号可以为触控信号，信号处理装置可接收触控信号，将该触控信号转化为指令，判断该指令所对应的触屏位置以及所希望的编辑方式。当触控信号位于图像中的某个位置，信号处理装置可获取到该图像待编辑区域。可通过连续触屏的方式，获取预设的不同范围的待编辑区域。例如，触摸一下某位置点，表示对该位置点进行编辑，连续触摸两下某位置点，对该位置点所在的较小范围区域进行编辑，连续触摸三下某位置点，对该位置点所在的较大范围区域进行编辑，连续触摸四下某位置点，对整幅图像进行编辑。譬如，获取的图像中有人的面部，在人的鼻子上点了一下，则选中该点；连续点击两下，则选中鼻子；连续点击三下，则选中人脸；连续点击四下，则选中整幅图像。当触屏信息位于预设的或者自定义的可选地编辑操作区域内，则对图像进行选择的编辑操作。
可选地，该信号可以为动作信号，接收动作信号，将该信号转化为指令，具体地，判断该信号所需要的编辑的区域与方式。例如，获取到点头的动作，表示对当前编辑方式的认可。又如获取到向左向右摆手，表示更换上一个或者下一个预设的编辑方式。
可选地，本申请实施例中，信号中包括指令信息，上述指令信息可以单独使用，也可以两种或者以上结合使用。
举例说明下，其中语音信号可以实现对图像的整体操作，例如，针对“旧照片”的语音信号。信号采集器获取到该条语音信号后，指令转换器将该信号转化为指令，该指令可以包括图像编辑区域(即为整幅图像)和图像编辑方式(即为添加旧照片的滤镜)。图像处理器则对获取的图像整体添加旧照片的滤镜，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作。
举例说明下，其中语音信号可以为对图像的局部操作，例如，“人脸加上可爱的猫咪”的语音信号。信号采集器采集到该条语音信号后，指令转换器，将该语音信号转化为指令，该指令包括图像编辑区域(即为人脸)和图像编辑方式(即为添加猫咪的特征)。将该信息传送给图像处理器。图像处理器对从图像信号采集器传来的实时获取的图像进行定位，定位人脸的范围以及待添加的猫咪特征所在的位置，并相应的添加猫咪的特征，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作。
举例说明下，语音信号结合其他类型的信号同时对图像进行编辑，譬如，信号采集器获取到“亮度调高”的语音信号，信号转换器将其转换为指令，该指令可以包括图像编辑区域(即为整幅图像)和图像编辑方式(即为调高亮度)。将该信息传送给图像处理器。图像处理器对从信号采集器传来的实时获取的图像整体调高亮度，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在较短的时间内，如显示编辑后的图像之后的3秒以内，信号采集器可接收到向上滑动的触控信号，指令转换器将该触控信号转化为指令，具体地，可以为判断该指令是一个增大或者向上的操作，并可以与上条指令结合，若该指令指示继续调高亮度，则将其传输给图像处理器。图像处理器对从信号采集器传来的实时获取的图像整体再调高亮度，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作，即将亮度调整到该条指令信号所要求的亮度。
可选地，信号采集器获取到“调亮度”的语音信号，指令转换器将该语音信号转化为指令，该指令可包括图像编辑区域(即为整幅图像)和图像编辑方式(即为调亮度)，信号采集器可获取向上滑动的动作，指令转换器将该动作转化为指令，具体地，确定该操作是一个向上的动作，以表示某项操作增大或者向上。将解析后的语音指令和触控指令传送给图像处理器。图像处理器可结合收到的指令得到该信息是对整幅图像调高亮度，并相应的增大图像的亮度，传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作，即将亮度调整到该条指令信号所要求的亮度。
举例说明下，其他类型指令信号结合语音信号对图像进行编辑，信号处理装置可接收到用户对屏幕的某位置进行点击的触控信号，指令转换器将该触控信号转化为指令，具体地，判断其为对焦操作，并发送给图像处理器。图像处理器可对其进行对焦操作，并实时通过图像显示单元呈现给用户。通过对焦操作，可能会影响使得其他非焦点区域的颜色变化，用户通过语音信号对图像进行进一步编辑。例如，由于对焦操作使得取景天空变白，则信号采集器可接收语音指令信号“天空变蓝”，并发送给图像处理器。图像处理器对图像在对焦的基础上，对天空的颜色进行编辑，而后并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作，即将亮度调整到该条指令信号所要求的亮度。
举例说明下，其他类型指令信号结合语音信号对图像进行编辑，信号处理装置可接收到用户对屏幕的某区域进行连续滑动的动作，例如，沿着人的头发的轮廓进行滑动操作，指令转换器将该滑动动作转化为指令，具体地，对滑动动作判断和分析，判断其为待操作的区域，并发送给图像处理器；信号采集器接收语音指令信号，如“不要碎头发”，指令转换器可对语音信号进行判断和分析后，得到指令，将该指令发送给图像处理器。
图像处理器可对触控信号规划的区域范围中语音信号指定的区域进行编辑，而后并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行相同的编辑操作。
举例说明下，其中语音信号还可以结合其他类型的指令信号实时对图像进行编辑，例如，信号采集器可获取到“给那个人用我的表情”的语音信号。指令转换器对其进行判断和分析，进而，确定该语音信号是对图像的编辑区域(即为人脸的位置)和编辑方式(即为修改表情)，得到指令，并将该指令传送给图像处理器；信号采集器获取到图像信号，指令转换器将其转化为指令，将该指令传送给图像处理器。图像处理器接收到该信号，提取图像信号中的表情特征，包括眉毛、眼睛、嘴巴等面部表情特征以及其相对的距离，并定位输入图像的面部区域，定位相应的表情特征的位置，根据图像信号对其进行编辑。如果有新的图像指令信号传入，则提取图像信号的表情特征，并对输入图像进行编辑。在没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行与最后一次编辑相同的操作进行编辑。可选地，获取图像指令信号和获取待编辑图像可采用不同设备，例如，利用手机的后置摄像头来拍照，前置摄像头接收图像指令。
另外，提取图像信号中的表情特征，包括眉毛、眼睛、嘴巴等面部表情特征以及其相对的距离，并定位输入图像的面部区域，定位相应的表情特征的位置，根据图像信号对其进行编辑。如果有新的图像信号传入，则提取图像信号的表情特征，并对输入图像进行编辑。在没有新的指令信号传入之前，对图像获取单元后续实时获取的图像均进行与最后一次编辑相同的操作进行编辑。可选地，获取图像指令信号和获取待编辑图像可采用不同设备，例如，利用手机的后置摄像头来拍照，前置摄像头接收图像指令。
举例说明下，语音信号还可以采用对图像进行自动识别和默认优化的方式。例如，信号采集器可获取到用户的“整体优化”的语音信号，指令转换器对该语音信号进行判断和分析，得到指令，该指令包括对图像的“一句优化”功能。并将该指令传送给图像处理器；信号采集器获取到图像信号，指令转换器对其判断分析后，得到指令，将该指令传送给图像处理器。图像处理器接收到该信号，对图像内容进行默认优化，即首先识别并检测图像的特征，如果是风景图像，则自动对其进行检测和调整，如调整亮度、调整对比度、提高分别率；如果是人像图像，自动对背景进行虚化并对人像进行美颜；如果是风景视频或者人像视频，则自动检测视频，对其中的视频帧进行风景图像或人像图像的处理外，还考虑视频的连贯性，包括风景的连续性、人物动作的连续性等，并消除因为抖动等外界因素带来的噪声，以及删除或者修复不清晰的视频帧。
进一步地，具体实现中，如果用户发出新的信号，则重新解析该信号，并将其转化为指令，并执行相应的操作；否则，即在没有新的指令消息传入时，信号处理装置可对后续实时捕捉到的图像进行同样的处理。直到接收到拍照的操作，将当前捕捉到的图像进行当前指定的编辑后，生成所需要的照片，直到操作结束。举例说明下，信号采集器可接收用户从存储图像的设备或者存储图像的模块(如相册)中选取的一张图像。其中，对用户选取的方式不做限定，譬如可通过用户的触发操作进行选择，也可采用语音方式进行选择。当用户未发出任何指令消息时，处理装置可不对图像进行处理，亦可采取预设的默认处理，并显示到图像显示单元。其中预设的默认处理可以为调整对比度、调整亮度、图像降噪、背景虚化等。当用户发出信号的时候，接收用户发出的信号，将该信号转化为指令，具体地，判断该信号是否为编辑图像的信号，是的话，转化为指令，依据该指令对图像进行相应的处理。在此过程中，信号处理装置可接收信号，对信号进行解析，得到指令，根据指令对图像进行相应的编辑，并实时显示到信号处理装置的屏幕中。如果用户发出新的信号，对该信号进行解析，得到指令，依据指令执行相应的操作，直到接收到用户确认(如收到了保存的命令)或直接关闭，将当前编辑的图像生成所需要的图像或者放弃所有编辑操作并关闭。操作结束。可选地，在拍摄后对图像进行进一步处理。例如，当打开摄像头时，可实时捕获图像。其中，对于打开摄像头的方式不作限定，譬如可通过用户的触发操作被开启，亦可采用按键操作、语音唤醒等方式。当用户未发出任何信号时，可不对图像进行处理，亦可采取预设的默认处理，并显示到屏幕。其中预设的默认处理可以为调整对比度、调整亮度、图像降噪、背景虚化等。当用户发出信号的时候，接收用户发出的信号，并将该信号转化为指令，具体为判断是否为编辑图像的指令，是的话，对图像进行相应的处理。在此过程中，信号处理装置可接收并分析信号，得到指令，根据指令对图像进行相应的编辑，并实时显示到屏幕。如果用户发出新的信号，对该信号进行解析，得到指令，依据指令执行相应的操作，否则，即在没有新的指令消息传入时，对后续实时捕捉到的图像进行同样的处理。直到接收到拍照的操作，将当前捕捉到的图像进行当前指定的编辑后，生成所需要的照片，而后，可以继续接收用户的指令信号，对生成的照片进行进一步编辑，并实时显示到屏幕。
进一步地，如果用户发出新的信号，对该信号进行解析，得到指令，依据指令执行相应的操作。直到接收到用户确认(如收到了保存的命令)或直接关闭，将当前编辑的图像生成所需要的图像或者放弃所有编辑操作并关闭。操作结束。若未接收到关闭摄像设备的操作信号，则对该编辑后的图像进行保存或放弃等用户指定的操作后，等到接收新的信号，继续实时捕获图像。
举例说明下，当打开摄像头时，信号处理装置可实时捕获图像并传输给处理装置。其中，对于打开摄像头的方式不作限定，例如，可通过用户的触发操作被开启，亦可采用按键操作、语音唤醒等方式。当用户未发出任何信号时，信号处理装置可不对图像进行处理，亦可采取预设的默认处理，并显示到屏幕。其中预设的默认处理可以为调整对比度、调整亮度、图像降噪、背景虚化等。当用户发出信号的时候，接收用户发出的信号，将该信号转化为指令，具体为对该信号进行判断是否为编辑图像的指令，是的话，对图像进行相应的处理。在此过程中，信号处理装置可接收并分析信号，得到指令，根据指令对图像进行相应的编辑，并实时显示到屏幕中。如果用户发出新的信号，对该信号进行解析，得到指令，依据指令执行相应的操作；否则，即在没有新的信号传入时，可对后续实时捕捉到的图像进行同样的处理。直到接收到录像的操作，即摄像头开始进行录像操作，还可以对录像操作得到的视频进行修改，直到接收到录像结束的指令，当生成所需要的视频。操作结束。
举例说明下，在录像过程中，还可以接收指令信号，对正在进行的录像实时进行编辑。在录像该过程中，用户发出“衣服换成足球服”的语音信号。信号采集器采集语音信息，指令转换器利用语音分割算法(如计盒维数静音检测、贝叶斯信息准则等)以及语音聚类算法等，对语音信号的场景进行分割和聚类，从而将语音指令以及录像场景的声音进行分离，后者进行保存，前者进行进一步判断和分析。确定该消息是对图像编辑区域(即为衣服)和图像编辑方式(即更换为足球服)。将该信息传送给图像处理器。图像处理器可对实时获取的图像进行定位，定位衣服的范围，并相应的更换为篮球服，并将该视频帧保存为编辑后的视频帧，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对信号采集器后续实时获取的视频帧均进行相同的编辑操作。
当用户发出新的语音信号，例如，“衣服换成篮球服”。信号采集器采集语音信息，指令转换器利用语音分析技术，对语音信号进行分析，从而将语音指令以及录像场景的声音进行分离，后者进行保存，前者进行进一步判断和分析得到指令，确定该指令指定的图像编辑区域(即为衣服)和图像编辑方式(即更换为篮球服)。将该指令传送给图像处理器。图像处理器对从信号采集器的实时获取的图像进行定位，以获得衣服区域，而后相应的将该衣服区域的衣服更换为篮球服。此时，由于该指令与上一指令的编辑范围相同，即均为对衣服区域进行编辑，所以，该指令的编辑效果相当于替换了上一指令的编辑效果，即此后的视频帧的衣服区域的衣服均为篮球服。将该视频帧保存为编辑后的视频帧，并传送给屏幕。屏幕接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对信号采集器后续实时获取的视频帧均进行相同的编辑操作。
进一步地，当用户发出新的语音信号，例如“手上拿个篮球”。信号采集器采集语音信号，指令转换器将该语音信号转化为指令，利用语音分析技术，对语音信号进行分析，从而将语音指令以及录像场景的声音进行分离，后者进行保存，前者进行进一步判断和分析。确定该消息是对图像编辑区域(即为手)和图像编辑方式(即加个篮球，并以“拿着”的方式)。将该信息传送给图像处理单元。处理单元对从图像获取单元传来的实时获取的图像进行定位，定位人手的范围，并相应的增加“拿个篮球”的操作。此时，由于该指令与上一指令的编辑范围不同，所以，该指令的编辑效果相当于叠加在了上一指令的编辑效果，即此后的视频帧的衣服区域为篮球服，且人的手上拿着篮球。将该视频帧保存为编辑后的视频帧，并传送给图像显示单元。图像显示单元接收到编辑后的图像，并实时呈现给用户。在没有新的指令信号传入之前，对图像获取单元后续实时获取的视频帧均进行相同的编辑操作。
举例说明下，语音信号还可以结合其他类型的信号实时对图像进行编辑，例如，信号采集器获取到“给那个人用我的表情”的语音信号。指令转换器将该语音信号转化为指令，该指令包括对图像的编辑区域(即为人脸的位置)和编辑方式(即为修改表情)，并将该信息传送给图像处理器，信号采集器获取到图像信号，指令转换器将该图像信号转化为指令，将该指令传送给图像处理器。图像处理器接收到该信号，提取图像信号中的表情特征，包括眉毛、眼睛、嘴巴等面部表情特征以及其相对的距离，并定位输入图像的面部区域，定位相应的表情特征的位置，根据图像信号对其进行编辑。如果有新的图像信号传入，则提取图像信号的表情特征，并对输入图像进行编辑。在没有新的指令信号传入之前，对信号采集器后续实时获取的图像均进行与最后一次编辑相同的操作进行编辑。其中，获取图像信号和获取待编辑图像可采用不同设备，例如，利用手机的后置摄像头来拍照，前置摄像头接收图像指令。那么在录像过程中，可以实现前置摄像头捕获的人脸的表情，实时同步编辑到后置摄像头获取的人的表情上。
举例说明下，信号处理装置可接收用户从存储录像的设备或者存储录像的模块(如相册)中选取的一段录像。其中，对用户选取的方式不做限定，例如，可通过用户的触发操作进行选择，也可采用语音方式进行选择，当用户未发出任何指令消息时，可不对录像进行处理，亦可采取预设的默认处理，对录像中的所有视频帧进行处理。其中预设的默认处理可以为调整对比度、调整亮度、图像降噪、背景虚化等。当用户发出信号的时候，接收用户发出的信号，并对该信号进行解析，得到指令，具体地，依据信号进行判断是否为编辑图像的指令，若是，对视频帧进行相应的处理。例如，当信号所对应的指令用于对视频帧进行编辑的指令时，图像处理器接收并分析信号，得到指令，根据指令对视频帧进行相应的编辑，并实时显示到屏幕上。
进一步地，图像处理器如果接收到用户指定并选取特定的某一帧视频帧或者某一段视频的指令，则对该视频帧或者该段视频的视频帧进行编辑；否则，如果只接收到开始编辑的视频帧，而未接收到结束编辑的视频帧，则默认从指定的视频帧开始编辑，并将之后的所有视频帧进行相同的操作；如果未接收到用户指令视频帧的消息，则对整段视频进行编辑操作。如果用户发出新的信号，则将该信号转化为指令，并依据该指令执行相应的操作，直到接收到用户确认(如收到了保存的命令)或直接关闭，将当前编辑完毕的视频进行保存或者放弃所有编辑操作并关闭，则操作结束。
可选地，在上述信号采集器1019接收上述信号之前，上述图像处理器1039对图像处理模型进行自适应训练，以得到上述目标图像处理模型。
其中，上述对图像处理模型进行自适应训练是离线进行的或者是在线进行的。
具体地，上述对图像处理模型进行自适应训练是离线进行的具体是上述图像处理器1039在其硬件的基础上对上述图像处理模型进行自适应训练，以得到目标信号指令转换模型；上述对图像处理模型进行自适应训练是在线进行的具体是一个不同于上述图像处理器1039的云端服务器对上述图像处理模型进行自适应训练，以得到目标图像处理模型。上述图像处理器1039在需要使用上述目标图像处理模型时，该图像处理器1039从上述云端服务器中获取该目标图像处理模型。
可选地，上述对图像处理模型进行自适应训练是有监督的、半监督的或者无监督的。
具体地，上述对上述图像处理模型进行自适应训练是有监督的具体为：
以语音信号为例，上述图像处理器1039根据图像处理模型将上述语音信号换成预测图像；然后确定上述预测图像与其对应的目标图像的相关系数，该目标为人工根据语音信号对待处理图像进行处理得到的图像；上述图像处理器1039根据所述预测图像与其对应的目标图像的相关系数优化所述图像处理模型，以得到所述目标图像处理模型。
以图像信号为例，上述图像处理器1039根据图像处理模型将上述图像信号换成预测图像；然后确定上述预测图像与其对应的目标图像的相关系数，该目标为人工根据语音信号对待处理图像进行处理得到的图像；上述图像处理器1039根据所述预测图像与其对应的目标图像的相关系数优化所述图像处理模型，以得到所述目标图像处理模型。
当然，本申请实施例中，对如何获得图像处理模型不做限定，可由上述离线训练或者在线训练而成，以获得图像处理模型，其训练算法可包括但不仅限于：神经网络算法、支持向量机算法、决策树算法等有监督、无监督、半监督等训练方式。
以神经网络算法对有标记的数据进行离线训练图像分类模型为例，首先，依照指定规则或者随机对模型参数进行初始化。而后，输入多组有分类标签的训练数据，利用模型计算得的模型的计算结果。将计算结果和正确结果进行对比，得到误差值，利用反向传播算法将误差值反向传播回来，并在此过程中训练参数。反复执行该过程，直到模型对图像分类的错误率不大于某个给定阈值或者准确率不低于某个给定阈值或训练达到了指定迭代次数，得到图像处理模型。
在一种可行的实施例中，上述信号处理装置100还包括：
训练器1059，用于根据所述信号指令转换模型将所述信号换成预测指令；确定所述预测指令与其对应的指令集合的相关系数；根据所述预测指令与其对应的指令集合的相关系数优化所述信号指令转换模型，以得到所述目标信号指令转换模型。
举例说明，上述对图像处理模型进行自适应训练是有监督的具体包括：以语音信号为例，上述图像处理器1039或者训练器1059接收一段包含相关命令的语音信号，如改变图像的颜色、旋转图像等。每种命令对应一张目标图像。对用于自适应训练的输入的语音信号来说，对应的目标图像是已知的，上述图像处理器1039或者训练器1059以这些语音信号作为图像处理模型的输入数据，获取输出后的预测图像。上述图像处理器1039或者训练器1059计算上述预测图像与其对应的目标图像的相关系数，并根据该自适应地更新上述图像处理模型中的参数(如权值、偏置等等)，以提高上述图像处理模型的性能，进而得到上述目标图像处理模型。
以图像信号为例，上述图像处理器1039或者训练器1059接收一段包含相关命令的图像信号，如改变图像的颜色、旋转图像等。每种命令对应一张目标图像。对作为用于自适应训练的输入数据的语音信号来说，对应的目标图像是已知的，上述图像处理器1039或者训练器1059以这些图像信号作为图像处理模型的输入数据，获取输出后的预测图像。上述图像处理器1039或者训练器1059计算上述预测图像与其对应的目标图像的相关系数，并根据这些相关系数自适应地更新上述图像处理模型中的参数(如权值、偏置等等)，以提高上述图像处理模型的性能，进而得到上述目标图像处理模型。
在一种可行的实施例中，所述信号处理装置100的指令转换器1029可以用于对指令转换器1029中的信号指令转换模型进行自适应训练，以得到目标信号指令转换模型：所述信号处理装置100的图像处理器1039可以用于对图像处理器1039中的图像处理模型进行自适应训练，以得到目标图像处理模型。
在一种可行的实施例中，所述信号处理装置100还包括：
训练器105，用于对指令转换器1029中的信号指令转换模型和图像处理器1039中的图像处理模型分别进行自适应训练，以得到目标信号指令转换模型和目标图像处理模型。
上述训练器1059可以通过有监督的方法或者无监督的方法调整上述信号指令转换模型中或者上述图像处理模型中的结构与参数，以提高该信号指令转换模型或者图像处理模型的性能，最终得到目标信号指令转换模型或者目标图像处理模型。
在本实施例中，信号处理装置100是以模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上信号采集器1019、指令转换器1029、图像处理器1039、存储模块104和训练器1059可通过图5A～图8所示的装置来实现。
可选地，上述信号处理装置100的指令转换器1029或者图像处理器1039的处理模块1032为人工神经网络芯片，即上述指令转换器1029和上述图像处理器1039的处理模块1032可以是两块独立的人工神经网络芯片，其结构分别如图5A～图8所示。
在本装置中，指令转换器1029和图像处理器1039既可以串行执行，也可以通过软流水的方式执行，即图像处理器1039在处理上一个图像时，指令转换器1029可以处理下一个图像，这样可以提高硬件的吞吐率，提高图像处理效率。
参阅图5A，提供了一种计算装置，该计算装置用于执行机器学习计算，该计算装置包括：控制器单元11和运算单元12，其中，控制器单元11与运算单元12连接，该运算单元12包括：一个主处理电路和多个从处理电路；
控制器单元11，用于获取输入数据以及计算指令；在一种可选方案中，具体地，获取输入数据以及计算指令方式可以通过数据输入输出单元得到，该数据输入输出单元具体可以为一个或多个数据I/O接口或I/O引脚。
上述计算指令包括但不限于：正向运算指令或反向训练指令，或其他神经网络运算指令等等，例如卷积运算指令，本申请具体实施方式并不限制上述计算指令的具体表现形式。
控制器单元11，还用于解析该计算指令得到多个运算指令，将该多个运算指令以及所述输入数据发送给所述主处理电路；
主处理电路101，用于对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据以及运算指令；
多个从处理电路102，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
主处理电路101，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
本申请提供的技术方案将运算单元设置成一主多从结构，对于正向运算的计算指令，可以依据该计算指令将数据进行拆分，这样通过多个从处理电路即能够对计算量较大的部分进行并行运算，从而提高运算速度，节省运算时间，进而降低功耗。
可选地，上述机器学习计算具体可以包括：人工神经网络运算，上述输入数据具体可以包括：输入神经元数据和权值数据。上述计算结果具体可以为：人工神经网络运算的结果即输出神经元数据。
例如，多层神经网络的实现过程可以是，在正向运算中，当上一层人工神经网络执行完成之后，下一层的运算指令会将运算单元中计算出的输出神经元作为下一层的输入神经元进行运算(或者是对该输出神经元进行某些操作再作为下一层的输入神经元)，同时，将权值也替换为下一层的权值；在反向运算中，当上一层人工神经网络的反向运算执行完成后，下一层运算指令会将运算单元中计算出的输入神经元梯度作为下一层的输出神经元梯度进行运算(或者是对该输入神经元梯度进行某些操作再作为下一层的输出神经元梯度)，同时将权值替换为下一层的权值。
上述机器学习计算还可以包括支持向量机运算，k-近邻(k-nn)运算，k-均值(k-means)运算，主成分分析运算等等。为了描述的方便，下面以人工神经网络运算为例来说明机器学习计算的具体方案。
对于人工神经网络运算，如果该人工神经网络运算具有多层运算，多层运算的输入神经元和输出神经元并非是指整个神经网络的输入层中神经元和输出层中神经元，而是对于网络中任意相邻的两层，处于网络正向运算下层中的神经元即为输入神经元，处于网络正向运算上层中的神经元即为输出神经元。以卷积神经网络为例，设一个卷积神经网络有L层，K＝1,2,...,L-1，对于第K层和第K+1层来说，我们将第K层称为输入层，其中的神经元为所述输入神经元，第K+1层称为输出层，其中的神经元为所述输出神经元。即除最顶层外，每一层都可以作为输入层，其下一层为对应的输出层。
可选地，上述计算装置还可以包括：该存储单元10和直接内存访问单元50，存储单元10可以包括：寄存器、缓存中的一个或任意组合，具体地，所述缓存，用于存储所述计算指令；所述寄存器，用于存储所述输入数据和标量；所述缓存为高速暂存缓存。直接内存访问单元50用于从存储单元10读取或存储数据。
可选地，该控制器单元包括：指令存储单元110、指令处理单元111和存储队列单元113；
指令存储单元110，用于存储所述人工神经网络运算关联的计算指令；
所述指令处理单元111，用于对所述计算指令解析得到多个运算指令；
存储队列单元113，用于存储指令队列，该指令队列包括：多个待执行的运算指令或计算指令。
举例说明，在一个可选地技术方案中，主运算处理电路也可以包括一个控制器单元，该控制器单元可以包括主指令处理单元，具体用于将指令译码成微指令。当然在另一种可选方案中，从运算处理电路也可以包括另一个控制器单元，该另一个控制器单元包括从指令处理单元，具体用于接收并处理微指令。上述微指令可以为指令的下一级指令，该微指令可以通过对指令的拆分或解码后获得，能被进一步解码为各部件、各单元或各处理电路的控制信号。
在一种可选方案中，该计算指令的结构可以如下表所示。
操作码 寄存器或立即数 寄存器/立即数 ...
上表中的省略号表示可以包括多个寄存器或立即数。
在另一种可选方案中，该计算指令可以包括：一个或多个操作域以及一个操作码。该计算指令可以包括神经网络运算指令。以神经网络运算指令为例，如表1所示，其中，寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以为操作域。其中，每个寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以是一个或者多个寄存器的号码。
Figure BDA0002258304710000181
上述寄存器可以为片外存储器，当然在实际应用中，也可以为片内存储器，用于存储数据，该数据具体可以为n维数据，n为大于等于1的整数，例如，n＝1时，为1维数据，即向量，如n＝2时，为2维数据，即矩阵，如n＝3或3以上时，为多维张量。
可选地，该控制器单元还可以包括：
所述依赖关系处理单元108，用于在具有多个运算指令时，确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，则将所述第一运算指令缓存在所述指令存储单元内，在所述第零运算指令执行完毕后，从所述指令存储单元提取所述第一运算指令传输至所述运算单元；
所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据(例如矩阵)的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需矩阵的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，则确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，则确定所述第一运算指令与所述第零运算指令不具有关联关系。
在另一种可选实施例中，运算单元12如图5B所示，可以包括一个主处理电路101和多个从处理电路102。在一个实施例里，如图5C所示，多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个从处理电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路，需要说明的是，如图5C所示的K个从处理电路仅包括第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路，即该k个从处理电路为多个从处理电路中直接与主处理电路连接的从处理电路。
K个从处理电路，用于在所述主处理电路以及多个从处理电路之间的数据以及指令的转发。
可选地，如图5D所示，该主处理电路还可以包括：转换处理电路110、激活处理电路111、加法处理电路112中的一种或任意组合；
转换处理电路110，用于将主处理电路接收的数据块或中间结果执行第一数据结构与第二数据结构之间的互换(例如连续数据与离散数据的转换)；或将主处理电路接收的数据块或中间结果执行第一数据类型与第二数据类型之间的互换(例如定点类型与浮点类型的转换)；
激活处理电路111，用于对主处理电路内数据执行激活运算；
加法处理电路112，用于执行加法运算或累加运算。
所述主处理电路，用于将所述输入神经元确定为广播数据，权值为分发数据，将分发数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述从处理电路；
所述多个从处理电路，用于依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述主处理电路；
所述主处理电路，用于将多个从处理电路发送的中间结果进行处理得到该计算指令的结果，将该计算指令的结果发送给所述控制器单元。
所述从处理电路包括：乘法处理电路；
所述乘法处理电路，用于对接收到的数据块执行乘积运算得到乘积结果；
转发处理电路(可选地)，用于将接收到的数据块或乘积结果转发。
累加处理电路，所述累加处理电路，用于对该乘积结果执行累加运算得到该中间结果。
另一个实施例里，该运算指令为矩阵乘以矩阵的指令、累加指令、激活指令等等计算指令。
下面通过神经网络运算指令来说明如图5A所示的计算装置的具体计算方法。对于神经网络运算指令来说，其实际需要执行的公式可以为:s＝s(∑wxi+b)，其中，即将权值w乘以输入数据xi，进行求和，然后加上偏置b后做激活运算s(h)，得到最终的输出结果s。
在一种可选地实施方案中，如图5E所示，所述运算单元包括：树型模块40，所述树型模块包括：一个根端口401和多个支端口404，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口分别连接多个从处理电路中的一个从处理电路；
上述树型模块具有收发功能，例如如图5E所示，该树型模块即为发送功能，如图6B所示，该树型模块即为接收功能。
所述树型模块，用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。
可选地，该树型模块为计算装置的可选择结构，其可以包括至少1层节点，该节点为具有转发功能的线结构，该节点本身可以不具有计算功能。如树型模块具有零层节点，即无需该树型模块。
可选地，该树型模块可以为n叉树结构，例如，如图5F所示的二叉树结构，当然也可以为三叉树结构，该n可以为大于等于2的整数。本申请具体实施方式并不限制上述n的具体取值，上述层数也可以为2，从处理电路可以连接除倒数第二层节点以外的其他层的节点，例如可以连接如图5F所示的倒数第一层的节点。
可选地，上述运算单元可以携带单独的缓存，如图5G所示，可以包括：神经元缓存单元，该神经元缓存单元63缓存该从处理电路的输入神经元向量数据和输出神经元值数据。
如图5H所示，该运算单元还可以包括：权值缓存单元64，用于缓存该从处理电路在计算过程中需要的权值数据。
在一种可选实施例中，运算单元12如图5B所示，可以包括分支处理电路103；其具体的连接结构如图5B所示，其中，
主处理电路101与分支处理电路103(一个或多个)连接，分支处理电路103与一个或多个从处理电路102连接；
分支处理电路103，用于执行转发主处理电路101与从处理电路102之间的数据或指令。
在一种可选实施例中，以神经网络运算中的全连接运算为例，过程可以为：y＝f(wx+b)，其中，x为输入神经元矩阵，w为权值矩阵，b为偏置标量，f为激活函数，该激活函数具体可以为：sigmoid函数，tanh、relu、softmax函数中的任意一个。这里假设为二叉树结构，具有8个从处理电路，其实现的方法可以为：
控制器单元从存储单元内获取输入神经元矩阵x，权值矩阵w以及全连接运算指令，将输入神经元矩阵x，权值矩阵w以及全连接运算指令传输给主处理电路；
主处理电路确定该输入神经元矩阵x为广播数据，确定权值矩阵w为分发数据，将权值矩阵w拆分成8个子矩阵，然后将8个子矩阵通过树型模块分发给8个从处理电路，将输入神经元矩阵x广播给8个从处理电路，
从处理电路并行执行8个子矩阵与输入神经元矩阵x的乘法运算和累加运算得到8个中间结果，将8个中间结果发送给主处理电路；
主处理电路，用于将8个中间结果排序得到wx的运算结果，将该运算结果执行偏置b的运算后执行激活操作得到最终结果y，将最终结果y发送至控制器单元，控制器单元将该最终结果y输出或存储至存储单元内。
如图5A所示的计算装置处理神经网络正向运算指令并执行该指令指定操作的方法具体可以为：
控制器单元从指令存储单元内提取神经网络正向运算指令、神经网络正向运算指令对应的操作域以及至少一个操作码，控制器单元将该操作域传输至数据访问单元，将该至少一个操作码发送至运算单元。
控制器单元从存储单元内提取该操作域对应的权值w和偏置b(当b为0时，不需要提取偏置b)，将权值w和偏置b传输至运算单元的主处理电路，控制器单元从存储单元内提取输入数据Xi，将该输入数据Xi发送至主处理电路。
主处理电路依据该至少一个操作码确定待执行运算为乘法运算，确定输入数据Xi为广播数据，确定权值数据为分发数据，将权值w拆分成n个数据块；
控制器单元的指令处理单元依据该至少一个操作码确定乘法指令、偏置指令和累加指令，将乘法指令、偏置指令和累加指令发送至主处理电路，主处理电路将该乘法指令、输入数据Xi以广播的方式发送给多个从处理电路，将该n个数据块分发给该多个从处理电路(例如具有n个从处理电路，那么每个从处理电路发送一个数据块)；多个从处理电路，用于依据该乘法指令将该输入数据Xi与接收到的数据块执行乘法运算得到中间结果，将该中间结果发送至主处理电路，该主处理电路依据该累加指令将多个从处理电路发送的中间结果执行累加运算得到累加结果，依据该偏置指令将该累加结果执行加偏置b得到最终结果，将该最终结果发送至该控制器单元。
另外，加法运算和乘法运算的顺序可以调换。
本申请提供的技术方案通过一个指令即神经网络运算指令即实现了神经网络的乘法运算以及偏置运算，在神经网络计算的中间结果均无需存储或提取，减少了中间数据的存储以及提取操作，所以其具有减少对应的操作步骤，提高神经网络的计算效果的优点。
本申请还揭露了一个机器学习运算装置，其包括一个或多个在本申请中提到的计算装置，用于从其他处理装置中获取待运算数据和控制信息，执行指定的机器学习运算，执行结果通过I/O接口传递给外围设备。外围设备譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口，服务器。当包含一个以上计算装置时，计算装置间可以通过特定的结构进行链接并传输数据，譬如，通过PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算。此时，可以共享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。
该机器学习运算装置具有较高的兼容性，可通过PCIE接口与各种类型的服务器相连接。
本申请还揭露了一个组合处理装置，其包括上述的机器学习运算装置，通用互联接口，和其他处理装置。机器学习运算装置与其他处理装置进行交互，共同完成用户指定的操作。图6A为组合处理装置的示意图。
其他处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为机器学习运算装置与外部数据和控制的接口，包括数据搬运，完成对本机器学习运算装置的开启、停止等基本控制；其他处理装置也可以和机器学习运算装置协作共同完成运算任务。
通用互联接口，用于在所述机器学习运算装置与其他处理装置间传输数据和控制指令。该机器学习运算装置从其他处理装置中获取所需的输入数据，写入机器学习运算装置片上的存储装置；可以从其他处理装置中获取控制指令，写入机器学习运算装置片上的控制缓存；也可以读取机器学习运算装置的存储模块中的数据并传输给其他处理装置。
可选地，该结构如图7A所示，还可以包括存储装置，存储装置分别与所述机器学习运算装置和所述其他处理装置连接。存储装置用于保存在所述机器学习运算装置和所述其他处理装置的数据，尤其适用于所需要运算的数据在本机器学习运算装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。
在一些实施例里，还申请了一种芯片，其包括了上述机器学习运算装置或组合处理装置。
在一些实施例里，申请了一种芯片封装结构，其包括了上述芯片。
在一些实施例里，申请了一种板卡，其包括了上述芯片封装结构。参阅图7B，图7B提供了一种板卡，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；
所述存储器件390与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储进行控制。
所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。可选地，当采用PCIE 3.0X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本申请并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体地，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一些实施例里，申请了一种电子设备，其包括了上述板卡。
如图8所示，信号采集器用于接收信号，并将信号和待处理图像作为输入数据传递给板卡内部的芯片。
可选地，上述图像处理芯片可为人工神经网络处理芯片。
可选地，信号采集器为麦克风或者多阵列麦克风。
其中板卡内部的芯片包括同上述所示的实施例，用于得到对应的输出数据(即处理后的图像)，并将其传输至交互界面中。
其中交互界面接收上述芯片(可以看成人工神经网络处理器)的输出数据，并将其转化为合适形式的反馈信息显示给用户。
其中控制器单元接收用户的操作或命令，并控制整个信号处理装置的运作。
可选地，上述电子设备可为数据处理装置、机器人、电脑、平板电脑、智能终端、手机、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储或者可穿戴设备。
参见图9，图9为本申请实施例提供的一种信号处理方法的流程示意图。如图9所示，该方法包括：
901、获取待处理图像。
902、采集输入的信号。
903、根据目标信号指令转换模型将所述信号转换为图像处理指令。
904、依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。
在一种可行的实施例中，所述图像处理指令包括以下至少一项内容：图像编辑区域、图像编辑方式、图像编辑模式，其中，所述图像编辑模式为实时编辑模式，或者，单张图像编辑模式，或者，多张图像编辑模式。
在一种可行的实施例中，所述待处理图像为通过图像采集设备实时捕捉的内容，或者，从存储器中存储的图像或视频中的至少一帧内容。
在一种可行的实施例中，上述步骤903，根据目标信号指令转换模型将所述信号转换为图像处理指令方面，包括如下步骤：
将信号通过信号识别技术转换成文本信息，所述信号识别技术为以下至少一种：语音识别技术、语义理解技术、图像识别技术、自然语言处理技术；
将文本信息通过自然语言处理技术和所述目标信号指令转换模型转换成所述图像编辑方式；
根据所述图像处理指令中的语义区域的粒度和图像识别技术对所述待处理图像进行区域划分，得到所述图像编辑区域。
在一种可行的实施例中，上述步骤903，根据目标信号指令转换模型将所述信号转换为图像处理指令，可包括如下步骤：
第二信号识别器，用于将所述信号通过所述信号识别技术和所述目标信号指令转换模型转换成所述图像编辑方式；
第二图像识别器，用于根据所述图像处理指令中的语义区域的粒度和图像识别技术对所述待处理图像进行区域划分，得到所述图像编辑区域。
在一种可行的实施例中，上述步骤，依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，可包括如下步骤：
在预设时间窗口内从所述存储器中获取M条图像处理指令；
根据所述M条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。
在一种可行的实施例中，上述步骤，根据所述M条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理，可包括如下步骤：
删除所述M条图像处理指令中功能相同的图像处理指令，得到N条图像处理指令，所述M为大于1的整数，所述N为小于所述M的整数；
根据所述N条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。。
需要说明的是，图9所示的方法的各个步骤的具体实现过程可参见上述信号处理装置的具体实现过程，在此不再叙述。
请参阅图10，图10是本申请实施例公开的一种信号处理装置的结构示意图，应用于电子设备，所述信号处理装置包括图像获取单元1002、信号获取单元1004、指令处理单元1006和图像处理单元1008，其中，
图像获取单元1002，用于获取待处理图像；
信号获取单元1004，用于采集输入的信号；
指令处理单元1006，用于根据目标信号指令转换模型将所述信号转换为图像处理指令；
图像处理单元1008，用于依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。
其中，信号获取单元1004，用于获取信号，可以进一步包括语音信号获取单元、触控信号获取单元、图像信号获取单元、动作信号获取单元等一种或者多种，在此不做限定。
指令处理单元1006，用于将信号转化为指令，可以进一步包括语音信号处理单元、触控信号处理单元、图像信号处理单元、动作信号处理单元等一种或者多种。
图像处理单元1008，用于根据处理后的指令对输入图像进行编辑。其中输入图像可以为从相册等其他存储单元读取并传入的图像或者视频帧，也可以为图像获取单元实时获取到的图像或者视频帧。
图像显示单元(图中未示出)，用于实时显示图像，可以实时显示编辑前或后的图像或者视频帧等。
上述图像获取单元1002，用于实时获取图像或者视频帧，该单元可以为电子设备的摄像头，可捕捉图像设备实时捕捉到的图像，该图像可以是在取景、拍照、录像等过程中捕捉到的图像。
可以理解的是，本实施例的信号处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
与上述一致地，请参阅图11，为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如中央处理器CPU、图像处理器GPU或者嵌入式神经网络处理器(Network Processing Unit，NPU)或者AI芯片；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中，上述输入设备1000具体可为触控显示屏、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：
获取待处理图像；
采集输入的信号；
根据目标信号指令转换模型将所述信号转换为图像处理指令；
依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑，得到结果图像。
在一种可行的实施例中，所述图像处理指令包括以下至少一项内容：图像编辑区域、图像编辑方式、图像编辑模式，其中，所述图像编辑模式为实时编辑模式，或者，单张图像编辑模式，或者，多张图像编辑模式。
在一种可行的实施例中，所述待处理图像为通过图像采集设备实时捕捉的内容，或者，从存储器中存储的图像或视频中的至少一帧内容。
在一种可行的实施例中，在所述根据目标信号指令转换模型将所述信号转换为图像处理指令方面，上述处理器3000具体用于：
将信号通过信号识别技术转换成文本信息，所述信号识别技术为以下至少一种：语音识别技术、语义理解技术、图像识别技术、自然语言处理技术；
将文本信息通过自然语言处理技术和所述目标信号指令转换模型转换成所述图像编辑方式；
根据所述图像处理指令中的语义区域的粒度和图像识别技术对所述待处理图像进行区域划分，得到所述图像编辑区域。
在一种可行的实施例中，在所述根据目标信号指令转换模型将所述信号转换为图像处理指令方面，上述处理器3000具体用于：
第二信号识别器，用于将所述信号通过所述信号识别技术和所述目标信号指令转换模型转换成所述图像编辑方式；
第二图像识别器，用于根据所述图像处理指令中的语义区域的粒度和图像识别技术对所述待处理图像进行区域划分，得到所述图像编辑区域。
在一种可行的实施例中，在所述依据所述图像处理指令和目标图像处理模型对所述待处理图像进行编辑方面，上述处理器3000具体用于：
在预设时间窗口内从所述存储器中获取M条图像处理指令；
根据所述M条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。
在一种可行的实施例中，在所述根据所述M条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理方面，上述处理器3000具体用于：
删除所述M条图像处理指令中功能相同的图像处理指令，得到N条图像处理指令，所述M为大于1的整数，所述N为小于所述M的整数；
根据所述N条图像处理指令和所述目标图像处理模型对所述图像编辑区域进行处理。
处理器，可用于获取至少一种指令信息。可用于对指令信息进行处理。可用于根据指令信息对输入的图像或者视频帧进行处理。可用于根据指令信息对后续的视频帧或者捕捉到的图像进行实时处理。
需要说明的是，本申请实施例中提供的电子设备中各设备所对应的其他相应描述，可以参考图1中的对应描述，在此不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元可以采用硬件的形式实现。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
根据图像处理指令对所述待处理图像进行编辑，得到结果图像；
发送所述结果图像至显示设备，以使显示设备实时显示所述结果图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据图像处理指令对所述待处理图像进行编辑，得到结果图像，包括：
对所述图像处理指令进行解析，获得图像编辑区域；
根据所述图像编辑区域对所述待处理图像进行定位，得到所述待处理图像的待编辑区域；
对所述待编辑区域进行编辑，得到所述结果图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据图像处理指令对所述待处理图像进行编辑，得到结果图像，包括：
对所述图像处理指令进行解析，获得图像编辑方式；
根据所述图像编辑方式对所述待处理图像进行编辑，得到所述结果图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据图像处理指令对所述待处理图像进行编辑，得到结果图像，包括：
对所述图像处理指令进行解析，获得图像编辑区域和图像编辑方式；
根据所述图像编辑区域对所述待处理图像进行定位，得到所述待处理图像的待编辑区域；
根据所述图像编辑方式对所述待编辑区域进行编辑，得到所述结果图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述待处理图像为通过图像采集设备实时捕捉的内容，或者，从存储器或者缓存中存储的图像或视频中的至少一帧内容。
6.根据权利要求5所述的图像处理方法，其特征在于，所述图像处理指令通过信号转换得到，其中，所述信号包括图像信号、语音信号、文本信号和感应信号中的至少一种。
7.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理指令通过信号转换得到，包括：
所述信号通过信号识别技术转换成的文本信息，
所述图像处理指令根据所述文本信息通过自然语言处理技术和目标信号指令转换模型转换得到，
其中，所述信号识别技术为以下至少一种：语音识别技术、语义理解技术、图像识别技术、自然语言处理技术。
8.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理指令通过信号转换得到，包括：
所述图像处理指令根据所述信号通过信号识别技术和目标信号指令转换模型转换得到，
其中，所述信号识别技术为以下至少一种：语音识别技术、语义理解技术、图像识别技术、自然语言处理技术。
9.根据权利要求7或8所述的图像处理方法，进一步包括：
当未接收到所述信号时，对所述待处理图像不进行编辑或采用预设的默认编辑方式。
10.根据权利要求7或8所述的图像处理方法，进一步包括：
当未接收到所述信号时，对所述待处理图像进行与之前相同的编辑方式。
11.一种电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如权利要求1-10中任意一项所述的方法。
12.一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如权利要求1-10中任意一项所述的方法。
CN201911070287.4A 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品 Pending CN111383638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911070287.4A CN111383638A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811633002.9A CN111385462A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品
CN201911070287.4A CN111383638A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811633002.9A Division CN111385462A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品

Publications (1)

Publication Number Publication Date
CN111383638A true CN111383638A (zh) 2020-07-07

Family

ID=69374132

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201911070287.4A Pending CN111383638A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品
CN201911070236.1A Pending CN111383637A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品
CN201811633002.9A Pending CN111385462A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201911070236.1A Pending CN111383637A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品
CN201811633002.9A Pending CN111385462A (zh) 2018-12-28 2018-12-28 信号处理装置、信号处理方法及相关产品

Country Status (3)

Country Link
US (1) US11544059B2 (zh)
EP (1) EP3734432A1 (zh)
CN (3) CN111383638A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079817A (zh) * 2020-08-20 2022-02-22 北京达佳互联信息技术有限公司 视频特效的控制方法、装置、电子设备及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11397579B2 (en) 2018-02-13 2022-07-26 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
EP3651077B1 (en) 2018-02-13 2021-10-27 Shanghai Cambricon Information Technology Co., Ltd Computation device and method
CN116991226A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
EP3624020A4 (en) 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd CALCULATION PROCEDURES AND RELATED PRODUCTS
KR102470893B1 (ko) 2018-06-27 2022-11-25 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 온 칩 코드의 브레이크 포인트에 의한 디버그 방법, 온 칩 프로세서 및 브레이크 포인트에 의한 칩 디버그 시스템
US11966583B2 (en) 2018-08-28 2024-04-23 Cambricon Technologies Corporation Limited Data pre-processing method and device, and related computer device and storage medium
US11703939B2 (en) * 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
CN111383638A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN111832738B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US20200334522A1 (en) 2019-04-18 2020-10-22 Cambricon Technologies Corporation Limited Data processing method and related products
CN112085191B (zh) 2019-06-12 2024-04-02 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US11289078B2 (en) * 2019-06-28 2022-03-29 Intel Corporation Voice controlled camera with AI scene detection for precise focusing
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
WO2021036905A1 (zh) 2019-08-27 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN112052110B (zh) * 2020-09-02 2024-04-05 广州市百果园信息技术有限公司 一种存储方法及装置
WO2022056729A1 (zh) * 2020-09-16 2022-03-24 华为技术有限公司 电子装置和电子装置的图像处理方法
CN112949682B (zh) * 2021-01-27 2022-05-20 重庆交通大学 一种特征级统计描述学习的sar图像分类方法
CN112766288B (zh) * 2021-03-03 2024-01-23 重庆赛迪奇智人工智能科技有限公司 图像处理模型构建方法、装置、电子设备和可读存储介质
CN113067983B (zh) * 2021-03-29 2022-11-15 维沃移动通信（杭州）有限公司 视频处理方法、装置、电子设备和存储介质
WO2022233061A1 (zh) * 2021-05-07 2022-11-10 Oppo广东移动通信有限公司 信号处理方法、通信设备及通信系统
CN113450795A (zh) * 2021-06-28 2021-09-28 深圳七号家园信息技术有限公司 一种具有语音唤醒功能的图像识别方法及系统
US20230021088A1 (en) * 2021-07-19 2023-01-19 Honeywell International Inc. Systems and methods for an actionable cockpit of an aircraft
CN113553965B (zh) * 2021-07-27 2023-09-12 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法
CN114252032B (zh) * 2021-12-22 2024-09-06 内蒙航天动力机械测试所 一种基于微波超材料的微形变场高精度测量系统及方法
CN116168119B (zh) * 2023-02-28 2024-05-28 北京百度网讯科技有限公司 图像编辑方法、装置、电子设备、存储介质及程序产品
CN116834023B (zh) * 2023-08-28 2023-11-14 山东嘉达装配式建筑科技有限责任公司 一种打钉机器人控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140081625A1 (en) * 2012-09-18 2014-03-20 Adobe Systems Incorporated Natural Language Image Spatial and Tonal Localization
CN107832843A (zh) * 2017-10-30 2018-03-23 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN108389153A (zh) * 2018-03-15 2018-08-10 广东欧珀移动通信有限公司 一种视图加载的方法及终端设备
CN108875473A (zh) * 2017-06-29 2018-11-23 北京旷视科技有限公司 活体验证方法、装置和系统及存储介质

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375860A (ja) 1989-08-18 1991-03-29 Hitachi Ltd パーソナライズド端末
US5052043A (en) 1990-05-07 1991-09-24 Eastman Kodak Company Neural network with back propagation controlled through an output confidence measure
US6144977A (en) 1995-07-10 2000-11-07 Motorola, Inc. Circuit and method of converting a floating point number to a programmable fixed point number
GB9602701D0 (en) 1996-02-09 1996-04-10 Canon Kk Image manipulation
US7242414B1 (en) 1999-07-30 2007-07-10 Mips Technologies, Inc. Processor having a compare extension of an instruction set architecture
JP2000293371A (ja) 1999-04-09 2000-10-20 Hitachi Ltd マイクロプログラム制御方法及び装置
US6671796B1 (en) 2000-02-25 2003-12-30 Sun Microsystems, Inc. Converting an arbitrary fixed point value to a floating point value
CN1141696C (zh) * 2000-03-31 2004-03-10 清华大学 基于语音识别专用芯片的非特定人语音识别、语音提示方法
US6931639B1 (en) 2000-08-24 2005-08-16 International Business Machines Corporation Method for implementing a variable-partitioned queue for simultaneous multithreaded processors
EP1315846B1 (en) 2000-09-07 2007-02-21 Nippon Steel Corporation Hexavalent chromium-free surface-treating agent for sn- or al-based coated steel sheet, and surface treated steel sheet
US20020138714A1 (en) 2001-03-22 2002-09-26 Sun Microsystems, Inc. Scoreboard for scheduling of instructions in a microprocessor that provides out of order execution
CN1270273C (zh) 2001-04-19 2006-08-16 艾利森电话股份有限公司 自适应存储器分配
US20030167460A1 (en) 2002-02-26 2003-09-04 Desai Vipul Anil Processor instruction set simulation power estimation method
US7236995B2 (en) 2002-12-27 2007-06-26 Arm Limited Data processing apparatus and method for converting a number between fixed-point and floating-point representations
DE10316381A1 (de) 2003-04-10 2004-10-28 Bayer Technology Services Gmbh Verfahren zum Training von neuronalen Netzen
JP4202244B2 (ja) 2003-12-22 2008-12-24 Ｎｅｃエレクトロニクス株式会社 Ｖｌｉｗ型ｄｓｐ，及びその動作方法
US20060161375A1 (en) 2004-12-30 2006-07-20 Allen Duberstein Optimizing processing speed based on measured temperatures
US7721128B2 (en) 2005-11-29 2010-05-18 International Business Machines Corporation Implementation of thermal throttling logic
CN1851668A (zh) 2006-06-01 2006-10-25 北京天碁科技有限公司 片上系统芯片、片上系统芯片的跟踪调试系统及方法
DE102006059156B4 (de) 2006-12-14 2008-11-06 Advanced Micro Devices, Inc., Sunnyvale Verfahren zum Testen eines integrierten Schaltkreischips mit zumindest zwei Schaltungskernen sowie integrierter Schaltkreischip und Testsystem
US20110060587A1 (en) 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US8560591B2 (en) 2007-04-25 2013-10-15 International Business Machines Corporation Detection of potential need to use a larger data format in performing floating point operations
US8190664B2 (en) 2007-04-26 2012-05-29 International Business Machines Corporation Employing a mask field of an instruction to encode a sign of a result of the instruction
US8051118B2 (en) 2007-04-26 2011-11-01 International Business Machines Corporation Composition of decimal floating point data
US8051117B2 (en) 2007-04-26 2011-11-01 International Business Machines Corporation Shift significand of decimal floating point data
JP5184824B2 (ja) 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
JP2009110353A (ja) 2007-10-31 2009-05-21 Hitachi Ltd マイクロコントローラ及び制御システム
US7904287B2 (en) 2007-11-13 2011-03-08 International Business Machines Corporation Method and system for real-time prediction of power usage for a change to another performance state
JP4998794B2 (ja) 2007-11-29 2012-08-15 Ｎｋワークス株式会社 画像補正方法と画像補正装置
US20100073068A1 (en) 2008-09-22 2010-03-25 Hanwoo Cho Functional block level thermal control
CN101572829B (zh) 2009-06-10 2011-02-02 中国联合网络通信集团有限公司 Iptv视频质量监测方法、装置和系统
EP2336882A1 (en) 2009-12-18 2011-06-22 Telefonaktiebolaget L M Ericsson (PUBL) Technique for run-time provision of executable code using off-device services
WO2011132277A1 (ja) 2010-04-21 2011-10-27 トヨタ自動車株式会社 内燃機関の制御装置
JP2011253374A (ja) 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8452463B2 (en) 2010-06-04 2013-05-28 Apple Inc. Adjusting the thermal behavior of a computing system using indirect information about ambient temperature
US8694572B2 (en) 2010-07-06 2014-04-08 Silminds, Llc, Egypt Decimal floating-point fused multiply-add unit
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
CN102761509B (zh) 2011-04-27 2016-01-06 联芯科技有限公司 Ofdm系统的接收系统及降低接收系统内存的方法
CN103534664B (zh) 2011-05-12 2016-08-31 苹果公司 存在感测
CN102789413B (zh) 2011-05-23 2016-02-17 同济大学 一种并行程序的调试系统及方法
US8594982B2 (en) 2011-06-09 2013-11-26 Pulsar Informatics, Inc. Systems and methods for distributed calculation of fatigue-risk prediction and optimization
CN102404673B (zh) 2011-11-24 2013-12-18 苏州上声电子有限公司 数字化扬声器系统通道均衡与声场控制方法和装置
CN103152673B (zh) 2011-12-07 2015-07-08 中国科学院声学研究所 基于四元码动态失配整形的数字扬声器驱动方法和装置
CN102622766A (zh) * 2012-03-01 2012-08-01 西安电子科技大学 多目标优化的多镜头人体运动跟踪方法
CN102684701B (zh) 2012-04-27 2014-07-09 苏州上声电子有限公司 基于编码转换的数字扬声器驱动方法和装置
DE102012009502A1 (de) 2012-05-14 2013-11-14 Kisters Ag Verfahren zum Trainieren eines künstlichen neuronalen Netzes
US9417891B2 (en) 2012-06-11 2016-08-16 Vmware, Inc. Unified storage/VDI provisioning methodology
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
CN102903089B (zh) 2012-09-07 2014-12-17 山东大学 一种Linux环境下生成遥感图像快视图的方法
CN102981854A (zh) 2012-11-16 2013-03-20 天津市天祥世联网络科技有限公司 基于浮点数运算内联函数库的神经网络优化方法
WO2014081007A1 (ja) 2012-11-22 2014-05-30 学校法人慶應義塾 アクリル系共重合体、光学フィルム、偏光板および液晶表示装置
US9851977B2 (en) 2012-12-06 2017-12-26 Kalray Apparatus and method for combining thread warps with compatible execution masks for simultaneous execution and increased lane utilization
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
US9720732B1 (en) 2013-02-11 2017-08-01 Amazon Technologies, Inc. Parameter selection for optimization of task execution based on execution history for prior tasks
JP2014170295A (ja) 2013-03-01 2014-09-18 Honda Motor Co Ltd 物体認識システム及び物体認識方法
US12047340B2 (en) 2013-04-29 2024-07-23 Dell Products L.P. System for managing an instructure with security
KR101752082B1 (ko) 2013-06-12 2017-07-11 미쓰비시덴키 가부시키가이샤 개발 환경 시스템, 개발 환경 장치, 개발 환경 제공 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 매체
CN103559505A (zh) * 2013-11-18 2014-02-05 庄浩洋 一种3d骨架建模与手检测方法
JP6184891B2 (ja) 2014-03-12 2017-08-23 東芝メモリ株式会社 情報処理装置、半導体チップ、情報処理方法およびプログラム
US9507405B2 (en) 2014-06-18 2016-11-29 Oracle International Corporation System and method for managing power in a chip multiprocessor using a proportional feedback mechanism
US9575537B2 (en) 2014-07-25 2017-02-21 Intel Corporation Adaptive algorithm for thermal throttling of multi-core processors with non-homogeneous performance states
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
GB2524126B (en) 2014-08-28 2016-07-27 Imagination Tech Ltd Combining paths
US9916130B2 (en) 2014-11-03 2018-03-13 Arm Limited Apparatus and method for vector processing
FR3030077B1 (fr) 2014-12-10 2016-12-02 Arnault Ioualalen Procede d'ajustement de la precision d'un programme d'ordinateur manipulant au moins un nombre a virgule.
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US20170061279A1 (en) 2015-01-14 2017-03-02 Intel Corporation Updating an artificial neural network using flexible fixed point representation
US20160328645A1 (en) 2015-05-08 2016-11-10 Qualcomm Incorporated Reduced computational complexity for fixed point neural network
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
CN104899641B (zh) 2015-05-25 2018-07-13 杭州朗和科技有限公司 深度神经网络学习方法、处理器和深度神经网络学习系统
CN115100016A (zh) 2015-06-10 2022-09-23 无比视视觉技术有限公司 用于处理图像的图像处理器和方法
CN104978303B (zh) 2015-06-19 2019-06-04 上海兆芯集成电路有限公司 单芯片整合的传感器集线器和多传感器管理方法
CN106469291A (zh) 2015-08-19 2017-03-01 中兴通讯股份有限公司 图像处理方法及终端
US10031765B2 (en) 2015-09-24 2018-07-24 Intel Corporation Instruction and logic for programmable fabric hierarchy and cache
US10812831B2 (en) 2015-09-30 2020-10-20 Piksel, Inc. Video stream delivery via adaptive quality enhancement using error correction models
US11061672B2 (en) 2015-10-02 2021-07-13 Via Alliance Semiconductor Co., Ltd. Chained split execution of fused compound arithmetic operations
CN106570559A (zh) 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 一种基于神经网络的数据处理方法和装置
WO2017087568A1 (en) 2015-11-17 2017-05-26 Eman Bayani A digital image capturing device system and method
CN106814639A (zh) 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
CN105893419A (zh) 2015-11-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种多媒体照片生成方法、装置、设备及手机
US10699186B2 (en) 2015-12-02 2020-06-30 Google Llc Determining orders of execution of a neural network
CN106933561A (zh) * 2015-12-31 2017-07-07 北京搜狗科技发展有限公司 语音输入方法和终端设备
CN110135581B (zh) 2016-01-20 2020-11-06 中科寒武纪科技股份有限公司 用于执行人工神经网络反向运算的装置和方法
CN106997236B (zh) 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
US10664766B2 (en) 2016-01-27 2020-05-26 Bonsai AI, Inc. Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models
US10497089B2 (en) 2016-01-29 2019-12-03 Fotonation Limited Convolutional neural network
EP3416105A4 (en) 2016-02-12 2019-02-20 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
JP2017156511A (ja) 2016-03-01 2017-09-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10103714B2 (en) 2016-03-01 2018-10-16 Qualcomm Incorporated Adjust voltage for thermal mitigation
US10019779B2 (en) * 2016-03-08 2018-07-10 Amazon Technologies, Inc. Browsing interface for item counterparts having different scales and lengths
CN107292808B (zh) * 2016-03-31 2021-01-05 阿里巴巴集团控股有限公司 图像处理方法、装置及图像协处理器
CN105913039B (zh) * 2016-04-26 2020-08-18 北京光年无限科技有限公司 基于视觉和语音的对话数据交互处理方法及装置
CN107330515A (zh) 2016-04-29 2017-11-07 北京中科寒武纪科技有限公司 一种用于执行人工神经网络正向运算的装置和方法
US10552119B2 (en) 2016-04-29 2020-02-04 Intel Corporation Dynamic management of numerical representation in a distributed matrix processor architecture
US11055063B2 (en) 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
US10187568B1 (en) 2016-05-02 2019-01-22 Bao Tran Video smart phone
CN105978611B (zh) 2016-05-12 2019-09-17 京信通信系统（中国）有限公司 一种频域信号压缩方法及装置
AU2016203619A1 (en) 2016-05-31 2017-12-14 Canon Kabushiki Kaisha Layer-based operations scheduling to optimise memory for CNN applications
EP3252949B1 (en) 2016-06-01 2020-03-18 Intel IP Corporation Methods and devices for predistortion of signals
US20170357910A1 (en) 2016-06-10 2017-12-14 Apple Inc. System for iteratively training an artificial intelligence using cloud-based metrics
CN107545889B (zh) 2016-06-23 2020-10-23 华为终端有限公司 适用于模式识别的模型的优化方法、装置及终端设备
CN106156310A (zh) 2016-06-30 2016-11-23 努比亚技术有限公司 一种图片处理装置和方法
US10372588B2 (en) 2016-07-08 2019-08-06 International Business Machines Corporation Providing debug information on production containers using debug containers
DE102016214786A1 (de) 2016-08-09 2018-02-15 Fujitsu Limited Anwendungsprofiling-Jobmanagement-System, -Programm und -Verfahren
US20180046903A1 (en) 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Deep processing unit (dpu) for implementing an artificial neural network (ann)
CN107657316B (zh) 2016-08-12 2020-04-07 北京深鉴智能科技有限公司 通用处理器与神经网络处理器的协同系统设计
CN106331476A (zh) * 2016-08-18 2017-01-11 努比亚技术有限公司 一种图像处理方法和装置
CN106354568A (zh) 2016-08-23 2017-01-25 京信通信技术(广州)有限公司 一种不同进程间的通信方法及通信装置
CN107797913A (zh) 2016-09-07 2018-03-13 大陆汽车电子（连云港）有限公司 一种实时系统的软件分析系统与方法
CN106371702A (zh) * 2016-09-07 2017-02-01 北京金山软件有限公司 一种图像信息编辑方法、装置及移动终端
US11907760B2 (en) 2016-09-23 2024-02-20 Apple Inc. Systems and methods of memory allocation for neural networks
CN106650922B (zh) 2016-09-29 2019-05-03 清华大学 硬件神经网络转换方法、计算装置、软硬件协作系统
CN106327221A (zh) * 2016-09-30 2017-01-11 北京中科寒武纪科技有限公司 用于预防电信诈骗的装置和方法
US20180096243A1 (en) 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
US10726330B2 (en) 2016-10-11 2020-07-28 The Research Foundation For The State University Of New York System, method, and accelerator to process convolutional neural network layers
CN106485316B (zh) 2016-10-31 2019-04-02 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN106502626A (zh) 2016-11-03 2017-03-15 北京百度网讯科技有限公司 数据处理方法和装置
US10212338B2 (en) * 2016-11-22 2019-02-19 Google Llc Camera operable using natural language commands
US10216479B2 (en) 2016-12-06 2019-02-26 Arm Limited Apparatus and method for performing arithmetic operations to accumulate floating-point numbers
US10997492B2 (en) 2017-01-20 2021-05-04 Nvidia Corporation Automated methods for conversions to a lower precision data format
CN106951587A (zh) 2017-02-15 2017-07-14 芯启源（南京）半导体科技有限公司 Fpga调试系统及方法
JP6860901B2 (ja) * 2017-02-28 2021-04-21 国立研究開発法人情報通信研究機構 学習装置、音声合成システムおよび音声合成方法
CN106951962B (zh) 2017-03-22 2020-09-01 南京地平线机器人技术有限公司 用于神经网络的复合运算单元、方法和电子设备
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10332302B2 (en) 2017-04-17 2019-06-25 Intel Corporation Scatter gather engine
CN107025629B (zh) 2017-04-27 2021-03-26 维沃移动通信有限公司 一种图像处理方法及移动终端
US11842280B2 (en) 2017-05-05 2023-12-12 Nvidia Corporation Loss-scaling for deep neural network training with reduced precision
US10019668B1 (en) 2017-05-19 2018-07-10 Google Llc Scheduling neural network processing
US11144828B2 (en) 2017-06-09 2021-10-12 Htc Corporation Training task optimization system, training task optimization method and non-transitory computer readable medium for operating the same
US10944902B2 (en) * 2017-06-20 2021-03-09 Adobe Inc. Digital image generation using capture support data
WO2019005088A1 (en) 2017-06-30 2019-01-03 Intel Corporation HETEROGENEOUS MULTIPLIER
CN107451654B (zh) 2017-07-05 2021-05-18 深圳市自行科技有限公司 卷积神经网络的加速运算方法、服务器及存储介质
US10427306B1 (en) 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
CN107729990B (zh) 2017-07-20 2021-06-08 上海寒武纪信息科技有限公司 支持离散数据表示的用于执行正向运算的装置及方法
CN107451658B (zh) 2017-07-24 2020-12-15 杭州菲数科技有限公司 浮点运算定点化方法及系统
CN107688849B (zh) 2017-07-28 2021-04-13 赛灵思电子科技(北京)有限公司 一种动态策略定点化训练方法及装置
US11481218B2 (en) 2017-08-02 2022-10-25 Intel Corporation System and method enabling one-hot neural networks on a machine learning compute platform
WO2019031858A1 (en) 2017-08-08 2019-02-14 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR DETERMINING MEMORY NEEDS IN A NETWORK
US20190050710A1 (en) 2017-08-14 2019-02-14 Midea Group Co., Ltd. Adaptive bit-width reduction for neural networks
CN107644254A (zh) 2017-09-09 2018-01-30 复旦大学 一种卷积神经网络权重参数量化训练方法及系统
US10223114B1 (en) 2017-09-29 2019-03-05 Intel Corporation Fixed point to floating point conversion
US11450319B2 (en) 2017-09-29 2022-09-20 Cambricon (Xi'an) Semiconductor Co., Ltd. Image processing apparatus and method
KR102380494B1 (ko) 2017-09-29 2022-03-29 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 화상처리장치 및 방법
US10224954B1 (en) 2017-09-29 2019-03-05 Intel Corporation Floating point to fixed point conversion
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US10503550B2 (en) * 2017-09-30 2019-12-10 Intel Corporation Dynamic performance biasing in a processor
JP6540770B2 (ja) 2017-10-17 2019-07-10 富士通株式会社 演算処理回路、演算処理回路を含む演算処理装置、演算処理装置を含む情報処理装置、および方法
CN107886947A (zh) * 2017-10-19 2018-04-06 珠海格力电器股份有限公司 一种图像处理的方法以及装置
US10410121B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Adjusting automated neural network generation based on evaluation of candidate neural networks
US20210061028A1 (en) 2017-10-26 2021-03-04 Applied Mechatronic Products Apparatus and method for vehicular monitoring, analysis, and control
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10803379B2 (en) 2017-12-12 2020-10-13 Amazon Technologies, Inc. Multi-memory on-chip computational network
CN108053028B (zh) 2017-12-21 2021-09-14 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
US11636327B2 (en) 2017-12-29 2023-04-25 Intel Corporation Machine learning sparse computation mechanism for arbitrary neural networks, arithmetic compute microarchitecture, and sparsity for training mechanism
US11373088B2 (en) 2017-12-30 2022-06-28 Intel Corporation Machine learning accelerator mechanism
US20190251429A1 (en) 2018-02-12 2019-08-15 Kneron, Inc. Convolution operation device and method of scaling convolution input for convolution neural network
US11106598B2 (en) 2018-02-13 2021-08-31 Shanghai Cambricon Information Technology Co., Ltd. Computing device and method
US11397579B2 (en) 2018-02-13 2022-07-26 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
CN116991226A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
JP7056225B2 (ja) 2018-02-26 2022-04-19 富士通株式会社 演算処理装置、情報処理装置、情報処理方法、およびプログラム
US10628275B2 (en) 2018-03-07 2020-04-21 Nxp B.V. Runtime software-based self-test with mutual inter-core checking
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
CN108510067B (zh) 2018-04-11 2021-11-09 西安电子科技大学 基于工程化实现的卷积神经网络量化方法
US11562213B2 (en) 2018-04-17 2023-01-24 Intel Corporation Methods and arrangements to manage memory in cascaded neural networks
EP3624020A4 (en) 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd CALCULATION PROCEDURES AND RELATED PRODUCTS
CN108717570A (zh) 2018-05-23 2018-10-30 电子科技大学 一种脉冲神经网络参数量化方法
CN110555450B (zh) 2018-05-31 2022-06-28 赛灵思电子科技(北京)有限公司 人脸识别神经网络调整方法和装置
US10360304B1 (en) 2018-06-04 2019-07-23 Imageous, Inc. Natural language processing interface-enabled building conditions control system
CN109062540B (zh) 2018-06-06 2022-11-25 北京理工大学 一种基于cordic算法的可重构浮点运算装置
CN109063820A (zh) 2018-06-07 2018-12-21 中国科学技术大学 利用时频联合长时循环神经网络的数据处理方法
CN110728364A (zh) 2018-07-17 2020-01-24 上海寒武纪信息科技有限公司 一种运算装置和运算方法
KR102470893B1 (ko) 2018-06-27 2022-11-25 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 온 칩 코드의 브레이크 포인트에 의한 디버그 방법, 온 칩 프로세서 및 브레이크 포인트에 의한 칩 디버그 시스템
US11966583B2 (en) 2018-08-28 2024-04-23 Cambricon Technologies Corporation Limited Data pre-processing method and device, and related computer device and storage medium
US11703939B2 (en) 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
CN109685202B (zh) 2018-12-17 2023-03-21 腾讯科技（深圳）有限公司 数据处理方法及装置、存储介质和电子装置
CN111383638A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN109902745A (zh) 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法
CN110059733A (zh) 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
CN109993296B (zh) 2019-04-01 2020-12-29 安徽寒武纪信息科技有限公司 量化实现方法及相关产品
CN111832738B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US20200334522A1 (en) 2019-04-18 2020-10-22 Cambricon Technologies Corporation Limited Data processing method and related products
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
WO2021036908A1 (zh) 2019-08-23 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
JP7146954B2 (ja) 2019-08-23 2022-10-04 安徽寒武紀信息科技有限公司 データ処理方法、装置、コンピュータデバイス、及び記憶媒体
WO2021036905A1 (zh) 2019-08-27 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110780845B (zh) 2019-10-17 2021-11-30 浙江大学 一种用于量化卷积神经网络的可配置近似乘法器及其实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140081625A1 (en) * 2012-09-18 2014-03-20 Adobe Systems Incorporated Natural Language Image Spatial and Tonal Localization
CN108875473A (zh) * 2017-06-29 2018-11-23 北京旷视科技有限公司 活体验证方法、装置和系统及存储介质
CN107832843A (zh) * 2017-10-30 2018-03-23 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN108389153A (zh) * 2018-03-15 2018-08-10 广东欧珀移动通信有限公司 一种视图加载的方法及终端设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079817A (zh) * 2020-08-20 2022-02-22 北京达佳互联信息技术有限公司 视频特效的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3734432A1 (en) 2020-11-04
US20200241874A1 (en) 2020-07-30
CN111385462A (zh) 2020-07-07
US11544059B2 (en) 2023-01-03
CN111383637A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111383638A (zh) 信号处理装置、信号处理方法及相关产品
EP3859488B1 (en) Signal processing device, signal processing method and related product
JP6893968B2 (ja) 画像処理装置及び方法
WO2020216008A1 (zh) 图像处理方法、装置、存储介质及设备
Sun et al. Lattice long short-term memory for human action recognition
Bandini et al. Analysis of the hands in egocentric vision: A survey
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN110968235B (zh) 信号处理装置及相关产品
CN114339054B (zh) 拍照模式的生成方法、装置和计算机可读存储介质
EP4055561A1 (en) Object detection device, method, and systerm
CN110688897A (zh) 一种基于联合判断与生成学习的行人重识别方法及装置
Bayegizova et al. EFFECTIVENESS OF THE USE OF ALGORITHMS AND METHODS OF ARTIFICIAL TECHNOLOGIES FOR SIGN LANGUAGE RECOGNITION FOR PEOPLE WITH DISABILITIES.
Al Farid et al. Single Shot Detector CNN and Deep Dilated Masks for Vision-Based Hand Gesture Recognition From Video Sequences
CN110969246A (zh) 信号处理装置及相关产品
CN110968285A (zh) 信号处理装置及相关产品
CN109785843A (zh) 图像处理装置和方法
Basly et al. Lahar-CNN: human activity recognition from one image using convolutional neural network learning approach
Goyal et al. A brief review of deep learning based approaches for facial expression and gesture recognition based on visual information
Zhang et al. Facial expression recognition based on spatial-temporal fusion with attention mechanism
CN113065504A (zh) 一种行为识别方法及装置
Zhang et al. 3D Graph Convolutional Feature Selection and Dense Pre-Estimation for Skeleton Action Recognition
Srividya et al. Hand Recognition and Motion Analysis using Faster RCNN
CN111666878B (zh) 一种对象检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707