CN108764468A - 用于智能识别的人工神经网络处理器 - Google Patents
用于智能识别的人工神经网络处理器 Download PDFInfo
- Publication number
- CN108764468A CN108764468A CN201810413693.5A CN201810413693A CN108764468A CN 108764468 A CN108764468 A CN 108764468A CN 201810413693 A CN201810413693 A CN 201810413693A CN 108764468 A CN108764468 A CN 108764468A
- Authority
- CN
- China
- Prior art keywords
- artificial intelligence
- neural network
- data
- video
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Abstract
本公开提供一种人工智能摄像头及电梯调度系统,其中,人工智能摄像头包括摄像件和处理器,其中,所述摄像件用于摄取外部的图像和/或视频;所述处理器用于将所述图像和/或视频转化为人脸识别结果,并以该人脸识别结果作为至少部分输入数据进行神经网络运算,运算后的输出神经元包括图像和/或视频内的人数。本公开能够在摄像头端即可以分析所拍摄的图片和/或视频内的人数,为后期分析提供依据,而无需将视频传输到后台再进行处理。
Description
技术领域
本公开涉及信息处理技术领域,具体涉及一种人工智能摄像头,以及包含该人工智能摄像头的电梯调度系统。
背景技术
现有涉及摄像头技术包括:采用多种光学、电信号输入转换为电信号存储于存储介质中或者直接存为实体存储介质,并且由存储介质信息读入计算机软件进行图像识别并输出所需信号结果。现有智能摄像头技术问题在于,首先,其不能直接在摄像头中进行图像识别,整个系统需要有线或者无线连接进行数据传输,系统庞大,执行效率低;而且,主要通过软件执行图像识别,功耗大,效率低,无法做到较好的实时性。
现有的电梯调度系统中通过顺向劫车(参考硬盘调度的LOOK(查找)调度算法,学术名为操作系统Scan算法)方法,或者就近相应(最近的电梯相应服务)方法,或者不考虑候梯人数的神经网络平衡调度方法。
现有电梯调度系统技术的问题在于:一来,在群控电梯调度时很难实现调度最优化使得梯箱资源能够合理充分利用;二来,很难实现最优化算法使得乘梯请求平均响应时间最短;另外,电梯调度机制较为固定,无法做到实时优化,缺乏实际应用场景下的学习能力和适应性;还有,无法检测实时人流数据,从而调整合适的电梯资源调度机制。
发明内容
(一)要解决的技术问题
有鉴于此,本公开的目的在于提供一种人工智能摄像头,及包含该人工智能摄像头的电梯调度系统,以至少部分解决以上所述的技术问题。
(二)技术方案
根据本公开的一方面,提供一种人工智能摄像头,包括:摄像件和处理器,其中,
所述摄像件用于摄取外部的图像和/或视频;
所述处理器用于将所述图像和/或视频转化为人脸识别结果,并以该人脸识别结果作为至少部分输入数据进行神经网络运算,运算后的输出神经元包括图像和/或视频内的人数。
在进一步的实施方案中,所述处理器包括:存储单元,用于存储所述输入数据,神经网络参数和指令;控制单元,用于从所述指令缓存中读取专用指令,并将其译码成运算单元指令并输入至运算单元;运算单元,用于根据运算单元指令对所述数据执行相应的神经网络运算,得到输出神经元。
在进一步的实施方案中,所述运算单元中,执行相应的神经网络运算包括:将输入神经元和权值数据相乘,获得相乘结果;执行加法树运算,用于将所述相乘结果通过加法树逐级相加,得到加权和,对加权和加偏置或不做处理;对加偏置或不做处理的加权和执行激活函数运算,得到输出神经元。
在进一步的实施方案中,所述处理器包括:预处理单元,用于对摄像机摄取的图像和/或视频数据进行预处理,转化为人脸识别结果,该人脸识别结果为符合神经网络输入格式的数据。
在进一步的实施方案中,所述预处理单元中,所述预处理包括摄像机摄取的图像和/或视频数据切分、高斯滤波、二值化、正则化和/或归一化,以获得符合神经网络输入格式的数据。
在进一步的实施方案中,所述处理器还包括:直接内存存取DMA,存入存储单元中的输入数据,神经网络参数和指令,以供控制单元和运算单元调用。
在进一步的实施方案中,所述处理器还包括:指令缓存,用于从所述直接内存存取DMA缓存指令,供控制单元调用。
在进一步的实施方案中,所述神经网路参数包括输入神经元、输出神经元和权值,所述处理器还包括:输入神经元缓存,用于从所述直接内存存取DMA缓存输入神经元,供运算单元调用;权值缓存,用于从所述直接内存存取DMA缓存权值,供运算单元调用;输出神经元缓存,用于存储从所述运算单元获得运算后的输出神经元,以输出至直接内存存取DMA。
在进一步的实施方案中,还包括传输模块,用于将运算后的人数数据通过无线和/或有线方式传输至外部设备。
根据本公开的另一方面,提供一种电梯调度系统,包括:
多个以上所述的人工智能摄像头,配置为安装于一大楼的不同楼层,用于摄取电梯外部的等待人员,并输出统计人数;电梯调度设备,响应呼叫楼层的用户请求,接收输入数据,所述输入数据呼叫楼层的人工智能摄像头的统计人数,根据所述输入数据,确定电梯调度方案。
在进一步的实施方案中,还包括:数模转换器,用于将确定的电梯调度方案的数字信号转换为模拟电流信号,以控制电梯群电机运转。
(三)有益效果
本公开的人工智能摄像头,能够在摄像头端即可以分析所拍摄的图片和/或视频内的人数,为后期分析提供依据;
本公开中,包含人工智能摄像头的电梯调度系统,能够综合分析包含等待人数等数据,使电梯调控更加准确和高效。
附图说明
图1是本公开实施例的人工智能摄像头剖面示意图。
图2是图1中的一种实施方式的处理器方框示意图。
图3是图1中的另一种实施方式的处理器方框示意图。
图4是本公开实施例的一电梯调度系统应用场景图。
图5是本公开实施例的电梯调度系统的示意图。
图6是本公开实施例的智能电梯调度设备方框示意图。
图7是图6中的一种实施方式的处理芯片方框示意图。
图8是图6中的另一种实施方式的处理芯片方框示意图。
图9是图6中智能电梯调度设备中一实施例的神经网络运算示意图。
图10是本公开一实施例的智能电梯调度设备的工作流程图。
具体实施方式
下面结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开的保护范围。
本公开实施例的一组系列方案是,提供一种能够进行人工神经网络运算的摄像头,以及包含该摄像头的整体电梯调度系统。通过本公开实施例的人工智能摄像头,能够在摄像头端即能分析所拍摄的图片和/或视频内的人数,为后期分析提供依据。
图1是本公开实施例的人工智能摄像头剖面示意图。如图1所示,本公开实施例的人工智能摄像头100包括:摄像件101和处理器102,其中摄像件101用于摄取外部的图像和/或视频;处理器102用于将所述图像和/或视频转化为人脸识别结果,并以该人脸识别结果作为至少部分输入数据进行神经网络运算,运算后的输出神经元包括图像和/或视频内的人数。
其中,摄像件101可以为现有技术中已有的各种能够摄录图像和/或视频的摄像头,通过电磁学或光学或其他信号源获取外部信息,其结构可参考现有技术的各种摄像头,但现有技术的摄像头不包含对图像数据进行神经网络运算后统计人数的功能单元或模块。
本公开实施例中,处理器102的作用是将摄像件101摄取的图像或视频帧进行处理,通过在其硬件电路上进行人工神经网络运算,得到图像或者视频帧中的人数统计结果。优选的,该处理器为能够进行神经网络运算的人工神经网络芯片。
其中,将图像和/或视频转化为人脸识别结果,可以理解为将其转化为符合神经网络输入格式的数据,即可以作为输入层的输入神经元数据;在神经网络运算时,所采用的网络模型可以是现有技术已有的各种模型,包括但不限于RNN(循环神经网络)(例如LSTM长短期记忆网络)、CNN(卷积神经网络)或者DNN(深度神经网络),且在神经网络的输出层的神经元中包含图像或者视频帧中的人数统计结果数据。
图2是图1中的一种实施方式的处理器方框示意图。如图2所示,在一些实施例中,处理器包括存储单元、控制单元和运算单元,其中,存储单元用于存储输入数据(可以作为输入神经元),神经网络参数和指令;控制单元用于从所述存储单元中读取专用指令,并将其译码成运算单元指令并输入至运算单元;运算单元用于根据运算单元指令对所述数据执行相应的神经网络运算,得到输出神经元。其中,存储单元还可以存储经运算单元运算后获得的输出神经元。这里的神经网络参数包括但不限于权值、偏置和激活函数。作为优选的,参数中的初始化权值为经过训练的人脸识别权值,可直接进行人工神经网络运算(也就是人脸识别计算(inference)),节省了对神经网络进行训练的过程。
在一些实施例中,运算单元中执行相应的神经网络运算包括:将输入神经元和权值数据相乘,获得相乘结果;执行加法树运算,用于将所述相乘结果通过加法树逐级相加,得到加权和,对加权和加偏置或不做处理;对加偏置或不做处理的加权和执行激活函数运算,得到输出神经元。作为优选的,激活函数可以是sigmoid函数、tanh函数、ReLU函数或softmax函数。
在一些实施例中,如图2所示,处理器还可以包括DMA(Direct Memory Access,直接内存存取),用于存入存储单元中的输入数据,神经网络参数和指令,以供控制单元和运算单元调用;进一步的还用于在运算单元计算出输出神经元后,向存储单元写入该输出神经元。
在一些实施例中,如图2所示,处理器还包括指令缓存,用于从所述直接内存存取DMA缓存指令,供控制单元调用。该指令缓存可以为片上缓存,其通过制备工艺集成于处理器上,可以在指令调取时,提高处理速度,节省整体运算时间。
在一些实施例中,处理器还包括:输入神经元缓存,其用于从所述直接内存存取DMA缓存输入神经元,供运算单元调用;权值缓存,其用于从所述直接内存存取DMA缓存权值,供运算单元调用;输出神经元缓存,其用于存储从所述运算单元获得运算后的输出神经元,以输出至直接内存存取DMA。上述输入神经元缓存、权值缓存以及输出神经元缓存也可以为片上缓存,通过半导体工艺集成于处理器上,可以在供运算单元读写时提高处理速度,节省整体运算时间。
图3是图1中的另一种实施方式的处理器方框示意图。如图3所示,该实施例中的处理器可以包括预处理单元,其用于对摄像机摄取的图像和/或视频数据进行预处理,转化为人脸识别结果,该人脸识别结果为符合神经网络输入格式的数据。优选的,所述预处理包括摄像机摄取的图像和/或视频数据切分、高斯滤波、二值化、正则化和/或归一化,以获得符合神经网络输入格式的数据。该预处理作用在于提高后续神经网络运算的准确性,以得到准确的人数判断。
在一些实施例中,处理器还可以包括传输单元,用于将运算后的人数数据通过无线和/或有线方式传输至外部设备。这里的运算是指通过运算单元进行了神经网络后的运算,其包含有对图像或视频帧进行的人数判断数据,该人数判断数据可以存储于DMA或存储单元中,可以通过传输单元将其传输至外部设备,以进行进一步的数据分析和应用。
上述人工智能摄像头的工作过程可以为:
步骤S1,摄像件实时获取电梯口图像信号,并将其转化为图像电信号。
步骤S2,摄像件输出的图像电信号输入到处理器的输入端;
步骤S3,图像电信号经预处理单元处理后,形成该人脸识别结果为符合神经网络输入格式的数据,然后传入存储单元或图像电信号直接传入存储单元;
步骤S4,DMA(Direct Memory Access,直接内存存取)将存储单元存储的指令、输入神经元(包含上述的符合神经网络输入格式的数据)和权值缓存、分别分批传入指令缓存,输入神经元缓存和权值缓存中;
步骤S5,控制单元从指令缓存中读取指令,将其译码为运算单元指令后传入运算单元;
步骤S6,根据运算单元指令,运算单元执行相应的运算,:在神经网络的各个层中,运算可以分为三步:步骤S6.1,,将对应的输入神经元和权值相乘;步骤S6.2,执行加法树运算,即将步骤S6.1的结果通过加法树逐级相加,得到加权和,根据需要对加权和加偏置或不做处理;步骤S6.3,对步骤S6.2得到的结果执行激活函数运算,得到输出神经元,并将其传入输出神经元缓存中。
步骤S7,重复步骤S4-S6,将最终输出图像人脸判断结果由DMA存入存储单元中相应的判断结果存储地址。
上述人工智能摄像头可以安置于现有技术已知的各种场合(包括但不限于住宅、办公区、电梯内、电梯外、商场、厂房以及学校),与各种中控系统配套使用,为相应系统提供人数统计的实时数据支持。
基于相同的发明构思,本公开实施例还提供一种电梯调度系统,包括:多个根据上述实施例所描述的人工智能摄像头,配置为安装于一大楼的不同楼层,用于摄取电梯外部的等待人员,并输出统计人数;以及电梯调度设备,响应呼叫楼层的用户请求,接收输入数据,所述输入数据呼叫楼层的人工智能摄像头的统计人数,根据所述输入数据,确定电梯调度方案。
图4是本公开实施例的一电梯调度系统应用场景图,参见图4所示,在图4所示的大楼内,具有至少一部电梯402(图中仅示出一部,但显然其并仅限于1部),每个楼层的电梯外部均安装有上述实施例所述的人工智能摄像头401(每一层可以有多个,优选的为每层一个),其对电梯外部进行视频采集,采集的视频可能会包含候梯人员403,对于各层的智能摄像头401可以对采集的每一视频帧进行神经网络运算,确定相应的候梯人数。
图5是本公开实施例的电梯调度系统的示意图,如图5所示,电梯调度设备502与智能摄像头5011~501n(n为大于1的自然数)之间可以通过无线和/或有线方式进行相互通信,例如电梯调度设备502向智能摄像头头发送控制信号,智能摄像头向电梯调度设备502发送候梯人数数据。其中,对相应智能摄像头进行标号,可表示摄像头所处位置,例如智能摄像头5011表示其位于第一层,摄取的是第一层的视频,则501n表示相应摄像头位于第n层,摄取的是第n层的视频。
当电梯调度设备502接收到乘梯请求(例如候梯人按楼道内的电梯上或下键)后,电梯调度系统按照设定的调度算法进行计算,该计算过程中考虑的因素包含用梯请求楼层的候梯人数,计算后形成电梯调度方案,以控制电梯群电机运转。
以下,将介绍本公开另一组方案,提供一种人工智能电梯调度设备(由于能够通过内部电路神经网络运算,特命名为人工智能电梯调度设备,与常规的电梯调度设备进行区分)该设备包含可以进行人工神经网络运算的处理装置,通过在人工神经网络运算时考虑候梯人数,形成的调度方案更加高效和准确。还提供一种包含该人工智能电梯调度设备的电梯调度系统。
图6是本公开实施例的人工智能电梯调度设备方框示意图。如图6所示,人工智能电梯调度设备600可以包括处理芯片601和运算器604,处理芯片601,用于接收一用户请求数据并以该用户请求数据进行神经网络运算,运算后的输出神经元包括当前用户请求的执行队列,其中所述用户请求数据包括用户请求楼层的候梯人数数据;运算器4,根据多个用户请求的执行队列,确定电梯调度方案。其中所述用户请求数据包括用户请求楼层的候梯人数数据。在运算中,通过设定的神经网络模型进行运算,所采用的网络模型可以是现有技术已有的各种模型,包括但不限于RNN(循环神经网络)、CNN(卷积神经网络)或者DNN(深度神经网络),优选的,采用RNN(循环神经网络)中的LSTM长短期记忆网络模型进行运算。
其中,用户请求数据包括但不限于一组包含一个或多个请求楼层以及上下行的数字编码,也即将电梯请求的楼层以及上行或者下行通过编码实现数字化。其中,该用户请求数据可以是原始输入数据,或者是经过本公开实施例的智能电梯调度设备600进行处理后的数据。
本公开实施例的处理芯片601内部可以包括若干功能模块,如图7所示,处理芯片601可以包括存储模块、控制模块和运算模块,其中,存储模块用于存储用户请求数据(可以作为输入神经元),神经网络参数和指令;控制模块用于从所述存储模块中读取专用指令,并将其译码成运算模块指令并输入至运算模块;运算模块用于根据运算模块指令对所述数据执行相应的神经网络运算,得到输出神经元。其中,存储模块还可以存储经运算模块运算后获得的输出神经元。这里的神经网络参数包括但不限于权值、偏置和激活函数。作为优选的,参数中的初始化权值为经过训练的人脸识别权值或者通过之前的用户请求数据进行训练。
在一些实施例中,运算模块中执行相应的神经网络运算包括:将输入神经元和权值数据相乘,获得相乘结果;执行加法树运算,用于将所述相乘结果通过加法树逐级相加,得到加权和,对加权和加偏置或不做处理;
对加偏置或不做处理的加权和执行激活函数运算,得到输出神经元。作为优选的,激活函数可以是sigmoid函数、tanh函数、ReLU函数或softmax函数。
在一些实施例中,如图7所示,处理芯片601还可以包括直接内存存取模块,用于存入存储模块中的输入数据,神经网络参数和指令,以供控制模块和运算模块调用;进一步的还用于在运算模块计算出输出神经元后,向存储模块写入该输出神经元。
在一些实施例中,如图7所示,处理芯片601还包括指令缓存模块,用于从所述直接内存存取模块缓存指令,供控制模块调用。该指令缓存模块可以为片上缓存,其通过制备工艺集成于处理芯片601上,可以在指令调取时,提高处理速度,节省整体运算时间。
在一些实施例中,处理芯片601还包括:输入神经元缓存模块,其用于从所述直接内存存取模块缓存输入神经元,供运算模块调用;权值缓存模块,其用于从所述直接内存存取模块缓存权值,供运算模块调用;输出神经元缓存模块,其用于存储从所述运算模块获得运算后的输出神经元,以输出至直接内存存取模块。上述输入神经元缓存模块、权值缓存模块以及输出神经元缓存模块也可以为片上缓存,通过半导体工艺集成于处理芯片601上,可以在供运算模块读写时提高处理速度,节省整体运算时间。
图8是图6中的另一种实施方式的处理芯片601方框示意图。如图8所示,该实施例中的处理芯片601可以包括预处理模块,其用于对用户请求数据进行预处理,转化为符合神经网络输入格式的数据。该预处理作用在于提高后续神经网络运算的准确性,以得到准确的电梯调度方案数据。
图9是图6中智能电梯调度设备中一实施例的神经网络运算示意图。本公开实施例中的处理芯片进行神经网络运算的典型网络模型如图9所示,该神经网络包括输入层,若干中间层以及输出层,其中图中圆圈表示神经元,输入层的神经元输入用户请求数据(该数据包含一个或多个用户请求队列的数字信息,如经过各种编码后的形成用户请求队列),这里的用户请求数据包含候梯人数,经过若干隐层的运算后,输出层数据包含当前用户请求组的执行队列。
作为优选的,上述神经网络模型可以采用LSTM模型,LSTM模型由多个多层感知机模型构成,每一个多层感知机模型都代表一个时刻的LSTM状态,当前时刻的状态是由前n-1个时刻的状态和当前输入共同决定的,当用户请求数据xi不断输入到网络中,输出ht为每一时刻的用户请求队列。而且,还可以通过LSTM模型初始化参数并根据相关用户请求数据获得损失函数的调度代价,计算用户加入执行队列的最小代价的梯度方向输出当前用户请求组的执行队列。
而且,作为优选的,可以自适应地训练上述LSTM(长短期记忆网络)中的参数(如权值、偏置等),进而生成训练生成新的LSTM模型参数。优选的,上述自适应训练过程是实时处理的。
优选的,上述损失函数的调度代价可以是指电梯执行队列中每层用户等待时间的加权平均值,即优化目标为所有请求电梯使用的用户的平均等待时间的统计量(等待时间最短),其中所赋权值为用户重要性等级。损失函数调度代价还可以是电梯上下行的总的楼层数之和,即优化目标为电梯运行总距离(能耗最省)等等。
优选的上述损失函数的调度代价可以是由智能摄像头识别的人数进行每个电梯请求的加权参数,故而由人数衡量该命令的优先级,在实际应用中也较为合理。
在一些实施例中,该处理芯片601的用户请求数据(包括候梯人数)可以来源于监控摄像头,手机,电脑,笔记本,平板电脑等连续时间图像采集装置。
如图6所示,在一些实施例中,人工智能电梯调度设备600可以包括请求信号编码器602,用于对用户请求数据进行编码,如将电梯按钮的电信号输入进行编码,变为神经网络可以处理的数字信息。例如,输入用户请求组中的用户请求由1代表上行,由0代表下行(当然也可以反过来,0代表上行,1代表下行),与楼层号的二进制编码以及由智能摄像头识别出来的各楼层电梯请求人数共同组成输入编码二进制请求。当然也可以有其他的编码方式构成包含请求方向与请求楼层或其他信息的请求编码作为输入。
如图6所示,在一些实施例中,人工智能电梯调度设备600还可以包括存储器603,用于存储处理芯片601输出的用户请求的执行队列,这里的执行队列可以有多个(例如有多个楼层有用梯需求),后期还需要进一步分析给出综合调度方案。
如图6所示,在一些实施例中,运算器604的作用为统计存储器603中的执行队列类型及其个数,计算电梯总繁忙度(指令个数)以及人流集中情况(各楼层停留状况),计算出总体的电梯调度方案(例如需要调集的电梯数量,以及各电梯的具体停靠楼层等)。举例来说,运算器604可以进行如下运算:如可统计当前时刻之前一段时间内(时间是Δt)请求队列中的各楼层出现次数,以此作为各层繁忙度(可以通过乘除常数项归一化为百分数);同时统计当前时刻之前一段时间内(时间可以是Δt)总的请求数,以此作为电梯总繁忙度(可以通过乘除常数项归一化为百分数)。电梯总繁忙度决定了梯箱的工作个数,如总繁忙度0-25%;1个梯箱运转,25%-50%,两个梯箱运转,50%-75%,三个,75%-100%,四个。其中25%、50%或75%等阈值可以根据实际情况调整。而各电梯层的繁忙度将作为该层在电梯调度损失函数中的权值,直观理解更加繁忙的,其权值越大,在损失函数中影响越大,故而优化损失函数时会将其优先考虑。
如图6所示,在一些实施例中,人工智能电梯调度设备600还可以包括数模转换器606,其将代电梯调度方案的数字信号转化为控制电梯电机运行的模拟信号。
如图6所示,在一些实施例中,人工智能电梯调度设备600可以包括输入/输出单元605,该输入/输出单元605用于接收请求信号编码器602的信号,并将其传入处理芯片601作为输入;还用于接收处理芯片输出端输出(输出电梯执行队列),并将执行队列存入存储器603;还用于从存储器603读取原始任务队列,输入到运算器604,统计电梯繁忙度和人流集中情况,并将输出结果输入到数模信号转换器606中控制电梯运行个数以及停泊楼层,以实时智能控制电梯运行。
如图10所示,上述人工智能电梯调度设备600的运行方法可以包括:
步骤S101,将用户请求数据经预处理模块传入存储模块或直接传入存储模块;
步骤S102,直接内存存取模块将其分批传入指令缓存模块,输入神经元缓存模块,权值缓存模块中;
步骤S103,控制模块从指令缓存模块中读取指令,将其译码后传入运算模块;
步骤S104,根据指令,运算模块执行相应的运算,:在神经网络的各个层中,运算主要分为三步:步骤S104.1,,将对应的输入神经元和权值相乘;步骤S104.2,执行加法树运算,即将步骤S104.1的结果通过加法树逐级相加,得到加权和,根据需要对加权和加偏置或不做处理;步骤S104.3,对步骤S104.2得到的结果执行激活函数运算,得到输出神经元,并将其传入输出神经元缓存中。
步骤S105,重复步骤S102到步骤S104,直到所有数据运算完毕;
步骤S106,将运算完毕的结果作为电梯执行有序序列由直接内存存取模块存入相应的判断结果存储地址,并输出到存储器603中。
步骤S107,通过人工智能电梯调度设备600的电梯控制队列,暂存并统计电梯此时段的繁忙度以及人流集中情况,根据繁忙度的阈值分类决定运行电梯个数,并通过人流集中情况决定停用或启用的电梯,然后发出电梯控制电信号控制电梯运行。
本公开实施例的再一组系列方案是,提供一种人工智能电梯调度系统,包括多个上述实施例的人工智能摄像头,以及上述实施例的人工智能电梯调度设备,通过人工智能识别人数以及人工智能分析调度方案能够整体性提高电梯调度的准确性和及时性。
本公开实施例的人工智能摄像头内置可以神经网络运算的处理器,可以根据摄像头摄像经过神经网络判别实时识别电梯口等待乘梯人数,最终将用户请求楼层+上下行标记+候梯人数作为输出输入到电梯调度系统的人工智能电梯调度设备中进行编码,转换为处理芯片可识别信号传入处理芯片中构建电梯调度指令队列,处理出的多个指令队列传输到人工智能天梯调度设备中进行解码,并通过数模转换器转换为模拟电信号直接控制电梯运行。
本公开实施例的人工智能摄像头可以参照上述结合图1-4描述的实施例予以设置和实现相应功能;本公开实施例的人工智能电梯调度设备可以参照上述结合图6-10的人工智能电梯调度设备予以设置和实现相应功能,在此不予赘述。
本公开所提供的实施例中,应理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述部分或模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个部分或模块可以结合或者可以集成到一个系统,或一些特征可以忽略或者不执行。
本公开中,术语“和/或”可能已被使用。如本文中所使用的,术语“和/或”意指一个或其他或两者(例如,A和/或B意指A或B或者A和B两者)。
在上面的描述中,出于说明目的,阐述了众多具体细节以便提供对本公开的各实施例的全面理解。然而,对本领域技术人员将显而易见的是,没有这些具体细节中的某些也可实施一个或多个其他实施例。所描述的具体实施例不是为了限制本公开而是为了说明。本公开的范围不是由上面所提供的具体示例确定,而是仅由下面的权利要求确定。在其他情况下,以框图形式,而不是详细地示出已知的电路、结构、设备,和操作以便不至于使对描述的理解变得模糊。在认为适宜之处,附图标记或附图标记的结尾部分在诸附图当中被重复以指示可选地具有类似特性或相同特征的对应或类似的要素,除非以其他方式来指定或显而易见。
已描述了各种操作和方法。已经以流程图方式以相对基础的方式对一些方法进行了描述,但这些操作可选择地被添加至这些方法和/或从这些方法中移去。另外,尽管流程图示出根据各示例实施例的操作的特定顺序,但可以理解,该特定顺序是示例性的。替换实施例可以可任选地以不同方式执行这些操作、组合某些操作、交错某些操作等。设备的此处所描述的组件、特征,以及特定可选细节还可以可任选地应用于此处所描述的方法,在各实施例中,这些方法可以由这样的设备执行和/或在这样的设备内执行。
本公开中各功能单元/子单元/模块/子模块都可以是硬件,比如该硬件可以是电路,包括数字电路,模拟电路等等。硬件结构的物理实现包括但不局限于物理器件,物理器件包括但不局限于晶体管,忆阻器等等。所述计算装置中的计算模块可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。所述存储单元可以是任何适当的磁存储介质或者磁光存储介质,比如RRAM,DRAM,SRAM,EDRAM,HBM,HMC等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (12)
1.一种人工智能摄像头,其特征在于包括:摄像件和处理器,其中,
所述摄像件用于摄取外部的图像和/或视频;
所述处理器用于将所述图像和/或视频转化为人脸识别结果,并以该人脸识别结果作为至少部分输入数据进行神经网络运算,运算后的输出神经元包括图像和/或视频内的人数。
2.根据权利要求1所述的人工智能摄像头,其特征在于,所述处理器包括:
存储单元,用于存储所述输入数据,神经网络参数和指令;
控制单元,用于从所述存储单元中读取专用指令,并将其译码成运算单元指令并输入至运算单元;
运算单元,用于根据运算单元指令对所述数据执行相应的神经网络运算,得到输出神经元。
3.根据权利要求2所述的人工智能摄像头,其特征在于,所述运算单元中,执行相应的神经网络运算包括:
将输入神经元和权值数据相乘,获得相乘结果;
执行加法树运算,用于将所述相乘结果通过加法树逐级相加,得到加权和,对加权和加偏置或不做处理;
对加偏置或不做处理的加权和执行激活函数运算,得到输出神经元。
4.根据权利要求1所述的人工智能摄像头,其特征在于,所述处理器包括:
预处理单元,用于对摄像机摄取的图像和/或视频数据进行预处理,转化为人脸识别结果,该人脸识别结果为符合神经网络输入格式的数据。
5.根据权利要求4所述的人工智能摄像头,其特征在于,所述预处理单元中,所述预处理包括摄像机摄取的图像和/或视频数据切分、高斯滤波、二值化、正则化和/或归一化,以获得符合神经网络输入格式的数据。
6.根据权利要求2所述的人工智能摄像头,其特征在于,所述处理器还包括:
直接内存存取DMA,用于存入存储单元中的输入数据,神经网络参数和指令,以供控制单元和运算单元调用。
7.根据权利要求6所述的人工智能摄像头,其特征在于,所述处理器还包括:
指令缓存,用于从所述直接内存存取DMA缓存指令,供控制单元调用。
8.根据权利要求6所述的人工智能摄像头,其特征在于,所述神经网络参数包括输入神经元、输出神经元和权值,所述处理器还包括:
输入神经元缓存,用于从所述直接内存存取DMA缓存输入神经元,供运算单元调用;
权值缓存,用于从所述直接内存存取DMA缓存权值,供运算单元调用;
输出神经元缓存,用于存储从所述运算单元获得运算后的输出神经元,以输出至直接内存存取DMA。
9.根据权利要求7或8所述的人工智能摄像头,其特征在于,所述指令缓存、输入神经元缓存、权值缓存和输出神经元缓存为片上缓存。
10.根据权利要求1所述的人工智能摄像头,其特征在于,还包括传输单元,用于将运算后的人数数据通过无线和/或有线方式传输至外部设备。
11.一种电梯调度系统,其特征在于包括:
多个根据权利要求1-10任一所述的人工智能摄像头,配置为安装于一大楼的不同楼层,用于摄取电梯外部的等待人员,并输出统计人数;
电梯调度设备,响应呼叫楼层的用户请求,接收用户请求数据,所述用户请求数据包括用户请求楼层的人工智能摄像头的统计人数,根据所述用户请求数据,确定电梯调度方案。
12.根据权利要求11所述的电梯调度系统,其特征在于,还包括:
数模转换器,用于将确定的电梯调度方案的数字信号转换为模拟电流信号,以控制电梯群电机运转。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810413693.5A CN108764468A (zh) | 2018-05-03 | 2018-05-03 | 用于智能识别的人工神经网络处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810413693.5A CN108764468A (zh) | 2018-05-03 | 2018-05-03 | 用于智能识别的人工神经网络处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108764468A true CN108764468A (zh) | 2018-11-06 |
Family
ID=64009580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810413693.5A Pending CN108764468A (zh) | 2018-05-03 | 2018-05-03 | 用于智能识别的人工神经网络处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764468A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109714526A (zh) * | 2018-11-22 | 2019-05-03 | 中国科学院计算技术研究所 | 智能摄像头及控制系统 |
CN109711367A (zh) * | 2018-12-29 | 2019-05-03 | 北京中科寒武纪科技有限公司 | 运算方法、装置及相关产品 |
CN109978160A (zh) * | 2019-03-25 | 2019-07-05 | 北京中科寒武纪科技有限公司 | 人工智能处理器的配置装置、方法及相关产品 |
CN110430444A (zh) * | 2019-08-12 | 2019-11-08 | 北京中科寒武纪科技有限公司 | 一种视频流处理方法及系统 |
CN112261289A (zh) * | 2020-10-16 | 2021-01-22 | 海信视像科技股份有限公司 | 显示设备及ai算法结果获取方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003025877A1 (en) * | 2001-09-20 | 2003-03-27 | Smart Surveillance Technologies Limited | Surveillance system and method |
CN202245575U (zh) * | 2011-08-23 | 2012-05-30 | 江苏跨域信息科技发展有限公司 | 基于LonWorks技术的电梯监控系统 |
CN104555629A (zh) * | 2013-10-28 | 2015-04-29 | 西安景行数创信息科技有限公司 | 一种智能电梯群控装置及其控制方法 |
CN104961009A (zh) * | 2015-05-27 | 2015-10-07 | 山东建筑大学 | 基于机器视觉的多电梯并联运行协调控制方法及系统 |
CN105035887A (zh) * | 2015-07-03 | 2015-11-11 | 穆国栋 | 一种基于计算机视觉检测的智能电梯主控系统 |
CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
CN106553941A (zh) * | 2015-09-30 | 2017-04-05 | 腾讯科技(深圳)有限公司 | 一种智能电梯群控方法及系统 |
CN107632965A (zh) * | 2017-10-17 | 2018-01-26 | 中国科学院计算技术研究所 | 可重构的s型运算装置及运算方法 |
-
2018
- 2018-05-03 CN CN201810413693.5A patent/CN108764468A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003025877A1 (en) * | 2001-09-20 | 2003-03-27 | Smart Surveillance Technologies Limited | Surveillance system and method |
CN202245575U (zh) * | 2011-08-23 | 2012-05-30 | 江苏跨域信息科技发展有限公司 | 基于LonWorks技术的电梯监控系统 |
CN104555629A (zh) * | 2013-10-28 | 2015-04-29 | 西安景行数创信息科技有限公司 | 一种智能电梯群控装置及其控制方法 |
CN104961009A (zh) * | 2015-05-27 | 2015-10-07 | 山东建筑大学 | 基于机器视觉的多电梯并联运行协调控制方法及系统 |
CN105035887A (zh) * | 2015-07-03 | 2015-11-11 | 穆国栋 | 一种基于计算机视觉检测的智能电梯主控系统 |
CN106553941A (zh) * | 2015-09-30 | 2017-04-05 | 腾讯科技(深圳)有限公司 | 一种智能电梯群控方法及系统 |
CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
CN107632965A (zh) * | 2017-10-17 | 2018-01-26 | 中国科学院计算技术研究所 | 可重构的s型运算装置及运算方法 |
Non-Patent Citations (3)
Title |
---|
海康威视产品中心: "DS-2CD8627FWD/F-LZ(S) 200万1/1.8"CMOS智能人脸筒型网络摄像机 产品概述", 《HTTPS://WWW.HIKVISION.COM/CN/PRGS_1609_I16987.HTML》 * |
熊有伦等: "《机器人学 建模、控制与视觉》", 31 March 2018 * |
陈勇等: "《龙芯嵌入式系统开发及应用实战》", 31 December 2016, 东南大学出版社 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109714526A (zh) * | 2018-11-22 | 2019-05-03 | 中国科学院计算技术研究所 | 智能摄像头及控制系统 |
CN109711367A (zh) * | 2018-12-29 | 2019-05-03 | 北京中科寒武纪科技有限公司 | 运算方法、装置及相关产品 |
CN109978160A (zh) * | 2019-03-25 | 2019-07-05 | 北京中科寒武纪科技有限公司 | 人工智能处理器的配置装置、方法及相关产品 |
CN110430444A (zh) * | 2019-08-12 | 2019-11-08 | 北京中科寒武纪科技有限公司 | 一种视频流处理方法及系统 |
CN110430444B (zh) * | 2019-08-12 | 2022-06-07 | 中科寒武纪科技股份有限公司 | 一种视频流处理方法及系统 |
CN112261289A (zh) * | 2020-10-16 | 2021-01-22 | 海信视像科技股份有限公司 | 显示设备及ai算法结果获取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764468A (zh) | 用于智能识别的人工神经网络处理器 | |
CN110347500A (zh) | 用于边缘计算环境中面向深度学习应用的任务卸载方法 | |
CN108639882A (zh) | 基于lstm网络模型的处理芯片与包含其的运算装置 | |
CN110390246A (zh) | 一种边云环境中的视频分析方法 | |
CN110210378B (zh) | 一种基于边缘计算的嵌入式视频图像解析方法及装置 | |
CN108545556B (zh) | 基于神经网络的信息处理装置及方法 | |
KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
CN112906859B (zh) | 一种用于轴承故障诊断的联邦学习方法 | |
CN113391607A (zh) | 一种基于深度学习的水电站闸门控制方法及系统 | |
CN108675071A (zh) | 基于人工神经网络处理器的云端协同智能芯片 | |
WO2021174790A1 (zh) | 稀疏量化神经网络编码模式识别方法与系统 | |
CN112668694A (zh) | 一种基于深度学习的区域流量预测方法 | |
CN112202762A (zh) | 传感边缘云智能干扰攻击的博弈防御策略优化方法及系统 | |
CN115314343A (zh) | 一种源荷储资源聚合控制网关装置及负荷和出力预测方法 | |
CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
CN116543228A (zh) | 一种基于单阶段网络的红外图像车辆检测方法 | |
CN114169506A (zh) | 一种基于工业物联网平台的深度学习边缘计算系统框架 | |
CN113676357A (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN116957698A (zh) | 一种基于改进时序模式注意力机制的电价预测方法 | |
Lu et al. | Dynamic offloading on a hybrid edge–cloud architecture for multiobject tracking | |
CN102156408B (zh) | 一种动态自适应演化最大功率点跟踪控制系统及方法 | |
CN116436980A (zh) | 一种实时视频任务端网边协同调度方法及装置 | |
Cui et al. | Multi-Agent Reinforcement Learning Based Cooperative Multitype Task Offloading Strategy for Internet of Vehicles in B5G/6G Network | |
CN116109058A (zh) | 一种基于深度强化学习的变电站巡视管理方法和装置 | |
CN112910716B (zh) | 一种基于分布式dnn的移动雾计算损耗联合优化系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |