CN102594927A - 基于神经网络的云端服务器结构 - Google Patents

基于神经网络的云端服务器结构 Download PDF

Info

Publication number
CN102594927A
CN102594927A CN2012100977563A CN201210097756A CN102594927A CN 102594927 A CN102594927 A CN 102594927A CN 2012100977563 A CN2012100977563 A CN 2012100977563A CN 201210097756 A CN201210097756 A CN 201210097756A CN 102594927 A CN102594927 A CN 102594927A
Authority
CN
China
Prior art keywords
data
information
packet
data block
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100977563A
Other languages
English (en)
Inventor
高汉中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2012100977563A priority Critical patent/CN102594927A/zh
Publication of CN102594927A publication Critical patent/CN102594927A/zh
Pending legal-status Critical Current

Links

Images

Abstract

一种基于神经网络的云端服务器结构,其构成包括互相关联又相对独立的云储存子系统和云计算子系统,所述的云储存和云计算子系统都是由许多独立的神经元组成,并经通信网络联成一体。本发明创新包括:第一,解构传统数据库,取而代之的是跨平台数据结构,信息库、文件库和媒体库。第二,剥离多媒体内容,建立储存库至用户终端间的直接通道,解除多媒体内容储存和传输对计算机的依赖。第三,硬件与软件融合成自治体,即极多线程状态机和异构算法引擎。第四,计算与通信融合,构成信息处理流水线,并且由神经元传导协议限权隔离。在相同资源消耗的前提下,本发明与传统数据库相比,能够提升云端运算能力千倍以上,将推动云计算进入高级阶段。

Description

基于神经网络的云端服务器结构
技术领域
本发明涉及云储存和云计算,特别是一种基于神经网络的云端服务器结构。
当前各类通用和专用网站大都以数据库为基础,技术大同小异,应用开发流于快餐模式。云计算带来了IT基础创新的机会,建立新的理论体系。根据本发明,云计算创新的突破口在于“解构传统数据库”,取而代之的是跨平台数据结构,按内容分类的信息库、文件库和媒体库。本发明建立信息中枢,同时覆盖当前数据库、数据仓库和数据挖掘的全部内容。事实上,就是创立云储存体系。
另一方面,神经网络信息中枢彻底打破传统套路,废弃了业界推崇的多核CPU和服务器,操作系统,集群软件和虚拟软件,各类中间件和数据库软件,实际上,从总体上废弃了当前的个人电脑模式。取而代之的是多项基础理论和技术创新,包括:本能神经网络、信息压缩和代码字典、神经元传导协议、本质安全体系、极多线程状态机、信息处理流水线和异构算法引擎等。事实上,就是落实到“创立非诺计算体系”。
背景技术
事实上,计算机发展初期,储存器和中央处理器(CPU)曾经是一体,其中,储存内容分为计算程序和用户数据。当时,运算力是瓶颈,储存器是CPU的外围设备。后来,由于多媒体内容快速发展,相比之下,计算程序增加缓慢,用户数据趋向于独立的储存器。今天,储存器速度和容量已经成为计算机体系的发展瓶颈,因此,运算围绕着储存而设计。储存领域的研究显示,未来储存载体的发展趋势是:磁性硬盘扩容、电子硬盘降价、光学硬盘成熟。在可预见的将来(10年以上),大规模网络储存的载体还是以传统磁盘为主。
针对本发明的两大议题:云储存和云计算,分别基于以下背景:
面对云计算时代的巨大储存需求,30年前定下僵化的基础储存架构,包括当前流行的SAN和NAS系统,已经不堪今天多媒体内容的重任。因此,有必要重建新一代的跨越软硬件平台和不同储存介质的数据结构,以及基于软件硬化的高性能磁盘阵列操作系统,解除储存器对计算机的依赖。全面覆盖云计算中级和高级阶段的储存需求,奠定坚实的云计算储存基础。
另外,面对云时代的新需求,如果沿着诺依曼的计算机体系,同时迫使计算机适应人的沟通习惯,必然导致越来越复杂的硬件和软件。其中,复杂硬件主要表现为超级数据中心,其实只是同类服务器简单堆积。然而,数据中心占地面积从足球场扩大到飞机场还有很大的上升空间。但是,复杂软件必然引发软件危机,良好编程和严格管理能够改善,不过上升空间极为狭窄。为什么?软件是人脑的产品,软件危机的本质是挑战人类思维极限,实际上是挑战自然规律。问题是,我们的目标不是设计最复杂的软件,陷入毫无意义的竞技游戏。我们的使命是面向无限扩展的应用领域,探索算法,解决实际问题。
关于云计算、数据中心和神经网络技术,广泛地见诸于各类文献。其中,针对3个专题,分别有3本代表性的著作:
刘鹏主编《云计算》,电子工业出版社,2010年。书中详细描述了当前3家大公司和开源的云计算技术。
陈文伟《数据仓库与数据挖掘教程》,清华大学出版社,2006年。这是一本高等院校信息管理研究生教材,介绍传统数据库之后的技术发展方向。
叶世伟和史忠植译《神经网络原理》,机械工业出版社,2004年。这是关于神经网络的经典著作。
从上述3本著作的参考资料列表中,还可以找到更多相关内容。
但是,本发明不同于上述3本著作所论述的理论和技术。本发明所依据的基础理论,来自于本发明人的另一项专利:
高汉中,中国专利《基于神经网络的云端智能机系统》,申请号:201110403992.9,申请日:2011-12-07。该项发明旨在解决新一代云端计算的理论基础和技术路线,预期的主要性能千倍于现有的高等级服务器和数据库软件。本发明就是在该项发明基础上的进一步提出更详尽的技术方案。
发明内容
本发明创立了计算机领域关于云端储存和云端计算两个独立体系。
1、创建云端储存体系:数据结构和硬盘操作
基于神经网络的云端储存体系主要包含两项重大创新。
云储存创新之一:解构传统数据库
针对储存内容特征,解构传统数据库,量身定制基于信息库、文件库和媒体库的3种硬盘操作模式,并且,统一到跨平台的数据结构:
所述的信息库:主要面向精简信息(或称裸信息)处理和系统管理内容,包括简单CPU紧密结合SSD(固态硬盘)的结构。在超级大系统中,信息库兼作全系统的中央处理机(极多线程状态机),统一指挥系统流程和其他神经元。
所述的文件库:主要面向多媒体文件的储存、发送、系统备份等。由FPGA硬件读写硬盘数据,采用准同步数据包传输方式。包含检错重发机制,替代繁琐的TCP软件协议。
所述的媒体库:主要面向实时视频媒体流,包括:通信、媒体、娱乐等。由FPGA硬件读写硬盘数据,采用同步数据包传输方式。简化用户端储存器,并且,体验到瞬间互动反应的感受。为了保障系统流畅性,媒体库不设检错重发机制。另外,本操作模式包含流量微调机制,消除收发端时钟误差造成的缓存器溢出或读空。
云储存创新之二:剥离多媒体内容
本发明的显著特征是,建立文件库和媒体库至用户终端之间的直接通道,彻底解除多媒体内容储存和传输对计算机的依赖。剥离多媒体内容以后,实际上,为云计算服务器卸下绝大部分工作负担。也就是说,无论多大的多媒体文件储存和传送,对于服务器来说只是一条简短指令。另外,文件库和媒体库只接受来自信息库的单方向指令,因此即使文件库和媒体库受到病毒感染或者黑客攻击,绝对保障信息库安全,以及确保云计算服务流程不受病毒和黑客干扰。
2、创建云计算体系:状态机、算法引擎和传导协议
云端计算技术没有必要在传统诺依曼体系一条路上走到底。我们的出路在于理清头绪,化复杂为简单,拧干不必要的水分。
根据冯·诺依曼体系,今天计算机结构分为硬件和软件两个独立部分。
基于神经网络的云端计算技术突破了这个框架,包含两项重大创新:
云计算创新之一:硬件与软件融合成自治体,也就是说,极多线程状态机加上异构算法引擎。
云计算创新之二:计算与通信融合,也就是说,由异构算法引擎组成流水线,并由神经元传导协议限权隔离。
极多线程状态机、异构算法引擎和神经元传导协议的组合效果,就是面对超大型信息系统,把软件总行数和运算量需求减低千倍以上。如果软件复杂度回归到人类思维水平,软件危机当然不复存在,这是进入云时代的途径。事实上,基于神经网络云计算的创新三要素(极多线程状态机、异构算法引擎和神经元传导协议),目标就是隔离系统的复杂性与执行的复杂性,兼得本质安全性。也就是说,将一个复杂的两维问题,化解为两个简单的一维问题。由此,创立了云时代非诺依曼的计算机体系。
总之,本发明的技术解决方案如下:
一种基于神经网络的云端服务器结构,特点在于其构成包括互相关联又相对独立的云储存子系统和云计算子系统,所述的云储存子系统和云计算子系统都是由许多独立的神经元组成,并且通过通信网络联成一体构成;所述的云储存子系统,包括信息库、文件库和媒体库,并且统一到跨平台数据结构的基础之上;所述的信息库主要面向精简信息;所述的文件库主要面向多媒体文件的储存、发送和备份;所述的媒体库主要面向实时视频媒体流,包括通信、娱乐和媒体;另外,所述的云计算子系统,包括极多线程状态机、异构算法引擎或称神经元、信息处理流水线和神经元传导协议。
所述的文件库和媒体库,分别与用户端之间建立数据直通车,即所述的文件库和媒体库只接受来自所述信息库的单方向操作指令,实施具体文件内容的处理和操作,操作完成后,向所述的信息库返回结束确认指令;所述的文件库和媒体库包含6大模块:数据包安全接收缓存处理器、数据包发送缓存处理器、含频道信息的储存库管理器、数据块缓存频道、硬盘端口和网络端口。
所述的数据包安全接收缓存处理器执行并不限于以下3步流程:
1)从网络端口收到数据包,执行自检,包括CRC检测、用户端通信网络地址与数据包内容匹配、以及数据包内容语法逻辑合理性审核,丢弃不合自检的数据包;
2)数据包复审,包括数据块序列号、用户密码、数据包状态等信息必须与频道信息表中记录的内容匹配,丢弃不合复审的数据包;
3)输入数据包通过2次审核以后,丢弃数据包头,将数据内容暂时存放在数据块缓存频道的指定区域。
所述的数据包发送缓存处理器执行并不限于以下3步流程:
1)从频道信息表提取数据,填入发送缓存器数据包头,包括用户端通信网络地址、逻辑操作号、数据包长度、用户密码;
2)从数据块缓存频道提取一个数据包内容,填入发送缓存器数据包载荷;
3)计算CRC检错码,并发送到网络端口。
所述的含频道信息的储存库管理器执行并不限于以下5步流程:
1)接受外部信息库的读写文件库或媒体库操作指令,包括临时分配读写频道号码、指定文件的储存地址、用户端通信网络地址和用户密码;并将这些信息和其他操作参数,包括数据块序列号、储存库扇区状态、数据块和数据包状态、发包时间间隔和超时计数器,捆绑存入内含的频道信息表;
2)指挥数据包安全接收缓存处理器和数据包发送缓存处理器,执行数据包收发和硬盘写读操作;当数据块缓存频道完成一个数据块的接收或发送,提供下一个数据块的硬盘储存地址,并启动读写下一个数据块,直至完成整个文件的收发;
3)当文件库的含频道信息储存管理器检测发现网络接收方向缺少部分数据包,则通过协议流程要求客户端补发;另外,当收到网络发送方向客户端申请数据包补发指令,则向客户端重发指定的数据包;
4)媒体库的含频道信息储存管理器执行流量微调机制,为了应对视频流量随内容场景波动;在读盘方向,按平均流量设定发包间隔,若客户端检测到数据缓存即将读空,发送协议指令,要求增加流量,则本管理器减少服务端的发包间隔;反之,若客户端检测到数据缓存即将溢出,发送协议指令,要求降低流量,则本管理器增加服务端的发包间隔;
5)每次用户服务结束,包括成功或失败,本管理器释放相应的频道资源,并向信息库返回结束确认指令。
所述的数据块缓存频道执行并不限于以下2步流程:
1)在读盘发包方向,每次从硬盘端口读出一个数据块,暂时存放在指定的数据块缓存频道中,然后,根据指定的发包间隔,每次向网络端口发送一个数据包;
2)在收包写盘方向,每次从网络端口收到一个数据包,暂时存放在指定的数据块缓存频道中,待数据包积累满一个数据块,通过硬盘端口写入一个数据块;
所述的数据块缓存频道实际完成硬盘储存数据块与网络传输数据包之间的交换,为了确保读盘操作排队期间数据包传输的连续性,每个缓存频道的储存容量必须大于数据块长度;当本缓存频道完成收发一个数据块,向所述的储存器管理器返回本数据块操作结束确认指令。
所述的硬盘端口执行并不限于以下3步流程:
1)连接多个硬盘,或者硬盘阵列;
2)为了提高储存单元的并发流量,将多个数据块合并成复数据块,由多个硬盘同步读写,即同时向多个硬盘同步发送读写盘指令,增加总体流量;
3)为了提高储存单元的总容量,组合多个硬盘复用,分别向多个硬盘发送独立读写盘指令,降低单位储存成本。
所述的跨平台数据结构,直接在物理储存介质层面定义3层结构,包括功能区、数据块和信息单元;所述的功能区分成许多相等长度的数据块,所述的数据块是储存载体,用于存放不同长度的用户信息单元;多个小信息单元可以合并存放在一个数据块中,一个大信息单元可占用许多个数据块,并跨越数据块边界;另外,所述的跨平台数据结构能够跨越不同硬件平台:不限于储存设备类型,包括:CPU内存、电子硬盘、磁盘阵列、或其他实体设备;不限于访问工具,包括:本地传统软件、可编程硬件、其他异构设备、或通过远程网络。
所述的功能区包括索引区、指针扩展区、通用储存区;不同功能区不限于建立在相同的设备和储存介质;所述的索引区的数据块按序排列,由指定数字量直接寻址,并形成多个数据块组,分别代表不同的索引方式;指针扩展区在节省储存量的前提下,进一步扩展索引区范围,其中的数据块与通用储存区对应条目的第一个数据块同步排列,保持既定的索引关系;通用储存区中的数据块随机排列,并通过链接指针将多个随机排列的数据块连成一个连续的储存整体。
所述的数据块在储存空间的位置和状态由数据块寻址指针描述,每个数据块至少有一条指针,表示本数据块的状态:空、满、损坏、不存在,以及正向或反向链接下一个或上一个数据块的寻址指针,指向通用储存区扩展数据块的地址;通过数据块链接指针,可以构成复合数据块,无限扩展数据块容量,直至耗尽所有储存空间。
所述的信息单元包含同一个条目名下的信息本体,信息单元的内部辅助描述中包含信息本体的长度、属性、格式;从应用角度,按某种规律排列的实体称为条目,每个条目含有多条信息本体;信息单元在数据块中随机排列,为了加速指定条目名下的信息单元搜索,多个信息单元合并成一个复合信息单元;信息单元所包含的信息量可以无限扩展,直至耗尽所在的数据块空间,包括经链接扩展的复合数据块。
所述的极多线程状态机把一个复杂系统分解为多个独立维度,包括时间扩展、空间扩展、功能扩展和资源扩展;所述的时间扩展就是在图灵稳定状态之间插入其他不相关流程;所述的空间扩展就是通过用户信息储存分割,同时服务许多用户;所述的功能扩展就是通过流程信息储存分割,同时提供许多种不同业务流程;所述的资源扩展就是将复杂任务转移到状态机之外的独立执行机构或其他神经元,确保状态机性能不受具体任务复杂度牵制;另外,所述的极多线程状态机在结构上属于神经元,其功能作为系统中央处理机之一,协调和指挥系统流程及其他神经元设备。
所述的极多线程状态机,包含并不限于状态、事件、任务、函数、条件、资格、操作、指针和索引9个参数;其中,所述的状态、事件、任务、函数属于传统状态机固有;但在传统的“事件”参数中引入所述的条件用于描述事件与环境的关联性,进一步引入所述的资格用于复杂条件的综合判断;在传统的“任务”参数中引入所述的操作用于描述带共性的子任务;在传统的“函数”参数中引入所述的“指针”用于面对许多种独立流程的功能扩展;最后,在传统状态机整体上引入了所述的“索引”用于面对许多用户的空间扩展。
所述的极多线程状态机,包含并不限于以下2种程序类型和3种程序循环;
所述的程序类型包括:
1)资源分配程序:主要任务是通过相位周期分散执行内部时序事件,排队检查随机事件的触发条件,并引导触发事件执行指定的原子程序;
2)原子程序:其定义为执行一项完整而确定功能的程序,执行时间远低于神经元设备的每秒操作能力;当某项任务的复杂程度超过原子程序,状态机就会将此任务指派到特定的算法引擎执行;
所述的程序循环包括:
1)查询循环:指的是入口查询,代表神经元高速资源轮询,执行简单事件查询,若没有检测到任务申请,立即进入下一次轮询;
2)程序循环:指的是神经元内部程序,代表执行原子操作后,返回资源轮询;
3)协议循环:指的是神经元传导协议,凡是需要用户反馈的任务,或者占用较多运算资源的任务,原子操作只是通过发送指令,把该任务引导至指定用户终端或异构算法引擎;这些任务复杂度差异极大,执行时间不确定,任务结束后,不论成功或失败,该用户终端或异构算法引擎发回新的独立触发事件,通知状态机返回资源轮询,称为状态机的协议循环。
所述的异构算法引擎从结构上消除独立的硬件平台和软件平台,将复杂系统分解为许多平行的独立部件,也就是说,从系统中分解出任意复杂度的任务,交由独立模块执行,确保极多线程状态机的所有程序满足原子性要求;所述的异构算法引擎模块符合两个条件:异构代表任意组成结构,算法引擎代表专用的执行装置。
所述的信息处理流水线由多个异构算法引擎,或称神经元工序,经通信网络连接成系统;所述信息处理流水线结构中各自独立的神经元工序,能够独立接受信息原料和信息半成品,在所述神经元传导协议指引下流经不同的神经元工序,分别执行指定算法,产生增值的信息半成品和信息成品;所述信息处理流水线结构中每一个独立的神经元工序分别聚焦在特定任务,组合成任意强大的系统;所述信息处理流水线结构不依赖通用的计算机硬件和软件,不需要复杂的软件工程,也不会引发软件危机。
所述的神经元传导协议,赋予每个神经元严格的访问限制,包括设备位置、功能等级、权限等级、信任度等级、操作方式和访问规模;也就是说,数据包在传输过程中,若不符合事先设定的访问权限,即被丢弃。
本发明的有益效果:
以PC为代表的计算机技术,经过30年发展,独立硬件和软件构成越来越复杂的大细胞,导致恐龙式的超级数据中心,并引发软件危机。实际上,计算机工业局限在传统体制下:求助于更强的硬件(CPU堆积和服务器集群)、更强的软件(并行、分布和虚拟计算)、更高薪的工程师(越来越难以驾驭的复杂软硬件)、以及更严格的管理(CMMI认证,试图应付越来越难以控制的出错机会)。但是,这条进化路线的投入和产出不成比例,系统越大效率越低,导致软件可维护性、可靠性和安全性严重隐患。这就是今天前沿IT工业面临的真实写照。
本发明的云端储存部分:
1、通过解构传统数据库,建立储存库至用户终端之间的直接通道,彻底解除多媒体内容储存和传输对计算机的依赖。
2、剥离多媒体内容以后,实际上,为云计算服务器卸下绝大部分工作负担。
3、另外,储存库只接受来自信息库的单方向指令,即使多媒体库受到病毒感染或者黑客攻击,绝对保障信息库安全。同时确保云计算服务流程不受病毒和黑客干扰。至于说,多媒体文件的制作和解读,基本上属于用户终端的任务,与云端无关。
本发明的云端计算部分:
4、极多线程状态机和异构算法引擎的组合效果,就是面对超大型信息系统,把软件总行数和运算量需求减低千倍以上。如果软件复杂度回归到人类思维水平,软件危机当然不复存在。
5、信息处理流水线和神经元传导协议的组合效果,就是在相同资源消耗的前提下,根据本发明建立的社会信息中枢,能够提升云端运算潜力千倍以上。这些运算能力资源的释放,将推动云计算进入高级阶段,开辟更大应用。原先可望不可及的超大系统项目,变得触手可及。
总之,本发明将上述项目整合到一起,将大大推动我国的信息化程度,有效促进社会公平和诚信。
附图说明
图1是当前以个人电脑为基础的计算机系统架构简图
图2是本发明基于神经网络的云端服务器结构的宏观系统架构简图
图3是本发明跨平台数据结构框图
图4是本发明文件库和媒体库的内部结构框图
图5是本发明极多线程状态机结构模型和多维度扩展框图
图6是本发明极多线程状态机和异构神经元的整体网络环境框图
图7是本发明信息处理流水线结构和应用环境
图8是传统计算机硬件和软件系统应用环境
具体实施方式
我们知道,发明就是创新。实际上,重大发明主要是思维模式和理论创新,落实到行事规则,最终决定结果。本发明主要包括8项结构设计,其中,前4项定位在云储存体系,后4项定位在云计算体系。
1、跨平台数据结构
本发明开放式数据结构能够跨越不同硬件平台,不限于储存设备类型,包括CPU内存、电子硬盘、磁盘阵列等;也不限于访问工具,包括传统软件、可编程硬件、或其它异构设备。只要一本局部代码字典、特定的信息存放地址和通用的神经元传导协议格式,让用户直接面对原始数据,开发任意高等级信息服务。也就是说,能够满足完全开放,永远够用,不浪费,不必引进新结构的设计原则。
本发明定义了一种3层的数据结构,包括:
●功能区:对于任意一种物理储存设备,首先分割成多个功能区,主要包括:索引功能区、链接指针功能区和通用储存功能区等。
●数据块:每个功能区由许多个长度相等的数据块组成,数据块在功能区的排列位置代表本数据块的地址,或称指针。其中,索引功能区中数据块按序排列,储存功能区中数据块随机排列。
●信息单元:从数据结构角度,数据块包含信息单元。从应用角度,信息单元是主体,数据块只是储存载体。每种信息单元可定义多种细分类型,固定长度或可变长度,前端附带类型代码和辅助描述,由代码字典详细解释。信息单元中可能含有指针,例如指向某个算法引擎,或者,某个多媒体内容的储存设备和地址。
信息中枢的每个实体,例如个人、企业、账户等,统称为条目。条目必须按某种规律排列,例如号码、时间、地点等,统称为条目类型。每个实体可能包含多项信息,例如个人包含姓名、地址、电话号码等信息,统称为目标信息。显然,一个条目可能含有多条目标信息。索引区的功能是根据条目的排列方式,引导神经元找到条目的储存地址。根据每种排列方式,将条目特征映射到一组线性地址,例如根据个人身份证号码,按出生日期映射到线性索引区地址对应的数据块。另外,条目指针可与其他分类信息合并,如时间地区等,构成复合条目指针,将大数量的信息分割成有共性的小块,缩小检索范围,提高效率。
所述的通用储存区包含大量固定长度,随机排列的数据块,并可通过链接指针无限扩展,直至耗尽通用储存区总容量。这种数据结构的优点是数据块可以无限链接扩展,按需使用,节约储存空间。但是,数据块无法与条目直接对应定位,因此,需要索引数据块提供寻址功能。
所述的数据块按功能可进一步分为索引块、指针块和信息块:
●索引块:这是单个条目的信息指针汇集点,从一个条目(例如身份证)可能引伸出许多不同组合的指针块和信息块。索引块的条目空间固定,每个条目占据一个数据块,不论该条目是否被激活。这种数据结构的优点是,索引块地址可以直接对应条目号码,寻址方便。缺点是空条目也要占用储存资源,造成浪费。
●指针块:这种数据结构的优点是指针数量可以按需无限链接扩展,节约储存空间。但是,指针块无法与条目直接对应定位,因此,需要结合索引块,提供寻址功能。另外,指针块可与其他分类信息合并,如时间地区属性等,构成复合指针块,将大数量信息单元分割成有共性的小区间,缩小检索范围,提高效率。
●信息块:这是信息终点,即目标信息,不能链接同级别信息。但是,如果信息内容超过数据块容量,可通过内置指针,按需无限链接扩展。本系统个人身份证的基本信息,包含在第一条身份信息块中,如果有更多信息,通过链接指针,指向更多信息块,包括多媒体内容储存单元(磁盘阵列)。
2、基于裸信息的信息库
根据前述基于神经网络的云端计算机结构,围绕广义数据库,其中,主要有3个功能模块需要用硬盘储存器:信息库、文件库和媒体库。信息库的特征是需要处理大量的小数据,每次只需读写1个扇区(512B)。分析解构后的数据库,不难发现,信息处理的瓶颈在于硬盘储存。信息库的并发处理能力取决于CPU与储存器之间的通信速度(IOPS)。相对于CPU,一般用户信息处理流程均不复杂,因此,信息库采用简单嵌入CPU紧密处理SSD数据,组成独立神经元。
本发明信息库的特征主要表现在:
1)信息压缩
以气象预报为例,气象台通常告诉我们:晴转多云、小雨、大风等。如果用代码表示N种可能的事件,只需占用2的N次对数bit信息量。如果用2个中文字(32bit)来描述一个事件,仅有几种结果。但是,按裸信息量计算,32bit可能包含40亿种不同组合。因此,用代码传达信息简洁可靠:明天3#天气,后天17#天气。显然,我们必须事先约定(先验信息),3#和17#代表什么,或者说设计一本代码字典。有了这套代码系统,并事先告诉相关用户,在用户手机就可以显示不同语言的天气预报,并且配上不同风格的图片。
显而易见,信息与其表现形式分离,是实现“三屏融合”的重要手段。所述的“三屏融合”即手持终端应用(手机和平板电脑)、桌面应用和客厅应用。
实际上,以人为本的数据结构,意味着数据量超线性增加。一旦涉及多媒体内容,导致无节制的数据量,对云计算中心带来灾难性的处理压力。因此,云计算中心的出路在于“以电脑为本”,或者说,去除冗余数据。
用信息库取代传统的数据库,此处“信息”与“数据”仅一字之差。实际上,一个设计良好的信息库应该是,信息量巨大,但是,数据量很小。尽量精简的数据量,意味着运算、储存和传输效率将大幅度提升。
2)严格供求匹配
与多媒体内容相比,信息库内容几乎不占用储存和传输资源,或者说,资源使用费为零。信息的价值因人而异,尤其对于敏感信息,接触特定信息的许可不是简单收费,而是严格细分的权限管理。
从社会信息化角度,信息过度防范导致使用价值受损,过度开放危及信息安全。在现实社会中,不可控的开放必然导致滥用,因此,开放必须有度。信息库的目标是精确收放自如的信息开放,把信息安全提高到银行金库水平。
信息库根据每条信息的开放范围以及每个操作人员的权限范围,执行多维度匹配:
●领域划分:依据不同群体独立分组,例如,A公司的会计不能查看B公司的财务账目。
●信息类别:依据信息的属性,分成多种类别,例如,财务、销售、技术、人事等。
●开放级别:依据信息的敏感程度,分成多种开放级别,和操作员认证方式。
●操作方式:规定执行只读、只写、读写均可或特殊限定,例如隐去人名、电话号码、地址等。
●时间和规模:规定每次操作的时间段,以及可接触信息的条目数。
3)操作原则
信息库的操作本着以下原则:
●信息库的每一项操作都必须满足上述信息开放范围与用户权限范围的匹配。
●操作员根据需要严格认证。不在其位,不谋其政,杜绝非必要人员接触敏感信息。
●信息库兼作文件库和媒体库的指挥机构,同时承担计费和安全责任。因此,只要信息库安全,就能保障系统安全。
●每次敏感信息接触,一定留有不可删除的记录,以备核查。
3、基于多媒体内容的文件库
本发明文件库由3部分组成:文件库管理器、软件硬化的频道缓存控制器和内置交换机、磁盘阵列。采用FPGA直接读写SATA硬盘,指令和数据都以PDU形式通过交换网络传输。
本发明文件库由3个操作层次组成,其中包括多条指令:
●文件层次:神经元执行用户服务协议,操作在文件层次(包含任意多个数据块):如果有需要读写用户多媒体文件,由神经元向文件库管理器发出单个读写盘指令。操作结束后,文件库管理器向神经元发回结束确认指令。
●数据块(超帧)层次:文件库管理器实际执行多媒体文件读写操作,将文件分解成多个数据块,逐块确认和重发。频道缓存控制器根据FPGA的读写盘超帧结束指令,向FPGA发送下一个超帧读写指令,直至完成整个文件,或者该文件读写盘失败。
●数据包(PDU)层次:本发明一个数据块含有多个数据包,由频道缓存控制器完成数据块中独立数据包的收发操作,同时执行数据包收发过程中的丢失、乱序、和少于设定PDU的数据块处理。
4、基于实时媒体流内容的媒体库
网络媒体中心的硬盘储存器系统,其特征是向每一个用户接收或发送恒定的数据流。实际上,如果每个数据包长度固定,那么,发包时间间隔就决定了用户码流。本发明的媒体库设计,在上述文件库的基础上,增加恒流特征。也就是说,FPGA对硬盘操作过程中,分成多个频道,并且,严格控制每个频道PDU的发包时间。另外,为了提高硬盘读写效率,PDU数据包长度为硬盘扇区的整数倍,每次读写盘多个PDU(称为数据块或超帧),暂时存放在交换机的缓存器中,然后,定时向用户收发单个PDU。
媒体库专注于大容量、大流量的视频媒体流内容。媒体库接受服务器的简短操作指令,媒体内容不再经过服务器,由硬盘阵列直接接收和发送到用户终端。
媒体库的创新点表现在:储存器对外以恒定媒体流通信,而不是传统的文件传输。因此,将传统硬盘文件转化成用户媒体流,并且,在信息库的指令下,直接向用户终端收发恒定视频流。消除了网络服务器的瓶颈,同时,在用户终端,可以省去昂贵的硬盘储存。每个媒体库单元设计包含多个输入或输出频道,每频道可配置为不同码流,以适应文件录制格式,一旦确定录制码流,视频文件的播放码流不可更改,除非按纯文件处理。从网络端看媒体库,每个频道都以固定的时间间隔,收发固定长度的数据包。
5、极多线程状态机
图灵(Turing)发明有限状态自动机奠定了现代计算机的理论基础。当前广为流行的诺依曼计算机体系,其实是一种用集中储存程序(软件)方式实现图灵机的结构设计。正如其名称所提示,程序(Program)隐含了完整和连续执行的意义。本发明人认为,诺依曼的后人忽略了,或者视而不见,图灵机的一项重要特征,即状态机不是一个连续程序,而是可以分解成许多独立的无限稳定状态。我们知道,计算机的处理速度远高于人类,例如,1秒钟对于人来说是极短的一瞬间,但是,对计算机操作来说是一个很长的历史时期。如果让计算机同时为许多人服务,只需找出图灵机中的那些稳定状态,然后配上适当的索引标记。在每个人操作流程的间隙中,能够轻易插入成千上万其他人的不同服务流程。依据这样的思路,本发明人提出极多线程状态机,实际上,是一种用非程序方式多维度扩展图灵机的结构设计,或者说,无限增加系统复杂度基本不增加编写软件的长度。过去30年的软件工程没有达成这一效果,因此,这是与诺依曼平行的另一种计算机体系。
我们知道,国际公认的ISO9001品质管理的灵魂是:要做的事必须写在纸上,写在纸上的事必须严格执行。也就是说,任何企业活动(当然指100%的任务)都必须落实到一组流程。同时,任何复杂的程序流程(当然指100%的流程),都可以分解成一组简单的状态机。因此,这是一条普遍真理。
本发明创新状态机结构,直接通过多维度扩展,实现和替代大部分复杂的软件功能。其实,任何复杂的软件无非是告诉电脑,执行按事先规定的程序指令。本发明的状态机几乎不用传统软件,因为,结构化信息表同样能告诉执行模块,按事先规定的指令程序操作,也就是说,与软件等效。极多线程状态机的结构表现为:低熵代码+结构化信息表+先验通信协议。面向空前强大的云计算中心,改变超大型计算机系统的开发环境,用极简单的软件,完成极复杂任务。超强功能加上超低能耗,充分展示了极多线程状态机的巨大威力。
极多线程状态机工作原理
本发明人将图灵状态机概括为3项基本结构元素:触发事件、动作执行、状态转移,其中:
●触发事件只有3种:用户请求、某项任务完成、某个计数或计时到点。触发事件无非是收到一个数据包,主要包含2项信息:“谁”发生了“什么事”。
●动作执行也只有3种:回答用户请求、通知某个算法引擎执行某个任务、启动某个计时器。动作执行无非是发送一个数据包,主要包含2项信息:“谁”要求执行“什么任务”。动作执行可以落实到一小段软件子程序,或者硬件算法引擎,取决于动作难度。
●状态转移代表了某个用户程序流程的中间步骤。状态转移无非是服务器内部一个储存字节,服务器收到一个数据包,其来源“谁”指向一个特定的“状态”。在此状态下,程序流程规定依据不同的触发事件,执行不同的规定动作,并转移到下一个规定的状态。所有操作无需复杂软件,只要一个代码转移表格而已。
面向云计算应用环境,要求云端服务器“同时”为“无数多人”提供“无数多种”独立的“任意复杂”的服务,本发明进一步从时间扩展、空间扩展、功能扩展和资源扩张4个维度扩充上述极多线程状态机的基本结构。
为了直观地描述本发明的价值,采用当前的成熟元器件,用实际数字描述,单台典型云端服务器(不包括算法引擎)能够达到的性能指标:
●时间扩展:就是在图灵稳定状态之间插入其他不相关流程,或称并发操作能力,取决于运算与储存的协调。典型设计为每秒10万次在线操作,或者每小时3.6亿次。另外,通过FPGA数据包预处理,确保系统能够承受每秒100万次恶意DDOS攻击。
●空间扩展:指的是获得服务的人和人群总数,典型设计为静态在线容量为10亿注册用户;动态在线容量为2亿连网人数;静态分组容量为1亿家企业。云中心能够同时服务无数用户,但服务器在每一瞬间只能执行一项任务。为了把随机出现的协议元素归纳到某项特定的服务过程,必须在每个协议元素上标示唯一与该服务相关的记号。本设计以服务申请方的逻辑操作号为索引(Index),确保用户操作具备时间和空间上的唯一性。
●功能扩展:指的是服务类型,典型设计的流程多样性达到1万种独立操作流程。云中心能够同时提供无数种不同服务,每一种服务的协议过程都由一组互相链接且封闭的状态组成。状态链接表可容纳大量独立状态,由状态入口指针(Pointer)表示一项服务的起始状态。通过不同的入口指针,完成不相关服务的协议过程。
●资源扩张:任何处理量超过原子程序的任务,都转移到状态机之外的独立执行机构(算法引擎),例如:复杂的加密算法,搜索引擎,视频内容压缩和智能识别,大容量文件处理和发送等。对于状态机来说,所有任务无非是发送一条操作指令,或者类似复杂度的原子程序。注:“原子程序(Atomic Operations)”的定义是不可分,或者不可中断的短程序,执行时间一般在神经元每秒操作能力的万分之一至千分之一。
从上述云端服务器系统能力分析,足以容纳全国所有企业的全部管理流程。听起来,这是一个不可思议的超级复杂系统。但是,理论和结构创新同样能够带来不可思议的效果,两者相抵,使得不可思议成为可行。实际上,本发明核心思想就是把一个复杂系统分解为多个独立维度,在每个维度上,都是一项简单任务。进一步分析发现,在上述多个维度上,无论扩展到什么程度,几乎不增加软件复杂度,或者说,软件永远保持在不可思议的简单水平。
6、异构算法引擎
异构算法引擎包含两个独立概念:“算法引擎”和“异构”。
●“算法引擎”泛指大处理量的专用设备,任务单纯,聚焦高效率,简化软件。
算法引擎包括:典型的多媒体和媒体流库,搜索引擎,第三方数据库采集和挖掘,实时监控识别,办公软件,多媒体加工软件,人工智能等。其中,“算法”千变万化,例如,高智能家用机器人,或者机器宠物,通过无线网络连接云端巨大和日益更新的智能库,能够自动感知周边环境,识别主人的行为、手势、和表情等,具备个性化和自学习能力。有关研究显示,今天电脑已经能识别人脸,但解读表情的能力还不如一个新生婴儿。展望未来,在电脑世界里还有太多的未解之谜,“算法”还有很大的发展空间,但是,编写专用算法的软件并不难。
今天,由于IT行业发展长期近亲繁殖,思维模式局限在CPU加软件的计算机理论和TCP/IP的互联网理论桎梏中,在宏观上迷失方向,看不到自然界显而易见的和谐与共性。本发明人认为,应该花力气探索和发现处理对象的共性规律,避开低效和无目标的通用设计,或万能设计,把精力聚焦到少数大规模的专项云计算应用上,学会使复杂事情回归简单。
●“异构”泛指不拘泥于既定架构,量身定做,同样聚焦高效率,避免复杂软件。
在本发明人工程师生涯的前半段,有幸见证了IC芯片、PC和互联网的诞生和成熟过程,还目睹了“Bellheads”和“Netheads”两大学派的竞争。自从有了PC和互联网,Netheads感觉像吃了菠菜的大力水手,无所不能。各种高级编程语言把注意力集中在人性化的软件设计过程上,却忽视了随之而来低效率执行的结果。忘记了我们的使命是让计算机完成人类不擅长的任务,而不是迫使计算机按照人的沟通方式办简单的事。忘记了大数量事件的结果比过程重要,舍本求末,引发软件危机。事实上,自然法则总是朝着降低能量消耗的方向发展,Netheads与自然规律格格不入,他们还没有看到天边已经出现了大片乌云。
本发明人认为,人类发明CPU和软件,成为探索新领域一种高效率的工具。但是,对于确定流程无限重复使用的器官,CPU加软件可以当作实验用的试管和白老鼠,一旦掌握了原理和算法,就应该换一种更有效的方法投入实际使用。也就是说,少用软件,不用复杂软件。
本发明人以前经常与FPGA(一种可编程门阵列的硬件芯片)厂商讨论他们的产品,当Intel销售第一代Pentium处理器(P1)的时候,最大的单片FPGA可以容纳4个P1。后来Intel销售P4时,最大的单片FPGA可以容纳10个P4。这一现象告诉我们,芯片制造进步的速度超过了人们设计和使用芯片的能力,新一代CPU的设计时间成为运算力的瓶颈。
Netheads的理论基础是摩尔定律,因为,CPU加软件方法固有的低效率能够被快速进步的芯片能力所补偿。但是,这种理论只能对线性增长的需求有效。一旦市场需求出现重大跳跃,例如,从文字内容跳到视频,从小系统到云计算,CPU加软件的方法将难以应对。
综上所述,由于实际任务复杂度差异极大,算法引擎设计随任务性质而变,例如:廉价的嵌入式CPU模块,传统PC和服务器,FPGA硬件模块,由FPGA连接的多CPU组件,由CPU管理的多FPGA组件,包含硬盘阵列的文件和媒体库,甚至包括人工呼叫和鉴别中心。执行模块可位于本地或远程网络连接。系统业务流程与执行模块的设计调整无关,甚至,同一任务可由不同类型的算法引擎执行,彻底隔离系统复杂性与执行复杂性。
7、信息处理流水线
“流水线”这个名称,今天已经不陌生。
100年前,美国汽车制造天才亨利·福特(Henry Ford)为了应付日益增长的T型车市场需求,对汽车生产流程进行了彻底的分解和优化,创造了前所未有的流水线生产模式。这一颠覆性的变革,直接导致汽车从美国富人的象征,转变为大众交通工具。
流水线生产模式带来的好处可以归结为2点:
第一,汽车装配从高技能机械师转变为普通工人,甚至雇用了大量的残障人士。
第二,汽车装配品质稳定,人均产量大幅提高,生产周期大幅缩短,带来巨大的经济效益。
今天,制造业流水线生产模式早已是理所当然。但是,令人费解,在高科技的计算机领域,居然还在延续原始的行为模式。揭开当前计算机的神秘面纱,我们看到建立在个人电脑模式上像洋葱一样层叠堆积的软件结构。今天的软件精英们,用一个软件把持网络应用的全过程,与100多年前手艺精湛的师傅们何等相似。其实,这种洋葱结构的出发点是为了迁就僵化的应用软件,不得不在硬件资源和应用软件之间插入许多与应用不相干的中间层。本发明人认为,这是典型的舍本求末,作茧自缚。事态还在继续恶化之中,这些脱离应用的中间层越来越复杂,演变成令人生畏的软件工程。事实上,复杂的软件工程浪费大量资源,无助于实际应用,成为社会信息化肌体里的肿瘤。因此,只要不放弃僵化的应用软件结构,就注定了洋葱模式愈演愈烈,最终不可避免地引发恐龙式的数据中心和难以治愈的软件危机,成为云时代的应用瓶颈。
我们没有必要保护既有的“应用软件”,因为,真正的价值在于应用,而不是软件。我们没有有必要适应未来更加复杂的应用,因为,应用本身并不复杂,今天的复杂软件基本上都不是复杂在应用上。所谓的信息处理,无非是用电脑执行人为制定的流程。流程就是人类行事规则,人类的生物性决定了流程永远不会复杂,而且进化极为缓慢。君不见,30年前,IBM最早的PC已经具备今天办公软件的基本功能。45年前,美国航空公司的订票流程,与今天最新的火车票实名售票流程相差无几。再看几千年前的古罗马奴隶拍卖,到250多年前的苏富比和佳士得拍卖行,再到今天的eBay,常用拍卖流程至今未变。同样,电子商务流程无非是模拟人们司空见惯的购物行为。
我们看到,当用户群体巨大时,其需求会出现很大的趋同性,也就是说,网络普及必然促进资源按价值最大化方向重新排列。实际上,今天互联网的热门应用不过屈指可数。
我们看到,今天电脑已经能识别人脸,但解读表情的能力还不如一个新生婴儿。展望未来,“算法”还有很大的发展空间。但是,算法不是软件,复杂的算法不代表需要复杂的软件,复杂算法可以由专用的简单软件,或者直接用硬件实现。
本发明人认为,云计算时代不要被那些喜欢玩软件竞技游戏的精英们所绑架,应该重新定义网络应用,重新规划应用软件,抛开既有复杂软件的禁锢,包括:操作系统、集群软件、虚拟软件、各类中间件、以及数据库软件。事实上,这些洋葱结构的软件系统与真正的应用毫无关系。
本发明人认为,软件危机是计算机工业误入歧途所致。出路其实很简单,我们只需借鉴亨利.福特的智慧,对计算机应用流程进行彻底分解和优化,不难得到信息处理流水线。如同汽车制造流水线,由熟练装配工取代手艺高超的师傅,显然,信息处理流水线中每道神经元工序的设计,不需要前述的复杂软件。我们还能清楚地看到神经元工序中间过程的半成品,实施精细调试和品质管理。
从表面上看,流水线由许多简单工序组成,但是,仔细分析福特流水线,关键是强大的后台支撑体系。也就是说,工序分解,管理集中。实际上,前一节所述的极多线程状态机正是为信息处理流水线量身定制,具备了超级强大的管理和协同能力。我们可以分享到汽车制造流水线带来的好处,预测到必然的后果:软件危机不复存在,系统运行超级稳定和可靠,系统效率巨幅提升,高等级云计算应用深入到社会每个角落。
8、神经元传导协议(兼论信息安全)
本发明人认为,今天遭遇信息和网络安全问题的根源,是当初发明计算机和互联网时根本没有想到,或者说,没有预见安全隐患。PC时代的防火墙和杀毒软件,以及各种法规和法律,只能事后补救和处罚已造成他人利益损害者。显然,这些措施不能满足社会信息中枢的可控开放模式和安全要求。其实,借助云计算的机会,重新规划计算机和互联网基础理论,建立高枕无忧的安全体系并不困难。
首先,病毒传递必需满足2个条件,第一,用户文件可搭载电脑程序;第二,用户数据和电脑程序同时存放在CPU的储存区。病毒程序寄生在公开文件中,只要用户电脑解读下载的文件,就可能释放病毒。实际上,病毒的根源在于诺依曼结构,排除这种CPU加软件的结构是铲除病毒一劳永逸的手段。其次,网络黑客是另一类安全破坏者,在工商社会里,一旦信息有价,必然有人图谋不轨。实际上,任何安全设施都无法对人心设防,因此,严密的安全体系必须针对每个人的每次信息接触。不论公网或专网,把每个人都当作可能的黑客,才能最大限度堵住受过训练的间谍入侵。实际上,黑客的根源在于IP互联网协议,创新网络协议是铲除黑客一劳永逸的手段。
但是,多媒体内容的解读方法繁多,难以排除传统计算机技术。另外,在当前环境下,完全排除IP互联网并不现实。针对这一情况,本发明的对策是从功能上划分信息库与多媒体库。信息库兼作多媒体文件库和视频媒体流库的指挥机构,承担安全责任。实际上,信息库只是单方向发送指令至多媒体内容库,没有必要使用和解读多媒体内容,因此,只要信息库安全,就能保障系统安全。
信息库本身的安全依赖每一项操作都必须满足信息开放范围与用户权限范围的多维度匹配。具体的执行机制就是神经元传导协议,严格赋予神经元不同的访问权限,杜绝黑客和病毒,确保系统操作安全和灵活。也就是说,信息安全最终落实到神经元传导协议。
综上所述,神经元传导协议与传统网络协议的主要差别在于:传统网络协议仅靠地址导向,造成安全隐患;神经元传导协议加入了功能和权限元素,与地址一起参与数据包导向,犹如生物体不同神经分属不同的传导机制。
在云计算的信息中枢,状态机主要执行3大类流程:
●资源管理流程:主要面向已知的系统资源,包括设备和部件、网络、注册用户等。此类流程比较简单,一般由服务器的时序控制主动发起。根据系统负荷状态,可以调整时序间隔。
●业务管理流程:主要面向服务器不能事先预测的事件,例如用户发起的服务申请。此类流程属于被动的C/S操作模式。有时为了方便用户操作,可以由菜单引导。业务流程的复杂度差异极大,其中复杂任务一般由专用、异构、远程分布的算法引擎执行,例如访问文件库。
●界面管理流程:主要面向“三屏融合”的应用环境,适应不同类型屏幕和艺术风格,同时具备快速反应的优势。
本发明的神经元传导协议的宗旨是“管理”和“开放”,或者说,可管理的开放性。实际上,在刚性的游戏规则之内,实现柔性开放,允许用户行为不受限制,最大限度地支持创新应用。
1)资源管理流程
神经元传导协议的“管理”体现在严格的资源调配,用户需要多少带宽和储存资源,网络按需提供。在用户申请的范围之内,严格保证安全和品质,并且精确记账。在申请范围之外,严格杜绝资源浪费。也就是说,将用户申请的带宽和储存资源限定在刚性管道内,在管道里面保证透明流畅,管道外面没有渗透和泄漏。资源管理流程主要包括:网络设备即插即用,疆域的扩展和界定,用户号码分配,服务等级登记,帐户注册和终端入网等。
2)业务管理流程
神经元传导协议的“开放”体现在用户和服务的普遍原则,协调参与服务的3个方面:
●供应方:包括敏感信息库(针对有选择的细分客户),原创版权内容,增值服务等。
●需求方:泛指客户,包括资格(针对不同信息类型的细化资格)和支付(占用资源)。
●资源方:提供网络平台,包括带宽、储存、运算力、代理版权内容等。
业务管理流程其实是执行一项统一的4步合同:
●“甲方”(主叫方)审核过程:帐户状态、细分权限、登记用户申请信息。
●“乙方”(被叫、或被点节目)审核过程:帐户状态、服务提供能力、允许服务的细化资格、确认成交价格和登记服务内容信息。
●服务“提交”过程:服务器退居二线,建立甲乙方直接连通,并记录服务过程参数。
●“买单”过程:服务正常结束,按合同登记结账,并提出对本次服务满意度的评估。若非用户原因造成服务流产,不提交账单。
注意,根据不同服务性质,上述4步统一合同分别有所侧重:
●简单开放的免费服务可以省去某些合同内容,简化服务器操作。
●敏感信息服务要求严格认证和权限匹配,是极多企业共享平台的基本保障。
●商业性服务要求严格计费,一般还需配合各类降价套餐和灵活的促销活动。
3)界面管理流程
我们知道,面向消费者的云计算应用,界面设计关乎用户体验,因此,非常重要。云计算服务必须贯穿于三大市场:手持终端应用(手机和平板电脑)、桌面应用和客厅应用,即所谓的“三屏融合”。
信息中枢主要面向相对固定的流程,界面设计一般要求简洁易用。为了适应多种不同客户端的屏幕类型,提高页面反应速度,同时降低网络流量,神经元传导协议的用户界面显示数据由2部分组成,即“裸信息”和格式文件。前者包括随机更新的精简数字和代码,由云端流程产生;后者包括适应不同显示屏幕和艺术风格的细节,一般事先设计完成,由终端客户选定。另外,格式文件一般较大,尽量储存在客户终端,避免重复下载。
相同的应用在手机、电脑和电视的屏幕上的显示布局完全不同。另外,不同年龄和文化客户群喜爱不同的艺术风格,甚至要求个性化的界面设计,包括融入个人名字和照片。用户终端每次连网时,自动向服务器报告屏幕类型,以及用户风格喜好。由于格式文件能够配合多种裸信息显示,客户端自动储存积累常用的格式文件。云端服务器发送用户界面时,首先发送裸信息和适合该客户的格式文件代码。若客户端没有储存相应版本的格式文件,则自动申请补发;若客户端已经储存该格式文件,则立即显示用户界面。当然,对于简单或罕见的格式,服务器可以同时发送裸信息和格式文件。
为了明确地公开本发明的技术方案,首先,需要从系统角度说明本发明与众不同的发展思路,得出本发明在理论上的可行结论。然后,从功能角度说明本发明的主要技术原理。最后,参照附图进一步从结构和实际应用角度解释本发明的实施细节。需要指出的是,功能和结构不一定一一对应,有时一项功能需要多个结构来实现,有时一个结构能够同时完成多项功能。
下面结合实施例和附图对本发明作进一步说明,但不应以此限制本发明的保护范围。
先请参阅图1,图1是当前以个人电脑为基础的计算机系统架构简图。
为了有效说明本发明宏观系统架构,有必要与传统系统架构作深入比较。
如图1所示当前以个人电脑为基础的计算机系统架构,属于传统的诺依曼体系,或者其改良型。当前计算机架构由两个独立部分组成:电脑设备12和应用软件11。其中计算机设备12进一步由服务器122,或称电脑硬件,加上系统软件121,例如操作系统,面对多服务器的集群管理软件,以及虚拟系统软件(VMware)。以数据库为例,应用软件11包括常用的数据库软件112,例如Oracle、IBM、Sybase、Microsoft等,另外,此类软件还提供一个通用的操作界面,即SQL语言环境111。这种计算机架构的共同点是电脑设备12加载应用软件11之前,本身是通用设备,不具备任何应用功能。尽管这一系统比原始诺依曼体系已经有很大改进,今天的硬件和软件已经远比当初复杂,但是,从系统分成硬件和软件两个独立发展的部分来看,这一系统没有跳出诺依曼框架,最多是改良的诺依曼体系。
请参阅图2,图2是本发明基于神经网络的云端服务器结构的宏观系统架构简图。
如图2所示本发明基于神经网络的计算机系统架构。首先,从直观上看,本发明没有明显的硬件软件之分,整个系统21由许多独立算法引擎,或称神经元213,经由神经元传导协议212连接而成。实际上,借鉴生理解剖学术语,得名“神经网络”,明显属于非诺依曼体系。在当前数据量爆增时代,储存器速度和容量制约了计算系统整体发展,因此,计算系统围绕储存器设计。为化解储存瓶颈,本发明依据储存内容性质划分为信息库215、文件库216、媒体库217,并且,统一到跨平台数据结构214。从功能上看,神经元群213建立在数据结构214的基础之上。但是,从结构上看,信息库、文件库和媒体库本身也属于神经元范畴。
如图2所示,本发明神经元群213包括3个显著特点。首先,复杂系统中的流程和各类神经元由极多线程状态机统一指挥,相当于大系统的中央处理机,或者说,广义CPU。当然,从结构上看,该极多线程状态机本身也是一个神经元。其次,根据不同功能定制神经元(不同质硬件和软件),或者称异构神经元。最后,连接神经元的传导协议根据地址、具体功能和权限引导数据包通信,不同于传统网络协议仅靠地址导向,造成安全隐患。
如图2所示,本发明整体系统21设计的显著特征表现在充分适应电脑和基础资源的自然性质,以电脑为本,谋求最高性能和最低能耗的设计原则。显然,这一点与传统个人电脑以人为本的设计原则完全相反,效果大不相同。当然,从应用角度,以人为本永远正确,但那是终端的任务,与云端无关。因为,终端只需面对一个人,云端设备面对百万用户。最后,本发明通过客户端211恢复人性化的操作环境,这里所说的“恢复”可以理解为将机器的高效沟通方式“翻译”成人类语言。与多媒体数据处理相比,这项翻译工作给终端带来的运算力负担可以忽略。
请参阅图3,图3是本发明跨平台的数据结构框图
如图3所示,本发明一种跨平台数据结构,包括功能区、数据块、信息单元。
所述的功能区由多个独立区域组成,包括总索引功能区301,指针扩展功能区302,通用储存功能区303,这些功能区域分属不同的物理储存空间300。每个功能区由许多长度相等的数据块组成。所述的索引功能区中的数据块按序排列,通用储存功能区中的数据块随机排列,指针扩展功能区中的数据块与储存功能区同步排列。一个数据块可容纳多个信息单元,并在数据块中随机排列。从数据结构角度,数据块包含信息单元。从应用角度,信息单元是主体,数据块只是储存载体。信息单元的数据量差异极大,许多小信息单元可以合并存放在一个数据块中,但是,一个大信息单元可能占用许多个数据块,并可跨越数据块边界,例如多媒体内容。
所述的总索引功能区301可能包含多个线性索引功能区320。每个线性索引区代表一种条目类型,例如个人信息可以按身份证号码排列,或者按家庭住址排列。每种条目类型对应一个索引入口304,并由指针310指向线性索引区的起点。根据每种排列方式,将条目特征映射到一组线性地址,例如根据个人身份证号码,按出生日期映射到线性索引区地址对应的数据块。
所述的指针扩展功能区302由大量指针扩展数据块组成,排列方式与通用储存区同步。所述的通用储存区303包含大量固定长度,随机排列的数据块,并可通过链接指针无限扩展,直至耗尽通用储存区总容量。
如图3所示,每个功能区储存空间可以看作一个按序排列的数据块列队,这些数据块在储存器中的地址称为该储存器的数据块指针,或简称指针。指针格式可以有多种定义,为了简化设计,本发明采用统一格式,用32bit(4Byte)数据表示:其中,2bit代表4种状态,即空数据块、已用数据块、坏数据块、不存在的数据块。余下30bit代表本指针的链接地址,满足10亿(1G)寻址空间。也就是说,每个神经元储存器的容量不超过10亿个数据块。如果要增加地址,每增加8bit指针长度,可增加寻址空间256倍。
如图3所示,本发明定义多种数据块,所述的条目指针集321,简称条目集。如果一个数据块中条目指针较多,超出数据块的储存容量,根据数据块辅助描述中的链接指针311,指向条目集扩展数据块323,再次根据链接指针315,指向最终的条目信息数据块。这种数据结构的优点是数据块可以无限链接扩展,按需使用,节约储存空间。但是,指针数据块无法与条目直接对应定位,因此,需要索引数据块321提供寻址功能。另外,条目指针330可与其他分类信息合并,如时间地区等,构成复合条目指针,将大数量信息分割成有共性的小块,缩小检索范围,提高效率。
所述的条目信息数据块322,如果其中条目信息较多,可以通过条目信息链接指针312,指向条目信息链接指针数据块324,根据其中的链接指针314找到更多的条目信息数据块。每种数据块可定义多种细分类型,前端附带类型代码和辅助描述,由代码字典详细解释。
如图3所示,本发明定义多种信息单元,其中330代表条目指针信息单元,通过内含指针313,指向条目信息数据块。331代表条目信息单元,即信息本体,用最精简的数据,包含单一或组合信息,在数据块内部随机排列。每种信息单元可定义多种细分类型,固定或可变长度,前端附带类型代码和辅助描述,由代码字典详细解释。条目信息单元中可能含有指针,例如指向某个多媒体内容的储存设备和地址。
请参阅图4,图4是本发明文件库和媒体库的内部结构框图
如图4所示,其中包含信息映射表的储存库管理器404,主要执行以下5步流程:
1)接受外部信息库的读写文件库或媒体库操作指令,包括临时分配读写频道号码、指定文件的储存地址、用户端通信网络地址和用户密码;并将这些信息和其他操作参数,包括数据块序列号、储存库扇区状态、数据块和数据包状态、发包时间间隔和超时计数器,捆绑存入内含的频道信息表。
2)指挥数据包安全接收缓存处理器402和数据包发送缓存处理器408,执行数据包收发和硬盘写读操作;当数据块缓存频道405完成一个数据块的接收或发送,提供下一个数据块的硬盘储存地址,并启动读写下一个数据块,直至完成整个文件的收发。
3)当文件库的含频道信息储存管理器404检测发现网络接收方向缺少部分数据包,则通过协议流程要求客户端补发;另外,当收到网络发送方向客户端申请数据包补发指令,则向客户端重发指定的数据包;
4)媒体库的含频道信息储存管理器404执行流量微调机制,为了应对视频流量随内容场景波动;在读盘方向,按平均流量设定发包间隔,若客户端检测到数据缓存即将读空,发送协议指令,要求增加流量,则本管理器减少服务端的发包间隔;反之,若客户端检测到数据缓存即将溢出,发送协议指令,要求降低流量,则本管理器增加服务端的发包间隔;
5)每次用户服务结束,包括成功或失败,本管理器释放相应的频道资源,并向信息库返回结束确认指令。
如图4所示,在写盘方向,文件库或者媒体库的网络输入端口401,根据不同设计可能包含多个物理端口。数据包安全接收缓存处理器402,主要执行以下3步流程:
1)从网络端口401接收数据包,执行自检,包括CRC检测、用户网络地址与数据包内容匹配、以及数据包内容语法逻辑合理性审核。
2)数据包复审,由审核逻辑403完成,包括数据块序列号、用户密码、数据包状态等信息必须与管理器信息映射表404中储存的内容相符,有效防止用户的黑客行为。
3)输入数据包通过2次审核以后,丢弃数据包头,将数据内容暂时存放在数据块缓存频道405的指定区域。
如图4所示,数据包发送缓存处理器408,主要执行以下3步流程:
1)从信息映射表提取数据,填入发送缓存器数据包头,包括用户网络地址、逻辑操作号、数据包长度等,这些数据与网络和本次服务客户端操作有关。
2)从数据块缓存频道提取一个数据包内容,这些数据与媒体文件有关,填入发送缓存器数据包载荷。
3)计算CRC检错码,并发送到网络输出端口409。
如图4所示,数据块缓存频道405主要执行以下2步流程:
1)在读盘发包方向,每次从硬盘端口406读出一个数据块,暂时存放在指定的数据块缓存频道405中,然后,根据指定的发包间隔,每次向网络端口409发送一个数据包;
2)在收包写盘方向,每次从网络端口401收到一个数据包,暂时存放在指定的数据块缓存频道405中,待数据包积累满一个数据块,通过硬盘端口406写入一个数据块;
数据块缓存频道405实际完成硬盘储存数据块与网络传输数据包之间的交换,为了确保读盘操作排队期间数据包传输的连续性,每个缓存频道的储存容量必须大于数据块长度;当本缓存频道完成收发一个数据块,向所述的储存器管理器返回本数据块操作结束确认指令。
如图4所示,硬盘端口执行以下3步流程:
1)连接多个硬盘,或者硬盘阵列。
2)为了提高储存单元的并发流量,将多个数据块合并成复数据块,由多个硬盘同步读写,即同时向多个硬盘同步发送读写盘指令,增加总体流量。
3)为了提高储存单元的总容量,组合多个硬盘复用,分别向多个硬盘发送独立读写盘指令,降低单位储存成本。
如图4所示,由于当前硬盘已经属于资源性商品,硬盘阵列407无非是将多个硬盘放进一个机箱而已。在可预见的将来,硬盘连接采用SATA标准接口。
如图4所示,为了满足网络输入端口401和输出端口409的总带宽,需要使用多个接收缓存处理器402和发送缓存处理器408。显然,接收缓存器处理器和发送缓存器处理器承担了每个数据包的安全过滤和完整性处理。在传统计算机和储存设备中,这些任务均由软件完成,导致消耗大量的计算资源。本发明通过硬件缓存处理器,解除了多媒体内容储存和传输对计算机的依赖,奠定坚实的云储存基础。
请参阅图5,图5是本发明极多线程状态机基本结构模型和多维度扩展框图
我们知道,1951年问世的米利(Mealy)有限状态机的基本定义是输出信号不仅与当前状态有关,而且还与所有的输入信号有关,也就是说,状态机的输出是当前状态和所有输入信号的函数。
如图5所示,米利状态机可以概括为4个基本要素:状态51、触发事件52、任务53和状态转移函数54。也就是说,在“当前状态1”,遇到某个“触发事件1”,执行某项“任务1”,然后依据“状态转移函数”,进入稳定的“新状态2”。米利状态机的输入信号可能不止一个,上述情况也可能按另一条路径发展,例如,在“当前状态1”,遇到某个“触发事件2”,执行某项“任务2”,然后依据“状态转移函数”,进入稳定的“新状态3”。
如图5所示,本发明第一步在米利状态机基础上增加3个参数:条件521、资格审核522和操作531。说明如下:首先,一个事件可能在不同条件下,例如,该事件出自于企业用户或者个人用户,引导进入不同的流程。其次,某项条件的满足可能需要通过另一个复杂的资格审核流程,例如,用户的授权或账户状态等。最后,一项任务可能包括多种操作,其中部分操作可能相同,为了简化任务流程,可以把任务分解成子任务,或者称为操作。
如图5所示,本发明极多线程状态机的基本结构包含以下7个参数:
1)状态51(State)
记录一项协议过程中某个稳定的中间状态,在一个事件触发下,查询状态转移链接表(转移函数),确定要完成的任务,以及下一个要达到的状态。若没有事件的触发,状态不会改变。
2)事件52(Event)
一个未经预测的,将改变协议流程的动作,在事件信息表的固定位置提供信息。不同的事件,作用在不同的状态,将导致不同的结果,例如:用户发出的按键指令、收到一个消息、等待时间超过预定值、网络出现突发情况等。事件可按紧急程度分等级。
3)条件521(Condition)
从事件信息表和用户信息表中的固定位置提取与本用户服务有关的静态信息,根据这些信息作出判断,例:用户参与某项业务,可能成为执行另一项任务的条件。条件的变化并不构成一个事件,但可能会改变对应事件产生的结果。
4)资格522(Qualifier)
比较复杂的条件,称为资格。一般需要执行一段小程序来确定条件符合与否。
5)任务53(Task)
为了完成一项独立的作业,执行一段连续不停顿的CPU指令,或称原子程序。CPU在执行任务期间,锁定相关资源(Latch信息表中的相关部分),任务完成后释放所占资源。
6)操作531(Operation)
一项任务可能分解成多项更小的操作,有利于减少程序长度。
7)状态转移函数54(Function)
按照业务流程排列的参数组,根据事件,决定执行的任务,以及状态机进入新的稳定状态。显然,修改本状态转移函数,即可改变指定的业务流程。
如图5所示,本发明第二步在上述状态机的基本结构上实现多维度扩展,即最终实现本发明的极多线程状态机。为了达成这项扩展必须再增加2个参数:指针(P)510和索引(I)520。说明如下:
本发明极多线程状态机主要在时间、空间、功能和资源上实现多维度扩展。
所述的时间扩展体现在状态机的高速处理能力是用户流程需求的许多倍,例如,一万倍,也就是说,能够同时为一万用户服务。
所述的空间扩展体现在状态机必须确保每次用户服务的独立性,本发明引进了“索引”参数520进一步标定状态机的基本参数“事件”52(来自环境)和“任务”53(指向环境),或者说,标定了具体用户。
所述的功能扩展体现在不同用户执行不同的业务流程,确保流程多样性,本发明引进“指针”参数510进一步标定状态机的基本参数“状态”51(固定流程),或者说,标定了具体流程。
所述的资源扩展体现在状态机把复杂和不定时的任务分派到不同类型的专用算法引擎,或者用户终端,确保任何复杂任务不会降低状态机的效率。
如图5所示,本发明状态机的多维度扩展包含以下2个参数:
8)指针510(Pointer)
本发明极多线程状态机必须同时提供很多种服务,每一种服务的协议过程都由一组互相链接且封闭的状态组成。状态入口指针表示一项服务的起始状态。通过不同的入口指针,可以完成许多种不相关服务的协议过程。
9)索引520(Index)
本发明极多线程状态机必须同时服务很多用户,但状态机在每一瞬间只能执行一项任务。为了把随机出现的协议元素归纳到某项特定的服务过程,必须在每个协议元素上标示唯一与该服务项目相关的记号,例如以服务申请方的特征号码作为索引,确保用户流程具备时间和空间上的唯一性。
请参阅图6,图6是极多线程状态机和异构神经元的整体网络环境框图
如图6所示,其中600代表极多线程状态机和其内部结构,实际上,系统主状态机指挥和协调各种神经元和用户终端之间的任务分配。或者说,从系统安全角度,所有神经元都只能被动地执行状态机指派的任务。在结构上,状态机本身也是一个神经元,或者,信息库之一。630和640代表异构神经元群和远程异构神经元群,各部分通过云计算网络环境660连成一体,构成非诺依曼计算机体系的总体架构,面向用户终端650,提供云计算服务。
如图6中600部分所示,601至609为资源分配程序,其中601为开机程序,执行许多常规的系统准备工作,一般来说,执行时间长短无关紧要;602代表系统的时间基准;603代表用于故障处理的Watch Dog复位;604、605和606用于分散内部时序事件的相位周期,定时处理内部事务、资源和用户事件的触发条件和地址分配;607和608分别代表随机排队的内部和外部事件处理触发条件;609将不同协议事件引导至指定的执行程序。
如图6中600部分所示,611至615为原子操作程序,其定义为,执行一项完整而有相当分量的程序功能,执行时间一般在CPU和储存器每秒操作能力的万分之一至千分之一。也就是说,单台状态机的并发处理量相当于每秒数千次原子操作,面向不同用户,不同阶段的任务。大部分原子操作只是从储存器中读写某些信息,然后,以数据包形式发送给用户终端或其他神经元。其中611和612分别代表启动某一台网络设备或用户终端的管理流程,613、614和615分别代表执行网络设备或用户终端协议过程中的某一项任务。
如图6所示的3种程序循环,其中查询循环621,代表CPU轮询没有检测到任务申请,即刻进入下一次轮询。程序循环622,代表CPU轮询检测到任务申请,执行指定的原子操作结束后,返回资源轮询。协议循环623,凡是需要用户反馈的任务,或者凡是占用较多运算资源的任务,原子操作只是通过发送指令,把该任务引导至指定用户终端或算法引擎。这些任务复杂度差异极大,结束后返回资源轮询,状态机的协议循环只包含精简指令。624、625和626分别代表经过神经元和用户终端的协议循环,这些循环包含指令和多媒体数据,因此,流量远大于单纯指令。
如图6所示,660代表云计算的网络环境,前述所有协议循环都经过此网络,或者说,系统状态机通过此网络连接所有神经元和用户终端。
如图6所示,630和640代表分布式神经元群。由于神经元的复杂度差异极大,从结构角度,一台设备通常指普通人便于搬动的机箱。因此,一个神经元可能包含许多设备,或者,一台设备包含许多神经元。神经元之间通过网络660连接。如果一台设备包含多个神经元,他们通过内置交换机631连接。实际上,除了根据网络地址,交换机还包含神经元传导协议的数据包限权过滤,限制不同神经元的访问权限。
如图6所示,632代表各类不同的神经元,或者称,算法引擎。根据实际任务性质,算法引擎设计随任务性质而变,例如:廉价嵌入式CPU模块,传统PC和服务器,FPGA硬件模块,包含硬盘的文件和媒体库,甚至包括人工呼叫和鉴别中心。必须指出,不论任务多复杂,均不占用状态机资源。一般来说,复杂任务执行完毕后,自动产生随机触发事件,推动状态机进入下一步操作,如图中的协议循环。如果任务执行有误,导致协议循环数据包丢失,状态机内部产生超时触发事件,执行故障处理,防止状态机停顿。
如图6所示,650代表各类不同的用户终端,其实,神经元与用户终端的差别只是在管理方式。从技术角度,用户终端可能包含任意多媒体数据的编解码和处理功能,或者说,用户终端可以接受或提供云计算服务。
请参阅图7,图7是本发明信息处理流水线结构和应用环境
如图7所示,本发明信息处理流水线由多个神经元工序72,通过数据通信网络74连接而成。并且,通过指令通信网络75,接收或发送系统管理神经元76的指令,这些指令包括神经元工序所需的软件和工作状态。
如图7所示,所述神经元工序72能够独立接收信息原料71,处理加工后产生半成品77和信息成品73。其中,通过观察信息半成品,我们能够方便地了解信息处理流程的中间状态,有利于系统调试和品质管理。另外,具体神经元工序执行什么任务,接收和发送什么信息,完全取决于管理神经元的指令。管理神经元能够在系统应用过程中,调整神经元的工作流程。
请参阅图8,图8是传统计算机硬件和软件系统应用环境
为了更加明确地解释本发明信息处理流水线,有必要与传统计算机结构作一对比。如图8所示,其中82代表传统个人电脑基础上发展起来的计算机内部结构。这种结构的特征是由多个软件层次叠加而成,形象化第称为洋葱结构。从功能上看,传统计算机结构与本发明信息处理流水线相比,缺点在于:
1)所有信息原料81和信息成品83都必须通过应用层软件。
2)很难观察到信息处理流程的中间状态。
3)每次修改程序流程,都必须停机和下载软件。
补充说明
前面论述已经公开了本发明的技术方案和细节。本说明书论述的技术原理、解决方案、实施细节、和附图说明对于本发明具有描述性,而非限制性。这些说明不是被用来穷举或者限制本发明的技术方案。本发明主要以社会信息中枢为例,描述技术原理和实现方法,显然,这些原理和方法同样适合其他应用,包括而且不限于外包式企业管理服务、电子商务等。很明显,对于本领域内的普通技术人员来说,即使实施其他的变种或修改,都不会偏离本说明书所述整体方案的发明要旨。因此,本发明应该限于权利要求书及其等效的范围内。

Claims (17)

1.一种基于神经网络的云端服务器结构,特征在于其构成包括互相关联又相对独立的云储存子系统和云计算子系统,所述的云储存和云计算子系统都是由许多独立的神经元组成,并且通过通信网络联成一体构成系统;所述的云储存子系统包括信息库、文件库和媒体库,并且统一到跨平台数据结构的基础之上;所述的信息库主要面向精简信息;所述的文件库主要面向多媒体文件的储存、发送和备份;所述的媒体库主要面向实时视音频媒体流,包括通信、娱乐和媒体;所述的云计算子系统包括极多线程状态机、异构算法引擎或称神经元、信息处理流水线和神经元传导协议。
2.根据权利要求1所述的基于神经网络的云端服务器结构,其特征在于所述的文件库和媒体库,分别与用户端之间建立数据直通车,即所述的文件库和媒体库只接受来自所述信息库的单方向操作指令,实施具体文件内容的处理和操作,操作完成后,向所述的信息库返回结束确认指令;所述的文件库和媒体库包含并不限于以下6大模块:数据包安全接收缓存处理器、数据包发送缓存处理器、含频道信息的储存库管理器、数据块缓存频道、硬盘端口和网络端口。
3.根据权利要求2所述的基于神经网络的云端服务器结构,其特征在于所述的数据包安全接收缓存处理器执行并不限于以下3步流程:
1)从网络端口收到数据包,执行自检,包括并不限于CRC检测、用户端通信网络地址与数据包内容匹配、以及数据包内容语法逻辑合理性审核,丢弃不合自检的数据包;
2)数据包复审,包括并不限于数据块序列号、用户密码、数据包状态信息必须与频道信息表中记录的内容匹配,丢弃不合复审的数据包;
3)输入数据包通过2次审核以后,丢弃数据包头,将数据内容暂时存放在数据块缓存频道的指定区域。
4.根据权利要求2所述的基于神经网络的云端服务器结构,其特征在于所述的数据包发送缓存处理器执行并不限于以下3步流程:
1)从频道信息表提取数据,包括并不限于用户端通信网络地址、逻辑操作号、数据包长度、用户密码,填入发送缓存器数据包头;
2)从数据块缓存频道提取一个数据包内容,填入发送缓存器数据包载荷;
3)计算CRC检错码,并发送到网络端口。
5.根据权利要求2所述的基于神经网络的云端服务器结构,其特征在于所述的含频道信息的储存库管理器执行并不限于以下5步流程:
1)接受外部信息库的读写文件库或媒体库操作指令,包括并不限于临时分配读写频道号码、指定文件的储存地址、用户端通信网络地址和用户密码;并将这些信息和其他操作参数,包括并不限于数据块序列号、储存库扇区状态、数据块和数据包状态、发包时间间隔和超时计数器,捆绑存入内含的频道信息表;
2)指挥数据包安全接收缓存处理器和数据包发送缓存处理器,执行数据包收发和硬盘写读操作;当数据块缓存频道完成一个数据块的接收或发送,提供下一个数据块的硬盘储存地址,并启动读写下一个数据块,直至完成整个文件的收发;
3)当所述文件库的含频道信息储存管理器检测发现网络接收方向缺少部分数据包,则通过协议流程要求客户端补发;另外,当收到网络发送方向客户端申请数据包补发指令,则向客户端重发指定的数据包;
4)所述媒体库的含频道信息储存管理器执行流量微调机制,为了应对视频流量随内容场景波动;在读盘方向,按平均流量设定发包间隔,若客户端检测到数据缓存即将读空,发送协议指令,要求增加流量,则含频道信息储存管理器减少服务端的发包间隔;反之,若客户端检测到数据缓存即将溢出,发送协议指令,要求降低流量,则含频道信息储存管理器增加服务端的发包间隔;
5)每次用户服务结束,包括成功或失败,含频道信息储存管理器释放相应的频道资源,并向所述的信息库返回结束确认指令。
6.根据权利要求2所述的基于神经网络的云端服务器结构,其特征在于所述的数据块缓存频道执行并不限于以下2步流程:
1)在读盘发包方向,每次从硬盘端口读出一个数据块,暂时存放在指定的数据块缓存频道中,然后,根据指定的发包间隔,每次向网络端口发送一个数据包;
2)在收包写盘方向,每次从网络端口收到一个数据包,暂时存放在指定的数据块缓存频道中,待数据包积累满一个数据块,通过硬盘端口写入一个数据块;
所述的数据块缓存频道实际完成硬盘储存数据块与网络传输数据包之间的交换,为了确保读盘操作排队期间数据包传输的连续性,每个缓存频道的储存容量必须大于数据块长度;当所述的数据块缓存频道完成收发一个数据块,向所述的储存器管理器返回操作结束确认指令。
7.根据权利要求2所述的基于神经网络的云端服务器结构,其特征在于所述的硬盘端口执行并不限于以下3步流程:
1)连接多个硬盘,或者硬盘阵列;
2)为了提高储存单元的并发流量,将多个数据块合并成复数据块,由多个硬盘同步读写,即同时向多个硬盘同步发送读写盘指令,增加总体流量;
3)为了提高储存单元的总容量,组合多个硬盘复用,分别向多个硬盘发送独立读写盘指令,降低单位储存成本。
8.根据权利要求1所述基于神经网络的云端服务器结构,其特征在于所述的跨平台数据结构,直接在物理储存介质层面定义3层结构,包括功能区、数据块和信息单元;所述的功能区分成许多相等长度的数据块,所述的数据块是储存载体,用于存放不同长度的用户信息单元;多个小信息单元可以合并存放在一个数据块中,一个大信息单元可占用许多个数据块,并跨越数据块边界;所述的跨平台数据结构能够跨越不同硬件平台:不限储存设备类型,包括:CPU内存、电子硬盘、磁盘阵列、或其他实体设备;不限访问工具,包括:本地传统软件、可编程硬件、其他异构设备、或通过远程网络。
9.根据权利要求8所述的基于神经网络的云端服务器结构,其特征在于所述的功能区包括并不限于索引区、指针扩展区、通用储存区;不同功能区不限于建立在相同的设备和储存介质;所述的索引区的数据块按序排列,由指定数字量直接寻址,并形成多个数据块组,分别代表不同的索引方式;所述的指针扩展区在节省储存量的前提下,进一步扩展索引区范围,所述的数据块与通用储存区对应条目的第一个数据块同步排列,保持既定的索引关系;所述的通用储存区中的数据块随机排列,并通过链接指针将多个随机排列的数据块连成一个连续的储存整体。
10.根据权利要求8所述的基于神经网络的云端服务器结构,其特征在于所述的数据块在储存空间的位置和状态由数据块寻址指针描述,每个数据块至少有一条指针,表示本数据块的状态:空、满、损坏、不存在,以及正向或反向链接下一个或上一个数据块的寻址指针,指向通用储存区扩展数据块的地址;通过数据块链接指针,可以构成复合数据块,无限扩展数据块的容量,直至耗尽所有储存空间。
11.根据权利要求8所述的基于神经网络的云端服务器结构,其特征在于所述的信息单元包含同一个条目名下的信息本体,信息单元的内部辅助描述中包含并不限于信息本体的长度、属性、格式;从应用角度,按某种规律排列的实体称为条目,每个条目含有多条信息本体;信息单元在数据块中随机排列,为了加速指定条目名下的信息单元搜索,多个信息单元合并成一个复合信息单元;信息单元所包含的信息量可以无限扩展,直至耗尽所在的数据块空间,包括经链接扩展的复合数据块。
12.根据权利要求1所述的基于神经网络的云端服务器结构,其特征在于所述的极多线程状态机把一个复杂系统分解为多个独立维度并进行扩展,包括并不限于时间扩展、空间扩展、功能扩展和资源扩展:
所述的时间扩展就是在图灵稳定状态之间插入其他不相关流程;
所述的空间扩展就是通过用户信息储存分割,同时服务许多用户;
所述的功能扩展就是通过流程信息储存分割,同时提供许多种不同业务流程;
所述的资源扩展就是将复杂任务转移到状态机之外的独立执行机构或其他神经元,确保状态机性能不受具体任务复杂度牵制;
所述的极多线程状态机在结构上属于神经元,其功能作为系统中央处理机之一,协调和指挥系统流程及其他神经元设备。
13.根据权利要求12所述的基于神经网络的云端服务器结构,其特征在于所述的极多线程状态机包含并不限于状态、事件、任务、函数、条件、资格、操作、指针和索引9个参数;所述的状态、事件、任务、函数属于传统状态机固有;但在传统的“事件”参数中引入所述的条件,用于描述事件与环境的关联性,进一步引入所述的资格用于复杂条件的综合判断;在传统的“任务”参数中引入所述的操作用于描述带共性的子任务;在传统的“函数”参数中引入所述的“指针”,用于面对许多种独立流程的功能扩展;最后,在传统状态机整体上引入了所述的“索引”用于面对许多用户的空间扩展。
14.根据权利要求12所述的基于神经网络的云端服务器结构,其特征在于所述的极多线程状态机,包含并不限于2种程序类型和3种程序循环;
所述的程序类型包括:
1)资源分配程序:主要任务是通过相位周期分散执行内部时序事件,排队检查随机事件的触发条件,并引导触发事件执行指定的原子程序;
2)原子程序:其定义为执行一项完整而确定功能的程序,执行时间远低于神经元设备的每秒操作能力;当某项任务的复杂程度超过原子程序,状态机就会将此任务指派到特定的算法引擎执行;
所述的程序循环包括:
1)查询循环:指的是入口查询,代表神经元高速资源轮询,执行简单事件查询,若没有检测到任务申请,立即进入下一次轮询;
2)程序循环:指的是神经元内部程序,代表执行原子操作后,返回资源轮询;
3)协议循环:指的是神经元传导协议,凡是需要用户反馈的任务,或者占用较多运算资源的任务,原子操作只是通过发送指令,把该任务引导至指定用户终端或异构算法引擎;这些任务复杂度差异极大,执行时间不确定,任务结束后,不论成功或失败,该用户终端或异构算法引擎发回新的独立触发事件,通知状态机返回资源轮询,称为状态机的协议循环。
15.根据权利要求1所述的基于神经网络的云端服务器结构,其特征在于所述的异构算法引擎从结构上消除独立的硬件平台和软件平台,将复杂系统分解为许多平行的独立部件,也就是说,从系统中分解出任意复杂度的任务,交由独立模块执行,确保极多线程状态机的所有程序满足原子性要求;所述的异构算法引擎符合两个条件:异构代表任意组成结构,算法引擎代表专用的执行装置。
16.根据权利要求1所述的基于神经网络的云端服务器结构,其特征在于所述的信息处理流水线由多个异构算法引擎,或称神经元工序经通信网络连接成系统;所述信息处理流水线结构中各自独立的神经元工序,能够独立接受信息原料和信息半成品,在所述神经元传导协议指引下流经不同的神经元工序,分别执行指定算法,产生增值的信息半成品和信息成品;所述信息处理流水线结构中每一个独立的神经元工序分别聚焦在特定任务,组合成任意强大的系统;所述信息处理流水线结构不依赖通用的计算机硬件和软件,不需要复杂的软件工程,也不会引发软件危机。
17.根据权利要求1所述的基于神经网络的云端服务器结构,其特征在于所述的神经元传导协议,赋予每个神经元严格的访问限制,包括并不限于设备位置、功能等级、权限等级、信任度等级、操作方式和访问规模。
CN2012100977563A 2012-04-05 2012-04-05 基于神经网络的云端服务器结构 Pending CN102594927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100977563A CN102594927A (zh) 2012-04-05 2012-04-05 基于神经网络的云端服务器结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100977563A CN102594927A (zh) 2012-04-05 2012-04-05 基于神经网络的云端服务器结构

Publications (1)

Publication Number Publication Date
CN102594927A true CN102594927A (zh) 2012-07-18

Family

ID=46483121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100977563A Pending CN102594927A (zh) 2012-04-05 2012-04-05 基于神经网络的云端服务器结构

Country Status (1)

Country Link
CN (1) CN102594927A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821144A (zh) * 2012-07-24 2012-12-12 南京邮电大学 一种在云中部署网络服务的方法
CN102819734A (zh) * 2012-08-15 2012-12-12 广东非思智能科技股份有限公司 多模式切换的人脸检测装置及方法
WO2015154518A1 (zh) * 2014-07-10 2015-10-15 中兴通讯股份有限公司 可变码率媒体流的流量控制方法、装置以及系统
CN105227547A (zh) * 2015-09-09 2016-01-06 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN105373830A (zh) * 2015-12-11 2016-03-02 中国科学院上海高等研究院 误差反向传播神经网络的预测方法、系统及服务器
CN105610793A (zh) * 2015-12-18 2016-05-25 江苏大学 一种外包数据加密存储与密文查询系统及其应用方法
CN106547828A (zh) * 2016-09-30 2017-03-29 南京途牛科技有限公司 一种基于神经网络的数据库缓存系统及方法
CN108829703A (zh) * 2018-04-28 2018-11-16 尚谷科技(天津)有限公司 一种基于多源树图结构的遥感海拔数据的处理方法
CN109697509A (zh) * 2017-10-24 2019-04-30 上海寒武纪信息科技有限公司 处理方法及装置、运算方法及装置
CN110058936A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于确定专用处理资源的资源量的方法、设备和计算机程序产品
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN111552563A (zh) * 2020-04-20 2020-08-18 南昌嘉研科技有限公司 一种多线程数据架构、多线程消息传递方法及系统
US10915812B2 (en) 2016-11-09 2021-02-09 Samsung Electronics Co., Ltd. Method and system of managing computing paths in an artificial neural network
CN114327645A (zh) * 2020-10-12 2022-04-12 宝能汽车集团有限公司 整车计算能力的扩容方法、装置、车辆和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041914A1 (en) * 2010-08-16 2012-02-16 Durga Deep Tirunagari System and Method for Effective Caching Using Neural Networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041914A1 (en) * 2010-08-16 2012-02-16 Durga Deep Tirunagari System and Method for Effective Caching Using Neural Networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘猛: "云计算平台下神经网络方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821144B (zh) * 2012-07-24 2015-01-28 南京邮电大学 一种在云中部署网络服务的方法
CN102821144A (zh) * 2012-07-24 2012-12-12 南京邮电大学 一种在云中部署网络服务的方法
CN102819734A (zh) * 2012-08-15 2012-12-12 广东非思智能科技股份有限公司 多模式切换的人脸检测装置及方法
CN102819734B (zh) * 2012-08-15 2014-12-17 广东非思智能科技股份有限公司 多模式切换的人脸检测装置及方法
WO2015154518A1 (zh) * 2014-07-10 2015-10-15 中兴通讯股份有限公司 可变码率媒体流的流量控制方法、装置以及系统
CN105227547B (zh) * 2015-09-09 2018-10-12 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN105227547A (zh) * 2015-09-09 2016-01-06 重庆邮电大学 一种基于众核平台的流媒体流量发生系统
CN105373830A (zh) * 2015-12-11 2016-03-02 中国科学院上海高等研究院 误差反向传播神经网络的预测方法、系统及服务器
CN105610793B (zh) * 2015-12-18 2018-10-26 江苏大学 一种外包数据加密存储与密文查询系统及其应用方法
CN105610793A (zh) * 2015-12-18 2016-05-25 江苏大学 一种外包数据加密存储与密文查询系统及其应用方法
CN106547828A (zh) * 2016-09-30 2017-03-29 南京途牛科技有限公司 一种基于神经网络的数据库缓存系统及方法
US10915812B2 (en) 2016-11-09 2021-02-09 Samsung Electronics Co., Ltd. Method and system of managing computing paths in an artificial neural network
CN109697509A (zh) * 2017-10-24 2019-04-30 上海寒武纪信息科技有限公司 处理方法及装置、运算方法及装置
CN109697509B (zh) * 2017-10-24 2020-10-20 上海寒武纪信息科技有限公司 处理方法及装置、运算方法及装置
CN110058936A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于确定专用处理资源的资源量的方法、设备和计算机程序产品
CN108829703A (zh) * 2018-04-28 2018-11-16 尚谷科技(天津)有限公司 一种基于多源树图结构的遥感海拔数据的处理方法
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN111552563A (zh) * 2020-04-20 2020-08-18 南昌嘉研科技有限公司 一种多线程数据架构、多线程消息传递方法及系统
CN111552563B (zh) * 2020-04-20 2023-04-07 南昌嘉研科技有限公司 一种多线程数据系统、多线程消息传递方法及系统
CN114327645A (zh) * 2020-10-12 2022-04-12 宝能汽车集团有限公司 整车计算能力的扩容方法、装置、车辆和存储介质

Similar Documents

Publication Publication Date Title
CN102594927A (zh) 基于神经网络的云端服务器结构
US11397744B2 (en) Systems and methods for data storage and processing
US9317542B2 (en) Declarative specification of data integration workflows for execution on parallel processing platforms
DeRoos Hadoop for dummies
CN108604225A (zh) 由多个不同团队进行的协作文档创建
CN102999561A (zh) 数据集和数据服务的上下文趋向
CN201993811U (zh) 云融合商业智能终端
Lenk et al. Towards a taxonomy of standards in smart data
Lytvyn et al. Architecture of system for content integration and formation based on cryptographic consumer needs
Saxena et al. Practical real-time data processing and analytics: distributed computing and event processing using Apache Spark, Flink, Storm, and Kafka
Bejeck Kafka Streams in Action: Real-time apps and microservices with the Kafka Streams API
Strengholt Data Management at scale
CN104200324A (zh) 一种基于业务知识管理的配置管理方法
CN103488697A (zh) 能自动收集和交换碎片化商业信息的系统及移动终端
US11379504B2 (en) Indexing and mining content of multiple data sources
CN114003634A (zh) 基于es技术的大数据分析检索系统及方法
Wen Research and design of ERP system for small and medium-sized enterprises under great intelligence mobile cloud
CN110457934A (zh) 一种基于哈希算法的高仿真数据脱敏算法
Nagarajan et al. Big data analytics in cloud computing: effective deployment of data analytics tools
CN103246962A (zh) 企业综合信息管理系统
Ji et al. A Regulated Anticounterfeiting Traceability Metamodel Based on Blockchain in Supply Chain in the Era of IR 4.0
Eagar Data Engineering with AWS: Learn how to design and build cloud-based data transformation pipelines using AWS
Blagaić et al. Application for data migration with complete data integrity
CN107885834A (zh) 一种Hadoop大数据组件统一验证系统
GTS et al. Digital Transformation in Cloud Computing: Top-level Design, Architecture, and Applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120718