CN107766643B - 数据处理方法及相关装置 - Google Patents
数据处理方法及相关装置 Download PDFInfo
- Publication number
- CN107766643B CN107766643B CN201710963288.6A CN201710963288A CN107766643B CN 107766643 B CN107766643 B CN 107766643B CN 201710963288 A CN201710963288 A CN 201710963288A CN 107766643 B CN107766643 B CN 107766643B
- Authority
- CN
- China
- Prior art keywords
- bitmap
- neural network
- terminal
- devices
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本申请提供了一种数据处理方法及相关装置,该方法可包括:终端利用第一神经网络,以第一器件的第一位图为第一神经网络的输入,得到第一器件的第二位图;第一器件的第一位图用于表示第一器件的器件类型、器件数量,第一器件的第二位图用于表示第一器件的器件类型、器件数量、连接关系;终端将第一器件的第二位图转换为器件连接图;其中,第一神经网络由多组训练数据训练得到。实施本申请,可学习优秀的历史设计方案,能输出有效、可靠的新的设计方案。
Description
技术领域
本申请涉及大数据处理及神经网络技术领域,尤其涉及数据处理方法及相关装置。
背景技术
在通信、建筑、电力或机械等领域中,通常需要设计设备的内部部署方案或者某个工业场景的部署方案。一般情况下,部署方案通过图纸的形式,标识出使用的各个器件的类型、数量以及各个器件之间的连接关系。
目前,各类部署方案基本由人工设计完成,由于不同的场景下器件组合方式多、连接关系复杂,人工设计的成本高、耗时长、错误率高。
以通信领域中无线基站的部署方案设计为例说明。具体来说,以需交付120万个无线基站为例,通常需要输出1.5万个以上的基站部署方案。每一种基站部署方案的设计,都需要无线交付工程师通过自身经验,设计基站内部器件的种类、器件的数量、各个器件的连接方式等,再通过设计工具将设计好的方案填写到表格中,并人工输出基站内部连线图。显然地,现有的人工设计无线基站的方式,耗时长、错误率高,导致无线基站部署方案的设计成本占无线基站交付总成本的比重较高。
发明内容
本申请提供了一种数据处理方法及相关装置,通过学习优秀的历史设计方案,能输出有效、可靠的新的设计方案。
第一方面,本申请提供了一种数据处理方法,应用于终端,可包括:终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图;所述第一器件的第一位图用于表示所述第一器件的器件类型、器件数量,所述第一器件的第二位图用于表示所述第一器件的器件类型、器件数量、连接关系;所述终端将所述第一器件的第二位图转换为器件连接图。
其中,所述第一神经网络由多组训练数据训练得到,所述训练数据包含第二器件的第一位图以及所述第二器件的第二位图;所述第二器件的第一位图用于表示所述第二器件的器件类型、器件数量,所述第二器件的第二位图用于表示所述第二器件的器件类型、器件数量、连接关系,所述多组训练数据中的第二器件包括所述第一器件。
实施本申请,能够学习历史设计方案,并根据器件类型、器件数量输出可信的设计方案。
本申请中,将历史设计方案通过位图的方式进行表达,便于神经网络提取学习历史设计方案,提取方案特征,下面简单说明位图的表达方式。
具体的,可将器件大类映射为位图的各列,将每个器件大类包含的器件型号映射为位图的各行;也可以相反,将器件大类映射为位图的各行,将每个器件大类包含的器件型号映射为位图的各列,本申请不做限制。
具体的,可通过位图中像素点的坐标表示器件类型,通过该像素点的第一特征表示该像素点对应的器件的数量,通过该像素点的第二特征表示该像素点对应的器件和其他器件的连接关系。具体的,像素点的第一特征可以为像素点的图像特征或者图像内容,不同的图像特征或图像内容可表示不同的器件数量;像素点的第二特征可以为像素点的图像特征或者图像内容,具有相同的图像特征或图像内容的像素点对应的器件之间具有连接关系。其中,第一特征和第二特征为不同的特征。可理解的,像素点的图像特征可以是上述描述的任意一种,像素点的图像内容也可以是上述描述的任意一种。
本申请中,位图可分为两种类型:第一位图和第二位图。其中,第一位图是带连接关系的位图,通过像素点的坐标表示器件类型,像素点的第一特征表示器件数量,第二特征表示器件连接关系;第二位图是不带连接关系的位图,通过像素点的坐标表示器件类型,像素点的第一特征表示器件数量。
其中,第一器件的第一位图可以是终端根据接收到的所述第一器件的器件类型、器件数量生成的,也可以是其他终端根据所述第一器件的器件类型、器件数量生成的。
在可选实施例中,所述终端利用第二神经网络,确定第一置信度,所述第一置信度为所述第一器件的第二位图的可信度;在所述第一置信度达到第一阈值的情况下,所述终端将所述第一器件的第二位图转换为器件连接图;其中,所述第二神经网络由所述多组训练数据训练得到。
具体的,终端在将第一器件的第二位图转换为器件连接图时,终端提取第一器件的第二位图中的像素点的坐标,确定器件连接图中的器件类型;提取第一器件的第二位图中的第一特征,确定器件连接图中的器件数量;提取第一器件的第二位图中的第二特征,确定器件连接图中的器件连接关系。
本申请中,数据处理方法基于训练好的第一神经网络,下面简单介绍第一神经网络的训练过程。第一神经网络基于历史设计方案进行训练,每个历史设计方案都包含器件类型、器件数量以及各个器件之间的连接关系。这里,历史设计方案中包含的多个器件称为第二器件。本申请中,根据历史设计方案得到第二器件的第一位图和第二器件的第二位图,得到多组训练数据,第一神经网络基于多组训练数据进行训练。第一神经网络可以是具有自学习功能的任意一种神经网络,可以是反向传播神经网络、卷积神经网络、生成式对抗网络中的生成网络等,下面通过几个具体的神经网络说明第一神经网络的训练过程。
(1)第一神经网络为反向传播网络
终端采用反向传播的方式训练第一神经网络。简单来讲,就是采用迭代的算法来训练第一神经网络,输入初值,计算当前第一神经网络的输出,然后根据当前输出和真实数据之间的差去改变第一神经网络的生成规则,即前面各层的参数,使第一神经网络的输出尽可能地和真实数据相同。
(2)第一神经网络为卷积神经网络
卷积神经网络在本质上是一种输入到输出的映射,学习大量的输入与输出之间的映射关系,用已知的模式对卷积神经网络加以训练,卷积神经网络就具有输入输出对之间的映射能力。在本申请中,通过(第二器件的第一位图,第二器件的第三位图)的样本集作为输入输出对进行训练。
(3)第一神经网络是生成式对抗网络中的生成网络
在这种情况下,终端在训练第一神经网络的同时还需训练对应的生成式对抗网络中的判别网络,本申请中,可将判别网络称为第二神经网络。
第一神经网络的训练过程:终端固定第二神经网络,优化第一神经网络,使第一神经网络输出尽可能和真实数据(第二器件的第二位图)一样的样本。可包括如下步骤:
1、固定第二神经网络,以第二器件的第一位图为第一神经网络的输入,输出第二器件的第三位图。
2、终端利用第二神经网络,确定第二置信度。
本申请中,第二置信度为第二神经网络能够准确判别出所述第二器件的第三位图由训练数据得到或者由第一神经网络生成的概率,相当于第一神经网络生成的第二器件的第三位图的可信度。
3、终端利用第二置信度,更新第一神经网络的权重,交替迭代,优化第一神经网络。
第二神经网络的训练过程:终端固定第一神经网络,优化第二神经网络,使第二神经网络能够识别出真实数据(第二器件的第二位图)和生成数据(第二器件的第三位图)。可包括如下步骤:
1、固定第一神经网络,以第二器件的第二位图(真实数据)或者第二器件的第三位图(生成数据)为输入。
2、当输入来自于真实数据时,终端优化第二神经网络的网络结构,更新第二神经网络的权重,尽量使第二神经网络输出1;当输入来自于生成数据时,终端优化第二神经网络的网络结构,更新第二神经网络的权重,尽量使第二神经网络输出0。
在上述第一神经网络和第二神经网络的训练过程中,终端极力优化第一神经网络和第二神经网络,从而形成竞争对抗,直到双方达到一个动态的平衡。此时,第一神经网络生成的数据和真实数据之间的误差很小,第二神经网络再也无法判断第二器件的第三位图是来自训练数据(即由历史设计方案直接量化而来),还是由第一神经网络生成的。此时,第二置信度高于第二阈值,趋近于100%,第一神经网络和第二神经网络训练成功。
第二方面,本申请提供了一种终端,用于执行第一方面描述的数据处理方法。所述终端可包括:存储器以及与所述存储器耦合的处理器、发射器和接收器,其中:所述发射器用于与向网络设备或其他终端发送信号,所述接收器用于接收网络设备或其他终端发送的信号,所述存储器用于存储第一方面描述的数据处理方法的实现代码,所述处理器用于执行所述存储器中存储的程序代码,即执行第一方面或第一方面的可能的实施方式中的任意一种所提供的数据处理方法。
第三方面,提供了一种终端,包括多个功能模块,用于相应的执行第一方面或第一方面可能的实施方式中的任意一种所提供的数据处理方法。
可理解的,第三方面的终端包括的功能单元可用于执行上述第一方面的方法,具体可参考上述描述。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面和第一方面各个可能的实现方式中的任意一种数据处理方法。
第五方面,本申请提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面和第一方面各个可能的实现方式中的任意一种数据处理方法。
实施本申请,通过位图的方式表达设计方案的特征,能够简洁地描述设计方案,且有利于第一神经网络学习设计方案的特征。终端可通过第一神经网络学习历史设计方案,训练好的第一神经网络可根据新的设计场景中的器件类型和器件数量,生成带器件连接关系的位图。相当于第一神经网络通过学习输出设计方案,且输出的设计方案可靠、准确、可实现。
附图说明
图1A为一种多层神经网络的网络结构图;
图1B为生成式对抗网络的网络结构图;
图2A-图2E为本申请提供的位图中像素点示意图;
图3为本申请提供的一个基站设计方案对应的器件连接图;
图4A-图4B为本申请提供的和图3所示器件连接图对应的带连接关系的位图;
图5A-图5B为本申请提供的和图3所示器件连接图对应的不带连接关系的位图;
图6A-图6B为本申请提供的神经网络的训练过程的流程示意图;
图7A-图7B为本申请提供的方案设计过程的流程示意图;
图8为本申请提供的终端的硬件架构示意图;
图9为本申请提供的终端的功能框图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
本申请提供的数据处理方法及相关装置基于人工神经网络(artificial neuralnetworks, ANNs)。人工神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型,能够达到处理信息的目的,具有自学习和自适应的能力。
人工神经网络由大量的神经元相互联接构成,每个神经元代表一种特定的输出函数,称为激励函数(activation function)。每两个神经元间的连接都代表一个对于通过该两个连接神经元的加权值,称之为权重,这相当于人工神经网络的记忆。
参见图1A,一种常见的多层结构神经网络由三部分组成:输入层(input layer)、输出层(output layer)、隐藏层(hidden layer)。其中,输入层包括的神经元接收输入信息(x1、 x2、x3),也称为输入向量;隐藏层由众多神经元和连接组成的层面,可以有多层;信息在神经元之间传输、分析、权衡,最终经过输出层得到输出向量(y1、y2)。网络的输出依网络的连接方式(网络结构)、权重值(w1-w10)以及激励函数的不同而不同。
在人工神经网络中,生成式对抗网络(generative adversarial networks,GAN)是一种经过改进的神经网络,下面简单介绍GAN。
参考图1B,图1B示出了GAN网络模型的构成。GAN由生成式模型(generativemodel) 和判别式模型(discriminative model)组成。在本申请中,可将生成式模型称为生成网络,将判别式模型称为判别网络。
其中,生成网络G可以由多层感知机组成,可学习从随机变量到训练样本数据的映射关系。具体的,生成网络G捕捉分析真实样本数据的分布,用服从某一分布(均匀分布,高斯分布等)的噪声生成一个类似真实样本的生成样本,追求的效果是使得生成的样本尽量接近真实样本。也就是说,生成网络可从训练样本中学习出新样本,训练样本是图片就生成新图片,训练样本是文章就生成新文章等,生成的新图片或者新文章可以看作是生成网络伪造的图片或文章。
其中,判别网络D可以由多层感知机组成,可估计一个样本来自于训练数据(而非生成数据)的概率。如果样本来自于真实的训练数据,D输出大概率,否则,D输出小概率。具体的,判别网络的输入是随机选择一个真实样本或者生成网络的输出的生成样本,输出是估计得到的输入来自于真实样本或者生成样本的概率。当判别网络能够很好的分辨出输入是不是真实样本时,也能通过梯度的方式说明什么样的输入更加像真实样本。
可以做如下类比:生成网络G好比假币制造团伙,专门制造假币,判别网络D好比警察,专门检测使用的货币是真币还是假币,G的目标是想方设法生成和真币一样的货币,使得D判别不出来,D的目标是想方设法检测出来G生成的假币。
在GAN中,训练过程能优化生成网络和判别网络,使得生成网络G尽可能的让自己的输出像真实样本,而判别网络D则尽可能的将不是真实样本的情况分辨出来。
在训练的过程中,固定一方,更新另一方的网络权重,交替迭代。在这个过程中,双方都极力优化自己的网络,从而形成竞争对抗,直到双方达到一个动态的平衡(纳什均衡),此时生成模型G恢复了训练数据的分布(造出了和真实数据一模一样的样本),判别模型再也判别不出来结果,准确率为50%,约等于乱猜。
举例来说,当固定生成网络G的时候,对于判别网络D的优化,可以这样理解:输入来自于真实数据,D优化网络结构使自己输出1,输入来自于生成数据,D优化网络结构使自己输出0。当固定判别网络D的时候,G优化自己的网络使自己输出尽可能和真实数据一样的样本,并且使得生成的样本经过D的判别之后,D输出高概率。
基于上述人工神经网络以及生成式对抗网络的思想,本申请提出了一种数据处理方法及相关装置,可通过机器学习历史设备设计方案,根据学习结果生成可靠的设备设计方案。根据本申请的方法及装置,可以共享已有的设备设计方案,并且,能够简化设计过程,降低设计成本。
在本申请中,为了便于机器学习历史设备设计方案,将历史设备设计方案通过位图的方式表达。位图能够简洁明了地描述历史设备的设计方案,并可使得机器提取历史设备设计方案中的特征并进行学习。
下面详细说明本申请提供的位图。
位图也称为点阵图像或绘制图像,由称作像素的单个点组成,这些像素点可以进行不同的排列和染色等。本申请中,位图中的每个像素点都有对应的坐标,还可能有对应的图像特征或图像内容中的至少一个。
其中,每个像素点的坐标为该像素点在整个位图中具体位置。在确定一个像素点的坐标后,可在位图中唯一地确定该像素点。参见图2A,图2A示出了一个位图中的四个像素点,该四个像素点的坐标分别为(0,0),(0,1),(1,0),(1,1)。
其中,每个像素点的图像内容为像素点在位图对应位置处包括的具有区分意义的标志,例如符号、记号、标记等。具体的,图像内容可以是数字、字母、中文字符、英文字符等。参见图2B,图2B示出了一个位图中的四个像素点分别包括的图像内容。
其中,每个像素点对应的图像特征为像素点在位图对应位置处表现出的属性,图像特征可以有多种,例如,颜色、颜色深度、纹理、纹理密度、形状、大小等可表征图像属性的元素。
颜色为像素点染色色彩的颜色,各个像素的颜色可在多种颜色之间变化。在可选实施例中,位图颜色的编码方式可以有两种:第一种,RGB色彩模式。RGB色彩模式通过对红(red)、绿(green)、蓝(blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。红、绿、蓝三个颜色通道每种色各分为255级亮度,按照计算,256级的RGB色彩总共能组合出约1678万种色彩,即256×256×256=16777216,几乎包括了人类视力所能感知的所有颜色。第二种,CMYK色彩模式。CMYK色彩模式通过青色(cyan)、品红色(magenta)、黄色 (yellow)、黑色(black)四种颜色混合叠加,形成不同的颜色。参见图2C,图2C中示出了一个位图中包括的四个像素点分别对应的颜色,由于图中无法显示颜色,用文字在对应的像素点上标注,具体实现中,可通过像素点的染色表示颜色。
颜色深度是指像素点的颜色显示出来的浓烈程度,颜色深度可以有多个不同的级别。例如,红色按照颜色深度的不同可简单分为浅红、深红等。具体实现中,在位图中通过不同色彩编码表示不同的颜色深度。举例说明,在RGB色彩模式中,可通过(a1,a2,a3)的编码方式表示颜色深度,a1、a2、a3可分别表示红、绿、蓝三个颜色通道每种颜色的亮度,a1、 a2、a3的取值都在0-255之间,例如,(255,0,0)可以表示纯红色,(139,0,0)可以表示比纯红色的颜色深度浅一些的深红色。
纹理是指像素点显示出来的花纹或者线条。例如,可包括条形花纹、三角形花纹、方形花纹、圆形花纹、粗线条、细线条、长线条、短线条、直线条、曲线条等。参见图2D,图2D示出了一个位图中包括的四个像素点分别对应的纹理,第一列的两个像素点的纹理都为竖条纹,第二列的两个像素点的纹理都为横条纹。
纹理密度是指像素点的单位面积内物体显示出来的花纹或者线条的多少,花纹或者线条越多,密度越大。参见图2D,第1列第1行的像素点的纹理密度大于第1列第2行的像素点的纹理密度,第2列第1行的像素点的纹理密度大于第2列第2行的像素点的纹理密度。
形状是指像素点的表现形式,可包括圆形、正方形、梯形、椭圆形、三角形等。大小是指物体占用面积的多少。参见图2E,图2E示出了一个位图中的四个像素点的形状。
可理解的,不限于上述列举出来的几种图像特征,具体实现中,还可包括更多的图像特征,例如轮廓、阴影、分辨率、亮度等,本申请不做任何限制。
基于上述对位图的描述,本申请中,可使用位图量化设计方案。具体的,可通过位图中像素点的位置、图像特征或者图像内容来量化设计方案的特征,设计方案的特征主要包括:器件类型、器件数量以及各个器件之间的连接关系。
在本申请中,可将器件大类映射为位图的各列,将每个器件大类包含的器件型号映射为位图的各行;也可以相反,将器件大类映射为位图的各行,将每个器件大类包含的器件型号映射为位图的各列,本申请不做限制。
本申请中,可通过位图中像素点的坐标表示器件类型,通过该像素点的第一特征表示该像素点对应的器件的数量,通过该像素点的第二特征表示该像素点对应的器件和其他器件的连接关系。具体的,像素点的第一特征可以为像素点的图像特征或者图像内容,不同的图像特征或图像内容可表示不同的器件数量;像素点的第二特征可以为像素点的图像特征或者图像内容,具有相同的图像特征或图像内容的像素点对应的器件之间具有连接关系。其中,第一特征和第二特征为不同的特征。可理解的,像素点的图像特征可以是上述描述的任意一种,像素点的图像内容也可以是上述描述的任意一种。
下面以通信领域中无线基站的设计场景为例,通过几个例子说明通过位图表达设计方案中的特征的具体实现。
参见图3,图3示出了一种可能的基站设计方案对应的器件连接图,图中示出了该基站设计方案包含的信息:包含的各个器件的具体类型,各个器件的数量以及各个器件之间的连接关系。可理解的,在图3中,仅示出了本申请应用到各个器件的端口,实际应用中,各个器件还可包括更多的端口,本申请不做限制。
具体的,该基站设计方案中,主要可包括主控传输板(main processingtransmission unit,MPT)、基带处理单元(building base band unit,BBU)、射频处理单元(radio remote unit,RRU)、过滤器(filter)、天线(antenna)等,其中包含的各个器件的具体类型以及数量如表1所示。
表1
具体的,图3还示出了各个器件之间的连接关系,如下:
RRU3962-1的CPRI0端口和UBBPd3 UO的CPRI3端口连接,CPRI1端口和UBBPd6-1的CPRI0 端口连接,A TR端口和Antenna-1的“正极连接;
RRU3962-2的CPRI0端口和UBBPd3 UO的CPRI4端口连接,CPRI1端口和UBBPd6-1的CPRI1 端口连接,A TR端口和Antenna-3的正极连接;
RRU3962-3的CPRI0端口和UBBPd3 UO的CPRI5端口连接,CPRI1端口和UBBPd6-1的CPRI2 端口连接,A TR端口和Antenna-5的正极连接;
RRU3953-1的CPRI0端口和UBBPd6-3的CPRI0端口连接,A TR端口和Antenna-2的正极连接;
RRU3953-2的CPRI0端口和UBBPd6-3的CPRI1端口连接,A TR端口和Antenna-4的正极连接;
RRU3953-3的CPRI0端口和UBBPd6-3的CPRI2端口连接,A TR端口和Antenna-6的正极连接。
基于图3所示的基站设计方案,下面说明通过位图标识该基站设计方案的方式。
在可选实施例中,位图中每个器件大类对应的像素点都有对应的颜色,同一器件大类下的像素点的颜色相同,像素点的颜色深度表示像素点对应的器件的数量,具有相同的图像内容的像素点对应的器件之间有连接关系。举例说明,参见图4A,图4A示出了一种可能的位图表达方式,其中,各个器件大类MPT、BBU3910-0、RRU3962、RRU3953、Filter、Antenna 对应的颜色分别为:红色、黄色、绿色、蓝色、橙色、紫色;不同的颜色深度对应不同的器件数量,颜色深度为一级时对应的器件数量为1;具有相同数字的像素点对应的器件之间有连接关系。由于颜色和颜色深度无法在附图中直观表示,图4所示的位图通过文字标识颜色和颜色深度,由图可知,图4A通过位图示出了图3所示的完整的基站设计方案。
在另一可选实施例中,位图中每个器件大类对应的像素点都有对应的纹理,同一器件大类下的像素点的纹理相同,像素点的纹理密度表示像素点对应的器件的数量,具有相同的图像内容的像素点对应的器件之间有连接关系。举例说明,参见图4B,图4B示出了一种可能的位图表达方式,其中,各个器件大类MPT、BBU3910-0、RRU3962、RRU3953、Filter、Antenna 对应的纹理分别为:横连续线条、竖连续线条、斜连续线条、横非连续线条、竖非连续线条、斜非连续线条;不同的纹理密度对应不同的器件数量;具有相同数字的像素点对应的器件之间有连接关系。由图可知,图4A通过位图示出了图3所示的完整的基站设计方案。
可理解的,不限于上述两个可选实施例,具体实现中,可通过位图中像素点的任意的图像特征或图像内容表示像素点对应的器件的数量,通过位图中像素点的任意的图像特征或图像内容表示像素点对应的器件和其他器件之间的连接关系。
上述详细描述了本申请提供的位图表达设计方案的方式,通过位图来表达设计方案,能够使得机器提取位图中表达的设计方案中的特征,并进行学习。
机器在学习过程中,主要学习的是设计方案中各个器件的连接关系。本申请中需要基于两种类型的位图来学习设计方案中各个器件的连接关系,一种是带连接关系的位图,一种是不带连接关系的位图。
带连接关系的位图能够完整地表达设计方案的全部特征,包括器件类型、器件数量以及各个器件之间的连接关系,可参照前文对位图的相关描述、图4A-图4B以及相关描述。
不带连接关系的位图能够表达设计方案的除连接关系外的特征,包括器件类型和器件数量。不带连接关系的位图表达设计方案的特征的方式和前文中带连接关系的位图的不同之处在于,不需要表示各个器件之间的连接关系。
具体的,在不带连接关系的位图中,可将器件大类映射为位图的各列,将每个器件大类包含的器件型号映射为位图的各行;也可以相反,将器件大类映射为位图的各行,将每个器件大类包含的器件型号映射为位图的各列,本申请不做限制。
本申请中,可通过位图中像素点的坐标表示器件类型,通过该像素点的第一特征表示该像素点对应的器件的数量。具体的,像素点的第一特征可以为像素点的图像特征或者图像内容,不同的图像特征或图像内容可表示不同的器件数量。可理解的,像素点的图像特征可以是上述描述的任意一种,像素点的图像内容也可以是上述描述的任意一种。
下面以图3所示的通信领域中无线基站的设计场景为例,通过几个例子说明不带连接关系的位图的实现方式。
在可选实施例中,在不带连接关系的位图中,每个器件大类对应的像素点都有对应的颜色,同一器件大类下的像素点的颜色相同,像素点的颜色深度表示像素点对应的器件的数量。举例说明,参见图5A,图5A示出了一种可能的不带连接关系的位图表达方式,其中,各个器件大类MPT、BBU3910-0、RRU3962、RRU3953、Filter、Antenna对应的颜色分别为:红色、黄色、绿色、蓝色、橙色、紫色;不同的颜色深度对应不同的器件数量,颜色深度为一级时对应的器件数量为1。由于颜色和颜色深度无法在附图中直观表示,图5所示的位图通过文字标识颜色和颜色深度,由图可知,图5A通过位图示出了图3所示的基站设计方案中的器件类型和器件数量。
在另一可选实施例中,在不带连接关系的位图中,每个器件大类对应的像素点都有对应的纹理,同一器件大类下的像素点的纹理相同,像素点的纹理密度表示像素点对应的器件的数量。举例说明,参见图5B,图5B示出了一种可能的位图表达方式,其中,各个器件大类 MPT、BBU3910-0、RRU3962、RRU3953、Filter、Antenna对应的纹理分别为:横连续线条、竖连续线条、斜连续线条、横非连续线条、竖非连续线条、斜非连续线条;不同的纹理密度对应不同的器件数量。由图可知,图5A通过位图示出了图3所示的基站设计方案中的器件类型和器件数量。
对照图5A-图5B和图4A-图4B可知,图5A-图5B没有表示基站设计方案中各个器件的连接关系的第二特征(数字)。
可理解的,不限于上述两个可选实施例,具体实现中,在不带连接关系的位图中,可通过像素点的任意的图像特征或图像内容表示像素点对应的器件的数量。
本申请中,可将不带连接关系的位图称为第一位图,将带连接关系的位图称为第二位图。
基于上述对神经网络以及位图表达方式的说明,下面详细介绍本申请提供的数据处理方法。本申请的数据处理方法基于训练好的神经网络,以第一器件的第一位图为神经网络的输入,得到第一器件的连接关系的指示信息。这里,第一器件为一个设计方案中待连接的多个器件。第一器件的第一位图可表示出第一器件的器件类型和器件数量,结合得到的第一器件的连接关系的指示信息,可获知完整的设计方案。本申请中,将可以生成第一器件的连接关系的指示信息的神经网络称为第一神经网络。
本申请的数据处理方法可包括两个过程:训练过程和设计过程。本申请中,训练过程和设计过程可以由同一个终端完成,也可以由不同的终端完成。下面详细介绍。
(一)第一神经网络的训练过程。
本申请中,第一神经网络经过训练过程,可以得到一个较为准确的生成规则,使得第一神经网络的输出结果准确高效。
参见图6A,第一神经网络的训练过程可包括如下步骤:
S601、终端根据多个历史设计方案得到多组训练数据,每组训练数据包含第二器件的第一位图以及第二器件之间的连接关系的指示信息。
具体的,这里的多个历史设计方案为同一领域内相同类型的已知的全部设计方案或者优秀的设计方案。例如,在通信领域基站设计过程中,多个历史方案可以是多个优秀的基站设计方案,在建筑领域,多个历史方案可以是优秀的建筑设计方案,在机械领域,多个历史方案可以是优秀的机械设计方案。可理解的,在其他领域,例如电力领域等,多个历史方案可以是对应领域的设计方案。
其中,每个历史设计方案都包含器件类型、器件数量以及各个器件之间的连接关系。本申请中,将历史设计方案中包含的多个器件称为第二器件。每个历史设计方案的表现形式可以有多种,可以是和图3类似的器件连接图,也可以是文字描述的方式,也可以是表格呈现的方式,本申请不做限制。
本申请中,终端可根据多个历史设计方案得到多组训练数据,每组训练数据包含第二器件的第一位图以及第二器件之间的连接关系的指示信息。
第二器件的第一位图是根据上述的历史设计方案中的器件类型和器件数量生成的,第二器件的第一位图可表示出上述历史设计方案中的器件类型和器件数量,第二器件的第一位图的实现方式可参照前文关于位图的相关描述,在此不赘述。
第二器件之间的连接关系为上述历史设计方案中的各个器件之间的连接关系。
在可选实施例中,第二器件之间的连接关系的指示信息可以为文字、表格或代码等。
在另一可选实施例中,第二器件之间的连接关系的指示信息可以通过第二器件的第二位图表示,第二器件的第二位图的实现方式可参照前文关于位图的相关描述,在此不赘述。可理解的,通过第二器件的第二位图指示第二器件的连接关系的情况,每组训练数据中包含第二器件的第一位图以及第二器件的第二位图。
S602、终端根据多组训练数据训练第一神经网络。
本申请中,第一神经网络可以是具有自学习功能的任意一种神经网络。例如,第一神经网络可以是反向传播(back propagation,BP)神经网络、卷积神经网络(convolutional neural networks,CNN)、残差网络(residual network)等,也可以是传统GAN中的生成网络、条件生成式对抗网络(conditional generative adversarialnetworks,CGAN)中的生成网络、深度卷积生成式对抗网络(deep convolutionalgenerative adversarial networks,DCGAN) 中的生成网络、沃瑟斯坦生成式对抗网络(wasserstein generative adversarial networks, WGAN)中的生成网络等,本申请不做限制。
终端根据多组训练数据训练第一神经网络时,通过第一神经网络提取训练数据中,第二器件的器件类型、器件数量和器件连接关系,并学习器件类型、器件数量和器件连接关系之间的映射关系。对于不同的第一神经网络,终端训练第一神经网络的方法稍有不同。下面通过训练数据中包含第二器件的第一位图和第二位图的情况,以几个详细的例子说明
(1)第一神经网络可以是传统的BP网络
在这种情况下,终端采用反向传播的方式训练第一神经网络。简单来讲,就是采用迭代的算法来训练第一神经网络,输入初值,计算当前第一神经网络的输出,然后根据当前输出和真实数据之间的差去改变第一神经网络的生成规则,即前面各层的参数,使第一神经网络的输出尽可能地和真实数据相同。
具体的,第一神经网络的训练可分为4个步骤,这4个步骤被分为了两个阶段:
第一阶段,前向传播阶段:
1、首先,从多组训练数据中取一组训练数据(第二器件的第一位图,第二器件的第二位图),将第二器件的第一位图输入第一神经网络。
2、终端通过第一神经网络提取第二器件的第一位图中的信息(第二器件的器件类型、器件数量),量化为特征向量,将特征向量输入到输入层,经过隐含层,最后通过输出层得到输出向量,可将输出向量表现为第二器件的第三位图。
这里,第三位图为带连接关系的位图,是第一神经网络学习历史设计方案中的器件类型、器件数量和器件连接关系之间的映射关系并实际输出的。
第二阶段,后向传播阶段:
3、计算第二器件的第二位图和第二器件的第三位图之间的误差,相当于计算第一生成网络的实际输出和理想输出之间的误差。
其中,第二器件的第二位图是根据历史设计方案直接量化而来的,可以看作是准确或理想输出数据,第二器件的第三位图是第一神经网络实际生成的。
4、按照极小化误差的方法方向传播调整权矩阵。
即,通过计算得到的误差更新隐含层到输出层的权重、隐含层到隐含层的权重、隐含层到输入层的权重。最终,再通过更新后的权重重新计算输出的第二器件的第三位图和准确的第二器件的第二位图之间的误差,不停地迭代,以降低第一神经网络生成的第二器件的第三位图和准确的第二器件的第二位图之间的误差。
通过上述4个步骤,根据大量的训练数据训练第一神经网络,训练好的第一神经网络最终生成的第二器件的第三位图和准确的第二器件的第二位图之间的误差达到一定的精度,生成的第二器件的第三位图几乎可以看作是准确的。
(2)第一神经网络可以是CNN
CNN在本质上是一种输入到输出的映射,能够学习大量的输入与输出之间的映射关系,用已知的模式对CNN加以训练,CNN就具有输入输出对之间的映射能力。CNN的样本集是由形如:(输入向量,理想输出向量)的向量对构成的,在本申请中由(第二器件的第一位图,第二器件的第三位图)的向量对构成。
具体的,第一神经网络为CNN时,第一神经网络的网络结构中,包括卷积层(alternating convolutional layer)和池化层(pooling layer)。相邻两层之间使用局部连接的模式,同一层中某些神经元之间的连接的权重是共享的(即相同的)。这种情况下,第一神经网络的训练过程和上述BP网络的训练过程类似,也是通过分析第一神经网络生成的第二器件的第三位图和准确的第二器件的第二位图的误差,通过误差调整各层之间的权重,可参照前文的相关描述,在此不赘述。
进一步的,第一神经网络还可以是CNN中的网络中的网络(network in network,NIN)。 NIN的网络结构可包括:多层感知机卷积层(mlpconv),全局平均池化层(averagepooling)。其中,mlpconv在两个卷积层之间加一个多层感知机,感知机的输入是由上一层卷积位图得到的特征向量,输出一个新的位图特征,作为下一层更高维特征对应位置的值。忽略非线性函数,多层感知机就是对多个卷积核的结果线性加权,所以实际可用1×1的卷积实现。全局平均池化层抛弃了全连接层,全用卷积层。NIN网络中,输入K个位图,采用mlpconv对每个位图进行特征抽取后,得到概率矢量,输出学习了多种连接情况的位图特征,用于生成位图。
(3)第一神经网络还可以是生成式对抗网络中的生成网络
在这种情况下,终端在训练第一神经网络的同时还需训练对应的生成式对抗网络中的判别网络,本申请中,可将判别网络称为第二神经网络。参见图6B,下面介绍终端训练生成式对抗网络中的生成网络(第一神经网络)和判别网络(第二神经网络)的过程。
第一神经网络的训练过程:终端固定第二神经网络,优化第一神经网络,使第一神经网络输出尽可能和真实数据(第二器件的第二位图)一样的样本。可包括如下步骤:
1、固定第二神经网络,以第二器件的第一位图为第一神经网络的输入,输出第二器件的第三位图。
2、终端利用第二神经网络,确定第二置信度。
本申请中,终端可利用第二神经网络估计第二器件的第三位图是来自训练数据(即由历史设计方案直接量化而来),还是由第二神经网络生成。第二神经网络输出的是估计得到的第二器件的第三位图来自训练数据的概率,即,第二神经网络输出的是一个以0.5为最优值,介于0-1之间的数。当第二神经网络估计第二器件的第三位图是来自训练数据时,输出1;当第二神经网络估计第二器件的第三位图是由第一神经网络生成时,输出0。
本申请中,第二置信度为第二神经网络能够准确判别出所述第二器件的第三位图由训练数据得到或者由第一神经网络生成的概率,相当于第一神经网络生成的第二器件的第三位图的可信度。终端可将第二神经网络输出的值转换为一个直观的概念性(第二置信度)输出。简单举例说明,第二神经网络输出0.5时,第二置信度为100%;第二神经网络输出0或1时,第二置信度为10%。
3、终端利用第二置信度,更新第一神经网络的权重,交替迭代,优化第一神经网络。
当第一神经网络生成的第二器件的第三位图和第二器件的第二位图之间的误差越来越小时,即第二置信度越来越高时,第一神经网络生成的第二器件的第三位图几乎和第二器件的第二位图相同,第一神经网络训练成功。
上述第一神经网络的训练过程中,固定了第二神经网络,相当于第二神经网络的判别结果是可信的。为了得到可信的第一神经网络,终端还需要同时训练第二神经网络。
第二神经网络为生成式对抗网络中的判别网络,下面简单说明第二神经网络的训练过程。
第二神经网络的训练过程:终端固定第一神经网络,优化第二神经网络,使第二神经网络能够识别出真实数据(第二器件的第二位图)和生成数据(第二器件的第三位图)。可包括如下步骤:
1、固定第一神经网络,以第二器件的第二位图(真实数据)或者第二器件的第三位图(生成数据)为输入。
2、当输入来自于真实数据时,终端优化第二神经网络的网络结构,更新第二神经网络的权重,尽量使第二神经网络输出1;当输入来自于生成数据时,终端优化第二神经网络的网络结构,更新第二神经网络的权重,尽量使第二神经网络输出0。在上述第一神经网络和第二神经网络的训练过程中,终端极力优化第一神经网络和第二神经网络,从而形成竞争对抗,直到双方达到一个动态的平衡。此时,第一神经网络生成的数据和真实数据之间的误差很小,第二神经网络再也无法判断第二器件的第三位图是来自训练数据(即由历史设计方案直接量化而来),还是由第一神经网络生成的。此时,第二神经网络输出的数值趋近于0.5,相当于随机猜测。根据第二神经网络输出的数值转换为的概念性输出第二置信度则第二置信度高于第二阈值,趋近于100%,第一神经网络和第二神经网络训练成功。
可理解的,本申请中,生成式对抗网络可以是普通的GAN,也可以是DGAN、DCGAN、WGAN 等生成式对抗网络,相应的,第一神经网络和第二神经网络为对应生成式对抗网络中的生成网络和判别网络。在一个具体的实施例中,生成式对抗网络中的生成网络和判别网络都可以为CNN。
以WGAN为例,本申请中,第二神经网络(判别网络)的最后一层去掉了sigmod函数。以DCGAN为例,DCGAN取消了所有池化层(pooling layer),在生成网络中使用转置卷积(transposed convolutional layer)对位图特征进行采样,在判别网络中加入带有stride的卷积代替池化层;在生成网络和判别网络中均使用批规范化(batch normalization,BN); DCGAN中去掉全连接层,变为全卷积网络;生成网络中使用修正线性单元(retifiedlinear units,ReLU)作为激活函数,判别网络中使用漏洞修正线性单元(leakyretifiedlinear units, LeakyReLU)作为激活函数,在不同训练阶段抽取位图的高维特征;判别网络的最后一层使用回归模型,如:softmax回归模型、逻辑回归模型等,得到第二置信度。
上述详细描述了第一神经网络的训练过程,在第一神经网络训练完成后,可利用第一神经网络生成带连接关系的位图。下面介绍本申请中利用第一神经网络生成带连接关系的位图的具体过程,即设计过程。
(二)设计过程
参见图7A,图7A为本申请提供的数据处理方法,该方法可包括如下步骤:
S701、终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到第一器件的连接关系的指示信息。
本申请中,第一器件的第一位图可以是该终端根据用户输入的原始信息生成的,也可以是其他终端根据用户输入的原始信息生成的,第一器件的第一位图中可表示第一器件的器件类型及器件数量。
这里,用户输入的原始信息可包括第一器件的器件类型和器件数量,第一器件是待设计方案中包含的器件。用户输入的原始信息可以是和表1类似的表格,也可以是和图3类似的不带连接关系的器件图。终端可将原始信息中包括的第一器件的器件类型和器件数量通过编码器,生成第一器件的第一位图,具体的第一器件的第一位图的表示方式可参照前文有关位图的相关描述,在此不赘述。
本申请中,终端利用训练好的第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到第一器件的连接关系的指示信息。可选的,第一神经网络输出的第一器件的连接关系的指示信息可以有多个,即,终端可利用训练好的第一神经网络生成了多个第一器件的连接方案。
这里,第一神经网络得到第一器件的连接关系的指示信息的过程和第一神经网络训练过程中的前向传播阶段类似,可包括以下两个步骤:
1、首先,将第一器件的第一位图输入第一神经网络。
2、终端通过第一神经网络提取第一器件的第一位图中的信息(第一器件的器件类型、器件数量),量化为特征向量,将特征向量输入到输入层,经过隐含层,最后通过输出层得到输出向量,该输出向量可以指示第一器件之间的连接关系。
进一步地,在可选实施例中,可将第一器件的连接关系的指示信息通过第一器件的第二位图的形式表达,即,最后第一神经网络的输出层输出的为第一器件的第二位图,第一器件的第二位图可用于表示第一器件的器件类型、器件数量和连接关系。可理解的,当第一器件的连接关系的指示信息可以有多个时,第一神经网络输出多个第一器件的第二位图。第一器件的第二位图的表示方式可参照前文有关位图的相关描述,在此不赘述。
可选的,该方法还可包括如下步骤:
S702、终端根据第一器件的连接关系的指示信息,得到第一器件的器件连接图。
具体的,在第一神经网络训练完成后,第一神经网络输出的信息可以看作是准确可靠的。此时,终端通过第一神经网络输出了指示第一器件的连接关系的信息,用户可根据第一器件的连接关系和已知的器件类型、器件数量,获知完整的设计方案。进一步的,用户可根据完整的设计方案,利用设计工具或画图工具,将设计方案转换为器件连接图,能直观地表示完整的设计方案。
进一步的,在可选实施例中,当第一神经网络最终输出的为第一器件的第二位图时,终端可根据第一器件的第二位图直接生成器件连接图。
在另一可选实施例中,参见图7B,当第一神经网络为生成式对抗网络中的生成网络时,在第一神经网络输出第一器件的第二位图后,还可通过第二神经网络确定第一置信度,在第一置信度高于第一阈值的情况下,终端将第一器件的第二位图转换为器件连接图。其中,第一阈值可以是用户自主确定的,也可以是终端根据实际情况确定的,第一置信度为第二神经网络能够准确判别出所述第一器件的第二位图由训练数据得到或者由第一神经网络生成的概率,相当于第一神经网络生成的第一器件的第二位图的可信度。当第一置信度高于第一阈值的情况时,说明第一神经网络的输出是可靠的,即,第二神经网络已经无法判别第一器件的第二位图和训练数据的差别很小。具体的,第二神经网络输出的是一个以0.5为最优值,介于0-1之间的数,终端可将第二神经网络输出的值转换为一个直观的概念性(第一置信度) 输出。简单举例说明,第二神经网络输出0.5时,第一置信度为100%;第二神经网络输出0 或1时,第一置信度为10%。在第一置信度高于第一阈值的情况下,说明第一神经网络输出的第一器件的第二位图和训练数据的差别极小,生成的第一器件的第二位图是可靠的有效的,该第一器件的第二位图对应的设计方案能够应用到现实场景中。
具体的,终端在将第一器件的第二位图转换为器件连接图时,基于位图的表达方式,通过解码器进行反向编码,包括:提取第一器件的第二位图中的像素点的坐标,确定所述器件连接图中的器件类型;提取所述第一器件的第二位图中的第一图像特征,确定所述器件连接图中的器件数量;提取所述第一器件的第二位图中的第二图像特征,确定所述器件连接图中的器件连接关系;根据确定的器件类型、器件数量和连接关系生成器件连接图。
其中,第一器件的第二位图中确定的器件连接关系表示了哪些器件有连接,部分器件有多个端口,这种情况下,可以依照对应领域(通信、建筑、电力等)约定的连接规则确定使用哪些端口连接各个器件。例如,在通信领域基站内各个器件的连接规则可如下:
端口连接优先顺序:
1、对于基带板(BBU):按照单板端口支持的制式和频段,确定连接能力;一般优选0、1、 2的端口连接,次选3、4、5号端口依次连接。
2、对于射频板(RXU):按照单板端口支持的制式和频段,确定连接能力;按照0、1的端口顺序连接。
可理解的,其余的端口可按照基本的物理特性连接,例如,射频板的ATR端口和天线的正极相连。
可理解的,这里的0,1,2,3,4,5号端口即图3所示器件连接图中的CPRI0,CPRI1,CPRI2,CPRI3,CPRI4,CPRI5端口。
在其他领域中,具体的端口连接规则不再一一列举。
S703、终端输出所述第一器件的器件连接图。
具体的,第一器件的器件连接图可直观地表示终端通过第一神经网络学习得到的设计方案。
通过图6A及图7A所示方法实施例,通过位图的方式表达设计方案的特征,能够简洁地描述设计方案,且有利于第一神经网络学习设计方案的特征。终端可通过第一神经网络学习历史设计方案,训练好的第一神经网络可根据新的设计场景中的器件类型和器件数量,生成器件连接关系的指示信息。相当于第一神经网络通过学习输出设计方案,且输出的设计方案可靠、准确、可实现。
综上,本申请提供的数据处理方法,终端能够学习优秀的历史设计方案,并输出有效、可靠的新的设计方案,简单方便。
上述详细描述了本申请的数据处理方法,为了便于更好地实施本申请的上述方法,相应地,下面提供了本申请的相关装置。
参见图8,图8是本申请提供的一种终端800的结构示意图。终端800可以是前述方法实施例中的所述终端,可用于利用第一神经网络,以第一器件的第一位图为第一神经网络的输入,得到第一器件的连接关系的指示信息。进一步的,第一器件的连接关系的指示信息可以通过位图的形式表达,即,终端可以利用第一神经网络输出第一器件的第二位图。
终端80可以是移动设备、移动台(mobile station)、移动单元(mobile unit)、M2M终端、无线单元,远程单元、终端代理、移动客户端等等。
如图8所示,终端800可包括:一个或多个终端处理器801、存储器802、通信接口803、接收器805、发射器806、耦合器807、天线808、用户接口809,以及输入输出模块(包括音频输入输出模块810、按键输入模块811以及显示器812等)。这些部件可通过总线804或者其他方式连接,图8以通过总线连接为例。其中:
通信接口803可用于终端800与其他通信设备,例如网络设备、其他终端进行通信。具体的,通信接口803可以是长期演进(LTE)(4G)通信接口,也可以是5G或者未来新空口的通信接口。不限于无线通信接口,终端800还可以配置有有线的通信接口803,例如局域接入网(local access network,LAN)接口。
发射器806可用于对终端处理器801输出的信号进行发射处理,例如通过波束成形实现定向发送。接收器805可用于对天线808接收的移动通信信号进行接收处理,例如通过波束成形实现定向接收。
在本申请的一些实施例中,发射器806和接收器805可看作一个无线调制解调器。在终端800中,发射器806和接收器805的数量均可以是一个或者多个。天线808可用于将传输线中的电磁能转换成自由空间中的电磁波,或者将自由空间中的电磁波转换成传输线中的电磁能。耦合器807用于将天线808接收到的移动通信信号分成多路,分配给多个的接收器805。
除了图8所示的发射器806和接收器805,终端800还可包括其他通信部件,例如GPS模块、蓝牙(bluetooth)模块、无线高保真(wireless fidelity,Wi-Fi)模块等。不限于上述表述的无线通信信号,终端800还可以支持其他无线通信信号,例如卫星信号、短波信号等等。不限于无线通信,终端800还可以配置有有线网络接口(如LAN接口)来支持有线通信。
所述输入输出模块可用于实现终端800和终端/外部环境之间的交互,可主要包括音频输入输出模块810、按键输入模块811以及显示器812等。具体的,所述输入输出模块还可包括:摄像头、触摸屏以及传感器等等。其中,所述输入输出模块均通过用户接口809与终端处理器801进行通信。
存储器802与终端处理器801耦合,用于存储各种软件程序和/或多组指令。具体的,存储器802可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器802可以存储操作系统(下述简称系统),例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器802还可以存储网络通信程序,该网络通信程序可用于与一个或多个附加设备,一个或多个终端设备,一个或多个网络设备进行通信。存储器802还可以存储终端接口程序,该终端接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来,并通过菜单、对话框以及按键等输入控件接收终端对应用程序的控制操作。
在本申请的一些实施例中,存储器802可用于存储本申请的一个或多个实施例提供的数据处理方法在终端800侧的实现程序。
终端处理器801可用于读取和执行计算机可读指令。具体的,终端处理器801可用于调用存储于存储器812中的程序,例如本申请的一个或多个实施例提供的数据处理方法在终端 800侧的实现程序,并执行该程序包含的指令。
需要说明的,图8所示的终端800仅仅是本申请实施例的一种实现方式,实际应用中,终端800还可以包括更多或更少的部件,这里不作限制。
参见图9,图9是本发明实施例提供的一种终端900的功能模块图,终端900可包括以下功能单元:
第一生成单元910,用于利用第一神经网络,以第一器件的第一位图为第一神经网络的输入,得到第一器件的第二位图;第一器件的第一位图用于表示第一器件的器件类型、器件数量,第一器件的第二位图用于表示第一器件的器件类型、器件数量、连接关系。
转换单元920,用于将第一器件的第二位图转换为器件连接图。
本申请中,第一神经网络由多组训练数据训练得到,训练数据包含第二器件的第一位图以及第二器件的第二位图;第二器件的第一位图用于表示第二器件的器件类型、器件数量,第二器件的第二位图用于表示第二器件的器件类型、器件数量、连接关系,多组训练数据中的第二器件包括第一器件。
在可选实施例中,终端900还可包括:
接收单元930,用于接收输入的第一器件的器件类型、器件数量;
第三生成单元940,用于根据第一器件的器件类型、器件数量生成第一器件的第一位图。
在可选实施例中,终端900还可包括:
确定单元950,用于利用第二神经网络,确定第一置信度,第一置信度为第一器件的第二位图的可信度;
所述转换单元920,具体用于在第一置信度达到第一阈值的情况下,将第一器件的第二位图转换为器件连接图;
其中,第二神经网络由多组训练数据训练得到。
在可选实施例中,终端900还可包括:训练单元960,
所述第一生成单元910,还用于利用训练前的第一神经网络,以第二器件的第一位图为输入,生成第二器件的第三位图;
所述训练单元960,用于根据第二器件的第二位图和第二器件的第三位图训练第一神经网络和第二神经网络。
在可选实施例中,终端900还可包括:第二生成单元970,用于根据第二器件的器件类型、器件数量生成第二器件的第一位图;还用于根据第二器件的器件类型、器件数量、连接关系生成第二器件的第二位图。
在可选实施例中,所述训练单元960,具体用于利用第二神经网络,对比分析第二器件的第二位图和第二器件的第三位图,得到第二置信度,第二置信度为第二器件的第三位图的可信度;利用第二置信度,优化第一神经网络和第二神经网络,以使训练单元利用所述第二神经网络得到的第二置信度高于第二阈值。
在可选实施例中,第一位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量;第一特征至少包括图像特征或图像内容。
在可选实施例中,在第二位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量,像素点的第二特征表示器件连接关系;第一特征至少包括图像特征或图像内容,第二特征至少包括图像特征或图像内容。
在可选实施例中,在第二位图中,第一特征为颜色深度,第二特征为图像内容,具有相同图像内容的像素点对应的器件之间有连接关系。
在可选实施例中,转换单元920具体用于提取第一器件的第二位图中的像素点的坐标,确定器件连接图中的器件类型;提取第一器件的第二位图中的第一特征,确定器件连接图中的器件数量;提取第一器件的第二位图中的第二特征,确定器件连接图中的器件连接关系。
可以理解的,关于图9的终端900包括的功能块的具体实现方式,可参考前述图6A-图6B,图7A-图7B所示方法实施例的相关描述,这里不赘述。
综上,实施本申请提供的数据处理方法,终端能够学习优秀的历史设计方案,并输出有效、可靠的新的设计方案,简单方便。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk) 等。
Claims (21)
1.一种数据处理方法,其特征在于,包括:
终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图;所述第一器件的第一位图用于表示所述第一器件的器件类型、器件数量,所述第一器件的第二位图用于表示所述第一器件的器件类型、器件数量、连接关系;
所述终端将所述第一器件的第二位图转换为器件连接图;
其中,所述第一神经网络由多组训练数据训练得到,所述训练数据包含第二器件的第一位图以及所述第二器件的第二位图;所述第二器件的第一位图用于表示所述第二器件的器件类型、器件数量,所述第二器件的第二位图用于表示所述第二器件的器件类型、器件数量、连接关系,所述多组训练数据中的第二器件包括所述第一器件。
2.如权利要求1所述的方法,其特征在于,所述终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图之后,还包括:
所述终端利用第二神经网络,确定第一置信度,所述第一置信度为所述第一器件的第二位图的可信度;
所述终端将所述第一器件的第二位图转换为器件连接图,具体包括:
在所述第一置信度达到第一阈值的情况下,所述终端将所述第一器件的第二位图转换为器件连接图;
其中,所述第二神经网络由所述多组训练数据训练得到。
3.如权利要求2所述的方法,其特征在于,所述终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图之前,还包括:
所述终端通过所述多组训练数据训练所述第一神经网络和所述第二神经网络,具体包括:
所述终端利用训练前的所述第一神经网络,以所述第二器件的第一位图为输入,生成所述第二器件的第三位图;
所述终端根据所述第二器件的第二位图和所述第二器件的第三位图训练所述第一神经网络和所述第二神经网络。
4.如权利要求3所述的方法,其特征在于,所述终端通过所述多组训练数据训练所述第一神经网络之前,还包括:
所述终端根据所述第二器件的器件类型、器件数量生成所述第二器件的第一位图;
所述终端根据所述第二器件的器件类型、器件数量、连接关系生成所述第二器件的第二位图。
5.如权利要求3所述的方法,其特征在于,所述终端根据所述第二器件的第二位图和所述第二器件的第三位图训练所述第一神经网络和所述第二神经网络,包括:
所述终端利用所述第二神经网络,对比分析所述第二器件的第二位图和所述第二器件的第三位图,得到第二置信度,所述第二置信度为所述第二器件的第三位图的可信度;
所述终端利用所述第二置信度,优化所述第一神经网络和第二神经网络,以使所述终端利用所述第二神经网络得到的所述第二置信度高于第二阈值。
6.如权利要求1所述的方法,其特征在于,所述终端利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图之前,还包括:
所述终端接收输入的所述第一器件的器件类型、器件数量;
所述终端根据所述第一器件的器件类型、器件数量生成所述第一器件的第一位图。
7.如权利要求1所述的方法,其特征在于,
在所述第一位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量;所述第一特征至少包括图像特征或图像内容。
8.如权利要求1-7任一项所述的方法,其特征在于,
在所述第二位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量,像素点的第二特征表示器件连接关系;所述第一特征至少包括图像特征或图像内容,所述第二特征至少包括图像特征或图像内容。
9.如权利要求8所述的方法,其特征在于,
在所述第二位图中,所述第一特征为颜色深度,所述第二特征为图像内容,具有相同图像内容的像素点对应的器件之间有连接关系。
10.如权利要求8所述的方法,其特征在于,所述终端将所述第一器件的第二位图转换为器件连接图具体包括:
所述终端提取所述第一器件的第二位图中的像素点的坐标,确定所述器件连接图中的器件类型;
提取所述第一器件的第二位图中的第一特征,确定所述器件连接图中的器件数量;
提取所述第一器件的第二位图中的第二特征,确定所述器件连接图中的器件连接关系。
11.一种终端,其特征在于,包括:第一生成单元、转换单元,其中,
第一生成单元,用于利用第一神经网络,以第一器件的第一位图为所述第一神经网络的输入,得到所述第一器件的第二位图;所述第一器件的第一位图用于表示所述第一器件的器件类型、器件数量,所述第一器件的第二位图用于表示所述第一器件的器件类型、器件数量、连接关系;
转换单元,用于将所述第一器件的第二位图转换为器件连接图;
其中,所述第一神经网络由多组训练数据训练得到,所述训练数据包含第二器件的第一位图以及所述第二器件的第二位图;所述第二器件的第一位图用于表示所述第二器件的器件类型、器件数量,所述第二器件的第二位图用于表示所述第二器件的器件类型、器件数量、连接关系,所述多组训练数据中的第二器件包括所述第一器件。
12.如权利要求11所述的终端,其特征在于,还包括:
确定单元,用于利用第二神经网络,确定第一置信度,所述第一置信度为所述第一器件的第二位图的可信度;
所述转换单元,具体用于在所述第一置信度达到第一阈值的情况下,将所述第一器件的第二位图转换为器件连接图;
其中,所述第二神经网络由所述多组训练数据训练得到。
13.如权利要求12所述的终端,其特征在于,还包括:训练单元,
所述第一生成单元,还用于利用训练前的所述第一神经网络,以所述第二器件的第一位图为输入,生成所述第二器件的第三位图;
所述训练单元,用于根据所述第二器件的第二位图和所述第二器件的第三位图训练所述第一神经网络和所述第二神经网络。
14.如权利要求13所述的终端,其特征在于,还包括:
第二生成单元,用于根据所述第二器件的器件类型、器件数量生成所述第二器件的第一位图;还用于根据所述第二器件的器件类型、器件数量、连接关系生成所述第二器件的第二位图。
15.如权利要求13所述的终端,其特征在于,
所述训练单元,具体用于利用所述第二神经网络,对比分析所述第二器件的第二位图和所述第二器件的第三位图,得到第二置信度,所述第二置信度为所述第二器件的第三位图的可信度;
利用所述第二置信度,优化所述第一神经网络和第二神经网络,以使所述训练单元利用所述第二神经网络得到的所述第二置信度高于第二阈值。
16.如权利要求11所述的终端,其特征在于,还包括:
接收单元,用于接收输入的所述第一器件的器件类型、器件数量;
第三生成单元,用于根据所述第一器件的器件类型、器件数量生成所述第一器件的第一位图。
17.如权利要求11所述的终端,其特征在于,
在所述第一位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量;所述第一特征至少包括图像特征或图像内容。
18.如权利要求11-17任一项所述的终端,其特征在于,
在所述第二位图中,像素点的坐标表示器件类型,像素点的第一特征表示器件数量,像素点的第二特征表示器件连接关系;所述第一特征至少包括图像特征或图像内容,所述第二特征至少包括图像特征或图像内容。
19.如权利要求18所述的终端,其特征在于,
在所述第二位图中,所述第一特征为颜色深度,所述第二特征为图像内容,具有相同图像内容的像素点对应的器件之间有连接关系。
20.如权利要求18所述的终端,其特征在于,
所述转换单元,具体用于提取所述第一器件的第二位图中的像素点的坐标,确定所述器件连接图中的器件类型;
提取所述第一器件的第二位图中的第一特征,确定所述器件连接图中的器件数量;
提取所述第一器件的第二位图中的第二特征,确定所述器件连接图中的器件连接关系。
21.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-10所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710963288.6A CN107766643B (zh) | 2017-10-16 | 2017-10-16 | 数据处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710963288.6A CN107766643B (zh) | 2017-10-16 | 2017-10-16 | 数据处理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107766643A CN107766643A (zh) | 2018-03-06 |
CN107766643B true CN107766643B (zh) | 2021-08-03 |
Family
ID=61269275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710963288.6A Active CN107766643B (zh) | 2017-10-16 | 2017-10-16 | 数据处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107766643B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549685A (zh) * | 2018-04-08 | 2018-09-18 | 武志学 | 行为分析方法、装置、系统及可读存储介质 |
CN108566397B (zh) * | 2018-04-19 | 2020-12-01 | 国网黑龙江省电力有限公司电力科学研究院 | 面向数据恢复业务的专用远程数据传输系统及传输方法 |
US20210384953A1 (en) * | 2018-10-11 | 2021-12-09 | Nokia Solutions And Networks Oy | Deep Learning Eigen-Beamforming |
CN109978807B (zh) * | 2019-04-01 | 2020-07-14 | 西北工业大学 | 一种基于生成式对抗网络的阴影去除方法 |
CN110188987A (zh) * | 2019-04-19 | 2019-08-30 | 山东开创云软件有限公司 | 一种水资源调度的方法、设备及存储介质 |
CN110837058B (zh) * | 2019-11-06 | 2021-10-19 | 江苏科技大学 | 基于大数据的电池组健康状态评估装置及评估方法 |
CN111402327B (zh) * | 2020-03-17 | 2024-03-22 | 韶鼎人工智能科技有限公司 | 一种基于全卷积神经网络的室外照片太阳位置估计方法 |
CN113900860A (zh) * | 2021-10-27 | 2022-01-07 | 重庆邮电大学 | 基于cgan的无线传感器网络故障节点的数据恢复方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101466145A (zh) * | 2009-01-04 | 2009-06-24 | 上海大学 | 基于神经网络的双基站精确定位方法 |
US8655939B2 (en) * | 2007-01-05 | 2014-02-18 | Digital Doors, Inc. | Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor |
CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
-
2017
- 2017-10-16 CN CN201710963288.6A patent/CN107766643B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8655939B2 (en) * | 2007-01-05 | 2014-02-18 | Digital Doors, Inc. | Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor |
CN101466145A (zh) * | 2009-01-04 | 2009-06-24 | 上海大学 | 基于神经网络的双基站精确定位方法 |
CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
Non-Patent Citations (1)
Title |
---|
一种神经网络变结构电力系统稳定器的设计;刘瑞叶等;《继电器》;20020815;第30卷(第8期);第33-35、49页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107766643A (zh) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766643B (zh) | 数据处理方法及相关装置 | |
CN109840531B (zh) | 训练多标签分类模型的方法和装置 | |
CN106778995B (zh) | 一种与图像融合的艺术化二维码生成方法及装置 | |
CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
JP2014527210A (ja) | オプティカルフローを決定するためのコンテンツ適応型システム、方法、及び装置 | |
CN112749609B (zh) | 人体图像分割方法、装置、计算机设备及存储介质 | |
CN113378911B (zh) | 图像分类模型训练、图像分类方法及相关装置 | |
US20220067888A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
CN113822951A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112084959B (zh) | 一种人群图像处理方法及装置 | |
US10452955B2 (en) | System and method for encoding data in an image/video recognition integrated circuit solution | |
CN116569218A (zh) | 图像处理方法和图像处理装置 | |
CN107809343B (zh) | 一种网络协议识别方法及装置 | |
US20190220699A1 (en) | System and method for encoding data in an image/video recognition integrated circuit solution | |
CN115272667B (zh) | 农田图像分割模型训练方法、装置、电子设备和介质 | |
CN111222558A (zh) | 图像处理方法及存储介质 | |
CN106530286A (zh) | 确定清晰度级别的方法及装置 | |
CN113963428B (zh) | 模型训练方法、遮挡检测方法、系统、电子设备及介质 | |
CN113902044B (zh) | 一种基于轻量级yolov3的图像目标提取方法 | |
CN113938685B (zh) | 面向大规模图像存储的认知型软件可调整图像编码装置 | |
CN115860024A (zh) | 二维码的识别方法和识别装置 | |
CN115941112A (zh) | 一种便携式隐蔽通信方法、计算机设备及存储介质 | |
CN111738034B (zh) | 车道线的检测方法和装置 | |
CN111339315A (zh) | 知识图谱构建方法、系统、计算机可读介质和电子设备 | |
CN109961083A (zh) | 用于将卷积神经网络应用于图像的方法和图像处理实体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |