CN116801219A - 一种基于6g网络的ai按需服务方法 - Google Patents
一种基于6g网络的ai按需服务方法 Download PDFInfo
- Publication number
- CN116801219A CN116801219A CN202310935507.5A CN202310935507A CN116801219A CN 116801219 A CN116801219 A CN 116801219A CN 202310935507 A CN202310935507 A CN 202310935507A CN 116801219 A CN116801219 A CN 116801219A
- Authority
- CN
- China
- Prior art keywords
- network
- model
- user
- service
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 19
- 238000003058 natural language processing Methods 0.000 claims description 16
- 238000011161 development Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 description 283
- 230000018109 developmental process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于6G网络的AI按需服务方法,包括:预先将AI模型进行模块化处理,获得多个处理模块并且每个处理模块均具有特定的功能;根据用户发起的服务请求和服务需求对用户任务进行分类,并编排所述用户任务的动态调度策略,所述动态调度策略包括所要调用、复用或组合的AI模型的顺序;根据网络节点的计算和存储资源,将所述动态调度策略中包含的AI模型的处理模块部署在6G网络中的网络节点上;在所述网络节点处调用AI模型的处理模块执行当前任务。本发明通过将AI模型模块化,并部署在6G网络中的网络节点上,实现了泛在的AI按需服务;支持不同AI模型模块的调用和组合,从而提升了6G网络的AI服务能力和效率。
Description
技术领域
本发明属于通信技术领域,具体涉及一种基于6G网络的AI按需服务方法。
背景技术
随着6G技术的应用和普及,用户对更高质量和更个性化服务的需求越来越大。在传统的通信服务中,运营商通常为用户提供基础的通信服务,如语音、短信和互联网接入。但随着人工智能技术的发展和普及,用户开始期望更高级别的服务,例如,智能语音识别、图像识别、自然语言处理、预测和决策支持等。通过运用6G网络实现泛在AI(ArtificialIntelligence,人工智能)服务的技术,用户可以通过网络直接访问AI模型和方法,实现更高质量、更智能化和更个性化的服务。
目前已有的AI服务包括:基于云端的AI服务模式、基于边缘计算的AI服务模式和基于区块链和智能合约的去中心化AI服务模式。其中,基于云端的AI服务是目前已有的基于人工智能的服务提供模式,例如云服务或SaaS(软件即服务)等,这些服务通常需要用户将数据上传到云端进行处理和分析,然后再将结果返回给用户。
基于边缘计算的AI服务还包括基于5G网络的AI服务模式。目前的5G网络已经开始提供低延迟和高带宽的通信服务,为AI服务的部署和提供了更好的条件。例如,一些运营商已经开始使用5G网络提供AR/VR服务、智能监控、自动驾驶等应用。但是,基于5G网络的AI服务模式仍然面临着一些问题,例如需要将数据上传到云端进行处理,从而带来安全风险和延迟问题,同时,用户也无法对AI模型进行自定义和修改。
基于区块链和智能合约的去中心化AI服务模式:目前已经有一些公司和研究机构开始探索基于区块链和智能合约的去中心化AI服务模式。这些模式通过区块链技术实现数据的加密和安全存储,同时通过智能合约实现服务的自动化和透明化。但是,这些模式仍然面临着一些技术挑战,例如性能问题、隐私保护等。
现有AI服务模式普遍存在以下问题:(1)网络延迟高、依赖于云端的带宽和计算能力、数据安全难以保障等;(2)边缘设备的计算能力和存储空间有限、管理复杂、能力不足等。(3)性能问题、隐私保护等技术挑战,同时也需要面临区块链技术的限制和复杂性。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于6G网络的AI按需服务方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于6G网络的AI按需服务方法,包括:
S1:预先将AI模型进行模块化处理,获得多个处理模块并且每个处理模块均具有特定的功能;
S2:根据用户发起的服务请求和服务需求对用户任务进行分类,并编排所述用户任务的动态调度策略,所述动态调度策略包括所要调用、复用或组合的AI模型的顺序;
S3:根据网络节点的计算和存储资源,将所述动态调度策略中包含的AI模型的处理模块部署在6G网络中的网络节点上;
S4:在所述网络节点处调用AI模型的处理模块执行当前任务。
在本发明的一个实施例中,所述S1包括:
根据收集的经训练或待训练的AI模型的复杂度、模型所需资源的大小、功能及应用场景,对当前AI模型进行拆分并将拆分后的各部分分别封装在不同的模块中;将所述不同的模块存储在所述6G网络中的模型库中。
在本发明的一个实施例中,所述S2包括:
S2.1:所述6G网络接收服务请求和服务需求,以及用户任务的相关数据;
S2.2:根据当前市场需求、应用场景和技术发展趋势将用户任务划分为五类任务之一,所述五种类型包括计算机视觉任务、自然语言处理任务、声音识别任务、强化学习任务和推荐系统任务;
S2.3:根据用户提出的服务需求,分析用户请求中的关键信息,对分类后的任务自动匹配合适的AI模型模块,并编排所要调用、复用或组合的AI模型的动态调度策略。
在本发明的一个实施例中,所述S2.3包括:
根据客户需求,利用约束条件获取满足条件的AI模型:
其中,α={α1,α2,…αn}是二元指标变量,值为0表示编排的AI服务方案中没有使用AI模型Mj;值为1表示编排的AI服务方案中使用AI模型Mj,d表示用户输入的数据大小,μ表示在6G网络架构中的平均数据传输率,tq表示要求的服务时延,δq表示要求的服务质量,M={M1,M2,…Mj,…Mn}表示能够执行当前类任务的n种不同的AI模型。
在本发明的一个实施例中,所述S3包括:
S3.1:确定所述6G网络中可执行当前任务的网络资源层,其中,所述6G网络具有多层6G网元节点;
S3.2:所述网络资源层获取任务的动态调度策略,将当前网络资源层各个6G网元节点负载均衡的前提下,根据用户的地理位置、请求类型、网络状况因素将所需AI模块的对应处理模块部署在对应的网元节点处。
在本发明的一个实施例中,在所述S3.1包括:
判断分类后的任务是否能在离用户最近的本地资源层上执行,则直接执行;若无法在本地资源层上执行,则将当前任务上传至所述6G网络中更高级别的网络资源层,直至找到所述6G网络中能够执行当前任务的网络资源层。
在本发明的一个实施例中,所述基于6G网络的AI按需服务方法还包括:
接收用户上传的经训练的AI模型,所述6G网络对所述AI模型进行分析和评估,确保上传的AI模型满足特定的规范要求,并将所述AI模型封装成AI模块存储至所述模块库。
在本发明的一个实施例中,所述基于6G网络的AI按需服务方法还包括:
定期收集用户在使用AI服务过程中产生的数据,对所述数据进行分析,并根据分析结果AI模型模块进行更新和优化。
在本发明的一个实施例中,所述基于6G网络的AI按需服务方法还包括:
通过收集和分析用户在使用AI服务过程中产生的数据,构建每个用户的画像,包括用户的兴趣、偏好和行为模式。
与现有技术相比,本发明的有益效果有:
1、本发明通过将AI模型模块化,并部署在6G网络中的网络节点上,能够最大程度地减少网络的延迟,提高网络的响应速度,并支持不同AI模型模块的调用和组合,从而提升了6G网络的AI服务能力和效率。同时,将AI模型模块化能够大大提高AI模型的可重用性,节省AI模型的训练时间,进而减少网络的能耗。本发明中所提出的AI模型模块化的方法,将大型AI模型拆分成多个小模块,每个小模块都包含了特定的功能,可根据用户需求任意组合这些小模块,从而实现对AI模型的灵活调用。同时,AI模型的复用性也大大提高,只要是具有相同功能的AI模型模块,都可以在不同的场景中进行复用。从而实现6G网络可以直接向用户提供一个泛在的AI按需服务。这个框架提供了一个新的方法来实现智能服务的交付和管理,具有更高的效率和可扩展性。因此,为6G网络带来了更高的智能化水平,从而提高了用户的体验和运营商的盈利能力。
2、本发明支持用户上传自己的AI模型,为用户提供了更加个性化和定制化的AI服务。本发明实施例提供了一个可扩展、灵活和高效的架构,使6G网络能够提供更加智能和个性化的服务,满足不同用户的需求,提高网络的使用效率和用户的满意度。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于6G网络的AI按需服务方法的流程图;
图2是本发明实施例提供的一种基于6G网络的AI按需服务方法的框架示意图;
图3是本发明实施例提供的一种基于6G网络的AI按需服务方法的处理过程示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于6G网络的AI按需服务方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种基于6G网络的AI按需服务方法,请一并参见图1至图3,该AI按需服务方法包括:
S1:预先将AI模型进行模块化处理,获得多个处理模块并且每个处理模块均具有特定的功能。
根据收集的经训练或待训练的AI模型的复杂度、模型所需资源的大小、功能及应用场景,对每个AI模型进行拆分并将拆分后的各部分分别封装在不同的模块中;将所述不同的模块存储在所述6G网络中的模型库中。
具体地,基于6G网络的AI按需服务,在实现对用户按需服务前需要建立AI模型模块化的框架,将训练好的AI模型以及待训练的AI模型进行模块化设计,将AI模型或方法拆分成模块,并且每个模块具备特定的功能。将AI模型或方法进行模块化是为了使其能够方便地部署在6G网络中的网络节点上并且便于后续的部署和管理。模块化可以根据AI模型或方法的功能和应用场景来进行,例如,可以将某一AI模型分为语音识别模块、图像识别模块等。在本实施例中,所拆分的模块作为6G网元中包含的资源。
AI模型的模块化需要将AI模型封装至不同的模块中,不同容量的模块有不同大小的资源可供该AI模型使用。也就是说,即使是相同的AI模型在不同容量的模块中,AI模型的质量和推理速度是不一样的,这是因为模块所提供的资源大小不同导致。
AI模型模块化需要考虑到AI模型的可重用性、可拓展性以及可配置性,以满足不同场景下的需求。对于非常大的AI模型,为了将该种AI模型模块化,需要对它们进行合理的分解和组织。对于稍微大型的AI模型,可以按照功能将其分解成多个模块,如特征提取模块、分类模块、回归模块等。对于极大型且复杂的AI模型,可以进一步进行分解,将其分解成更小的模块。同时,还需要对这些模块进行组织和管理,以便在需要时进行调用,这种组织管理同一个AI模型的分散模块是包含在一开始对用户需求转译时编排出对应的AI模型服务方案过程中的。
随后考虑将各种不同的AI模型的处理模块部署在6G网络中的网络节点(6G网元)上,这是实现6G网络可以直接给用户提供一个泛在的AI按需服务的关键。这里需要考虑到6G网络的通信延迟、计算资源、存储资源、网元节点负载均衡等问题。对于不同的应用场景和不同的网络节点,需要针对性地选择合适的AI模型进行部署,并进行合理的资源分配。
S2:根据用户发起的服务请求和服务需求对用户任务进行分类,并编排所述用户任务的动态调度策略,所述动态调度策略包括所要调用、复用或组合的AI模型的顺序。
在本实施例中,步骤S2具体包括:
S2.1:所述6G网络接收服务请求和服务需求,以及用户任务的相关数据。
首先,用户向6G网络发起服务请求和服务需求,并上传服务的相关数据。6G网络中基于AI的需求分析和服务方案制定模块对用户输入的服务请求和服务需求进行分析。
S2.2:根据当前市场需求、应用场景和技术发展趋势将用户任务划分为五类任务之一,所述五种类型包括计算机视觉任务、自然语言处理任务、声音识别任务、强化学习任务和推荐系统任务。
在本步骤中,根据当前市场需求、应用场景和技术发展趋势将用户任务划分为典型的五类任务:计算机视觉任务、自然语言处理任务、声音识别任务、强化学习任务、推荐系统任务,目的是为了更好地理解和分类用户需求并尽可能地覆盖各种主流和常见的任务类型。并且这五类任务和对应的AI模型在不同领域和应用场景中均有广泛的应用。比如,计算机视觉任务和自然语言处理任务在人机交互、智能家居、自动驾驶等领域中有广泛应用;声音识别任务在语音识别、语音合成、音频处理等领域中有广泛应用;强化学习任务在机器人控制、游戏设计、金融预测等领域中有广泛应用;推荐系统任务在电商、社交网络、新闻推荐等领域中有广泛应用。
通过将任务划分为这五类任务,可以使运营商更容易识别和满足用户的需求,从而优化资源分配和任务执行。此外,这种将用户任务分类的方法有助于简化问题和解决方案的复杂性,使得网络能够更高效地处理各种任务。同时,对任务进行分类还有助于运营商对网络资源进行合理规划和管理,实现对不同类型任务的优先级调整和资源分配。这样的分类方式也有利于发现各类任务之间的共性和差异,从而推动AI模型和技术的进一步发展和优化。
其中,五类典型任务及对应解决的一些AI模型具体如下:
(一)计算机视觉任务:
计算机视觉是AI领域的一个重要分支,它致力于使计算机能够像人类一样感知和理解图像和视频中的信息,如物体、人、场景等。计算机视觉任务包括目标检测、图像分类、图像分割、人脸识别等任务。这些任务在无人驾驶、智能监控、医疗图像诊断等领域具有广泛的应用。对于这个计算机视觉任务,典型的AI模型包括卷积神经网络(CNN)、循环神经网络(RNN)、图像分割网络(U-Net)等。具体的一些预训练的模型如下:
(a)图像分类:VGG、ResNet、Inception、MobileNet等。
(b)目标检测:YOLO、Faster R-CNN、SSD等。
(c)人脸识别:FaceNet、SphereFace等。
(d)图像分割:FCN、Mask R-CNN等。
(二)自然语言处理任务:
自然语言处理(NLP)关注计算机和人类之间的自然语言交流。NLP任务包括文本分类、命名实体识别、情感分析、语义理解等任务。这些任务在搜索引擎、聊天机器人、智能客服等领域有着广泛应用。自然语言处理任务是指使计算机能够理解和生成自然语言文本。对于这类任务,典型的AI模型包括循环神经网络(RNN)、长短时记忆网络(LSTM)、Transformer等。具体的一些预训练的模型如下:
(a)文本分类:CNN、RNN、LSTM、Transformer等。
(b)命名实体识别:BiLSTM-CRF、BERT等。
(c)机器翻译:Seq2Seq、Transformer等。
(d)文本生成:LSTM、GAN等。
(三)声音识别任务:
声音识别任务主要涉及从声音信号中提取特征并识别出相关信息,如语音识别、声纹识别等任务。这些任务在智能语音助手、电话客服、语音安全验证等领域有重要应用。声音识别任务是指使计算机能够识别和理解语音信号,如语音识别和语音合成等。对于这类任务,典型的AI模型包括卷积神经网络(CNN)、长短时记忆网络(LSTM)、门控循环单元网络(GRU)等。具体的一些预训练的模型如下:
(a)语音识别:DeepSpeech、wav2vec等。
(b)声纹识别:x-vector、Deep Speaker Embeddings等。
(四)强化学习任务:
强化学习是一种以目标为导向的机器学习方法,它通过与环境交互来学习最佳策略。强化学习任务包括导航、控制、优化等任务。这些任务在无人驾驶、机器人技术、智能调度等领域发挥着重要作用。强化学习任务是指使计算机通过试错的方式来学习如何做出最优的决策。对于这类任务,典型的AI模型包括深度强化学习网络(DRL)等。具体的一些预训练的模型如下:
(a)Q-learning:DQN、Double DQN等。
(b)策略梯度:REINFORCE、A3C、PPO等。
(c)深度强化学习:Dueling Network、Rainbow等。
(五)推荐系统任务:
推荐系统任务是AI领域的一个关键应用,其通过分析用户的行为和兴趣,为用户提供个性化的信息和服务。推荐系统任务在电商、广告、新闻、音乐等领域具有广泛的应用。推荐系统任务是指使计算机能够根据用户的历史行为和偏好,为用户推荐相似的产品或服务。对于这类任务,典型的AI模型包括协同过滤算法、基于内容的推荐算法、深度学习推荐算法等。具体的一些预训练的模型如下:
(a)基于协同过滤的推荐:UserCF、ItemCF等。
(b)基于内容的推荐:TF-IDF、TextCNN等。
(c)基于深度学习的推荐:DeepFM、Wide&Deep、NCF等。
S2.3:根据用户提出的服务需求,分析用户请求中的关键信息,对分类后的任务自动匹配合适的AI模型模块,并编排所要调用、复用或组合的AI模型的动态调度策略。
进一步地,对用户任务完成分类之后,位于中央处理器的AI服务方案编排单元根据用户提出的对于服务的需求,在该类任务的AI模型中编排调用、复用或组合其中的一个或几个AI模型,作为针对该用户需求的一个服务方案。这个针对每个用户的特定需求制定的AI服务方案就是一个动态调度策略,使得网络节点可以根据用户需求实时地调用和组合不同的AI模型模块。在用户发起请求时,该AI服务方案编排单元将分析用户请求中的关键信息,如任务类型、数据类型等,并根据这些信息自动匹配合适的AI模型模块。随后传输到网络资源层,网络节点在考虑资源分配和负债均衡的前提下将这些编排的模块按照一定的顺序进行组合,以满足用户需求。
假设五类服务对应的任务表示为S={S1,S2,S3,S4,S5},用户的需求为R(tq,δq),其中,tq表示要求的服务时延,δq表示要求的服务QoS(Quality of service,服务质量)。
在用户任务分类后,假设该类任务为Si(i=1,…,5),该类任务下有n种不同的AI模型M={M1,M2,…Mj,…Mn}可以实现该类任务,且不同AI模型有不同的模型质量η和模型推理速度λ,即对于某个AI模型Mj:
其中,ηj和λj分别表示第j个模型的模型质量和模型推理速度。
在用户的需求下,为用户请求的服务编排AI模型服务方案,即在下列约束下调用或者组合满足条件的AI模型去处理用户数据完成按需服务:
其中,α={α1,α2,…αn}为二元指标变量,即,值为0时表示编排AI服务方案中没有使用AI模型Mj;值为1时,表示编排AI服务方案中使用AI模型Mj。d表示用户输入的数据大小,μ表示在6G网络架构中的平均数据传输率。
调用AI模型是实现AI按需服务的核心步骤。为了保证模型能够快速、高效地响应用户的需求,需要考虑模型在6G网络中的缓存和优化,以减少模型调用的延迟。这里还需要考虑调用的灵活性、响应速度、计算效率等问题。对于不同的应用场景和不同的用户需求,需要实现灵活的AI模型调用机制。同时,还需要采用高效的计算方法和算法,以保证响应速度和计算效率。其中调用AI模型可以分为三种不同的调用:
(1)单个AI模型调用:
其意义在于将专门开发的AI模型应用于实际场景中,从而实现更高效、更准确的自动化处理。这种单个AI模型的调用包括小型AI模型的调用以及大型AI模型的调用,其中,由于小型AI模型是整个模型被封装在一个模块中,因此,只需要调用一个AI模块即可,是编排AI服务方案中最简单的一种编排方案;而大型AI模型本身会被分解为多个不同的模块,在编排时需要考虑该AI模型的不同模块的组合调用以及某个模块的复用,因此,单个大型AI模型调用的编排方案就会较为复杂。
在调用单个AI模型时,通常需要提供相应的输入数据,例如图像、文本或音频等,随后将数据传递给AI模型进行处理。AI模型将根据其训练过程中学习到的知识和算法处理数据,并输出相应的结果,例如分类、预测、识别等。单个AI模型的调用在实际应用中具有广泛的作用。例如,可以使用计算机视觉模型来实现图像识别、目标检测、人脸识别等功能;使用自然语言处理模型来实现文本分类、情感分析、机器翻译等功能;使用语音识别模型来实现语音转文字、声纹识别等功能。这些功能可以应用于各种场景,例如智能安防、智能客服、自动驾驶等领域。单个AI模型的调用是实现自动化处理和智能化应用的重要手段之一。通过调用适当的AI模型,可以提高系统的准确性和效率,从而实现更好的用户体验和业务效益。
(2)AI模型复用:
AI模型的复用是指利用已经训练好的模型,在新的任务中重复利用这些模型,以提高训练效率和模型的准确性。这样做的好处是可以节省大量的时间和资源,同时可以避免从头开始训练模型所面临的困难和不确定性。
在本实施例中,AI模型的复用主要有两种方式:一种是直接使用已经训练好的模型,另一种是对已有的模型进行微调。直接使用已经训练好的模型可以快速实现新任务的训练和预测,但是由于不同任务之间的差异性,直接使用可能存在一定的准确率问题。因此,对已有的模型进行微调可以更好地适应新的任务,提高准确率。具体地,由于不同用户上传的数据格式不同,因此在执行任务时,会根据用户的数据格式对模型进行微调,以适应用户的数据格式。AI模型的复用是提高AI按需服务效率的重要手段,可以避免重复计算和资源浪费,提高网络的利用率。对于已经训练好的AI模型,可以采用缓存的方式进行复用。对于需要训练的AI模型,可以采用增量训练的方式进行复用。
而AI模型的复用情况大多出现在编排方案中存在调用大型AI模型的情况中,比如某一时刻网络同时收到多个用户的服务请求,而其中好几个用户需求转译后的编排服务方案中都包括大型AI模型的调用,这些不同的大型AI模型中可能都包括特征提取模块,则可以复用同一个特征提取模块,以减少服务时延,减少资源浪费以及提高服务效率。
在实际应用中,AI模型的复用非常常见。例如,语言模型BERT在自然语言处理领域得到了广泛的应用,包括问答、文本分类、命名实体识别等任务。BERT模型的复用可以大大提高这些任务的训练效率和准确性。
(3)多个AI模型的组合使用:
多个AI模型的组合使用可以通过结合多种模型的优点,得到更好的效果。一般而言,多个AI模型的组合使用可以通过串行或并行的方式实现。
串行的方式是将多个模型按照一定的顺序依次进行处理,即将第一个模型的输出作为第二个模型的输入,以此类推,直至得到最终结果。这种方式适用于多个模型需要依次完成某一特定任务的场景,如文本分类、目标检测等。而并行的方式则是将多个模型同时运行,各自处理自己的输入数据,并将结果进行汇合,得到最终的输出结果。这种方式适用于多个模型需要同时处理大量数据或在处理过程中相互独立的场景,如机器翻译、图像分割等。
在多个AI模型的组合使用中,模型的选择和设计是至关重要的。通常需要根据实际应用场景和需求,选择不同的模型,并将其合理地组合使用。例如,对于自然语言处理领域,可以使用词向量模型、循环神经网络模型和注意力机制模型等进行文本处理和语义分析,再将这些模型组合起来用于文本分类、情感分析等任务。
此外,多个AI模型的组合使用还需要考虑模型之间的交互和协作。不同的模型之间需要通过合理的接口和数据流进行交互,并根据实际应用场景进行适当的调整和优化。例如,可以通过加入中间层来将不同模型的输出进行转换和调整,以适应后续模型的输入要求,从而实现模型更好的组合和协同使用。
总之,多个AI模型的组合使用是一种重要的AI技术手段,可以充分发挥各个模型的优势,进一步提高AI按需服务的效率和灵活性。通过组合使用不同的AI模型,可以实现更复杂的功能和更高的性能。同时,还可以针对不同的应用场景和不同的用户需求,选择不同的AI模型进行组合,以实现更加个性化的服务。
S3:根据网络节点的计算和存储资源,将所述动态调度策略中包含的AI模块的处理模块部署在6G网络中的网络节点上。
在本步骤中,将当前用户任务所要使用的AI模块部署在6G网络中的网络节点(6G网元)上,以实现网络直接提供用户的AI服务,在部署时需要考虑网络节点的计算和存储资源,以保证网络的性能和稳定性。在6G网络中的网络节点上部署AI模型模块是为了使其能够实现泛在的AI按需服务。
请参见图2,整个基于6G网络的AI按需服务框架是一个具有多层6G网元节点的网络AI架构,通过整合和协调跨领域的传感、存储、通信、计算、控制和人工智能资源,处理本地/区域用户数据,并运行分布式AI算法,可以为每个用户提供个性化的定制服务。
本实施例的步骤S3具体包括:
S3.1:确定所述6G网络中能够执行当前任务的网络资源层,其中,所述6G网络具有多层6G网元节点。
用户在本地设备端发送自己的服务需求到6G网络,请求获取AI服务。6G网络接收端通过AI技术,如NLP(自然语言处理)方法分析语言文字,对用户需求进行识别和分类,并进行初步处理。此时,判断分类后的任务是否能在用户附近离用户最近的本地资源层(如智能手机或物联网设备)上执行,则直接执行;若无法在本地资源层上执行,则将当前任务上传至所述6G网络中更高级别的网络资源层,直至找到所述6G网络中能够执行当前任务的网络资源层,所述网络资源层可以是云端服务器、边缘服务器或其他设备等,层数越高,离用户越远,但每个网络节点的算力和资源越大。如果该任务在当前层无法得到解决,则上传到更高的网络资源层。
一旦找到可执行该任务的网络资源层,网络开始部署和调用AI模型来执行该任务,并将结果返回至用户以实现按需服务。在部署和调用AI模型时,可以采用多种方法,包括单个AI模型的调用、复用、多个AI模型的组合使用、以及用户上传自己的AI模型等。单个AI模型的调用可以通过在部署好的AI模型中选择一个适合该任务的模型来实现。而AI模型的复用可以提高AI模型的利用率,减少冗余的开发和部署工作,从而降低整个网络的成本。多个AI模型的组合使用可以通过将多个模型的结果进行组合和整合,从而得到更精确和全面的结果。用户上传自己的AI模型可以让用户自定义模型并上传至网络中,供其他用户使用或在需要时使用。其中,AI模型的部署可以通过网络中已经部署好的模型来实现,也可以根据用户上传的AI模型进行部署。在执行任务前,网络需要对部署AI模型的合法性和安全性进行检验,以确保网络和用户的数据和隐私得到保护。
S3.2:所述网络资源层获取任务的动态调度策略,将当前网络资源层各个6G网元节点负载均衡的前提下,根据用户的地理位置、请求类型、网络状况因素将所需AI模块的对应处理模块部署在对应的网元节点处。
具体地,网络资源层在获得AI服务编排方案后,将在各个6G网元节点负载均衡的前提下进行AI模块的部署,以实现在最小的成本下,实现最低时延和高Qos的资源分配和资源优化来完成AI服务。为了确保6G网络中的AI服务具有高可用性和稳定性,使用一种基于用户需求的网络节点负载均衡策略。根据用户的地理位置、请求类型、网络状况等因素,将编排的AI服务方案分配给最适合处理该请求的节点,并将方案的AI模块部署在这些网络节点上从而实现负载均衡并提高服务质量,即AI模块部署的过程是一个资源优化的过程。
需要说明的而是,在提供AI服务时,能够方便地调用、复用和组合不同的AI模块,以适应不同的应用场景和用户需求,以实现多样化的AI服务(为了保证用户隐私和安全,需要进行权限管理和数据隔离)。针对不同的应用场景和需求,调用和组合不同的AI模型或方法模块是为了实现更加精准和高效的AI服务。并且通过AI模型的训练和复用,可以不断提升6G网络的AI服务能力和效率。
S4:在所述网络节点处调用AI模型的处理模块执行当前任务,并将结果返回至用户。
S5:接收用户上传的经训练的AI模型,验证模型的有效性并将验证通过的模型保存至模型库中。若用户允许公开上传的AI模型,所述6G网络对所述AI模型进行分析和评估,并把所述AI模型封装成AI模块存储至所述模块库。
本发明实施例的AI按需服务方法支持用户上传、训练和使用自定义AI模型,用户可以将自己训练好的AI模型上传至6G网络中,之后该用户可以随时随地在网络中使用自己上传的AI模型,能够满足用户对个性化AI模型的需求,同时也可以提高网络的灵活性和可扩展性。
当用户需要使用特定的AI模型进行任务处理时,可以选择上传自己训练好的模型,而不是使用系统预置的模型。这样可以确保模型与用户的特定需求相匹配,而且可以在需要时更改模型。用户上传自己的模型通常需要满足一定的规范要求,比如模型的格式和模型训练的数据集的格式等。一旦模型被上传,系统可以验证模型的有效性并将其保存在模型库中以备将来使用。用户可以在模型库中管理自己上传的模型,包括查看模型的详细信息、下载模型、共享模型等。用户可以选择保密的AI模型也可以选择公开自己的AI模型,对于用户自己公开的AI模型,运营商可对其进行分析和评估并把该AI模型封装成AI模块以实现AI模块库的更新和优化。
对于用户而言,上传自己的AI模型可以帮助其更好地展示自己的技术能力和研究成果,同时也可以获取其他用户的反馈和评论,进一步完善和优化自己的模型。此外,上传自己的AI模型还可以帮助用户扩大自己的影响力和知名度,有利于职业发展和科研工作。
对于平台方而言,接受用户上传的AI模型需要对模型进行一定的审核和管理,确保上传的模型不违反相关法律法规,并且在技术上能够与平台的系统兼容。同时,平台需要提供一定的模型管理功能,让用户可以方便地上传、管理和共享自己的模型。例如,平台可以提供模型版本控制、模型可视化展示、模型共享和交流等功能,进一步增强平台的社交性和互动性。
对于网络系统管理员来说,上传的模型需要经过安全验证,以确保它们不包含任何恶意代码或病毒。同时,管理员还需要验证上传的模型是否符合系统的性能要求,如处理时间、内存使用等方面。此外,管理员还需要确保上传的模型不会损坏系统的稳定性。
上传自己的AI模型是一个非常有用的功能,可以为用户提供更多的选择,帮助他们更好地解决特定的问题。此外,这也促进了知识共享和协作,使得整个AI社区的进步更加快速和高效。
此外,当6G网络中没有特定的AI模型可用时,可以基于用户到达的数据进行训练,以生成新的AI模型。
通过将AI模型嵌入到6G网络节点中,6G网络可以直接提供泛在的AI按需服务,从而提高运营商的盈利,为用户带来更好的网络体验。不仅可以为运营商提供更多的盈利模式,例如,基于AI模型提供增值服务、合作共享AI模型等,同时也可以为用户提供更加便捷和个性化的AI服务,例如,智能家居、智能健康等领域。这种嵌入式AI模型在6G网络中的实现,为运营商和用户带来了双重优势。
本实施例的AI按需服务方法还包括:定期收集用户在使用AI服务过程中产生的数据,对所述数据进行分析,并根据分析结果AI模型模块进行更新和优化。
具体地,为了确保6G网络中的AI模型或方法模块始终保持最新的技术水平,该方法还包含一种自动更新和优化机制。运营商可以定期收集和分析用户在使用AI服务过程中产生的数据,从而发现可能存在的问题和不足。然后,运营商可以根据这些分析结果,对AI模型或方法模块进行更新和优化。此外,用户也可以为优化提供反馈意见,以帮助运营商更好地理解用户需求。
本实施例的AI按需服务方法还包括:通过收集和分析用户在使用AI服务过程中产生的数据,构建每个用户的画像,包括用户的兴趣、偏好和行为模式。
具体地,本发明实施例的AI按需服务方法还提出了一种基于用户画像的个性化AI服务方案。通过收集和分析用户在使用AI服务过程中产生的数据,运营商可以构建每个用户的画像,包括用户的兴趣、偏好、行为模式等。然后,运营商可以根据这些用户画像,为每个用户提供更加个性化和精准的AI服务。此外,用户画像还可以帮助运营商更好地了解用户需求,从而制定更加合适的服务策略和营销策略。
此外,该AI按需服务方法还提出了一个在线开发和共享平台,供开发者和运营商共同参与AI模型、模块的开发。在该平台上,开发者和用户可以公开发布自己开发的AI模型或方法模块,供其他开发者或运营商下载和使用。同时,运营商也可以在平台上发布自己的需求,以吸引开发者为其开发合适的AI模型或方法模块。这样的平台不仅可以促进完善基于6G网络的AI按需服务的网络框架,并且可以促进AI技术的发展和应用,还可以激发更多创新和合作。
当6G网络和AI模型结合在一起,能实现更快、更准确、更可靠的按需服务。6G网络拥有更高的速率、更低的延迟和更多的连接数,可以支持更大规模的数据处理和传输,能够提供更好的网络基础设施支持。而AI模型则可以对这些数据进行深度分析和处理,提供更为精准和智能的服务。
本发明实施例基于6G网络的AI按需服务方法的优点主要有以下几点:
1、提高用户体验与满意度:通过将AI模型模块化和部署在6G网络节点上,可以实现6G网络直接向用户提供智能化的服务,使用户可以获得更快、更准确和更个性化的AI服务,从而提高用户体验和满意度。由于AI模型能够根据用户的实际需求自动调整服务,因此用户还能够获得更好的体验和更准确的结果。同时用户可以根据自己的需求上传、训练、调用和组合AI模型,从而实现6G网络的灵活性和可定制性,提高网络服务的个性化和差异化水平。
2、优化网络性能与效率:通过将AI模型直接部署在6G网络节点上,可以避免将大量数据传输到云端进行处理,减少数据传输和处理的时间和成本,从而降低了网络的负载,提高了网络效率。由于经过将用户端需求转译后得到编排的AI服务方案,该方案调用、复用和组合使用基于AI模型的封装模块,能够自动处理大量数据和复杂的任务,因此网络还能够更快地响应和处理用户请求,可以更好地利用网络资源,实现资源的共享和优化利用,提高网络效率和性能。
3、增加网络运营商收益与市场竞争力:运营商可以通过向用户提供智能化的AI按需服务,实现网络“随心所想”,可以为运营商提高盈利能力和市场竞争力,此外,支持用户自己上传的AI模型和训练好的模型也可以为网络运营商创造更多盈利来源。
4、促进AI技术发展与创新:由于6G网络中的AI模型是模块化和可复用组合的,而部署AI模型在6G网络节点上有助于推动AI技术发展和应用,提供更大的创新空间,因此运营商和开发人员能够更轻松地创新和实现新的功能,从而为用户提供更多样化和个性化的服务。
5、提高数据隐私保护:由于用户可以上传自己的AI模型,并在网络中使用它们,因此用户可以更好地控制自己的数据和隐私,增强了对隐私的控制,避免泄露和滥用。同时,由于AI模型是在网络节点上本地运行,因此用户的数据也不会离开本地网络节点,从而增强了数据安全和隐私保护。
总之,该基于6G网络的AI按需服务方法充分利用了6G网络的优点和AI模型的优点,将两者结合起来,实现了更为快速、精准、灵活和安全的按需服务。
在本发明所提供的几个实施例中,应该理解到,本发明所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于6G网络的AI按需服务方法,其特征在于,包括:
S1:预先将AI模型进行模块化处理,获得多个处理模块并且每个处理模块均具有特定的功能;
S2:根据用户发起的服务请求和服务需求对用户任务进行分类,并编排所述用户任务的动态调度策略,所述动态调度策略包括所要调用、复用或组合的AI模型的顺序;
S3:根据网络节点的计算和存储资源,将所述动态调度策略中包含的AI模型的处理模块部署在6G网络中的网络节点上;
S4:在所述网络节点处调用AI模型的处理模块执行当前任务。
2.根据权利要求1所述的基于6G网络的AI按需服务方法,其特征在于,所述S1包括:
根据收集的经训练或待训练的AI模型的复杂度、模型所需资源的大小、功能及应用场景,对当前AI模型进行拆分并将拆分后的各部分分别封装在不同的模块中;将所述不同的模块存储在所述6G网络中的模型库中。
3.根据权利要求1所述的基于6G网络的AI按需服务方法,其特征在于,所述S2包括:
S2.1:所述6G网络接收服务请求和服务需求,以及用户任务的相关数据;
S2.2:根据当前市场需求、应用场景和技术发展趋势将用户任务划分为五类任务之一,所述五种类型包括计算机视觉任务、自然语言处理任务、声音识别任务、强化学习任务和推荐系统任务;
S2.3:根据用户提出的服务需求,分析用户请求中的关键信息,对分类后的任务自动匹配合适的AI模型模块,并编排所要调用、复用或组合的AI模型的动态调度策略。
4.根据权利要求3所述的基于6G网络的AI按需服务方法,其特征在于,所述S2.3包括:
根据客户需求,利用约束条件获取满足条件的AI模型:
其中,α={α1,α2,…αn}是二元指标变量,值为0表示编排的AI服务方案中没有使用AI模型Mj;值为1表示编排的AI服务方案中使用AI模型Mj,d表示用户输入的数据大小,μ表示在6G网络架构中的平均数据传输率,tq表示要求的服务时延,δq表示要求的服务质量,M={M1,M2,…Mj,…Mn}表示能够执行当前类任务的n种不同的AI模型。
5.根据权利要求1所述的基于6G网络的AI按需服务方法,其特征在于,所述S3包括:
S3.1:确定所述6G网络中可执行当前任务的网络资源层,其中,所述6G网络具有多层6G网元节点;
S3.2:所述网络资源层获取任务的动态调度策略,将当前网络资源层各个6G网元节点负载均衡的前提下,根据用户的地理位置、请求类型、网络状况因素将所需AI模块的对应处理模块部署在对应的网元节点处。
6.根据权利要求5所述的基于6G网络的AI按需服务方法,其特征在于,在所述S3.1包括:
判断分类后的任务是否能在离用户最近的本地资源层上执行,则直接执行;若无法在本地资源层上执行,则将当前任务上传至所述6G网络中更高级别的网络资源层,直至找到所述6G网络中能够执行当前任务的网络资源层。
7.根据权利要求1所述的基于6G网络的AI按需服务方法,其特征在于,还包括:
接收用户上传的经训练的AI模型,所述6G网络对所述AI模型进行分析和评估,确保上传的AI模型满足特定的规范要求,并将所述AI模型封装成AI模块存储至所述模块库。
8.根据权利要求1所述的基于6G网络的AI按需服务方法,其特征在于,还包括:
定期收集用户在使用AI服务过程中产生的数据,对所述数据进行分析,并根据分析结果AI模型模块进行更新和优化。
9.根据权利要求1至8中任一项所述的基于6G网络的AI按需服务方法,其特征在于,还包括:
通过收集和分析用户在使用AI服务过程中产生的数据,构建每个用户的画像,包括用户的兴趣、偏好和行为模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310935507.5A CN116801219A (zh) | 2023-07-27 | 2023-07-27 | 一种基于6g网络的ai按需服务方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310935507.5A CN116801219A (zh) | 2023-07-27 | 2023-07-27 | 一种基于6g网络的ai按需服务方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116801219A true CN116801219A (zh) | 2023-09-22 |
Family
ID=88036880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310935507.5A Pending CN116801219A (zh) | 2023-07-27 | 2023-07-27 | 一种基于6g网络的ai按需服务方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116801219A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311998A (zh) * | 2023-11-30 | 2023-12-29 | 卓世未来(天津)科技有限公司 | 一种大模型部署方法及系统 |
-
2023
- 2023-07-27 CN CN202310935507.5A patent/CN116801219A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311998A (zh) * | 2023-11-30 | 2023-12-29 | 卓世未来(天津)科技有限公司 | 一种大模型部署方法及系统 |
CN117311998B (zh) * | 2023-11-30 | 2024-03-05 | 卓世未来(天津)科技有限公司 | 一种大模型部署方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836473B2 (en) | Active adaptation of networked compute devices using vetted reusable software components | |
US10938515B2 (en) | Intelligent communication message format automatic correction | |
Puttonen et al. | Semantics-based composition of factory automation processes encapsulated by web services | |
Zhao et al. | Coordination between control layer AI and on-board AI in optical transport networks | |
CN115485690A (zh) | 用于处置聊天机器人的不平衡训练数据的分批技术 | |
US10825446B2 (en) | Training artificial intelligence to respond to user utterances | |
CN108780444A (zh) | 可扩展设备和依赖于域的自然语言理解 | |
CN116801219A (zh) | 一种基于6g网络的ai按需服务方法 | |
Saghiri et al. | The internet of things, artificial intelligence, and blockchain: implementation perspectives | |
Wang et al. | Network meets chatgpt: Intent autonomous management, control and operation | |
CN112330519A (zh) | 一种数据处理的方法和装置 | |
EP4252149A1 (en) | Method and system for over-prediction in neural networks | |
Gilbert | Artificial intelligence for autonomous networks | |
US20230368074A1 (en) | Self-contained artificial intelligence (ai) exectuable to automate model hosting, deployment, and ai life cycle | |
US20230064816A1 (en) | Automated cognitive load-based task throttling | |
US20220207384A1 (en) | Extracting Facts from Unstructured Text | |
Mustafa et al. | Data mining algorithms for Web-services classification | |
Gan et al. | A FIPA-ACL Ontology in enhancing interoperability multi-agent communication | |
Marinakis et al. | Efficient Data Management and Interoperability Middleware in Business-Oriented Smart Port Use Cases | |
Mechkaroska et al. | Architectural scalability of conversational chatbot: the case of ChatGPT | |
Ghedass et al. | Autonomic computing and incremental learning for the management of big services | |
Alizadehsani et al. | Deep Learning-Based Code Auto-Completion for Distributed Applications | |
US11645599B2 (en) | System and method for autonomous workflow management and execution | |
CN116719627B (zh) | 数据处理方法、装置、设备及存储介质 | |
US20220237447A1 (en) | Hybrid graph neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |