CN116884393A - 一种压弹式多级缓冲生成式ai通信方法 - Google Patents

一种压弹式多级缓冲生成式ai通信方法 Download PDF

Info

Publication number
CN116884393A
CN116884393A CN202310974882.0A CN202310974882A CN116884393A CN 116884393 A CN116884393 A CN 116884393A CN 202310974882 A CN202310974882 A CN 202310974882A CN 116884393 A CN116884393 A CN 116884393A
Authority
CN
China
Prior art keywords
data
server
generation
answer
technology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310974882.0A
Other languages
English (en)
Inventor
王志民
施鉴泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Shenzhi Technology Co ltd
Original Assignee
Beijing Zhongke Shenzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Shenzhi Technology Co ltd filed Critical Beijing Zhongke Shenzhi Technology Co ltd
Priority to CN202310974882.0A priority Critical patent/CN116884393A/zh
Publication of CN116884393A publication Critical patent/CN116884393A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种压弹式多级缓冲生成式AI通信方法,包括如下步骤:步骤一:客户提出问题通过ASR解析成文本指令传递给大语言模型解析;步骤二:大语言模型解析通过多媒体解答得出答案并通过TTS转换成答案语音传递给语音动作驱动运算,大语言模型解析、TTS转换以及语音动作驱动运算通过服务器并发技术进行服务器缓存,服务器缓存再通过云管边端同步多并发技术和云端服务的队列缓冲技术进行客户端缓存;步骤三:语音动作驱动运算将答案语音通过压弹式多并发缓冲存储技术将其在客户端缓存然后声音动作解析播放。本发明通过压弹式多级缓冲生成式AI通信技术解决了低延时、鲁棒性、事务完整性和减少服务器并发压力,最终以近实时的方式保证生成式AI结果呈现的通信技术。

Description

一种压弹式多级缓冲生成式AI通信方法
技术领域
本发明属于AI通信领域,具体地说是一种压弹式多级缓冲生成式AI通信方法。
背景技术
2D、3D数字人端到端生成、渲染、极速通信技术在同类产品中,基本上分为前端生成、渲染和云端生成、渲染两种。在通信过程中,都是根据业务端的要求,推理或特征运算后,将运算后数据通知到渲染引擎,在引擎中加载美术模型进行生成和驱动,最后将渲染结果,要么是以流的方式推到前端容器中进行呈现,要么是前端驱动引擎加容器展示的方式进行呈现。这些方式都存在一个问题,就是所有业务过程是串行的、有延时的、非事务性和不健壮的,任何一步出错,都将造成整个过程失败,同时也对服务端并发运算压力和性能要求高。
发明内容
本发明提供一种压弹式多级缓冲生成式AI通信方法,用以解决现有技术中的缺陷。
本发明通过以下技术方案予以实现:
1、一种压弹式多级缓冲生成式AI通信方法,其特征在于:包括如下步骤:
步骤一,当用户录入问题时,生做好时效性标记,准备结果的准备工作;
步骤二:根据录入的问题和时效性,首先从向量库中寻找相应答案,当答案不存在时,用大语言模型查找答案,并对该问题进行记录;
步骤三:将获取的答案进行TTS的转换和动作预生成过程,生成后,存储在服务端;
步骤四:通过同步机制,客户端和服务端之间进行数据服务同步,同步后,客户端对数据进行边缘侧缓存;
步骤五:根据步骤一中的时效性标记,服务端自行任务驱动,对数据结果和动作结果进行新的替换生成,并保持与客户端的同步;
步骤六:当客户提出问题,通过ASR解析成文本指令,先从客户端进行数据消费,从前端存储得到相应的动作数据和声音数据,并放入内存,进行前端的AI服务生成;同时,该数据消费后,会向服务端提出申请,要求新增该问题新的处理数据;当该事务过程未结束时,内存中数据不会更改;此处相当于将结果压入弹仓,等待击发;未击发时,也可以根据业务同步结果进行数据的修正。
如上所述的一种压弹式多级缓冲生成式AI通信方法,所述的所述的服务端缓存和客户端缓存采用高速缓冲存储器Cache。
如上所述的一种压弹式多级缓冲生成式AI通信方法,所述的所述的步骤四中的数据服务同步包括同步问和答、同步答案的声音以及同步该答案所生成动作视频驱动数据。
本发明的优点是:
1、本发明通过压弹式多级缓冲生成式AI通信技术,由于是将生成式AI当作一个整体事务性工作。通过分解事务,利用并发技术、多级缓冲区技术、预生成技术,使每次的响应速度极快,既能减少网络偶发性失效带来的整体呈现性失效,又便于服务器的弹性部署,还能避免整体事务的串行化不健康性。而且还能解决低延时、鲁棒性、事务完整性和减少服务器并发压力,最终以近实时的方式保证生成式AI结果呈现的通信技术。
2、数据并发技术的优点:并发编程在任务处理上的效率远远大于单线程。此处的创新是将运算过程、逻辑调用过程按物联网模式,分成云管边端的多端运行。既有云端的高可用,又充分利用边缘智能算力,还降低了通信实时性压力。
3、多级缓冲区技术的优点:多级缓存的主要优点是可以提高系统的访问速度和运行效率,缓解因数据访问频繁导致的系统瓶颈问题。此处的创新是将生成式AI的生成内容。分级保存在云端和边缘端,根据业务需要,分别调用组装。既保证整体事务的响应速度,又能根据业务的变化,保证事务数据结构的有效性同步。
4、压弹式预生成技术的优点:利用生成式AI可以高效快速、大量、多样性的制造业务内容。此处的创新是既要保证生成式AI的特点,又要保证整体事务的高效性,所以首次将权重高的事务先自动化整体打通,相当于压弹到弹仓,等待击发命中。当击发后,立即重新上弹,等待下一次的命中事务请求,以便于通信结果的整体呈现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的流程示意图;
图2是本发明云管边端同步多并发技术的模块示意图;
图3是本发明云端服务的队列缓冲技术的模块示意图;
图4是本发明GPT技术的模型训练示意图;
图5是本发明高速缓冲存储器Cache硬件架构技术的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-4所示,一种压弹式多级缓冲生成式AI通信方法,包括如下步骤:
一种压弹式多级缓冲生成式AI通信方法,其特征在于:包括如下步骤:
步骤一,当用户录入问题时,生做好时效性标记,准备结果的准备工作;
步骤二:根据录入的问题和时效性,首先从向量库中寻找相应答案,当答案不存在时,用大语言模型查找答案,并对该问题进行记录;
步骤三:将获取的答案进行TTS的转换和动作预生成过程,生成后,存储在服务端;
步骤四:通过同步机制,客户端和服务端之间进行数据服务同步,同步后,客户端对数据进行边缘侧缓存;
步骤五:根据步骤一中的时效性标记,服务端自行任务驱动,对数据结果和动作结果进行新的替换生成,并保持与客户端的同步;
步骤六:当客户提出问题,通过ASR解析成文本指令,先从客户端进行数据消费,从前端存储得到相应的动作数据和声音数据,并放入内存,进行前端的AI服务生成;同时,该数据消费后,会向服务端提出申请,要求新增该问题新的处理数据;当该事务过程未结束时,内存中数据不会更改;此处相当于将结果压入弹仓,等待击发;未击发时,也可以根据业务同步结果进行数据的修正。
本发明提出压弹式多级缓冲生成式AI通信技术,在枪类速射原理中,可以将一个事务性过程分解为压弹、激发、填弹的一系列过程。那么在生成式技术中,也同样可以将事务分解为,特征运算、生成、渲染、呈现的这样一系列过程,结果计算机运算架构,利用多级缓冲原理,可以将待呈现项,先期做好准备,每当事务被申请消费时,启动软件线程(硬件时间片)技术,继续预存事务过程,直接下一次的消费。在预存事务过程中,可以用多级并发,多级缓冲的原理,减少服务端压力。这种方式保证了如问答类、咨询类、请示类的AI端到端生成的速度达到最优,可以达到低于1秒的整体交互呈现过程。每当新过程不存在时,仍可以用正常流程来保障生成式AI的事务性生成。
具体而言,本实施例所述的服务端缓存和客户端缓存采用高速缓冲存储器Cache。高速缓冲存储器Cache是位于CPU与内存之间的临时存储器,它的速度快于内存,速度却可以接近处理器的频率,其硬件架构技术如图5所示。
具体的,本实施例所述的步骤四中的数据服务同步包括同步问和答、同步答案的声音以及同步该答案所生成动作视频驱动数据。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种压弹式多级缓冲生成式AI通信方法,其特征在于:包括如下步骤:
步骤一,当用户录入问题时,生做好时效性标记,准备结果的准备工作;
步骤二:根据录入的问题和时效性,首先从向量库中寻找相应答案,当答案不存在时,用大语言模型查找答案,并对该问题进行记录;
步骤三:将获取的答案进行TTS的转换和动作预生成过程,生成后,存储在服务端;
步骤四:通过同步机制,客户端和服务端之间进行数据服务同步,同步后,客户端对数据进行边缘侧缓存;
步骤五:根据步骤一中的时效性标记,服务端自行任务驱动,对数据结果和动作结果进行新的替换生成,并保持与客户端的同步;
步骤六:当客户提出问题,通过ASR解析成文本指令,先从客户端进行数据消费,从前端存储得到相应的动作数据和声音数据,并放入内存,进行前端的AI服务生成;同时,该数据消费后,会向服务端提出申请,要求新增该问题新的处理数据;当该事务过程未结束时,内存中数据不会更改;此处相当于将结果压入弹仓,等待击发;未击发时,也可以根据业务同步结果进行数据的修正。
2.根据权利要求1所述的一种压弹式多级缓冲生成式AI通信方法,其特征在于:所述的所述的服务端缓存和客户端缓存采用高速缓冲存储器Cache。
3.根据权利要求1所述的一种压弹式多级缓冲生成式AI通信方法,其特征在于:所述的所述的步骤四中的数据服务同步包括同步问和答、同步答案的声音以及同步该答案所生成动作视频驱动数据。
CN202310974882.0A 2023-08-03 2023-08-03 一种压弹式多级缓冲生成式ai通信方法 Pending CN116884393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310974882.0A CN116884393A (zh) 2023-08-03 2023-08-03 一种压弹式多级缓冲生成式ai通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310974882.0A CN116884393A (zh) 2023-08-03 2023-08-03 一种压弹式多级缓冲生成式ai通信方法

Publications (1)

Publication Number Publication Date
CN116884393A true CN116884393A (zh) 2023-10-13

Family

ID=88254929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310974882.0A Pending CN116884393A (zh) 2023-08-03 2023-08-03 一种压弹式多级缓冲生成式ai通信方法

Country Status (1)

Country Link
CN (1) CN116884393A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005294941A (ja) * 2004-03-31 2005-10-20 Nippon Telegraph & Telephone West Corp 映像コンテンツ再生システム、その再生制御方法、クライアント端末、同期サーバ及びそのプログラム
US20060129627A1 (en) * 1996-11-22 2006-06-15 Mangosoft Corp. Internet-based shared file service with native PC client access and semantics and distributed version control
US20090247134A1 (en) * 2008-03-28 2009-10-01 Ianywhere Solutions,Inc. Synchronizing communications and data between mobile devices and servers
CN104967685A (zh) * 2015-06-25 2015-10-07 广东德诚网络科技有限公司 基于Flash P2P的流媒体多级缓存网络加速方法
CN105872044A (zh) * 2016-03-30 2016-08-17 华南理工大学 基于WebRTC的流媒体多级缓存网络加速系统和方法
CN106327559A (zh) * 2016-08-22 2017-01-11 苏州伟卓奥科三维科技有限公司 通信方法、数据处理方法和计算系统
CN107071059A (zh) * 2017-05-25 2017-08-18 腾讯科技(深圳)有限公司 分布式缓存服务实现方法、装置、终端、服务器及系统
JP2017152948A (ja) * 2016-02-25 2017-08-31 株式会社三菱東京Ufj銀行 情報提供方法、情報提供プログラム、および情報提供システム
CN111488433A (zh) * 2020-06-28 2020-08-04 南京银行股份有限公司 一种适用于银行的提升现场体验感的人工智能交互系统
CN114020819A (zh) * 2021-10-26 2022-02-08 中国银联股份有限公司 一种多系统参数同步方法及装置
CN114615853A (zh) * 2022-03-15 2022-06-10 康小芳 一种基于大数据的客服后台管理
CN114629904A (zh) * 2022-02-15 2022-06-14 广州伊智信息科技有限公司 一种分布式事件的处理方法、系统、设备及介质
CN115221292A (zh) * 2021-04-16 2022-10-21 南京大学 一种生成式知识问答方法及装置
CN115481254A (zh) * 2022-09-30 2022-12-16 杭州时光坐标影视传媒股份有限公司 一种对影视剧剧本进行视效内容分析的方法、系统、可读存储介质和设备
CN116229977A (zh) * 2022-12-21 2023-06-06 国泰君安证券股份有限公司 基于虚拟数字人实现智能化实时交互问答的系统及其处理方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129627A1 (en) * 1996-11-22 2006-06-15 Mangosoft Corp. Internet-based shared file service with native PC client access and semantics and distributed version control
JP2005294941A (ja) * 2004-03-31 2005-10-20 Nippon Telegraph & Telephone West Corp 映像コンテンツ再生システム、その再生制御方法、クライアント端末、同期サーバ及びそのプログラム
US20090247134A1 (en) * 2008-03-28 2009-10-01 Ianywhere Solutions,Inc. Synchronizing communications and data between mobile devices and servers
CN104967685A (zh) * 2015-06-25 2015-10-07 广东德诚网络科技有限公司 基于Flash P2P的流媒体多级缓存网络加速方法
JP2017152948A (ja) * 2016-02-25 2017-08-31 株式会社三菱東京Ufj銀行 情報提供方法、情報提供プログラム、および情報提供システム
CN105872044A (zh) * 2016-03-30 2016-08-17 华南理工大学 基于WebRTC的流媒体多级缓存网络加速系统和方法
CN106327559A (zh) * 2016-08-22 2017-01-11 苏州伟卓奥科三维科技有限公司 通信方法、数据处理方法和计算系统
CN107071059A (zh) * 2017-05-25 2017-08-18 腾讯科技(深圳)有限公司 分布式缓存服务实现方法、装置、终端、服务器及系统
CN111488433A (zh) * 2020-06-28 2020-08-04 南京银行股份有限公司 一种适用于银行的提升现场体验感的人工智能交互系统
CN115221292A (zh) * 2021-04-16 2022-10-21 南京大学 一种生成式知识问答方法及装置
CN114020819A (zh) * 2021-10-26 2022-02-08 中国银联股份有限公司 一种多系统参数同步方法及装置
CN114629904A (zh) * 2022-02-15 2022-06-14 广州伊智信息科技有限公司 一种分布式事件的处理方法、系统、设备及介质
CN114615853A (zh) * 2022-03-15 2022-06-10 康小芳 一种基于大数据的客服后台管理
CN115481254A (zh) * 2022-09-30 2022-12-16 杭州时光坐标影视传媒股份有限公司 一种对影视剧剧本进行视效内容分析的方法、系统、可读存储介质和设备
CN116229977A (zh) * 2022-12-21 2023-06-06 国泰君安证券股份有限公司 基于虚拟数字人实现智能化实时交互问答的系统及其处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宇林军;潘影;: "服务式2D、3D结合GIS的核心问题及其解决方案", 地球信息科学学报, no. 01, pages 58 - 63 *
毕延军, 李国栋, 柳长安, 陈星: "远程机器人控制系统中语音传输的设计与实现", 现代电力, no. 06, pages 75 - 78 *
王朝;高岭;高全力;: "边缘计算中数据分层的协同缓存策略", 纺织高校基础科学学报, no. 03, pages 109 - 115 *

Similar Documents

Publication Publication Date Title
US11087762B2 (en) Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
US10552489B2 (en) Dynamically updatable offline grammar model for resource-constrained offline device
Joulani et al. Online learning under delayed feedback
US9736270B2 (en) Automated client/server operation partitioning
US11740941B2 (en) Method of accelerating execution of machine learning based application tasks in a computing device
WO2023221370A1 (zh) 批量任务处理的方法、装置及电子设备
CN114911596B (zh) 针对模型训练的调度方法、装置、电子设备和存储介质
CN105786629A (zh) 基于消息队列的数据处理方法
CN116884393A (zh) 一种压弹式多级缓冲生成式ai通信方法
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN111126619B (zh) 一种机器学习方法与装置
CN109298884B (zh) 一种通用字符操作加速处理硬件装置及控制方法
CN116257174A (zh) 一种基于张量异步硬盘读写的异构空间优化器
CN114995748A (zh) 请求处理方法及装置
Gu et al. Time and cost-efficient cloud data transmission based on serverless computing compression
Zheng et al. Conch: A cyclic mapreduce model for iterative applications
CN108228644A (zh) 用于报表导出的方法及装置
Valery et al. A partial workload offloading framework in a mobile cloud computing context
US20240045874A1 (en) Processing large query results in a database accelerator environment
CN114020153B (zh) 一种多模态人机交互方法及装置
CN117290451B (zh) 一种保证数据库系统事务一致性的方法及系统
Gu et al. Fluid-Shuttle: Efficient Cloud Data Transmission Based on Serverless Computing Compression
US20240135919A1 (en) Fast and efficient text only adaptation for factorized neural transducer
CN117972438B (zh) 一种数据处理方法、系统、设备及存储介质
CN118503383A (zh) 基于聊天机器人的问答模型推理优化和加速方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 911, 9th Floor, Block B, Xingdi Center, Building 2, No.10, Jiuxianqiao North Road, Jiangtai Township, Chaoyang District, Beijing, 100000

Applicant after: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Address before: 100000 room 311a, floor 3, building 4, courtyard 4, Yongchang Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information