CN117041495B - 基于远程语音视频技术的专家远程辅助赋能系统 - Google Patents
基于远程语音视频技术的专家远程辅助赋能系统 Download PDFInfo
- Publication number
- CN117041495B CN117041495B CN202311092476.8A CN202311092476A CN117041495B CN 117041495 B CN117041495 B CN 117041495B CN 202311092476 A CN202311092476 A CN 202311092476A CN 117041495 B CN117041495 B CN 117041495B
- Authority
- CN
- China
- Prior art keywords
- expert
- solution
- remote
- unit
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 78
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 17
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010252 digital analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了基于远程语音视频技术的专家远程辅助赋能系统包括：采集模块采集指定现场的实时信息流，通信模块分别将实时信息流传输到第一分析模块和第二分析模块中，第一分析模块解析实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将第一解决方案传输到指定现场的显示模块进行显示，第二分析模块当远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将第二解决方案传输到指定现场的显示模块进行显示，既能支持运维专家对运维现场人员实施基于实时音视频的远程辅助，又可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。
Description
技术领域
本发明涉及远程辅助技术领域，特别涉及基于远程语音视频技术的专家远程辅助赋能系统。
背景技术
专家远程辅助技术是一种通过数字样机将问题反馈给专家，无需差旅，专家便可远程诊断，随后通过虚拟现实或增强现实的方式对操作员进行远程指导便可解决大部分常见问题的技术手段，目前已经公开的相关技术中，针对运维现场的远程专家辅助以及协助系统以及其技术方案比较多，也得到了比较广泛的应用。但是这些技术方案中要求运维专家必须在线并能及时响应，一旦专家无法实时提供在线的远程辅助，此系统的实用性大打折扣。而且运维专家数量本来就不多，专家自己一般承担大量的工作，大部分时间中无法提供即时在线的音视频远程协助。
因此，本发明提供了基于远程语音视频技术的专家远程辅助赋能系统。
发明内容
本发明基于远程语音视频技术的专家远程辅助赋能系统，可以通过语音和视频的方式采集现场的实时信息，然后对施实时信息进程分析解答现场人员提出的疑问，既能支持运维专家对运维现场人员实施基于实时音视频的远程辅助，又可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。
本发明提供了基于远程语音视频技术的专家远程辅助赋能系统，包括：
采集模块，用于采集指定现场的实时视频流以及实时语音流，建立实时信息流；
通信模块，用于分别将所述实时信息流传输到第一分析模块和第二分析模块中；
第一分析模块，用于解析所述实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将所述第一解决方案传输到所述指定现场的显示模块进行显示；
第二分析模块，用于当所述远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将所述第二解决方案传输到所述指定现场的显示模块进行显示。
在一种可实施的方式中，
还包括：
所述第二分析模块，还用于：
将所述第一解决方案与所述目标工作疑问进行配对，建立疑问-解决对应信息；
将所述疑问-解决对应信息更新到所述预设专家知识库中，得到目标预设专家知识库；
利用所述目标预设专家知识库替换所述预设专家知识库。
在一种可实施的方式中，
所述显示模块设置在所述指定现场中；
所述显示模块，用于显示所述第一分析模块传输的第一解决方案，以及显示所述第二分析模块传输的第二解决方案。
在一种可实施的方式中，
所述采集模块，包括：
视频采集单元，用于采集所述指定现场的实时视频流；
音频采集单元，用于采集所述指定现场的实时语音流；
信息处理单元，用于解析所述实时视频流得到对应的第一时间进度，以及解析所述实时语音流得到对应的第二时间进度，将所述第一时间进度和第二时间进度进行对齐，生成时间轴；
信息对齐单元，用于将所述实时视频流和所述实时语音流输入到所述时间轴中进行时间对齐，得到实时信息流。
在一种可实施的方式中，
所述通信模块，包括：
第一通信单元，用于检测预设公网的通信质量，当所述预设公网的通信质量大于预设通信质量时，基于所述预设公网建立通信信道，将所述采集模块和所述第一分析模块分别接入到所述通信信道中；
第二通信单元，用于获取所述采集模块接入的第一网络和所述第二分析模块接入的第二网络，分别获取所述第一网络中包含的若干个第一信道以及所述第二网络中包含的若干个第二信道，将每一条第一信道分别与每一条第二信道进行网络对接，提取对接成功的目标第一信道和目标第二信道建立局域私网，将所述采集模块和所述第二分析模块分别接入到所述局域私网中；
信息传输单元，用于通过所述预设公网将所述实时信息流传输到所述第一分析模块，以及通过所述局域私网将所述实时信息流传输到所述第二分析模块。
在一种可实施的方式中，
所述第一分析模块，包括：
疑问处理单元，用于根据所述工作疑问结合预设指令样本建立提问指令；
问题记录单元，用于记录远程专家根据所述提问指令做出的问题解答；
第一修正单元，用于将所述问题解答输入到预设语义人工智能模型中进行语义训练，得到对应的陈述句，将所述陈述句进行词语分割得到若干个单位词语，根据所述陈述句对应的句型建立初始二叉树；
第二修正单元，用于将所述单位词语输入到所述初始二叉树中得到句义二叉树，根据所述句义二叉树对所述单位词语进行筛选得到目标单位词语，根据所述句义二叉树的逻辑结构，对所述目标单位词语进行重组得到第一解决方案，将所述第一解决方案传输到所述指定现场的显示模块进行显示。
在一种可实施的方式中，
所述第二分析模块，包括：
处理单元，用于当所述远程专家未发布第一解决方案时，将所述实时信息流划分为若干个单位信息流，并分别获取每一单位信息流中包含的人员信息，提取含有同一人员信息的若干个单位信息流得到第一单位信息流集，基于每一人员信息建立人员标签，将所述人员标签标记在对应的第一单位信息流集中，得到每一人员信息对应的第二单位信息流集；
解析单元，用于分别解析每一第二单位信息流集得到对应工作人员在所述指定现场执行现场作业时的作业特征，分别将每一作业特征与预设提问特征进行对比，根据对比结果确定发出疑问的目标工作人员，获取所述目标工作人员发出的工作疑问；
查找单元，用于分别将每一所述工作疑问输入到预设语义人工智能模型中进行语义训练，得到对应的疑问句以及得到每一工作疑问对应的疑问关键词，在所述预设专家知识库中查找所述疑问关键词得到若干条解决建议，分别将每一所述解决建议与所述疑问句进行语义逻辑分析，得到每一解决建议与所述疑问句之间的关联程度，提取关联程度最高的目标解决建议；
总结单元，用于根据同一工作人员提出的多个工作疑问对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
在一种可实施的方式中，
当同一工作人员提出一个工作疑问时，根据对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
在一种可实施的方式中，
所述显示模块，还包括：
互动单元，用于根据预设动态三维人物模型建立数字专家，控制所述数字专家将所述第二解决方案转换为语音信息并进行朗读。
在一种可实施的方式中，
还包括：
记录模块，用于记录所述指定现场每一工作人员发出的工作疑问，生成问题记录列表，传输到所述显示模块进行显示。
本发明可以实现的有益效果为：为了实现远程辅助，先采集指定现场的实时视频流和实时语音流来了解指定现场的实时信息，然后将其传输到两个不同的分析模块，进而远程专家可以通过第一分析模块针对指定现场工作人员提出的疑问进行远程解答或指导，如果远程专家暂未在线或者远程专家未及时响应，通过第二分析模块在预设专家知识库中为工作人员匹配一个现有的解决方案，并且第一分析模块接入到移动公网中，可以实现远程传输，第二分析模块接入到局域私网中，可以避免预设专家知识库发生数据丢失，这样一来不加可以实现远程辅助指导，还可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中基于远程语音视频技术的专家远程辅助赋能系统的组成示意图；
图2为本发明实施例中基于远程语音视频技术的专家远程辅助赋能系统的采集模块组成示意图；
图3为本发明实施例中基于远程语音视频技术的专家远程辅助赋能系统的第二分析模块组成示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本实施例提供了基于远程语音视频技术的专家远程辅助赋能系统，如图1所示，包括：
采集模块，用于采集指定现场的实时视频流以及实时语音流，建立实时信息流；
通信模块，用于分别将所述实时信息流传输到第一分析模块和第二分析模块中；
第一分析模块，用于解析所述实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将所述第一解决方案传输到所述指定现场的显示模块进行显示；
第二分析模块，用于当所述远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将所述第二解决方案传输到所述指定现场的显示模块进行显示。
该实例中，第一分析模块设置在远程专家所在的位置，第二分析模块设置在指定现场，且第二分析模块中存储了预设专家知识库；
该实例中，第一解决方案表示远程专家所下发的解决方案；
该实例中，第二解决方案表示预设专家知识库中包含的解决方案；
该实例中，预设专家知识库中包含：专家专业知识数字化、历史维修过程产生的实际问题处理方法数字化。
上述技术方案的工作原理以及有益效果：为了实现远程辅助，先采集指定现场的实时视频流和实时语音流来了解指定现场的实时信息，然后将其传输到两个不同的分析模块，进而远程专家可以通过第一分析模块针对指定现场工作人员提出的疑问进行远程解答或指导，如果远程专家暂未在线或者远程专家未及时响应，通过第二分析模块在预设专家知识库中为工作人员匹配一个现有的解决方案，并且第一分析模块接入到移动公网中，可以实现远程传输，第二分析模块接入到局域私网中，可以避免预设专家知识库发生数据丢失，这样一来不加可以实现远程辅助指导，还可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。
实施例2
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，还包括：
所述第二分析模块，还用于：
将所述第一解决方案与所述目标工作疑问进行配对，建立疑问-解决对应信息；
将所述疑问-解决对应信息更新到所述预设专家知识库中，得到目标预设专家知识库；
利用所述目标预设专家知识库替换所述预设专家知识库。
该实例中，疑问-解决对应信息中包含了一个第一解决方案和一个目标工作疑问；
该实例中，预设公网表示覆盖了指定现场，且信号强度最高的公共网络；
该实例中，局域私网表示只接入了采集模块和第二分析模块的局域网络。
上述技术方案的工作原理以及有益效果：为了扩大预设专家知识库中解决方案的覆盖广度，在远程专家对工作人员的疑问做出解答后，建立一个问答对应信息，将其更新到预设专家知识库中，对预设专家知识库训练不断积累专家专业知识，以达到提高预设专家知识库中解决方案的覆盖广度的目的。
实施例3
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统：
所述显示模块设置在所述指定现场中；
所述显示模块，用于显示所述第一分析模块传输的第一解决方案，以及显示所述第二分析模块传输的第二解决方案。
上述技术方案的工作原理以及有益效果：通过设置显示模块可以方便指定现场的工作人员查看解决方案。
实施例4
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，如图2所示，所述采集模块，包括：
视频采集单元，用于采集所述指定现场的实时视频流；
音频采集单元，用于采集所述指定现场的实时语音流；
信息处理单元，用于解析所述实时视频流得到对应的第一时间进度，以及解析所述实时语音流得到对应的第二时间进度，将所述第一时间进度和第二时间进度进行对齐，生成时间轴；
信息对齐单元，用于将所述实时视频流和所述实时语音流输入到所述时间轴中进行时间对齐，得到实时信息流。
该实例中，实时视频流表示指定现场的实时视频；
该实例中，实时语音流表示指定现场的实时语音；
该实例中，第一时间进度表示根据实时视频流中每一帧图像对应的时间所建立的，关于时间先后顺序的表达进度；
该实例中，第二时间进度表示根据实时语音流中每一帧语音对应的时间所建立的，关于时间先后顺序的表达进度。
上述技术方案的工作原理以及有益效果：为了避免出现视频流与语音流不同步的现象，在采集到实时视频流和实时语音流后，根据实时视频流和实时语音流的时间进度建立时间轴，然后将实时视频流和实时语音流输入到时间轴中进行对齐，得到了实时信息流。实现了视频流和语音流的同步工作。
实施例5
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，所述通信模块，包括：
第一通信单元，用于检测预设公网的通信质量，当所述预设公网的通信质量大于预设通信质量时，基于所述预设公网建立通信信道，将所述采集模块和所述第一分析模块分别接入到所述通信信道中；
第二通信单元，用于获取所述采集模块接入的第一网络和所述第二分析模块接入的第二网络，分别获取所述第一网络中包含的若干个第一信道以及所述第二网络中包含的若干个第二信道，将每一条第一信道分别与每一条第二信道进行网络对接，提取对接成功的目标第一信道和目标第二信道建立局域私网，将所述采集模块和所述第二分析模块分别接入到所述局域私网中；
信息传输单元，用于通过所述预设公网将所述实时信息流传输到所述第一分析模块，以及通过所述局域私网将所述实时信息流传输到所述第二分析模块。
该实例中，预设通信质量可以为：带宽大于等于1000比特/秒，时延小于12ms，网络抖动小于12ms，丢包率小于等于5％；
该实例中，通信信道表示以公共网络为基础的信号通路；
该实例中，第一网络表示采集模块所接入的网络，第二网络表示第二分析模块所接入的网络；
该实例中，第一信道表达第一网络中包含的信号通路，第二信道表示第二网络中包含的信号通路。
上述技术工作原理以及有益效果：为了将信息流传输到不同的分析模块中，首先在通过检测公网的通信质量来选取符合要求的预设公网，然后将采集模块和第一分析模块接入到该预设公网中，从而利用预设公网将采集模块中的实时信息流传输到第一分析模块中，与此同时，根据采集模块和第二分析模块可以接入的网络来建立一个局域私网，然后将采集模块和第二分析模块接入到局域私网中，利用局域私网将采集模块中的实时信息流传输到第二分析模块中，通过不同的网络进行信息传输，不仅能将实时信息流传输到不同的分析模块中，还可以避免实时信息流丢失，提高系统的稳定性。
实施例6
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，所述第一分析模块，包括：
疑问处理单元，用于根据所述工作疑问结合预设指令样本建立提问指令；
问题记录单元，用于记录远程专家根据所述提问指令做出的问题解答；
第一修正单元，用于将所述问题解答输入到预设语义人工智能模型中进行语义训练，得到对应的陈述句，将所述陈述句进行词语分割得到若干个单位词语，根据所述陈述句对应的句型建立初始二叉树；
第二修正单元，用于将所述单位词语输入到所述初始二叉树中得到句义二叉树，根据所述句义二叉树对所述单位词语进行筛选得到目标单位词语，根据所述句义二叉树的逻辑结构，对所述目标单位词语进行重组得到第一解决方案，将所述第一解决方案传输到所述指定现场的显示模块进行显示。
该实例中，预设指令样本表示提前设置的，用于发出问题的指令样本；
该实例中，语义人工智能模型表示提前经过训练的，可以进行分析的人工模型，其中，对语义人工智能模型进行训练的过程包括：
[1]通过音视频通道接收远程运维端发送的音视频(图片)数据；
[2]大语言模型完成语音识别，输出对话文本；
[3]云计算模块使用远端的对话文本首先在专家知识库中进行搜索，将相关联的专家知识元素找出；
[4]对话文本、现场图片、关联专家知识元素输入给大预言模型；
[5]大语言模型使用云计算模块提供的算力，给出训练结果；
该实例中，初始二叉树表示可以用来放置词语的二叉树；
该实例中，句义二叉树表示将单位词语根据语义放置在初始二叉树不同的树节点上所生成的新的二叉树；
该实例中，句型包括：主谓句(包括：名词谓语句、动词谓语句、形容词谓语句、主谓谓语句)和非主谓句(包括：动词性非主谓句、形容词性非主谓句、名词性非主谓句、叹词句)；
该实例中，对单位词语进行筛选的目的为：剔除陈述句中的语气词和重复繁琐的描述；
该实例中，对目标单位词语进行重组的目的是：还原问题解答的原本意义。
上述技术方案的工作原理以及有益效果：当指定现场的工作人员发出疑问时，结合预设指令样本建立提问指令，然后记录远程专家所做出的问题解答，进一步对问题解答进行语义训练，得到对应的陈述句然后将其进行词语分割，并根据陈述句的句型建立初始二叉树，从而可以得到不同词语之间的逻辑结构，然后根据逻辑结构对单位词语进行重组，得到第一解决方案，并将第一解决方案传输到显示模块，完成了远程辅助工作，可以让远程运维专家不用亲临现场即可直观的辅助现场运维人员处理现场问题。
实施例7
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，如图3所示，所述第二分析模块，包括：
处理单元，用于当所述远程专家未发布第一解决方案时，将所述实时信息流划分为若干个单位信息流，并分别获取每一单位信息流中包含的人员信息，提取含有同一人员信息的若干个单位信息流得到第一单位信息流集，基于每一人员信息建立人员标签，将所述人员标签标记在对应的第一单位信息流集中，得到每一人员信息对应的第二单位信息流集；
解析单元，用于分别解析每一第二单位信息流集得到对应工作人员在所述指定现场执行现场作业时的作业特征，分别将每一作业特征与预设提问特征进行对比，根据对比结果确定发出疑问的目标工作人员，获取所述目标工作人员发出的工作疑问；
查找单元，用于分别将每一所述工作疑问输入到预设语义人工智能模型中进行语义训练，得到对应的疑问句以及得到每一工作疑问对应的疑问关键词，在所述预设专家知识库中查找所述疑问关键词得到若干条解决建议，分别将每一所述解决建议与所述疑问句进行语义逻辑分析，得到每一解决建议与所述疑问句之间的关联程度，提取关联程度最高的目标解决建议；
总结单元，用于根据同一工作人员提出的多个工作疑问对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
该实例中，单位信息流表示信息流时长为1分钟的信息流；
该实例中，第一单位信息流集中所有的单位信息流中均含有同一个人员信息；
该实例中，人员信息和人员标签是一一对应的；
该实例中，作业特征表示工作人员在指定现场进行作业时所呈现的特征；
该实例中，第二单位信息流集中所有的单位信息流中均含有同一个人员信息，第二单位信息流是添加了人员标签的第一单位信息流。
上述技术方案的工作原理以及有益效果：为了避免远程专家暂时不在线，响应时间较长的问题，当远程专家未发布第一解决方案时，将实时信息流划分未若干个单位信息流，然后将含有同一人员信息的单位信息流进行归类，并以人员标签进行区分，从而建立了第二单位信息流集，然后根据第二单位信息流集中对应工作人员的作业特征来判断其是否发出了疑问，从而对其发出的工作疑问进行语义训练得到疑问关键词，然后在预设专家知识库中查找解决建议，为了避免语义混乱，将解决建议和疑问句进行语义逻辑分析，从而确定不同解决建议与疑问句之间的关联程度，进而可以提取关联程度最高的目标解决建议，再将目标解决建议进行归置，建立第二解决方案并将其传输到显示模块，这样一来可以在专家不在线时进行智能指导，避免工作人员操作不当，发生重大错误。
实施例8
在实施例7的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，包括：
当同一工作人员提出一个工作疑问时，根据对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
实施例9
在实施例3的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，所述显示模块，还包括：
互动单元，用于根据预设动态三维人物模型建立数字专家，控制所述数字专家将所述第二解决方案转换为语音信息并进行朗读。
该实例中，预设动态三维人物模型是提前建立的三维数字人，其建立过程为：
[1]以动态三维人物模型实现数字专家的三维可视化；
[2]数字人的脸部模型可以随机生成；
[3]数字人将数字专家的文本输出转化成语音，并根据语音形成脸部实时动态表情；
[4]数字人通过音视频通道和现场运维人员互动；
该实例中，数字专家表示通过虚拟的方式表示虚拟人物的过程，数字专家的作用有：
[1]能够接收上下文相关联的连续文本输入，使用云计算模块提供的算力，给出文本回复；
[2]数字专家的智能来自专注于装备运维领域的大语言模型；
[3]数字专家使用可以不断迭代的专家知识库形成特定风格、细分领域的偏向性；
[4]数字专家的大语言模型可以依据积累的运维数据进行迭代和升级。
上述技术方案的工作原理以及有益效果：通过建立三维任务模型来朗读第二解决方案，可以提高现场工作人员的兴趣，以及可以帮助现场工作人员更好的工作。
实施例10
在实施例1的基础上，所述一种基于远程语音视频技术的专家远程辅助赋能系统，还包括：
记录模块，用于记录所述指定现场每一工作人员发出的工作疑问，生成问题记录列表，传输到所述显示模块进行显示。
上述技术方案的工作原理以及有益效果：通过记录每一工作人员发出的工作疑问可以在一天工作结束后反馈给工作人员，帮助工作人员复习。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，包括：
采集模块，用于采集指定现场的实时视频流以及实时语音流，建立实时信息流；
通信模块，用于分别将所述实时信息流传输到第一分析模块和第二分析模块中；
第一分析模块，用于解析所述实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将所述第一解决方案传输到所述指定现场的显示模块进行显示；
第二分析模块，用于当所述远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将所述第二解决方案传输到所述指定现场的显示模块进行显示；
所述第一分析模块，包括：
疑问处理单元，用于根据所述工作疑问结合预设指令样本建立提问指令；
问题记录单元，用于记录远程专家根据所述提问指令做出的问题解答；
第一修正单元，用于将所述问题解答输入到预设语义人工智能模型中进行语义训练，得到对应的陈述句，将所述陈述句进行词语分割得到若干个单位词语，根据所述陈述句对应的句型建立初始二叉树；
第二修正单元，用于将所述单位词语输入到所述初始二叉树中得到句义二叉树，根据所述句义二叉树对所述单位词语进行筛选得到目标单位词语，根据所述句义二叉树的逻辑结构，对所述目标单位词语进行重组得到第一解决方案，将所述第一解决方案传输到所述指定现场的显示模块进行显示；
所述第二分析模块，包括：
处理单元，用于当所述远程专家未发布第一解决方案时，将所述实时信息流划分为若干个单位信息流，并分别获取每一单位信息流中包含的人员信息，提取含有同一人员信息的若干个单位信息流得到第一单位信息流集，基于每一人员信息建立人员标签，将所述人员标签标记在对应的第一单位信息流集中，得到每一人员信息对应的第二单位信息流集；
解析单元，用于分别解析每一第二单位信息流集得到对应工作人员在所述指定现场执行现场作业时的作业特征，分别将每一作业特征与预设提问特征进行对比，根据对比结果确定发出疑问的目标工作人员，获取所述目标工作人员发出的工作疑问；
查找单元，用于分别将每一所述工作疑问输入到预设语义人工智能模型中进行语义训练，得到对应的疑问句以及得到每一工作疑问对应的疑问关键词，在所述预设专家知识库中查找所述疑问关键词得到若干条解决建议，分别将每一所述解决建议与所述疑问句进行语义逻辑分析，得到每一解决建议与所述疑问句之间的关联程度，提取关联程度最高的目标解决建议；
总结单元，用于根据同一工作人员提出的多个工作疑问对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
2.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，还包括：
所述第二分析模块，还用于：
将所述第一解决方案与所述目标工作疑问进行配对，建立疑问-解决对应信息；
将所述疑问-解决对应信息更新到所述预设专家知识库中，得到目标预设专家知识库；
利用所述目标预设专家知识库替换所述预设专家知识库。
3.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于：
所述显示模块设置在所述指定现场中；
所述显示模块，用于显示所述第一分析模块传输的第一解决方案，以及显示所述第二分析模块传输的第二解决方案。
4.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，所述采集模块，包括：
视频采集单元，用于采集所述指定现场的实时视频流；
音频采集单元，用于采集所述指定现场的实时语音流；
信息处理单元，用于解析所述实时视频流得到对应的第一时间进度，以及解析所述实时语音流得到对应的第二时间进度，将所述第一时间进度和第二时间进度进行对齐，生成时间轴；
信息对齐单元，用于将所述实时视频流和所述实时语音流输入到所述时间轴中进行时间对齐，得到实时信息流。
5.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，所述通信模块，包括：
第一通信单元，用于检测预设公网的通信质量，当所述预设公网的通信质量大于预设通信质量时，基于所述预设公网建立通信信道，将所述采集模块和所述第一分析模块分别接入到所述通信信道中；
第二通信单元，用于获取所述采集模块接入的第一网络和所述第二分析模块接入的第二网络，分别获取所述第一网络中包含的若干个第一信道以及所述第二网络中包含的若干个第二信道，将每一条第一信道分别与每一条第二信道进行网络对接，提取对接成功的目标第一信道和目标第二信道建立局域私网，将所述采集模块和所述第二分析模块分别接入到所述局域私网中；
信息传输单元，用于通过所述预设公网将所述实时信息流传输到所述第一分析模块，以及通过所述局域私网将所述实时信息流传输到所述第二分析模块。
6.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，包括：
当同一工作人员提出一个工作疑问时，根据对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
7.如权利要求3所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，所述显示模块，还包括：
互动单元，用于根据预设动态三维人物模型建立数字专家，控制所述数字专家将所述第二解决方案转换为语音信息并进行朗读。
8.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，还包括：
记录模块，用于记录所述指定现场每一工作人员发出的工作疑问，生成问题记录列表，传输到所述显示模块进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311092476.8A CN117041495B (zh) | 2023-08-29 | 2023-08-29 | 基于远程语音视频技术的专家远程辅助赋能系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311092476.8A CN117041495B (zh) | 2023-08-29 | 2023-08-29 | 基于远程语音视频技术的专家远程辅助赋能系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117041495A CN117041495A (zh) | 2023-11-10 |
| CN117041495B true CN117041495B (zh) | 2024-02-06 |
Family
ID=88624516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311092476.8A Active CN117041495B (zh) | 2023-08-29 | 2023-08-29 | 基于远程语音视频技术的专家远程辅助赋能系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041495B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679293A (zh) * | 2013-12-20 | 2014-03-26 | 长园深瑞继保自动化有限公司 | 智能变电站告警和辅助决策系统 |
| CN112001709A (zh) * | 2020-09-04 | 2020-11-27 | 贵州电网有限责任公司 | 一种基于蚁群算法的智能指派调度ar多人远程协助方法 |
| CN112018892A (zh) * | 2020-09-04 | 2020-12-01 | 南京太司德智能电气有限公司 | 一种电力运维远程指导系统 |
| CN115313618A (zh) * | 2021-12-10 | 2022-11-08 | 中国电力科学研究院有限公司 | 一种基于ar和5g的变电站远程专家诊断平台和诊断方法 |
| CN115633147A (zh) * | 2022-10-12 | 2023-01-20 | 广东电网有限责任公司广州供电局 | 一种基于5g多视角的多人远程协作指导系统 |
| CN115827886A (zh) * | 2022-11-10 | 2023-03-21 | 国网江苏省电力有限公司 | 电网一体化调度运行管理智能语音客服系统 |
| CN115953521A (zh) * | 2023-03-14 | 2023-04-11 | 世优（北京）科技有限公司 | 远程数字人渲染方法、装置及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650597B2 (en) * | 2018-02-06 | 2020-05-12 | Servicenow, Inc. | Augmented reality assistant |
-
2023
- 2023-08-29 CN CN202311092476.8A patent/CN117041495B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679293A (zh) * | 2013-12-20 | 2014-03-26 | 长园深瑞继保自动化有限公司 | 智能变电站告警和辅助决策系统 |
| CN112001709A (zh) * | 2020-09-04 | 2020-11-27 | 贵州电网有限责任公司 | 一种基于蚁群算法的智能指派调度ar多人远程协助方法 |
| CN112018892A (zh) * | 2020-09-04 | 2020-12-01 | 南京太司德智能电气有限公司 | 一种电力运维远程指导系统 |
| CN115313618A (zh) * | 2021-12-10 | 2022-11-08 | 中国电力科学研究院有限公司 | 一种基于ar和5g的变电站远程专家诊断平台和诊断方法 |
| CN115633147A (zh) * | 2022-10-12 | 2023-01-20 | 广东电网有限责任公司广州供电局 | 一种基于5g多视角的多人远程协作指导系统 |
| CN115827886A (zh) * | 2022-11-10 | 2023-03-21 | 国网江苏省电力有限公司 | 电网一体化调度运行管理智能语音客服系统 |
| CN115953521A (zh) * | 2023-03-14 | 2023-04-11 | 世优（北京）科技有限公司 | 远程数字人渲染方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117041495A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680019B (zh) | 一种考试方案的实现方法、装置、设备及存储介质 | |
| CN110266899B (zh) | 客户意图的识别方法和客服系统 | |
| CN110909898B (zh) | 基于ar眼镜的银行机房故障诊断维修指导系统及方法 | |
| CN111429768B (zh) | 一种基于教学录播的知识点拆分集成方法和系统 | |
| CN113486833B (zh) | 多模态特征提取模型训练方法、装置、电子设备 | |
| US20050026129A1 (en) | Interactive computerized performance support system and method | |
| CN111098312A (zh) | 窗口政务服务机器人 | |
| CN107733782A (zh) | 根据任务生成群的方法、装置及系统 | |
| CN114722839B (zh) | 人机协同对话交互系统及方法 | |
| CN108564828A (zh) | 一种智能教学机器人 | |
| WO2024075911A1 (ko) | Ai에 의한 재난안전지식 통합관리시스템 | |
| CN110321414B (zh) | 一种基于深度学习的人工智能咨询服务方法及系统 | |
| CN113837907A (zh) | 一种英语教学人机互动系统及其方法 | |
| CN117041495B (zh) | 基于远程语音视频技术的专家远程辅助赋能系统 | |
| WO2022062195A1 (zh) | 机上信息辅助方法及装置 | |
| CN117456995A (zh) | 一种养老服务机器人的交互方法及系统 | |
| CN116450799A (zh) | 一种应用于交通管理服务的智能对话方法及设备 | |
| CN111563697A (zh) | 一种线上课堂学生情绪分析方法和系统 | |
| CN115147248B (zh) | 一种基于大数据的旅游信息咨询系统和方法 | |
| CN113505606B (zh) | 一种培训信息获取方法、装置、电子设备及存储介质 | |
| CN112506405A (zh) | 一种基于互联网监管领域的人工智能语音大屏指挥方法 | |
| De Silva et al. | Adding Common Sense to Robots by Completing the Incomplete Natural Language Instructions | |
| CN111209376A (zh) | 一种ai数字机器人运行方法 | |
| CN113407771B (zh) | 监控调度方法、系统、装置及存储介质 | |
| CN117453895B (zh) | 一种智能客服应答方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |