CN116418828A - 基于人工智能的视音频设备集成管理方法 - Google Patents

基于人工智能的视音频设备集成管理方法 Download PDF

Info

Publication number
CN116418828A
CN116418828A CN202111628459.2A CN202111628459A CN116418828A CN 116418828 A CN116418828 A CN 116418828A CN 202111628459 A CN202111628459 A CN 202111628459A CN 116418828 A CN116418828 A CN 116418828A
Authority
CN
China
Prior art keywords
video
audio
audio device
accessed
audio equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111628459.2A
Other languages
English (en)
Other versions
CN116418828B (zh
Inventor
史达飞
刘凯
郭亮伟
王贵彬
毛彦俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Linghang Zhilian Internet Of Things Technology Co ltd
Original Assignee
Beijing Linghang Zhilian Internet Of Things Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Linghang Zhilian Internet Of Things Technology Co ltd filed Critical Beijing Linghang Zhilian Internet Of Things Technology Co ltd
Priority to CN202111628459.2A priority Critical patent/CN116418828B/zh
Publication of CN116418828A publication Critical patent/CN116418828A/zh
Application granted granted Critical
Publication of CN116418828B publication Critical patent/CN116418828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一种基于人工智能的视音频设备集成管理方法，用于在视音频设备的物联网化集成应用中通过智能边缘计算网关并基于视音频设备驱动对待接入视音频设备进行智能识别和接入，其包括：采集视音频设备驱动；基于采集的视音频设备驱动构造驱动库，并且构造视音频设备驱动样本数据；基于机器学习并利用视音频设备驱动样本数据获得视音频设备驱动智能模型；通过该视音频设备驱动智能模型确定待接入视音频设备的设备类型；基于该设备类型在驱动库中进行智能搜索并获取候选视音频设备驱动；将候选视音频设备驱动与待接入视音频设备进行匹配，并导出待接入视音频设备的目标视音频设备驱动；以及将导出的目标视音频设备驱动应用于待接入视音频设备以实现其接入。

Description

基于人工智能的视音频设备集成管理方法
技术领域
本申请涉及复杂的视音频设备集成应用领域，并且特别地，涉及基于人工智能的视音频设备集成管理方法，该方法用于在视音频设备的物联网化集成应用中对智能边缘计算网关的待接入视音频设备进行智能识别和接入。
背景技术
随着人们对视音频信息的需求的增加，传统的视音频管理平台已无法满足人们对多站点、跨区域、大规模视音频设备的控制管理的需求，随着技术的发展出现了基于互联网的视音频管理系统，但现有的方案仅仅具有简单的用户控制和会议管理的功能，在同时管理跨区域的大量视音频设备的情况下，控制按键较多，容易产生错误操作。另外，需要的视音频设备数量和种类繁多，连接关系复杂，同时数据传输速度慢，影响对视音频设备进行高效控制和管理。
传统的视音频集成广泛应用于多媒体教室、多功能会议室、指挥中心、新闻发布厅、博物馆展览馆、智能家居等。整个视音频系统中的设备由中央控制系统(中控)对系统中所涉及的声、光、电等各种设备进行集中管理和控制。以多功能会议室为例，中央控制器作为所有视音频设备的控制中心，而会议室内设置的视音频设备(例如，高清播放器、投影仪、电动屏幕、显示器、视频处理器、拼接融合器、音频处理器、麦克风、音响等)以及室内灯光、窗帘等都可以与中央控制器相连并受其控制，用户只需要坐在触摸屏前，便可以直观地对整个系统进行操作，包括：系统开关，各设备开关、灯光明暗度调节，视音频信号切换，信号源的播放和停止，信号输出端与显示端的路由，各种组合模式的进入和切换，音量调节；以及对用于扩声的会议音响系统，用于讨论、表决、投票的数字会议及同声传译系统，用于远程会议的视频会议系统，用于视频、HDMI(如DisplayPort等)信号显示的大屏幕投影系统、用于提供音视频信号的多媒体周边设备、用于全局环境设施、系统设备控制等系统的全自动综合控制等等。
在现有视音频集成系统中，用于对视音频设备进行控制的中控系统是基于单片机的嵌入式控制系统，因此视音频集成系统受到中控系统的限制而无法实现真正的物联网化，云计算与人工智能相关技术很难应用其中，同时也难以与第三方应用进行集成。
此外，在现有视音频集成系统中，还存在以下亟需解决的困难和问题：(1)当新型号的视音频设备接入中控系统时，往往需要用户进行大量配置和编码工作，无法实现自发现即插即用；(2)在同一系统中为了兼容不同厂家生产的视音频设备则需要繁复的兼容性工作；(3)当中控系统的控制端口使用完毕时，非常难以再次扩展控制端口；(4)在异地多场景下做到基于物联网的集中管理非常困难；(5)在现有的管理系统架构下无法完成采集、存储和分析视音频设备产生的运行状态数据；(6)将视音频系统配置成对接客户办公系统涉及较大的工作量。
因此，需要一种新颖的视音频设备集成管理方法，通过将该视音频设备集成管理方法用于在视音频设备的物联网化集成应用中对智能边缘计算网关的待接入视音频设备进行智能识别和接入，从而克服或缓解上述技术问题中的全部或至少一部分。
发明内容
本部分提供本申请的一般概要，而不是本申请的全部范围或全部特征的全面披露。
本申请的实施方式提供了一种基于人工智能的视音频设备集成管理方法，该方法用于在视音频设备的物联网化集成应用中通过智能边缘计算网关并基于视音频设备驱动对待接入视音频设备进行智能识别和接入。
在本申请的实施方式中，基于人工智能的视音频设备集成管理方法可以包括：
采集视音频设备驱动，视音频设备驱动包括对相应视音频设备进行限定的多个属性，所述多个属性包括视音频设备类型；
基于采集的视音频设备驱动构造驱动库，所述驱动库包括多个视音频设备驱动；
基于采集的视音频设备驱动构造视音频设备驱动样本数据，所述视音频设备驱动样本数据包括多个视音频设备驱动；
基于合适的机器学习算法并利用视音频设备驱动样本数据获得视音频设备驱动智能模型；
通过获得的视音频设备驱动智能模型确定待接入视音频设备的视音频设备类型；
基于所确定的待接入视音频设备的视音频设备类型在所述驱动库中进行智能搜索并获取至少一个候选视音频设备驱动；
将所获取的候选视音频设备驱动与待接入视音频设备进行匹配，并导出用于待接入视音频设备的目标视音频设备驱动；以及
将所导出的目标视音频设备驱动应用于待接入视音频设备以实现待接入视音频设备的接入。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：在所获取的候选视音频设备驱动与待接入视音频设备相匹配的情况下，基于匹配的视音频设备驱动确定并导出用于待接入视音频设备的目标视音频设备驱动。
在本申请的一些示例性实施方式中，驱动库中的每个视音频设备驱动的所述多个属性可以包括多个静态属性和多个动态属性，静态属性包括所述视音频设备类型。每个视音频设备驱动还可以包括：指令，包括对相应的视音频设备的状态进行查询的多个查询指令和对相应的视音频设备的操作进行控制的多个控制指令；以及规则，包括使所述多个静态属性分别与所述多个查询指令中对应的查询指令相关联的规则、使所述多个动态属性分别与所述多个控制指令中对应的控制指令相关联的规则、和不同指令之间的互斥规则。
在可选的示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：将所获取的候选视音频设备驱动中限定的多个查询指令应用于待接入视音频设备；以及，在待接入视音频设备响应于所述多个查询指令而反馈输出的信息所关联的静态属性与所述候选视音频设备驱动中限定的相应静态属性的预设值一致的情况下，将所述候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
在本申请的一些示例性实施方式中，查询指令可以包括品牌查询指令、型号查询指令和固件版本查询指令。在这种情况下，所述基于人工智能的视音频设备集成管理方法还可以包括：在待接入视音频设备响应于品牌查询指令、型号查询指令和固件版本查询指令而反馈输出的品牌信息、型号信息和固件版本信息与候选视音频设备驱动中限定的品牌信息预设值、型号信息预设值以及固件版本信息预设值一致的情况下，将候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：
在所获取的候选视音频设备驱动与待接入视音频设备不匹配的情况下，在所述驱动库中获取候选组装用驱动；
将所获取的每个候选组装用驱动中限定的查询指令应用于待接入视音频设备，并且记录和存储如下查询指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用查询指令：待接入视音频设备响应于该查询指令而反馈输出的信息所关联的静态属性与当前应用的候选组装用驱动中限定的相应的静态属性的预设值一致；
将所获取的每个候选组装用驱动中限定的控制指令应用于待接入视音频设备，并且记录和存储如下控制指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用控制指令：待接入视音频设备能够响应于该控制指令而反馈输出相应的信息且反馈输出的信息所关联的动态属性与当前应用的候选组装用驱动中限定的相应的动态属性的预设值一致；以及
应用视音频设备驱动模板对候选组装用查询指令、候选组装用控制指令以及与所述候选组装用查询指令和所述候选组装用控制指令相关联的在对应的候选组装用驱动中限定的属性及相应的规则和映射进行目标视音频设备驱动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
在本申请的一些示例性实施方式中，在所述候选组装用查询指令、候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性及相应的规则和映射的集合与所确定的待接入视音频设备的视音频设备驱动模板完全对应的情况下，获得并导出组装成功的与待接入视音频设备相匹配的目标视音频设备驱动。
在本申请的一些示例性实施方式中，在候选组装用查询指令、候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、以及相应的规则和映射的集合与所确定的待接入视音频设备的视音频设备驱动模板仅部分对应的情况下，可以生成手动配置通知。可以根据所述手动配置通知对待接入视音频设备的视音频设备驱动进行手动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
在本申请的一些示例性实施方式中，可以采用K-均值聚类算法、学习向量量化算法、高斯混合聚类算法、DBSCAN密度聚类算法、AGNES层次聚类算法、对数几率回归算法、线性判别分析算法、决策树学习算法、误差逆传播神经网络算法、朴素贝叶斯算法、Boosting算法、Bagging算法和随机森林算法中的一者、或者这些算法中的至少两者的组合，通过机器学习对所采集的视音频设备驱动进行数据分析和分类训练，以获得与视音频设备的各个设备分类分别对应的视音频设备驱动。
在本申请的一些示例性实施方式中，可以采用广度优先搜索算法、一致代价搜索算法、深度优先搜索算法、最佳优先搜索算法、双向搜索算法、A*算法、爬山算法、模拟退火算法和遗传算法中一者或者前述算法中的至少两者的组合，对驱动库进行搜索并获取视音频设备驱动以用作候选视音频设备驱动。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：将目标视音频设备驱动中的指令转换为物理触发命令以驱动待接入视音频设备进行工作，从而将待接入视音频设备接入智能边缘计算网关。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：将待接入视音频设备的目标视音频设备驱动存储至驱动库。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括以下至少一者：将驱动库设置于云端管理平台，并且使智能边缘计算网关与云端管理平台之间的数据自动同步；对接入智能边缘计算网关的视音频设备的信号传输进行实时分析，从而对所述视音频设备的物理参数特性进行实时动态调整；从接入智能边缘计算网关的视音频设备的视音频设备驱动中提取视音频设备动作，并且基于时序关系和逻辑条件将提取的视音频设备动作组合成视音频设备的场景化动作；通过USB接口或者标准网络接口进行智能边缘计算网关的物理端口扩展；以及在智能边缘计算网关端对与智能边缘计算网关相关联的视音频设备进行本地数据存储。
通过根据本申请实施方式的基于人工智能的视音频设备集成管理方法，可以有效解决现有视音频集成系统中存在的上述困难和问题，从而能够实现视音频集成系统真正的物联网化，同时可以实现其与第三方应用的有效集成，此外，在新型号视音频设备接入系统时，无需进行大量配置和编码工作，实现自发现即插即用；无需在同一系统中为了兼容不同厂家生产的视音频设备进行繁复的兼容性工作；当中控系统的控制端口使用完毕时，可以方便地再次扩展控制端口；能够在异地多场景下实现基于物联网的集中管理；可以实现采集、存储和分析视音频设备产生的运行状态数据；可以方便地将视音频系统配置成对接客户办公系统。
进一步地，通过根据本申请实施方式的基于人工智能的视音频设备集成管理方法，还能够在视音频设备驱动库中搜索目标视音频设备驱动的过程中，有效降低搜索成本、提高搜索效率和搜索精度，解决了因视音频设备驱动库存在大量视音频设备驱动而导致的高搜索成本和低搜索精度等问题。
附图说明
可以结合附图对本申请的示例性实施方式的特征、优点以及技术意义和工业意义进行详细描述。在附图中，相同的或对应的技术特征、组成部分或步骤将采用相同或对应的附图标记来表示，并且在附图中：
图1示出了根据本申请实施方式的基于人工智能的视音频设备集成管理方法的流程图。
图2示出了根据本申请实施方式的视音频设备的物联网化集成应用系统的示意图。
图3示出了根据本申请实施方式的智能边缘计算网关的一种示例性体系架构。
图4示意性地示出了根据本申请实施方式的视音频设备驱动的数据的逻辑结构。
具体实施方式
下面将参考附图并通过示例性实施方式对根据本申请的基于人工智能的视音频设备集成管理方法进行更全面的描述。这些附图通过图示的方式示出了根据本申请的特定的示例性实施方式。提供示例性实施方式仅仅是为了说明。本申请中描述为“示例性的”实施方式或实现方式不是在“理想”的意义上使用，因而不应被解释为优选的或有利的、例如优于其他实施方式或实现方式，相反，其旨在反映或指示该实施方式是“示例性”的。本申请所要求保护的主题可以以各种不同的形式体现，因而不限于本文中所阐述的任何示例性实施方式。例如，主题可以体现为方法、设备、部件或系统，而实施方式可以例如采用硬件、软件、固件或其任何组合(软件本身除外)的形式。因此，下面的详细描述不应被理解为限制性的。
另外，为了避免不必要的细节模糊了本申请关注的技术方案，在说明书和附图中并未描述和示出实际的特定实施方式的所有技术特征和组成部分，而仅描述和示出了与本申请的技术方案密切相关的技术特征和组成部分，省略了与本申请的技术内容关系不大的且为本领域技术人员已知的其他细节。
接下来参照说明书附图详细描述本申请的基于人工智能的视音频设备集成管理方法(在下文中也可称为“视音频设备集成管理方法”)的应用原理及相关的示例性实施方式。
对于复杂的视音频设备的物联网化集成应用的情形，为了在跨地域多场景的应用中实现云化的集中管理，需要在同一个视音频设备的物联网化集成应用系统中接入不同设备提供商提供的各种类型的视音频设备并实现其兼容。由于不同设备提供商提供的各种类型的视音频设备往往存在接入方式的差异性，当有新的(例如，新类型的或者新型号的)视音频设备要接入该集成应用系统中时，如果集成应用系统无法对视音频设备做到智能识别和接入，一方面，逐个对数量巨大的视音频设备进行手动接入将需要大量的配置和编码工作，另一方面，设备的兼容也是相当繁复且工作量巨大的，导致效率低下，成本增加。
根据本申请提出的基于人工智能的视音频设备集成管理方法，可在视音频设备的物联网化集成应用中对智能边缘计算网关的待接入视音频设备进行智能识别和接入。
图1示出了根据本申请的基于人工智能的视音频设备集成管理方法的示例性实施方式的流程图。根据图1示出的示例性实施方式，基于人工智能的视音频设备集成管理方法可以包括以下步骤：
S100：采集视音频设备驱动，视音频设备驱动包括对相应视音频设备进行限定的多个属性，所述多个属性包括视音频设备类型；
S200：基于采集的视音频设备驱动构造驱动库，所述驱动库包括多个视音频设备驱动；
S300：基于采集的视音频设备驱动构造视音频设备驱动样本数据，所述视音频设备驱动样本数据包括多个视音频设备驱动；
S400：基于合适的机器学习算法并利用视音频设备驱动样本数据获得视音频设备驱动智能模型；
S500：通过获得的视音频设备驱动智能模型确定待接入视音频设备的视音频设备类型；
S600：基于所确定的待接入视音频设备的视音频设备类型在驱动库中进行搜索并获取候选视音频设备驱动；
S700：将所获取的候选视音频设备驱动与待接入视音频设备进行匹配，并导出用于待接入视音频设备的目标视音频设备驱动；以及
S800：将所导出的目标视音频设备驱动应用于待接入视音频设备以实现待接入视音频设备的接入。
通过本申请的基于人工智能的视音频设备集成管理方法，在新的视音频设备接入集成应用系统时，能够充分利用已有的视音频设备驱动数据，实现待接入视音频设备的智能识别，进而能够在无需进行大量手动的配置和编码工作，也无需为了在同一系统中兼容不同类型视音频设备而进行繁复的兼容工作的情况下，简便快速地实现待接入视音频设备的接入，从而能够有效解决现有视音频集成应用系统中存在的上述困难和问题，实现视音频集成应用系统真正的物联网化。
此外，还能够在视音频设备驱动库中搜索目标视音频设备驱动的过程中，有效降低搜索成本、提高搜索效率和搜索精度，解决了因视音频设备驱动库存在大量视音频设备驱动而导致的高搜索成本和低搜索精度等问题。
在本申请的语境中，术语“视音频设备”指的是设备提供商提供的各种“视频设备”、“音频设备”及其他相关设备的统称。一般“视频设备”用于实现视频信号传输、处理、变换、开窗、路由、展示和控制等功能；“音频设备”用于实现音频信号的采集、传输、处理、变换、路由、放大、播放和控制等功能。举例而言，视频设备可以包括投影仪、显示屏幕、视频矩阵、解析度转换器、信号格式转换器、拼接处理器和远传设备等；音频设备可以包括话筒处理器、调音台、音频矩阵、功率放大器和扬声器等；其他相关设备可以包括中控设备、控制屏以及各类AVoverIP分布式设备。
在本申请的语境中，术语“智能边缘计算网关”指的是用于在物联网中靠近设备或者数据源的一侧(即边缘侧)应用人工智能实现网络互连的网络互连设备(也可称之为网间连接器或者协议转换器)。通过智能边缘计算网关，可以实现通信协议、数据格式、甚至体系结构完全不同的两个网络之间的通信。
现在结合图2和图3，对根据本申请的基于人工智能的视音频设备集成管理方法进行进一步说明。
图2示出了可以应用根据本申请的视音频设备集成管理方法的视音频设备的物联网化集成应用系统的示例性实施方式的示意图。如图2所示，根据本申请的视音频设备的物联网化集成应用系统1可以包括云端管理平台10、设置于不同物理位置的多个智能边缘计算网关20、以及与各个智能边缘计算网关物理连接的若干视音频设备30。
对于视音频设备的物联网化集成应用的情形，往往需要在同一个视音频设备集成应用系统中在不同物理位置接入大量来自不同设备提供商的各种类型的视音频设备、环境控制设备以及传感器设备。例如，在跨地域多场景的大型会议系统中，就需要大量各类视音频设备、环境控制设备以及传感器设备，用以构成在该会议系统的各地域、各场景设置的诸如多媒体教室、多功能会议室、指挥中心、新闻发布厅和/或展示厅之类的组成部分之间的跨地域互连的例如音响系统、数字会议系统、远程视频会议系统、显示系统、智能集中控制系统及灯光系统等。
为了提供跨网络、跨地域的物理位置接入，必须为视音频设备集成应用系统1在不同物理位置设置一个独立的智能边缘计算网关20，以便一方面能够接入云端管理平台10，另一方面能够在智能边缘计算网关20下端物理连接各类视音频设备30、环境控制设备以及传感器设备。根据本申请的视音频设备集成管理方法可以通过云端管理平台10、智能边缘计算网关20以及视音频设备30之间的配合和交互来实现。
在本申请的一些示例性实施方式中，云端管理平台10可以包括SaaS(Software asa Service，“软件即服务”)平台。SaaS平台可以用于实现多站点、跨区域的视音频设备集中管理。在使用中可以接受来自不同物理位置的跨不同网络环境的智能边缘计算网关20的注册，并且对来自不同智能边缘计算网关20的数据进行隔离以确保不同智能边缘计算网关20之间互不干扰。在可选的实施方式中，SaaS平台还可以提供与第三方协议的接口，例如：RESTful、XML等，可以与企业微信、钉钉或者企业内部系统进行对接。
在本申请的一些示例性实施方式中，云端管理平台10可以与智能边缘计算网关20通过异步消息通信，以在云端管理平台10与智能边缘计算网关20之间进行数据同步。在可选的实施方式中，云端管理平台10也可以对位于任意物理位置的智能边缘计算网关20下端物理连接的视音频设备30进行实时的远程控制，并且可以在控制命令执行完毕后接收视音频设备30反馈的命令执行结果。
在本申请的一些示例性实施方式中，智能边缘计算网关20可以在硬件方面采用开放式体系架构。图3示出了根据本申请的智能边缘计算网关的一种示例性体系架构。如图3所示，智能边缘计算网关20可以包括CPU(中央处理器)、内存、硬盘、显卡、声卡、网卡以及各类物理控制总线。
在可选的实施方式中，每个智能边缘计算网关20都可以与其下端物理连接的视音频设备30通信，以向视音频设备30发送指令以及从视音频设备30接收信息。智能边缘计算网关20可以包括用于对接各类视音频设备和传感器设备以用于对视音频设备进行控制和状态监控以及对传感器设备进行数据采集的物理端口，例如RS-232标准接口、RS-422和RS-485非标准接口、数字I/O接口、模拟I/O接口、继电器接口、以太网接口、红外接口等。
在可选的实施方式中，智能边缘计算网关20还可以包括多个标准USB接口和标准以太网接口以对智能边缘计算网关20的物理端口进行扩展。以太网接口可以用于与云端管理平台10进行通信。
在可选的实施方式中，智能边缘计算网关20还可以包括GSM系统下的3G/4G/5GSIM卡接口，为智能边缘计算网关20与云端管理平台10例如SaaS平台提供另外的网络途径。可选地，智能边缘计算网关20中可以安装通用的操作系统例如Linux、Windows、Android等。智能边缘计算网关20还可以实现某些物联网协议接入，例如NFC、ZigBee、MODBUS、MQTT、JSON over HTTP。
现在再次参照图1，对根据本申请的基于人工智能的视音频设备集成管理方法进行详细描述。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S100中，可以先对各种视音频设备的视音频设备驱动进行数据采集。
在本申请的语境中，术语“视音频设备驱动(在下文中有时也称为“设备驱动”)”指的是适于使相应的视音频设备正常工作，以实现其标称范围内规定的设备基本功能的计算机软件，所述计算机软件不仅包括可执行代码例如机器可执行或机器可解释的指令，而且包括以任何合适的电子格式(包括固件和嵌入式软件)储存的数据结构、数据储存和计算指令。
在本申请的一些示例性实施方式中，在步骤S100中，视音频设备驱动可以从视音频设备集成应用系统中已经接入的视音频设备采集获得，也可以从任意目前已知商用的视音频设备采集获得。可以通过任意已知方法采集关于视音频设备驱动的信息数据。
在本申请的一些示例性实施方式中，在步骤S100中，可以从商业数据库中采集视音频设备驱动。
在本申请的一些示例性实施方式中，在步骤S100中，可以通过智能边缘计算网关20采集视音频设备驱动。在可选的实施方式中，智能边缘计算网关20可以对所采集的设备驱动数据进行数据解析和协议转换。
在本申请的一些示例性实施方式中，可以通过云端管理平台10与智能边缘计算网关20之间的数据同步，将由智能边缘计算网关20采集的视音频设备驱动上传至云端管理平台10。在可选的实施方式中，智能边缘计算网关20可以对所采集的无效数据进行过滤，对有效数据进行初步加工运算并将经加工运算的数据上传云端管理平台10。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S200中，可以基于在步骤S100中所采集的视音频设备驱动来构造驱动库，使得在构造的驱动库中包括有多个视音频设备驱动。
在可选的实施方式中，在步骤S200中，可以在云端管理平台10基于采集到的视音频设备驱动来构造驱动库。
在本申请的一些示例性实施方式中，在采集获得视音频设备驱动的数据之后，可以对数据进行预处理。
在本申请的一些示例性实施方式中，可通过智能算法对所采集到的视音频设备驱动的基础数据进行清理(有时也称为“清洗”)。通过对基础数据进行清理，可以对采集到的基础数据中明显错误的数据进行处理，从而提高数据的可靠性以及合理性。
在可选的实施方式中，在进行清理时，可以进行如下操作：判断基础数据是否与视音频设备驱动有关，即判断基础数据的可靠性，并将不属于对应视音频设备驱动的基础数据去除。
在本申请的一些示例性实施方式中，还可以针对数据中存在的特征缺失，采用可用特征的均值来填补缺失值，或者采用相似样本的均值来填补缺失值，亦或者采用其他机器学习方法来预测缺失值，或者丢弃有缺失值的样本。在根据本申请的一个实施例中，直接丢弃有缺失值的样本。
无论是从目前已知商用的各类视音频设备、还是从构成视音频设备物联网化集成应用系统，都可以采集到大量视音频设备驱动。所采集到的视音频设备驱动可以构成视音频设备驱动的数据集。数据集中每条记录都是关于一个视音频设备驱动的描述，以下可称为“样本”。反映视音频设备驱动在某方面的表现或者性质的事项，以下可称为“属性”或“特征”。属性上的取值以下可称为“属性值”。将描述视音频设备驱动的属性作为坐标轴，可以张成视音频设备驱动的属性空间(也可称为“样本空间”或“输入空间”)。由此，每个视音频设备驱动都可以在这个属性空间中找到自己的坐标位置，该位置对应于一个坐标向量。因此，在视音频设备驱动的属性空间中，每个视音频设备驱动可以称为一个“特征向量”。
在本申请的一些示例性实施方式中，可以根据反映视音频设备驱动的表现或者性质的事项，在逻辑上将每个视音频设备的设备驱动数据抽象为包括：不随该视音频设备的运转和使用状态而变化的多个静态属性，以及随着视音频设备的运转和使用状态变化而变化的多个动态属性。
一般而言，若令D＝{x1,x2,…,xm}表示包含有m个视音频设备驱动样本的数据集，每个视音频设备驱动样本由包括有多个静态属性和多个动态属性的d个属性描述，则每个视音频设备驱动样本xi＝(xi1；xi2；…；xid)都是d维样本空间χ中的一个向量。xi∈χ，其中xij是xi在第j个属性上的取值，d为视音频设备驱动样本xi的维数。
在本申请的一些示例性实施方式中，视音频设备驱动的属性中可以包括视音频设备类型。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S300中，可以基于在步骤S100中所采集的视音频设备驱动来构造包括有多个视音频设备驱动的视音频设备驱动样本数据。
在本申请的一些示例性实施方式中，在步骤S300中，可以将在步骤S100中采集获得的视音频设备驱动的数据集中的全部样本或者一部分样本用于构造视音频设备驱动样本数据。
在可选的实施方式中，可以基于经过清理(清洗)的视音频设备驱动的数据来构造包括有多个视音频设备驱动的视音频设备驱动样本数据。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S400中，可以基于合适的机器学习算法并利用在步骤S300中所构造的视音频设备驱动样本数据获得视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，在步骤S400中，可以采用K-均值聚类(k-means clustering)算法、学习向量量化(Learning Vector Quantization，简称LVQ)算法、高斯混合聚类(Mixture-of-Gaussian clustering)算法、DBSCAN密度聚类算法、AGNES层次聚类算法、对数几率回归(logistic regression)算法、线性判别分析(LinearDiscriminant Analysis，简称LDA)算法、决策树(decision tree)学习算法、误差逆传播(error BackPropagation，简称BP)神经网络算法、朴素贝叶斯算法、Boosting算法、Bagging算法和随机森林算法中的一者、或者前述算法中的两者以上的组合，通过机器学习，利用在步骤S300中所构造的视音频设备驱动样本数据以获得视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，在视音频设备集成应用系统初始化阶段，可以在录入视音频设备驱动时，标记与该视音频设备驱动相对应的视音频设备的类型，例如投影仪、拼接处理器、视频矩阵、话筒处理器、音频矩阵、功放或者调音台等，使得视音频设备驱动的属性中可以包括视音频设备类型。
在可选的实施方式中，可以对带有类型标记的视音频设备驱动样本数据的数据集D＝{(x1,y1),(x2,y2),…,(xm,ym)}(其中，每个样本xi是由d个属性描述的特征向量xi＝(xi1；xi2；…；xid)，yi∈Y是样本xi的类型标记)应用学习向量量化算法，利用样本数据的类型标记作为监督信息进行辅助聚类，通过将所构造的视音频设备驱动样本数据划分为分别对应于某种潜在的视音频设备类型的若干个“簇”以获得视音频设备驱动智能模型。
在可选的实施方式中，可以单独采用诸如K-均值聚类算法、学习向量量化算法、高斯混合聚类算法、DBSCAN密度聚类算法、AGNES层次聚类算法之类的聚类算法，利用视音频设备驱动样本数据训练获得视音频设备驱动智能模型。
在可选的实施方式中，可以将聚类作为其他分类算法的前端过程。例如，可以先对视音频设备驱动样本数据进行聚类，然后根据聚类结果将每个簇定义为一种初始类别模型；再基于这些初始类别模型，应用诸如对数几率回归算法、线性判别分析算法、决策树学习算法、误差逆传播神经网络算法、朴素贝叶斯算法、Boosting算法、Bagging算法和随机森林算法之类的其他机器学习算法，利用视音频设备驱动样本数据训练获得具有强泛化能力的视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，鉴于视音频设备集成应用系统中的视音频设备往往包括若干设备类别，可以将视音频设备驱动的分类模型的机器学习拆分为二分类学习任务，然后为拆出的每个二分类任务训练一个分类器，以对视音频设备驱动的训练样本数据集进行初始分类，获得初始设备驱动分类模型。然后通过在采用“测试样本”进行测试时，对这些分类器的预测结果进行集成以获得最终的具有强泛化能力的视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，可以应用决策树学习算法并利用所构造的视音频设备驱动样本数据以获得视音频设备驱动智能模型。决策树的根结点可以包含视音频设备驱动样本数据全集D＝{x1,x2,…,xm}。从决策树的根结点到每个叶结点的路径对应于一个判定测试序列。决策树的若干内部结点都分别对应一个属性测试。因此，对于由d个属性描述的视音频设备驱动样本而言，将存在d个分支结点。通过决策树算法所获得的视音频设备驱动智能模型，在决策树的分支结点处所包含的设备驱动样本往往属于同一类别。
在本申请的一些示例性实施方式中，可以在应用决策树算法进行视音频设备驱动智能模型的训练时，在决策树的叶结点上嵌入神经网络，以结合两种机器学习的学习机制的优势。可选地，可以在应用决策树算法获得的分类模型的基础上，结合误差逆传播神经网络算法，将“测试样本”提供给输入层神经元；然后将信号逐层前传，直到产生输出层的结果；然后将输出层的误差逆向传播至隐层神经元；最后根据隐层神经元的误差来对连接权和阈值进行调整，从而进一步对决策树算法获得的分类模型进行循环迭代，使得样本集D上的累积误差最小化，直到达到预设的停止条件，由此获得最终的具有强泛化能力的视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，在步骤S400中，可以基于合适的机器学习算法，利用所构造的视音频设备驱动样本数据对选择的学习模型(分类模型)进行训练，并对经训练而构建的学习模型(分类模型)进行测试和评估，以获得视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，可从所构造的视音频设备驱动样本数据中提取有效特征数据以构造数据集，并采用十折交叉验证法对数据集进行分割以及训练和评价模型，从而构建视音频设备驱动智能模型。例如，可以将数据集中样本数据以随机方式打乱顺序，然后将数据集均匀分割成十个子数据集，首先，将前9个子数据集作为训练集以训练模型，将第10个子数据集作为验证集以对模型进行评价；其次，将前9个数据集和第10个子数据集作为训练集，将第9个子数据集作为验证集以对模型进行评价；以此类推，将全部10个子数据集既作为训练集也作为验证集，将全部评价结果的均值作为模型的性能指标，由此获得能够很好地适用于整个样本空间的具有强泛化能力的视音频设备驱动智能模型。
在可选的实施方式中，可从所构造的视音频设备驱动样本数据中提取有效特征数据以构造数据集，并以6:2:2的数据量比例将数据集分割为训练集、验证集和测试集，用以构建视音频设备驱动智能模型。
在本申请的一些示例性实施方式中，在步骤S400中，可以在视音频设备集成应用系统1的云端管理平台10，基于合适的机器学习算法并利用视音频设备驱动样本数据以获得视音频设备驱动智能模型。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S500中，可以通过在步骤S400中基于合适的机器学习算法并利用视音频设备驱动样本数据所获得的视音频设备驱动智能模型，确定待接入视音频设备的视音频设备类型。
采用上述技术方案，能够基于所获得的视音频设备驱动智能模型，对要接入智能边缘计算网关的待接入视音频设备的视音频设备类型进行预测。通过这种方式，能够实现对待接入视音频设备的高效的智能识别，并且有利于确定适用于待接入视音频设备的视音频设备驱动的搜索范围。此外，由于视音频设备驱动智能模型是应用合适的机器学习算法并充分利用了视音频设备驱动样本数据而获得的，因此本申请的视音频设备集成管理方法还能够显著发挥系统驱动库的成本效益。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S600中，可以基于在步骤S500中所确定的待接入视音频设备的视音频设备类型，在所述驱动库中进行智能搜索并获取候选视音频设备驱动。
在本申请的一些示例性实施方式中，在步骤S600中，可以应用人工智能，采用广度优先搜索(Breadth-First Search，简称BFS)算法、一致代价搜索(Uniform Cost Search，简称UCS)算法、深度优先搜索(Depth-First Search，简称DFS)算法、最佳优先搜索算法、双向搜索算法、A*(A-Star)算法、爬山算法、模拟退火算法和遗传算法中的一者、或者前述算法中的至少两者的组合，基于在步骤S500中所确定的待接入视音频设备的视音频设备类型来对所述驱动库进行智能搜索并获取至少一个候选视音频设备驱动。
在本申请的视音频设备集成管理方法中，每种视音频设备类型往往都对应于一个由若干视音频设备驱动构成的视音频驱动集合。通过根据本申请的基于人工智能的视音频设备集成管理方法，相比于在驱动库中对预存的视音频设备驱动进行逐条获取的技术方案而言，本申请的技术方案通过先确定待接入视音频设备的视音频设备类型，使得在步骤S600中的搜索范围显著缩小到与所确定的视音频设备类型相对应的候选视音频设备驱动集合，而不再是整个驱动库，因此能够进行更有针对性的搜索。此外，通过采用合适的人工智能搜索算法，能够快速高效地获取候选视音频设备驱动。由此显著降低搜索成本、提高搜索效率和搜索精度，解决了因视音频设备驱动库存在大量视音频设备驱动而导致的高搜索成本和低搜索精度等问题。
在本申请的示例性实施方式中，可以基于在步骤S500中所确定的待接入视音频设备的视音频设备类型，在步骤S600中，在驱动库中对与所确定的视音频设备类型相对应视音频设备驱动集合采用广度优先搜索算法、深度优先搜索算法或双向搜索算法等遍历搜索算法进行智能搜索，以获得候选视音频设备驱动。广度优先搜索算法、深度优先搜索算法或双向搜索算法均采用从驱动库中的一个视音频设备驱动出发，如果判定该视音频设备驱动不是搜索目标，则选择与该视音频设备驱动相邻(例如，按照视音频设备驱动的某个预定属性来确定)的另一个视音频驱动，以此类推，直到搜索到候选视音频设备驱动。广度优先搜索算法和深度优先搜索算法创建的搜索节点相同，只是两种算法的搜索顺序不同。双向搜索算法可以用于在驱动库中分别从两个状态(例如两种预定属性)相向搜索，直至两者达到共同的搜索结果。
在本申请的示例性实施方式中，在步骤S600中可以采用一致代价搜索算法和最佳优先搜索算法来进行候选视音频设备驱动的智能搜索。在一致代价搜索算法和最佳优先搜索算法中，搜索排序都是选择当前搜索代价最小的相邻视音频设备驱动进行扩展。可选地，在步骤S600中可以采用A*算法来进行候选视音频设备驱动的智能搜索，在A*算法中，通过获取最短路径来搜索候选视音频设备驱动。
在本申请的可选实施方式中，在步骤S600中可以采用爬山算法来进行候选视音频设备驱动的智能搜索。爬山算法是利用反馈信息帮助生成搜索决策。根据爬山算法，从当前的视音频设备驱动开始，和周围的相邻视音频设备驱动进行比较，如果当前视音频驱动的匹配值更高，则保留当前视音频设备驱动作为候选视音频设备驱动；反之就用匹配值较高的视音频设备驱动来替换当前视音频设备驱动。可选地，在步骤S600中可以采用启发式搜索算法例如模拟退火算法和遗传算法来进行候选视音频设备驱动的智能搜索。
从智能搜索的角度看，根据本申请的基于人工智能的视音频设备集成管理方法，在进行候选视音频设备驱动的智能搜索前，通过基于机器学习算法获得的视音频设备驱动智能模型先确定待接入视音频设备的视音频设备类型，可以依据所确定的视音频设备类型，将候选视音频设备驱动的搜索空间限缩到由驱动库中的视音频设备驱动样本所构成的样本空间中的一个区域中。因此，能够有效利用人工智能的搜索算法，快速高效地获取候选视音频设备驱动，由此显著降低搜索成本、提高搜索效率和搜索精度。
在本申请的一些示例性实施方式中，可以通过智能边缘计算网关20，基于与待接入视音频设备的通信交互，利用经机器学习获得的视音频设备驱动智能模型来确定待接入视音频设备的视音频设备类型，并基于所确定的待接入视音频设备的视音频设备类型而在驱动库中进行搜索并获取候选视音频设备驱动。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S700中，可以将在步骤S600中所获取的候选视音频设备驱动与待接入视音频设备进行匹配，并导出用于待接入视音频设备的目标视音频设备驱动。
在本申请的一些示例性实施方式中，可以在步骤S700中，在所获取的候选视音频设备驱动与待接入视音频设备相匹配的情况下，基于匹配的视音频设备驱动确定并导出用于待接入视音频设备的目标视音频设备驱动。
在本申请的语境中，用语“视音频设备驱动与视音频设备相匹配”指的是所述视音频设备驱动适于使所述视音频设备正常工作。以实现标称范围内规定的设备基本功能。
通过上述技术方案，在对待接入视音频设备进行目标视音频设备驱动智能导出的过程中，如果从驱动库中获取的候选视音频设备驱动与待接入视音频设备精准匹配，则可以将待接入视音频设备直接识别为与所述精准匹配的候选视音频设备驱动相对应的视音频设备类型，并且能够简单快速地确定并导出适用于待接入视音频设备的目标视音频设备驱动，由此实现待接入视音频设备的高效的智能识别和接入，做到即插即用。这在需要对数量庞大且来自不同设备提供商的视音频设备进行接入时尤其有用，能够显著地减少用于设备手动接入所需的繁杂的手动配置和编码工作。
如前所述，可以在逻辑上将每个视音频设备的视音频设备驱动抽象为包括多个静态属性和多个动态属性，静态属性包括视音频设备类型。由于静态属性不随视音频设备的运转和使用状态而变化，静态属性、特别是视音频设备类型与视音频设备驱动之间往往具有确定的对应关系。
在本申请的一些示例性实施方式中，对应于视音频设备驱动的静态属性和动态属性，可以进一步将视音频设备驱动抽象为还包括与所述多个静态属性和多个动态属性相关联的指令、规则和映射。
图4示意性地示出了根据本申请实施方式的视音频设备驱动的数据的逻辑结构。根据图示实施方式，指令可以包括对相应的视音频设备的状态进行查询的多个查询指令和对相应的视音频设备的操作进行控制的多个控制指令。指令可以是视音频设备接收到的来自外界的交互命令，不同的指令将触发视音频设备的不同响应或动作。规则可以包括使多个静态属性分别与多个查询指令中对应的查询指令相关联的规则、使多个动态属性分别与多个控制指令中对应的控制指令相关联的规则、不同指令之间的互斥规则、以及不同指令不能同时进行触发的规则。映射可以限定指令与视音频设备的物理触发命令之间的关系。
在本申请的一些示例性实施方式中，在步骤S700中，可以通过如下方式将所获取的候选视音频设备驱动与待接入视音频设备进行匹配：将所获取的候选视音频设备驱动中限定的多个查询指令逐项应用于待接入视音频设备，例如，根据所获取的候选视音频设备驱动中限定的查询指令向待接入视音频设备发送静态属性查询请求；接收待接入视音频设备响应于所述多个查询指令(例如，静态属性查询请求)而反馈输出的信息，该待接入视音频设备响应于所述多个查询指令而反馈输出的信息与待接入视音频设备的静态属性相关联；然后，对接收到的由待接入视音频设备反馈输出的信息所关联的静态属性与候选视音频设备驱动中限定的相应的静态属性的预设值进行比对和匹配。
在可选的实施方式中，在步骤S700中，如果待接入视音频设备响应于顺序应用的各项查询指令而反馈输出的静态属性与候选视音频设备驱动中限定的相应的静态属性的预设值一致的情况下，将该候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
在可选的示例性实施方式中，如果待接入视音频设备响应于候选视音频设备驱动中所限定的多个查询指令而反馈输出的信息所关联的静态属性中的至少一项与所述候选视音频设备驱动中限定的相应的静态属性的预设值不一致，则可以对驱动库进行搜索并获取另外的候选视音频设备驱动，直到获得与待接入视音频设备相匹配的目标视音频设备驱动。
接下来将以作为视音频设备示例的视频矩阵为例，参照表1对根据本申请的视音频设备集成管理方法做进一步描述。表1示出了视频矩阵的驱动数据的逻辑结构。
表1：视频矩阵的驱动数据的逻辑结构
Figure BDA0003440527990000171
/>
Figure BDA0003440527990000181
/>
Figure BDA0003440527990000191
Figure BDA0003440527990000192
如表1所示，视频矩阵的设备驱动可以包括至少三个静态属性：品牌、型号和固件版本。相应地，在视频矩阵的设备驱动中包括三个查询指令：品牌查询指令、型号查询指令和固件版本查询指令，并且定义有所述三个静态属性与所述三个查询指令各自的对应关系。
在本申请的一些示例性实施方式中，在步骤S700中，可以通过如下方式将所获取的候选视音频设备驱动与待接入视音频设备进行匹配：根据所获取的候选视音频设备驱动中限定的品牌查询指令、型号查询指令和固件版本查询指令，依此顺序向待接入视音频设备发送品牌查询请求、型号查询请求和固件版本查询请求；接收待接入视音频设备响应于所述品牌查询请求、型号查询请求和固件版本查询请求而反馈输出的品牌信息、型号信息和固件版本信息。将所接收到的由该待接入视音频设备反馈输出的品牌信息、型号信息和固件版本信息分别与候选视音频设备驱动中限定的相应的品牌信息预设值、型号信息预设值和固件版本信息预设值进行比对和匹配。
在本申请的一些示例性实施方式中，在步骤S700中，可以在待接入视音频设备响应于所述品牌查询指令、所述型号查询指令和所述固件版本查询指令而反馈输出的品牌信息、型号信息和固件版本信息与所述候选视音频设备驱动中限定的品牌信息预设值、型号信息预设值以及固件版本信息预设值一致的情况下，将所述候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
在可选的示例性实施方式中，可以在出现以下情况中的至少一者时，判定所获取的候选视音频设备驱动与待接入视音频设备不匹配，并且应用人工智能对驱动库进行搜索并获取另外的候选视音频设备驱动以进行所述目标视音频设备驱动智能导出，直到获得与待接入视音频设备相匹配的目标视音频设备驱动：
在将品牌查询指令应用于待接入视音频设备之后，待接入视音频设备未反馈输出品牌信息、或者待接入视音频设备反馈输出的品牌信息与候选视音频设备驱动中限定的品牌信息预设值不一致；
在将型号查询指令应用于待接入视音频设备之后，待接入视音频设备未反馈输出型号信息、或者待接入视音频设备反馈输出的型号信息与候选视音频设备驱动中限定的型号信息预设值不一致；以及
在将固件版本查询指令应用于待接入视音频设备之后，待接入视音频设备未反馈输出固件版本信息、或者待接入视音频设备反馈输出的固件版本信息与候选视音频设备驱动中限定的固件版本信息预设值不一致。
在本申请的一些实施方式中，在步骤S700中，如果所获取的候选视音频设备驱动与待接入视音频设备不匹配，则智能边缘计算网关20可以向云端管理平台10发送驱动获取请求，以从驱动库中获取另外的候选视音频设备驱动来与待接入视音频设备进行匹配，直到获得与待接入视音频设备相匹配的目标视音频设备驱动。
根据本申请的一些示例性实施方式，在视音频设备集成管理方法的步骤S700中，在所获取的候选视音频设备驱动与待接入视音频设备不匹配的情况下，可以在所述驱动库中获取其中预存的视音频设备驱动作为候选组装用驱动，并且基于所获取的候选组装用驱动进行智能驱动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
在本申请的一些示例性实施方式中，在视音频设备集成管理方法的步骤S700中，可以通过如下方式基于所获取的候选组装用驱动来生成并导出与待接入视音频设备相匹配的目标视音频设备驱动：
将所获取的每个候选组装用驱动中限定的查询指令逐项应用于待接入视音频设备，并且记录和存储如下查询指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用查询指令：待接入视音频设备响应于该查询指令而反馈输出的信息所关联的静态属性与当前应用的候选组装用驱动中限定的相应的静态属性的预设值一致；
将所获取的每个候选组装用驱动中限定的控制指令逐项应用于待接入视音频设备，并且记录和存储如下控制指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用控制指令：待接入视音频设备能够响应于该控制指令而反馈输出相应的信息且反馈输出的信息所关联的动态属性与当前应用的候选组装用驱动中限定的相应的动态属性的预设值一致；以及
应用视音频设备驱动模板对候选组装用查询指令、候选组装用控制指令以及与所述候选组装用查询指令和所述候选组装用控制指令相关联的在对应的候选组装用驱动中限定的属性以及相应的规则和映射进行目标视音频设备驱动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
根据本申请的一些示例性实施方式中，在视音频设备集成管理方法的步骤S700中，在基于所获取的候选组装用驱动来生成并导出与待接入视音频设备相匹配的目标视音频设备驱动的过程中，在候选组装用查询指令、候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、以及相应的规则和映射的集合与待接入视音频设备的视音频设备驱动模板完全对应的情况下，可以获得并导出组装成功的与待接入视音频设备相匹配的目标视音频设备驱动。
在本申请的一些示例性实施方式中，在基于所获取的候选组装用驱动来生成并导出与待接入视音频设备相匹配的目标视音频设备驱动的过程中，在候选组装用查询指令、候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、以及相应的规则和映射的集合与待接入视音频设备的视音频设备驱动模板仅部分对应的情况下，可以生成手动配置通知，并且根据该手动配置通知对用于待接入视音频设备的视音频设备驱动进行手动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
采用上述技术方案，由于可以通过对候选组装用驱动与待接入视音频设备进行比对和匹配，并且存储并记录下候选组装用驱动中所限定的与待接入视音频设备相匹配的候选组装用查询指令、候选组装用控制指令，以及候选组装用驱动中所限定的与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、及相应的规则和映射的集合，因而在后续对用于待接入视音频设备的视音频设备驱动进行手动组装的过程中，能够节省大量的手动录入的工作，显著提高了手动录入的工作效率。
根据本申请实施方式的基于人工智能的视音频设备集成管理方法，在步骤S800中，可以通过将目标视音频设备驱动应用于待接入视音频设备，以实现该待接入视音频设备的接入。
在本申请的一些示例性实施方式中，在步骤S800中，基于人工智能的视音频设备集成管理方法还可以包括：将目标视音频设备驱动中的指令转换为物理触发命令以驱动待接入视音频设备进行工作，从而将待接入视音频设备接入智能边缘计算网关。
根据本申请的上述技术方案，即使在有新类型或新型号的视音频设备需要接入视音频设备集成应用系统、而从驱动库中没有搜索到与待接入视音频设备精准匹配的视音频设备驱动的情况下，也能够充分利用驱动库中预存的视音频设备驱动进行目标视音频设备驱动的智能组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动，从而实现新类型或新型号的视音频设备的高效接入，显著提高系统对视音频设备的接入效率。
在本申请的一些示例性实施方式中，所述基于人工智能的视音频设备集成管理方法还可以包括：将在步骤S700中所生成并导出的与待接入视音频设备相匹配的目标视音频设备驱动存储至驱动库。
通过这种方式，可以将根据本申请的视音频设备集成管理方法所导出的、特别是通过目标视音频设备驱动组装而生成并导出的与待接入视音频设备相匹配的目标视音频设备驱动存储至驱动库中，从而允许基于新存储的目标视音频设备驱动来构造可以用于获得视音频设备驱动智能模型的视音频设备驱动样本数据。由此，进一步提供以用作为在根据本申请的视音频设备集成管理方法的步骤S400中训练或测试视音频设备驱动智能模型的视音频设备驱动样本。
在本申请的一些示例性实施方式中，基于人工智能的视音频设备集成管理方法还可以包括以下至少一者：将驱动库设置于云端管理平台，并且使智能边缘计算网关与云端管理平台之间的数据自动同步；对接入智能边缘计算网关的视音频设备的信号传输进行实时分析，从而对所述视音频设备的物理参数特性进行实时动态调整；从接入智能边缘计算网关的视音频设备的视音频设备驱动中提取视音频设备动作，并且基于时序关系和逻辑条件将提取的视音频设备动作组合成视音频设备的场景化动作；通过USB接口或者标准网络接口进行智能边缘计算网关的物理端口扩展；以及在智能边缘计算网关端对与智能边缘计算网关相关联的视音频设备进行本地数据存储。
通过上述技术方案，可以实现本申请的视音频设备集成管理方法及视音频设备集成应用系统的开放性、兼容性，从而满足用户的使用和管理需求。
在描述本申请的实施方式的上下文中(尤其是在所附权利要求的上下文中)使用的术语“一”、“一种”和“该”、“所述”以及类似指代应解释为涵盖单数和复数，除非本文另有说明或与上下文明显矛盾。除非另有说明，否则术语“包含”、“具有”、“包括”和“含有”应解释为开放式术语,即，意思是“包括但不限于”。术语“基于”可以是指“至少部分地基于”。除非本文另外指出或与上下文明显矛盾，否则本文描述的所有方法可以以任何合适的顺序执行。除非另外要求，否则本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施方式，并且不对本公开的范围构成限制。术语“信息”、“数据”和“内容”在本申请的语境允许时有时可以互换使用。说明书中的任何语言都不应被解释为指示任何未要求保护的要素对于实施本公开是必不可少的。
尽管已经参照附图描述了本申请的一个或更多个示例性实施方式，但是应当理解，本申请的示例性实施方式旨在使得本领域的普通技术人员可以容易地理解和实施本申请，而不应当被解释为对本申请的可能的实施方式的限制。本申请所描述的实施方式可以在形式和细节上作出各种改变，而不背离如由所附权利要求所限定的本公开的精神和范围。

Claims (12)

1.一种基于人工智能的视音频设备集成管理方法，用于在视音频设备的物联网化集成应用中通过智能边缘计算网关并基于视音频设备驱动对待接入视音频设备进行智能识别和接入，所述基于人工智能的视音频设备集成管理方法包括：
采集视音频设备驱动，视音频设备驱动包括对相应视音频设备进行限定的多个属性，所述多个属性包括视音频设备类型；
基于采集的视音频设备驱动构造驱动库，所述驱动库包括多个视音频设备驱动；
基于采集的视音频设备驱动构造视音频设备驱动样本数据，所述视音频设备驱动样本数据包括多个视音频设备驱动；
基于合适的机器学习算法并利用视音频设备驱动样本数据获得视音频设备驱动智能模型；
通过获得的视音频设备驱动智能模型确定待接入视音频设备的视音频设备类型；
基于所确定的待接入视音频设备的视音频设备类型在所述驱动库中进行智能搜索并获取至少一个候选视音频设备驱动；
将所获取的候选视音频设备驱动与待接入视音频设备进行匹配，并导出用于待接入视音频设备的目标视音频设备驱动；以及
将所导出的目标视音频设备驱动应用于待接入视音频设备以实现待接入视音频设备的接入。
2.根据权利要求1所述的基于人工智能的视音频设备集成管理方法，还包括：
在所获取的候选视音频设备驱动与待接入视音频设备相匹配的情况下，基于匹配的视音频设备驱动确定并导出用于待接入视音频设备的目标视音频设备驱动。
3.根据权利要求1或2所述的基于人工智能的视音频设备集成管理方法，其中，所述多个属性包括多个静态属性和多个动态属性，静态属性包括所述视音频设备类型；每个视音频设备驱动还包括：指令，包括对相应的视音频设备的状态进行查询的多个查询指令和对相应的视音频设备的操作进行控制的多个控制指令；以及规则，包括使所述多个静态属性分别与所述多个查询指令中对应的查询指令相关联的规则、使所述多个动态属性分别与所述多个控制指令中对应的控制指令相关联的规则、和不同指令之间的互斥规则，
所述基于人工智能的视音频设备集成管理方法还包括：
将所获取的候选视音频设备驱动中限定的多个查询指令应用于待接入视音频设备；以及
在待接入视音频设备响应于所述多个查询指令而反馈输出的信息所关联的静态属性与所述候选视音频设备驱动中限定的相应静态属性的预设值一致的情况下，将所述候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
4.根据权利要求3所述的基于人工智能的视音频设备集成管理方法，其中，所述查询指令包括品牌查询指令、型号查询指令和固件版本查询指令，所述基于人工智能的视音频设备集成管理方法还包括：
在待接入视音频设备响应于所述品牌查询指令、所述型号查询指令和所述固件版本查询指令而反馈输出的品牌信息、型号信息和固件版本信息与所述候选视音频设备驱动中限定的品牌信息预设值、型号信息预设值以及固件版本信息预设值一致的情况下，将所述候选视音频设备驱动确定并导出为待接入视音频设备的目标视音频设备驱动。
5.根据权利要求1至4中的任一项所述的基于人工智能的视音频设备集成管理方法，还包括：
在所获取的候选视音频设备驱动与待接入视音频设备不匹配的情况下，在所述驱动库中获取候选组装用驱动；
将所获取的每个候选组装用驱动中限定的查询指令应用于待接入视音频设备，并且记录和存储如下查询指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用查询指令：待接入视音频设备响应于此查询指令而反馈输出的信息所关联的静态属性与当前应用的候选组装用驱动中限定的相应的静态属性的预设值一致；
将所获取的每个候选组装用驱动中限定的控制指令应用于待接入视音频设备，并且记录和存储如下控制指令以作为适于构成待接入视音频设备的目标视音频设备驱动的候选组装用控制指令：待接入视音频设备能够响应于此控制指令而反馈输出相应的信息且反馈输出的信息所关联的动态属性与当前应用的候选组装用驱动中限定的相应的动态属性的预设值一致；以及
应用视音频设备驱动模板对所述候选组装用查询指令、所述候选组装用控制指令以及与所述候选组装用查询指令和所述候选组装用控制指令相关联的在对应的候选组装用驱动中限定的属性以及相应的规则和映射进行目标视音频设备驱动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
6.根据权利要求5所述的基于人工智能的视音频设备集成管理方法，还包括：
在所述候选组装用查询指令、所述候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、以及相应的规则和映射的集合与待接入视音频设备的视音频设备驱动模板完全对应的情况下，获得并导出组装成功的与待接入视音频设备相匹配的目标视音频设备驱动。
7.根据权利要求5所述的基于人工智能的视音频设备集成管理方法，还包括：
在所述候选组装用查询指令、所述候选组装用控制指令、与所述候选组装用查询指令和所述候选组装用控制指令相关联的属性、以及相应的规则和映射的集合与待接入视音频设备的视音频设备驱动模板部分对应的情况下，生成手动配置通知；以及
根据所述手动配置通知对用于待接入视音频设备的视音频设备驱动进行手动组装，以生成并导出与待接入视音频设备相匹配的目标视音频设备驱动。
8.根据权利要求1至7中的任一项所述的基于人工智能的视音频设备集成管理方法，其中，采用如下之一者或者如下之至少两者的组合，通过机器学习，以利用视音频设备驱动样本数据获得视音频设备驱动智能模型：
K-均值聚类算法、学习向量量化算法、高斯混合聚类算法、DBSCAN密度聚类算法、AGNES层次聚类算法、对数几率回归算法、线性判别分析算法、决策树学习算法、误差逆传播神经网络算法、朴素贝叶斯算法、Boosting算法、Bagging算法和随机森林算法。
9.根据权利要求1至8中的任一项所述的基于人工智能的视音频设备集成管理方法，其中，采用如下之一者或者如下之至少两者的组合，对所述驱动库进行智能搜索并获取候选视音频设备驱动：
广度优先搜索算法、一致代价搜索算法、深度优先搜索算法、最佳优先搜索算法、双向搜索算法、A*算法、爬山算法、模拟退火算法和遗传算法。
10.根据权利要求1至9中的任一项所述的基于人工智能的视音频设备集成管理方法，还包括：将所述目标视音频设备驱动中的指令转换为物理触发命令以驱动待接入视音频设备工作，从而将待接入视音频设备接入所述智能边缘计算网关。
11.根据权利要求1至10中的任一项所述的基于人工智能的视音频设备集成管理方法，还包括：将待接入视音频设备的目标视音频设备驱动存储至驱动库。
12.根据权利要求1至11中的任一项所述的基于人工智能的视音频设备集成管理方法，还包括以下至少一者：
将所述驱动库设置于云端管理平台，并且使智能边缘计算网关与云端管理平台之间的数据自动同步；
对接入智能边缘计算网关的视音频设备的信号传输进行实时分析，从而对所述视音频设备的物理参数特性进行实时动态调整；
从接入智能边缘计算网关的视音频设备的视音频设备驱动中提取视音频设备动作，并且基于时序关系和逻辑条件将提取的视音频设备动作组合成视音频设备的场景化动作；
通过USB接口或者标准网络接口进行智能边缘计算网关的物理端口扩展；以及
在智能边缘计算网关端对与智能边缘计算网关相关联的视音频设备进行本地数据存储。
CN202111628459.2A 2021-12-28 2021-12-28 基于人工智能的视音频设备集成管理方法 Active CN116418828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111628459.2A CN116418828B (zh) 2021-12-28 2021-12-28 基于人工智能的视音频设备集成管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111628459.2A CN116418828B (zh) 2021-12-28 2021-12-28 基于人工智能的视音频设备集成管理方法

Publications (2)

Publication Number Publication Date
CN116418828A true CN116418828A (zh) 2023-07-11
CN116418828B CN116418828B (zh) 2023-11-14

Family

ID=87049679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111628459.2A Active CN116418828B (zh) 2021-12-28 2021-12-28 基于人工智能的视音频设备集成管理方法

Country Status (1)

Country Link
CN (1) CN116418828B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010033521A2 (en) * 2008-09-16 2010-03-25 Quantum Leap Research, Inc. Methods for enabling a scalable transformation of diverse data into hypotheses, models and dynamic simulations to drive the discovery of new knowledge
WO2015017428A1 (en) * 2013-08-02 2015-02-05 Google Inc. Associating audio tracks with video content by matching audio content of the video with audio tracks
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN108646725A (zh) * 2018-07-31 2018-10-12 河北工业大学 基于动态加权的双模型故障诊断方法
CN110413909A (zh) * 2019-06-18 2019-11-05 中国科学院信息工程研究所 基于机器学习的大规模嵌入式设备在线固件智能识别方法
KR20200006251A (ko) * 2018-07-10 2020-01-20 동의대학교 산학협력단 인공 신경망 기반 알고리즘을 이용한 디바이스 모니터링 방법 및 시스템
CN111224797A (zh) * 2018-11-23 2020-06-02 杭州海康威视系统技术有限公司 一种设备接入方法、装置及电子设备
CN113204332A (zh) * 2021-04-30 2021-08-03 重庆市科学技术研究院 智能家居设备控制程序生成系统及方法
CN113709402A (zh) * 2021-08-31 2021-11-26 中国平安人寿保险股份有限公司 基于人工智能的音视频对话方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010033521A2 (en) * 2008-09-16 2010-03-25 Quantum Leap Research, Inc. Methods for enabling a scalable transformation of diverse data into hypotheses, models and dynamic simulations to drive the discovery of new knowledge
WO2015017428A1 (en) * 2013-08-02 2015-02-05 Google Inc. Associating audio tracks with video content by matching audio content of the video with audio tracks
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
KR20200006251A (ko) * 2018-07-10 2020-01-20 동의대학교 산학협력단 인공 신경망 기반 알고리즘을 이용한 디바이스 모니터링 방법 및 시스템
CN108646725A (zh) * 2018-07-31 2018-10-12 河北工业大学 基于动态加权的双模型故障诊断方法
CN111224797A (zh) * 2018-11-23 2020-06-02 杭州海康威视系统技术有限公司 一种设备接入方法、装置及电子设备
CN110413909A (zh) * 2019-06-18 2019-11-05 中国科学院信息工程研究所 基于机器学习的大规模嵌入式设备在线固件智能识别方法
CN113204332A (zh) * 2021-04-30 2021-08-03 重庆市科学技术研究院 智能家居设备控制程序生成系统及方法
CN113709402A (zh) * 2021-08-31 2021-11-26 中国平安人寿保险股份有限公司 基于人工智能的音视频对话方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116418828B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
WO2021159775A1 (zh) 音频分离网络的训练方法、音频分离方法、装置及介质
WO2022116888A1 (zh) 一种视频数据处理方法、装置、设备以及介质
US11151892B2 (en) Internet teaching platform-based following teaching system
US9129227B1 (en) Methods, systems, and media for recommending content items based on topics
EP3796110A1 (en) Method and apparatus for determining controlled object, and storage medium and electronic device
US11955125B2 (en) Smart speaker and operation method thereof
CN102193970B (zh) 知晓元数据的搜索引擎
CN107463700B (zh) 用于获取信息的方法、装置及设备
US20230260303A1 (en) Cross-Modal Weak Supervision For Media Classification
EP3857860B1 (en) System and method for disambiguation of internet-of-things devices
CN109684456B (zh) 基于物联网能力知识图谱的场景能力智能问答系统
TW201717062A (zh) 基於多模態融合之智能高容錯視頻識別系統及其識別方法
WO2020253064A1 (zh) 语音的识别方法及装置、计算机设备、存储介质
CN115114395B (zh) 内容检索及模型训练方法、装置、电子设备和存储介质
US10642231B1 (en) Switch terminal system with an activity assistant
US20180246964A1 (en) Speech interface for vision-based monitoring system
US10762902B2 (en) Method and apparatus for synthesizing adaptive data visualizations
CN110457569A (zh) 用于多个物联网设备的认知引擎
Qiao Integration model for multimedia education resource based on internet of things
CN115033661A (zh) 一种基于垂直领域知识图谱的自然语言语义理解方法和装置
CN115268287A (zh) 智能家居综合实验系统及数据处理方法
CN116418828B (zh) 基于人工智能的视音频设备集成管理方法
WO2023173596A1 (zh) 语句文本的意图识别方法和装置、存储介质及电子装置
CN109446356A (zh) 一种多媒体文件检索方法及装置
US20220180865A1 (en) Runtime topic change analyses in spoken dialog contexts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant