CN116386045A - 基于人工智能的传感器信息分析方法及人工智能平台系统 - Google Patents
基于人工智能的传感器信息分析方法及人工智能平台系统 Download PDFInfo
- Publication number
- CN116386045A CN116386045A CN202310643562.7A CN202310643562A CN116386045A CN 116386045 A CN116386045 A CN 116386045A CN 202310643562 A CN202310643562 A CN 202310643562A CN 116386045 A CN116386045 A CN 116386045A
- Authority
- CN
- China
- Prior art keywords
- image
- descriptor
- event
- feature
- image detail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 164
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 35
- 238000010191 image analysis Methods 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 50
- 238000005065 mining Methods 0.000 claims description 44
- 238000009826 distribution Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 32
- 230000002776 aggregation Effects 0.000 claims description 29
- 238000004220 aggregation Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 230000002441 reversible effect Effects 0.000 claims description 25
- 238000012546 transfer Methods 0.000 claims description 25
- 238000013519 translation Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/90—Identifying an image sensor based on its output data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明实施例提供的基于人工智能的传感器信息分析方法及人工智能平台系统，先获取待分析传感图像信息中的第一动态作业事件，将针对第一动态作业事件的细节约束牵涉描述子作为约束特征，与图像细节牵涉描述子进行聚合，因而目标图像细节描述子是一个涵盖约束特征的图像细节描述子，换言之，将确定出的第一动态作业事件作为约束，从而在给出第一动态作业事件的约束状态下，检测待分析传感图像信息中的第二动态作业事件以及第一动态作业事件具有作业依存事件所匹配的联系特征，因而本发明实施例能够提升第一动态作业事件以及第二动态作业事件之间的联系特征的挖掘精度和可信度。
Description
技术领域
本发明涉及人工智能和图像传感技术领域，具体而言，涉及基于人工智能的传感器信息分析方法及人工智能平台系统。
背景技术
图像传感技术（Image sensing technology）是在光电技术基础上发展起来的，利用光电器件的光电转化功能，将其感光面上的光信号转换为与光信号成对应比例关系的电信号“图像”的一门技术，该技术将光学图像转换成一维时序信号，其关键器件是图像传感器。图像探测系统通常包括固态光图像传感系统、红外光成像系统、超声成像系统、微波影像系统等，已广泛应用于视频、测量、监控、医疗、人工智能等领域。目前，通过对传感图像进行一系列的分析处理成为绝大部分行业的需求之一。
发明内容
本发明至少提供基于人工智能的传感器信息分析方法及人工智能平台系统。
本发明实施例提供了一种基于人工智能的传感器信息分析方法，应用于人工智能平台系统，所述方法包括：
获取待分析传感图像信息以及所述待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子；
依据所述图像细节牵涉描述子，获取所述待分析传感图像信息中匹配第一行为状态的第一动态作业事件；
在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的细节约束牵涉描述子，对所述细节约束牵涉描述子以及所述图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子；
对所述目标图像细节描述子进行特征解析，得到包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果；所述联合解析结果中的第二动态作业事件匹配所述待分析传感图像信息；所述联合解析结果中的作业依存事件用于反映所述第一动态作业事件以及所述联合解析结果中的第二动态作业事件之间的联系特征。
在一些可选的实施例中，所述方法还包括：获取传感图像分析网络，将所述待分析传感图像信息加载到所述传感图像分析网络；所述传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网；依据所述图像块拆解子网对所述待分析传感图像信息进行拆解操作，得到最少两个传感图像块；所述最少两个传感图像块包括传感图像块B_u，u为正整数，且u不大于所述最少两个传感图像块对应的总数；获取所述传感图像块B_u在所述待分析传感图像信息中的分布数据，将针对所述传感图像块B_u的分布数据加载到所述图像特征挖掘子网；依据所述图像特征挖掘子网，对针对所述传感图像块B_u的分布数据进行特征挖掘，得到所述传感图像块B_u对应的分布牵涉特征；
所述在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的细节约束牵涉描述子，包括：确定所述第一动态作业事件在所述待分析传感图像信息中的分布数据；所述第一动态作业事件在所述待分析传感图像信息中的分布数据匹配所述最少两个传感图像块分别在所述待分析传感图像信息中的分布数据；依据所述第一动态作业事件在所述待分析传感图像信息中的分布数据，在所述最少两个传感图像块各自对应的分布牵涉特征中，获取所述第一动态作业事件对应的分布牵涉特征；依据所述第一动态作业事件对应的分布牵涉特征，在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的所述细节约束牵涉描述子。
在一些可选的实施例中，所述对所述细节约束牵涉描述子以及所述图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子，包括：
获取传感图像分析网络；所述传感图像分析网络包括第一可逆子网；所述第一可逆子网包括特征关注单元、第一区间数值映射单元、中间单元以及第二区间数值映射单元；
将所述图像细节牵涉描述子加载到所述特征关注单元，依据所述特征关注单元对所述图像细节牵涉描述子进行特征挖掘，得到第一待映射图像细节描述子；
将所述第一待映射图像细节描述子以及所述图像细节牵涉描述子分别加载到所述第一区间数值映射单元，依据所述第一区间数值映射单元对所述第一待映射图像细节描述子以及所述图像细节牵涉描述子进行基于权重的拼接处理，得到中间图像细节描述子；
将所述中间图像细节描述子加载到所述中间单元，依据所述中间单元对所述中间图像细节描述子进行特征挖掘，得到第二待映射图像细节描述子；
将所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子分别加载到所述第二区间数值映射单元，依据所述第二区间数值映射单元，对所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子，进行图像描述聚合，得到所述目标图像细节描述子。
在一些可选的实施例中，所述第二区间数值映射单元包括特征均值化节点、特征差异分析节点、特征调整节点、特征尺度变换节点、特征拼接节点以及特征聚合节点；
所述依据所述第二区间数值映射单元，对所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子，进行图像描述聚合，得到所述目标图像细节描述子，包括：
依据所述特征均值化节点，对所述第二待映射图像细节描述子以及所述中间图像细节描述子进行特征均值化，得到图像细节均值描述子；
依据所述特征差异分析节点，获取所述第二待映射图像细节描述子以及所述图像细节均值描述子之间的特征差异，得到第一差异特征表示，获取所述中间图像细节描述子以及所述图像细节均值描述子之间的特征差异，得到第二差异特征表示；
依据所述特征调整节点，对所述第二待映射图像细节描述子以及所述中间图像细节描述子进行特征调整，得到图像细节调整描述子；
依据所述特征尺度变换节点，对所述第一差异特征表示以及所述图像细节调整描述子进行特征尺度变换，得到第一已变换图像细节描述子，对所述第二差异特征表示以及所述图像细节调整描述子进行特征尺度变换，得到第二已变换图像细节描述子；
生成所述细节约束牵涉描述子对应的第一偏置项变量，以及所述细节约束牵涉描述子对应的第二偏置项变量；
依据所述特征拼接节点，对所述第一已变换图像细节描述子、所述第二已变换图像细节描述子以及所述第一偏置项变量进行基于权重的拼接处理，得到图像细节拼接描述子；
依据所述特征聚合节点，对所述第二偏置项变量以及所述图像细节拼接描述子进行图像描述聚合，得到所述目标图像细节描述子。
在一些可选的实施例中，所述对所述目标图像细节描述子进行特征解析，得到包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果，包括：
获取传感图像分析网络；所述传感图像分析网络包括特征依存解析子网；
将所述目标图像细节描述子加载到所述特征依存解析子网，依据所述特征依存解析子网，对所述目标图像细节描述子进行特征解析，得到图像细节解析描述子；
依据所述图像细节解析描述子，生成包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果。
在一些可选的实施例中，所述获取所述待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子，包括：
获取传感图像分析网络，将所述待分析传感图像信息加载到所述传感图像分析网络；所述传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网；
依据所述图像块拆解子网对所述待分析传感图像信息进行拆解操作，得到最少两个传感图像块，将所述最少两个传感图像块分别加载到所述图像特征挖掘子网；
依据所述图像特征挖掘子网，对所述最少两个传感图像块分别进行特征挖掘，得到每个传感图像块各自对应的图像细节牵涉描述子。
在一些可选的实施例中，所述依据所述图像细节牵涉描述子，获取所述待分析传感图像信息中匹配第一行为状态的第一动态作业事件，包括：
获取传感图像分析网络；所述传感图像分析网络包括第二可逆子网、作业事件检测子网以及特征翻译子网；
将所述图像细节牵涉描述子加载到所述第二可逆子网，依据所述第二可逆子网对所述图像细节牵涉描述子进行特征挖掘，得到待解析图像细节描述子；
将所述待解析图像细节描述子加载到所述作业事件检测子网，依据所述作业事件检测子网对所述待解析图像细节描述子进行特征解析，得到用于反映所述第一动态作业事件的待翻译图像细节描述子；
将所述用于反映所述第一动态作业事件的待翻译图像细节描述子加载到所述特征翻译子网，依据所述特征翻译子网，对所述用于反映所述第一动态作业事件的待翻译图像细节描述子进行特征翻译，得到所述待分析传感图像信息中匹配所述第一行为状态的所述第一动态作业事件。
在一些可选的实施例中，所述待解析图像细节描述子包括待解析图像细节描述子feature_v，v为正整数，且v不大于所述待解析图像细节描述子对应的总数；所述作业事件检测子网包括针对所述待解析图像细节描述子feature_v的事件检测单元unit_v；
所述将所述待解析图像细节描述子加载到所述作业事件检测子网，依据所述作业事件检测子网对所述待解析图像细节描述子进行特征解析，得到用于反映所述第一动态作业事件的待翻译图像细节描述子，包括：
若所述事件检测单元unit_v为所述作业事件检测子网中的首个事件检测单元，则在所述事件检测单元unit_v中对所述待解析图像细节描述子feature_v进行特征解析，得到所述待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；
若所述事件检测单元unit_v不为所述作业事件检测子网中的首个事件检测单元，则在所述事件检测单元unit_v中，对所述待解析图像细节描述子feature_v以及与所述待解析图像细节描述子feature_v存在分布联系的目标待解析图像细节描述子进行图像描述聚合，得到所述待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；所述目标待解析图像细节描述子匹配所述待解析图像细节描述子；
基于每个待解析图像细节描述子各自对应的待翻译图像细节描述子，得到所述用于反映所述第一动态作业事件的待翻译图像细节描述子。
在一些可选的实施例中，所述联合解析结果包括针对所述第一动态作业事件的最少两个联合解析结果；所述最少两个联合解析结果包括联合解析结果result_w，w为正整数，且w不大于所述最少两个联合解析结果的总数；
所述方法还包括：
确定所述联合解析结果result_w中的作业依存事件所反映的联系特征标签，若所述联系特征标签为消极联系特征，则将所述第一动态作业事件所反映的事件标签确定为目标事件标签；
从所述最少两个联合解析结果中获取包括作业依存总结事件的联合解析结果，将包括所述作业依存总结事件的联合解析结果中的第二动态作业事件确定为动态作业总结事件；所述动态作业总结事件所反映的事件标签与所述目标事件标签相同；所述作业依存总结事件是指表征的联系特征标签为联系总结特征的作业依存事件；
从所述最少两个联合解析结果中获取包括传递作业依据事件的联合解析结果，将包括所述传递作业依据事件的联合解析结果中的第二动态作业事件确定为动态作业传递事件；所述动态作业传递事件所反映的事件标签归匹配所述目标事件标签；所述传递作业依据事件是指表征的联系特征标签为传递联系特征的作业依存事件；
将所述联合解析结果result_w、所述作业依存总结事件、所述动态作业总结事件、所述传递作业依据事件以及所述动态作业传递事件进行关联记录。
在一些可独立的实施例中，所述传感图像分析网络的调试步骤包括：
获取网络调试学习信息集；其中，所述网络调试学习信息集包括传感图像信息学习样例、所述传感图像信息学习样例中的第一先验动态作业事件以及与所述传感图像信息学习样例相关联的先验联合解析结果；所述第一先验动态作业事件的行为状态匹配第一行为状态；所述先验联合解析结果包括所述第一先验动态作业事件、匹配第二动态作业事件的第二先验动态作业事件以及先验作业依存事件；所述第一行为状态不同于所述第二行为状态；所述先验联合解析结果中的第二先验动态作业事件匹配所述传感图像信息学习样例；所述先验联合解析结果中的先验作业依存事件用于反映，所述第一先验动态作业事件以及所述先验联合解析结果中的第二先验动态作业事件之间的联系特征；
将所述传感图像信息学习样例输入待调试传感图像分析网络，在所述待调试传感图像分析网络中，获取所述传感图像信息学习样例中的每个传感图像块学习样例各自对应的图像细节牵涉预测描述子；
依据所述图像细节牵涉预测描述子，获取所述传感图像信息学习样例中的第一动态作业预测事件；
在所述图像细节牵涉预测描述子中获取所述第一动态作业预测事件对应的细节约束牵涉预测描述子，对所述细节约束牵涉预测描述子以及所述图像细节牵涉预测描述子进行图像描述聚合，得到目标图像细节预测描述子；
对所述目标图像细节预测描述子进行特征解析，得到包括所述第一动态作业预测事件、第二动态作业预测事件以及作业依存预测事件的联合解析预测结果；所述联合解析预测结果中的第二动态作业预测事件匹配所述传感图像信息学习样例；
基于所述第一动态作业预测事件、所述第一先验动态作业事件、所述联合解析预测结果以及所述先验联合解析结果，对所述待调试传感图像分析网络中的网络参量进行优化，生成传感图像分析网络；所述传感图像分析网络用于生成针对待分析传感图像信息的联合解析结果。
在一些可独立的实施例中，所述基于所述第一动态作业预测事件、所述第一先验动态作业事件、所述联合解析预测结果以及所述先验联合解析结果，对所述待调试传感图像分析网络中的网络参量进行优化，生成传感图像分析网络，包括：
基于所述第一动态作业预测事件以及所述第一先验动态作业事件，生成作业事件评估代价；
基于所述联合解析预测结果以及所述先验联合解析结果，生成联系特征评估代价；
基于所述作业事件评估代价以及所述联系特征评估代价确定所述待调试传感图像分析网络对应的全局网络评估代价；
基于所述全局网络评估代价对所述待调试传感图像分析网络中的网络参量进行优化，生成所述传感图像分析网络。
本发明还提供了一种人工智能平台系统，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
在本发明实施例中，人工智能平台系统通过获取待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子，可以获取待分析传感图像信息中匹配第一行为状态的第一动态作业事件，进一步，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子，对细节约束牵涉描述子以及图像细节牵涉描述子进行图像描述聚合，能够获得目标图像细节描述子；对目标图像细节描述子进行特征解析，能够获得包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果，其中，联合解析结果中的作业依存事件可以用于反映第一动态作业事件以及联合解析结果中的第二动态作业事件之间的联系特征。
可见，本发明实施例先获取待分析传感图像信息中的第一动态作业事件，将针对第一动态作业事件的细节约束牵涉描述子作为约束特征，与图像细节牵涉描述子进行聚合，因而目标图像细节描述子是一个涵盖约束特征的图像细节描述子，换言之，将确定出的第一动态作业事件作为约束，从而在给出第一动态作业事件的约束状态下，检测待分析传感图像信息中的第二动态作业事件以及第一动态作业事件具有作业依存事件所匹配的联系特征，因而本发明实施例能够提升第一动态作业事件以及第二动态作业事件之间的联系特征的挖掘精度和可信度。这样可以改善传统技术在对传感图像信息进行作业事件的特征挖掘时存在的精度低下和误差较大的问题。
关于上述人工智能平台系统、计算机可读存储介质的效果描述参见上述方法的说明。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本发明的实施例，并与说明书一起用于说明本发明的技术方案。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例示出的一种人工智能平台系统的方框图。
图2是本发明实施例示出的一种基于人工智能的传感器信息分析方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。
图1为本发明实施例提供的人工智能平台系统10的结构示意图，包括处理器102、存储器104、和总线106。其中，存储器104用于存储执行指令，包括内存和外部存储器，内存也可以理解为内存储器，用于暂时存放处理器102中的运算数据，以及与硬盘等外部存储器交换的数据，处理器102通过内存与外部存储器进行数据交换，当人工智能平台系统10运行时，处理器102与存储器104之间通过总线106通信，使得处理器102执行本发明实施例的基于人工智能的传感器信息分析方法。
请结合图2，图2是本发明实施例所提供的一种基于人工智能的传感器信息分析方法的流程示意图，应用于人工智能平台系统，该方法示例性可以包括步骤101-步骤103。
101，获取待分析传感图像信息以及待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子。
示例性的，获取传感图像分析网络，将待分析传感图像信息加载到传感图像分析网络。
传感图像分析网络可以是深度可逆残差网络，传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网，图像块拆解子网可以理解为图像输入子网，图像特征挖掘子网可以理解为图像编码子网。在此基础上，基于图像块拆解子网对待分析传感图像信息进行拆解操作，得到最少两个传感图像块，将最少两个传感图像块分别加载到图像特征挖掘子网；基于图像特征挖掘子网，对最少两个传感图像块分别进行特征挖掘，得到每个传感图像块各自对应的图像细节牵涉描述子。本发明实施例中，图像细节牵涉描述子可以理解为共享的图像细节特征，也即每个传感图像块各自对应的图像细节牵涉描述子之间可能存在特征交叉或者特征牵涉。
人工智能平台系统获取待分析传感图像信息，本发明实施例不对待分析传感图像信息的类别以及待分析传感图像信息的具体内容进行限制，比如可以是工厂生产传感图像信息、监控预警图像信息、可视化业务操作交互图像信息等。本发明实施例涉及的全部数据（比如待分析传感图像信息）是在获取到相应图像采集设备的授权之后才进行处理的。
进一步地，人工智能平台系统将待分析传感图像信息加载到传感图像分析网络的图像块拆解子网，基于图像块拆解子网对待分析传感图像信息进行拆解操作，得到最少两个传感图像块，比如传感图像块PB_1、PB_2、PB_3、...、PB_n，n为大于1的正整数，且n可以表征最少两个传感图像块对应的总数。
人工智能平台系统将最少两个传感图像块都加载到图像特征挖掘子网，基于图像特征挖掘子网，先获得最少两个传感图像块各自对应的原始图像特征，比如传感图像块PB_1对应的原始图像特征feature_1，传感图像块PB_2对应的原始图像特征feature_2，传感图像块PB_3对应的原始图像特征feature_3，...，传感图像块PB_n对应的原始图像特征feature_n，然后分别对上述最少两个原始图像特征进行特征编码，得到最少两个传感图像块各自对应的图像细节牵涉描述子，比如传感图像块PB_1对应的图像细节牵涉描述子description_1，传感图像块PB_2对应的图像细节牵涉描述子description_2，传感图像块PB_3对应的图像细节牵涉描述子description_3，...，传感图像块PB_n对应的图像细节牵涉描述子description_n。例如，上述的图像特征挖掘子网可以是DCN（深度卷积层）N子网。
102，基于图像细节牵涉描述子，获取待分析传感图像信息中匹配第一行为状态的第一动态作业事件。
示例性的，获取传感图像分析网络；传感图像分析网络包括第二可逆子网、作业事件检测子网以及特征翻译子网。
举例而言，可逆子网可以是编码子网，作业事件检测子网可以是事件识别子网，特征翻译子网可以是译码子网。基于此，将图像细节牵涉描述子加载到第二可逆子网，基于第二可逆子网对图像细节牵涉描述子进行特征挖掘，得到待解析图像细节描述子；将待解析图像细节描述子加载到作业事件检测子网，基于作业事件检测子网对待解析图像细节描述子进行特征解析，得到用于反映第一动态作业事件的待翻译图像细节描述子；将用于反映第一动态作业事件的待翻译图像细节描述子输入特征翻译子网，基于特征翻译子网，对用于反映第一动态作业事件的待翻译图像细节描述子进行特征翻译，得到待分析传感图像信息中匹配第一行为状态的第一动态作业事件。
举例而言，行为状态包括二分类的安全状态和危险状态，或者多分类的正常状态、预警状态、风险状态等。进一步地，动态作业事件比如可以是工厂流水线生产过程中的操作事件，或者软件开发过程中的可视化交互事件等，动态作业事件可以通过单独的图片特征或者连续的视频特征（图像特征）表征。
其中，待解析图像细节描述子（待识别的图像细节描述子）包括待解析图像细节描述子feature_v，v为正整数，且v不大于待解析图像细节描述子对应的总数；作业事件检测子网包括针对待解析图像细节描述子feature_v的事件检测单元unit_v；得到用于反映第一动态作业事件的待翻译图像细节描述子的示例性思路可以包括：若事件检测单元unit_v为作业事件检测子网中的首个事件检测单元，则在事件检测单元unit_v中对待解析图像细节描述子feature_v进行特征解析，得到待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；若事件检测单元unit_v不为作业事件检测子网中的首个事件检测单元，则在事件检测单元unit_v中，对待解析图像细节描述子feature_v以及与待解析图像细节描述子feature_v存在分布联系的目标待解析图像细节描述子进行图像描述聚合，得到待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；目标待解析图像细节描述子匹配待解析图像细节描述子；基于每个待解析图像细节描述子各自对应的待翻译图像细节描述子，得到用于反映第一动态作业事件的待翻译图像细节描述子。
其中，事件检测单元可以理解为事件检测组件，事件检测是指从待分析传感图像信息中检测出相应的事件。
进一步地，传感图像分析网络包括第二可逆子网、动态作业事件以及特征翻译子网，其中，由第二可逆子网、动态作业事件以及特征翻译子网所组成的网络。人工智能平台系统将最少两个图像细节牵涉描述子（比如图像细节牵涉描述子description_1，图像细节牵涉描述子description_2，图像细节牵涉描述子description_3，...，图像细节牵涉描述子description_n）分别加载到第二可逆子网，基于第二可逆子网，分别对上述最少两个图像细节牵涉描述子进行特征编码，得到最少两个传感图像块各自对应的待解析图像细节描述子，比如传感图像块PB_1对应的待解析图像细节描述子vector_1，传感图像块PB_2对应的待解析图像细节描述子vector_2，传感图像块PB_3对应的待解析图像细节描述子vector_3，...，传感图像块PB_n对应的待解析图像细节描述子vector_n。
进一步地，人工智能平台系统将最少两个待解析图像细节描述子都加载到作业事件检测子网，基于作业事件检测子网对最少两个待解析图像细节描述子进行识别处理，得到每个传感图像块各自对应的待翻译图像细节描述子，其中，待翻译图像细节描述子可以表征其对应的传感图像块在某个第一动态作业事件中的分布特征以及该第一动态作业事件对应的事件种类，传感图像块PB_1对应的待翻译图像细节描述子可以表征传感图像块PB_1为第一动态作业事件的起始分布特征，传感图像块PB_2对应的待翻译图像细节描述子可以表征传感图像块PB_2为第一动态作业事件的非起始分布特征，传感图像块PB_3对应的待翻译图像细节描述子可以表征传感图像块PB_3不为第一动态作业事件，故人工智能平台系统可以确定传感图像块PB_1以及传感图像块PB_2可以构成一个完整的第一动态作业事件。进一步，人工智能平台系统将每个传感图像块各自对应的待翻译图像细节描述子都加载到特征翻译子网，基于特征翻译子网，对每个传感图像块各自对应的待翻译图像细节描述子进行特征翻译，得到待分析传感图像信息中匹配第一行为状态的第一动态作业事件，本发明实施例不对第一动态作业事件对应的总数进行限制，可以为多个或一个。
第一行为状态可以包括主动行为状态，即第一动态作业事件为原因事件，则第二行为状态可以包括被动行为状态，即第二动态作业事件为结果事件。
103，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子，对细节约束牵涉描述子以及图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子。
示例性的，获取传感图像分析网络，将待分析传感图像信息加载到传感图像分析网络；传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网；基于图像块拆解子网对待分析传感图像信息进行拆解操作，得到最少两个传感图像块；最少两个传感图像块包括传感图像块B_u，u为正整数，且u不大于最少两个传感图像块对应的总数；获取传感图像块B_u在待分析传感图像信息中的分布数据，将针对传感图像块B_u的分布数据输入图像特征挖掘子网；基于图像特征挖掘子网，对针对传感图像块B_u的分布数据进行特征挖掘，得到传感图像块B_u对应的分布牵涉特征；确定第一动态作业事件在待分析传感图像信息中的分布数据；第一动态作业事件在待分析传感图像信息中的分布数据匹配最少两个传感图像块分别在待分析传感图像信息中的分布数据；基于第一动态作业事件在待分析传感图像信息中的分布数据，在最少两个传感图像块各自对应的分布牵涉特征中，获取第一动态作业事件对应的分布牵涉特征；基于第一动态作业事件对应的分布牵涉特征，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子。
示例性的，获取传感图像分析网络；传感图像分析网络包括第一可逆子网；第一可逆子网包括特征关注单元（自注意力单元）、第一区间数值映射单元（归一化单元）、中间单元（前馈单元）以及第二区间数值映射单元；将图像细节牵涉描述子输入特征关注单元，基于特征关注单元对图像细节牵涉描述子进行特征挖掘，得到第一待映射图像细节描述子；将第一待映射图像细节描述子以及图像细节牵涉描述子分别加载到第一区间数值映射单元，基于第一区间数值映射单元对第一待映射图像细节描述子以及图像细节牵涉描述子进行基于权重的拼接处理，得到中间图像细节描述子；将中间图像细节描述子加载到中间单元，基于中间单元对中间图像细节描述子进行特征挖掘，得到第二待映射图像细节描述子；将细节约束牵涉描述子、第二待映射图像细节描述子以及中间图像细节描述子分别加载到第二区间数值映射单元，基于第二区间数值映射单元，对细节约束牵涉描述子（可以理解为具有约束性的图像细节交叉/共享特征）、第二待映射图像细节描述子以及中间图像细节描述子，进行图像描述聚合，得到目标图像细节描述子。
其中，第二区间数值映射单元包括特征均值化节点、特征差异分析节点、特征调整节点、特征尺度变换节点、特征拼接节点以及特征聚合节点；得到目标图像细节描述子的示例性思路可以包括：基于特征均值化节点，对第二待映射图像细节描述子以及中间图像细节描述子进行特征均值化，得到图像细节均值描述子；基于特征差异分析节点，获取第二待映射图像细节描述子以及图像细节均值描述子之间的特征差异，得到第一差异特征表示，获取中间图像细节描述子以及图像细节均值描述子之间的特征差异，得到第二差异特征表示；基于特征调整节点，对第二待映射图像细节描述子以及中间图像细节描述子进行特征调整，得到图像细节调整描述子；基于特征尺度变换节点，对第一差异特征表示以及图像细节调整描述子进行特征尺度变换，得到第一已变换图像细节描述子，对第二差异特征表示以及图像细节调整描述子进行特征尺度变换，得到第二已变换图像细节描述子；生成细节约束牵涉描述子对应的第一偏置项变量，以及细节约束牵涉描述子对应的第二偏置项变量；基于特征拼接节点，对第一已变换图像细节描述子、第二已变换图像细节描述子以及第一偏置项变量进行基于权重的拼接处理，得到图像细节拼接描述子；基于特征聚合节点，对第二偏置项变量以及图像细节拼接描述子进行图像描述聚合，得到目标图像细节描述子。
其中，偏置项变量可以理解为权重特征，结合步骤102以及相关实施例中的描述，第一动态作业事件对应的总数可以为一个或多个，若人工智能平台系统在待分析传感图像信息中检测出多个第一动态作业事件，则将其中一个第一动态作业事件作为约束，将作为约束的第一动态作业事件称作约束事件，获取约束事件对应的分布牵涉特征，人工智能平台系统将约束事件对应的分布牵涉特征加载到第一可逆子网，第一可逆子网以及第二可逆子网共享上游的图像特征挖掘子网，故第一可逆子网可以在图像特征挖掘子网中每个传感图像块各自对应的牵涉特征中，获取与约束事件对应的分布牵涉特征相对应的细节约束牵涉描述子。
进一步第，人工智能平台系统基于特征关注单元对图像细节牵涉描述子description_3进行特征挖掘，得到第一待映射图像细节描述子；将第一待映射图像细节描述子以及图像细节牵涉描述子description_3分别加载到第一区间数值映射单元，第一区间数值映射单元的单元架构与第二区间数值映射单元的单元架构一致，两者区别在于处理对象不同，第一区间数值映射单元的输入包括第一待映射图像细节描述子以及图像细节牵涉描述子description_3。人工智能平台系统基于第一区间数值映射单元对第一待映射图像细节描述子以及图像细节牵涉描述子description_3进行基于权重的拼接处理，得到中间图像细节描述子，将中间图像细节描述子加载到中间单元，基于中间单元对中间图像细节描述子进行特征挖掘，得到第二待映射图像细节描述子；本发明实施例以图像细节牵涉描述子description_1以及图像细节牵涉描述子description_2示例细节约束牵涉描述子，人工智能平台系统将细节约束牵涉描述子、第二待映射图像细节描述子以及中间图像细节描述子分别加载到第二区间数值映射单元，即第二区间数值映射单元的输入包括第二待映射图像细节描述子以及中间图像细节描述子，其中，第二区间数值映射单元包括特征均值化节点、特征差异分析节点、特征调整节点、特征尺度变换节点、特征拼接节点以及特征聚合节点，人工智能平台系统基于特征均值化节点，对第二待映射图像细节描述子以及中间图像细节描述子进行特征均值化，得到图像细节均值描述子；基于特征差异分析节点，获取第二待映射图像细节描述子以及图像细节均值描述子之间的特征差异，得到第一差异特征表示，获取中间图像细节描述子以及图像细节均值描述子之间的特征差异，得到第二差异特征表示；基于特征调整节点（特征标准化处理单元），对第二待映射图像细节描述子以及中间图像细节描述子进行特征调整，得到图像细节调整描述子；人工智能平台系统基于特征尺度变换节点，对第一差异特征表示以及图像细节调整描述子进行特征尺度变换，得到第一已变换图像细节描述子，对第二差异特征表示以及图像细节调整描述子进行特征尺度变换（特征尺寸的缩放处理），得到第二已变换图像细节描述子。比如，基于权重关系网N1生成细节约束牵涉描述子（即图像细节牵涉描述子description_1以及图像细节牵涉描述子description_2）对应的第一偏置项变量，人工智能平台系统基于权重关系网N2，生成细节约束牵涉描述子对应的第二偏置项变量；基于特征拼接节点，对第一已变换图像细节描述子、第二已变换图像细节描述子以及第一偏置项变量进行基于权重的拼接处理，得到图像细节拼接描述子；基于特征聚合节点，对第二偏置项变量以及图像细节拼接描述子进行图像描述聚合，得到图像细节牵涉描述子description_3对应的目标图像细节描述子。其中，差异特征表示可以理解为距离向量或者差异向量。
104，对目标图像细节描述子进行特征解析，得到包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果；联合解析结果中的第二动态作业事件匹配待分析传感图像信息；联合解析结果中的作业依存事件用于反映第一动态作业事件以及联合解析结果中的第二动态作业事件之间的联系特征。
示例性的，获取传感图像分析网络；传感图像分析网络包括特征依存解析子网；将目标图像细节描述子加载到特征依存解析子网，基于特征依存解析子网，对目标图像细节描述子进行特征解析，得到图像细节解析描述子；基于图像细节解析描述子，生成包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果。
特征依存解析，是指分析检测出的事件A与事件B之间的联系特征，比如事件A和事件B之间的因果关系、从属关系等。示例性的，联合解析结果中包括第一动态作业事件“生产操作失误事件”，第二行为状态（生产风险状态）的第二动态作业事件“设备故障事件”，以及作业依存事件“操作失误导致设备故障”，基于此，可以确定出第一动态作业事件“生产操作失误事件”与第二动态作业事件“设备故障事件”之间的联系特征为第一动态作业事件的发生造成第二动态作业事件发生。
示例性的，在得到存在约束的区间数值映射结果后，如目标图像细节描述子vector_1，目标图像细节描述子vector_2，目标图像细节描述子vector_3，...，目标图像细节描述子vector_n，人工智能平台系统将每个传感图像块各自对应的目标图像细节描述子分别加载到特征依存解析子网，基于特征依存解析子网对目标图像细节描述子进行特征解析，得到图像细节解析描述子，基于图像细节解析描述子，生成包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果。本发明实施例所提供的特征依存解析子网可以包括一个或多个判别模型（分类模型），以提取第二动态作业事件以及作业依存事件，每一个判别模型表征一种依存情况，特征依存解析子网包括3个判别模型，分别表示作业依存事件event_3所对应的依存情况，作业依存事件event_2所对应的依存情况，作业依存事件event_1所对应的依存情况，本发明实施例不对判别模型的个数进行限制。
在本发明实施例中，人工智能平台系统通过获取待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子，可以获取待分析传感图像信息中匹配第一行为状态的第一动态作业事件，进一步，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子，对细节约束牵涉描述子以及图像细节牵涉描述子进行图像描述聚合，能够获得目标图像细节描述子；对目标图像细节描述子进行特征解析，能够获得包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果，其中，联合解析结果中的作业依存事件可以用于反映第一动态作业事件以及联合解析结果中的第二动态作业事件之间的联系特征。可见，本发明实施例先获取待分析传感图像信息中的第一动态作业事件，将针对第一动态作业事件的细节约束牵涉描述子作为约束特征，与图像细节牵涉描述子进行聚合，因而目标图像细节描述子是一个涵盖约束特征的图像细节描述子，换言之，将确定出的第一动态作业事件作为约束，从而在给出第一动态作业事件的约束状态下，检测待分析传感图像信息中的第二动态作业事件以及第一动态作业事件具有作业依存事件所匹配的联系特征，因而本发明实施例能够提升第一动态作业事件以及第二动态作业事件之间的联系特征的挖掘精度和可信度。
本发明实施例提供的另一种基于人工智能的传感器信息分析方法可以包括步骤201-步骤208。
201，获取待分析传感图像信息以及待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子。
202，基于图像细节牵涉描述子，获取待分析传感图像信息中匹配第一行为状态的第一动态作业事件。
203，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子，对细节约束牵涉描述子以及图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子。
204，对目标图像细节描述子进行特征解析，得到包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果；联合解析结果中的第二动态作业事件匹配待分析传感图像信息；联合解析结果中的作业依存事件用于反映第一动态作业事件以及联合解析结果中的第二动态作业事件之间的联系特征。
本发明实施例中，步骤201-步骤204的示例性设计思路可以结合上述步骤101-步骤104。
205，确定联合解析结果result_w中的作业依存事件所反映的联系特征标签，若联系特征标签为消极联系特征，则将第一动态作业事件所反映的事件标签确定为目标事件标签。
示例性的，联合解析结果包括针对第一动态作业事件的最少两个联合解析结果；最少两个联合解析结果包括联合解析结果result_w，w为正整数，且w不大于最少两个联合解析结果的总数。
应用本发明实施例，人工智能平台系统可以生成针对待分析传感图像信息的一个或多个联合解析结果，本发明实施例不对联合解析结果的个数进行限制。
206，从最少两个联合解析结果中获取包括作业依存总结事件的联合解析结果，将包括作业依存总结事件的联合解析结果中的第二动态作业事件确定为动态作业总结事件；动态作业总结事件所反映的事件标签与目标事件标签相同；作业依存总结事件是指表征的联系特征标签为联系总结特征的作业依存事件。
207，从最少两个联合解析结果中获取包括传递作业依据事件的联合解析结果，将包括传递作业依据事件的联合解析结果中的第二动态作业事件确定为动态作业传递事件；动态作业传递事件所反映的事件标签归匹配目标事件标签；传递作业依据事件是指表征的联系特征标签为传递联系特征的作业依存事件。
208，将联合解析结果result_w、作业依存总结事件、动态作业总结事件、传递作业依据事件以及动态作业传递事件进行关联记录。
示例性的，结合步骤206以及步骤208的介绍，如果最少两个联合解析结果（针对同一个第一动态作业事件）中存在联系特征标签为消极联系特征，则确定第一动态作业事件所反映的目标事件标签存在风险隐患，此时，人工智能平台系统可以确定剩余的联合解析结果中是否存在包括作业依存总结事件的联合解析结果，以及包括传递作业依据事件的联合解析结果；若存在包括传递作业依据事件的联合解析结果，则绑定记录包括消极联系特征的联合解析结果、传递作业依据事件以及动态作业传递事件；若存在包括作业依存总结事件的联合解析结果，则绑定记录包括消极联系特征的联合解析结果、作业依存总结事件以及动态作业总结事件；若存在包括传递作业依据事件的联合解析结果以及包括作业依存总结事件的联合解析结果，则绑定记录包括消极联系特征的联合解析结果、作业依存总结事件、动态作业总结事件、传递作业依据事件以及动态作业传递事件。
这样，当检测到一个绑定记录的动态作业事件时，人工智能平台系统可以遍历该动态作业事件所绑定记录的其他动态作业事件。
在本发明实施例中，人工智能平台系统通过获取待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子，可以获取待分析传感图像信息中匹配第一行为状态的第一动态作业事件，进一步，在图像细节牵涉描述子中获取第一动态作业事件对应的细节约束牵涉描述子，对细节约束牵涉描述子以及图像细节牵涉描述子进行图像描述聚合，能够获得目标图像细节描述子；对目标图像细节描述子进行特征解析，能够获得包括第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果，其中，联合解析结果中的作业依存事件可以用于反映第一动态作业事件以及联合解析结果中的第二动态作业事件之间的联系特征。
这样，本发明实施例先获取待分析传感图像信息中的第一动态作业事件，将针对第一动态作业事件的细节约束牵涉描述子作为约束特征，与图像细节牵涉描述子进行聚合，因而目标图像细节描述子是一个涵盖约束特征的图像细节描述子，换言之，将确定出的第一动态作业事件作为约束，从而在给出第一动态作业事件的约束状态下，检测待分析传感图像信息中的第二动态作业事件以及第一动态作业事件具有作业依存事件所匹配的联系特征，因而本发明实施例能够提升第一动态作业事件以及第二动态作业事件之间的联系特征的挖掘精度和可信度。
在一些可独立的设计思路下，本发明实施例提供的一种传感图像分析网络的调试方法可以包括以下步骤301-步骤306。
301，获取网络调试学习信息集；网络调试学习信息集包括传感图像信息学习样例、传感图像信息学习样例中的第一先验动态作业事件以及与传感图像信息学习样例相关联的先验联合解析结果；第一先验动态作业事件的行为状态匹配第一行为状态；先验联合解析结果包括第一先验动态作业事件、匹配第二动态作业事件的第二先验动态作业事件以及先验作业依存事件；第一行为状态不同于第二行为状态；先验联合解析结果中的第二先验动态作业事件匹配传感图像信息学习样例；先验联合解析结果中的先验作业依存事件用于反映，第一先验动态作业事件以及先验联合解析结果中的第二先验动态作业事件之间的联系特征。
302，将传感图像信息学习样例输入待调试传感图像分析网络，在待调试传感图像分析网络中，获取传感图像信息学习样例中的每个传感图像块学习样例各自对应的图像细节牵涉预测描述子。
303，基于图像细节牵涉预测描述子，获取传感图像信息学习样例中的第一动态作业预测事件。
304，在图像细节牵涉预测描述子中获取第一动态作业预测事件对应的细节约束牵涉预测描述子，对细节约束牵涉预测描述子以及图像细节牵涉预测描述子进行图像描述聚合，得到目标图像细节预测描述子。
305，对目标图像细节预测描述子进行特征解析，得到包括第一动态作业预测事件、第二动态作业预测事件以及作业依存预测事件的联合解析预测结果；联合解析预测结果中的第二动态作业预测事件匹配传感图像信息学习样例。
306，根据第一动态作业预测事件、第一先验动态作业事件、联合解析预测结果以及先验联合解析结果，对待调试传感图像分析网络中的网络参量进行优化，生成传感图像分析网络；传感图像分析网络用于生成针对待分析传感图像信息的联合解析结果。
示例性的，根据第一动态作业预测事件以及第一先验动态作业事件，生成作业事件评估代价；根据联合解析预测结果以及先验联合解析结果，生成联系特征评估代价；根据作业事件评估代价以及联系特征评估代价确定待调试传感图像分析网络对应的全局网络评估代价；根据全局网络评估代价对待调试传感图像分析网络中的网络参量进行优化，生成传感图像分析网络。
示例性的，上述调试思路可以结合上述实施例中的针对传感图像分析网络的应用阶段的介绍。
本发明实施例先获取传感图像信息学习样例中的第一动态作业预测事件，将针对第一动态作业预测事件的细节约束牵涉预测描述子作为约束特征，与图像细节牵涉预测描述子进行聚合，故目标图像细节预测描述子是一个涵盖约束特征的图像细节描述子，换言之，将确定出的第一动态作业预测事件作为约束，从而在给出第一动态作业预测事件的约束状态下，识别传感图像信息学习样例中的第二动态作业预测事件以及第一动态作业预测事件具有先验作业依存事件所匹配的联系特征，并利用第一动态作业预测事件、第一先验动态作业事件、联合解析预测结果以及先验联合解析结果，对待调试传感图像分析网络中的网络参量进行优化，因而本发明实施例能够提升待分析传感图像信息中的第一动态作业事件以及第二动态作业事件之间的联系特征的挖掘精度和可信度。
进一步地，还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述示例性描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
Claims (10)
1.一种基于人工智能的传感器信息分析方法，其特征在于，应用于人工智能平台系统，所述方法包括：
获取待分析传感图像信息以及所述待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子；
依据所述图像细节牵涉描述子，获取所述待分析传感图像信息中匹配第一行为状态的第一动态作业事件；
在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的细节约束牵涉描述子，对所述细节约束牵涉描述子以及所述图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子；
对所述目标图像细节描述子进行特征解析，得到包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果；所述联合解析结果中的第二动态作业事件匹配所述待分析传感图像信息；所述联合解析结果中的作业依存事件用于反映所述第一动态作业事件以及所述联合解析结果中的第二动态作业事件之间的联系特征。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取传感图像分析网络，将所述待分析传感图像信息加载到所述传感图像分析网络；所述传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网；依据所述图像块拆解子网对所述待分析传感图像信息进行拆解操作，得到最少两个传感图像块；所述最少两个传感图像块包括传感图像块B_u，u为正整数，且u不大于所述最少两个传感图像块对应的总数；获取所述传感图像块B_u在所述待分析传感图像信息中的分布数据，将针对所述传感图像块B_u的分布数据加载到所述图像特征挖掘子网；依据所述图像特征挖掘子网，对针对所述传感图像块B_u的分布数据进行特征挖掘，得到所述传感图像块B_u对应的分布牵涉特征；
所述在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的细节约束牵涉描述子，包括：确定所述第一动态作业事件在所述待分析传感图像信息中的分布数据；所述第一动态作业事件在所述待分析传感图像信息中的分布数据匹配所述最少两个传感图像块分别在所述待分析传感图像信息中的分布数据；依据所述第一动态作业事件在所述待分析传感图像信息中的分布数据，在所述最少两个传感图像块各自对应的分布牵涉特征中，获取所述第一动态作业事件对应的分布牵涉特征；依据所述第一动态作业事件对应的分布牵涉特征，在所述图像细节牵涉描述子中获取所述第一动态作业事件对应的所述细节约束牵涉描述子。
3.如权利要求1所述的方法，其特征在于，所述对所述细节约束牵涉描述子以及所述图像细节牵涉描述子进行图像描述聚合，得到目标图像细节描述子，包括：
获取传感图像分析网络；所述传感图像分析网络包括第一可逆子网；所述第一可逆子网包括特征关注单元、第一区间数值映射单元、中间单元以及第二区间数值映射单元；
将所述图像细节牵涉描述子加载到所述特征关注单元，依据所述特征关注单元对所述图像细节牵涉描述子进行特征挖掘，得到第一待映射图像细节描述子；
将所述第一待映射图像细节描述子以及所述图像细节牵涉描述子分别加载到所述第一区间数值映射单元，依据所述第一区间数值映射单元对所述第一待映射图像细节描述子以及所述图像细节牵涉描述子进行基于权重的拼接处理，得到中间图像细节描述子；
将所述中间图像细节描述子加载到所述中间单元，依据所述中间单元对所述中间图像细节描述子进行特征挖掘，得到第二待映射图像细节描述子；
将所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子分别加载到所述第二区间数值映射单元，依据所述第二区间数值映射单元，对所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子，进行图像描述聚合，得到所述目标图像细节描述子。
4.如权利要求3所述的方法，其特征在于，所述第二区间数值映射单元包括特征均值化节点、特征差异分析节点、特征调整节点、特征尺度变换节点、特征拼接节点以及特征聚合节点；
所述依据所述第二区间数值映射单元，对所述细节约束牵涉描述子、所述第二待映射图像细节描述子以及所述中间图像细节描述子，进行图像描述聚合，得到所述目标图像细节描述子，包括：
依据所述特征均值化节点，对所述第二待映射图像细节描述子以及所述中间图像细节描述子进行特征均值化，得到图像细节均值描述子；
依据所述特征差异分析节点，获取所述第二待映射图像细节描述子以及所述图像细节均值描述子之间的特征差异，得到第一差异特征表示，获取所述中间图像细节描述子以及所述图像细节均值描述子之间的特征差异，得到第二差异特征表示；
依据所述特征调整节点，对所述第二待映射图像细节描述子以及所述中间图像细节描述子进行特征调整，得到图像细节调整描述子；
依据所述特征尺度变换节点，对所述第一差异特征表示以及所述图像细节调整描述子进行特征尺度变换，得到第一已变换图像细节描述子，对所述第二差异特征表示以及所述图像细节调整描述子进行特征尺度变换，得到第二已变换图像细节描述子；
生成所述细节约束牵涉描述子对应的第一偏置项变量，以及所述细节约束牵涉描述子对应的第二偏置项变量；
依据所述特征拼接节点，对所述第一已变换图像细节描述子、所述第二已变换图像细节描述子以及所述第一偏置项变量进行基于权重的拼接处理，得到图像细节拼接描述子；
依据所述特征聚合节点，对所述第二偏置项变量以及所述图像细节拼接描述子进行图像描述聚合，得到所述目标图像细节描述子。
5.如权利要求1所述的方法，其特征在于，所述对所述目标图像细节描述子进行特征解析，得到包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果，包括：
获取传感图像分析网络；所述传感图像分析网络包括特征依存解析子网；
将所述目标图像细节描述子加载到所述特征依存解析子网，依据所述特征依存解析子网，对所述目标图像细节描述子进行特征解析，得到图像细节解析描述子；
依据所述图像细节解析描述子，生成包括所述第一动态作业事件、匹配第二行为状态的第二动态作业事件以及作业依存事件的联合解析结果。
6.如权利要求1所述的方法，其特征在于，所述获取所述待分析传感图像信息中的每个传感图像块各自对应的图像细节牵涉描述子，包括：
获取传感图像分析网络，将所述待分析传感图像信息加载到所述传感图像分析网络；所述传感图像分析网络包括图像块拆解子网以及图像特征挖掘子网；
依据所述图像块拆解子网对所述待分析传感图像信息进行拆解操作，得到最少两个传感图像块，将所述最少两个传感图像块分别加载到所述图像特征挖掘子网；
依据所述图像特征挖掘子网，对所述最少两个传感图像块分别进行特征挖掘，得到每个传感图像块各自对应的图像细节牵涉描述子。
7.如权利要求1所述的方法，其特征在于，所述依据所述图像细节牵涉描述子，获取所述待分析传感图像信息中匹配第一行为状态的第一动态作业事件，包括：
获取传感图像分析网络；所述传感图像分析网络包括第二可逆子网、作业事件检测子网以及特征翻译子网；
将所述图像细节牵涉描述子加载到所述第二可逆子网，依据所述第二可逆子网对所述图像细节牵涉描述子进行特征挖掘，得到待解析图像细节描述子；
将所述待解析图像细节描述子加载到所述作业事件检测子网，依据所述作业事件检测子网对所述待解析图像细节描述子进行特征解析，得到用于反映所述第一动态作业事件的待翻译图像细节描述子；
将所述用于反映所述第一动态作业事件的待翻译图像细节描述子加载到所述特征翻译子网，依据所述特征翻译子网，对所述用于反映所述第一动态作业事件的待翻译图像细节描述子进行特征翻译，得到所述待分析传感图像信息中匹配所述第一行为状态的所述第一动态作业事件；
其中，所述待解析图像细节描述子包括待解析图像细节描述子feature_v，v为正整数，且v不大于所述待解析图像细节描述子对应的总数；所述作业事件检测子网包括针对所述待解析图像细节描述子feature_v的事件检测单元unit_v；
所述将所述待解析图像细节描述子加载到所述作业事件检测子网，依据所述作业事件检测子网对所述待解析图像细节描述子进行特征解析，得到用于反映所述第一动态作业事件的待翻译图像细节描述子，包括：
若所述事件检测单元unit_v为所述作业事件检测子网中的首个事件检测单元，则在所述事件检测单元unit_v中对所述待解析图像细节描述子feature_v进行特征解析，得到所述待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；
若所述事件检测单元unit_v不为所述作业事件检测子网中的首个事件检测单元，则在所述事件检测单元unit_v中，对所述待解析图像细节描述子feature_v以及与所述待解析图像细节描述子feature_v存在分布联系的目标待解析图像细节描述子进行图像描述聚合，得到所述待解析图像细节描述子feature_v对应的待翻译图像细节描述子descriptor_v；所述目标待解析图像细节描述子匹配所述待解析图像细节描述子；
基于每个待解析图像细节描述子各自对应的待翻译图像细节描述子，得到所述用于反映所述第一动态作业事件的待翻译图像细节描述子。
8.如权利要求1所述的方法，其特征在于，所述联合解析结果包括针对所述第一动态作业事件的最少两个联合解析结果；所述最少两个联合解析结果包括联合解析结果result_w，w为正整数，且w不大于所述最少两个联合解析结果的总数；
所述方法还包括：
确定所述联合解析结果result_w中的作业依存事件所反映的联系特征标签，若所述联系特征标签为消极联系特征，则将所述第一动态作业事件所反映的事件标签确定为目标事件标签；
从所述最少两个联合解析结果中获取包括作业依存总结事件的联合解析结果，将包括所述作业依存总结事件的联合解析结果中的第二动态作业事件确定为动态作业总结事件；所述动态作业总结事件所反映的事件标签与所述目标事件标签相同；所述作业依存总结事件是指表征的联系特征标签为联系总结特征的作业依存事件；
从所述最少两个联合解析结果中获取包括传递作业依据事件的联合解析结果，将包括所述传递作业依据事件的联合解析结果中的第二动态作业事件确定为动态作业传递事件；所述动态作业传递事件所反映的事件标签归匹配所述目标事件标签；所述传递作业依据事件是指表征的联系特征标签为传递联系特征的作业依存事件；
将所述联合解析结果result_w、所述作业依存总结事件、所述动态作业总结事件、所述传递作业依据事件以及所述动态作业传递事件进行关联记录。
9.一种人工智能平台系统，其特征在于，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现上述权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310643562.7A CN116386045B (zh) | 2023-06-01 | 2023-06-01 | 基于人工智能的传感器信息分析方法及人工智能平台系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310643562.7A CN116386045B (zh) | 2023-06-01 | 2023-06-01 | 基于人工智能的传感器信息分析方法及人工智能平台系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116386045A true CN116386045A (zh) | 2023-07-04 |
| CN116386045B CN116386045B (zh) | 2023-08-08 |
Family
ID=86979087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310643562.7A Active CN116386045B (zh) | 2023-06-01 | 2023-06-01 | 基于人工智能的传感器信息分析方法及人工智能平台系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386045B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117387602A (zh) * | 2023-12-07 | 2024-01-12 | 广州市城市排水有限公司 | 一种应用于水下智能机器人的清淤定位方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
| CN113469663A (zh) * | 2021-08-02 | 2021-10-01 | 东莞市爱学爱玩教育科技有限公司 | 一种结合人工智能的智慧业务信息分析方法及系统 |
| CN113535825A (zh) * | 2021-08-02 | 2021-10-22 | 东莞市道滘钒一电子软件技术服务部 | 一种基于云计算智能化的数据信息风控处理方法及系统 |
| CN114579634A (zh) * | 2022-03-02 | 2022-06-03 | 张立峰 | 结合人工智能和大数据的信息挖掘方法及系统 |
| CN116030115A (zh) * | 2023-03-22 | 2023-04-28 | 四川航天职业技术学院(四川航天高级技工学校) | 应用于ai的视觉设计图像分析方法及系统 |
-
2023
- 2023-06-01 CN CN202310643562.7A patent/CN116386045B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
| CN113469663A (zh) * | 2021-08-02 | 2021-10-01 | 东莞市爱学爱玩教育科技有限公司 | 一种结合人工智能的智慧业务信息分析方法及系统 |
| CN113535825A (zh) * | 2021-08-02 | 2021-10-22 | 东莞市道滘钒一电子软件技术服务部 | 一种基于云计算智能化的数据信息风控处理方法及系统 |
| CN114579634A (zh) * | 2022-03-02 | 2022-06-03 | 张立峰 | 结合人工智能和大数据的信息挖掘方法及系统 |
| CN116030115A (zh) * | 2023-03-22 | 2023-04-28 | 四川航天职业技术学院(四川航天高级技工学校) | 应用于ai的视觉设计图像分析方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117387602A (zh) * | 2023-12-07 | 2024-01-12 | 广州市城市排水有限公司 | 一种应用于水下智能机器人的清淤定位方法及系统 |
| CN117387602B (zh) * | 2023-12-07 | 2024-02-13 | 广州市城市排水有限公司 | 一种应用于水下智能机器人的清淤定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116386045B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10699195B2 (en) | Training of artificial neural networks using safe mutations based on output gradients | |
| CN110554958B (zh) | 图数据库测试方法、系统、设备和存储介质 | |
| CN116386045B (zh) | 基于人工智能的传感器信息分析方法及人工智能平台系统 | |
| US20100199264A1 (en) | Pattern inspection system, pattern inspection device, method and pattern inspection program | |
| CA3110387A1 (en) | Method and device for classifying objects | |
| US20190197238A1 (en) | Critical infrastructure forensics | |
| WO2020256732A1 (en) | Domain adaptation and fusion using task-irrelevant paired data in sequential form | |
| CN114218568B (zh) | 一种应用于云服务的大数据攻击处理方法及系统 | |
| CN112860676B (zh) | 应用于大数据挖掘和业务分析的数据清洗方法及云服务器 | |
| US20220019742A1 (en) | Situational awareness by fusing multi-modal data with semantic model | |
| CN112685207A (zh) | 错误评估的方法、设备和计算机程序产品 | |
| CN116992226A (zh) | 一种水泵电机故障检测方法、系统 | |
| CN111639073A (zh) | 边缘计算接入方法及边缘计算节点装置 | |
| Radlak et al. | Organization of machine learning based product development as per ISO 26262 and ISO/PAS 21448 | |
| KR102653349B1 (ko) | 오토 인코더 기반 이상 데이터 감지 시스템 및 방법 | |
| CN115762558B (zh) | 自动扶梯生产用性能检测系统及其方法 | |
| JP2002342739A (ja) | 通信ネットワークを介したニューラルネットワーク処理システム及びそのプログラムを格納したプログラム記憶媒体 | |
| CN114553588B (zh) | 一种基于人工智能的互联网金融数据防护方法及服务器 | |
| CN113536303A (zh) | 一种大数据信息防护的数据处理方法及人工智能服务器 | |
| Ayerdi et al. | Metamorphic Runtime Monitoring of Autonomous Driving Systems | |
| JP2010128673A (ja) | コンピュータネットワーク、異常検出特定装置、異常検出特定方法およびそのプログラム | |
| KR102660626B1 (ko) | 현장 검증이 가능한 ai 기반 비전 검사 시스템 및 방법 | |
| Williamson | Keeping up standards in machine vision | |
| Mohammed et al. | Multilevel Artificial Intelligence Classification of Faulty Image Data for Enhancing Sensor Reliability | |
| CN112798955B (zh) | 一种特种电机的故障检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |