CN114299128A - 多视角定位检测方法及装置 - Google Patents
多视角定位检测方法及装置 Download PDFInfo
- Publication number
- CN114299128A CN114299128A CN202111660035.4A CN202111660035A CN114299128A CN 114299128 A CN114299128 A CN 114299128A CN 202111660035 A CN202111660035 A CN 202111660035A CN 114299128 A CN114299128 A CN 114299128A
- Authority
- CN
- China
- Prior art keywords
- visual angles
- view
- data
- neural network
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 19
- 230000004931 aggregating effect Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种多视角定位检测方法及装置，方法包括：获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；将多视角的融合特征数据进行拼接处理，得到全局特征图谱；根据全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。多视角的视频数据进行整体建模，使得各视角信息交互，相互增强，实现对全局特征的事件定位。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种多视角定位检测方法及装置。
背景技术
对视频进行定位大多采用基于深度模型的时域事件检测模型。该模型主要包含两类，一类是通过连续的两步完成动作定位的两步模型，即先完成时序提名(确定动作发生的起始时间和结束时间)，然后进行提名的动作分类(确定所定位片段的动作类别)。另一类是同时完成时序提名和动作分类的单步模型。两步模型一般会通过时域的划窗得到初步的动作提名候选，然后利用神经网络对这些动作提名候选进行分类和排序，最终得到事件检测的结果。单步模型则从图片物体检测算法中受到启发，利用一维特征图谱中的锚点代表时序提名，然后利用网络对锚点特征进行分类和时域上的回归，得到事件检测结果。
但现有的时域事件检测模型，其一般只强调利用单一镜头的视频输入，仅使用单一视角进行动作定位，对于多镜头的情况，若对每个镜头均使用以上模型，则需要消耗巨大的计算资源，且无法对多个镜头间的关联性和互补性进行建模处理。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多视角定位检测方法及装置。
根据本发明的一个方面，提供了一种多视角定位检测方法，其包括：
获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；
将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；
将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；
将多视角的融合特征数据进行拼接处理，得到全局特征图谱；
根据全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
根据本发明的另一方面，提供了一种多视角定位检测装置，其包括：
获取模块，适于获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；
关联模块，适于将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；
聚合模块，适于将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；
拼接模块，适于将多视角的融合特征数据进行拼接处理，得到全局特征图谱；
定位模块，适于根据全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述多视角定位检测方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述多视角定位检测方法对应的操作。
根据本发明的多视角定位检测方法及装置，对多个视角输入的视频数据进行整体建模，基于不同视角对同一事件的互补性，将各个视角下的视频数据的信息进行交互，相互增强，从而构建全局特征图谱以完成对事件的定位。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的多视角定位检测方法的流程图；
图2示出了多视角定位检测网络结构示意图；
图3示出了根据本发明一个实施例的多视角定位检测装置的功能框图；
图4示出了根据本发明一个实施例的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的多视角定位检测方法的流程图。如图1所示，多视角定位检测方法具体包括如下步骤：
步骤S101，获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱。
本实施例中多个视角输入的视频数据可以利用如多个摄像头进行采集，得到多个视角的视频数据。如图2所示，视频数据可以由k个视角采集得到，每个视角获取到的视频数据具有不同的方向、采集角度等，各个视角间的视频数据均为针对同一场景采集的数据。场景包括如针对运动赛事的视频场景、针对现场活动的视频场景等，可以通过多个摄像头采集不同视角的视频数据进行定位，方便后续的导播、剪辑等。
在获取多个视角输入的视频数据后，利用第一神经网络如3D卷积神经网络分别对多个视角的视频数据进行数据抽取，如图2所示，得到第一特征图谱。第一特征图谱为抽取得到的一维特征的聚合，抽取的一维特征可以表示为如fk，i，其中，k代表k个视角，i取值为0到T’-1，T’为视频数据的T’个时间段，i取值与各时间段对应。第一特征图谱是分别对各视角的一维特征进行聚合，以视角为单位综合不同时间点的特征得到。
步骤S102，将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据。
将得到的多视角的第一特征图谱分别输入至各自的第二级联神经网络，以获取各自的第二特征图谱。第二级联神经网络由多个级联的一维卷积神经网络组成，如图2所示，各视角的第一特征图谱分别输入各自的第二级联神经网络中，在第二级联神经网络的各级对应的输出各级第二特征图谱，如a视角的第一特征图谱输入至第二级联神经网络，得到第二特征图谱
其中，a代表a视角，n代表第二级联神经网络的第n级。相应的b视角的第一特征图谱输入至第二级联神经网络，得到第二特征图谱
在得到各视角的第二特征图谱后，基于多视角对同一场景不同视角的视频数据间的互补性，对相邻两视角间的各级第二特征图谱进行关联建模处理，以增强多视角间的特征图谱，构建多视角间特征图谱关联关系。
具体的，基于图2中任相邻两视角间的多视角关联处理单元将相邻两视角各级第二特征图谱按照时域位置的相似性进行建模处理，来得到相邻两视角的各级相似度矩阵数据。以a视角和b视角为例，根据a视角的i时域位置，b视角的j时域位置的相似性利用点乘来进行建模处理，其中，时域建模需要融合b视角与a视角中相同时域位置的特征图谱，同时还需要考虑整个时间段的全部的特征图谱。多视角关联处理单元利用特征嵌入函数对相邻两视角各级第二特征图谱点乘以进行建模处理。如利用如下公式：
其中，θ和φ为特征嵌入函数，利用特征嵌入函数处理a视角和b视角的第二特征图谱，并对b视角的第二特征图谱进行转置(如利用转置函数T，对
进行转置实现)，得到相似度矩阵数据
其为相似矩阵S中的一个元素。具体根据实施情况采用所需的特征嵌入函数，将不同视角的第二特征图谱的特征进行关联。在进行建模时，如图2所示，将任相邻的两两视角均进行建模。
步骤S103，将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据。
在得到各相邻两视角的相似度矩阵数据后，针对任一相邻两视角，将相邻两视角的相似度矩阵数据进行归一化处理，归一化处理可以采用如softmax。在归一化处理后可以得到注意力图谱，可以通过注意力机制，将处理后的相似度矩阵数据与相邻两视角中的第一视角的全时域位置的第二特征图谱的特征嵌入函数进行聚合处理，得到融合特征数据。可以采用如下公式：
其中，γ为特征嵌入函数，a视角和b视角为举例说明，对于具体实施时，若存在k个视角，则两两视角间均进行建模关联，得到k(k-1)个融合特征数据。
进一步，还可以基于残差结构连接融合特征数据与输入的第一特征图谱或者第二特征图谱，以便将对多视角视频数据的处理更加优化。
步骤S104，将多视角的融合特征数据进行拼接处理，得到全局特征图谱。
在对k个视角的视频数据进行如上处理后，得到k(k-1)个融合特征数据，将得到的融合特征数据进行拼接处理，得到全局特征图谱。全局特征图谱是基于所有视角的视频数据以及相互关联关系构建，各视角间信息相互交互，相互增强，彼此互补，更能体现出对多视角间关联性。
步骤S105，根据全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
在得到全局特征图谱后，可以基于全局特征图谱时序对视频数据的定位。如图2所示，进行框选定位，确定时序提名、动作分类等。进一步，为使定位检测的结果更准确，本实施例还对事件进行时序重排序，以去除低于质量阈值的事件。具体的，对于全局特征图谱上的每个锚点(时域中的某一段，隶属于视频数据的某一段时间)，对应某时序提名，如锚点t，对应时序中心位置和时序宽度可以表示为：
ac＝(t+0.5)/T′，aw＝rd/T′
其中，ac为时序中心位置，aw为时序宽度。rd为时域尺度的放缩值，可以根据实施情况设置，如1.0。T’为视频数据的时间段。
利用指定卷积神经网络对全局特征图谱进行预测，指定卷积神经网络可以采用一维卷积神经网络，利用3个一维卷积神经网络分别预测得到事件分类分数、时域定位偏移量以及混叠分数。事件分类分数
表示在C个动作事件以及一个背景事件的预测概率。时域定位偏移量(Δc，Δw)表示相对于默认的时序提名(ac，aw)的时间偏移，可以基于时域定位偏移量进行修正。针对任一事件，根据时域定位偏移量修正该事件的时序中心位置及时序宽度，如下所示：
其中，
和
为修正后的时序提名的时序中心位置和时序宽度。α1和α2用于控制时间偏移的影响，可以根据实施情况设置，如设置为0.1，此处不做限定。
事件分类分数可以利用时域事件检测模型来获取，此处不做展开说明。混叠分数sop代表了时序提名和真实时间戳的交并比，真实时间戳用于指导模型训练。在使用指定卷积神经网络训练时，可以收集每一个时域尺度的全局特征图谱的时序提名，进行优化处理。优化损失函数可以构建一个多任务损失，如图2中所示，包括如分类损失、定位偏移损失和混叠损失，以优化指定卷积神经网络。在进行定位检测时，根据得到的事件分类分数以及混叠分数计算得到事件的置信度分数，根据每个事件的事件分类分数se与混叠分数sop进行计算，sf＝max(se)·sop，sf为置信度分数，其代表了各时序提名的排序分数，可以基于置信度分数利用如非极大值抑制算法(Non-Maximum Suppression，NMS)，对事件分类分数进行调整，高质量结果分数提高，低质量结果分数降低等，筛选出置信度分数低于质量阈值的事件，根据修正后的时序中心位置及时序宽度去除该时间段对应的事件，使其更定位更准确更合理。
可选地，本实施例可以用于对各种视频场景进行如智能导播、视频剪辑等，对多视角实时采集的视频输入进行现场制作，按照导播需求，剪辑播出相应的视频，例如运动赛事视频等，利用多路摄像头，可以获取多个不同视角下的运动赛事的视频输入，对其进行整体建模，可以对赛事中同一事件从不同视角进行互补，相互增强，从而方便实现智能导播等。
根据本发明提供的多视角定位检测方法，对多个视角输入的视频数据进行整体建模，基于不同视角对同一事件的互补性，将各个视角下的视频数据的信息进行交互，相互增强，从而构建全局特征图谱以完成对事件的定位。
图3示出了根据本发明一个实施例的多视角定位检测装置的功能框图。
如图3所示，多视角定位检测装置包括如下模块：
获取模块310，适于获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；
关联模块320，适于将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；
聚合模块330，适于将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；
拼接模块340，适于将多视角的融合特征数据进行拼接处理，得到全局特征图谱；
定位模块350，适于根据全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
可选地，第二级联神经网络由多个一维卷积神经网络组成；
关联模块320进一步适于：
将多视角的第一特征图谱分别输入至对应的各个第二级联神经网络，得到各视角对应的各级第二特征图谱；
基于多视角关联处理单元将相邻两视角各级第二特征图谱按照时域位置的相似性进行建模处理，得到相邻两视角的各级相似度矩阵数据；其中，多视角关联处理单元利用特征嵌入函数对相邻两视角各级第二特征图谱点乘以进行建模处理。
可选地，聚合模块330进一步适于：
针对任一相邻两视角，将相邻两视角的相似度矩阵数据进行归一化处理，并将处理后的相似度矩阵数据与相邻两视角中的第一视角的全时域位置的第二特征图谱的特征嵌入函数进行聚合处理，得到融合特征数据。
可选地，聚合模块330进一步适于：
基于残差结构连接融合特征数据与第一特征图谱和/或第二特征图谱。
可选地，视角为k个视角；
拼接模块340进一步适于：
将k个视角的k(k-1)个融合特征数据进行拼接处理，得到全局特征图谱。
可选地，定位模块350进一步适于：
基于全局特征图谱确定至少一个事件的时序提名及动作分类，并对至少一个事件的进行时序重排序，以去除低于质量阈值的事件。
可选地，定位模块350进一步适于：
利用指定卷积神经网络对全局特征图谱进行预测，得到事件分类分数、时域定位偏移量以及混叠分数；
针对任一事件，根据时域定位偏移量修正该事件的时序中心位置及时序宽度；根据事件分类分数以及混叠分数计算得到事件的置信度分数；筛选出置信度分数低于质量阈值的事件，根据修正后的时序中心位置及时序宽度去除对应的事件。
以上各模块的描述参照方法实施例中对应的描述，在此不再赘述。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多视角定位检测方法。
图4示出了根据本发明一个实施例的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述多视角定位检测方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述任意方法实施例中的多视角定位检测方法。程序410中各步骤的具体实现可以参见上述多视角定位检测实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的多视角定位检测装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种多视角定位检测方法，其特征在于，方法包括：
获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；
将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；
将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；
将多视角的融合特征数据进行拼接处理，得到全局特征图谱；
根据所述全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
2.根据权利要求1所述的方法，其特征在于，所述第二级联神经网络由多个一维卷积神经网络组成；
所述将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的各级相似度矩阵数据进一步包括：
将多视角的第一特征图谱分别输入至对应的各个第二级联神经网络，得到各视角对应的各级第二特征图谱；
基于多视角关联处理单元将相邻两视角各级第二特征图谱按照时域位置的相似性进行建模处理，得到相邻两视角的各级相似度矩阵数据；其中，所述多视角关联处理单元利用特征嵌入函数对相邻两视角各级第二特征图谱点乘以进行建模处理。
3.根据权利要求1所述的方法，其特征在于，所述将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据进一步包括：
针对任一相邻两视角，将相邻两视角的相似度矩阵数据进行归一化处理，并将处理后的相似度矩阵数据与相邻两视角中的第一视角的全时域位置的第二特征图谱的特征嵌入函数进行聚合处理，得到融合特征数据。
4.根据权利要求3所述的方法，其特征在于，所述将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据进一步包括：
基于残差结构连接所述融合特征数据与所述第一特征图谱和/或所述第二特征图谱。
5.根据权利要求1-4中任一项所述的方法，其特征在于，视角为k个视角；
所述将多视角的融合特征数据进行拼接处理，得到全局特征图谱进一步包括：
将k个视角的k(k-1)个融合特征数据进行拼接处理，得到全局特征图谱。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位进一步包括：
基于所述全局特征图谱确定至少一个事件的时序提名及动作分类，并对所述至少一个事件的进行时序重排序，以去除低于质量阈值的事件。
7.根据权利要求6所述的方法，其特征在于，所述对所述至少一个事件的进行时序重排序，以去除低于质量阈值的事件进一步包括：
利用指定卷积神经网络对所述全局特征图谱进行预测，得到事件分类分数、时域定位偏移量以及混叠分数；
针对任一事件，根据所述时域定位偏移量修正该事件的时序中心位置及时序宽度；根据所述事件分类分数以及所述混叠分数计算得到事件的置信度分数；筛选出置信度分数低于质量阈值的事件，根据修正后的时序中心位置及时序宽度去除对应的事件。
8.一种多视角定位检测装置，其特征在于，装置包括：
获取模块，适于获取多个视角输入的视频数据，利用第一神经网络抽取得到对应的多视角的第一特征图谱；
关联模块，适于将多视角的第一特征图谱分别输入至第二级联神经网络，得到第二级联神经网络输出的各级第二特征图谱，并对相邻两视角间的各级第二特征图谱进行关联建模处理，得到相邻两视角的相似度矩阵数据；
聚合模块，适于将各相邻两视角的相似度矩阵数据进行聚合处理，得到融合特征数据；
拼接模块，适于将多视角的融合特征数据进行拼接处理，得到全局特征图谱；
定位模块，适于根据所述全局特征图谱确定至少一个事件的时序提名及动作分类，以实现对多视角的视频数据的定位。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的多视角定位检测方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的多视角定位检测方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660035.4A CN114299128A (zh) | 2021-12-30 | 2021-12-30 | 多视角定位检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660035.4A CN114299128A (zh) | 2021-12-30 | 2021-12-30 | 多视角定位检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299128A true CN114299128A (zh) | 2022-04-08 |
Family
ID=80974547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111660035.4A Pending CN114299128A (zh) | 2021-12-30 | 2021-12-30 | 多视角定位检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299128A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152669A (zh) * | 2023-10-30 | 2023-12-01 | 华中科技大学 | 一种跨模态时域视频定位方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194559A (zh) * | 2017-05-12 | 2017-09-22 | 杭州电子科技大学 | 一种基于三维卷积神经网络的工作流识别方法 |
| US20170344832A1 (en) * | 2012-11-28 | 2017-11-30 | Innovative Alert Systems Inc. | System and method for event monitoring and detection |
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| CN110263650A (zh) * | 2019-05-22 | 2019-09-20 | 北京奇艺世纪科技有限公司 | 行为类别检测方法、装置、电子设备和计算机可读介质 |
| US20190332866A1 (en) * | 2018-04-26 | 2019-10-31 | Fyusion, Inc. | Method and apparatus for 3-d auto tagging |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| US20200125925A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Foreground Attentive Feature Learning for Person Re-Identification |
| CN111401468A (zh) * | 2020-03-26 | 2020-07-10 | 上海海事大学 | 一种基于共享近邻的权重自更新多视角谱聚类方法 |
| US20200294257A1 (en) * | 2019-03-16 | 2020-09-17 | Nvidia Corporation | Leveraging multidimensional sensor data for computationally efficient object detection for autonomous machine applications |
| CN111738220A (zh) * | 2020-07-27 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 三维人体姿态估计方法、装置、设备及介质 |
| CN112906557A (zh) * | 2021-02-08 | 2021-06-04 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
| CN112926475A (zh) * | 2021-03-08 | 2021-06-08 | 电子科技大学 | 一种人体三维关键点提取方法 |
| CN113011404A (zh) * | 2021-05-25 | 2021-06-22 | 南京甄视智能科技有限公司 | 基于时空域特征的狗拴绳识别方法、装置 |
| CN113641826A (zh) * | 2021-06-29 | 2021-11-12 | 北京邮电大学 | 面向多源知识图谱融合的实体对齐方法、装置与系统 |
| CN113688856A (zh) * | 2021-03-24 | 2021-11-23 | 北京邮电大学 | 基于多视角特征融合的行人重识别方法 |
-
2021
- 2021-12-30 CN CN202111660035.4A patent/CN114299128A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170344832A1 (en) * | 2012-11-28 | 2017-11-30 | Innovative Alert Systems Inc. | System and method for event monitoring and detection |
| CN107194559A (zh) * | 2017-05-12 | 2017-09-22 | 杭州电子科技大学 | 一种基于三维卷积神经网络的工作流识别方法 |
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| US20190332866A1 (en) * | 2018-04-26 | 2019-10-31 | Fyusion, Inc. | Method and apparatus for 3-d auto tagging |
| US20200125925A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Foreground Attentive Feature Learning for Person Re-Identification |
| US20200294257A1 (en) * | 2019-03-16 | 2020-09-17 | Nvidia Corporation | Leveraging multidimensional sensor data for computationally efficient object detection for autonomous machine applications |
| CN110263650A (zh) * | 2019-05-22 | 2019-09-20 | 北京奇艺世纪科技有限公司 | 行为类别检测方法、装置、电子设备和计算机可读介质 |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN111401468A (zh) * | 2020-03-26 | 2020-07-10 | 上海海事大学 | 一种基于共享近邻的权重自更新多视角谱聚类方法 |
| CN111738220A (zh) * | 2020-07-27 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 三维人体姿态估计方法、装置、设备及介质 |
| CN112906557A (zh) * | 2021-02-08 | 2021-06-04 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
| CN112926475A (zh) * | 2021-03-08 | 2021-06-08 | 电子科技大学 | 一种人体三维关键点提取方法 |
| CN113688856A (zh) * | 2021-03-24 | 2021-11-23 | 北京邮电大学 | 基于多视角特征融合的行人重识别方法 |
| CN113011404A (zh) * | 2021-05-25 | 2021-06-22 | 南京甄视智能科技有限公司 | 基于时空域特征的狗拴绳识别方法、装置 |
| CN113641826A (zh) * | 2021-06-29 | 2021-11-12 | 北京邮电大学 | 面向多源知识图谱融合的实体对齐方法、装置与系统 |
Non-Patent Citations (2)
| Title |
|---|
| "智能视频监控系统中多视角目标跟踪研究与FPGA实现", 《现代电子技术》, vol. 39, no. 17, 1 September 2016 (2016-09-01) * |
| MURALEEKRISHNA GOPINATHAN: "Solving occlusion in object detection using multiple camera views", 《RESEARCHGATE》, 31 December 2019 (2019-12-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152669A (zh) * | 2023-10-30 | 2023-12-01 | 华中科技大学 | 一种跨模态时域视频定位方法及系统 |
| CN117152669B (zh) * | 2023-10-30 | 2024-02-06 | 华中科技大学 | 一种跨模态时域视频定位方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111050219B (zh) | 用于利用空间-时间记忆网络处理视频内容的方法和系统 | |
| Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
| CN111062871B (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
| Snavely et al. | Skeletal graphs for efficient structure from motion | |
| CN111859023B (zh) | 视频分类方法、装置、设备及计算机可读存储介质 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| EP3837632A1 (en) | Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium | |
| CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
| CN111079507B (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN111046821A (zh) | 一种视频行为识别方法、系统及电子设备 | |
| CN112749666B (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
| CN114612832A (zh) | 一种实时手势检测方法及装置 | |
| CN112183649A (zh) | 一种用于对金字塔特征图进行预测的算法 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN110969090A (zh) | 基于深度神经网络的水果品质识别方法及装置 | |
| CN112417947A (zh) | 关键点检测模型的优化及面部关键点的检测方法及装置 | |
| CN114299128A (zh) | 多视角定位检测方法及装置 | |
| CN111325212A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN110147464B (zh) | 视频推荐方法、装置、电子设备及可读存储介质 | |
| CN112884866A (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 | |
| Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
| CN110008940B (zh) | 一种图像中移除目标物体的方法、装置及电子设备 | |
| CN112907488A (zh) | 一种图像还原方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |