CN117676187A - 一种视频数据的处理方法、装置、电子设备以及存储介质 - Google Patents
一种视频数据的处理方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN117676187A CN117676187A CN202310410685.6A CN202310410685A CN117676187A CN 117676187 A CN117676187 A CN 117676187A CN 202310410685 A CN202310410685 A CN 202310410685A CN 117676187 A CN117676187 A CN 117676187A
- Authority
- CN
- China
- Prior art keywords
- tag
- event
- video data
- video
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000006399 behavior Effects 0.000 claims description 157
- 239000013598 vector Substances 0.000 claims description 34
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 238000000926 separation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 14
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000005314 correlation function Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于数据处理技术领域,提供了一种视频数据的处理方法、装置电子设备以及存储介质,方法包括:获取关于目标对象的目标视频数据;基于所有标记维度的事件标签,确定目标视频数据的多个视频关键帧;基于各个视频关键帧的帧序号生成关键视频序列,并基于关键视频序列得到目标视频数据的上下文信息;确定上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于视频逻辑路径确定目标视频数据对应的行为特征信息;基于行为特征信息生成目标对象的行为评价报告。采用上述方法从多个标记维度确定对应的事件标签,从而减少了遗漏视频数据中关键信息的发生概率,提高了视频数据的分析的准确性。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种视频数据的处理方法、装置电子设备以及存储介质。
背景技术
随着互联网技术的不断发展,越来越多的服务可以通过线上方式实现,在进行线上服务的过程中,由于视频服务具有可视化以及较强的交互能力等优点,成为了线上服务的主要方式之一。因此,如何能够在进行线上服务的过程中,高效准确地处理视频数据,成为了线上服务的关注重点。
现有的视频数据的处理技术,在进行线上服务的过程中,一般会配置一名客服人员与用户进行视频通话,客服人员在线上服务采集对应的视频数据的过程中,可以通过人工标记的方式对存在异常或关键的视频帧进行标记,后续进行服务处理时可以通过标记得到的事件标签生成对应的处理报告。然而,上述基于视频数据的服务过程,视频过程中存在大量画面细节,通过人工标记的方式可能会忽略部分关键信息,需要多次反复观看线上服务的视频以标记所有事件标签,从而降低了报告生成的准确性,继而降低了线上服务的响应效率。
发明内容
本申请实施例提供了一种视频数据的处理方法、装置、电子设备及存储介质,可以解决现有的视频数据的处理技术,视频过程中存在大量画面细节,通过人工标记的方式可能会忽略部分关键信息,需要多次反复观看线上服务的视频以标记所有事件标签,从而降低了报告生成的准确性,继而降低了线上服务的响应效率的问题。
第一方面,本申请实施例提供了一种视频数据的处理方法,包括:
获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签;
基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧;
基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息;
确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息;
基于所述行为特征信息生成所述目标对象的行为评价报告。
在第一方面的一种可能的实现方式中,在所述确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息之前,还包括:
获取采集所述目标视频数据的管理用户的用户信息;所述用户信息包含所述管理用户的用户标识以及语言表达等级;
基于所述用户标识,从评价数据库中提取所述用户标识关联的多个历史评价报告以及所述历史评价报告对应的历史视频数据;所述历史视频数据包含所述管理用户进行人工标记的多个第一事件标签;
根据所述语言表达等级以及预设的标签库,分别确定各个所述第一事件标签对应的关联事件标签;
统计各个所述第一事件标签在所有所述历史视频数据中的出现次数,以及各个所述关联事件标签在所述历史视频数据中与所述第一事件标签的共现次数;
基于所述出现次数以及所述共现次数,计算所述第一事件标签与所述关联事件标签之间的关联置信度;所述关联置信度为:
其中,LinkLv(Keyi,LinkKeyij)为所述关联置信度;Keyi为第i个第一事件标签;Numi为所述第i个第一事件标签的出现次数;LinkKeyij为第i个第一事件标签的第j个关联事件标签;Numij为所述第j个关联事件标签与所述第i个第一事件标签之间的共现次数;Numi[0~N]为所述第i个第一事件标签的关联事件标签组;Max(x)为最大值选取函数;β为预设系数;N为第i个第一事件标签的关联事件标签的总数;
根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径;
基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树。
在第一方面的一种可能的实现方式中,所述根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径,包括:
根据各个所述第一事件标签在历史视频数据中的历史视频帧的历史帧序号,构建基于所有所述第一事件标签得到的第一逻辑路径;
选取所述关联置信度大于预设的置信度阈值的关联事件标签作为校准事件标签;所述校准事件标签的历史帧序号与所述校准事件标签对应的第一事件标签的历史帧序号相同;
以所述第一逻辑路径为基础,构建至少一个包含所述校准事件标签的校准逻辑路径;所述校准逻辑路径中包含至少一个所述校准事件标签;
将属于同一所述历史评价报告的所述第一逻辑路径与所有所述校准逻辑路径进行合并,得到所述历史评价报告对应的历史逻辑路径;
所述基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树,包括:
将所述历史评价报告的历史行为标签作为所述历史逻辑路径的路径终点,得到所述历史评价报告的语义逻辑分支;
基于各个所述语义逻辑分支之间包含的公用所述第一事件标签,合并各个所述语义逻辑分支,得到所述语义逻辑树。
在第一方面的一种可能的实现方式中,所述确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息,包括:
通过预设的标签提取算法,获取所述上下文信息对应的标签序列;所述标签序列是基于所述视频关键帧的帧序号,对各个所述视频关键帧的所述事件标签进行排序后生成的;
基于所述标签序列生成所述目标视频数据的标签向量;
分别计算所述标签向量与所述语义逻辑树中的已有路径之间的向量距离;所述已有路径包括:所述第一逻辑路径以及所述校准逻辑路径;
基于所述向量距离,从多个所述已有路径中选取所述视频逻辑路径,将所述视频逻辑路径关联的历史行为标签生成所述行为特征信息。
在第一方面的一种可能的实现方式中,所述获取关于目标对象的目标视频数据,包括:
在采集所述目标视频数据的过程中,响应于管理用户的标记操作,对所述标记操作对应的视频图像帧添加人工标记维度的第二事件标签;
以所述视频图像帧为中心,获取预设帧数范围内的关联图像帧,并基于所述关联图像帧以及所述视频图像帧,生成语义维度的第三事件标签;
根据行为特征标记算法,分别标记所述视频图像帧以及各个所述关联视频帧中目标对象的行为关键点;
基于所述视频图像帧以及所有所述关联视频帧的所述行为关键点,生成所述目标对象的行为轨迹;
基于所述行为轨迹确定在行为维度的第四事件标签;
根据所述第二事件标签、所述第三事件标签、所述第四事件标签以及在采集所述目标视频数据的过程中的所有视频图像帧,生成所述目标视频数据。
在第一方面的一种可能的实现方式中,所述基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧,包括:
计算所述视频图像帧的所述第二事件标签与所述第三事件标签之间的逻辑关联指标;
根据所述标记操作的操作时长,确定所述视频图像帧对应的数据分隔系数;
基于所述数据分隔系统,计算所述第三事件标签与所述第四事件标签之间的相关系数;所述相关系数具体为:
RFlv=(1-Threshold)*RF1(Tagsound,Tagtech)+Threshold*RF2(Tagtech,Tagsound)
其中,Threshold为所述数据分隔系数;RFlv为所述相关系数;Tagsound为所述第三事件标签;Tagtech为所述第四事件标签;RF1(Tagsound,Tagtech)为第一相关函数;RF2(Tagtech,Tagsound)为第二相关函数;
根据所述相关系数以及所述逻辑关联指标,确定所述视频图像帧的关键置信度;
基于所述关键置信度从所有所述视频图像帧中选取所述视频关键帧。
在第一方面的一种可能的实现方式中,所述基于所述行为特征信息生成所述目标对象的行为评价报告,包括:
若所述行为特征信息满足任一异常行为条件,则生成所述异常行为条件对应的异常提示信息;
基于所述异常提示信息确定异常响应流程;
将所述异常提示信息以及所述异常响应流程导入预设的评价报告模板,生成所述行为评价报告。
第二方面,本申请实施例提供了一种视频数据的处理装置,包括:
目标视频数据获取单元,用于获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签;
视频关键帧确定单元,用于基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧;
上下文信息确定单元,用于基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息;
行为特征信息确定单元,用于确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息;
评价报告生成单元,用于基于所述行为特征信息生成所述目标对象的行为评价报告。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在服务器上运行时,使得服务器执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是:通过在获取目标视频数据的过程中,在多个标记维度对目标视频数据添加事件标签,从而能够从多个角度来对目标对象进行信息标注,继而根据多个标记维度的事件标签,从目标视频数据中提取得到与行为评价相关的视频关键帧,根据视频关键帧确定对应的上下文信息;最后通过预设的语义逻辑树对该上下文信息进行逻辑路径匹配,得到目标视频数据对应的视频逻辑路径,继而根据该视频逻辑流经确定目标对象在目标视频数据内的行为评价信息,基于行为评价信息生成行为评价报告,实现了自动分析目标视频数据并生成行为评价报告的目的。与现有的视频数据的处理技术相比,本申请实施例并不依赖客服人员的经验对视频数据进行人工标记,而是可以从多个标记维度确定对应的事件标签,从而减少了遗漏视频数据中关键信息的发生概率,提高了视频数据的分析的准确性;与此同时,通过提取关机键视频帧确定上下文信息,能够确定目标对象在目标视频数据中的行为逻辑顺序,继而确定对应的视频逻辑路径,提高了行为特征信息识别的准确性,继而提高了后续行为评价报告的可靠性以及准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的视频数据处理系统的结构示意图;
图2是本申请实施例提供的一种视频数据的处理方法的实现示意图;
图3是本申请第二实施例提供的一种视频数据的处理方法在S204之前的具体实现流程图;
图4是本申请一实施例提供的事件标签路径的示意图;
图5是本申请第三实施例提供的一种视频数据的处理方法S306和S307的具体实现流程图;
图6是本申请一实施例提供的历史逻辑路径的示意图;
图7是本申请第四实施例提供的一种视频数据的处理方法S204的具体实现流程图;
图8是本申请第五实施例提供的一种视频数据的处理方法S201的具体实现流程图;
图9是本申请第六实施例提供的一种视频数据的处理方法S202的具体实现流程图;
图10是本申请第七实施例提供的一种视频数据的处理方法S205的具体实现流程图;
图11是本申请实施例提供的评价报告的生成装置的结构示意图;
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例提供的评价报告的生成方法可以应用于智能手机、服务器、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本等能够对视频数据进行处理的电子设备上。本申请实施例对电子设备的具体类型不作任何限制。
示例性地,图1示出了本申请一实施例提供的视频数据处理系统的结构示意图,参见图1所示,该视频数据处理系统包括有一服务器11、用于采集目标对象的视频数据的用户终端12以及实现线上服务的服务终端13。其中,用户终端12与服务终端13之间可以建立有通信链路,该通信链路可以是基于服务器11构建的,即在实现线上服务时,服务终端13与用户终端12均安装有对应的客户端程序,在需要实现视频通话时,服务终端13以及用户终端12可以通过客户端程序建立视频通话的通信链路,在客户端程序建立视频通话的通信链路时,则需要服务器11作为中间设备,以维护该通信链路。当然,在部分实现场景下,视频通话的通信链路也可以交由其他服务器实现,在不做限定。
在服务终端13为用户终端12提供线上服务时,可以通过用户终端12侧配置的摄像模块采集关于目标对象的目标视频数据,在采集过程中,服务终端13可以在多个标记维度对该目标视频数据添加事件标签,继而将添加了事件标签的目标视频数据上传至服务器11,以便通过服务器11生成该目标视频数据的行为评价报告。
请参阅图2,图2示出了本申请实施例提供的一种视频数据的处理方法的实现示意图,在该实施例中,以电子设备为一服务器为例进行说明,该方法包括如下步骤:
在S201中,获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签。
在本实施例中,目标对象所处场景的用户终端可以通过摄像模块采集对应的原始视频数据,对目标对象提供线上服务的管理用户可以在采集该原始视频数据的过程中,通过预设的管理终端对原始视频数据在多个标记维度添加事件标签,基于添加有事件标签的原始视频数据生成上述的目标视频数据,并反馈给服务器。其中,上述标记维度包括但不限于:人工标记维度、基于语音的语义标记维度、图像标记维度以及基于行为轨迹的轨迹标记维度等。管理终端可以根据服务类型或评价类型确定所采用的标记维度,以生成后续行为评价相关的多个事件标签。
在一种可能的实现方式中,管理终端存储有标记维度与服务类型的对应关系表。用户终端在发起一个线上服务时,可以将服务请求发送给管理终端,服务请求携带有线上服务的服务类型。在该情况下,管理终端可以根据上述的对应关系表,确定该服务类型关联的多个标记维度,并在采集目标对象的原始视频数据时,基于上述的标记维度生成多个事件标签。
示例性地,上述目标对象可以为一汽车,上述线上服务可以为对受损的车辆进行线上定损,因此,在进行线上定损的过程中,可以通过用户终端的摄像模块采集损失车辆的视频数据,如查看受损部位以及整车外观情况等,服务终端可以在采集上述视频数据过程中,在车辆外观维度、车辆色彩维度以及人工判断维度等配置多个事件标签,从而生成对应的目标视频数据,并将目标视频数据发送给服务器。
在一种可能的实现方式中,上述反馈目标视频数据的过程是实时上传的,即用户终端将采集到的视频数据流发送给管理终端,管理终端对该视频数据流进行事件标签的标记,继而管理终端将视频数据流同步上传至服务器。
在一种可能的实现方式中,每个事件标签与目标视频数据中的至少一个视频图像帧关联,若该事件标签为指定的标记维度的事件标签(如语义标记维度或行为轨迹标记维度等),则上述事件标签关联的视频图像帧的个数为多个,具体每个事件标签关联的视频图像帧的个数可以根据标记维度的类型确定。
在S202中,基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧。
在本实施例中,服务器在接收到目标视频数据后,需要提取目标视频数据中与目标对象的行为特征相关的视频关键帧。电子设备可以根据确定各个事件标签关联的视频图像帧,从所有标记有事件标签的视频图像帧中选取出上述的视频关键帧。
在一种可能的实现方式中,提取上述的视频关键帧的方式可以为:服务器存储有各个标记维度对应的基础权重值,并确定各个标记维度对应的事件标签对应的基础系数,通过上述基础权重值对上述基础系数进行加权,继而对所有标记维度进行加权叠加,从而计算得到该视频图像帧对应的关键置信度;该关键置信度可以表示为:
其中,KeyLv为所述关键置信度;Dimdp为第p个标记维度的基础加权值;Tagp为第p个标记维度的事件标签的基础系数;m为标记维度的总数。服务器可以选取上述的关键置信度大于预设的置信度阈值的视频图像帧作为上述的视频关键帧。
在S203中,基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息。
在本实施例中,服务器从目标视频数据中提取得到多个视频关键帧后,可以根据各个视频关键帧在目标视频数据中的帧序号,依次排列各个视频关键帧,从而得到上述的关键视频序列,从而可以确定目标对象在各个视频关键帧中的行为顺序。
在本实施例中,由于目标视频数据是通过图像的形式进行信息采集,服务器需要对图像进行结构化语义处理,以便后续进行行为特征的分析。服务器从目标视频数据中提取得到部分与行为特征相关的视频关键帧,并根据各个视频关键帧之间的时序关系,生成关键视频序列。因此,服务器可以将关键视频序列导入到预设的图像转语义生成模型生成结构化数据,即上述的上下文信息,
示例性地,若上述的目标对象为一汽车,上述的线上服务类型为线上定损服务,则生成的上下文信息可以为:{拍摄的对象:红车1的左前门;拍摄对象的状态:有划痕;关键标记:人工停留标记;连续性检测:符合;}。
在S204中,确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息。
在本实施例中,服务器存储有确定目标对象的行为特征的语义逻辑树,即根据目标视频数据中具有时序逻辑关系的上下文信息,与语义逻辑树中的各个已有逻辑路径进行匹配,继而能够识别的目标对象在目标视频数据中的行为类型,从而生成上述的行为特征信息。
在本实施例中,语义逻辑树中包含有多个已有逻辑路径,每个已有逻辑路径关联有至少一个行为数据,在该情况下,服务器通过语义逻辑树确定上下文信息对应的视频逻辑路径的方式可以为:服务器根据语义逻辑树中已有逻辑路径的数据结构,将上下文信息转换为与上述数据结构匹配的时序逻辑向量,继而分别计算各个时序逻辑向量与已有逻辑路径进行向量距离的计算,基于向量距离小于预设的关联阈值的已有逻辑路径作为目标视频数据对应的视频逻辑路径,并基于视频逻辑路径在上述语义逻辑树中关联的行为数据,生成该目标视频数据对应的行为特征信息。
在一种可能的实现方式中,若基于上下文信息确定存在两个或以上对应的视频逻辑路径,则服务器可以根据上下文信息与各个视频逻辑路径之间的匹配度(如上述的向量距离),确定各个视频逻辑路径关联的行为数据的置信度,并基于所有行为数据以及对应的置信度,生成上述的行为特征信息,以便管理用户可以确定该目标对象在拍摄目标视频数据中可能存在的多种行为,提高了后续行为评价报告的准确性。
在S205中,基于所述行为特征信息生成所述目标对象的行为评价报告。
在本实施例中,服务器可以存储有行为评价模板,该行为评价模板用于对目标对象在拍摄目标视频数据过程进行行为分析。基于此,服务器可以对上述的行为特征信息进行关键词提取,以确定目标用户对应的行为类型,并基于行为类型,从语料库内提取与该行为类型对应的评价语段,将评价语段以及该行为类型导入到上述的行为评价模板,生成该目标对象的行为评价报告。
在一种可能的实现方式中,若在获取目标视频数据时是采用实时上传的方式实现,则服务器会实时生成上述的行为评价报告,若检测到上述的行为特征信息满足预设的异常行为条件时,会实时生成对应的异常提示信息,并将异常提示信息反馈给管理终端,管理终端在接收到提示信息后,可以通过弹框等方式对管理用户进行提示,以便及时识别当前存在风险操作,能够提高异常情况识别的及时性,避免在完成线上服务后,才能够识别出风险操作,从而降低了异常操作的影响。
以上可以看出,本申请实施例提供的一种视频数据的处理方法通过在获取目标视频数据的过程中,在多个标记维度对目标视频数据添加事件标签,从而能够从多个角度来对目标对象进行信息标注,继而根据多个标记维度的事件标签,从目标视频数据中提取得到与行为评价相关的视频关键帧,根据视频关键帧确定对应的上下文信息;最后通过预设的语义逻辑树对该上下文信息进行逻辑路径匹配,得到目标视频数据对应的视频逻辑路径,继而根据该视频逻辑流经确定目标对象在目标视频数据内的行为评价信息,基于行为评价信息生成行为评价报告,实现了自动分析目标视频数据并生成行为评价报告的目的。与现有的视频数据的处理技术相比,本申请实施例并不依赖客服人员的经验对视频数据进行人工标记,而是可以从多个标记维度确定对应的事件标签,从而减少了遗漏视频数据中关键信息的发生概率,提高了视频数据的分析的准确性;与此同时,通过提取关机键视频帧确定上下文信息,能够确定目标对象在目标视频数据中的行为逻辑顺序,继而确定对应的视频逻辑路径,提高了行为特征信息识别的准确性,继而提高了后续行为评价报告的可靠性以及准确性。
图3示出了本申请第二实施例提供的一种视频数据的处理方法在S204之前的具体实现流程图。参见图3,相对于图2所述实施例,本实施例提供的一种视频数据的处理方法中在S204之前还包括:S301~S307,具体详述如下:
进一步地,在所述确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息之前,还包括:
在S301中,获取采集所述目标视频数据的管理用户的用户信息;所述用户信息包含所述管理用户的用户标识以及语言表达等级。
在本实施例中,上述标记维度包括有基于管理用户标记的人工标记维度,在管理用户对视频数据进行事件标签标记的过程中,受限于不同管理用户的语言表达能力以及标记经验多少,对于同一事件会出现不同的描述。基于此,为了减少因不同管理用户在标记经验以及表达能力的差异,导致在为目标视频数据添加事件标签时出现的偏差,服务器可以为不同管理用户构建对应的语义逻辑树,以通过管理用户对应的语义逻辑树对齐对应的上下文信息进行校准,以得到较为准确的行为特征信息。
在本实施例中,构建管理用户的语义逻辑树之前,需要确定管理用户的用户信息,该用户信息包括该管理用户对应的用户标识,以及管理用户的用户语言表达等级。当然,为了更为准确地确定管理用户的事件标签的描述习惯,上述用户信息还可以包含管理用户的为目标视频数据添加事件标签的处理时长,以及处理目标对象关联服务类型的服务次数等。
在一种可能的实现方式中,确定管理用户的语言表达等级的方式可以为:服务器获取管理用户的学历信息以及所在的地域信息,事件标签的描述会受方言、学历情况的影响,因此,服务器在确定管理用户的语言表达等级时可以获取其对应的学历信息(如本科、大专、研究生等)以及所在的地域信息(如广州、汕头、成都、重庆等),基于上述两种信息,确定管理用户的语言表达倾向,继而基于语言表达倾向对管理用户进行语言表达能力的评级,得到上述的语言表达等级。
在S302中,基于所述用户标识,从评价数据库中提取所述用户标识关联的多个历史评价报告以及所述历史评价报告对应的历史视频数据;所述历史视频数据包含所述管理用户进行人工标记的多个第一事件标签。
在本实施例中,管理用户的历史评价报告会存储于评价数据库中,每个评价数据库会关联有管理用户的用户标识以及其评价对象的对象标识,基于此,服务器在确定了管理用户的用户标识后,可以从评价数据库中提取关联有该用户标识的所有历史评价报告,以及各个历史评级报告对应的历史视频数据,以根据历史评价报告以及历史视频数据构建该管理用户的语义逻辑树。
在本实施例中,历史视频数据同样包含有多个标记维度的历史事件标签,其中,多个标记维度中包含有基于管理用户进行人工标记的维度,基于人工标记维度得到的事件标签即为上述的第一事件标签,该第一事件标签具体为会受管理用户的语言表达能力影响的事件标签,因此,需要对该类型的事件标签进行校准。
在S303中,根据所述语言表达等级以及预设的标签库,分别确定各个所述第一事件标签对应的关联事件标签。
在本实施例中,服务器可以存储有标签库,该标签库内存储有所有已经标记过的已有事件标签,以及基于已有事件标签进行关键词联系得到的联想标签。其中,根据标签库中各个事件标签之间的关联度,为标签库内的所有事件标签配置对应的知识图谱,从而可以确定各个事件标签之间的关联关系,以便后续基于历史事件标签确定关联事件标签。
在本实施例中,服务器在确定了管理用户的语言表达等级后,可以从标签库中的知识图谱中提取出该语言表达等级对应的事件标签路径。其中,语言表达等级越高,即表达能力越准确的,其事件标签的偏差一般较少,对应的事件标签路径的路径长度越短,标签路径的长度是由路径中包含的事件标签的个数确定的。示例性地,图4示出了本申请一实施例提供的事件标签路径的示意图。参见图4所示,路径1为语言表达等级为4级对应的标签路径,而路径2为语言表达等级为2级对应的标签路径,可见,路径2中包含的事件标签的个数多月路径1中包含的事件标签的个数,这是由于语言表达等级越高的管理用户,其表达准确性越精准,因此事件标签的校准需求较低。
在本实施例中,服务器在确定了管理用户对应的语言表达等级以及历史视频数据中包含的第一事件标签后,可以从标签库中确定该第一事件标签对应的关联事件标签,由于服务器可以根据语言表达等级确定管理用户对应的事件标签路径,因此可以将第一事件标签所在的事件标签路径的其他事件标签,作为该第一事件标签对应的关联事件标签。
在S304中,统计各个所述第一事件标签在所有所述历史视频数据中的出现次数,以及各个所述关联事件标签在所述历史视频数据中与所述第一事件标签的共现次数。
在本实施例中,服务器需要确定管理用户在历史视频数据中的事件标签的描述习惯,以及确定第一事件标签与关联事件标签之间的关联程度,因此会统计第一事件标签在所有历史视频数据中的出现次数,其中,一个历史视频数据中同一第一事件标签可以出现多次。服务器还会统计历史视频数据中该第一事件标签与关联事件标签同时出现的次数,即上述的共现次数,以确定两者之间的关联程度。
在S305中,基于所述出现次数以及所述共现次数,计算所述第一事件标签与所述关联事件标签之间的关联置信度;所述关联置信度为:
其中,LinkLv(Keyi,LinkKeyij)为所述关联置信度;Keyi为第i个第一事件标签;Numi为所述第i个第一事件标签的出现次数;LinkKeyij为第i个第一事件标签的第j个关联事件标签;Numij为所述第j个关联事件标签与所述第i个第一事件标签之间的共现次数;Numi[0~N]为所述第i个第一事件标签的关联事件标签组;Max(x)为最大值选取函数;β为预设系数;N为第i个第一事件标签的关联事件标签的总数。
在本实施例中,服务器在确定了各个关联事件标签与第一事件标签之间的共现次数以及该第一事件标签的出现次数后,可以基于上述两个参数计算第一事件标签与关联事件标签之前的关联置信度,从而确定该关联事件标签对于管理用户而言是否为该第一事件标签的同义或近义的事件标签。其中,若存在其他共现次数多于该关联事件标签的其他事件标签,则两者之间的关联置信度越低;反之,若某一关联事件标签的共现次数为所有关联事件标签中的最大值,其对应的关联置信度越高。
在S306中,根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径。
在本实施例中,服务器可以选取关联置信度大于预设的阈值的关联事件标签作为校准事件标签,继而根据第一事件标签与校准事件标签生成对应的历史逻辑路径。
在S307中,基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树。
在本实施例中,将所有历史逻辑路径与其对应的历史评价报告中的历史行为标签进行关联,生成行为推导路径,将所有行为推导路径进行合并,生成该管理用户的语义逻辑树。
在本申请实施例中,通过为每个管理用户构建与之对应的语义逻辑树,能够对基于该管理用户的事件标签生成的上下文信息进行标签校正,继而能够提高后续行为特征信息生成的准确性。
图5示出了本申请第三实施例提供的一种视频数据的处理方法S306和S307的具体实现流程图。参见图5,相对于图3所述实施例,本实施例提供的一种视频数据的处理方法中S306还包括:S3061~S3064,S307包括S3071~S3072,具体详述如下:
进一步地,所述根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径,包括:
在S3061中,根据各个所述第一事件标签在历史视频数据中的历史视频帧的历史帧序号,构建基于所有所述第一事件标签得到的第一逻辑路径。
在本实施例中,服务器可以识别第一事件标签在历史视频数据中出现的历史视频帧的历史帧序号,并基于历史帧序号依次连接各个第一事件标签,从而构建得到基于某一历史视频数据生成的第一逻辑路径。
在S3062中,选取所述关联置信度大于预设的置信度阈值的关联事件标签作为校准事件标签;所述校准事件标签的历史帧序号与所述校准事件标签对应的第一事件标签的历史帧序号相同。
在本实施例中,若关联事件标签与第一事件标签之间的关联置信度越高,则表示该关联事件标签对于管理用户而言,为第一事件标签的同义标签或近义标签,因此,本次所需处理的目标视频数据中,若出现该关联事件标签,可以将其与第一事件标签进行关联,以便进行视频逻辑路径的识别。因此,服务器会将关联置信度大于置信度阈值的关联事件标签作为第一事件标签对应的校准事件标签,以对后续的同义或近义的事件标签进行校准。
在S3063中,以所述第一逻辑路径为基础,构建至少一个包含所述校准事件标签的校准逻辑路径;所述校准逻辑路径中包含至少一个所述校准事件标签。
在本实施例中,由于关联事件标签为第一事件标签的近义标签,因此,包含该关联事件标签的语义逻辑与第一事件标签的语义逻辑一致,因此可以以第一逻辑路径为基础,以校准事件标签对第一逻辑路径进行扩展,从而得到包含有至少一个校准事件标签的校准逻辑路径,当然,一个校准事件路径上可以包含有两个或以上的校准事件标签。
在S3064中,将属于同一所述历史评价报告的所述第一逻辑路径与所有所述校准逻辑路径进行合并,得到所述历史评价报告对应的历史逻辑路径。
在本实施例中,服务器可以将属于同一历史评价报告的第一逻辑路径与所有基于第一逻辑路径生成的校准逻辑路径进行合并,从而得到该历史评价报告对应的历史逻辑路径。
示例性地,图6示出了本申请一实施例提供的历史逻辑路径的示意图。参见图6所示,路径1包含的事件标签(即标签1~标签5)均为第一事件标签,即为上述的第一逻辑路径,而每个事件标签可以对应有校准事件标签(如标签1关联1,标签2关联1等),以路径1为基础,可以生成包含有标签1关联1的路径2,以及包含标签1关联1和标签2关联1的路径3,当然,其他校准逻辑路径也可以参考上述方式生成,并未在图6中示出。
所述基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树,包括:
在S3071中,将所述历史评价报告的历史行为标签作为所述历史逻辑路径的路径终点,得到所述历史评价报告的语义逻辑分支。
在本实施例中,服务器可以提取历史评价报告中的历史行为标签,将该历史行为标签与历史逻辑路径进行关联,从而生成得到该历史评价报告的语义逻辑分支。即若某一视频逻辑路径与该历史逻辑路径匹配,则该视频逻辑路径的行为评价信息可以基于该历史逻辑路径的历史行为标签生成的。
在S3072中,基于各个所述语义逻辑分支之间包含的公用所述第一事件标签,合并各个所述语义逻辑分支,得到所述语义逻辑树。
在本实施例中,服务器将该管理用户的所有语义逻辑分支进行合并,合并是基于判断语义逻辑分支中是否包含相同的第一事件标签,即公用的第一事件标签,若存在,则将其作为合并节点连接上述两个语义逻辑分支,从而基于所有合并后的语义逻辑分支生成该管理用户的语义逻辑树。
在本申请实施例中,通过校准事件标签对第一逻辑路径进行扩展,从而构建管理用户的语义逻辑树,能够提高语义逻辑树的同义标签与相近标签的识别准确性,以对管理用户的描述进行校准,提高了后续识别的准确性。
图7示出了本申请第四实施例提供的一种视频数据的处理方法S204的具体实现流程图。参见图7,相对于图3所述实施例,本实施例提供的一种视频数据的处理方法中S204包括:S2041~S2044,具体详述如下:
在S2041中,通过预设的标签提取算法,获取所述上下文信息对应的标签序列;所述标签序列是基于所述视频关键帧的帧序号,对各个所述视频关键帧的所述事件标签进行排序后生成的。
在本实施例中,服务器在确定了上下文信息,可以通过标签提取算法对上下文信息进行处理,将上下文信息转换为基于事件标签为数据结构的标签序列。该标签序列中包含有多个事件标签,且各个事件标签在标签序列中的序号是根据其所在的视频关键帧的帧序号确定的。上述的事件标签可以是基于任意标记维度生成的事件标签。
在S2042中,基于所述标签序列生成所述目标视频数据的标签向量。
在本实施例中,服务器可以将标签序列进行向量化处理,得到标签向量。服务器可以根据多个语义维度,确定标签序列中的事件标签在各个语义维度的维度值,继而将事件标签进行向量表示,从而根据各个事件标签的标签次序,对各个向量表示进行合并,生成上述的标签向量。
在S2043中,分别计算所述标签向量与所述语义逻辑树中的已有路径之间的向量距离;所述已有路径包括:所述第一逻辑路径以及所述校准逻辑路径。
在本实施例中,由于语义逻辑树中的已有路径是基于第一事件标签以及校准事件标签生成的,因此同样可以基于上述方式将已有路径进行向量处理,继而计算第一逻辑路径的向量与标签向量之间的向量距离。该向量距离可以确定标签序列与已有路径之间的关联程序。
在S2044中,基于所述向量距离,从多个所述已有路径中选取所述视频逻辑路径,将所述视频逻辑路径关联的历史行为标签生成所述行为特征信息。
在本实施例中,服务器选取向量距离小于预设的距离阈值的已有路径,作为该目标视频数据的视频逻辑路径,并根据视频逻辑路径在逻辑语义树中关联的历史行为标签,生成该目标视频数据的行为特征信息。
在本申请实施例中,通过计算向量距离确定上下文信息关联的语义逻辑路径,能够提高语义逻辑路径选取的准确性,继而提高后续行为特征信息识别的准确性。
图8示出了本申请第五实施例提供的一种视频数据的处理方法S201的具体实现流程图。参见图8,相对于图3所述实施例,本实施例提供的一种视频数据的处理方法中S201包括:S2011~S2016,具体详述如下:
在S2011中,在采集所述目标视频数据的过程中,响应于管理用户的标记操作,对所述标记操作对应的视频图像帧添加人工标记维度的第二事件标签。
在本实施例中,预设的标记维度包括三个,分别为人工标记维度、语义维度以及行为维度。其中,人工标记维度的第二事件标签是在采集目标视频数据过程中,通过管理用户的标记操作添加到指定的视频图像帧内的。其中,服务器可以配置有一个预设的事件标签库,管理用户在添加第二事件标签时,可以从事件标签库中选择对应的事件标签,作为目标视频数据中任意视频图像帧的第二事件标签。
在S2012中,以所述视频图像帧为中心,获取预设帧数范围内的关联图像帧,并基于所述关联图像帧以及所述视频图像帧,生成语义维度的第三事件标签。
在本实施例中,服务器会以上述标记有第二事件标签的视频图像帧为中心,获取预设帧数范围内的多个关联图像帧,例如预设帧数范围为20,则获取视频图像帧前10帧的图像帧与后10帧的图像帧作为其对应的关联图像帧,通过语音识别算法,将上述多个视频帧的音频数据转换为语音文本数据,并与语音文本数据生成基于语义维度的第三事件标签。
在S2013中,根据行为特征标记算法,分别标记所述视频图像帧以及各个所述关联视频帧中目标对象的行为关键点。
在S2014中,基于所述视频图像帧以及所有所述关联视频帧的所述行为关键点,生成所述目标对象的行为轨迹。
在S2015中,基于所述行为轨迹确定在行为维度的第四事件标签。
在本实施例中,服务器可以预先设置与目标对象相关的多个行为关键点,在进行行为轨迹检测时,可以在视频图像帧与多个关联视频帧中定位行为关键点,从而根据上述多个图像帧的帧序号,依次连接同一行为关键点,从而生成该目标对象关于该行为关键点的关键点轨迹,继而根据所有行为关键点的关键点轨迹,即可以确定目标对象的行为轨迹,继而将行为轨迹转换为对应的第四事件标签。
示例性地,若目标对象为一汽车,则上述的行为关键点可以为受损区域,通过定位受损区域在视频图像帧与关联视频帧中追踪该受损区域,从而确定该受损区域的行为轨迹,以从多角度进行受损区域的识别,以后续受损区域判定的准确性。
示例性地,若目标对象为一实体人,则上述的行为关键点可以为该用户的多个人体关键点,如手臂、大腿、膝盖、手肘等,从而能够通过识别上述人体关键点在视频图像帧与关联图像帧间的移动情况,确定该目标对象的行为轨迹。
在S2016中,根据所述第二事件标签、所述第三事件标签、所述第四事件标签以及在采集所述目标视频数据的过程中的所有视频图像帧,生成所述目标视频数据。
在本实施例中,电子设备可以将上述三个维度的事件标签封装至原本的目标视频数据,以便进行后续处理。
在本申请实施例中,通过多个标记维度获取对应的事件标签,从而能够从多角度多方位对目标视频数据进行行为特征的识别,以减少因管理用户的经验差异而降低了后续行为特征识别的准确性。
图9示出了本申请第六实施例提供的一种视频数据的处理方法S202的具体实现流程图。参见图9,相对于图8所述实施例,本实施例提供的一种视频数据的处理方法中S202包括:S2021~S2025,具体详述如下:
在S2021中,计算所述视频图像帧的所述第二事件标签与所述第三事件标签之间的逻辑关联指标。
在本实施例中,电子设备可以存储有预设的逻辑回归函数,将视频图像帧的第二事件标签,以及基于视频图像帧的关联视频帧得到的第三事件标签导入上述的逻辑归回函数,计算管理用户人工标记的内容与基于语义得到的内容是否一致,从而计算得到两者之间的逻辑关联指标。
在S2022中,根据所述标记操作的操作时长,确定所述视频图像帧对应的数据分隔系数。
在本实施例中,由于管理用户对视频图像帧进行标记操作时,若操作时间较长则会存在标记操作的过程对应多个视频图像帧,因此需要对用户实际标记的视频图像帧进行校正,因此需要确定该视频图像帧是否为管理用户实际标记的视频图像帧,因此会将其转换为对应的数据分隔系数。
在S2023中,基于所述数据分隔系统,计算所述第三事件标签与所述第四事件标签之间的相关系数;所述相关系数具体为:
RFlv=(1-Threshold)*RF1(Tagsound,Tagtech)+Threshold*RF2(Tagtech,Tagsound)
其中,Threshold为所述数据分隔系数;RFlv为所述相关系数;Tagsound为所述第三事件标签;Tagtech为所述第四事件标签;RF1(Tagsound,Tagtech)为第一相关函数;RF2(Tagtech,Tagsound)为第二相关函数;
在S2024中,根据所述相关系数以及所述逻辑关联指标,确定所述视频图像帧的关键置信度。
在本实施例中,由于语义维度的第三事件标签与第四事件标签是基于多个视频帧生成的,而上述的数据分隔系数又是对视频图像帧受标记操作的操作时长进行校准,因此可以基于上述的数据分隔系数对基于多个视频帧确定的事件标签进行相关度计算,以确定语义维度的内容与行为轨迹维确定的内容之间的相关性。
在S2025中,基于所述关键置信度从所有所述视频图像帧中选取所述视频关键帧。
在本实施例中,服务器可以选取上述关键置信度大于预设的置信度阈值的视频图像帧,作为该目标视频数据的视频关键帧。
在本申请实施例中,通过引入操作时长对应的数据分隔系数,能够减少因标记操作的操作时长而对标记的视频图像帧造成的误差,继而提高了后续关键置信度计算的准确性,也能够进一步提高了提取的视频关键帧的准确性。
图10示出了本申请第七实施例提供的一种视频数据的处理方法S205的具体实现流程图。参见图10,相对于图8所述实施例,本实施例提供的一种视频数据的处理方法中在S205包括:S2051~S2053,具体详述如下:
在S2051中,若所述行为特征信息满足任一异常行为条件,则生成所述异常行为条件对应的异常提示信息;
在S2052中,基于所述异常提示信息确定异常响应流程;
在S2053中,将所述异常提示信息以及所述异常响应流程导入预设的评价报告模板,生成所述行为评价报告。
在本实施例中,服务器可以存储有多个异常行为条件,以检测目标对象在采集目标视频数据的过程中,是否存在异常行为,若检测到行为特征信息满足任一一个异常行为条件,则判断本次的线上服务不合法,因此会生成与之对应的异常提示信息,并确定对应的异常响应流程,以便管理用户可以根据异常响应流程对目标对象的线上服务进行异常处理。
图11示出了本申请一实施例提供的一种视频数据的处理装置的结构框图,该评价报告的生成装置包括的各单元用于执行图2对应的实施例中生成装置实现的各步骤。具体请参阅图2与图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。
参见图11,所述视频数据的处理装置包括:
目标视频数据获取单元111,用于获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签;
视频关键帧确定单元112,用于基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧;
上下文信息确定单元113,用于基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息;
行为特征信息确定单元114,用于确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息;
评价报告生成单元115,用于基于所述行为特征信息生成所述目标对象的行为评价报告。
可选地,所述处理装置还包括:
用户信息获取单元,用于获取采集所述目标视频数据的管理用户的用户信息;所述用户信息包含所述管理用户的用户标识以及语言表达等级;
历史数据获取单元,用于基于所述用户标识,从评价数据库中提取所述用户标识关联的多个历史评价报告以及所述历史评价报告对应的历史视频数据;所述历史视频数据包含所述管理用户进行人工标记的多个第一事件标签;
关联事件标签确定单元,用于根据所述语言表达等级以及预设的标签库,分别确定各个所述第一事件标签对应的关联事件标签;
次数统计单元,用于统计各个所述第一事件标签在所有所述历史视频数据中的出现次数,以及各个所述关联事件标签在所述历史视频数据中与所述第一事件标签的共现次数;
关联置信度计算单元,用于基于所述出现次数以及所述共现次数,计算所述第一事件标签与所述关联事件标签之间的关联置信度;所述关联置信度为:
其中,LinkLv(Keyi,LinkKeyij)为所述关联置信度;Keyi为第i个第一事件标签;Numi为所述第i个第一事件标签的出现次数;LinkKeyij为第i个第一事件标签的第j个关联事件标签;Numij为所述第j个关联事件标签与所述第i个第一事件标签之间的共现次数;Numi[0~N]为所述第i个第一事件标签的关联事件标签组;Max(x)为最大值选取函数;β为预设系数;N为第i个第一事件标签的关联事件标签的总数;
历史逻辑路径构建单元,用于根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径;
语义逻辑树构建单元,用于基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树。
可选地,所述历史逻辑路径构建单元包括:
第一逻辑路径构建单元,用于根据各个所述第一事件标签在历史视频数据中的历史视频帧的历史帧序号,构建基于所有所述第一事件标签得到的第一逻辑路径;
校准事件标签生成单元,用于选取所述关联置信度大于预设的置信度阈值的关联事件标签作为校准事件标签;所述校准事件标签的历史帧序号与所述校准事件标签对应的第一事件标签的历史帧序号相同;
校准逻辑路径生成单元,用于以所述第一逻辑路径为基础,构建至少一个包含所述校准事件标签的校准逻辑路径;所述校准逻辑路径中包含至少一个所述校准事件标签;
路径合并单元,用于将属于同一所述历史评价报告的所述第一逻辑路径与所有所述校准逻辑路径进行合并,得到所述历史评价报告对应的历史逻辑路径;
所述语义逻辑树构建单元包括:
语义逻辑分支确定单元,用于将所述历史评价报告的历史行为标签作为所述历史逻辑路径的路径终点,得到所述历史评价报告的语义逻辑分支;
语义逻辑分支合并单元,用于基于各个所述语义逻辑分支之间包含的公用所述第一事件标签,合并各个所述语义逻辑分支,得到所述语义逻辑树。
可选地,所述行为特征信息确定单元114包括:
标签序列生成单元,用于通过预设的标签提取算法,获取所述上下文信息对应的标签序列;所述标签序列是基于所述视频关键帧的帧序号,对各个所述视频关键帧的所述事件标签进行排序后生成的;
标签向量生成单元,用于基于所述标签序列生成所述目标视频数据的标签向量;
向量距离计算单元,用于分别计算所述标签向量与所述语义逻辑树中的已有路径之间的向量距离;所述已有路径包括:所述第一逻辑路径以及所述校准逻辑路径;
视频逻辑路径选取单元,用于基于所述向量距离,从多个所述已有路径中选取所述视频逻辑路径,将所述视频逻辑路径关联的历史行为标签生成所述行为特征信息。
可选地,所述目标视频数据获取单元111,包括:
第二事件标签标记单元,用于在采集所述目标视频数据的过程中,响应于管理用户的标记操作,对所述标记操作对应的视频图像帧添加人工标记维度的第二事件标签;
第三事件标签标记单元,用于以所述视频图像帧为中心,获取预设帧数范围内的关联图像帧,并基于所述关联图像帧以及所述视频图像帧,生成语义维度的第三事件标签;
行为关键点确定单元,用于根据行为特征标记算法,分别标记所述视频图像帧以及各个所述关联视频帧中目标对象的行为关键点;
行为轨迹生成单元,用于基于所述视频图像帧以及所有所述关联视频帧的所述行为关键点,生成所述目标对象的行为轨迹;
第四事件标签标记单元,用于基于所述行为轨迹确定在行为维度的第四事件标签;
事件标签封装单元,用于根据所述第二事件标签、所述第三事件标签、所述第四事件标签以及在采集所述目标视频数据的过程中的所有视频图像帧,生成所述目标视频数据。
可选地,所述视频关键帧确定单元112包括:
逻辑关联指标计算单元,用于计算所述视频图像帧的所述第二事件标签与所述第三事件标签之间的逻辑关联指标;
数据分隔系数确定单元,用于根据所述标记操作的操作时长,确定所述视频图像帧对应的数据分隔系数;
相关系数计算单元,用于基于所述数据分隔系统,计算所述第三事件标签与所述第四事件标签之间的相关系数;所述相关系数具体为:
RFlv=(1-Threshold)*RF1(Tagsound,Tagtech)+Threshold*RF2(Tagtech,Tagsound)
其中,Threshold为所述数据分隔系数;RFlv为所述相关系数;Tagsound为所述第三事件标签;Tagtech为所述第四事件标签;RF1(Tagsound,Tagtech)为第一相关函数;RF2(Tagtech,Tagsound)为第二相关函数;
关键置信度计算单元,用于根据所述相关系数以及所述逻辑关联指标,确定所述视频图像帧的关键置信度;
帧选取单元,用于基于所述关键置信度从所有所述视频图像帧中选取所述视频关键帧。
可选地,所述评价报告生成单元115包括:
异常提示信息确定单元,用于若所述行为特征信息满足任一异常行为条件,则生成所述异常行为条件对应的异常提示信息;
异常响应流程确定单元,用于基于所述异常提示信息确定异常响应流程;
异常数据封装单元,用于将所述异常提示信息以及所述异常响应流程导入预设的评价报告模板,生成所述行为评价报告。
应当理解的是,图11示出的评价报告的生成装置的结构框图中,各模块用于执行图2至图10对应的实施例中的各步骤,而对于图2至图10对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图2至图10以及图2至图10所对应的实施例中的相关描述,此处不再赘述。
图12是本申请另一实施例提供的一种电子设备的结构框图。如图12所示,该实施例的电子设备1200包括:处理器1210、存储器1220以及存储在存储器1220中并可在处理器1210运行的计算机程序1230,例如评价报告的生成方法的程序。处理器1210执行计算机程序1230时实现上述各个评价报告的生成方法各实施例中的步骤,例如图2所示的S201至S205。或者,处理器1210执行计算机程序1230时实现上述图11对应的实施例中各模块的功能,例如,图11所示的单元111至115的功能,具体请参阅图11对应的实施例中的相关描述。
示例性的,计算机程序1230可以被分割成一个或多个模块,一个或者多个模块被存储在存储器1220中,并由处理器1210执行,以完成本申请。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序1230在电子设备1200中的执行过程。例如,计算机程序1230可以被分割成各个单元模块,各模块具体功能如上。
电子设备1200可包括,但不仅限于,处理器1210、存储器1220。本领域技术人员可以理解,图12仅仅是电子设备1200的示例,并不构成对电子设备1200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1210可以是中央处理单元,还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器1220可以是电子设备1200的内部存储单元,例如电子设备1200的硬盘或内存。存储器1220也可以是电子设备1200的外部存储设备,例如电子设备1200上配备的插接式硬盘,智能存储卡,闪存卡等。进一步地,存储器1220还可以既包括电子设备1200的内部存储单元也包括外部存储设备。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频数据的处理方法,其特征在于,包括:
获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签;
基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧;
基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息;
确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息;
基于所述行为特征信息生成所述目标对象的行为评价报告。
2.根据权利要求1所述的处理方法,其特征在于,在所述确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息之前,还包括:
获取采集所述目标视频数据的管理用户的用户信息;所述用户信息包含所述管理用户的用户标识以及语言表达等级;
基于所述用户标识,从评价数据库中提取所述用户标识关联的多个历史评价报告以及所述历史评价报告对应的历史视频数据;所述历史视频数据包含所述管理用户进行人工标记的多个第一事件标签;
根据所述语言表达等级以及预设的标签库,分别确定各个所述第一事件标签对应的关联事件标签;
统计各个所述第一事件标签在所有所述历史视频数据中的出现次数,以及各个所述关联事件标签在所述历史视频数据中与所述第一事件标签的共现次数;
基于所述出现次数以及所述共现次数,计算所述第一事件标签与所述关联事件标签之间的关联置信度;所述关联置信度为:
其中,LinkLv(Keyi,LinkKeyij)为所述关联置信度;Keyi为第i个第一事件标签;Numi为所述第i个第一事件标签的出现次数;LinkKeyij为第i个第一事件标签的第j个关联事件标签;Numij为所述第j个关联事件标签与所述第i个第一事件标签之间的共现次数;Numi[0~N]为所述第i个第一事件标签的关联事件标签组;Max(x)为最大值选取函数;β为预设系数;N为第i个第一事件标签的关联事件标签的总数;
根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径;
基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树。
3.根据权利要求2所述的处理方法,其特征在于,所述根据所述第一事件标签与所述关联事件标签之间所述关联置信度,构建所述历史视频数据的历史逻辑路径,包括:
根据各个所述第一事件标签在历史视频数据中的历史视频帧的历史帧序号,构建基于所有所述第一事件标签得到的第一逻辑路径;
选取所述关联置信度大于预设的置信度阈值的关联事件标签作为校准事件标签;所述校准事件标签的历史帧序号与所述校准事件标签对应的第一事件标签的历史帧序号相同;
以所述第一逻辑路径为基础,构建至少一个包含所述校准事件标签的校准逻辑路径;所述校准逻辑路径中包含至少一个所述校准事件标签;
将属于同一所述历史评价报告的所述第一逻辑路径与所有所述校准逻辑路径进行合并,得到所述历史评价报告对应的历史逻辑路径;
所述基于所有所述历史逻辑路径以及所述历史评价报告中的历史行为标签,构建所述语义逻辑树,包括:
将所述历史评价报告的历史行为标签作为所述历史逻辑路径的路径终点,得到所述历史评价报告的语义逻辑分支;
基于各个所述语义逻辑分支之间包含的公用所述第一事件标签,合并各个所述语义逻辑分支,得到所述语义逻辑树。
4.根据权利要求3所述的处理方法,其特征在于,所述确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息,包括:
通过预设的标签提取算法,获取所述上下文信息对应的标签序列;所述标签序列是基于所述视频关键帧的帧序号,对各个所述视频关键帧的所述事件标签进行排序后生成的;
基于所述标签序列生成所述目标视频数据的标签向量;
分别计算所述标签向量与所述语义逻辑树中的已有路径之间的向量距离;所述已有路径包括:所述第一逻辑路径以及所述校准逻辑路径;
基于所述向量距离,从多个所述已有路径中选取所述视频逻辑路径,将所述视频逻辑路径关联的历史行为标签生成所述行为特征信息。
5.根据权利要求1-4任一项所述的处理方法,其特征在于,所述获取关于目标对象的目标视频数据,包括:
在采集所述目标视频数据的过程中,响应于管理用户的标记操作,对所述标记操作对应的视频图像帧添加人工标记维度的第二事件标签;
以所述视频图像帧为中心,获取预设帧数范围内的关联图像帧,并基于所述关联图像帧以及所述视频图像帧,生成语义维度的第三事件标签;
根据行为特征标记算法,分别标记所述视频图像帧以及各个所述关联视频帧中目标对象的行为关键点;
基于所述视频图像帧以及所有所述关联视频帧的所述行为关键点,生成所述目标对象的行为轨迹;
基于所述行为轨迹确定在行为维度的第四事件标签;
根据所述第二事件标签、所述第三事件标签、所述第四事件标签以及在采集所述目标视频数据的过程中的所有视频图像帧,生成所述目标视频数据。
6.根据权利要求5所述的处理方法,其特征在于,所述基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧,包括:
计算所述视频图像帧的所述第二事件标签与所述第三事件标签之间的逻辑关联指标;
根据所述标记操作的操作时长,确定所述视频图像帧对应的数据分隔系数;
基于所述数据分隔系统,计算所述第三事件标签与所述第四事件标签之间的相关系数;所述相关系数具体为:
RFlv=(1-Threshold)*RF1(Tagsound,Tagtech)+Threshold*RF2(Tagtech,Tagsound)
其中,Threshold为所述数据分隔系数;RFlv为所述相关系数;Tagsound为所述第三事件标签;Tagtech为所述第四事件标签;RF1(Tagsound,Tagtech)为第一相关函数;RF2(Tagtech,Tagsound)为第二相关函数;
根据所述相关系数以及所述逻辑关联指标,确定所述视频图像帧的关键置信度;
基于所述关键置信度从所有所述视频图像帧中选取所述视频关键帧。
7.根据权利要求1-4任一项所述的处理方法,其特征在于,所述基于所述行为特征信息生成所述目标对象的行为评价报告,包括:
若所述行为特征信息满足任一异常行为条件,则生成所述异常行为条件对应的异常提示信息;
基于所述异常提示信息确定异常响应流程;
将所述异常提示信息以及所述异常响应流程导入预设的评价报告模板,生成所述行为评价报告。
8.一种视频数据的处理装置,其特征在于,包括:
目标视频数据获取单元,用于获取关于目标对象的目标视频数据;所述目标视频数据包含多个标记维度的事件标签;
视频关键帧确定单元,用于基于所有所述标记维度的所述事件标签,确定所述目标视频数据的多个视频关键帧;
上下文信息确定单元,用于基于各个所述视频关键帧的帧序号生成关键视频序列,并基于所述关键视频序列得到所述目标视频数据的上下文信息;
行为特征信息确定单元,用于确定所述上下文信息在预设语义逻辑树中对应的视频逻辑路径,并基于所述视频逻辑路径确定所述目标视频数据对应的行为特征信息;
评价报告生成单元,用于基于所述行为特征信息生成所述目标对象的行为评价报告。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310410685.6A CN117676187A (zh) | 2023-04-18 | 2023-04-18 | 一种视频数据的处理方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310410685.6A CN117676187A (zh) | 2023-04-18 | 2023-04-18 | 一种视频数据的处理方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117676187A true CN117676187A (zh) | 2024-03-08 |
Family
ID=90074011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310410685.6A Pending CN117676187A (zh) | 2023-04-18 | 2023-04-18 | 一种视频数据的处理方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117676187A (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2412471A1 (en) * | 2002-12-17 | 2004-06-17 | Concordia University | A framework and a system for semantic content extraction in video sequences |
US20070273696A1 (en) * | 2006-04-19 | 2007-11-29 | Sarnoff Corporation | Automated Video-To-Text System |
US20110044533A1 (en) * | 2009-08-18 | 2011-02-24 | Wesley Kenneth Cobb | Visualizing and updating learned event maps in surveillance systems |
US20110051992A1 (en) * | 2009-08-31 | 2011-03-03 | Wesley Kenneth Cobb | Unsupervised learning of temporal anomalies for a video surveillance system |
US20110064268A1 (en) * | 2009-09-17 | 2011-03-17 | Wesley Kenneth Cobb | Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing |
CN102027467A (zh) * | 2008-05-27 | 2011-04-20 | 多基有限公司 | 视频数据的非线性表征 |
CN102999640A (zh) * | 2013-01-09 | 2013-03-27 | 公安部第三研究所 | 基于语义推理和结构化描述的视频与图像检索系统及方法 |
CN103778237A (zh) * | 2014-01-27 | 2014-05-07 | 北京邮电大学 | 一种基于活动事件时空重组的视频摘要生成方法 |
CN104036504A (zh) * | 2014-06-06 | 2014-09-10 | 上海大学 | 一种检测多类异常行为的视频语义建模方法 |
CN104063721A (zh) * | 2014-07-04 | 2014-09-24 | 中国科学院自动化研究所 | 一种基于语义特征自动学习与筛选的人类行为识别方法 |
CN104519323A (zh) * | 2014-12-26 | 2015-04-15 | 桂林远望智能通信科技有限公司 | 一种人车目标分类系统和方法 |
CN104778224A (zh) * | 2015-03-26 | 2015-07-15 | 南京邮电大学 | 一种基于视频语义的目标对象社交关系识别方法 |
CN104980707A (zh) * | 2015-06-25 | 2015-10-14 | 浙江立元通信技术股份有限公司 | 一种智能视频巡逻系统 |
CN105956206A (zh) * | 2016-07-04 | 2016-09-21 | Tcl集团股份有限公司 | 一种基于关键词树的视频检索方法及系统 |
CN106156747A (zh) * | 2016-07-21 | 2016-11-23 | 四川师范大学 | 基于行为特征的监控视频语义对象提取的方法 |
CN106156299A (zh) * | 2016-06-29 | 2016-11-23 | 北京小米移动软件有限公司 | 文本信息的主题内容识别方法及装置 |
CN106295565A (zh) * | 2016-08-10 | 2017-01-04 | 中用环保科技有限公司 | 基于大数据的监控事件识别及实时犯罪预测方法 |
-
2023
- 2023-04-18 CN CN202310410685.6A patent/CN117676187A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2412471A1 (en) * | 2002-12-17 | 2004-06-17 | Concordia University | A framework and a system for semantic content extraction in video sequences |
US20070273696A1 (en) * | 2006-04-19 | 2007-11-29 | Sarnoff Corporation | Automated Video-To-Text System |
CN102027467A (zh) * | 2008-05-27 | 2011-04-20 | 多基有限公司 | 视频数据的非线性表征 |
US20110044533A1 (en) * | 2009-08-18 | 2011-02-24 | Wesley Kenneth Cobb | Visualizing and updating learned event maps in surveillance systems |
US20110051992A1 (en) * | 2009-08-31 | 2011-03-03 | Wesley Kenneth Cobb | Unsupervised learning of temporal anomalies for a video surveillance system |
US20110064268A1 (en) * | 2009-09-17 | 2011-03-17 | Wesley Kenneth Cobb | Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing |
CN102999640A (zh) * | 2013-01-09 | 2013-03-27 | 公安部第三研究所 | 基于语义推理和结构化描述的视频与图像检索系统及方法 |
CN103778237A (zh) * | 2014-01-27 | 2014-05-07 | 北京邮电大学 | 一种基于活动事件时空重组的视频摘要生成方法 |
CN104036504A (zh) * | 2014-06-06 | 2014-09-10 | 上海大学 | 一种检测多类异常行为的视频语义建模方法 |
CN104063721A (zh) * | 2014-07-04 | 2014-09-24 | 中国科学院自动化研究所 | 一种基于语义特征自动学习与筛选的人类行为识别方法 |
CN104519323A (zh) * | 2014-12-26 | 2015-04-15 | 桂林远望智能通信科技有限公司 | 一种人车目标分类系统和方法 |
CN104778224A (zh) * | 2015-03-26 | 2015-07-15 | 南京邮电大学 | 一种基于视频语义的目标对象社交关系识别方法 |
CN104980707A (zh) * | 2015-06-25 | 2015-10-14 | 浙江立元通信技术股份有限公司 | 一种智能视频巡逻系统 |
CN106156299A (zh) * | 2016-06-29 | 2016-11-23 | 北京小米移动软件有限公司 | 文本信息的主题内容识别方法及装置 |
CN105956206A (zh) * | 2016-07-04 | 2016-09-21 | Tcl集团股份有限公司 | 一种基于关键词树的视频检索方法及系统 |
CN106156747A (zh) * | 2016-07-21 | 2016-11-23 | 四川师范大学 | 基于行为特征的监控视频语义对象提取的方法 |
CN106295565A (zh) * | 2016-08-10 | 2017-01-04 | 中用环保科技有限公司 | 基于大数据的监控事件识别及实时犯罪预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765246B (zh) | 基于智能机器人的问答方法、装置、存储介质和智能设备 | |
CN115828112B (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
CN110851641B (zh) | 跨模态检索方法、装置和可读存储介质 | |
CN110619035B (zh) | 识别面试视频中关键词的方法、装置、设备及存储介质 | |
CN113705597A (zh) | 一种图像处理方法、装置、计算机设备以及可读存储介质 | |
CN112016313B (zh) | 口语化要素识别方法及装置、警情分析系统 | |
CN113724734B (zh) | 声音事件的检测方法、装置、存储介质及电子装置 | |
CN111079433B (zh) | 一种事件抽取方法、装置及电子设备 | |
CN111062440B (zh) | 一种样本选择方法、装置、设备及存储介质 | |
CN112507095A (zh) | 基于弱监督学习的信息识别方法及相关设备 | |
CN113486166B (zh) | 智能客服机器人的构建方法、装置、设备以及存储介质 | |
CN115082659A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
CN114266252A (zh) | 命名实体识别方法、装置、设备及存储介质 | |
CN113850077A (zh) | 基于人工智能的话题识别方法、装置、服务器及介质 | |
CN113704534A (zh) | 图像处理方法、装置及计算机设备 | |
CN117676187A (zh) | 一种视频数据的处理方法、装置、电子设备以及存储介质 | |
CN115240647A (zh) | 声音事件检测方法、装置、电子设备及存储介质 | |
CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 | |
CN115035450A (zh) | 确定动物种类的方法及装置 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN110543634B (zh) | 语料数据集的处理方法、装置、电子设备及存储介质 | |
CN113610102A (zh) | 分割网络的训练及目标分割方法、相关设备 | |
CN113362169A (zh) | 催收优化方法及设备 | |
CN112597208A (zh) | 企业名称检索方法、企业名称检索装置及终端设备 | |
CN111291802B (zh) | 数据标注方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |