CN112925948A - 视频处理方法及其装置、介质、芯片和电子设备 - Google Patents

视频处理方法及其装置、介质、芯片和电子设备 Download PDF

Info

Publication number
CN112925948A
CN112925948A CN202110159666.1A CN202110159666A CN112925948A CN 112925948 A CN112925948 A CN 112925948A CN 202110159666 A CN202110159666 A CN 202110159666A CN 112925948 A CN112925948 A CN 112925948A
Authority
CN
China
Prior art keywords
target object
time
behavior
target
geographic position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110159666.1A
Other languages
English (en)
Inventor
沈嘉琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yitu Network Science and Technology Co Ltd
Original Assignee
Shanghai Yitu Network Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yitu Network Science and Technology Co Ltd filed Critical Shanghai Yitu Network Science and Technology Co Ltd
Priority to CN202110159666.1A priority Critical patent/CN112925948A/zh
Publication of CN112925948A publication Critical patent/CN112925948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉技术领域，公开了一种特别涉及一种视频处理方法及其装置、介质、芯片和电子设备。电子设备获取一个或多个视频，确定一个或多个目标对象分别在每个视频中的帧时间、一个或多个目标对象所在的地理位置，结合聚类算法，获取每个目标对象在不同地理位置对应的时间，根据时间排序确定每个目标对象的行为轨迹，其中，每个对象的行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。以多个目标对象的时间段为时间单位对目标对象的行为轨迹进行分析，有利于减少目标对象轨迹分析的数据运算量，同时减少视频处理的时间，提高目标对象轨迹分析的效率。

Description

视频处理方法及其装置、介质、芯片和电子设备
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种视频处理方法及其装置、介质、芯片和电子设备。
背景技术
随着计算机技术的快速发展，安防系统中多种监控设备(例如监控摄像头)会拍摄到大量的者视频，通过对大量的图像或者视频进行解析和聚类，获得多个目标对象的行为轨迹数据。在实际的应用中，针对多个目标对象的行为轨迹数据，确定多个目标对象的轨迹在视频监控领域中应用的非常广泛。
现有的目标对象的轨迹确定技术中，通常在建立目标对象的行为轨迹时，以某一时刻目标对象的地理位置作为最小单元建立时刻-地理位置序列，获得目标对象的行为轨迹。但是，在视频量较大大或者复杂的轨迹分析场景下，例如对于万路以上摄像头的视频AI平台，采用现有的轨迹分析技术对目标对象轨迹进行分析会产生数据运算量大，视频处理的时间过长等问题。
发明内容
本申请实施例提供了一种视频处理方法及其装置、介质、芯片和电子设备。
第一方面，本申请实施例提供了一种视频处理方法，包括：获取一个或多个视频，其中视频包括一个或多个目标对象；基于一个或多个视频，确定一个或多个目标对象在每个视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，帧时间为目标对象所在的帧对应的时间；根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个目标对象的行为轨迹，其中，行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。
例如，电子设备获取n个监控设备分别拍摄的n个视频，分别对n个视频执行分帧操作，可以通过目标对象检测算法对n个视频的每一帧图像进行目标对象检测，获得出现在每个视频中的所有目标对象，通过ReID算法对n个视频的每一帧图像进行目标对象再识别，确定一个或多个目标对象在每个视频的图像帧，该图像帧对应的时间即为一个或多个目标对象在每个视频中出现的帧时间。确定一个或多个目标对象分别在n个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，获取每个目标对象在不同地理位置对应的时间，根据时间排序确定每个目标对象的行为轨迹，其中，每个对象的行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。以多个目标对象的时间段为时间单位对目标对象的行为轨迹进行分析，使得在视频量较大大或者复杂的轨迹分析场景下，有利于减少目标对象轨迹分析的数据运算量，同时减少视频处理的时间，提高目标对象轨迹分析的效率。
在上述第一方面的一种可能的实现中，上述方法还包括：在行为轨迹中一个地理位置对应多个时间段，并且多个时间段中相邻的时间段的时间间隔不大于预设时间间隔的情况下，合并多个时间段以生成合并后时间段，并且以第一个时间段的起始时间作为合并后时间段的起始时间，最后一个时间段的终止时间作为合并后时间段的终止时间。
例如，目标对象行为轨迹相似度是根据目标对象的行为轨迹的重合次数确定，若目标对象检测不准确或者目标对象的外观特征识别不准确或者目标对象遮挡等使得一段时间未检测到目标对象，导致可能出现应该是一个时间段被分成了两个时间段的情形；该情形在确定目标对象行为轨迹相似度时，可能会导致目标对象一起出现的频次变高，从而导致获得的目标对象轨迹相似度不准确。通过设置预设合并时间，对目标对象的行为轨迹进行合并有利于提高目标对象行为轨迹相似度分析的准确度。
在上述第一方面的一种可能的实现中，上述方法还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同并且地理位置对应的时间段重合的情况下，第一目标对象与第二目标对象行为轨迹重合。
在上述第一方面的一种可能的实现中，上述方法还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标对象的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
例如，通过每个目标对象的行为轨迹，确定至少两个目标对象的行为轨迹的相似度，使得在视频量较大大或者复杂的轨迹分析场景下，有利于减少目标对象轨迹分析的数据运算量，同时减少视频处理的时间，提高轨迹相似度分析的效率。同时，至少两个目标对象在一个地理位置驻留时，相较于通过对目至少两个目标对象一起出现的时刻，对至少两个目标对象一起出现的时间段计数确定至少两个目标对象的轨迹相似度有利于提高轨迹相似度分析的准确度。
在上述第一方面的一种可能的实现中，上述方法还包括：基于每个目标对象的行为轨迹，将每个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中；基于时空索引，在轨迹数据库中搜索出满足地理位置条件和/或时间条件的目标对象。
例如，根据目标对象的行为轨迹建立行为轨迹序列数据集，将轨迹序列数据集保存在行为轨迹数据库中，在行为轨迹数据库中搜索满足一个或多个预设地理条件条件和预设时间条件的目标对象，其中，以时间段建立时间索引可以使得在轨迹数据库的数据量较大时，减少数据搜索的运算量，提高目标对象轨迹搜索的效率。
在上述第一方面的一种可能的实现中，上述方法还包括：行为轨迹数据库中的多个目标对象的行为轨迹为相似的行为轨迹，其中，相似的行为轨迹由多个目标对象的行为轨迹的重合次数确定，其中，若多个目标对象中第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标片段的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
在上述第一方面的一种可能的实现中，上述方法还包括：时空索引包括时间索引和空间索引，针对每个目标对象的行为轨迹，以目标对象的行为轨迹的地理位置建立空间索引，以目标对象的行为轨迹的时间段建立时间索引。
在上述第一方面的一种可能的实现中，上述方法还包括：针对一个或多个目标对象的行为轨迹，获取目标对象行为轨迹的地理位置对应的geohash值，以geohash值与地理位置对应的时间段建立时空索引，其中，geohash值为通过行为轨迹的地理位置计算得到。
在上述第一方面的一种可能的实现中，上述方法还包括：通过事件发生的地理位置或时间分别确定地理位置条件或时间条件,其中，以事件发生的地理位置为基准点，基于基准点确定的预设范围内的地理位置区域作为地理位置条件；以事件发生的起始时间向前或向后选取预设时间作为时间条件的起始时间，和/或，以事件发生的终止时间向前或向后选取预设时间作为时间条件的终止时间。
在上述第一方面的一种可能的实现中，上述方法还包括：聚类算法包括K均值聚类算法、密度聚类算法、高斯混合模型的最大期望聚类算法、凝聚层次聚类算法、图团体检测聚类算法中的至少一种算法。
第二方面，本申请实施例提供了一种轨迹分析装置，包括：视频获取模块，获取一个或多个视频，其中视频包括一个或多个目标对象。地理位置和时间确定模块，基于一个或多个视频，确定一个或多个目标对象在每个视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，帧时间为目标对象所在的帧对应的时间。行为轨迹确定模块，根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个目标对象的行为轨迹，其中，行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。
在上述第二方面的一种可能的实现中，上述装置还包括：在行为轨迹中一个地理位置对应多个时间段，并且多个时间段中相邻的时间段的时间间隔不大于预设时间间隔的情况下，合并多个时间段以生成合并后时间段，并且以第一个时间段的起始时间作为合并后时间段的起始时间，最后一个时间段的终止时间作为合并后时间段的终止时间。
在上述第二方面的一种可能的实现中，上述装置还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同并且地理位置对应的时间段重合的情况下，第一目标对象与第二目标对象行为轨迹重合。
在上述第二方面的一种可能的实现中，上述装置还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标对象的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
在上述第二方面的一种可能的实现中，上述装置还包括：基于每个目标对象的行为轨迹，将每个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中；基于时空索引，在轨迹数据库中搜索出满足地理位置条件和/或时间条件的目标对象。
在上述第二方面的一种可能的实现中，上述装置还包括：行为轨迹数据库中的多个目标对象的行为轨迹为相似的行为轨迹，其中，相似的行为轨迹由多个目标对象的行为轨迹的重合次数确定，其中，若多个目标对象中第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标片段的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
在上述第二方面的一种可能的实现中，上述装置还包括：时空索引包括时间索引和空间索引，针对每个目标对象的行为轨迹，以目标对象的行为轨迹的地理位置建立空间索引，以目标对象的行为轨迹的时间段建立时间索引。
在上述第二方面的一种可能的实现中，上述装置还包括：针对一个或多个目标对象的行为轨迹，获取目标对象行为轨迹的地理位置对应的geohash值，以geohash值与地理位置对应的时间段建立时空索引，其中，geohash值为通过行为轨迹的地理位置计算得到。
在上述第二方面的一种可能的实现中，上述装置还包括：通过事件发生的地理位置或时间分别确定地理位置条件或时间条件,其中，以事件发生的地理位置为基准点，基于基准点确定的预设范围内的地理位置区域作为地理位置条件；以事件发生的起始时间向前或向后选取预设时间作为时间条件的起始时间，和/或，以事件发生的终止时间向前或向后选取预设时间作为时间条件的终止时间。
在上述第二方面的一种可能的实现中，上述装置还包括：聚类算法包括K均值聚类算法、密度聚类算法、高斯混合模型的最大期望聚类算法、凝聚层次聚类算法、图团体检测聚类算法中的至少一种算法。
第三方面，本申请实施例提供了一种机器可读介质，机器可读介质上存储有指令，该指令在机器上执行时使机器执行第一方面以及第一方面可能的各实现中的视频处理方法。
第四方面，本申请实施例提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装所述芯片的设备执行第一方面以及第一方面可能的各实现中的视频处理方法。
第五方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及
处理器，是电子设备的处理器之一，用于执行第一方面以及第一方面可能的各实现中的视频处理方法。
附图说明
图1根据本申请的一些实施例，示出了一种轨迹分析场景示意图；
图2根据本申请的一些实施例，示出了一种视频处理方法的流程图；
图3根据本申请的一些实施例，示出了目标对象的示意图；
图4根据本申请的一些实施例，示出了目标对象的时间段合并示意图；
图5根据本申请的一些实施例，示出了目标对象行为轨迹示意图；
图6根据本申请的一些实施例，示出了目标对象行为轨迹示意图；
图7根据本申请的一些实施例，示出了一种轨迹搜索方法的流程图；
图8根据本申请的一些实施例，示出了目标对象行为轨迹示意图；
图9根据本申请的一些实施例，示出了一种视频处理装置的结构框图；
图10根据本申请的一些实施例，示出了一种电子设备的框图；
图11根据本申请一些实施例，示出了一种片上系统(SoC)的框图。
具体实施方式
本申请的说明性实施例包括但不限于视频处理方法及其装置、介质、芯片和电子设备。
本申请提供了一种视频处理方法，电子设备获取一个或多个视频，确定一个或多个目标对象分别在每个视频中的帧时间、一个或多个目标对象所在的地理位置，结合聚类算法，获取每个目标对象在不同地理位置对应的时间，根据时间排序确定每个目标对象的行为轨迹，其中，每个对象的行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。以多个目标对象的时间段为时间单位对目标对象的行为轨迹进行分析，使得在视频量较大大或者复杂的轨迹分析场景下，有利于减少目标对象轨迹分析的数据运算量，同时减少视频处理的时间，提高目标对象轨迹分析的效率。
下面将结合附图对本申请的实施例作进一步地详细描述。
根据本申请的一些实施例公开了视频处理方法的场景。图1示出了该场景的示意图。在图1所示的场景中，包括电子设备100、n个监控设备以及n个监控设备分别拍摄的n个视频，其中，n个监控设备分别是监控设备110-1、监控设备110-2、……监控设备110-n；n个视频分别是监控设备110-1拍摄的视频120-1、监控设备110-2拍摄的视频120-2、……监控设备110-n拍摄的视频120-n。
如图1所示，n个监控设备分别设置在不同的地理位置，用于拍摄不同地理位置的视频；n个监控设备将拍摄的同一时间、不同地理位置的n个视频发送给电子设备100。电子设备100接收n个视频并对所有视频中的一个或多个目标对象进行轨迹分析，其中，目标对象可以是人，也可以是动物，还可以是可携带或可移动的物体(例如背包、汽车)等，在此不做限制。
图1中的监控设备110-1至监控设备110-n可以是具有视频拍摄功能的设备，例如监控摄像头、带有摄像头的无人机等。以监控设备为监控摄像头为例，这些监控摄像头可以是设置在道路、地铁口或商场门口等地理位置的监控摄像头，该监控摄像头用于拍摄这些场所的一个或多个目标对象。
如图1所示，电子设备100用于获取电子设备100获取n个监控设备分别拍摄的n个视频，同时对视频中的目标对象的轨迹进行分析。其中，电子设备100可以为具有图像或视频处理能力各种设备，例如个人计算机(personal computer，PC)、笔记本电脑或者服务器等。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，还可以是提供云数据库、云存储和CDN等基础云计算服务的服务器，服务器的规模可以根据需要处理的视频的数量进行规划，本申请实施例对此不做限制。
图1中n个监控设备与电子设备100可以通过一种或多种网络进行通信连接。其中，该网络可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(Wireless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本申请实施例对此不做限制。
在一些实施例中，电子设备100可以采用AI芯片完成接入10,000路摄像头的视频AI平台的开发和测试验证，实现本申请的视频处理方法；其中，AI芯片包括处理器。
可以理解，图1所示的轨迹分析场景只是实现本申请实施例的一个场景示例，本申请实施例并不限于图1所示的场景。在另一些实施例中，图1所示的场景可以包括比图示实施例更多或更少的设备或部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
下面根据本申请的一些实施例，结合图2具体说明本申请的技术方案，图2示出了视频处理方法流程图，如图2所示，视频处理方法包括：
步骤201：获取一个或多个视频，其中视频包括一个或多个目标对象。
由图1可知，电子设备100获取n个监控设备分别拍摄的n个视频，针对每一个视频，对该视频进行分帧操作得到该视频的多帧图像。其中，可以利用视频分帧软件或者视频截图软件对该视频进行分帧操作。下面以监控设备110-1拍摄的视频120-1为例来说明本步骤201。
例如，电子设备100通过视频分帧软件或者视频截图软件的Opencv库的videocapture功能对视频120-1进行分帧操作，生成视频120-1的连续多帧图像。例如，视频120-1的时长是10分钟，按照预设的帧率进行分帧操作时，假设帧率是20fps，那么待处理视频分帧解析后得到的图像的数量应该是20*10*60＝12000张，可以理解，10分钟视频分帧后获得12000张图像。其中，“*”表示相乘。
在本申请的实施例中，对视频120-1的每一帧图像进行目标对象检测，获得出现在视频120-1中的所有目标对象。对视频120-1的每一帧图像进行目标对象再识别，获得所有目标对象在视频120-1中出现的时间。
具体地，可以通过目标对象检测算法对视频120-1的每一帧图像进行目标对象检测，获得出现在视频120-1中的所有目标对象。例如，图3为视频120-1中的其中一帧图像，若目标对象设定为人，通过目标对象检测算法检测到图3中一共包括两个目标对象，即目标对象303和目标对象304。若目标对象设定为人、汽车、狗、椅子、手提包，那么通过目标对象检测算法检测到图3中一共包括六个目标对象，即目标对象301、目标对象302、目标对象303、目标对象304、目标对象305、目标对象306。可以理解，目标对象的设定可以包括人，动物，可以携带或可移动的物体等。根据不同的应用场景，目标对象的设定可以是不同的。下文以目标对象设定为人，汽车为例结合图3来说明图2的视频处理方法。
在本申请的实施例中，目标对象检测算法主要用于遍历输入的每帧图像，并对每帧图像的目标对象和非目标对象分类，确定目标对象在每帧图像的地理位置坐标。在一些实施例中，可以通过级联-区域卷积神经网络架构(cascade-region convolutionalneural networks，cascade RCNN)算法，更快速-区域卷积神经网络架构(faster-regionconvolutional neural networks,Faster RCNN)算法，(Single-Shot MultiBoxDetector，SSD)算法，(You Only Look Once，YOLO)算法等中的任一种目标对象检测算法对对视频的每一帧图像进行目标对象检测，获得出现在视频中的所有目标对象。
步骤202：基于一个或多个视频，确定一个或多个目标对象在每个视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，帧时间为目标对象所在的帧对应的时间，地理位置为目标对象所在的地理位置。
在本申请的实施例中，可以通过再识别(Re-identification，ReID)算法对视频120-1的每一帧图像进行目标对象再识别，确定一个或多个目标对象在视频120-1的图像帧，该图像帧对应的时间即为一个或多个目标对象在每个视频中出现的帧时间。例如，图3为视频120-1的第1帧图像，当目标对象检测算法检测到频120-1的第1帧图像包含目标对象，根据ReID算法提取视频120-1的第1帧图像的所有目标对象的外观特征，根据获取外观特征确定第1帧图像包括目标对象303。则视频120-1的第1帧图像的时间即为目标对象301在视频120-1中出现的帧时间。当目标对象检测算法检测到视频120-1的第2帧图像包含目标对象，根据ReID算法提取视频120-1的第2帧图像的所有目标对象的外观特征，根据获取外观特征确定第2帧图像包括目标对象303，则视频120-1的第2帧图像的时间即为目标对象301在视频120-1中出现的帧时间。同理，通过目标对象检测算法对视频120-1的第3帧、第4帧、……第m帧图像进行目标对象检测，确定是否包含目标对象，若包含目标对象，通过ReID算法获取目标对象的外观特征，根据获取外观特征确定第3帧、第4帧、……第m帧图像包括目标对象303，则视频120-1的第2帧图像的时间即为目标对象301在视频120-1中出现的帧时间。其中，目标对象在视频120-1中出现的连续多帧的帧时间组成目标对象在视频120-1出现的时间段。当然，实际应用中，也可以通过其它方式来基于该视频包括的每一帧图像确定目标对象在视频中出现的帧时间，本申请的实施例对此不做具体限定。
在本申请的实施例中，ReID模型主要用于识别每帧图像中的目标对象的外观特征；一方面，在包含多个目标对象的单帧图像中，根据目标对象的外观特征可以区分不同的目标对象；另一方面，在前后帧的图像中，可以通过确认相同或相似的外观特征判定为同一目标对象，实现目标对象的跟踪，确定目标对象出现视频的时间段。在一些实施例中，ReID算法包括经过ImageNet数据集预训练的深度残差网络(deep residual network,Resnet)算法，其中，深度残差网络可以是50层的Resnet50,也可以是101层的Resnet101,还可以是152层的Resnet152，还可以是152层的Resnet152d等。
在本申请的实施例中，可以以拍摄视频120-1的监控设备110-1所在的地理位置作为视频120-1中一个或多个目标对象所在的地理位置；在本申请的其他实施例中，也可以通过全球定位系统(Global Positioning System，GPS)或者目标对象周边的无线保真(Wireless Fidelity，WiFi)信号的识别等来对视频120-1中一个或多个目标对象进行定位，确定视频120-1中一个或多个目标对象所在的地理位置，本申请的实施例对此不做具体限定。
在本申请的实施例中，目标对象所在的地理位置包括二维地理位置，三维地理位置。例如，二维地理位置可以是经度以及维度或者平面地图坐标等。例如三维地理信息可以是经度、维度、高度或者经纬度地理等。
例如，电子设备100获取监控设备110-1从1月13日3点00分到1月13日4点00拍摄的视频120-1，其中，以监控设备110-1所在的地理位置A作为视频120-1中的所有目标对象的地理位置。表1为视频120-1中的目标对象301、目标对象303、目标对象304在视频120-1中出现的帧时间以及目标对象所在的地理位置，其中，目标对象在视频120-1中出现的连续多帧的帧时间组成目标对象在视频120-1出现的时间段。
表1
目标对象 地理位置 时间段
目标对象301 A 2020-01-01 3:00至2020-01-01 3:10
目标对象301 A 2020-01-01 3:14至2020-01-01 3:22
目标对象303 A 2020-01-01 3:24至2020-01-01 3:35
目标对象304 A 2020-01-01 3:02至2020-01-01 3:17
由表1可知，目标对象301在2020-01-01 3:00进入地理位置A，到2020-01-01 3:10离开地理位置A，时间段为10min；目标对象301在2020-01-01 3:14二次进入地理位置A，到2020-01-01 3:22二次离开地理位置A，时间段为8min。目标对象303在2020-01-01 3:24进入地理位置A，到2020-01-01 3:35离开地理位置A，时间段为11min。目标对象304在2020-01-01 3:02进入地理位置A，到2020-01-01 3:22离开地理位置A，时间段为20min。
步骤203：根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个目标对象的行为轨迹。
在本申请的实施例中，根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，结合聚类算法，确定每个目标对象的行为轨迹，其中，行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。
具体地，由图1可知，电子设备100获取n个监控设备分别拍摄的n个视频，由步骤202确定一个或多个目标对象分别在n个视频中的帧时间、一个或多个目标对象所在的地理位置，结合聚类算法，获取每个目标对象在不同地理位置对应的时间，根据时间排序确定每个目标对象的行为轨迹。
由步骤201可知，电子设备100获取监控设备110-1从1月13日3点00分到1月13日4点00拍摄的视频120-1，视频120-1中的目标对象301、目标对象303、目标对象304在视频120-1中出现的帧时间以及目标对象301、目标对象303、目标对象304所在的地理位置如表1所示。
例如，电子设备100获取监控设备110-2、监控设备110-n从1月13日3点00分到1月13日4点00分别拍摄的视频120-2、视频120-n，视频120-2、视频120-n中的目标对象301、目标对象303、目标对象304分别在视频120-2、视频120-n中出现的帧时间以及目标对象301、目标对象303、目标对象304所在的地理位置。
如下表2、表3为目标对象301、目标对象303、目标对象304分别在视频120-2和视频120-n中出现的帧时间以及目标对象所在的地理位置，其中，目标对象在视频120-2或视频120-n中出现的连续多帧的帧时间组成目标对象在视频120-2或视频120-n出现的时间段，以监控设备110-2所在的地理位置B作为视频120-2中的目标对象301、目标对象303、目标对象304所在的地理位置，以监控设备110-n所在的地理位置B作为视频120-n中的目标对象301、目标对象303、目标对象304的地理位置。
表2
目标对象 地理位置 时间段
目标对象301 B 2020-01-01 3:22至2020-01-01 3:30
目标对象301 B 2020-01-01 3:36至2020-01-01 3:46
目标对象303 B 2020-01-01 3:49至2020-01-01 4:00
目标对象304 B 2020-01-01 3:17至2020-01-01 3:32
目标对象304 B 2020-01-01 3:40至2020-01-01 3:48
表3
目标对象 地理位置 时间段
目标对象301 C 2020-01-01 3:50至2020-01-01 4:00
目标对象303 C 2020-01-01 3:00至2020-01-01 3:12
目标对象303 C 2020-01-01 3:36至2020-01-01 3:46
目标对象304 C 2020-01-01 3:48至2020-01-01 4:00
例如，对表1-表3中的所有目标对象出现的地理位置以及地理位置对应的时间进行聚类分析，对聚类分析的结果按照时间排序，分别得到的目标对象301、目标对象303、目标对象304在1月13日3点00分到1月13日4点00的行为轨迹如下表4所示：
表4
Figure BDA0002935898180000131
由表4可知，目标对象301的行为轨迹包括目标对象出现的3个地理位置，其中地理位置A对应两个时间段。目标对象301在1月13日3点00分到1月13日4点00期间分别经过地理位置A，地理位置B，地理位置C；目标对象303在1月13日3点00分到1月13日4点00期间分别经过地理位置C，地理位置A，地理位置C，地理位置B；目标对象304在1月13日3点00分到1月13日4点00期间分别经过地理位置A，地理位置B，地理位置C。
在一些实施例中，可以通过K均值(K-Means)聚类算法、密度(DBSCAN)聚类算法、高斯混合模型(GMM)的最大期望(EM)聚类算法、凝聚层次聚类算法、图团体检测聚类算法等中的任一种算法对多个视频中多个目标对象的出现的地理位置以及地理位置对应的时间进行聚类分析，获得聚类分析结果。
步骤204：在行为轨迹中一个地理位置对应多时间段，并且多时间段中相邻的时间段的时间间隔不大于预设合并时间的情况下，合并多段时间段，并且以第一段的起始时间作为合并后时间段的起始时间，最后一段的终止时间作为合并后时间段的终止时间。
例如，由表4可知，目标对象301在地理位置A分别对应时间段2020-01-01 3:00至2020-01-01 3:10与时间段2020-01-01 3:14至2020-01-01 3:22，这两个时间段为相邻时间段，并且时间间隔为4min,若预设合并时间设置为5min,则合并这两个时间段，合并后的时间段的起始时间为2020-01-01 3:00，合并后的终止时间为2020-01-01 3:22。如图4所示，图4(a)为目标对象301在1月13日3点00分到1月13日4点00原始的行为轨迹；图4(b)为预设合并时间为5min目标对象301在1月13日3点00分到1月13日4点00位置A对应的两个时间段合并后的行为轨迹。
在本申请的一些实施例中，目标对象行为轨迹相似度是根据目标对象的行为轨迹的重合次数确定，但是，在步骤201中，若目标对象检测不准确或者目标对象的外观特征识别不准确或者目标对象遮挡等使得一段时间未检测到目标对象，导致可能出现应该是一个时间段被分成了两个时间段的情形；该情形在确定目标对象行为轨迹相似度时，可能会导致目标对象一起出现的频次变高，从而导致获得的目标对象轨迹相似度不准确。在本申请的实施例中，通过设置预设合并时间，对目标对象的行为轨迹进行合并有利于提高目标对象行为轨迹相似度分析的准确度。
根据本申请的实施例提供的技术方案，确定了一个或多个目标对象轨迹之后，可以用于多种不同的应用场景。
步骤205：基于每个目标对象的行为轨迹，确定至少两个目标对象的行为轨迹的相似度。
在本申请的实施例中，获取两个目标对象，第一目标对象与第二目标对象的行为轨迹。若根据第一目标对象与第二目标对象行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；若第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标片段的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。其中，第一目标对象与第二目标对象行为轨迹的重合次数越多，第一目标对象与第二目标对象行为轨迹的相似度越高。
例如，根据预先设定的预设合并时间，分别对表4中描述的目标对象301、目标对象303、目标对象304的行为轨迹的时间段执行步骤204，分别获得目标对象301、目标对象303、目标对象304合并多段时间段的行为轨迹。确定目标对象301与目标对象303、目标对象301与目标对象304的行为轨迹相似度。
图5为目标对象301与目标对象303行为轨迹示意图。如图5所示，图5(a)为目标对象301在1月13日3点00分到1月13日4点00的行为轨迹。图5(b)为目标对象303在1月13日3点00分到1月13日4点00的行为轨迹。
例如，预设间隔时间设置为5min，由图5可知，目标对象301的行为轨迹与目标对象303行为轨迹重合3次；具体包括：在1月13日地理位置A，目标对象301的时间段3点00分到3点22分与目标对象303的时间段3点24分到3点35分的时间间隔为3min不大于预设间隔时间，目标对象301的行为轨迹与目标对象303的行为轨迹重合次数加一；在1月13日地理位置B，目标对象301的时间段3点36分到3点46分与目标对象303的时间段3点50分到4点00分的时间间隔为4min不大于预设间隔时间，目标对象301的行为轨迹与目标对象303的行为轨迹重合次数加一；在1月13日地理位置C，目标对象301的时间间隔片段3点50分到4点00分与目标对象303的时间间隔片段3点36分到3点46分的时间间隔为4min不大于预设间隔时间，目标对象301的行为轨迹与目标对象303的行为轨迹重合次数加一。
在本申请的一些实施例中，通过设置预设间隔时间来设置第一目标对象与第二目标对象轨迹重合的情形(例如图5中的目标对象301与目标对象303)，能够提高第一目标对象与第二目标对象的轨迹相似度，有利于筛选出特定条件下与第一目标对象轨迹相似的第二目标对象。
更优选地，在另一些实施例中，若第一目标对象与第二目标对象所在的地理位置相同并且地理位置对应的时间段重合的情况下，确定第一目标对象与第二目标对象行为轨迹重合。
图6为目标对象301与目标对象304行为轨迹示意图。如图6所示，图6(a)为目标对象301在1月13日3点00分到1月13日4点00的行为轨迹。图6(b)为目标对象304在1月13日3点00分到1月13日4点00的行为轨迹。
例如，由图6可知，目标对象301的行为轨迹与目标对象304的行为轨迹重合4次；具体包括：在1月13日地理位置A，目标对象301与目标对象304行为轨迹重合的部分为3点02分到3点17分，行为轨迹重合次数加一；在1月13日地理位置B，目标对象301与目标对象304行为轨迹重合的部分为3点22分到3点30分，行为轨迹重合次数加一；在1月13日地理位置B，目标对象301与目标对象304行为轨重合的部分为3点40分到3点46分，行为轨迹重合次数加一；在1月13日地理位置C，目标对象301与目标对象304行为轨迹重合的部分为3点50分到4点00分，行为轨迹重合次数加一。
在本申请的实施例中，通过每个目标对象的行为轨迹，确定至少两个目标对象的行为轨迹的相似度，使得在视频量较大大或者复杂的轨迹分析场景下，有利于减少目标对象轨迹分析的数据运算量，同时减少视频处理的时间，提高轨迹相似度分析的效率。同时，至少两个目标对象在一个地理位置驻留时，相较于通过对目至少两个目标对象一起出现的时刻，对至少两个目标对象一起出现的时间段计数确定至少两个目标对象的轨迹相似度有利于提高轨迹相似度分析的准确度。
在本申请的其他实施例中，利用目标对象的行为轨迹确定方法确定了目标对象的行为轨迹之后，目标对象的行为轨迹还可用于建立行为轨迹序列数据集，将目标对象的行为轨迹序列数据集保存在行为轨迹数据库中，建立时空索引，在行为轨迹数据库中搜索出满足条件的目标对象。
下面根据本申请的一些实施例，结合图7具体说明本申请的技术方案，图7示出了轨迹搜索方法的流程图，如图7所示，轨迹搜索方法包括:
步骤701：获取一个或多个视频，其中视频包括一个或多个目标对象，具体过程请参考图2中的步骤201的描述。
步骤702：基于一个或多个视频，确定一个或多个目标对象在每个视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，帧时间为目标对象所在的帧对应的时间，地理位置为目标对象所在的地理位置。
例如，针对视频120-1中的目标对象i，目标对象i在视频120-1出现的时间段、目标对象i所在的地理位置可以表示为(Pi，Lm，Tx),Pi表示目标对象i，Lm表示目标对象i所在的地理位置，Tx表示Lm对应的的时间段。其中，Tx可以表示为：Tx＝(STx，EDx)，其中，STx表示时间段Tx的开始时间，EDx表示时间段Tx的结束时间。具体过程请参考图2中的步骤202的描述。
步骤703：根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个目标对象的行为轨迹。
由图1可知，电子设备100获取n个监控设备分别拍摄的n个视频，由步骤202确定一个或多个目标对象分别在n个视频中的帧时间、一个或多个目标对象所在的地理位置，结合聚类算法，获取每个目标对象在不同地理位置对应的时间，根据时间排序确定每个目标对象的行为轨迹。目标对象i的行为轨迹可以通过行为轨迹序列数据集Qi表示。Qi＝{(Pi，L1，T1)，(Pi，L2，T2)，...(Pi，Lm，Tx)，...}。具体过程请参考图2中的步骤203的描述。
步骤704：在行为轨迹中一个地理位置对应多时间段，并且多时间段中相邻的时间段的时间间隔不大于预设合并时间的情况下，合并多段时间段，并且以第一段的起始时间作为合并后时间段的起始时间，最后一段的终止时间作为合并后时间段的终止时间。具体过程请参考图2中的步骤204的描述。
步骤705：基于每个目标对象的行为轨迹，将每个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中。
例如，将上述步骤生成的目标对象i的行为轨迹序列数据集Qi按照时空索引保存在行为轨迹数据库中，其中，时空索引包括时间索引，空间索引，以目标对象i的行为轨迹序列数据集Qi中的目标对象i所在的地理位置Lm作为关键字建立空间索引，以目标对象i的行为轨迹序列数据集Qi中的时间段Tx作为关键字建立时间索引。可以根据时间索引和空间索引在数据库中搜索到目标对象Pi。其中，行为轨迹数据库中的索引的组织方式是先空间索引再时间索引排列。
在本申请的其他实施例中，例如，计算目标对象i的行为轨迹序列数据集Qi中的目标对象i所在的地理位置Lm对应的geohash值；将geohash值与时间段Tx作为关键字建立时空索引，可以根据时空索引在数据库中搜索到目标对象Pi。其中，对地理位置Lm计算其对应的geohash值即为将地理位置转换成字符串，每一个字符中代表了一个地理位置。
在本申请的实施例中，行为轨迹数据库选用的是联机分析处理(OnlineAnalytical Processing，OLAP)类型的键值(Key-Value)存储数据库以保证数据读取的吞吐，能有效减少读写磁盘的次数，同时拥有更好的读写性能。具体地，行为轨迹数据库可以是SAP数据库、Oracle数据库、GBase数据库中的一种或多种。
在本申请的其他实施例中，行为轨迹数据库中的多个目标对象的行为轨迹可以是多个目标对象相似的行为轨迹，其中，多个目标对象相似的行为轨迹由多个目标对象行为轨迹的重合次数确定。多个目标对象相似的行为轨迹由多个目标对象行为轨迹的重合次数确定的具体过程请参考图2的描述。
步骤706：基于时空索引，在轨迹数据库中搜索出满足地理位置条件和/或时间条件的目标对象。
在本申请的其他实施例中，根据轨迹数据库的每个目标对象的行为轨迹数据集建立的时间和空间索引或者时空索引，可以在轨迹数据库中搜索出满足地理位置条件1和时间条件1的目标对象；也可以在轨迹数据库中搜索出同时满足地理位置条件1和时间条件1，地理位置条件2和时间条件2,……地理位置条件k和时间条件k的目标对象。
在本申请的实施例中，通过事件发生的地理位置或时间分别确定地理位置条件或时间条件。也就是说，下面所解释的地理位置条件的确定方式，和时间条件的确定方式，可以同时使用，也可以仅使用其中一种。对于地理位置条件，以事件发生的地理位置为基准点，基于该基准点的预设范围内的地理位置区域作为地理位置条件；以事件发生的起始时间向前或向后选取预设时间作为时间条件的起始时间，和/或以事件发生的终止时间向前或向后选取预设时间作为时间条件的终止时间。
举例来说，对于地理位置条件，在地理位置E对应时间为1月13日8点55分到1月13日9点05分发生的“偷盗”事件，以事件发生的地理位置E为圆心，即基准点，预设半径1000m以内的地理位置作为地理位置条件，其中，预设半径1000m以内的地理位置包括地理位置E，地理位置X，地理位置Y，则地理位置条件包括地理位置E，地理位置X，地理位置Y。基于基准点的预设范围的形状不限于上述圆形，也可以是其他的行政，例如多边形、不规则形状等等。对于时间条件，以事件发生起始时间向前选取25min作为时间条件的起始时间，以事件发生终止时间向后选取25min作为时间条件的终止时间，则时间条件为1月13日8点30分到1月13日9点30分。在行为轨迹数据库中搜索出满足地理位置条件和时间条件的目标对象。
图8为目标对象i在1月13日8点35分到1月20日20点35分的行为轨迹示意图，将图8所示的行为轨迹保存在行为轨迹数据库中。由图8可知，目标对象i的行为轨迹中，位置E对应的时间段1月13日8点35分到1月13日8点55分落入了位置条件和时间条件的范围内，因此，设置预设条件可以在行为轨迹数据库中搜索出目标对象i。
在本申请的其他实施例中，还可以对多个目标对象相似的行为轨迹建立行为轨迹数据库，搜索出满足地理位置条件和时间条件的具有相似轨迹的多个目标对象，具体过程与上述目标对象i的搜索过程相同，再次不做赘述。
在本申请的实施例中，根据目标对象的行为轨迹建立行为轨迹序列数据集，将轨迹序列数据集保存在行为轨迹数据库中，在行为轨迹数据库中搜索满足一个或多个预设地理条件条件和预设时间条件的目标对象，其中，以时间段建立时间索引可以使得在轨迹数据库的数据量较大时，减少数据搜索的运算量，提高目标对象轨迹搜索的效率。
图9根据本申请的一些实施例，示出了一种视频处理装置900的结构框图。如图9所示，具体地，包括：
视频获取模块901，获取一个或多个视频，其中视频包括一个或多个目标对象。
地理位置和时间确定模块902，基于一个或多个视频，确定一个或多个目标对象在每个视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，帧时间为目标对象所在的帧对应的时间。
行为轨迹确定模块903，根据一个或多个目标对象在每个视频中的帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个目标对象的行为轨迹，其中，行为轨迹包括目标对象出现的至少一个地理位置，其中至少一个地理位置中的每一个地理位置对应至少一个时间段。
在本申请的实施例中，视频处理装置还包括：在行为轨迹中一个地理位置对应多个时间段，并且多个时间段中相邻的时间段的时间间隔不大于预设时间间隔的情况下，合并多个时间段以生成合并后时间段，并且以第一个时间段的起始时间作为合并后时间段的起始时间，最后一个时间段的终止时间作为合并后时间段的终止时间。
在本申请的实施例中，视频处理装置还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同并且地理位置对应的时间段重合的情况下，第一目标对象与第二目标对象行为轨迹重合。
在本申请的实施例中，视频处理装置还包括：获取第一目标对象与第二目标对象的行为轨迹，根据第一目标对象与第二目标对象的行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标对象的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
在本申请的实施例中，视频处理装置还包括：基于每个目标对象的行为轨迹，将每个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中；基于时空索引，在轨迹数据库中搜索出满足地理位置条件和/或时间条件的目标对象。
在本申请的实施例中，视频处理装置还包括：行为轨迹数据库中的多个目标对象的行为轨迹为相似的行为轨迹，其中，相似的行为轨迹由多个目标对象的行为轨迹的重合次数确定，其中，若多个目标对象中第一目标对象与第二目标对象所在的地理位置相同，并且第一目标对象的地理位置对应的时间段与第二目标片段的地理位置对应的时间段的前后时间间隔不大于预设间隔时间的情况下，第一目标对象与第二目标对象行为轨迹重合。
在本申请的实施例中，视频处理装置还包括：时空索引包括时间索引和空间索引，针对每个目标对象的行为轨迹，以目标对象的行为轨迹的地理位置建立空间索引，以目标对象的行为轨迹的时间段建立时间索引。
在本申请的实施例中，视频处理装置还包括：针对一个或多个目标对象的行为轨迹，获取目标对象行为轨迹的地理位置对应的geohash值，以geohash值与地理位置对应的时间段建立时空索引，其中，geohash值为通过行为轨迹的地理位置计算得到。
在本申请的实施例中，视频处理装置还包括：通过事件发生的地理位置或时间分别确定地理位置条件或时间条件,其中，以事件发生的地理位置为基准点，基于基准点确定的预设范围内的地理位置区域作为地理位置条件；以事件发生的起始时间向前或向后选取预设时间作为时间条件的起始时间，和/或，以事件发生的终止时间向前或向后选取预设时间作为时间条件的终止时间。
可以理解，图9所示的视频处理装置900与本申请提供的视频处理方法相对应，以上关于本申请提供的视频处理方法的具体描述中的技术细节依然适用于图9所示的视频处理装置900，具体描述请参见上文，在此不再赘述。
图10所示为根据本申请的一些实施例的电子设备100的框图。图10示意性地示出了根据多个实施例的示例电子设备100。在一些实施例中，电子设备100可以包括一个或多个处理器1004，与处理器1004中的至少一个连接的系统控制逻辑1008，与系统控制逻辑1008连接的系统内存1012，与系统控制逻辑1008连接的非易失性存储器(NVM)1016，以及与系统控制逻辑1008连接的网络接口1020。
在一些实施例中，处理器1004可以包括一个或多个单核或多核处理器。在一些实施例中，处理器1004可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。
在一些实施例中，系统控制逻辑1008可以包括任意合适的接口控制器，以向处理器1004中的至少一个和/或与系统控制逻辑1008通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中，系统控制逻辑1008可以包括一个或多个存储器控制器，以提供连接到系统内存1012的接口。系统内存1012可以用于加载以及存储数据和/或指令。在一些实施例中电子设备100的内存1012可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。
NVM/存储器1016可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器1016可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。
NVM/存储器1016可以包括安装电子设备100的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口1020通过网络访问NVM/存储1016。
特别地，系统内存1012和NVM/存储器1016可以分别包括：指令1024的暂时副本和永久副本。指令1024可以包括：由处理器1004中的至少一个执行时导致电子设备100实施如图2至图7所示的方法的指令。在一些实施例中，指令1024、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑1008，网络接口1020和/或处理器1004中。
网络接口1020可以包括收发器，用于为电子设备100提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口1020可以集成于电子设备100的其他组件。例如，网络接口1020可以集成于处理器1004，系统内存1012，NVM/存储器1016，和具有指令的固件设备(未示出)中的至少一种，当处理器1004中的至少一个执行所述指令时，电子设备100实现如图2或图7所示的方法。
网络接口1020可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口1020可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
在一个实施例中，处理器1004中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑封装在一起，以形成系统封装(SiP)。在一个实施例中，处理器1004中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(SoC)。
电子设备100可以进一步包括：输入/输出(I/O)设备1032。I/O设备1032可以包括用户界面，使得用户能够与电子设备100进行交互；外围组件接口的设计使得外围组件也能够与电子设备100交互。在一些实施例中，电子设备100还包括传感器，用于确定与电子设备100相关的环境条件和地理位置信息的至少一种。
根据本申请的实施例，图11示出了一种SoC(System on Chip，片上系统)1100的框图。在图11中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。在图11中，SoC 1100包括：互连单元1150，其被耦合至应用处理器1110；系统代理单元1170；总线控制器单元1180；集成存储器控制器单元1140；一组或一个或多个协处理器1120，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1130；直接存储器存取(DMA)单元1160。在一个实施例中，协处理器1120包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息，例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (23)

1.一种视频处理方法，用于电子设备，其特征在于，所述方法包括：
获取一个或多个视频，其中所述视频包括一个或多个目标对象；
基于所述一个或多个所述视频，确定一个或多个目标对象在每个所述视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，所述帧时间为目标对象所在的帧对应的时间；
根据所述一个或多个所述目标对象在所述每个所述视频中的所述帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个所述目标对象的行为轨迹，
其中，所述行为轨迹包括所述目标对象出现的至少一个地理位置，其中所述至少一个地理位置中的每一个地理位置对应至少一个时间段。
2.根据权利要求1所述的视频处理方法，其特征在于，根据所述一个或多个所述目标对象在所述每个所述视频中的所述帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个所述目标象的行为轨迹包括：
在所述行为轨迹中一个地理位置对应多个时间段，并且多个时间段中相邻的时间段的时间间隔不大于预设时间间隔的情况下，合并所述多个时间段以生成合并后时间段，并且以第一个时间段的起始时间作为所述合并后时间段的起始时间，最后一个时间段的终止时间作为所述合并后时间段的终止时间。
3.根据权利要求1或权利要求2所述的视频处理方法，其特征在于，还包括：
获取第一目标对象与第二目标对象的所述行为轨迹；
根据第一目标对象与第二目标对象的所述行为轨迹的重合次数，确定所述第一目标对象与所述第二目标对象的所述行为轨迹的相似度；
其中，若所述第一目标对象与所述第二目标对象所在的所述地理位置相同并且所述地理位置对应的所述时间段重合的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
4.根据权利要求1或权利要求2所述的视频处理方法，其特征在于，还包括：
获取第一目标对象与第二目标对象的所述行为轨迹；
根据第一目标对象与第二目标对象的所述行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；
其中，若所述第一目标对象与所述第二目标对象所在的所述地理位置相同，并且所述第一目标对象的所述地理位置对应的所述时间段与所述第二目标对象的所述地理位置对应的所述时间段的前后时间间隔不大于预设间隔时间的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
5.根据权利要求1所述的视频处理方法，其特征在于，还包括：
基于每个所述目标对象的行为轨迹，将每个所述目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中；
基于所述时空索引，在所述轨迹数据库中搜索出满足地理位置条件和/或时间条件的所述目标对象。
6.根据权利要求5所述的视频处理方法，其特征在于，基于每个所述目标对象的行为轨迹，将每个所述目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中包括：
所述行为轨迹数据库中的多个所述目标对象的行为轨迹为相似的行为轨迹，其中，所述相似的行为轨迹由所述多个所述目标对象的所述行为轨迹的重合次数确定，其中，若多个所述目标对象中第一目标对象与第二目标对象所在的所述地理位置相同，并且所述第一目标对象的所述地理位置对应的所述时间段与所述第二目标片段的所述地理位置对应的所述时间段的前后时间间隔不大于预设间隔时间的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
7.根据权利要求5或权利要求6所述的视频处理方法，其特征在于，将每个所述目标对象的所述行为轨迹按照所述时空索引保存在所述行为轨迹数据库中包括：
所述时空索引包括时间索引和空间索引；
针对所述每个所述目标对象的所述行为轨迹，以所述目标对象的行为轨迹的所述地理位置建立所述空间索引，以所述目标对象的行为轨迹的所述时间段建立所述时间索引。
8.根据权利要求5或权利要求6所述的视频处理方法，其特征在于，将一个或多个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中包括：
针对所述一个或多个所述目标对象的所述行为轨迹，获取所述目标对象行为轨迹的所述地理位置对应的geohash值，以所述geohash值与所述地理位置对应的所述时间段建立所述时空索引，其中，所述geohash值为通过所述行为轨迹的地理位置计算得到。
9.根据权利要求5或权利要求6所述的视频处理方法，其特征在于，基于所述时空索引，在所述轨迹数据库中搜索出满足地理位置条件和时间条件的所述目标对象包括：
通过事件发生的地理位置或时间分别确定所述地理位置条件或所述时间条件,
其中，以所述事件发生的地理位置为基准点，基于所述基准点确定的预设范围内的地理位置区域作为所述地理位置条件；
以所述事件发生的起始时间向前或向后选取预设时间作为所述时间条件的起始时间，和/或，以所述事件发生的终止时间向前或向后选取预设时间作为所述时间条件的终止时间。
10.根据权利要求1所述的视频处理方法，其特征在于，
所述聚类算法包括K均值聚类算法、密度聚类算法、高斯混合模型的最大期望聚类算法、凝聚层次聚类算法、图团体检测聚类算法中的至少一种算法。
11.一种视频处理装置，其特征在于，包括：
视频获取模块，获取一个或多个视频，其中所述视频包括一个或多个目标对象；
时间和地理位置确定模块，基于所述一个或多个所述视频，确定一个或多个目标对象在每个所述视频中出现的帧时间、一个或多个目标对象所在的地理位置，其中，所述帧时间为目标对象所在的帧对应的时间；
行为轨迹确定模块，根据所述一个或多个所述目标对象在所述每个所述视频中的所述帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个所述目标对象的行为轨迹，其中，所述行为轨迹包括所述目标对象出现的至少一个地理位置，其中所述至少一个地理位置中的每一个地理位置对应至少一个时间段。
12.根据权利要求11所述的视频处理装置，其特征在于，根据所述一个或多个所述目标对象在所述每个所述视频中的所述帧时间、一个或多个目标对象所在的地理位置，利用聚类算法，确定每个所述目标象的行为轨迹包括：
在所述行为轨迹中一个地理位置对应多个时间段，并且多个时间段中相邻的时间段的时间间隔不大于预设时间间隔的情况下，合并所述多个时间段以生成合并后时间段，并且以第一个时间段的起始时间作为所述合并后时间段的起始时间，最后一个时间段的终止时间作为所述合并后时间段的终止时间。
13.根据权利要求11或权利要求12所述的视频处理装置，其特征在于，还包括：
获取第一目标对象与第二目标对象的所述行为轨迹，
根据第一目标对象与第二目标对象的所述行为轨迹的重合次数，确定所述第一目标对象与所述第二目标对象的所述行为轨迹的相似度；其中，若所述第一目标对象与所述第二目标对象所在的所述地理位置相同并且所述地理位置对应的所述时间段重合的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
14.根据权利要求11或权利要求12所述的视频处理装置，其特征在于，还包括：
获取第一目标对象与第二目标对象的所述行为轨迹，
根据第一目标对象与第二目标对象的所述行为轨迹的重合次数，确定第一目标对象与第二目标对象的行为轨迹的相似度；其中，若所述第一目标对象与所述第二目标对象所在的所述地理位置相同，并且所述第一目标对象的所述地理位置对应的所述时间段与所述第二目标对象的所述地理位置对应的所述时间段的前后时间间隔不大于预设间隔时间的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
15.根据权利要求11所述的视频处理装置，其特征在于，还包括：
基于每个所述目标对象的行为轨迹，将每个所述目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中；
基于所述时空索引，在所述轨迹数据库中搜索出满足地理位置条件和/或时间条件的所述目标对象。
16.根据权利要求15所述的视频处理装置，其特征在于，基于每个所述目标对象的行为轨迹，将每个所述目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中包括：
所述行为轨迹数据库中的多个所述目标对象的行为轨迹为相似的行为轨迹，其中，所述相似的行为轨迹由所述多个所述目标对象的所述行为轨迹的重合次数确定，其中，若多个所述目标对象中第一目标对象与第二目标对象所在的所述地理位置相同，并且所述第一目标对象的所述地理位置对应的所述时间段与所述第二目标片段的所述地理位置对应的所述时间段的前后时间间隔不大于预设间隔时间的情况下，所述第一目标对象与所述第二目标对象行为轨迹重合。
17.根据权利要求15或权利要求16所述的视频处理装置，其特征在于，将每个所述目标对象的所述行为轨迹按照所述时空索引保存在所述行为轨迹数据库中包括：
所述时空索引包括时间索引和空间索引；
针对所述每个所述目标对象的所述行为轨迹，以所述目标对象的行为轨迹的所述地理位置建立所述空间索引，以所述目标对象的行为轨迹的所述时间段建立所述时间索引。
18.根据权利要求15或权利要求16所述的视频处理装置，其特征在于，将一个或多个目标对象的行为轨迹按照时空索引保存在行为轨迹数据库中包括：
针对所述一个或多个所述目标对象的所述行为轨迹，获取所述目标对象行为轨迹的所述地理位置对应的geohash值，以所述geohash值与所述地理位置对应的所述时间段建立所述时空索引，其中，所述geohash值为通过所述行为轨迹的地理位置计算得到。
19.根据权利要求15或权利要求16所述的视频处理装置，其特征在于，基于所述时空索引，在所述轨迹数据库中搜索出满足地理位置条件和时间条件的所述目标对象包括：
通过事件发生的地理位置或时间分别确定所述地理位置条件或所述时间条件,
其中，以所述事件发生的地理位置为基准点，基于所述基准点确定的预设范围内的地理位置区域作为所述地理位置条件；
以所述事件发生的起始时间向前或向后选取预设时间作为所述时间条件的起始时间，和/或，以所述事件发生的终止时间向前或向后选取预设时间作为所述时间条件的终止时间。
20.根据权利要求11所述的视频处理装置，其特征在于，
所述聚类算法包括K均值聚类算法、密度聚类算法、高斯混合模型的最大期望聚类算法、凝聚层次聚类算法、图团体检测聚类算法中的至少一种算法。
21.一种机器可读介质，其特征在于，所述机器可读介质上存储有指令，该指令在机器上执行时使机器执行权利要求1至10中任一项所述的视频处理方法。
22.一种芯片，其特征在于，包括处理器，用于从存储器中调用并运行计算机程序，使得安装所述芯片的设备执行权利要求1至10中任一项所述的视频处理方法。
23.一种电子设备，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是电子设备的处理器之一，用于执行权利要求1至10中任一项所述的视频处理方法。
CN202110159666.1A 2021-02-05 2021-02-05 视频处理方法及其装置、介质、芯片和电子设备 Pending CN112925948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110159666.1A CN112925948A (zh) 2021-02-05 2021-02-05 视频处理方法及其装置、介质、芯片和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110159666.1A CN112925948A (zh) 2021-02-05 2021-02-05 视频处理方法及其装置、介质、芯片和电子设备

Publications (1)

Publication Number Publication Date
CN112925948A true CN112925948A (zh) 2021-06-08

Family

ID=76170698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159666.1A Pending CN112925948A (zh) 2021-02-05 2021-02-05 视频处理方法及其装置、介质、芯片和电子设备

Country Status (1)

Country Link
CN (1) CN112925948A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549593A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种多目标多摄像头的目标追踪方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796602A (zh) * 2015-03-23 2015-07-22 北京畅游天下网络技术有限公司 一种合并视频文件的方法及装置
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN110263840A (zh) * 2019-06-13 2019-09-20 东软集团股份有限公司 一种线路分析方法、装置及程序产品、存储介质
CN110532916A (zh) * 2019-08-20 2019-12-03 北京地平线机器人技术研发有限公司 一种运动轨迹确定方法及装置
CN111324825A (zh) * 2020-01-20 2020-06-23 北京百度网讯科技有限公司 查找目标人员的方法及装置
CN111524160A (zh) * 2019-02-01 2020-08-11 深圳市商汤科技有限公司 轨迹信息获取方法及装置、电子设备和存储介质
WO2020199484A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 基于视频的轨迹跟踪方法、装置、计算机设备及存储介质
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN112131325A (zh) * 2019-06-25 2020-12-25 杭州海康威视数字技术股份有限公司 轨迹确定方法、装置及设备、存储介质
CN112307143A (zh) * 2020-08-26 2021-02-02 四川云从天府人工智能科技有限公司 一种时空轨迹构建方法、系统、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796602A (zh) * 2015-03-23 2015-07-22 北京畅游天下网络技术有限公司 一种合并视频文件的方法及装置
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN111524160A (zh) * 2019-02-01 2020-08-11 深圳市商汤科技有限公司 轨迹信息获取方法及装置、电子设备和存储介质
WO2020199484A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 基于视频的轨迹跟踪方法、装置、计算机设备及存储介质
CN110263840A (zh) * 2019-06-13 2019-09-20 东软集团股份有限公司 一种线路分析方法、装置及程序产品、存储介质
CN112131325A (zh) * 2019-06-25 2020-12-25 杭州海康威视数字技术股份有限公司 轨迹确定方法、装置及设备、存储介质
CN110532916A (zh) * 2019-08-20 2019-12-03 北京地平线机器人技术研发有限公司 一种运动轨迹确定方法及装置
CN111324825A (zh) * 2020-01-20 2020-06-23 北京百度网讯科技有限公司 查找目标人员的方法及装置
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN112307143A (zh) * 2020-08-26 2021-02-02 四川云从天府人工智能科技有限公司 一种时空轨迹构建方法、系统、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549593A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种多目标多摄像头的目标追踪方法及系统
CN114549593B (zh) * 2022-02-25 2022-11-29 北京拙河科技有限公司 一种多目标多摄像头的目标追踪方法及系统

Similar Documents

Publication Publication Date Title
CN108491827B (zh) 一种车辆检测方法、装置及存储介质
CN111639968B (zh) 轨迹数据处理方法、装置、计算机设备以及存储介质
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
CN114357216A (zh) 一种人像聚档方法、装置、电子设备及存储介质
TW201738838A (zh) 共乘路徑的計算方法及使用此方法的計算裝置與記錄媒體
CN111353430A (zh) 人脸识别方法和系统
CN114078277A (zh) 一人一档的人脸聚类方法、装置、计算机设备及存储介质
KR102468309B1 (ko) 영상 기반 건물 검색 방법 및 장치
CN112925948A (zh) 视频处理方法及其装置、介质、芯片和电子设备
CN110796494B (zh) 一种客群识别方法及装置
CN112738725A (zh) 半封闭区域目标人群的实时识别方法、装置、设备和介质
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
Liu et al. Vehicle retrieval and trajectory inference in urban traffic surveillance scene
AU2022100065A4 (en) Data integrity management in a computer network
CN115880754A (zh) 一种多档合并的方法、装置及电子设备
CN114549857A (zh) 图像信息识别方法、装置、计算机设备和存储介质
CN114821482A (zh) 一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统
CN114677627A (zh) 目标线索寻找方法、装置、设备及介质
CN114049608A (zh) 轨迹监测方法、装置、计算机设备、存储介质
CN111563137A (zh) 一种用于重合轨迹的分析方法和系统
CN110717386A (zh) 涉事对象追踪方法及装置、电子设备和非暂态存储介质
CN111813987B (zh) 一种基于警务大数据的人像比对方法
AU2021103692A4 (en) Data integrity management in a computer network
CN117726883B (zh) 一种区域人口分析方法、装置、设备和存储介质
US20230037546A1 (en) Method, apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination