CN117251278A - 数据处理方法、电子设备和计算机程序产品 - Google Patents

数据处理方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN117251278A
CN117251278A CN202210658237.3A CN202210658237A CN117251278A CN 117251278 A CN117251278 A CN 117251278A CN 202210658237 A CN202210658237 A CN 202210658237A CN 117251278 A CN117251278 A CN 117251278A
Authority
CN
China
Prior art keywords
metadata
data
server
data processing
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210658237.3A
Other languages
English (en)
Inventor
陈思
林蓁蓁
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202210658237.3A priority Critical patent/CN117251278A/zh
Priority to US17/854,383 priority patent/US20230401264A1/en
Publication of CN117251278A publication Critical patent/CN117251278A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例提供了数据处理方法、电子设备和计算机程序产品。该方法可以包括接收来自服务器的数据转换策略。该方法还可以包括响应于接收到来自现场设备的非结构化数据，基于接收到的数据转换策略，确定非结构化数据的元数据，以形成元数据的集合。此外，该方法可以包括将元数据的集合的至少一部分传送至服务器。本公开的实施例能够对非结构化数据进行边缘计算处理，既能够使监控数据得到及时处理，也能够减少服务器侧的计算负载，从而提升了用户体验。

Description

数据处理方法、电子设备和计算机程序产品
技术领域
本公开的实施例涉及计算机领域，并且更具体地，涉及数据处理方法、电子设备和计算机程序产品。
背景技术
随着边缘计算和5G技术的兴起，越来越多的具有强大计算功能的设备可以被部署在边缘节点。例如，在交通监控场景中，可能存在嵌入了定制功能(例如，自动汽车检测功能)的智能摄像头。由智能摄像头获取的视频数据通常会被临时存储在边缘节点。从这些非结构化数据中搜索特定数据通常是费时费力的。如何对非结构化数据进行搜索等操作是目前亟待解决的问题。
发明内容
本公开的实施例提供了用于数据处理的方案。
在本公开的第一方面中，提供了一种数据处理方法。该方法可以包括接收来自服务器的数据转换策略。该方法还可以包括响应于接收到来自现场设备的非结构化数据，基于接收到的数据转换策略，确定非结构化数据的元数据，以形成元数据的集合。此外，该方法可以包括将元数据的集合的至少一部分传送至服务器。
在本公开的第二方面中，提供了一种数据处理方法。该方法可以包括向一个或多个边缘计算节点传送数据转换策略，数据转换策略用于将非结构化数据转换为元数据。该方法还可以包括从一个或多个边缘计算节点接收基于数据转换策略确定的元数据的集合。此外，该方法可以包括至少基于接收的元数据的集合，确定数据处理结果。
在本公开的第三方面中，提供了一种电子设备，包括处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使电子设备执行动作，动作包括：接收来自服务器的数据转换策略；响应于接收到来自现场设备的非结构化数据，基于接收到的所述数据转换策略，确定所述非结构化数据的元数据，以形成元数据的集合；以及将元数据的所述集合的至少一部分传送至所述服务器。
在本公开的第四方面中，提供了一种电子设备，包括处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使电子设备执行动作，动作包括：向一个或多个边缘计算节点传送数据转换策略，所述数据转换策略用于将非结构化数据转换为元数据；从所述一个或多个边缘计算节点接收基于所述数据转换策略确定的元数据的集合；至少基于接收的元数据的所述集合，确定数据处理结果。
在本公开的第五方面中，提供了一种计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器执行根据第一方面或第二方面的方法的任意步骤。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同或相似的参考标号通常代表相同或相似的部件。在附图中：
图1示出了根据本公开的实施例的示例环境的示意图；
图2示出了根据本公开的实施例的边缘计算节点与服务器和现场设备的交互的示意图；
图3示出了根据本公开的实施例的数据处理的过程的流程图；
图4示出了根据本公开的实施例的数据处理的过程的流程图；
图5示出了根据本公开的实施例的数据处理的过程的高级别管道图；以及
图6示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
下面将参考附图中示出的若干示例实施例来描述本公开的原理。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“一组示例实施例”。术语“另一实施例”表示“一组另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
此外，本文中提及的“非结构化数据”用于表示数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据或资源，例如，图像和音频/视频信息等等。本文中提及的“元数据”用于表示与非结构化数据相对应的结构化数据。另外，本文中提及的“现场设备”用于表示在现场实时获取相关感测信息或监控数据的设备，诸如车辆网中的路侧设备，其通常被布置为接近边缘计算节点，但远离诸如数据中心的服务器。下文可能以路侧设备为例来描述本公开的实施例，并不旨在限制本公开的保护范围。
如上文所讨论的，对于存储在服务器处或边缘节点处的非结构化数据而言，目前直接对这些数据进行诸如搜索处理智能通过人工方式来进行，这是费时又费力的。
例如，由路侧设备获取的用于监控路况信息的视频数据作为非结构化数据是无法按内容进行搜索的。因此，为了寻找具有某个或某些特征的车辆或行人，通常需要大量的人力对存储的视频数据进行人工搜索。可以理解，这种搜索方式费时费力，且存在人为原因造成的误检或漏检问题。
此外，目前的路侧设备通常会将获取的非结构化数据定期上传至诸如数据中心的服务器，故服务器通常会在维护各路侧设备获取的非结构化数据的同时，对这些非结构化数据进行处理。由于路侧设备通常被设置为原理服务器，故获取的非结构化数据的处理并不及时，并且服务器的计算负载会随着路侧设备的数目的增加而显著增大。
为了至少部分地解决上述问题，本公开的实施例提供了一种新颖的数据处理方案。首先，可以预先确定一个数据转换策略，用于将非结构化数据转换为结构化数据。例如，可以通过图像识别技术从监控视频的每一帧图像中确定图像中的被监控对象的一个或多个特征，并将这些特征以编码的形式记录为结构化数据。其次，可以将实时接收的非结构化数据的处理工作负载转移到边缘计算节点，从而减轻服务器的工作负载。对于在边缘计算节点处生成的结构化数据，其可以被传送至服务器，以便与服务器侧的结构化数据合并。通过上述操作，可以在边缘计算节点处实时地将非结构化数据处理为结构化数据，从而可以及时有效地满足用户的搜索等需求。
图1示出了根据本公开的实施例的示例环境的示意图。在该示例环境100中，根据本公开实施例的设备和/或过程可以被实施。如图1所示，示例环境100可以包括服务器110、边缘计算节点121、122、123(下文通常会被统称为“边缘计算节点120”)、路侧设备130、以及被监控对象141。
在图1中，服务器110被配置为对边缘计算节点121、122、123进行管理。具体地，服务器110可以通过向边缘计算节点121、122、123发送指令而获取边缘计算节点121、122、123处存储的监控数据。此外，服务器110可以通过向边缘计算节点121、122、123发送数据转换策略而使边缘计算节点121、122、123分别具有将诸如监控数据的非结构化数据转换为结构化数据的功能。
应理解，虽然图1中示出了边缘计算节点121、122、123作为平级节点的情况，但实际上边缘计算节点120中的各个节点还可以存在更多层级的管理关系，即，可以存在管理边缘计算节点121的其他边缘计算节点，也可以存在被边缘计算节点121管理的其他边缘计算节点。此外，如图1所示，边缘计算节点120可以与一个或多个路侧设备130进行通信，从而实现现场路况信息的获取。应理解，通过建立上述边缘计算节点，可以为处于现场的路侧设备提供距离较近的边缘计算节点，从而降低通信链路的延迟。
此外，在图1中，被监控对象141可以是车辆。在图1的被监控的路面环境中，被监控对象141沿着箭头方向行驶，并且可预期地会出现在位置142。因此，多个路侧设备130均可以获取被监控对象141的监控视频。
在某些实施例中，服务器110可以是任何具有计算能力的设备。作为非限制性示例，服务器110可以是任意类型的固定计算设备或移动计算设备，包括但不限于台式计算机、膝上型计算机、笔记本计算机、平板计算机等。服务器110的全部组件或一部分组件可以分布在云端。服务器110以及与其连接的边缘计算节点可以采用云-边缘的架构。
在某些实施例中，边缘计算节点120可以包括至少用于存储经处理的机构化数据的存储器。这些存储器可以由其他各种类型的具有存储功能的设备所替换，包括但不限于，硬盘(HDD)、固态盘(SSD)、可移除盘、任何其他磁性存储设备和任何其他光学存储设备、或它们的任何组合。
在某些实施例中，被监控对象141还可以是行人、被网络用户上传的视频数据等。
下文将结合图2详细描述边缘计算节点220与服务器210和现场设备230的具体布置方式。图2示出了根据本公开的实施例的边缘计算节点220与服务器210和现场设备230的交互的示意图。如图2所示，服务器210可以被配置为将预先确定的数据转换策略下发至边缘计算节点220。边缘计算节点220中包含的计算设备221可以基于接收到的数据转换策略对来自现场设备的非结构化数据进行实时处理，并将转换后的结构化数据存储至边缘计算节点220中包含的存储器222中。应理解，计算设备221可以定期地指示存储器222上传其中存储的结构化数据。备选地或附加地，计算设备221还可以基于服务器210的数据拉取指令指示存储器222上传其中存储的结构化数据。由此，实现了在边缘计算节点处执行非结构化数据向结构化数据的转换处理，使得用户可以对结构化数据进行检索操作，同时也降低了服务器侧的计算工作负载。
应理解，图2中所示的服务器210虽然用于将预先确定的数据转换策略下发至边缘计算节点220，进而在边缘计算节点220处执行数据处理，实际上也可以在服务器210处基于预先确定的数据转换策略对已经存储在服务器210中的静态数据进行数据处理。此外，虽然仅示出了服务器210与一个边缘计算节点220通信连接，但是也可以包含服务器210余多个其他边缘计算节点进行通信连接的情况。因此，图2仅旨在示出本公开的一些概念，并非用于限制本公开的范围。
下文将结合图3和图4详细描述根据本公开实施例的数据处理的过程。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。可以理解，以下描述的实施例还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
图3示出了根据本公开的实施例的数据处理的过程300的流程图。在某些实施例中，过程300可以在图2中的计算设备221中实施。现参照图3描述根据本公开实施例的用于数据处理的过程300。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。
如图3所示，在302，计算设备221可以接收来自服务器210的数据转换策略。应理解，数据转换策略可以是由工作人员预先确定的数据处理规则。作为示例，可以基于如下JSON格式确定数据转换策略。
如上所述，可以基于该数据转换策略从诸如视频或图像的非结构化数据中确定该视频或图像的文件名、获取数据的地点、诸如某一车牌在何时出现在某个位置的信息、以及诸如行人的性别和被监控到的时间的信息等。应理解，计算设备221可以基于图像识别技术获取视频中的被监控对象的信息，并将这些视频信息以诸如JSON的特定格式转换为易于检索的结构化数据。
在304，计算设备221可以检测是否接收到来自现场设备230的非结构化数据。如果计算设备221接收到来自现场设备230的非结构化数据，则进入306。
在306，计算设备221可以基于接收到的数据转换策略，确定非结构化数据的元数据，以形成元数据的集合。应理解，元数据是结构化数据，其可以是基于上文的JSON格式生成的。
在某些实施例中，现场设备230可以是路侧监控设备，该非结构化数据是路侧监控视频。为了确定作为路侧监控视频的非结构化数据的元数据，现场设备230可以从路侧监控视频的至少一个监控图像中识别被监控对象的一个或多个特征，并且将该一个或多个特征确定为元数据。作为示例，当该至少一个监控图像中包含一辆汽车的正面图像时，计算设备221可以利用图像识别模型确定该监控图像中的车辆的车牌号码。由此，可以确定使用该车牌号码的车辆经过获取该监控图像的路侧设备的位置处的时间。作为另一示例，当该至少一个监控图像中包含一个行人的图像时，计算设备221可以利用图像识别模型确定该行人的性别、发色、身高等特征。由此，可以确定具有该特征的行人经过获取该监控图像的路侧设备的位置处的时间。
在308，计算设备221可以将元数据的集合的至少一部分传送至服务器210。在某些实施例中，计算设备221可以将经处理的元数据的集合存储在边缘计算节点220中包含的存储器222中。存储在存储器222中的元数据可以被定期上传至服务器210。备选地或附加地，存储在存储器222中的元数据可以基于服务器210的指示上传至服务器210。此外，服务器210可以在指示中规定元数据的时间段，从而可以上传在某一时段获取的非结构化数据所对应的元数据。
在某些实施例中，传送至服务器210的至少一部分的元数据与在服务器210处确定的元数据或者由服务器210接收到的来自其他边缘节点的元数据合并，作为数据处理结果。应理解，在车辆监控场景中，该数据处理结果可以对应于具有该车牌的车辆的历史轨迹。
在某些实施例中，过程300还可以包括：在接收到来自服务器210的搜索请求时，计算设备221可以从元数据的集合中确定与该搜索请求中包含的关键字信息相匹配的目标元数据，基于目标元数据生成对应于该搜索请求的搜索响应，并且将所述搜索响应传送至服务器210。作为示例，用户可以向服务器210发送搜索车牌的搜索请求，该搜索情况中可以包含搜索关键字，例如车牌号A-aaaaa。服务器210可以将该搜索请求下发至包括边缘计算节点220的多个边缘计算节点，并且计算设备221可以基于车牌号A-aaaaa在存储器222中进行搜索，以便找到与车牌号相匹配的目标元数据，进而找到该车牌号的历史轨迹。应理解，服务器210还可以在其合并的数据处理结果中搜索与车牌号相匹配的目标元数据。
应理解，上述实施例通过在计算设备221侧接收数据转换策略、将实时接收的非结构化数据转换为结构化数据、并且将结构数据回传至服务器210，实现了对非结构化数据的边缘计算处理，既能够使监控数据得到及时处理，也能够减少服务器侧的计算负载，从而提升了用户体验。
图4示出了根据本公开的实施例的数据处理的过程400的流程图。在某些实施例中，过程400可以在图2中的服务器210中实施。现参照图4描述根据本公开实施例的用于数据处理的过程400。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。
如图4所示，在402，服务器210可以向一个或多个边缘计算节点传送数据转换策略，该数据转换策略用于将非结构化数据转换为元数据。应理解，该数据转换策略与图3讨论的数据转换策略相同或类似，在此不再赘述。
在404，服务器210可以从上述一个或多个边缘计算节点接收基于数据转换策略确定的元数据的集合。应理解，元数据是结构化数据，其可以是基于上文的JSON格式生成的。
在406，服务器210可以至少基于接收的元数据的集合，确定数据处理结果。此外，在某些实施例中，服务器210还可以基于数据转换策略确定本地静态数据的元数据。作为示例，服务器210可以在向边缘计算节点下发数据转换策略时持续执行基于数据转换策略确定本地静态数据的元数据的操作。
在某些实施例中，为了确定上述数据处理结果，服务器210可以将上述元数据的集合与确定的本地静态数据的元数据合并，作为数据处理结果。换言之，服务器210可以汇总自身处理的元数据以及其他边缘计算节点上传的元数据。汇总的元数据可以为全面的搜索功能提供支持。
在某些实施例中，非结构化数据可以是路侧监控视频。为了确定本地静态数据的元数据，服务器210可以从路侧监控视频的至少一个监控图像中识别被监控对象的一个或多个特征，并且将该一个或多个特征确定为本地静态数据的元数据，该本地静态数据的元数据可以是结构化数据。作为示例，当该至少一个监控图像中包含一辆汽车的正面图像时，服务器210可以利用图像识别模型确定该监控图像中的车辆的车牌号码。由此，可以确定使用该车牌号码的车辆经过获取该监控图像的路侧设备的位置处的时间。作为另一示例，当该至少一个监控图像中包含一个行人的图像时，服务器210可以利用图像识别模型确定该行人的性别、发色、身高等特征。由此，可以确定具有该特征的行人经过获取该监控图像的路侧设备的位置处的时间。
在某些实施例中，过程400还可以包括：在接收到搜索请求时，服务器210可以从数据处理结果中确定与该搜索请求中包含的关键字信息相匹配的目标元数据，并且基于目标元数据生成对应于该搜索请求的搜索响应。进而，服务器210可以基于该数据处理结果确定被监控对象的行动轨迹。作为示例，用户可以向服务器210发送搜索车牌的搜索请求，该搜索情况中可以包含搜索关键字，例如车牌号A-aaaaa。服务器210可以基于车牌号A-aaaaa进行搜索，以便找到与车牌号相匹配的目标元数据，进而找到该车牌号的历史轨迹。
应理解，上述实施例通过在服务器210侧生成并下发数据转换策略、并且汇总各边缘计算节点，实现了对非结构化数据的边缘化处理，既能够使监控数据得到及时处理，也能够减少服务器侧的计算负载，从而提升了用户体验。
为了更为清晰地展示本公开的主要思路，图5示出了根据本公开的实施例的数据处理的过程500的高级别管道图。
如图5所示，用于数据处理的过程500主要涉及服务器110、边缘计算节点121、边缘计算节点122、路侧设备131、以及路侧设备132之间的多方信息交互。应理解，图5仅是示例性的，其还可以包含更多的边缘计算节点、路侧设备等。
在图5中，数据处理的过程500通常始于服务器110。服务器110侧通常会生成用户确定的数据转换策略，并且将该数据转换策略发送(501)至边缘计算节点121以及将该数据转换策略发送(502)至边缘计算节点122。路侧设备131可以被配置为向边缘计算节点121实时地传输(503)诸如监控视频的非结构化数据，并且路侧设备132可以被配置为向边缘计算节点122实时地传输(504)诸如监控视频的非结构化数据。应理解，这两个传输(503、504)的过程可以不同时执行。
之后，边缘计算节点121基于接收到的数据转换策略对来自路侧设备131的非结构化数据进行数据处理(505)，以将非结构化数据转换为结构化数据或元数据。此外，边缘计算节点122基于接收到的数据转换策略对来自路侧设备132的非结构化数据进行数据处理(506)，以将非结构化数据转换为结构化数据或元数据。应理解，这两个数据处理(505、506)的过程可以不同时执行。进而，边缘计算节点121将转换的结构化数据传输(507)至服务器110，并且边缘计算节点122将转换的结构化数据传输(508)至服务器110。
应理解，在服务器110生成数据转换策略之后，服务器110可以在任何时间段对存储在本地的静态数据进行数据处理(509)，即，将存储在服务器110处的作为非结构化数据的历史数据转换为结构化数据。并且，服务器110可以将本地的机构化数据与来自边缘计算节点121的结构化数据以及来自边缘计算节点122的结构化数据合并(510)，以生成数据处理结果。
以此方式，服务器110可以利用多个边缘计算节点全面地获取监控区域内的所有被监控对象的结构化数据，从而有利于执行搜索、监控、运动轨迹生成等操作。
图6示出了可以用来实施本公开的实施例的示例设备600的框图。例如，电子设备600可被用于实现图2中所示的计算设备221。如图所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理，例如过程300、400。例如，在一些实施例中，上文所描述的各个方法和处理可以被实现为计算机软件程序或计算机程序产品，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的任何过程中的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行诸如过程300、400的过程。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、任意的非暂时性存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (19)

1.一种数据处理方法，包括：
接收来自服务器的数据转换策略；
响应于接收到来自现场设备的非结构化数据，基于接收到的所述数据转换策略，确定所述非结构化数据的元数据，以形成元数据的集合；以及
将元数据的所述集合的至少一部分传送至所述服务器。
2.根据权利要求1所述的方法，还包括：
响应于接收到来自所述服务器的搜索请求，从元数据的所述集合中确定与所述搜索请求中包含的关键字信息相匹配的目标元数据；
基于所述目标元数据生成对应于所述搜索请求的搜索响应；以及
将所述搜索响应传送至所述服务器。
3.根据权利要求1所述的方法，其中传送至所述服务器的所述至少一部分的元数据与在所述服务器处确定的元数据或者由所述服务器接收到的来自其他边缘节点的元数据合并，作为数据处理结果。
4.根据权利要求1所述的方法，其中所述现场设备是路侧监控设备，所述非结构化数据是路侧监控视频，并且其中确定所述非结构化数据的元数据包括：
从所述路侧监控视频的至少一个监控图像中，识别被监控对象的一个或多个特征；以及
将所述一个或多个特征确定为所述元数据，所述元数据是结构化数据。
5.一种数据处理方法，包括：
向一个或多个边缘计算节点传送数据转换策略，所述数据转换策略用于将非结构化数据转换为元数据；
从所述一个或多个边缘计算节点接收基于所述数据转换策略确定的元数据的集合；
至少基于接收的元数据的所述集合，确定数据处理结果。
6.根据权利要求5所述的方法，还包括：
基于所述数据转换策略确定本地静态数据的元数据，
其中确定所述数据处理结果包括：
将所述集合与确定的所述本地静态数据的元数据合并，作为所述数据处理结果。
7.根据权利要求5所述的方法，还包括：
响应于接收到搜索请求，从所述数据处理结果中确定与所述搜索请求中包含的关键字信息相匹配的目标元数据；以及
基于所述目标元数据生成对应于所述搜索请求的搜索响应。
8.根据权利要求6所述的方法，其中所述非结构化数据是路侧监控视频，并且其中确定所述本地静态数据的元数据包括：
从所述路侧监控视频的至少一个监控图像中，识别被监控对象的一个或多个特征；以及
将所述一个或多个特征确定为所述本地静态数据的元数据，所述本地静态数据的元数据是结构化数据。
9.根据权利要求8所述的方法，还包括：
基于所述数据处理结果确定所述被监控对象的行动轨迹。
10.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：
接收来自服务器的数据转换策略；
响应于接收到来自现场设备的非结构化数据，基于接收到的所述数据转换策略，确定所述非结构化数据的元数据，以形成元数据的集合；以及
将元数据的所述集合的至少一部分传送至所述服务器。
11.根据权利要求10所述的设备，所述动作还包括：
响应于接收到来自所述服务器的搜索请求，从元数据的所述集合中确定与所述搜索请求中包含的关键字信息相匹配的目标元数据；
基于所述目标元数据生成对应于所述搜索请求的搜索响应；以及
将所述搜索响应传送至所述服务器。
12.根据权利要求10所述的设备，其中传送至所述服务器的所述至少一部分的元数据与在所述服务器处确定的元数据或者由所述服务器接收到的来自其他边缘节点的元数据合并，作为数据处理结果。
13.根据权利要求10所述的设备，其中所述现场设备是路侧监控设备，所述非结构化数据是路侧监控视频，并且其中确定所述非结构化数据的元数据包括：
从所述路侧监控视频的至少一个监控图像中，识别被监控对象的一个或多个特征；以及
将所述一个或多个特征确定为所述元数据，所述元数据是结构化数据。
14.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：
向一个或多个边缘计算节点传送数据转换策略，所述数据转换策略用于将非结构化数据转换为元数据；
从所述一个或多个边缘计算节点接收基于所述数据转换策略确定的元数据的集合；
至少基于接收的元数据的所述集合，确定数据处理结果。
15.根据权利要求14所述的设备，所述动作还包括：
基于所述数据转换策略确定本地静态数据的元数据，
其中确定所述数据处理结果包括：
将所述集合与确定的所述本地静态数据的元数据合并，作为所述数据处理结果。
16.根据权利要求14所述的设备，所述动作还包括：
响应于接收到搜索请求，从所述数据处理结果中确定与所述搜索请求中包含的关键字信息相匹配的目标元数据；以及
基于所述目标元数据生成对应于所述搜索请求的搜索响应。
17.根据权利要求15所述的设备，其中所述非结构化数据是路侧监控视频，并且其中确定所述本地静态数据的元数据包括：
从所述路侧监控视频的至少一个监控图像中，识别被监控对象的一个或多个特征；以及
将所述一个或多个特征确定为所述本地静态数据的元数据，所述本地静态数据的元数据是结构化数据。
18.根据权利要求17所述的设备，所述动作还包括：
基于所述数据处理结果确定所述被监控对象的行动轨迹。
19.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至4中的任一项或者权利要求5至9中的任一项所述的方法。
CN202210658237.3A 2022-06-10 2022-06-10 数据处理方法、电子设备和计算机程序产品 Pending CN117251278A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210658237.3A CN117251278A (zh) 2022-06-10 2022-06-10 数据处理方法、电子设备和计算机程序产品
US17/854,383 US20230401264A1 (en) 2022-06-10 2022-06-30 Method, electronic device, and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658237.3A CN117251278A (zh) 2022-06-10 2022-06-10 数据处理方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN117251278A true CN117251278A (zh) 2023-12-19

Family

ID=89077680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658237.3A Pending CN117251278A (zh) 2022-06-10 2022-06-10 数据处理方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US20230401264A1 (zh)
CN (1) CN117251278A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843522B2 (en) * 2008-09-15 2014-09-23 Thomson Reuters (Markets) Llc Systems and methods for rapid delivery of tiered metadata
JP5528121B2 (ja) * 2010-01-05 2014-06-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2014122732A1 (ja) * 2013-02-06 2017-01-26 株式会社日立製作所 計算機システム、メタデータ管理方法及び記録媒体
US20170277700A1 (en) * 2016-03-27 2017-09-28 Utility Associates, Inc. Method for Incident Video and Audio Association
US11108849B2 (en) * 2018-12-03 2021-08-31 At&T Intellectual Property I, L.P. Global internet of things (IOT) quality of service (QOS) realization through collaborative edge gateways
US11263226B2 (en) * 2019-12-02 2022-03-01 Bank Of America Corporation Real-time intelligence engine for data asset discovery

Also Published As

Publication number Publication date
US20230401264A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US20220277207A1 (en) Novel autonomous artificially intelligent system to predict pipe leaks
US11836533B2 (en) Automated reconfiguration of real time data stream processing
US10560465B2 (en) Real time anomaly detection for data streams
US20210211471A1 (en) Highly scalable four-dimensional web-rendering geospatial data system for simulated worlds
US20180260114A1 (en) Predictive models of file access patterns by application and file type
US10528293B2 (en) Grouping devices as a virtual device for providing better quality of device data
US11928583B2 (en) Adaptation of deep learning models to resource constrained edge devices
CN110704491B (zh) 数据查询方法和装置
CN110866040B (zh) 用户画像生成方法、装置和系统
CN112785002A (zh) 模型构建优化方法、设备、介质及计算机程序产品
JPWO2015128954A1 (ja) デバイス情報提供システム、デバイス情報提供方法
CN111680799B (zh) 用于处理模型参数的方法和装置
US11347646B2 (en) Method, device and computer program product for managing cache based on matching API
US9197716B2 (en) Pre-fetching resources by predicting user actions
CN114615177B (zh) 一种云平台的负载检测方法、装置、电子设备和存储介质
US20210064981A1 (en) Controlling performance of deployed deep learning models on resource constrained edge device via predictive models
Sinqadu et al. Performance evaluation of a traffic surveillance application using iFogSim
CN117251278A (zh) 数据处理方法、电子设备和计算机程序产品
US20230161623A1 (en) Vehicle as a distributed computing resource
US20220414498A1 (en) System and method for decentralized distributed model adaptation
US11729349B2 (en) Method, electronic device, and computer program product for video processing
US20230060593A1 (en) Method and system for generating and assigning soft labels for data node data
CN113641909A (zh) 信息推送方法、装置、电子设备和计算机可读介质
CN116501732A (zh) 用于管理训练数据的方法、电子设备和计算机程序产品
US20160283562A1 (en) Community policing via multi-platform integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination