CN112673368A - 用于在存储边缘处生成描述非结构化数据对象的元数据的系统和方法 - Google Patents

用于在存储边缘处生成描述非结构化数据对象的元数据的系统和方法 Download PDF

Info

Publication number
CN112673368A
CN112673368A CN201980058977.XA CN201980058977A CN112673368A CN 112673368 A CN112673368 A CN 112673368A CN 201980058977 A CN201980058977 A CN 201980058977A CN 112673368 A CN112673368 A CN 112673368A
Authority
CN
China
Prior art keywords
metadata
data
storage
media object
object data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980058977.XA
Other languages
English (en)
Inventor
K·库德里亚夫瑟夫
N·米兹腊伊
M·奥伯格
N·瓦尔尼卡
N·南加勒
I·珀利万尼
R·拉特纳亚克
L·姜
Q·周
W·L·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marvell World Trade Ltd
Original Assignee
Marvell World Trade Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marvell World Trade Ltd filed Critical Marvell World Trade Ltd
Priority claimed from PCT/US2019/044534 external-priority patent/WO2020028583A1/en
Publication of CN112673368A publication Critical patent/CN112673368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
    • G06F12/1045—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] associated with a data cache
    • G06F12/1054—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] associated with a data cache the data cache being concurrently physically addressed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/387—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/901—Buffering arrangements using storage descriptor, e.g. read or write pointers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/254—Distributed memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

存储控制设备与存储设备耦合、并且远离主机设备而被定位，存储控制设备从主机设备接收媒体对象数据。存储控制设备标识媒体对象数据的类型，并且基于所标识的类型，从多个计算模型之中选择由存储控制设备的计算引擎使用的计算模型。计算引擎使用所选择的计算模型来生成描述媒体对象数据的元数据。元数据被存储在存储设备中，从而使元数据与媒体对象数据分开地从存储设备选择性地可取回。

Description

用于在存储边缘处生成描述非结构化数据对象的元数据的系 统和方法
技术领域
本公开涉及在存储边缘处使用计算引擎来生成描述媒体对象数据的元数据。
背景技术
本文所提供的背景技术描述是为了总体上呈现本公开的上下文。此处发明人的工作，就在本背景技术部分中所描述的工作以及在提交时以其他方式不符合现有技术的描述内容的各方面，均未明确或暗含为承认是针对本公开的现有技术。
用于生成描述非结构化数据(诸如，媒体数据)的元数据的典型系统可以在数据初始被接收的位置处(摄取点，ingest point，诸如摄取服务器或其他集中式网络处理位置)处做这些。摄取点可以与系统的用户在物理上并置，或者可以是云存储位置。例如，视频数据可以从服务器处的相机或其他视频源接收，服务器负责对媒体进行转码并生成描述媒体的元数据。这些系统通常将元数据与所接收的、或经转码的媒体数据一起嵌入在媒体数据流中，从而要求取回媒体数据的整体，以便访问描述媒体数据的所有元数据。由于待处理的媒体数据的量，这可能导致摄取点处的负载增加，以便在其中嵌入或以其他方式包括元数据。典型的系统在摄取点处或集中式服务器处生成描述媒体数据的元数据。这可能导致从集中式服务器的摄取点到存储装置的待转移的数据量增加，并且因此导致执行存储操作所要求的网络带宽增加。例如，大量数据可能需要在远程处理位置和存储位置之间传输。
发明内容
本文所描述的实现方式提供了用于存储和管理媒体对象数据的装置和方法。存储控制设备与存储设备耦合、并且被定位远离主机设备的存储边缘处，存储控制设备从主机设备接收媒体对象数据。存储控制设备标识媒体对象数据的类型，并且基于所标识的类型，在多个计算模型之中选择计算模型，以用于由存储控制设备的计算引擎使用。计算引擎使用所选择的计算模型来生成描述媒体对象数据的元数据。元数据被存储在存储设备中，从而使元数据与媒体对象数据分开地从存储设备选择性地可取回。
在一些实现方式中，存储控制设备使用数据输入接口来访问媒体对象数据。每个计算模型具有相关联的输入数据接口参数，输入数据接口参数标识数据格式，计算模型针对该数据模式而被配置。存储控制设备使用输入数据接口参数来访问媒体对象数据，并且将媒体对象数据转换为所标识的数据格式。
在一些实现方式中，每个计算模型具有相关联的硬件接口参数。存储控制设备取回硬件接口参数，并且将硬件接口参数应用于硬件接口。存储控制设备使用硬件接口从第一物理连接访问媒体对象数据，并且使用硬件接口通过第二物理连接来将媒体对象数据和元数据存储在存储设备中。
在一些实现方式中，每个计算模型具有相关联的解密参数。存储控制设备取回解密参数，并且使用解密参数来对媒体对象数据进行解密。
在一些实现方式中，存储控制设备从存储设备取回媒体对象数据，针对该媒体对象数据，元数据已使用第一计算模型而生成。存储控制设备标识第一计算并且选择第二计算模型来生成与第一元数据不同的第二元数据。存储控制设备可以存储第二元数据，从而使第二元数据从第一元数据、以及从媒体对象数据选择性地可取回。存储控制设备可以将第一元数据和第二元数据组合，以生成经组合的元数据，并且存储经组合的元数据，从而使经组合的元数据从媒体对象数据选择性地可取回。
在一些实现方式中，存储控制设备从主机设备接收针对包含满足一个或多个准则的对象的媒体数据的请求。响应于该请求，在一些实现方式中，存储控制设备与媒体对象数据分开地从存储设备取回描述媒体对象数据的元数据。基于所取回的元数据，存储控制设备标识媒体数据的包含满足一个或多个准则的对象的一个或多个部分。存储控制设备然后从存储设备取回媒体数据的包含满足一个或多个准则的对象的经标识的部分，并且在无需发送媒体的其他部分的情况下，通过以下来响应来自主机的请求：通过网络连接发送媒体数据的所取回部分。
在一些实现方式中，存储控制设备生成媒体对象数据的副本，并且同时执行以下二者：将媒体对象数据提供给存储设备以用于存储、以及将媒体对象数据的副本提供给计算引擎以用于处理来生成元数据。
在一些实现方式中，存储控制设备按逻辑上分开的方式存储媒体对象数据，从而使其彼此分开地选择性地可取回。
附图说明
在结合附图考虑以下具体实施方式时，本公开的其他特征、其性质以及各种优点将变得显而易见，其中相似的附图标记始终指代相似的部分，并且其中：
图1是图示了根据本公开的一些实现方式的用于生成描述非结构化数据对象的元数据的组件、以及组件之间的数据流的框图；
图2是图示了根据本公开的一些实现方式的用于生成描述非结构化数据对象的元数据的组件、以及组件之间的数据流的另一框图；
图3是图示了根据本公开的一些实现方式的将元数据和媒体数据存储在非易失性存储设备中的框图；
图4是图示了根据本公开的一些实现方式的将元数据和媒体数据存储在非易失性存储设备中的另一框图；
图5是图示了根据本发明的一些实现方式的计算引擎的组件的框图；
图6是图示了根据本公开的一些实现方式的数据结构的组件的框图，计算模型从该数据结构中提取；
图7是表示根据本公开的一些实现方式的用于生成描述非结构化数据对象的元数据的过程的流程图；
图8是表示根据本公开的一些实现方式的用于生成描述数据对象的元数据的另一过程的流程图；以及
图9是表示根据本公开的一些实现方式的用于基于单独取回的描述数据对象的元数据来取回数据对象的各部分的过程的流程图。
具体实施方式
本文所述的实现方式提供了用于在存储边缘处生成描述非结构化数据对象的元数据的装置和方法。存储边缘指代一环境，该环境对于存储设备(诸如一个或多个固态存储驱动装置或硬盘驱动装置)是本地的。被定位在存储边缘处的存储控制设备用来控制数据在一个或多个存储设备处的存储和取回。每个存储设备可以被耦合到相应的存储控制设备，并且由相应的存储控制设备控制。备选地，若干存储设备可以被耦合到单个存储控制设备，并且由单个存储控制设备来控制，单个存储控制设备诸如在题为“STORAGE AGGREGATORCONTROLLER WITH METADATA COMPUTATION CONTROL”的美国专利申请号16/264,248中所描述的存储聚合器。存储控制设备接收诸如媒体对象的非结构化数据对象，描述性元数据尚未针对该数据对象而生成。存储控制设备的控制电路标识数据对象的诸如数据类型的类型。基于该类型，计算模型从多个计算模型之中选择。计算引擎，比如相对于存储边缘或存储设备是本地的计算引擎，使用所选择的计算模型来生成描述数据对象的元数据。存储控制设备将元数据提供给存储设备以用于在数据对象内、或与数据对象相关联的存储，从而使元数据与数据对象的数据分开地选择性地可取回。元数据可以在以下项中被嵌入到数据对象中：数据对象的头部或其他离散部分，其可以与数据对象分开地取回。例如，数据对象可以包括视频数据，并且元数据可以被生成为文本文件。存储控制设备将元数据文本和视频数据组合为单个文件，该单个文件具有逻辑上分开的文本部分和视频部分。元数据然后可以通过仅访问文件的文本部分而分开地被取回。备选地，元数据可以与数据对象的数据交织。例如，视频数据中所包含的每个关键帧包括某种元数据，其描述了视频数据中相应关键帧所应用于的部分。作为第三备选方案，元数据可以被存储在物理上分开的存储设备中，或者可以被存储在数据对象被存储的存储设备的逻辑上分开的部分中。例如，数据对象可以被存储在第一固态驱动装置中，而元数据可以被存储在第二固态驱动装置中。作为另一示例，数据对象可以被存储在固态驱动装置的第一分区中，并且元数据可以被存储在相同固态驱动装置的第二分区中。对数据的任何其他合适的物理或逻辑分开也可以使用。
本公开描述了方法和系统，用于在存储边缘处生成描述非结构化数据对象的元数据、并且存储元数据，从而使元数据与数据对象的数据分开地选择性地可取回。存储控制设备包括控制电路和计算引擎，诸如合适的人工智能(AI)或机器学习(ML)引擎。存储控制设备被定位在存储边缘处，并且接收待存储在存储设备中的非结构化数据(诸如媒体对象)。存储控制设备生成针对非结构化媒体对象的媒体数据的元数据，并且将元数据存储在存储设备中，使得元数据可以与非结构化媒体数据分开地选择性地可取回。
如本文所使用的，术语“存储边缘”意指对于非易失性存储设备为本地的模块或组件。例如，控制器被设置在存储边缘上，该控制器控制一个或多个存储设备的操作，以在非易失性存储器的一个或多个实例处存储或取回数据。存储边缘例如在专用存储设备中或者在存储网络处找到，并且与远程被定位在比如主机计算机中、或数据中心处的处理器分开。存储边缘与远程主机之间的通信通过计算机网络连接进行。
如本文中所使用的，术语“媒体数据对象”、“数据对象”、“媒体对象”或“对象”意指各种类型的数据，其由主机系统上运行的应用发出、并且可以存储在存储设备上。“媒体对象”或“对象”的示例可以包括但不限于视频、声音记录、静态图像、文本对象(诸如文本消息和电子邮件)、从各种类型的传感器(诸如，机动车传感器和物联网(IoT)传感器)获得的数据、数据库对象和/或任何其他合适的对象。在许多情况下，媒体对象是非结构化的。如本文中所使用的，术语“非结构化对象”意指对象的媒体内容(“内容媒体数据”)(例如，文本内容、音频内容、图像内容或视频内容)以原始形式提供，并且未根据固定的字段格式而被提前组织。非结构化对象不会使用元数据而先验地标记，元数据定义了每帧的内容或其他内容部分的任何方面。非结构化数据是非事务性的，并且其格式不容易符合关系数据库架构。
如本文所使用的，术语“元数据”指代非易失性存储设备中所存储的媒体对象的实际数据内容的高级表示。“元数据”可以是实际数据内容的抽象层，其以紧凑格式给出数据内容的描述或意义。元数据可以以各种方式从媒体对象生成，媒体对象几乎总是非结构化的。示例元数据可以包括标签、标记、数据的类型、在数据内容中所检测的对象/概念/情感、数据内容内的这样的对象/概念/情感的空间/时间位置等。
如本文所使用的，术语“人工智能(AI)模型”指代任何合适的AI算法，其例如在深度神经网络或任何递归神经网络或其任何变型上实现。在一些实现方式中，AI模型适当地是任何其他监督学习、或非监督学习、或强化学习的算法。AI模型使用“训练集”——已知是准确的媒体对象和对应元数据的主体——来训练。经训练的AI模型然后被应用于生成针对其他媒体对象的元数据。接收经预训练的AI模型、并且使用经预训练的AI模型来计算对象的元数据的软件或硬件模块在本文中被称为“AI引擎”或“AI接口引擎”。在一些实现方式中，若干不同的AI模型将被应用于非结构化或部分结构化媒体对象。
根据本公开的一个方面，使用互联网或其他合适联网协议，通过诸如局域网(LAN)或广域网(WAN)的网络，存储控制设备从主机设备接收非结构化数据。备选地，非结构化数据从与计算机本地连接的捕获设备(例如，视频记录器、音频记录器、传感器)接收。在这样的实现方式中，存储控制设备被并入计算机的存储设备中并且通过总线从计算机的其他部分接收数据。存储控制设备创建数据对象的副本并且将原始数据对象存储在存储设备中，同时使用计算引擎以使用副本来生成元数据。在生成元数据之后，数据对象的副本不再被要求。元数据以与非结构化数据选择性可取回的方式被存储，并且数据对象的副本被删除、被标明以用于删除、被覆写或者以其他方式从存储控制设备移除。
如下所述，元数据与非结构化数据分开地存储，以便促进元数据的选择性可取回性而不要求取回相关联的非结构化数据。例如，元数据和非结构化数据可以被存储在数据文件或其他数据结构的一个或多个逻辑上可分开的部分中。在一个实现方式中，包含元数据的一个或多个部分被结构化为自包含的数据文件，自包含的数据文件可以由存储控制设备在非结构化数据的上下文之外进行访问和读取。附加地，包含元数据的一个或多个部分可以在数据文件或数据结构内被标记或以其他方式被标识，以允许存储控制设备容易地对它们进行定位和取回。另外，元数据标识或以其他方式包括与该元数据描述的非结构化数据的关联性。这允许存储控制设备基于对元数据的研究或分析来取回非结构化数据的相关部分。该实现方式和其他实现方式在题为“METADATA GENERATION FOR MULTIPLE OBJECTTYPES”的美国专利申请号16/262,971中进一步描述。
对元数据以从非结构化数据选择性地可取回的方式的存储可以允许在索引和搜索功能中更高的效率。不同于必须从非结构化数据对象中解析出元数据，搜索引擎或索引器可以在无需取回媒体数据的情况下，访问或选择性地取回描述对象的元数据。该选择性取回减少了为了取回元数据或非结构化数据对象的相关部分而需要访问的数据的量，并且减少了在以下情况时处理器负载：执行搜索或索引功能、或取回先前非结构化数据的相关部分(诸如媒体对象的相关部分)。
在存储边缘处而不是在主机设备处生成元数据还导致在主机设备、处理器与存储边缘之间较少的待转移的数据，这进而导致从摄取点、或从中央数据处理中心更快的总体数据转移速度。例如，当元数据在摄取点、数据处理中心或云服务器(即，远离存储边缘的位置)处生成时，包含数据对象的非结构化媒体数据必须被转移到存储边缘，并且有时还要从存储设备转移到比如在远程数据中心处的远程处理器，以标识和/或标记媒体中的各种对象。这需要通过计算机网络转移海量数据，从而影响网络中的可用带宽并且要求可观的时间，并且最终影响总体网络速度和/或性能。通过将元数据的生成移动到存储边缘，元数据可以很容易地针对显著更大量的非结构化数据而生成，从而促进使用元数据来标识所存储的非结构化内容媒体数据的相关部分。较大量的内容媒体可以针对相关分段而被过滤，并且相关分段可以从存储设备转移，而无需通过计算机网络将非结构化内容媒体数据的整个大体量主体从存储装置转移到数据中心设施。这促进显著减少需要转移的内容媒体数据的数量，并且促进用以更快速地精确指出、并且查看仅内容媒体数据中相关的那些分段。因此，用以使非结构化数据的相关部分可用于从存储边缘取回所要求的时间量通过以下二者之间的差异而减少：在一方面，向数据中心设施转移大体量的内容数据媒体所需的时间量，该大体量的内容数据媒体需要在数据中心处使用计算引擎生成元数据；以及在另一方面，向数据处理设施转移相对少量的数据所需的时间量，该相对少量的数据包含在存储边缘处生成的元数据、以及内容数据的与解决对特定需要相关的那些分段二者。例如，元数据针对监视视频而生成，以标记监视视频中所捕获的人的情绪，或者监视视频中所捕获的特定人或活动的存在。仅具有所期望的人、情绪或活动的相关帧可能需要被发送(例如，到数据处理中心或人类操作者)以用于进一步分析。作为另一示例，元数据被生成用于音频记录，以标记特定的话音序列，诸如在机器人服务台处进行的对话的分段。元数据针对特定的话音序列而进行搜索，并且仅包含相关序列的相关记录部分而非整个记录被发送到一设施，在该设施处，相关记录部分被分析并且被用来改进自动会话中的机器人响应。
根据本公开的另一方面，先前接收的非结构化数据从存储设备中取回，元数据使用第一计算模型，针对先前接收的非结构化数据而先前地生成。使用不同于第一计算模型的第二计算模型，第二元数据针对所取回的非结构化数据而生成。第二计算模型可以是第一计算模型的经更新的版本，第二计算模型可以更准确地生成与第一计算模型相同类型的元数据。第二元数据与第一元数据进行比较，并且第二元数据的与第一元数据的对应元数据不同的任何元数据、或者第二元数据的不在第一元数据中存在的任何元数据被存储。备选地，第二计算模型可以被配置为生成与第一计算模型不同类型的元数据。第二元数据也可以被存储，以使第二元数据与先前存储的非结构化数据、以及先前生成的第一元数据二者分开地选择性地可取回。备选地，第二元数据与第一元数据合并，并且经合并的元数据被存储，以使经合并的元数据与先前存储的非结构化媒体分开地选择性地可取回。
图1是图示了根据本公开的一些实现方式的用于生成描述非结构化数据对象的元数据的组件、以及组件之间的数据流的框图。存储控制设备102被定位在存储边缘100处。非结构化数据对象104在存储控制设备处从主机设备接收，主机设备诸如是音频记录器、视频记录器、成像传感器(例如，红外传感器)、环境传感器(例如，温度计)、运动传感器(例如，加速度计、雷达、激光雷达)或服务器(“摄取服务器”)，来自任何这样的记录器或传感器的数据首先在该服务器处被接收。
在一些实现方式中，控制电路106被配置为使用输入数据接口来接收、取回或访问非结构化数据104。输入数据接口可配置，以根据需要来访问各种类型的非结构化数据。输入数据接口的配置可以通过将输入数据接口参数应用于输入数据接口来实现。如以下结合图6所描述的，输入数据接口参数可以与特定计算模型相关联地存储，该特定计算模型被配置为处理特定格式的非结构化数据。如果非结构化数据104以与特定格式不同的格式被接收，则控制电路106被配置为将非结构化数据104转换为特定格式，以促进描述非结构化数据的元数据的生成。例如，视频数据可以以诸如H.262的经压缩格式来接收，而计算模型被配置为处理H.264视频数据。输入数据接口参数标识一组视频压缩格式，该一组视频压缩格式可以被转换为所要求的H.264格式，并且输入数据接口参数可以附加地供应格式转换工具，以由控制电路106使用来将视频数据转换为H.264格式。作为另一示例，图像数据可以以JPEG格式接收，而计算模型被配置为处理以位图格式的图像。输入数据接口参数将JPEG标识为合适输入格式以用于转换为位图格式，并且提供由控制电路106使用的转换工具。
在一些实现方式中，控制电路106可以使用硬件接口来接收、取回或访问非结构化数据104。硬件接口可配置，以从存储控制设备102的各种物理或逻辑端口和/或连接来访问数据。硬件接口的配置可以通过将硬件接口参数应用于硬件接口来实现。如以下结合图6所描述的，硬件接口参数可以与特定计算模型相关联地存储。响应于对特定计算模型的选择(例如，响应于指令118，指令118可以在接收非结构化数据之前被接收)，控制电路106将硬件接口参数应用于硬件接口。硬件接口参数可以指定网络连接的特定逻辑端口，诸如TCP端口20(FTP)、80(HTTP)或115(SFTP)。硬件接口参数可以指定物理端口或连接，诸如以太网端口、串行端口、USB端口或其他数据端口，存储控制设备102可以通过该其他数据端口来接收非结构化数据。硬件接口侦听所指定的端口，并且允许控制电路106访问通过所指定的端口接收的数据。
在一些实现方式中，非结构化数据104被加密，以用于传输给存储边缘。为了允许处理非结构化数据104，控制电路106使用解密参数来对非结构化数据104进行解密。如以下结合图6所描述的，解密参数可以与特定计算模型相关联地存储。响应于对特定计算模型的选择(例如，响应于指令118，指令118可以在接收非结构化数据之前被接收)，控制电路系统106取回解密参数。解密参数可以包括预定义的解密密钥、或解密密钥生成例程，诸如RSA算法。控制电路应用解密密钥、或使用RSA算法来生成并应用解密密钥，以访问非结构化数据104。
在访问或接收非结构化数据104时，存储控制设备102的控制电路106创建两个相同的数据流。第一数据流包含如原始接收的非结构化数据104，并且第二数据流包含由控制电路106生成的非结构化数据104的相同副本。控制电路106然后将第一数据流108存储在非易失性存储器110中。非易失性存储器110可以是任何非易失性数据存储设备，诸如硬盘驱动装置、闪速存储器阵列(例如，NOR-闪速存储器或NAND-闪速存储器)或任何其他合适类型的数据存储介质。上述解密和/或格式转换可以对如初始接收的非结构化数据104执行，或者仅对待由计算引擎116处理的第二数据流执行。
控制电路106还确定非结构化数据的数据类型，诸如视频数据、图像数据、音频数据或任何其他数据类型。控制电路106将与数据流108相同的第二数据流114引导到存储控制设备102的计算引擎116。计算引擎116使用计算模型来生成元数据。例如，计算引擎116可以是机器学习、人工智能或其他合适的元数据生成引擎。由计算引擎116所使用的计算模型可以是AI模型并且可以采用矩阵乘法运算、卷积运算、神经网络中定义的其他运算或任何其他合适的数据处理方法或运算。存储控制设备102选择待由计算引擎116使用的计算模型，并且向计算引擎116传输指令118来使用所选择的模型。存储控制设备102选择与所确定的数据类型相对应的计算模型，或者选择期望从内容中提取的元数据的类型。例如，一些计算模型适合于标识图像帧中的面部或声音记录的分段中的语音，而其他计算模型被设计为例如标识图像帧中的人的动作或情绪。一些计算模型标识对象在帧或数据流内的位置。一些计算模型被配置为标识媒体数据的分段的多个不同特性。
在一个实现方式中，计算引擎116处理非结构化数据的副本，以将非结构化数据分段为帧、生成描述比如非结构化数据中内容的位置以及内容的元数据。如以下结合图3和图4所描述的，元数据120然后被存储在非易失性存储装置110中，以与非结构化数据分开地选择性地可取回。这可以允许在元数据的索引和搜索功能的更高效率，这些功能用以例如提取内容媒体数据的相关分段。
在一些实现方式中，上述媒体数据和元数据在非易失性存储装置110中的存储使用硬件接口来实现，硬件接口使用上述硬件接口参数来进行配置，硬件接口参数可以进一步指定特定端口或连接，存储控制设备102通过该特定端口或连接将媒体对象数据和元数据存储在非易失性存储装置110中。例如，硬件接口参数可以指定特定服务器或数据存储设备的物理地址或逻辑地址，在该特定服务器或数据存储设备中存储媒体对象数据和元数据。备选地或附加地，硬件接口参数可以指定诸如以太网端口、串行端口、USB端口或其他数据端口的特定端口，存储控制设备102可以通过该特定端口来访问非易失性存储装置110。
图2是图示了根据本发明的一些实现方式的用于生成描述非结构化数据对象的元数据的组件、以及组件之间的数据流的另一框图。如果针对已存储在非易失性存储装置110中的非结构化数据对象，没有元数据已生成，或者如果附加元数据针对非结构化数据对象待生成，则存储控制设备102从非易失性存储装置110取回内容媒体数据200。如以上结合图1所描述的，控制电路106标识媒体数据200的数据类型。控制电路106将内容媒体数据202提供给计算引擎116以用于处理。在一些情形中，内容数据是非结构化的，而在另一些情形中，内容利用部分元数据而被部分地结构化，部分元数据先前针对内容而生成。存储控制设备102选择计算模型，并且将指令204传输给计算引擎116以使用所选择的计算模型。如以上结合图1所描述的，存储控制设备102基于媒体数据200的所确定的数据类型来选择计算模型。如果描述非结构化数据对象的元数据已存在，则控制电路106确定被用来生成元数据的第一计算模型，并且选择待使用的第二计算模型。例如，元数据可以已使用用于在监视视频中标识面部的计算模型而生成。控制电路106可以选择用于在相同监视视频中标识面部表情、动作、情绪或语音的计算模型作为第二计算模型。如以下结合图3和图4所描述的，使用第二计算模型所生成的元数据206然后被存储在非易失性存储装置110中，以使其与非结构化数据分开地选择性可取回。使用第一计算模型所生成的元数据、以及使用第二计算模型所生成的元数据可以彼此分开地存储，以便是选择性地可取回的。备选地或附加地，使用第二计算模型所生成的元数据可以与使用第一计算模型所生成的元数据进行组合，以生成单个组的元数据，其待以与非结构化数据分开地选择性地可取回的方式而存储。
图3是图示了本公开的一些实现方式的元数据和媒体数据在非易失性存储装置110中的存储的框图。元数据和媒体数据被存储在非易失性存储装置110中的单个数据文件300内。数据文件300具有一文件格式，该文件格式在元数据部分302和媒体数据部分304中，分别托管基于文本的元数据和非结构化媒体数据。包含非结构化媒体数据的数据流108在非易失性存储装置110处被接收，并且数据文件300被创建，以例如在媒体数据部分304中包含非结构化媒体数据。由计算引擎116生成的元数据120也在非易失性存储装置110处被接收。非易失性存储装置110将元数据存储在数据文件300的元数据部分302中。在一个实现方式中，元数据部分302与媒体数据部分304分开地存储。在另一实现方式中，相应元数据部分302和媒体数据部分304被存储在一起、例如交织在一起，但使其相互可分开。数据文件300可以利用元数据部分302和媒体数据部分304两者来创建。备选地，如果非结构化媒体数据108在元数据120之前在非易失性存储装置110处被接收，则数据文件300可以仅使用媒体数据部分304来创建，并且在接收到元数据120时，元数据部分302可以被附加、追加到媒体部分304，或与媒体部分304级联(concatenate)或交织。如上所述，通过与媒体数据108分开地存储元数据120，元数据120可以与媒体数据108分开地选择性地可取回，这进而导致访问元数据120，或基于元数据120访问媒体数据108的特定部分的提高的效率。
图4是图示了根据本公开的一些实现方式的元数据和媒体数据在非易失性存储装置110中的备选存储的另一框图。非易失性存储装置110可以包括物理上分开的存储区域(例如，若干硬盘驱动装置或固态驱动装置)或逻辑上分开的存储区域(例如，单个硬盘或固态驱动装置上的若干分区)。非易失性存储装置110可以指派用于元数据存储的第一存储区域400、以及用于数据对象存储的第二存储区域402。数据流108在非易失性存储装置110处被接收。非易失性存储装置110确定所接收的数据流108包含非结构化媒体数据，并且将非结构化媒体数据存储在数据对象存储装置402中。非易失性存储装置110还接收由计算引擎116生成的元数据120。非易失性存储装置110确定所接收的数据是基于文本的元数据，并且将元数据120存储在元数据存储装置400中。如以上，元数据120的存储将是与媒体数据108可分开的允许元数据120与媒体数据108分开地可取回，这进而导致访问元数据120、或基于元数据120访问媒体数据108的特定部分的提高的效率。
在一些实现方式中，计算模型被存储在存储控制设备102的存储器中的相应数据结构中。计算引擎116或控制电路106从其相应的数据结构中提取所选择的计算模型，以用于由计算引擎116使用。图5是图示了根据本公开的一些实现方式的计算引擎的组件的框图。计算引擎116包括数据结构运行时模块500。数据结构运行时模块500提供一环境，其中数据结构的内容可以由计算引擎116执行、或应用于计算引擎116。附加地，数据结构运行时模块500分配特定数据结构所需要的虚拟系统资源。换言之，数据结构运行时模块500提供应用层，在应用层中，如以下结合图6所述的数据结构的内容可以使用计算引擎116的硬件(诸如CPU 506和硬件加速器512)来执行。计算引擎116还包括编制(orchestration)代理502。在数据结构运行时模块500负责执行数据结构(诸如以下结合图6所描述的数据结构514n)时，编制代理502确定哪个数据结构将执行。编制代理502接收诸如指令118的命令来选择特定数据结构，或者接收待处理的非结构化数据对象的所确定的数据类型的指示，并且确定适当的数据结构。编制代理502将请求516传输给存储控制设备102的存储器，以从多个数据结构(514a，514b，514c，...，514n)之中取回数据结构(例如，数据结构514b)。存储控制设备102的存储器传输响应318，该响应包含所选择的数据结构514b，其然后由计算引擎116加载到数据结构运行时模块500中。
数据结构运行时模块500从数据结构514b提取计算模型。数据结构运行时模块500将所提取的计算模型520加载到计算引擎116的易失性存储器510中。数据结构运行时模块500还可以从所选择的数据结构提取所需要的其他数据和参数，以使用所提取的计算模型520来处理媒体数据。在一个实现方式中，计算引擎116包括在CPU 506上运行的操作系统504，数据结构运行时模块500和编制代理502通过该操作系统来执行上述动作。
在一个实现方式中，计算引擎116还包括硬件加速器512。计算模型包括数千个操作，其无法在CPU 506上高效执行。计算引擎116使用硬件加速器512来运行所提取的计算模型。
图6是图示了根据本公开的一些实现方式的数据结构的组件的框图，计算模型从数据结构的组件提取。在一些实现方式中，附加于经编译的计算模型600，诸如数据结构514n的数据结构包括若干其他项和参数，其可以由计算引擎116在处理非结构化数据对象中使用。例如，输入数据接口602提供针对非结构化数据的输入格式的参数。例如，特定数据结构内所包含的计算模型可以被配置为处理以位图类型格式的图像。如果媒体对象数据供应以诸如JPEG的经压缩格式的图像，则计算引擎116必须将经压缩的图像转换为位图。媒体对象数据可以被加密。例如，媒体数据可能受到安全问题或版权的影响。数据加密/解密604提供了访问非结构化数据所需的加密或解密算法和密钥(例如通过将数据解密)。数据预处理模块606提供了用于准备用于处理的非结构化数据的机制，诸如如上所述的输入数据接口602所要求的非结构化数据的转换。附加地，数据预处理模块606可以提供用于从媒体对象数据中提取单独视频帧或音频样本的机制。在一个实现方式中，数据后处理模块608提供用于对由计算模型600所生成的元数据进行格式化的参数。例如，数据后处理模块提供特定数据结构和/或数据字段，其中与媒体对象数据有关的元数据将被放置。数据结构或数据字段特定于被处理的数据类型、以及经编译的计算模型600的配置二者。硬件接口610提供了用于使用特定组件(诸如网络接口或串行数据连接)来访问数据的参数。
图7是表示根据本公开的一些实现方式的用于生成描述非结构化数据对象的元数据的过程700的流程图。作为非限制性示例，非结构化数据对象是内容媒体数据对象。在702处，存储控制设备102使用控制电路106从主机设备接收媒体对象。例如，控制电路106可以包括网络接口或其他数据输入连接，数据通过网络接口或其他数据输入连接而从远程源接收。远程源包括诸如视频记录器、音频记录器、摄取服务器、云服务器等的任何主机设备或服务器，在主机设备或服务器处，媒体对象生成和/或传输到存储边缘，。在存储边缘处，针对存储边缘处已存在的数据或所接收的数据执行元数据生成，而不是针对数据存储中心处或分布式存储系统(即，云存储)处存储的数据执行元数据生成，导致跨网络所需要转移的数据的体量的显著减少。在一些实现方式中，存储控制设备102可以从主机设备接收用以将媒体对象数据存储在非易失性存储装置110中的请求。在704处，控制电路106创建媒体对象数据的副本，由此导致包含相同内容数据的两个数据流。在706处，控制电路106将一个数据流提供给非易失性存储装置110以用于存储。在708处，控制电路106标识媒体对象数据的数据类型。例如，媒体对象数据可以是视频流。控制电路106可以处理、检查或以其他方式检验分组头部，以确定从主机设备接收的数据的类型。控制电路106可以还确定数据格式，诸如MPEG-2、MPEG-4或其他视频数据格式。作为另一示例，媒体对象数据可以是音频流。控制电路106可以处理，检查或以其他方式检验分组头部，以确定所接收的数据的类型，并且可以还确定数据格式，诸如MP3、WAV或其他合适的音频数据格式。作为第三示例，媒体对象数据可以是从诸如红外传感器的成像传感器捕获的传感器数据。控制电路106可以从分组头部数据(诸如传感器的签名)标识传感器的类型。
在710处，控制电路106基于所标识的数据类型，从多个计算模型之中选择计算模型，以用于由计算引擎116使用。例如，控制电路106选择一计算模型，以用于对视频数据的连续帧执行图像处理来标识每个帧中所描绘的对象。在一些实现方式中，由控制电路106对计算模型的选择还基于期望生成的元数据的类型。例如，若干计算模型对于处理视频数据是可用的，每个计算模型生成不同的一组元数据。一个计算模型可以标识视频数据中的面部，而另一计算模型可以标识视频数据中的动作。控制电路106可以从用户、或从存储边缘处运行的程序接收输入，以生成特定类型的元数据。控制电路106因此选择被配置为处理视频数据、并且生成期望元数据的计算模型。附加概念在题为“METADATA GENERATION FORMULTIPLE OBJECT TYPES”的美国专利申请号16/262,971中描述。
在712处，计算引擎116使用所选择的计算模型来处理第二数据流，以生成描述媒体对象数据的元数据。在714处，使用以上结合图3至图4描述的方法，控制电路106将元数据提供给非易失性存储装置110以用于存储，从而使元数据与媒体对象数据分开地从非易失性存储装置110选择性地可取回。因此，元数据可以与媒体对象数据分开地取回，由此使得上述过程能够独立于媒体对象数据而仅取回由第一计算模型生成的元数据。
图8是图示了根据本公开的一些实现方式的用于生成描述数据对象的元数据的另一过程800的流程图。在一些实现方式中，已使用第一计算模型处理来生成第一元数据的媒体对象数据使用第二计算模型再次处理，以生成附加元数据或补充元数据。在802处，控制电路106取回描述媒体对象数据的第一元数据，第一元数据先前使用第一计算模型而生成。例如，响应于哪个非易失性存储装置110提供第一元数据，控制电路806可以使用SQL“选择”(SELECT)命令，来使用查询非易失性存储装置110或元数据存储装置400。备选地，控制电路106可以访问非易失性存储装置110的文件分配表，以标识第一元数据被存储的存储器位置或存储器地址范围，并且从所标识的位置或地址范围中取回第一元数据。
在804处，控制电路106标识被用来生成第一元数据的第一计算模型。例如，在一个实现方式中，控制电路106可以分析先前生成的元数据的类型，或者分析关于一个或多个计算模型，第一元数据内所包含的特定元数据字段，或者分析可用计算模型的索引来标识第二计算模型以用于处理所标识的数据类型，其产生第一元数据内所包含的特定元数据字段或该元数据的类型。例如，如果第一元数据包含描述随时间的面部和面部位置的字段，则控制电路106确定第一元数据使用被配置为在视频内容中标识面部的计算模型来产生。
在806处，控制电路106确定待生成的元数据的类型。控制电路106可以确定第一计算模型的更新版本是否存在。例如，控制电路106标识第一计算模型被编译的日期和时间，或者何时包含第一计算模型的数据结构首次可用。如果第一计算模型的更新版本存在，则控制电路106确定与第一元数据相同类型的元数据应生成。备选地，控制电路106可以自动选择元数据的类型来补充第一元数据，或者可以从用户接收标识待生成的元数据的特定类型的输入。例如，控制电路106将第一计算模型标识为图像处理模型，以用于标识在视频帧中所描绘的诸如面部的对象。控制电路106然后确定标识与面部相关联的附加特性(诸如情绪)的元数据待生成。备选地，控制电路106确定描述视频数据内的口述词的元数据待生成。
在808处，控制电路106基于待生成的元数据的所确定的类型来选择计算模型。例如，如果控制电路106确定待生成的元数据的类型与第一元数据的类型相同，从而指示第一计算模型的更新版本存在，则控制电路106选择经更新的计算模型。备选地，如果不同类型的元数据待生成，则控制电路106选择被配置为生成该类型的元数据的计算模型。例如，如果描述情绪的元数据待生成，则控制电路106选择一计算模型，该计算模型被配置为对其中面部被标识的帧进行处理以标识情绪。如果描述口述词的元数据待生成，则控制电路106可以选择音频处理计算模型，以处理整个视频的音频数据或视频中包含面部的分段的音频数据，来标识视频内包含口述词的分段，并且然后使用相同或不同的计算模型将口述词文本化和/或分析话音的内容。备选地或附加地，控制电路106可以选择文本处理计算模型来提取和/或处理内容媒体中的文本、或与内容媒体相关联的文本，文本诸如隐藏式字幕(closed captioning)。
在810处，控制电路106基于所选择的计算模型的配置，从非易失性存储装置110取回媒体对象数据的至少一部分。例如，第一计算模型标识出视频内容中的面部，并且所选择的计算模型被配置为基于视频数据中的面部来标识情绪。并非从非易失性存储装置110中取回整个视频内容，控制电路106使用由第一计算模型生成的第一元数据来标识视频内容中包含面部的各部分，以用于由计算引擎116使用所选择的计算模型来进行处理。控制电路106然后仅取回视频内容的那些被标识的部分。
在812处，计算引擎116使用第二计算模型来生成第二元数据，第二元数据描述媒体对象数据中的内容。在814处，使用以上结合图3和图4所述的方法，控制电路系统106将第二元数据提供给非易失性存储装置110以用于存储，从而使第二元数据与媒体对象数据分开地从存储设备选择性地可取回。因此，元数据可以与媒体对象数据分开地取回，从而使得上述过程能够独立于媒体对象数据而仅取回由第一计算模型生成的元数据。
图9是表示根据本公开的一些实现方式的用于基于描述数据对象的经分开取回的元数据来取回数据对象的各部分的过程900的流程图。在902处，存储控制设备102从主机设备接收针对满足一个或多个准则的媒体对象的请求。例如，媒体对象是监视视频，并且主机设备请求包含人面部的视频数据。在904处，存储控制设备102从非易失性存储装置110中仅取回描述媒体对象数据的元数据。例如，存储控制设备102访问媒体对象的逻辑上可分开的部分，其中存储有描述监视视频的元数据，并且存储控制设备102提取、复制或以其他方式取回逻辑上可分开的部分中所包含的元数据，而无需取回任何监视视频数据。
在906处，存储控制设备102使用控制电路106来分析元数据，以标识媒体对象数据的满足一个或多个准则的部分。例如，控制电路106分析描述监视视频的元数据，并且标识监视视频中满足所请求的准则的部分——在本示例中是监视视频中包含人面部的部分。在908处，存储控制设备102与媒体对象数据的其他部分分开地仅取回媒体对象数据的所标识的部分，媒体对象数据的所标识的部分包含满足所请求的准则的对象，媒体对象数据的其他部分不包括包含满足所请求的准则的对象的部分。例如，存储控制设备102仅取回监视视频中包含基于元数据而被标识的人面部的部分。在910处，媒体对象数据的所取回的一个或多个部分通过计算机网络而被发送给主机设备。在一个实现方式中，包含满足所请求准则的对象的所标识的部分通过计算机网络而被发送给主机设备。然而，媒体对象数据的不满足所请求准则(诸如确实包含人面部的那些部分)的其他部分不需要被发送。
结合图1至图9讨论的各种实现方式通过一个或多个电子电路的各种电子组件来执行，电子电路诸如但不限于集成电路、专用集成电路(ASIC)、DSP等。贯穿本公开讨论的各种组件，诸如但不限于控制电路和硬件加速器(例如，控制电路106和硬件加速器312)等被配置为包括一组电子电路组件，并且在一个或多个电子电路上通信地操作。每个电子电路被配置为包括但不限于以下任意项：逻辑门、存储器单元、放大器、滤波器等。本文所公开的各种实现方式和组件被配置为由一个或多个暂时性或非暂时性处理器可读介质上所存储的处理器可执行指令来至少部分地操作和/或实现。
虽然本文已示出和描述了本公开的主题的各种实现方式，但是这样的实现方式仅通过示例的方式提供。与本文描述的实现方式有关的诸多变型、改变和替代可应用，而不脱离本公开。注意的是，在实践本公开时，可以采用本文所述的本公开的实现方式的各种备选方案。意图的是，所附权利要求限定本公开的范围，并且由此涵盖这些权利要求及其等同物的范围内的方法和结构。
虽然在附图中以特定顺序描绘了操作，但这不应被解释为要求以所示的特定顺序或以连续的顺序来执行这样的操作，或者必须执行所有图示的操作来实现期望的结果。
本说明书的主题已根据特定方面进行了描述，但是其他方面可以被实现并且在所附权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，图7、图8和图9中描绘的过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。在某些实现方式中，多任务和并行处理可能是有利的。其他变型在所附权利要求的范围内。

Claims (20)

1.一种用于存储和管理媒体对象数据的方法，所述方法包括：
在存储控制设备处接收媒体对象数据，所述存储控制设备被定位在远离主机设备的存储边缘处、并且被耦合到存储设备；
在所述存储控制设备处，使用所述存储控制设备的控制电路来标识所述媒体对象数据的类型；
在所述存储控制设备处，基于所标识的所述类型，从多个计算模型中选择计算模型，以用于由所述存储控制设备的计算引擎使用；
由所述计算引擎使用所选择的所述计算模型，生成描述所述媒体对象数据的元数据；
将所生成的所述元数据提供给所述存储设备以用于所述元数据的存储，从而使所述元数据与所述媒体对象数据分开地从所述存储设备选择性地可取回。
2.根据权利要求1所述的方法，还包括：
取回与所选择的所述计算模型相关联的输入数据接口参数，所述输入数据接口参数标识数据格式，所选择的所述计算模型针对所述数据格式而被配置；
在所述存储边缘处，使用所述输入数据接口参数来访问所述媒体对象数据；以及
将所述媒体对象数据转换为所标识的所述数据格式。
3.根据权利要求1所述的方法，还包括：
由所述存储控制设备取回与所选择的所述计算模型相关联的硬件接口参数；
将所述硬件接口参数应用于硬件接口；
在所述存储边缘处，使用所述硬件接口从第一物理连接访问所述媒体对象数据；以及
使用所述硬件接口，通过第二物理连接来将所述媒体对象数据和所述元数据存储在所述存储设备中。
4.根据权利要求1所述的方法，其中所述媒体对象数据被加密，所述方法还包括：
由所述存储控制设备取回与所选择的所述计算模型相关联的解密参数；以及
在所述存储边缘处，使用所述解密参数来对所述媒体对象数据进行解密。
5.根据权利要求1所述的方法，其中所述媒体对象数据从所述存储设备被取回，所述方法还包括：
标识被用来生成所述元数据的所述计算模型，所述计算模型是第一计算模型，并且所述元数据是第一元数据；
选择与所述第一计算模型不同的第二计算模型，以生成与所述第一元数据不同的第二元数据；以及
存储所述第二元数据，以使所述第二元数据从所述第一元数据、以及从所述媒体对象数据选择性地可取回。
6.根据权利要求5所述的方法，还包括：
将所述第一元数据和所述第二元数据组合，以生成经组合的元数据；以及
将经组合的所述元数据提供给所述存储设备以用于经组合的所述元数据的存储，从而使经组合的所述元数据与所述媒体对象数据分开地从所述存储设备选择性地可取回。
7.根据权利要求1所述的方法，还包括：
在所述存储边缘处，从所述主机设备接收针对包含满足一个或多个准则的对象的媒体对象数据的请求。
8.根据权利要求7所述的方法，还包括：响应于针对包含满足所述一个或多个准则的对象的媒体对象数据的所述请求：
与所述媒体对象数据分开地、从所述存储设备仅取回描述所述媒体对象数据的所述元数据；
基于所取回的所述元数据，标识所述媒体对象数据的满足所述一个或多个准则的一个或多个部分；
在所述存储边缘处，与所述媒体对象数据的其他部分分开地、从所述存储设备仅取回所述媒体对象数据的所标识的所述一个或多个部分；以及
通过计算机网络，将媒体对象数据的包含满足所述一个或多个准则的对象的所取回的部分发送给所述主机设备。
9.根据权利要求1所述的方法，还包括：
生成所述媒体对象数据的副本；以及
由所述存储控制设备同时地将所述媒体对象数据提供给所述存储设备以用于存储、并且将所述媒体对象数据的所述副本提供给所述计算引擎用于处理以生成元数据。
10.根据权利要求1所述的方法，还包括：
按逻辑上可分开的方式存储所述媒体对象数据和所述元数据，从而使所述媒体对象数据和所述元数据彼此分开地选择性地可取回。
11.一种数据存储控制器，被定位在远离主机设备的存储边缘处、并且被耦合到一个或多个存储设备，所述数据存储控制器包括：
在所述存储设备本地的控制电路，被配置为：
接收媒体对象数据以用于在所述存储设备处的存储；以及
标识所述媒体对象数据的类型；以及
与所述控制电路相关联的计算引擎，所述计算引擎被配置为：
至少基于所标识的所述类型，从多个计算模型中选择计算模型，以用于由所述计算引擎用以生成描述所述媒体对象数据的元数据；
使用所选择的所述计算模型，生成描述所述媒体对象数据的元数据；以及
将所生成的所述元数据提供给所述存储设备，以用于所述元数据的存储，从而使所述元数据与所述媒体对象数据分开地从所述存储设备选择性地可取回。
12.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：
取回与所选择的所述计算模型相关联的输入数据接口参数，所述输入数据接口参数标识格式，所选择的所述计算模型针对所述格式而被配置；
在所述存储边缘处，使用所述输入数据接口参数来访问所述媒体对象数据；以及
将所述媒体对象数据转换为所标识的所述数据格式。
13.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：
取回与所选择的所述计算模型相关联的硬件接口参数；
将所述硬件接口参数应用于硬件接口；
在所述存储边缘处，使用所述硬件接口通过第一物理连接来访问所述媒体对象数据；以及
使用所述硬件接口通过第二物理连接，将所述媒体对象数据和所述元数据存储在所述存储设备中。
14.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：
取回与所选择的所述计算模型相关联的解密参数；以及
在所述存储边缘处，使用所述解密参数来对所述媒体对象数据进行解密。
15.根据权利要求11所述的数据存储控制器，其中所述媒体对象数据从所述存储设备被取回，并且其中所述控制电路还被配置为：
标识被用来生成所述元数据的所述计算模型，所述计算模型是第一计算模型，并且所述元数据是第一元数据；
选择与所述第一计算模型不同的第二计算模型，以生成与所述第一元数据不同的第二元数据；以及
存储所述第二元数据，以使所述第二元数据从所述第一元数据、以及从所述媒体对象数据选择性地可取回。
16.根据权利要求15所述的数据存储控制器，其中所述控制电路还被配置为：
将所述第一元数据和所述第二元数据组合，以生成经组合的元数据；以及
将经组合的所述元数据提供给所述存储设备以用于经组合的所述元数据的存储，从而使经组合的所述元数据与所述媒体对象数据分开地从所述存储设备选择性地可取回。
17.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：
从所述主机设备接收针对包含满足一个或多个准则的对象的媒体对象数据的请求。
18.根据权利要求17所述的数据存储控制器，其中所述控制电路还被配置为：响应于针对包含满足一个或多个准则的对象的媒体对象数据的所述请求：
与所述媒体对象数据分开地、从所述存储设备仅取回描述所述媒体对象数据的所述元数据；
基于所取回的所述元数据，标识所述媒体对象的满足所述一个或多个准则的一个或多个部分；
与所述媒体对象数据的其他部分分开地、从所述存储设备仅取回所述媒体对象数据的所标识的所述一个或多个部分；以及
通过计算机网络，将媒体对象数据的包含满足所述一个或多个准则的对象的所取回的部分发送给所述主机设备。
19.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：
生成所述媒体对象数据的副本；以及
同时地将所述媒体对象数据提供给所述存储设备以用于存储、并且将所述媒体对象数据的所述副本提供给所述计算引擎用于处理以生成元数据。
20.根据权利要求11所述的数据存储控制器，其中所述控制电路还被配置为：按逻辑上可分开的方式存储所述媒体对象数据和所述元数据，从而使所述媒体对象数据和所述元数据彼此分开地选择性地可取回。
CN201980058977.XA 2018-07-31 2019-07-31 用于在存储边缘处生成描述非结构化数据对象的元数据的系统和方法 Pending CN112673368A (zh)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US201862712823P 2018-07-31 2018-07-31
US62/712,823 2018-07-31
US201862714563P 2018-08-03 2018-08-03
US62/714,563 2018-08-03
US201862716269P 2018-08-08 2018-08-08
US62/716,269 2018-08-08
US201862726847P 2018-09-04 2018-09-04
US201862726852P 2018-09-04 2018-09-04
US62/726,852 2018-09-04
US62/726,847 2018-09-04
US16/264,248 2019-01-31
US16/262,975 2019-01-31
US16/262,971 US11294965B2 (en) 2018-07-31 2019-01-31 Metadata generation for multiple object types
US16/264,473 2019-01-31
US16/262,971 2019-01-31
US16/264,473 US11080337B2 (en) 2018-07-31 2019-01-31 Storage edge controller with a metadata computational engine
US16/264,248 US11748418B2 (en) 2018-07-31 2019-01-31 Storage aggregator controller with metadata computation control
US16/262,975 US11036807B2 (en) 2018-07-31 2019-01-31 Metadata generation at the storage edge
US16/263,387 US11068544B2 (en) 2018-07-31 2019-01-31 Systems and methods for generating metadata describing unstructured data objects at the storage edge
US16/263,387 2019-01-31
PCT/US2019/044534 WO2020028583A1 (en) 2018-07-31 2019-07-31 Systems and methods for generating metadata describing unstructured data objects at the storage edge

Publications (1)

Publication Number Publication Date
CN112673368A true CN112673368A (zh) 2021-04-16

Family

ID=65520347

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201980050454.0A Pending CN112534423A (zh) 2018-07-31 2019-01-31 存储边缘处的元数据生成
CN201980050665.4A Pending CN112513834A (zh) 2018-07-31 2019-07-29 针对多个对象类型的元数据生成
CN201980064192.3A Pending CN112771515A (zh) 2018-07-31 2019-07-31 具有元数据计算引擎的存储边缘控制器
CN201980057663.8A Pending CN112639768A (zh) 2018-07-31 2019-07-31 具有元数据计算控制的存储聚合器控制器
CN201980058977.XA Pending CN112673368A (zh) 2018-07-31 2019-07-31 用于在存储边缘处生成描述非结构化数据对象的元数据的系统和方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201980050454.0A Pending CN112534423A (zh) 2018-07-31 2019-01-31 存储边缘处的元数据生成
CN201980050665.4A Pending CN112513834A (zh) 2018-07-31 2019-07-29 针对多个对象类型的元数据生成
CN201980064192.3A Pending CN112771515A (zh) 2018-07-31 2019-07-31 具有元数据计算引擎的存储边缘控制器
CN201980057663.8A Pending CN112639768A (zh) 2018-07-31 2019-07-31 具有元数据计算控制的存储聚合器控制器

Country Status (6)

Country Link
US (7) US11080337B2 (zh)
EP (8) EP3830713A1 (zh)
JP (8) JP7326667B2 (zh)
KR (2) KR20210039394A (zh)
CN (5) CN112534423A (zh)
WO (4) WO2020026036A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
WO2020026036A1 (en) 2018-07-31 2020-02-06 Marvell World Trade Ltd. Metadata generation at the storage edge
US11863844B2 (en) * 2019-03-29 2024-01-02 Intel Corporation On-demand generation and personalization of video content
CN111782577B (zh) * 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品
US10942846B2 (en) * 2019-06-25 2021-03-09 Micron Technology, Inc. Aggregated and virtualized solid state drives accessed via multiple logical address spaces
US10942881B2 (en) 2019-06-25 2021-03-09 Micron Technology, Inc. Parallel operations in aggregated and virtualized solid state drives
US11055249B2 (en) 2019-06-25 2021-07-06 Micron Technology, Inc. Access optimization in aggregated and virtualized solid state drives
US11762798B2 (en) 2019-06-25 2023-09-19 Micron Technology, Inc. Aggregated and virtualized solid state drives with multiple host interfaces
US11768613B2 (en) 2019-06-25 2023-09-26 Micron Technology, Inc. Aggregation and virtualization of solid state drives
US11573708B2 (en) * 2019-06-25 2023-02-07 Micron Technology, Inc. Fail-safe redundancy in aggregated and virtualized solid state drives
US11513923B2 (en) 2019-06-25 2022-11-29 Micron Technology, Inc. Dynamic fail-safe redundancy in aggregated and virtualized solid state drives
KR20210012439A (ko) * 2019-07-25 2021-02-03 삼성전자주식회사 마스터 지능 소자 및 이의 제어 방법
US11388487B2 (en) 2019-10-14 2022-07-12 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
US11636438B1 (en) 2019-10-18 2023-04-25 Meta Platforms Technologies, Llc Generating smart reminders by assistant systems
CN114730324A (zh) 2019-12-13 2022-07-08 马维尔亚洲私人有限公司 具有有效率的元数据生成和导出的汽车数据处理系统
CN111240743B (zh) * 2020-01-03 2022-06-03 格兰菲智能科技有限公司 人工智能集成电路
US11216348B2 (en) * 2020-03-02 2022-01-04 Silicon Motion, Inc. All flash array server and control method thereof
US11321340B1 (en) * 2020-03-31 2022-05-03 Wells Fargo Bank, N.A. Metadata extraction from big data sources
US20210357119A1 (en) * 2020-05-15 2021-11-18 Rey Bruce Artificial intelligence-based hybrid raid controller device
US11321341B2 (en) * 2020-05-15 2022-05-03 National Instruments Corporation Dynamic metadata extraction workflow for measurement data storage
CN111782886A (zh) * 2020-06-28 2020-10-16 杭州海康威视数字技术股份有限公司 元数据管理的方法和装置
US11683453B2 (en) * 2020-08-12 2023-06-20 Nvidia Corporation Overlaying metadata on video streams on demand for intelligent video analysis
KR20220034542A (ko) 2020-09-11 2022-03-18 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
KR20220056986A (ko) 2020-10-29 2022-05-09 삼성전자주식회사 메모리 확장기, 이종 컴퓨팅 장치, 및 이종 컴퓨팅 장치의 동작 방법
US20220365718A1 (en) * 2021-05-13 2022-11-17 Micron Technology, Inc. Workload profile data and performance-based memory management
US11483630B1 (en) 2021-08-17 2022-10-25 Rovi Guides, Inc. Systems and methods to generate metadata for content
US11829619B2 (en) 2021-11-09 2023-11-28 Western Digital Technologies, Inc. Resource usage arbitration in non-volatile memory (NVM) data storage devices with artificial intelligence accelerators

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173985A1 (en) * 2005-02-01 2006-08-03 Moore James F Enhanced syndication
WO2006130542A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
US20070226238A1 (en) * 2006-03-27 2007-09-27 Microsoft Corporation Media file conversion using plug-ins
US20070239779A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Analysis of media content via extensible object
US20070239780A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Simultaneous capture and analysis of media content
CA2659167A1 (en) * 2006-09-14 2008-03-20 At&T Intellectual Property I, L.P. Peer to peer media distribution system and method
US20080222201A1 (en) * 2007-03-08 2008-09-11 Microsoft Corporation Digital media metadata management
CN101467142A (zh) * 2006-04-04 2009-06-24 约翰逊控制技术公司 在车辆中从数字媒体存储设备提取元数据以用于媒体选择的系统和方法
CN101605210A (zh) * 2009-05-31 2009-12-16 上海文广新闻传媒集团 财经数据制播综合系统
CN101790886A (zh) * 2007-07-02 2010-07-28 弗劳恩霍夫应用研究促进协会 存储和读取具有媒体数据容器和元数据容器的文件的设备和方法
CN101802803A (zh) * 2007-08-13 2010-08-11 三星电子株式会社 用于产生和再现基于媒体对象的元数据的方法和装置
CN101855628A (zh) * 2007-09-11 2010-10-06 三星电子株式会社 用于自动产生/更新元数据的多媒体数据记录方法和装置
US20110154290A1 (en) * 2009-12-18 2011-06-23 Todd Kelly Metadata plug-in application programming interface
CN102547479A (zh) * 2010-12-09 2012-07-04 微软公司 媒体元数据的生成与供应
WO2017176387A1 (en) * 2016-04-06 2017-10-12 Sandisk Technologies Llc Data storage device having internal tagging capabilities
US20180077420A1 (en) * 2016-09-14 2018-03-15 Amazon Technologies, Inc. Media storage
US20180144752A1 (en) * 2016-11-18 2018-05-24 Microsoft Technology Licensing, Llc Frame coding for spatial audio data

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1012909A (en) 1909-10-28 1911-12-26 Safety Power Transmission Company Shaft-protector.
US6012068A (en) 1997-06-30 2000-01-04 International Business Machines Corporation Media manager for access to multiple media types
US6215749B1 (en) * 1998-10-26 2001-04-10 Samsung Electronics Co., Ltd. Signal distortion minimization apparatus in high speed optical disc reproducing device
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US7509321B2 (en) 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US7707320B2 (en) 2003-09-05 2010-04-27 Qualcomm Incorporated Communication buffer manager and method therefor
US7707590B2 (en) 2004-09-01 2010-04-27 Microsoft Corporation Computer system and method for providing robust file system information for non-native file system devices
US7788592B2 (en) 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7478102B2 (en) * 2005-03-28 2009-01-13 Microsoft Corporation Mapping of a file system model to a database object
US10210159B2 (en) * 2005-04-21 2019-02-19 Oath Inc. Media object metadata association and ranking
US20070038647A1 (en) 2005-08-04 2007-02-15 Microsoft Corporation Management of media sources in memory constrained devices
US20070078896A1 (en) 2005-09-30 2007-04-05 Yahoo! Inc. Identifying portions within media files with location tags
US7801910B2 (en) 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
US8930496B2 (en) 2005-12-19 2015-01-06 Commvault Systems, Inc. Systems and methods of unified reconstruction in storage systems
US9275157B2 (en) * 2005-12-21 2016-03-01 Digimarc Corporation Content metadata directory services
EP2177010B1 (en) 2006-12-13 2015-10-28 Quickplay Media Inc. Mobile media platform
JP2008192102A (ja) 2007-02-08 2008-08-21 Sony Computer Entertainment Inc メタデータ生成装置およびメタデータ生成方法
JP4891802B2 (ja) 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US7929766B2 (en) * 2007-06-08 2011-04-19 Apple Inc. Identifiers for digital media
US20090077561A1 (en) * 2007-07-05 2009-03-19 International Business Machines Corporation Pipeline Processing Method and Apparatus in a Multi-processor Environment
US9824006B2 (en) 2007-08-13 2017-11-21 Digital Kiva, Inc. Apparatus and system for object-based storage solid-state device
US20090132462A1 (en) 2007-11-19 2009-05-21 Sony Corporation Distributed metadata extraction
US9465892B2 (en) 2007-12-03 2016-10-11 Yahoo! Inc. Associating metadata with media objects using time
US7996431B2 (en) 2008-02-25 2011-08-09 International Business Machines Corporation Systems, methods and computer program products for generating metadata and visualizing media content
US9966112B1 (en) * 2013-04-18 2018-05-08 Gracenote, Inc. Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
US8452855B2 (en) 2008-06-27 2013-05-28 Yahoo! Inc. System and method for presentation of media related to a context
JP2010039966A (ja) 2008-08-08 2010-02-18 Hitachi Ltd データ管理方式
US8867779B2 (en) 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
CN101754056B (zh) * 2008-12-17 2013-01-02 中国科学院自动化研究所 支持海量数据自动处理的数字内容编目管理系统及方法
US8831276B2 (en) * 2009-01-13 2014-09-09 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons
US20100179874A1 (en) * 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
US8938492B1 (en) 2009-09-11 2015-01-20 Symantec Corporation Enabling efficient review of media objects associated with a client device
JP5595701B2 (ja) 2009-09-16 2014-09-24 株式会社日立製作所 ファイル管理方法及びストレージシステム
US20120278560A1 (en) 2009-10-04 2012-11-01 Infinidat Ltd. Pre-fetching in a storage system that maintains a mapping tree
US8843815B2 (en) 2010-01-18 2014-09-23 Hewlett-Packard Development Company, L. P. System and method for automatically extracting metadata from unstructured electronic documents
US8611678B2 (en) 2010-03-25 2013-12-17 Apple Inc. Grouping digital media items based on shared features
US20110289458A1 (en) * 2010-05-18 2011-11-24 Rovi Technologies Corporation User interface animation for a content system
US20130097172A1 (en) 2011-04-04 2013-04-18 Zachary McIntosh Method and apparatus for indexing and retrieving multimedia with objective metadata
JP2012221322A (ja) 2011-04-11 2012-11-12 Toshiba Corp オーサリング支援装置、オーサリング支援方法およびプログラム
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
CN102439574B (zh) 2011-04-18 2015-01-28 华为技术有限公司 系统缓存中数据替换方法及多核通信处理器
US8917971B2 (en) 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
US8990263B2 (en) 2012-03-15 2015-03-24 International Business Machines Corporation Policy-based management of storage functions in data replication environments
US20130289991A1 (en) 2012-04-30 2013-10-31 International Business Machines Corporation Application of Voice Tags in a Social Media Context
US20140074855A1 (en) 2012-09-13 2014-03-13 Verance Corporation Multimedia content tags
US9678961B2 (en) * 2012-09-13 2017-06-13 Canon Europa N.V. Method and device for associating metadata to media objects
US8775372B2 (en) 2012-11-01 2014-07-08 Red Hat Israel, Ltd. Retrieving historical object-related configuration data
WO2014133495A1 (en) 2013-02-27 2014-09-04 Hitachi Data Systems Corporation Content class for object storage indexing system
JP6009097B2 (ja) 2013-02-27 2016-10-19 ヒタチ データ システムズ コーポレーションＨｉｔａｃｈｉ Ｄａｔａ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ 分散オブジェクトストレージエコシステムにおけるコンテンツとメタデータの分離
US9405771B2 (en) 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection
WO2014170953A1 (ja) 2013-04-16 2014-10-23 株式会社日立製作所 計算機、計算機システム及びキャッシュ制御方法
JP6224356B2 (ja) 2013-06-11 2017-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
EP3014888A4 (en) 2013-06-28 2017-02-22 INTEL Corporation Live crowdsourced media streaming
US9639969B1 (en) 2013-07-25 2017-05-02 Overlay Studio, Inc. Collaborative design
KR20150029402A (ko) 2013-09-10 2015-03-18 에스케이하이닉스 주식회사 데이터 저장 시스템 및 그것의 동작 방법
WO2015054361A1 (en) * 2013-10-08 2015-04-16 The Echo Nest Corporation Systems, methods, and computer program products for providing contextually-aware video recommendation
EP3060993B1 (en) 2013-10-21 2023-03-08 FLC Global, Ltd. Final level cache system and corresponding method
WO2015061964A1 (en) 2013-10-29 2015-05-07 Hua Zhong University Of Science Technology Simulataneous metadata extraction of moving objects
US9170746B2 (en) * 2014-01-07 2015-10-27 Netapp, Inc. Clustered raid assimilation management
CN106463145B (zh) 2014-05-02 2019-08-30 马维尔国际贸易有限公司 用于硬盘驱动器和混合驱动器的高速缓存系统和方法
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
US9729542B2 (en) * 2014-09-24 2017-08-08 Oracle International Corporation Compartmentalizing application distribution for disparate electronic devices
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
CN104575595B (zh) * 2014-12-12 2017-07-07 杭州华澜微电子股份有限公司 非易失性随机存取的存储装置
US9916237B2 (en) 2014-12-12 2018-03-13 Sandisk Technologies Llc Model based configuration parameter management
JP5953384B1 (ja) 2015-02-04 2016-07-20 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
US10198498B2 (en) 2015-05-13 2019-02-05 Rovi Guides, Inc. Methods and systems for updating database tags for media content
US10140149B1 (en) * 2015-05-19 2018-11-27 Pure Storage, Inc. Transactional commits with hardware assists in remote memory
US9990159B2 (en) 2015-06-26 2018-06-05 Xitore, Inc. Apparatus, system, and method of look-ahead address scheduling and autonomous broadcasting operation to non-volatile storage memory
US20170083519A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for procuring, organizing, and retrieving expressive media content
AU2016329200B2 (en) 2015-09-30 2021-03-04 Tivo Solutions Inc. Synchronizing media content tag data
US10528613B2 (en) 2015-11-23 2020-01-07 Advanced Micro Devices, Inc. Method and apparatus for performing a parallel search operation
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
US9881236B2 (en) 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US10592357B2 (en) 2015-12-30 2020-03-17 Commvault Systems, Inc. Distributed file system in a distributed deduplication data storage system
US10902043B2 (en) 2016-01-03 2021-01-26 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
US10089401B2 (en) 2016-01-12 2018-10-02 Fox Broadcasting Company Method and pluggable system for trend-based allocation of media assets between global and local storage
KR102466412B1 (ko) * 2016-01-14 2022-11-15 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
KR101936950B1 (ko) * 2016-02-15 2019-01-11 주식회사 맴레이 컴퓨팅 디바이스, 코프로세서와 비휘발성 메모리 사이의 데이터 이동 방법 및 이를 포함하는 프로그램
US10346700B1 (en) * 2016-05-03 2019-07-09 Cynny Spa Object recognition in an adaptive resource management system
US10404798B2 (en) 2016-05-16 2019-09-03 Carbonite, Inc. Systems and methods for third-party policy-based file distribution in an aggregation of cloud storage services
US10509407B2 (en) 2016-07-01 2019-12-17 Samsung Electronics Co., Ltd. Apparatus and method for a vehicle platform
KR20180011376A (ko) 2016-07-21 2018-02-01 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
US10403044B2 (en) * 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
EP3496969A4 (en) 2016-08-10 2020-09-16 Xevo Inc. PROCEDURE AND SYSTEM FOR PROVIDING INFORMATION ON COLLECTED AND STORED METADATA WITH A DERIVED ATTENTION MODEL
KR20180027710A (ko) * 2016-09-06 2018-03-15 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 스토리지 장치 및 불휘발성 메모리 장치의 액세스 방법
US10853233B2 (en) * 2016-10-18 2020-12-01 Toshiba Memory Corporation Reconstruction of address mapping in a host of a storage system
US10162563B2 (en) 2016-12-02 2018-12-25 International Business Machines Corporation Asynchronous local and remote generation of consistent point-in-time snap copies
MX2019006588A (es) 2016-12-05 2019-10-09 Avigilon Corp Sistema y metodo de busqueda por apariencia.
US20180173619A1 (en) * 2016-12-21 2018-06-21 Sandisk Technologies Llc System and Method for Distributed Logical to Physical Address Mapping
US11010431B2 (en) * 2016-12-30 2021-05-18 Samsung Electronics Co., Ltd. Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD
US10970605B2 (en) 2017-01-03 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US10963393B1 (en) 2017-01-13 2021-03-30 Lightbits Labs Ltd. Storage system and a method for application aware processing
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US10223272B2 (en) 2017-04-25 2019-03-05 Seagate Technology Llc Latency sensitive metadata object persistence operation for storage device
US10860508B2 (en) * 2017-05-25 2020-12-08 Western Digital Technologies, Inc. Offloaded disaggregated storage architecture
KR102444606B1 (ko) 2017-08-28 2022-09-20 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법
CN107622281B (zh) * 2017-09-20 2021-02-05 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及移动终端
US10817565B2 (en) * 2017-11-06 2020-10-27 Disney Enterprises, Inc. Automation of media content tag selection
US10884996B1 (en) 2018-02-27 2021-01-05 NTT DATA Services, LLC Systems and methods for optimizing automatic schema-based metadata generation
KR20190106005A (ko) 2018-03-07 2019-09-18 에스케이하이닉스 주식회사 메모리 시스템, 그것의 동작 방법 및 전자 장치
JP7119630B2 (ja) 2018-06-20 2022-08-17 日本電信電話株式会社 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
EP3836037A4 (en) 2018-07-10 2022-09-21 The Fourth Paradigm (Beijing) Tech Co Ltd METHOD AND SYSTEM FOR PERFORMING A MACHINE LEARNING PROCESS
WO2020026036A1 (en) 2018-07-31 2020-02-06 Marvell World Trade Ltd. Metadata generation at the storage edge
US20200042888A1 (en) 2018-07-31 2020-02-06 Gyrfalcon Technology Inc. Self-sufficient artificial intelligence edge devices
US20210279603A1 (en) 2018-12-13 2021-09-09 SparkCognition, Inc. Security systems and methods
FR3094511B1 (fr) 2019-03-25 2021-04-09 Alstom Transp Tech Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants
WO2020205655A1 (en) 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
US20200402328A1 (en) 2019-06-20 2020-12-24 Volvo Car Corporation Closed loop parallel batch data logging in a vehicle
CN111125442B (zh) 2019-12-11 2022-11-15 苏州智加科技有限公司 数据标注方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173985A1 (en) * 2005-02-01 2006-08-03 Moore James F Enhanced syndication
WO2006130542A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
US20070226238A1 (en) * 2006-03-27 2007-09-27 Microsoft Corporation Media file conversion using plug-ins
CN101467142A (zh) * 2006-04-04 2009-06-24 约翰逊控制技术公司 在车辆中从数字媒体存储设备提取元数据以用于媒体选择的系统和方法
US20070239779A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Analysis of media content via extensible object
US20070239780A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Simultaneous capture and analysis of media content
CA2659167A1 (en) * 2006-09-14 2008-03-20 At&T Intellectual Property I, L.P. Peer to peer media distribution system and method
US20080222201A1 (en) * 2007-03-08 2008-09-11 Microsoft Corporation Digital media metadata management
CN101790886A (zh) * 2007-07-02 2010-07-28 弗劳恩霍夫应用研究促进协会 存储和读取具有媒体数据容器和元数据容器的文件的设备和方法
CN101802803A (zh) * 2007-08-13 2010-08-11 三星电子株式会社 用于产生和再现基于媒体对象的元数据的方法和装置
CN101855628A (zh) * 2007-09-11 2010-10-06 三星电子株式会社 用于自动产生/更新元数据的多媒体数据记录方法和装置
CN101605210A (zh) * 2009-05-31 2009-12-16 上海文广新闻传媒集团 财经数据制播综合系统
US20110154290A1 (en) * 2009-12-18 2011-06-23 Todd Kelly Metadata plug-in application programming interface
CN102547479A (zh) * 2010-12-09 2012-07-04 微软公司 媒体元数据的生成与供应
WO2017176387A1 (en) * 2016-04-06 2017-10-12 Sandisk Technologies Llc Data storage device having internal tagging capabilities
US20180077420A1 (en) * 2016-09-14 2018-03-15 Amazon Technologies, Inc. Media storage
US20180144752A1 (en) * 2016-11-18 2018-05-24 Microsoft Technology Licensing, Llc Frame coding for spatial audio data

Also Published As

Publication number Publication date
CN112639768A (zh) 2021-04-09
EP4220437A1 (en) 2023-08-02
US11080337B2 (en) 2021-08-03
EP3830717B1 (en) 2023-04-12
EP3830716B1 (en) 2023-08-30
EP3830713A1 (en) 2021-06-09
KR20210037684A (ko) 2021-04-06
JP7326667B2 (ja) 2023-08-16
WO2020026036A1 (en) 2020-02-06
US20210342395A1 (en) 2021-11-04
US11734363B2 (en) 2023-08-22
JP7351057B2 (ja) 2023-09-27
JP2023179680A (ja) 2023-12-19
US11068544B2 (en) 2021-07-20
JP7419621B2 (ja) 2024-01-23
EP3830714A1 (en) 2021-06-09
JP2023171874A (ja) 2023-12-05
WO2020028594A1 (en) 2020-02-06
JP2021533446A (ja) 2021-12-02
US11294965B2 (en) 2022-04-05
EP4266194A1 (en) 2023-10-25
JP2022511233A (ja) 2022-01-31
WO2020028597A1 (en) 2020-02-06
JP2021533447A (ja) 2021-12-02
CN112771515A (zh) 2021-05-07
WO2020026112A1 (en) 2020-02-06
US20200045110A1 (en) 2020-02-06
US20210256062A1 (en) 2021-08-19
US11727064B2 (en) 2023-08-15
JP2021532472A (ja) 2021-11-25
EP3830715A1 (en) 2021-06-09
EP3830717A1 (en) 2021-06-09
US20200042548A1 (en) 2020-02-06
JP2021532473A (ja) 2021-11-25
US11036807B2 (en) 2021-06-15
EP3830714B1 (en) 2023-06-21
US20200042557A1 (en) 2020-02-06
JP2024038276A (ja) 2024-03-19
EP3830716A1 (en) 2021-06-09
WO2020028594A9 (en) 2020-04-23
CN112513834A (zh) 2021-03-16
US11748418B2 (en) 2023-09-05
KR20210039394A (ko) 2021-04-09
US20200042549A1 (en) 2020-02-06
EP3830715B1 (en) 2023-02-22
US20200042240A1 (en) 2020-02-06
EP4206951A1 (en) 2023-07-05
CN112534423A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11068544B2 (en) Systems and methods for generating metadata describing unstructured data objects at the storage edge
US10943600B2 (en) Systems and methods for interrelating text transcript information with video and/or audio information
US20200175332A1 (en) Out-of-sample generating few-shot classification networks
Schmidt et al. Multi-view surgical video action detection via mixed global view attention
Sunny et al. Map-Reduce based framework for instrument detection in large-scale surgical videos
WO2020028583A1 (en) Systems and methods for generating metadata describing unstructured data objects at the storage edge
JP7202995B2 (ja) 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム
KR20220108668A (ko) 동영상 분석 방법
US20200380267A1 (en) Object trajectory augmentation on a newly displayed video stream
US10860627B2 (en) Server and method for classifying entities of a query
US20200327731A1 (en) Artificial imagination engine using 5d information descriptors
Kavallieratou et al. Interactive learning-based retrieval technique for visual lifelogging
KR20160120861A (ko) 영상 검색 방법, 장치 및 시스템
CN117641109A (zh) 多媒体数据采集方法及装置、存储介质、计算机设备
Petit et al. Towards the emergence of procedural memories from lifelong multi-modal streaming memories for cognitive robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination