CN108629274A - 用于利用对视频储存库的法医视频分析来创建故事板的系统和方法 - Google Patents

用于利用对视频储存库的法医视频分析来创建故事板的系统和方法 Download PDF

Info

Publication number
CN108629274A
CN108629274A CN201810225085.1A CN201810225085A CN108629274A CN 108629274 A CN108629274 A CN 108629274A CN 201810225085 A CN201810225085 A CN 201810225085A CN 108629274 A CN108629274 A CN 108629274A
Authority
CN
China
Prior art keywords
metadata
video data
interaction
multiple video
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810225085.1A
Other languages
English (en)
Other versions
CN108629274B (zh
Inventor
K.贾纳基拉曼
N.S.肯达穆尼萨米
R.K.桑卡拉潘迪安
R.阿鲁麦卡尼
K.帕特尔
B.穆图萨米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN108629274A publication Critical patent/CN108629274A/zh
Application granted granted Critical
Publication of CN108629274B publication Critical patent/CN108629274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了用于利用对视频储存库的法医视频分析来创建故事板的系统和方法。一些方法可包括：将多个视频数据流存储在数据储存库中；将所述多个视频数据流中的每一个的元数据的异步流存储在所述数据储存库中；识别通过所述多个视频数据流中的至少一个所捕获的第一对象；使用所述元数据的异步流来随着时间的推移而识别所述第一对象与多个其他对象之间的相互关系或交互；以及复现所述第一对象的故事。

Description

用于利用对视频储存库的法医视频分析来创建故事板的系统 和方法
技术领域
本发明一般地涉及法医（forensic）视频分析。更具体地，本发明涉及用于利用对视频储存库的法医视频分析来创建故事板的系统和方法。
背景技术
法医视频分析(FVA)是一门调查性的事后法医科学，并且国际鉴定协会(IAI)已经正式地承认FVA为法医成像的科学学科内的分专业。具体地，FVA是视频在法律事务中的科学审查、比较和评估。也就是说，FVA是应用影像科学和领域专门知识来在法律事务中解释影像的内容或影像它本身。具有执法应用的FVA的学科包括摄影测量、摄影比较、内容分析和影像认证。例如，法医分析者可能想要以容易且准确的方式识别有关人和对象的交互的信息并且可能想要详细的事故管理报告，该报告具有支持该详细的事故管理报告以便在法庭上出示的构件（artifact）。类似地，法人可能想要查看足够且未篡改的构件以详细地使事故清晰表达，包括事故中牵涉的人和对象。
成像技术科学工作组(SWGIT)为FVA设定标准并且识别用于FVA过程的以下任务：技术准备、审查和解释。在解释过程期间，具体主题专门知识被应用来得出关于视频记录或那些记录的内容的结论。例如，得出关于视频记录的结论可包括对视频记录进行认证。得出关于视频记录的内容的结论可包括对对象进行比较或者确定由于记录过程的特性(诸如天然纤维上的红外(IR)负像效应)对象在视频中显得与对象在正常照明条件下显得不同。
解释过程生成的任何事故管理报告必须遵照SWGIT标准，满足分析者的机构的要求，解决请求者的需要，并且以清楚且简明的方式提供所有相关信息。然而，当前没有用于按照SWGIT标准对原始视频数据的视频储存库执行FVA例如以反跟踪人或对象以创建牵涉那个人或对象或关联的人或对象的各种事故的故事板的已知的系统或方法。此外，当前没有用于对多个关联的人执行调查(包括跟踪与这些人相关联的对象以及这些人与对象之间的交互)或者创建这些人和对象的故事板的已知的系统或方法。这是因为用于解释视频并生成事故管理报告的已知的系统和方法是手动的并且与视频数据而不是元数据相对应。
尽管上述已知的视频系统每天生成数千个视频数据流，并且那些视频数据流中的一个或多个可以包含与可疑活动相关的人或对象的表示。然而，大多数此类视频数据流仅作为数据而存在直到它们被覆写或者刷新为止，而未被翻译成可以是用于将来FVA的有价值数据节点的元数据。
鉴于上文，存在对改进的系统和方法的持续不断的需要。
附图说明
图1是依照公开的实施例的系统的框图；
图2A是可依照公开的实施例生成的示例性事故管理报告的第一部分；
图2B是可依照公开的实施例生成的示例性事故管理报告的第二部分；
图3是可依照公开的实施例生成的示例性故事板；以及
图4是依照公开的实施例的方法的流程图。
具体实施方式
尽管本发明可以有许多不同形式的实施例，但是在附图中示出并将在本文中详细地描述其具体实施例，同时应理解的是，本公开将被认为是本发明的原理的例证。不旨在将本发明限于具体图示的实施例。
本文中所公开的实施例可包括用于利用对视频储存库的FVA来创建故事板的系统和方法。应当理解的是，本文中所公开的系统和方法可离线执行FVA。也就是说，在一些实施例中，例如，当原始视频数据流不可用时，可对元数据的流执行如本文中所公开和描述的FVA。
依照公开的实施例，由视频监视摄像机生成和/或存储在视频管理系统中的视频管理服务器或存储服务器上的视频数据流或视频剪辑可用专有数据结构封装，所述专有数据结构包括专有文件头。因此，本文中所公开的系统和方法可从视频数据流中解封专有文件头并且对该视频数据流的视频数据执行快速分析以将视频数据转换成异步元数据的流。然后，可将元数据以原子状态存储在法医元数据储存库中，以及可从元数据中自主地提取信息并将它转换成事故管理报告。
如上面所说明的，FVA中的解释过程包括应用特定主题专门知识来得出关于视频数据流或视频剪辑或者那些视频数据流或视频剪辑的内容的结论。此类结论可包括识别例如随着时间的推移在视频数据流或视频剪辑中描绘的人和/或对象之间的各种相互关系和交互。在一些实施例中，本文中所公开的系统和方法可根据存储的元数据自主地识别此类相互关系以复现事故的故事或事件的工作流，以识别所关注位置处的交互或关于所关注区域的信息，以识别事故期间的状况的时间和状态，或者以跟踪元数据中的人或对象。
图1是依照公开的实施例的系统100的框图。如图1中所看到的，系统100可包括用户接口110、法医管理模块120、法医分析模块130、第三方接口140和数据储存库150。
用户接口110可以包括事故管理工具接口和智能视频管理系统(IVMS)客户端接口。在一些实施例中，事故管理工具接口可作为现有架构的插件并且可接收可用于制作事故管理报告的附加参数并将其发送到现有架构。例如，事故管理工具接口可作为用于校准附加参数的集中式接口，并且所供应的附加参数可使现有架构将与事故相关联的元数据嵌入在事故管理报告中，包括将元数据嵌入在事故管理报告中的视频数据中。在一些实施例中，IVMS客户端接口可接收和发送指令以配置法医分析模块130，以管理事件，并且以触发故事板报告。
法医管理模块120可包括用于从数据储存库150中拉出视频数据和音频数据、用于对原始数据进行解码和解压缩、用于管理元数据模式、用于使元数据数据库中的元数据标准化、用于提供故事板接口、用于管理用户接口110中的对象以及用于管理用于法医分析模块130的插件的组件和适配器。
法医分析模块130可作为现有架构的分析插件引擎并且可对人和对象进行分类，检测、识别和跟踪人和对象，并且对影像进行处理以协助法医管理模块120从原始视频数据中提取元数据。在一些实施例中，法医分析模块130可识别对象与人之间的关系和/或可识别关系模式。在任何一个实施例中，可将识别的关系或识别的关系模式输入到关系构建器。
第三方接口140可将用户接口110的事故管理工具接口和系统100的其他组件与法医管理模块120集成在一起。例如，第三方接口可包括用于将第三方与需要通知的事件集成在一起的多个适配器。
最后，数据储存库150可存储原始视频数据的数据和元数据、各种事故、人和对象的索引元数据、事故管理数据和工作流元数据以及系统状态和关联的框架度量。在一些实施例中，数据储存库150可以仅可经由法医管理模块120访问以维护安全性，并且在一些实施例中，封装数据仅可由用户利用已认证凭证解封。在一些实施例中，可使数据储存库150中的视频数据标准化为多个用户、供应商或集成商的公共形式，但是可以特定于用户、供应商或集成商，使得视频数据仅可利用特定于特定用户、供应商或集成商的适配器进行解码。此外，在一些实施例中，数据储存库150中的数据库可使用可以在运行时演变的动态模式。例如，在一些实施例中，可以以周期性间隔对运行时间进行调度，并且可按照按特定调度的运行时间的运行时要求而适配的动态模式或规则翻译数据。
依照上面和在下面描述的实施例，本文中所公开的系统和方法可异步地被动地分析多个视频数据流或视频剪辑，以识别、定位和跟踪对象并且改进与对象相关联的元数据以用于进一步法医分析。例如，用户接口110可接收识别主要或初始人或对象的用户输入。
依照上面和在下面描述的实施例，本文中所公开的系统和方法可对视频数据进行解封和解码并且将原始视频数据翻译成影像流、元数据和配置参数，所述影像流、元数据和配置参数可被分析以识别人或对象的导航模式并且以识别相关的人或对象。例如，数据储存库150中的现有视频数据可被转换成优化元数据的流，并且法医分析模块130可对这些数据执行分析的异步线程以搜索并识别主要或初始人或对象，可构建具有到主要或初始人或对象的映射和关联的初始模式，可基于对数据储存库150中的数据的分析来构建主要或初始人或对象的元数据，可标记主要或初始人或对象与次要人或对象的可能的交互以及关联的元数据，可基于此类交互创建动态模式，可改进主要或初始人或对象与次要人或对象之间的关联，可利用针对主要或初始人或对象、次要人或对象及其之间的交互的标记信息使数据储存库150中的元数据演变，并且可基于动态模式定义所关注人或对象或所关注位置或区。在一些实施例中，使数据储存库150中的元数据演变可包括构建相互关系规则，所述相互关系规则可由用户接口110使用来生成如本文中所公开和描述的事故管理报告，使得此类报告可包括已经与所关注人或对象相关联的所有相关信息。
在一些实施例中，已定义的所关注人和对象以及所关注位置或区可被存储在数据储存库150中并且被标记和标绘在用户接口110的监视器上或者被包括在可在元数据之上生成的事故管理报告中。例如，图2A和图2B是可依照公开的实施例生成的示例性事故管理报告。如所看到的，报告可基于如本文中所公开和描述的法医分析被生成，并且可包括元数据和视频连续镜头、对所关注人或对象及所关注位置或区的识别、与区域、区或设施有关的信息以及所关注事件的快照。
此外，在一些实施例中，生成的事故管理报告和用于生成该事故管理报告的元数据可被翻译成故事板，所述故事板可包括可像图3中所看到的那样被显示在用户接口150的监视器上的一组连续镜头和相关事件。例如，图3中所示的故事板可通过重新排列来自监视摄像机的视频数据流的次序来以多路解编方式显示所关注人或对象以呈现所关注事件的次序的智能(例如，逻辑的或按时间顺序的)视图。在一些实施例中，本文中所公开的系统和方法可将元数据流式传输到用户接口150以便将该元数据显示在故事板上。
在一些实施例中，本文中所公开的系统和方法可生成楼层平面图的初排报告，其可包括通行于相应地区的所关注人或对象的历史以及该相应地区的居用细节，例如，识别地区中的员工、保安人员或访客数。在一些实施例中，本文中所公开的系统和方法可像将由本领域的技术人员所知道的那样从其他子系统收集居用细节等。
图4是依照公开的实施例的方法400的流程图。如图4中所看到的，方法400可包括像在405中一样为数据储存库150中的视频和元数据储存库提供访问细节或凭证，以例如初始化法医管理模块120。然后，方法400可包括像在410中一样周期性地从视频和元数据储存库中拉出视频记录和元数据信息并且像在415中一样将视频和元数据信息异步地传递给法医分析模块130。
在法医模块130接收到视频和元数据信息之后，方法400可包括像在420中一样将每个视频记录和元数据信息馈送给对象分类模块、对象交互分类模块和对象关系构建器并且像在425中一样指示对象分类模块、对象交互分类模块和对象关系构建器异步地分析输入数据，以对对象进行分类，以对对象交互进行分类，并且以构建对象关系。方法400可包括像在430中一样等待对象分类模块、对象交互分类模块和对象关系构建器完成其对象识别和关系分析并且像在435中一样确定是否已经接收到操作完成事件。
当方法像在435中一样确定已经接收到操作完成事件时，方法400可包括，针对每个视频记录和元数据信息，像在440中一样分析来自对象分类模块、对象交互分类模块和对象关系构建器的结果以得到可疑对象、交互和事件序列，并且像在445中一样通过利用存储的分析结果数据库450中的先前存储的分析结果来更新分析结果，包括任何对象识别、交互和依赖图。
方法400可包括像在455中一样向法医管理模块120通知分析结果，并且，在法医管理模块120接收到分析结果之后，方法400可包括继续像在410中一样周期性地从视频和元数据储存库中拉出视频记录和元数据信息、像在460中一样将分析结果传递给呈现层以及像在465中一样将分析结果的呈现传递给故事板插件、用户接口渲染器或法医报告呈现器以得到分析结果的生成和呈现。
应当理解的是，如上面所公开和描述的系统和方法可利用用于与多个监视摄像机或服务器进行通信的收发器设备以及用于存储视频数据流和元数据的存储器设备来实现，所述收发器设备和所述存储器设备中的每一个可与控制电路、一个或多个可编程处理器和可执行控制软件通信，如将由本领域的普通技术人员所理解的那样。在一些实施例中，可执行控制软件可被存储在暂时性或非暂时性计算机可读介质上，所述暂时性或非暂时性计算机可读介质包括但不限于本地计算机存储器、RAM、光学存储介质、磁存储介质、闪速存储器等，并且控制电路、可编程处理器和控制软件中的一些或全部可执行和控制上面所描述的方法中的至少一些。
尽管已经在上面详细地描述了一些实施例，然而其他修改是可能的。例如，上面所描述的逻辑流程不需要所描述的特定次序或顺序次序来实现所希望的结果。可以提供其他步骤，可以从所描述的流程中省略步骤，并且其他组件可以被添加到所描述的系统或者从所描述的系统中移除。其他实施例可以在本发明的范围内。
从上述内容可以看出，在不脱离本发明的精神和范围的情况下，可以实现许多变化和修改。应当理解的是，对于本文中所描述的具体系统或方法意图是非限制的或应当可以被推断的。当然，意图是涵盖如落入本发明的精神和范围内的所有此类修改。

Claims (10)

1.一种方法，其包括：
将多个视频数据流存储在数据储存库中；
将所述多个视频数据流中的每一个的元数据的异步流存储在所述数据储存库中；
识别通过所述多个视频数据流中的至少一个所捕获的第一对象；
使用所述元数据的异步流来随着时间的推移而识别所述第一对象与多个其他对象之间的相互关系或交互；以及
复现所述第一对象的故事。
2.根据权利要求1所述的方法，其中，所述第一对象包括被监控地区中的人或结构。
3.根据权利要求1所述的方法，其还包括使用所述元数据的异步流来分类、检测、识别、定位或跟踪所述第一对象或者识别所述第一对象与所述多个其他对象之间的关系。
4.根据权利要求1所述的方法，其还包括基于随着时间的推移而识别的所述第一对象与所述多个其他对象之间的所述相互关系或所述交互来改进存储在所述数据储存库中的所述元数据的异步流。
5.根据权利要求1所述的方法，其中，复现所述第一对象的所述故事包括在所述元数据的异步流之上生成事故管理报告，并且其中，所述事故管理报告随着时间的推移而概括所述第一对象与所述多个其他对象之间的所述相互关系或所述交互。
6.根据权利要求1所述的方法，其中，复现所述第一对象的所述故事包括在所述元数据的异步流之上生成故事板，并且其中，所述故事板随着时间的推移而概括所述第一对象与所述多个其他对象之间的所述相互关系或所述交互。
7.根据权利要求6所述的方法，其中，所述故事板排序所述多个视频数据流以呈现所述第一对象的所述故事的智能视图，而不管所述多个视频数据流在所述数据储存库中的次序如何。
8.根据权利要求6所述的方法，其还包括将所述元数据的异步流流式传输到显示所述故事板的用户接口设备。
9.一种方法，其包括：
将多个视频数据流存储在数据储存库中；
将所述多个视频数据流中的每一个的元数据存储在所述数据储存库中；
分类模块异步地分析所述多个视频数据流和所述元数据以对通过所述多个视频数据流所捕获的对象进行分类；
交互模块异步地分析所述多个视频数据流和所述元数据以对所捕获的所述对象的交互进行分类；
关系构建器异步地分析所述多个视频数据流和所述元数据以构建所述对象的关系；
基于被分类的所述对象、所述对象的所述交互和所述对象的所述关系，呈现所述对象中的至少一个、所述对象的所述交互中的至少一个或所述对象的所述关系中的至少一个的故事。
10.根据权利要求9所述的方法，其还包括：
基于被分类的所述对象、所述对象的所述交互和所述对象的所述关系，将所述对象中的所述至少一个、所述对象的所述交互中的所述至少一个、所述对象的所述关系中的所述至少一个或所述对象的事件序列识别为可疑的；以及
呈现被识别为可疑的所述对象中的所述至少一个、所述对象的所述交互中的所述至少一个、所述对象的所述关系中的所述至少一个或所述对象的事件序列的故事。
CN201810225085.1A 2017-03-20 2018-03-19 用于利用对视频储存库的法医视频分析来创建故事板的系统和方法 Active CN108629274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/463208 2017-03-20
US15/463,208 US10311305B2 (en) 2017-03-20 2017-03-20 Systems and methods for creating a story board with forensic video analysis on a video repository

Publications (2)

Publication Number Publication Date
CN108629274A true CN108629274A (zh) 2018-10-09
CN108629274B CN108629274B (zh) 2023-11-24

Family

ID=61189265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810225085.1A Active CN108629274B (zh) 2017-03-20 2018-03-19 用于利用对视频储存库的法医视频分析来创建故事板的系统和方法

Country Status (5)

Country Link
US (3) US10311305B2 (zh)
EP (2) EP3885987A1 (zh)
CN (1) CN108629274B (zh)
CA (1) CA2994445A1 (zh)
ES (1) ES2896947T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954315B1 (en) 2020-11-19 2024-04-09 State Farm Mutual Automobile Insurance Company Systems and methods for dynamically creating and adjusting scene models

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003915B2 (en) * 2019-03-29 2021-05-11 Wipro Limited Method and system for summarizing multimedia content
US20230086809A1 (en) * 2021-09-17 2023-03-23 BCD International, Inc. Combined security and video camera control system

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132767A1 (en) * 2005-11-30 2007-06-14 William Wright System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface
CN101356524A (zh) * 2005-12-02 2009-01-28 汤姆森特许公司 工作流程元数据系统和方法
US20110013882A1 (en) * 2009-07-17 2011-01-20 Yoshiaki Kusunoki Video audio recording/playback apparatus and method
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
US20130226758A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Delivering aggregated social media with third party apis
CN103733633A (zh) * 2011-05-12 2014-04-16 索林科集团 视频分析系统
CN104137154A (zh) * 2011-08-05 2014-11-05 霍尼韦尔国际公司 用于管理视频数据的系统和方法
CN104216957A (zh) * 2014-08-20 2014-12-17 北京奇艺世纪科技有限公司 一种视频元数据的查询系统及查询方法
US20150248710A1 (en) * 2013-02-26 2015-09-03 Adience Ser Ltd. Matching users across indentifiable services vased on images
US20160132789A1 (en) * 2013-09-30 2016-05-12 Manyworlds, Inc. Streams of Attention Method, System, and Apparatus
CN105677432A (zh) * 2016-02-23 2016-06-15 腾讯科技（深圳）有限公司 网页播放器的功能扩展方法和装置
US20160203386A1 (en) * 2015-01-13 2016-07-14 Samsung Electronics Co., Ltd. Method and apparatus for generating photo-story based on visual context analysis of digital content

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010049826A1 (en) 2000-01-19 2001-12-06 Itzhak Wilf Method of searching video channels by content
US10271017B2 (en) 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
EP2328131B1 (en) * 2005-03-25 2012-10-10 Sensormatic Electronics LLC Intelligent camera selection and object tracking
US7843491B2 (en) 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
US7996771B2 (en) 2005-06-17 2011-08-09 Fuji Xerox Co., Ltd. Methods and interfaces for event timeline and logs of video streams
US20070098303A1 (en) 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
US8930331B2 (en) * 2007-02-21 2015-01-06 Palantir Technologies Providing unique views of data based on changes or rules
US8566314B2 (en) * 2007-04-05 2013-10-22 Raytheon Company System and related techniques for detecting and classifying features within data
CN101453700B (zh) * 2007-11-30 2010-09-29 华为技术有限公司 一种并发媒体处理方法和设备
US8271506B2 (en) * 2008-03-31 2012-09-18 Yahoo! Inc. System and method for modeling relationships between entities
US20100296742A1 (en) 2009-05-22 2010-11-25 Honeywell Inernational Inc. System and method for object based post event forensics in video surveillance systems
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
US9087058B2 (en) 2011-08-03 2015-07-21 Google Inc. Method and apparatus for enabling a searchable history of real-world user experiences
US20130039634A1 (en) 2011-08-12 2013-02-14 Honeywell International Inc. System and method of creating an intelligent video clip for improved investigations in video surveillance
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US9143659B2 (en) * 2012-01-08 2015-09-22 Gary Shuster Clothing and body covering pattern creation machine and method
US9530060B2 (en) 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
US9137428B2 (en) * 2012-06-01 2015-09-15 Microsoft Technology Licensing, Llc Storyboards for capturing images
US20130332545A1 (en) * 2012-06-12 2013-12-12 Guy W. Primus Collaborative moderation of social media posts
CN102843542B (zh) * 2012-09-07 2015-12-02 华为技术有限公司 多流会议的媒体协商方法、设备和系统
US9087386B2 (en) 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US20150113018A1 (en) * 2013-10-17 2015-04-23 Ut Battelle, Llc Interactive visual analytics for situational awareness of social media
US20150312190A1 (en) * 2014-04-24 2015-10-29 Aaron Rankin System and methods for integrating social network information
US10552759B2 (en) * 2014-12-01 2020-02-04 Facebook, Inc. Iterative classifier training on online social networks
US9710712B2 (en) * 2015-01-16 2017-07-18 Avigilon Fortress Corporation System and method for detecting, tracking, and classifiying objects
US10706889B2 (en) * 2016-07-07 2020-07-07 Oath Inc. Selective content insertion into areas of media objects
US20180260481A1 (en) * 2018-04-01 2018-09-13 Yogesh Rathod Displaying search result associated identified or extracted unique identity associated structured contents or structured website

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132767A1 (en) * 2005-11-30 2007-06-14 William Wright System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface
CN101356524A (zh) * 2005-12-02 2009-01-28 汤姆森特许公司 工作流程元数据系统和方法
US20110013882A1 (en) * 2009-07-17 2011-01-20 Yoshiaki Kusunoki Video audio recording/playback apparatus and method
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
CN103733633A (zh) * 2011-05-12 2014-04-16 索林科集团 视频分析系统
CN104137154A (zh) * 2011-08-05 2014-11-05 霍尼韦尔国际公司 用于管理视频数据的系统和方法
US20130226758A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Delivering aggregated social media with third party apis
US20150248710A1 (en) * 2013-02-26 2015-09-03 Adience Ser Ltd. Matching users across indentifiable services vased on images
US20160132789A1 (en) * 2013-09-30 2016-05-12 Manyworlds, Inc. Streams of Attention Method, System, and Apparatus
CN104216957A (zh) * 2014-08-20 2014-12-17 北京奇艺世纪科技有限公司 一种视频元数据的查询系统及查询方法
US20160203386A1 (en) * 2015-01-13 2016-07-14 Samsung Electronics Co., Ltd. Method and apparatus for generating photo-story based on visual context analysis of digital content
CN105677432A (zh) * 2016-02-23 2016-06-15 腾讯科技（深圳）有限公司 网页播放器的功能扩展方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MUNCHURL KIM等: "Moving object segmentation in video sequences by user interaction and automatic object tracking", 《IMAGE AND VISION COMPUTING》, vol. 19, no. 5, pages 245 - 261 *
NENAD JOVANOVIĆ等: "Implementation of asynchronous TV metadata fetching for seamless graphical user interface", 《2015 IEEE 5TH INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS - BERLIN (ICCE-BERLIN)》, pages 81 - 83 *
王安康: "改进的粒子滤波视频跟踪", 《信息科技辑》, no. 03, pages 9 - 48 *
黄万丽: "同步流媒体课件制作关键技术的研究与实现", 《信息科技辑》, no. 04, pages 7 - 47 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954315B1 (en) 2020-11-19 2024-04-09 State Farm Mutual Automobile Insurance Company Systems and methods for dynamically creating and adjusting scene models

Also Published As

Publication number Publication date
US20190294885A1 (en) 2019-09-26
EP3885987A1 (en) 2021-09-29
US11087139B2 (en) 2021-08-10
EP3379454B1 (en) 2021-09-01
CN108629274B (zh) 2023-11-24
EP3379454A1 (en) 2018-09-26
US20210350141A1 (en) 2021-11-11
CA2994445A1 (en) 2018-09-20
US10311305B2 (en) 2019-06-04
US11776271B2 (en) 2023-10-03
US20180268223A1 (en) 2018-09-20
ES2896947T3 (es) 2022-02-28

Similar Documents

Publication Publication Date Title
US10509718B2 (en) System and method for automatically generating software testing scripts from test cases
US11776271B2 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
CN104919794B (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
US9865306B2 (en) System to distinguish between visually identical objects
US20170010953A1 (en) Recording gui data
US20100239016A1 (en) Coding scheme for identifying spatial locations of events within video image data
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN112732949A (zh) 一种业务数据的标注方法、装置、计算机设备和存储介质
Hoyos et al. MLContext: a context-modeling language for context-aware systems
Indla An overview on amazon rekognition technology
WO2021256597A1 (ko) 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법
di Bella et al. Smart Security: Integrated systems for security policies in urban environments
Wu et al. eWellness: Building a smart hospital by leveraging RFID networks
Selvaraj et al. How analysts think: think-steps as a tool for structuring sensemaking in criminal intelligence analysis
WO2018091108A1 (de) Überwachungsvorrichtung zur überwachung eines überwachungsbereiches und überwachungsanlage mit der überwachungsvorrichtung
Schindler et al. Multi-modal video forensic platform for investigating post-terrorist attack scenarios
CN114743300B (zh) 基于行为大数据模型的门禁访问控制方法及系统
KR20200075147A (ko) 자동 분류저장 기술을 이용한 dbms-ai 프레임 워크 및 이를 이용한 자동분류저장 방법
Enayati et al. A novel web-based depth video rewind approach toward fall preventive interventions in hospitals
KR20200031020A (ko) 수사지원정보 제공 방법 및 장치
KR20200073669A (ko) 영상 정보 관리 방법, 영상 정보 관리 장치 및 컴퓨터 프로그램
CN111144248B (zh) 基于st-fhcd网络模型的人数统计方法、系统及介质
CN114420275A (zh) 多维异构数据同步留痕的上门护理管理方法、装置及设备
DeAngelus et al. On-demand Forensic Video Analytics for Large-Scale Surveillance Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant