CN109478357A - 用于交互式识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品 - Google Patents

用于交互式识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品 Download PDF

Info

Publication number
CN109478357A
CN109478357A CN201780035185.1A CN201780035185A CN109478357A CN 109478357 A CN109478357 A CN 109478357A CN 201780035185 A CN201780035185 A CN 201780035185A CN 109478357 A CN109478357 A CN 109478357A
Authority
CN
China
Prior art keywords
thumbnail
user interface
video
possibility
videograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780035185.1A
Other languages
English (en)
Inventor
M·杜姆布亚
M·萨布萨里
E·苏觉
H·瓦尔博内西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avignon Co
Avigilon Corp
Original Assignee
Avignon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avignon Co filed Critical Avignon Co
Publication of CN109478357A publication Critical patent/CN109478357A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028—Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309—Table of contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种用于交互地识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品。当选择一组缩略图中的一个缩略图时，获得新信息。该新信息可以是视频记录的与该缩略图相关联的部分中存在个人或对象。可以基于该新信息对该个人或对象执行搜索。搜索为用户界面页面内的每个显示的缩略图生成新的匹配可能性。显示的缩略图基于新的匹配可能性重新排序。

Description

用于交互式识别视频记录中存在的相同个人或对象的方法、 系统和计算机程序产品
相关的美国申请数据
本申请要求以下优先权的权益：i)2016年6月6日提交的美国临时申请No.62/346,240；ii)2016年6月17日提交的美国临时申请No.62/351,806；iii)2016年12月2日提交的美国申请No.15/368,357。所有上述申请的内容通过引用整体并入本文。
技术领域
本主题涉及识别出现在多个不同视频记录中的相同个人或对象，并且具体地，涉及允许用户向监视系统的计算机终端提供输入以便于识别出现在多个不同视频记录中的相同个人或对象。
背景技术
记录视频的智能处理和回放是摄像头监视系统中的重要功能。记录视频的回放可用于查看和识别在由摄像头捕获的视频中发现的感兴趣的对象或人。然后，这可以用于某些与安全相关的目的或诸如定位感兴趣的对象或人的目的。
然而，摄像头监视系统可以具有大量的摄像头，每个摄像头都生成它们各自的视频馈送。这可能使得在回放期间同时查看这些馈送麻烦，耗时且昂贵。
发明内容
根据一个示例实施例，提供了一种方法，包括显示多组缩略图。每组缩略图包括位于相应行或列中的一个或多个缩略图，相应行或列与该组缩略图一起由多个时间间隔的唯一时间间隔定义。每组缩略图的每个缩略图在视觉上表示以该缩略图的定义时间间隔获取的视频记录的相关部分。从该相应的行或列的一端以对应于出现已被识别为感兴趣的个人或对象的(与该组的任何其他缩略图相比的)最高可能性的缩略图开始，按降序排列组织每组缩略图中的一个或多个缩略图。自对应于该最高可能性的缩略图起，按降序显示该组中的任何剩余缩略图。该方法还包括允许选择该组缩略图之一中的第一缩略图以获得在与该第一缩略图相关联的视频记录部分中存在该个人或对象的新信息。该方法还包括基于该新信息执行对该个人或对象的搜索，其中该搜索为每个所显示的缩略图生成新的匹配可能性。该方法还包括基于该新的匹配可能性重新排序所显示的缩略图，以便维持该每个缩略图组中的降序排列。
根据另一示例实施例，提供了一种有形的、非暂时性的、计算机可读存储介质，具有在其中编码指令，其中，该指令在由至少一个处理器执行时导致执行包括显示多组缩略图的方法。每组缩略图包括位于相应行或列中的一个或多个缩略图，相应行或列与该组缩略图一起由多个时间间隔的唯一时间间隔定义。每组缩略图的每个缩略图在视觉上表示以该缩略图的定义时间间隔获取的视频记录的相关部分。从该相应的行或列的一端以对应于出现已被识别为感兴趣的个人或对象的(与该组的任何其他缩略图相比的)最高可能性的缩略图开始，按降序排列组织每组缩略图中的一个或多个缩略图。自对应于该最高可能性的缩略图起，按降序显示该组中的任何剩余缩略图。由存储介质中编码指令执行的方法还包括允许选择该组缩略图之一中的第一缩略图以获得在与该第一缩略图相关联的视频记录部分中存在该个人或对象的新信息。由存储介质中编码指令执行的方法还包括发送请求到服务器以基于该新信息搜索该个人或对象，其中，该搜索为每个所显示的缩略图生成新的匹配可能性。由存储介质中编码指令执行的方法还包括基于该新的匹配可能性重新排序所显示的缩略图，以便维持该每组缩略图中的降序排列。
根据另一示例实施例，提供了一种方法，其包括提供用户界面，该用户界面包括用于显示视频的视频帧的视频播放器。该视频帧包括多个帧区域，在该帧区域内存在相应的移动物质体。该帧区域可选择用于接收用户输入。该方法还包括通过用户界面接收搜索请求输入，以对在帧区域的所选帧区域中存在的个人或对象执行搜索。该方法还包括生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性。该匹配可能性是出现该个人或对象的可能性。该方法还包括填充或更新该用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息。
根据另一示例实施例，提供了一种有形的、非暂时性的、计算机可读存储介质，其具有在其中编码指令，其中该指令在由至少一个处理器执行时导致执行包括以下的方法：提供用户界面，该用户界面包括用于显示视频的视频帧的视频播放器。该视频帧包括多个帧区域，在该帧区域内存在相应的移动物质体。该帧区域可选择用于接收用户输入。由存储介质中编码指令执行的方法还包括通过用户界面接收搜索请求输入，以对在帧区域的所选帧区域中存在的个人或对象执行搜索。由存储介质中编码指令执行的方法还包括向服务器发送请求以生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性。该匹配可能性是出现该个人或对象的可能性。由存储介质中编码指令执行的方法还包括填充或更新该用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息。
根据另一示例实施例，提供了一种方法，其包括：显示二维图，其沿x轴具有日期和时间，以及沿y轴具有视频摄像头的多个摄像头标识的列表。关于该列表的该视频摄像头的相应多个视频记录可用于观看。该视频记录具有其中出现已经被识别为感兴趣的个人或对象的可能性高于阈值的部分。该方法还包括基于与该视频记录的部分相关联的多个摄像头标识和x轴上的时间，绘制该二维图上的n个图像缩略图，其中n是大于2的整数。该n个图像缩略图在视觉上表示该视频记录的部分。沿该x轴在最早时间显示n个缩略图中的第一个和沿该x轴在最晚时间显示第n个缩略图。该方法还包括允许选择该n个图像缩略图中的至少一个以从该二维图中移除。该方法还包括从该二维图中移除该n个图像缩略图中的至少一个。该方法还包括记录在与所移除的缩略图相关联的视频记录部分中不存在该个人或对象。
根据另一示例实施例，提供了一种有形的、非暂时性的、计算机可读存储介质，其具有其中编码指令，其中该指令在由至少一个处理器执行时导致执行包括以下的方法：显示二维图，其沿x轴具有日期和时间，以及沿y轴具有视频摄像头的多个摄像头标识的列表，关于该列表的该视频摄像头的相应多个视频记录可用于观看。该视频记录具有其中出现已经被识别为感兴趣的个人或对象的可能性高于阈值的部分。由存储介质中编码指令执行的方法还包括基于与该视频记录的部分相关联的多个摄像头标识和x轴上的时间，绘制该二维图上的n个图像缩略图，其中n是大于2的整数。该n个图像缩略图在视觉上表示该视频记录的部分，并且沿该x轴在最早时间显示n个缩略图中的第一个和沿该x轴在最晚时间显示第n个缩略图。由存储介质中编码指令执行的方法还包括允许选择该n个图像缩略图中的至少一个以从该二维图中移除。由存储介质中编码指令执行的方法还包括从该二维图中移除该n个图像缩略图中的至少一个。由存储介质中编码指令执行的方法还包括记录在与所移除的缩略图相关联的视频记录部分中不存在该个人或对象。
附图说明
现在将通过示例的方式参考附图：
图1示出了示例监视系统的框图，在该示例监视系统中可以执行根据示例实施例的方法；
图2示出了根据第一示例实施例的客户端视频回顾应用的框图，该应用可以在图1所示的示例监视系统内提供；
图3示出了用于图2的客户端视频回顾应用的示例用户界面页面，其绘制代表视频记录部分的缩略图，用户界面页面被配置为与其交互以识别视频记录中的相同个人或对象；
图4更详细地示出了图3中所示的缩略图之一；
图5更详细地示出了图3中所示的另一个缩略图；
图6示出了用于图2的客户端视频回顾应用的另一示例用户界面页面，其绘制代表视频记录部分的缩略图，所示缩略图的大小小于图3的缩略图；
图7更详细地示出了图6中所示的缩略图之一；
图8是示出根据一些示例实施例的第一用户界面驱动方法的流程图；
图9示出了用于图2的客户端视频回顾应用的另一示例用户界面页面，其绘制由视频摄像头组织的缩略图，该缩略图获取对应于所示缩略图的视频记录部分；
图10示出了根据示例实施例的用于细化搜索的示例用户界面窗口；
图11示出了用于图2的客户端视频回顾应用的另一示例用户界面页面，其相对于与所示缩略图对应的视频记录部分，按照时间顺序绘制缩略图；
图12示出了类似于图11的用户界面页面的示例用户界面页面，但其中包含示例视频播放器；
图13示出了根据第二替代示例实施例的客户端视频回顾应用的框图，该应用可以在图1所示的示例监视系统内提供；
图14示出了用于图13的客户端视频回顾应用的示例用户界面页面，其绘制代表视频记录部分的缩略图；
图15示出了图14的示例用户界面页面，其处于更多缩略图已经被回顾并被选择为与感兴趣的人或对象匹配的状态；
图16更详细地示出了图15中所示的缩略图之一；
图17示出了用于图13的客户端视频回顾应用的另一示例用户界面页面，该用户界面页面分为三个主要功能区域；
图18A示出了可以包括在诸如图12、17和20至22中的任何一个中所示的那些用户界面页面中的示例视频播放器；
图18B示出了可以包括在诸如图12、17和20至22中的任何一个中所示的那些用户界面页面中的另一个示例视频播放器；
图19是示出根据一些示例实施例的第二用户界面驱动方法的流程图；
图20示出了用于图13的客户端回顾应用的另一示例用户界面页面，该用户界面页面再次被分成三个主要功能区域；
图21示出了用于图13的客户端回顾应用的又一示例用户界面页面，该用户界面页面再次被分成三个主要功能区域；和
图22示出了用于图13的客户端回顾应用的另一示例用户界面页面，该用户界面页面与客户端回顾应用的导出功能相关联。
在不同附图中可以使用类似或相同的附图标记来表示附图中示出的类似示例特征。
具体实施方式
应当理解，当元件在本文中被称为“连接”、“与……连通”或“耦合”到另一元件时，它可以直接连接，直接与另一元件连通或直接耦合到另一元件或可以存在其他元件或中间元件。相反，当元件在本文中被称为“直接连接”、“直接与……连通”或“直接耦合”到另一元件时，不存在中间元件。用于描述元件之间关系的其他词语应以类似的方式解释(即，“在……之间”与“直接在……之间”，“相邻”与“直接相邻”等)。
如所属领域的技术人员将了解，本文中所描述的各种实例实施例可实施为方法、系统或计算机程序产品。因此，各种示例实施例可以采取例如完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者作为另一示例，结合可以全部通常在本文中称为“模块”或“系统”的软件和硬件方面的实施例。此外，各种示例实施例可以采用计算机可用存储介质上的计算机程序产品的形式，该计算机可用存储介质具有包含在介质中的计算机可用程序代码。
可以使用任何合适的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。在本文件的上下文中，计算机可用或计算机可读介质可以是能够包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备使用或与之结合使用的任何介质。
用于执行各种示例实施例的操作的计算机程序代码可以用诸如Java、Smalltalk、C++等的面向对象的编程语言来编写。然而，用于执行各种示例实施例的操作的计算机程序代码也可以用传统的过程编程语言编写，例如“C”编程语言或类似的编程语言。所选择的实际编程语言是设计选择的问题，并且如本领域技术人员将理解的，可以使用任何合适的编程语言。
下面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述各种示例实施例。本领域技术人员将理解，流程图说明和/或框图的各种框以及流程图说明和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机的处理器或其他可编程数据处理装置执行的指令，创建用于实现流程图和/或框图块中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理装置以特定方式起作用，使得存储在计算机可读存储器中的指令产生包括实现流程图和/或框图块中指定的功能/动作的指令的制品。
现在将参考图1，其示出了示例监视系统100的框图，在该示例监视系统100中可以执行根据示例实施例的方法。所示监视系统100中包括一个或多个计算机终端104和服务器系统108。在一些示例实施例中，计算机终端104是个人计算机系统；然而，在其他示例实施例中，计算机终端104是以下中选择的一个或多个：手持设备，例如平板电脑、平板手机、智能电话或个人数字助理(PDA)；笔记本电脑；智能电视；和其他合适的设备。关于服务器系统108，其可以包括单个物理机器或多个物理机器。应当理解，服务器系统108不需要包含在单个机箱内，也不一定存在服务器系统108的单个位置。如本领域技术人员将理解的，服务器系统108的至少一些功能可以在计算机终端104内实现，而不是在服务器系统108内实现。
计算机终端104通过一个或多个网络与服务器系统108通信。这些网络可以包括互联网，或者通过网络交换机或其他通信元件耦合在一起的一个或多个其他公共/专用网络。网络可以是例如客户端-服务器网络、对等网络等的形式。计算机终端104和服务器系统108之间的数据连接可以是任何数量的已知排列，用于访问数据通信网络，例如拨号串行线路接口协议/点对点协议(SLIP/PPP)、综合业务数字网(ISDN)、专用租用线路服务、宽带(例如有线)接入、数字用户线(DSL)、异步传输模式(ATM)、帧中继或其他已知的接入技术(例如，射频(RF)链路)。在至少一个示例实施例中，计算机终端104和服务器系统108在同一局域网(LAN)内。
计算机终端104包括控制计算机终端的整体操作的至少一个处理器112。处理器112与各种子系统交互，例如输入设备114(例如，键盘、鼠标、触摸板、滚球和语音控制装置中的所选择的一个或多个)、随机存取存储器(RAM)116、非易失性存储装置120、显示控制器子系统124和其他子系统[未示出]。显示控制器子系统124与显示器126交互，并且它在显示器126上呈现图和/或文本。
仍然参考监视系统100的计算机终端104，处理器112使用的操作系统140和各种软件应用存储在非易失性存储装置120中。非易失性存储装置120例如是一个或多个硬盘、固态驱动器或一些其他合适形式的计算机可读介质，其在计算机终端104关闭后保留记录的信息。关于操作系统140，其包括管理计算机终端104的计算机硬件和软件资源并为计算机程序提供公共服务的软件。此外，本领域技术人员将理解，操作系统140、客户端视频回顾应用144和其他应用152或其部分可以临时加载到诸如RAM 116的易失性存储器中。除了其操作系统功能之外，处理器1还能够在计算机终端104上执行各种软件应用。
视频回顾应用144的更多细节在图2的框图中示出。视频回顾应用144可以在计算机终端104上运行，并且包括用于与搜索会话管理器模块204协作的搜索用户界面(UI)模块202，以便使计算机终端用户能够执行与提供输入有关的动作，更具体地，与提供输入以便于识别在多个不同视频记录中出现的相同个人或对象有关的动作。在这种情况下，向计算机终端104的用户提供在显示器126上生成的用户界面，用户通过该用户界面输入和接收与视频记录有关的信息。
视频回顾应用144还包括上述搜索会话管理器模块204。搜索会话管理器模块204提供搜索UI模块202与服务器系统108的查询管理器模块164(图1)之间的通信接口。在至少一些示例中，搜索会话管理器模块204与查询管理器通信模块164通过使用远程过程调用(RPC)通信。
除了查询管理器模块164之外，服务器系统108还包括用于执行服务器系统108的其他功能的若干软件组件。例如，服务器系统108包括媒体服务器模块168。媒体服务器模块168处理与监视系统100中的视频摄像头169获取的视频的存储和检索有关的客户端请求。服务器系统108还包括分析引擎模块172。在一些示例中，分析引擎模块172可以是任何合适的一个已知的商业上可用的软件，其执行数学计算(和其他操作)以在视频记录的不同部分之间(或在任何参考图像和与参考图像相比的视频之间)尝试计算机化匹配相同个人或对象。例如，在一个特定示例中，分析引擎模块172可以是Avigilon公司出售的AvigilonControl Center TM服务器软件的软件组件。在另一示例中，分析引擎模块172可以是Qognify UK Ltd.销售的Qognify Suspect Search TM产品的软件组件。在一些示例中，分析引擎模块172可以使用人或对象的外貌的描述特征。这些特征的示例包括人或对象的形状、大小、纹理和颜色。
服务器系统108还包括许多其他软件组件176。这些其他软件组件将根据整个系统内的服务器系统108的要求而变化。仅作为一个示例，其他软件组件176可以包括特殊测试和调试软件，或者用于促进服务器系统108内的模块的版本更新的软件。服务器系统108还包括一个或多个数据存储装置190。在一些示例中，数据存储装置190包括一个或多个数据库191，其便于有组织地存储所记录的视频。
关于视频摄像头169，这些摄像头中的每一个包括摄像头模块198。在一些示例中，摄像头模块198包括一个或多个专用芯片，以在视频甚至被服务器系统108接收之前便于视频的处理和编码。例如，专用芯片可以是片上系统(SoC)解决方案，其包括编码器和中央处理单元(CPU)。这些允许摄像头模块198执行处理和编码功能。而且，在一些示例中，摄像头模块198的部分处理功能包括创建用于记录的视频的元数据。例如，可以生成与摄像头模块198已经检测到的一个或多个前景区域有关的元数据，并且元数据可以定义图像帧内的前景视觉对象的位置和参考坐标。例如，位置元数据可以进一步用于生成边界框，边界框通常是矩形的，画出检测到的前景视觉对象的轮廓。可以提取边界框内的图像以包括在元数据中。提取的图像可以替代地小于边界框中的图像，或者可以大于边界框中的图像。被提取的图像的大小也可以接近但是在检测到的对象的实际边界之外。
在一些示例中，摄像头模块198包括用于视频分析的多个子模块，例如，对象检测子模块、瞬时对象分类子模块、时间对象分类子模块和对象跟踪子模块。关于对象检测子模块，可以提供这样的子模块，用于检测出现在摄像头169的视场中的对象。对象检测子模块可以采用本领域技术人员理解的各种对象检测方法中的任何一种，例如，运动检测和/或斑点检测。
关于可以形成摄像头模块198的一部分的对象跟踪子模块，其可以可操作地耦合到对象检测子模块和时间对象分类子模块。为了在时间上关联由对象检测子模块检测到的对象的实例，包括对象跟踪子模块。对象跟踪子模块还可以生成与其跟踪的视觉对象相对应的元数据。
关于可以形成摄像头模块198的一部分的瞬时对象分类子模块，其可以可操作地耦合到对象检测子模块并且用于基于对象的单个实例确定视觉对象类型(例如，人、车辆或动物)。对瞬时对象分类子模块的输入可以可选地是其中感兴趣的视觉对象所在的图像的子区域而不是整个图像帧。
关于可以形成摄像头模块198的一部分的时间对象分类子模块，其可以可操作地耦合到瞬时对象分类子模块并且用于在时间段内维护对象的分类信息。时间对象分类子模块可以在对象的生命期期间的时间段上对由瞬时分类子模块提供的对象的瞬时分类信息执行平均。换句话说，时间对象分类子模块可以基于其在多个帧中的外貌来确定对象的类型。例如，对人行走方式的步态分析对于对人执行分类可能是有用的，或者对人的腿的分析对于对骑车者执行分类可能是有用的。时间对象分类子模块可以组合关于对象的轨迹的信息(例如，轨迹是平滑的还是混乱的，对象是移动的还是静止的)以及由在多个帧上平均的瞬时对象分类子模块做出的分类的置信度。例如，可以基于对象的轨迹的平滑度来调整确定的分类置信度值。时间对象分类子模块可以将对象分配给未知分类，直到在已经收集足够次数和预定数量的统计数据之后通过瞬时对象分类子模块对视觉对象执行分类。在对对象执行分类时，时间对象分类子模块还可以考虑对象在视场中已经存在多长时间。时间对象分类子模块可以基于上述信息做出关于对象的分类的最终确定。时间对象分类子模块还可以使用滞后方法来改变对象的分类。更具体地，可以设置阈值以将对象的分类从未知转换为确定分类，并且该阈值可以大于相反转换的阈值(例如，从人到未知)。时间对象分类子模块可以聚合由瞬时对象分类子模块做出的分类。
在一些示例中，摄像头模块198能够检测人并提取带有相应的边界框的人的图像，该边界框画出了包含在元数据中的人类对象的轮廓，其与相关联的视频一起可以被发送到服务器系统108。在系统108处，媒体服务器模块168可以处理提取的图像并生成签名(例如，特征向量)以表示对象。在计算机视觉中，特征描述通常被称为获取图像并输出特征描述或特征向量的算法。特征描述将信息(即图像)编码成一系列数字，以充当可用于将一个特征与另一个特征区分开的数字“指纹”。理想地，该信息在图像变换下是不变的，以便可以在相同对象的另一图像中再次找到这些特征。特征描述算法的示例是SIFT(尺度不变特征变换)、HOG(定向梯度的直方图)和SURF(加速鲁棒特征)。
根据至少一些示例，特征向量是数字特征(数字)的n维向量，其表示可由计算机处理的对象的图像。通过将一个对象的第一图像的特征向量与第二图像的特征向量进行比较，计算机可实现的过程可以确定第一图像和第二图像是否是相同对象的图像。
相似度计算可以仅仅是上述的扩展。具体地，通过计算由一个或多个摄像头169捕获的两个图像的两个特征向量之间的欧几里德距离，计算机可实现的过程可以确定相似性得分以指示两个图像可能有多相似。
根据至少一些示例，预期在监视系统100内存储特征向量。例如，特征向量可以与相应的视频一起被索引并且存储在数据库191中。特征向量还可以与参考坐标相关联，其中各个对象的提取图像位于相应视频中。存储可以包括存储具有例如时间戳、摄像头标识、具有特征向量和参考坐标的元数据等的视频。
现在将参考图3，其是根据一些示例实施例的可以交互以识别视频记录中的相同个人或对象的示例用户界面页面的屏幕截图。在至少一个示例中，视频回顾应用144(图1)在显示器126上生成用户界面页面510，通过该用户界面页面510将输入请求以供查询管理器模块164在服务器系统108上进行处理。
在用户界面页面510内是二维图520。二维图520沿x轴526包括日期和时间。在所示的示例中，从x轴526最左侧上午9:25开始，到x轴526最右侧上午10:50结束，每五分钟间隔标记一次。x轴526的两端之间的时间间隔可以通过使用滑块工具538来增加或减少。特别地，可移动旋钮544可以在滑块工具538的左端和右端之间移动。滑块工具538的左端对应于将x轴526的两端之间的时间间隔设置到最大值(如“减”放大镜符号546所示)。滑块工具538的右端对应于将x轴526的两端之间的时间间隔设置到最小值(如“加”放大镜符号550所示)。
二维图520沿着图520的y轴530还包括视频摄像头的多个摄像头标识534的列表，关于其视频摄像头的相应多个视频记录可用于观看。多个摄像头标识534中的每一个对应于多个视频摄像头169(图1)中的相应一个，其相对于监视系统100的多个摄像头169的所有位置位于唯一的已知物理位置。
在二维图520上绘制n个图像缩略图，其中n是大于2的整数。n个图像缩略图在视觉上表示视频记录的某些部分(随后更详细地解释)。沿x轴在最早时间显示n个缩略图中的第一个，缩略图554，在该示例中，在2016年2月12日星期五上午9:25左右。沿x轴在最晚时间显示最后(或第n)的缩略图，缩略图558，在该示例中，其在2016年2月12日星期五上午10:50左右。
缩略图554和缩略图558之间是各种插入缩略图(在该示例中为十五个插入缩略图；然而，在其他示例中，插入缩略图的数量可以例如显着大于十五，或者在其他示例中，显着少于十五，例如，少至一个或没有)。此外，注意缩略图559在其中具有复选标记并且在其周围具有框。这是为了表示缩略图559是参考图像。参考图像是与所有其他相关图像相比较以确定匹配的可能性的图像。
线560各自将缩略图中的一个与另一个缩略图连接，该缩略图在时间上接近另一个缩略图(通常是最接近的缩略图)。一些线560是实线。例如，缩略图559和缩略图566之间的线是实线。线560中的其他线至少部分地是虚线。例如，缩略图570和缩略图574之间的线部分地是虚线。在所示的示例中，实线意味着在线的两端连接的缩略图都与被识别为出现感兴趣的个人或对象的可能性高于第一阈值的视频记录的相应部分相关联。相反，部分虚线意味着在该线的后期末端连接的缩略图与被识别为出现感兴趣的个人或对象的可能性低于第一阈值但仍然高于由滑块工具578设置的第二下阈值的视频记录的相应部分相关联。
如上所述，滑块工具578允许与用户界面页面510交互的人设置关于允许哪些缩略图出现在图520上的过滤阈值。在该示例中，高级别的过滤意味着只允许那些对应于视频记录的一部分(其中出现感兴趣的个人或对象的可能性相当高)的缩略图出现在图520上。相反，低级别的过滤意味着将可以预期，更多的缩略图将出现在图520上，甚至包括对应于视频记录的一部分(其中出现感兴趣的个人或对象的可能性相当低)的缩略图。可移动旋钮580可以在滑块工具578的上端和下端之间移动。滑块工具578的下端对应于将过滤阈值设置到最小值(如符号582上的单词“低”所示)。滑块工具578的上端对应于将过滤阈值设置到最大值(如符号584上的单词“高”所示)。而且，应注意，在所示示例中，每个缩略图包括出现感兴趣的个人或对象的可能性的视觉指示。具体来说，在每个缩略图底部处存在指示条。参考图4，指示条590从缩略图570的左侧592朝向缩略图的右侧593延伸。宽指示条590指示缩略图570对应于视频记录的一部分，其中，与具有相对窄指示条的缩略图的另一视频记录的一部分相比，出现感兴趣的个人或对象的可能性更高。例如，如图5所示，缩略图574具有比缩略图570的指示条590更窄的指示条595。
现在将参考图6。如前所述，通过使用滑块工具538，可以增加或减少x轴526的两端之间的时间间隔。图6示出了当相对于图3中所示，可移动旋钮544移动得更靠近“负”放大镜546(即，x轴526的两端之间的时间间隔增加)时，对图520的影响。作为影响的一个示例，与图3中的缩略图相比，图6中所示的缩略图602的大小非常小(例如缩略图559、566等)。这是可以预期的，因为，例如，与图3中所示的图的先前版本相比，存在更多的缩略图要在该版本的图中绘制(即七十四个缩略图与十七个缩略图)。由于大小减小，缩略图上不再提供代表性图像。相反，这些较小的缩略图仅包括条形指示。
由于缩略图602的条形指示与图3所示的缩略图560的条形指示不同，现在解释差异。首先，应该理解，缩略图对应的视频记录的一部分不一定是小或微小的持续时间，并且可以是例如几分钟长。因此，缩略图对应的视频记录的一部分可以进一步细分为更多部分，并且感兴趣的个人或对象的出现的可能性可以在这些其他部分中的每一个之间变化。例如，假设视频记录的完整部分是四分钟长。可能是四分钟视频记录的第一分钟具有出现感兴趣的个人或对象的相关第一可能性。接下来，四分钟视频记录的第二分钟出现感兴趣的个人或对象的相关第二可能性大于出现的第一可能性。最后，四分钟视频记录的最后两分钟出现感兴趣的个人或对象的相关第三可能性大于出现的第二可能性。
为了向与用户界面页面510交互的人呈现出现可能性的这些差异，缩略图本身可以提供作为时间的函数的出现可能性的微型图表示。现在将参考图6和图7，缩略图702是一个这样的缩略图。在第一时间段x1期间，出现的第一可能性由条形图710的第一高度h表示。在第二时间段X2期间，出现的第二可能性由条形图710的第二高度i表示。应注意，高度i大于高度h，表明在第二时间段期间出现的可能性大于在第一时间段期间出现的可能性。在第三时间段X3期间，出现的第三可能性由条形图710的第三高度j表示。将注意到高度j大于高度i，表明在第三时间段期间出现的可能性大于在第二时间段期间出现的可能性。
现在将参考图8，其是示出根据示例实施例的方法750的流程图。作为所示方法750中的第一动作(752)，显示二维图，其中二维图沿x轴具有日期和时间，以及沿y轴具有视频摄像头的多个摄像头ID的列表。二维图可以显示在例如用户界面页面内，例如图3和图6中所示的用户界面页面510内。
接下来，方法750包括在二维图上绘制(754)n个图像缩略图，其中绘制基于多个摄像头ID和与视频记录的部分相关联的x轴上的时间。关于上述动作754，已经在图3和图6以及这些图的相关描述中示出并描述了与此有关的更多细节。
接下来，方法750包括允许选择要从二维图中移除的n个图像缩略图中的至少一个(756)。例如，以图3和图5中所示的缩略图574为例。计算机终端104的用户可以确定与缩略图574相关联的视频记录部分中所示的人不是感兴趣的个人。因此，用户可以选择缩略图574以从二维图中移除。用于实现此目的的特定用户界面动作可以采用本领域技术人员理解的各种不同形式中的任何一种。例如，通过在缩略图574上移动光标，可以出现“x”符号(或者“x”可以永久可见)，然后用户可以点击“x”以向客户端视频回顾应用提供输入(输入是选择缩略图574以从二维图中移除)。作为替代示例，可以允许用户点击一个或多个缩略图，然后这些一个或多个缩略图将被突出显示，然后最终图标(例如，用户界面页面510内的垃圾桶图标)可以被选择以将一个或多个缩略图集中移除。
接下来，方法750包括从二维图中移除(758)n个图像缩略图中的至少一个。例如，在动作756之后缩略图574可以从图3中所示的二维图中移除。
最后，方法750包括记录在与所移除的缩略图相对应的视频记录的部分中不存在个人或对象(760)。记录可以在RAM116(图1)和/或计算机终端104的非易失性存储装置120中。同时(或在稍后的时间点)存储装置190的数据库191也可以记录该改变。
现在将参考图9，其示出了根据一些示例实施例的可以交互以识别视频记录中的相同个人或对象的另一示例用户界面页面810的屏幕截图。在至少一个示例中，视频回顾应用144(图1)在显示器126上生成用户界面页面810，通过该用户界面页面810将输入请求以供查询管理器模块164在服务器系统108上进行处理。
在示例用户界面页面810中，根据视频摄像头169(图1)中的哪一个被识别为已经获取了与所示缩略图820相对应的视频记录的部分来组织缩略图820。因此，它将会看到在摄像头“左多传感器(1)(LID 91)”下有七个缩略图可用。在摄像头“中多传感器(2)(LID92)”下有六个缩略图可用。在摄像头“右多传感器(3)(LID 93)”下有两个缩略图可用。最后，在摄像头“16L-H4PRO-B(LID 20)”下有两个缩略图可用。可以通过特定视频摄像头以外的某些参数进行组织。更具体地，所示出的用户界面页面810包括下拉选择器822，该下拉选择器822允许通过不同参数进行缩略图组织(例如，按照时间年龄，稍后将在本文中结合图11描述)。
图9中的缩略图820有些类似于图3的那些；但是，因为它们的大小较大，所以书面信息可以包含在它们的底部，包括出现的可能性百分比、相应视频摄像头的名称和时间戳。根据至少一个示例实施例，单击任何缩略图820将使用户到达对应于该缩略图的视频部分中的起始点。通过缩小，双击任何缩略图820将使用户到达视频中的精确点，如缩略图图像中所示。
滑块工具828以类似于先前结合图3所讨论的滑块工具578的方式起作用，因此，滑块工具828允许与用户界面页面810交互的人设置关于允许哪个缩略图820出现在用户界面页面810上的过滤阈值。如在前面的示例中，高级别过滤意味着只允许那些对应于视频记录的一部分(其中出现感兴趣的个人或对象的可能性相当高)的缩略图出现在用户界面页面810上。相反，低级别过滤意味着预期在用户界面页面810上将出现更多缩略图，甚至包括对应于视频记录的一部分(其中出现感兴趣的个人或对象的可能性相当低)的缩略图。可移动旋钮880可以在滑块工具828的上端和下端之间移动。滑块工具828的下端对应于将过滤阈值设置到最小值(如符号882上的单词“低”所示)。滑块工具828的上端对应于将过滤阈值设置到最大值(如符号884上的单词“高”所示)。而且，应注意，在一些示例中，缩略图820中的每一个可以包括出现感兴趣的个人或对象的可能性的视觉指示。具体来说，在每个缩略图的下半部分中都可以有指示条。该指示条已经结合图4和图5进行了说明。另外，应注意，特别是对于这些较大的缩略图，出现的百分比可能性(即，1％和100％之间的一些量)可以显示为叠加在指示条上。
在图9中所示的用户界面页面810中，包括所有视频摄像头169(在屏幕区域中示出了四个摄像头；然而，仅通过使用图标890向下滚动用户界面页面810更多摄像头可用)。根据一些示例，计算机终端用户可以控制在用户界面页面810上包括哪个视频摄像头169。例如，通过点击“细化搜索”图标894，计算机终端用户可以使新界面窗口910如图10所示提供。
所示的界面窗口910包括三个窗口区域：摄像头列表区域912、参考图像区域914和日期和时间调整器区域916。摄像头列表区域912中的摄像头列表被组织为复选框的层级。在层次结构中的最高级别是复选框919，其对应于位于“芝加哥站点”的所有视频摄像头(下文中，该层级级别将被称为站点级别)。在复选框919中进行选中最初使得芝加哥站点的所有摄像头都变为被选中。同样，取消选中复选框919将导致芝加哥站点的所有摄像头都变为被取消选中。在层级中的下一级是复选框920、922、924和926，其对应于芝加哥站点的地理区域(下文中，该层级级别将被称为地理区域级别)。在所示的示例中，复选框920对应于“建筑的北侧”的地理区域，复选框922对应于“东停车场”的地理区域，复选框924对应于“西管子站”的地理区域，并且复选框926对应于“制造”的地理区域。在对应于地理区域级别的复选框中进行选中最初会导致在该特定地理区域级别下组织的所有摄像头变为被选中。因此，例如，如果选中复选框920，则这将首先导致与摄像头“左多传感器(1)(LID 91)”、“中多传感器(LID 92)”和“右多传感器(3)”(LID 93)相关联的所有复选框930、932和934分别变为被选中(下文中各个视频摄像头的层级级别将被称为摄像头级别)。类似地，取消选中对应于地理区域级别的复选框将导致在该特定地理区域级别下组织的所有摄像头变为未选中。因此，例如，如果未选中复选框920，则这将导致与摄像头“左多传感器(1)(LID 91)”、“中多传感器(2)(LID 92)”和“右多传感器(3)(LID 93)”相关联的所有复选框930、932和934分别变为未选中。
仍然参考图10，参考图像区域914位于界面窗口910的右上区域中。如前所述，参考图像是与所有其他相关图像相比较以确定匹配的可能性的图像。同样在图示的界面窗口910内，在参考图像区域914下方，是日期和时间调整器区域916。日期和时间调整器区域916为计算机终端用户提供改变搜索的日期和时间范围的能力。特别地，深色条的左端950或右端954可以相对于时间/日期线956的整个长度移动。向左移动左端950或向右移动右端954增加搜索的总时间/日期范围。类似地，向右移动左端950或向左移动右端954减少了搜索的总时间/日期范围。根据至少一个示例实施例，时间/日期线956的右端可以是在客户端视频回顾应用正在运行的当前时间之前几分钟的最新时间。本领域技术人员将理解，调整时间/日期线以包括最近的视频记录不限于示例界面窗口910，而是确实也可以适用于本文描述的其他示例实施例。
一旦在界面窗口910内进行了所有期望的改变，就可以更新搜索以反映计算机终端用户已经改变的参数。在所示示例中，计算机终端用户可以通过点击“搜索”图标970来启动它。视频回顾应用144然后将计算机终端用户返回到用户界面页面810的更新版本。
关于图10中所示的界面窗口910的另一个注释，应该理解，其应用不限于图9的示例实施例。界面窗口910也适用于其他示例实施例，例如图20的示例实施例，其将在本文后面描述。
现在将参考图11，其示出了根据一些示例实施例的可以交互以识别视频记录中的相同个人或对象的另一示例用户界面页面1010的屏幕截图。在至少一个示例中，视频回顾应用144(图1)在显示器126上生成用户界面页面1010，通过该用户界面页面1010将输入请求以供查询管理器模块164在服务器系统108上进行处理。
用户界面页面1010类似于图9中所示的用户界面页面810；然而，缩略图的组织是按时间顺序而不是特定的视频摄像头。因此，可以看出，最上面和最左边的缩略图1030对应于在上午9:25左右开始的时间最早的视频记录的一部分。接下来是在上午9:41左右开始的视频记录的一部分(缩略图1032)。之后是在上午10:13左右开始的视频记录的一部分(缩略图1034)。因此，随后的组织是每一行从左到右，从最上面的行开始，然后按照相同的从左到右的顺序继续下一行排序缩略图，或者，通过类比，组织类似于单词将如何可以在任何类型的英语书籍或出版物的页面上排序。图11中的缩略图遵循与图9的缩略图820相同的格式、样式和内容。例如，像图9中的缩略图一样，图11中的缩略图可以在其底部包括书面信息，包括例如出现的百分比可能性、相应摄像头的名称和时间戳。在所示的示例中，在屏幕区域中显示了许多缩略图；然而，仅通过使用图标1090向下滚动用户界面页面1010，甚至更多缩略图可用。
滑块工具1078以类似于先前结合图3所讨论的滑块工具578的方式起作用，因此，滑块工具1078允许与用户界面页面1010交互的人设置关于允许哪个缩略图出现在用户界面页面1010上的过滤阈值。如在前面的示例中那样，高级别过滤意味着只允许那些对应于其中出现感兴趣个人或对象的可能性相当高的视频记录的一部分的缩略图出现在用户界面页面1010上。相反，低级别过滤意味着预期将在用户界面页面1010上出现更多缩略图，甚至包括对应于其中出现感兴趣个人或对象的可能性相当低的视频记录的一部分的缩略图。可移动旋钮1080可以在滑块工具1078的上端和下端之间移动。滑块工具1078的下端对应于将过滤阈值设置到最小值(如符号1082上的单词“低”所示)。滑块工具1078的上端对应于将过滤阈值设置到最大值(如符号1084上的单词“高”所示)。而且，应注意，在一些示例中，每个缩略图可以包括出现感兴趣的个人或对象的可能性的视觉指示。具体来说，在每个缩略图的下半部分中都可以有指示条。该指示条已经结合图4和图5进行了说明。另外，应注意，特别是对于这些较大的缩略图，出现的百分比可能性(即，1％和100％之间的一些量)可以显示为叠加在指示条上。
在一些示例中，计算机终端用户可以点击缩略图以调出视频播放器，允许计算机终端用户观看与所选缩略图相对应的视频记录部分。例如，参考图11和图12，缩略图1030可以由计算机终端用户点击(例如，如前所述，单击缩略图1030可以将用户带到与该缩略图对应的视频部分中的起始点，并且双击缩略图1030可以将用户带到视频中的精确点，如缩略图图像中所示)。点击动作将用户界面页面1010改变为新的用户界面页面1110，其类似于用户界面页面1010但包括视频播放器1120。视频播放器1120播放对应于缩略图的视频记录部分。以这种方式，计算机终端用户可以观看视频记录的一部分，并且希望通过观看该部分，计算机终端用户可以看到或注意到一些内容，这些内容将允许做出关于感兴趣的个人或对象是否实际上出现在对应于缩略图1030的视频记录部分中的决定。可以理解，在点击缩略图时视频播放器出现的上述用户界面页面变换不仅限于图11和图12的示例实施例。它同样适用于包括例如图3、图6和9所示的那些的其他相关的示例实施例。
现在将参考图13，其示出了图1所示的示例监视系统的客户端视频回顾应用144'的框图。视频回顾应用144'和先前描述的视频回顾应用144之间存在相似之处。例如，两个视频回顾应用都涉及提供UI以收集输入以便于识别出现在多个不同视频记录中的相同个人或对象。根据下面的描述，进一步的相似性将变得显而易见。
视频回顾应用144'可以在计算机终端104(图1)上运行，并且包括搜索UI模块1302，用于与搜索会话管理器模块1304协作，以便使计算机终端用户能够执行与提供输入有关的动作，更具体地，与提供输入以便于识别出现在多个不同视频记录中的相同个人或对象有关的动作。在这种情况下，计算机终端104的用户设有在显示器126上生成的用户界面，用户通过该用户界面输入和接收与视频记录有关的信息。
视频回顾应用144'还包括上述搜索会话管理器模块1304。搜索会话管理器模块1304提供搜索UI模块1302与服务器系统108的查询管理器模块164(图1)之间的通信接口。在至少一些示例中，搜索会话管理器模块1304与查询管理器通信模块164通过使用远程过程调用(RPC)通信。
现在将参考图14，其是根据一些示例实施例的可以交互以识别视频记录中的相同个人或对象的示例用户界面页面1410的屏幕截图。在至少一个示例中，视频回顾应用144'(图13)在显示器126(图1)上生成用户界面页面1410，通过该页面输入请求以供服务器系统108上的查询管理器模块164进行处理。
在用户界面页面1410内是二维图1422。二维图1422沿x轴1426包括日期和时间。在所示示例中，从x轴1426的最左侧下午2:40开始到x轴1426的最右侧下午5:00结束，每二十分钟间隔标记一次。在至少一些示例中，x轴1426的两端之间的时间间隔可以增加或者减少。例如，用户界面页面1410可以包括类似于结合用户界面页面510(图3)描述的滑块工具538的滑块工具。在至少一个示例中，滑块工具可以在1分钟到30分钟之间的任何地方改变时间间隔的间隔尺寸。当然，其他间隔尺寸范围也是可能的。
二维图1422沿着图1422的y轴1430还包括多个视频摄像头的摄像头标识1434的列表，关于该列表的视频摄像头的相应多个视频记录可用于观看。多个摄像头标识1434中的每一个对应于多个视频摄像头169(图1)中的相应一个，其相对于监视系统100的多个摄像头169的所有位置位于唯一的已知物理位置。多个摄像头标识1434的列表可以按如下方式组织：它基于具有最多标记的那些摄像头标识降序(从上到下)。或者，可以预期多个摄像头标识1434的列表的组织的其他形式。
在二维图1422下面是组织成列的多个图像缩略图1450。为每列分配时间间隔，因此，从最左列开始，为第一列分配下午2:30到下午2：39.59的时间间隔。然后为下一列分配下午2:40到下午2：49.59的时间间隔为，依此类推。以这种方式，如果该缩略图的视频记录的相关部分落在下午2:30到下午2：39.59的时间间隔内，则缩略图之一应该仅出现在第一列中。否则缩略图需要进到匹配时间间隔中的任何一列。而且，本领域技术人员将理解，上述组织成列不重要。例如，组织成行将是合适的替代设计选择。
应注意，在每个缩略图列中，缩略图1450按照基于已被识别为出现感兴趣的个人或对象的可能性的顺序进行组织。这可以从每个缩略图1450上提供的标记看出。在所示的示例中，该标记采用圆圈1452的形式，其中显示对应于已被识别为出现感兴趣的个人或对象的可能性的百分比数字(该标记的细节太小而不能在图14中示出)。以最左列为例，与顶部缩略图对应的百分比数字为87％，其下方的下一个缩略图为84％，然后其下方的下一个缩略图为81％，依此类推。
在所示的用户界面页面1410内，还存在位于二维图1422上方并且与对应于下午3:00到下午3：09.59的时间间隔的缩略图列垂直对齐的缩略图1462。缩略图1462与图1422下方的缩略图的不同之处在于，计算机终端104(图1)的用户在某个先前时刻输入缩略图中的女孩是已被识别为感兴趣(即100％的匹配可能性)的特定个人。在前一时刻，通过在用户界面页面1410上移动光标1466并点击图1422下方的缩略图之一来完成该操作。一旦点击缩略图，它就在图1422上方向上移动，同时仍然保持与它来自的缩略图列垂直对齐。
还应注意，缩略图1462在图1422上具有对应的标记1470。在该示出的示例中，标记1470指示感兴趣的女孩在下午3:00至下午3：09.59的时间间隔期间在由视频摄像头“cam-1002”获取的视频记录的一部分中出现。
现在将参考图15。图15示出了在点击图1422下方的更多缩略图之后，相对于图14中所示的对用户界面1410中显示的元素的影响。当点击了更多缩略图时发生的主要的交互式变化是更多标记出现在图1422上，更多缩略图出现在图1422上方和图1422下方的缩略图变得重新排列和改变(包括添加先前未示出的新缩略图和移除不再具有足够的匹配可能性的缩略图)。将注意到，每次点击缩略图之一时，这将根据可能匹配的内容和不可能匹配的内容添加新信息。换句话说，新信息与搜索相关。在一些示例中，系统采用用户的反馈来细化搜索结果(通过合并多个查询图像的结果)。在这样的示例中，用户界面可以允许收集用户的反馈，以便收集可用于改进引擎(或训练新引擎)的地面实况数据。这种反馈机制可用于创建通过连续和自动地向用户学习而发展的系统。
因此，只要点击缩略图之一，就运行更新的搜索。此外，提供选择器1501以允许选择不同的引擎(神经网络)以在需要时运行搜索。如本领域技术人员将理解的，每当使用不同的引擎来运行搜索时，将产生不同的搜索结果。因此，在一些示例中，可以允许计算机终端用户尝试在不同的引擎上运行搜索，直到他已经决定了用于其目的的比其他引擎更合适的引擎。因此，选择器1501允许在不同引擎之间切换，或甚至选择多个引擎。对于多个引擎，可以使用所选择的算法(秩融合或特征融合)来组合多个引擎的结果，其目的是产生平均优于单独的每个引擎的结果。
关于示例标记1502，其在x轴1426上在下午4:10到下午4：19.59的时间间隔处具有x坐标，并且在y轴1430上具有对应于摄像头“cam-1008”的y坐标。这是新的标记，意味着在图14和图15中所示的所示用户界面状态之间的某个点处，计算机终端104(图1)的用户选择缩略图1506以将其指示为感兴趣的女孩的匹配，从而使其从垂直对齐的列(图1422下方)向上移动到图1422上方所示位置。
应注意，对于一些时间间隔，存在多个标记。在所示的例子中，下午3:00至下午3:09.59的时间间隔包括三个标记1510、1512和1470，下午3:50至下午3:59.59的时间间隔包括三个标记1516、1518和1520，并且下午4:20到下午4:29.59的时间间隔包括两个标记1520和1522。此外，关于落在一个时间间隔内的标记和落在下一个时间间隔内的标记，在两个标记之间创建线。例如，标记1540落在下午3:10至下午3:19.59的时间间隔，并且标记1542是在下午3:20至下午3:29.59的下一个稍后的时间间隔，所以存在标记1540和标记1542之间的线1544。图1422上的标记之间的线对于连接前面讨论的图3实施例中的缩略图的线560具有类似的实际意义。即，标记之间的每条线连接到其他线，使得在图1422上构建路径，该路径示出了感兴趣的个人或对象如何以及何时在沿y轴1430列出的视频摄像头之间移动。
应注意，在第一时间间隔和下一个稍后的时间间隔中的标记之间可以存在多于一条线。例如，在下午3:20至下午3:29.59的时间间隔中的标记1542与在下午3:50至下午3:59.59的时间间隔中的标记1516、1518和1520之间存在三条线。第一线1550将在下午3:20至下午3:29.59的时间间隔中的标记1542连接到在下午3:50到下午3:59.59的时间间隔中的标记1516。第二线1552将在下午3:20至下午3:29.59的时间间隔中的标记1542连接到在下午3:50至下午3:59.59的时间间隔中的标记1518。第三线1554将在下午3:20至下午3:29.59的时间间隔中的标记1542连接到在下午3:50至下午3:59.59的时间间隔中的标记1520。
如前所述，下午3:50至下午3:59.59的时间间隔包括三个标记1516、1518和1520。由于在该时间间隔中存在三个标记，所以这意味着在该时间间隔的缩略图列中点击了三个缩略图，并且此外三个缩略图已经被移动到图1422上方。但是，由于用户界面1410内的空间限制，仅单个缩略图1570可见。在一些示例中，两个隐藏的缩略图可以是揭示了现在将参考图16描述的方式。
图16是缩略图1570的区域内的用户界面1410的特写图示。如图16的左侧所示，光标1466位于缩略图1570旁边。下一个动作是用户移动光标1466并将其定位在缩略图1570上，如图16的右侧所示。通过这样做，缩略图组1578的两个隐藏的缩略图1572和1574变为露出来。如果用户想要将缩略图1572和1574中的一个带到前面以便完全露出，则用户可以直观地将光标移动到缩略图1572或1574上方，然后点击它。而且，应当理解，当点击的缩略图移动到前面时，保持前面(揭示的)位置的缩略图必须移动到后面位置。因此，组1578内的缩略图的移动可以类似于在牌组内的洗牌。
现在将参考图17，其是根据另一示例实施例的另一示例用户界面页面1702的屏幕截图，其可以交互以识别视频记录中的相同个人或对象。用户界面页面1702被划分为三个功能区域：第一UI区域1710、第二UI区域1712和第三UI区域1714。在第一UI区域1710内，滑块工具1778以类似于先前结合图11讨论的滑块工具1078的方式起作用，因此，滑块工具1778允许人与用户界面页面交互1702以设置关于允许哪些缩略图出现在用户界面页面1702上的过滤阈值。用户界面页面1702以及每个缩略图1716基于与缩略图相关联的视频记录的部分落在的时间间隔被组织成列。从最左列开始，对此列分配下午7:15到下午7:16的时间间隔。然后为下一列分配下午7：16到下午7:17的时间间隔，依此类推。因此，用户界面页面1702内的缩略图列中的缩略图的组织与先前结合图14和图15描述的用户界面页面1410内的缩略图列中的缩略图的组织具有相似性。还应注意，存在在第一UI区域1710内提供的下拉选择器1718和1719。下拉选择器1718影响缩略图1716如何在它们各自的列中的每一个内被组织。在所示的示例中，下拉选择器1718已被设置为“相关性”。这意味着对应于出现感兴趣的个人或对象的可能性较高的视频部分的缩略图将看起来比对应于出现的可能性较低的部分更靠近第一UI区域1710的顶部。下拉选择器1719标记为“选项”，并且允许计算机终端用户一旦点击，就选择其他搜索相关选项，例如，启动所有已加星标的结果的导出或将所有已加星标的结果加入书签。如本领域技术人员将理解的，在记录视频的上下文中的“导出”意味着将视频记录或视频记录的部分从一个设备移动或复制到另一个设备(例如，用于备份或以其他方式保存正在移动或复制的内容的目的)。“书签”意味着创建电子标记或索引以使计算机终端用户更容易返回到视频记录的特定部分。
将注意到，缩略图1716中的每一个包括缩略图的左上角中的方形图1720和缩略图的右上角中的星形图1724。这些图叠加在缩略图1716上的图像上方。可以点击星形图1724以指示感兴趣的对象或人包含在与该缩略图对应的视频记录部分中。当发生这种情况时(在本文中也称为“星标”结果)，星形图1724可以从浅色半透明阴影变为纯亮色(尽管在所示示例中颜色未示出，但是缩略图1716的左上的星形图已经被点击以指示匹配，而其他缩略图1716不是)。或者，星形图1724可以在被点击时以某种其他方式改变，例如，一旦被选择以指示匹配就变为连续动画。关于每个缩略图1716的左上角中的方形图1720，其可以被点击以指示感兴趣的对象或人不包含在与该缩略图对应的视频记录的部分中。当这发生时，红色“X”可以出现在方形图1720内，以提供已经发生的事件的视觉指示。而且，本领域技术人员将理解，红色“X”只是可以实现提供不匹配的期望指示的相同结果的许多可能的设计选择之一。在一些示例中，当用户点击一个或多个缩略图以指示匹配和/或不匹配时，列中的缩略图将彼此重新定位它们自己。在其他示例中，当用户点击一个或多个缩略图以指示匹配和/或不匹配时，列中的缩略图将保持在静态位置。
视频播放器1725包括在用户界面页面1702内的第二UI区域1712中。在所示示例中，视频播放器1725正在播放对应于缩略图1727的视频记录部分。以这种方式计算机终端用户可以观看视频记录的一部分，并且希望通过观看该部分，计算机终端用户可以看到或注意到某些内容，其将允许做出感兴趣的个人或对象是否实际出现在对应于缩略图1727的视频记录的部分中的决定。在所示的示例中，诸如边界框1729和1731的边界框出现在所示的视频内的多个移动对象和人的周围。边界框1731具有在边界框顶部正上方所示的百分比“50％”，以向计算机终端用户指示边界框1731内的人被计算为具有为感兴趣的人的50％的可能性。相反，边界框1729没有在其上方所示的任何百分比。在一些示例中，是否显示百分比将取决于是否超出出现可能性阈值(即，出现可能性信息仅在其足够高时才出现)。
将理解的是，视频播放器1725不限制计算机终端用户仅观看与缩略图1727相对应的视频记录部分。计算机终端用户可以观看其他视频，其包括与在第一UI区域1710中所示的任何缩略图相对应的那些视频。根据至少一个示例实施例，单击任何缩略图1716将使用户到达对应于该缩略图的视频部分中的起始点。而双击任何缩略图1716将使用户到达视频中的精确点，如缩略图图像中所示。
在第三UI区域1714内是二维图1764。二维图1764沿x轴1765包括日期和时间。在所示的示例中，从x轴1765的最左侧下午7:15开始到x轴1765的最右侧下午7:21结束，每三十秒间隔标记一次。在至少一些示例中，x轴1765的两端之间的时间间隔可以增加或者减少。例如，图示的用户界面页面1702包括滑块工具1766，其类似于结合用户界面页面510(图3)描述的滑块工具538。
二维图1764沿图1764的y轴1767还包括视频摄像头的多个摄像头标识1769的列表，关于该列表的视频摄像头的相应的多个视频记录可用于观看。多个摄像头标识1769中的每一个对应于多个视频摄像头169(图1)中的相应一个，其相对于监视系统100的多个视频摄像头169的所有位置位于唯一的已知物理位置。多个摄像头标识1769的列表可以按如下方式的组织：它基于具有最多标记的那些摄像头标识降序(从上到下)。或者，可以预期多个摄像头标识1769的列表的其他形式的组织。在至少一个替代示例中，通过仅示出具有至少一个已加星标的结果的那些摄像头，可以使多个摄像头标识1769的列表更短。
仍然参考第三UI区域1714，在大约下午7:15.30绘制标记1771。在该示出的示例中，标记1771对应于第一UI区域1710的左上角中的缩略图，如上所述，该缩略图已被标记为匹配感兴趣的对象或人。为了使标记1771和对应的缩略图之间的对应关系更明显，标记可以以与缩略图上的星形图相同的颜色显示。
现在将参考图18A，其示出了根据一些示例实施例的示例视频播放器1800。视频播放器1800可以类似于包括在界面页面1702(图17)中的视频播放器1725，并且实际上当然可以在这样的界面页面内使用。同样地，视频播放器1800可以类似于在图12、17和20到22中所示的界面页面中包括的任何一个视频播放器，并且实际上，当然也可以在那些界面页面中的任何一个内使用。
在视频播放器1800上所示的视频内，存在围绕视频中所示的人的边界框1810。通过右键单击边界框1810，出现选择列表1814，其具有用于运行搜索的多个选项。点击选择选项1816(“找到更多这样的”)启动在存储装置190(图1)内存储的视频中搜索可能与边界框1810内的人匹配的任何人。点击选择选项1818(“在这之前找到更多像这样的人”)启动类似的搜索；然而是在搜索将限于在视频中显示的帧的日期/时间戳1823之前发生的视频的意义上的更受限制的搜索。点击选择选项1820(“在这之后找到更多像这样的人”)启动搜索，该搜索是通过选择选项1818而启动的搜索的补充(即搜索将限于在视频中显示的帧的日期/时间戳1823之后发生的视频)。
现在描述了在商场中丢失他的行李的人的示例，以示出为什么可以通过选项1816选择受限制的搜索选项(即，选项1818和1820)。因此，如果人在商场中丢失他的行李，以下情况应该是真实的：i)在某个时间点，该人在商场内携带行李；ii)在稍后时间点，该人在商场内没有携带行李。因此，当该人前往商场的安全办公室时，保安人员可以开始查看视频播放器中的视频。一旦保安人员在商场处获取的视频录像的一部分中找到该人，他就可以查看相关的视频帧，看看该人当时是否携带或未携带行李。如果是在这些视频帧中该人携带行李的情况下，则保安人员可以选择选项1820，因为时间向以前搜索将不会对试图找到在行李丢失时刻该人的任何视频有帮助。相反，如果是在这些视频帧中该人没有携带行李的情况下，则保安人员可以选择选项1818，因为时间向以后搜索将不会对试图找到在行李丢失时刻该人的任何视频有帮助。应当注意，为了启动上述搜索，保安人员在商场处获取的视频记录的某些部分中找到该人并不重要。相反，保安人员可以例如指示该人站在安全办公室内或附近的视频摄像头前面。然后，保安人员将记录该人的视频图像，然后可用于启动搜索。
现在将参考图18B，其示出了根据一些示例实施例的另一示例视频播放器1850。视频播放器1850可以类似于包括在界面页面1702(图17)中的视频播放器1725，并且实际上当然可以在这样的界面页面内使用。同样地，视频播放器1850可以类似于图12、17和20到22中所示的界面页面中包括的任何一个视频播放器，实际上，可以在那些界面页面中的任何一个内使用。
在视频播放器1850上所示的视频内，存在围绕视频中所示的人的边界框1860。通过右键单击边界框1860，出现选择列表1864，其具有用于运行搜索的多个选项。点击选择选项1868(“在这之前找到更多像这样的人”)启动在存储装置190(图1)内存储的视频中搜索可能与边界框1860内的人匹配的任何人，但是限于在视频中显示的帧的日期/时间戳1869之前发生的视频。点击选择选项1870(“在这之后找到更多像这样的人”)启动搜索，该搜索是通过选择选项1868而启动的搜索的补充(即搜索将限于在视频中显示的帧的日期/时间戳1869之后发生的视频)。单击选择选项1874(“附加搜索选项”)允许计算机终端用户选择其他与搜索相关的选项，例如，启动所有已加星标的结果的导出或将所有已加星标的结果加入书签。这些选项已在本文中讨论过。
现在将参考图19，其是示出根据一些示例实施例的方法1900的流程图。作为所示方法1900中的第一动作，客户端视频回顾应用144(图2)或客户端视频回顾应用144'(图13)经由用户界面中的视频播放器(例如，视频播放器1800或视频播放器1850)检测用户输入，包括与要搜索的人或对象相对应的边界框内容选择。如结合图18A或18B中所示的示例所描述的，计算机终端用户可以右键单击边界框1810(或边界框1860)以呈现用于选择要运行的特定类型的搜索的不同选项。当然，右键单击以来到选择列表只是通过用户界面提供输入的机制的一个示例。其他替代机制对于本领域技术人员来说是显而易见的。
接下来，该方法包括基于所选择的边界框的内容的签名和/或其他信息来更新或启动(1904)搜索。回到图18A或18B4的示例，在该示例中更新或启动搜索是从点击可选选项之一开始，点击可选选项之一以使计算机终端104(图1)向服务器系统108发送请求以搜索存储装置190内存储的视频以找到可能与边界框1810(或边界框1860)内的人匹配的任何人。当然，应该理解搜索不仅限于搜索人。例如，在一些示例中，代替寻找人，搜索可以是汽车或其他机动车辆。如果它已经消失摄像头则人们可能想要搜索汽车(或其他机动车辆)，从汽车可能已经行驶的地方附近的各种摄像头搜索视频可以揭示关于谁可能拥有汽车或汽车可能已经开到哪里的信息。
接下来，该方法包括生成或重新计算(1906)匹配可能性。应当理解，匹配可能性随着搜索被更新或新运行而改变。这是因为处理边界框1810(或边界框1860)的内容匹配的信息的系统影响分析引擎模块172使用的计算公式的输入值，以分配关于其他视频的其他帧中的人的匹配的可能性。
最后，该方法包括基于搜索的结果更新或填充(1908)用户界面。例如，如本文已经广泛描述的，可以在用户界面屏幕上动态地呈现视觉上表示可能相关的视频记录的部分的图像缩略图。在初始搜索的情况下，用户界面屏幕的空白部分可以变为填充有确定为可能相关的搜索的缩略图。在更新搜索的情况下，根据搜索结果在预搜索时间点处用户界面屏幕的一部分上呈现的缩略图可以变为在用户界面内重新排列和/或可以使得许多这样的缩略图被其他缩略图替代。
现在将参考图20，其是根据另一示例实施例的另一示例用户界面页面2002的屏幕截图，其可以交互以识别视频记录中的相同个人或对象。类似于先前描述的用户界面页面1702(图17)，用户界面页面2002被划分为三个功能区域：第一UI区域2010、第二UI区域2012和第三UI区域2014。在第一UI区域2010内滑块工具2078以类似于先前结合图11所讨论的滑块工具1078的方式起作用，因此，滑块工具2078允许与用户界面页面2002交互的人设置关于允许哪些缩略图出现在用户界面页面2002上的过滤阈值。具有用户界面页面2002的每个缩略图2016根据视频摄像头169(图1)中的哪一个被识别为已获取与所示缩略图2016相对应的视频记录的部分来组织。因此，可以看到在摄像头“二层展览入口”下有四个缩略图可用。在摄像头“二层门厅”下有七个缩略图可用。最后，在摄像头“二层走廊”下有四个缩略图可用。还应注意，存在在第一UI区域2010内提供的下拉选择器2018和2019。下拉选择器2018影响如何组织缩略图2016。如前所述，可以通过除特定视频摄像头之外的某些参数执行组织。下拉选择器2019标记为“选项”，并且允许计算机终端用户一旦点击，就选择其他搜索相关选项，例如，启动所有已加星标的结果的导出或将所有已加星标的结果加入书签。这些选项已在本文中讨论过。
将注意到，缩略图2016中的每一个包括缩略图的左上角中的方形图2020和缩略图的右上角中的星形图2024。这些图叠加在缩略图2016上的图像上。可以点击星形图2024以指示感兴趣的对象或人包含在与该缩略图对应的视频记录部分中。当这发生时，星形图2024可以从浅色半透明阴影变为纯亮色(如先前结合图17中所示的用户界面页面1702所描述的)。因此，对应于缩略图的搜索结果被加星标。或者，星形图2024可以在被点击时以某种其他方式改变，例如，一旦被选择以指示匹配就变为连续动画。关于每个缩略图2016的左上角中的方形图2020，可以点击其以指示感兴趣的对象或人不包含在与该缩略图对应的视频记录部分中。当这发生时，红色“X”可以出现在方形图1720内，以提供已经发生的事件的视觉指示。而且，本领域技术人员将理解，红色“X”只是可以实现提供不匹配的期望指示的相同结果的许多可能的设计选择之一。
视频播放器2025被包括在用户界面页面2002内的第二UI区域2012中。在所示示例中，视频播放器2025正在播放视频记录的一部分，其不一定对应于在第一UI区域中所示的任何缩略图。计算机终端用户可以观看视频记录的一部分，并且通过观看该部分，计算机终端用户可以看到或注意到一些内容，这些内容将允许做出关于感兴趣的个人或对象是否出现在视频记录部分中的决定，以便保证更新或启动搜索感兴趣的个人或对象(例如，根据结合图19所示和描述的方法1900)。根据至少一个示例实施例，单击任何缩略图2016将使用户到达对应于该缩略图的视频部分中的起始点。而双击任何缩略图2016将使用户到达视频中的确切点，如缩略图图像所示。
在所示示例视频播放器2025内，边界框2029出现在所显示视频内的移动人周围。边界框2029具有在边界框顶部正上方所示的百分比“20％”，以向计算机终端用户指示边界框2029内的人为感兴趣的人的可能性被计算为20％。
在第三UI区域2014内是二维图2064。二维图2064沿x轴2065包括日期和时间。在所示示例中，从x轴2065的最左侧下午7:16.30开始，到x轴2065的最右侧下午7:21.00结束，每三十秒间隔标记一次。在至少一些示例中，x轴2065的两端之间的时间间隔可以增加或减少。例如，图示的用户界面页面2002包括滑块工具2034，其类似于结合用户界面页面510(图3)描述的滑块工具538。
二维图2064沿图2064的y轴2067还包括视频摄像头的多个摄像头标识2069的列表，关于该列表的视频摄像头的相应的多个视频记录可用于观看。多个摄像头标识2069中的每一个对应于多个摄像头169(图1)中的相应一个，其相对于监视系统100的多个摄像头169的所有位置位于唯一的已知物理位置。多个摄像头标识2069的列表可以按如下方式组织：它基于具有最多标记的那些摄像头标识降序(从上到下)。或者，可以预期多个摄像头标识2069的列表的组织的其他形式。在至少一个替代示例中，通过仅示出具有至少一个已加星标的结果的那些摄像头，可以使多个摄像头标识2069的列表更短。
现在将参考图21，其是根据另一示例实施例的另一示例用户界面页面2102的屏幕截图，其可以交互以识别视频记录中的相同个人或对象。用户界面页面2102类似于用户界面页面2002(图20)并且被划分为三个功能区域：第一UI区域2110、第二UI区域2112和第三UI区域2114，其一般功能之前已经描述过。具有用户界面页面2102的每个缩略图2116基于与缩略图相关联的视频记录部分落在的时间间隔被组织成列。缩略图2118具有在其上方悬停的光标2120，其使得与缩略图2116之一相比，在缩略图2118上所示的内容呈现不同的构成。星形图标2122当被点击时允许与缩略图2118相关联的搜索结果被加星标。垃圾桶图标2124当被点击时允许缩略图2118被标记为不感兴趣并且从第一UI区域2110中移除。还存在叠加的文本2126，其指示与缩略图图像相对应的时间的视频记录实例。
现在转到第三UI区域2114，示出了二维图2130。二维图2130沿x轴2131包括日期和时间。在所示的示例中，时间间隔标记类似于先前结合图17描述的时间间隔标记。此外，可以增加或减少x轴2131的两端之间的时间间隔。例如，为此目的，用户界面页面2102包括在第三UI区域2114内的滑块工具2134。
二维图2130沿图2130的y轴2135还包括视频摄像头的多个摄像头标识2136的列表，关于该列表的视频摄像头的相应的多个视频记录可用于观看。多个摄像头标识2136中的每一个对应于多个摄像头169(图1)中的相应一个，其相对于监视系统100的多个摄像头169的所有位置位于唯一的已知物理位置。多个摄像头标识2136的列表可以按如下方式组织：它基于具有最多标记的那些摄像头标识降序(从上到下)。或者，可以预期多个摄像头标识2136的列表的组织的其他形式。在至少一个替代示例中，通过仅示出具有至少一个已加星标的结果的那些摄像头，可以使多个摄像头标识2136的列表更短。
仍然参考二维图2130，存在两条垂直(即平行于y轴2135)线2137和2138。线2137和2138的位置可以改变(例如，通过使用光标2120)以改变搜索结果的时间范围。通过向左移动线2137和/或向右移动线2138，可以扩展搜索结果的时间范围。相反，通过向右移动线2137和/或向左移动线2138，可以缩小搜索结果的时间范围。已经描述了图21中的垂直线2137和2138的功能，可以理解的是，在图17和图20的相似的UI区域中存在的类似的垂直线可以在至少一些示例中类似地起作用。
仍然参考第三UI区域2114，现在描述播放按钮图标2140。点击播放按钮图标2140使得已加星标的视频记录部分连续地播放(即，与缩略图图标2197和2199相关联的结果)。此外，在播放按钮图标2140的相对侧上是附加按钮图标2142和2143。点击按钮图标2142使视频记录部分的回放速度减慢。点击按钮图标2143使视频记录部分的回放速度加快。
再次参考第一UI区域2110，下拉选择器2144被标记为“选项”并且提供与先前描述的图17和图20中所示的相同标记选择器相同的功能。根据至少一个示例实施例，“导出”可以是下拉选择器2144的选择之一，并且通过选择它，生成新的用户界面窗口2202(图22)。另一个下拉选择器2145也示出在第一UI区域2110内。下拉选择器2145用作与图17中所示的下拉选择器1718的功能类似的功能。
现在将参考图22，其是与客户端回顾应用144'(图13)的导出功能相关联的用户界面页面2202的屏幕截图。用户界面页面2202被划分为三个功能区域：第一UI区域2210、第二UI区域2112和第三UI区域2214(先前已经描述了第二UI区域2212的一般功能)。关于第一UI区域2210，在该区域内是三个界面工具：用于“片段1”的界面工具2213、用于“片段2”的界面工具2215和用于与片段1和2相关联的附加设置的界面工具2218。应理解，片段1和2对应于图21的已加星标的结果(即与缩略图图标2197和2199相关联的结果，在二维图2130上具有关联的标记2151和2153)。此外，界面工具2213和2215包括用于改变要导出的视频记录部分的参数的选择器。对于所示的示例实施例，可以改变以下中的任何一个或多个：摄像头、片段的开始日期和时间(标记为“从：”)、片段的结束日期和时间(标记为“到：”)以及“天”、“小时”、“分钟”和“秒”的持续时间。
在第一UI区域2210内还有图标2226和2228。2226和2228分别标记为“刻录到盘”和“开始导出”。通过点击图标2226，用户可以使片段1和2的连续组件被记录到光盘类型的媒体上(例如，CD-R、HD DVD、蓝光光盘等)。通过点击图标2228，用户可以使片段1和2的连续组件被记录到本地系统内的存储装置上(例如，在硬盘上)。根据至少一个替代示例实施例，可以设想附加的图标，例如，“导出到云”图标允许将片段1和2的背靠背部件发送到(并存储在)云存储装置中。
在第三UI区域2214中，存在播放按钮图标2240。点击播放按钮图标2240使播放当前选择的视频记录部分的任何内容。此外，在播放按钮图标2240a的相对侧上有另外的按钮图标2242和2244。点击按钮图标2242使视频记录部分的回放速度减慢。点击按钮图标2244使视频记录部分的回放速度加快。
可以对所描述的实施例进行某些改编和修改。例如，关于客户端视频回顾应用144(图1和2)或客户端视频回顾应用144'(图13)，这些已被描述为安装在客户端终端104上的打包软件；然而，在一些替代示例实施例中，可以通过使用网络浏览器应用(例如，图1中所示的其他应用152之一)以较少安装的软件来实现UI的实施方式。网络浏览器应用是用于查看、下载、上载、浏览和/或以其他方式访问文档(例如，网页)的程序。在一些示例中，浏览器应用可以是众所周知的当然，其他类型的浏览器应用也是同样可能的，包括例如Google ChromeTM。浏览器应用读取标记的页面(例如，以HTML格式)。此外，浏览器应用将标记的页面解释为用户看到呈现为网页的内容。浏览器应用可以在计算机终端104上运行以与服务器系统108上的软件组件协作，以便使计算机终端用户能够执行与提供输入相关的动作，以便于识别出现在多个不同的视频记录中的相同个人或对象。在这种情况下，计算机终端104的用户设有替代的示例用户界面，用户通过该用户界面输入和接收与视频记录有关的信息。
尽管示例实施例已经将用于搜索的参考图像描述为从记录的视频内的图像中获取，但是在一些示例实施例中，可以基于扫描的照片或由数字摄像头获取的静止图像来进行搜索。在照片或其他图像例如被获取得足够近以使得衣服和出现可能与视频记录中可能发现的相同情况下，这可能尤其如此。
因此，以上讨论的实施例被认为是说明性的而非限制性的，并且本发明应该被解释为仅由所附权利要求限制。

Claims (32)

1.一种方法，包括：
显示多组缩略图，每组缩略图包括位于相应行或列中的一个或多个缩略图，所述相应行或列与所述组缩略图一起由多个时间间隔的唯一时间间隔定义，并且每组缩略图的每个缩略图在视觉上表示以所述缩略图的定义时间间隔获取的视频记录的相关部分，并且从所述相应的行或列的一端以对应于，与所述组的任何其他缩略图相比，出现已被识别为感兴趣的个人或对象的最高可能性的缩略图开始，按降序排列组织每组缩略图中的一个或多个缩略图，并且自对应于所述最高可能性的缩略图起，按降序显示所述组中的任何剩余缩略图；
允许选择所述组缩略图之一中的第一缩略图以获得在视频记录的与所述第一缩略图相关联的部分中存在所述个人或对象的新信息；
基于所述新信息执行对所述个人或对象的搜索，其中所述搜索为每个所显示的缩略图生成新的匹配可能性；和
基于所述新的匹配可能性重新排序所显示的缩略图，以便维持所述组缩略图的每组缩略图中的降序排列。
2.根据权利要求1所述的方法，还包括显示散布有剩余的预搜索缩略图的新缩略图。
3.根据权利要求1或2所述的方法，其中重新排序所显示的缩略图包括仅重新排序预搜索缩略图的子集，其中由于相应减少的匹配可能性而不再显示其他预搜索缩略图。
4.根据权利要求1或2所述的方法，其中在选择所述第一缩略图之后，将所述第一缩略图移动到与显示所述多组缩略图的用户界面空间分开的另一用户界面空间。
5.根据权利要求1至3中任一项所述的方法，其中所述多组缩略图在用户界面页面内显示，并且所述用户界面页面包括用于改变所述多个时间间隔的交互式工具。
6.一种有形的、非暂时性的、计算机可读存储介质，其中编码有指令，其中所述指令在由至少一个处理器执行时导致执行包括以下方法：
显示多组缩略图，每组缩略图包括位于相应行或列中的一个或多个缩略图，所述相应行或列与所述组缩略图一起由多个时间间隔的唯一时间间隔定义，并且每组缩略图的每个缩略图在视觉上表示以所述缩略图的定义时间间隔获取的视频记录的相关部分，并且从所述相应的行或列的一端以对应于，与所述组的任何其他缩略图相比，出现已被识别为感兴趣的个人或对象的最高可能性的缩略图开始，按降序排列组织每组缩略图中的一个或多个缩略图，并且自对应于所述最高可能性的缩略图起，按降序显示所述组中的任何剩余缩略图；
允许选择所述组缩略图之一中的第一缩略图以获得在视频记录的与所述第一缩略图相关联的部分中存在所述个人或对象的新信息；
发送请求到服务器以基于所述新信息搜索所述个人或对象，其中所述搜索为每个所显示的缩略图生成新的匹配可能性；以及
基于所述新的匹配可能性重新排序所显示的缩略图，以便维持所述组缩略图的每组缩略图中的降序排列。
7.根据权利要求6所述的有形的、非暂时性的、计算机可读存储介质，其中所述方法还包括显示散布有剩余的预搜索缩略图的新缩略图。
8.根据权利要求6或7所述的有形的、非暂时性的、计算机可读存储介质，其中重新排序所显示的缩略图包括仅重新排序预搜索缩略图的子集，其中由于相应减少的匹配可能性而不再显示其他预搜索缩略图。
9.根据权利要求6或7所述的有形的、非暂时性的、计算机可读存储介质，其中在选择所述第一缩略图之后，将所述第一缩略图移动到与显示所述多组缩略图的用户界面空间分开的另一用户界面空间。
10.根据权利要求6至8中任一项所述的有形的、非暂时性的、计算机可读存储介质，其中所述多组缩略图在用户界面页面内显示，并且所述用户界面页面包括用于改变所述多个时间间隔的交互式工具。
11.一种方法，包括：
提供用户界面，所述用户界面包括用于显示视频的视频帧的视频播放器，所述视频帧包括多个帧区域，在所述帧区域内存在相应的移动物质体，并且所述帧区域能够被选择用于接收用户输入；
通过所述用户界面接收搜索请求输入，以对在所述帧区域的所选帧区域中存在的个人执行时间倒向搜索，并且在没有丢失对象的所选帧区域中显示所述个人；
生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性，所述匹配可能性是出现所述个人或对象的可能性；
填充或更新所述用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息；和
建立时间线来显示所述个人何时或大约何时丢失所述对象。
12.根据权利要求11所述的方法，其中所述方法由监视系统执行，所述监视系统包括与服务器系统通信的计算机终端，并且所述生成或重新计算由所述服务器系统执行。
13.根据权利要求12所述的方法，其中所述用户界面页面的填充或更新由所述计算机终端执行。
14.一种方法，包括：
提供用户界面，所述用户界面包括用于显示视频的视频帧的视频播放器，所述视频帧包括多个帧区域，在所述帧区域内存在相应的移动物质体，并且所述帧区域能够被选择用于接收用户输入；
通过所述用户界面接收搜索请求输入，以对在所述帧区域的所选帧区域中存在的个人执行时间正向搜索，并且在具有丢失对象的所选帧区域中显示所述个人；
生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性，所述匹配可能性是所述个人或对象出现的可能性；
填充或更新所述用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息；和
建立时间线来显示所述个人何时或大约何时丢失所述对象。
15.根据权利要求14所述的方法，其中所述方法由监视系统执行，所述监视系统包括与服务器系统通信的计算机终端，并且所述生成或重新计算由所述服务器系统执行。
16.根据权利要求15所述的方法，其中所述用户界面页面的填充或更新由所述计算机终端执行。
17.一种方法，包括：
提供用户界面，所述用户界面包括用于显示视频的视频帧的视频播放器，所述视频帧包括多个帧区域，在所述帧区域内存在相应的移动物质体，并且所述帧区域能够被选择用于接收用户输入；
通过所述用户界面接收搜索请求输入，以对在所述帧区域的所选帧区域中存在的个人执行搜索；
生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性，所述匹配可能性是出现所述个人或对象的可能性；和
填充或更新所述用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息。
18.根据权利要求17所述的方法，其中所述方法由监视系统执行，所述监视系统包括与服务器系统通信的计算机终端，并且所述生成或重新计算由所述服务器系统执行。
19.根据权利要求18所述的方法，其中所述用户界面页面的填充或更新由所述计算机终端执行。
20.一种有形的、非暂时性的、计算机可读存储介质，其中编码有指令，其中所述指令在由至少一个处理器执行时导致执行包括以下的方法：
提供用户界面，所述用户界面包括用于显示视频的视频帧的视频播放器，所述视频帧包括多个帧区域，在所述帧区域内存在相应的移动物质体，并且所述帧区域能够被选择用于接收用户输入；
通过所述用户界面接收搜索请求输入，以对在所述帧区域的所选帧区域中存在的个人执行搜索；
向服务器发送请求以生成或重新计算分配给在视频记录中存在的多个个人的多个匹配可能性，所述匹配可能性是出现所述个人或对象的可能性；和
填充或更新所述用户界面的用户界面页面以显示与所生成或重新计算的匹配可能性相对应的信息。
21.一种方法，包括：
显示二维图，其沿x轴具有日期和时间，以及沿y轴具有视频摄像头的多个摄像头标识的列表，相对于所述列表的所述视频摄像头的相应多个视频记录可用于观看，并且所述视频记录具有其中出现已经被识别为感兴趣的个人或对象的可能性高于阈值的部分；
基于与所述视频记录的所述部分相关联的所述多个摄像头标识和所述x轴上的时间，绘制所述二维图上的n个图像缩略图，其中n是大于2的整数，所述n个图像缩略图在视觉上表示所述视频记录的所述部分并且沿所述x轴在最早时间显示所述n个缩略图中的第一个缩略图和沿所述x轴在最晚时间显示第n个缩略图；
允许选择所述n个图像缩略图中的至少一个以从所述二维图中移除；
从所述二维图中移除所述n个图像缩略图中的至少一个；以及
记录在所述视频记录的与所移除的缩略图相关联的部分中不存在所述个人或对象。
22.根据权利要求21所述的方法，其中所述方法由与服务器系统通信的计算机终端执行，并且所述记录为在所述计算机终端的存储器中记录。
23.根据权利要求22所述的方法，其中所述二维图形成由安装在所述计算机终端上的封装软件中包括的搜索用户界面模块所生成的用户界面页面的一部分。
24.根据权利要求22所述的方法，其中所述二维图形成由安装在所述计算机终端上的浏览器应用所生成的用户界面页面的一部分。
25.根据权利要求21-24中任一项所述的方法，还包括：
当接收到请求扩展日期和时间的范围的用户输入时，允许沿所述所述x轴扩展日期和时间的范围；
当扩展所述范围时缩小所述n个图像缩略图的大小。
26.根据权利要求25所述的方法，其中在所述n个图像缩略图的大小缩小到小于预定的大小之后，所述n个图像缩略图上的图像消失。
27.根据权利要求21至26中任一项所述的方法，其中所述n个图像缩略图包括出现所述个人或对象的可能性的视觉标记。
28.一种有形的、非暂时性的、计算机可读存储介质，其中编码有指令，其中所述指令在由至少一个处理器执行时导致执行包括以下的方法：
显示二维图，其沿x轴具有日期和时间，以及沿y轴具有视频摄像头的多个摄像头标识的列表，相对于所述列表的所述视频摄像头的相应多个视频记录可用于观看，并且所述视频记录具有其中出现已经被识别为感兴趣的个人或对象的可能性高于阈值的部分；
基于与所述视频记录的部分相关联的所述多个摄像头标识和所述x轴上的时间，绘制所述二维图上的n个图像缩略图，其中n是大于2的整数，所述n个图像缩略图在视觉上表示所述视频记录的所述部分并且沿所述x轴在最早时间显示所述n个缩略图中的第一个缩略图和沿所述x轴在最晚时间显示第n个缩略图；
允许选择所述n个图像缩略图中的至少一个以从所述二维图中移除；
从所述二维图中移除所述n个图像缩略图中的至少一个；和
记录在所述视频记录的与所移除的缩略图相关联的部分中不存在所述个人或对象。
29.根据权利要求28所述的有形的、非暂时性的、计算机可读存储介质，其中所述记录为在计算机终端的存储器中记录。
30.根据权利要求28或29所述的有形的、非暂时性的、计算机可读存储介质，其中所述方法还包括：
当接收到请求扩展日期和时间的范围的用户输入时，允许沿所述x轴扩展日期和时间的范围；
当扩展所述范围时缩小所述n个图像缩略图的大小。
31.根据权利要求30所述的有形的、非暂时性的、计算机可读存储介质，其中在所述n个图像缩略图的大小缩小到小于预定的大小之后，所述n个图像缩略图上的图像消失。
32.根据权利要求28至31中任一项所述的有形的、非暂时性的、计算机可读存储介质，其中所述n个图像缩略图包括出现所述个人或对象的可能性的视觉标记。
CN201780035185.1A 2016-06-06 2017-05-19 用于交互式识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品 Pending CN109478357A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662346240P 2016-06-06 2016-06-06
US62/346,240 2016-06-06
US201662351806P 2016-06-17 2016-06-17
US62/351,806 2016-06-17
US15/368,357 2016-12-02
US15/368,357 US10121515B2 (en) 2016-06-06 2016-12-02 Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
PCT/CA2017/050610 WO2017210775A1 (en) 2016-06-06 2017-05-19 Method, system and computer program product for interactively identifying same individuals or objects present in video recordings

Publications (1)

Publication Number Publication Date
CN109478357A true CN109478357A (zh) 2019-03-15

Family

ID=60482292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035185.1A Pending CN109478357A (zh) 2016-06-06 2017-05-19 用于交互式识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品

Country Status (7)

Country Link
US (3) US10121515B2 (zh)
KR (1) KR102244476B1 (zh)
CN (1) CN109478357A (zh)
CA (1) CA3024745C (zh)
DE (1) DE112017002821T5 (zh)
IL (3) IL263532B (zh)
WO (1) WO2017210775A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866478A (zh) * 2019-11-06 2020-03-06 支付宝(杭州)信息技术有限公司 一种图像中对象的识别方法、装置和设备

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
DK179593B1 (en) 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
WO2018052269A1 (en) * 2016-09-19 2018-03-22 Samsung Electronics Co., Ltd. Method of displaying images in a multi-dimensional mode based on personalized topics
US10319412B2 (en) * 2016-11-16 2019-06-11 Adobe Inc. Robust tracking of objects in videos
USD833474S1 (en) * 2017-01-27 2018-11-13 Veritas Technologies, LLC Display screen with graphical user interface
US10810255B2 (en) 2017-09-14 2020-10-20 Avigilon Corporation Method and system for interfacing with a user to facilitate an image search for a person-of-interest
WO2019178676A1 (en) 2018-03-23 2019-09-26 Avigilon Corporation Method and system for interfacing with a user to facilitate an image search for an object-of-interest
CN118102037A (zh) 2018-05-07 2024-05-28 苹果公司 用于查看实况视频馈送和录制视频的用户界面
WO2019216925A1 (en) * 2018-05-10 2019-11-14 Axon Enterprise, Inc. Systems and methods for cross-redaction
JP6573346B1 (ja) 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
US11073972B2 (en) * 2018-11-02 2021-07-27 Motorola Solutions, Inc. Visual summarization methods for time-stamped images
US11048930B2 (en) 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
US11166077B2 (en) 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11644955B1 (en) 2019-07-16 2023-05-09 Splunk Inc. Assigning a global parameter to queries in a graphical user interface
US11269871B1 (en) 2019-07-16 2022-03-08 Splunk Inc. Displaying multiple editable queries in a graphical user interface
US11636128B1 (en) * 2019-07-16 2023-04-25 Splunk Inc. Displaying query results from a previous query when accessing a panel
US11216511B1 (en) 2019-07-16 2022-01-04 Splunk Inc. Executing a child query based on results of a parent query
US11604799B1 (en) 2019-07-16 2023-03-14 Splunk Inc. Performing panel-related actions based on user interaction with a graphical user interface
US11386158B1 (en) 2019-07-16 2022-07-12 Splunk Inc. Recommending query parameters based on tenant information
US11586682B2 (en) 2019-07-30 2023-02-21 Motorola Solutions, Inc. Method and system for enhancing a VMS by intelligently employing access control information therein
TWI817014B (zh) * 2019-11-25 2023-10-01 仁寶電腦工業股份有限公司 基於時間軸的圖形使用者介面提供方法、系統與紀錄媒體
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP7497853B2 (ja) 2020-02-28 2024-06-11 ｉ－ＰＲＯ株式会社 顔検知システム
US11031044B1 (en) 2020-03-16 2021-06-08 Motorola Solutions, Inc. Method, system and computer program product for self-learned and probabilistic-based prediction of inter-camera object movement
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
EP4189682A1 (en) 2020-09-05 2023-06-07 Apple Inc. User interfaces for managing audio for media items
GB2600404B (en) * 2020-10-23 2024-06-26 Canon Kk Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus
JP2023544948A (ja) * 2020-10-23 2023-10-26 キヤノン株式会社 コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム
US12039014B2 (en) 2020-12-01 2024-07-16 Motorola Solutions, Inc. Obtaining potential match results for a reference image across a plurality of system sites
US11604789B1 (en) 2021-04-30 2023-03-14 Splunk Inc. Bi-directional query updates in a user interface
JP2023073535A (ja) * 2021-11-16 2023-05-26 富士通株式会社 表示プログラム及び表示方法
US12067008B1 (en) 2022-01-06 2024-08-20 Splunk Inc. Display of log data and metric data from disparate data sources
US12130829B2 (en) 2022-10-31 2024-10-29 Splunk Inc. Generation of modified queries using a field value for different fields

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258900A (zh) * 1996-10-31 2000-07-05 传感电子公司 视频信息智能管理系统
CN1863295A (zh) * 2004-05-13 2006-11-15 索尼公司 图像数据处理装置、图像数据处理方法、程序、和记录介质
CN101543067A (zh) * 2007-03-07 2009-09-23 索尼株式会社 显示控制设备、显示控制方法、显示控制程序和显示系统
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
US20130201329A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN104284145A (zh) * 2013-07-11 2015-01-14 松下电器产业株式会社 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148771A (ja) * 1998-11-06 2000-05-30 Sony Corp 画像処理装置および方法、並びに提供媒体
US6774917B1 (en) 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US10019877B2 (en) 2005-04-03 2018-07-10 Qognify Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
JP4638274B2 (ja) 2005-05-10 2011-02-23 富士フイルム株式会社 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
US20070237493A1 (en) * 2006-03-24 2007-10-11 I-Sho Limited Providing user access to digital content data
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
US7986324B2 (en) 2007-01-12 2011-07-26 Fujitsu Limited Display device, display program storage medium and display method
US7898576B2 (en) 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
US8170276B2 (en) 2007-03-20 2012-05-01 International Business Machines Corporation Object detection system based on a pool of adaptive features
US8331674B2 (en) 2007-04-06 2012-12-11 International Business Machines Corporation Rule-based combination of a hierarchy of classifiers for occlusion detection
US20080294663A1 (en) 2007-05-14 2008-11-27 Heinley Brandon J Creation and management of visual timelines
JP2009038680A (ja) * 2007-08-02 2009-02-19 Toshiba Corp 電子機器および顔画像表示方法
JP4834640B2 (ja) 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
JP4834639B2 (ja) * 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
JP4322945B2 (ja) * 2007-12-27 2009-09-02 株式会社東芝 電子機器、及び画像表示制御方法
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US8224029B2 (en) 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search
US8107678B2 (en) 2008-03-24 2012-01-31 International Business Machines Corporation Detection of abandoned and removed objects in a video stream
US8284249B2 (en) 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
US10091460B2 (en) 2008-03-31 2018-10-02 Disney Enterprises, Inc. Asynchronous online viewing party
JP2009289348A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 情報記録再生装置
US8249301B2 (en) 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
US8483490B2 (en) 2008-08-28 2013-07-09 International Business Machines Corporation Calibration of video object classification
US9342594B2 (en) 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
JP2010140116A (ja) * 2008-12-09 2010-06-24 Ricoh Co Ltd ファイル管理装置、ファイル管理方法及びファイル管理プログラム
JP2009217828A (ja) 2009-04-10 2009-09-24 Konica Minolta Holdings Inc 画像検索装置
CN102577363B (zh) * 2009-10-30 2015-01-21 日立民用电子株式会社 内容接收装置
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8743205B2 (en) 2011-08-10 2014-06-03 Nice Systems Ltd. System and method for semantic video content analysis
US9946430B2 (en) 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
US9031927B2 (en) * 2012-04-13 2015-05-12 Ebay Inc. Method and system to provide video-based search results
US9113128B1 (en) 2012-08-31 2015-08-18 Amazon Technologies, Inc. Timeline interface for video content
WO2014045843A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
US9240164B2 (en) * 2013-02-27 2016-01-19 Honeywell International Inc. Apparatus and method for providing a pan and zoom display for a representation of a process system
WO2014153786A1 (en) 2013-03-29 2014-10-02 Hewlett-Packard Development Company, L.P. Adjustable timeline user interface
US9471849B2 (en) 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
JP6398979B2 (ja) * 2013-08-23 2018-10-03 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
US9514366B2 (en) * 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US9418153B2 (en) 2014-07-29 2016-08-16 Honeywell International Inc. Video search and playback interface for vehicle monitor
CN104850340B (zh) * 2015-01-30 2018-11-30 小米科技有限责任公司 触控显示屏上的文档显示方法及装置
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10839573B2 (en) * 2016-03-22 2020-11-17 Adobe Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US20170300742A1 (en) * 2016-04-14 2017-10-19 Qualcomm Incorporated Systems and methods for recognizing an object in an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258900A (zh) * 1996-10-31 2000-07-05 传感电子公司 视频信息智能管理系统
CN1863295A (zh) * 2004-05-13 2006-11-15 索尼公司 图像数据处理装置、图像数据处理方法、程序、和记录介质
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
CN101543067A (zh) * 2007-03-07 2009-09-23 索尼株式会社 显示控制设备、显示控制方法、显示控制程序和显示系统
US20130201329A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN104284145A (zh) * 2013-07-11 2015-01-14 松下电器产业株式会社 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866478A (zh) * 2019-11-06 2020-03-06 支付宝(杭州)信息技术有限公司 一种图像中对象的识别方法、装置和设备
CN110866478B (zh) * 2019-11-06 2022-04-29 支付宝(杭州)信息技术有限公司 一种图像中对象的识别方法、装置和设备

Also Published As

Publication number Publication date
KR20190026738A (ko) 2019-03-13
DE112017002821T5 (de) 2019-02-21
CA3024745C (en) 2022-09-20
US10121515B2 (en) 2018-11-06
US20170352380A1 (en) 2017-12-07
CA3024745A1 (en) 2017-12-14
US20200143842A1 (en) 2020-05-07
IL263532A (en) 2019-01-31
WO2017210775A1 (en) 2017-12-14
US20190080722A1 (en) 2019-03-14
US10529381B2 (en) 2020-01-07
KR102244476B1 (ko) 2021-04-23
IL276640A (en) 2020-09-30
IL263532B (en) 2021-02-28
IL276640B (en) 2022-04-01

Similar Documents

Publication Publication Date Title
CN109478357A (zh) 用于交互式识别视频记录中存在的相同个人或对象的方法、系统和计算机程序产品
CN101138233B (zh) 用于选择视听节目部分的方法和设备
Eakins Towards intelligent image retrieval
CN100481067C (zh) 数据库检索设备及其方法
US20110093798A1 (en) Automated Content Detection, Analysis, Visual Synthesis and Repurposing
CN110457504A (zh) 数字资产搜索技术
CN110263746A (zh) 基于姿势的视觉搜索
EP2619645A1 (en) User interface
US10572769B2 (en) Automatic image piling
CN103827856A (zh) 检索视觉媒体
DE112021004894T5 (de) Dynamische sammlungsbasierte inhaltsdarstellung
CN109716275A (zh) 基于个性化主题以多维模式来显示图像的方法
JP2009086858A (ja) コンテンツ検索装置、コンテンツ検索方法、プログラムおよび記録媒体
Moehrmann et al. Efficient annotation of image data sets for computer vision applications
CN100409235C (zh) 用于构建和管理用户概要及检索判据的检索用户界面
Khanwalkar et al. Exploration of large image corpuses in virtual reality
Ang et al. LifeConcept: an interactive approach for multimodal lifelog retrieval through concept recommendation
US11409788B2 (en) Method for clustering at least two timestamped photographs
Waldner et al. Graphical histories of information foraging
WO2018007982A1 (en) A method and apparatus for cataloguing an electronic document
US20210072869A1 (en) Method for retrieving at least two captured photographs
Bartoli et al. Watts: a web annotation tool for surveillance scenarios
van der Corput Interactive visualization of large image collections
KR20230157877A (ko) 증강 현실 경험에서의 오브젝트 필터링 및 정보 디스플레이
CN116719405A (zh) 增强现实体验中的对象筛选和信息显示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40009278

Country of ref document: HK

CB02 Change of applicant information

Address after: British Columbia

Applicant after: Wichiron

Address before: British Columbia

Applicant before: AVIGILON Corp.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190315

WD01 Invention patent application deemed withdrawn after publication