CN109997130B - 视频检索装置、数据存储方法以及数据存储装置 - Google Patents

视频检索装置、数据存储方法以及数据存储装置 Download PDF

Info

Publication number
CN109997130B
CN109997130B CN201680091038.1A CN201680091038A CN109997130B CN 109997130 B CN109997130 B CN 109997130B CN 201680091038 A CN201680091038 A CN 201680091038A CN 109997130 B CN109997130 B CN 109997130B
Authority
CN
China
Prior art keywords
object information
information
video
comparison
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091038.1A
Other languages
English (en)
Other versions
CN109997130A (zh
Inventor
崔宰源
李政训
金桂元
金地晩
李尚旭
李钟赫
卞载云
李镐正
崔珍赫
郑丞原
金姸佑
尹臸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanhua Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanhua Vision Co ltd filed Critical Hanhua Vision Co ltd
Publication of CN109997130A publication Critical patent/CN109997130A/zh
Application granted granted Critical
Publication of CN109997130B publication Critical patent/CN109997130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了解决问题，根据本发明的实施方式提供了一种视频检索装置，所述视频检索装置包括：更新单元，所述更新单元用于接收包括在图像中包括的对象的特征信息，并将所述特征信息更新为事件对象信息；存储单元，所述存储单元用于存储包含用户检索的对象的特征信息的比较对象信息和事件对象信息以用于比较；对象信息生成/删除单元，所述对象信息生成/删除单元配置为创建在事件对象信息和比较对象信息之间高于预定标准的相似性的对象信息作为最终对象信息，以将所述最终对象信息写入存储单元；以及数据检索单元，所述数据检索单元配置为针对满足用户输入的检索标准的数据检索写入的最终对象信息。

Description

视频检索装置、数据存储方法以及数据存储装置
技术领域
本公开涉及视频检索装置、数据存储方法和数据存储装置。更具体地，本公开涉及一种视频检索装置，所述视频检索装置允许用户通过输入作为检索标准的特定对象或特定频道以及特定时间，能够容易地检索到所希望的视频装置。此外，本公开涉及可以建立最小数据库以便快速检索多个频道的数据存储方法和数据存储装置。
背景技术
监视系统广泛用于各种场所，包括银行、百货商店、住宅区。这些监视系统主要可以用于预防犯罪和安保目的，并且近来还可以用于在室内实时监视宠物或儿童。作为这些监视系统之一，闭路电视(closed circuit television，CCTV)系统是最常用的，其中摄像机安装在适当的位置以拍摄和监视希望监控的区域，以便用户可以通过观看由摄像机拍摄的视频来监视所述区域。
特别是，用于这种闭路电视系统的若干摄像机安装在重要建筑物的不同位置。此外，提供一种视频墙系统，以便安保人员可以容易地监控视频。
在视频墙系统中，多个监视器可以布置在一个平面上，使得多个监视器可以分别显示多个视频。可替代地，多个监视器可以作为具有大屏幕的单个监视器进行操作，以便可以仅显示一个视频。因此，视频墙系统安装在保安室中，并允许安保人员通过多个监视器一目了然地监视整个建筑物的安全系统并立即应对状况。
以前，当用户想要检索由多个摄像机拍摄的多个视频以找到特定视频时，她/他只能输入时间作为检索标准。这是因为每个视频的头文件仅包含该视频的拍摄时间。
为了弥补这种不足，引入了一种技术，即在摄像机获取视频之后立即分析视频，并提取对象的特征，然后将信息与视频一起存储。然而，该技术仅针对一个摄像机执行，即，单频道视频。如果对多频道视频中的每个都执行该技术，则需要存储所有对象的数据，这会导致存储太多的数据库并使检索变得非常慢。
发明内容
技术问题
本公开的各方面提供了一种视频检索装置，所述视频检索装置允许用户通过输入作为检索标准的特定对象或特定频道以及特定时间，来容易地检索所需的视频。
此外，本公开的各方面还提供了一种数据存储方法和数据存储装置，所述数据存储方法和数据存储装置可以建立最小数据库以便快速检索多个频道。
应注意，本公开的目的不限于上述目的；从下文描述中，本发明的其他目的对本领域技术人员将显而易见。
根据本公开的一个方面，提供了一种视频检索装置，所述视频检索装置包括：更新单元，所述更新单元配置为接收在视频中包括的对象的特征信息以用所述对象的特征信息更新事件对象信息；存储单元，所述存储单元配置为存储比较对象信息和所述事件对象信息，所述比较对象信息包含感兴趣对象的特征信息；对象信息生成/删除单元，所述对象信息生成/删除单元配置为创建对象信息作为最终对象信息，并将所述最终对象信息写入存储单元，所述对象信息在所述事件对象信息和所述比较对象信息之间具有高于预定标准的相似性；以及数据检索单元，所述数据检索单元配置为针对满足用户输入的检索标准的数据检索写入的最终对象信息。
技术方案
根据本公开的另一方面，提供了一种存储数据的方法，所述方法包括：接收视频中包括的对象的特征信息以用所述对象的特征信息更新事件对象信息；将比较对象信息与所述事件对象信息进行比较，所述比较对象信息包含感兴趣对象的特征信息；将在事件对象信息和比较对象信息之间具有比预定标准高的相似性的对象的信息存储为最终对象信息；以及将在事件对象信息和比较对象信息之间具有低于预定标准的相似性的对象的信息存储为临时对象信息。
根据本公开的另一方面，提供了一种数据存储装置，包括：更新单元，所述更新单元配置为接收从多个摄像机实时获取的视频中包括的对象特征信息作为元数据，以用所述元数据更新事件对象信息；存储单元，所述存储单元配置为存储比较对象信息和所述事件对象信息，所述比较对象信息包含感兴趣的对象的特征信息；对象信息生成/删除单元，所述对象信息生成/删除单元配置为将在所述事件对象信息和所述比较对象信息之间具有低于预定标准的相似性的对象的信息存储为临时对象信息；以及计数单元，所述计数单元配置为确定临时对象信息是否满足预定标准。
将在参考附图的详细描述中描述本公开的其他细节。
有利效果
根据本公开的示例性实施方式，可以至少实现以下效果：
最终对象信息包含频道编号、时间和对象ID。因此，用户可以输入特定对象或特定频道作为对从多个频道获取的视频的检索标准，使得用户可以容易地检索视频。
另外，最终对象信息包含关于用户最初感兴趣或将来可能感兴趣的对象的信息，但是不包含预计用户不感兴趣的对象的信息，以便可以建立最小数据库。因此，可以快速检索多个频道。
应注意，本公开的效果不限于上述效果，并且本领域技术人员将从下文描述中清楚本发明的其他效果。
附图说明
图1是示出根据本公开的示例性实施方式的视频检索系统1的配置的图。
图2是根据本公开的示例性实施方式的视频检索装置10的框图。
图4是根据本公开的示例性实施方式的存储器12的框图。
图5是示出根据本公开的示例性实施方式的比较对象信息121的示例的表。
图6是根据本公开的示例性实施方式的事件对象信息122的示例的表。
图7是示出根据本公开的示例性实施方式的最终对象信息123的示例的表。
图8是根据本公开的示例性实施方式的控制器11的框图。
图9是示出根据本公开的示例性实施方式的通过视频检索系统1存储数据的操作流程的图。
图10是示出根据本公开的示例性实施方式的通过视频检索系统1存储数据的过程的图。
图11是示出根据本公开的另一示例性实施方式的通过视频检索系统1存储数据的操作流程的图。
图12是示出根据本公开的另一示例性实施方式的通过视频检索系统1存储数据的过程的流程图。
图13是示出根据本公开的示例性实施方式的由视频检索系统1检索视频的操作流程的图。
具体实施方式
根据对以下参考附图的示例性实施方式的描述，本公开的优点和特征以及实现它们的方法将变得显而易见。然而，本发明不限于本文公开的示例性实施方式，而是可以以各种不同的方式实现。提供示例性实施方式是为了使本发明的公开内容彻底，并且为本领域技术人员充分传达本发明的范围。应注意，本发明的范围仅由权利要求限定。贯穿描述，相同的附图标记表示相同的元件。
除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解，诸如在常用词典中定义的那些术语应被解释为具有与它们在相关领域和/或本申请的上下文中的含义一致的含义，并且将不在理想化或过于正式的意义中解释，除非本文明确定义。
本文使用的术语用于说明实施方式而不是限制本公开。如本文所用，除非上下文另有明确说明，否则单数形式也旨在包括复数形式。在整个说明书中，词语“包括”和诸如“包括”或“包含”的变体将被理解为暗示包括所陈述的元件但不排除任何其他元件。
在下文中，将参考附图详细描述本公开的示例性实施方式。
图1是示出根据本公开的示例性实施方式的视频检索系统1的配置的图。
通过使用根据本公开的示例性实施方式的视频检索系统1，输入特定对象或特定频道作为检索标准，可以快速且容易地检索从多个频道获取的视频。应该预先建立数据库(DB)，以便用户可以通过使用视频检索系统1容易地检索视频。为此，所述视频检索系统包括视频检索装置10、多于一个的视频管理装置20以及多于一个的摄像机30，所述多于一个的视频管理装置20连接到所述视频检索装置10，所述多于一个的摄像机30相应地连接到所述视频管理装置20。
每个摄像机30通过拍摄特定区域并接收该区域的图像信号来获取视频。为此，摄像机30通常包括图像拾取装置，诸如电荷耦合装置(CCD)和CMOS图像传感器之类。尽管摄像机30优选地是能够平移和倾斜的平移/倾斜摄像机30，但是本公开不限于此。可以采用各种摄像机作为摄像机30。
除了通过网络从摄像机30获得的视频之外，视频管理装置20还接收诸如图像和声音之类的多媒体对象，并存储和显示这些对象。视频管理装置20可以是网络硬盘录像机(NVR)或数字视频录像机(DVR)，如图1所示，它们与摄像机30分开实现并存储视频。可替代地，视频管理装置20可以是中央管理系统(CMS)或视频管理系统(VMS)，其可以整体管理视频和控制视频，以及可以远程监视视频。此外，视频管理装置20可以是个人计算机或便携式终端。然而，应理解，本公开不限于此。只要装置可以通过网络从一个或多个终端接收多媒体对象并且可以显示和/或存储这些对象，任何装置都可以用作视频管理装置20。
每个视频管理装置20都可以是仅连接一个摄像机30的单频道视频管理装置20。然而，所述视频管理装置20可以是能连接到多个摄像机30的多频道视频管理装置20。然而，应理解，本公开不限于此。视频管理装置20可以包含在每个摄像机30中，并且在这种情况下，视频检索装置10可以直接连接到摄像机30。
每个视频管理装置20都可以执行视频分析(Video Analysis,VA)。视频分析(VA)在本文指的是将视频上的对象与背景分离并自动提取对象特征的能力。例如，可以使用窗口检索技术将对象与背景分离。当提取对象的特征时，可以将特征提取为诸如LBP和MCT之类的二进制编码特征。可替代地，可以提取特征作为用于之后计算直方图的直方图特征，诸如加速鲁棒特征(Speeded-Up Robust Feature，SURF)、尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)和方向梯度直方图(Histogram of OrientedGradient，HOG)。视频管理装置20也可以执行面部识别功能。窗口检索技术可用于检测人的面部区域。可以使用存储在窗口中的各种分类器，诸如Adaboost、随机森林(RandomForest)、支持向量机(Support Vector Machine，SVM)和神经网络(Neural Network，NN)。
一旦视频管理装置20执行视频分析以将对象与背景分离，并提取对象的特征，就将视频分析结果转换为元数据，并且将元数据发送到视频检索装置10。
可以由摄像机30取代视频管理装置20来执行视频分析。在这种情况下，摄像机30可以将视频流数据发送到视频管理装置20，其中在视频头文件中包括视频分析结果数据。一旦视频管理装置20接收到视频，它就将在视频头文件中包括的视频分析结果数据转换为元数据，并将所述元数据发送到视频检索装置10。
尽管未在附图中示出，但是可以在视频检索系统1中提供单独的VA引擎，以便执行视频分析(VA)。在这种情况下，VA引擎从视频管理装置20或摄像机30接收视频流数据，并执行视频分析。然后，VA引擎可以将视频分析结果数据转换为元数据，并将所述元数据发送到视频检索装置10。
如果视频管理装置20结合在摄像机30中，则摄像机30可以将视频分析结果数据转换为元数据，并立即将所述元数据发送到视频检索装置10。
尽管在上文描述中视频检索装置10和视频管理装置20已被描述为单独的装置，但是视频检索装置10可以包括在视频管理装置20中的一个之中。在这种情况下，包括视频检索装置10的视频管理装置20用作主视频管理装置20，其余视频管理装置20用作辅助视频管理装置20。每个辅助视频管理装置20都可以将元数据发送到所述主视频管理装置20。
也就是说，视频检索系统1的配置可以被不同地改变，只要视频检索装置10可以接收作为元数据的视频分析结果。
图2是根据本公开的示例性实施方式的视频检索装置10的框图。
视频检索装置10分析从摄像机30或视频管理装置20接收的元数据，并提取视频中包括的对象的特征信息。然后，视频检索装置10建立数据库，用户可以检索所述数据库以与先前存储的对象的特征信息进行比较。为此，视频检索装置10包括控制器11、存储器12、输入14和屏幕13。这些元件可以经由总线15彼此连接以彼此通信。在控制器11中包括的所有元件可以经由至少一个接口或适配器连接到总线15，或者可以直接连接到总线15。另外，总线15可以连接到除了上述那些元件之外的其他子系统。总线15包括存储器总线、存储控制器、外围总线和本地总线。
控制器11控制视频检索装置10的整体操作。例如，当从视频管理装置20、摄像机30或单独的VA引擎接收元数据时，控制器11从元数据中提取视频中包括的对象的特征信息，并将所述对象的特征信息作为事件对象信息122写入存储器12中。将所述事件对象信息122与先前存储的比较对象信息121进行比较，并根据比较结果生成最终对象信息123或临时对象信息124。在建立包括如此生成的最终对象信息123和临时对象信息124的数据库后，使用所述数据库执行视频检索。可以采用中央处理单元(CPU)、微控制器单元(MCU)或数字信号处理器(DSP)作为控制器11。然而，应该理解，本公开不限于此，还可以采用各种逻辑运算处理器。之后将详细描述控制器11。
存储器12存储各种类型的对象信息，并且由控制器11建立数据库。存储器12包括非易失性存储器装置和易失性存储器装置。优选地，所述非易失性存储器装置是NAND闪存，所述NAND闪存体积小、重量轻并且耐外部冲击，而所述易失性存储器装置是DDR SDRAM。之后将详细描述存储器12。
视频检索装置10可以连接到网络40。因此，视频检索装置10可以通过网络40连接到其他装置，并且可以发送和接收包括元数据的各种数据和信号。此时，网络接口41可以从网络40接收形式为一个或多个数据包的通信数据，并且视频检索装置10可以存储待由控制器11处理的所接收的通信数据。同样地，视频检索装置10可以在存储器12中存储所发送的形式为一个或多个数据包的通信数据，并且网络接口41可以将所述通信数据发送到网络40。
网络接口41可以包括网络接口卡、调制解调器等。网络40可以包括各种有线/无线通信信道，诸如因特网、广域网(WAN)、局域网(LAN)、电话网络、方向连接通信等。
屏幕13显示根据用户输入的检索标准执行的检索结果，以便用户可以看到所述检索结果。如果视频检索装置10不提供触控功能，则单独提供输入14。通常，鼠标、键盘、操纵杆和遥控器通常用作输入14。这些输入可以经由包括串行端口、并行端口、游戏端口、USB等的输入接口141连接到总线15。如果视频检索装置10提供触控特征，则屏幕13可以包括触控传感器。在这种情况下，不需要单独提供输入14，并且用户可以通过屏幕13直接输入触控信号。可以使用手指执行触控。然而，应理解，本公开不限于此。可以通过使用触控笔来进行触控，所述触控笔配备有微小电流可以流过的尖端。即使视频检索装置10提供触控功能，如果屏幕13不包括触控传感器，也可以提供单独的触控垫作为输入14。
屏幕13可以实现为液晶显示器(LCD)、有机发光显示器(OLED)、阴极射线管(CRT)、等离子体显示面板(PDP)等。屏幕13可以通过视频接口131连接到总线15，并且屏幕13和总线15之间的数据传输可以由图形控制器132控制。
图3是根据本公开的另一示例性实施方式的视频检索装置10a的框图。
视频检索装置10a可以实现为单个模块，但不限于此。它可以由各种其他装置的组合形成。根据本公开的另一示例性实施方式的视频检索装置10a包括数据存储装置101和控制台102，所述数据存储装置101用于建立数据库，所述控制台102用于接收来自用户的视频数据的检索标准以向用户显示检索结果，以及用于接收视频流数据以显示检索结果。
数据存储装置101包括控制器11a和存储器12a。控制台102包括输入14和屏幕13。这些元件可以经由总线15a和总线15b彼此连接以彼此通信。可以使用一个以上的控制台102，以便若干用户可以一起使用它们。
根据另一示例性实施方式的视频检索装置10a中包括的与上述元件相同的一些元件将不再详细描述。应当理解，可以根据本公开的各种示例性实施方式略微修改元件。在阅读说明书和附图之后，本领域技术人员可以容易地实施这些修改。
图4是根据本公开的示例性实施方式的存储器12的框图。图5是示出根据本公开的示例性实施方式的比较对象信息121的示例的表。
如图4所示，存储器12在其中存储比较对象信息121、事件对象信息122、最终对象信息123和临时对象信息124。
当从将在后面描述的事件对象信息122中提取用户想要检索的对象的特征信息时，将其与比较对象信息121进行比较。所述比较对象信息121可以由用户直接输入，但也可以从另一装置接收或从服务器下载。
比较对象信息121可以具有诸如对象ID、特征代码和特征值之类的属性项作为其项。用户可以根据这些属性项输入对象信息。例如，如图5所示，用户将穿红色上衣(红色)、大约170cm高并且具有黑色头发(黑色)的对象的对象ID设置为1。另外，用户可以将佩戴眼镜和穿黄色鞋子的对象的对象ID设置为2。
图6是示出根据本公开的示例性实施方式的事件对象信息122的示例的表。
事件对象信息122是从由每个摄像机30拍摄的视频中提取的对象的特征信息。每个摄像机30通过实时记录预定区域来拍摄视频。每当对象意外出现时，视频管理装置20、摄像机30或单独的VA引擎通过视频分析从视频中提取对象的特征信息。然后，将包含对象的特征信息的视频分析结果数据转换为元数据，并且将所述元数据发送到视频检索装置10。控制器11从所接收的元数据中提取对象的特征，将所提取的对象的特征信息实时更新为事件对象信息122，并将所述事件对象信息写入存储器12中。控制器11之后将事件对象信息122与比较对象信息121进行比较以确定相似性。
如图6所示，事件对象信息122包含可以表示特定对象的特征的各种属性项。例如，由频道1的摄像机30在2016年11月16日3:30:5拍摄的对象是穿红色上衣(红色)、大约170cm高、黑色头发(黑色)、未佩戴眼镜(N)、穿白色鞋子(白色)以及穿蓝色裤子(蓝色)的人。由频道2的摄像机30在3:33:20拍摄的对象是穿黑色上衣(黑色)、大约165cm高、黑色头发(黑色)、戴眼镜(Y)、穿黄色鞋子(黄色)以及穿白色裤子(白色)的人。由频道2的摄像机30在3:45:25拍摄的对象是牌照号为3864的白色车辆。由频道4的摄像机30在3:57:49拍摄的对象是穿灰色上衣(灰色)、大约160cm高、棕色头发(棕色)、不戴眼镜(N)、穿白色鞋子(白色)以及穿白色裤子(白色)的人。由频道3的摄像机30在4:00:03拍摄的对象是穿黑色上衣(黑色)、大约165cm高、有黑色头发(黑色)、戴眼镜(Y)、穿黄色鞋子(黄色)以及穿白色裤子(白色)的人。由频道4的摄像机30在4:01:5拍摄的对象是穿红色上衣(红色)、大约170cm高、黑色头发(黑色)、不戴眼镜(N)、穿白色鞋子(白色)以及穿蓝色裤子(蓝色)的人。
利用从元数据中提取的对象的特征信息来更新事件对象信息122。每当对象意外出现时，由视频管理装置20、摄像机30或单独的VA引擎通过视频分析实时生成元数据。事件对象信息122的数据量随时间不断增加。结果导致了在存储器12中建立的数据库变得太大的问题。因此，如果事件对象信息122变得大于预定数据大小或者经过了预定时间段，则希望自动删除事件对象信息122。
图7是示出根据本公开的示例性实施方式的最终对象信息123的示例的表。
最终对象信息123指的是在事件对象信息122和比较对象信息121之间具有高度相似性的对象的特征信息。高度相似性意味着在事件对象信息122和比较对象信息121之间存在很多匹配的属性项。相反，低度相似性意味着在事件对象信息122和比较对象信息121之间存在很少匹配的属性项。尽管可能存在不同的标准，但是期望如果在它们之间超过80％的属性项匹配则将相似性确定为高。
具体地，当比较单元112确定事件对象信息122和比较对象信息121之间的相似性时，比较单元112基于在比较对象信息121中输入的项来确定所述相似性。也就是说，比较单元112不确定包括在事件对象信息122中的多个对象之间的相似性。
控制器11将事件对象信息122与先前存储的比较对象信息121进行比较。控制器11选择在事件对象信息122和比较对象信息121之间具有高度相似性的对象，以创建最终对象信息123并将其写入存储器12中。用户可能对具有高度相似性的对象感兴趣。
例如，当图6中所示的事件对象信息122与图5中所示的比较对象信息121进行比较时，用户已经将比较对象信息121中穿红色上衣(红色)、大约170cm高以及具有黑色头发的对象的对象ID设置为1。在这方面，在事件对象信息122中，由频道1的摄像机30以3:30:5拍摄的对象和由频道4的摄像机30在2016年11月16日4:1:5拍摄的对象都穿红色上衣(红色)、大约170cm高并且具有黑色头发(黑色)。因此，同为1的对象ID被分配给由频道1的摄像机30在3:30:5拍摄的对象和由频道4的摄像机30在2016年11月16日的4:1:5拍摄的对象。用户没有在比较对象信息121中对对象ID为1的对象输入关于眼镜、鞋子颜色等的属性项。因此，当比较单元112将事件对象信息122与比较对象信息121进行比较时，不考虑关于眼镜、鞋子颜色等的属性项。因此，即使频道1的摄像机30在3:30:5拍摄的对象和频道4的摄像机30在4:1:5拍摄的对象中的一个戴眼镜而另一个没有，或者即使它们穿不同颜色的鞋子，两个对象也被确定为相同，因此分配给它们同为1的对象ID。
另外，用户已经在比较对象信息121中将戴眼镜并且穿黄色鞋子(黄色)的对象的对象ID设置为2。在另一方面，在事件对象信息122中，由频道2的摄像机30在3:33:20拍摄的对象和由频道3的摄像机30在2016年11月16日4:00:03拍摄的对象都佩戴眼镜和穿黄色鞋子(黄色)。因此，同为2的对象ID被分配给由频道2的摄像机30在3:33:20拍摄的对象和由频道3的摄像机30在2016年11月16日的4:00:03拍摄的对象。同样，用户在比较对象信息121中没有对具有对象ID为2的对象输入关于上衣颜色、身高等的属性项。因此，当比较单元112将事件对象信息122与比较对象信息121进行比较时，不考虑关于上衣颜色、身高等的属性项。因此，即使频道2的摄像机30在3:30:20拍摄的对象和频道4的摄像机30在3:0:3拍摄的对象穿不同颜色的上衣或具有不同身高，两个对象也被确定为相同，因此分配给它们同为2的对象ID。
当在事件对象信息122和比较对象信息121之间存在具有高度相似性的对象时，控制器11将对象的特征信息作为最终对象信息123写入存储器12中。如图7所示，分配了对象ID为1和2的对象成为包含频道、日期、时间和对象ID的项的最终对象信息123。应注意，最终对象信息123不需要包括事件对象信息122中包括的所有项，诸如上衣颜色，身高等。期望最终对象信息123中包括的项的数量少于事件对象信息122中包括的项的数量，以便进一步减少在存储器中建立的数据库的量。具体地，如图7所示，更期望最终对象信息123仅包含频道、日期、时间和对象ID的项。
相反，临时对象信息124指的是在事件对象信息122和比较对象信息121之间具有低度相似性的对象的特征信息。由于具有低度相似性的对象不是用户感兴趣的对象，因此可以立即将其删除，而不作为最终对象信息123存储在存储器12中。
然而，即使用户最初没有在比较对象信息121中输入属性项，她/他也可能将来对所述对象感兴趣。例如，当用户监视来自摄像机30的视频时，她/他可能会注意过于频繁出现或表现异常的对象。当发生这种情况时，需要用户可以检索这样的对象。因此，即使对象具有低度相似性，控制器11也将其作为临时对象信息124临时写入存储器12中。例如，在图6的事件对象信息122中，由频道2的摄像机30在2016年11月16日3:45:25拍摄的对象和由频道4的摄像机30在2016年11月16日3:57:49拍摄的对象中的每个都与比较对象信息121具有低度相似性。控制器11将这样的对象信息作为临时对象信息124写入存储器12中。
然后，控制器11确定临时对象信息124是否满足预定标准。如果临时对象信息124满足标准，则使用临时对象信息124更新最终对象信息123。通过这样做，即使将来用户检索具有低度相似性的对象，也可以导出对象的检索结果。如果临时对象信息124满足标准，则也使用临时对象信息124更新比较对象信息121。因此，与之后更新的事件对象信息122相比，最初具有低度相似性的对象之后可以具有高度相似性，并且可以直接作为最终对象信息123存储在存储器12中。
如果临时对象信息124不满足标准，则将来用户不太可能对其感兴趣。因此，期望在预定时间之后自动删除临时对象信息124以释放存储空间。
预定标准在本文指的是使用户对用户先前不感兴趣的特定对象感兴趣的条件。例如，如上所述，如果对象出现太频繁或行为异常，则用户可能在监视来自摄像机30的视频时对她/他感兴趣。因此，预定标准可以包括对象出现的频率，或对象进行可疑动作的频率。可疑动作可能包括，例如，不自然的步态模式、过度转动一个人的头部或眼睛以环顾四周、在保持恒定距离地尾随另一对象等等。还可以通过视频管理装置20、摄像机30或单独的VA引擎的视频分析来确定这种可疑动作或预定标准。
图8是根据本公开的示例性实施方式的控制器11的框图。
控制器11将事件对象信息122与先前存储的比较对象信息121进行比较，并根据比较结果生成最终对象信息123或临时对象信息124以建立数据库。当用户输入用于检索视频的检索标准时，所述视频被相应地检索。为此，控制器11包括更新单元111、对象信息生成/删除单元113、比较单元112、计数单元114和数据检索单元115。
更新单元111更新各种类型的对象信息并将其存储在存储器12中。具体地，更新单元111将从元数据中提取的对象的特征信息更新为事件对象信息122，并将更新的特征信息写入存储器12中。然后，更新单元111更新与事件对象信息122具有高度相似性的对象的信息作为最终对象信息123，以将其写入存储器12中。另外，如果临时对象信息124满足标准，则用所述临时对象信息124更新最终对象信息123和比较对象信息121，并将其存储在存储器12中。
比较单元112将更新的事件对象信息122与先前存储的比较对象信息121进行比较。根据相似性在对象信息生成/删除单元113中生成最终对象信息123或临时对象信息124。具体地，当在事件对象信息122和比较对象信息121之间存在具有高度相似性的对象时，比较单元112使对象信息生成/删除单元113生成最终对象信息123。另一方面，如果对象具有低度相似性，则比较单元112使对象信息生成/删除单元113生成临时对象信息124。
基于比较单元112对事件对象信息122和比较对象信息121的比较结果，对象信息生成/删除单元113生成最终对象信息123或临时对象信息124。如果临时对象信息124不满足预定标准，则在经过预定时间之后删除所述临时对象信息124。在建立包括如此生成的最终对象信息123和临时对象信息124的数据库后，数据检索单元115使用所述数据库来执行视频检索。
计数单元114确定临时对象信息124是否满足预定标准。例如，如上所述，预定标准可以包括对象出现的频率或对象进行可疑动作的频率。因此，计数单元114可以对对象出现的频率或对象进行可疑动作的频率进行计数。如果临时对象信息124满足预定标准，则更新单元111使用所述临时对象信息124更新最终对象信息123和比较对象信息121。另一方面，如果临时对象信息124不满足预定标准，则在经过预定时间之后，对象信息生成/删除单元113删除所述临时对象信息124。
当用户输入检索标准以检索视频时，数据检索单元115仅检索存储在存储器12中的最终对象信息123以得到检索结果。在建立数据库的过程中，最终对象信息中包括用户最初感兴趣的对象的信息和预计用户将来感兴趣的对象的信息。另外，不包括预计用户不感兴趣的对象的信息。因此，在存储器12中只建立最小数据库，使得数据检索单元115可以快速检索多频道视频。
上述视频检索装置10的每个元件可以实现为软件、硬件或者软件和硬件的组合，所述软件诸如在存储器上的预定区域中执行的任务、类、子程序、进程、对象、执行线程以及程序，所述硬件诸如现场可编程门阵列(FPGA)和专用集成电路(ASIC)之类。所述元件可以包括在计算机可读存储介质中，或者一些元件可以分布在多个计算机上。
另外，块可以表示模块、段或代码的部分，所述模块、段或代码包括一个或多个用于执行特定逻辑功能的可执行指令。另外，在一些可替代实施方式中，可以以所述顺序之外的顺序执行与块相关联描述的功能。例如，基于要执行的功能，两个连续块可以基本上同时执行，或者可以以相反的顺序执行。
图9是示出根据本公开的示例性实施方式的视频检索系统1存储数据的操作流程的图。图10是示出根据本公开的示例性实施方式的视频检索系统1存储数据的过程的流程图。
如上所述，为了使用视频检索系统1快速且容易地检索从多个频道获取的视频，应该预先执行存储数据的过程以建立数据库。在下文中，将参照图9和图10描述根据本公开的示例性实施方式的视频检索系统1存储数据的过程。
为了在根据本公开的示例性实施方式的视频检索系统1中存储数据，应预先将比较对象信息121存储在视频检索装置10中。例如，用户通过输入14直接输入比较对象信息121。由用户输入的比较对象信息121存储在存储器12中(步骤S901和S1001)。
视频检索装置10从视频管理装置20、摄像机30或单独的VA引擎(步骤S902)接收元数据。每个摄像机30通过实时记录预定区域来拍摄视频。当对象意外出现时，包含对象特征信息的元数据被发送到视频检索装置10。在接收到元数据时，所述视频检索装置10的更新单元111分析元数据以提取视频中包括的对象的特征信息。然后，更新单元111将所提取的对象的特征信息实时更新为事件对象信息122，并将其写入存储器12中(步骤S903和S1002)。
比较单元112将更新的事件对象信息122与先前存储的比较对象信息121进行比较(步骤S904和S1003)。另外，对象信息生成/删除单元113选择在事件对象信息122和比较对象信息121之间具有高度相似性的对象信息，以创建最终对象信息123并将其存储在存储器12中(步骤S906和S1005)。相反，对于具有低度相似性的对象(步骤S907和S1004)，所述对象信息生成/删除单元113创建临时对象信息124并将其存储在存储器12中(步骤S908和S1006)。
计数单元114确定临时对象信息124是否满足预定标准(步骤S909和S1007)。如果临时对象信息124满足预定标准(步骤S910)，则更新单元111使用所述临时对象信息124更新最终对象信息123和比较对象信息121(步骤S911、S912和S1008)。另一方面，如果临时对象信息124不满足预定标准(步骤S913)，则在经过预定时间之后，所述对象信息生成/删除单元113删除临时对象信息124(步骤S914和S1009)。
图11是示出根据本公开的另一示例性实施方式的视频检索系统1存储数据的操作流程的图。图12是示出根据本公开的另一示例性实施方式的视频检索系统1存储数据的过程的流程图。
与根据本公开的上述示例性实施方式的视频检索系统1不同，根据本公开的又一示例性实施方式的视频检索系统1不具有比较对象信息121。也就是说，用户不需要预先输入对象信息，或者不需要预先从服务器或外部装置接收对象信息。
另外，视频检索系统1也不具有临时对象信息124。因此，不需要计数单元114确定临时对象信息124是否满足预定标准。在下文中，将参照图11和图12描述根据本公开又一示例性实施方式的视频检索系统1存储数据的过程。
视频检索装置10b从视频管理装置20、摄像机30或单独的VA引擎接收元数据(步骤S1101)。在接收到元数据时，视频检索装置10b的更新单元111a分析元数据以提取视频中包括的对象的特征信息。然后，更新单元111a将所提取的对象的特征信息实时更新为事件对象信息122a，并将其写入存储器12中(步骤S1102和S1201)。
如上所述，当从元数据中新提取对象特征信息时，使用所述对象的特征信息更新事件对象信息122a。同时，比较单元112a将先前存储在存储器12b中的事件对象信息122a与新提取的对象特征信息进行比较(步骤S1103和S1202)。优选地，比较单元112a直接从更新单元111a接收新提取的对象特征信息，并仅从存储器12b加载先前存储的事件对象信息122a，以将它们相互比较。由于新提取的对象的特征信息不需要通过存储器12b，因此可以进一步节省时间。然而，应理解，本公开不限于此。在将新提取的对象的特征信息更新为事件对象信息122a之后，比较单元112a可以加载新提取的对象的特征信息和先前存储的事件对象信息122a，以将它们相互比较。
比较单元112a确定先前存储在存储器12b中的事件对象信息122a与新提取的对象的特征信息之间的相似性(步骤S1203)。另外，对象信息生成/删除单元113选择在事件对象信息122和比较对象信息121之间具有高度相似性的对象信息，以创建最终对象信息123并将其存储在存储器12中(步骤S1105和S1204)。另一方面，在经过预定时间段之后，对象信息生成/删除单元113a从事件对象信息122a删除具有低度相似性(步骤S1106)的对象(步骤S1107和S1205)。高度相似性意味着，在先前存储在存储器12b中的事件对象信息122a和新提取的对象特征信息之间存在很多匹配的属性项。相反，低度相似性意味着，在先前存储在存储器12b中的事件对象信息122a和新提取的对象特征信息之间存在很少匹配的属性项。尽管可能存在不同的标准，但是如果在它们之间属性项匹配超过80％，则期望将相似性确定为高。
根据又一示例性实施方式的视频检索装置10b中包括的与上述元件相同的一些元件将不再详细描述。应当理解，可以根据本公开的各种示例性实施方式略微修改元件。在阅读说明书和附图之后，本领域技术人员可以容易地实施这些修改。
图13是示出根据本公开的示例性实施方式的由视频检索系统1检索视频的操作流程的图。
如上所述，最终对象信息123包括频道编号、日期、时间和对象ID。因此，用户可以通过输入14输入特定时间、特定对象或特定频道作为检索标准，来容易地检索从多个频道获取的视频。
如图13所示，具体的说，当用户输入检索标准以检索视频时(步骤S1301)，控制器11的数据检索单元115仅检索存储在存储器12中的最终对象信息123以得到检索结果(步骤S1302)。
尽管未在附图中示出，但是每个视频的代表图像也可以存储在存储器12中。根据本公开的示例性实施方式，应当进一步减少在存储器12中建立的数据库的数量。在这方面，视频流数据具有大的数据大小，而代表图像具有比视频流数据小得多的数据大小。因此，视频流数据不存储在存储器12中，而是存储在视频管理装置20中。与视频流数据相关联的代表图像可以存储在存储器12中。优选地，视频中包括的对象显示为代表图像。
导出的检索结果显示在屏幕13上，以便用户可以看到它(步骤S1303)。作为检索结果，各种视频的代表图像可以以缩略图的形式显示在屏幕上。一旦用户选择了代表图像，就从视频管理装置20加载与所选的代表图像相对应的视频流数据。然后，视频显示在屏幕13上。
根据本公开的另一示例性实施方式，当用户检索视频时，事先可能不知道所述特定的对象ID。在这种情况下，用户可以输入感兴趣对象可能出现的特定时间和特定频道作为检索标准，从而检查在该频道和该时间中出现的所有对象的列表。例如，作为用户输入的结果，在所述频道和所述时间中出现的所有对象的对象ID可以按时间顺序或以频率顺序与代表图像一起显示在屏幕13上。此时，用户可以从显示的代表图像中识别感兴趣对象的对象ID。在这样做时，用户可以从代表图像中挑选出由比较单元112a确定为相似的对象，因此所述对象具有相同的对象ID但实际上不相同。例如，如果用户确定在代表图像上具有相同对象ID的某些对象是不同的，则用户可以以预定方式选择她/他想要排除的代表图像，以将它们从最终对象信息123a中移除，或者可以在回放过程期间移除对象，这将在下文描述。在这种情况下，用户进一步验证已经由比较单元112a确定的相似对象的信息，从而可以进一步提高检索的准确性。随后，用户可以通过输入所识别的对象ID作为检索标准来执行再次检索。
可替代地，如果用户最初输入时间和对象ID作为检索标准，或者用户以上述方式识别对象ID，然后检索视频，则对象ID出现在的频道、日期和时间可以作为检索结果显示在屏幕上。因此，用户可以立即检查对象出现在的频道、日期和时间的信息，而不像在相关领域中检索感兴趣的对象那样逐个改变频道来重复检索。当用户想要将检索结果作为视频回放时，通过单独的回放处理器(未示出)从视频管理装置20加载与每个频道的对象ID相关联的视频流数据。用于不同频道的视频流可以存储在视频管理装置20中的不同位置。因此，回放处理器可以加载针对每个频道相对于特定对象ID存储的视频流数据，可以对所述视频流数据进行解码以创建多个流式视频，并且可以在屏幕13上显示所述流式视频。可以按时间顺序在显示单元13上顺序显示多个视频。可替代地，屏幕13可以根据流式视频的数量划分为多个子屏幕，以便所述多个子屏幕分别显示视频。因此，可以同时显示多个流式视频。用于整体控制多个流式视频的回放的时间滑块可以与多个视频一起显示。用户可以使用时间滑块整体控制多个视频的回放时间点。另外，可以为多个视频中的每个视频配置时间滑块，以便用户可以整体控制多个视频，也可以单独控制所述多个视频。尽管在上文描述中流式视频是被顺序地或同时地播放，但是应当理解，也可以是将流式视频合成为单个流式视频并顺序播放。在这种情况下，时间滑块可以通过流式视频的回放时间点来划分。这样，多个视频可以以各种方式显示在屏幕13上，而不在本文受到特别限制。
对于图7中所示的示例中的最终对象信息123，如果用户输入频道2和频道4从2016年11月16日3:00到5:00作为检索标准，则频道2摄像机30和频道4的摄像机30从3:00到5:00拍摄的视频的对象ID以及视频中包括的对象被导出为检索结果。具体地，频道2中在3:33:20的对象ID为2的对象和频道4中在4:1:5的对象ID为1的对象被导出为检索结果。另外，属于时间和频道的视频的代表图像以缩略图形式显示在屏幕13上。用户可以从代表图像中识别感兴趣对象的对象ID是1还是2。随后，用户可以通过输入所识别的对象ID作为检索标准来执行再次检索。可替代地，如果用户输入在2016年11月16日从3:00到5:00的对象ID为2的对象作为检索标准，则从3:00到5:00拍摄具有对象ID为2的对象的摄像机30的频道编号作为检索结果导出。也就是说，频道2在3:33:20和频道3在4:03:03被导出为检索结果。当用户通过预定输入方式选择视频回放时，从视频管理装置20加载两个视频流数据。然后，所加载的视频显示在屏幕13上。
对于本领域技术人员显而易见的是，在不脱离本公开的技术构思或主旨的情况下，可以对本公开的示例性实施方式进行各种修改和改变。因此，应该理解，上述实施方式不是限制性的，而是在所有方面都是说明性的。应当理解，附图和详细描述并非旨在将本公开限制于本文公开的特定形式，而是相反，旨在覆盖落入由所附权利要求限定的本公开的精神和范围内的所有修改、等同物和替代物。

Claims (9)

1.一种视频检索装置，包括：
更新单元，所述更新单元配置为接收视频中包含的对象的特征信息，以用所述对象的特征信息更新事件对象信息；
存储单元，所述存储单元配置为存储比较对象信息和事件对象信息，所述比较对象信息包含感兴趣对象的特征信息；
对象信息生成/删除单元，所述对象信息生成/删除单元配置为创建对象信息为最终对象信息，以将所述最终对象信息写入存储单元，所述对象信息在所述事件对象信息和所述比较对象信息之间具有高于预定标准的相似性；以及
数据检索单元，所述数据检索单元配置为针对满足用户输入的检索标准的数据检索写入的所述最终对象信息；
其中，所述对象信息生成/删除单元将具有低于所述预定标准的相似性的对象信息作为临时对象信息记录在所述存储单元中；并且
其中，所述视频检索装置还包括：计数单元，所述计数单元配置为确定所述临时对象信息是否满足预定标准，
其中，如果确定所述临时对象信息满足所述预定标准，则所述更新单元使用所述临时对象信息更新所述最终对象信息和所述比较对象信息。
2.根据权利要求1所述的装置，其中，在所述最终对象信息中包括的属性项的数量少于在所述事件对象信息中包括的属性项的数量。
3.根据权利要求1所述的装置，其中，如果所述临时对象信息不满足所述预定标准，则所述对象信息生成/删除单元删除所述临时对象信息。
4.根据权利要求1所述的装置，其中，所述存储单元还存储所述视频的代表图像。
5.根据权利要求4所述的装置，还包括：
屏幕单元，所述屏幕单元配置为当所述数据检索单元检索数据时显示作为检索结果导出的视频，其中所述屏幕单元将与从所述检索结果导出的视频相关联的代表图像显示为缩略图。
6.一种存储数据的方法，包括：
接收视频中包括的对象的特征信息，以用所述对象的特征信息更新事件对象信息；
将比较对象信息和所述事件对象信息进行比较，所述比较对象信息包含感兴趣的对象的特征信息；
对在所述事件对象信息和所述比较对象信息之间具有比预定标准高的相似性的对象信息存储为最终对象信息；以及
将在所述事件对象信息和所述比较对象信息之间具有比预定标准低的相似性的对象信息存储为临时对象信息，
其中，将所述信息存储为所述临时对象信息还包括：确定所述临时对象信息是否满足预定标准，
其中，所述存储数据的方法还包括：
如果确定所述临时对象信息满足所述预定标准，则用所述临时对象信息更新所述最终对象信息和所述比较对象信息；以及
如果输入检索标准，则针对数据检索所述最终对象信息。
7.根据权利要求6所述的方法，其中，在所述最终对象信息中包括的属性项的数量少于在所述事件对象信息中包括的属性项的数量。
8.一种数据存储装置，包括：
更新单元，所述更新单元配置为提取从多个摄像机中获取的视频中包括的对象的特征信息，以使用所述对象的特征信息更新事件对象信息；
存储单元，所述存储单元配置为存储所述事件对象信息；
比较单元，所述比较单元配置为将提取的所述对象的特征信息与已经存储在所述存储单元中的所述事件对象信息进行比较；以及
对象信息生成/删除单元，所述对象信息生成/删除单元配置为创建对象信息作为最终对象信息，并将所述最终对象信息写入所述存储单元，所述对象信息在提取的所述对象的特征信息和所述事件对象信息之间具有相似性；
其中，所述对象信息生成/删除单元将具有低于预定标准的相似性的对象信息作为临时对象信息写入所述存储单元中；并且
其中，所述数据存储装置还包括：计数单元，所述计数单元配置为确定所述临时对象信息是否满足预定标准，
其中，所述数据存储装置还包括：数据检索单元，所述数据检索单元配置为针对满足用户输入的检索标准的数据检索所述最终对象信息，
其中，如果确定所述临时对象信息满足所述预定标准，则所述更新单元使用所述临时对象信息更新所述最终对象信息。
9.根据权利要求8所述的装置，其中，在所述最终对象信息中包括的属性项的数量少于在所述事件对象信息中包括的属性项的数量。
CN201680091038.1A 2016-11-23 2016-12-21 视频检索装置、数据存储方法以及数据存储装置 Active CN109997130B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160156614A KR20180058019A (ko) 2016-11-23 2016-11-23 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
KR10-2016-0156614 2016-11-23
PCT/KR2016/015051 WO2018097389A1 (ko) 2016-11-23 2016-12-21 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치

Publications (2)

Publication Number Publication Date
CN109997130A CN109997130A (zh) 2019-07-09
CN109997130B true CN109997130B (zh) 2023-10-13

Family

ID=62195102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091038.1A Active CN109997130B (zh) 2016-11-23 2016-12-21 视频检索装置、数据存储方法以及数据存储装置

Country Status (4)

Country Link
US (2) US11449544B2 (zh)
KR (1) KR20180058019A (zh)
CN (1) CN109997130B (zh)
WO (1) WO2018097389A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158318B1 (ko) * 2018-08-20 2020-09-22 제주대학교 산학협력단 빅데이터 분석을 이용한 유사도 기반의 cctv 영상데이터 중복 제거 시스템 및 그 방법
CN113505250A (zh) * 2018-12-18 2021-10-15 华为技术有限公司 一种分布式图像分析方法、系统及存储介质
KR102229261B1 (ko) * 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법
US11503381B2 (en) 2020-06-29 2022-11-15 Seagate Technology Llc Distributed surveillance system with abstracted functional layers
US11463739B2 (en) 2020-06-29 2022-10-04 Seagate Technology Llc Parameter based load balancing in a distributed surveillance system
US20210409817A1 (en) * 2020-06-29 2021-12-30 Seagate Technology Llc Low latency browser based client interface for a distributed surveillance system
US11343544B2 (en) 2020-06-29 2022-05-24 Seagate Technology Llc Selective use of cameras in a distributed surveillance system
US11841885B2 (en) 2021-04-21 2023-12-12 International Business Machines Corporation Multi-format content repository search
CN113255484B (zh) * 2021-05-12 2023-10-03 北京百度网讯科技有限公司 视频匹配方法、视频处理方法、装置、电子设备及介质
CN114338383B (zh) * 2021-12-30 2024-04-23 天翼物联科技有限公司 一种视频设备简化配置方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234994A (ja) * 2004-02-20 2005-09-02 Fujitsu Ltd 類似度判定プログラム、マルチメディアデータ検索プログラム、類似度判定方法、および類似度判定装置
CN103530357A (zh) * 2013-10-11 2014-01-22 北京奇艺世纪科技有限公司 视频检索方法及系统
CN103886013A (zh) * 2014-01-16 2014-06-25 陈守辉 一种基于网络视频监控中的智能图像检索系统
CN104216938A (zh) * 2013-05-31 2014-12-17 三星Sds株式会社 图像检索装置及方法
CN105357523A (zh) * 2015-10-20 2016-02-24 苏州科技学院 一种基于hosvd算法视频压缩系统及方法
KR20160116842A (ko) * 2015-03-31 2016-10-10 (주)블루비스 시각적 이벤트 결과를 제공하는 영상 보안 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471927B1 (ko) 2001-10-08 2005-03-08 학교법인 한국정보통신학원 웹 기반 영상 데이터 검색 시스템 및 그 방법
KR100867005B1 (ko) 2007-09-19 2008-11-10 한국전자통신연구원 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
KR101074850B1 (ko) * 2010-08-09 2011-10-19 이정무 영상 검색 시스템
KR101785657B1 (ko) 2010-11-19 2017-10-16 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터를 이용한 동영상 검색 방법
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
US20150029222A1 (en) * 2011-11-29 2015-01-29 Layar B.V. Dynamically configuring an image processing function
WO2016038522A1 (en) * 2014-09-08 2016-03-17 Google Inc. Selecting and presenting representative frames for video previews
WO2017051550A1 (ja) * 2015-09-24 2017-03-30 富士フイルム株式会社 補修計画立案支援システム、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234994A (ja) * 2004-02-20 2005-09-02 Fujitsu Ltd 類似度判定プログラム、マルチメディアデータ検索プログラム、類似度判定方法、および類似度判定装置
CN104216938A (zh) * 2013-05-31 2014-12-17 三星Sds株式会社 图像检索装置及方法
CN103530357A (zh) * 2013-10-11 2014-01-22 北京奇艺世纪科技有限公司 视频检索方法及系统
CN103886013A (zh) * 2014-01-16 2014-06-25 陈守辉 一种基于网络视频监控中的智能图像检索系统
KR20160116842A (ko) * 2015-03-31 2016-10-10 (주)블루비스 시각적 이벤트 결과를 제공하는 영상 보안 시스템 및 방법
CN105357523A (zh) * 2015-10-20 2016-02-24 苏州科技学院 一种基于hosvd算法视频压缩系统及方法

Also Published As

Publication number Publication date
CN109997130A (zh) 2019-07-09
US11449544B2 (en) 2022-09-20
KR20180058019A (ko) 2018-05-31
US20190272289A1 (en) 2019-09-05
WO2018097389A1 (ko) 2018-05-31
US20230014519A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN109997130B (zh) 视频检索装置、数据存储方法以及数据存储装置
US11113587B2 (en) System and method for appearance search
US10579669B2 (en) System, apparatus, method, program and recording medium for processing image
US9141184B2 (en) Person detection system
JP5863400B2 (ja) 類似画像検索システム
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
AU2009243442B2 (en) Detection of abnormal behaviour in video objects
CN108701392A (zh) 用于执行监视的方法和装置
KR20080104034A (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체
CN110945505A (zh) 电子设备和控制电子设备的方法
CN102301379A (zh) 从显示多媒体控制并且请求信息的方法
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
CN109391757A (zh) 信息处理装置、信息处理方法和存储介质
WO2020103293A1 (zh) 一种人员检索信息的呈现方法、装置和电子设备
JP2011244043A (ja) 映像記録再生装置
US20190073813A1 (en) Image processing apparatus, image providing apparatus,control methods thereof, and medium
WO2015178234A1 (ja) 画像検索システム
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024041714A1 (en) Sensor data capturing arrangement and a method for capturing sensor data
KR20230021807A (ko) 감정 스펙트럼 분석에 기반한 영상 관리 방법 및 장치
WO2017056948A1 (ja) 画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeonggi Do, South Korea

Applicant after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant