CN106295489B - 信息处理方法、信息处理装置和视频监控系统 - Google Patents

信息处理方法、信息处理装置和视频监控系统 Download PDF

Info

Publication number
CN106295489B
CN106295489B CN201510368669.0A CN201510368669A CN106295489B CN 106295489 B CN106295489 B CN 106295489B CN 201510368669 A CN201510368669 A CN 201510368669A CN 106295489 B CN106295489 B CN 106295489B
Authority
CN
China
Prior art keywords
party
feature
information processing
characteristic quantity
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510368669.0A
Other languages
English (en)
Other versions
CN106295489A (zh
Inventor
谢雨来
吴鲁
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to CN201510368669.0A priority Critical patent/CN106295489B/zh
Priority to US15/740,026 priority patent/US10719735B2/en
Priority to PCT/CN2016/087623 priority patent/WO2017000880A1/zh
Publication of CN106295489A publication Critical patent/CN106295489A/zh
Application granted granted Critical
Publication of CN106295489B publication Critical patent/CN106295489B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种信息处理方法、信息处理装置和视频监控系统，所述信息处理方法其特征在于，包括：图像取得步骤，取得图像；第一方特征量提取步骤，从所取得的图像中提取至少一个用于描述所述图像的第一方特征的第一方特征量；第三方特征量提取步骤，调用第三方算法，从所述图像中提取至少一个用于描述所述图像的所述第一方特征之外的第三方特征的第三方特征量；特征量关联步骤，利用用于描述同一张图像的各所述第一方特征量和各所述第三方特征量的关联性的连接信息，对所述图像的各所述第一方特征量和各所述第三方特征量进行关联。

Description

信息处理方法、信息处理装置和视频监控系统
技术领域
本发明涉及一种信息处理方法、信息处理装置和视频监控系统，特别涉及一种具有功能扩展性的信息处理方法、信息处理装置和利用该信息处理方法、信息处理装置的视频监控系统。
背景技术
视频监控系统在城市安防，交通监控，社区管理等方面得到了广泛的应用。近年来，视频监控系统的规模越来越大。每年，在各个城市中均有大量的符合720P或1080P的高清摄像机被部署，并且也有大量的老旧摄像机被更新替换为高清摄像机。视频监控系统的日常运行过程中会产生大量的视频数据，这些数据将被保存3-12个月或更长时间。视频数据的积累，不仅占用了大量的存储空间和网络传输带宽，而且视频内容也缺乏有效的分析和管理。当需要在海量的视频内容中查找所需的目标时(如人员、车辆、不明行李等)，用人工进行观看排查，需要花费大量的时间；并且人工查找的准确度，由于疲劳等原因，也很难保证。另一方面，对海量视频内容进行有效的管理(如分类、统计等)，也非常困难。
近年来，一些大规模的智能视频监控系统逐渐被使用。相比于传统的摄像机配合录像机的模式，智能视频监控系统利用图像分析技术对视频的图像数据进行分析，对于敏感特征(如车辆的前部，人员的脸部等)提取相应的特征值(一般为向量、数字、字符等)，并存储在特征数据库中。因此，对视频内容的检索和管理等工作，转变为计算机对特征量的自动的比对查找，极大的提高了效率与准确度。
智能视频监控系统工作流程主要分为两步，一是特征量注册。特征量注册是视频图像经图像分析技术处理，其特征量被提取之后，被提取的特征量被存储到特征库中的过程。特征量注册一般在摄像机实时接入的视频监控系统的在线运行的过程中，或摄像机未接入的、将历史的视频资料导入到系统的离线运行过程中进行，是一种构建特征库的操作。另一步是特征量比对。特征量比对是将待检索目标的特征量或特征量的限定条件与系统的特征库中的特征量进行比对，然后返回符合条件的特征量的过程。一般在视频监控系统的用户需要进行视频检索或视频管理时进行，是一种是使用特征库的操作。
现有的一些专利文献已经公开了智能视频监控系统或分析系统。例如在CN201310176223，CN201220360326，US8934670等专利文献中提出的系统对人脸或运动物体进行分析，被应用在安保和事件预警等领域。
发明内容
发明想要解决的技术问题
在如上所述的现有的智能视频监控系统存在着能够分析处理的特征单一，缺乏扩展性的缺点。例如，有的系统只能针对人脸目标进行监控。因为一个目标物体往往具有多个特征，单一特征对于一个目标的描述会比较片面而缺乏准确性；而对同一物体的多个特征描述则能增加准确性。例如，对于目标人员，上述系统在脸部特征被刻意隐藏时无法发挥作用。脸部特征与其他特征(如年龄、性别、衣物颜色，是否佩戴口罩、墨镜等)结合能更好的描述一个目标人员。这些多个特征也能使视频内容管理更具灵活性(如视频内容按性别或年龄分类)，和视频检索的条件更具有定制性(如在视频库中搜索红衣、戴口罩人员)。
另外，只能分析处理单一特征的现有技术的视频监控系统缺乏扩展性，不利于成本的控制。例如，一套视频监控系统，只能用于人脸监控，不能为车辆监控所用，而需要重新构建一套系统，这会造成重复建设的浪费。
因此，本发明的目的在于提供一种具有功能扩展性的信息处理方法、信息处理装置以及利用该信息处理方法和信息处理装置的智能视频监控系统，以扩大智能视频监控系统的应用范围，提高检索精度，增强视频内容管理的灵活性和检索的可定制性。
用于解决问题的技术方案
为了解决上述问题，扩展智能视频监控系统的功能，并提高智能视频监控系统的检索精度、增强视频内容管理的灵活性和检索的可定制性，本发明着眼于通过将一些图像分析技术(第三方算法)集成到(或接入)现有的智能视频监控系统中，提供能够接入第三方算法的信息处理方法和信息处理装置，来实现现有的智能监控系统本身自带的算法无法实现的功能，以扩大系统的使用范围，提高视频检索的准确度和提升视频管理的灵活性。
为了便于描述，本文中先做一些定义，本文中，图像是指例如视频、图片、静态图像、动态图像之类的图像数据。第一方特征是指智能视频监控系统利用自带的算法就能够从同一张图像中分析提取的特征，第三方特征是指智能视频监控系统利用自带的算法无法从同一张图像中分析提取而需要利用第三方算法分析提取的特征。第三方算法是指智能视频监控系统非自带的算法。第一方特征量是描述第一方特征的特征量。第三方特征量是描述第三方特征的特征量。
另外，连接信息是指用于描述同一张图像的各第一方特征量和各第三方特征量的关联性的信息，例如后文所述的记录到第一方特征量或第三方特征量中的该第一方特征量或第三方特征量之外的其他特征量的标识符，每个特征量的标识符是唯一的，标识符例如可以为编号。本文中所指的“将同一张图像的第一方特征量和第三方特征量关联”包括：将同一张图像的一个第一方特征量与该图像的一个第三方特征量关联；将同一张图像的多个第一方特征量之间彼此关联；将同一张图像的多个第三方特征量之间彼此关联；以及将同一张图像的多个第一方特征量与该图像的多个第三方特征量彼此关联等。
根据本发明的第一方面，提供一种信息处理方法，其特征在于，包括：图像取得步骤，取得图像；第一方特征量提取步骤，从所取得的图像中提取至少一个用于描述所述图像的第一方特征的第一方特征量；第三方特征量提取步骤，调用第三方算法，从所述图像中提取至少一个用于描述所述图像的所述第一方特征之外的第三方特征的第三方特征量；特征量关联步骤，利用用于描述同一张图像的各所述第一方特征量和各所述第三方特征量的关联性的连接信息，对所述图像的各所述第一方特征量和各所述第三方特征量进行关联。
利用如上所述的信息处理方法，通过将第三方算法集成到(或接入)视频监控系统中，实现监控系统本身自带的算法无法实现的功能，不仅能够提取监控系统本身自带的算法就能提取的第一方特征，还能够利用第三方算法提取第三方特征，由此视频监控系统能够分析更多的特征，扩大了视频监控系统的使用范围，提升视频管理的灵活性。
在本发明的第二方面，如第一方面所述的信息处理方法，其特征在于，所述特征量关联步骤包括：给各第一方特征量赋予该第一方特征量的唯一标识符；给各第三方特征量赋予该第三方特征量的唯一标识符；将各第一方特征量的唯一标识符作为连接信息记录到其他各第一方特征量和各第三方特征量中；将各第三方特征量的唯一标识符作为连接信息记录到其他各第三方特征量和各第一方特征量中；以及利用由所述唯一标识符构成的连接信息将所述图像的各第一方特征量和各第三方特征量关联。
在本发明的第三方面，如第一方面所述的信息处理方法，其特征在于，还包括：检索步骤，根据用户的检索条件，对至少一个所述第一方特征量或至少一个所述第三方特征量进行检索，并将检索结果返回给用户。
这样，能够对第一方特征量和第三方特征量进行检索，利用更多的特征量进行检索，由此能够提高视频监控系统的检索精度。
在本发明的第四方面，如第三方面所述的信息处理方法，其特征在于：在所述检索步骤中，当所述检索条件以一个第一方特征量为对象时，对所述一个第一方特征量进行检索，取得关于所述一个第一方特征量所描述的第一方特征的检索结果，并利用所述连接信息，查找对应的各第三方特征量和除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量，并将各第三方特征量所描述的第三方特征的信息、所述除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量所描述的第一方特征的信息、与所述关于所述一个第一方特征量所描述的第一方特征的检索结果一同返回给用户。
在本发明的第五方面，如第三方面所述的信息处理方法，其特征在于：在所述检索步骤中，当所述检索条件以一个第三方特征量为对象时，对所述一个第三方特征量进行检索，取得关于所述一个第三方特征量所描述的第三方特征的检索结果，并利用所述连接信息，查找对应的各第一方特征量和除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量，并将各第一方特征量所描述的第一方特征的信息、所述除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量所描述的第三方特征的信息、与所述关于所述一个第三方特征量所描述的第三方特征的检索结果一同返回给用户。
这样，进行检索时，将所检索的结果和利用连接信息找到的对应的相关特征的信息一同返回给用户，由此能够进一步提高视频检索的准确度和提升视频管理的灵活性。
在本发明的第六方面，如第一～第五方面中任一方面所述的信息处理方法，其特征在于，还包括：第一方特征量注册步骤，注册各所述第一方特征量；和第三方特征量注册步骤，注册各所述第三方特征量。
这样，通过将第一方特征量和第三方特征量分别进行注册，能够提升注册管理上的灵活性。
在本发明的第七方面，如第六方面所述的信息处理方法，其特征在于，所述第一方特征量注册步骤和所述第三方特征量注册步骤包括在线注册模式和离线注册模式。
其中在线注册模式用于应对图像数据实时接入的情况；离线模式用于应对历史的图像数据通过离线上传导入的情况，这样，不仅能够在线实时地从图像中提取特征量并进行注册，也能够通过离线上传图像来提取特征量并进行注册，从而视频监控系统能够应对实时监控、离线分析等各种不同情况的需要。
在本发明的第八方面，如第六方面所述的信息处理方法，其特征在于：在所述第三方特征量注册步骤中，各所述第三方特征量以近似特征量聚类并分层的形式被存储。
第三方特征量并不是按照被注册到存储空间中的顺序排列，而是按照特征量之间的相似程度排列，形成近似特征量的集合，在第一层存储中，存储每个近似特征量集合的中心向量，当一个新特征量被注册到存储空间或者与存储空间中的特征量进行比对时，首先在第一层存储中寻找最接近的一个特征量集合的中心向量，然后再进入第二层相应的特征量集合中寻找近似的特征量。这种形式能够排除绝大部分的对非类似特征向量的比对，加快检索速度。
在本发明的第九方面，如第一～第五方面中任一方面所述的信息处理方法，其特征在于，还包括：特征量格式转换步骤，将利用所述第三方算法得到的各所述第三方特征量的格式转换为与各所述第一方特征量的格式兼容的格式。
这样，所提取的第三方特征量与第一方特征量在格式上兼容，便于对特征量统一进行管理。
在本发明的第十方面，如第一～第五方面中任一方面所述的信息处理方法，其特征在于所述第一方特征量是数字、字符、字符串和多维向量中的任一者，所述第三方特征量是数字、字符、字符串和多维向量中的任一者。
根据本发明的第十一方面，提供一种信息处理装置，其特征在于，包括：图像取得模块，其用于取得图像；第一方特征量提取模块，其从所取得的图像中，提取至少一个用于描述所述图像的第一方特征的第一方特征量；和第三方接口，包括:第三方特征量提取模块，其调用第三方算法，从所述图像中提取至少一个用于描述所述图像的所述第一方特征之外的第三方特征的第三方特征量；连接器，其利用用于描述同一张图像的各所述第一方特征量和各所述第三方特征量的关联性的连接信息将所述图像的各第一方特征量和各第三方特征量进行关联。
利用如上所述的信息处理装置，通过将第三方算法集成到(或接入)视频监控系统中，实现监控系统本身自带的算法无法实现的功能，不仅能够提取监控系统本身自带的算法就能提取的第一方特征，还能够利用第三方算法提取第三方特征，由此视频监控系统能够分析更多的特征，扩大了视频监控系统的使用范围，提升视频管理的灵活性。
在本发明的第十二方面，如第十一方面所述的信息处理装置，其特征在于，所述连接器给各第一方特征量赋予该第一方特征量的唯一标识符；给各第三方特征量赋予该第三方特征量的唯一标识符；将各第一方特征量的唯一标识符作为连接信息记录到其他各第一方特征量和各第三方特征量中；将各第三方特征量的唯一标识符作为连接信息记录到其他各第三方特征量和各第一方特征量中；以及利用由所述唯一标识符构成的连接信息将所述图像的各第一方特征量和各第三方特征量关联。
在本发明的第十三方面，如第十一方面所述的信息处理装置，其特征在于，还包括：检索模块，根据用户的检索条件，对至少一个所述第一方特征量或至少一个所述第三方特征量进行检索，并将检索结果返回给用户。
这样，能够对第一方特征量和第三方特征量进行检索，利用更多的特征量进行检索，由此能够提高视频监控系统的检索精度。
在本发明的第十四方面，如第十三方面所述的信息处理装置，其特征在于：当所述检索条件以一个第一方特征量为对象时，所述检索模块对所述一个第一方特征量进行检索，取得关于所述一个第一方特征量所描述的第一方特征的检索结果，并利用所述连接信息，查找对应的各第三方特征量和除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量，并将各第三方特征量所描述的第三方特征的信息、所述除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量所描述的第一方特征的信息、与所述关于所述一个第一方特征量所描述的第一方特征的检索结果一同返回给用户。
在本发明的第十五方面，如第十三方面所述的信息处理装置，其特征在于：当所述检索条件以一个所述第三方特征量为对象时，所述检索模块对所述一个第三方特征量进行检索，取得关于所述一个第三方特征量所描述的第三方特征的检索结果，并利用所述连接信息，查找对应的各第一方特征量和除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量，并将各第一方特征量所描述的第一方特征的信息、所述除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量所描述的第三方特征的信息、与所述关于所述一个第三方特征量所描述的第三方特征的检索结果一同返回给用户。
这样，进行检索时，将所检索的结果和利用连接信息找到的对应的相关特征的信息一同返回给用户，由此能够进一步提高视频检索的准确度和提升视频管理的灵活性。
在本发明的第十六方面，如第十一～第十五方面中的任一方面所述的信息处理装置，其特征在于：所述信息处理装置的工作模式包括紧耦合模式和松耦合模式。
在本发明的第十七方面，如第十六方面所述的信息处理装置，其特征在于：在所述紧耦合模式下，所述第三方算法被集成在所述第三方接口内。
在本发明的第十八方面，如第十六方面所述的信息处理装置，在所述松耦合模式下，所述第三方特征分析-注册模块从所述信息处理装置的外部调用所述第三方算法。
如上所述，紧耦合模式用于应对第三方算法完全被掌控，并可以集成到第三方算法接口中的情况，例如，第三方算法被完全授权使用时，图像分析能够在视频监控系统内部进行；松耦合模式用于对第三方算法不能被完全掌控，只能通过网络或其他方式将图像传递给第三方算法进行分析，然后接收所返回的第三方特征的情况，例如，第三方算法被作为一种通过网络访问的服务被提供，供用户调用时，图像分析在视频监控系统外部进行。这样，视频监控系统能够分别应对第三方算法的不同情况。
在本发明的第十九方面，如第十一～第十五方面中的任一方面所述的信息处理装置，其特征在于，还包括：第一方特征量注册模块，其将各所述第一方特征量注册到第一方特征库，第三方特征量注册模块，其将各所述第三方特征量注册到第三方特征库。
这样，通过将第一方特征量和第三方特征量分别注册到第一方特征库和第三方特征库，能够提升注册管理上的灵活性。
在本发明的第二十方面，如第十九方面所述的信息处理装置，其特征在于：所述第一方特征量和所述第三方特征量的注册包括在线注册模式和离线注册模式。
其中在线注册模式用于应对图像数据实时接入的情况；离线模式用于应对历史的图像数据通过离线上传导入的情况，这样，不仅能够在线实时地从图像中提取特征量并进行注册，也能够通过离线上传图像来提取特征量并进行注册，从而视频监控系统能够应对实时监控、离线分析等各种不同情况的需要。
在本发明的第二十一方面，如第十九方面所述的信息处理装置，其特征在于：当各所述第三方特征量注册到第三方特征库时，各所述第三方特征量以近似特征量聚类并分层的形式存储在所述第三方特征库。
这样，第三方特征量并不是按照被注册到存储空间中的顺序排列，而是按照特征量之间的相似程度排列，形成近似特征量的集合，在第一层存储中，存储每个近似特征量集合的中心向量，当一个新特征量被注册到存储空间或者与存储空间中的特征量进行比对时，首先在第一层存储中寻找最接近的一个特征量集合的中心向量，然后再进入第二层相应的特征量集合中寻找近似的特征量。这种形式能够排除绝大部分的对非类似特征向量的比对，加快检索速度。
在本发明的第二十二方面，如第十一～第十五方面中的任一方面所述的信息处理装置，其特征在于：所述第三方接口还包括：特征量格式转换器，其将调用所述第三方算法得到的各所述第三方特征量的格式转换为与各所述第一方特征量的格式兼容的格式。
这样，所提取的第三方特征量与第一方特征量在格式上兼容，便于对特征量统一进行管理。
根据本发明的第二十三方面，提供一种视频监控系统，其特征在于，包括第十一～第十五方面中的任一方面所述的信息处理装置。
利用如上所述的视频监控系统，通过将第三方算法集成到(或接入)视频监控系统中，实现监控系统本身自带的算法无法实现的功能，不仅能够提取视频监控系统本身自带的算法就能提取的第一方特征，还能够利用第三方算法提取第三方特征，由此视频监控系统能够分析更多的特征，扩大了视频监控系统的使用范围，提高检索精度，还能够提升视频管理的灵活性。
根据本发明的一个实施方式，本发明的视频监控系统为一种包括本发明的信息处理装置的智能视频监控系统，本发明的智能视频监控系统包括不同的功能模块和特征库，能够将第三方图像分析技术或其提取的特征量集成到智能视频监控系统中。本发明的信息处理装置的第三方接口包括在线模式下的紧耦合模式、离线模式下的紧耦合模式、在线模式下的松耦合模式、离线模式下的松耦合模式等四种工作模式，以分别应对智能视频监控系统在线/离线运行的状况，和第三方算法是否能集成到智能视频监控系统中的不同状况。其中，在线模式用于应对摄像机实时接入的情况；离线模式用于应对历史的视频资料(如视频文件、录像带等)的导入的情况。此外，紧耦合模式用于应对第三方算法完全被掌控，并可以集成到第三方算法接口中的情况，例如，第三方算法被完全授权使用时，图像分析能够在智能视频监控系统内部进行；松耦合模式用于对第三方算法不能被完全掌控，只能通过网络或其他方式将图像传递给第三方算法进行分析，然后接收所返回的第三方特征的情况，例如，第三方算法被作为一种通过网络访问的服务被提供，供用户调用时，图像分析在智能视频监控系统外部进行。该第三方接口具有特征量格式转换器能够将不同格式的第三方特征量转换为系统能够兼容和存储的特征量。同时，该第三方接口具有连接器，其将同一目标的第一方特征量(第一方特征量)与第三方特征量相互关联，可以相互调用。例如，对于同一目标人员，第三方接口将第一方特征量的人脸与其他第三方特征如年龄30、性别女、佩戴墨镜等建立关联。当查看该目标人员的脸部特征时，“年龄30、性别女、佩戴墨镜”等特征也被同时显示；当利用“年龄30、性别女”等条件时进行检索时，该目标人物的脸部特征也会出现在检索结果中。
本发明的智能视频监控系统自带的算法(称为第一方算法)例如利用Adaboost算法在图像中提取人员脸部或车辆前部等子区域，然后提取的子区域通过局部边缘模式(local edge pattern)匹配和生成颜色空间直方图，得到一个高维向量(300-1000维)，该高维向量经过主成分分析法(Principal Component Analysis，PCA)压缩后得到一个200维的向量特征量。系统通过不同的脸部特征量或车辆前部特征量之间的相似关系(欧式距离等)，确定其相似程度。
本发明中，第三方算法例如可以是通过人员的面部特征进行性别年龄的识别的算法，如支持向量机算法(Support Vector Machine，SVM)。首先，图像中的人员脸部通过Adaboost等算法提取，提取的面部子区域经分块后，通过方向梯度直方图(Histogram ofOriented Gradient，HOG)等方法获取一个特征向量，该特征向量经过训练后的支持向量机算法进行分类后可以得到性别和年龄的特征量。
第三方算法的又一例为对车辆的车牌进行识别的算法。首先图像中的车牌区域通过形态学特征等被提取，提取后的车牌子区域通过训练后的卷积神经网络(Convolutional-Neural-Networks)获取一个高维向量，该高维向量通过一个Softmax分类器后，可以对车牌字符进行识别。
实际运用中，第三方提供第三方算法不一定公开，往往只提供输入与输出的接口，对智能视频监控系统而言是作为一个黑箱处理的。其输入一般为图像，输出为特征量，形式包括不同格式的数字、字符、字符串、向量等。
发明效果
本发明的信息处理方法、信息处理装置和视频监控系统，能够扩大视频监控系统的应用范围，提高检索精度，增强视频内容管理的灵活性和检索的可定制性。
附图说明
图1示出现有技术的典型的智能视频监控系统的结构。
图2示出现有技术的典型的智能视频监控系统中特征量的注册的一般流程。
图3示出第三方算法的图像分析的一般流程。
图4示出本发明提出的信息处理装置的主要结构。
图5示出现有技术的典型的智能视频监控系统的在线注册，离线注册和比对的一般流程。
图6示出本发明提出的第三方接口的工作模式。
图7示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统的在线注册流程。
图8示出了利用本发明的信息处理方法和信息处理装置的智能视频监控系统的离线注册流程和比对流程。
图9示出本发明提出的第三方接口中的特征量格式转换器的作用。
图10示出本实施方式中的第一方特征量以及未进行格式转换的第三方特征量和格式转换后的第三方特征量的例子。
图11示出本发明提出的第三方接口中的特征格式转换器将第三方特征量的格式转换为系统能够存储的格式后该转换格式后的第三方特征量存储在存储空间中的形式。
图12示出本发明提出的第三方接口中的连接器的作用以及连接信息的例子。
图13示出本发明的信息处理方法的概略流程图。
图14示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在紧耦合模式下的在线注册的系统流程。
图15示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在松耦合模式下的在线注册的系统流程。
图16示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在紧耦合模式下的离线注册的系统流程。
图17示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在紧耦合模式下的离线注册的系统流程。
图18示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统的比对的系统流程。
图19示出本发明所提出的信息处理装置的应用例。
具体实施方式
本文所使用的术语仅仅为了说明具体实施方式的目的，而非意在限制本发明。如本文所使用的，单数形式“一个”、“一种”和“该”意在也包括复数形式，除非上下文另外清楚地指明。还将理解的是，当在本说明书中使用时，术语“包括”和/或“包含”意指存在所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其群组的存在或添加。
在本发明中，图像是指例如视频、图片、静态图像、动态图像之类的图像数据。第一方特征是指智能视频监控系统利用自带的算法就能够从同一张图像中分析提取的特征，第三方特征是指智能视频监控系统利用自带的算法无法从同一张图像中分析提取而需要利用第三方算法分析提取的特征。第三方算法是指智能视频监控系统非自带的算法。第一方特征量是描述第一方特征的特征量。第三方特征量是描述第三方特征的特征量。另外，连接信息是指用于描述同一张图像的第一方特征量与第三方特征量的关联性的信息，例如后文所述的记录到第一方特征量或第三方特征量中的该第一方特征量或第三方特征量之外的其他特征量的标识符，每个特征量的标识符是唯一的，标识符例如可以为编号。本文中所指的“将同一张图像的第一方特征量与第三方特征量关联”包括：将同一张图像的一个第一方特征量与该图像的一个第三方特征量关联；将同一张图像的多个第一方特征量之间彼此关联；将同一张图像的多个第三方特征量之间彼此关联；以及将同一张图像的多个第一方特征量与该图像的多个第三方特征量彼此关联等。
本发明的视频监控系统例如为一种智能视频监控系统，包括本发明的信息处理装置。本发明的智能视频监控系统包括不同的功能模块和特征库，能够将第三方图像分析技术或其提取的特征量集成到智能视频监控系统中。本发明的信息处理装置的第三方接口包括在线模式下的紧耦合模式、离线模式下的紧耦合模式、在线模式下的松耦合模式、离线模式下的松耦合模式等四种工作模式，以分别应对智能视频监控系统在线/离线运行的状况，和第三方算法是否能集成到智能视频监控系统中的不同状况。其中，在线模式用于应对摄像机实时接入的情况；离线模式用于应对历史的视频资料(如视频文件、录像带等)的导入的情况。此外，紧耦合模式用于应对第三方算法完全被掌控，并可以集成到第三方算法接口中的情况，例如，第三方算法被完全授权使用时，图像分析能够在智能视频监控系统内部进行；松耦合模式用于对第三方算法不能被完全掌控，只能通过网络或其他方式将图像传递给第三方算法进行分析，然后接收所返回的第三方特征的情况，例如，第三方算法被作为一种通过网络访问的服务被提供，供用户调用时，图像分析在智能视频监控系统外部进行。该第三方接口可以具有特征量格式转换器，能够将不同格式的第三方特征量转换为系统能够兼容和存储的特征量。同时，该第三方接口的连接器将同一目标的第一方特征量(第一方特征量)与第三方特征量相互关联，可以相互调用。例如，对于同一目标人员，第三方接口将第一方特征量的人脸与其他第三方特征如年龄30、性别女、佩戴墨镜等建立关联。当查看该目标人员的脸部特征时，“年龄30、性别女、佩戴墨镜”等特征也被同时显示；当利用“年龄30、性别女”等条件时进行检索时，该目标人物的脸部特征也会出现在检索结果中。
本发明的智能视频监控系统自带的算法(称为第一方算法)例如为对图像中的人脸特征和车辆前部特征进行识别的算法，其利用Adaboost算法在图像中提取人员脸部或车辆前部等子区域，然后提取的子区域通过局部边缘模式(local edge pattern)匹配和生成颜色空间直方图，得到一个高维向量(300-1000维)，该高维向量经过主成分分析法(Principal Component Analysis，PCA)压缩后得到一个200维的向量特征量。系统通过不同的脸部特征量或车辆前部特征量之间的相似关系(欧式距离等)，确定其相似程度。
本发明中，第三方算法例如可以是通过人员的面部特征进行性别年龄的识别的算法。首先，图像中的人员脸部通过Adaboost等算法提取，提取的面部子区域经分块后，通过方向梯度直方图(Histogram of Oriented Gradient，HOG)等方法获取一个特征向量，该特征向量经过训练后的支持向量机算法(Support Vector Machine，SVM)进行分类后可以得到性别和年龄的特征量。
第三方算法的又一例为对车辆的车牌进行识别的算法。首先图像中的车牌区域通过形态学特征等被提取，提取后的车牌子区域通过训练后的卷积神经网络(Convolutional-Neural-Networks)获取一个高维向量，该高维向量通过一个Softmax分类器后，可以对车牌字符进行识别。
实际运用中，第三方提供第三方算法不一定公开，往往只提供输入与输出的接口，对智能视频监控系统而言是作为一个黑箱处理的。其输入一般为图像，输出为特征量，形式包括不同格式的数字、字符、字符串、向量等。
另外，本发明的信息处理装置可以以硬件、固件、软件及其它们的组合等形式实现，例如可以在包括处理器和存储器的智能视频监控系统中以安装到其中的计算机程序实现。尽管示例性实施方式描述为使用多个单元、模块、器件等来执行本发明的信息处理方法，然而应当理解的是，也可以由一个或多个单元、模块、器件等来执行本发明的信息处理方法。
而且，本发明的信息处理方法可以实施为含有通过处理器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。此时，本发明的信息处理方法可以以程序指令的形式存储在存储器中，并由处理器执行对应的程序指令来执行本发明的信息处理方法。
此时，处理器可以是通用微处理器，微控制器，数字信号处理器(DSP：digitalsignal processor)，专用集成电路(ASIC：application specific integrated circuit)，现场可编程门阵列(FPGA：field programmable gate array)，可编程逻辑器件(PLD：programmable logic device)，控制器，状态机(state machine)，门控逻辑(gatedlogic)，离散硬件组件(discrete hardware component)，或任何其它合适于执行计算或其它信息操作的实体。
存储器可以是随机存取存储器(RAM：random access memory)，闪存存储器(flashmemory)，只读存储器(ROM：read only memory)，可编程只读存储器(PROM：programmableread-only memory)，可擦除PROM(EPROM：erasable PROM)，寄存器(register)，硬盘，可卸盘(removable disk)，CD-ROM，DVD或其他任何合适的用于存储将由处理器执行的信息、计算机程序，和/或指令的存储设备。存储器可以存储用于创建实施在此描述的技术的一个或多个计算机程序的执行环境的代码。
计算机程序不一定对应于文件系统中的文件。计算机程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件，或多个协同的文件(例如，存储一个或多个模块，子程序，或部分代码的文件)。计算机程序可以由一个计算机执行或由位于一个地点或分布在多个地点并通过通信网络互连的多个计算机执行。
除非上下文另外指出，否则“-模块”、“-器”、“-单元”等指硬件，固件和/或硬件和固件与软件(例如，计算机程序)的组合的组件。计算机程序，可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件，或多个协同的文件(例如，存储一个或多个模块，子程序，或部分代码的文件)。计算机程序可以由一个计算机执行或由位于一个地点或分布在多个地点并通过通信网络互连的多个计算机执行。
指令可以在一个或多个计算机程序产品中实现，即编码在一个或多个计算机可读介质上的计算机程序指令的一个或多个模块编码，用于根据本领域技术人员公知的任何方法，由智能视频监控系统执行，或控制智能视频监控系统的操作。术语“计算机可读介质”包括计算机存储介质。例如，计算机存储介质可以包括，但不限于，磁存储设备(例如，硬盘、软盘和磁条)，光盘(例如，压缩光盘(CD)和数字通用盘(DVD))，智能卡，闪存设备(例如，记忆棒，SD卡)，以及易失性和非易失性存储器(例如，随机存取存储器(RAM)，只读存储器(ROM))。
本发明的视频监控系统例如为由前端服务器、分析服务器、应用服务器、检索服务器等多个服务器、摄像机、监控终端等组成的计算机系统。本发明的信息处理装置例如可以实施为分布在上述各服务器、监控终端等中的功能模块或计算机程序。
下面，参考附图，对本发明的具体实施方式进行详细说明。
为了增进对本发明的理解，先对典型的智能视频监控系统的结构和特征量的注册流程进行说明。图1示出了一种典型的智能视频监控系统。在典型智能视频监控系统的系统构架中，系统前端包含至少一个监控摄像机1’和至少一个前端服务器2’。系统后台包括：分析服务器4’、应用服务器6’、和检索服务器5’。至少一个监控摄像机1’与前端服务器2’连接。前端服务器2’通过专网或互联网与分析服务器4’连接。分析服务器4’和应用服务器6’都与检索服务器5’连接。此外，应用服务器6’还与监控终端8’连接。分析服务器4’和应用服务器6’均包括分析-注册模块14’(参照图2)。检索服务器5’包括存储特征量的特征库7’。
典型的智能视频监控系统的特征量的注册模式包括在线注册模式和离线注册模式两种。
在在线注册流程中，前端服务器2’进行视频的编解码、转码等工作，通过专网或互联网3’将图像传输到分析服务器4’。分析服务器4’对图像进行分析处理，提取特征(如人员10’的脸部或车辆11’的前部等)的特征量，并注册到检索服务器5’的特征库7’中。
在离线注册流程中，用户9’可以通过监控终端8’连接到应用服务器6’向检索服务器5’进行视频内容的离线上传。
在比对流程中，用户9’可以通过监控终端8’连接到应用服务器6’，通过上传图像或检索条件等进行视频检索和视频管理等操作。
图2示出典型的智能视频监控系统中特征量的注册的一般流程。通过监控摄像机1’拍摄或用户9’离线上传的图像12’被传输到智能视频监控系统13’的分析服务器4’或应用服务器6’后，经分析服务器4’或应用服务器6’的分析-注册模块14’分析后抽出特征量，并将其注册到特征库7’。
接着，参考图3，对利用第三方算法进行图像分析的一般流程进行说明。
图3示出第三方算法的图像分析的一般流程。图像12’被传输到第三方算法15’进行图像分析后，第三方特征量被抽出，以供其他设备使用。
接下来，参考图4，对本发明的信息处理装置的主要结构进行详细说明。
图4示出了本发明提出的信息处理装置的主要结构。在说明本发明的信息处理装置的结构前，对本发明的智能视频监控系统13进行说明。虽然未在图4中利用本发明的信息处理方法和信息处理装置的智能视频监控系统13与图1所示的典型的智能视频监控系统一样，系统前端包含至少一个监控摄像机1和至少一个前端服务器2。系统后台包括：分析服务器4、应用服务器6、和检索服务器5。至少一个监控摄像机1与前端服务器2连接。前端服务器2通过专网或互联网与分析服务器4连接。分析服务器4和应用服务器6都与检索服务器5连接。此外，应用服务器6还与监控终端8连接。分析服务器4和应用服务器6均包括分析-注册模块14。检索服务器5包括存储特征量的第一方特征库7。
本发明的智能视频监控系统13与典型的智能视频监控系统13’的主要不同点在于，本发明的智能视频监控系统13包括本发明的信息处理装置200。本发明的智能视频监控系统13还包括第三方特征库17，以将后述的第三方特征量注册到其中。
本发明的信息处理装置200既可以由硬件实现，也可以由软件实现，例如本发明的信息处理装置200可以由安装在本发明的信息处理装置200的分析服务器4、应用服务器6或检索服务器5中的软件来实现。
本发明的信息处理装置200包括图像取得模块(未图示)、分析注册模块14(第一方特征量提取模块的例子)和第三方接口16。在本实施方式中，分析注册模块14兼具第一方特征量提取模块、和第一方特征量注册模块的功能。图像取得模块可以是接收通过监控摄像机1拍摄或用户9离线上传的图像并传递给信息处理装置200的其他功能模块(例如分析注册模块14、27、28等)的功能模块。分析注册模块14与典型的智能视频监控系统13’的分析注册模块14’一样，能够利用系统自带的算法提取第一方特征量。第三方接口16可以调用第三方算法15。第三方算法15可以是对图像进行分析处理并提取智能视频监控系统自带的算法不能分析得到的特征量的算法，第三方算法15可以是根据图像信息处理需求定制的。第三方接口16包括后述的分析-注册模块27或28(第三方特征量提取模块的例子)、和连接器29(参照图7、图8、图9等)。在本实施方式中，分析注册模块27或28兼具第三方特征量提取模块、和第三方特征量注册模块的功能。另外，本发明的信息处理装置200还可以包括后述的检索模块32、33，以及特征量格式转换器31。在本发明中，如后文所述，第三方算法15既可以在本发明的信息处理装置外独立存在，也可以被集成到第三方接口16中。
第三方接口16一方面能够将通过监控摄像机1拍摄或用户9离线上传的图像12传递给信息处理装置200的分析-注册模块14(第一方特征分析-注册模块)，以提取智能视频监控系统自带算法就能够提取的特征量，即第一方特征量。另一方面还能够将经第三方算法15分析处理后得到的第三方特征量传递给第三方特征库17进行存储，并使第一方特征库7(第一方特征库)的第一方特征量(第一方特征量)与第三方算法提取后的经格式转换的第三方特征量建立关联。具体来说，一方面，通过监控摄像机1拍摄或用户9离线上传的图像12被传输到第三方接口16，并被其传递到第一方特征分析-注册模块14，经分析后将特性向量注册到第一方特征库7。另一方面，通过监控摄像机1拍摄或用户9离线上传的图像12被传输到第三方算法15，经第三方算法15分析处理后被抽取的第三方特征量，被传输到第三方接口16。第三方接口16接收第三方特征量后，经过特征格式转换等一些必要处理后，将第三方特征量注册到第三方特征库17中。第一方特征库7与第三方特征库17之间存在连接信息，使得第一方特征库7中的第一方特征量与第三方特征库17中的第三方特征量建立关联。第三方特征库17接收经格式转换的特征量进行存储。
接下来，为了更好地理解本发明，先参考图5，详细说明现有技术的典型的智能视频监控系统的一般工作原理。图5示出了典型的智能视频监控系统的在线注册，离线注册和比对的一般流程。典型的智能视频监控系统13’为了完成检索，必须经过特征量分析并注册到特征库的注册流程、和将待检索图像的特征量与特征库中的特征量进行比对的比对流程21’。其中，根据处理图像的实时性，注册流程分为在线注册流程19’和离线注册流程20’。在线注册流程19’处理从监控摄像机1传来的实时图像，离线注册流程20’处理用户9’通过监控终端8’经应用服务器6’上传的历史视频和图像。在在线注册流程19’中，通过监控摄像机1’拍摄或用户9’上传的图像被传入分析服务器4’中的分析-注册模块14’，然后特征量被提取并注册到检索服务器5’中的特征库7’。在离线注册流程20’中，通过监控摄像机1’拍摄或用户9’上传的图像被传输到应用服务器6’中的分析-注册模块14’，然后特征量被提取并注册到检索服务器5’中的特征库7’。在比对流程21’中，用户9’在监控终端8’向应用服务器6’中的检索模块18’发起比对命令，检索模块18’在检索服务器5’中的特征库7’中进行特征量的比对，并将结果返回给监控终端8’。
接着，对利用本发明的信息处理方法和信息处理装置的智能视频监控系统的工作原理进行详细说明。在此，着重讨论本发明与现有技术的不同点。
图6示出本发明提出的第三方接口的工作模式。根据本发明的智能视频监控系统的特征量的注册流程的不同，本发明提出的第三方接口的工作模式22分为在线注册模式23和离线注册模式24。同时根据第三方算法与第三方接口的结合关系，本发明提出的第三方接口的工作模式22分为紧耦合模式251、252和松耦合模式261、262。紧耦合模式251、252表示第三方算法15被集成到本发明提出的第三方接口16中，此时第三方特征量的提取也在第三方接口中完成；松耦合模式26表示第三方算法15在本发明的智能视频监控系统13之外，第三方特征量的提取在本发明的智能视频监控系统13的外部完成。因此，本发明提出的第三方接口16共有四种不同的工作模式应对不同的情况。
下面，对利用本发明的信息处理方法和信息处理装置的智能视频监控系统的每种工作模式进行详细说明。
图7示出了利用本发明的信息处理方法和信息处理装置的智能视频监控系统的在线注册流程，其中每个服务器位置与图5相对应。
在在线注册流程19中，当第三方接口工作在紧耦合模式251时，通过监控摄像机1拍摄的图像被传输到分析服务器4中的紧耦合模式的分析-注册模块27，分析-注册模块27一方面将图像传递给第一方特征分析-注册模块14，经第一方特征分析-注册模块14分析提取后的第一方特征量被注册到检索服务器5中的第一方特征库7。另一方面，分析-注册模块27调用其内部的第三方算法15来分析提取第三方特征量，并经过分析-注册模块27内部的特征量格式转换器31对第三方特征量进行格式转换后，将经格式转换的第三方特征量注册到检索服务器5中的第三方特征库17。其中特征量格式转换器31是为了使第三方算法15分析提取的第三方特征量的格式与第一方特征量格式兼容而进行转换的部件。同时，连接器29利用连接信息将同一图像的第一方特征量与第三方特征量进行关联，并在第一方特征库7与第三方特征库17中进行连接。
另外，在在线注册流程19中，当第三方接口工作在松耦合模式261时，第三方算法15在系统外部被调用30，通过监控摄像机1拍摄的图像和经过第三方算法15分析提取的该图像的第三方特征量被同时传输给分析服务器4中的松耦合模式的分析-注册模块28。分析-注册模块28一方面将图像传递给第一方特征分析-注册模块14，经分析提取第一方特征量后，第一方特征量被注册到检索服务器5中的第一方特征库7。另一方面，第三方特征量经过分析-注册模块28的特征量格式转换器31转换格式后，被注册到检索服务器5中的第三方特征库17。同时，连接器29利用连接信息将同一图像的第一方特征量与第三方特征量进行关联，并在第一方特征库7与第三方特征库17中进行连接。
图8利用本发明的信息处理方法和信息处理装置的智能视频监控系统的离线注册流程和比对流程，其中每个服务器位置与图5相对应。
在离线注册流程20中，当第三方接口工作在紧耦合模式252时，用户9上传的图像被传输到应用服务器6中的紧耦合模式的分析-注册模块27，分析-注册模块27一方面将图像传递给第一方特征分析-注册模块14，经该分析-注册模块14分析提取第一方特征量后，该第一方特征量被注册到检索服务器5中的第一方特征库7。另一方面，分析-注册模块27调用其内部的第三方算法15来分析提取第三方特征量，该第三方特征量经过特征量格式转换器31转换格式后，被注册到检索服务器5中的第三方特征库17。同时，连接器29利用连接信息将同一图像的第一方特征量与第三方特征量进行关联，并在第一方特征库7与第三方特征库17中进行连接。
另外，在离线注册流程20中，当第三方接口工作在松耦合模式262时，第三方算法15在系统外部被调用30，用户9上传的图像和经过第三方算法15分析提取的该图像的第三方特征量被同时传输给应用服务器6中的松耦合模式的分析-注册模块28。分析-注册模块28一方面将图像传递给第一方特征分析-注册模块14，经分析提取第一方特征量后，第一方特征量被注册到检索服务器5中的第一方特征库7。另一方面，第三方特征量经过特征量格式转换器31转换格式后，被注册到检索服务器5中的第三方特征库17。同时，连接器29利用连接信息将同一图像的第一方特征量与第三方特征量进行关联，并在第一方特征库7与第三方特征库17中进行连接。
在比对流程中，用户9通过监控终端8上传待检索图像或检索条件给应用服务器6中的第三方接口的检索模块33和原有检索模块32，在第三方特征库17或第一方特征库7中进行比对，并返回结果和连接信息。通过连接信息找到第三方特征库17或第一方特征库7中的关联结果，返回给监控终端8。监控终端8将结果展现给用户9。
如上所述，根据本发明信息处理装置和包括本发明的信息处理装置的视频监控系统，通过将第三方算法集成到(或接入)视频监控系统中，实现监控系统本身自带的算法无法实现的功能，不仅能够提取监控系统本身自带的算法就能提取的第一方特征，还能够利用第三方算法提取第三方特征，由此视频监控系统能够分析更多的特征，扩大了视频监控系统的使用范围，提高检索精度，还能够提升视频管理的灵活性。
接下来，对本发明提出的第三方接口的特征量格式转换器的作用进行说明。
图9示出本发明提出的第三方接口中的特征量格式转换器的作用。在紧耦合模式251和252中，通过监控摄像机1拍摄或用户9上传的图像被传输到分析服务器4或应用服务器6的紧耦合模式的分析-注册模块27中，经第三方算法15分析后提取第三方特征量，第三方特征量经特征量格式转换器31处理后得到格式转换后的第三方特征量。在松耦合模式261和262中，在系统外部分析得到的第三方特征量被传输到分析服务器4或应用服务器6的松耦合模式的分析-注册模块28中，第三方特征量经特征量格式转换器31处理后得格式转换后的第三方特征量。格式转换后的第三方特征量被注册到检索服务器5的第三方特征库中。在上述各工作模式中，特征量格式转换器31对第三方特征量进行格式转换，使得格式转换后的第三方特征量与第一方特征量在格式上兼容。当然，当未经格式转换的第三方特征量与第一方特征量已经在格式上兼容时，不必对该第三方特征量进行格式转换，该格式转换过程可以省略。
下面，对本实施方式中的第一方特征量以及未进行格式转换的第三方特征量和格式转换后的第三方特征量的例子进行详细说明。
图10示出本实施方式中的第一方特征量以及未进行格式转换的第三方特征量和格式转换后的第三方特征量的例子。第三方特征量34的形式可以是数字、字符、字符串、多维向量等。并且，第一方特征量46的形式也可以是数字、字符、字符串、多维向量等，例如在利用本发明的信息处理方法和信息处理装置的智能视频监控系统13中，第一方特征量为表征脸部或车前部的高维向量46。当利用第三方算法提取的未经格式转换的第三方特征量存在着智能视频监控系统所不需要的无关信息时(如第三方算法赋予的编号)，无关信息将被去除36；当利用第三方算法提取的未经格式转换的第三方特征量的编码格式与智能视频监控系统不同时，编码将被转换37；当利用第三方算法提取的未经格式转换的第三方特征量的取值范围与智能视频监控系统不同时，将会进行归一化38等转换操作。之后，第三方特征量将会被分配一个在智能视频监控系统中唯一的编号，并且加上其他信息(如图像拍摄时间，地点等)，成为格式转换后的第三方特征量35。
图11示出本发明提出的第三方接口中的特征格式转换器将第三方特征量的格式转换为系统能够存储的格式后该转换格式后的第三方特征量存储在储存空间中的形式。以第三方特征量为多维向量39时为例，第三方特征量在进行格式转换之后，需要按照特定的形式存储在本发明的智能视频监控系统的存储空间中。当然，如果未经格式转换的第三方特征量与第一方特征量已经在格式上兼容时，则可以省略格式转换过程。本发明的智能视频监控系统为了能够在海量数据中快速的找到所需的特征量，具有一种分层存储结构。在第二层41中，特征量44并不是按照被注册到存储空间中的顺序排列，而是按照特征量之间的相似程度排列，形成近似特征量的集合45；在第一层存储40中，存储有每个近似特征量集合的中心向量42。当一个新特征量被注册到存储空间或者与存储空间中的特征量进行比对时，首先在第一层存储中寻找最接近的一个特征量集合的中心向量，然后再进入第二层相应的特征量集合中寻找近似的特征量。这种形式能够排除绝大部分的对非类似特征向量的比对，加快检索速度。格式转换后的第三方特征量以这种近似特征量聚类并分层的形式存储在存储空间中。
接着，对利用本发明的第三方接口中的连接器实现的第一方特征量和第三方特征量的关联过程进行详细说明。
图12示出本发明提出的第三方接口中的连接器的作用以及连接信息的例子。连接信息是指用于描述同一张图像的第一方特征量与第三方特征量的关联性的信息，例如在本实施方式中，连接信息为将同一张图像的第一方特征量和第三方特征量或不同的第三方特征量彼此关联的编号(标识符的例子)，即记录到第一方特征量或第三方特征量中的该第一方特征量或第三方特征量之外的其他特征量的编号(标识符的例子)，每个特征量的编号是唯一的。
第一方特征量被分析-注册模块14提取后，连接器29给第一方特征量赋予唯一的编号(标识符的例子)，例如图12中的ID1-1。第三方特征量被分析-注册模块27/28提取后，与第一方特征量一样，连接器29给每个第三方特征量赋予唯一的编号(标识符的例子)，例如图12中的编号ID2-1，ID3-1。对于同一图像或同一目标(如同一人员)，连接器29在第一方特征量与第三方特征量之间或不同第三方特征量之间相互记录编号，共享编号作为连接信息，即将其他特征量(例如，第三方特征量)的编号分别记录到本特征量(例如，第一方特征量)中，作为这些其他特征量的链接信息，并利用这些其他特征量的连接信息，将本特征量与其他特征量彼此关联。这样，将同一图像的第一方特征量与第三方特征量或将同一图像的不同的第三方特征量彼此关联。
例如，如图12所示，对于同一人员，其第一方特征量(描述第一方特征，例如，脸部特征的特征量)中记录有第三方特征量351的连接信息(即记录到该第一方特征量中的第三方特征量351的编号，例如ID2-1)和第三方特征量352的连接信息(即记录到该第一方特征量中的第三方特征量352的编号，例如ID3-1)。当描述脸部特征的第一方特征量被调用时，如果想要进一步查询作为第三方特征的该人员的性别年龄特征或衣服特征时，只需要通过第一方特征量中记录的第三方特征量351和第三方特征量352的连接信息，例如ID2-1，ID3-1，便能找到相应的描述性别年龄特征的第三方特征量351和描述衣服特征的第三方特征量352，由此能够确定该人员的性别年龄特征与衣服特征。
同样地，如图12所示，对于同一人员，其第三方特征量351(描述第三方特征，例如性别年龄特征的特征量)中记录有第一方特征量的连接信息(即记录到该第三方特征量351中的第一方特征量的编号，例如ID1-1)和第三方特征量352的连接信息(即记录到该第三方特征量351中的第三方特征量352的编号，例如ID3-1)。当描述性别年龄特征的第三方特征量351被调用时，如果想要进一步查询作为第一方特征的该人员的脸部特征或作为第三方特征的衣服特征时，只需要通过第三方特征量351中记录的第一方特征量和第三方特征量352的连接信息，例如ID1-1，ID3-1，便能找到相应的描述脸部特征的第一方特征量和描述衣服特征的第三方特征量352，由此能够确定该人员的脸部特征与衣服特征。
同样地，如图12所示，对于同一人员，其第三方特征量352(描述第三方特征，例如衣服特征的特征量)中记录有第一方特征量的连接信息(即记录到该第三方特征量352中的第一方特征量的编号，例如ID1-1)和第三方特征量351的连接信息(即记录到该第三方特征量352中的第三方特征量351的编号，例如ID2-1)。当描述衣服特征的第三方特征量352被调用时，如果想要进一步查询作为第一方特征的该人员的脸部特征或作为第三方特征的性别年龄特征时，只需要通过第三方特征量352中记录的第一方特征量和第三方特征量351的连接信息，例如ID1-1，ID2-1，便能找到相应的描述脸部特征的第一方特征量和描述性别年龄特征的第三方特征量351，由此能够确定该人员的脸部特征与衣服特征。
下面，结合流程图，对本发明的信息处理方法进行详细说明。
图13是本发明的信息处理方法的概略流程图。
本发明的信息处理方法包括：图像取得步骤，取得图像(S1)；第一方特征量提取步骤(S2)，对所取得的图像进行处理，提取用于描述该图像的第一方特征作为第一方特征量；第三方特征量提取步骤(S3)，调用第三方算法，对所取得的图像进行处理，提取第一方特征之外的用于描述该图像的第三方特征作为第三方特征量；以及特征量关联步骤(S4)，利用用于描述同一张图像的第一方特征量与第三方特征量的关联性的连接信息，对该图像的第一方特征量和第三方特征量进行关联。此外，本发明的信息处理方法还可以包括：检索步骤(S5)，根据用户的检索条件，进行检索，并将检索结果返回给用户。本发明的信息处理方法还可以包括：第一方特征量注册步骤(S6)，注册所述第一方特征量；和第三方特征量注册步骤(S7)，注册所述第三方特征量。第一方特征量注册步骤和第三方特征量注册步骤可以包括在线注册模式和离线注册模式。另外本发明的信息处理方法还可以包括：特征量格式转换步骤(步骤S8)，将利用第三方算法得到的第三方特征量的格式转换为与第一方特征量的格式兼容的格式。
下面，结合图14～图17，对利用本发明的信息处理方法和信息处理装置的本发明的智能视频监控系统的在线注册流程、离线注册流程和比对流程进行详细说明。
图14示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在紧耦合模式下的在线注册的系统流程，与图7相对应。当第三方接口工作在紧耦合模式时，监控摄像机1取得的视频经过前端服务器2处理为图像，该图像被传输到分析服务器4中的紧耦合模式的分析-注册模块27(步骤1401)(步骤S1的例子)。一方面，图像被传递给第一方特征注册-分析模块14(步骤1402)，分析出的第一方特征量被注册到检索服务器5中的第一方特征库7中(步骤1403)(步骤S2和S6的例子)。同时，第一方特征分析-注册模块14将提取的第一方特征量传递给连接器29(步骤1404)。另一方面，第三方接口的分析-注册模块27利用第三方算法15分析提取第三方特征量(步骤S3的例子)，并将其传递给特征量格式转换器31进行格式转换(步骤S8的例子)，并将格式转换后的第三方特征量注册到检索服务器5的第三方特征库17中(步骤1405)(步骤S7的例子)。同时，第三方接口的分析-注册模块27也将分析得到的第三方特征量传递给连接器29(步骤1406)，连接器29利用连接信息将得到的第一方特征量和第三方特征量这两种特征量进行关联，并在检索服务器5中的第三方特征库17与第一方特征库7之间进行连接(步骤1407)(步骤S4的例子)。
图15示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在松耦合模式下的在线注册的系统流程，与图7相对应。当第三方接口工作在松耦合模式时，监控摄像机1取得的视频经过前端服务器2处理为图像，该图像被传输到系统外部的第三方算法调用程序30(步骤1501)(步骤S1的例子)，分析提取未转换格式的第三方特征量(步骤S3的例子)，然后该图像和未转换格式的第三方特征量一同被传递给分析服务器4中的松耦合模式的分析-注册模块28(步骤1502)。一方面，图像被传递给第一方特征注册-分析模块14(步骤1503)，经分析处理后，分析出的第一方特征量被注册到检索服务器5中的第一方特征库7中(步骤1504)(步骤S2和S6的例子)。同时，第一方特征分析-注册模块14将提取的第一方特征量传递给连接器29(步骤1505)。另一方面，第三方接口的分析-注册模块28直接将未转换格式的第三方特征量交给特征量格式转换器31进行格式转换(步骤S8的例子)，并将格式转换后的第三方特征量注册到检索服务器5的第三方特征库17中(步骤1506)(步骤S7的例子)。同时，第三方接口的分析-注册模块28也将分析得到的格式转换后的第三方特征量传递给连接器29(步骤1507)，连接器29利用连接信息将得到的第一方特征量和第三方特征量这两种特征量进行关联，并在检索服务器5中的第三方特征库17与第一方特征库7之间进行连接(步骤1508)(步骤S4的例子)。
图16示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在紧耦合模式下的离线注册的系统流程，与图8相对应。当第三方接口工作在紧耦合模式时，用户9上传的图像传输到应用服务器6中的紧耦合模式的分析-注册模块27(步骤1601)(步骤S1的例子)。一方面，图像被传递给第一方特征注册-分析模块14(步骤1602)，经分析处理后，分析出的第一方特征量被注册到检索服务器5中的第一方特征库7中(步骤1603)(步骤S2和步骤S6的例子)。同时，第一方特征分析-注册模块14将提取的第一方特征量传递给连接器29(步骤1604)。另一方面，第三方接口的分析-注册模块27利用第三方算法15分析提取第三方特征量(步骤S3的例子)，并将其传递给特征量格式转换器31进行格式转换(步骤S8的例子)，并将格式转换后的第三方特征量注册到检索服务器5的第三方特征库17中(步骤1605)(步骤S7的例子)。同时，第三方接口的分析-注册模块27也将分析得到的格式转换后的第三方特征量传递给连接器29(步骤1606)。连接器29利用连接信息将得到的第一方特征量和第三方特征量这两种特征量进行关联，并在检索服务器5中的第三方特征库17与第一方特征库7之间进行连接(步骤1607)(步骤S4的例子)。
图17示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统在松耦合模式下的离线注册的系统流程，与图8相对应。当第三方接口工作在松耦合模式时，用户9上传的图像传输到系统外部的第三方算法调用程序30(步骤1701)(步骤S1的例子)，分析提取未转换格式的第三方特征量(步骤S3的例子)，然后该图像和未转换格式的第三方特征量一同被传递给应用服务器6中的松耦合模式的分析-注册模块28(步骤1702)。一方面，图像被传递给第一方特征注册-分析模块14(步骤1703)，经分析处理后，分析出的第一方特征量被注册到检索服务器5中的第一方特征库7中(步骤1704)(步骤S2和步骤S6的例子)。同时，第一方特征分析-注册模块14将提取的第一方特征量传递给连接器29(步骤1705)。另一方面，第三方接口的分析-注册模块28直接将未转换格式的第三方特征量交给特征量格式转换器31进行格式转换(步骤S8的例子)，并将格式转换后的第三方特征量注册到检索服务器5的第三方特征库17中(步骤1706)(步骤S7的例子)。同时，第三方接口的分析-注册模块28也将分析得到的格式转换后的第三方特征量传递给连接器29(步骤1707)。连接器29利用连接信息将得到的第一方特征量和第三方特征量这两种特征量进行关联，并在检索服务器5中的第三方特征库17与第一方特征库7之间进行连接(步骤1708)(步骤S4的例子)。
图18是示出利用本发明的信息处理方法和信息处理装置的智能视频监控系统的比对的系统流程，与图8相对应(步骤S5的例子)。首先，用户9向监控终端8发起检索命令(步骤1801)，并通过监控终端8上传待检索的图像或相应的第一方特征量或第三方特征量(即检索条件)(步骤1802)。例如，当上传的检索条件涉及第一方特征库7中的第一方特征量时，应用服务器6中的第三方接口的检索模块33通过调用第一方特征检索模块32在系统的第一方特征库7中进行比对(步骤1803)，之后，比对结果和连接信息被返回给第三方接口的检索模块33(步骤1804)。第三方接口的检索模块33利用连接信息在第三方特征库17中找到相应的第三方特征量(步骤1805)，相应的第三方特征量的结果被返回给第三方接口的检索模块33(步骤1806)，第三方接口的检索模块33将第一方特征库7与第三方特征库17中的检索结果返回给监控终端8(步骤1807)，用户9可以通过监控终端8查看结果(步骤1808)。
虽未图示，但当用户上传的检索条件涉及第三方特征库17中的第三方特征量时，也类似地，应用服务器6中的第三方接口的检索模块33在第三方特征库17中进行比对，之后，比对结果和连接信息被返回给第三方接口的检索模块33。第三方接口的检索模块33利用连接信息通过调用第一方特征检索模块32在第一方特征库7中找到相应的第一方特征量，相应的第一方特征量的结果经第一方特征检索模块32被返回给第三方接口的检索模块33，第三方接口的检索模块33将第一方特征库7与第三方特征库17中的检索结果返回给监控终端8，用户9可以通过监控终端8查看结果。
如上所述，根据本发明的信息处理方法和利用本发明的信息处理方法的视频监控系统，通过将第三方算法集成到(或接入)视频监控系统中，实现监控系统本身自带的算法无法实现的功能，不仅能够提取监控系统本身自带的算法就能提取的第一方特征，还能够利用第三方算法提取第三方特征，由此视频监控系统能够分析更多的特征，扩大了视频监控系统的使用范围，提高检索精度，还能够提升视频管理的灵活性。
下面，对利用本发明的信息处理方法和信息处理装置的智能视频监控系统的应用例进行说明。
图19是本发明所提出的信息处理装置的应用例。例如，如图19中的左上图所示，例如现有技术中的一些智能视频监控系统只能够利用自带的算法对人脸特征进行监控，即该视频监控系统的能够分析提取的第一方特征量为人脸特征。该智能视频监控系统结合本发明提出的第三方接口实现的利用本发明的信息处理方法和信息处理装置的本发明的智能视频监控系统，除了利用本发明的智能视频监控系统自带的算法提取人脸特征外，还能够利用第三方算法，对图像的人员年龄、性别、是否佩戴眼镜等情况进行分析，即能够利用第三方算法提取第三方特征量(此处为描述年龄、性别、是否佩戴眼镜的特征量)，这样对同一人物不仅能够用人脸特征进行描述，还能够用年龄、性别、是否配戴眼镜等第三方特征进行描述，对同一人物有更多的特征描述，能够提高检索的准确度的同时，增加了视频内容管理的灵活性。
又如图19中的右上图所示，例如现有技术中的一些智能视频监控系统只能够利用自带的算法对车辆前部特征进行监控，即该视频监控系统的能够分析提取的第一方特征量为车辆前部特征。该智能视频监控系统结合本发明提出的第三方接口得到的利用本发明的信息处理方法和信息处理装置的本发明的智能视频监控系统，除了利用本发明的智能视频监控系统自带的算法提取车辆前部特征外，还能够利用第三方算法，对图像的车辆的车牌、车颜色、车商标等情况进行分析，即能够利用第三方算法提取第三方特征量(此处为描述车牌、车颜色、车商标的特征量)，这样对同一车辆不仅能够用车辆前部特征进行描述，还能够用车牌、车颜色、车商标等第三方特征进行描述，对同一车辆有更多的特征描述，能够提高检索的准确度的同时，增加了视频内容管理的灵活性。
例如现有技术中的一些智能视频监控系统只能够利用自带的算法对脸部特征进行监控，即该视频监控系统的能够分析提取的第一方特征量为人脸特征。该智能视频监控系统结合本发明提出的第三方接口实现的利用本发明的信息处理方法和信息处理装置的本发明的智能视频监控系统，除了利用本发明的智能视频监控系统自带的算法提取人脸特征外，还能够利用第三方算法，对图像的人员衣服特征进行分析，即能够利用第三方算法提取第三方特征量(此处为描述衣服特征的特征量)，这样对同一人物不仅能够用脸部特征进行描述，还能够用年龄、性别、是否配戴眼镜等第三方特征进行描述，对同一人物有更多的特征描述，能够提高检索的准确度的同时，增加了视频内容管理的灵活性。
本发明中，已对一些实施方式和应用例进行了说明描述本发明，但其不旨在被限于在本文中阐述的特定形式。本领域技术人员可以根据所描述实施例的各种特征可以对一些结构进行替换、添加、删除或加以变形，应认识到这些替换、添加、删除或变形也在本发明的范围内。

Claims (21)

1.一种信息处理方法，其由视频监控系统中的信息处理装置执行，其特征在于，包括：
图像取得步骤，取得图像；
第一方特征量提取步骤，从所取得的图像中提取至少一个用于描述所述图像的第一方特征的第一方特征量，其中所述第一方特征量利用所述视频监控系统自带的算法提取；
第三方特征量提取步骤，调用所述视频监控系统非自带的第三方算法，从所述图像中提取至少一个用于描述所述图像的所述第一方特征之外的第三方特征的第三方特征量；
特征量关联步骤，利用用于描述同一张图像的各所述第一方特征量和各所述第三方特征量的关联性的连接信息，对所述图像的各所述第一方特征量和各所述第三方特征量进行关联，
所述特征量关联步骤包括：
给各第一方特征量赋予该第一方特征量的唯一标识符；
给各第三方特征量赋予该第三方特征量的唯一标识符；
将各第一方特征量的唯一标识符作为连接信息记录到其他各第一方特征量和各第三方特征量中；
将各第三方特征量的唯一标识符作为连接信息记录到其他各第三方特征量和各第一方特征量中；以及
利用由所述唯一标识符构成的连接信息将所述图像的各第一方特征量和各第三方特征量关联。
2.如权利要求1所述的信息处理方法，其特征在于，还包括：
检索步骤，根据用户的检索条件，对至少一个所述第一方特征量或至少一个所述第三方特征量进行检索，并将检索结果返回给用户。
3.如权利要求2所述的信息处理方法，其特征在于：
在所述检索步骤中，当所述检索条件以一个第一方特征量为对象时，对所述一个第一方特征量进行检索，取得关于所述一个第一方特征量所描述的第一方特征的检索结果，并利用所述连接信息，查找对应的各第三方特征量和除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量，并将各第三方特征量所描述的第三方特征的信息、所述除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量所描述的第一方特征的信息、与所述关于所述一个第一方特征量所描述的第一方特征的检索结果一同返回给用户。
4.如权利要求2所述的信息处理方法，其特征在于：
在所述检索步骤中，当所述检索条件以一个第三方特征量为对象时，对所述一个第三方特征量进行检索，取得关于所述一个第三方特征量所描述的第三方特征的检索结果，并利用所述连接信息，查找对应的各第一方特征量和除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量，并将各第一方特征量所描述的第一方特征的信息、所述除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量所描述的第三方特征的信息、与所述关于所述一个第三方特征量所描述的第三方特征的检索结果一同返回给用户。
5.如权利要求1～4中任一项所述的信息处理方法，其特征在于，还包括：
第一方特征量注册步骤，注册各所述第一方特征量；和
第三方特征量注册步骤，注册各所述第三方特征量。
6.如权利要求5所述的信息处理方法，其特征在于：
所述第一方特征量注册步骤和所述第三方特征量注册步骤包括在线注册模式和离线注册模式。
7.如权利要求5所述的信息处理方法，其特征在于：
在所述第三方特征量注册步骤中，各所述第三方特征量以近似特征量聚类并分层的形式被存储。
8.如权利要求1～4中任一项所述的信息处理方法，其特征在于，还包括：
特征量格式转换步骤，将利用所述第三方算法得到的各所述第三方特征量的格式转换为与各所述第一方特征量的格式兼容的格式。
9.如权利要求1～4中任一项所述的信息处理方法，其特征在于：
所述第一方特征量是数字、字符、字符串和多维向量中的任一者，
所述第三方特征量是数字、字符、字符串和多维向量中的任一者。
10.一种信息处理装置，其设置在视频监控系统中，其特征在于，包括：
图像取得模块，其用于取得图像；
第一方特征量提取模块，其从所取得的图像中，提取至少一个用于描述所述图像的第一方特征的第一方特征量，其中所述第一方特征量利用所述视频监控系统自带的算法提取；和
第三方接口，
所述第三方接口包括：
第三方特征量提取模块，其调用所述视频监控系统非自带的第三方算法，从所述图像中提取至少一个用于描述所述图像的所述第一方特征之外的第三方特征的第三方特征量；和
连接器，其利用用于描述同一张图像的各所述第一方特征量和各所述第三方特征量的关联性的连接信息将所述图像的各第一方特征量和各第三方特征量进行关联，
所述连接器被配置成：
给各第一方特征量赋予该第一方特征量的唯一标识符；
给各第三方特征量赋予该第三方特征量的唯一标识符；
将各第一方特征量的唯一标识符作为连接信息记录到其他各第一方特征量和各第三方特征量中；
将各第三方特征量的唯一标识符作为连接信息记录到其他各第三方特征量和各第一方特征量中；以及
利用由所述唯一标识符构成的连接信息将所述图像的各第一方特征量和各第三方特征量关联。
11.如权利要求10所述的信息处理装置，其特征在于，还包括：
检索模块，根据用户的检索条件，对至少一个所述第一方特征量或至少一个所述第三方特征量进行检索，并将检索结果返回给用户。
12.如权利要求11所述的信息处理装置，其特征在于：
当所述检索条件以一个第一方特征量为对象时，所述检索模块对所述一个第一方特征量进行检索，取得关于所述一个第一方特征量所描述的第一方特征的检索结果，并利用所述连接信息，查找对应的各第三方特征量和除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量，并将各第三方特征量所描述的第三方特征的信息、所述除作为检索对象的所述一个第一方特征量之外的其他各第一方特征量所描述的第一方特征的信息、与所述关于所述一个第一方特征量所描述的第一方特征的检索结果一同返回给用户。
13.如权利要求11所述的信息处理装置，其特征在于：
当所述检索条件以一个第三方特征量为对象时，所述检索模块对所述一个第三方特征量进行检索，取得关于所述一个第三方特征量所描述的第三方特征的检索结果，并利用所述连接信息，查找对应的各第一方特征量和除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量，并将各第一方特征量所描述的第一方特征的信息、所述除作为检索对象的所述一个第三方特征量之外的其他各第三方特征量所描述的第三方特征的信息、与所述关于所述一个第三方特征量所描述的第三方特征的检索结果一同返回给用户。
14.如权利要求10～13中任一项所述的信息处理装置，其特征在于：
所述信息处理装置的工作模式包括紧耦合模式和松耦合模式。
15.如权利要求14所述的信息处理装置，其特征在于：
在所述紧耦合模式下，所述第三方算法被集成在所述第三方接口内。
16.如权利要求14所述的信息处理装置，其特征在于：
在所述松耦合模式下，所述第三方特征量提取模块从所述信息处理装置的外部调用所述第三方算法。
17.如权利要求10～13中任一项所述的信息处理装置，其特征在于，所述第三方接口还包括：
第一方特征量注册模块，其将各所述第一方特征量注册到第一方特征库，
第三方特征量注册模块，其将各所述第三方特征量注册到第三方特征库。
18.如权利要求17所述的信息处理装置，其特征在于：
所述第一方特征量和所述第三方特征量的注册包括在线注册模式和离线注册模式。
19.如权利要求17所述的信息处理装置，其特征在于：
当各所述第三方特征量注册到第三方特征库时，各所述第三方特征量以近似特征量聚类并分层的形式存储在所述第三方特征库。
20.如权利要求10～13中任一项所述的信息处理装置，其特征在于：
所述第三方接口还包括：特征量格式转换器，其将调用所述第三方算法得到的各所述第三方特征量的格式转换为与各所述第一方特征量的格式兼容的格式。
21.一种视频监控系统，其特征在于，包括权利要求10～20中的任一项所述的信息处理装置。
CN201510368669.0A 2015-06-29 2015-06-29 信息处理方法、信息处理装置和视频监控系统 Expired - Fee Related CN106295489B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510368669.0A CN106295489B (zh) 2015-06-29 2015-06-29 信息处理方法、信息处理装置和视频监控系统
US15/740,026 US10719735B2 (en) 2015-06-29 2016-06-29 Information processing method, information processing device and video surveillance system
PCT/CN2016/087623 WO2017000880A1 (zh) 2015-06-29 2016-06-29 信息处理方法、信息处理装置和视频监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510368669.0A CN106295489B (zh) 2015-06-29 2015-06-29 信息处理方法、信息处理装置和视频监控系统

Publications (2)

Publication Number Publication Date
CN106295489A CN106295489A (zh) 2017-01-04
CN106295489B true CN106295489B (zh) 2021-09-28

Family

ID=57607741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510368669.0A Expired - Fee Related CN106295489B (zh) 2015-06-29 2015-06-29 信息处理方法、信息处理装置和视频监控系统

Country Status (3)

Country Link
US (1) US10719735B2 (zh)
CN (1) CN106295489B (zh)
WO (1) WO2017000880A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997629B (zh) * 2017-02-17 2019-06-11 北京格灵深瞳信息技术有限公司 门禁控制方法、装置及系统
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
CN107633238A (zh) * 2017-10-12 2018-01-26 深圳市信海通科技有限公司 一种视频分析方法以及智能分析服务器
US10397619B2 (en) * 2017-11-08 2019-08-27 Sensormatic Electronics, LLC Camera data retention using uptime clocks and settings
CN109784295B (zh) * 2019-01-25 2020-12-25 佳都新太科技股份有限公司 视频流特征识别方法、装置、设备及存储介质
US11250243B2 (en) * 2019-03-26 2022-02-15 Nec Corporation Person search system based on multiple deep learning models
CN112188235B (zh) * 2019-07-05 2023-03-24 上海交通大学 媒体处理方式的选择方法及媒体处理方法
JP6989572B2 (ja) * 2019-09-03 2022-01-05 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
CN103108151A (zh) * 2011-11-09 2013-05-15 华为技术有限公司 视频监控的方法和系统
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
CN103916626A (zh) * 2013-01-05 2014-07-09 中兴通讯股份有限公司 一种监控录像信息提供方法、装置及视频监控系统
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动系统的坐标关联方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737684B2 (en) * 2007-11-30 2014-05-27 Searidge Technologies Inc. Airport target tracking system
US8284249B2 (en) 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8548255B2 (en) * 2010-04-15 2013-10-01 Nokia Corporation Method and apparatus for visual search stability
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
KR101191223B1 (ko) 2011-11-16 2012-10-15 (주)올라웍스 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US8861804B1 (en) * 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models
CN202856897U (zh) 2012-07-25 2013-04-03 福州海景科技开发有限公司 一种基于人脸识别的智能视频监控系统
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US10691743B2 (en) * 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
EP3467809B1 (en) * 2013-03-12 2021-07-21 Arizona Board of Regents, a Body Corporate of the State of Arizona acting for and on behalf of Arizona State University Image processing of dendritic structures used in tags as physical unclonable function for anti-counterfeiting
CN103295297A (zh) 2013-05-14 2013-09-11 苏州福丰科技有限公司 基于人脸识别的幼儿园安全管理系统
US20180349792A1 (en) * 2017-05-31 2018-12-06 Here Global B.V. Method and apparatus for building a parking occupancy model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
CN103108151A (zh) * 2011-11-09 2013-05-15 华为技术有限公司 视频监控的方法和系统
CN103916626A (zh) * 2013-01-05 2014-07-09 中兴通讯股份有限公司 一种监控录像信息提供方法、装置及视频监控系统
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动系统的坐标关联方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Processing Techniques for Object Tracking in video surveillance- A Survey;Shipra Ojha 等;《2015 International Conference on Pervasive Computing (ICPC)》;20150416;第1-6页 *
基于云计算技术的视频实战应用平台;高大志 等;《中国安防》;20150228(第Z1期);第76页 *

Also Published As

Publication number Publication date
US10719735B2 (en) 2020-07-21
WO2017000880A1 (zh) 2017-01-05
US20180181836A1 (en) 2018-06-28
CN106295489A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295489B (zh) 信息处理方法、信息处理装置和视频监控系统
JP7317919B2 (ja) 外観検索のシステムおよび方法
Al-Nawashi et al. A novel framework for intelligent surveillance system based on abnormal human activity detection in academic environments
US20240340159A1 (en) Enhanced encryption for face-related data
CN110147722A (zh) 一种视频处理方法、视频处理装置及终端设备
US20210357624A1 (en) Information processing method and device, and storage medium
Giraldo-Zuluaga et al. Camera-trap images segmentation using multi-layer robust principal component analysis
CN109710780A (zh) 一种归档方法及装置
JP2022518459A (ja) 情報処理方法および装置、記憶媒体
EP2923487A1 (en) Method and system for metadata extraction from master-slave cameras tracking system
US11087139B2 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
Dogra et al. Smart video summarization using mealy machine-based trajectory modelling for surveillance applications
CN109857891A (zh) 一种查询方法及装置
Nakahata et al. Anomaly detection with a moving camera using spatio-temporal codebooks
Liu et al. A novel video forgery detection algorithm for blue screen compositing based on 3-stage foreground analysis and tracking
CN111177436A (zh) 一种人脸特征检索方法、装置及设备
Nazare et al. Smart surveillance framework: A versatile tool for video analysis
Vedika et al. Early wheat leaf disease detection using CNN
Bagade et al. RH-DATM: generic object tracking and distributed attention-based BiLSTM for violent activity detection
JP2015158848A (ja) 画像検索方法、サーバ及び画像検索システム
CN112906725A (zh) 统计人流特征的方法、装置及服务器
CN115455215B (zh) 特征搜索方法、装置、设备及存储介质
Jackson et al. Deep Learning and Industrial Internet of Things (IIoT) Approach for Detecting Worker’s Protective Equipment
CN115546730A (zh) 人员识别方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210928