CN111159476B - 目标对象的搜索方法、装置、计算机设备及存储介质 - Google Patents

目标对象的搜索方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111159476B
CN111159476B CN201911277543.7A CN201911277543A CN111159476B CN 111159476 B CN111159476 B CN 111159476B CN 201911277543 A CN201911277543 A CN 201911277543A CN 111159476 B CN111159476 B CN 111159476B
Authority
CN
China
Prior art keywords
target
video
information
appearance
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911277543.7A
Other languages
English (en)
Other versions
CN111159476A (zh
Inventor
张瑞军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Athena Eyes Co Ltd
Original Assignee
Athena Eyes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Athena Eyes Co Ltd filed Critical Athena Eyes Co Ltd
Priority to CN201911277543.7A priority Critical patent/CN111159476B/zh
Publication of CN111159476A publication Critical patent/CN111159476A/zh
Application granted granted Critical
Publication of CN111159476B publication Critical patent/CN111159476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人脸匹配技术领域，提供了一种目标对象的搜索方法、装置、计算机设备及存储介质，该目标对象的搜索方法包括：获取用于描述同一目标的目标外观信息和目标轨迹信息；根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；从目标视频中提取包含有目标的视频片段；输出视频片段。通过本实施例的实施，能够解决现有的检索视频方法存在获得目标的效率较低的问题。

Description

目标对象的搜索方法、装置、计算机设备及存储介质
技术领域
本发明涉及人脸匹配技术领域，尤其涉及一种目标对象的搜索方法、装置、计算机设备及存储介质。
背景技术
随着科学经济水平的不断提升，逐渐使用物力来代替人力对站、机场、海关等公共场所进行监测，以提高监测效率。通常，布置的摄像头会持续不断地监控，由此带来了海量的视频，当需要从视频中准确获得目标时，需要对视频一一进行排查，工作量较大。
目前，为了能够从海量的视频中获得目标，一般是从视频中截取几张图像，然后利用深度学习算法对图像进行识别，获得图像中各个物体的属性以形成语义索引，以利于后续检索。但是，由于视频的数据量较大，同时通过视频形成的语义索引通常仅包括物体外观，检索获得数据量较大，依然需要耗费大量的人力进行人工排查，获得目标的效率较低。
综上所述，虽然现有的检索视频的方法能够获得包含目标的视频，但是仍然存在获得目标的效率较低的问题。
发明内容
本发明提供一种目标对象的搜索方法、装置、计算机设备及存储介质，以解决现有的检索视频方法存在获得目标的效率较低的问题。
本发明的第一实施例提供一种目标对象的搜索方法，包括：
获取用于描述同一目标的目标外观信息和目标轨迹信息；
根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；
从目标视频中提取包含有目标的视频片段；
输出视频片段。
本发明的第二实施例提供一种目标对象的搜索装置，包括：
检索信息获取模块，用于获取用于描述同一目标的目标外观信息和目标轨迹信息；
目标视频获取模块，用于根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；
视频片段获取模块，用于从目标视频中提取包含有目标的视频片段；
搜索结果获取模块，用于输出视频片段。
本发明的第三实施例提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明的第一实施例提供的一种目标对象的搜索方法的步骤。
本发明的第四实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本发明的第一实施例提供的一种目标对象的搜索方法的步骤。
本申请提供的目标对象的搜索方法、装置、计算机设备及存储介质中，首先获取用于描述同一目标的目标外观信息和目标轨迹信息，然后根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频，再从目标视频中提取包含有目标的视频片段，最后输出视频片段。通过输入同一目标的目标外观信息和目标轨迹信息，能够根据目标的外观和行为轨迹信息进行检索，以得到包含目标的目标视频，并从目标视频中获取包含人脸的视频片段，并输出该视频片段，通过本发明的实施，能够解决现有的检索视频方法存在获得目标的效率较低的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的第一实施例的目标对象的搜索方法的一应用环境示意图；
图2是本发明的第一实施例的目标对象的搜索方法的流程图；
图3是本发明的第一实施例的目标对象的搜索方法中步骤11的流程图；
图4是本发明的第一实施例的目标对象的搜索方法中步骤12的流程图；
图5是本发明的第一实施例的目标对象的搜索方法的又一流程图；
图6是本发明的第一实施例的目标对象的搜索方法中步骤22的流程图；
图7是本发明的第二实施例的目标对象的搜索装置的模块示意图；
图8是本发明的第三实施例的计算机设备的一模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的第一实施例提供的目标对象的搜索方法，可应用于如图1所示的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信。服务器获取在客户端输入额用于描述同一目标的目标外观信息和目标轨迹信息，根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频，从目标视频中提取包含有目标的视频片段，输出视频片段，将视频片段发送至客户端。其中，客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本发明的第一实施例中，如图2所示，提供一种目标对象的搜索方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤11至步骤14。
步骤11：获取用于描述同一目标的目标外观信息和目标轨迹信息。
其中，目标可以是实际存在的实物，例如可以是人、车、动物等等。目标外观信息包含用于描述目标外部的相关信息，例如目标的种类、颜色、结构等。目标轨迹信息包含用于描述目标的行为轨迹的相关信息，例如可以是目标所出现的区域、运动方向、运动轨迹等。也就是说，可以将目标的外观和轨迹作为搜索视频的条件。
需要注意的是，获取目标轨迹信息的方法可以是根据事物逻辑运行的逻辑预测获得，以用来获得符合该目标轨迹信息的视频。
在本实施例中，获取的目标外观信息可以用户直接输入的信息，也可以是对视频或者图像进行处理获得。
进一步地，作为本实施例的一种实施方式，如图3所示，上述步骤11包括如下步骤111至步骤114。
步骤111：获取预先提供的检索图像。
其中，具体可以通过多种方式获取同一目标的检索图像。例如，可以从摄像头拍摄视频的连续帧图像中获取包含有目标的检索图像，也可以是从预先存储的图像中获取包含有目标的检索图像，也可以是网络中搜索获取包含有目标的检索图像，此处不做具体限制。另外，检索图像的数量可以是一张，也可以是多张。
步骤112：提取检索图像中的各个基础特征。
其中，具体是提取检索图像中目标细粒度的属性，将提取的细粒度的属性作为各个基础特征。例如，当目标为行人时，基础特征可以是墨镜、口罩、帽子、身高、头发长短、头发颜色、上衣颜色、鞋子类型、裙子、裤子等等。
在本实施例中，基础特征应当是可以通过肉眼直接判断得到。
步骤113：通过随机二叉树对各个基础特征进行关联，并根据预先设置的各个基础特征的权重获得检索图像的各个目标特征。
其中，各个基础特征在随机二叉树中以二叉树树状结构存储在规定位置，并且在随机二叉树中各个基础特征一般属于底层特征，每个基础特征代表随机二叉树中的一个节点，根据各个节点到上一节点的权重获得检索图像的各个目标特征。
为了能够更加清楚地理解上述步骤113的内容，列举示例：现有随机二叉树包括第一层特征和第二层特征，第二层特征包含多个基础特征，每个基础特征均与第一层特征连接，并且，每个基础特征在第一层特征占有的权重不同，具体地，第一层特征为性别女第二层中的多个基础特征分别为墨镜1、口罩0、帽子1、长头发1、裙子1，其中，“1”代表该基础特征为是，“0”代表该基础特征为否，例如，基础特征墨镜1代表目标戴墨镜，基础特征墨镜在第一层特征(性别女)中的权重为0.1，基础特征口罩在第一层特征(性别女)中的权重为0.1，基础特征帽子在第一层特征(性别女)中的权重为0.05，基础特征长头发在第一层特征(性别女)中的权重为0.35，基础特征裙子在第一层特征(性别女)中的权重为0.4，根据权重和各个基础特征的有无，获得，第一层特征(性别女)的概率为1×0.1+0×0.1+1×0.05+1×0.35+1×0.4＝0.9，当该概率大于预设概率阈值时，则获得第一层特征(性别女)为1，也就是判断该目标性别为女，将该目标性别女作为一个目标特征。
需要注意的是，上述仅列举一个示例说明基础特征与目标特征之间的关联，在本实施例实际应用时，还可以有第三层特征、第四层特征等，各层特征之间的关联关系如同上述列举的第一层特征和第二层特征，在随机二叉树中，树状节点的位置越高，该节点所代表的的特征越不容易被人直接观察获得。
步骤114：将各个目标特征作为目标外观信息。
其中，具体可以将各个目标特征和各个基础特征同时作为目标外观信息。
通过上述步骤111至步骤114的实施，能够从检索图像中获取各个基础特征，并根据基础特征获得目标特征，实现从浅层特征中获得更加高层的特征，有利于提高搜索的精准度。
步骤12：根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频。
其中，在上述步骤12中，可以将目标外观信息和目标轨迹信息同时作为搜索条件，同时找出满足目标外观信息和目标轨迹信息的目标视频。另外，数据库中存储的实际外观数据的方法可以与上述步骤111至步骤114类似，不同之处在于步骤111中获得的目标外观信息用于搜索，而数据库中的实际外观数据是用于构建搜索索引。
进一步地，作为本实施例的一种实施方式，如图4所述，上述步骤12具体包括以下步骤121至步骤122：
步骤121：将目标外观信息与数据库中存储的实体外观数据进行匹配，得到与目标外观信息相匹配的视频集。
其中，视频集可以是与目标外观信息相匹配的视频的集合，也可以是与目标外观信息相匹配的视频关联的索引的集合。也就是说可以通过该索引查找获得与目标外观信息相匹配的视频。
步骤122：将目标轨迹信息与视频集中存储的实体轨迹数据进行匹配，得到与目标轨迹信息相匹配的目标视频。
其中，目标视频的数量可以是一个或多个。目标视频可以是与目标轨迹信息相匹配的视频，也可以是与目标轨迹信息相匹配的视频关联的索引。也就是说可以通过该索引查找获得与目标外观信息相匹配的视频。
需要注意的是，在上述步骤121至步骤122中，是先根据目标外观信息进行搜索，然后根据目标轨迹信息搜索，从而获得目标视频，而在本实施例应用时，可以是先根据目标轨迹信息进行搜索，然后根据目标外观信息搜索，从而获得目标视频，该两种搜索方式获得的结果也应当是相同的。
通过上述步骤121至步骤122的实施，能够有效减少搜索的时间，提高搜索效率。
步骤13：从目标视频中提取包含有目标的视频片段。
其中，具体是将目标视频中不包含目标的各帧图像进行删除，保留包含有目标的视频片段。
步骤14：输出视频片段。
进一步地，作为本实施例的一种实施方式，上述步骤14包括：将视频片段以视频缩略列表的形式进行显示。
通过将视频片段以视频缩略列表的形式进行显示的实施，能够有利于用户能直观查看多个视频片段，提高获得视频片段中的目标的效率。
通过上述步骤11至步骤14的实施，能够通过输入同一目标的目标外观信息和目标轨迹信息，根据目标的外观和行为轨迹信息进行检索，以得到包含目标的目标视频，并从目标视频中获取包含人脸的视频片段，并输出该视频片段，通过本发明的实施，能够解决现有的检索视频方法存在获得目标的效率较低的问题。
进一步地，作为本实施例的一种实施方式，如图5所示，在数据库中，预设还存储有实体外观数据和实体轨迹数据，获得实际外观数据和实体轨迹数据的方法包括以下步骤21至步骤24。
步骤21：获取原始视频中的连续帧图像。
其中，具体是获取原始视频中所有连续帧图像。
步骤22：对各个连续帧图像中的对象进行外观特征识别，将不同图像中的对象进行比对，通过对比结果将不同图像中的相同对象进行关联。
其中，具体是获取每个连续帧图像中的各个对象，将不同图像中的相同对象进行关联，以实现对原始视频中每个对象的检测跟踪。
进一步地，作为本实施例的一种实施方式，如图6所示，上述步骤22包括如下步骤221至步骤225。
步骤221：分别获取连续帧图像中各个对象的对象位置。
其中，具体是使用深度学习网络对连续帧图像中的各个对象的对象位置进行识别。
进一步地，作为本实施例的一种实施方式，上述步骤221具体可以包括：选用区域生成网络(Region Proposal Network，以下简称RPN网络)结合单次检测器(Single ShotMultiBox Detector，以下简称SSD模型)获取连续帧图像中各个对象的对象位置。
其中，在训练获得由RPN网络和SSD模型生成的卷积神经网络模型中，使用包含二元分类损失Lb和多类别多分类损失Lm的损失函数，使得RPN网络和SSD模型能够较好地结合，同时，在卷积神经网络模型的多层卷积层之间设置有短链接，防止训练过程中出现梯度的不收敛。
在本实施例中，通过选用RPN网络和单次检测器的卷积神经网络获取连续帧图像中各个对象的对象位置，能够防范训练过程梯度的不收敛，对身体组件时具有姿势、身材、衣着等发生变化导致的特征变化具有较高的鲁棒性，同时采用两种定位网络，大大提高了对对象进行定位的准确性。
步骤222：分别提取连续帧图像中对象位置的各个像素的红绿蓝三通道数据。
步骤223：根据红绿蓝三通道数据获得连续帧图像中对象的六角锥空间模型的三分量，并将对象的六角锥空间模型的三分量转换为颜色直方图特征。
其中，六角锥空间模型的三分量包括色度分量、饱和度分量和亮度分量。根据六角锥空间模型的三分量中的各个分量的数据大小将对象的六角锥空间模型的三分量转换为颜色直方图特征。具体地，将色度分量、饱和度分量和亮度分量进行不同程度的量化，将色度分量的数值划分为15个级别，将饱和度分量和亮度分量的数值划分为5个级别，根据最终色度分量、饱和度分量和亮度分量对应的级别转换为颜色直方图，将获得颜色直方图在375维(5×15×5＝375)作为一个特征向量，将该特征向量作为颜色直方图特征。
需要注意的是，在一个图像中，每个对象应当具有对应的颜色直方图特征。同时，划分的级别越多，最终获得的结果越准确。
步骤224：计算各相邻帧图像中不同对象的颜色直方图特征的相似度。
其中，具体是通过欧氏距离算法计算各相邻帧图像中不同对象的颜色直方图特征的欧式距离，欧氏距离越近，代表相似度越高，当欧氏距离小于预设阈值时，则判断与该欧氏距离对应的两个对象是同一对象。
步骤225：当相似度达到预设要求时，将与颜色直方图对应的图像中的相同对象进行关联。
其中，当相似度达到预设要求时(欧氏距离小于预设阈值)，将与颜色直方图对应的图像中的相同对象进行关联，当一张图像中的所有对象与其他张图像中的任意对象的欧氏距离均不能达到预设要求时，将该一张图像进行剔除，以使最后获得各张图像均是处于相关关联的状态。
通过上述步骤221至步骤225的实施，能够将不同图像中的相同对象进行关联，以实现对原始视频中每个对象的检测跟踪，并剔除不能与其他图像中的对象进行关联的图像，使得获得的图像更加简洁的同时，保留了有效部分。
尤其需要注意的是，在上述步骤13中，从目标视频中提取包含目标的视频片段的方式与上述步骤221至步骤225中获得简洁视频的过程类似，区别在于步骤221至步骤225中获得的是包含各个对象的视频(任一张图像中的各个对象与其他图像中的对象具有关联)，而步骤13需要获取的是包含某一个目标的视频，因此，此处不再赘述。
步骤23：根据相同对象的关联结果，获得原始视频中各个对象的实体外观数据和实体轨迹数据。
其中，从上述步骤22中保留下的各张图像中提取各个对象的实体外观数据和实际轨迹数据。由于在上步骤121至步骤124中对提取目标外观信息的方法与步骤23中从图像中提取各个对象的实体外观数据的方法类似，目标外观信息是用于用户搜索，实体外观数据是用于索引，获得的方法类似，此处不再赘述。
其中，具体是根据上述步骤22关联的结果，得到每个对象的行为轨迹，对每个对象的行为轨迹进行分析，从而获得实际轨迹数据。
在本实施例中，轨迹分析可以包括：对象的越线检测、速度异常检测、方向检测、区域的对象数目异常检测、区域对象入侵异常检测等等。也就是说每当搜索视频时，可以将对象的越线检测、速度异常检测、方向检测、区域的对象数目异常检测、区域对象入侵异常检测等作为搜索条件，以获得目标。
具体地，在本实施例中，对象的越线检测是表示预先设定一条或多条检测线，判断对象重心坐标与检测线之间的位置关系，当目标轨迹通过检测线，则视为越线；速度异常检测是表示预先设定一个运动速度阈值，分别累计监控区域内每个对象的轨迹长度和停留时间，统计单位时间(通常为一小段时间，如3秒)内对象轨迹长度，当轨迹长度超过运动速度阈值，则视为运动过快。区域入侵检测；方向检测是指预先设定一个运动方向及运动方向轨迹长度阈值，判断监控区域内每个对象的轨迹方向和长度，当轨迹长度超过设定阈值，并在运动方向一致时则视为被搜索对象；区域的对象数目异常检测是指预先设定一个多边形区域作为检测区域，并设定检测区域内最大允许对象，判断对象是否进去区域，当目标进入区域的数目超过最大允许对象，则视为区域对象那个异常；区域对象入侵异常检测是指预先设定一个多边形区域作为检测区域，判断对象的重心坐标与多边形区域之间的位置关系，当坐标在区域内超过固定时长，则视为区域入侵。
通过上述步骤21至步骤23的实施，能够从原始视频中获得各个对象的实体外观数据和实体轨迹数据，当将各个对象的实体外观数据和实体轨迹数据作为索引存储至数据库中时，能够通过目标外观信息和目标轨迹信息获得有关于目标的视频，便于后续用户对各个对象进行排查，利于侦查。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明的第二实施例提供一种目标对象的搜索装置，该目标对象的搜索装置与上述第一实施例提供的目标对象的搜索方法一一对应。
进一步地，如图7所示，该目标对象的搜索装置包括检索信息获取模块41、目标视频获取模块42、视频片段获取模块43和搜索结果获取模块44。各功能模块详细说明如下：
检索信息获取模块41，用于获取用于描述同一目标的目标外观信息和目标轨迹信息；
目标视频获取模块42，用于根据同一目标的目标外观信息和目标轨迹信息在数据库中检索，将目标外观信息与数据库中存储的实体外观数据进行匹配，将目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；
视频片段获取模块43，用于从目标视频中提取包含有目标的视频片段；
搜索结果获取模块44，用于输出视频片段。
进一步地，作为本实施例的一种实施方式，检索信息获取模块41包括检索图像获取单元、基础特征获取单元、目标特征获取单元和目标外观信息获取单元。各功能单元详细说明如下：
检索图像获取单元，用于获取预先提供的检索图像；
基础特征获取单元，用于提取检索图像中的各个基础特征；
目标特征获取单元，用于通过随机二叉树对各个基础特征进行关联，并根据预先设置的各个基础特征的权重获得检索图像的各个目标特征；
目标外观信息获取单元，用于将各个目标特征作为目标外观信息。
进一步地，作为本实施例的一种实施方式，目标视频获取模块42包括视频集获取单元和目标视频获取单元。各功能单元详细说明如下：
视频集获取单元，用于将目标外观信息与数据库中存储的实体外观数据进行匹配，得到与目标外观信息相匹配的视频集；
目标视频获取单元，用于将目标轨迹信息与视频集中存储的实体轨迹数据进行匹配，得到与目标轨迹信息相匹配的目标视频。
进一步地，作为本实施例的一种实施方式，该目标对象的搜索装置还包括连续帧图像获取模块、关联模块和实体数据获取模块。各功能模块功能说明如下：
连续帧图像获取模块，用于获取原始视频中的连续帧图像；
关联模块，用于对各个连续帧图像中的对象进行外观特征识别，将不同图像中的对象进行比对，通过对比结果将不同图像中的相同对象进行关联；
实体数据获取模块，用于根据相同对象的关联结果，获得原始视频中各个对象的实体外观数据和实体轨迹数据。
进一步地，作为本实施例的一种实施方式，关联模块包括对象位置获取单元、红绿蓝三通道数据获取单元、颜色直方图特征获取单元、相似度获取单元和关联单元。各功能单元功能说明如下：
对象位置获取单元，用于分别获取连续帧图像中各个对象的对象位置；
红绿蓝三通道数据获取单元，用于分别提取连续帧图像中对象位置的各个像素的红绿蓝三通道数据；
颜色直方图特征获取单元，用于根据红绿蓝三通道数据获得连续帧图像中对象的六角锥空间模型的三分量，并将对象的六角锥空间模型的三分量转换为颜色直方图特征；
相似度获取单元，用于计算各相邻帧图像中不同对象的颜色直方图特征的相似度；
关联单元，用于当相似度达到预设要求时，将与颜色直方图对应的图像中的相同对象进行关联。
进一步地，作为本实施例的一种实施方式，对象位置获取单元包括对象位置获取单元。对象位置获取单元的功能说明如下：
对象位置获取子单元，用于选用区域生成网络结合单次检测器获取连续帧图像中各个对象的对象位置。
进一步地，作为本实施例的一种实施方式，搜索结果获取模块44包括视频缩略表获取单元。视频缩略表获取单元功能说明如下：
视频缩略表获取单元，用于将视频片段以视频缩略列表的形式进行显示。
关于目标对象的搜索装置的具体限定可以参见上文中对于目标对象的搜索方法的限定，在此不再赘述。上述目标对象的搜索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明的第三实施例提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标对象的搜索方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本发明的第一实施例提供的目标对象的搜索方法。
本发明的第四实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的第一实施例提供的目标对象的搜索方法的步骤，例如图2所示的步骤11至步骤14、如图3所示的步骤111至步骤114、如图4所示的步骤121至步骤122、如图5所示的步骤21至步骤23以及如图6所示的步骤221至步骤225。或者，计算机程序被处理器执行时实现上述第一实施例提供的目标对象的搜索方法的各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种目标对象的搜索方法，其特征在于，所述搜索方法包括：
获取用于描述同一目标的目标外观信息和目标轨迹信息；
根据所述同一目标的目标外观信息和所述目标轨迹信息在数据库中检索，将所述目标外观信息与数据库中存储的实体外观数据进行匹配，将所述目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；
从所述目标视频中提取包含有所述目标的视频片段；
输出所述视频片段；
其中，所述获取包含目标外观信息和目标轨迹信息包括：
获取预先提供的检索图像；所述检索图像为同一目标的一张或多张检索图像；
提取所述检索图像中的各个基础特征，其中，所述基础特征为细粒度特征；
通过随机二叉树对各个所述基础特征进行关联，并根据预先设置的各个所述基础特征的权重获得所述检索图像的各个目标特征；
将各个所述目标特征作为所述目标外观信息。
2.根据权利要求1所述的搜索方法，其特征在于，所述根据所述同一目标的目标外观信息和所述目标轨迹信息在数据库中检索，将所述目标外观信息与数据库中存储的实体外观数据进行匹配，将所述目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频的步骤包括：
将所述目标外观信息与所述数据库中存储的实体外观数据进行匹配，得到与所述目标外观信息相匹配的视频集；
将所述目标轨迹信息与所述视频集中存储的实体轨迹数据进行匹配，得到与所述目标轨迹信息相匹配的目标视频。
3.根据权利要求1所述的搜索方法，其特征在于，所述方法还包括：
获取原始视频中的连续帧图像；
对各个所述连续帧图像中的对象进行外观特征识别，将不同图像中的所述对象进行比对，通过对比结果将不同图像中的相同对象进行关联；
根据相同对象的关联结果，获得所述原始视频中各个所述对象的实体外观数据和实体轨迹数据。
4.根据权利要求3所述的搜索方法，其特征自在于，所述对各个所述连续帧图像中的对象进行外观特征识别，将不同图像中的所述对象进行比对，通过对比结果将不同图像中的相同对象进行关联的步骤包括：
分别获取所述连续帧图像中各个对象的对象位置；
分别提取所述连续帧图像中所述对象位置的各个像素的红绿蓝三通道数据；
根据所述红绿蓝三通道数据获得所述连续帧图像中所述对象的六角锥空间模型的三分量，并将所述对象的六角锥空间模型的三分量转换为颜色直方图特征；
计算各相邻帧图像中不同对象的颜色直方图特征的相似度；
当所述相似度达到预设要求时，将与所述颜色直方图对应的图像中的相同对象进行关联。
5.根据权利要求4所述的搜索方法，其特征在于，所述分别获取所述连续帧图像中各个对象的对象位置包括：
选用区域生成网络结合单次检测器获取所述连续帧图像中各个对象的对象位置。
6.根据权利要求1所述的搜索方法，其特征在于，所述输出所述视频片段的步骤包括：
将所述视频片段以视频缩略列表的形式进行显示。
7.一种目标对象的搜索装置，其特征在于，包括：
检索信息获取模块，用于获取用于描述同一目标的目标外观信息和目标轨迹信息；
目标视频获取模块，用于根据所述同一目标的目标外观信息和所述目标轨迹信息在数据库中检索，将所述目标外观信息与数据库中存储的实体外观数据进行匹配，将所述目标轨迹信息与数据库中存储的实体轨迹数据进行匹配，获得包含有相同目标的目标视频；
视频片段获取模块，用于从所述目标视频中提取包含有所述目标的视频片段；
搜索结果获取模块，用于输出所述视频片段；
其中，所述检索信息获取模块包括：
检索图像获取单元，用于获取预先提供的检索图像；所述检索图像为同一目标的一张或多张检索图像；
基础特征获取单元，用于提取检索图像中的各个基础特征，其中，所述基础特征为细粒度特征；
目标特征获取单元，用于通过随机二叉树对各个基础特征进行关联，并根据预先设置的各个基础特征的权重获得检索图像的各个目标特征；
目标外观信息获取单元，用于将各个目标特征作为目标外观信息。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述目标对象的搜索方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述目标对象的搜索方法的步骤。
CN201911277543.7A 2019-12-11 2019-12-11 目标对象的搜索方法、装置、计算机设备及存储介质 Active CN111159476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277543.7A CN111159476B (zh) 2019-12-11 2019-12-11 目标对象的搜索方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277543.7A CN111159476B (zh) 2019-12-11 2019-12-11 目标对象的搜索方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111159476A CN111159476A (zh) 2020-05-15
CN111159476B true CN111159476B (zh) 2022-12-16

Family

ID=70556971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277543.7A Active CN111159476B (zh) 2019-12-11 2019-12-11 目标对象的搜索方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111159476B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741325A (zh) * 2020-06-05 2020-10-02 咪咕视讯科技有限公司 视频播放方法、装置、电子设备及计算机可读存储介质
CN111898435A (zh) * 2020-06-29 2020-11-06 北京大学 一种基于视频的行人识别方法、装置、存储介质及终端
CN117274578B (zh) * 2023-11-23 2024-02-02 武汉工程大学 基于逻辑元变换乘积量化的细粒度图像检索方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020260A (zh) * 2012-12-24 2013-04-03 中国科学院半导体研究所 视频查询方法
CN103605652B (zh) * 2013-08-30 2017-11-07 北京桓润世嘉科技有限公司 基于对象标志位的视频检索和浏览的方法和装置
CN105589974B (zh) * 2016-02-04 2019-05-17 通号通信信息集团有限公司 基于Hadoop平台的监控视频检索方法和系统
CN108229314B (zh) * 2017-11-28 2021-05-04 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备

Also Published As

Publication number Publication date
CN111159476A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN108985162B (zh) 目标实时跟踪方法、装置、计算机设备及存储介质
US11113587B2 (en) System and method for appearance search
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
US11354901B2 (en) Activity recognition method and system
US10846554B2 (en) Hash-based appearance search
WO2020199480A1 (zh) 一种人体动作的识别方法及设备
US11087447B2 (en) Systems and methods for quality assurance of image recognition model
CN111159476B (zh) 目标对象的搜索方法、装置、计算机设备及存储介质
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
US10366595B2 (en) Surveillance method and system based on human behavior recognition
US20190228211A1 (en) Au feature recognition method and device, and storage medium
KR101891887B1 (ko) 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
JP2020515983A (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
CN110930434B (zh) 目标对象跟随方法、装置、存储介质和计算机设备
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN112560796A (zh) 人体姿态实时检测方法、装置、计算机设备及存储介质
US20210117687A1 (en) Image processing method, image processing device, and storage medium
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
US11068707B2 (en) Person searching method and apparatus and image processing device
CN110795592B (zh) 图片处理方法、装置及设备
CN114565955A (zh) 人脸属性识别模型训练、社区人员监控方法、装置、设备
CA3011713A1 (en) Hash-based appearance search
AU2019303730B2 (en) Hash-based appearance search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000

Patentee after: Wisdom Eye Technology Co.,Ltd.

Address before: 410000 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha City, Hunan Province

Patentee before: Wisdom Eye Technology Co.,Ltd.