CN108228696A - 人脸图像检索方法和系统、拍摄装置、计算机存储介质 - Google Patents

人脸图像检索方法和系统、拍摄装置、计算机存储介质 Download PDF

Info

Publication number
CN108228696A
CN108228696A CN201710774389.9A CN201710774389A CN108228696A CN 108228696 A CN108228696 A CN 108228696A CN 201710774389 A CN201710774389 A CN 201710774389A CN 108228696 A CN108228696 A CN 108228696A
Authority
CN
China
Prior art keywords
image
retrieved
information
convolutional
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710774389.9A
Other languages
English (en)
Other versions
CN108228696B (zh
Inventor
赖海斌
毛宁元
李清正
刘文志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710774389.9A priority Critical patent/CN108228696B/zh
Publication of CN108228696A publication Critical patent/CN108228696A/zh
Priority to PCT/CN2018/102267 priority patent/WO2019042230A1/zh
Priority to SG11202000075QA priority patent/SG11202000075QA/en
Priority to JP2019571526A priority patent/JP7038744B2/ja
Priority to US16/732,225 priority patent/US11182594B2/en
Application granted granted Critical
Publication of CN108228696B publication Critical patent/CN108228696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0463—Neocognitrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种人脸图像检索方法和系统、拍摄装置、计算机存储介质，其中，方法包括：通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值；待检索图像中包括至少一个人脸区域；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；数据库中保存有至少一个预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息。本实施例通过在拍摄设置中检索获得匹配的预设人脸图像信息，实现实时人脸检索的效果，提高了检索效率。

Description

人脸图像检索方法和系统、拍摄装置、计算机存储介质
技术领域
本发明涉及计算机视觉技术，尤其是一种人脸图像检索方法和系统、拍摄装置、计算机存储介质。
背景技术
近年来，随着安防体系的日渐壮大、监控点的不断扩张和高清监控设备的普及，监控获得的图像视频信息呈现爆炸式的增长。传统视频监控系统的存储和检索等面临着巨大的挑战，如何快速、高效地从海量图像视频中提取出有用的信息至关重要。为此，人们把人脸识别技术引入了视频监控系统中，人脸识别技术很大程度上依赖于卷积神经网络的支持，而卷积神经网络需要庞大的计算量。
发明内容
本发明实施例提供了一种人脸图像检索技术。
本发明实施例提供的一种人脸图像检索方法，包括：
通过卷积神经网络获得待检索图像对应的待检索人脸信息；所述卷积神经网络经过处理器配置对应的卷积计算配置信息，所述卷积神经网络包括至少一个卷积层，所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值；所述待检索图像中包括至少一个人脸区域；
基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息；所述数据库中保存有至少一个预设人脸图像信息；
输出所述待检索人脸信息匹配的预设人脸图像信息。
在基于本发明上述各方法的另一个实施例中，通过卷积神经网络获得待检索图像对应的待检索人脸信息，包括：
按照卷积计算配置信息从存储器读取待检索图像，所述待检索图像的位宽等于所述数据位宽值；
通过所述卷积神经网络对所述待检索图像进行卷积计算，得到待检索人脸信息。
在基于本发明上述各方法的另一个实施例中，所述卷积计算配置信息还包括：所述卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址；其中，所述待检索图像的存储地址用于按照所述存储地址在所述前端存储器中读取所述待检索图像。
在基于本发明上述各方法的另一个实施例中，通过所述卷积神经网络对所述待检索图像进行卷积计算，包括：
通过当前卷积层对所述待检索图像进行卷积计算，得到特征图；所述当前卷积层为所述卷积神经网络中各卷积层中的一个卷积层；
响应于存在下一个卷积层，以下一个卷积层作为当前卷积层，以所述特征图作为待检索图像，迭代执行根据为所述卷积神经网络中当前卷积层配置的所述卷积计算配置信息从存储器读取待检索图像；通过当前卷积层对所述待检索图像进行卷积计算，得到特征图，直到不存在下一个卷积层；
输出所述特征图获得待检索人脸信息。
在基于本发明上述各方法的另一个实施例中，还包括：
将所述特征图写入所述存储器。
在基于本发明上述各方法的另一个实施例中，所述卷积计算配置信息还包括偏移地址；
为所述卷积神经网络配置卷积计算配置信息，还包括：
根据所述输入数据的存储地址和所述偏移地址配置为所述下一个卷积层对应的输入数据的存储地址；
将所述特征图写入所述存储器，包括：将特征图写入所述存储器中的所述下一个卷积层对应的输入数据的存储地址。
在基于本发明上述各方法的另一个实施例中，其特征在于，还包括：
采集视频流，基于每个出现在视频流中的人脸图像在所述采集的视频流中筛选得到至少一个图像，其中，所述图像中包括人脸图像，每个所述人脸图像对应至少一个图像；
对所有所述图像进行质量筛选，得到至少一个第一图像，所述第一图像为人脸图像质量达到设定阈值的所述图像；
将对应所述第一图像的预设人脸图像信息存入所述数据库。
在基于本发明上述各方法的另一个实施例中，所述基于采集的视频流筛选得到的图像还包括背景图像，所述背景图像用于标识所述图像中的人脸图像出现的地点。
在基于本发明上述各方法的另一个实施例中，将对应所述第一图像的预设人脸图像信息存入数据库之前，还包括：
对所述第一图像通过所述卷积神经网络处理获得对应的预设人脸图像信息；
基于所述预设人脸图像信息得到对应的属性信息，基于所述属性信息将所述预设人脸图像信息分类存储；每个所述预设人脸图像信息包括至少一种属性信息。
在基于本发明上述各方法的另一个实施例中，还包括：
接收输入的图像质量超出设定阈值的第一图像和对应所述第一图像的相关信息，对所述第一图像通过所述卷积神经网络处理获得对应的预设人脸图像信息；每个所述第一图像中包括一个人脸图像；
基于所述相关信息为所述第一图像建立对应的属性信息，基于所述属性信息将对应所述第一图像的预设人脸图像信息存入数据库。
在基于本发明上述各方法的另一个实施例中，基于所述属性信息将对应所述第一图像的预设人脸图像信息存入数据库，包括：
将具有相同属性信息的所有预设人脸图像信息存入一个数据条目中，在所述数据库中基于属性信息为所述数据条目建立索引；
所述方法还包括：
获取采集每个图像的采集时间值，将所述数据条目按照所述采集时间值，顺序存入所述数据库。
在基于本发明上述各方法的另一个实施例中，将对应所述第一图像的预设人脸图像信息存入数据库，包括：
基于所述第一图像对应的属性信息在数据库中查找是否存在对应的数据条目；
当数据库中存在于所述属性信息对应的数据条目，将所述预设人脸图像信息存入所述对应的数据条目中；当数据库中不存在所述属性信息对应的数据条目，为所述属性信息新建一个数据条目，将所述预设人脸图像信息存入所述新建的数据条目中。
在基于本发明上述各方法的另一个实施例中，所述基于每个出现在视频流中的人脸图像在所述采集的视频流中筛选得到至少一个图像，包括：
将采集的视频流分解为至少一张分解图像，对所有所述分解图像进行优化，得到优化图像显示效果的中间图像；
对所有所述中间图像基于卷积神经网络进行人脸识别，基于所述人脸识别的结果筛选获得具有人脸图像的图像。
在基于本发明上述各方法的另一个实施例中，还包括：基于卷积神经网络进行人脸识别得到预设人脸识别信息，通过预设人脸识别信息对所述图像中的人脸图像质量进行评价。
在基于本发明上述各方法的另一个实施例中，对所有所述图像进行质量筛选，得到至少一个第一图像，包括：
基于所述图像对应的预设人脸识别信息对所述图像中的人脸图像质量进行筛选，保存所述人脸图像质量达到预设阈值的所述图像作为第一图像。
在基于本发明上述各方法的另一个实施例中，基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息，包括：
基于所述待检索人脸信息获得对应所述待检索图像的属性信息，基于所述属性信息在数据库中查找是否具有符合的数据条目；
当存在与所述属性信息符合的数据条目时，在所述符合的数据条目中获得所述匹配的预设人脸图像信息；
当不存在与所述属性信息符合的数据条目时，反馈无匹配结果信息。
在基于本发明上述各方法的另一个实施例中，所述对所有所述图像进行质量筛选，得到至少一个第一图像，包括：
对所述图像经过自动曝光、自动白平衡和3D降噪处理，得到显示效果经过优化的第一图像。
根据本发明实施例的另一个方面，提供的一种拍摄装置，包括：
卷积计算单元，用于通过卷积神经网络获得待检索图像对应的待检索人脸信息；所述卷积神经网络配置有卷积计算配置信息，所述卷积神经网络包括至少一个卷积层，所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值；所述待检索图像中包括至少一个人脸区域；
处理器，用于为所述卷积神经网络配置对应的卷积计算配置信息；
检索单元，用于基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息；所述数据库中保存有至少一个预设人脸图像信息；输出所述待检索人脸信息匹配的预设人脸图像信息。
在基于本发明上述各装置的另一个实施例中，卷积计算单元，包括：
可配置读取控制器，用于按照卷积计算配置信息从前端存储器读取待检索图像，所述待检索图像的位宽等于所述数据位宽值；
图像处理模块，用于通过所述卷积神经网络对所述待检索图像进行卷积计算，得到待检索人脸信息。
在基于本发明上述各装置的另一个实施例中，所述卷积计算配置信息还包括所述卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址；其中，所述待检索图像的存储地址用于按照所述存储地址在所述前端存储器中读取所述待检索图像。
在基于本发明上述各装置的另一个实施例中，图像处理模块，包括：
层计算模块，用于通过当前卷积层对所述待检索图像进行卷积计算，得到特征图；所述当前卷积层为所述卷积神经网络中各卷积层中的一个卷积层；
迭代模块，用于响应于存在下一个卷积层，以下一个卷积层作为当前卷积层，以所述特征图作为待检索图像，迭代执行根据为所述卷积神经网络中当前卷积层配置的所述卷积计算配置信息从存储器读取待检索图像；通过当前卷积层对所述待检索图像进行卷积计算，得到特征图，直到不存在下一个卷积层；
输出所述特征图获得待检索人脸信息。
在基于本发明上述各装置的另一个实施例中，还包括：
可配置写回控制器，将所述特征图写入所述存储器。
在基于本发明上述各装置的另一个实施例中，所述卷积计算配置信息还包括偏移地址；
处理器，还用于根据所述输入数据的存储地址和所述偏移地址配置为所述下一个卷积层对应的输入数据的存储地址；
可配置写回控制器，具体用于将特征图写入所述存储器中的所述下一个卷积层对应的输入数据的存储地址。
在基于本发明上述各装置的另一个实施例中，还包括：
采集筛选单元，用于采集视频流，基于每个出现在视频流中的人脸图像在所述采集的视频流中筛选得到至少一个图像，其中，所述图像中包括人脸图像，每个所述人脸图像对应至少一个图像；
质量筛选单元，用于对所有所述图像进行质量筛选，得到至少一个第一图像，所述第一图像为人脸图像质量达到设定阈值的所述图像；
存储单元，用于将对应所述第一图像的预设人脸图像信息存入所述数据库。
在基于本发明上述各装置的另一个实施例中，所述基于采集的视频流筛选得到的图像还包括背景图像，所述背景图像用于标识所述图像中的人脸图像出现的地点。
在基于本发明上述各装置的另一个实施例中，所述卷积计算单元，还用于对所述第一图像通过所述卷积神经网络处理获得对应的预设人脸图像信息；基于所述预设人脸图像信息得到对应的属性信息，基于所述属性信息将所述预设人脸图像信息分类存储；每个所述预设人脸图像信息包括至少一种属性信息。
在基于本发明上述各装置的另一个实施例中，还包括：
信息接收单元，用于接收输入的图像质量超出设定阈值的第一图像和对应所述第一图像的相关信息，对所述第一图像通过所述卷积神经网络处理获得对应的预设人脸图像信息；每个所述第一图像中包括一个人脸区域；
分类单元，用于基于所述相关信息为所述第一图像建立对应的属性信息，基于所述属性信息将对应所述第一图像的预设人脸图像信息存入数据库。
在基于本发明上述各装置的另一个实施例中，所述分类单元，具体用于将具有相同属性信息的所有预设人脸图像信息存入一个数据条目中，在所述数据库中基于属性信息为所述数据条目建立索引；
所述装置还包括：
时间排序单元，用于获取采集每个图像的采集时间值，将所述数据条目按照所述采集时间值，顺序存入所述数据库。
在基于本发明上述各装置的另一个实施例中，所述存储单元，包括：
查找模块，用于基于所述第一图像对应的属性信息在数据库中查找是否存在对应的数据条目；
属性存储模块，用于当数据库中存在于所述属性信息对应的数据条目，将所述预设人脸图像信息存入所述对应的数据条目中；当数据库中不存在所述属性信息对应的数据条目，为所述属性信息新建一个数据条目，将所述预设人脸图像信息存入所述新建的数据条目中。
在基于本发明上述各装置的另一个实施例中，所述采集筛选单元，包括：
分解模块，用于将采集的视频流分解为至少一张分解图像，对所有所述分解图像进行优化，得到优化图像显示效果的中间图像；
识别筛选模块，用于对所有所述中间图像基于卷积神经网络进行人脸识别，基于所述人脸识别的结果筛选获得具有人脸图像的图像。
在基于本发明上述各装置的另一个实施例中，所述采集筛选单元，还包括：
评价模块，用于基于卷积神经网络进行人脸识别得到预设人脸识别信息，通过预设人脸识别信息对所述图像中的人脸图像质量进行评价。
在基于本发明上述各装置的另一个实施例中，所述质量筛选单元，具体用于基于所述图像对应的预设人脸识别信息对所述图像中的人脸图像质量进行筛选，保存所述人脸图像质量达到预设阈值的所述图像作为第一图像。
在基于本发明上述各装置的另一个实施例中，所述检索单元，包括：
属性查找模块，用于基于所述待检索人脸信息获得对应所述待检索图像的属性信息，基于所述属性信息在数据库中查找是否具有符合的数据条目；
数据匹配模块，用于当存在与所述属性信息符合的数据条目时，在所述符合的数据条目中获得所述匹配的预设人脸图像信息；当不存在与所述属性信息符合的数据条目时，反馈无匹配结果信息。
在基于本发明上述各装置的另一个实施例中，所述质量筛选单元，具体用于对所述图像经过自动曝光、自动白平衡和3D降噪处理，得到显示效果经过优化的第一图像。
在基于本发明上述各装置的另一个实施例中，所述数据库中包括黑名单子库和白名单子库，所述黑名单子库中包括至少一个预设人脸图像信息，所述白名单子库中包括至少一个预设人脸图像信息；
本发明装置还包括：
反馈单元，用于当所述匹配的预设人脸图像信息属于所述黑名单子库时，反馈警示信息；当所述匹配的预设人脸图像信息属于所述白名单子库时，反馈正常信息。
根据本发明实施例的另一个方面，提供的一种人脸图像检索系统，设置有如上所述的拍摄装置。
根据本发明实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述人脸图像检索方法的操作。
基于本发明上述实施例提供的一种人脸图像检索方法和系统、拍摄装置、计算机存储介质，通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息；由于卷积神经网络设置了卷积计算配置信息，输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应，提高了卷积层的处理效率，并输入的待检索图像可以快速准确的得到待检索人脸信息，解决了定点运算计算精度低及影响计算结果准确度的问题，提高了卷积神经网络的运算精度；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息；通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息，实现了实时人脸检索的效果，提高了检索效率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明人脸图像检索方法一个实施例的流程图。
图2为本发明人脸图像检索方法另一个实施例的流程图。
图3为本发明人脸图像检索装置一个实施例的结构示意图。
图4为本发明人脸图像检索装置另一个实施例的结构示意图。
图5为本发明拍摄装置上述各实施例的一个具体示例的结构示意图。
图6为适于用来实现本发明实施例的一个终端设备或服务器的电子设备600的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在实现本发明的过程中，本发明人通过研究发现，现有的视频监控系统中，人脸检测识别都是在后端服务器实现的，前端只负责图像数据的采集编码及传输。这种前后端结合操作的模式，需要较大网络带宽；同时，由于传输的视频流数据中大部分都是无用的信息，大大降低了后端服务器对有效数据提取的效率；此外，由于图像在传输之前经过了有损编码，后端服务器拿到的数据并不是原始的图像数据，一定程度上会导致漏检或错检。
现有技术提供了一种前端化的人脸抓拍机，该人脸抓拍机虽提高了人脸识别的准确率，但只是将原本部署于后端服务器上的中央处理单元、识别及存储模块部署在前端的视频监控设备上，由于监控图像、视频的数量巨大，意味着该监控机的功耗及成本较高，并且很难达到实时检测人脸的效果，因此，人脸抓拍机在实际应用场景中并不具有应用价值。
图1为本发明人脸图像检索方法一个实施例的流程图。如图1所示，其应用于拍摄装置，该实施例方法包括：
步骤104，通过卷积神经网络获得待检索图像对应的待检索人脸信息。
其中，卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值；待检索图像中包括至少一个人脸区域，待检索图像可以是根据检索指令获取的，检索指令可以是由服务器端或云端下发的，或直接接收外部输入的待检索图像和检索指令。要对图像进行检索识别，通常是基于对应的人脸信息进行识别，在此步骤中，通过卷积神经网络处理获得对应的待检索人脸信息，将后续检索中的图像检索转换为人脸信息检索，使检索更快捷，无需后续转换，其中卷积神经网络可以是预先训练好的。
步骤105，基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息。
其中，数据库中保存有至少一个预设人脸图像信息。通过设置数据库在拍摄装置中实现了人脸的检测与识别工作，大大降低了网络带宽的要求，提高了数据传输效率。人脸检测和检索的过程可以通过FPGA SoC现场可编程门阵列系统级芯片完成的，FPGA SoC现场可编程门阵列系统级芯片将FPGA逻辑块和CPU集成到了一片单晶硅上，FPGA逻辑块和CPU之间的通信通过AXI(Advanced eXtensible Interface)先进可扩展接口总线进行，具有很大的物理带宽，克服了现有方案中FPGA逻辑块与CPU分离设置需要很大的带宽实现通信的弊端，并且FPGA SoC特有的性能功耗比优势，使整机功耗不超过4W，更适合应用于各种不同的恶劣环境中；FPGA可同时进行数据并行和任务并行计算，将一个任务拆分成多级流水作业(同时处理)，将每一帧的检测时长缩减到了40ms以内，大大提升了实时检测效果；数据并行：是指各卷积层输入的图像数据、网络层之间传递的数据，可根据需要建立不同的通道同时处理；任务并行：是指神经网络中的卷积、池化及全连接可并行执行。而传统的嵌入式片上系统只将CPU和各功能模块集成到一片单晶硅上，而不设置FPGA逻辑块的情况下，是很难实现人脸的实时识别的，需要借助后端服务器或者更强大的处理器才能实现。
步骤106，输出待检索人脸信息匹配的预设人脸图像信息。
基于本发明上述实施例提供的一种人脸图像检索方法，通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息；由于卷积神经网络设置了卷积计算配置信息，输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应，提高了卷积层的处理效率，并输入的待检索图像可以快速准确的得到待检索人脸信息，解决了定点运算计算精度低及影响计算结果准确度的问题，提高了卷积神经网络的运算精度；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息；通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息，实现了实时人脸检索的效果，提高了检索效率。
本发明人脸图像检索方法的另一个实施例，在上述实施例的基础上，操作104包括：
按照卷积计算配置信息从存储器读取待检索图像，待检索图像的位宽等于数据位宽值；
通过卷积神经网络对待检索图像进行卷积计算，得到待检索人脸信息。
本实施例中，通过读取设定位宽的待检索图像，使输入到卷积层中的数据的位宽符合该卷积层要求的位宽，实现了对输入卷积层的数据的动态配置，各卷积层无需对输入的数据进行处理即可执行计算，解决了定点运算计算精度低及影响计算结果准确度的问题，提高了卷积神经网络的运算精度。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，卷积计算配置信息还包括卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址。
其中，待检索图像的存储地址用于按照存储地址在前端存储器中读取待检索图像；通过对卷积层的输入数据位宽和权值数据位宽进行配置，在读取输入数据和权值数据时，分别按照设置的输入数据位宽和权值数据位宽进行读取，可通过多次读取将完整的输入数据输入到卷积层中，由于每次读取的数据位宽都与该卷积层相对应，因此提高了卷积层的计算效率，同时保证了输入数据的完整，不会因为输入数据位宽的设置使输入数据缺失而导致结果不准确。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，通过卷积神经网络对待检索图像进行卷积计算，包括：
通过当前卷积层对待检索图像进行卷积计算，得到特征图；当前卷积层为卷积神经网络中各卷积层中的一个卷积层；
响应于存在下一个卷积层，以下一个卷积层作为当前卷积层，以特征图作为待检索图像，迭代执行根据为卷积神经网络中当前卷积层配置的卷积计算配置信息从存储器读取待检索图像；通过当前卷积层对待检索图像进行卷积计算，得到特征图，直到不存在下一个卷积层；
输出特征图获得待检索人脸信息。
本实施例为了实现对卷积神经网络中每一个卷积层都进行加速，通过迭代的方法，将下一层卷积层作为当前卷积层，将上一个卷积层计算得到的计算结果数据作为下一个卷积层的输入数据，同样通过按照设置的输入数据位宽和权值位宽读取输入数据和权值数据，此时的权值数据是配置的对应该卷积层的权值数据，得到特征图后，将特征图存入存储器，以备下一个卷积层读取，直到完成当前卷积层的卷积计算之后，没有下一个卷积层，此时输出当前得到的特征图为卷积神经网络的获得的待检索人脸信息。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，在迭代读取配置信息并执行卷积计算的过程中，将特征图写入存储器。
将对应每层卷积层的特征图存入存储器，使下一个卷积层在读取待检索图像时，可以直接从存储器中获取，方便数据的获取和数据位宽的设置。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，卷积计算配置信息还包括偏移地址；
为卷积神经网络配置卷积计算配置信息，还包括：
根据输入数据的存储地址和偏移地址配置为下一个卷积层对应的输入数据的存储地址；
将特征图写入存储器，包括：将特征图写入存储器中的下一个卷积层对应的输入数据的存储地址。
通过输入数据的存储地址叠加偏移地址即可得到下一个卷积层对应的输入数据的存储地址，由于卷积神经网络中，上一个卷积层的输出数据就是下一个卷积层的输入数据，因此，将上一个卷积层的输出数据处理为下一个卷积层的输入数据并存储到确定的下一个卷积层对应的输入数据的存储地址中，在下一个卷积层开始卷积计算时，只需到对应的存储地址进行读取即可。
图2为本发明人脸图像检索方法又一个实施例的流程图。如图2所示，该实施例方法包括：
步骤201，采集视频流，基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
其中，图像中包括可识别的人脸图像，每个人脸图像对应至少一个图像；采集视频流可以是通过设置的监控设备(如：摄像头等)进行实时采集，由于前端存储空间有限，在前端的数据库中保存视频流是不可行的，因此，本步骤将视频流分解为一帧一帧的图像，而针对基于视频流获得的图像存在大量重复图像、无意义图像(无人脸图像)和模糊的现象，对视频流获得的所有图像进行筛选，得到其中包括可识别的人脸图像，并且，针对每个人脸图像采集至少一个图像，以保证不会漏掉在视频中出现的人脸，在后续识别中可以更准确的找到。
步骤202，对所有图像进行质量筛选，得到至少一个第一图像。
其中，第一图像为人脸图像质量达到设定阈值的图像；为了使上一步获得的图像中的人脸便于识别，采用了专用的ISP处理芯片对原始图像进行了优化处理，这里的优化处理可以包括自动曝光、自动白平衡、3D降噪等操作，同时，还可以根据用户的需求选择局部曝光、提取感兴趣区域等操作，执行优化处理的目的是为了得到高清晰、低噪声、宽动态范围、低畸变和低失真的第一图像，以便识别图像中的人脸，这里的设定阈值可以根据具体情况进行调整。
步骤203，将对应第一图像的预设人脸图像信息存入数据库。
基于通过质量筛选得到的第一图像获得人脸图像信息，为了在前端实现实时人脸检索，需要在前端建立数据库并将质量优化后的第一图像和对应第一图像的人脸图像信息存入该数据库，人脸图像信息是为了便于检索，在检索过程中无需再进行人脸识别；并且，由于前端存储空间有限，数据库中的图像及人脸图像信息定期更新或实时更新，以保证数据库中有充足的空间存储新采集的信息。
步骤104，通过卷积神经网络获得待检索图像对应的待检索人脸信息。
其中，卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值；待检索图像中包括至少一个人脸区域。
步骤105，基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息。
其中，数据库中保存有至少一个预设人脸图像信息。
步骤106，输出待检索人脸信息匹配的预设人脸图像信息。
在本实施例中，除了将接收到的待检索图像与数据库中存储的第一图像进行匹配，还可以实时检索，先接收待检索图像并获得待检索人脸信息，在数据库中不存在对应的人脸图像信息时，利用前端视频流采集装置，对新采集的视频流进行处理得到清晰的可识别的预设人脸图像信息，即按照下列步骤顺序执行：
步骤104，步骤201，步骤202，步骤203、步骤105和步骤106；按照此顺序执行时可以仅将检索到的图像及预设人脸图像信息存入数据库，也可以将全部采集筛选得到的图像和预设人脸图像信息存入数据库；并且，为了后期结合服务器和云端的检索，需要将数据库中的存储的图像和信息上传到服务器中，服务器接收多个前端提供的图像和信息，可以在检索时得到更多信息。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，基于采集的视频流筛选得到的图像还包括背景图像，背景图像用于标识图像中的人脸图像出现的地点。
基于第一图像获得人脸图像信息的同时，还可以基于第一图像获得除了人脸图像信息的其他信息，这些其他信息构成背景信息，这里的背景信息就能提供该第一图像中的人脸图像出现的地点，进而获得这个人的行动轨迹等信息；具有背景图像的第一图像对识别人脸图像对应人员出现的场合有辅助作用。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，在将对应第一图像的预设人脸图像信息存入数据库之前，还包括：
对第一图像通过卷积神经网络处理获得对应的预设人脸图像信息。
对于获取预设人脸图像信息与基于待处理图像获取待处理图像信息通过相同的卷积神经网络的计算获得，本实施例中的卷积神经网络是通过FPGA逻辑部分实现。
基于预设人脸图像信息得到对应的属性信息，基于属性信息将预设人脸图像信息分类存储；每个预设人脸图像信息包括至少一种属性信息。
本实施例中涉及的属性信息可以包括：性别、年龄、表情、种族、是否戴眼镜和是否戴口罩等等，基于这些属性进行分类的情况包括：基于性别：男/女；年龄：少年/青年/中年/老年；表情：高兴/悲伤/愤怒/平静等；种族：黄种人/黑种人/白种人/棕种人；戴眼镜：是/否；戴口罩：是/否；如果结合上述所有属性对图像进行分类，可以基于每个属性获得一个标签，此时每个图像对应多个标签，如一个图像中包括一个中年黄种人女性，戴眼镜、未戴口罩，且表情平静，此时该人脸图像对应的属性标签包括：女性、中年、平静、黄种人、戴眼镜和未戴口罩；在具体分类过程中，可以将具有相同标签的第一图像和人脸图像信息存储在一个位置。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，还可以包括：
接收输入的图像质量超出设定阈值的第一图像和对应第一图像的相关信息，对第一图像通过卷积神经网络处理获得对应的预设人脸图像信息；每个第一图像中包括一个人脸图像；
基于相关信息为第一图像建立对应的属性信息，基于属性信息将对应第一图像的预设人脸图像信息存入数据库。
本实施例提供的实质是一个注册的过程，在注册过程中，输入一张第一图像和对应用于识别该第一图像的相关信息，通常这里的相关信息指用户的姓名信息等，并对该图像进行识别获得对应的人脸图像信息，将预设人脸图像信息和输入的第一图像存入数据库后，在后期检索图像时，如检索得到该第一图像就可直接获得该人脸图像对应的相关信息。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，基于属性信息将对第一图像的预设人脸图像信息存入数据库，包括：
将具有相同属性信息的所有预设人脸图像信息存入一个数据条目中，在数据库中基于属性信息为数据条目建立索引。
该实施例方法还包括：
获取采集每个图像的采集时间值，将数据条目按照采集时间值，顺序存入数据库。
在数据库中将所有预设人脸图像信息进行区分存储，将所有属性信息都相同的预设人脸图像信息存入一个数据条目中，以便于检索获得相应的预设人脸图像信息；在筛选图像时，获取在视频流中获得该图像的采集时间值，获得时间值后，对于数据条目的存储可以按照其中更新保存的预设人脸图像信息对应的采集时间值进行排序，排序后便于在检索过程中先获得最新的符合条件的图像；根据采集时间值给出某人出现在当前场合的次数以及时间，避免将多次出现在同一场景的同一个人的图像混淆，在帮助警察搜寻犯罪分子的犯罪证据时，具有辅助作用。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，将对应第一图像的预设人脸图像信息存入数据库，包括：
基于第一图像对应的属性信息在数据库中查找是否存在对应的数据条目；
当数据库中存在于属性信息对应的数据条目，将预设人脸图像信息存入对应的数据条目中；
当数据库中不存在属性信息对应的数据条目，为属性信息新建一个数据条目，将预设人脸图像信息存入该新建的数据条目中。
本实施例提供了针对一个第一图像的存储的具体实例，在存储前根据获得的属性信息在数据库中查找数据条目，如果存在已有数据条目，存入对应的数据条目；如果不存在已有数据条目，建立新的数据条目并存入，以保证每个数据条目中保存的预设人脸图像信息的属性信息都相同。
本发明人脸图像检索方法的还一个实施例中，在上述各实施例的基础上，基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像，包括：
将采集的视频流分解为至少一张分解图像，对所有分解图像进行优化，得到优化图像显示效果的中间图像；
对所有中间图像基于卷积神经网络进行人脸识别，基于人脸识别的结果筛选获得具有人脸图像的图像。
对于采集的视频流的分解可以通过很多方式，本实施例不做限制，对得到的分解图像优化其显示效果，得到显示效果较好的中间图像，在基于卷积神经网络对中间图像进行人脸识别，获得具有人脸图像的图像，通过筛选将其他没有人脸图像的无用图像删除，为后期人脸识别提高可靠的图像基础。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，还包括：基于卷积神经网络进行人脸识别得到预设人脸识别信息，通过预设人脸识别信息对图像中的人脸图像质量进行评价。
本实施例中通过人脸质量评估算法获得人脸识别信息，人脸识别信息可以包括人脸偏航角度、俯仰角度和/或人脸大小，即结合人脸偏航角度、俯仰及人脸大小来综合评价人脸图像质量，对抓拍出来的人脸进行打分，将得到的分数与预先设定的分数值进行比较，将分数低于预先设定的分数值的第一图像删除，仅保留分数高于预先设定的分数值的第一图像，通过质量筛选保证了数据库中保存的图像都具有识别度较高的人脸图像，降低了无用信息的占用率，提高了传输效率；还可以对图像基于人脸图像质量进行排序，进一步避免同一个人的多个清晰图像上传多次，同时避免了漏传相对不清晰的人脸图像。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，对所有图像进行质量筛选，得到至少一个第一图像，包括：
基于图像对应的预设人脸识别信息对图像中的人脸图像质量进行筛选，保存人脸图像质量达到预设阈值的图像作为第一图像。
基于人脸图像质量对图像进行筛选，仅保留其中人脸图像质量达到预设阈值的图像，丢弃其他人脸图像质量未达到预设阈值的图像，保证得到的所有第一图像中的人脸图像在检索过程中可以快速实现人脸匹配。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息，包括：
基于待检索人脸信息获得对应待检索图像的属性信息，基于属性信息在数据库中查找是否具有符合的数据条目；
如有存在与属性信息符合的数据条目，在符合的数据条目中获得所述匹配的预设人脸图像信息；
如果不存在与属性信息符合的数据条目，反馈无匹配结果信息。
由于上述实施例中设置了数据条目，在本实施例中通过首先检索属性信息符合的数据条目，进一步在符合的数据条目中查找附图的预设人脸图像信息，通过这种检索方式，可有效提高检索效率，而避免直接匹配预设人脸图像信息产生的大量无意义工作。
在本发明人脸图像检索方法上述各实施例的一个具体示例中，对所有图像进行质量筛选，得到至少一个第一图像，包括：
对图像经过自动曝光、自动白平衡和3D降噪处理，得到显示效果经过优化的第一图像。
本实施例中，将采集的图像输入ISP(Image Signal Processing)图像信号处理模块中，ISP图像信号处理模块自动实现自动曝光、自动白平衡和3D降噪处理，还可以根据用户的需求选择增加局部曝光和/或提取感兴趣区域等操作，执行优化处理的目的是为了得到高清晰、低噪声、宽动态范围、低畸变和低失真的第一图像，以便识别图像中的人脸。
本发明实施例中提出了可以通过直流供电或POE(Power Over Ethernet)802.3af以太网供电，其中直流供电优先于以太网供电。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明拍摄装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图3所示，该实施例的装置包括：
处理器34，用于为卷积神经网络配置对应的卷积计算配置信息。
其中，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值。
卷积计算单元35，用于通过卷积神经网络获得待检索图像对应的待检索人脸信息。
其中，待检索图像中包括至少一个人脸区域。检索单元36，用于基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息，数据库中保存有至少一个预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息。
基于本发明上述实施例提供的一种人脸图像检索装置，基于本发明上述实施例提供的一种人脸图像检索方法，通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息；由于卷积神经网络设置了卷积计算配置信息，输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应，提高了卷积层的处理效率，并输入的待检索图像可以快速准确的得到待检索人脸信息，解决了定点运算计算精度低及影响计算结果准确度的问题，提高了卷积神经网络的运算精度；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息；通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息，实现了实时人脸检索的效果，提高了检索效率。
本发明拍摄装置的另一个实施例，在上述实施例的基础上，卷积计算单元35，包括：
可配置读取控制器，用于按照卷积计算配置信息从前端存储器读取待检索图像，待检索图像的位宽等于所述数据位宽值；
图像处理模块，用于通过卷积神经网络对待检索图像进行卷积计算，得到待检索人脸信息。
本实施例中，通过读取设定位宽的待检索图像使输入到卷积层中的数据的位宽符合该卷积层要求的位宽，实现了对输入卷积层的数据的动态配置，各卷积层无需对输入的数据进行处理即可执行计算，解决了定点运算计算精度低及影响计算结果准确度的问题，提高了卷积神经网络的运算精度。
在本发明拍摄装置上述各实施例的一个具体示例中，卷积计算配置信息还包括卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址；其中，待检索图像的存储地址用于按照存储地址在前端存储器中读取待检索图像。
在本发明拍摄装置上述各实施例的一个具体示例中，图像处理模块，包括：
层计算模块，用于通过当前卷积层对待检索图像进行卷积计算，得到特征图；当前卷积层为卷积神经网络中各卷积层中的一个卷积层；
迭代模块，用于响应于存在下一个卷积层，以下一个卷积层作为当前卷积层，以特征图作为待检索图像，迭代执行根据为卷积神经网络中当前卷积层配置的卷积计算配置信息从存储器读取待检索图像；通过当前卷积层对待检索图像进行卷积计算，得到特征图，直到不存在下一个卷积层；
输出特征图获得待检索人脸信息。
在本发明拍摄装置上述各实施例的一个具体示例中，还包括：可配置写回控制器，将特征图写入存储器。
在本发明拍摄装置上述各实施例的一个具体示例中，卷积计算配置信息还包括偏移地址；
处理器，还用于根据输入数据的存储地址和偏移地址配置为下一个卷积层对应的输入数据的存储地址；
可配置写回控制器，具体用于将特征图写入存储器中的下一个卷积层对应的输入数据的存储地址。
图4为本发明拍摄装置另一个实施例的结构示意图。如图4所示，本实施例装置包括：
采集筛选单元41，用于采集视频流，基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
其中，图像中包括人脸图像，每个人脸图像对应至少一个图像。
质量筛选单元42，用于对所有图像进行质量筛选，得到至少一个第一图像，第一图像为人脸图像质量达到设定阈值的图像。
存储单元43，用于将对应第一图像的预设人脸图像信息存入数据库。
处理器34，用于为卷积神经网络配置对应的卷积计算配置信息。
其中，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值。
卷积计算单元35，用于通过卷积神经网络获得待检索图像对应的待检索人脸信息。
其中，待检索图像中包括至少一个人脸区域。
检索单元36，用于基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息，数据库中保存有至少一个预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息。
在本实施例中，除了将接收到的待检索图像与数据库中存储的第一图像进行匹配，还可以实时检索，先接收待检索图像并获得待检索人脸信息，在数据库中不存在对应的人脸图像信息时，利用前端视频流采集装置，对新采集的视频流进行处理得到清晰的可识别的预设人脸图像信息。
在本发明拍摄装置上述各实施例的一个具体示例中，基于采集的视频流筛选得到的图像还包括背景图像，背景图像用于标识图像中的人脸图像出现的地点。
在本发明拍摄装置上述各实施例的一个具体示例中，卷积计算单元35，还用于对第一图像通过卷积神经网络处理获得对应的预设人脸图像信息；基于预设人脸图像信息得到对应的属性信息，基于属性信息将预设人脸图像信息分类存储；每个预设人脸图像信息包括至少一种属性信息。
在本发明拍摄装置上述各实施例的一个具体示例中，还包括：
信息接收单元，用于接收输入的图像质量超出设定阈值的第一图像和对应第一图像的相关信息，对第一图像通过卷积神经网络处理获得对应的预设人脸图像信息；每个第一图像中包括一个人脸区域；
分类单元，用于基于相关信息为第一图像建立对应的属性信息，基于属性信息将对应第一图像的预设人脸图像信息存入数据库。
在本发明拍摄装置上述各实施例的一个具体示例中，分类单元，具体用于将具有相同属性信息的所有预设人脸图像信息存入一个数据条目中，在数据库中基于属性信息为数据条目建立索引；
本实施例拍摄装置还包括：
时间排序单元，用于获取采集每个图像的采集时间值，将数据条目按照采集时间值，顺序存入数据库。
在本发明拍摄装置上述各实施例的一个具体示例中，存储单元43，包括：
查找模块，用于基于第一图像对应的属性信息在数据库中查找是否存在对应的数据条目；
属性存储模块，用于当数据库中存在于属性信息对应的数据条目，将预设人脸图像信息存入对应的数据条目中；当数据库中不存在属性信息对应的数据条目，为属性信息新建一个数据条目，将预设人脸图像信息存入新建的数据条目中。
本发明拍摄装置的还一个实施例中，在上述各实施例的基础上，采集筛选单元41，包括：
分解模块，用于将采集的视频流分解为至少一张分解图像，对所有分解图像进行优化，得到优化图像显示效果的中间图像；
识别筛选模块，用于对所有中间图像基于卷积神经网络进行人脸识别，基于人脸识别的结果筛选获得具有人脸图像的图像。
对于采集的视频流的分解可以通过很多方式，本实施例不做限制，对得到的分解图像优化其显示效果，得到显示效果较好的中间图像，在基于卷积神经网络对中间图像进行人脸识别，获得具有人脸图像的图像，通过筛选将其他没有人脸图像的无用图像删除，为后期人脸识别提高可靠的图像基础。
在本发明拍摄装置上述各实施例的一个具体示例中，采集筛选单元41，还包括：
评价模块，用于基于卷积神经网络进行人脸识别得到预设人脸识别信息，通过预设人脸识别信息对图像中的人脸图像质量进行评价。
在本发明拍摄装置上述各实施例的一个具体示例中，质量筛选单元42，具体用于基于图像对应的预设人脸识别信息对图像中的人脸图像质量进行筛选，保存人脸图像质量达到预设阈值的图像作为第一图像。
在本发明拍摄装置上述各实施例的一个具体示例中，检索单元36，包括：
属性查找模块，用于基于待检索人脸信息获得对应待检索图像的属性信息，基于属性信息在数据库中查找是否具有符合的数据条目；
数据匹配模块，用于当存在与属性信息符合的数据条目时，在符合的数据条目中获得匹配的预设人脸图像信息；当不存在与属性信息符合的数据条目时，反馈无匹配结果信息。
在本发明拍摄装置上述各实施例的一个具体示例中，质量筛选单元42，具体用于对图像经过自动曝光、自动白平衡和3D降噪处理，得到显示效果经过优化的第一图像。
本发明拍摄装置的再一个实施例中，在上述各实施例的基础上，数据库中包括黑名单子库和白名单子库，黑名单子库中包括至少一个预设人脸图像信息，白名单子库中包括至少一个预设人脸图像信息；
本实施例拍摄装置还包括：
反馈单元，用于当匹配的预设人脸图像信息属于黑名单子库时，反馈警示信息；当匹配的预设人脸图像信息属于白名单子库时，反馈正常信息。
在具体实施时，本实施例拍摄装置可以充当电子警察的角色，帮助警察搜寻犯罪份子。将罪犯人脸信息通过网络部署到前端抓拍机(拍摄装置)中，拍摄装置24小时监控，一旦检索匹配到黑名单数据库中的预设人脸图像信息，反馈单元将反馈警示信息，实现立刻通知警方，突破了人工监控的弊端，实时监测并能够及时通知。
图5为本发明拍摄装置上述各实施例的一个具体示例的结构示意图。如图5所示，本实施例装置包括：
图像采集模块(相当于本发明的采集筛选单元41)，用于采集视频流，并基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
ISP处理模块(相当于本发明的质量筛选单元42)，用于对所有图像进行质量筛选，得到至少一个人脸图像质量达到设定阈值的第一图像。
存储模块(相当于本发明的数据库)，用于存储对应第一图像的预设人脸图像信息。
FPGA SoC模块包括硬件监测(相当于本发明的卷积计算单元35)和中央处理(相当于本发明的处理器34)，硬件监测实现通过卷积神经网络获得待检索图像对应的待检索人脸信息；中央处理用于为卷积神经网络配置对应的卷积计算配置信息。本实施例中通过FPGA SoC模块将硬件监测和中央处理集成在一片单晶硅上，使二者通信不受带宽限制，并通过一个模块实现了配置和卷积运算，实现了实时人脸识别。
通信模块(相当于本发明的反馈单元)，通过通信模块可将得到的匹配的预设人脸图像信息发送出去，同时还可以根据该预设人脸图像信息属于白名单或黑名单发出相应的信息到预设的客户端中。
本实施例还可以包括：供电系统模块，为了实现拍摄装置独立运行，提供了供电系统模块，该供电系统模块为上述所有模块供电。
根据本发明实施例的另一个方面，提供的一种电子设备，设置有本发明拍摄装置上述任一个实施例。
根据本发明实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明人脸图像检索方法上述任一个实施例的操作。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的一个终端设备或服务器的电子设备600的结构示意图：如图6所示，计算机系统600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值；待检索图像中包括至少一个人脸区域；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；数据库中保存有至少一个预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息。
此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使处理器601执行上述通信方法对应的操作。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，通过卷积神经网络获得待检索图像对应的待检索人脸信息；卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值；待检索图像中包括至少一个人脸区域；基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息；数据库中保存有至少一个预设人脸图像信息；输出待检索人脸信息匹配的预设人脸图像信息。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种人脸图像检索方法，其特征在于，应用于拍摄装置，包括：
通过卷积神经网络获得待检索图像对应的待检索人脸信息；所述卷积神经网络经过处理器配置对应的卷积计算配置信息，所述卷积神经网络包括至少一个卷积层，所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值；所述待检索图像中包括至少一个人脸区域；
基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息；所述数据库中保存有至少一个预设人脸图像信息；
输出所述待检索人脸信息匹配的预设人脸图像信息。
2.根据权利要求1所述的方法，其特征在于，通过卷积神经网络获得待检索图像对应的待检索人脸信息，包括：
按照卷积计算配置信息从存储器读取待检索图像，所述待检索图像的位宽等于所述数据位宽值；
通过所述卷积神经网络对所述待检索图像进行卷积计算，得到待检索人脸信息。
3.根据权利要求1或2所述的方法，其特征在于，所述卷积计算配置信息还包括：所述卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址；其中，所述待检索图像的存储地址用于按照所述存储地址在所述前端存储器中读取所述待检索图像。
4.根据权利要求2或3所述的方法，其特征在于，通过所述卷积神经网络对所述待检索图像进行卷积计算，包括：
通过当前卷积层对所述待检索图像进行卷积计算，得到特征图；所述当前卷积层为所述卷积神经网络中各卷积层中的一个卷积层；
响应于存在下一个卷积层，以下一个卷积层作为当前卷积层，以所述特征图作为待检索图像，迭代执行根据为所述卷积神经网络中当前卷积层配置的所述卷积计算配置信息从存储器读取待检索图像；通过当前卷积层对所述待检索图像进行卷积计算，得到特征图，直到不存在下一个卷积层；
输出所述特征图获得待检索人脸信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
将所述特征图写入所述存储器。
6.根据权利要求5所述的方法，其特征在于，所述卷积计算配置信息还包括偏移地址；
为所述卷积神经网络配置卷积计算配置信息，还包括：
根据所述输入数据的存储地址和所述偏移地址配置为所述下一个卷积层对应的输入数据的存储地址；
将所述特征图写入所述存储器，包括：将特征图写入所述存储器中的所述下一个卷积层对应的输入数据的存储地址。
7.根据权利要求1-6任一所述的方法，其特征在于，还包括：
采集视频流，基于每个出现在视频流中的人脸图像在所述采集的视频流中筛选得到至少一个图像，其中，所述图像中包括人脸图像，每个所述人脸图像对应至少一个图像；
对所有所述图像进行质量筛选，得到至少一个第一图像，所述第一图像为人脸图像质量达到设定阈值的所述图像；
将对应所述第一图像的预设人脸图像信息存入所述数据库。
8.一种拍摄装置，其特征在于，包括：
处理器，用于为卷积神经网络配置对应的卷积计算配置信息；所述卷积神经网络包括至少一个卷积层，所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值；
卷积计算单元，用于通过所述卷积神经网络获得待检索图像对应的待检索人脸信息；所述待检索图像中包括至少一个人脸区域；
检索单元，用于基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息；所述数据库中保存有至少一个预设人脸图像信息；输出所述待检索人脸信息匹配的预设人脸图像信息。
9.一种人脸图像检索系统，其特征在于，设置有如权利要求8所述的拍摄装置。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至7任意一项所述人脸图像检索方法的操作。
CN201710774389.9A 2017-08-31 2017-08-31 人脸图像检索方法和系统、拍摄装置、计算机存储介质 Active CN108228696B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710774389.9A CN108228696B (zh) 2017-08-31 2017-08-31 人脸图像检索方法和系统、拍摄装置、计算机存储介质
PCT/CN2018/102267 WO2019042230A1 (zh) 2017-08-31 2018-08-24 人脸图像检索方法和系统、拍摄装置、计算机存储介质
SG11202000075QA SG11202000075QA (en) 2017-08-31 2018-08-24 Face image retrieval methods and systems, photographing apparatuses, and computer storage media
JP2019571526A JP7038744B2 (ja) 2017-08-31 2018-08-24 顔画像検索方法およびシステム、撮影装置、ならびにコンピュータ記憶媒体
US16/732,225 US11182594B2 (en) 2017-08-31 2019-12-31 Face image retrieval methods and systems, photographing apparatuses, and computer storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710774389.9A CN108228696B (zh) 2017-08-31 2017-08-31 人脸图像检索方法和系统、拍摄装置、计算机存储介质

Publications (2)

Publication Number Publication Date
CN108228696A true CN108228696A (zh) 2018-06-29
CN108228696B CN108228696B (zh) 2021-03-23

Family

ID=62655298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710774389.9A Active CN108228696B (zh) 2017-08-31 2017-08-31 人脸图像检索方法和系统、拍摄装置、计算机存储介质

Country Status (5)

Country Link
US (1) US11182594B2 (zh)
JP (1) JP7038744B2 (zh)
CN (1) CN108228696B (zh)
SG (1) SG11202000075QA (zh)
WO (1) WO2019042230A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002789A (zh) * 2018-07-10 2018-12-14 银河水滴科技（北京）有限公司 一种应用于摄像头的人脸识别方法
WO2019042230A1 (zh) * 2017-08-31 2019-03-07 深圳市商汤科技有限公司 人脸图像检索方法和系统、拍摄装置、计算机存储介质
CN109614910A (zh) * 2018-12-04 2019-04-12 青岛小鸟看看科技有限公司 一种人脸识别方法和装置
CN110363106A (zh) * 2019-06-25 2019-10-22 中国船舶重工集团公司第七一九研究所 一种人脸检测与匹配系统
CN110442742A (zh) * 2019-07-31 2019-11-12 深圳市商汤科技有限公司 检索图像的方法及装置、处理器、电子设备及存储介质
CN110874817A (zh) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质
CN110941730A (zh) * 2019-11-29 2020-03-31 南京甄视智能科技有限公司 基于人脸特征数据偏移的检索方法与装置
CN111881813A (zh) * 2020-07-24 2020-11-03 深圳市卡联科技股份有限公司 人脸识别终端的数据存储方法及系统
CN112241684A (zh) * 2020-09-16 2021-01-19 四川天翼网络服务有限公司 一种人脸检索分布式计算方法及系统
CN112989082A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 Cpu和gpu混合的自适应人脸搜索方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111840A1 (ja) * 2017-12-06 2019-06-13 日本電気株式会社 画像認識モデル生成装置、画像認識モデル生成方法、画像認識モデル生成プログラム記憶媒体、画像生成装置、画像生成方法および画像生成プログラム記憶媒体
CN110874632B (zh) * 2018-08-31 2024-05-03 嘉楠明芯(北京)科技有限公司 图像识别处理方法和装置
KR20200081044A (ko) * 2018-12-27 2020-07-07 삼성전자주식회사 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치
JP7348150B2 (ja) * 2020-09-17 2023-09-20 ヤフー株式会社 学習装置、学習方法、及び学習プログラム
CN112632300A (zh) * 2020-09-29 2021-04-09 深圳市商汤科技有限公司 图像检索方法及装置、电子设备及存储介质
CN115456860B (zh) * 2022-11-09 2023-03-24 深圳市唯特视科技有限公司 基于fpga的图像增强方法、装置、头盔、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219640B1 (en) * 1999-08-06 2001-04-17 International Business Machines Corporation Methods and apparatus for audio-visual speaker recognition and utterance verification
CN104765768A (zh) * 2015-03-09 2015-07-08 深圳云天励飞技术有限公司 海量人脸库的快速准确检索方法
CN105760933A (zh) * 2016-02-18 2016-07-13 清华大学 卷积神经网络的逐层变精度定点化方法及装置
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106682650A (zh) * 2017-01-26 2017-05-17 北京中科神探科技有限公司 基于嵌入式深度学习技术的移动终端人脸识别方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302653B2 (en) * 2005-02-24 2007-11-27 International Business Machines Corporation Probability of fault function determination using critical defect size map
US7310788B2 (en) * 2005-02-24 2007-12-18 International Business Machines Corporation Sample probability of fault function determination using critical defect size map
JP6345520B2 (ja) 2014-07-10 2018-06-20 国立研究開発法人産業技術総合研究所 画像検索装置と画像検索プログラムと画像検索方法
EP3234867A4 (en) 2014-12-17 2018-08-15 Nokia Technologies Oy Object detection with neural network
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN205792930U (zh) 2016-06-03 2016-12-07 广东万峯信息科技有限公司 一种人脸抓拍机及应用该种人脸抓拍机的监控系统
TWI601424B (zh) * 2016-06-13 2017-10-01 晨星半導體股份有限公司 時間解交錯電路與方法
CN106204948B (zh) * 2016-07-11 2020-12-11 商汤集团有限公司 储物柜管理方法及储物柜管理装置
KR20180060149A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 컨볼루션 처리 장치 및 방법
CN106529517B (zh) * 2016-12-30 2019-11-01 北京旷视科技有限公司 图像处理方法和图像处理设备
US10417364B2 (en) * 2017-01-04 2019-09-17 Stmicroelectronics International N.V. Tool to create a reconfigurable interconnect framework
KR102642853B1 (ko) * 2017-01-05 2024-03-05 한국전자통신연구원 컨볼루션 회로, 그것을 포함하는 어플리케이션 프로세서 및 그것의 동작 방법
CN106897695A (zh) * 2017-02-24 2017-06-27 上海斐讯数据通信技术有限公司 一种图像识别处理装置、系统及方法
EP3786786B1 (en) * 2017-04-19 2023-06-07 Shanghai Cambricon Information Technology Co., Ltd Processing device, processing method, chip, and electronic apparatus
US10474458B2 (en) * 2017-04-28 2019-11-12 Intel Corporation Instructions and logic to perform floating-point and integer operations for machine learning
US9916531B1 (en) * 2017-06-22 2018-03-13 Intel Corporation Accumulator constrained quantization of convolutional neural networks
WO2019010183A1 (en) * 2017-07-05 2019-01-10 Deep Vision, Inc. PROCESSOR OF DEEP VISION
CN108228696B (zh) * 2017-08-31 2021-03-23 深圳市商汤科技有限公司 人脸图像检索方法和系统、拍摄装置、计算机存储介质
EP3759632A4 (en) * 2018-03-01 2021-04-21 Infotoo International Limited METHODS AND APPARATUS FOR DETERMINING THE AUTHENTICITY OF AN INFORMATION SUPPORT DEVICE
US20190303757A1 (en) * 2018-03-29 2019-10-03 Mediatek Inc. Weight skipping deep learning accelerator
US12014273B2 (en) * 2018-12-12 2024-06-18 Kneron (Taiwan) Co., Ltd. Low precision and coarse-to-fine dynamic fixed-point quantization design in convolution neural network
US20200293865A1 (en) * 2019-03-14 2020-09-17 Gyrfalcon Technology Inc. Using identity layer in a cellular neural network architecture
US20200302288A1 (en) * 2019-03-20 2020-09-24 Gyrfalcon Technology Inc. Using output equalization in training an artificial intelligence model in a semiconductor solution
CN109961102B (zh) * 2019-03-30 2021-06-22 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219640B1 (en) * 1999-08-06 2001-04-17 International Business Machines Corporation Methods and apparatus for audio-visual speaker recognition and utterance verification
CN104765768A (zh) * 2015-03-09 2015-07-08 深圳云天励飞技术有限公司 海量人脸库的快速准确检索方法
CN105760933A (zh) * 2016-02-18 2016-07-13 清华大学 卷积神经网络的逐层变精度定点化方法及装置
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106682650A (zh) * 2017-01-26 2017-05-17 北京中科神探科技有限公司 基于嵌入式深度学习技术的移动终端人脸识别方法和系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019042230A1 (zh) * 2017-08-31 2019-03-07 深圳市商汤科技有限公司 人脸图像检索方法和系统、拍摄装置、计算机存储介质
US11182594B2 (en) 2017-08-31 2021-11-23 Shenzhen Sensetime Technology Co., Ltd. Face image retrieval methods and systems, photographing apparatuses, and computer storage media
CN109002789B (zh) * 2018-07-10 2021-06-18 银河水滴科技（北京）有限公司 一种应用于摄像头的人脸识别方法
CN109002789A (zh) * 2018-07-10 2018-12-14 银河水滴科技（北京）有限公司 一种应用于摄像头的人脸识别方法
CN110874817A (zh) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质
CN109614910A (zh) * 2018-12-04 2019-04-12 青岛小鸟看看科技有限公司 一种人脸识别方法和装置
CN110363106A (zh) * 2019-06-25 2019-10-22 中国船舶重工集团公司第七一九研究所 一种人脸检测与匹配系统
CN110442742A (zh) * 2019-07-31 2019-11-12 深圳市商汤科技有限公司 检索图像的方法及装置、处理器、电子设备及存储介质
CN110941730A (zh) * 2019-11-29 2020-03-31 南京甄视智能科技有限公司 基于人脸特征数据偏移的检索方法与装置
CN111881813B (zh) * 2020-07-24 2021-02-19 深圳市卡联科技股份有限公司 人脸识别终端的数据存储方法及系统
CN111881813A (zh) * 2020-07-24 2020-11-03 深圳市卡联科技股份有限公司 人脸识别终端的数据存储方法及系统
CN112241684A (zh) * 2020-09-16 2021-01-19 四川天翼网络服务有限公司 一种人脸检索分布式计算方法及系统
CN112989082A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 Cpu和gpu混合的自适应人脸搜索方法及系统
CN112989082B (zh) * 2021-05-20 2021-07-23 南京甄视智能科技有限公司 Cpu和gpu混合的自适应人脸搜索方法及系统

Also Published As

Publication number Publication date
JP2020524348A (ja) 2020-08-13
CN108228696B (zh) 2021-03-23
WO2019042230A1 (zh) 2019-03-07
US20200151434A1 (en) 2020-05-14
JP7038744B2 (ja) 2022-03-18
US11182594B2 (en) 2021-11-23
SG11202000075QA (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN108228696A (zh) 人脸图像检索方法和系统、拍摄装置、计算机存储介质
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
US10936915B2 (en) Machine learning artificial intelligence system for identifying vehicles
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
Gauen et al. Comparison of visual datasets for machine learning
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
CN108229323A (zh) 布控方法和装置、电子设备、计算机存储介质
CN109815868A (zh) 一种图像目标检测方法、装置及存储介质
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN108921866A (zh) 一种图像数据处理方法及系统
JP2022547248A (ja) コンテンツ配信画像の自動生成のためのスケーラブルアーキテクチャ
CN108764018A (zh) 一种基于卷积神经网络的多任务车辆再识别方法及装置
CN113434716A (zh) 一种跨模态信息检索方法和装置
CN106295489A (zh) 信息处理方法、信息处理装置和视频监控系统
CN108563675A (zh) 基于目标体特征的电子档案自动生成方法及装置
CN108229289A (zh) 目标检索方法、装置和电子设备
Sismananda et al. Performance comparison of yolo-lite and yolov3 using raspberry pi and motioneyeos
US11941884B2 (en) Multi-source panoptic feature pyramid network
Devi Priya et al. Automated cattle classification and counting using hybridized mask R-CNN and YOLOv3 algorithms
CN113569879A (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置
Lyu Research on subway pedestrian detection algorithm based on big data cleaning technology
Liu et al. Learn a deep convolutional neural network for image smoke detection
CN112906679B (zh) 基于人形语义分割的行人重识别方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

Address before: 712 Haixiang Plaza, 1052 Nanhai Avenue, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder