CN110046266A - 一种照片的智能管理方法及装置 - Google Patents

一种照片的智能管理方法及装置 Download PDF

Info

Publication number
CN110046266A
CN110046266A CN201910244766.7A CN201910244766A CN110046266A CN 110046266 A CN110046266 A CN 110046266A CN 201910244766 A CN201910244766 A CN 201910244766A CN 110046266 A CN110046266 A CN 110046266A
Authority
CN
China
Prior art keywords
photo
face
facial image
mark
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910244766.7A
Other languages
English (en)
Other versions
CN110046266B (zh
Inventor
郑穆
罗铁威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Amethyst Storage Technology Co ltd
Original Assignee
Guangdong Amethstum Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Amethstum Storage Technology Co Ltd filed Critical Guangdong Amethstum Storage Technology Co Ltd
Priority to CN201910244766.7A priority Critical patent/CN110046266B/zh
Publication of CN110046266A publication Critical patent/CN110046266A/zh
Application granted granted Critical
Publication of CN110046266B publication Critical patent/CN110046266B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种照片的智能管理方法，包括接收各个终端上传的照片；在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；根据拍摄信息和图像对象标识生成照片数据库的查询调用。本发明通过深度学习神经网络进行图像识别、聚类和分类获取图像对象标识，其与拍摄信息生成照片数据库的查询调用，用户可通过按时间、地点、人物、场景、实物等信息更快捷方便地查询照片数据库，提高用户体验。

Description

一种照片的智能管理方法及装置
技术领域
本发明涉及照片管理领域，特别涉及一种照片的智能管理方法及装置。
背景技术
个人照片需要永久存储，以留下生活中美好的回忆记录。目前获取照片的途径很多，手机、IPD、电话手表、相机均能拍摄照片，随着具有拍摄功能的终端设备越来越多，照片的存储管理变得越来越重要，多个终端均存储有照片，照片的查找也变得越来越不容易。一旦终端内存不够或者是损坏的情况下，照片的迁移更是给照片的存储管理带来更多的风险。，当前的U盘、硬盘和NAS管理照片的方法和装置都无法满足日益增长的照片管理的需求，存在多个U盘或多个移动硬盘上的照片使得查找和管理照片更加困难。
公有云盘可以将多个手机或照相机拍的照片的同步、存储到云端，但照片的私密性无法保证，而且云盘存储采用付费制，成本太高，一旦云服务停止，大量照片的迁移更是一个严峻的挑战。
发明内容
本发明的主要目的是提出一种照片的智能管理方法，旨在克服以上问题。
为实现上述目的，本发明公开了一种照片的智能管理方法，包括如下步骤：
S10接收各个终端上传的照片；
S20在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
S30根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；
S40根据拍摄信息和图像对象标识生成照片数据库的查询调用。
优选地，所述S10之后，所述S20之前还包括：
S50去重处理：每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、场景识别模型及实物识别模型，所述S30具体为：
S301将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
S302将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
S303将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组。
优选地，所述人物聚类模型包括人脸聚类器、分类器和至少两个人脸识别子模型，所述S301包括：
S3011将照片输入人脸识别模型，采用至少两个预先训练好的人脸识别子模型对照片进行交叉检测，以检测是否具有人脸图像；
S3012若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
S3013根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
S3014将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
S3015若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
S3016若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识。
优选地，所述S301还包括如下步骤：
S3017接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
优选地，所述S30还包括S304，具体如下：
输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。
本发明还公开了一种照片的智能管理装置，本装置包括：
接收模块，用于接收各个终端上传的照片；
第一写入模块，用于在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
第二写入模块，用于根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；
生成模块，用于由照片的拍摄信息数据和图像对象的标识数据生成照片数据库的查询调用。
优选地，还包括：
去重模块，用于每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、人场景识别模型及实物识别模型，所述第二写入模块包括：
人脸识别子模块，用于将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
场景识别子模块，用于将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
实物识别子模块，用于将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组；
学习子模块，用于输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。
优选地，所述人脸识别子模块包括：
人脸检测单元，用于将照片输入人脸识别模型，采用至少两个预先训练好的人脸检测模型对照片进行交叉检测，以检测是否具有人脸图像；
第一获取单元，用于若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
第二获取单元，用于根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
聚类单元，用于将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
分类识别单元，用于若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
生成单元，用于若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识；
更正单元，用于接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
本发明通过在照片数据库生成图像对象标识的照片组和拍摄信息的照片组，再由图像对象标识与照片的拍摄信息生成照片数据库的查询调用，用户可通过按时间、地点、人物、场景、实物等信息更快捷方便地查询照片数据库，提高用户体验；图像对象标识由深度学习神经网络进行图像识别、聚类和分类提取，具有较高的照片识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明照片的智能管理方法一实施例的方法流程图；
图2为本发明照片的智能管理方法另一实施例的方法流程图；
图3为所述S30一实施例的方法流程图；
图4为所述S301一实施例的方法流程图；
图5为所述S301另一实施例的方法流程图；
图6为所述S30另一实施例的方法流程图；
图7为本发明照片的智能管理装置一实施例的功能模块图；
图8为本发明照片的智能管理装置另一实施例的功能模块图；
图9为所述第二写入模块一实施例的功能细化图；
图10为所述人脸识别子模块一实施例的功能细化图，
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明公开了一种照片的智能管理方法，包括如下步骤：
S10接收各个终端上传的照片；
S20在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
S30根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；
S40根据拍摄信息和图像对象标识生成照片数据库的查询调用。
在本发明实施例中，本发明通过集合接收各个终端上传的照片，再对照片统一进行存储管理，具体存储管理方法通过提取照片的拍摄信息和图像对象标识分别写入照片数据库生成查询调用，这样用户可以随时在任意终端按时间、地点、人物、场景或实物等标识查询到对应的照片组。应用场景：与各个终端建立P2P对等网络连接，各个终端如手机、移动硬盘、个人PC、IPD等等，均可通过P2P对等网络上传照片，通过本发明的方法对各个终端的照片智能化地统一管理。
优选地，所述S10之后，所述S20之前还包括：
S50去重处理：每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
在本发明实施例中，本发明进一步地在照片存储管理上增添了去重处理，对每张上传照片对应生成一个散列函数MD5，若出现相同的MD5，表示照片有重复或过于相似，则停止照片继续上传，节省照片存储的冗余空间。
优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、场景识别模型及实物识别模型，所述S30具体为：
S301将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
S302将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
S303将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组。
优选地，所述人物聚类模型包括人脸聚类器、分类器和至少两个人脸识别子模型，所述S301包括：
S3011将照片输入人脸识别模型，采用至少两个预先训练好的人脸识别子模型对照片进行交叉检测，以检测是否具有人脸图像；
S3012若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
S3013根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
S3014将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
S3015若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
S3016若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识。
优选地，所述S301还包括如下步骤：
S3017接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
在本发明实施例中，本发明的深度学习神经网络具有AI人工智能分析功能，照片输入人脸识别模型，对照片上是否有人脸进行检测，人脸识别模型预先训练好的人脸模型，若检测到人脸的照片，将人脸标识及人脸图片写入照片数据库。优选地，采用两种以上的人脸识别子模型进行交叉检测降低对人脸的误判，提高人脸的识别精度。
人脸图像传至人物聚类模型进行聚类、分类，完成后人物分类标识写入照片数据库。当已聚类的该人脸图像数量超过一定数量时，启动小数据训练对此人脸生成一个人脸分类顺，以后每张新的人脸都要经过已有的人脸分类器来进行识别，无法识别或匹配的人脸照片将累积到聚类器，重新进行聚类，发现新的人脸类别及标识。若用户发现查询照片分错，手动更改照片的图像对象标识，比如合并不同人物分类标识的相同人物，或移动分错的照片等，若某个人脸标识的数量增加或减少时，系统会对人脸分类器自动进行再训练学习，改进人脸分类器，以进一步提高识别精度。
对于照片的场景识别，场景识别模型是预先通过深度学习神经网络系统训练好的，按预设的场景模型对照片进行分析处理，给出场景相似度，视相似度最高的场景标记为照片的场景标识，如海滩、塔、球场等，并将照片归入场景标识的照片组，在照片数据库生成新的照片组。
对于照片的实物识别，实物分为无生命物、动物和植物，实物识别模型预先训练好的模型，用户可以选择进行指定实物的识别，识别出的实物标识会自动写入照片数据库。
优选地，所述S30还包括S304，具体如下：
输入人脸新样本至深度学习神经网络进行神经网络学习，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，将其加入实物识别模型形成新的实物识别模型。
在本发明实例中，深度学习神经网络还具有自学习的功能，输入人脸新样本、场景新样本或实物新样本后，进行神经网络自学习，生成新的识别模型，用户激活新生成的识别模型，对照片进行识别，识别后的标识将写入照片数据库以供查询。
本发明还公开了一种照片的智能管理装置，用于实现上述方法，采用了上述全部实施例，故不再累述，本装置包括：
接收模块10，用于接收各个终端上传的照片；
第一写入模块20，用于在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
第二写入模块30，用于根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；
生成模块40，用于由照片的拍摄信息数据和图像对象的标识数据生成照片数据库的查询调用。
优选地，还包括：
去重模块50，用于每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、人场景识别模型及实物识别模型，所述第二写入模块30包括：
人脸识别子模块301，用于将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
场景识别子模块302，用于将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
实物识别子模块303，用于将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组；
学习子模块304，用于输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。
优选地，所述人脸识别子模块301包括：
人脸检测单元3011，用于将照片输入人脸识别模型，采用至少两个预先训练好的人脸检测模型对照片进行交叉检测，以检测是否具有人脸图像；
第一获取单元3012，用于若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
第二获取单元3013，用于根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
聚类单元3014，用于将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
分类识别单元3015，用于若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
生成单元3016，用于若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识；
更正单元3017，用于接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种照片的智能管理方法，其特征在于，包括如下步骤：
S10接收各个终端上传的照片；
S20提取照片的拍摄信息，在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
S30将照片传送至深度学习神经网络识别、聚类及分灰，并对照片的图像对象进行标识，在照片数据库生成具有图像对象标识的照片组，其中图像对象标识至少包括人脸分类标识、场景识别标识和实物识别标识；
S40根据拍摄信息和图像对象标识生成照片数据库的查询调用。
2.如权利要求1所述的照片的智能管理方法，其特征在于，所述S10之后，所述S20之前还包括：
S50去重处理：每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
3.如权利要求1所述的照片的智能管理方法，其特征在于，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、场景识别模型及实物识别模型，所述S30具体为：
S301将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
S302将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
S303将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组。
4.如权利要求3所述的照片的智能管理方法，其特征在于，所述人物聚类模型包括人脸聚类器、分类器和至少两个人脸识别子模型，所述S301包括：
S3011将照片输入人脸识别模型，采用至少两个预先训练好的人脸识别子模型对照片进行交叉检测，以检测是否具有人脸图像；
S3012若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
S3013根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
S3014将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
S3015若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
S3016若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识。
5.如权利要求4所述的照片的智能管理方法，其特征在于，所述S301还包括如下步骤：
S3017接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
6.如权利要求3所述的照片的智能管理方法，其特征在于，所述S30还包括S304，具体如下：
输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。
7.一种照片的智能管理装置，其特征在于，包括：
接收模块，用于接收各个终端上传的照片；
第一写入模块，用于在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；
第二写入模块，用于根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；
生成模块，用于由照片的拍摄信息数据和图像对象的标识数据生成照片数据库的查询调用。
8.如权利要求7所述的照片的智能管理方法，其特征在于，还包括：
去重模块，用于每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。
9.如权利要求7所述的照片的智能管理方法，其特征在于，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、人场景识别模型及实物识别模型，所述第二写入模块包括：
人脸识别子模块，用于将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；
场景识别子模块，用于将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；
实物识别子模块，用于将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组；
学习子模块，用于输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，
或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，
或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。
10.如权利要求9所述的照片的智能管理方法，其特征在于，所述人脸识别子模块包括：
人脸检测单元，用于将照片输入人脸识别模型，采用至少两个预先训练好的人脸检测模型对照片进行交叉检测，以检测是否具有人脸图像；
第一获取单元，用于若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；
第二获取单元，用于根据人脸相似度获取人脸图像的确认指令，更新照片数据库；
聚类单元，用于将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；
分类识别单元，用于若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；
生成单元，用于若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识；
更正单元，用于接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：
若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；
若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。
CN201910244766.7A 2019-03-28 2019-03-28 一种照片的智能管理方法及装置 Expired - Fee Related CN110046266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244766.7A CN110046266B (zh) 2019-03-28 2019-03-28 一种照片的智能管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244766.7A CN110046266B (zh) 2019-03-28 2019-03-28 一种照片的智能管理方法及装置

Publications (2)

Publication Number Publication Date
CN110046266A true CN110046266A (zh) 2019-07-23
CN110046266B CN110046266B (zh) 2021-11-02

Family

ID=67275477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244766.7A Expired - Fee Related CN110046266B (zh) 2019-03-28 2019-03-28 一种照片的智能管理方法及装置

Country Status (1)

Country Link
CN (1) CN110046266B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163170A (zh) * 2019-12-31 2020-05-15 上海博泰悦臻电子设备制造有限公司 照片分享方法、系统及服务器
CN111221994A (zh) * 2020-01-15 2020-06-02 深圳壹账通智能科技有限公司 基于人脸识别的照片管理方法及照片管理装置
CN111491136A (zh) * 2020-04-23 2020-08-04 盈多伙伴（北京）科技有限公司 一种影像传输系统和方法
CN112199546A (zh) * 2020-12-04 2021-01-08 浙江聚欣科技有限公司 照片存储管理系统及方法
CN112507154A (zh) * 2020-12-22 2021-03-16 哈尔滨师范大学 一种信息处理装置
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113157956A (zh) * 2021-04-23 2021-07-23 雅马哈发动机（厦门）信息系统有限公司 图片搜索方法、系统、移动终端及存储介质
CN113382204A (zh) * 2021-05-22 2021-09-10 特斯联科技集团有限公司 一种消防隐患智能处理方法和装置
WO2022057773A1 (zh) * 2020-09-15 2022-03-24 华为技术有限公司 图像存储的方法、装置、计算机设备和存储介质
CN114625710A (zh) * 2022-05-12 2022-06-14 深圳市巨力方视觉技术有限公司 一种可调取历史数据进行识别的视觉集成系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
US20130101181A1 (en) * 2011-10-19 2013-04-25 Primax Electronics Ltd. Photo sharing system with face recognition function
CN104572905A (zh) * 2014-12-26 2015-04-29 小米科技有限责任公司 照片索引创建方法、照片搜索方法及装置
CN105608425A (zh) * 2015-12-17 2016-05-25 小米科技有限责任公司 对照片进行分类存储的方法及装置
CN108733807A (zh) * 2018-05-18 2018-11-02 北京小米移动软件有限公司 查找照片的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
US20130101181A1 (en) * 2011-10-19 2013-04-25 Primax Electronics Ltd. Photo sharing system with face recognition function
CN104572905A (zh) * 2014-12-26 2015-04-29 小米科技有限责任公司 照片索引创建方法、照片搜索方法及装置
CN105608425A (zh) * 2015-12-17 2016-05-25 小米科技有限责任公司 对照片进行分类存储的方法及装置
CN108733807A (zh) * 2018-05-18 2018-11-02 北京小米移动软件有限公司 查找照片的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王启同: "深度学习在人脸识别中的应用和发展", 《科技经济导刊》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124636B (zh) * 2019-12-31 2022-05-24 海信集团有限公司 冰箱
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN111163170A (zh) * 2019-12-31 2020-05-15 上海博泰悦臻电子设备制造有限公司 照片分享方法、系统及服务器
CN111221994A (zh) * 2020-01-15 2020-06-02 深圳壹账通智能科技有限公司 基于人脸识别的照片管理方法及照片管理装置
WO2021212631A1 (zh) * 2020-04-23 2021-10-28 盈多伙伴（北京）科技有限公司 一种影像传输系统和方法
CN111491136A (zh) * 2020-04-23 2020-08-04 盈多伙伴（北京）科技有限公司 一种影像传输系统和方法
WO2022057773A1 (zh) * 2020-09-15 2022-03-24 华为技术有限公司 图像存储的方法、装置、计算机设备和存储介质
CN112199546A (zh) * 2020-12-04 2021-01-08 浙江聚欣科技有限公司 照片存储管理系统及方法
CN112507154B (zh) * 2020-12-22 2022-02-11 哈尔滨师范大学 一种信息处理装置
CN112507154A (zh) * 2020-12-22 2021-03-16 哈尔滨师范大学 一种信息处理装置
CN113157956A (zh) * 2021-04-23 2021-07-23 雅马哈发动机（厦门）信息系统有限公司 图片搜索方法、系统、移动终端及存储介质
CN113382204A (zh) * 2021-05-22 2021-09-10 特斯联科技集团有限公司 一种消防隐患智能处理方法和装置
CN114625710A (zh) * 2022-05-12 2022-06-14 深圳市巨力方视觉技术有限公司 一种可调取历史数据进行识别的视觉集成系统

Also Published As

Publication number Publication date
CN110046266B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110046266A (zh) 一种照片的智能管理方法及装置
KR102063037B1 (ko) 신원 인증 방법, 단말기 장치 및 컴퓨터 판독 가능한 저장 매체
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
CN112069929B (zh) 一种无监督行人重识别方法、装置、电子设备及存储介质
US9514356B2 (en) Method and apparatus for generating facial feature verification model
CN109190561B (zh) 一种视频播放中的人脸识别方法及系统
CN116935447B (zh) 基于自适应师生结构的无监督域行人重识别方法及系统
Chakraborty et al. Automatic student attendance system using face recognition
CN110070043A (zh) 一种基于人脸识别的驾培管理系统及方法
CN108363771B (zh) 一种面向公安侦查应用的图像检索方法
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
Liu et al. Person reidentification by joint local distance metric and feature transformation
Singh et al. Efficient face identification and authentication tool for biometric attendance system
Nguyen et al. Automated attendance system in the classroom using artificial intelligence and internet of things technology
CN110443577A (zh) 一种基于人脸识别的校园考勤系统
Soltane et al. A smart system to detect cheating in the online exam
Rajput et al. Attendance Management System using Facial Recognition
Gupta et al. Harnessing Diversity in Face Recognition: A Voting and Bagging Ensemble Approach
Kesharwani et al. Automated Attendance System Using Computer Vision
CN110490950B (zh) 图像样本生成方法、装置、计算机设备和存储介质
CN114627534A (zh) 活体判别方法及电子设备、存储介质
Zhu et al. Online and Offline Integration of Smart Educational Monitoring System based on Face Recognition Smart Sign-in Devices
Alqudah et al. Biometric-based smart attendance management system using face recognition and authentication
Chen et al. Deep square similarity learning for person re-identification in the Edge Computing System
CN116543415A (zh) 身份识别方法、装置、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210525

Address after: 518064 1601-1602, Shenzhen Bay venture capital building, 25 Haitian 2nd Road, Binhai community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Amethyst Storage Technology Co.,Ltd.

Address before: 514781 in Guangzhou (Meizhou) industrial transfer park, Yujiang Town, Meixian County, Meizhou City, Guangdong Province

Applicant before: GUANGDONG AMETHYST INFORMATION STORAGE TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211102