CN112613503B - 图片类型识别方法及装置 - Google Patents

图片类型识别方法及装置 Download PDF

Info

Publication number
CN112613503B
CN112613503B CN202011324393.3A CN202011324393A CN112613503B CN 112613503 B CN112613503 B CN 112613503B CN 202011324393 A CN202011324393 A CN 202011324393A CN 112613503 B CN112613503 B CN 112613503B
Authority
CN
China
Prior art keywords
score
picture
classified
preset
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011324393.3A
Other languages
English (en)
Other versions
CN112613503A (zh
Inventor
路浩南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202011324393.3A priority Critical patent/CN112613503B/zh
Publication of CN112613503A publication Critical patent/CN112613503A/zh
Application granted granted Critical
Publication of CN112613503B publication Critical patent/CN112613503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图片类型识别方法及装置，该方法包括：将待分类图片输入到预先训练好的目标检测模型输出识别结果；识别结果包括待分类图片中待识别目标物的类别及数量；待分类图片中每出现一个相应类型的待识别目标物则将分数变量增加相应的预设分数；分数变量的初始值为预设初始分数；根据分数变量的分数结果识别待分类图片的类型；不同类型的待分类图片，分数结果的交集为零。本发明提供的图片类型识别方法及装置，通过利用目标检测模型识别待分类图片中待识别目标物的种类及数量，根据待识别目标物的种类及数量对分数变量进行处理得到分数结果，根据分数结果得到待分类图片的类别，提高了图片分类的效率和准确率，并且提高了分类模型的鲁棒性。

Description

图片类型识别方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种图片类型识别方法及装置。
背景技术
多种应用场景都会有根据图片中目标物的情况判断图片类型的需求。传统方法通常是由各种类型的图片构成训练样本进行训练得到图像分类模型，根据图像分类模型对图片进行分类。但通常由于不同分类的图片间差别不大，从而使得图像分类模型的分类准确度较低。
比如，在出租房合规性判断中，需要对用户上传的室内图像中床铺数量与类型进行判断，如果图像中不含有床铺此类则为0类，包含一张床或两张床则为1类，包含三张床以上或包含上下铺则为2类，其中2类为违规群租房类别。因此2类图片是需要找出的最为关键的类别。
传统方法使用图像分类模型的方法进行类别的判断，但如果2类图片较少，会导致训练数据分布严重不均且不同类别间图像差别不大，也会对图像分类模型的准确分类造成很大的难度。
发明内容
针对现有技术存在的问题，本发明提供一种图片类型识别方法及装置。
本发明提供一种图片类型识别方法，包括：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
根据本发明提供的一种图片类型识别方法，所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍。
根据本发明提供的一种图片类型识别方法，N取值为3。
根据本发明提供的一种图片类型识别方法，所述第一预设分数为0，所述第二预设分数为1，所述第三预设分数为3。
根据本发明提供的一种图片类型识别方法，所述待分类图片包括房源图片，所述待识别目标物包括床铺，所述第一类别为无床铺、所述第二类别为单床、所述第三类别为上下床；若所述分数结果等于所述第一预设分数，则所述待分类图片的类型为不含床铺；若所述分数结果大于所述第一预设分数且小于所述第三预设分数，则所述待分类图片的类型为包含一张或两张单床；若所述分数结果大于或等于所述第三预设分数，则所述待分类图片的类型为至少包含三张单床或包含上下铺。
根据本发明提供的一种图片类型识别方法，所述方法还包括：在所述待分类图片的类型为至少包含三张床或包含上下铺时，输出所述待分类图片不合规的提示信息。
根据本发明提供的一种图片类型识别方法，在所述将待分类图片输入到预先训练好的目标检测模型之前，所述方法还包括：获取包括单床和/或上下铺的样本图片，对所述样本图片中的所述单床和/或所述上下铺进行标注后，以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型，从而得到所述目标检测模型。
根据本发明提供的一种图片类型识别方法，在所述以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型之前，所述方法还包括：对至少包含三张床或包含上下铺的所述样本图片进行数据增广，所述数据增广包括对所述样本图片进行旋转。
本发明还提供一种图片类型识别装置，包括：目标检测模块，用于：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；分数处理模块，用于：根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；图片类型识别模块，用于：根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
根据本发明提供的一种图片类型识别装置，所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍。
根据本发明提供的一种图片类型识别装置，N取值为3。
根据本发明提供的一种图片类型识别装置，所述第一预设分数为0，所述第二预设分数为1，所述第三预设分数为3。
根据本发明提供的一种图片类型识别装置，所述待分类图片包括房源图片，所述待识别目标物包括床铺，所述第一类别为无床铺、所述第二类别为单床、所述第三类别为上下床；若所述分数结果等于所述第一预设分数，则所述待分类图片的类型为不含床铺；若所述分数结果大于所述第一预设分数且小于所述第三预设分数，则所述待分类图片的类型为包含一张或两张单床；若所述分数结果大于或等于所述第三预设分数，则所述待分类图片的类型为至少包含三张单床或包含上下铺。
根据本发明提供的一种图片类型识别装置，所述图片类型识别模块还用于：在所述待分类图片的类型为至少包含三张床或包含上下铺时，输出所述待分类图片不合规的提示信息。
根据本发明提供的一种图片类型识别装置，所述装置还包括训练模块，所述训练模块用于在所述目标检测模块用于将待分类图片输入到预先训练好的目标检测模型之前，用于：获取包括单床和/或上下铺的样本图片，对所述样本图片中的所述单床和/或所述上下铺进行标注后，以标注前的所述样本图片作为输入、以标注后的所述样本图片作为输出训练EfficientDet模型，从而得到所述目标检测模型。
根据本发明提供的一种图片类型识别装置，所述训练模块在所述以标注前的所述样本图片作为输入、以标注后的所述样本图片作为输出训练EfficientDet模型之前，还用于：对至少包含三张床或包含上下铺的所述样本图片进行数据增广，所述数据增广包括对所述样本图片进行旋转。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图片类型识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图片类型识别方法的步骤。
本发明提供的图片类型识别方法及装置，通过利用目标检测模型识别待分类图片中待识别目标物的种类及数量，根据待识别目标物的种类及数量对分数变量进行处理得到分数结果，根据分数结果得到待分类图片的类别，提高了图片分类的效率和准确率，并且提高了分类模型的鲁棒性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图片类型识别方法的流程示意图之一；
图2是本发明提供的图片类型识别方法的流程示意图之二；
图3是本发明提供的图片类型识别方法的床铺数据标注样本示意图；
图4是本发明提供的图片类型识别方法的床铺数据增强样本示意图；
图5是本发明提供的图片类型识别方法的床铺检测结果示意图；
图6是本发明提供的图片类型识别装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明的图片类型识别方法及装置。
图1是本发明提供的图片类型识别方法的流程示意图之一。如图1所示，所述方法包括：
步骤101、将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量。
目标检测模型可以以标注好待识别目标物的图片作为输入，以待识别目标物的类别作为输出进行训练，由此，通过目标检测模型可以识别出图片中的待识别目标物。因此，将待分类图片输入到预先训练好的目标检测模型后，目标检测模型输出待分类图片的识别结果，这个识别结果包括待分类图片中待识别目标物的类别及每种类别的待识别目标物的数量。
步骤102、根据所述识别结果进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数。
得到待分类图片的识别结果后，根据识别结果进行分数处理。分数处理包括对分数变量进行处理，这个分数变量有一个预设初始分数。分数处理依据识别结果中待识别目标物的情况进行。具体可以是待分类图片中每出现相应类型的待识别目标物则将分数变量增加相应的预设分数，比如，待分类图片中每出现一个第一类型的待识别目标物，则分数变量增加第一预设分数，待分类图片中每出现一个第二类型的待识别目标物，则分数变量增加第二预设分数，……待分类图片中每出现一个第M类型的待识别目标物，则分数变量增加第M预设分数。可以在待识别目标物的种类及数量均识别完成后，再对分数变量进行处理；也可检测到一个待识别目标物立即对分数变量进行处理。
步骤103、根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
根据分数处理完成后分数变量的分数结果识别待分类图片的类型。其中，分数变量的分数结果是指根据待分类图片中待识别目标物的类别及数量进行分数处理完成后分数变量的取值。其中，对于待分类的不同类型的待分类图片，分数结果的交集为零。也即，通过分数结果的情况可以对待分类图片进行识别。
具体地，待分类图片、待分类图片中的待识别目标物以及待分类图片的分类情况可以根据需要而定，对于每种类别的待识别目标物对应的预设分数也可以进行相应的设置，只要满足不同类型的分类图片对应的分数结果之间不具有交集即可。
本发明提供的图片类型识别方法通过利用目标检测模型识别待分类图片中待识别目标物的种类及数量，根据待识别目标物的种类及数量对分数变量进行处理得到分数结果，根据分数结果得到待分类图片的类别，提高了图片分类的效率和准确率，并且提高了分类模型的鲁棒性。
根据本发明提供的一种图片类型识别方法，所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍。
待识别目标物的类别包括第一类别、第二类别和第三类别。第一类别的待识别目标物对应的预设分数为第一预设分数，第二类别的待识别目标物对应的预设分数为第二预设分数，第三类别的待识别目标物对应的预设分数为第三预设分数。即若待分类图片中每出现一个第一类别的待识别目标物，则对分数变量增加第一预设分数；若待分类图片中每出现一个第二类别的待识别目标物，则对分数变量增加第二预设分数；若待分类图片中每出现一个第三类别的待识别目标物，则对分数变量增加第三预设分数。
设置第三预设分数是第二预设分数为N倍的原因在于：预设初始分数为0的情况下，若出现N个A则认为和出现B是一类图片的话，设置为第三预设分数为第二预设分数的N倍，则能够保证第三类别的待分类图片对应的分数结果大于第二类别的待分类图片对应的分类结果，由此，可以对第二类别和第三类别的待分类图片进行有效区分。其中，N为大于等于2的整数。设置为第一预设分数小于第二预设分数的机理在于，第一类别的待分类图片对应的是不出现A及B，则此时只有一种可能，设置第一预设分数小于第二预设分数则能够保证第一类别的待分类图片对应的分数结果小于第二类别的待分类图片对应的分数结果，由此进一步实现对于第一类别的待分类图片和第二类别及第三类别的待分类图片的区分。
因此，本发明提供的图片类型识别方法通过给出预设初始分数为0，第一预设分数小于第二预设分数，第三预设分数是第二预设分数的N倍，可以对图片中不包含A及B，图片中包含1至N-1个A以及图片中包含N个A或包含B的图片进行有效分类。
根据本发明提供的一种图片类型识别方法，N取值为3。
令预设初始分数为0，且第一预设分数小于第二预设分数，第三预设分数是第二预设分数的3倍。此时可以对如下的图片类型进行识别：图片中不包含A及B，图片中包含一个或两个A，图片中至少包含三个A或包含B。其中，不包含A及B(也即A及B不出现)可以认为是第一类型的待识别目标物，A可以认为是第二类型的待识别目标物，B可以认为是第三类型的待识别目标物。比如，第一预设分数为1，第二预设分数为2，第三预设分数为6，则若待分类图片中不包含A及B，则分数结果为0+1＝1；若待分类图片中包含一个A，则分数结果为0+2＝2，若待分类图片中包含两个A，则分数结果为0+2+2＝4；若待分类图片中只包含三个A，则分数结果为0+2+2+2＝6；若待分类图片中只包含B，则分数结果为0+6＝6。因此，若图片中不包含A及B，分数结果为1，若图片中包含一个或两个A，分数结果为2或4，若图片中只包含三个A或只包含B，分数结果为6；若图片中包含更多A或更多B，则分数结果的值更大。因此，根据分数结果的情况便可以对上述三种类型的图片进行识别。
本发明提供的图片类型识别方法通过给出预设初始分数为0，第一预设分数小于第二预设分数，第三预设分数是第二预设分数的3倍，可以对图片中不包含A及B，图片中包含一个或两个A以及图片中包含三个A或包含B的图片进行有效分类。根据本发明提供的一种图片类型识别方法，所述第一预设分数为0，所述第二预设分数为1，所述第三预设分数为3。
在满足第一预设分数小于第二预设分数，第三预设分数是第二预设分数的3倍的基础上，本发明中设置第一预设分数为0，第二预设分数为1，第三预设分数为3，可以有效地简化计算。
比如，若图片中不包含A及B，则分数结果为0+0＝0；若图片中包含一个A，则分数结果为0+1＝1，若图片中包含两个A，则分数结果为0+1+1＝2；若图片中只包含三个A或只包含B，则分数结果为0+1+1+1＝3，或，0+3＝3；若图片中包含更多A或包含更多B，则分数结果的值更大。因此，根据分数结果为0，还是1或2，还是3，还是更大，可以有效简便地区分图片中不包含A及B，图片中包含一个或两个A以及图片中至少包含三个A或包含B的图片。
本发明提供的图片类型识别方法通过设置第一预设分数为0，第二预设分数为1，第三预设分数为3，可以有效地简化计算。
根据本发明提供的一种图片类型识别方法，所述待分类图片包括房源图片，所述待识别目标物包括床铺，所述第一类别为无床铺、所述第二类别为单床、所述第三类别为上下床；若所述分数结果等于所述第一预设分数，则所述待分类图片的类型为不含床铺；若所述分数结果大于所述第一预设分数且小于所述第三预设分数，则所述待分类图片的类型为包含一张床或两张床；若所述分数结果大于或等于所述第三预设分数，则所述待分类图片的类型为至少包含三张床或包含上下铺。
在本实施例中，待分类图片是房源图片，待识别目标物为床铺。A为单床，B为上下床；因此，第一类别为不包含A及B，也即无床铺，第二类别为单床、第三类别为上下床。
在满足预设初始分数为0，且第一预设分数小于第二预设分数，第三预设分数是第二预设分数的3倍的条件下，若分数结果等于第一预设分数，则待分类图片的类型为不含床铺；若分数结果大于第一预设分数且小于第三预设分数，则待分类图片的类型为包含一张或两张单床；若分数结果大于或等于第三预设分数，则待分类图片的类型为至少包含三张单床或包含上下铺。
本发明提供的图片类型识别方法通过设置第一类别为无床铺、第二类别为单床、第三类别为上下床，并根据分数结果的情况确定无床铺、包含一张或两张单床以及至少包含三张单床或包含上下铺三种类别的房源图片，有效地实现了房源图片中床铺情况的识别。
根据本发明提供的一种图片类型识别方法，所述方法还包括：在所述待分类图片的类型为至少包含三张床或包含上下铺时，输出所述待分类图片不合规的提示信息。
一个室内空间若包含三张床以上或包含上下铺可以视为违规群租房的情况，需要将这种房源图片进行甄别。因此，在待分类图片的类型为至少包含三张床或包含上下铺时，可以输出待分类图片不合规的提示信息。
本发明提供的图片类型识别方法通过在待分类图片的类型为至少包含三张床或包含上下铺时，输出待分类图片不合规的提示信息，提高了实用性。
根据本发明提供的一种图片类型识别方法，在所述将待分类图片输入到预先训练好的目标检测模型之前，所述方法还包括：获取包括单床和/或上下铺的样本图片，对所述样本图片中的所述单床和/或所述上下铺进行标注后，以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型，从而得到所述目标检测模型。
使用目标检测的方法进行床铺目标的提取，并根据床铺目标的种类与数量对图片类别进行判断。本发明所采用的目标检测模型为EfficientDet模型，在许多数据集中EfficientDet模型均达到了SOTA的水平。此模型基于PANet进行改进，删除了FPN中只有一个输入边缘的节点，这样做是假设只有一个输入的节点相对不太重要，这样把PANet简化；相同level的输入和输出节点之间进行了连接，融合了更多的特征。
在训练目标检测模型时，获取包括单床和/或上下铺的样本图片，对样本图片中的单床和/或上下铺进行标注后，利用样本图片训练EfficientDet模型，从而得到目标检测模型。在利用样本图片训练EfficientDet模型时，可以加载使用Imagenet(包含成熟训练集)训练好的模型作为预加载模型，Imagenet训练可以使EfficientDet模型具备边缘检测能力，将样本图片输入到Imagenet训练好的EfficientDet模型中再针对特定物体的识别进行训练。
实验证明在相同的训练集中采用目标检测方法的方案各类别的分类正确率均高于传统方法的分类正确率，且F1值也明显高于传统方法10％。
本发明提供的图片类型识别方法通过获取包括单床和/或上下铺的样本图片，对样本图片中的单床和/或上下铺进行标注后，利用样本图片训练EfficientDet模型，从而得到目标检测模型，提高了对于房源图片中床铺类别的检测能力。
根据本发明提供的一种图片类型识别方法，在所述以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型之前，所述方法还包括：对至少包含三张床或包含上下铺的所述样本图片进行数据增广，所述数据增广包括对所述样本图片进行旋转。
由于至少包含三张床或包含上下铺的样本图片较少，造成了不同类别的图片的数量差异较大，不利于模型训练。因此，在利用样本图片训练EfficientDet模型之前，本发明提供的图片类型识别方法还包括：对至少包含三张床或包含上下铺的样本图片进行数据增广，数据增广包括对样本图片进行旋转，如包含三张床或包含上下铺的样本图片进行90度、180度或270度等的旋转，以增大样本。
本发明提供的图片类型识别方法通过对至少包含三张床或包含上下铺的样本图片进行数据增广，有利于模型的训练；并通过旋转进行数据增广，提高了数据增广的便利性。
图2是本发明提供的图片类型识别方法的流程示意图之二。图3是本发明提供的图片类型识别方法的床铺数据标注样本示意图。图4是本发明提供的图片类型识别方法的床铺数据增强样本示意图。图5是本发明提供的图片类型识别方法的床铺检测结果示意图。所述图片类型识别方法的步骤包括：
1、对床铺训练数据使用labelme(一种用于目标检测的标注工具)进行标注，标注原则从左上点开始顺时针标注，标注区域为尽量贴合床铺区域的矩形，单床标0，上下铺标1，标注结果如图3所示，从而生成训练集；
2、对训练集中包含上下铺的数据进行数据增强，分别顺时针旋转90度、180度、270度，从而扩充了3倍的上下铺样本，如图4所示；
3、将训练集输入到EfficientDet模型进行训练，输入的网络结构为EfficientNet-B1，加载使用Imagenet训练好的模型作为预加载模型，这样可以加速模型收敛，提高模型鲁棒性；训练得出不同的检测模型，以验证集中的效果为准进行modelselection(模型选择)，验证标准为计算验证集预测结果和真实结果的IOU值，其中IOU值是一种衡量目标检测准确度的指标，计算方式为“预测的边框”和“真实的边框”的交集和并集的比值，IOU值越高说明检测模型越准；
4、将待识别的图片输入到检测模型中进行检测，检测结果的返回形式为床铺区域四个点的坐标[(x_1,y_1),(x_2,y_2),(x_3,y_3),(x_4,y_4)]以及床铺的类别‘bed’或者‘beds’，如图5所示；
5、使用目标映射脚本对图片返回的检测结果进行后处理，初始化分数为0，遍历检测结果中所有的床铺类别，如果类别为‘bed’，则分数进行加1操作，如果类别为‘beds’，则分数进行加3操作，如果未检测到床铺则不变，最后得到一张图片中所有床铺分数之和beds_score；
6、对beds_score进行判断，如果beds_score等于0则此图片归属为0类，如果beds_score大于0小于3则此图片归属为1类，如果beds_score大于等于3则此图片归属为2类。
针对传统方法分类正确率差，误检率高的问题本发明提出来一整套基于EfficientDet的出租房合规性判断方案。本发明方案的设计要点如下：
1、使用数据增广的方法对上下铺数据进行数据合成，丰富数据多样性；
2、使用数据训练EfficientDet目标检测模型，目标分为两类，上下铺与单床；
3、使用训练好的EfficientDet模型对输入图片进行检测，返回图片中床铺的数量与类别；
4、使用目标映射脚本(进行上述分数处理的脚本)对图片返回的结果进行后处理，得到图片所归属的类别。
下面对本发明提供的图片类型识别装置进行描述，下文描述的图片类型识别装置与上文描述的图片类型识别方法可相互对应参照。
图6是本发明提供的图片类型识别装置的结构示意图。如图6所示，所述装置包括目标检测模块10、分数处理模块20和图片类型识别模块30，其中：目标检测模块10用于：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；分数处理模块20用于：根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；图片类型识别模块30用于：根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
本发明提供的图片类型识别装置通过利用目标检测模型识别待分类图片中待识别目标物的种类及数量，根据待识别目标物的种类及数量对分数变量进行处理得到分数结果，根据分数结果得到待分类图片的类别，提高了图片分类的效率和准确率，并且提高了分类模型的鲁棒性。
根据本发明提供的一种图片类型识别装置，所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍。
本发明提供的图片类型识别装置通过给出预设初始分数为0，第一预设分数小于第二预设分数，第三预设分数是第二预设分数的N倍，可以对图片中不包含A及B，图片中包含一至N-1个A以及图片中包含N个A或包含B的图片进行有效分类。
根据本发明提供的图片类型识别方法，N取值为3。
本发明提供的图片类型识别装置通过给出预设初始分数为0，第一预设分数小于第二预设分数，第三预设分数是第二预设分数的3倍，可以对图片中不包含A及B，图片中包含一个或两个A以及图片中包含三个A或包含B的图片进行有效分类。
根据本发明提供的一种图片类型识别装置，所述第一预设分数为0，所述第二预设分数为1，所述第三预设分数为3。
本发明提供的图片类型识别装置通过设置第一预设分数为0，第二预设分数为1，第三预设分数为3，可以有效地简化计算。
根据本发明提供的一种图片类型识别装置，所述待分类图片包括房源图片，所述待识别目标物包括床铺，所述第一类别为无床铺、所述第二类别为单床、所述第三类别为上下床；若所述分数结果等于所述第一预设分数，则所述待分类图片的类型为不含床铺；若所述分数结果大于所述第一预设分数且小于所述第三预设分数，则所述待分类图片的类型为包含一张或两张单床；若所述分数结果大于或等于所述第三预设分数，则所述待分类图片的类型为至少包含三张单床或包含上下铺。
本发明提供的图片类型识别装置通过设置第一类别为无床铺、第二类别为单床、第三类别为上下床，并根据分数结果的情况确定无床铺、包含一张或两张单床以及至少包含三张单床或包含上下铺三种类别的房源图片，有效地实现了房源图片中床铺情况的识别。
根据本发明提供的一种图片类型识别装置，图片类型识别模块30还用于：在所述待分类图片的类型为至少包含三张床或包含上下铺时，输出所述待分类图片不合规的提示信息。
本发明提供的图片类型识别装置通过在待分类图片的类型为至少包含三张床或包含上下铺时，输出待分类图片不合规的提示信息，提高了实用性。
根据本发明提供的一种图片类型识别装置，所述装置还包括训练模块，所述训练模块用于在所述目标检测模块10用于将待分类图片输入到预先训练好的目标检测模型之前，用于：获取包括单床和/或上下铺的样本图片，对所述样本图片中的所述单床和/或所述上下铺进行标注后，以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型，从而得到所述目标检测模型。
本发明提供的图片类型识别装置通过获取包括单床和/或上下铺的样本图片，对样本图片中的单床和/或上下铺进行标注后，利用样本图片训练EfficientDet模型，从而得到目标检测模型，提高了对于房源图片中床铺类别的检测能力。
根据本发明提供的一种图片类型识别装置，所述训练模块在所述以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型之前，还用于：对至少包含三张床或包含上下铺的所述样本图片进行数据增广，所述数据增广包括对所述样本图片进行旋转。
本发明提供的图片类型识别装置通过对至少包含三张床或包含上下铺的样本图片进行数据增广，有利于模型的训练；并通过旋转进行数据增广，提高了数据增广的便利性。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行图片类型识别方法，该方法包括：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图片类型识别方法，该方法包括：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图片类型识别方法，该方法包括：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图片类型识别方法，其特征在于，包括：
将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；
根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；
根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零；所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍；其中，出现N个所述第二类别的所述待识别目标物和出现所述第三类别的所述待识别目标物属于一类图片。
2.根据权利要求1所述的图片类型识别方法，其特征在于，N取值为3。
3.根据权利要求2所述的图片类型识别方法，其特征在于，所述第一预设分数为0，所述第二预设分数为1，所述第三预设分数为3。
4.根据权利要求2或3所述的图片类型识别方法，其特征在于，所述待分类图片包括房源图片，所述待识别目标物包括床铺，所述第一类别为无床铺、所述第二类别为单床、所述第三类别为上下床；
若所述分数结果等于所述第一预设分数，则所述待分类图片的类型为不含床铺；若所述分数结果大于所述第一预设分数且小于所述第三预设分数，则所述待分类图片的类型为包含一张或两张单床；若所述分数结果大于或等于所述第三预设分数，则所述待分类图片的类型为至少包含三张单床或包含上下铺。
5.根据权利要求4所述的图片类型识别方法，其特征在于，所述方法还包括：
在所述待分类图片的类型为至少包含三张床或包含上下铺时，输出所述待分类图片不合规的提示信息。
6.根据权利要求4所述的图片类型识别方法，其特征在于，在所述将待分类图片输入到预先训练好的目标检测模型之前，所述方法还包括：
获取包括单床和/或上下铺的样本图片，对所述样本图片中的所述单床和/或所述上下铺进行标注后，以标注前的所述样本图片作为输入，以标注后的所述样本图片作为输出训练EfficientDet模型，从而得到所述目标检测模型。
7.一种图片类型识别装置，其特征在于，包括：
目标检测模块，用于：将待分类图片输入到预先训练好的目标检测模型，以供所述目标检测模型输出所述待分类图片的识别结果；所述识别结果包括所述待分类图片中待识别目标物的类别及每种类别的所述待识别目标物的数量；
分数处理模块，用于：根据所述识别结果对所述待分类图片进行分数处理；其中，所述分数处理包括所述待分类图片中每出现一个相应类型的所述待识别目标物则将分数变量增加相应的预设分数；其中，所述分数变量的初始值为预设初始分数；
图片类型识别模块，用于：根据所述分数处理完成后所述分数变量的分数结果识别所述待分类图片的类型；其中，对于不同类型的所述待分类图片，所述分数结果的交集为零；
所述待识别目标物的类别包括第一类别、第二类别和第三类别；所述第一类别的所述待识别目标物对应的所述预设分数为第一预设分数，所述第二类别的所述待识别目标物对应的所述预设分数为第二预设分数，所述第三类别的所述待识别目标物对应的所述预设分数为第三预设分数；所述预设初始分数为0，且所述第一预设分数小于所述第二预设分数，所述第三预设分数是所述第二预设分数的N倍；其中，出现N个所述第二类别的所述待识别目标物和出现所述第三类别的所述待识别目标物属于一类图片。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图片类型识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述图片类型识别方法的步骤。
CN202011324393.3A 2020-11-23 2020-11-23 图片类型识别方法及装置 Active CN112613503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324393.3A CN112613503B (zh) 2020-11-23 2020-11-23 图片类型识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324393.3A CN112613503B (zh) 2020-11-23 2020-11-23 图片类型识别方法及装置

Publications (2)

Publication Number Publication Date
CN112613503A CN112613503A (zh) 2021-04-06
CN112613503B true CN112613503B (zh) 2023-06-16

Family

ID=75225012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324393.3A Active CN112613503B (zh) 2020-11-23 2020-11-23 图片类型识别方法及装置

Country Status (1)

Country Link
CN (1) CN112613503B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备
CN109858569A (zh) * 2019-03-07 2019-06-07 中国科学院自动化研究所 基于目标检测网络的多标签物体检测方法、系统、装置
CN110111344A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 病理切片图像分级方法、装置、计算机设备和存储介质
CN110796141A (zh) * 2019-10-21 2020-02-14 腾讯科技（深圳）有限公司 目标检测方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备
CN109858569A (zh) * 2019-03-07 2019-06-07 中国科学院自动化研究所 基于目标检测网络的多标签物体检测方法、系统、装置
CN110111344A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 病理切片图像分级方法、装置、计算机设备和存储介质
CN110796141A (zh) * 2019-10-21 2020-02-14 腾讯科技（深圳）有限公司 目标检测方法及相关设备

Also Published As

Publication number Publication date
CN112613503A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
Singh et al. Image classification: a survey
CN105574550A (zh) 一种车辆识别方法及装置
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN107203775A (zh) 一种图像分类的方法、装置和设备
CN108268823A (zh) 目标再识别方法和装置
US10423817B2 (en) Latent fingerprint ridge flow map improvement
CN108009287A (zh) 一种基于对话系统的回答数据生成方法以及相关装置
Naqvi et al. Feature quality-based dynamic feature selection for improving salient object detection
CN111652145B (zh) 一种公式检测的方法、装置、电子设备和存储介质
CN111507332A (zh) 车辆vin码检测方法与设备
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
CN113870254A (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN112116592A (zh) 图像检测方法、图像检测模型的训练方法、装置和介质
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
Wei et al. Efficient robustness assessment via adversarial spatial-temporal focus on videos
CN110956157A (zh) 基于候选框选择的深度学习遥感影像目标检测方法及装置
CN111803956B (zh) 游戏外挂行为的确定方法、装置、电子设备及存储介质
CN106355066A (zh) 人脸验证方法及人脸验证装置
CN112613503B (zh) 图片类型识别方法及装置
CN112989312A (zh) 验证码的识别方法、装置、电子设备和存储介质
CN111753731A (zh) 人脸质量评估方法、装置和系统以及人脸质量评估模型的训练方法
CN116189063A (zh) 一种用于智能视频监控的关键帧优化方法及装置
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant