CN110852172B - 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 - Google Patents

一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 Download PDF

Info

Publication number
CN110852172B
CN110852172B CN201910978164.4A CN201910978164A CN110852172B CN 110852172 B CN110852172 B CN 110852172B CN 201910978164 A CN201910978164 A CN 201910978164A CN 110852172 B CN110852172 B CN 110852172B
Authority
CN
China
Prior art keywords
picture
scene
collage
data set
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910978164.4A
Other languages
English (en)
Other versions
CN110852172A (zh
Inventor
杨静
宁子鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910978164.4A priority Critical patent/CN110852172B/zh
Publication of CN110852172A publication Critical patent/CN110852172A/zh
Application granted granted Critical
Publication of CN110852172B publication Critical patent/CN110852172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

本发明公开了一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法，包括如下步骤：收集包含人的单张图片集和包含场景的单张图片集；把人的图片采用PS技术或深度学习模型提出，并且拼贴到包含场景的单张图片之中；采用Cycle Gan利用真实场景图片作为对抗数据集把拼贴得到的图片进行真实化处理；最终循环多次得到人群计数所需的图片数据集。本发明只需要选择对应的场景库和人群库，即可相应的生产大量自带标注数据的数据集。相对于其他方法工作量少而精炼，更加简单。

Description

一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集 的方法
技术领域
本发明涉及计算机视觉中人群计数领域，尤其涉及一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法。
背景技术
人群密度估计是当前计算机视觉领域的研究热点之一，具有非常广泛的应用，目前通过监控视频实现人群密度估计和准确人群计数是一个至关重要的任务，深度学习是一个由多个处理层组成的计算模型，它不需要人工标注各种特征，可以通过学习获得数据的多抽象层表示。
但是深度学习模型对数据的依赖性非常强，在数据集过小的情况下不能取得非常好的效果，目前在人群计数领域的数据集存在过小的问题。在现有的方法中，通常采用分割图片的方式或采用游戏模拟截图的方式。
发明内容
本发明的目的是提出一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法，该方法通过自动将包含人的图片拼贴到场景图片上，形成丰富多样的图片数据集，在真实性上采用Cycle Gan的方式形成靠近真实场景的图片。
实现本发明目的的具体技术方案是：
一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法，特点是该方法包括以下具体步骤：
步骤1：收集包含人的单张图片集及包含场景的单张图片集；
步骤2：将包含人的单张图片集中的多张图片采用普通图像提取算法或深度学习模型提取出，然后构建子场景判别网络即SDN；使用SDN在场景图片中选取拼贴位置进行拼贴；
步骤3：采用CycleGan，利用真实场景图片作为对抗数据集把拼贴得到的图片进行真实化处理；最终得到所述扩充人群计数数据集；其中：
所述构建子场景判别网络即SDN，是根据图片像素大小，动态的将图片平均划分为多张子图片，然后构建多层卷积网络，利用space-365这一公开数据集进行训练的网络，该网络能够判断子图片是否符合拼贴逻辑的场景图片。
所述符合拼贴逻辑是指不能在海水、天空、树木、车辆、设备或建筑的场景进行拼贴。
本发明所述步骤1中，收集包含人的单张图片，采用python爬虫技术从百度图片或者其它图片库中爬取，场景图片也通过相同的方式选取大型人口聚集区域图片。
本发明的有益效果在于：
本发明方法具有易行性，随着深度模型的越来越大，所需要的训练数据集也会越来越多。但是传统的数据集需要人工的标注，在密集场景下这一任务非常的艰难，而本发明只需要选择对应的场景库和人群库，即可相应的生产大量自带标注数据的数据集。相对于其他方法本方法工作量少而精炼，更加简单。
附图说明
图1为本发明的流程图；
图 2为本发明实施例的流程示意图。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
实施例
参阅图2，本实施例具体操作按下述步骤进行：
（1）、人的图片库和场景图片库的抓取和预处理
从公开图片网站上抓取对应的图片信息，并且筛选出其中不是人或者场景的无效图片。并且利用数字图像处理中边缘提取算法，或是利用深度学习模型，在复杂的情况下也可以利用PS等工具，最终得到单独包含人的图片。
同样，场景图片也可以在专门的网站上抓取。则本步骤可以得到场景和人群两个不同的图片数据集。
（2）、人物图片和场景图片的拼贴
主要内容是将人物图片符合逻辑的贴在场景图上，包含两点，一是场景中不同存在不符合的拼贴位置，比如天空，海水等等。二是在人数多的情况下，会存在摄影上称为透视的效果，既在图片中远处的人会比较小，而近处的人会显得比较大。
a)问题1：贴图位置符合场景中逻辑
采用子场景判别网络（SDN），对图片中区域进行识别，选取其中符合逻辑的区域进行拼贴。该网络的基本架构是VGG-16，在最初十层使用膨胀卷积获取图片中的特征，在其中另设一支引入了整张图片的上下文信息，最后利用一个全连接层输出。在预处理阶段将场景图片按照所拼贴的人物图片的大小进行均匀划分，输入划分后的图片。其创新点在于利用整张图片的场景信息作为额外输入，然后采用Attention机制对划分后的每一块子图片做指引可以得到更为准确的可用子场景。因为所需要拼贴的只有人，所以只需要利用SDN识别所划分出的子图片的场景上下文，然后采用space 365预训练好的模型，对子图片场景上下文进行分类。在其中预设陆地、广场等多个人可以站立的场景作为目标场景，通过训练好的模型来识别哪些是可以拼贴的。最终选取最有可能的位置进行拼贴。
b)问题2：贴图的透视效果
首先检测出图片的透视点的位置，即可按照从透视点由小到大拼贴图即可。找出透视点的位置可以先使用Canny边缘检测器提取亚像素精度的直线段。然后通过基础的级联霍夫变换。从线段中判断可能的透视点候选。当然这个效果可以从当前最新的研究进展中获得提升。
（3）、Cycle Gan图片真实化
利用Cycle Gan的方式将拼接的图片进行真实化，在图片拼接的过程中会存在透视，边缘粗糙等问题，将其与真实图片对抗生成后实际使用。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法，其特征在于，该方法包括以下具体步骤：
步骤1：收集包含人的单张图片集及包含场景的单张图片集；
步骤2：将包含人的单张图片集中的多张图片采用普通图像提取算法或深度学习模型提取出，然后构建子场景判别网络即SDN；使用SDN在场景图片中选取拼贴位置进行拼贴；
步骤3：采用Cycle Gan，利用真实场景图片作为对抗数据集把拼贴得到的图片进行真实化处理；最终得到所述扩充人群计数数据集；其中：
所述构建子场景判别网络即SDN，该网络的基本架构是VGG-16，在最初十层使用膨胀卷积获取图片中的特征，在其中另设一支引入了整张图片的上下文信息，最后利用一个全连接层输出；在预处理阶段将场景图片按照所拼贴的人物图片的大小进行均匀划分，输入划分后的图片；利用SDN识别所划分出的子图片的场景上下文，然后采用space 365预训练好的模型，对子图片场景上下文进行分类；该网络能够判断子图片是否符合拼贴逻辑的场景图片；
所述符合拼贴逻辑是指不能在海水、天空、树木、车辆、设备或建筑的场景进行拼贴；
步骤1所述收集包含人的单张图片集及包含场景的单张图片集，采用python爬虫技术从百度图片或者图片库中爬取。
CN201910978164.4A 2019-10-15 2019-10-15 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 Active CN110852172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910978164.4A CN110852172B (zh) 2019-10-15 2019-10-15 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910978164.4A CN110852172B (zh) 2019-10-15 2019-10-15 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法

Publications (2)

Publication Number Publication Date
CN110852172A CN110852172A (zh) 2020-02-28
CN110852172B true CN110852172B (zh) 2020-09-22

Family

ID=69596940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910978164.4A Active CN110852172B (zh) 2019-10-15 2019-10-15 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法

Country Status (1)

Country Link
CN (1) CN110852172B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860387B (zh) * 2020-07-27 2023-08-25 平安科技（深圳）有限公司 扩充数据的方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327454A (zh) * 2015-07-03 2017-01-11 株式会社理光 合成图像的方法和装置
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统
WO2018065158A1 (en) * 2016-10-06 2018-04-12 Siemens Aktiengesellschaft Computer device for training a deep neural network
CN108764085A (zh) * 2018-05-17 2018-11-06 上海交通大学 基于生成对抗网络的人群计数方法
CN109241825A (zh) * 2018-07-18 2019-01-18 北京旷视科技有限公司 用于人群计数的数据集生成的方法及装置
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN110276779A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种基于前后景分割的密集人群图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2505501B (en) * 2012-09-03 2020-09-09 Vision Semantics Ltd Crowd density estimation
US20160342861A1 (en) * 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110084304B (zh) * 2019-04-28 2021-04-30 北京理工大学 一种基于合成数据集的目标检测方法
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327454A (zh) * 2015-07-03 2017-01-11 株式会社理光 合成图像的方法和装置
WO2018065158A1 (en) * 2016-10-06 2018-04-12 Siemens Aktiengesellschaft Computer device for training a deep neural network
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统
CN108764085A (zh) * 2018-05-17 2018-11-06 上海交通大学 基于生成对抗网络的人群计数方法
CN109241825A (zh) * 2018-07-18 2019-01-18 北京旷视科技有限公司 用于人群计数的数据集生成的方法及装置
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN110276779A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种基于前后景分割的密集人群图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
最好玩的深度学习模型：一文从了解CycleGan到进行人脸性别互换;树根;《数据万事屋：https://mp.weixin.qq.com/s/V35SKO9SnuoDNqhi5XwXCQ》;20171124;全文 *

Also Published As

Publication number Publication date
CN110852172A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN106682108B (zh) 一种基于多模态卷积神经网络的视频检索方法
Daniel et al. Video visualization
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
KR102033262B1 (ko) 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체
JP6240199B2 (ja) 画像における対象物の識別方法及び装置
CN108596102B (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN109740444B (zh) 人流量信息展示方法及相关产品
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
CN106960175B (zh) 基于深度卷积神经网络的第一视角动态手势检测方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
US20150332117A1 (en) Composition modeling for photo retrieval through geometric image segmentation
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
JP2002216129A (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
Yan et al. Depth map generation for 2d-to-3d conversion by limited user inputs and depth propagation
CN110705566A (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN110766645B (zh) 基于人物识别与分割的目标人物复现图生成方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN108664902B (zh) 基于深度学习的端到端的视频拷贝检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant