CN113269223B - 一种基于空间文化模因分析的城市风格分类方法 - Google Patents

一种基于空间文化模因分析的城市风格分类方法 Download PDF

Info

Publication number
CN113269223B
CN113269223B CN202110281893.1A CN202110281893A CN113269223B CN 113269223 B CN113269223 B CN 113269223B CN 202110281893 A CN202110281893 A CN 202110281893A CN 113269223 B CN113269223 B CN 113269223B
Authority
CN
China
Prior art keywords
style
city
dictionary
distance
cities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110281893.1A
Other languages
English (en)
Other versions
CN113269223A (zh
Inventor
丁忆
石作琴
李朋龙
万平
肖禾
李海峰
马泽忠
韦宏林
王亚林
刘建
陈静
王小攀
李政
胡艳
钱文进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Geographic Information And Remote Sensing Application Center
Central South University
Original Assignee
Chongqing Geographic Information And Remote Sensing Application Center
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Geographic Information And Remote Sensing Application Center, Central South University filed Critical Chongqing Geographic Information And Remote Sensing Application Center
Priority to CN202110281893.1A priority Critical patent/CN113269223B/zh
Publication of CN113269223A publication Critical patent/CN113269223A/zh
Application granted granted Critical
Publication of CN113269223B publication Critical patent/CN113269223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间文化模因分析的城市风格分类方法,包括以下步骤:对数据集的样本去除噪声;通过训练神经网络获取风格特征,及每个样本的风格特征向量;利用DPC方法对训练集的风格特征向量进行字典学习,获取到每个城市的字典和稀疏矩阵,通过字典和稀疏矩阵计算城市间的模因距离;计算风格距离、稀疏表示和风格类型,并根据风格距离、风格类型和稀疏表示进行城市文化模因分析,根据字典和模因距离对城市进行风格分类,并将城市间的风格差异进行量化。本发明可定量和准确对城市风格进行准确分类,通过量化不同的模因类型分析风格相似和差异的原因,分析城市街景图片风格的模因线性组合,及不同城市的两张街景图片之间风格相似的原因。

Description

一种基于空间文化模因分析的城市风格分类方法
技术领域
本发明属于人工智能领域,具体涉及一种基于空间文化模因分析的城市风格分类方法。
背景技术
文化模因是一种文化单位,如同生物基因一样具有一定的继承性和变异性。在不同的文化背景中具有不一样的表现形式,呈现出多样性。但总的来说对文化模因的研究方法主要包括解读、提取、分析三个步骤。本发明在文物名称的基础上对文化模因进行了剖析,认为时序上的文化模因是通过对文物名称进行分词所获得的单个词或词语。由于文化模因在不同的背景下的表现形式是具有多样性的,因此,空间上的文化模因是通过对不同城市的街景图片的风格特征进行字典学习所获得的字典。该字典不仅包含了城市街景的风格特征,还间接反映出城市的文化。
通过提取不同城市的风格特征,作为研究城市文化的基础特征。为了能够在城市大规模街景图片的背景下,提取出最能够代表城市风格文化的特征,本章主要采用了字典学习的方法,去获取单个城市的风格字典,该城市的整体风格都可以通过这个字典得以表征,也就是说这个字典就是城市风格文化模因。通过对空间上文化模因的解读以及提取过程,本发明基于字典学习对城市风格文化进行相似性分析,并在具有相似性特征的风格对其风格进行稀疏表示,探测产生具体差异的原因。
城市的风格文化是由城市的图像风格所组成,图像的风格对于图像的认知起着非常重要的作用。以往一般将图像的中层特征用于进行样式识别,但在多层网络中学习到的特征的表现要优于中层特征。与此同时,深度神经网络不仅编码图像的内容,而且编码图像的样式信息。此外,图像样式和内容有些可分离:可以在保留图像内容的同时改变图像的样式。HUANG等人基于深度神经网络获得的某一层特征图,将该层特征图对应的每个通道都展开为一维向量,并分别计算每个通道的均值和标准差,将其定义为图像的样式风格,既是图像的风格特征。
非专利文献Classification and Clustering via Dictionary Learning withStructured Incoherence and Shared Features,提出了一种DPC(Patch classificationbased on incoherent dictionaries)方法,使用非相关激活条件使得不同类的字典尽可能独立,同时允许不同的类共享同一特征,这一条件直接作用于字典,可同时用于监督学习和非监督学习。
目前没有一种合理对空间文化模因进行量化分析和计算的方法,也没有一种有效的自动地基于海量图片对城市风格进行自动分类的方法。
发明内容
基于上述目的,本发明提出一种基于空间文化模因分析的城市风格分类方法,包括以下步骤:
对数据集的样本进行预处理,去除噪声样本;
通过训练神经网络获取风格特征,及每个样本的风格特征向量;
利用DPC方法对训练集的风格特征向量进行字典学习,获取到每个城市的字典和稀疏矩阵,通过所述字典和所述稀疏矩阵计算城市间的模因距离;
计算风格距离、稀疏表示和风格类型,并根据所述风格距离、所述风格类型和所述稀疏表示进行城市文化模因分析,根据所述字典和所述模因距离对城市图片进行风格分类,并根据所述风格距离将城市间的风格差异进行量化。
进一步的,所述对数据集中的样本进行预处理,去除噪声样本,包括如下步骤:删除与图片无关的视频信息,再利用GMM聚类算法对图片进行聚类,只保留有关建筑的图片,再对图片进行相似性筛选,去除重复图片。
进一步的,运用深层卷积神经网络提取城市图像的风格特征,其中,选取深层卷积神经网络的第4层获取多张特征图,每张特征图的一维表示为A=(a1,a2,......,a14*14)T,计算对应特征图的均值和标准差得到A*=(amean,astd),由该层所有特征图所组成的向量特征得到图像的风格特征向量,所述风格特征向量表示为:
Figure GDA0003047927570000031
进一步的,基于稀疏表示的字典分类过程如下:
Figure GDA0003047927570000032
L(y)=argiMIN{||y-DiAi||2}
其中Ai=[Ai1,Ai2,...,Ain],N指的是I类别的样本数,A′=[A′1,A′2,...,A′c],A′i是与类别I相关的系数向量,C指的是类别数,Y是新的测试样本信号。
进一步的,所述模因距离Dist通过下列公式进行计算:
differ=arr1-arr2
dist=Frobenius(differ)
len1=Frobenius(arr1)
len2=Frobenius(arr2)
denom=(len1+len2)/2
Dist=1-(dist/denom)
其中,Frobenius分别代表对向量求范数,即求解矩阵各项元素的绝对值平方的和,arr1,arr2表示两个二维矩阵转换为一维向量后的向量。
进一步的,根据下列公式进行计算城市整体风格的风格稀疏表示
Figure GDA0003047927570000041
Si=DiAi_mean,其中。
进一步的,所述风格距离通过下列公式进行计算:
Figure GDA0003047927570000042
distance(X,Y)=1/disctance(X,Y)
其中,xi,yi分别代表向量X,Y的分量。
进一步的,所述风格类型通过KMEANS方法获得。
与现有技术相比,本发明以下优点和有益效果:
建立了稀疏表示、风格距离和风格类型相结合的城市风格分析模型,可定量和准确对城市风格进行准确分类,通过量化不同的模因类型可以分析彼此间风格相似和差异的原因。风格距离可量化城市间风格的相似性和差异性;风格类型由可分析城市风格的模因类型组成,稀疏表示可以从整体上量化城市间的风格,分析某城市街景图片风格的模因线性组合,以及来自不同城市的两张街景图片之间风格相似的原因。
附图说明
图1为本发明的城市风格分析方法流程图;
图2为本发明的城市风格分类方法整体框架图;
图3为本发明数据集中的城市街景图片;
图4为本发明的第五次随机采样的字典分类结果;
图5为本发明的城市分类正确和错误对照组图片;
图6为本发明的各城市的模因距离图;
图7为本发明的各城市的风格距离图;
图8为本发明的各城市的风格类型的聚类结果图;
图9为本发明的各城市的稀疏表示图;
图10为本发明的中国香港和伦敦的街景图片稀疏表示图。
具体实施方式
下面结合附图对本发明作进一步的说明,但不以任何方式对本发明加以限制,基于本发明教导所作的任何变换或替换,均属于本发明的保护范围。
实施例1
本发明提出了一种基于空间文化模因分析的城市风格分类方法。如图1和图2所示,本发明的城市风格分类方法包括以下步骤:
S10:对数据集的样本进行预处理,去除噪声样本;
城市街景数据的内容过于丰富,其中包含了许多对本章研究无用的信息,因此需要对数据进行基本的预处理,处理过程的数据量变化如下表所示:
Figure GDA0003047927570000051
Figure GDA0003047927570000061
上表分别是每个城市经过三步处理之后的图片数量,第一,利用图片经纬度信息将图片分类为位于4个洲(亚洲、欧洲、北美洲、大洋洲)的10个城市(北京、上海、中国香港、东京、多伦多、纽约、蒙特利尔、巴黎、伦敦、悉尼)的图片。进而删除了与图片无关的视频信息,只保留了图片数据;第二,再此基础上利用GMM聚类算法对图片进行聚类,剔除了有关于人物、花草、食物等对城市风格不具有特殊表征的相关图片,只保留了有关于建筑的图片;第三,由于对同一图片涉及多角度拍摄问题,所筛选出的图片样本包含了许多重复样本,因此本发明对数据进行了相似性筛选,尽可能的保留不重复的图片。
S20:通过训练神经网络获取风格特征,及每个样本的风格特征向量;
城市的风格文化是由城市的图像风格所组成,图像的风格对于图像的认知起着非常重要的作用。在本发明中,运用RESNET-50深层卷积神经网络提取城市图像的风格特征。其中,本发明选取RESNET-50网络的第4层获取相应14*14大小的2048张特征图,每张特征图的一维表示:A=(a1,a2,......,a14*14)T,计算对应特征图的均值和标准差则有A*=(amean,astd),因此由该层所有特征图所组成的向量特征即为图像的风格特征向量,可以表示为:
Figure GDA0003047927570000062
S30:利用DPC(Patch classification based on incoherent dictionaries)方法对训练集的风格向量进行字典学习,获取到每个城市的字典和稀疏矩阵,通过所述字典和所述稀疏矩阵计算城市间的模因距离
对于一张图像来说,里面涉及的信息是非常复杂冗余的,为了能够获取图像信号中更为简洁的表示方式,一般会将信号转换成一组极少数原子为非零,大部分原子都等于零或接近于零的向量进行表示,这就是信号的稀疏性表达。稀疏表示则就是指将信号表示为给定的超完备字典中的少数几个原子的线性组合。
稀疏表示的本质是用尽可能少的信息去描述尽可能多的知识,通常运用在大型的数据集中,加快运算速度,提高分类的效率。假设我们用一个M*N的二维矩阵表示数据集X,其中,每一行代表一个样本,每一列代表样本的一个特征,稀疏表示的含义则是选取合适的原子数K,学习到一个M*K大小的字典矩阵D和一个K*N大小的系数矩阵A,在保证A尽可能稀疏的情况下,使得D*A与X之间的误差最小,去尽可能的还原X。稀疏表示通常包含了编码和分类两个步骤:编码阶段也就是用学习到的一组原子特征图像的字典D进行编码;分类阶段则是指用学习到的稀疏矩阵A和字典D将一个新的信号进行分类学习的过程。
某一个城市某张图片的稀疏表示用以下公式计算:
Yin=Din*Ain,
i指的是类别,n指的是这个城市的图片数量,Di是字典,Ai是稀疏矩阵,Din是第n个城市的字典,Ain是第n个城市的稀疏矩阵,Yin是第n个城市的稀疏表示。
传统的稀疏表示分类是直接采用样本作为字典,但这样的方法很容易引入样本噪声,在大型的数据集下学习效率和计算速度都较低。因此本发明主要采用了基于稀疏表示下的字典学习方法(DPC)进行分类学习,通过对每个类别的样本学习字典,并使用其进行稀疏表示,可以更好地提高分类精度和效率。基于稀疏表示的字典分类过程如下:
Figure GDA0003047927570000081
L(y)=argiMIN{||y-DiAi||2}
其中Ai=[Ai1,Ai2,...,Ain],N指的是I类别的样本数,A′=[A′1,A′2,...,A′c],A′i是与类别I相关的系数向量。C指的是类别数,Y是新的测试样本信号。
一个重要的信号,如音频和自然图像,可以很好地近似于一些冗余基础的几个原子的线性组合,通常称为字典,而寻找这个字典的过程称为字典学习。字典学习实质上是对大型数据集的一种降维表达。字典学习有三个基础条件,一是需要能够尽可能地去学习到样本背后最本质的特征;二是,学习到的字典对于指定的信号要具有稀疏表示的功能,三是,希望学习到的字典里的原子数可以尽可能地少。字典学习在图像恢复和去噪、纹理合成和纹理分类、人脸识别等方面都有非常成熟地应用。
由于字典学习可以获取到图像信号背后最本质地特征,因此,通过对城市风格图像进行字典学习所获取的字典可以很好地反映出城市整体的风格文化,将这样的字典称为城市文化模因。通过对不同城市图像的字典学习,可以进一步获得图像的稀疏表示,判别对应的特征组成。
字典是一个城市风格的表示,通过对不同城市风格图像选取相同的K值进行字典学习,获取到对应的字典模因,以此来判别城市间风格文化的相似性与差异性。本发明通过下列公式进行计算模因距离Dist:
differ=arr1-arr2
dist=Frobenius(differ)
len1=Frobenius(arr1)
len2=Frobenius(arr2)denom=(len1+len2)/2
Dist=1-(dist/denom)
其中,Frobenius分别代表对向量求范数,即是求解矩阵各项元素的绝对值平方的和,arr1,arr2表示两个二维矩阵转换为一维向量后的向量。
本发明通过稀疏表示用最少的信息去表示更多的信息,但本发明所获得的稀疏表示一般是指单个信号。在本发明中,为了能够更好的稀疏表示一个城市的风格,将得到的稀疏矩阵按列进行求和再平均,得到这个城市总体的风格稀疏表示Si,如下所示:
Figure GDA0003047927570000091
Si=DiAi_mean
其中,为了便于对不同城市间风格进行量化,本发明计算了不同城市Ai_mean间的欧式距离,并将其定义为风格距离distance(X,Y),以此来度量不同城市间风格的相似性和差异性,如下所示:
Figure GDA0003047927570000092
distance(X,Y)=1/disctance(X,Y)
其中,xi,yi分别代表向量X,Y的分量。风格距离用于度量不同城市间风格的相似性和差异性。
S40:计算风格距离、稀疏表示和风格类型,并根据风格距离、风格类型和稀疏表示进行城市文化模因分析
S401:从风格距离进行城市文化模因分析
本发明按照随机采样的方式获取到样本,并按照6:4的比例划分测试集与训练集,迭代次数为30次,字典的原子数K为300,为了避免实验结果的随机性,本发明随机采样了五次,并将测试集精度最好的一次作为最终字典分类的结果,如下表所示。
表1字典分类结果
Figure GDA0003047927570000101
从表1可以发现,五次随机采样字典分类的精度差距都不大,保证了随机采样结果的一般性,其平均精度为0.351,精度最高的为第五次的随机采样分类结果,因此,后续本发明都以第五次的样本和结果进行详细的阐述。
从字典的角度对城市街景图片进行分类,可以很好的探测城市间风格的相似性和差异性,第五次随机采样的字典分类结果如图4所示:位于对角线上的值是指城市图像被正确分类的样本比例,体现出城市风格的独特性;非对角线值则表示与其他城市间风格相似性,值越高代表城市间的风格越相似。从图4可以发现,对角线上的值是最高的,这说明字典分类对城市风格具有较好的判别,其中北京(0.52)和巴黎(0.63)两个城市的分类精度是最高的,与其他城市相比风格具有较好的独特性。而与此同时中国香港和北京错分类到巴黎城市的样本是最少的,说明中国香港和北京与巴黎的风格差异很大,可以很好的进行区分。蒙特利尔、悉尼、东京、多伦多等城市与其他城市的风格区分度较小,风格较为相似。
为了进一步深入了解城市的风格文化,分别对城市分类正确和错误的图像样本进行了可视化,如图5所示,两组图片为一组对照组,本发明选择了比较有代表性的三组图片进行分析。第一组和第二组分别是北京和东京、中国香港和东京,北京和中国香港代表着这个城市的独特性风格,而东京则分别为通过字典分类被错分类到北京和中国香港这两个城市占比最大的城市,也就是分别和北京、中国香港的风格文化最为相似的城市。第三组则是包含了伦敦、蒙特利尔、纽约和巴黎,四个在建筑类风格上最容易混淆的城市。
从图5发现,北京的天安门、伦敦的大本钟、蒙特利尔的圣母大教堂、巴黎的埃菲尔铁塔和凯旋门、上海的东方明珠、纽约的帝国大厦等当地城市的地标和风景名胜都是各自城市最为独特的风格元素。通过字典分类不仅可以探测出城市的独特风格元素,重要的是还可以很好的探测到导致两个城市间的风格相似的原因。比如,从北京和东京这组对照可以发现,东京的建筑和北京的建筑风格非常类似,主要是都有相似的屋檐建筑风格;对中国香港和东京,中国香港的建筑群以拥挤著名,而东京城市被错分类到中国香港的图片中也体现出了拥挤的特点,以及有些图片拥有相似的拍摄视角;而伦敦、蒙特利尔、纽约和巴黎都是因为拥有相似的哥特式建筑以及特殊的圆顶建筑风格。
字典分类可以帮助我们了解城市间风格产生相似的风格元素,但对于组成城市风格元素的城市文化模因却缺乏一定的认知,本发明在获取到不同城市的文化模因之后,并将其按照上述公式进行计算,得到如图6所示,其中为了便于可视化将城市自己和自己的距离设为0.74。
发现从模因距离获得的结果与字典分类的结果会有一定的差异,这是风格距离是从模因的角度综合的去考虑整个城市风格的组成因子,发现城市间的风格特征会更难区分,这说明虽然城市间的风格会具有一定的差异,但其风格的内在组成成分即模因的差异是非常小的,而字典分类则是通过对不同城市字典的线性组合而对城市间风格进行区分。但对于北京和巴黎这两个城市风格独特性较强的城市来讲,彼此间的模因距离(0.743)却是非常相似的,而纽约和别的城市间的模因距离却偏少,但实际上北京和巴黎的独特性较好,而纽约城市的风格独特性偏弱。可以发现,组成城市风格的模因具有一定的局限性,不同城市间风格的差异主要来源于模因的线性组合会产生变化。
本发明中风格距离是用城市整体稀疏表示的平均值进行表达的,通过下列公式得到不同城市间的风格距离,
Figure GDA0003047927570000121
distance(X,Y)=1/disctance(X,Y)
其中,xi,yi分别代表向量X,Y的分量。
如图7所示。
通过计算城市间的风格距离可以将城市间的风格差异进行量化,上图中值越大表示城市间的风格越相似,可以发现,蒙特利尔和多伦多的风格距离(0.48)相差最大,说明彼此间的风格更为相似。与此同时,北京和巴黎两个城市独特性较强的城市,彼此间的风格距离较小,体现出较好的差异性,但其模因距离却是偏大的,即模因的组成非常相似,这说明两个城市风格产生差异的原因不在于模因,而在于对模因的稀疏表达是否相似,因为模因本身是具有一定的局限的,组成城市的风格元素是相对一定的,即城市间的风格差异主要是归因于不同城市对模因的稀疏表达不一样。
S402:从风格类型分析城市文化模因
通过上述的分析,发现了产生城市间风格差异的原因,但城市间的风格还具有相似性,本发明从模因出发,利用KMEANS方法获取城市风格组成的不同细粒度风格类型,以此分析城市间风格相似的原因。本发明根据综合考虑K_MEANS聚类的CALINSKO_HARABAZ指数和分类均衡的原则选取了聚类数为7的聚类结果进行可视化和分析,如图8所示。
为了能够进一步分析每种风格类型的城市组成,本发明进行了如下表的统计,每一列表示一种风格类型,每行代表每个城市样本在不同风格类型中的分布。
表 城市风格类型
Figure GDA0003047927570000131
Figure GDA0003047927570000141
从上表中可以发现,每种风格类型的城市分布相对均衡,这也进一步说明了城市的风格组成因子模因之间的差异是非常小的,但总体来说,城市的风格可以通过几种不同的风格类型进行表示。通过对模因类型的探讨,不仅可以对城市的风格组成类型进行表示,还可以发现来自不同城市的两张相似图片,其错分类到一个城市中的原因,即风格相似的原因。
S403:从稀疏表示分析城市文化模因
稀疏表示可以对整个城市的风格进行表达,帮助我们从整体上理解城市的风格差异。本发明主要采用下列公式求解整个城市的稀疏表达,
Figure GDA0003047927570000142
L(y)=argiMIN{||y-DiAi||2}
其中Ai=[Ai1,Ai2,...,Ain],N指的是I类别的样本数,A′=[A′1,A′2,...,A′c],A′i是与类别I相关的系数向量。C指的是类别数,Y是新的测试样本信号。
通过对当前城市的稀疏矩阵按列求解其均值,在通过其整体的稀疏表示获取城市的整体风格,具体的,根据下列公式进行计算城市整体风格的风格稀疏表示。
Figure GDA0003047927570000143
Si=DiAi_mean
Aik是稀疏矩阵Ai的n个列向量,Di是i个类别的字典,Ai_mean指的是稀疏矩阵的列平均值。
结果如图9所示。发现,城市间整体的风格是非常相似的,其稀疏表示很难从肉眼进行判别。这也说明了城市间单张街景图片的风格是比较好区分的,但是整体的风格却是很难从视觉上去解读的。
从整体上很难对城市的整体风格进行把握,但稀疏表示可以有效的获取单个街景图片信号的模因线性组合,并对分析两张来自不同城市的街景图片信号风格相似原因有很好的帮助。如图10所示,分别为中国香港和伦敦的街景图片稀疏表示,采用不同的颜色将每张街景图片的模因组成按照类别进行展示,模因类型后面是匹配单个模因的稀疏系数,并用同一个模因类型系数的平均值进行总体表达。
通过对上述街景图片的稀疏表示可以发现,对于单张街景图片来说,不仅可以用较少的模因进行稀疏表示,其模因还可以分为不同的风格类型,也就是街景图片的风格可以被具化到少数的几种不同模因风格类型的稀疏表达。但对于中国香港和伦敦两张不同的街景图片来讲,0模因类型的稀疏表达分别为1.2105、1.2154,则表明这两张图片因0模因类型表现出相似性特征,因此可以通过量化不同的模因类型来分析彼此间风格相似和差异的原因。
本发明的有益效果如下:
建立了稀疏表示、风格距离和风格类型相结合的城市风格分析模型,可定量和准确对城市风格进行准确分类,通过量化不同的模因类型可以分析彼此间风格相似和差异的原因。风格距离可量化城市间风格的相似性和差异性;风格类型由可分析城市风格的模因类型组成,稀疏表示可以从整体上量化城市间的风格,分析某城市街景图片风格的模因线性组合,以及来自不同城市的两张街景图片之间风格相似的原因。
上述实施例为本发明方法的一种实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种基于空间文化模因分析的城市风格分类方法,其特征在于,包括以下步骤:
对数据集的样本进行预处理,去除噪声样本;
通过训练神经网络获取风格特征,及每个样本的风格特征向量;
利用DPC方法对训练集的风格特征向量进行字典学习,获取到每个城市的字典和稀疏矩阵,通过所述字典计算城市间的模因距离;
计算风格距离、稀疏表示和风格类型,并根据所述风格距离、所述风格类型和所述稀疏表示进行城市文化模因分析,根据所述字典和所述模因距离对城市图片进行风格分类,并根据所述风格距离将城市间的风格差异进行量化;
所述模因距离Dist通过下列公式进行计算:
differ=arr1-arr2
dist=Frobenius(differ
len1=Frobenius(arr1)
len2=Frobenius(arr2)
denom=(len1+len2)/2
Dist=1-(dist/denom)
其中,Frobenius代表对向量求范数,即求解矩阵各项元素的绝对值平方的和,arr1,arr2表示两个二维矩阵转换为一维向量后的向量,其中二维矩阵为字典;
其中,城市的稀疏表示是城市的稀疏矩阵与城市字典的乘积;风格距离是不同城市的稀疏矩阵按列进行求和再平均后的值的欧式距离。
2.根据权利要求1所述的基于空间文化模因分析的城市风格分类方法,其特征在于,所述对数据集中的样本进行预处理,去除噪声样本,包括如下步骤:删除与图片无关的视频信息,再利用GMM聚类算法对图片进行聚类,只保留有关建筑的图片,再对图片进行相似性筛选,去除重复图片。
3.根据权利要求1所述的基于空间文化模因分析的城市风格分类方法,其特征在于,运用深层卷积神经网络提取城市图像的风格特征,其中,选取深层卷积神经网络的第4层获取多张特征图,每张特征图的一维表示为A=(a1,a2,……,a14*14)T,计算对应特征图的均值和标准差得到A*=(amean,astd),由该层所有特征图所组成的向量特征得到图像的风格特征向量,所述风格特征向量表示为:
Figure FDA0003518401420000021
4.根据权利要求1所述的基于空间文化模因分析的城市风格分类方法,其特征在于,基于稀疏表示的字典分类过程如下:
Figure FDA0003518401420000022
L(y)=argiMIN{||y-DiAi||2}
其中Ai=[Ai1,Ai2,…,Ain],Ai1,Ai2,…,Ain为第1个、第2个、第n个城市的稀疏矩阵,n指的是i类别的样本数,A′=[A′1,A′2,…,A′c],A′i是与类别i相关的系数向量,Di指的是第i类样本的字典,c指的是类别数,y是新的测试样本信号,a是Ai矩阵中的某一向量,γ是一个标量常数。
5.根据权利要求4所述的基于空间文化模因分析的城市风格分类方法,其特征在于,根据下列公式进行计算城市整体风格的风格稀疏表示:
Figure FDA0003518401420000023
Si=DiAi_mean
其中Aik是稀疏矩阵Ai的n个列向量,Di是i个类别的字典,Ai_mean指的是稀疏矩阵的列平均值。
6.根据权利要求5所述的基于空间文化模因分析的城市风格分类方法,其特征在于,所述风格距离通过下列公式进行计算:
Figure FDA0003518401420000031
distance(X,Y)=1/distance(X,Y)
其中,xi,yi分别代表向量X,Y的分量,其中向量X,Y分别表示不同城市的Ai_mean
7.根据权利要求1所述的基于空间文化模因分析的城市风格分类方法,其特征在于,所述风格类型通过KMEANS方法获得。
CN202110281893.1A 2021-03-16 2021-03-16 一种基于空间文化模因分析的城市风格分类方法 Active CN113269223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281893.1A CN113269223B (zh) 2021-03-16 2021-03-16 一种基于空间文化模因分析的城市风格分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281893.1A CN113269223B (zh) 2021-03-16 2021-03-16 一种基于空间文化模因分析的城市风格分类方法

Publications (2)

Publication Number Publication Date
CN113269223A CN113269223A (zh) 2021-08-17
CN113269223B true CN113269223B (zh) 2022-04-22

Family

ID=77228299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281893.1A Active CN113269223B (zh) 2021-03-16 2021-03-16 一种基于空间文化模因分析的城市风格分类方法

Country Status (1)

Country Link
CN (1) CN113269223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115796980B (zh) * 2023-02-08 2023-04-25 广东申创光电科技有限公司 一种基于物联网的新型智慧城市大数据管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106296567A (zh) * 2015-05-25 2017-01-04 北京大学 一种基于稀疏表示的多层次图像风格的转换方法及装置
CN106339726A (zh) * 2015-07-17 2017-01-18 佳能株式会社 用于手写识别的方法及装置
CN106780367A (zh) * 2016-11-28 2017-05-31 上海大学 基于字典学习的hdr照片风格转移方法
CN106778807A (zh) * 2016-11-22 2017-05-31 天津大学 基于公共字典对和类依赖字典对的细粒度图像分类方法
CN110166759A (zh) * 2018-05-28 2019-08-23 腾讯科技(深圳)有限公司 图像的处理方法和装置、存储介质、电子装置
CN110309727A (zh) * 2019-06-11 2019-10-08 四川隧唐科技股份有限公司 一种建筑识别模型的建立、建筑识别方法和装置
CN110580507A (zh) * 2019-09-02 2019-12-17 同济大学 一种城市肌理分类识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292162B2 (en) * 2013-04-08 2016-03-22 Art.Com Discovering and presenting décor harmonized with a décor style
US10984286B2 (en) * 2018-02-02 2021-04-20 Nvidia Corporation Domain stylization using a neural network model
CN111507413B (zh) * 2020-04-20 2023-06-16 济源职业技术学院 一种基于字典学习的城市管理案件图像识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106296567A (zh) * 2015-05-25 2017-01-04 北京大学 一种基于稀疏表示的多层次图像风格的转换方法及装置
CN106339726A (zh) * 2015-07-17 2017-01-18 佳能株式会社 用于手写识别的方法及装置
CN106778807A (zh) * 2016-11-22 2017-05-31 天津大学 基于公共字典对和类依赖字典对的细粒度图像分类方法
CN106780367A (zh) * 2016-11-28 2017-05-31 上海大学 基于字典学习的hdr照片风格转移方法
CN110166759A (zh) * 2018-05-28 2019-08-23 腾讯科技(深圳)有限公司 图像的处理方法和装置、存储介质、电子装置
CN110309727A (zh) * 2019-06-11 2019-10-08 四川隧唐科技股份有限公司 一种建筑识别模型的建立、建筑识别方法和装置
CN110580507A (zh) * 2019-09-02 2019-12-17 同济大学 一种城市肌理分类识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization;Xun Huang 等;《2017 IEEE International Conference on Computer Vision》;20171231;1510-1519 *
Classification and Clustering via Dictionary Learning with Structured Incoherence and Shared Features;Ignacio Ramirez 等;《2010 IEEE computer society conference on computer vision and pattern recognition》;20100805;3501-3508 *
Discovering place-informative scenes and objects using social media photos;Fan Zhang 等;《royal society open science》;20191231;1-15 *
Recognizing architecture styles by hierarchical sparse coding of blocklets;Luming Zhang 等;《Information Sciences 》;20140131;第254卷;141-154 *
人工神经网络在建筑风格判定中的应用——以大连近代历史建筑为例;张梦迪 等;《设计技术》;20191231;43-46 *
基于字典学习的 HDR 照片风格转移方法;谢志峰 等;《图学学报》;20171031;第38卷(第51期);706-714 *

Also Published As

Publication number Publication date
CN113269223A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110413924A (zh) 一种半监督多视图学习的网页分类方法
CN111291675B (zh) 一种基于深度学习的高光谱古绘画检测识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN106097381B (zh) 一种基于流形判别非负矩阵分解的目标跟踪方法
CN110084211B (zh) 一种动作识别方法
CN102122353A (zh) 利用增量字典学习与稀疏表示进行图像分割的方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN102096819A (zh) 利用稀疏表示与字典学习进行图像分割的方法
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN114066848B (zh) 一种fpca外观缺陷视觉检测系统
CN113269223B (zh) 一种基于空间文化模因分析的城市风格分类方法
CN112966740A (zh) 基于核心样本自适应扩充的小样本高光谱图像分类方法
CN111898627A (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN110874576A (zh) 一种基于典型相关分析融合特征的行人再识别方法
CN112132798B (zh) 基于Mini ARU-Net网络的复杂背景PCB标记点图像检测方法
CN111863135B (zh) 一种假阳性结构变异过滤方法、存储介质及计算设备
CN109902690A (zh) 图像识别技术
CN109815889A (zh) 一种基于特征表示集的跨分辨率人脸识别方法
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
CN112364844B (zh) 一种基于计算机视觉技术的数据采集方法及系统
CN114758123A (zh) 一种遥感影像目标样本增强方法
CN113792105A (zh) 一种基于半变异函数的地理空间点数据采样方法
CN113869289A (zh) 基于熵的多通道舰船辐射噪声特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant