CN105740360B

CN105740360B - 艺术品图像中古典母题的识别与检索方法

Info

Publication number: CN105740360B
Application number: CN201610051821.7A
Authority: CN
Inventors: 陈研; 孙燕
Original assignee: Shanghai Normal University
Current assignee: Shanghai Normal University
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2020-12-01
Anticipated expiration: 2036-01-26
Also published as: CN105740360A

Abstract

一种艺术品图像中古典母题的识别和检索方法，包括：建立艺术品图像资源信息库；构建基于左右值驱动的古典母题语义树形结构；用上层关键词寻找所有树根，并获取候选图像节点；计算候选对象与查询对象的相似度，并进行特征匹配；结果显示：按照相似度列出检索结果。本发明通过检索和识别亦可不断丰富古典母题语义树，发现母题图像模式的流变，在“艺术表现模式—人—人的生命态度”之间寻找母题所提供的历史见证，为了发掘和识别艺术品图像中更多的视觉概念，进而获得对艺术品图像的准确释读。

Description

艺术品图像中古典母题的识别与检索方法

技术领域

本发明涉及一种艺术品图像的学习、研究和鉴定时使用的数据库检索方法，尤其涉及一种关于艺术品图像中古典母题的识别和检索方法。

背景技术

每个艺术品图像中都存在着人文与艺术遗产，古典元素或古典母题蕴藏在大量艺术品的图像中，代表着往昔时代作品拥有时代遗存的独立价值观和知识体系，古典母题融合在往昔时代作品时，借着时代自身影响力、表现方法或独特价值观以期同化和改造彼此，这使看图观众陷入认知和理解的困难。

要想真正理解古典文化，理解往昔时代的艺术成就，就必须将古典元素或古典母题视作平等独立的对象进行研究，全面恢复它的生态环境。对于研究者而言，需要从大量的已知古典母题中找到一种链接的线索，并发现和发掘它的价值，这对于学习与研究具有重要的价值。

目前，国内有一些机构或院校制作的艺术品数据库，这些数据库大多是艺术品图片库，存储与检索方法采用传统的关键词索引、分类的索引、或图像底层特征索引方法，检索的语义难以表达。

在学习、研究或是鉴定中，往往需要根据图像的内容特征进行检索有主题意义或是技法特征的图像，并由此提取语义。但是，在计算机图像研究方面，由于艺术品图像与自然语言描述之间存在着“语义鸿沟”，在艺术品图像分类领域，单纯利用低层全局视觉特征很难达到良好的分类效果；与自然场景的照片图像不同，艺术品图像中带有极其鲜明的个性化，“以形写神”使得语义信息更加抽象和丰富，这也给计算机统计和识别带来了困难。

发明内容

针对上述应用背景和检索技术上的问题，本发明提供了一种艺术品图像的古典母题识别与检索方法，力求用艺术品研究的领域知识与图像处理技术结合，实现艺术品图像识别和语义解读。

本发明提供的艺术品图像中古典母题的识别和检索方法，包括

建立艺术品图像资源信息库：采用统一的数据著录方式进行，建构具有标注信息的艺术品图像资源信息库；

建立古典母题语义数据库：构建基于左右值驱动的古典母题语义树形结构，其中，基于左右值编码驱动的树的前序遍历设计一种无递归查询、无限分组的左右值编码方案，来保存该树的数据；所述古典语义树形结构包括多个层次，每个层次通过一个或多个已经定义的特征进行描述；

基于艺术品图像中古典母题的语义解读的图像检索：用上层关键词寻找所有树根，并获取候选图像节点；计算候选对象与查询对象的相似度，并进行特征匹配；结果显示：按照相似度列出检索结果，如给出相似度最接近的前10个古典母题结果。

其中，所述古典母题可以是用人工或机器推测的方法从艺术品图像资源信息库中抽取。

其中，所述艺术品图像资源信息库可以是来源于相关机构发布的艺术品信息，也可以是自行录入建立。

在一种优选实施例中，所述艺术品图像资源信息库中储存艺术品的图像文件和文字标注信息。

其中，所述文字标注信息可以是包括著录特征、主题特征、外观特征等，所述著录特征包括图像的作者、形成时间、发现地点等；所述主题特征可以是自行设定主题类别进行标注，或者引用文献资源进行标注。

在更优选实施例中，所述文字标注信息还可以包括图像的类别、尺寸大小、分辨率以及标注者等辅助信息。

在一种优选实施例中，所述古典母题语义树由母题语义、鉴证信息、视觉特征、画面特征、语义特征中的一种或几种进行描述。

在一种优选实施例中，所述已经定义的特征至少包括视觉特征、画面特征和语义特征，其中，所述视觉特征至少包括颜色特征、颜色纹理特征。

在更优选实施例中，所述检索过程中，所述颜色特征的提取包括统计和计算颜色直方图，所述统计和计算颜色直方图的方法优选为采用建立从量化的RGB空间到量化的HSV空间之间的查找表进行。

其中，更优选地，从RGB颜色模型到HSV颜色模型转换公式如下：

令MAX＝max{R,G,B}，MIN＝min{R,G,B}

S＝(MAX-MIN)/MAX (式1)

H＝60*(G-B)/(MAX-MIN) R＝MAX

120+60*(B-R)/(MAX-MIN) G＝MAX (式2)

240+60*(R-G)/(MAX-MIN) B＝MAX

V＝MAX (式3)

在更优选实施例中，所述检索过程中，纹理特征的提取优选为采用基于Gabor变换的方法。

其中，图像的纹理特征由一组不同方向和中心频率的Gabor滤波器按如下式4-7所计算的能量分布均值M_u,v和方差σ_u,v构成：

(式4)

式4所示二维Gabor函数中，v的取值决定了Gabor滤波的波长，u的取值表示Gabor核函数的方向，κ表示总的方向数；图像f的纹理特征提取过程为

(式5)

(式6)

(式7)。

在更优选实施例中，所述检索过程中，根据色彩和纹理特征特征提取模型的方法为，彩色图像为I，将RGB图像转换为HSV色彩模型，即为I_H、I_S、I_V；利用5个IGaboa滤波器组，按照(式6)和(式7)对三层分量提取纹理特征，获得图像的色彩纹理特征向量(M_H,0,σ_H,0，M_H,1,σ_H,1，……M_H,4,σ_H,4，M_S,0,σ_S,0，……M_S,4,σ_S,4,M_V,0,σ_V,0……M_V,4,σ_V,4)^T。

在更优选实施例中，所述画面特征优选为从体现图像形象价值、感染价值和内在涵义的画面价值进行描述，并优选为包括显著性区域特征、图像线条、色调等。

在更优选实施例中，抽取画面特征后，对经典的艺术品图像的题图像做局部或全部的定位以及语义标注，标注该部分的“语义概念”；用图像对象为每个“语义概念”搜集对应的图像集合。

在一种优选实施例中，标注左右值编码的方法：将每个节点定义为自然的左右两侧，从根节点左侧开始，标记为1，并沿前序遍历的方向，依次在遍历的路径上标注数字，即每次增1，最后回到了根节点，并在右边。

在更优选实施例中，利用GRUD算法获取古典母题语义树结构中的某节点的子孙节点、某节点的族谱路径，并优选地可以为某节点增加子孙节点或删除某节点。

其中，获取某节点的子孙节点的方法优选为，采用SQL语返回该节点子孙节点的前序遍历列表，基于层次计算函数，创建一个视图，添加了新的记录节点层次的数列，创建存储过程，用于计算给定节点的所有子孙节点及相应的层次。

其中，获取某节点的族谱路径的方法优选为，则根据左、右定义的值分析用SQL语句来实施。

其中，为某节点增加子孙节点的方法优选为，按照其添加节点的位置，先标注其左右序号，再将其后的所有节点的序号增加2。

其中，删除某节点的过程中，优选为同时删除该节点的所有子孙节点，被删除的节点的个数为(被删除节点的右值–被删除节点的左值+1)/2。

在一种优选实施例中，计算候选对象与查询对象的相似度，优选为包括计算视觉特征的相似度，更优选所述视觉特征的相似度包括：颜色特征相似度、纹理特征相似度、画面特征相似度中的任意一种或几种。

其中，在更优选实施例中，颜色特征的相似度用两幅图p、q的颜色直方图距离Dc来进行表征：

(式8)

其中，c是HSV空间的颜色直方图bin对应的值，颜色的距离是0—1之间的值。

其中，在更优选实施例中，纹理特征相似度的计算优选为将两幅图p、q的纹理特征进行归一化，利用欧氏距离D_w来进行相似度的表征；其中，色彩纹理特征向量(M_H,0,σ_H,0，M_H,1,σ_H,1，……M_H,4,σ_H,4，M_S,0,σ_S,0，……M_S,4,σ_S,4,M_V,0,σ_V,0……M_V,4,σ_V,4)^T；特征向量是12维，表示为M_i。

(式9)

其中，在更优选实施例中，画面特征相似度的计算优选为用马氏距离d²(Q,G)进行相似度的表征，对画面特征综合描述词进行量化值，设观察总体G为m维总体，均值向量为μ＝(μ₁,μ₂,…,μ_m)’，协方差阵为∑σ_ij，则查询图像为q＝(q₁,q₂,…,q_m)’，马氏距离d²(Q,G)为：

(式10)

在更优选实施例中，所述特征匹配优选为利用特征转换映射到画面、语义特征，再调用基本特征计算。

艺术品图像中古典母题的检索识别方法是一种借助于领域专业知识和图像处理技术完成的，以古典母题建立的图像语义树构建的查询空间，其语义关系兼顾了语义主观性和图像的客观性特性，更加饱满和专业地描述了图像主题语义与归类模糊概念。本发明通过检索和识别亦可不断丰富古典母题语义树，发现母题图像模式的流变，在“艺术表现模式—人—人的生命态度”之间寻找母题所提供的历史见证，为了发掘和识别艺术品图像中更多的视觉概念，进而获得对艺术品图像的准确释读。

附图说明

图1为本发明一种实施例中古典母题树形结构示意图。

具体实施方式

下面结合附图1和实施实例对本发明进行详细的描述。

本发明是艺术品图像中古典母题的识别方法，包括以下步骤：

步骤1：建立具有鉴证信息艺术品图像资源信息库。

该数据库来源于权威机构发布的艺术品信息，将艺术品图像的图像文件和文字标注信息输入数据库。

艺术品图像资源信息库的具体信息细节如下：

艺术品图像是取于权威发布的图文件，格式可转换为JPG格式文件；

文字标注信息由著录特征、主题特征、外观特征等构成，以文本方式标注图像的作者、时间和地点等著录特征，引用文献资源标注图像的主题特征，设计图像的类别、尺寸大小、分辨率以及标注者等辅助信息；其中的引用文献资源是一种非结构化的信息组织。

具体实施方式采用移植与补录结合。对权威机构的图像数据库的图像移植引用，并在专题研究文献的基础上标注图像的主题特征。

步骤2：建立古典母题语义数据库。

古典母题图像是用人工或机器推测的方法从艺术品图像资源信息库中抽取的，它具有相对一致的历史和文化的属性背景，古典母题语义树的数据信息库是由母题语义、鉴证信息、视觉特征、画面特征和语义特征描述。古典母题语义库包括古典母题图像的抽取、标注和语义描述。实施方式采用以下的分步进行：

1：古典母题语义树描述。

古典母题语义树的主要层次描述以及特征描述如图1所示。包括年代描述、艺术品分类、研究对象以及对象的三种特征描述。一个古典母题包含多个年代或多种艺术类型的对象，这些艺术品对象具有同一古典母题溯源。另外，一件艺术品也不仅限于某个古典母题。

2：古典母题语义树层次描述。

2.1年代划分的描述

本实施例中按照历史年代进行划分为一级划分和二级划分，例如。

一级划分：远古：把夏商周以前的时期定为远古。先秦时期：秦以前的时期。古代：1840年鸦片战争以前的时期。近代：1840——1919年‘五.四’运动时期。现代：1919——1949新中国成立。当代：1949——至今历史年代参考。

二级划分：先秦时期(公元前21世纪——公元前221年)，秦汉时期(公元前221年——公元220年)，三国两晋南北朝时期(公元220年——589年)，隋唐五代时期(公元581年——960年)，宋辽西夏金时期(公元947——1279)，元朝(公元1271年——1368年)，明朝(公元1368年——1644年)，清朝(公元1636年——1911年)，中华民国(公元1912年——1949年)，中华人民共和国(公元1949年10月1日及以后)

2.2艺术品类的描述

按照艺术品分类：(1)绘画艺术品：素描、速写、中国画、油画、版画、壁画、水粉画、水彩画、漫画、连环画、插画等。(2)书籍类艺术品：古籍善本、陈旧平装书、线装书、鉴赏图书、连环画图书、画报、图册类、摆设图书及其他图书类艺术品等。(3)书法类艺术品：中堂、条幅、对联、斗方、扇面、其他等书法艺术品。(4)青铜类艺术品：礼器类艺术品、兵器类艺术品、杂器类艺术品、农具类艺术品、青铜铸币类艺术品、铜镜类艺术品、铜炉类艺术品、铜像佛像类艺术品等。(5)雕塑类艺术品：石雕类艺术品、木雕类艺术品、竹雕类艺术品、牙雕类艺术品、角雕类艺术品、根雕类艺术品、玻璃钢雕塑类艺术品、砂岩雕塑类艺术品、金属雕塑类艺术品、复合材料类雕塑艺术品等。(6)织印染秀类艺术品：纺织类艺术品、印制类艺术品、染制类艺术品、织绣类艺术品等。(7)票据类艺术品：票据类、钱币类、邮票类、火花类、卡类等。(8)服饰类艺术品：帽类、鞋袜类、马甲类、褂类、上衣类、袍类、内衣类、泳衣类等其他服饰类艺术品。(9)民间工艺品：民间绘画类艺术品、剪纸类艺术品、民间玩具类艺术品、皮影艺术品、民间工艺类艺术品等。

3古典母题中的研究对象特征描述

3.1视觉特征描述

从图像自身的特性出发，构建反映图像客观的视觉特征，包括图像的颜色、纹理、空间关系等。本发明选用的视觉特征抽取方法如下：

3.1.1颜色特征描述

为了接近人的主观认识，采用最常用的基于HSV空间的颜色直方图，它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin。这个过程称为颜色量化。然后，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。

统计和计算颜色直方图方法采用建立从量化的RGB空间到量化的HSV空间之间的查找表，从而加快直方图的计算过程。

从RGB颜色模型到HSV颜色模型转换公式：

令MAX＝max{R,G,B}，MIN＝min{R,G,B}

S＝(MAX-MIN)/MAX (式1)

H＝60*(G-B)/(MAX-MIN) R＝MAX

120+60*(B-R)/(MAX-MIN) G＝MAX (式2)

240+60*(R-G)/(MAX-MIN) B＝MAX

V＝MAX (式3)

3.1.2图像纹理特征

纹理特征是普遍存在难以描述的视觉特征之一，它是反映图像中同质现象的视觉特征。本发明采用基于IGabor变换的彩色纹理特征提取方法。

二维Gabor函数的一般形式为

(式4)

其中，v的取值决定了Gabor滤波的波长，u的取值表示Gabor核函数的方向，κ表示总的方向数；图像f的纹理特征提取过程为

(式5)

(式6)

(式7)。

图像的纹理特征由一组不同方向和中心频率的Gabor滤波器按上述过程所计算的能量分布均值M_u,v和方差σ_u,v构成。

根据色彩-纹理特征提取模型，彩色图像为I，将RGB图像转换为HSV色彩模型，记作I_H、I_S、I_V，利用所构造的5个IGaboa滤波器组，按照(式6)和(式7)对三层分量提取纹理特征，获得图像的色彩纹理特征向量(M_H,0,σ_H,0，M_H,1,σ_H,1，……M_H,4,σ_H,4，M_S,0,σ_S,0，……M_S,4,σ_S,4,M_V,0,σ_V,0……M_V,4,σ_V,4)^T。

3.2画面特征描述

从体现图像形象价值、感染价值和内在涵义的画面价值进行描述，包括显著性区域特征、图像线条、色调等。画面抽取方法是人工图像对象抽取与机器检测相结合，人工抽取是由专业研究人员完成，对经典的艺术品图像的主题图像做局部或全部的定位以及语义标注，标注该部分的“语义概念”；用图像对象为每个“语义概念”搜集对应的图像集合，这种搜集是利用机器检测实现，

显著性区域的检索是鉴定同类典型画面的方法。基于ROI的检测方法的具体流程如下：(1)将设置为画面特征的图像作为显著性特征的输入条件，(2)将每幅图像作为一个候选关键域的集合；(3)在候选图像集合上计算图像的相似度，通过链接分析对代表性的ROI进行选择，并定位每幅图像的前景对象——即机器检测抽取的图像；(4)标注与古典母题所表示一致的语义；(5)重新将背景图像作为显著性特征输入条件，重复(2)-(3)步骤，标注背景语义。

画面特征的其它描述通过底层特征计算和艺术家的鉴定综合设置相关值。例如：画面的色调表示为一组表示程度的值(“深沉”，“冷色”，“暖色”，“明快”)。

3.3语义特征描述：

从主观感觉进行的特征描述，具有一定的模糊性和领域相关性，同类的画作在不同的年代或背景中的语义有差异。以著录的语义为参考，包括画风、年代、主题意义。

步骤3：基于艺术品图像中古典母题的语义解读的图像检索。

检索方法以图像所述的层次(艺术品鉴证词、主观认知主题词)和图像属性特征(视觉特征、画面特征以及语义特征)进行检索。按照设置检索条件，其结果是按照相似度列出前10个古典母题结果。

1.基于左右值编码驱动的树表结构设计

基于左右值编码驱动的Tree的前序遍历设计一种全新的无递归查询、无限分组的左右值编码方案，来保存该树的数据。定义如下：

基本树的关系结构：{Node_id,Parent_id}

基于左右值编码的字段设计：Node_id，Name,Left,Right，Layer

标注左右值编码的方法：将每个节点定义为自然的左右两侧，从根节点左侧开始，标记为1，并沿前序遍历的方向，依次在遍历的路径上标注数字(每次增1)，最后我们回到了根节点，并在右边。

根据标注的左右编码值，确定表结构中的数据值。

2.树形结构CRUD算法

2.1获取某节点的子孙节点

只需要一条SQL语句，即可返回该节点子孙节点的前序遍历列表，基于层次计算函数，创建一个视图，添加了新的记录节点层次的数列，创建存储过程，用于计算给定节点的所有子孙节点及相应的层次。

在进行树的查询遍历时，只需要进行2次数据库查询，消除了递归，再加上查询条件都是数字的比较，查询的效率是极高的，随着树的规模不断扩大，基于左右值编码的设计方案将比传统的递归方案查询效率提高更多。

2.2获取某节点的族谱路径

获取某节点的族谱路径，则根据左、右定义的值分析用SQL语句即可完成。

2.3为某节点添加子孙节点

若添加子孙节点时，按照其添加节点的位置，先标注其左右序号，再将其后的所有节点的序号增加2。

2.4删除某节点

想要删除某个节点，会同时删除该节点的所有子孙节点，而这些被删除的节点的个数为：(被删除节点的右值–被删除节点的左值+1)/2，而剩下的节点左、右值在大于被删除节点左、右值的情况下会进行调整。

3.图像的检索方法

3.1选择候选对象集

对欲进行相似度计算图像的的筛选，用“上层的关键词“寻找所有的树根，用SQL语句获取候选图像节点。

3.2计算候选对象与查询对象的相似度

3.2.1计算视觉特征的相似度。

(1)颜色匹配算子：

颜色特征的相似度用两幅图p、q的颜色直方图距离D_c来表达：

(式8)

其中，c是HSV空间的颜色直方图bin对应的值，颜色的距离是0—1之间的值。(2)纹理特征匹配算子：

对两幅图像p、q纹理特征进行归一化，利用欧氏距离D_w来进行相似度测量。色彩纹理特征向量(M_H,0,σ_H,0，M_H,1,σ_H,1，……M_H,4,σ_H,4，M_S,0,σ_S,0，……M_S,4,σ_S,4,M_V,0,σ_V,0……M_V,4,σ_V,4)^T。特征向量是12维，表示为M_i。

(式9)。

(3)画面特征匹配算子：

画面特征相似度的计算优选为用马氏距离d²(Q,G)进行相似度的表征，对画面特征综合描述词进行量化值，设观察总体G为m维总体，均值向量为μ＝(μ₁,μ₂,…,μ_m)’，协方差阵为∑σ_ij，则查询图像为q＝(q₁,q₂,…,q_m)’，马氏距离d²(Q,G)为：

(式10)。

3.3语义特征的匹配

利用特征转换映射到画面语义特征，再调用基本特征计算。

根据候选对象的相似度计算，按照相似度字段排序作SQL运算，寻找出前5个最近似的对象。

根据最近似对象，按照母题树系关系，抽取5个最近似对象的母题树的主题标注，即可获得艺术品图像中古典母题的语义。

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims

1.一种艺术品图像中古典母题的识别和检索方法，其特征在于，包括：

建立古典母题的语义数据库：构建基于左右值编码驱动的古典母题的语义树形结构，其中，基于左右值编码驱动的树的前序遍历设计一种无递归查询、无限分组的左右值编码方案，来保存该树的数据；所述古典母题的语义树形结构包括多个层次，每个层次通过一个或多个已经定义的特征进行描述；

基于艺术品图像中古典母题的语义解读的图像检索：用上层关键词寻找所有树根，并获取候选图像节点；计算候选对象与查询对象的相似度，并进行特征匹配；结果显示：按照相似度列出检索结果；

计算候选对象与查询对象的相似度包括计算，颜色特征相似度、纹理特征相似度、画面特征相似度中的任意一种或几种，所述已经定义的特征至少包括视觉特征、画面特征和语义特征，其中，所述视觉特征至少包括颜色特征、颜色纹理特征；一个古典母题包含多个年代或多种艺术类型的对象，这些艺术品对象具有同一古典母题溯源；

基于ROI的检测方法的具体流程如下：(1)将设置为画面特征的图像作为显著性特征的输入条件，(2)将每幅图像作为一个候选关键域的集合；(3)在候选图像集合上计算图像的相似度，通过链接分析对代表性的ROI进行选择，并定位每幅图像的前景对象——即机器检测抽取的图像；(4)标注与古典母题所表示一致的语义；(5)重新将背景图像作为显著性特征输入条件，重复(2)-(3)步骤，标注背景语义。

2.根据权利要求1所述的方法，其特征在于，所述颜色特征的提取包括统计和计算颜色直方图，所述统计和计算颜色直方图的方法为采用建立从量化的RGB空间到量化的HSV空间之间的查找表进行。