CN1940941A - 图像分析装置和图像分析程序存储介质 - Google Patents

图像分析装置和图像分析程序存储介质 Download PDF

Info

Publication number
CN1940941A
CN1940941A CNA2006101595950A CN200610159595A CN1940941A CN 1940941 A CN1940941 A CN 1940941A CN A2006101595950 A CNA2006101595950 A CN A2006101595950A CN 200610159595 A CN200610159595 A CN 200610159595A CN 1940941 A CN1940941 A CN 1940941A
Authority
CN
China
Prior art keywords
image
literal
image analysis
search
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101595950A
Other languages
English (en)
Inventor
海老原卓行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN1940941A publication Critical patent/CN1940941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Abstract

本发明的目的是提供一种图像分析装置和存储有图像分析程序的图像分析程序存储介质，其对图像进行分析并自动确定与该图像相关的文字。提供有：获取部分，其用来获取图像；元素抽取部分，其分析由获取部分所获取的图像的内容以抽取构成该图像的构成元素；存储部分，其将多个文字与多个构成元素的每个关联并一起存储；和搜索部分，其在存储部分中存储的文字中搜索与由元素抽取部分所抽取的构成元素关联的文字。

Description

图像分析装置和图像分析程序存储介质
技术领域
本发明涉及对图像进行分析的图像分析装置，以及其中存储有图像分析程序的图像分析程序存储介质。
背景技术
在互联网上以及在信息搜索系统的领域中，在存储在数据库中的大量信息中搜索与用户输入的关键字相关的信息已成为常见的应用。在所提供的这样的信息搜索系统中，使用了一种方法，其中在存储在数据库中的每条信息的文本部分搜索与输入的关键字匹配的字符串，以检索包含了该匹配的字符串等的信息。通过使用这种基于输入的关键字的搜索系统，用户能够从海量的信息中迅速地只检索出其所需要的信息。
近年来，除了匹配输入的关键字的字符串的搜索外，与输入的关键字相关的图像的搜索已开始使用。一种已知的用于搜索图像的方法使用了广泛采用的面部识别或场景分析(例如，参见日本专利公开No.2004-62605)，用来分析图像的图案以及检索提供了能匹配与输入的关键字关联的图像特征的分析结果的图像。根据这种技术，用户通过简单地指定输入的关键字就可以从大量的图像中容易地检索出能够与输入的关键字关联的图像。这种技术的问题是，由于必须为大量图像中的每个执行面部识别或场景分析，因此耗费了大量的时间。
在这点上，日本专利公开No.2004-157623公开了一种技术，其中图像和与图像相关的文字彼此关联并预先寄存在数据库中，并且从数据库中的文字搜索与输入的关键字匹配的文字以检索与该匹配的文字关联的图像。根据在日本专利公开No.2004-157623中所公开的技术，能迅速地检索到与输入的关键字相关的图像。但是，这种技术存在以下问题，由于操作人员必须要找出与大量图像中的每个相关的文字，并人工地将这些文字与图像关联，因此耗费了大量的劳动。
日本专利公开No.2005-107931描述了一种技术，其中基于文本的内容而自动地将可能与图像相关的文字从包括有图像和文本的信息中抽取出来，并且在抽出的文字中寻找与输入的关键字匹配的文字。
但是，在日本专利公开No.2005-107931中描述的技术存在以下问题，如果信息没有包括文本则就不能抽取出与图像相关的文字，从而也不能找到图像。因此，需要开发一种技术，其能基于图像本身而自动地确定图像的关键字。
发明内容
鉴于以上的情况而作出了本发明，提供了一种图像分析装置和一种图像分析程序，其对图像进行分析并自动地确定与该图像相关的关键字，并提供一种在其上存储有该图像分析程序的图像分析程序存储介质。
根据本发明的图像分析装置包括：获取部分，其用来获取图像；元素抽取部分，其分析由获取部分所获取的图像的内容以抽取构成该图像的构成元素；存储部分，其将多个文字与多个构成元素中的每个关联并一起存储；和搜索部分，其在存储部分存储的文字中搜索与由元素抽取部分所抽取的构成元素关联的文字。
根据本发明的图像分析装置，多个文字与构成元素中的每个关联并与其一起存储，并且当获取图像时，抽取构成该图像的构成元素并在所存储的多个文字中检索与抽取的构成元素关联的文字。这样，能够消除人工检查每个图像以找出与该图像相关的文字的劳动，并能基于图像本身而自动地获得与该图像相关的适当的文字。
优选地，在本发明的图像分析装置中的元素抽取部分抽取图形元素作为构成元素。
本发明的元素抽取部分可以分析图像的颜色以抽取颜色元素，或可以分析图像的场景以抽取构成场景的元素。元素抽取部分期待能够通过分析图像的图形元素而抽取在每个图像中被摄物的形状，以及为该图像中的被摄物找到适当的文字。
在本发明的图像分析装置的优选模式中，元素抽取部分抽取多个构成元素，并且搜索部分为由元素抽取部分所抽取的多个构成元素中的每个搜索文字；该图像分析装置包括选择部分，其在由搜索部分所找到的文字中选择能更好地表示由获取部分所获取的图像的特征的文字。
根据在本发明的该优选模式中的图像分析装置，可以选择能更好地表示图像的特征的文字。
在本发明的图像分析装置的另一个优选模式中，元素抽取部分抽取多个构成元素，并且搜索部分为由该元素抽取部分所抽取的多个构成元素中的每个搜索文字；该图像分析装置包括：场景分析部分，其分析由获取部分所获取的图像以确定该图像的场景；和选择部分，其在由搜索部分所找到的文字中选择与由场景分析部分通过分析所确定的场景相关的文字。
由于通过分析而确定图像的场景并选择与该场景相关的文字，因此能有效地获得适于该图像的内容的文字。
在本发明的图像分析装置的另一个优选模式中，获取部分获取附加有信息的图像；元素抽取部分抽取多个构成元素；搜索部分为由元素抽取部分所抽取的多个构成元素中的每个搜索文字；并且该图像分析装置包括选择部分，其在由搜索部分所找到的文字中选择与附加到由获取部分所获得的图像的信息相关的文字。
现在，诸如有关照片拍摄地点的信息或有关在角视场(angle fieldof view)中人物位置的信息等的各类信息有时会在拍摄被摄物照片期间附加到照片中。通过使用这些信息项来进行文字选择，能够精确地为图像选择适合的文字。
本发明的图像分析程序存储介质存储了图像分析程序，该图像分析程序在计算机上执行并在计算机上构建：获取部分，其用来获取图像；元素抽取部分，其分析由获取部分所获得的图像的内容以抽取构成该图像的构成元素；和搜索部分，其在存储部分中所存储的文字中搜索与由元素抽取部分所抽取出的构成元素关联的文字，其中所述存储部分将多个文字与多个构成元素中的每个关联并一起存储。
本发明的图像分析程序存储介质可以是诸如CD-R、CD-RW或MO以及硬盘的大容量存储介质。
虽然为了避免重复，这里只给出图像分析程序存储介质的一种基本模式，但参考本发明的图像分析程序存储介质的实施，除了包括上述的基本模式外，还包括相应于上述图像分析装置的模式的各种实施。
而且，诸如获取部分等由本发明的图像分析程序所配置在计算机系统上的部分既可以是由一个程序模块所实现的一个部分，也可以是由一个程序模块所实现的多个部分。这些部分既可以作为由本身执行操作的元件来实现，也可以作为命令包括在计算机系统中的另一个程序或多个程序模块来执行操作的元件来实现。
根据本发明，提供了对图像进行分析以自动地确定与该图像相关的文字的图像分析装置和图像分析程序存储介质。
附图说明
图1是构成本发明的一个实施例的图像分析装置的个人计算机的透视图；
图2显示了在图1所示的个人计算机中的硬件配置；
图3是根据本发明的图像分析程序存储介质的一个实施例的CD-ROM 210的概念图；
图4是图像分析装置400的功能框图；
图5是显示用来分析图像以确定与该图像相关的关键字的处理流程的流程图；和
图6是显示分析图像的过程的示意图。
具体实施方式
下面将参考附图描述本发明的示例性实施例。
根据一个实施例的图像分析装置对图像进行分析并自动获得与该图像相关的文字。所获得的文字与图像关联并一起存储在诸如数据库等位置中，并且用在搜索系统中，该搜索系统从存储在数据库中的大量图像中搜索与输入的关键字相关的图像。
图1是个人计算机的透视图，其形成了本发明的实施例的图像分析装置，图2显示了该个人计算机的硬件配置。
从外部看，个人计算机10包括主机系统11、根据从主机系统11来的指令在显示屏12a上显示图像的图像显示设备12、响应键盘操作而将各种信息输入到主机系统11中的键盘13、和输入与例如在显示屏12a上指出的位置中显示的图标关联的指令的鼠标14。从外部看，主机系统11具有用来加载软盘(以下称之为FD)的软盘插槽11a和用来加载CD-ROM的CD-ROM插槽11b。
如图2所示，在主机系统11中包括了执行各种程序的CPU 111、从硬盘设备113将程序读入并加载到其中并且展开以由CPU 111执行的主存储器112、在其中存储了各种程序和数据的硬盘设备113、访问加载在其中的FD 200的FD驱动器114、访问CD-ROM 210的CD-ROM驱动器115、从外部设备接收各种数据的输入接口116和将各种数据发送给外部设备的输出接口117。这些组件和在图2中也显示出的图像显示设备12、键盘13以及鼠标14通过总线15互连。
在CD-ROM 210中存储了作为本发明的图像分析程序的实施例的图像分析程序。CD-ROM 210加载在CD-ROM驱动器115中，并且存储在CD-ROMA 210中的图像分析程序上传到个人计算机10中并存储在硬盘设备113中。随后，在个人计算机10中启动并执行该图像分析程序，以构建作为根据本发明的图像分析装置的实施例的图像分析装置400(参见图4)。
以下将描述在个人计算机10中执行的图像分析程序。
图3是显示作为本发明的图像分析程序存储介质的实施例的CD-ROM 210的概念图。
图像分析程序300包括：图像获取部分310、元素分析部分320、场景分析部分330、面部检测部分340和关键字选择部分350。该图像分析程序300的这些部分的详细说明将结合图像分析装置400的各部分的操作来描述。
虽然在图3中显示的是将CD-ROM 210作为存储图像分析程序的存储介质，但本发明的图像分析程序存储介质并不限于CD-ROM。存储介质还可以是诸如光盘、MO、FD和磁带等任何其他的介质。替换地，本发明的图像分析程序可以通过通信网络直接提供给计算机而无需使用存储介质。
图4是当图像分析程序300安装在个人计算机10中时，在如图1所示的个人计算机10中构建的图像分析装置400的功能框图。
图4中所示的图像分析装置400包括图像获取部分410、元素分析部分420、场景分析部分430、面部检测部分440、关键字选择部分430和数据库(以下简称为DB)460。当在图3中所示的图像分析程序300安装在图1中所示的个人计算机10中时，图像分析程序300的图像获取部分310实现图4中所示的图像获取部分410。类似地，元素分析部分320实现元素分析部分420，场景分析部分330实现场景分析部分430，面部检测部分340实现面部检测部分440，而关键字选择部分350实现关键字选择部分450。
在图2中所示的硬盘设备113用作DB 460。在DB中预先存储关联表，该关联表将构成图像的元素特征与表示具有这些特征的候选物体的文字(候选关键字)关联。DB 460表示了本发明中所提及的存储部分的一个实例。
表1显示了存储在DB 460中的关联表的一个实例。
[表1]
  特征   类型   候选关键字   特征颜色
  三角形   自然风景   陆地   山   绿色
  人造建筑   金字塔   土黄色
  食物   饭团   白色、黑色
  圆形   自然风景   天空   月亮   白色、黄色、橙色
  人造物品   小件物品   硬币   金色、银色、铜色
  装饰品   钮扣   任何颜色
  室内   壁钟   任何颜色
  面部   眼睛   黑色、蓝色
  鼻子   皮肤色
  水平直线   自然风景   陆地   地平线   -
  海洋   海平线   -
  人造物品   室内、室外   隔墙   -
  室内   书桌   -
  拐角曲线   自然风景   海洋   海岸线   -
  人造物品   室内   衬垫阴影   -
  动物   动物阴影   -
在表1中所示的关联表由用户预先准备好。在表1所示的关联表中，构成图像的元素特征(例如三角形、圆形、水平直线和拐角曲线)与由特征所联想到的候选关键字(例如山、金字塔和饭团)和由候选关键字所表示的物体的特征颜色(例如绿色和土黄色)关联。而且，每个特征的候选关键字分成不同的类型(例如自然风景-陆地、自然风景-天空、自然风景-海洋、人造建筑和食物)。在表1所示的实例中，特征“三角形”与诸如“山”、“金字塔”和“饭团”这类用户与三角形关联的候选关键字关联。由每个候选关键字所表示的物体的颜色和类型由用户确定，并用来制作表1所示的关联表。在表1中，特征“三角形”与分类为“自然风景-陆地”类型并且特征颜色为“绿色”的候选关键字“山”关联。特征“三角形”还与分类为“人造建筑”类型并且特征颜色为“土黄色”的候选关键字“金字塔”关联，而且还还与分类为“食物”类型并且特征颜色为“白色”和“黑色”的候选关键字“饭团”关联。应当注意的是，在实际中，关联表除了包含在表1中所示的项外，还包含诸如“矩形”、“垂直直线”和“圆形曲线”等的其他特征以及与这些特征关联的候选关键字。
在图4中所示的图像获取部分410通过图2中所示的输入接口116获取图像。图像获取部分410表示了在本发明中所提及的获取部分的实例。所获取的图像被提供给场景分析部分430和面部检测部分440。图像获取部分410从图像中抽取出轮廓，将每个轮廓近似成几何图形，从而将原始图像转换为几何图像，并将得到的图像提供给元素分析部分420。
元素分析部分420将构成由图像获取部分410所提供的图像的图形视为构成元素，并从包含在表1中的元素特征(例如三角形、圆形、水平直线、和拐角曲线)中找到与每个构成元素匹配的特征，并检索与匹配的特征关联的候选关键字。元素分析部分420表示在本发明中所提及的元素抽取部分的一个实例，其相应于根据本发明的搜索部分的实例。将检索到的候选关键字提供给关键字选择部分450。
场景分析部分430分析例如从图像获取部分410所提供的图像的色调等的特征，以确定该图像的场景。场景分析部分430表示了在本发明中所提及的场景分析部分的一个实例。将该分析的结果提供给关键字选择部分450。
面部检测部分440检测从图像获取部分410所提供的图像是否包括了人的面部。将该检测的结果提供给关键字选择部分450。
关键字选择部分450从元素分析部分420所提供的候选关键字中，确定与从场景分析部分430所提供的分析结果和从面部检测部分440所提供的检测结果匹配的候选关键字是图像关键字。关键字选择部分540表示了在本发明中所提及的选择部分的一个实例。
图像分析装置400如上所述而构建。
以下将详细描述如何在图像分析装置400中确定关键字。
图5是显示用于分析图像以确定与该图像相关的关键字的处理流程的流程图。图6是显示分析图像的过程的示图。以下除了参考图5和图6外，还参考图4和表1来进行描述。
从外部设备输入的图像通过在图4中所示的图像获取部分410来获取(在图5中的步骤S1)，并接着被提供给面部检测部分440和场景分析部分430。从由图像获取部分410获取的图像中抽取出轮廓，将所抽取出的轮廓的每个都近似成几何图形，并且由这些轮廓所限定的区域中每个的颜色都均一地变为在该区域中所包含的颜色的中间颜色。结果，该图像被处理成如图6中的(T1)部分所示的几何图像。将处理过的图像提供给元素分析部分420。
面部检测部分440分析在从图像获取部分410提供的图像中皮肤颜色的成分，以在该图像中检测包含人的面部的人物区域(在图5中的步骤S2)。在本实例的描述中，假定该图像并不包含人。用来检测人的面部的技术广泛地使用在传统的技术中，因此在这里省略对其的进一步描述。将该检测的结果提供给关键字选择部分450。
场景分析部分430分析例如从图像获取部分410提供的图像的色调等的特征，以确定图像的场景(在图5中的步骤S3)。例如在日本专利公开No.2004-62605中公开的方法可以用于该场景分析。该技术是公知的，因此在此省略对其的进一步描述。在本实例的描述中假定，在图6的(T1)部分中所示的图像的分析显示出了，该图像可能是在白天拍摄的场景，这具有80％的概率，且是在室外，这具有70％的概率。将该场景分析的结果提供给关键字选择部分450。
另一方面，元素分析部分420获得与从图像获取部分410提供的图像相关的候选关键字。
首先，在图5的步骤S1作为轮廓近似结果所获得的几何图形被用来识别在图像中的多个构成元素(在图5中的步骤S4)。在本实例中，在图6的(T1)部分中所示的图像中识别出了在图6的(T2)、(T3)、(T4)、(T5)和(T6)部分中所示的五个构成元素。
接着，获得与每个构成元素的特征关联的候选关键字(在图5中的步骤S5)。如下获得候选关键字。
首先，分析每个构成元素的大小并获得构成元素的几何特征和颜色。此时，如果构成元素的大小小于或等于预定值，则由构成元素所表示的物体就可能是不重要的物体，因此就不再继续获取与该构成元素相关的关键字。在本实例中假定，在图6的(T2)部分中所示的构成元素的分析显示了，几何特征为“三角形”，大小为“10％”，颜色为“绿色”；在(T3)部分中所示的构成元素的分析显示了，几何特征为“三角形”，大小为“5％”，颜色为“绿色”；在(T4)部分中所示的构成元素的分析显示了，几何特征为“圆形”，大小为“4％”，颜色为“白色”；在(T5)部分中所示的构成元素的分析显示了，几何特征为“水平直线”，大小为“不适用”，颜色为“不适用”；在(T6)部分中所示的构成元素的分析显示了，几何特征为“拐角曲线”，大小为“不适用”，而颜色为“不适用”。
接着，从存储在DB 460的表1中的关联表的“特征”列来搜索与每个构成元素的几何特征匹配的特征，并检索与找到的特征关联的候选关键字。
表2显示的表格列出了从在表1中所示的关联表抽取出来的项，这些项相应于为每个构成元素所获取的候选关键字。
[表2]
  构成元素   类型   候选关键字   特征颜色
  T2   自然风景   陆地   山   绿色
  人造建筑   金字塔   土黄色
  食物   饭团   白色、黑色
  T3   自然风景   陆地   山   绿色
  人造建筑   金字塔   土黄色
  食物   饭团   白色、黑色
  T4   自然风景   天空   月亮   白色、黄色、橙色
  人造物品   小件物品   硬币   金色、银色、铜色
  装饰品   纽扣   任何颜色
  室内   壁钟   任何颜色
  面部   眼睛   黑色、蓝色
  鼻子   皮肤色
  T5   自然风景   陆地   地平线   -
  海洋   海平面   -
  人造物品   室内、室外   隔墙   -
  室内   书桌   -
  T6   自然风景   海洋   海岸线   -
  人造物品   室内   衬垫阴影   -
  动物   动物阴影   -
对于图6的(T2)部分所示的构成元素，由于元素的几何特征是“三角形”，因此与元素特征“三角形”关联的项如表2所示从表1中的关联表抽取出来；对于(T3)部分所示的构成元素，与元素特征“三角形”关联的项也从表1中的关联表抽取出来；对于(T4)部分所示的构成元素，与元素特征“圆形”关联的项也从表1中的关联表抽取出来；对于(T5)部分所示的构成元素，与元素特征“水平直线”关联的项也从表1中的关联表抽取出来；对于(T6)部分所示的构成元素，与元素特征“拐角曲线”关联的项也从表1中的关联表抽取出来。
如上所述，对被分割成构成元素的整个图像执行该处理(在图5中的步骤S4)，得到用于构成元素的候选关键字(在图5中的步骤S5)，从表1中抽取出表2(图5中的步骤S6)。在为该图像的所有区域抽取出表2(图5的步骤S6：是)后，将表2中的抽取信息提供给在图4中的关键字选择部分450。
关键字选择部分450将表2中所示的候选关键字中与由场景分析部分430提供的拍摄场景相适合的候选关键字确定为图像关键字(在图5中的步骤S7)。从候选关键字中如下选择关键字。
为了选择关键字，由用户成像的多个拍摄场景和表示与该场景相关度的优先级被预先指定给在表1中列出的类型。例如，对于场景“室外(自然风景-陆地)”，如下给各类型指定优先级：(1)类型“自然风景-陆地”、(2)类型“自然风景-海洋”和(3)类型“动物”。对于场景“室外(自然风景+人造建筑)”，如下给各类型指定优先级：(1)类型“人造建筑”、(2)类型“自然风景-陆地”和(3)类型“动物”。对于场景“室内”，如下给各类型指定优先级：(1)类型“人造物品-室内”、(2)类型“食物”和(3)类型“人造物品-室外”。
首先，关键字选择部分450为每个场景的每个构成元素以优先级递减的顺序一个个地检索在表2中列出的候选关键字，并对所获得的候选关键字分类以作为该场景的关键字。如果面部检测部分440检测到图像中包含人，则关键字选择部分450就使用从面部检测部分440所提供的有关人物区域的信息来确定哪个构成元素包含了人，并将所找到的包含人的构成元素的图像关键字改变为关键字“人物”。
表3是列出由场景分类的关键字的表。
[表3]
 场景   候选关键字
 室外(自然风景-陆地)   山、月亮、地平线、海岸线
 室外(人造建筑+自然风景)   金字塔、月亮、地平线、动物阴影
 室内   饭团、壁钟、书桌、衬垫阴影
在表3中，关键字“山”、“月亮”、“地平线”和“海岸线”作为场景“室外(自然风景-陆地)”的关键字而列出；关键字“金字塔”、“月亮”、“地平线”和“动物阴影”作为场景“室外(人造建筑+自然风景)”的关键字而列出；关键字“饭团”、“壁钟”、“书桌”和“衬垫阴影”作为场景“室内”的关键字而列出。除了这些场景，还可以提供诸如“室外(自然风景-海洋)”等其他场景，该场景将诸如“海平线”和“海岸线”等与海洋相关的候选关键字列为优先。
在按场景对关键字分类后，确定所拍摄的场景中哪一个与每个构成元素的颜色或作为场景分析部分430的分析结果所确定的场景相匹配，并将所确定的场景的关键字选择作为图像的关键字。由于在本实例中图5的步骤S3处的分析已经确定了拍摄的场景以及其概率为“白天：80％”和“室外：70％”，因此确定场景“室内”不匹配该拍摄的场景。此外，由于在图6的(T2)和(T3)部分中所示的构成元素的颜色为“绿色”，并且场景“室外(自然风景-陆地)”的构成元素的关键字“山”的特征颜色为“绿色”，而在场景“室外(人造建筑+自然风景)”中的构成元素的关键字“金字塔”的特征颜色为“土黄色”，因此确定，场景“室外(自然风景-陆地)”最匹配该拍摄的场景。因此，选择场景“室外(自然风景-陆地)”的关键字“山”、“月亮”、“地平线”和“海岸线”作为该图像的关键字。所选择的关键字与该图像关联并与该图像一起存储在数据库中。
如上所述，本实施例的图像分析装置400基于图像而自动选择关键字，因此节省了人工给图像指定关键字的劳动。
到此，已经描述了本发明的第一实施例。接下来将描述本发明的第二实施例。本发明的第二实施例具有大致与第一实施例相同的构造。因此，相同的元件用相同的参考数字标记，并省略对其的描述而仅描述与第一实施例的不同之处。
除了第二实施例的图像分析装置并不包括场景分析部分430和面部检测部分440外，根据第二实施例的图像分析装置具有大致与图4中所示的图像分析装置相同的构造。
近年来，已经投入使用了包含有能检测其当前位置的GPS(全球定位系统)的照相机。在这种照相机中，指示对被摄物拍摄照片的地点的位置信息会附加到照片中。另一方面，已经开发出了一种技术，其中为了确保人(相关的被摄物)能进入焦点，在拍摄被摄物照片之前使用整个图像(through-image)来检测人物，并且在摄影时，在角视场中检测到人的区域上执行自动对焦。指示包含该人的图像的照片区域的人物信息会附加到用这样的照相机所拍摄的照片中。在根据第二实施例的图像分析装置中，图像获取部分410获取附加有诸如被摄物亮度和指示是否使用了闪光灯等拍摄信息的照片，以及附加有如上所述的位置信息的照片，和附加有人物信息的照片。关键字选择部分450基于附加到照片的这些各种信息项而选择照片的关键字。
在根据第二实施例的图像分析装置中，并不执行在图5的步骤S2处的面部检测和在步骤S3处的场景分析。该处理余下的部分与第一实施例的图像分析装置400中的类似。在获取图像(在图5中的步骤S1)后，由元素分析部分420识别在图像中的多个构成元素(在图5中的步骤S4)，并且为构成元素的每个获得候选关键字(图5中的步骤S5)。在为所有的构成元素获得候选关键字(图5中的步骤S6：是)后，通过场景对关键字分类。
而且，在第二实施例的图像分析装置中，包括了人物的构成元素基于附加到照片的人物信息而在该照片中被检测，并且在由场景分类的关键字中，所检测的构成元素的关键字变为关键字“人物”。结果，在表3中所示的场景如在第一实施例的图像分析装置400中一样与关键字关联。
在以下第二实施例的描述中，假定指示旅行者所在地的粗略位置的位置信息与诸如地标建筑名或山名(例如，富士山)等表示旅行者所在地的候选关键字关联，而不是与在表1的关联表中的信息项关联。在本实例的描述中，假定在表1中所示的候选关键字“金字塔”与表示金字塔的粗略位置的位置信息关联。
关键字选择部分450将附加到照片的指示该照片拍摄地点的位置信息和与候选关键字“金字塔”关联的粗略位置信息作比较，以确定它们是否匹配。例如，如果确定了它们不匹配，则确定在表3中所示的场景“室外(人造建筑+自然风景)”的候选关键字并不与该照片相关。
接着，关键字选择部分450基于附加到照片的诸如被摄物的亮度和是否使用了闪光灯等拍摄条件信息而确定该照片场景是“室外”还是“室内”。例如，如果亮度足够高并且没有使用闪光灯，则确定该场景是“室外”，并且因此确定在表3中所示的场景“室内”的候选关键字并不与该照片相关。因此，余下的场景“室外(自然风景-陆地)”的候选关键字就被选作该照片最终的关键字。
以这样的方式，通过使用各种附加到照片的信息，能够迅速准确地确定与该照片相关的关键字。
虽然在以上描述的实例中使用个人计算机作为图像分析装置，但本发明的图像分析装置也可以是诸如移动电话等其他类型的装置。
虽然在上述实例中通过输入接口而从外部设备获取图像，但本发明的图像获取部分也可以获取在记录介质上记录的图像。

Claims (6)

1.一种图像分析装置，包括：
获取部分，其用来获取图像；
元素抽取部分，其分析由所述获取部分所获取的图像的内容以抽取构成该图像的构成元素；
存储部分，其将多个文字与多个构成元素的每个关联并一起存储；和
搜索部分，其在所述存储部分中存储的文字中搜索与由所述元素抽取部分所抽取的构成元素关联的文字。
2.根据权利要求1的图像分析装置，其中，所述元素抽取部分抽取图形元素作为构成元素。
3.根据权利要求1的图像分析装置，其中，所述元素抽取部分抽取多个构成元素，
所述搜索部分为由所述元素抽取部分所抽取出的多个构成元素中的每个搜索文字，和
所述图像分析装置还包括选择部分，其在由所述搜索部分所找到的文字中选择更好地表示由所述获取部分所获取的图像的特征的文字。
4.根据权利要求1的图像分析装置，其中，所述元素抽取部分抽取多个构成元素，
所述搜索部分为由所述元素抽取部分所抽取出的多个构成元素的每个搜索文字，和
所述图像分析装置还包括：
场景分析部分，其分析由所述获取部分所获取的图像以确定该图像的场景；和
选择部分，其在由所述搜索部分所找到的文字中选择与由所述场景分析部分通过分析而确定的场景相关的文字。
5.根据权利要求1的图像分析装置，其中，所述获取部分获取附加有信息的图像，
所述元素抽取部分抽取多个构成元素，
所述搜索部分为由所述元素抽取部分所抽取出的多个构成元素的每个搜索文字，和
所述图像分析装置还包括选择部分，其在由所述搜索部分所找到的文字中选择与附加到由所述获取部分所获取的图像上的信息相关的文字。
6.一种存储有图像分析程序的图像分析程序存储介质，所述图像分析程序在计算机上执行以在该计算机上构建：
获取部分，其用来获取图像；
元素抽取部分，其分析由所述获取部分所获取的图像的内容以抽取构成该图像的构成元素；和
搜索部分，其在存储部分中所存储的文字中搜索与由所述元素抽取部分所抽取出的构成元素关联的文字，其中所述存储部分将多个文字与多个构成元素中的每个关联并一起存储。
CNA2006101595950A 2005-09-28 2006-09-28 图像分析装置和图像分析程序存储介质 Pending CN1940941A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005282138 2005-09-28
JP2005282138A JP2007094679A (ja) 2005-09-28 2005-09-28 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体

Publications (1)

Publication Number Publication Date
CN1940941A true CN1940941A (zh) 2007-04-04

Family

ID=37016263

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101595950A Pending CN1940941A (zh) 2005-09-28 2006-09-28 图像分析装置和图像分析程序存储介质

Country Status (4)

Country Link
US (1) US20070070217A1 (zh)
EP (1) EP1770554B1 (zh)
JP (1) JP2007094679A (zh)
CN (1) CN1940941A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033708A (zh) * 2010-12-16 2011-04-27 上海泰捷通信技术有限公司 一种基于图形识别技术的文字输入方法和装置及手机终端
CN101770489B (zh) * 2008-12-27 2012-06-20 鸿富锦精密工业（深圳）有限公司 被摄主体信息获取系统及方法
CN102637191A (zh) * 2011-02-15 2012-08-15 卡西欧计算机株式会社 信息检索装置以及词典检索方法
CN103384896A (zh) * 2011-10-21 2013-11-06 富士胶片株式会社 数字漫画编辑装置及其方法
CN106650683A (zh) * 2016-12-29 2017-05-10 佛山市幻云科技有限公司 一种拍照检测系统与方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483747A (zh) * 2009-08-11 2012-05-30 Cpa全球专利研究有限公司 图像要素检索
JP2011203919A (ja) * 2010-03-25 2011-10-13 Nk Works Kk 編集画像データ作成装置及び編集画像データ作成方法
KR20120021057A (ko) * 2010-08-31 2012-03-08 삼성전자주식회사 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치
US8935259B2 (en) 2011-06-20 2015-01-13 Google Inc Text suggestions for images
US20140096018A1 (en) * 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Recognizing Digital Images of Persons known to a Customer Creating an Image-Based Project through an Electronic Interface
US10049477B1 (en) 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP603798A0 (en) * 1998-09-18 1998-10-15 Canon Kabushiki Kaisha Automated image interpretation and retrieval system
US6819797B1 (en) * 1999-01-29 2004-11-16 International Business Machines Corporation Method and apparatus for classifying and querying temporal and spatial information in video
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
US6563959B1 (en) * 1999-07-30 2003-05-13 Pixlogic Llc Perceptual similarity image retrieval method
ATE354832T1 (de) * 1999-11-16 2007-03-15 At & T Invest Uk Inc Verfahren und gerät zur klassifizierung eines bildes
US7146349B2 (en) * 2000-11-06 2006-12-05 International Business Machines Corporation Network for describing multimedia information
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770489B (zh) * 2008-12-27 2012-06-20 鸿富锦精密工业（深圳）有限公司 被摄主体信息获取系统及方法
CN102033708A (zh) * 2010-12-16 2011-04-27 上海泰捷通信技术有限公司 一种基于图形识别技术的文字输入方法和装置及手机终端
CN102637191A (zh) * 2011-02-15 2012-08-15 卡西欧计算机株式会社 信息检索装置以及词典检索方法
CN102637191B (zh) * 2011-02-15 2015-11-18 卡西欧计算机株式会社 信息检索装置以及词典检索方法
CN103384896A (zh) * 2011-10-21 2013-11-06 富士胶片株式会社 数字漫画编辑装置及其方法
CN106650683A (zh) * 2016-12-29 2017-05-10 佛山市幻云科技有限公司 一种拍照检测系统与方法

Also Published As

Publication number Publication date
EP1770554B1 (en) 2018-12-19
EP1770554A1 (en) 2007-04-04
US20070070217A1 (en) 2007-03-29
JP2007094679A (ja) 2007-04-12

Similar Documents

Publication Publication Date Title
CN1940941A (zh) 图像分析装置和图像分析程序存储介质
CN109117836B (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
US10289643B2 (en) Automatic discovery of popular landmarks
JP5318115B2 (ja) 場所別画像分類
US9710488B2 (en) Location estimation using image analysis
US9489402B2 (en) Method and system for generating a pictorial reference database using geographical information
US8532400B1 (en) Scene classification for place recognition
EP2402867B1 (en) A computer-implemented method, a computer program product and a computer system for image processing
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
US20070244925A1 (en) Intelligent image searching
JP2015501982A (ja) 画像コンテンツに基づいた自動タグ生成
JP2005510775A (ja) コンテンツをカテゴリ化するためのカメラメタデータ
JP5018614B2 (ja) 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
US20060026127A1 (en) Method and apparatus for classification of a data object in a database
TWI528197B (zh) 相片分群系統及相片分群方法與電腦可讀取記錄媒體
CN111061904A (zh) 一种基于图像内容识别的本地图片快速检测方法
US9626747B2 (en) Image enhancement and repair using sample data from other images
US20110044530A1 (en) Image classification using range information
JP2002007413A (ja) 画像検索装置
CN111813987A (zh) 一种基于警务大数据的人像比对方法
WO2009072128A2 (en) System and method for representation and comparison of digital images
Li et al. Detecting Interesting Regions in Photographs–How Metadata Can Help

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070316

Address after: Tokyo, Japan

Applicant after: Fuji Film Corp.

Address before: Tokyo, Japan

Applicant before: Fuji Photo Film Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070404