CN1320485C - 图像检索装置和图像检索装置的关键词赋予方法 - Google Patents

图像检索装置和图像检索装置的关键词赋予方法 Download PDF

Info

Publication number
CN1320485C
CN1320485C CNB2004100033641A CN200410003364A CN1320485C CN 1320485 C CN1320485 C CN 1320485C CN B2004100033641 A CNB2004100033641 A CN B2004100033641A CN 200410003364 A CN200410003364 A CN 200410003364A CN 1320485 C CN1320485 C CN 1320485C
Authority
CN
China
Prior art keywords
image
keyword
retrieval
retrieving apparatus
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2004100033641A
Other languages
English (en)
Other versions
CN1519757A (zh
Inventor
长桥敏则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
138 East Lcd Display Development Co ltd
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32652874&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1320485(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1519757A publication Critical patent/CN1519757A/zh
Application granted granted Critical
Publication of CN1320485C publication Critical patent/CN1320485C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明的图像检索装置具有：图像存储装置，把成为分类及检索对象的图像和关键词一起保存在数据库中；对象识别装置，识别所输入的图像中的规定对象；关键词提示装置，在通过所述对象识别装置识别到对象时，提示与该对象相关的关键词；和对象信息输入装置，对通过所述关键词提示装置所提示的关键词进行确认、追加或修改，其中所述关键词是按照由具有层次结构的关键词构成的检索模板赋予的。根据这种结构，可以提供一种图像检索装置，在对图像进行分类时，通过检测图像中的对象，可以高效地进行给图像附加关键词的作业。

Description

图像检索装置和图像检索装置的关键词赋予方法
技术领域
本发明涉及一种进行数字图像的分类和检索的图像检索装置、图像检索装置的关键词赋予方法及程序，特别涉及在图像的检索、分类中，通过进行图像中的对象检测(例如人物检测)来赋予关键词，从而高效地进行给图像赋予关键词的作业的图像检索装置、图像检索装置的关键词赋予方法及程序。
背景技术
最近，数字照相机开始普及，把所摄影的数字图像(有时简称“图像”)保存在PC(个人计算机)等中，以后在PC画面上进行显示、欣赏的情况变多。另外，取出所保存的图像，在PC画面上编辑图像，作成电子相册等情况也变多。
在这种情况下，需要检索保存在PC等中的数字图像，从大量的图像中取出所期望的图像，但为了高效地进行这种检索，需要对登录的图像赋予任意的检索用关键词。
此外，一般，使用者利用数字照相机等拍摄照片时，多以家人等人物为中心进行摄影，在这种情况下，如果赋予可以确定所摄影的人物(对象)的关键词来保存图像，则要方便得多。
但是，为了适当进行该关键词的赋予和分类，以便以后能高效地进行检索，需要相当的熟练程度和经验，对普通使用者来说是非常困难且烦杂的作业。
用于处理这种问题的与图像登录和检索相关的现有技术已公开了几个，例如有下述技术。
(1)预先向成为检索对象的图像赋予外部信息(摄影场所和摄影时间、摄影内容)，把该外部信息用于检索。
(2)另外，市场上也在销售使用图像自身的特征量的产品。例如，利用图像特征量(颜色和形状)把对象图像配置在三维空间上，使使用者高效地进行图像检索的装置已在市场上销售。
(3)另外，例如有特开2001-160057号公报“图像分层分类方法、及图像的分类、检索装置、以及记录了执行该方法的程序的记录介质”公开的现有技术。
特开2001-160057号公报公开的发明是一面使用预先作成的图像辞典，一面交互、分层次地进行图像的分类检索的技术。在该发明中，对引导途中的图像集合，从系统向使用者提示区域颜色、直线、对象、图像辞典这些大分类观点。使用者一选择图像辞典，系统即提示出“人的面孔”、“天空”、“屋顶”这些分类观点。使用者一选择“人的面孔”，系统即提示出人物画的集合，同样针对该图像集合，还向使用者提示区域颜色、直线、对象、图像辞典这些小分类观点，分层次地进行基于分类观点选择的分类。该引导履历对图像DB的分类是有效的，所以作为分类树信息被存储在系统中。通过使用关键词和合成画、取样图像来阅览所存储的分类树的整体像，可以概观图像DB。
(4)此外，例如，有特开平8-221547号公报“面孔图像类型检索处理方法”公开的现有技术。
特开平8-221547号公报公开的发明的目的在于提供一种简便的面孔图像类型检索处理方法，可以从对象物中快速高精度地抽出高效记述了面孔区域特征的数据。然后，利用面孔区域马赛克特征抽出部把含有面孔区域的浓淡图像马赛克化，利用该马赛克图案在面孔区域的内部和外部是不同的这一点，把面孔区域作为面孔区域马赛克特征数据抽出。然后，利用面孔图像类型检索部使用该面孔区域马赛克特征数据进行类型分类的类(class)名的检索。通过以上处理，在抽出面孔区域时，不仅注重于对象物的边缘部分，还注重于对象物区域的浓度图案，从而可以高精度地进行快速的对面孔区域进行抽出、检索乃至用于检索的类型分类的类划分。
(5)此外，例如，有特开平10-307849号公报“检索用关键词的决定方法及装置、文档检索装置、记录介质”公开的现有技术。
特开平10-307849号公报公开的发明是可以利用相互关联的多个关键词进行百科辞典检索的文档检索装置，其目的是可以仅确定真正需要的关键词。而且，关键词决定装置从百科辞典检索出用于追加到输入关键词中的关键词候补，同时从解说文档中检索出该关键词候补的解说文档。然后，向解说文档等赋予与输入关键词和关键词候补的关联程度对应的得分，将其显示在显示装置上，催促操作者判断可否追加该关键词候补。解码读出操作者的判断结果，如果不需要追加该关键词候补，则仅把输入关键词作为检索用关键词。另一方面，在需要追加该关键词候补时，把该关键词候补追加到检索用关键词中。
但是，上述以往的方法具有以下问题。
项目(1)说明的给图像赋予外部信息的方法需要向所有图像赋予适当的外部信息。但是，为了能够进行具有多样性的检索，给图像赋予外部信息(关键词)将是明显费时间的作业，可以说不现实。
项目(2)说明的使用图像自身的特征量的方法是在画面上按照一定规则显示具有相同特征量的多个图像，并从中抽出所期望的图像的方法。因此，其发明目的和用途与检测图像内的对象(例如人物)来高效地赋予关键词的本发明是不同的。
项目(3)说明的专利文献1公开的方法是一面使用预先作成的图像辞典，一面交互、分层次地进行图像的分类检索的技术，其发明目的和结构与检测图像内的对象(例如人物)来高效地赋予关键词的本发明是不同的。
项目(4)说明的特开平8-221547号公报公开的方法，把面孔图像马赛克化(浓淡化)，进行类型分类的类划分，其发明目的和用途与检测图像内的对象(例如人物)来高效地赋予关键词的本发明是不同的。
项目(5)说明的特开平10-307849号公报公开的方法，用于从百科辞典中选定应追加到输入关键词中的关键词候补，其发明目的和结构与检测图像内的对象(例如人物)来高效地赋予关键词的本发明是不同的。
发明内容
本发明就是为解决这些问题而提出的。本发明的目的是，提供一种图像检索装置、图像检索装置的关键词赋予方法及程序，在对图像进行分类时，可以在进行图像中的对象(例如人物)的检测的同时，预先准备检测用模板，高效地进行给图像附加关键词的作业，另外在进行图像检索时，可以使以对象为中心的检索容易进行。
本发明就是为解决这些问题而提出的，本发明的图像检索装置检测图像中的对象，赋予关键词，进行图像的分类和检索，其特征在于，具有：图像存储装置，把成为分类及检索对象的图像和关键词一起保存在数据库中；对象识别装置，识别所输入的图像中的规定对象；关键词提示装置，在通过所述对象识别装置识别到对象时，提示由具有层次结构且与所述对象相关的关键词所构成的检索模板；和对象信息输入装置，使用通过所述关键词提示装置所提示的所述检索模板，对关键词进行确认、追加或修改。
根据这种结构，通过图像存储装置把成为分类及检索对象的图像和关键词一起保存在数据库中。而且通过对象识别装置识别(检测)新输入的图像中的规定对象(例如人物或车)。然后，在通过对象识别装置检测到规定对象时，通过关键词提示装置向使用者提示与该对象相关的关键词。另外，设有对象信息输入装置，该对象信息输入装置用于由使用者对所提示的关键词进行确认、追加或修改。
这样，图像检索、分类装置通过检测所输入的图像中的对象，可以高效地进行给图像附加关键词的作业。另外，由于赋予与图像中的对象相关的关键词，所以能够可靠高效地从大量图像中检索拍摄有特定对象的图像。
而且，预先准备由具有层次结构的关键词构成的检索模板，把该检索模板中包含的关键词提示给使用者，催促赋予关键词。
这样，可以利用模板通过简便的操作赋予关键词。另外，检索模板是根据分层次地配置关键词的类别来构成的，所以能够高效地进行图像的分类和检索。此外，例如，可以使用预先准备的并且可以修改的记述了人物关系的检索模板，所以能够以人物信息为基础容易地进行图像检索。另外，本发明的图像检索装置的特征在于，所述对象识别装置具有：人物检测条件输入装置，用于规定判断在图像中是否包含人物的条件；面孔图像检测装置，进行图像中的面孔图像的检测；和面孔图像类似度判定装置，在通过所述面孔图像检测装置检测到面孔图像时，以该面孔图像为基础，参照所述数据库，检测类似的面孔图像。
根据这种结构，把成为识别(检测)对象的对象设为人物，通过人物检测条件输入装置规定判断在图像中是否包含人物的条件(例如进行肤色区域检测等)。然后，通过面孔图像检测装置，进行新输入的图像中的面孔图像的检测。此外，在通过面孔图像检测装置检测到面孔图像时，以该面孔图像为基础，通过图像类似度判定装置，参照所述数据库检测类似的面孔图像。而且在检测到类似的面孔图像时，通过关键词提示装置向使用者提示与该面孔图像相关的关键词，使使用者进行关键词的确认、追加或修改。
这样，图像的检索、分类装置通过进行所输入的图像中的人物的检测，可以高效地进行给图像附加关键词的作业。由于赋予与图像中的人物相关的关键词，所以能够可靠高效地从大量图像中检索拍摄有特定人物的图像。
另外，本发明的图像检索装置的特征在于，所述对象信息输入装置是用于进行人物信息的确认、追加或修改的人物信息输入装置。
根据这种结构，在把成为识别(检测)对象的对象设为人物，检测到图像中有人物时，进行有关所检测的人物的关键词(人物信息)的确认或输入有关该人物的关键词。
这样，进行所输入的图像中的人物检测，赋予与图像中的人物相关的关键词(人物信息)，所以能够可靠地赋予关键词。
此外，本发明的图像检索装置的特征在于，在检测所述人物时，还使用用于检测图像中的肤色区域的肤色区域检测装置。
根据这种结构，除了通过面孔图像检测装置检测人物的功能外，还通过肤色区域检测装置检测人物。
这样，能够更可靠且高效地进行图像中的人物检测。
此外，本发明的图像检索装置的特征在于，具有在通过所述面孔图像类似度判定装置未检测到类似的面孔图像时，提示赋予给最近输入的图像的关键词的装置。
根据这种结构，在通过所述面孔图像类似度判定装置未检测到类似的面孔图像时，例如输入按相同种类(相同主题)形成的同一人物的图像的可能性高，所以提示赋予给最近输入的图像的关键词。
这样，即使未检测到类似面孔图像时，也能高效地赋予关键词的情况变多。
此外，本发明的图像检索装置的关键词赋予方法中，该图像检索装置检测图像中的对象，赋予关键词，进行图像的分类和检索，其特征在于，包括：图像存储步骤，把成为分类及检索对象的图像和关键词一起保存在数据库中；对象识别步骤，识别所输入的图像中的规定对象；关键词提示步骤，在通过所述对象识别步骤识别到对象时，提示由具有层次结构且与所述对象相关的关键词所构成的检索模板；和对象信息输入步骤，使用通过所述关键词提示步骤所提示的所述检索模板，对关键词进行确认、追加或修改。
根据这种步骤，通过图像存储步骤把成为分类及检索对象的图像和关键词一起保存在数据库中。然后，通过对象识别步骤识别(检测)新输入的图像中的规定对象(例如人物或车)。然后，在通过对象识别步骤检测到规定对象时，通过关键词提示步骤向使用者提示与该对象相关的关键词。另外，通过对象信息输入步骤，使用者对所提示的关键词进行确认、追加或修改。
这样，图像检索、分类装置通过检测所输入的图像中的对象，可以高效地进行给图像附加关键词的作业。另外，由于赋予与图像中的对象相关的关键词，所以能够可靠高效地从大量图像中检索拍摄有特定对象的图像。
此外，本发明的计算机程序使检测图像中的对象、赋予关键词、进行图像的分类和检索的图像检索装置中的计算机执行下述步骤：图像存储步骤，把成为分类及检索对象的图像和关键词一起保存在数据库中；对象识别步骤，识别所输入的图像中的规定对象；关键词提示步骤，在通过所述对象识别步骤识别到对象时，提示与该对象相关的关键词；和对象信息输入步骤，对通过所述关键词提示步骤所提示的关键词进行确认、追加或修改。
附图说明
图1是表示本发明的图像检索装置具有的装置的结构示例的方框图。
图2是表示对象为人物时的装置的结构示例的方框图。
图3是表示催促输入人物信息的画面示例图。
图4是表示成为关键词的人物信息的提示方法的第1示例图。
图5是表示成为关键词的人物信息的提示方法的第2示例图。
图6是表示记录在数据库中的记录示例图。
图7是表示显示人物关系的检索模板的示例图。
图8是表示人物检测和关键词赋予的处理步骤的流程图。
图9是表示进行检索时的处理步骤的流程图。
图10是表示图像检索装置的结构示例的方框图。
具体实施方式
以下，参照附图说明本发明的实施方式例。
[本发明的图像检索装置的基本概念]
本发明的图像检索装置在检测图像中的对象(例如人物)的同时，预先准备关键词用模板，使给被检测到对象的图像赋予关键词的作业容易进行。这样，可以高效地进行使用关键词的检索。
而且，使所使用的关键词具有以下性质。
(1)以检测图像中的对象(例如人物)为契机，给图像赋予用于特定对象的关键词。此时，提示预先准备的关键词，从系统侧询问使用者该图像属于哪个类别(分类)，如果使用者从所提示的类别中找到相符的项目，则选择该关键词。
(2)该关键词用于检索含有人物的图像，但关键词可以分层次设定。例如，对象是人物时，“家人”、“亲戚”等成为上位关键词，还可以把“长子”“长女”“母方”等关键词作为下位关键词。
(3)此外，分层次的关键词的基本结构是作为检索模板而预先准备好的，并且可以修改(追加关键词等)。
这样，本发明的图像检索装置可以简化对图像的关键词赋予。
[本发明的图像检索装置的具体结构]
图1是表示本发明的图像检索装置具有的装置的结构示例的方框图，表示与本发明有直接关系的装置。图1所示的图像检索装置中所设置的各个装置具有以下功能。
(1)图像输入检测装置101
图像输入检测装置101是图像检索装置100中，用于检测新进行了图像存储的装置。
(2)图像读取装置102
图像读取装置102是用于读出构成图像的每个像素的值(例如RGB值等)的装置。
(3)静态图像生成装置103
静态图像生成装置103是当图像是动态图像时，用于从动态图像生成静态图像的装置。
(4)对象识别装置104
对象识别装置104是用于解析图像，检测是否含有规定对象的装置。作为具体示例，将在后面叙述对象是“人物”时的示例。
(5)关键词提示装置105
关键词提示装置105是用于在检测到对象时，参照数据库120，抽出与该对象相关的关键词，并提示给使用者的装置。作为具体示例，将在后面叙述对象是“人物”时的示例。
(6)对象信息输入装置106
对象信息输入装置106是用于由使用者从所提示的关键词中选择对象信息或新输入、更新关键词的装置。作为具体示例，将在后面叙述对象是“人物”时的示例。
(7)检索条件输入装置107
检索条件输入装置107用于输入检索图像的检索条件。例如，检索对象是人物时，输入选择“家人”“友人”等的检索条件(关键词)。
(8)显示装置108
显示装置108是用于显示检索结果的装置。
(9)打印装置109
打印装置109是用于打印检索结果的装置。
另外，在数据库(图像存储装置)120中存储有用于赋予关键词的检索模板121，和与该关键词(检索模板)相关联的动态图像122及静态图像123的数据。
下面，以检测对象为“人物”时的情况为例，更具体地说明本发明的图像检索装置。
图2是表示在图1所示的图像检索装置中，成为检测对象的对象是“人物”时的装置的结构示例的方框图。图1中的对象识别装置104成为图2中的人物检测条件输入装置111、面孔图像检测装置112、肤色区域检测装置113、及面孔图像类似度判定装置114。另外，图1中的对象信息输入装置106成为图2中的人物信息输入装置115。其他装置在图1和图2中是相同的。
以下说明图2中的各个装置。另外，省略与图1相同的部分的说明。
(1)人物检测条件输入装置111
人物检测条件输入装置111是用于规定判断图像中是否含有人物的条件的装置。不仅输入进行面孔图像的检测来判断是否含有人物的条件，而且输入进行肤色区域的检测来判断是否含有人物的条件等。
(2)面孔图像检测装置112
面孔图像检测装置112是用于解析图像，检测是否含有面孔图像的装置。面孔图像的检测方法有使预先学习面孔图像的图案的方法和进行图像图案的频率解析的方法等各种方法，可以使用任一种方法。另外，也可以使用特开平8-221547号公报公开的方法。而且该面孔图像检测装置112也可以同时使用下面说明的肤色区域检测装置113来进行人物检测。
(3)肤色区域检测装置113
为了检测人物，除了面孔图像的检测以外，虽然可以考虑使用边缘信息、模板等各种方法，但此处使用肤色区域。该肤色区域检测装置113是用于判定所读取的像素值是否在肤色范围内的装置。为了检测该肤色区域，例如，可以使用文献“不依赖背景和面孔方向的面孔检测和面孔方向的推测，荒木、岛田、白井、信学技法PRMU2001-217pp.87-94(2002-01)”中记载的方法。
如该文献的2.1项所述，可以按照下述公式检测肤色范围。
0.333＜r＜0.664，       r＞g
0.246＜g＜0.398，       g≥0.5-0.5r
其中，r＝R/(R+G+B)，g＝G/(R+G+B)，R、G、B分别是该像素的RGB值。
(4)面孔像素类似度判定装置114
面孔像素类似度判定装置114是用于参照数据库120来确认是否存储有与所检测的面孔图像类似的面孔图像的装置。为了判定该类似度，可以使用例如特开平8-221547号公报公开的、把面孔图像马赛克化来进行类型分类的类划分的方法等。
(5)人物信息输入装置115
人物信息输入装置115是用于由使用者从图像检索装置100所提示的关键词信息中选择人物信息，或新输入、更新关键词的装置。
图3是表示催促输入人物信息的画面示例图，向图像检索装置100存储新图像时，在图像检索装置100中尝试检测图像内的人物，如果检测到人物，则以图3所示显示形式催促使用者输入人物信息。
此时，可以使用各种方法来提示人物信息，例如，为了提高使用者的方便性，提示给使用者的关键词信息可以根据以下优先度来进行。
·当判断为与已经存储的面孔图像一致或极其接近时，则显示该人物信息，催促确认。
·显示最近时期输入的图像中包含的人物信息、更新后的人物信息或关键词。这是由于如果是家人的照片(例如入学仪式或运动会照片)等时，连续输入相同人物的图像的可能性高。
图4是表示成为关键词的人物信息的提示方法的第1示例图。如图4所示，是在人物信息中预先登录有“长子”、“家人”、“亲戚”、“友人”等关键词，考虑优先度来全部配置这些关键词进行提示的例子。如果有符合的项目，使用者就选择该项目。另外，没有符合的项目时，可以选择“新作成人物信息”或“新作成人物类别”等项目，追加新的项目。
图5是表示成为关键词的人物信息的提示方法的第2示例图。图5是配置优先度最高的关键词(长子)的示例，在不是长子的图像时，从下拉菜单选择符合的关键词。
图6表示记录在数据库120中的记录的示例图。记录在数据库120中的关键词形成上位关键词1和下位关键词2的2层结构。例如，表示出如下情况：上位关键词1是“家人”，下位关键词2是“次子”，姓名是“次郎”，出生年月日是“2003年1月1日”，所保存的图像是图像1、图像2、图像3这三个图像。
图7是表示为了表示人与人关系而使用的检索模板的示例图，该检索模板预先准备在数据库120中。而且，在追加图6所示的记录时，即存储有关“次子”的图像时，需要在上位关键词“家人”下面作成下位关键词“次子”，该操作是通过在图3、图4、图5所示的画面上的操作来进行的。
下面，参照流程图，说明本发明的图像检索装置的处理步骤。
图8是表示本发明的图像检索装置的人物检测和关键词赋予的处理步骤的图，是表示图像中的人物检测和与关键词登录有关的处理步骤的流程图。以下，参照图8说明该处理步骤。
(1)步骤S1：通过图像输入检测装置101检测新输入的图像。
(2)步骤S2：通过面孔图像检测装置112尝试从所输入的图像检测面孔图像。图像数据通过图像读取装置102读取。另外，输入了动态图像时，通过静态图像生成装置103按照规定的规则，例如在每隔一定时间时，生成静态图像，进行以后的处理。
(3)步骤S3：确认是否检测到面孔图像。
(4)步骤S4：通过面孔图像类似度判定装置114确认数据库120中是否有已经登录的类似面孔图像。
(5)步骤S5：从数据库120中选择与类似的面孔图像对应的人物信息。
(6)步骤S6：如果没有现成的关键词，新作成表示人物的关键词。
(7)步骤S7：通过显示装置108显示所选择的人物信息，催促选择人物信息(关键词的选择)和输入必要信息。
(8)步骤S8：更新存储有人物信息的数据库120。
(9)步骤S9：当在步骤S3未检测到面孔图像时，转入步骤S9，通过肤色区域检测装置113从所输入的图像中检测肤色区域。
(10)步骤S10：检测是否存在肤色区域。
(11)步骤S11：当在步骤S10未检测到肤色区域时，选择最近输入、更新的人物信息。
另外，图9表示进行检索时的处理步骤的流程图。
(1)步骤S21：通过检索条件输入装置107输入检索条件。例如，输入以下所示检索条件。
·存储在数据库120中的有关次郎的所有照片
·有关小组的友人的所有2003年的摄影照片
(2)步骤S22：根据所指定的检索条件设定关键词，访问数据库120。
(3)步骤S23：选择与检索条件相符的所有图像。
(4)步骤S24：通过显示装置108显示所选择的图像，或通过打印装置109打印所选择的图像。
根据以上说明的处理步骤，可以进行图像的关键词的登录和检索。
此外，图10是表示图像检索装置的结构示例的方框图，是成为检测对象的对象为人物时的示例，仅显示与本发明有直接关系的部分。在图10中，100表示图像检索装置，1表示因特网等通信网络，131表示连接图像检索装置和图像网络1的通信用接口；132表示集中控制图像检索装置整体的控制部，140表示处理程序部。另外，图像检索装置100也可以使用PC(个人计算机)。
此外，处理程序部140包括以下处理部。
·图像输入检测处理部141
图像输入检测处理部141是在图像检索装置100中，用于检测新进行了图像存储的处理部。
·图像读取处理部142
图像读取处理部142用于读出构成图像的每个像素的值(例如RGB值等)的处理部。
·静态图像生成处理部143
静态图像生成处理部143是当图像是动态图像时，用于从动态图像生成静态图像的处理部。
·人物检测条件输入处理部144
人物检测条件输入处理部144是用于规定判断图像中是否含有人物的条件的处理部。不仅输入进行面孔图像的检测来判断是否含有人物的条件，而且输入进行肤色区域的检测来判断是否含有人物的条件等。
·面孔图像检测处理部145
面孔图像检测处理部145是用于解析图像，检测是否含有面孔图像的处理部。面孔图像的检测方法有使预先学习面孔图像的图案的方法和进行图像图案的频率解析的方法等各种方法，可以使用任一种方法。另外，也可以使用特开平8-221547号公报公开的方法。而且该面孔图像检测处理部145也可以同时使用下面说明的肤色区域检测处理部146来进行人物检测。
·肤色区域检测处理部146
肤色区域检测处理部146是用于判定所读取的像素值是否在肤色范围内的处理部。为了检测该肤色区域，例如，可以使用文献“不依赖背景和面孔方向的面孔检测和面孔方向的推测，荒木、岛田、白井、信学技法PRMU2001-217pp.87-94(2002-01)”中记载的方法。
·面孔图像像素类似度判定处理部147
面孔图像像素类似度判定处理部147是用于参照数据库120来确认是否存储有与所检测的面孔图像类似的面孔图像的处理部。为了判定该类似度，可以使用例如特开平8-221547号公报公开的、把面孔图像马赛克化来进行类型分类的类划分的方法等。
·关键词提示处理部148
关键词提示处理部148是用于在检测到对象时，参照数据库120，抽出与该对象相关的关键词，并提示给使用者的处理部。
·人物信息输入处理部149
人物信息输入处理部149是用于由使用者从图像检索装置100所提示的关键词信息中选择人物信息，或新输入、更新关键词的处理部(参照图3和图4)。
·检索条件输入处理部150
检索条件输入处理部150用于输入检索图像的检索条件。例如，输入选择“家人”“友人”等的检索条件(关键词)。
·显示处理部151
显示处理部151是用于显示检索结果的处理部。
·打印处理部152
打印处理部152是用于打印检索结果的处理部。
此外，在数据库(图像存储装置)120中存储有用于给图像赋予关键词的检索模板121，和与该关键词(检索模板)相关联的动态图像122及静态图像123的数据(参照图6)。
另外，该处理程序部140也可以通过专用的硬件来实现，此外，该处理程序部140还可以由存储器及CPU(中央处理装置)等通用信息处理装置来构成，通过把用于实现该处理部的功能的程序(未图示)加载到存储器中并执行来实现该功能。此外，该图像检索装置100连接着输入装置、显示装置、打印装置等(均未图示)等外围设备。此处，作为输入装置是指键盘、鼠标等输入设备。显示装置是指CRT(Cathode Ray Tube)或液晶显示装置等。作为打印装置是指激光打印机、喷墨打印机等。
另外，也可以把用于实现图10所示图像检索装置100的功能的程序记录在计算机可读取的记录介质中，使计算机系统读取并执行记录在该记录介质中的程序，从而进行本发明的图像检索装置100的必要的处理。而且此处所说的“计算机系统”包括OS和外围设备等硬件。
另外，在利用WWW系统的情况下，“计算机系统”包括主页提供环境(或显示环境)。此外，“计算机可读取的记录介质”是指软盘、光盘、ROM、CD-ROM等可移动介质，内置于计算机系统中的硬件等存储装置。
另外，“计算机可读取的记录介质”包括诸如通过因特网等网络和电话线路等通信线路发送程序时的通信线等，在短时间内动态保持程序的介质(传输介质乃至传输波)，以及诸如该情况下作为服务器和客户端计算机系统内部的易失性存储器等，在一定时间内保持程序的介质。另外上述程序可以是用于实现前述功能的一部分的程序，也可以是通过与已记录在计算机系统中的程序相组合来实现前述功能的程序，即所谓差文件(差程序)。
另外，在以上说明的本发明的图像检索装置中，表示了把成为图像内的分类对象的对象作为面孔图像(人物)赋予关键词时的示例，但不限于此，也可以是把车、动物等作为成为分类对象的对象进行检测，并赋予关键词的结构。
以上，对本发明的实施方式进行了说明，但本发明的图像检索装置不只限定于上述图示例，当然，在不脱离本发明主旨的范围内，可以进行各种变更。
本申请以2003年1月29日提交的日本国专利申请2003-20805号为基础，并引用了其内容。

Claims (6)

1.一种图像检索装置，检测图像中的对象，赋予关键词，进行图像的分类和检索，其特征在于，具有：
图像存储装置，把成为分类及检索对象的图像和关键词一起保存在数据库中；
对象识别装置，识别所输入的图像中的规定对象；
关键词提示装置，在通过所述对象识别装置识别到对象时，提示由具有层次结构且与所述对象相关的关键词所构成的检索模板；和
对象信息输入装置，使用通过所述关键词提示装置所提示的所述检索模板，对关键词进行确认、追加或修改。
2.根据权利要求1所述的图像检索装置，其特征在于，所述对象识别装置具有：
人物检测条件输入装置，用于规定判断在图像中是否包含人物的条件；
面孔图像检测装置，进行图像中的面孔图像的检测；和
面孔图像类似度判定装置，在通过所述面孔图像检测装置检测到面孔图像时，以该面孔图像为基础，参照所述数据库，检测类似的面孔图像。
3.根据权利要求1或2所述的图像检索装置，其特征在于，所述对象信息输入装置是用于进行人物信息的确认、追加或修改的人物信息输入装置。
4.根据权利要求2所述的图像检索装置，其特征在于，在检测所述人物时，还使用用于检测图像中的肤色区域的肤色区域检测装置。
5.根据权利要求2所述的图像检索装置，其特征在于，具有在通过所述面孔图像类似度判定装置未检测到类似的面孔图像时，提示赋予给最近输入的图像的关键词的装置。
6.一种图像检索装置的关键词赋予方法，该图像检索装置检测图像中的对象，赋予关键词，进行图像的分类和检索，其特征在于，包括：
图像存储步骤，把成为分类及检索对象的图像和关键词一起保存在数据库中；
对象识别步骤，识别所输入的图像中的规定对象；
关键词提示步骤，在通过所述对象识别装置识别到对象时，提示由具有层次结构且与所述对象相关的关键词所构成的检索模板；和
对象信息输入步骤，使用通过所述关键词提示步骤所提示的所述检索模板，对关键词进行确认、追加或修改。
CNB2004100033641A 2003-01-29 2004-01-21 图像检索装置和图像检索装置的关键词赋予方法 Expired - Lifetime CN1320485C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP020805/2003 2003-01-29
JP2003020805A JP2004234228A (ja) 2003-01-29 2003-01-29 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN1519757A CN1519757A (zh) 2004-08-11
CN1320485C true CN1320485C (zh) 2007-06-06

Family

ID=32652874

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100033641A Expired - Lifetime CN1320485C (zh) 2003-01-29 2004-01-21 图像检索装置和图像检索装置的关键词赋予方法

Country Status (4)

Country Link
US (1) US7486807B2 (zh)
EP (1) EP1443428A3 (zh)
JP (1) JP2004234228A (zh)
CN (1) CN1320485C (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
DE60144222D1 (de) 2000-01-13 2011-04-28 Digimarc Corp Authentifizierende metadaten und einbettung von metadaten in wasserzeichen von mediensignalen
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US20050234896A1 (en) * 2004-04-16 2005-10-20 Nobuyuki Shima Image retrieving apparatus, image retrieving method and image retrieving program
US8953908B2 (en) * 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US7940284B2 (en) 2004-09-03 2011-05-10 Canon Kabushiki Kaisha Digital document editing method, digital document editing program and digital document editing apparatus
JP4624933B2 (ja) 2005-03-16 2011-02-02 富士フイルム株式会社 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
US8570586B2 (en) 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
US7672508B2 (en) * 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
JP2007286864A (ja) 2006-04-17 2007-11-01 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US9043299B2 (en) 2006-08-28 2015-05-26 A Ja U Majandustarkvara Ou System for image storing
JP4870503B2 (ja) * 2006-09-20 2012-02-08 オリンパスイメージング株式会社 カメラ、ブログ管理システム
US7916976B1 (en) * 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP4274226B2 (ja) * 2006-10-25 2009-06-03 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8375312B2 (en) * 2007-06-08 2013-02-12 Apple Inc. Classifying digital media based on content
JP4908321B2 (ja) * 2007-06-14 2012-04-04 富士フイルム株式会社 撮像装置
EP2015568B1 (en) * 2007-06-14 2019-02-13 FUJIFILM Corporation Digital image pickup apparatus
CN102105901B (zh) * 2008-06-06 2013-03-06 谷歌公司 注释图像
JP5774985B2 (ja) * 2008-06-06 2015-09-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像の類似検索システム及び方法
JP4897779B2 (ja) * 2008-11-28 2012-03-14 ヤフー株式会社 人物名収集装置、その方法、および、そのプログラム
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
JP2010134952A (ja) * 2010-01-20 2010-06-17 Seiko Epson Corp 画像データの管理
US8223539B2 (en) * 2010-01-26 2012-07-17 Micron Technology, Inc. GCIB-treated resistive device
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
CN102687147B (zh) 2010-08-03 2016-06-08 松下电器（美国）知识产权公司 信息处理装置、处理方法及集成电路
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
JP2011090691A (ja) * 2010-11-12 2011-05-06 Fuji Xerox Co Ltd ドキュメント処理装置、ドキュメント処理装置の制御方法、及びプログラム
US9785835B2 (en) * 2011-03-22 2017-10-10 Rochester Institute Of Technology Methods for assisting with object recognition in image sequences and devices thereof
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
KR102007840B1 (ko) * 2012-04-13 2019-08-06 엘지전자 주식회사 이미지 검색 방법 및 이를 위한 디지털 디바이스
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5859471B2 (ja) * 2013-03-19 2016-02-10 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
JP5708868B1 (ja) * 2014-08-20 2015-04-30 富士ゼロックス株式会社 プログラム、情報処理装置及び方法
CN104462212B (zh) * 2014-11-04 2017-12-22 百度在线网络技术（北京）有限公司 信息展示方法和装置
JP6463095B2 (ja) * 2014-11-25 2019-01-30 キヤノン株式会社 画像検索装置及び方法
CN105760390B (zh) * 2014-12-17 2021-09-28 富泰华工业（深圳）有限公司 图片检索系统及方法
JP2017059156A (ja) * 2015-09-18 2017-03-23 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2023188606A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 記録方法、記録装置、及びプログラム
WO2023188652A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 記録方法、記録装置、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221547A (ja) * 1995-02-09 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 顔画像類型検索処理方法
JPH10307849A (ja) * 1997-03-06 1998-11-17 N T T Data:Kk 検索用のキーワードの決定方法及び装置、文書検索装置、記録媒体
CN1245317A (zh) * 1998-07-08 2000-02-23 松下电器产业株式会社 多媒体数据检索装置和方法
CN1291751A (zh) * 1999-09-22 2001-04-18 Lg电子株式会社 基于用户优选的提档信息数据结构和其多媒体数据游览方法
JP2001160057A (ja) * 1999-12-03 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体
CN1378159A (zh) * 2001-03-26 2002-11-06 Lg电子株式会社 图像搜索方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9125540D0 (en) * 1991-11-30 1992-01-29 Davies John H E Access control systems
JPH06215089A (ja) 1993-01-12 1994-08-05 Matsushita Electric Ind Co Ltd カラー画像ファイル管理装置
JP3199976B2 (ja) 1995-03-14 2001-08-20 正夫 坂内 画像データベース装置
JP3661287B2 (ja) 1996-08-02 2005-06-15 富士ゼロックス株式会社 画像登録装置および方法
JPH10312387A (ja) 1997-03-11 1998-11-24 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
JPH10326278A (ja) 1997-03-27 1998-12-08 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
US6606398B2 (en) * 1998-09-30 2003-08-12 Intel Corporation Automatic cataloging of people in digital photographs
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
US6862038B1 (en) * 2000-02-11 2005-03-01 Ipac Acquisition Subsidiary I, Llc Efficient image categorization
JP2002207741A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像データ検索装置、画像データ検索方法、画像データ検索プログラムおよび画像データ検索プログラムを記録したコンピュータ読み取り可能な記録媒体
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
US7382903B2 (en) * 2003-11-19 2008-06-03 Eastman Kodak Company Method for selecting an emphasis image from an image collection based upon content recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221547A (ja) * 1995-02-09 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 顔画像類型検索処理方法
JPH10307849A (ja) * 1997-03-06 1998-11-17 N T T Data:Kk 検索用のキーワードの決定方法及び装置、文書検索装置、記録媒体
CN1245317A (zh) * 1998-07-08 2000-02-23 松下电器产业株式会社 多媒体数据检索装置和方法
CN1291751A (zh) * 1999-09-22 2001-04-18 Lg电子株式会社 基于用户优选的提档信息数据结构和其多媒体数据游览方法
JP2001160057A (ja) * 1999-12-03 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体
CN1378159A (zh) * 2001-03-26 2002-11-06 Lg电子株式会社 图像搜索方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种快速彩色图像中复杂背景下人脸检测方法 王延江，袁保宗，唐晓芳，电子学报，第30卷第10期 2002 *

Also Published As

Publication number Publication date
CN1519757A (zh) 2004-08-11
EP1443428A2 (en) 2004-08-04
JP2004234228A (ja) 2004-08-19
US7486807B2 (en) 2009-02-03
US20040213553A1 (en) 2004-10-28
EP1443428A3 (en) 2005-09-07

Similar Documents

Publication Publication Date Title
CN1320485C (zh) 图像检索装置和图像检索装置的关键词赋予方法
CN1284107C (zh) 用于搜索一组信息项的信息检索设备和方法
CN1218265C (zh) 数据库检索装置及方法
CN1248138C (zh) 图像处理方法与图像处理系统
CN1139884C (zh) 信息处理方法和装置
CN1120442C (zh) 文件图象处理设备及其方法
CN101059814A (zh) 图像处理设备与图像处理方法
CN1901672A (zh) 照相机系统、信息处理装置及方法
CN1908936A (zh) 图像处理装置、方法和程序
CN1877598A (zh) 手机中使用图像识别进行名片信息的采集与录入的方法
CN1841373A (zh) 电子手册显示装置
CN1684070A (zh) 图像检索装置和图像检索方法
CN1945599A (zh) 图像处理装置,图像处理方法和计算机程序产品
CN1689042A (zh) 生物测量信息登记装置、生物测量信息校验装置、生物测量信息登记/校验系统和生物测量信息登记程序
CN1719445A (zh) 基于对数时标、按种类显示事件
CN1577328A (zh) 基于视觉的文档分割
CN1316707A (zh) 数据压缩与检索方法和数据检索设备及记录媒体
CN1913573A (zh) 用于图像检索的图像处理设备及其控制方法
CN101059824A (zh) 支持基因相互作用网络分析的方法和设备以及计算机产品
CN1810205A (zh) 个人核对装置、信息处理装置以及个人核对系统
CN1926532A (zh) 能用给定的访问方法进行数据发送的数据处理装置
CN1551017A (zh) 图像检索装置、方法、程序及存储有该程序的存储介质
CN1925541A (zh) 图像处理装置及其方法
CN1700201A (zh) 图像处理装置、图像处理系统、图像处理方法
CN1773501A (zh) 图像检索和形成装置、方法及程序、以及记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220919

Address after: Irish Dublin

Patentee after: 138 East LCD Display Development Co.,Ltd.

Address before: Tokyo

Patentee before: Seiko Epson Corp.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070606