CN1313955C - 多媒体数据检索方法、索引信息提供方法及相关装置和服务器 - Google Patents

多媒体数据检索方法、索引信息提供方法及相关装置和服务器 Download PDF

Info

Publication number
CN1313955C
CN1313955C CNB011118709A CN01111870A CN1313955C CN 1313955 C CN1313955 C CN 1313955C CN B011118709 A CNB011118709 A CN B011118709A CN 01111870 A CN01111870 A CN 01111870A CN 1313955 C CN1313955 C CN 1313955C
Authority
CN
China
Prior art keywords
data
retrieval
information data
time information
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011118709A
Other languages
English (en)
Other versions
CN1378156A (zh
Inventor
金井达德
前田诚司
矢尾浩
矢野浩邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1378156A publication Critical patent/CN1378156A/zh
Application granted granted Critical
Publication of CN1313955C publication Critical patent/CN1313955C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种多媒体数据检索方法，可以很容易的检索用数字照相机拍摄的照片等多媒体数据。与时刻信息和位置相关联对多媒体数据进行管理，同时利用与时刻和位置2个信息相关联的事件的数据库，求出由事件名或其组合所指定的检索对象的时刻和位置的范围，对在该范围内具有某时刻信息和位置信息的多媒体数据进行检索。

Description

多媒体数据检索方法、索引信息 提供方法及相关装置和服务器
技术领域
本发明涉及从多数的多媒体数据中，为了检索所期望烽据的多媒体数据检索方法、索引信息提供方法、多媒体数据检索装置、索引服务器及多媒体数据检索服务器。
背景技术
随着数字照相机(也称数字图像照相机)、映像扫描仪、胶片扫描仪、及数字摄像要等机器的进步，使之可以很简单地作出数字化的静止图像(例如照片及文件等)、及数字化的动态图像(例如视频图像等)、或数字化的声音、或者这些组合等的多媒体数据，在各种领域中可利用这些多媒体数据。
这样的多媒体数据大多使用计算机的文件系统及数据库管理系统或专用软件进行管理、为了容易检索所需要的多媒体数据，进行了各种各样的努力。
向来被广泛使用的多媒体数据的管理方法，是将放入静止图像及动画图像及声音等的多媒体数据的多数文件，作成被称为目录或折页夹等的分组进行分类的方法。
在图33中表示其具体例子。在图33中所示的例子中，在“PHOTO”名称的目录之下作为“1970”和“1998”2个目录，在“1970”目录之下有“伊势志摩”和“日本万国博览会”2个目录，在“1998”目录之下作出了“京都”和“长野冬奥会”2个目录。
还在“伊势志摩”目录之下管理在伊势志摩旅行时用数字照相机拍摄的“夫妇岩”照片的数据“夫妇岩·JPG”和在伊势神宫拍摄的照片数据“伊神宫、JPG”。在“日本万国博览会”目录中管理有到大阪去看日本万国博览会的旅行时在会场内的太阳塔拍摄的照片数据“太阳塔，JPG”和在美国馆拍摄的照片数据“美国馆，JPG”、及返回时路过大阪城拍摄的照片数据“大阪城，JPG”。在“京都”目录之下管理有在京都旅行时用数字照相机拍摄的金阁寺的照片数据“金阁寺，JPG”、和在清水寺拍摄的照片数据“清水寺，JPG”。在“长野冬奥会”目录中管理去看长野冬奥会旅行时在跳台滑雪竞赛场拍摄的照片数据“跳台滑雪，JPG”、和在速度滑冰竞赛场拍摄的照片数据“速度滑水，JPG”、及在顺时路过善光寺拍摄的照片数据“善光寺，JPG”。这些照片数据、此处是JPEG形式的静止图像数据，假定是具有“JPG”后缀的文件，有时也有其他数据形式。
向来广泛使用的其他方法是对每个多媒体数据加上检索用的关键字，使用该了进行检索的方法。
在图34/图35中表示其中的一个具体例子(图35是图34的关键字表文件“KEYWOKD”内容的例子)。
在图34/图35所示的例子中，从“P0000100，JPG”“P0000581，JPG”的10个照片数据文件是在文件系统内的“PHOTO”名称的目标中进行管理，再对这些文件分别加关键字的表作为关键字表在“KEYWORD”文件中进行管理。在此，当在“P0000100，JPG”中有“夫妇岩”、“伊势志摩”和“新年”3个关键字，在“P10000101，JPG”中有“伊势神宫”、“伊势志摩”和“新年”3个关键字时，对各数据加上任意个数的关键字进行管理。
这样的管理，例如在需要伊势志摩拍摄的照片数据时，可以选出具有“伊势志摩”关键字的“P0000100，JPG”和“P0000101，JPG”。作为关键字的管理方法，可以像图34/图35的例子那样作出保持照片数据的文件名和其上所加的关键字对应关系的文件，或者使用数据库管理系统等利用各种方法。
以上所述的方法，如例子中所示那样，不仅用于照片数据那样的静止图像的管理，也可以用于与像视频图像那样的动画图像数据及声音数据、普通的文本文件那样的数据、某些测量数据、WEB的URL那样的其他数据的链接等各种形式的数据管理中。
在数字照相机的照片数据的整理时，也可以采用像整理洗印在普通照相纸上的照片的相册那样，使用在电子文档上布置照片的相册软件的方法。
例如像“数字图像照相机用图像文件格式规格(Exif)Version 2.1”(JEIDA-49-1998，日本电子工业振兴协会)及“Recording-Helical-scandigital video casette recording system using 6.35mm magnetic tape forconsumer use(525-60，625-50，1125-60 and 1250-50systems)-“(IEC61834)中公开的那样，由数字照相机(或数字图像照相机)拍摄的照片数据、及由数字摄像机摄像的视频数据的数据格式中，可以记录摄影的时刻及位置等的属性信息。数字照相机及数字摄像机具有使用从内装计时器及GPS等所得到的信息，根据这些格式，将摄影时刻及摄影位置的信息作为数据的属性进行自动记录的功能。
如果使用国附加这样的摄影时刻及拍摄位置等的属性信息，则可以不必像上述方法那样进行分类、或附加关键字这种繁杂的作业，而是指定摄影时刻、或由纬度和经度指定摄影地点，对数据进行检索。
这样，为了用纬度和经度组合指定位置进行检索，就必须予先知道想检索地点的纬度和经度。作为更容易检索的方式不有在画面上显示地图，在照片和对其拍摄的地图上的位置上进行配置显示。另外，还有的方式具有地点及其指出的代表点的纬度和经度的对应表，当指定地点时，查出与其对应的代表点的纬度和经度，检索在其附近拍摄的照片。
现有广泛使用的将多媒体数据分类成目录进行管理的方式的缺点是需要进行分类成加有对人来说容易理解的名字的目录、并根据需要每个文件名也加有容易理解的名字这种繁杂作业。另外，对于在概念上可以分类成多数组的数据来说，还需要在多数目录中拷贝放入，或者用链接机构，将一个数据放入虚拟的多数目录中。
现有广泛使用的另一方法是在多媒体数据上加上关键字进行管理、检索的方式中，需要附加关键字的繁杂作业。另外，缺点是如果在后面不附加容易检索的关键字，就不能检索数据。
使用数字照相机用的相册软件，作成电子相册的方式中，作成相册的作业本身是麻烦繁杂的作业。
另一方面，利用数字照相机及数字摄像机自动附国听摄影时刻及摄影位置信息的方式，可省去人对检索用加上关键字进行分类的麻烦。但是为了能够正确指定检索时刻及位置，必须予先在某种程度上了解检索对象的摄影时刻及摄影位置，实用的检索是困难的。
还有的方式是具有地图上的地名及其指出的代表点的纬度和经度的对应表，不是指定具体的纬度和经度的数值而是指定地名，而是检索附近位置的数据，但是即使这种情况也不能指定检索不是地名的概念。
在使用目录名及关键字的方式中，在目录名及关键字中可以使用像“长野冬奥会”及“日本万国博览会”这种不是地图上的地名、却是表示人们容易理解的概念的语言，可以进行更直感且容易明白的检索，但是对于只是自动附加时刻及位置等的信息中，用人易于理解的概念进行检索是很困难的。
发明内容
本发明考虑到上述情况，其目的在于提供一种多媒体数据检索方法、索引信息提供方法、多媒体数据检索装置、索引服务器及多媒体数据检索服务器，不需要为了检索而对多媒体数据进行分类、或附加关键字这种繁杂的作业，利用自动附加时刻及位置等的属性信息，使用表示人更容易理解的概念的语言，可以灵活地检索多媒体数据。
另外，本发明的目录在于提供一种多媒体数据检索方法、索引信息提供方法、多媒体数据检索装置、索引服务器及多媒体数据检索服务器，不需要将表示在多媒体数据中所记录的内容的信息，予先对多媒体数据进行分类，或附加关键字这种繁杂的作业，而利用在时刻及位置等的多媒体数据上自动加上的属性信息，可以使用表示人易于理解的概念的语言进行显示。
在本发明所涉及的一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索方法，其特征在于，包括：数据管理步骤，与和上述多个多媒体数据中各数据的产生相关而自动生成的时刻信息以及位置信息相关联地管理该各多媒体数据；请求信息取出步骤，在接受用事件名数据指定的检索请求数据时，参照包含了多个事件名数据和与各事件名数据相关联的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引表，通过将上述检索请求发送给用于求出与上述事件名数据对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引服务器而从该索引服务器求出与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据；检索步骤，通过从在上述数据管理步骤中管理的上述多个多媒体数据中选出与在上述请求信息取出步骤中求出的上述时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据相匹配的多媒体数据，并返回该选出的多媒体数据的集合作为检索结果，来检索上述多媒体数据，以得到与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据。
另外，本发明所涉及的一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索装置，其特征在于，包括：数据管理单元，与和上述多个多媒体数据中各数据的产生相关而自动生成的时刻信息以及位置信息相关联地管理该各多媒体数据；请求信息取出单元，在接受用事件名数据指定的检索请求数据时，参照包含了多个事件名数据和与各事件名数据相关联的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引表，通过将上述检索请求发送给用于求出与上述事件名数据对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引服务器而从该索引服务器求出与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据；检索单元，通过从在上述数据管理单元中管理的上述多个多媒体数据中选出与在上述请求信息取出单元中求出的上述时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据相匹配的多媒体数据，并返回该选出的多媒体数据的集合作为检索结果，来检索上述多媒体数据，以得到与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据。
另外，本发明所涉及的一种利用网络提供所需数据的索引信息的索引信息提供方法，其特征在于，包括：通过网络接受来自请求端的、以事件名数据指定的检索请求数据的步骤；通过参照索引表，根据所述检索请求中所使用的所述事件名数据，求出对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的步骤，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；以及通过网络向所述请求端提供所求出的对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的步骤。
另外，本发明所涉及的一种利用网络提供所需数据的索引信息的索引服务器，其特征在于，包括：检索请求接受单元，用于通过网络接受来自请求端的、以事件名数据指定的检索请求数据；请求信息取出单元，用于通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；以及用于通过网络向所述请求端提供利用所述请求信息取出单元求出的对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的单元。
另外，本发明所涉及的一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索方法，其特征在于，包括：数据管理步骤，与和所述多个多媒体数据中的各数据的产生相关而自动生成的时刻信息数据和位置信息数据中的双方或一方相关联地管理该多媒体数据；检索请求接受步骤，通过网络从请求端接受以事件名数据指定的检索请求数据；请求信息取出步骤，通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于在所述检索请求接受步骤中所接受的所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；检索步骤，通过选出与在所述请求信息取出步骤中求出的所述时刻信息数据和位置信息数据中的双方或一方相匹配的多媒体数据并返回该选出的多媒体数据的集合作为检索结果，对在所述数据管理步骤中所管理的所述多个多媒体数据进行检索；以及将所述检索步骤中得到的检索结果通过网络提供给所述请求端的步骤。
另外，本发明所涉及的一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索服务器，其特征在于，包括：数据管理单元，与和所述多个多媒体数据中的各数据的产生相关而自动生成的时刻信息数据和位置信息数据中的双方或一方相关联地管理该多媒体数据；检索请求接受单元，通过网络从请求端接受以事件名数据指定的检索请求数据；请求信息取出单元，通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于在所述检索请求接受单元中所接受的所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；检索单元，通过选出与在所述请求信息取出单元中求出的所述时刻信息数据和位置信息数据中的双方或一方相匹配的多媒体数据并返回该选出的多媒体数据的集合作为检索结果，对在所述数据管理单元中所管理的所述多个多媒体数据进行检索；以及用于将所述检索单元中得到的检索结果通过网络提供给所述请求端的单元。
涉及装置的本发明既可作为相关于方法的发明成立，涉及方法的本发明也可作为相关于装置的发明成立。
另外，涉及装置或方法的本发明也可作为记录在计算机上执行与本发明相当的步骤的(或者为使计算机作为相当于本发明的装置的功能，或者为在计算机上实现相当于本发明的功能的)程序的计算机可读取的记录媒体。
在本发明中，在多媒体数据进行摄影等时，或者利用在其附近自动赋予或取得等的时刻信息及位置信息，管理多媒体数据，同时通过设置登录事件名和时刻信息及位置信息的对应关系的索引表，在接受使用事件名所指定的检索请求时，根据该事件名求出对应于该检索请求的时刻信息及位置信息，根据所求得的该时刻信息和位置信息检索多媒体数据。
这样，根据本发明，不再需要时想管理的多媒体数据分类成目录及折页夹，或者加检索用的关键字这种繁杂的作业，通过对用户直感的易于理解的事件名及其组合，就可以检索所希望的多媒体数据。另外由于通过将索引表放在索引服务器中，可以在服务器一侧增加新的事件名，所以用户即使不进行索引表的更新作业，也可以使用新的事件名进行检索。
本发明可得到以下效果。
在本发明中，当利用时刻信息及位置信息管理多媒体数据，并接受了使用多数的事件名所指定的检索请求时，利用通过索引表及索引服务器，根据该事件名求得的该检索请求所对应的时刻信息及位置信息，检索多媒体数据，所以不需要对想管理的多媒体数据分类成目录及折页夹，或者附加检索用的关键字这种繁杂的作业，通过对用户直感的易于理解的事件名及其组合，可以对所希望的多媒体数据进行检索。
附图说明
下面参照附图对本旭有的实施例进行说明，这些附图包括：
图1表示本发明的一实施例所涉及的多媒体数据检索装置的构成例。
图2表示数据管理部中的数据管理的一例。
图3表示数据管理部中的数据管理的另一例。
图4表示数据管理部中的数据管理的另一例。
图5表示数据管理部中的数据管理的又一例。
图6表示数据管理部中的数据管理的又一例。
图7表示数据管理部中的数据管理的又一例。
图8表示索引处理部构成例的图。
图9表示索引表例子的图。
图10表示索引检索部动作的一例的流程图。
图11表示本发明的一实施例所涉及的调出索引服务器的多媒体数据检索装置构成例的图。
图12表示调出索引服务器的索引处理部构成例的图。
图13表示本发明的一实施例所涉及的索引服务器构成例的图。
图14表示具有多数索引表的索引处理部的构成例的图。
图15表示并用索引表和索引服务器的索引处理部的构成例。
图16表示数据选择部动作一例的流程图。
图17为对具有前端程序的多媒体数据检索装置进行说明的图。
图18为对使用地图的检索范围缩小的例子进行说明的图。
图19为对在地图上缩小的例子进行说明的图。
图20为对在时刻上缩小的例子进行说明的图。
图21为对使用时刻信息的检索范围缩小的例子进行说明的图。
图22为对由事件名的组合的检索范围缩小的例子进行说明的图。
图23为对具有前端程序的多媒体数据检索装置的另一例进行说明的图。
图24为对具有照片显示区域的前端程序的例子进行说明的图。
图25为对具有前端程序的多媒体数据检索装置的又一例进行说明的图。
图26表示从装载WEB浏览器的客户机通过网络，对执行前端程序及多媒体数据检索程序的多媒体数据检索服务器进行存取的构成例的图。
图27表示从装载WEB浏览器的客户机通过网络，对执行前端程序及多媒体数据检索程序的多媒体数据检索服务器进行存取的另一构成例的图。
图28表示具有本发明的一实施例所涉及的具有反查找检索功能的多媒体数据检索装置构成例的图。
图29表示反查找检索部动作一例的流程图。
图30表示本发明的一实施例所涉及的具有使用索引服务器的反查找检索功能的多媒体数据检索装置构成例的图。
图31表示本发明的实施例所涉及的具有反查找检索功能的索引服务器构成例的图。
图32为对具有反查找检索功能的前端程序例进行说明的图。
图33为对使用现有目标的多媒体数据的管理例进行说明的图。
图34为对使用现有关键字的多媒体数据的管理例进行说明的图。
图35为对使用现有关键字的多媒体数据的管理例进行说明的图。
具体实施方式
本发明的多媒体数据检索装置，以在成为检索对象的各个多媒体数据中至少与时刻笔位置信息的双方或一方相关联为前，至少利用这些信息进行检索、显示等。在本实施例中作为具体例子是以采用时刻信息和位置信息的双方的情况为例说明的。
另外，在本实施例中，存在通过摄影装置及附属的装置等自动在多媒体数据上附加相关的属性信息(时刻信息和位置信息的双方或一方)，以利用该属性信息的情况为例进行说明。
如上所述，在用数字照相机1或数字图像照相机拍摄的照片数据、及用数字摄像机拍摄的视频数据的数据格式中，可以记录拍摄的时刻及位置等属性信息。数字照相机及数字摄像机使用内装计时器及GPS(例如包括装在照相机主体内、及装在照相机外的装置等)等所得到的信息，根据这些格式，由于有的具有将摄影时刻及摄影位置的信息作为数据的属性进行自动记录的功能，所以可以利用该功能。
在数字照相机及数字摄像机中可以记录摄影时刻的信息，但大多不具有记录位置的功能。当使用这样的数字照相机及数字摄像机时，只要一起携带可以定期记录时刻和位置的便携式GPS装置即可。由于在拍摄的照片或图像中带有摄影时刻的信息，所以可以从便携式GPS装置的数据中分出摄影时刻的位置信息，将其作为摄影位置的信息使用。
除了GPS之外，例如还有利用PHS及blue tooth等获得位置信息的方法。另外，当不能使用便携式的GPS等装置时，只是位置信息也可以参照地图的数据由人工加上的方式。
这样，对于与时刻、位置的属性信息相关联的多媒体数据组合，在本发明的多媒体数据检索装置中就可以通过“事件”进行检索。
在本发明中，所谓“事件”是在与多媒体数据可具有的n(n为1以上)种类属性信息中的1以上n以下种类的属性信息相关联的种种概念，将该概念的名字称为“事件”。
在本实施例的具体例子中，由于属性信息是以使用时刻和位置的情况为例，所以本实施例的具体例子中的事件是与时刻和位置的双方或一方相关联的。
例如，“长野冬奥会”是事件名之一，在该词汇中，召开长野冬奥会的时间和地点分别以时刻信息及位置信息相关联。“日本万国博览会”、“横浜国体”、“冲绳研讨会”及“电子展览会’99”等也是以各召开时间和地点作为时刻信息及位置信息相关联的“事件名”。
另外，在事件中还有的像“只园祭”、“奥运会”、“研讨会”、“电子展览会”等那样也可召开多次。对于这样的事件名，表示召开时间和地点的时刻信息和位置信息与多个相关联。
另外，在事件中，有的只具有时刻信息和位置信息中的一方。例如“信卅”、“新宿”、“富士山”、“横浜市立000小学校”、“00制造会社00工厂”等是只与位置信息相关联的事件名。但是即使是表示位置的事件名也存在由于地名变更等造成以前使用的地名现在不能使用，以及反之最近新起的地名等的时刻信息。另外，还有例如像“国际儿童年”及“第10次全国安全卫生月”那样没有确定的位置信息，只与时刻信息相关联的事件名。在只与时刻信息相关联的事件名中还有像“新年”、“圣诞节”、“情人节”、“闰年”等那样，是在每年确定的时间的事件，及几年一次的事件，在这样的事件中与多个时刻信息相关联。
图1表示本发明的一实施例所涉及的多媒体数据检索装置的构成例。
本多媒体数据检索装置1具有图1所示的构成，大体具有索引处理部11、数据选择部12、数据管理部13三个构成单元。
当采用时刻信息和位置信息双方时各构成单元的概要如下。
数据管理部13使多媒体数据与时刻信息和位置信息的双方相关联进行管理。
索引处理部11当通过1个事件名或多个事件名的组合输入检索请求时，取出对应于所输入事件名的时刻信息或位置信息、或者时刻信息及位置信息(即，根据事件名的不同，包括有取出时刻信息但没有位置信息的情况、取出位置信息但没有时刻信息的情况、以及取出时刻信息和位置信息的情况)。
另外，在通过多个事件名的组合输入检索请求时，在本实施例的具体例子中是以多个事件名的每一个作为加重条件处理，对多个文件名取出的时刻信息之间或位置信息之间进行“与”计算、缩小时刻信息和位置信息的情况以具体例子进行说明。当然对于多个事件名也可以适当指定“与”、“或”、“非”(这时只要进行指定“与”、“或”、“非”等的计算即可)。
数据选择部12从数据管理部13管理的多媒体数据中，选出其关联的时刻信息/位置信息与索引处理部11对上述检索请求取出的时刻信息或位置信息、或者时刻信息及位置信息相一致的部分，将这样选出的多媒体数据的集合作为检索结果返回。
当采用时刻信息和位置信息的一方时，各构成单元的概要如下。
数据管理部13使多媒体数据与时刻信息(或位置信息)相关联进行管理。
索引处理部11当通过1个事件名或多个事件名的组合输入检索请求时，取出对应于所输入的事件名的时刻信息(或位置信息)。当是多个事件名的组合时，与上述相同。
数据选择部12从数据管理部13管理的多媒体数据中，选出其关联的时刻信息(或位置信息)与索引处理部11对上述检索请求取出的时刻信息(或位置信息)相一致的部分，将这样选出的多媒体数据的集合作为检索结果返回。
当然，除时刻信息之外同时采用其他信息时、除位置信息之外同时采用其他信息时、除时刻信息和位置信息之外同时采用其他信息时，同样也是可能的。
下面，以采用时刻信息和位置信息双方的情况为中心进行说明。
如上所述，本实施例的多媒体数据检索装置的数据管理部13，使成为检索对象的多个多媒体数据分别与时刻信息和位置信息的双方或一方相关联进行管理。
图2表示本实施例的多媒体数据检索装置的数据管理部13实现方式的一个例子。
如图2的例子所示，这是利用可以包括“数字图像照相机用图像文件格式(Exif)Version 2.1”(JEIDA-49-1998，日本电子工业振兴协会)及“Recording-Helical-scan digital video casette recording systemusing 6.35mm magne tic tape for consumer use(525-60，625-50，1125-60and 1250-50systems)-“(IEC 61834)中公开的时刻信息和位置信息的格式的方式。
在图2的例子中，在文件系统内的“PHOTO”的目录中，存储由“数字图像照相机用图像文件格式规格(Exif)Version 2.1”规定的格式所记录的多个数字照片的数据进行管理。从“P0000100.JPG”到“P0000581.JPG”是放入数字照片数据的文件。在这些文件中除了数字照片的静上图像数据之外，还记录有拍摄该照片的时刻信息(在图2中表示为“TIME：”及作为拍摄该照片位置的信息的纬度和经度)在图2中表示为“LOCAION：”。例如“P0000100.JPG”数据文件具有时刻信息“1970/01/01 06:30:05”、位置信息“E136°47′.37″、N34°30′20.05″、表示是1970年1月1日上午6时30分05秒在东经136°47′29.37″、北纬34°30′20.05″拍摄的照片的数据。
图2是以数字照片数据为对象的例子，但是在数字视频图像时，也可以使用例如“Recording-Helical-scan digital video casetterecording system using 6.35mm magnetic tape for consumer use(525-60、625-50、1125-60 and 1250-50systems)-”(IEC 61834)中公开的格式，作为视频图像的属性信息对摄像时间和摄像位置的纬度经度进行记录。不过，当由数字照相机(或数字图像照相机)等作成的静止图像时，一个数据对应一个摄影时刻和摄影位置的信息，而当由数字摄像机拍摄的动态图像时，则一个数据不仅对应一个摄像时刻和摄像位，这一点是不同的。即，有时在一个数据中混合存在不同时间在不同地点摄像的照片。
本发明的方法除了在上面说明中所述的格式之外，也可以适用于各种格式的数字照片及数字视频数据，这一点本行业人员是清楚的。
在图3/图4中表示本实施例的多媒体数据检索装置的数据管理部13实现方式的另一例子(图4是图3的位置信息文件“LOCATION.DAT”内容的例子)。
如图3/图4的例子所示，管理对象的各数据只具有时刻信息，各数据与该数据的位置信息的对应是使用文件及数据库管理系统等另行管理的方式。
在图3/图4中，在“PHOTO”目录管理的从“P0000100.JPG”到“P0000581.JPG”的10个数字照片数据中，摄影的时刻是分别作为时刻信息进行记录的。这时的照片数据格式可以采用Exit Version2.1。除照片数据外另外将各照片与表示拍摄照片地点的位置信息的对应关系记录在位置信息文件中进行管理。在图3/图4的例子中名字为“LOCAT10N.DAT”的文件是位置信息文件。在“LOCAT10N.DAT”中如图3/图4所示，例如在“P0000100.JPG”名字的文件中所记录的数字照片数据的照片信息对应于表示东经136°47′29.37″、北纬34°30′20.05″的“E136°47′29.37″、N34°30′20.05″。
图5/图6表示本实施例的多媒体数据检索装置的数据管理部13实现方式另一例子(图6是图5的属性信息文件“PROPERTY.DAT”内容的例子)。
如图5/图6的例子中所示，管理对象的各数据既没有时刻信息也没有位置信息，各数据与该数据的时刻信息及位置信息的对应是使用文件及数据库管理系统等另行管理的方式。
在图5/图6中，在“PHOTO”目录中管理的从“P0000100.JPG”到“P0000581.JPG”的10个数字照片数据既没有时刻信息也没有位置信息。除照片数据外另外将各照片与其时刻信息及位置信息的对应关系记录在属性信息文件中进行管理。在图5/图6的例子中，名字为“PROPERTY.DAT”的文件是属性信息文件。在“PRDPERTY.DAT”中如图5/图6所示，在名字为“P0000100.JPG”的文件中所记录的数字照片数据的时刻信息与表示1970年1月1日上午6时30分5秒的“1970/01/01 06:30:05”对应，位置信息与表示东经136°47′29.37″、北纬34°30′20.05″的“E136°47′29.37″、N34°30′20.05″”相对应。
图7表示本实施例的多媒体数据检索装置的数据管理部13实现方式的又一例子。
如图7所示，管理对象的各数据是只具有时刻信息，位置信息并用GPS数据进行对应的方式。
在图7中，在“PHOTO”目录中管理的从“P0000100.JPG”到“P0000581.JPG”的10个数字照片数据具有时刻信息但不具有位置信息。除照片数据外另外管理拍摄各照片时的GPS数据。在图7的例子中，名字为“19700101.GPS”的文件是1970年1月1日的GPS信息的数据、而文字为“19700612.GPS”的文件是1970年6月12日的GPS信息的数据，将1天的GPS信息作为1个文件进行管理。在各GPS信息文件中，隔一定时间将该时的纬度和经度作成对应表进行记录。
通过使用该GPS信息，当需要例如“P0000100.JPG”位置信息时，从“P0000100.JPG”时刻信息中选择对应的GPS信息文件“19700101.GPS”，从这些信息中求出上午6时30分5秒的时推测的位置信息。这时，由于GPS信息只以一定时间间隔(即只是离散地)记录的，所以很难记录正好在查找的时刻的位置信息。为此可以使用距想找的时刻最近时刻的信息，或者使用想查找的时刻前后的位置信息进行差补计算的位置信息。
以上的各方法是有2种与多媒体数据相关联的属性信息时的例子，但是当属性信息为1种及3种以上时也可以使用同样的方法。
在图2、图3/图4、图5/图6、图7中说明的数据管理部13的各实现例中，哪一个照片数据的文件都是在名字为“PHOTO”的一个目录中进行管理。这些管理方式也可以容易并用使用现有的目录的分类方式及可使用关键字进行检索的管理方式。
数据管理部13管理的多媒体数据如上述的例子中所示，除了在多媒体数据检索装置1内管理的方式之外，也可以利用通过远程文件系统等网络的文件及数据存取方式在其他的计算机上进行管理。
本实施例的多媒体数据检索装置由索引处理部11接受检索请求，开始操作。检索请求既可以从用户直接对多媒体数据检索装置1发出，又可以从用户和多媒体数据检索装置1之间接口的前端程序发出，或者从各种应用程序发出。
检索请求以1个事件名或多个事件名的组合形式，加给索引处理部11。
例如当想检索在信卅拍摄的照片数据时，称为“信卅”的事件名成为检索请求，当想检索去观看长野冬奥会时拍摄的照片数据时，“长野冬奥会”的事件名变为检索请求，当想检索新年拍摄的照片数据时，“新年”的事件名变为检索请求。
通过对事件名进行组合，可以指定由1个事件名不能表现的检索条件。对表示“京都”地点的事件名和表示“新年”时刻的事件名进行组合的“京都的新年”的检索请求变为新年在京都拍摄的照片数据的检索请求。另外在“1970年新年的京都”的情况时，还可以进一步骤缩小检索条件。
当然，上面的说明并不没有排除将对基本事件名进行组合的形式作为事件名的意思，而是说设置“京都的新年”这样一个事件名也没关系。
另外的例子是也可以限定“(事件名)+(的地点)”，只指定位置信息进行检索，或者反之限定“(事件名)+(的时间)”只指定时刻信息进行检索。例如“长野冬奥会”的事件名成为指定时刻信息和位置信息双方的检索请求，但是也可以限定“长野冬奥会的地点”，只指定位置信息进行检索，或者限定“长野冬奥会的时间”，只指定时刻信息进行检索。还可以在“(事件名)+(的时间)+(事件名)”，例如“长野冬奥会时的扎幌”的情况时，收缩检索条件。
图8表示本实施例的多媒体数据检索装置的索引处理部11的构成例。
如图8所示，本索引处理部11具有索引检索部111和索引表112。
索引检索部111首先将1个事件名或多个事件名的组合作为检索请求接收，查找索引表112求出对应于其中所包含的各事件名的时刻信息和位置信息。
接着，如果检索条件是1个事件名，则索引检索部111将该时刻信息及/或位置信息作为索引信息，转到数据选择部112。如果检索条件是多个事件名的组合，则将从对各文件名的时刻信息及/或位置信息中计算求得的组合后的时刻信息及/或位置信息，作为索引信息转到选择部112。
“索引表”是管理事件名及其具有的n种类属性信息的对应关系的表。有1种属性信息存在1个项目的情况及存多个项目的情况(例如作为时刻信息在表示期间时，至少需要开始时刻和结束时刻2个项目)。
本实施例中的索引表是管理事件名及其具有的时刻信息和位置信息双方或一方的对应关系的表。
图9表示索引表112的例子。该例的索引表112对各事件名，作为其时刻信息时管理“开始时刻”和“结束时刻”，而作为位置信息时管理“纬度1”、“纬度2”和“经度2”。例如“大阪城”的事件名不具有对应的时刻信息，作为位置信息将代表点的位置信息由“纬度1”及“经度1”表示。
当用代表点表示位置信息时，该点离开中心多远、该事件名是否是指示的范围，是模糊的。因此，也可以在事件表中一起记录从代表点的有效半径的距离。当半径在表面上未记录时(或者未采取在表面上记录半径的方法时)，例如在数据选择部12中以适当的基准设定离代表点的有效距离即可。也可以不用代表点而用代表的线的指定进行位置信息的指定。这时，判断以该线的多少距离是属于该事件，与代表点时同样，可以在索引表中一起记录该距离，或者由数据选择部12按适当的基准设定有效的距离。
另外，在图9的索引表112中，在“京都”事件名中将经度1为“E135°38′59.49″”、纬度1为“N35°06′15.19″”、经度2为“E135°50′04.32″”、纬度2为“N34°54′56.38″”作为位置信息。即，将“京都”事件名指出的区域的位置信息用以指定的平面上的2点为对角的长方形近似表示。
位置信息的指定方法如图9例子所示，除了用长方形指定区域以外，还有用更接近实际区域的多边形进行近似的方法。另外还有用多个点或区域集合表示的方法。
在图9的索引表112中，“日本万国博览会”的事件名中将开始时刻为“1970/3/14”、结束时刻为“1970/9/13”作为时刻信息，经度1为“E135°31′22.20″”、纬度1为“N34°48′50.41″”、经度2为“E135°32′43.65″”、纬度2为“N34°47′37.92″”作为位置信息。时刻信息也可以根据事件的种类及必要性，指定到更细的时间，反之也可只指定更粗的年。
在检索请求中指定的事件名中也可以不必查找事件表，而是直接指定时刻信息及位置信息。例如，可以用“1970年”将1970年1年作为检索请求的时刻指定，直接指定纬度和经度来指定检索请求的位置信息。这样的指定方法在对事件名进行组合时可以有效使用。例如用“1970年的京都”的检索请求，可以检索1970年在京都拍摄的照片。
在图9中所示的索引表112的例子中，只记录了如图2的例子所示的与数字照片相关联的事件，但这只是表示了说明中必要的部分，实际上只要登录更多个的事件执行即可。
本实施例的多媒体数据检索装置1的索引处理部11的索引检索部111，例如按图10中所示的步骤骤操作。
索引检索部111首先接受检索请求(步骤S1)，然后取出在该检索请求中包含的事件名(步骤S2)。
接着，以取出的事件名为关键字，查找索引表112，来求对应于各事件名的时刻信息和位置信息(步骤S3)。
以这样求得的时刻信息及/或位置信息为基础，根据检索请求所指出的事件名的组合方法，计算检索对象的时刻信息及/或位置信息(步骤S4)。
索引检索部111将这样求得的检索对象的时刻信息及/或位置信息(即，根据检索请求中所包含的事件名，包括：有时刻信息没有位置信息的情况、有位置信息没有时刻信息的情况、及有时刻信息及位置信息的情况)作为索引信息，转给数据选择部12(步骤S5)。
可是，在此说明的索引处理部11的构成中，是在本地具有索引处理部11内的索引检索部111和索引表112。如图11所示，索引处理部11的其他构成例还有索引处理部11使用由因特网或内部网等网络6连接的远程索引服务器3进行处理的方式。
图12表示这时的索引处理部11的构成例。如图12所示，这时的索引处理部11包括：将接受的检索请求发送给索引服务器3的检索请求发送部113；及根据该检索请求，接受由索引服务器3所求得的索引信息，转给数据选择部12的索引信息接收部114。
图13表示这时的索引服务器3的构成例。如图13所示，这时的索引服务器3包括：通过因特网等网络6，接受检索请求的检索请求接收部33；对事件名及与其对应的时刻信息和位置进行管理的索引表32；参照索引表32从检索请求中求得索引信息的索引检索部31；及使所求得的索引信息返送回的索引信息发送部34。索引检索部31有32，例如如图10及图9的例子所示，只要与在本地处理的索引处理部11具有的部分进行同样操作的构成即可。
在使用索引服务器3时，也可以构成为在索引服务器3一侧不进行在检索请求由多个事件名组合指定时进行的(时刻信息及位置信息有关的)计算，而在多媒体数据检索装置1内的索引处理部11一侧进行计算(这时，只要从索引服务器3向多媒体数据检索装置1直接返回对各事件名的时刻信息及位置信息即可)。这种方法如下所述，在对多个的索引服务器3进行组合使用，或者对本地的索引表112和索引服务器3进行组合使用时，也可以有效采用。
在本地具有索引表的索引处理部11的优点是多媒体数据检索装置1也可以没有通信功能。但是新的事件名需要用某种方法将其增加在索引表中。例如可以采用在软盘及CD-ROM中配置；在因特网中配置；或者加在广播电波上配置的方法。
使用索引服务器3的索引处理部11的优点是自己不必进行增加新事件的索引表维护。如果在索引服务器3中增加新事件，即使不进行什么特别的作业，也可以直接马上使用。另外，由于索引服务器3与网络6相连接，所以与同一网络6相连接的多个多媒体数据检索装置1也可以共同使用一个索引服务器3。
作为使用索引服务器3的其他实施例还有在多媒体数据检索装置1内快速存储索引服务器3具有的索引表32的数据的方式。即，从多媒体数据检索装置1的数据管理部13中管理的照片等多媒体数据具有的时刻信息和位置信息中，先从索引服务器3读取与其符合的事件的数据，存储在本地的索引表112中，或者将暂时从索引服务器3读出使用的事件的数据，快速存储在本地的索引表112中，在以后的检索请求的处理中，当只能处理本地的索引表112的信息时，只使用该数据就可以求得索引信息。进行快速存储及事先读出的事件数据的范围可以由各种因素决定。例如可以使用符合范围的全部、只是最近使用的、照片多的时候、频繁查找的部分等等的基准。
另外，索引服务器3也可以准备多个，根据需要进行切换，或者将多个索引服务器的信息组合使用。
例如，可以准备多个具有相同索引表的索引服务器，使负荷分散，或者在某个索引服务器发生故障时可使其他索引服务器，从而提高可靠性。另外，还可以例如准备多个具有不同事件数据的索引服务器，根据需要可切换使用的索引服务器。另外还可以准备多个具有不同等级信息的索引服务器，例如具有世界级信息的索引服务器、具有日本级信息的索引服务器、具有神奈川县级信息的索引服务器……，使用从低等级到高等级的多个索引服务器进行检索，将从这些索引服务器所得到的索引信息进行组合，根据检索请求计算索引信息。
在图8所示的索引检索部(多媒体数据检索装置)、及图13所示的索引检索部(索引服务器)的构成构例中，索引检索部查找的索引表是一个，但是也可以将索引表分成多个使用。
图14表示将图8的索引处理部11构成为具有多个索引表的例子。在图14的例子中具有4个索引表(图中为112-1～112-4)。
这样的多个索引表的使用方法，例如将事件分类成多个领域，通过将其分别记录在索引表中，可以容易管理索引表。
另外的使用方法还可以例如将图14中的索引表#1作为多个用户共有的索引表，而将索引表#2、索引表#3、索引表#4作为记录各不同用户用的事件的索引表。这样，有的用户使用索引表#1和索引表#2，有的用户使用索引表#1和索引表#3，有的用户使用索引表#1和索引表#4，根据用户不同可以使用最佳的索引表进行检索。这种情况，在用户用的索引表中既可以记录个人用的事件，也可以在特定的领域具有兴趣的用户群体记录共有的事件。
更为普通构成索引检索部111可以将共有的索引表和用户群体的索引表和个人用的索引表组合成所需个数使用。
当然，具有图14例子中所示的多个索引表的索引检索部在图13所示的索引服务器的索引检索部31中也同样可以适用，这是显而易见的。
图15表示图8所示的在本地具有索引表112的索引处理部11(具有索引处理部的多媒体数据检索装置1)再与远程索引表3并用的构成例。
当输入检索请求时，该例的索引处理部11将其转给本地的索引检索部111和检索请求发送部113双方。
通过网络6，检索请求发送部113将检索请求发送给索引服务器3，由索引信息接收部114接收由索引服务器3检索的索引信息，将其转给索引信息综合部115。这时当检索请求中指定事件名的组合时，既可以检索服务器3对各事件名的时刻信息和位置信息进行检索，使其直接返送回，也可以在索引服务器3内对多个的事件的时刻信息及/或位置信息的组合进行计算后返送回。
接受检索请求的索引检索部111查找本地的索引表112，检索对应于检索请求所指定的各事件的时刻信息和位置信息，转给索引信息综合部115。这时，在检索请求中指定事件名的组合时，即可以索引检索部111检索对各事件的时刻信息和位置信息，并将其直接转给索引信息综合部115；也可以在索引检索部111上对多个事件名的时刻信息及/或位置信息的组合进行计算后转给索引信息综合部115。
当单独由远程索引服务器3或本地索引检索部111，不能求得对检索请求所指定的所有事件的时刻信息及/或位置信息时，求出单独可以检索的事件的有关时刻信息和位置信息，转给索引信息综合部115。
索引信息综合部115对从索引检索部111和从索引信息接收部114转来的信息进行组合，对检索请求对应的最终检索对象的时刻信息或位置信息、或者时刻信息及位置信息进行计算，并将其作为索引信息转给数据选择部12。
这样，对多媒体数据检索装置内的本地索引表和索引服务器一侧的索引表并用的方式，对在使个人事件名和一般事件名混合存在的检索时是有效的。
例如，当想找出母亲生日在00饭店吃饭时的照片时，对于“00饭店”的事件名的位置信息可以由索引服务器进行检索，但是“母亲的生日”的个人信息不能用多个用户共有的索引服务器3进行检索。为此，在多媒体数据检索装置1内的本地个人用索引表112中如果以“母亲的生日”的事件名放入生日的时刻信息，则可以对索引服务器3的数据进行组合来检索该数据。这样，例如像“00饭店的母亲的生日”那样，也可以使索引服务器3中的事件名和本地索引表112中的个人事件名组合进行检索(对“00饭店”可从索引服务器中得到位置信息，而对“母亲的生日”可从本地索引表中得到时刻信息)。在此说明了在本地将个人用的索引表112放在多媒体数据检索装置1内的方式，但是也可以将个人用的索引放在索引服务器3一侧，在索引服务器3内将个人用的索引表和一般共用的索引表组合进行处理。
当然，与在图8所示的本地具有索引表的多媒体数据检索装置1再并用远程的索引服务器同样，也可以在图13中所示的本地具有索引表的索引服务器也可并用其他的索引服务器。
可是，作为个人用的索引表也可以采用个人的日程数据。例如在由计算机管理的电子日程本中，以日期或时间等为单位记录个人的日程。利用该信息，将所记入的日程作为事件名，该事件名作为检索请求指定时，也可以将与此对应的日程的日期时间作为时刻信息取出，用于索引信息的计算中。这样，如果在日程本中登录了例如“支店长会议”的日程，则对“在产业会馆召开的支店长会议”的检索请求，可以将由索引服务器查找的产业会馆的位置信息和由日程本查找支店长会议的时刻组合，计算索引信息。作为从日程本的数据变换成索引表的方式，既可以在适当的时间统一变换成索引表，又可以在对检索请求进行处理时，直接参照日程本。
当由本实施例的多媒体数据检索装置的索引处理部11可求得索引信息时，该信息转到数据选择部12(参照图1)。数据选择部12例如按图16中所示的步骤骤进行操作。
即，当数据选择部12从索引处理部11接收索引信息时(步骤S11)，则从数据管理部13管理的多媒体数据中，选择符合索引信息中所指定的时刻信息及/或位置信息(包括只有时刻信息时、只有位置信息时、时刻信息及位置信息都有时)(步骤S12)，将其作为检索结果进行输出(步骤S13)。
当选择符合在索引信息中所指定的时刻信息及位置信息的多媒体数据时(或选择符合索引信息中所指定的位置信息的多媒体数据时)，如上所述，有时索引信息的位置信息只指定代表点，而不指定半径。这种情况下，可以构成为使用予先确定的距离为半径，或者在并用使用GUI(图形用户接口)的前端程序时，也可以构成为根据在画面上能够显示的多媒体数据的数量确定半径。
作为检索结果如上所述，除了只输出符合在索引信息中所指定的时刻信息、或位置信息、或者时刻信息及位置信息的多媒体数据之外，还可以输出不符合在索引信息中所指定的时刻信息或位置信息，但接近时刻或位置的多媒体数据。该方式特别对在通过使用GUI的前端程序进行检索时是很有效的。即，例如在画面上显示符合某个检索请求的照片时，如果知道不是一致但却是在附近的地点拍摄的照片、及在接近的时期拍摄的照片，则当这些一起显示时，还可将其作为关键字，容易使检索对象扩大、或缩小、或变更。虽然这时与要选的照片不一致，但却是接近的时刻或位置的照片，为了能够区别，只要改变显示方法即可区别开来。
为了提高数据选择部处理的速度，只要对为从时刻信息及位置信息中查找成为目标的数据的B-TREE等数据结构进行加工即可。
另外，将数据管理部13管理的多媒体数据分成组，在选择数据选择部12中的多媒体数据时，也可以指定成为对象的组。例如对数据管理部13管理的多媒体数据，加上表示“秘密照片”、“工作照片”、“失败照片”等的标记，可以采用当请人看时从带有工作照片标记的数据的集合中进行检索，对于好朋友也可以对带有秘密照片标记的照片一起进行检索的使用方法。
在以上所说明的实施例中，当检索请求是指定事件名的组合时，将由索引处理部11内的索引检索部111对时间信息和位置信息进行计算的结果，作为索引信息，转给了数据选择部12。在另外的实施例中也可以是由索引处理部11求出每个事件的时刻信息和位置信息，将其直接转给数据信息部12的方式。这时，从多个的事件的时刻信息和位置信息，计算成为检索对象的时刻信息和位置信息，起到数据选择部12的作用。
下面说明本发明的多媒体数据检索装置通过使用GUI(图形用户接口)的前端程序进行利用的实施例。
图17表示本实施例的多媒体数据检索装置具有的GUI(的画面)的一例。
在图17所示的GUI中，画面大致分成3个区域。
左下的区域a1是输入检索请求的区域，在图17的例子中，表示了指定“新年”的事件名进行检索的样子。
左上的区域a2是位置显示的区域，将检索结果的多媒体数据显示在对应的位置上。在此将检索结果的数字照片用草略图图像(P1～P4)表示。在位置显示区域中显示地图数据，在其上还可以重叠显示检索结果，还可以使用更简单的简要地图，或者使用简单座标的格网线显示。当然也可以在下面什么也不显示，只显示检索结果反映位置关系。
画面右侧的区域a3是时刻显示的区域。用沿着时间轴的草略图显示所检索的多媒体数据。
在GUI画面上，根据需要可配置检索按钮、滚动条、检查盒及选用按钮等各种控制，其说明予以省略。
图17的具体例子是将“新年”的事件名作为检索请求，使用图9的索引表，检索图2中所示的数字照片数据的例子。从其结果可知有1970年新年到伊势志摩时的照片、及1998年新年去京都时的照片。
在此还可以将检索结果例如缩小到只是京都的照片。
缩小检索结果的一个方法如图18所示，是在位置显示区域用鼠标器的指针等选择京都的部分进行指定的方式。在图18中，虚线的长方形(d1)表示用鼠标器选择的区域。采用这样的选择如图19所示，可显示被选择的部分。此处时刻显示也同步骤缩小在只有京都照片的部分，但是也可以构成为如图20所示的时刻显示并不变化。当由事件名进行检索请求栏改变显示方法，表示与现在的检索结果不同步骤进行(不是表示用该事件名检索的结果)时，用户会更容易理解。
缩小检索结果的另一种方法如图21所示，是用鼠标器的指针等选择去京都的1998年的部分进行指定的方式。在图21中，虚线的长方形(d2)表示用鼠标器选择的区域。这样选择可显示图19中所示的选择部分。在此，位置显示也同步骤缩小在京都的照片部分，但是也可以使位置显示不变化。由事件名进行检索请求的栏，当改变显示方法，显示为不与现在的检索结果同步骤时，对用户会更容易理解。
缩小检索结果的又一种方法如图22所示，在检索请求中增加“京都”新事件名，对增量进行检索的方式。这样的检索如图23所示，显示被选择的部分。在此，位置显示和时刻显示也同步骤，缩小在只有京都的照片部分，但是也可以使位置显示及时刻显示不变化。在检索请求中也可以不是“新年”的事件名，而是直接指定时刻信息为“1998年”。如果使用该功能也可以将“新年”和“1998年”组合实现与图22相同的缩小。
这些检索结果收缩的方式与下述的近邻检索、再与下述的反查找检索相组合，可以实现对用户检索容易的多媒体数据检索装置。
但是，在图17～图23的例子中，在位置显示和时刻显示的区域显示的检索结果时，都是使用草略图图像，这是为了容易理解双方区域间对应关系而显示的例子，。除此之外，还可以配合颜色及各种标记(例如○、△、□标记、或黑桃、红心、方块、梅花的标记等)的方法，可用线连接显示的方法，当在一个区域进行某些操作时将另一个区域相对应的部分加亮等显示的方法等，用各种各样的方法可以使对应关系容易理解的显示出来。
图24是可以在画面上扩大显示照片，或在画面上同时显示很多照片的前端程序显示画面的显示例。在该例中，显示的是与图17具体例相同的检索结果，但是使位置显示区域和时刻显示区域和检索请求区域减小集中在左面，而在右面设置有显示照片的大区域。照片与其位置信息和时刻信息的对应使用标记表示。即，用与照片下面的标记相同的标记显示在位置显示和时刻信息区域的对应位置上，来表示对应关系。
图25是将“日本万国博览会”的事件名作为检索请求进行检索的例子。在该例子中，1970年除了去日本万国博览会拍摄的照片之外，还显示了返回时路过大阪城的照片。这样，如果具有一起显示接近时刻或位置的部分的近邻检索功能，这对用户以模糊的记忆为基础进行检索时是非常有效的。
当使符合检索对象的检索结果、与不符合但接近的检索结果，同时在画面上显示时，也可以将其不同用不同的显示方式表示出来。例如可使近邻的部分显示淡一些，或改变颜色显示、或显示小一些、或用不同标记显示等。
当然，在具有近邻检索功能时，也可以由用户选择是否使用该功能。
通过以上说明的GUI前端程序进行检索的多媒体数据检索装置(但如已经说明那样，包括：不利用索引服务器的形式、及利用索引服务器的形式，另外还有由自身装置管理多媒体数据的形式、及由其他计算机管理多媒体数据的形式，除此之外还有各种变形)可以构成为在执行相当于前端程序及多媒体检索装置功能的程序(称为多媒体数据检索程序)的计算机上显示GUI画面，也可以按以下的构成。
例如，如图26所示，当是不利用索引服务器的多媒体数据检索装置时，显示GUI画面的计算机(称为客户机)301、及执行前端程序321和多媒体数据检索程序322的计算机(称为多媒体数据检索服务器)302相互独立构成，并可以用因特网或内部网等的网络6对其进行连接，也可以通过客户机301上的WEB浏览器311操作多媒体数据检索服务器302上的前端程序321来实现。
这时，从网络上的任何一台计算机(装有WEB浏览器的计算机)都可以操作前端程序、及多媒体数据检索程序。
如图27所示，当利用1个或多个索引服务器3的多媒体数据检索装置时也同样。
另外，在图26及图27中，也可以由网络6连接的其他计算机(称为多媒体数据管理服务器)管理多媒体数据。
下面对本发明的其他实施例进行说明。以下说明的实施例是在上述实施例的多媒体数据检索装置的功能之外，增加指定特定的多媒体数据，具有检索与其对应的一个或多个事件名的反查找检索功能。通过使用该反找查检索功能，可以得到在特定的照片中了解拍摄的什么的信息。另外，使用这样检索的事件名进行再次检索，也可以利用在检索与某个照片相关联的照片。
下面，以附加在以上说明的实施例上的部分为中心进行说明。
反查找检索功能可以实现对从事件名查找与该事件相关的时刻信息和位置信息的索引表进行反查找。即，索引表通常是将事件名作为关键字进行查找，但是反查找检索时，是对包含被指定的时刻信息和位置信息双方或一方的事件(或者，除此之外与指定不符合但却接近的时刻或位置的事件)进行检索。
图28表示具有反查找检索功能的多媒体数据检索装置的构成。该构成是在本地具有图1及图8所示的索引表的多媒体数据检索装置中具有反查找检索请求功能时的实施例。
用户的反查找检索请求输入到反查找检索部14，反查找检索部14利用数据管理部13管理的多媒体数据和索引处理部12具有的索引表111，进行反查找检索，将其结果输出。
图29表示反查找检索部14操作的流程图的一例。
反查找检索部14首先从用户接受反查找的检索请求(步骤S21)。用户指定想进行事件名反查找的数字照片等的多媒体数据，请求反查找检索。这时，多媒体数据的指定方法可以使用能单意义识别数据管理部13管理的多媒体数据的名字。通过使用GUI的前端程序指示反查找检索时，只要指定在画面上所显示的照片，就可以使用对其单意义识别的名字，发出反查找检索请求，对用户来说很容易使用。
接受反查找检索请求的反查找检索部14，从该检索请求中，取出例如指定想进行反查找检索的多媒体数据的标识符等检索对象的指定(步骤S22)。
然后，取出在数据管理部13中管理的检索对象的多媒体数据具有的时刻信息和位置信息(步骤S23)。从索引表112中检索具有包括这样取出的检索对象的时刻信息和位置信息的时刻信息和位置信息的事件(步骤S24)。
在该检索方法中包括：对符合具有所指定的多媒体数据的时刻信息和位置信息双方的事件进行检索的方法；除此之外还加上对具有时刻信息或位置信息中的一方的事件，即对符合指定的时刻信息或位置的事件进行检索的方法；对至少符合指定的时刻信息和位置的事件进行检索的方法；除上述任一种之外，还可以对至少时刻信息和位置信息的一方不符合指定、但却具有接近值的事件进行检索的方法等种种方法。
这时所检索的事件不限定为1个，有时也存在多个。
使这样检索的1个或多个事件名作为反查找检索结果返回(步骤S25)。此处当反查找检索的结果有多个事件名时，例如将包括检索对象的事件、及在时刻或位置更接近的事件看成优先级更高，当从优先级高的开始依次改变顺序，作为检索结果时，可以更有效利用检索结果。另外，也可以在检索结果的各事件各上加上表示优先级高度的标记后返回。
当然，这样的反查检索功能也可以适用于调出图11所示的索引服务器的多媒体数据检索装置中。
图30表示具有使用了索引服务器的检索功能的多媒体数据检索装置的构成例。
在该例子中，反查找检索部14由反查找检索请求发送部143和反查找检索结果接收部144构成。从用户的反查找检索请求输入到反查找检索请求发送部143中。反查找检索请求发送部143首先取出在用户反查找检索请求中所指定的检索对象的多媒体数据的指定，从数据管理部13得到具有所指定的检索对象的多媒体数据的时刻和位置信息。将这样得到的检索对象的时刻信息和位置信息作为对具有反查找检索功能的索引服务器3的反查找检索请求，通过网络6发送。由索引服务器3所执行的反查找检索的结果，通过网络6由反查找检索结果接收部144接收，将其作为反查找检索结果进行输出。
图31表示具有反查找检索功能的索引服务器3的构成例。
在该例中，对索引服务器3的检索请求，由检索请求接收部33接收，如果是普通的检索请求，则将检索请求转到索引检索部31；如果是反查找检索请求，则将检索请求转给反查找检索部34。
索引检索部34的操作与图13的索引服务器相同。
反查找检索部34参照与索引检索部31共有的索引表32，如上所述，从索引表32中检索具有包括反查找检索请求所指定的检索对象的位置信息和时刻信息在内的位置信息和时刻信息的事件，或者具有与检索对象的位置信息和时刻信息相接近的位置信息和时刻信息。将这样检索的1个或多个事件名作为检索结果转给检索结果发送部35。
检索结果发送部35将从索引检索部31或反查找检索部34转来的检索结果，返送回发出检索请求的多媒体数据检索装置1。
图32表示为了通过利用具有GUI的前端程序，构成具有反查找检索功能的多媒体数据检索装置时GUI画面的例子。图32的例子是以与图24的例子相同的“新年”的事件名，检索数字照片数据时的画面。此处与图24不同，在右侧的照片显示区域的各照片下方显示认为是拍摄该照片的事件名。该事件名对各照片的数据进行反查找检索，在其结果所检索的事件名当中，显示优先级最高的一个。
在反查找检索的结果显示法中可以采用各种各样的方式。例如，当对于一张照片检索了多个事件名时，显示从优先级的高位所决定的个数的事件名；或者显示优先级高的一个，并显示出知道还有其他所检索的事件名，例如可以由凸起的棘爪等的操作也能看到其他的事件名。另外也可以使由反查找检索所检索的事件名显示在位置显示区域的地图对应的位置上。
在此处说明的具有反查找检索功能的多媒体数据检索装置中也与前面说明的多媒体数据检索装置的情况一样，可以具有多个索引表；或者本地具有的索引表和远程的索引服务器进行并用，这对本行业者很清楚的。另外，在通过GUI的前端程序进行检索时，通过使显示GUI画面的计算机独立构成，从装载网络上的无论哪个WEB浏览器的计算机，都可以操作前端程序、及多媒体数据检索程序，这一点也与上述相同。此外，前面说明的多媒体数据检索装置上的各种构成例、变形在此也可以适用。
另外，作为本实施例的多媒体数据检索装置的检索对象的数据，并不限定如以上的实施例中说明的那样的数字照相机及扫描器等的静止图像、以及数字摄像机及数字广播等的动画图像。对于应管理的数据，只要与时间信息及位置信息的某一个或双方相关联进行管理，则什么样的数据也没关系。例如、观光地、节目、演唱会、博览会、运动会等各种事件，与这些相关描述的文章、与具有这些相关信息的WEB页面的链接、与说明这些内容的百科词典的链接、与销售这些入场卷及记录的冬奥会商店的链接等，都可同样进行管理检索。
在本实施例中，事件的时刻信息、及与多媒体数据相关联的时刻信息，最好考虑时差进行处理。另外最好用多种语言(例如：日语、英语、法语、西班牙语、意大利语、汉语、俄语、等)登录事件名，用不同的语言也可以检索。
以上的各功能也可以用软件实现。
另外，本实施例，也可以以计算机可以读取的记录媒体，记录在计算机上执行规定装置的(或者将计算机作为规定装置的功能，或者在计算机上实现规定的功能的)程序。
本发明不仅限于上述的实施例，在其技术范围内可以进行各种变形。

Claims (11)

1.一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索方法，其特征在于，包括：
数据管理步骤，与和上述多个多媒体数据中各数据的产生相关而自动生成的时刻信息以及位置信息相关联地管理该各多媒体数据；
请求信息取出步骤，在接受用事件名数据指定的检索请求数据时，参照包含了多个事件名数据和与各事件名数据相关联的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引表，通过将上述检索请求发送给用于求出与上述事件名数据对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引服务器而从该索引服务器求出与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据；
检索步骤，通过从在上述数据管理步骤中管理的上述多个多媒体数据中选出与在上述请求信息取出步骤中求出的上述时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据相匹配的多媒体数据，并返回该选出的多媒体数据的集合作为检索结果，来检索上述多媒体数据，
以得到与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据。
2.如权利要求1记载的多媒体数据检索方法，其特征在于：
将日程数据中所包含的表示日程内容的名称信息数据用作上述事件名数据，将日程的日期时间数据用作上述时刻信息数据、将日程的地点数据用作上述位置信息数据，将日程数据用作为上述索引表。
3.如权利要求1或2记载的多媒体数据检索方法，其特征在于：
当接受了对所管理的上述多个多媒体数据中的某个多媒体数据的指定时，求出与该指定的多媒体数据相关联的时刻信息数据或位置信息数据、或者时刻信息数据及位置信息数据。
4.一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索装置，其特征在于，包括：
数据管理单元，与和上述多个多媒体数据中各数据的产生相关而自动生成的时刻信息以及位置信息相关联地管理该各多媒体数据；
请求信息取出单元，在接受用事件名数据指定的检索请求数据时，参照包含了多个事件名数据和与各事件名数据相关联的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引表，通过将上述检索请求发送给用于求出与上述事件名数据对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据的索引服务器而从该索引服务器求出与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据；
检索单元，通过从在上述数据管理单元中管理的上述多个多媒体数据中选出与在上述请求信息取出单元中求出的上述时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据相匹配的多媒体数据，并返回该选出的多媒体数据的集合作为检索结果，来检索上述多媒体数据，
以得到与该检索请求数据相对应的时刻信息数据或位置信息数据、或时刻信息数据及位置信息数据。
5.一种利用网络提供所需数据的索引信息的索引信息提供方法，其特征在于，包括：
通过网络接受来自请求端的、以事件名数据指定的检索请求数据的步骤；
通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的步骤，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；以及
通过网络向所述请求端提供所求出的对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的步骤。
6.如权利要求5记载的索引信息提供方法，其特征在于：
作为上述索引表，至少包括定制的多个第1索引表部分、及公用的第2索引表部分；
当求得对应于上述检索请求数据的时刻信息数据和位置信息数据中的双方或一方时，至少利用对应于上述请求端的上述第1索引表部分及上述第2索引表部分作为应参照的上述索引表。
7.如权利要求5或6记载的索引信息提供方法，其特征在于：
将日程数据中所包含的表示日程内容的名称信息数据用作上述事件名数据，将日程的日期时间数据和地点数据中的双方或一方用作上述时刻信息数据和位置信息数据中的双方或一方，将日程数据用作上述索引表。
8.一种利用网络提供所需数据的索引信息的索引服务器，其特征在于，包括：
检索请求接受单元，用于通过网络接受来自请求端的、以事件名数据指定的检索请求数据；
请求信息取出单元，用于通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；以及
用于通过网络向所述请求端提供利用所述请求信息取出单元求出的对应于所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方的单元。
9.一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索方法，其特征在于，包括：
数据管理步骤，与和所述多个多媒体数据中的各数据的产生相关而自动生成的时刻信息数据和位置信息数据中的双方或一方相关联地管理该多媒体数据；
检索请求接受步骤，通过网络从请求端接受以事件名数据指定的检索请求数据；
请求信息取出步骤，通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于在所述检索请求接受步骤中所接受的所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；
检索步骤，通过选出与在所述请求信息取出步骤中求出的所述时刻信息数据和位置信息数据中的双方或一方相匹配的多媒体数据并返回该选出的多媒体数据的集合作为检索结果，对在所述数据管理步骤中所管理的所述多个多媒体数据进行检索；以及
将所述检索步骤中得到的检索结果通过网络提供给所述请求端的步骤。
10.如权利要求9记载的多媒体数据检索方法，其特征在于：
当接受了对所管理的上述多个多媒体数据中的某个多媒体数据的指定时，求出与该指定的多媒体数据相关联的时刻信息数据和位置信息数据中的双方或一方。
11.一种从存储在多媒体数据库装置中的多个多媒体数据中检索所需数据的多媒体数据检索服务器，其特征在于，包括：
数据管理单元，与和所述多个多媒体数据中的各数据的产生相关而自动生成的时刻信息数据和位置信息数据中的双方或一方相关联地管理该多媒体数据；
检索请求接受单元，通过网络从请求端接受以事件名数据指定的检索请求数据；
请求信息取出单元，通过参照索引表，根据所述检索请求数据中所使用的所述事件名数据，求出对应于在所述检索请求接受单元中所接受的所述检索请求数据的时刻信息数据和位置信息数据中的双方或一方，其中所述索引表包含多个事件名数据以及与各事件名数据相关联的时刻信息数据和位置信息数据中的双方或一方；
检索单元，通过选出与在所述请求信息取出单元中求出的所述时刻信息数据和位置信息数据中的双方或一方相匹配的多媒体数据并返回该选出的多媒体数据的集合作为检索结果，对在所述数据管理单元中所管理的所述多个多媒体数据进行检索；以及
用于将所述检索单元中得到的检索结果通过网络提供给所述请求端的单元。
CNB011118709A 2000-03-29 2001-03-22 多媒体数据检索方法、索引信息提供方法及相关装置和服务器 Expired - Fee Related CN1313955C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP091024/2000 2000-03-29
JP2000091024A JP2001282813A (ja) 2000-03-29 2000-03-29 マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ

Publications (2)

Publication Number Publication Date
CN1378156A CN1378156A (zh) 2002-11-06
CN1313955C true CN1313955C (zh) 2007-05-02

Family

ID=18606541

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011118709A Expired - Fee Related CN1313955C (zh) 2000-03-29 2001-03-22 多媒体数据检索方法、索引信息提供方法及相关装置和服务器

Country Status (5)

Country Link
US (1) US20030069893A1 (zh)
EP (1) EP1139239A3 (zh)
JP (1) JP2001282813A (zh)
KR (1) KR20010093654A (zh)
CN (1) CN1313955C (zh)

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865499B2 (en) * 2001-01-16 2011-01-04 Lakeside Software, Inc. System and method for managing information for a plurality of computer systems in a distributed network
US7260588B2 (en) * 2001-06-22 2007-08-21 Werner Raymond J Location-based operations for information handling systems
KR20030059403A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 멀티미디어 검색방법 및 장치
AU2003210027A1 (en) * 2002-03-06 2003-09-16 Chung-Tae Kim Methods for constructing multimedia database and providing multimedia-search service and apparatus therefor
WO2003079229A1 (fr) * 2002-03-15 2003-09-25 Fujitsu Limited Procédé et dispositif de recherche d'informations de régions
JP2003298991A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 画像整理方法および装置並びにプログラム
FR2840424B1 (fr) * 2002-05-30 2004-09-03 Thomson Licensing Sa Procede et dispositif de fragmentation de donnees multimedia
JP4123841B2 (ja) * 2002-06-24 2008-07-23 ソニー株式会社 サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム
US20040003038A1 (en) * 2002-06-27 2004-01-01 Microsoft Corporation Live content processing for online presentation
KR100473753B1 (ko) * 2002-08-14 2005-03-10 엘지전자 주식회사 감시용 디지털 비디오 레코더에서의 프리뷰 서치 인덱스파일 관리방법
KR100493729B1 (ko) * 2002-09-02 2005-06-03 삼성전자주식회사 영상데이터를 키워드로 검색할 수 있는 방법
US7340079B2 (en) 2002-09-13 2008-03-04 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
JP4341219B2 (ja) * 2002-09-20 2009-10-07 セイコーエプソン株式会社 画像ファイルの表示
CN100391248C (zh) * 2002-09-27 2008-05-28 富士胶片株式会社 相册制作方法及其装置
JP2004220569A (ja) * 2002-12-25 2004-08-05 Casio Comput Co Ltd データファイル記憶装置、データファイル記憶プログラム及びデータファイル記憶方法
JP2004213129A (ja) * 2002-12-27 2004-07-29 Fuji Photo Film Co Ltd 画像分類方法および装置並びにプログラム
US7769794B2 (en) 2003-03-24 2010-08-03 Microsoft Corporation User interface for a file system shell
US7421438B2 (en) 2004-04-29 2008-09-02 Microsoft Corporation Metadata editing control
US7627552B2 (en) 2003-03-27 2009-12-01 Microsoft Corporation System and method for filtering and organizing items based on common elements
US7240292B2 (en) * 2003-04-17 2007-07-03 Microsoft Corporation Virtual address bar user interface control
US7712034B2 (en) 2003-03-24 2010-05-04 Microsoft Corporation System and method for shell browser
US7823077B2 (en) 2003-03-24 2010-10-26 Microsoft Corporation System and method for user modification of metadata in a shell browser
US7890960B2 (en) * 2003-03-26 2011-02-15 Microsoft Corporation Extensible user context system for delivery of notifications
US7827561B2 (en) 2003-03-26 2010-11-02 Microsoft Corporation System and method for public consumption of communication events between arbitrary processes
US7526483B2 (en) * 2003-03-27 2009-04-28 Microsoft Corporation System and method for virtual folder sharing including utilization of static and dynamic lists
JP4032355B2 (ja) * 2003-03-27 2008-01-16 カシオ計算機株式会社 表示処理装置、表示制御方法および表示処理プログラム
US7925682B2 (en) * 2003-03-27 2011-04-12 Microsoft Corporation System and method utilizing virtual folders
US7650575B2 (en) 2003-03-27 2010-01-19 Microsoft Corporation Rich drag drop user interface
US7499925B2 (en) * 2003-03-27 2009-03-03 Microsoft Corporation File system for displaying items of different types and from different physical locations
US7536386B2 (en) * 2003-03-27 2009-05-19 Microsoft Corporation System and method for sharing items in a computer system
US7536695B2 (en) * 2003-03-28 2009-05-19 Microsoft Corporation Architecture and system for location awareness
US7765461B2 (en) 2003-04-03 2010-07-27 Panasonic Corporation Moving picture processing device, information processing device, and program thereof
JP4458040B2 (ja) * 2003-04-07 2010-04-28 セイコーエプソン株式会社 画像蓄積装置及びプログラム
JP2005062971A (ja) * 2003-08-19 2005-03-10 Pioneer Electronic Corp コンテンツ検索システム
US20050060299A1 (en) * 2003-09-17 2005-03-17 George Filley Location-referenced photograph repository
US8024335B2 (en) 2004-05-03 2011-09-20 Microsoft Corporation System and method for dynamically generating a selectable search extension
US7181463B2 (en) * 2003-10-24 2007-02-20 Microsoft Corporation System and method for managing data using static lists
US8046330B2 (en) * 2003-11-11 2011-10-25 Fujifilm Corporation Image accumulation device and image accumulation method
JP2005184795A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
US8184343B2 (en) * 2004-01-14 2012-05-22 Fuji Xerox Co., Ltd. Image forming apparatus, apparatus for creating electronic album, image forming method, method for creating electronic album, program and index sheet
JP4341408B2 (ja) * 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
EP1585044A1 (en) 2004-04-06 2005-10-12 Thomson Licensing Device and method for multimedia data retrieval
EP1589444A3 (en) * 2004-04-21 2008-03-12 Samsung Electronics Co., Ltd. Method, medium, and apparatus for detecting situation change of digital photos and method, medium, and apparatus for situation-based photo clustering in digital photo album
US7694236B2 (en) 2004-04-23 2010-04-06 Microsoft Corporation Stack icons representing multiple objects
US7657846B2 (en) 2004-04-23 2010-02-02 Microsoft Corporation System and method for displaying stack icons
US7992103B2 (en) 2004-04-26 2011-08-02 Microsoft Corporation Scaling icons for representing files
US8707209B2 (en) 2004-04-29 2014-04-22 Microsoft Corporation Save preview representation of files being created
US8250613B2 (en) * 2004-04-29 2012-08-21 Harris Corporation Media asset management system for managing video news segments and associated methods
US8230467B2 (en) * 2004-04-29 2012-07-24 Harris Corporation Media asset management system for managing video segments from an aerial sensor platform and associated method
US8108430B2 (en) 2004-04-30 2012-01-31 Microsoft Corporation Carousel control for metadata navigation and assignment
JP2005346440A (ja) * 2004-06-03 2005-12-15 Ntt Docomo Inc メタデータ付与支援システム、制御装置、及び、メタデータ付与支援方法
JP4517742B2 (ja) 2004-06-23 2010-08-04 ソニー株式会社 画像表示制御装置および画像表示制御方法
JP2006031379A (ja) * 2004-07-15 2006-02-02 Sony Corp 情報提示装置及び情報提示方法
JP4243862B2 (ja) 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP4247626B2 (ja) * 2005-01-20 2009-04-02 ソニー株式会社 再生装置および再生方法
JP4595555B2 (ja) 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
US7383503B2 (en) * 2005-02-23 2008-06-03 Microsoft Corporation Filtering a collection of items
JP4367355B2 (ja) * 2005-02-24 2009-11-18 セイコーエプソン株式会社 写真画像検索装置、写真画像検索方法、記録媒体、およびプログラム
JP4366601B2 (ja) * 2005-03-18 2009-11-18 ソニー株式会社 タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ
JP4741267B2 (ja) 2005-03-28 2011-08-03 ソニー株式会社 コンテンツ推薦システム、通信端末およびコンテンツ推薦方法
US8490015B2 (en) 2005-04-15 2013-07-16 Microsoft Corporation Task dialog and programming interface for same
US20060236253A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Dialog user interfaces for related tasks and programming interface for same
US8195646B2 (en) 2005-04-22 2012-06-05 Microsoft Corporation Systems, methods, and user interfaces for storing, searching, navigating, and retrieving electronic information
US8522154B2 (en) 2005-04-22 2013-08-27 Microsoft Corporation Scenario specialization of file browser
GB0510713D0 (en) * 2005-05-26 2005-06-29 Ibm A method or apparatus for sharing image data
JP2007011928A (ja) 2005-07-04 2007-01-18 Sony Corp コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
US7665028B2 (en) 2005-07-13 2010-02-16 Microsoft Corporation Rich drag drop user interface
JP5133508B2 (ja) * 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP4479623B2 (ja) 2005-08-22 2010-06-09 ソニー株式会社 コンテンツ通信システム、コンテンツ通信方法及び通信端末装置
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP4232774B2 (ja) * 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4820627B2 (ja) 2005-11-16 2011-11-24 パナソニック株式会社 対応付け装置
US20070162876A1 (en) * 2005-12-29 2007-07-12 Quirk Timothy B Contextual album browsing
JP2007219615A (ja) 2006-02-14 2007-08-30 Sony Corp 検索装置、検索方法、プログラム
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
JP4864508B2 (ja) * 2006-03-31 2012-02-01 富士通株式会社 情報検索プログラム、情報検索方法および情報検索装置
JP4796435B2 (ja) * 2006-04-28 2011-10-19 富士フイルム株式会社 画像ビューア
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
CN100422999C (zh) * 2006-09-14 2008-10-01 浙江大学 基于内容相关性的跨媒体检索方法
KR100813170B1 (ko) 2006-09-27 2008-03-17 삼성전자주식회사 사진 의미 인덱싱 방법 및 그 시스템
JP2008084107A (ja) * 2006-09-28 2008-04-10 Olympus Corp 情報管理方法およびデジタルカメラ
US20080082578A1 (en) 2006-09-29 2008-04-03 Andrew Hogue Displaying search results on a one or two dimensional graph
US9361295B1 (en) 2006-11-16 2016-06-07 Christopher C. Andrews Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet
US10296561B2 (en) 2006-11-16 2019-05-21 James Andrews Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet
JP2008199502A (ja) * 2007-02-15 2008-08-28 Hitachi Ltd ビデオカメラ
US8352455B2 (en) * 2007-06-29 2013-01-08 Allvoices, Inc. Processing a content item with regard to an event and a location
CA2601154C (en) 2007-07-07 2016-09-13 Mathieu Audet Method and system for distinguising elements of information along a plurality of axes on a basis of a commonality
US8046367B2 (en) * 2007-08-20 2011-10-25 Microsoft Corporation Targeted distribution of search index fragments over a wireless communication network
US8601392B2 (en) 2007-08-22 2013-12-03 9224-5489 Quebec Inc. Timeline for presenting information
JP4752827B2 (ja) 2007-09-04 2011-08-17 ソニー株式会社 地図情報表示装置、地図情報表示方法、及びプログラム
JP4697210B2 (ja) 2007-10-02 2011-06-08 ソニー株式会社 地図表示装置及び地図表示方法
JP4407738B2 (ja) * 2007-10-05 2010-02-03 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20090193356A1 (en) * 2008-01-28 2009-07-30 Immersion Digital Llc Systems and methods for providing a zoomable user interface
US8972177B2 (en) * 2008-02-26 2015-03-03 Microsoft Technology Licensing, Llc System for logging life experiences using geographic cues
US8015144B2 (en) 2008-02-26 2011-09-06 Microsoft Corporation Learning transportation modes from raw GPS data
US8966121B2 (en) 2008-03-03 2015-02-24 Microsoft Corporation Client-side management of domain name information
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8839140B2 (en) * 2008-05-23 2014-09-16 Microsoft Corporation Pivot search results by time and location
US8527505B2 (en) * 2008-12-12 2013-09-03 Verizon Patent And Licensing Inc. Multiplatform communication and media journal with mapping
WO2010070804A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 画像検索装置及び画像検索方法
JP5173853B2 (ja) * 2009-01-07 2013-04-03 キヤノン株式会社 データブラウジング装置及びその制御方法
US9063226B2 (en) * 2009-01-14 2015-06-23 Microsoft Technology Licensing, Llc Detecting spatial outliers in a location entity dataset
US9405752B2 (en) * 2009-02-13 2016-08-02 T-Mobile Usa, Inc. System and method for automatically presenting a media file on a mobile device based on relevance to a user
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
CN101646070B (zh) * 2009-07-30 2012-09-19 杭州联图科技有限公司 一种新型智能安防监控方法及其专用设备
US20110044563A1 (en) * 2009-08-24 2011-02-24 Blose Andrew C Processing geo-location information associated with digital image files
US8275649B2 (en) * 2009-09-18 2012-09-25 Microsoft Corporation Mining life pattern based on location history
US9009177B2 (en) * 2009-09-25 2015-04-14 Microsoft Corporation Recommending points of interests in a region
JP5681854B2 (ja) * 2009-11-18 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） 携帯情報端末及びその履歴情報通知方法
JP5520585B2 (ja) * 2009-12-04 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US8612134B2 (en) * 2010-02-23 2013-12-17 Microsoft Corporation Mining correlation between locations using location history
US9261376B2 (en) * 2010-02-24 2016-02-16 Microsoft Technology Licensing, Llc Route computation based on route-oriented vehicle trajectories
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10288433B2 (en) * 2010-02-25 2019-05-14 Microsoft Technology Licensing, Llc Map-matching for low-sampling-rate GPS trajectories
US8719198B2 (en) 2010-05-04 2014-05-06 Microsoft Corporation Collaborative location and activity recommendations
US9593957B2 (en) 2010-06-04 2017-03-14 Microsoft Technology Licensing, Llc Searching similar trajectories by locations
US8971917B2 (en) 2011-04-04 2015-03-03 Soundlink, Inc. Location-based network radio production and distribution system
US10289657B2 (en) 2011-09-25 2019-05-14 9224-5489 Quebec Inc. Method of retrieving information elements on an undisplayed portion of an axis of information elements
US9754226B2 (en) 2011-12-13 2017-09-05 Microsoft Technology Licensing, Llc Urban computing of route-oriented vehicles
US20130166188A1 (en) 2011-12-21 2013-06-27 Microsoft Corporation Determine Spatiotemporal Causal Interactions In Data
JP6020986B2 (ja) * 2012-04-17 2016-11-02 株式会社日立製作所 対象物特定システム、対象物特定サーバ及び対象物特定端末
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9519693B2 (en) 2012-06-11 2016-12-13 9224-5489 Quebec Inc. Method and apparatus for displaying data element axes
US11537671B1 (en) * 2012-07-02 2022-12-27 Amazon Technologies, Inc. Unified search
JP6351219B2 (ja) * 2012-08-23 2018-07-04 キヤノン株式会社 画像検索装置、画像検索方法及びプログラム
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
JP5664729B2 (ja) * 2013-09-12 2015-02-04 ソニー株式会社 検索方法、検索装置、プログラム、検索条件設定方法、情報端末装置
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
JP6509546B2 (ja) * 2014-12-12 2019-05-08 株式会社日立システムズ 画像検索システム及び画像検索方法
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11294951B2 (en) 2017-03-06 2022-04-05 Micware Co., Ltd. Information processing device, information processing system, and information processing program
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CA3007166C (en) 2017-06-05 2024-04-30 9224-5489 Quebec Inc. Method and apparatus of aligning information element axes
US11038973B2 (en) * 2017-10-19 2021-06-15 Dropbox, Inc. Contact event feeds and activity updates
CN111295879B (zh) * 2017-11-15 2021-08-03 村田机械株式会社 管理服务器、管理系统、管理方法以及记录介质
JP6937842B2 (ja) * 2017-11-24 2021-09-22 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
CN108021654A (zh) * 2017-12-01 2018-05-11 北京奇安信科技有限公司 一种相册图像处理方法及装置
JP2019083043A (ja) * 2019-01-17 2019-05-30 株式会社ニコン サーバ
CN113094600A (zh) 2020-01-08 2021-07-09 百度在线网络技术（北京）有限公司 电子地图的搜索方法、装置、设备和介质
KR102526873B1 (ko) * 2020-01-08 2023-04-27 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 전자 지도의 검색 방법, 장치, 설비 및 매체
JP7345677B1 (ja) 2022-06-06 2023-09-15 三菱電機株式会社 情報生成装置、情報出力装置、および、情報出力方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585535B2 (ja) * 1986-06-02 1997-02-26 株式会社日立製作所 複合計算機システムにおけるプロセス結合方法
US5805215A (en) * 1994-04-21 1998-09-08 Canon Kabushiki Kaisha Information processing method and apparatus for storing additional data about an image
JP3438049B2 (ja) * 1994-10-19 2003-08-18 富士通株式会社 情報提示装置、情報提示方法及びインデックス情報源装置
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6538623B1 (en) * 1999-05-13 2003-03-25 Pirooz Parnian Multi-media data collection tool kit having an electronic multi-media “case” file and method of use
US6591300B1 (en) * 1999-06-30 2003-07-08 Lucent Technologies Inc. Integrated management application

Also Published As

Publication number Publication date
EP1139239A3 (en) 2004-01-07
EP1139239A2 (en) 2001-10-04
US20030069893A1 (en) 2003-04-10
JP2001282813A (ja) 2001-10-12
KR20010093654A (ko) 2001-10-29
CN1378156A (zh) 2002-11-06

Similar Documents

Publication Publication Date Title
CN1313955C (zh) 多媒体数据检索方法、索引信息提供方法及相关装置和服务器
CN1287310C (zh) 组成多媒体文件的方法和装置
CN1314226C (zh) 多媒体文件共享方法和装置
CN1822643A (zh) 信息处理设备、信息处理方法和信息处理系统
CN1955908A (zh) 显示信息的方法和程序以及信息处理装置
CN1758249A (zh) 内容管理系统、内容管理方法及计算机程序
CN1940936A (zh) 信息处理装置、方法和程序
CN1589567A (zh) 追加信息摄像方法、使用该方法的摄像装置及分配信息装置、以及追加信息摄像体系
CN1225117C (zh) 图像以及声音的重放装置及方法
CN1606295A (zh) 元数据分配管理系统、装置和方法及其计算机程序
CN1947090A (zh) 用于管理来自固定区域安全照相机的视频分段的媒体资产管理系统和相关的方法
CN1268710A (zh) 数据库检索装置及方法
CN1321277A (zh) 数据库系统
CN1774027A (zh) 数据处理装置、信息处理系统、选择程序及可读记录介质
CN1610910A (zh) 用于网络广播的内容寄售系统和方法
CN1835569A (zh) 时移图像分配系统，时移图像分配方法，时移图像请求装置及图像服务器
CN1388930A (zh) 信息发布系统、信息发布方法及执行该方法的计算机程序
CN1914611A (zh) 信息检索系统、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方法及图像识别程序、以及销售系统
CN1799051A (zh) 使用页面存储文件浏览内容的方法
JP2011108282A (ja) メタデータに基づくアイテムの検索及び特定
CN1533163A (zh) 电子节目指南数据的自由文本和属性搜索
CN1855284A (zh) 再现装置、再现控制方法以及程序
CN1653546A (zh) 记录重放系统、记录重放方法、程序、及记录媒体
CN101067955A (zh) 内容列表显示方法及装置、内容选择和处理方法及装置
JP2011055169A (ja) 電子機器及び映像処理方法

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070502