CN1293793B - 多媒体数据的搜索或浏览方法 - Google Patents

多媒体数据的搜索或浏览方法 Download PDF

Info

Publication number
CN1293793B
CN1293793B CN008001014A CN00800101A CN1293793B CN 1293793 B CN1293793 B CN 1293793B CN 008001014 A CN008001014 A CN 008001014A CN 00800101 A CN00800101 A CN 00800101A CN 1293793 B CN1293793 B CN 1293793B
Authority
CN
China
Prior art keywords
information
flexible strategy
medium data
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN008001014A
Other languages
English (en)
Other versions
CN1293793A (zh
Inventor
李振秀
金贤俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1019990002979A external-priority patent/KR100319153B1/ko
Priority claimed from KR1019990035798A external-priority patent/KR100350785B1/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1293793A publication Critical patent/CN1293793A/zh
Application granted granted Critical
Publication of CN1293793B publication Critical patent/CN1293793B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99932—Access augmentation or optimizing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99939—Privileged access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于搜索或浏览多媒体数据的方法，能够有效地搜索或浏览图象。在本方法中，考虑关于输入多媒体数据的特征权数的可靠性信息和权限代码中的至少一个，执行搜索或浏览。根据本方法，系统选择参考多媒体数据，并使用输入多媒体数据的特征和/或特征元素的权数来搜索多媒体数据。用户接收关于所搜索或浏览的多媒体数据的相关性的反馈，系统使用该相关性信息计算新的权数。因此，系统更新和保持特征和/或特征元素的新权数。

Description

多媒体数据的搜索或浏览方法
本发明涉及数据的搜索或浏览方法，具体涉及多媒体数据如图像或视频的搜索或浏览方法。
近来，数字图像信号处理技术得到极大发展并被应用于各种领域。例如，数字图像信号处理技术可用于搜索系统，该系统可自动地仅仅编辑电影或戏剧的移动图像文件中特定人物的面容，数字图像信号处理技术还可用于安全系统，该安全系统只允许在该系统注册的人使用，数字图像信号处理技术还可用于一种搜索系统，该搜索系统可以从检测系统检测到的图像或视频中搜索特定数据。以上这些系统的性能主要依赖于检测或搜索所需目标的准确性和速度。因此，在现有技术中提出了各种各样的图像搜索方法。
美国专利5,579,471“图像查询系统和方法”公开了一种图像搜索系统，该系统利用颜色、纹理或形状等特征检测要搜索的图像的相似性程度。取决于要搜索的图像，每个特征的重要性可能会有所不同并且在一个特定的特征如颜色内特征元素如红色或绿色的重要性也会有所不同。但是，对于每个要搜索的图像，上面的搜索系统并没有把各种特征或特征元素的不同重要性考虑进去。
在另一种名为“Virage图像搜索引擎”(www.virage.com)的搜索方法中，用户通过指定权数值直接输入不同特征如颜色、纹理和形状的重要性级别。尽管使用这种方法根据各个特征的重要性可以搜索图像，但是用户很难确定各个特征的重要性。
因此，Yong Rui在SPIE卷3312的名为“交互作用中的相关性反馈技术”中公开了一种方法，在该方法中，找出与参考图像相类似的图像，然后通过计算找出的图像间的相似性自动获得特征的重要性或特征的权数。但是，在对特定图像的搜索完成之后这种权数重要性信息并不能得到保持，对于每次图像搜索即使是相同图像的搜索，其权数重要性信息都必须重新计算。
在现有技术的图像搜索和浏览系统或视频(移动图像)搜索和浏览系统中，使用描述图像或视频数据特定特征的信息来进行对多媒体数据更有效的搜索或浏览。例如，在图像查询系统中，一幅图像可以分为多个区域，可以使用每个区域的代表性颜色作为该图像的特征信息，或使用该图像的总体颜色直方图作为特征信息。此后，比较两幅图像以计算出基于特征信息的相似性，以此确定两幅图像是否相似。
同样，用户还可能希望搜索和观看视频中特定人物登场或特定事件发生的部分。此时，可以使用代表特定事件的关键帧来执行对视频的搜索和浏览。而且在最近的搜索和浏览方法中已经使用上级特征信息和下级特征信息来定义关键帧和关键片段。这种类型的多媒体数据搜索和浏览方法可以使用表明重要性程度的权数信息，或者直接或间接使用通过对相似的多媒体数据归类而预先得到的组信息。这样的权数信息或组信息可以由专家提前预定义或者它们也可以是由用户反馈不断修改的特征信息。
此外，当浏览多媒体数据如图像或视频时，可以根据用户要求或硬件的资源条件来显示原始多媒体数据的全部或一部分。当显示原始多媒体数据的各个部分时，给每个部分指定权数值以使得全部数据中重要的部分可以被优选显示。这种权数值可以根据用户的反馈进行改变或由专家预先定义。
在美国专利5,020,019和5,297,042中使用描述用户偏好的信息来为每个用户提供更好的服务。例如对电影或视频数据而言，这种信息可以包括如动作片、戏剧或体育运动的用户偏好。在另一个例子中，用户对关键词搜索中使用频度最多的关键词可以有不同的偏好和意义。因此，如果根据用户的偏好给用户经常使用的关键词指定不同的权数，那么用户可以进行更有效的搜索。这样的用户偏好可以通过用户的搜索条件和用户以前的搜索历史来获得。这种取决于用户偏好的信息还可以修改和更新。
尽管可变的特征信息对于一些多媒体数据的搜索和浏览而言已经足够了，但是当这些包括权数值的特征信息由专家来预先确定时，信息的可靠性可能会依赖于专家和/或定义可变信息时使用的大量专家意见的可靠程度而改变。换句话说，即使描述多媒体数据特征的特征信息由专家组预先定义，但用于定义同一幅图像的特征信息的可靠性也可能由于专家技能的不同而不一致。同样地，当特征信息是根据用户的反馈而训练时，信息的可靠性可能会取决于反馈的数量和准确性而改变。例如，如果用户在搜索后把两幅图像错误地判断为一样，这样的信息被反馈后将对特征信息的训练产生不利的影响。
另外，新用户输入的用户偏好信息可能与服务器推荐的特征信息有所不同。在这种情况下，系统应根据用户的可靠性给用户偏好信息指定合适的权数。最终，因为不同的用户对系统给出不同的反馈，如果现存的特征信息的可靠性相对较高的话，新用户的个人反馈信息对特征信息的更新就不会有太大的影响，反之，如果现存的特征信息的可靠性比较低，那么每个新用户的反馈信息就会对特征信息值有较大影响。
由于现有技术的搜索和浏览方法并未考虑上面所描述的因素，因此或者是搜索到的结果的可靠性不一致或者是要一直输入可靠的反馈信息。
因此，本发明的目的之一是至少解决现有技术的难题和缺点。
本发明的一个目的是提供一种准确有效的搜索或浏览多媒体数据的方法。
本发明的另一个目的是提供一种搜索或浏览方法，该方法在考虑了信息可靠性和权限代码的情况下执行对特征信息的更新。
本发明的再一个目的是提供一种数据结构，该数据结构可用于搜索或浏览多媒体数据。
本发明的另外一些优点、目的和特征将在以下的描述中得到部分阐明，部分地由该领域内的普通技术人员通过对本发明的审看或实践明白和了解。通过所附权利要求所特别指出的方式可以实现和获得本发明的目的和其它优点。
为了达到上述目的，根据本发明的目标，如此处所体现和广泛描述的那样，搜索或浏览多媒体数据的方法包括以下步骤：选择或输入参考多媒体数据；利用指定给多媒体数据的特征和/或特征元素的权数搜索参考多媒体数据；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的权数；更新先前的权数，保持该更新的权数。
在本发明的另一个方面中，搜索或浏览多媒体数据的方法包括以下步骤：使用代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息搜索参考多媒体数据，上述的可变信息包括在多媒体数据结构中；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；使用用户反馈回的训练信息或存储在系统中的用户模式信息计算出新的可变信息；使用计算出的可变信息和/或可靠性信息更新先前的可变信息并保持该更新的信息.
在本发明的再一个方面中，搜索或浏览多媒体数据的方法包括以下步骤：选择或输入参考多媒体数据；使用代表多媒体数据特征重要性的可变信息搜索参考多媒体数据，其中多媒体数据结构包括可变信息、可变信息的可靠性信息和用于限制用户权限的权限代码；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的可变信息；使用可靠性信息与权限代码的可选择性组合更新先前的可变信息，并保持该更新的信息。
在本发明的再一个方面中，用于多媒体数据搜索或浏览系统的数据结构包括：多媒体数据；多媒体数据的特征信息；代表多媒体数据特征的权数的权数信息。
下面将参照附图对本发明进行详细描述，附图中相同的参考数字指得是其中相同的单元，附图包括：
图1是根据本发明的多媒体数据搜索或浏览系统中的多媒体数据结构；
图2是根据本发明的多媒体数据搜索或浏览系统中使用的另一种数据结构；
图3是根据本发明的第一个实施例的多媒体数据搜索或浏览过程的流程图；
图4是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构；
图5是根据图4的数据结构的多媒体数据中可变权数信息的一个例子；
图6是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定的可靠性信息的数据结构；
图7是根据图5的数据结构的多媒体数据中固定权数信息的一个例子。
下面将详细介绍本发明的优选实施例，优选实施例的例子在附图中显示。
图1是本发明的搜索或浏览系统可以使用的多媒体数据结构，它包括用于相关性反馈的图像描述101。用于相关性反馈的图像描述101是表明用户反馈训练的特征或特征元素(此后统称为“特征”)重要性的信息，该信息包括：图像描述102、权限代码104和可靠性代码107。
特别地，图像描述102包括用于实际搜索的图像特征103a和表明图像特征重要性的权数103b。可靠性代码107表示权数的可靠性。在本优选实施例中，可靠性代码由级别为i的用户的权数更新数108所代表。权限代码104则表示了权限级别106和权限级别数目105。
本发明使用权限代码104来确定权数是否应当更新，如果是的话，还确定更新的程度。而且，可靠性代码107和权限代码104可以有选择性的或两者一起包含在数据结构中，这取决于系统的需要。例如，数据结构可以只包括可靠性代码107和图像描述102。在这种情况下，系统可以提供权限代码104。同样，如果该系统只需要一个权限级别，那么该权限代码(104)就可以被省略。
图像描述102的权数103b可以根据用户的反馈而得到更新，它是指定给图像特征的权数值。而且，权限代码104的权限级别i 106决定是否更新指定给图像特征的权数和/或更新的程度。不同级别的数目可以由系统的需要确定并且在权限级别的数目105中指示。例如，假定有5个级别，权数可以被第一和第二权限级别的用户反馈进行更新，第一级别用户的更新程度可以是0.95，第二级别用户的更新程度为0.85。
图2表示根据本发明的多媒体数据搜索或浏览系统中使用的数据结构。参照图2，数据结构包括：多媒体数据201，多媒体数据的特征信息202，代表多媒体数据特征的重要性的权数信息(或可变信息)203，代表权数信息可靠性的可靠性信息206和208，代表用户权限级别的权限代码207。
如图1所描述的那样，权限级别用于确定是否更新权数信息以及更新的程度。因此，在数据结构中，权限代码包括权限级别的数目204，权限级别密码205和用于权限级别的207。不同权限级别的用户应给予不同的密码以基于权限代码限制或许可对图像的适当访问，即可以修改数据。因此，就不会允许比规定权限级别低的用户使用图像。
在优选实施例中，图像产生器(或生成器)将用户权限分为n个级别，并基于权限级别给予用户合适的密码。此后，用户可以根据给定的权限级别搜索或浏览图像并改变图像的图像描述。
而且，因为图像描述是由不同权限级别的用户更新的，所以就记录下每个权限级别用户的反馈数量以计算可靠性信息。特别地，把第k级别的用户反馈对图像描述的权数更新数目(Nk)与指定给第k级别的权数系数(ak)相乘。把每个权限级别(1～n)的乘积值(ak*Nk)累加，累加得到的和与预定的可靠性系数(a)相乘以获得图像描述的可靠性。如果两个输入数据有相同的多媒体数据，但是有由不同的历史所训练的不同图像描述，用户可以根据它们各自图像描述中的可靠性信息来确定使用哪个图像。此处，如果只有一个权限级别，那么图像就会有一个没有权限信息的可靠性值。
在本发明的第一个实施例中，当输入多媒体数据包括描述图像特征的可变信息和/或权限代码时，对多媒体数据的搜索或浏览方法进行了解释。图3是根据本发明的第一个实施例的搜索或浏览方法的流程图。为了便于解释，多媒体数据被假定为图像。
参照图3，用户选择参考图像或把其输入到搜索或浏览系统(步骤S301)。接下去，该系统利用图像特征和指定给图像特征的权数搜索相似的图像(步骤S302)。如果参考图像是第一次被选择或输入，那么该系统确定此权数的初始值。权数值可以指定给图像特征如颜色、纹理或形状，并且/或者还可以指定给图像特征元素如第i个颜色元素。
在观看搜索或浏览结果时，用户可以通过输入相关性信息(即该搜索或浏览结果是否相关)而给出反馈。特别地，如果该结果很好用户就给出正反馈，该结果很差用户就给出负反馈。例如，用户确定为与参考图像相似的图像将作为正反馈信息被反馈，用户确定为与参考图像不同的图像则作为负反馈信息被反馈。
因此，系统判断用户是否输入了相关性信息(步骤S303)，如果没有用户的反馈则系统返回到步骤S301。但是如果有用户的反馈，则系统确定用户是否有足够的权限级别以更新特征的权数(步骤S304)。此处，系统可以通过要求用户输入密码来确定用户是否达到了权限级别。权限级别将在下面参照第三个实施例进行详细解释。通常来讲，步骤S304限制了权数的更新，其中包括依据权限级别限制更新的程度。但是，这一步骤也可以省略，在这种情况下，对于每个用户的反馈权数值都要更新。
再回到图3，如果用户的权限级别允许更新，系统通过测量参考图像与搜索到的图像中反馈图像的相似性计算出新的权数(步骤S305和S306).也就是说，如果相关性信息是正信息则系统增加能提高参考图像与反馈图像相似性的特征权数，反之，如果相关性信息是负信息，则系统增加能提高参考图像与反馈图像间相异性的特征权数.此后，系统用新的权数更新图像描述中以前的权数信息并保持更新的权数以用于下一次搜索或浏览(步骤S307).特别地，权数值的更新要考虑到以下因素：更新前第k个特征的权数，当前的图像搜索中获得的第k个特征的新的权数值，以及所有特征的新的权数值的平均值.此处，由于以前的权数(即更新前第k个特征的权数)而造成的对更新的权数值的影响程度与以前权数的可靠性成反比.
在本优选实施例中，权数值可以使用公式1来更新，其中Wk(t)是第k个特征的更新的权数，Wk(t-1)是更新前第k个特征的权数，Wnew_k是通过当前的图像搜索而获得的第k个特征的计算权数，M(Wnew)是通过当前图像搜索而获得的所有特征的计算权数的平均值，a是权数系数，它用于根据用户权限级别确定更新的程度。
[1]Wk(t)＝Wk(t-1)+ΔWk，(ΔWk＝a(Wnew_k-M(Wnew)))
或者，权数可以使用搜索过程中获得的相似图像列表或相异图像列表而进行更新。例如，系统可以测量相似列表中图像之间的相似性并增加有助于作出相似性判断的特征的权数。相反，系统测量相异图像列表中图像之间的相异性，并增加有助于作出相异性判断的特征的权数。
根据本发明的第一个实施例，搜索中使用的特征权数信息包括在输入到系统中的多媒体数据结构中。因此，系统在每次搜索或浏览图像的过程中通过自我训练发展合适的权数。结果，系统使用特征权数信息执行更有效的搜索或浏览，而不用理会是在何地，使用何种应用程序，何种图像搜索引擎。同样，无论何时权数被用于搜索或浏览，通过对用户的主观和客观查询作出有效响应，本实施例都可以用于搜索或浏览用户所希望的图像。因此，本发明的第一个实施例比较适宜用作一种图像格式，该图像格式根据用户反馈可以使用“相关性反馈”概念来控制权数。
在本发明的第二个实施例中，选择或输入的用于搜索或浏览的参考数据包括代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息。在第二个实施例中，把包括可变信息和可靠性信息的多媒体数据结构输入该系统，该系统搜索参考数据。为了便于解释，多媒体数据将被假定为图像。
如第一个实施例所述，用户可以对搜索或浏览所得的图像的相关性给出反馈。接下去，系统使用用户输入的相关性信息或存储在系统中的用户模式信息计算出新的可变信息。例如，用户模式信息可以是用户的历史或使用历史。接下去，系统使用新的可变信息和/或可靠性信息更新可变信息，并保持更新的可变信息。此处，可变信息的更新是与图3中介绍的权数更新类似的方式进行的。
可变信息可以是指定给用于搜索的特征如颜色、纹理或多媒体数据关键词的权数；也可以是指定给用于搜索或浏览特定视频的帧或片段的权数；还可以是指定给依赖于用户的信息的权数，其中依赖于用户的信息代表了用户的偏好或习惯，也代表了用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；还可以是用于把多媒体数据归类为相似性列表或群集模型的信息；或者还可以是上面所述的两个或多个权数的组合。
通常，可靠性信息直接或间接代表了可变信息的可靠性，并且与根据输入的相关性信息的可变信息的用户训练的数量成正比。同样，可靠性信息也可以由系统的性能确定。下面将参照第三个实施例对可靠性信息进行详细解释。
因此，如果两个数据有相同的多媒体数据但是有不同的可变信息值，当计算新的可变信息时，系统就会选择有更高可靠性的可变信息或与可变信息的可靠性成比例地组合可变信息.可变信息的计算可以独立使用，而不用考虑本发明的第二个实施例.
例如，假定生成了一幅图像并且该图像又被其它用户拷贝为多个图像，进一步假定每个拷贝图像的图像描述在通过不同的应用程序时得到不同的发展。特别地，由不同的应用程序发展的图像描述将会有不同的可变信息和可变信息的可靠性信息。如果系统接下去要求在搜索中使用该图像，就必须确定使用图像的哪一个拷贝。因为具有不同图像描述的图像有可变信息的可靠性信息(即权数)，系统将会很容易选择并使用具有最高可靠性的图像用于搜索。同样，系统还可以通过组合对应于多个图像拷贝的不同图像描述的权数从而获得新的权数，这种组合要与不同图像的可靠性成比例。
根据上面所述的本发明的第二个实施例，因为可变信息的可靠性信息和可变信息都包括在输入系统的图像中，所以无论何时进行图像搜索，权数都可以得到更新。因此，可以训练可变信息，允许更精确的搜索。结果，系统就可以智能化地发展为最佳状态。
在本发明的第三个实施例中，输入到搜索或浏览系统的多媒体数据结构包括代表特征重要性的可变信息，代表可变信息的可靠性的可靠性信息和用于限制用户权限的权限代码。此处，权限代码可以包括在多媒体数据中，也可以在反馈回多媒体数据的搜索或浏览的合理判断时由系统提供。
在本发明的第三个实施例中，多媒体数据搜索和浏览系统根据用户的控制信号选择或输入参考多媒体数据。此后，系统使用可变信息、可变信息的可靠性信息和权限代码搜索多媒体数据。通过响应所有用户反馈进行更新但并不考虑这些反馈的可靠性，权限代码被用于限制对可变信息不适当的训练。
例如，没有经验的用户会把两个不同的图像认为是相同的，这就造成指定给搜索中使用的图像特征的权数会以不合适的方向被更新。因此，相应图像的训练结果在可靠性方面将会降低。但是，在另外一种可供选择的方法中，输入图像可以不包括权限代码，取而代之的是系统通过提供权限代码可以限制或区分权数更新的权限或权数更新的程度。例如，可以使用用户的登录ID来确定权限级别。
而且，如第一和第二实施例所述，用户给出对搜索或浏览的多媒体数据的相关性的反馈。此后，系统测量参考图像与搜索所得图像中的反馈图像的相似性，并根据测量值计算出新的可变信息。然后，系统使用计算出的可变信息、可靠性信息和/或权限代码对包括在参考图像中的以前的可变信息进行更新，并保持更新的可变信息。这样，如果两幅图像有不同的可变信息值，系统就选择相对于可变信息值具有更高可靠性的那一幅。
特别地，新的权数可以如第一个实施例所述的那样由公式1或由在搜索过程中获得的相似性列表或相异性列表来计算和更新。而且，权数可以在权数可靠性的基础上进行更新。权数可以由公式2进行更新，其中(Rc)是当前训练图像的组合可靠性，(Wc)是为可靠性预定的权数，(Rt)是与当前反馈的用户权限级别相对应的更新权数的程度，(Wt)是用户权限级别的权数。
[2]更新权数＝(RcWc+RtWt)/(Rc+Rt)
此处，Rc的值是具有各自权限级别的用户的以前权数更新的数目。
图4显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构.参照图4，可变可靠性描述符401由级别数目402、级别I的影响程度403、级别I的用户的更新数目组成.作为对比，图6显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定可靠性信息的数据结构.参照图6，固定可靠性描述符601包括级别为I的用户所执行的更新的数目602.可靠性信息可以如下获得.
首先，把较高的可靠性给予带有高权限级别的用户所经常训练的可变信息的图像。换句话说，可靠性要与给出反馈的用户的数目和权限级别成比例地给出。因此，系统把相对较高的可靠性给予具有高权限级别的用户所反馈的相关性信息的相对较大数量训练的图像。
第二，系统把较高的可靠性给予主要由权限级别范围在预定级别到更高级别之间的用户训练的图像。换句话说，系统把相对较高的可靠性给予具有权限级别比预定级别高的用户所反馈的相关性信息的相对较大数量的训练的图像。
第三，可靠性可以根据系统的性能来确定。
第四，系统通过变化地设置和使用具有相应更新程度的大量用户级别可以使用如图4所示的可靠性信息，或者使用如图6所示的固定可靠性信息。无论在何种情况下，用户反馈的更新数目和给出反馈的用户的权限级别越高，所给出的可靠性也就越高。
图5显示了图4中可变可靠性信息的一个例子。在该例子中，用户被划分为5个权限级别。第一级别的更新程度为1.0并且具有第一级别用户8次更新的记录。第二级别的更新程度为0.7并且具有第二级别用户14次更新的记录。第三级别的更新程度为0.5并且具有第三级别用户30次更新的记录。第四级别的更新程度为0.3并且具有第四级别用户23次更新的记录。第五级别的更新程度为0.1并且具有第五级别用户4次更新的记录。因此，权限级别的数目和受各个权限级别用户影响的更新程度的确定是不断变动的。
作为对比，图7是图6的固定可靠性信息的一个例子。参照图7，用户权限级别的数目被固定为10级，每个级别相应的权数更新程度在0.1至1的范围内被预先分配。特别地，第一级别的更新程度为1.0并且具有8次更新的记录，第四级别的更新程度为0.7并且具有14次更新的记录，第六级别的更新程度为0.5并且具有30次更新的记录，第八级别的更新程度为0.3并且具有23次更新的记录，第十级别的更新程度为0.1并且具有4次更新的记录。
系统检查上面所确定的用户权限级别，有效控制对图像的访问，即允许和/或禁止权数更新或更新程度。同样，在图7所示系统中，所有10个级别或10个级别中的一部分可以按需使用。例如，系统可以如图5那样通过不将剩余的5个级别指定给用户而仅使用5个级别。在这种情况下，对应于图5第一级别的图7中的第一级别就作为第一级别，对应于图5第二级别的图7中的第四级别就作为第二级别，对应于图5第三级别的图7中的第六级别就作为第三级别，对应于图5第四级别的图7中的第八级别就作为第四级别，对应于图5第五级别的图7中的第十级别就作为第五级别。因此，10个固定权限级别中的5个权限级别就可以使用，系统在各个权限级别的基础上确定是否允许更新。
根据上述本发明的实施例，可以提供如下效果。
首先，因为图像特征的权数(或可变信息)被包括在输入图像中并且在图像搜索重复进行时可以训练相应的图像以提供更好的搜索结果，所以在执行有关等同图像的搜索时可以完成准确有效的搜索或浏览。
第二，当把在不同环境中训练后的等同图像进行更新时，代表图像的权数或可变信息的可靠性的可靠性信息被包括在各个图像中，以便能够辨认哪幅图像是被更有效地训练.因此，用户可以准确有效地搜索或浏览当前图像.
第三，通过在输入图像中包括权限代码或由系统提供权限代码，可以根据用户的权限级别对更新的许可和更新的程度进行限制。因此，可以防止由于用户的粗心或不正常更新而造成的对相应图像不合适的训练。
第四，因为可靠性信息和权限代码可以根据系统的特性与图像特征的权数(或可变信息)进行有选择的或共同的合并，因此，多媒体数据的搜索或浏览可以以一种方向准确执行，在该方向上可以实现智能训练和自我发展。
前述的实施例仅仅是示例性的并不用来限制本发明。目前讲授的内容也可以应用于其它类型的装置。对本发明进行的描述目的是说明性的，并不是用来限制权利要求的范围。很多替换，修改和变动对本领域的技术人员而言都将是显而易见的。

Claims (17)

1.一种搜索或浏览多媒体数据的方法，包括：
(a)接收带有数据结构的参考多媒体数据，该数据结构包括所述参考多媒体数据的特征和所述特征的权数信息，其中，参考多媒体数据的数据结构进一步包括表明权数信息可靠性的可靠性信息，所述权数信息的可靠性基于用户反馈的权限而获得；
(b)使用特征和权数信息搜索所述参考多媒体数据；
(c)接收对步骤(b)中发现的作为结果的多媒体数据的相关性的用户反馈；
(d)测量参考多媒体数据与作为结果的多媒体数据的相似性，并使用测量值计算出所述特征的新权数信息；以及
(e)使用新的权数信息更新参考多媒体数据的所述数据结构中所述特征的权数信息。
2.根据权利要求1的方法，其中在(c)中，如果用户反馈为正的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相似性。
3.根据权利要求2的方法，其中在(c)中，如果用户反馈是负的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相异性。
4.根据权利要求1的方法，其中可靠性信息是用户进行权数更新的数目。
5.根据权利要求1的方法，其中指定给特征的权数的可靠性与用户反馈的训练数量成正比。
6.根据权利要求1的方法，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新。
7.根据权利要求6的方法，其中权限信息包括多个权限级别，其中每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
8.根据权利要求7的方法，其中更高的可靠性被给予高权限级别的用户的用户反馈。
9.根据权利要求6的方法，其中在(e)中，更新参考多媒体数据的所述数据结构中所述特征的权数信息要依靠可靠性信息和权限信息。
10.一种搜索或浏览多媒体数据的方法，包括：
(a)接收带有数据结构的参考多媒体数据，该数据结构包括所述参考多媒体数据的特征和所述特征的权数信息，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新；
(b)使用特征和权数信息搜索所述参考多媒体数据；
(c)接收对步骤(b)中发现的作为结果的多媒体数据的相关性的用户反馈；
(d)测量参考多媒体数据与作为结果的多媒体数据的相似性，并使用测量值计算出所述特征的新权数信息；
(e)使用新的权数信息更新参考多媒体数据的所述数据结构中所述特征的权数信息。
11.根据权利要求10的方法，其中权限信息包括多个权限级别，每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
12.根据权利要求11的方法，其中要接收用户输入的密码以确定用户的权限级别。
13.一种搜索或浏览多媒体数据的方法，包括：
使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；
接收对搜索的多媒体数据的相关性的用户反馈；
使用存储在系统中的用户模式信息计算新的可变信息；
使用计算出的新的可变信息和/或可靠性信息来更新可变信息；以及
保持更新的可变信息，其中，存储在系统中的用户模式信息是用户进行权数更新的数目。
14.根据权利要求13的方法，其中可变信息是下面各项的一个或组合；
用于搜索参考多媒体数据的特征权数；
用于搜索或浏览特定视频的帧或片段的权数；
代表用户的偏好或习惯的依赖于用户的信息的权数和用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；
用于相似性列表和群集模型的多媒体归类的信息。
15.根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则选择具有对于可变信息的相对较高可靠性的多媒体数据来计算新的可变信息。
16.根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则按照与可变信息值的可靠性成比例的方式组合提供的多媒体数据以计算出新的可变信息。
17.一种搜索或浏览多媒体数据的方法，包括：
使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；
接收对搜索的多媒体数据的相关性的用户反馈；
基于用作训练信息的相关性信息和可靠性信息来更新可变信息；以及
保持更新的可变信息，其中，可靠性信息包括用户进行权数更新的数目。
CN008001014A 1999-01-29 2000-01-27 多媒体数据的搜索或浏览方法 Expired - Fee Related CN1293793B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1019990002979A KR100319153B1 (ko) 1999-01-29 1999-01-29 사용자의 권한 등급에 따른 이미지 검색 시스템
KR1999/35798 1999-08-27
KR1019990035798A KR100350785B1 (ko) 1999-08-27 1999-08-27 멀티미디어 데이타의 특징 기술정보 생성방법
KR1999/2979 1999-08-27
PCT/KR2000/000063 WO2000045341A1 (en) 1999-01-29 2000-01-27 Method of searching or browsing multimedia data and data structure

Publications (2)

Publication Number Publication Date
CN1293793A CN1293793A (zh) 2001-05-02
CN1293793B true CN1293793B (zh) 2010-05-12

Family

ID=26634655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN008001014A Expired - Fee Related CN1293793B (zh) 1999-01-29 2000-01-27 多媒体数据的搜索或浏览方法

Country Status (9)

Country Link
US (2) US6643643B1 (zh)
EP (2) EP1066595B1 (zh)
JP (1) JP3585844B2 (zh)
CN (1) CN1293793B (zh)
AT (2) ATE510258T1 (zh)
AU (1) AU2330100A (zh)
CA (1) CA2326813A1 (zh)
DE (1) DE60044924D1 (zh)
WO (1) WO2000045341A1 (zh)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276469A (ja) * 1999-03-23 2000-10-06 Canon Inc 情報検索装置及びその方法、記憶媒体
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
KR100346262B1 (ko) * 1999-08-27 2002-07-26 엘지전자주식회사 멀티미디어 데이타의 키워드 자가 생성방법
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
AUPR230700A0 (en) * 2000-12-22 2001-01-25 Canon Kabushiki Kaisha A method for facilitating access to multimedia content
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
JP2003132090A (ja) * 2001-10-26 2003-05-09 Olympus Optical Co Ltd 類似データ検索装置および方法
JP4014390B2 (ja) * 2001-10-29 2007-11-28 オリンパス株式会社 マルチメディアオブジェクト検索システム
US7117207B1 (en) * 2002-09-11 2006-10-03 George Mason Intellectual Properties, Inc. Personalizable semantic taxonomy-based search agent
US7098117B2 (en) * 2002-10-18 2006-08-29 The Regents Of The University Of Michigan Method of fabricating a package with substantially vertical feedthroughs for micromachined or MEMS devices
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US7805024B2 (en) * 2004-05-05 2010-09-28 Nokia Corporation Method and apparatus to provide efficient multimedia content storage
US7860874B2 (en) 2004-06-08 2010-12-28 Siemens Industry, Inc. Method for searching across a PLC network
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US7383260B2 (en) * 2004-08-03 2008-06-03 International Business Machines Corporation Method and apparatus for ontology-based classification of media content
JP2006048320A (ja) * 2004-08-04 2006-02-16 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7734622B1 (en) * 2005-03-25 2010-06-08 Hewlett-Packard Development Company, L.P. Media-driven browsing
GB2432927A (en) * 2005-10-25 2007-06-06 Thomas Donnelly Image search engine
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10180942B2 (en) * 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
CN100463515C (zh) * 2005-11-23 2009-02-18 中国移动通信集团公司 多媒体广播组播业务的数据保护方法
US7599918B2 (en) * 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8099315B2 (en) 2007-06-05 2012-01-17 At&T Intellectual Property I, L.P. Interest profiles for audio and/or video streams
KR101382499B1 (ko) * 2007-10-22 2014-04-21 삼성전자주식회사 영상 태깅 방법 및 이를 사용하는 영상 재생 장치.
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US9015778B2 (en) 2008-06-25 2015-04-21 AT&T Intellectual Property I. LP Apparatus and method for media on demand commentaries
EP2380097B1 (en) * 2008-12-22 2019-04-17 Koninklijke Philips N.V. Relevance feedback on a segment of a data object
US9276761B2 (en) * 2009-03-04 2016-03-01 At&T Intellectual Property I, L.P. Method and apparatus for group media consumption
US8275623B2 (en) 2009-03-06 2012-09-25 At&T Intellectual Property I, L.P. Method and apparatus for analyzing discussion regarding media programs
US8266652B2 (en) 2009-10-15 2012-09-11 At&T Intellectual Property I, L.P. Apparatus and method for transmitting media content
US9830605B2 (en) * 2009-10-30 2017-11-28 At&T Intellectual Property I, L.P. Apparatus and method for product marketing
US8224756B2 (en) * 2009-11-05 2012-07-17 At&T Intellectual Property I, L.P. Apparatus and method for managing a social network
US8760469B2 (en) 2009-11-06 2014-06-24 At&T Intellectual Property I, L.P. Apparatus and method for managing marketing
US9031379B2 (en) * 2009-11-10 2015-05-12 At&T Intellectual Property I, L.P. Apparatus and method for transmitting media content
US8316303B2 (en) 2009-11-10 2012-11-20 At&T Intellectual Property I, L.P. Method and apparatus for presenting media programs
US10708663B2 (en) 2009-11-13 2020-07-07 At&T Intellectual Property I, L.P. Apparatus and method for media on demand commentaries
US8387088B2 (en) 2009-11-13 2013-02-26 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9100550B2 (en) 2009-11-20 2015-08-04 At&T Intellectual Property I, L.P. Apparatus and method for managing a social network
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US8839306B2 (en) 2009-11-20 2014-09-16 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9094726B2 (en) * 2009-12-04 2015-07-28 At&T Intellectual Property I, Lp Apparatus and method for tagging media content and managing marketing
KR101914193B1 (ko) 2010-04-15 2018-11-02 삼성전자주식회사 디지털 컨텐츠 제공 장치 및 그 방법
CN102474586B (zh) * 2010-06-16 2015-10-21 松下电器（美国）知识产权公司 影像检索装置、影像检索方法、记录介质、程序、集成电路
US8831358B1 (en) 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
US9846696B2 (en) 2012-02-29 2017-12-19 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods for indexing multimedia content
US9633015B2 (en) 2012-07-26 2017-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods for user generated content indexing
US9292552B2 (en) * 2012-07-26 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Apparatus, methods, and computer program products for adaptive multimedia content indexing
US9070046B2 (en) 2012-10-17 2015-06-30 Microsoft Technology Licensing, Llc Learning-based image webpage index selection
US10445367B2 (en) 2013-05-14 2019-10-15 Telefonaktiebolaget Lm Ericsson (Publ) Search engine for textual content and non-textual content
CN105493436B (zh) 2013-08-29 2019-09-10 瑞典爱立信有限公司 用于向授权用户分发内容项目的方法、内容拥有者设备
WO2015030645A1 (en) 2013-08-29 2015-03-05 Telefonaktiebolaget L M Ericsson (Publ) Methods, computer program, computer program product and indexing systems for indexing or updating index
US10289733B2 (en) * 2014-12-22 2019-05-14 Rovi Guides, Inc. Systems and methods for filtering techniques using metadata and usage data analysis
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
CN107133280A (zh) * 2017-04-14 2017-09-05 合信息技术（北京）有限公司 反馈的响应方法及装置
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US11036801B1 (en) * 2018-09-25 2021-06-15 A9.Com, Inc. Indexing and presenting content using latent interests
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
CN110825891B (zh) * 2019-10-31 2023-11-14 北京小米移动软件有限公司 多媒体信息的识别方法及装置、存储介质
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020019A (en) * 1989-05-29 1991-05-28 Ricoh Company, Ltd. Document retrieval system
US5297042A (en) * 1989-10-05 1994-03-22 Ricoh Company, Ltd. Keyword associative document retrieval system
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321833A (en) * 1990-08-29 1994-06-14 Gte Laboratories Incorporated Adaptive ranking system for information retrieval
JP3143532B2 (ja) * 1992-11-30 2001-03-07 キヤノン株式会社 画像検索装置及び方法
JPH0721198A (ja) * 1993-06-17 1995-01-24 Nippon Telegr & Teleph Corp <Ntt> 画像検索方法
JP3026712B2 (ja) * 1993-12-09 2000-03-27 キヤノン株式会社 画像検索方法及びその装置
WO1995017711A1 (en) * 1993-12-23 1995-06-29 Diacom Technologies, Inc. Method and apparatus for implementing user feedback
JPH07239856A (ja) * 1994-02-25 1995-09-12 Canon Inc 画像検索方法および装置
US5724567A (en) * 1994-04-25 1998-03-03 Apple Computer, Inc. System for directing relevance-ranked data objects to computer users
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6460036B1 (en) * 1994-11-29 2002-10-01 Pinpoint Incorporated System and method for providing customized electronic newspapers and target advertisements
JPH08249353A (ja) * 1995-03-15 1996-09-27 Omron Corp 画像検索方法及び装置
JP3284528B2 (ja) * 1995-03-15 2002-05-20 オムロン株式会社 画像検索方法及び装置
US5774121A (en) * 1995-09-18 1998-06-30 Avantos Performance Systems, Inc. User interface method and system for graphical decision making with categorization across multiple criteria
JPH09101970A (ja) * 1995-10-06 1997-04-15 Omron Corp 画像検索方法および画像検索装置
US5826260A (en) * 1995-12-11 1998-10-20 International Business Machines Corporation Information retrieval system and method for displaying and ordering information based on query element contribution
JP2800769B2 (ja) * 1996-03-29 1998-09-21 日本電気株式会社 情報フィルタリング方式
US5731991A (en) * 1996-05-03 1998-03-24 Electronic Data Systems Corporation Software product evaluation
US6081276A (en) 1996-11-14 2000-06-27 International Business Machines Corporation Method and apparatus for creating a color name dictionary and for querying an image by color name
JP3609225B2 (ja) * 1996-11-25 2005-01-12 日本電信電話株式会社 類似オブジェクト検索装置
JP3446797B2 (ja) * 1996-12-11 2003-09-16 日本電信電話株式会社 類似オブジェクト検索方法および装置
JP3754791B2 (ja) * 1997-03-19 2006-03-15 キヤノン株式会社 画像検索装置及び方法
DE69832924T2 (de) * 1997-04-14 2006-07-06 Canon K.K. Bildverarbeitungsgerät und Kontrollverfahren dafür
JPH10289241A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JPH10326286A (ja) * 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
JP3673615B2 (ja) * 1997-06-19 2005-07-20 キヤノン株式会社 画像処理装置及びその制御方法
US6163622A (en) 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6067539A (en) * 1998-03-02 2000-05-23 Vigil, Inc. Intelligent information retrieval system
US6285995B1 (en) 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6457052B1 (en) * 1998-06-23 2002-09-24 At&T Corp Method and apparatus for providing multimedia buffering capabilities based on assignment weights

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020019A (en) * 1989-05-29 1991-05-28 Ricoh Company, Ltd. Document retrieval system
US5297042A (en) * 1989-10-05 1994-03-22 Ricoh Company, Ltd. Keyword associative document retrieval system
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching

Also Published As

Publication number Publication date
AU2330100A (en) 2000-08-18
EP1635243B1 (en) 2011-05-18
US20040064526A1 (en) 2004-04-01
CA2326813A1 (en) 2000-08-03
JP3585844B2 (ja) 2004-11-04
EP1635243A2 (en) 2006-03-15
ATE510258T1 (de) 2011-06-15
CN1293793A (zh) 2001-05-02
EP1066595B1 (en) 2010-09-08
EP1635243A3 (en) 2010-02-17
DE60044924D1 (de) 2010-10-21
EP1066595A1 (en) 2001-01-10
WO2000045341A1 (en) 2000-08-03
JP2002536730A (ja) 2002-10-29
ATE480826T1 (de) 2010-09-15
US6643643B1 (en) 2003-11-04

Similar Documents

Publication Publication Date Title
CN1293793B (zh) 多媒体数据的搜索或浏览方法
US6112186A (en) Distributed system for facilitating exchange of user information and opinion using automated collaborative filtering
US5872850A (en) System for enabling information marketplace
US6006218A (en) Methods and apparatus for retrieving and/or processing retrieved information as a function of a user&#39;s estimated knowledge
CN101094335B (zh) 电视节目推荐设备和电视节目推荐方法
US7644427B1 (en) Time-centric training, interference and user interface for personalized media program guides
US7478104B2 (en) Information processing apparatus, information processing method, and information processing program
US7016916B1 (en) Method of searching multimedia data
Yu et al. TV3P: an adaptive assistant for personalized TV
TWI386824B (zh) 響應終端使用者資訊請求之方法及裝置
Blanco-Fernández et al. An improvement for semantics-based recommender systems grounded on attaching temporal information to ontologies and user profiles
CN101710967A (zh) 用于图像处理的方法和设备、程序以及记录介质
WO1998040832A2 (en) Method and apparatus for efficiently recommending items using automated collaborative filtering and feature-guided automated collaborative filtering
CN101673286A (zh) 用于内容推荐的设备、方法和计算机程序以及记录介质
CN101981563A (zh) 结合媒体选择用于显示的相关内容的方法和装置
WO2001035296A2 (en) Managing content choices
KR20080011643A (ko) 정보 처리 장치, 방법, 및 프로그램
WO2006067652A2 (en) Method and apparatus for recommending contents
EP3673381A1 (en) Apparatus and method for training a similarity model used to predict similarity between items
CN105787069A (zh) 一种个性化的音乐推荐方法
Karahodža et al. Temporal dynamics of changes in group user's preferences in recommender systems
CN115423536B (zh) 一种在用户管理系统中发布广告信息的控制方法
Xia et al. Balancing utility and exposure fairness for integrated ranking with reinforcement learning
Hidasi et al. Approximate modeling of continuous context in factorization algorithms
CA2323347C (en) Multimedia description scheme having weight information and method for displaying multimedia

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20110127