CN100454997C - 图像记述系统及其方法 - Google Patents
图像记述系统及其方法 Download PDFInfo
- Publication number
- CN100454997C CN100454997C CNB200380100383XA CN200380100383A CN100454997C CN 100454997 C CN100454997 C CN 100454997C CN B200380100383X A CNB200380100383X A CN B200380100383XA CN 200380100383 A CN200380100383 A CN 200380100383A CN 100454997 C CN100454997 C CN 100454997C
- Authority
- CN
- China
- Prior art keywords
- record
- image
- look
- classification chart
- characteristic quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
在图像记述系统中，存储部存储对每一个图像类型定义的记述分类表。控制部在图像指定后，参照存储部存储的与该指定图像的类型对应的记述分类表，指定可从指定图像抽出的特征量。记述文件生成部从指定图像中抽出与指定的特征量有关的数据，并生成指定图像的记述文件。
Description
技术领域
本发明涉及用来记述多媒体信息的各种特征的系统及其方法。
背景技术
伴随以因特网为代表的网络的宽带化，一般地，不仅广泛地在线提供文本(文字)信息，也提供包含图像和声音的多媒体信息。这对于用户能够容易接触多种多样的信息来说是一个优点，但也会出现负面影响，由于提供的信息太多太杂，所以，真正必要的有用的信息反倒越来越难以得到。
在这种状况下，作为有效地检索、过滤或组织多媒体信息的方法，将元数据作为检索对象的技术正受到重视。元数据是以一定的形式简洁地表现从多媒体内容中抽出的特征的数据，通过将其作为直接检索的对象，可以提高检索效率。特别，视觉或听觉上的信息多数很难以用具体的语言来表现，将更接近感性的信息量化后再以元数据的形式表现出来是比较合适的。
在这样的的背景下，通过MPEG-7提供记述多媒体内容的元数据的统一的方法。通常所谓MPEG-7 Visual(视频)是其中的一部分，它提供记述视频内容的信号特征(以下，称作视频特征量)的标准化格式ISO/IEC15938-3。在MPEG-7 Visual中，规定了视频内容的视频特征量和用来记述视频特征量的视频记述符的生成方法。再有，图像内容包括象数字照片那样的矩形图像、剪贴图案(clip-art)等任意形状图像、作为矩形帧的集合的矩形活动图像(视频序列)、活动图像中的任意形状区或作为物体序列的视频对象等。
下面，作为视频记述符的例子，以边缘记述符：边缘直方图(EdgeHistogram)为例说明现有的图像记述系统。
边缘直方图是将局部边缘信息做成直方图后形成的图，是用来将图像分成4×4个区段，分别用3个比特记述每一个区段存在多少个规定的5个类型的边缘的记述符。边缘直方图的特征量如下述那样生成。
D＝[Eij(i＝1、2、...16，j＝1、2、...5)]
这里，Eij表示块i(光栅扫描的顺序)中的第j个边缘元素。记述符的构建象以下那样进行。首先，图像被分割成纵横各4个区段共16个区段。其次，利用掩码(mask)运算对各区段检测各方向的边缘。当计算输出超过阈值时，对直方图的对应的直方投一票，由此构建特征量。
生成的特征量根据在MPEG-7 Visual部分中象表1那样规定的语法，例如象表2那样进行记述。
表1
<complexType name＝″EdgeHistogramType″final＝″#all>
<complexContent>
<extension base＝″mpeg7:VisualDType″>
<sequence>
<element name＝″BinCounts″>
<sinpleType>
<restriction>
<simpleType>
<listitemType＝″mpeg7:unsigned3″/>
</simpleType>
<lengthvalue＝″80″/>
</restriction>
</simpleType>
</element>
</sequence>
</extension>
</complexContent>
</complexType>
表2
<Descriptor xs1:Type＝″EdgeHistogramType″>
<BinCounts>121123.....11511</BinCounts>
</Descriptor>
利用由MPEG-7 Visual决定的视频记述符记述图像信号特征的系统作为”MPEG-7 XM软件”提供。在该系统中，使用者对成为生成记述符的对象的图像进行指定，选择抽出的视频特征量。构成选择的视频记述符的视频特征量从指定的图像抽出。由此，可以生成记述文件，该记述文件利用视频记述符记述了已抽出的视频特征量。
关于使用了记述符的图像记述，提出了各种方案。例如，在特开2002-170116号公报中，公开了一种方法，记述符中埋入了足够的空间信息，根据该内容记述图像，容易进行图像的识别。
如上所述，元数据是以一定的形式简洁地表现从多媒体内容中抽出的特征的数据，通过将其直接作为检索对象来提高检索效率。因此，如何生成能恰当地表现多媒体内容的元数据，是直接影响检索效率及精度的重要因素。
但是，在上述现有的系统中，不管是对于图像的种类能利用的记述符，还是不能利用的记述符，都与图像的种类无关，使用所有的图像记述符来记述图像。因此，有时使用对某种类型的图像并不合适的记述符来进行图像记述。例如，有时利用移动活度记述符来记述作为静止图像的矩形图像，如此等等。
此外，为了使面向某特定类型的系统作成的记述文件直接在其它系统中使用，必须支持所有视频记述符的使用工具。因此，存在系统规模非常大的问题。
与上述说明有关，在特开2001-57057号公报中记载有光盘重放装置。在该现有例中，读出部从光盘读出音频/视频数据和音频/视频顺序信息、目标信息、标题设置位置信息和盘管理信息。控制部控制读出部。当盘能识别出是DVD-Audio时，存储部存储AMG，进而检索VGM，当存在VGM时，同时存储VGM。输入部接收用户的指示，选择AMG和VGM中的一者。
此外，在特开2001-167095号公报中记载有图像检索系统。在该现有例中，特征记述符生成部从输入图像数据中抽出图像特征量并生成特征记述符，并与输入图像数据对应地存储在图像信息存储部中。属性表生成部根据伴随输入图像数据输入的属性信息作成属性表。图像检索部在输入与属性信息有关的检索条件时，检索属性表后再输出适合检索条件的属性信息，当输入与特征记述符有关的检索条件时，检索图像信息存储部后再输出适合检索条件的图像数据。
此外，在特开2001-292425号公报中公开了和媒体内容的交互系统。在该现有例中，控制器控制媒体输出设备使其输出媒体内容。分配部对元数据和相互作用元素分配语义上的分类。选择部从多个语义类型中选择1个。输出部在依赖被选择的语义类型的形态下输出属于已选出的语义类型的元数据或相互作用元素。
此外，在特开2001-346140号公报中公开了音频视频系统的使用方法。在该现有例中，至少处理声音、图像和包含多个帧的动画当中的一种，提供一种用户爱好记述，记述与至少使用声音、图像和包含多个帧的动画当中的一种有关的用户的多个爱好。对于至少一个爱好提供表示公开或保密的保护属性。
此外，在特开2002-184157中公开了用来管理音频视频信息的使用履历记述方案。在该现有例中，使用履历程序可以对用户消费的多媒体内容的记述进行访问，具有监视用户在AV装置、计算机终端等各种机器上进行的动作的能力。使用履历模块通过配置层，在用户指定的动作中，只收集记录已确认的动作信息。当检测出已承诺的用户动作时，使用履历程序对规定的动作，把发生时刻、与动作有关的程序/内容的标识符、追加的内容记述信息记录在用户动作履历成分中。使用履历信息使用用户的选择履历成分，以表的形式对内容记述的预先规定的子集进行记录，并作为分类表显示。
发明内容
本发明的目的在于提供一种图像记述系统和方法，能够对视频内容抽出合适的特征量。
本发明的另一个目的在于提供一种图像记述系统，通过使支持的工具的种类最佳化来简化系统结构。
本发明的又一个目的在于提供一种图像记述系统和方法，能够验证对图像的记述文件的记述方式是否合适。
本发明所述的图像记述系统，具有存储部，存储对每一个图像类型定义的记述分类表，其中各记述分类表提供根据用途被分组后的一组特征量；和控制部，一旦图像指定后便参照存储部存储的与该指定的图像的类型对应的记述分类表，来指定可从指定图像中抽出的特征量。
这里，也可以进而具有记述文件生成部，抽出与由指定图像指定的特征量有关的数据，生成指定图像的记述文件。
此外，控制部最好能有选择地使特定的特征量在显示部上显示。这里，也可以进而具有记述文件生成部，抽出从由指定图像指定的特征量中选择的与特征量有关的数据，生成指定图像的记述文件。
此外，最好进而具有记述文件验证部，使用与指定图像的类型对应的记述分类表验证由记述文件生成部生成的记述文件。
此外，存储部最好存储记述矩形图像的矩形图像记述分类表、记述任意形状的图像的任意形状图像记述分类表、记述作为矩形帧的集合的活动图像的矩形活动图像记述分类表和记述作为矩形帧的集合的活动图像内的任意形状的目标的图像目标记述分类表中的至少一个分类表。这时，矩形图像记述分类表最好具有至少包含色分布、色配置、色温度、照明条件修正色(Illumination InvariationColor)、边缘分布和纹理的多个特征量中的至少一个的特征量。此外，至少一个的特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色(DominantColor)、可升级色(ScalableColor)和色结构(ColorStructure)的多个记述符构成，其中至少有1个是可选择的，纹理特征量由至少包含同类纹理(HomogeneousTexture)和纹理浏览(TextureBrowsing)的多个记述符构成，最好其中至少有1个是可选择的。
此外，任意形状图像记述分类表也可以具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布、纹理和形状的多个特征量中的至少一个的特征量。这时，至少一个的特征量分别由至少1个可选择的记述符构成，形状特征量由至少包含轮廓形状(ContourShape)和区域形状(RegionShape)的多个记述符构成，可以选择其中至少有1个。
此外，矩形活动图像记述分类表也可以包括至少包含矩形帧的时间系列数据、代表特征量和移动活度的多个特征量中的至少一个的特征量。这时，至少一个的特征量分别由至少1个可选择的记述符构成，时间系列数据具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，纹理由至少包含同类纹理和纹理浏览的多个记述符构成，最好其中至少有1个是可选择的。
此外，代表特征量具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，纹理特征量由至少包含同类纹理和纹理浏览的多个记述符构成，最好其中至少有1个是可选择的。
图像目标记述分类表最好具有至少包含矩形帧的时间系列数据、代表特征量、移动活度、物体移动和形状变化的多个特征量中的至少一个的特征量。这时，至少一个的特征量分别由至少1个可选择的记述符构成，物体移动由至少包含运动轨迹(MotionTrajectory)和参量运动(ParameterMotion)的多个记述符构成，最好其中至少有1个是可选择的。
此外，时间系列数据具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，纹理由至少包含同类纹理和纹理浏览的多个记述符构成，最好其中至少有1个是可选择的。
此外，代表特征量具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，纹理由至少包含同类纹理和纹理浏览的多个记述符构成，最好其中至少有1个是可选择的。
此外，存储部也可以存储记述静止图像的特征量的静止图像记述分类表、记述作为矩形帧的集合的活动图像的矩形活动图像记述分类表、以及记述作为矩形帧的集合的活动图像内的任意形状的对象的图像目标记述分类表中的至少一个分类表。这时，静止图像记述分类表也可以具有至少包含色分布特征量、色配置特征量、色温度特征量、照明条件修正色特征量、边缘分布特征量和纹理特征量的多个特征量中的至少一个的特征量。此外，至少一个的特征量分别由至少1个可选择的记述符构成，色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，色配置特征量由至少包含色配置(ColorLayout)的多个记述符构成，其中至少有1个是可选择的，色温度特征量由至少包含色温度的多个记述符构成，其中至少有1个是可选择的，照明条件修正色特征量由至少包含照明条件修正色的多个记述符构成，其中至少有1个是可选择的，边缘分布特征量由至少包含边缘直方图的多个记述符构成，其中至少有1个是可选择的，纹理特征量由至少包含同类纹理和纹理浏览的多个记述符构成，最好其中至少有1个是可选择的。静止图像记述分类表进而包含形状特征量，形状特征量由至少包含轮廓形状和区域形状的多个记述符构成，最好其中至少有1个是可选择的。
此外，存储部也可以存储记述静止图像的特征量的静止图像记述分类表和记述活动图像的活动图像记述分类表中的至少一个分类表。这时，活动图像记述分类表具有至少包含活动图像帧的时间系列数据、活动图像的代表特征量和活动图像的移动活度的多个特征量中的至少一个的特征量，各特征量也可以可选择包含至少1个记述符。这时，活动图像记述分类表也可以进而包含活动图像的移动记述和活动图像的形状变化记述。
此外，记述分类表用于参照与指定的图像的类型对应的记述分类表来指定可从指定的图像抽出的特征量的图像记述系统，具有至少包含活动图像帧的时间系列数据、活动图像的代表特征量和活动图像的移动活度的多个特征量中的至少一个的特征量，各特征量也可以包含至少1个可选择的记述符。这里，活动图像记述分类表也可以进而包含活动图像的移动记述和活动图像的形状变化记述。
本发明的另一方面涉及一种图像记述方法，通过存储对每一个图像类型定义的记述分类表的步骤，其中各记述分类表提供根据用途被分组后的一组特征量、图像指定后检索与该指定图像的类型对应的记述分类表后再指定可从指定图像抽出的特征量的步骤和有选择地显示能从指定图像抽出的特征量的步骤来实现。
这里，图像记述方法也可以进而具有从显示的特征量中选择所要的特征量的步骤；和根据所要的特征量从指定图像中抽出特征量后再生成记述文件的步骤。此外，也可以进而具有使用与指定图像的类型对应的记述分类表来验证所生成的记述文件的步骤。
本发明的另一方面涉及一种计算机可执行的软件产品，具有图像指定后通过存储对每一个图像类型定义的记述分类表的存储部检索与该指定的图像的类型对应的记述分类表的功能；以及根据检索的记述分类表指定可从指定图像抽出的特征量的功能和有选择地显示能从指定图像中抽出的特征量的功能。
这里，图像记述方法也可以进而具有当从软件产品显示的特征量中选择了所要的特征量时，根据所要的特征量从指定图像中抽出特征量后再生成记述文件的功能。
此外，软件产品也可以进而具有使用与指定图像的类型对应的记述分类表来验证所生成的记述文件的功能。
本发明的另一方面涉及一种参照与指定的图像的类型对应的记述分类表来指定可从指定图像中抽出的特征量的图像记述系统中使用的记述分类表，具有至少包含色分布特征量、色配置特征量、色温度特征量、照明条件修正色特征量、边缘分布特征量和纹理特征量的多个特征量中的至少一个的特征量，色分布特征量由至少包含(优势色)、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，色配置特征量由至少包含色配置的记述符构成，其中至少有1个是可选择的，色温度特征量由至少包含色温度的记述符构成，其中至少有1个是可选择的，照明条件修正色特征量由至少包含照明条件修正色的记述符构成，其中至少有1个是可选择的，边缘分布特征量由至少包含边缘直方图的多个记述符构成，其中至少有1个是可选择的，纹理特征量由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
记述分类表进而包含形状特征量，形状特征量由至少包含轮廓形状和区域形状的多个记述符构成，其中至少有1个是可选择的。
如上所述，在本发明中，容易选择有意义的视频特征量，而且，可以抽出确实表现了指定图像的视频特征量。
此外，通过对每一个图像类型定义记述分类表，可以将应支持的特征量和记述工具的种类减小到所必要的最低限度，并可以简化系统结构。
进而，希望使用与指定图像的类型对应的记述分类表去验证已生成的记述文件。通过将这样生成的记述文件与原来的图像记述分类表对照，可以验证对图像的记述文件的记述方式是否合适，可以进一步提高图像检索效率和精度。
附图说明
图1是表示本发明的第1实施例的图像记述系统结构的方框图。
图2是表示第1实施例中包含在矩形图像记述分类表中的记述工具的模式图。
图3是用XML(eXtensible Markup Language：扩展标记语言)写成的矩形图像记述分类表的例子的示意图。
图4是表示第1实施例中包含在图像夹记述分类表中的记述工具的模式图。
图5是表示用XML写成的图像夹记述分类表的例子的图。
图6是表示第1实施例中包含在图像序列记述分类表中的记述工具的模式图。
图7是表示用XML写成的图像序列记述分类表的例子的图。
图8是表示第1实施例中包含在图像目标记述分类表中的记述工具的模式图。
图9是用XML写成的图像目标记述分类表的例子的示意图。
图10是表示指定图像是矩形图像时的视频特征量选择画面的一例的图。
图11是表示指定图像是任意形状图像时的视频特征量选择画面的一例的图。
图12是表示指定图像是矩形活动图像时的视频特征量选择画面的一例的图。
图13是表示指定图像是任意形状图像时的视频特征量选择画面的一例的图。
图14是表示第1实施例的图像记述动作的流程图。
图15是表示本发明的第2实施例的图像记述系统结构的方框图。
图16是表示本发明的第3实施例的图像记述系统结构的方框图。
图17是表示用XML写成的静止区域记述分类表的例子的图。
图18是表示用XML写成的活动图像记述分类表的例子的图。
具体实施方式
下面，参照附图详细说明本发明的图像记述系统。
(第1实施例)
图1是表示本发明的第1实施例的图像记述系统结构的方框图。在图1中，输入部101是键盘或定位设备等输入设备，指定作为应抽出视频特征量的对象的图像，指定抽出的视频特征量，或用来输入各种命令。显示部102是监视器，显示后述的视频特征量显示画面，协同输入部101提供用户界面。本系统的程序控制处理器103通过执行控制程序104来控制与视频特征量抽出有关的处理或整个系统的动作。
本实施例的图像记述系统设有图像记述分类表检索部105、图像存储分类表存储部106、视频特征量抽出部107和记述文件生成部108。图像记述分类表检索部105、视频特征量抽出部107和记述文件生成部108在程序控制处理器103的控制下，分别执行后述的图像记述分类表的检索、视频特征量的抽出和记述文件的生成。
图像存储分类表存储部106中存储多个图像记述分类表。这里，存储矩形图像记述分类表200、图像夹(任意形状图像)记述分类表300、图像序列(矩形活动图像)记述分类表400、图像目标记述分类表500、或从它们中间选择的至少1个图像记述分类表。后面详细说明这些图像记述分类表。
当从程序控制处理器103中接收图像记述分类表检索指令时，图像记述分类表检索部105从图像记述分类表存储部106检索与指定的图像的类型对应的记述分类表。根据读出的图像记述分类表，在显示部102上按规定的格式显示可从指定的图像抽出的视频特征量的种类(详情后述)。
当接收视频特征量抽出指令时，视频特征量抽出部107从图像数据存储部110输入指定的图像，并从该图像抽出指定的视频特征量。记述文件生成部108根据抽出的视频特征量和参数生成用视频记述符记述的记述文件。由此生成的记述文件存储在记述文件存储部109中，并用于图像检索等。
图像记述分类表
(A)矩形图像记述分类表
以记述象数字照片那样的矩形图像的信号特征为目的设计矩形图像记述分类表。其主要目的从数字照片文档等数字图像文档中检索出具有类似的信号模式的图像。
从矩形图像得到的信号特征可分成6个组，即，1)色分布，2)色配置，3)色温度，4)照明条件修正色，5)边缘，6)纹理。属于各组的视频特征量分别确定如下。
1)优势色/可升级色/色结构
2)色配置
3)色温度
4)照明条件修正色
5)边缘直方图
6)同类纹理/纹理浏览
当各组中有类似的视频特征量时，全部一并使用不合适，希望根据需要选择1个或多个使用。表3举例示出表示色分布和纹理的多个视频特征量的区分使用。
表3矩形图像记述分类表
表示色分布的3个特征量的用途如表3所示。即，(1)优势色适用于限定色区域的正确记述，(2)可升级色适用于要求和现在广泛使用的色直方图具有互换性的应用等通用产品，(3)色结构适用于医用图像等要求精度高而对成本不太考虑的情况。因此，与这些用途对应来设计矩形图像记述分类表，使其在优势色、可升级色和色结构中至少能选择一种。
表现纹理的2个特征量的区分使用中，纹理浏览适用于只需要粗略浏览图形的情况，而同类纹理适用于精度要求更高的用途。因此，设计矩形图像记述分类表，使其在同类纹理和纹理浏览中至少能选择一种作为表现纹理的特征量。进而，设计矩形图像记述分类表，使其在色分布、色配置、色温度、照明条件修正色、边缘和纹理中选择需要的信号特征。
图2是表示本实施例的包含在矩形图像记述分类表中的记述工具的模式图。如图2所示，矩形图像记述分类表200确定活动图像的特定帧或矩形静止图像的信号特征量。矩形图像记述分类表200包含色分布记述201、色配置记述202、边缘记述203、色温度记述204、照明条件修正色记述205和纹理记述206。
图3是表示用XML(扩展标记语言)写成的矩形图像记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图3中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
(B)图像夹记述分类表
以记述称之为图像夹的具有任意形状的图像信号特征为目的设计图像夹记述分类表。其主要目的是从内容制作使用的素材夹等中检索具有类似的信号模式的夹。从矩形图像得到的信号特征可以适应所有的任意形状的图像。从任意形状图像得到的信号特征除了从矩形图像得到的信号特征之外，还可以得到形状特征。表示形状特征的视频特征量有轮廓形状和区域形状，但两者一并使用不合适，需要根据目的至少选择一种。表4除矩形图像记述分类表之外还示出表示形状特征的2个视频特征量的区分使用。
表4图像夹记述分类表
如表4所示，轮廓形状适用于可记述闭合曲线且要求坚固的旋转体性质的情况，区域形状适用于除此之外的一般的用途。因此，设计图像夹记述分类表使其能够选择轮廓形状和区域形状中的至少一个作为表现形状的特征量。
图4是表示本实施例的包含在图像夹记述分类表中的记述工具的模式图。图像夹记述分类表确定具有任意形状的图像的信号特征。如图4所示，图像夹记述分类表300包括形状记述301、包含在矩形图像记述分类表200中的色分布记述201、色配置记述202、边缘记述203、色温度记述204、照明条件修正色记述205和纹理记述206。设计图像夹图像记述分类表使其能够从它们中间选择需要的信号特征。
图5是表示用XML写成的图像夹记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图5中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
(C)图像序列记述分类表以记述活动图像的信号特征为目的设计图像序列记述分类表。其主要目的是从图像文档中检索出具有类似的信号模式的图像。
从活动图像得到的信号特征分成3组，即，(1)对矩形图像的特征量的时间系列数据，(2)代表包含在活动图像中的所有帧的特征量，(3)分类为移动的3个组。属于各组的视频特征量可以分别确定如下。
1)视频时间系列(VisualTimeSeries)
2)GofGop色(GofGopColor)
3)移动活度(MotionActivity)
当作为赋予特征量的单位对包含在活动图像中的帧进行记述时，可以利用时间系列排列收集器(VisualTimeSeries)，当对活动图像整体进行记述时，可以利用代表特征量收集器(GofGopColor)。此外，也可以利用上述两种收集器。可以将特征量记述符分配到喜欢的位置。
收集器的作用类似于粘合剂，将记述某内容的一部分的特征量记述符群归在一起进行处理。视频时间系列是将在时间轴上排列的特征量记述符归在一起表述的特征量，包括：按固定间隔配置记述符的规则视频时间系列(Regular Visual TimeSeries)和按可变间隔配置记述符的不规则视频时间系列(Irregular VisualTimeSeries)2个种类，但可以将特征量记述符分配到各帧的位置上。此外，GofGop色能够将1个特征量记述符分配给整个活动图像。
设计图像序列记述分类表，使其能从包含在图像序列记述分类表中的时间系列数据、代表特征量和移动中选择需要的信号特征。表5表示图像序列记述分类表。
表5图像序列记述分类表
| 信号特征组 | 视频特征量 | 用途 |
| 时间系列 | 视频时间系列(矩形图像记述分类表) | 对包含在活动图像中的帧进行记述 |
| 代表特征量 | GofGop色(矩形图像记述分类表) | 对整个活动图像进行记述 |
| 移动 | 移动活度 | - |
图6是表示本实施例的包含在图像序列记述分类表中的记述工具的模式图。图像序列记述分类表确定图像序列(多个帧的集合)的信号特征。图像序列记述分类表400包括对矩形图像的特征量的时间系列排列收集器401、代表包含在活动图像中的所有帧的特征量收集器402和移动活度记述403。
图7是表示用XML写成的图像序列记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图7中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
(D)图像目标记述分类表
象MPEG-4中的图像目标(Video Object)那样，以记述活动图像中的任意形状区域和物体的信号特征为目的设计图像目标记述分类表。其主要目的是从内容制作使用的图像目标文档等中检索出具有类似的信号模式的图像目标。
从图像序列得到的信号特征可以适应所有的图像目标。从任意形状图像得到的信号特征除了从矩形图像得到的信号特征之外，还能够获得目标的移动信息或形状随时间的变动。从图像目标得到的信号特征分成1)物体移动信息和2)形状变化这样2组。属于各组的视频特征量可以确定如下。
1)运动轨迹/参量运动
2)形状变化
表示物体移动信息的视频特征量包括运动轨迹和参量运动，但两者一并使用不合适，需要根据目的至少选择一种。
表6图像目标记述分类表
参量运动利用仿射变换和透视变换等5种移动模式来近似整个区域的移动。目的是记述可近似为刚体的物体的移动。
运动轨迹表示区域的代表点(例如重心)的时间系列的位置变化，并记述时间轴上取样点的位置和取样点间的内插方法。可以考虑用于通过表现人物的步行轨迹等，从而从例如监视摄像机图像数据库中选择进行了特定行动的人等。因此，设计图像目标记述分类表，使其能从运动轨迹和参量运动中选择某一个作为表示形状的特征量。进而，设计活动图像记述分类表，使其能从图像序列记述分类表中所包含的时间系列数据、代表特征量和移动中选择更需要的信号特征。
图8是表示本实施例的包含在图像目标记述分类表中的记述工具的模式图。图像目标记述分类表500确定活动图像中任意形状区域或物体的信号特征。图像目标记述分类表500包括对图像目标的物体移动记述501、形状变化记述502和代表包含在矩形活动图像(图像序列)记述分类表400中的所有的帧的特征量。
图9是表示用XML写成的图像目标序列记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图9中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
<视频特征量选择画面的显示例>
(1)矩形图像
图10是表示指定图像是矩形图像时的视频特征量选择画面的一例的图。如所述那样，矩形图像记述分类表200包含色分布记述201、色配置记述202、边缘记述203、色温度记述204、照明条件修正色记述205和纹理记述206(参照图2)。在本实施例中，通过执行图3的XML记述例在画面上进行显示，使用户能从这些记述工具中选择需要的信号特征。
如图10所示，可使用鼠标等定点设备可选择地显示色分布(Color Distribution)601、色空间分布(Spatial Distributionof Color)602、照明条件修正色(Illumination Independent Color)603、色温度(Color Temperature)604、边缘空间分布(SpatialDistribution of Edges)605和图样(Homogeneous Pattern)606。
如所述那样，显示时，对于色分布601，至少可以选择优势色、可升级色和色结构中的一个。此外，对于图样606，至少可以选择同类纹理和纹理浏览中的至少一个。此外，通过利用鼠标等点击按钮607，可以开始抽出已选择的视频特征量。
这样，通过对矩形图像定义合适的图像记述分类表，可以提供图像记述系统，能对矩形图像只选择、抽出合适的特征量。
(2)任意形状图像
图11是表示指定图像是任意形状图像时的视频特征量选择画面的一例的图。如所述那样，图像夹记述分类表300包含形状记述301、色分布记述201、色配置记述202、边缘记述203、色温度记述204、照明条件修正色记述205和纹理记述206(参照图4)。在本实施例中，通过执行图5的XML记述例在画面上进行显示，使用户能从这些记述工具中选择需要的信号特征。
如图11所示，可使用鼠标等定点设备可选择地显示色分布701、色空间分布702、照明条件修正色703、色温度704、边缘空间分布705、图样706和形状707。
如所述那样，显示时，对于形状707，至少可以选择轮廓形状和区域形状中的一个。对于色分布701，至少可以选择优势色、可升级色和色结构中的一个。此外，对于图样706，至少可以选择同类纹理和纹理浏览中的一个。
当选择了所要的记述时，通过利用鼠标等点击按钮OK，可以开始抽出已选择的视频特征量。这样，通过对任意形状图像定义合适的图像夹记述分类表，从而可以提供图像记述系统，能对任意形状图像只选择并抽出合适的特征量。
(3)图像序列
图12是表示指定图像是矩形活动图像时的视频特征量选择画面的一例的图。如所述那样，图像序列记述分类表400包含时间系列排列收集器401、代表特征量收集器402和移动活度记述403(参照图6)。在本实施例中，通过执行图7的XML记述例，从而在画面上进行显示，使用户能从这些记述工具中选择需要的信号特征。
如图12所示，可使用鼠标等定点设备有选择地显示分配给时间系列排列(VisualTimeSeries)801的包含在矩形图像记述分类表中的视频特征量、分配给代表特征量(GofGopColor)802的包含在矩形图像记述分类表中的视频特征量和移动活度(MotionActivity)803。
当选择了所要的记述时，通过利用鼠标等点击按钮OK，可以开始抽出已选择的视频特征量。这样，通过对矩形活动图像定义合适的图像序列记述分类表，从而可以提供图像记述系统，该系统能对矩形活动图像只选择、抽出合适的特征量。
(4)图像目标
图13是表示指定图像是任意形状活动图像时的视频特征量选择画面的一例的图。如所述那样，图像目标记述分类表500包含对图像目标的物体移动记述501、形状变化记述502和代表包含在矩形活动图像(图像序列)记述分类表400中的所有帧的特征量(参照图8)。在本实施例中，通过执行图9的XML记述例，从而在画面上进行显示，使用户能从这些记述工具中选择需要的信号特征。
如图13所示，可使用鼠标等定点设备有选择显示分配给时间系列排列(VisualTimeSeries)901的包含在矩形图像记述分类表中的视频特征量、分配给代表特征量(GofGopColor)902的包含在矩形图像记述分类表中的视频特征量、移动活度(MotionActivity)903、物体移动(Motion)904和形状变化(Shape Variation)905。
如所述那样，对于物体移动904，至少可以选择运动轨迹和参量运动中的一个。当选择了所要的记述时，通过利用鼠标等点击按钮OK，便可以开始抽出已选择的视频特征量。这样，通过对任意形状活动图像定义合适的图像目标记述分类表，从而可以提供图像记述系统，能对任意形状活动图像只选择、抽出合适的特征量。
<图像记述动作>
其次，详细说明本实施例的整个动作。
图14是表示本实施例的图像记述动作的流程图。首先，将图像记述分类表以能够按种类进行检索的形式存储在图像记述分类表存储部106中。即，如图1所示，图像记述分类表存储部106存储矩形图像记述分类表200、任意形状图像记述分类表300、图像序列记述分类表400和图像目标记述分类表500，此外，进行抽出视频特征量所必要的参数设定(步骤A1)。使用者利用输入部101指定作为生成记述文件的对象的图像(步骤A2)。作为记述对象的图像的指定可以直接输入图像文件名，也可以由用户从预先进行一览表显示的图像中选择。
当指定了指定图像时，程序控制处理器103指示图像记述分类表检索部105检索所要图像的记述分类表。图像记述分类表检索部105将指定图像的类型作为线索(key)对图像记述分类表存储部106进行检索(步骤A3)。当发现与指定图像的类型对应的图像记述分类表时，图像记述分类表检索部105读出该图像记述分类表并送回程序控制处理器103。程序控制处理器103利用读出的图像记述分类表，在显示部102上显示能从指定图像抽出的特征量是哪个(步骤A4)。
具体地说，当指定了矩形图像时，参照已读出的矩形图像记述分类表，象图10所示那样进行显示(步骤A3.1)。当指定了任意形状图像时，参照已读出的任意形状图像记述分类表，象图11所示那样进行显示(步骤A3.2)。当指定了图像序列时，参照已读出的图像序列记述分类表，象图12所示那样进行显示(步骤A3.3)。当指定了图像目标时，参照已读出的图像目标记述分类表，象图13所示那样进行显示(步骤A 3.4)。再有，这些显示也可以根据来自输入部101的指示进行。
使用者利用输入部101指定应从显示在显示部102的可抽出特征量一览表中抽出的特征量(步骤A5)。当指定了指定的特征量时，程序控制处理器103指示视频特征量抽出部107抽出所要的特征量。视频特征量抽出部107从图像数据存储部110读入指定的图像，从该图像抽出指定的特征量(步骤A6)。
记述文件生成部108使用视频记述符记述由视频特征量抽出部107生成的特征量和参数(步骤A7)，将记述的数据作为记述文件生成(步骤A8)。记述文件可以存储在记述文件存储部109中。
如上所述，在第1实施例中，当利用输入部101指定了图像时，图像记述分类表检索部105检索与图像的类型对应的图像记述分类表，并以图10～图13例示的形式显示能从指定图像抽出的视频特征量。因此，使用者容易指定抽出的视频特征量。此外，可以将支持工具的种类减少到所必要的最低限度，可以提供系统结构简单的图像记述系统。
生成的记述文件通过评价包含在某一特定的图像的记述文件中的特征量和包含在其它图像的记述文件中的特征量的类似程度，从而亦可以用于检索类似图像的类似图像检索等。因只有合适的记述文件才能利用来作为类似图像检索等，故可以提高检索的可靠性和精度。
(第2实施例)
图15是表示本发明的第2实施例的图像记述系统结构的方框图。本发明的第2实施例在图1所示的第1实施例的基础上进而包含记述文件验证部111。
记述文件验证部111读入从图像记述分类表检索部105得到的图像记述分类表，验证记述文件生成部108生成的记述文件是否正确。具体地说，确认记述文件记述的特征量的种类在图像记述分类表内是否被定义，而且确认记述文件是否按照图像记述分类表规定的记述方法记述。当记述文件是按照图像记述分类表规定的记述方法记述时，输出记述文件。
如上所述，在第2实施例中设有记述文件验证部111，通过使记述文件和图像记述分类表对照，可以验证图像记述文件的记述方式是否合适。
生成的记述文件通过评价包含在某一特定图像的记述文件中的特征量和包含在其它图像的记述文件中的特征量的类似程度，从而亦可以用于检索类似的图像的类似图像检索等。因只有合适的记述文件才能利用来作为类似图像检索等，故可以提高检索的可靠性和精度。
(第3实施例)
图16是表示本发明的第3实施例的图像记述系统结构的方框图。包含记述文件验证部111。
本实施例的图像记述系统利用程序控制处理器120通过软件去实现图1所示的图像记述分类表检索部105、视频特征量抽出部107、记述文件生成部108和记述文件验证部111。即，程序控制处理器120通过执行存储器存储的图像记述程序121，可以实现与已在第1和第2实施例中说明的功能等效的图像记述功能。输入部101、显示部102、图像记述分类表存储部106、记述文件存储部109及图像数据存储部110和第1及第2实施例一样，受执行图像记述程序121的程序控制处理器120控制，实现本发明的图像记述系统。
(第4实施例)
本发明的第4实施例与图1所示的第1实施例不同点在于：在第4实施例中，将记述静止图像的静止区域记述分类表、记述矩形帧的集合的矩形活动图像记述分类表、以及记述图像目标的图像目标记述分类表存储在图像记述分类表存储部106中。再有，矩形活动图像记述分类表和图像目标记述分类表和第1实施例中使用的分类表一样。
<静止图像(Still Picture)记述分类表>
以记述所有静止图像的信号特征为目的设计静止图像记述分类表。其主要目的是从数字照片文档等数字图像文档中检索出具有相似的信号模式的图像。
从静止图像得到的信号特征可分成7个组，即，1)色分布，2)色配置，3)色温度，4)照明条件修正色，5)边缘，6)纹理，7)形状。属于各组的视频特征量分别确定如下。
1)优势色/可升级色/色结构
2)色配置
3)色温度
4)照明条件修正色
5)边缘直方图
6)同类纹理/纹理浏览
7)轮廓形状/区域形状
对于色分布、纹理和形状组中类似的视频特征量，全部一并使用不合适，希望根据需要选择1个或多个使用。对于视频特征量的内容和使用方法，因和第1实施例中叙述的一样，故这里予以省略(例如，参照表3和表4)。
图17是表示用XML写成的静止区域记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图17中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
与第1实施例相比，记述分类表的数目减少了，因此，可以提供系统结构简单的图像记述系统。
(第5实施例)
本发明的第5实施例与图1所示的第1实施例不同点在于：在第5实施例中，将记述静止图像的静止区域记述分类表和记述活动图像的活动图像记述分类表存储在图像记述分类表存储部106中。再有，静止区域记述分类表和上述第4实施例记载的分类表一样。
<活度图像记述分类表>
以记述活动图像的信号特征为目的设计活动图像记述分类表。从活动图像得到的信号特征可分成5个组，即，(1)对矩形图像的特征量的时间系列数据，(2)代表包含在活动图像中的所有帧的特征量，(3)移动活度，(4)物体移动信息，(5)形状变化。属于各组的视频特征量可以确定如下。
1)视频时间系列
2)GofGop色
3)移动活度
4)运动轨迹/参量运动
5)形状变化
再有，对于视频特征量的内容和使用方法，因和第1实施例中叙述的一样，故这里予以省略(例如，参照表6)。
图18是表示用XML写成的活动图像记述分类表的例子的图。记述分类表可用任意的语言执行，包含任意的所包含的记述(或更多的记述)。再有，在图18中，element元素内的用name属性表示的名称是任意的，但希望是表现用type表示的记述符的特征的名称。
与第1实施例相比，记述分类表的数目减少了，因此，可以提供系统结构简单的图像记述系统。
如以上详细说明的那样，若按照本发明，当利用输入部指定了图像时，取出与图像类型对应的图像记述分类表，并显示能抽出的合适的视频特征量。因此，容易选择有意义的视频特征量，而且，可以抽出确实能表现指定图像的视频特征量。因此，可以提高图像检索的效率和精度。
此外，通过对每一个图像类型定义记述分类表，可以将应支持的特征量抽出；以及记述工具的种类减小到所必要的最低限度，并能够提供系统结构简单的图像记述系统。
进而，通过将象以上那样生成的记述文件与图像记述分类表对照，可以验证对图像的记述文件的记述方式是否合适，并可以进一步提高图像检索效率和精度。
Claims (29)
1.一种图像记述系统，其特征在于，具有：存储部，存储对每一个图像类型定义的记述分类表，其中各记述分类表提供根据用途被分组后的一组特征量；以及控制部，一旦图像指定后便参照所述存储部存储的与该指定的图像的类型对应的记述分类表来指定可从所述指定图像中抽出的特征量。
2.权利要求1记载的图像记述系统，其特征在于：进而具有记述文件生成部，从所述指定图像中抽出与所述指定的特征量有关的数据，生成所述指定图像的记述文件。
3.权利要求1记载的图像记述系统，其特征在于：所述控制部能有选择地使所述指定的特征量在显示部上显示。
4.权利要求3记载的图像记述系统，其特征在于：进而具有记述文件生成部，从所述指定图像中抽出所述指定的特征量中与被选择的特征量有关的数据，生成所述指定图像的记述文件。
5.权利要求2或4记载的图像记述系统，其特征在于：进而具有记述文件验证部，使用与所述指定图像的类型对应的记述分类表来验证由所述记述文件生成部生成的记述文件。
6.权利要求1记载的图像记述系统，其特征在于：所述存储部存储记述矩形图像的矩形图像记述分类表、记述任意形状的图像的任意形状图像记述分类表、记述作为矩形帧的集合的活动图像的矩形活动图像记述分类表、和记述作为矩形帧的集合的活动图像内的任意形状的目标的图像目标记述分类表中的至少一个分类表。
7.权利要求6记载的图像记述系统，其特征在于：所述矩形图像记述分类表具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量。
8.权利要求7记载的图像记述系统，其特征在于：所述至少一个的特征量分别由至少1个可选择的记述符构成，
所述色分布由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述纹理由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
9.权利要求6记载的图像记述系统，其特征在于：所述任意形状图像记述分类表具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布、纹理和形状的多个特征量中的至少一个的特征量。
10.权利要求9记载的图像记述系统，其特征在于：所述至少一个的特征量分别由至少1个可选择的记述符构成，
所述形状由至少包含轮廓形状和区域形状的多个记述符构成，其中至少有1个是可选择的。
11.权利要求6记载的图像记述系统，其特征在于：所述矩形活动图像记述分类表包括至少包含所述矩形帧的时间系列数据、代表特征量和移动活度的多个特征量中的至少一个的特征量。
12.权利要求11记载的图像记述系统，其特征在于：所述至少一个的特征量分别由至少1个可选择的记述符构成，
所述时间系列数据具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量由至少1个可选择的记述符构成，
所述色分布由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述纹理由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
13.权利要求11记载的图像记述系统，其特征在于：所述代表特征量具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量由至少1个可选择的记述符构成，
所述色分布由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述纹理由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
14.权利要求6记载的图像记述系统，其特征在于：所述图像目标记述分类表具有至少包含所述矩形帧的时间系列数据、代表特征量、移动活度、以及物体移动和形状变化的多个特征量中的至少一个的特征量。
15.权利要求14记载的图像记述系统，其特征在于：所述至少一个的特征量分别由至少1个可选择的记述符构成，所述物体移动由至少包含运动轨迹和参量运动的多个记述符构成，其中至少有1个是可选择的。
16.权利要求14记载的图像记述系统，其特征在于：所述时间系列数据具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，备特征量由至少1个可选择的记述符构成，
所述色分布由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述纹理由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
17.权利要求14记载的图像记述系统，其特征在于：所述代表特征量具有至少包含色分布、色配置、色温度、照明条件修正色、边缘分布和纹理的多个特征量中的至少一个的特征量，各特征量由至少1个可选择的记述符构成，
所述色分布由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述纹理由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
18.权利要求1记载的图像记述系统，其特征在于：
所述存储部存储记述静止图像的特征量的静止图像记述分类表、记述作为矩形帧的集合的活动图像的矩形活动图像记述分类表、以及记述作为矩形帧的集合的活动图像内的任意形状的目标的图像目标记述分类表中的至少一个分类表。
19.权利要求18记载的图像记述系统，其特征在于：所述静止图像记述分类表具有至少包含色分布特征量、色配置特征量、色温度特征量、照明条件修正色特征量、边缘分布特征量和纹理特征量的多个特征量中的至少一个的特征量。
20.权利要求19记载的图像记述系统，其特征在于：所述至少一个的特征量分别由至少1个可选择的记述符构成，
所述色分布特征量由至少包含优势色、可升级色和色结构的多个记述符构成，其中至少有1个是可选择的，
所述色配置特征量由至少包含色配置的记述符构成，其中至少有1个是可选择的，
所述色温度特征量由至少包含色温度的记述符构成，其中至少有1个是可选择的，
所述照明条件修正色特征量由至少包含照明条件修正色的记述符构成，其中至少有1个是可选择的，
所述边缘分布特征量由至少包含边缘直方图的记述符构成，其中至少有1个是可选择的，
所述纹理特征量由至少包含同类纹理和纹理浏览的多个记述符构成，其中至少有1个是可选择的。
21.权利要求19记载的图像记述系统，其特征在于：所述静止图像记述分类表进而包含形状特征量，
所述形状特征量由至少包含轮廓形状和区域形状的多个记述符构成，其中至少有1个是可选择的。
22.权利要求1记载的图像记述系统，其特征在于：所述存储部存储记述静止图像的特征量的静止图像记述分类表和记述活动图像的活动图像记述分类表中的至少一个分类表。
23.权利要求22记载的图像记述系统，其特征在于：所述活动图像记述分类表具有至少包含所述活动图像帧的时间系列数据、所述活动图像的代表特征量和所述活动图像的移动活度的多个特征量中的至少一个的特征量，各特征量包含至少1个可选择的记述符。
24.权利要求23记载的图像记述系统，其特征在于：所述活动图像记述分类表进而包含所述活动图像的移动记述和所述活动图像的形状变化记述。
25.权利要求22记载的图像记述系统，其特征在于：
所述活动图像记述分类表用于图像记述系统，该图像记述系统参照与指定图像的类型对应的记述分类表来指定可从指定图像抽出的特征量，并且具有至少包含活动图像帧的时间系列数据、所述活动图像的代表特征量和所述活动图像的移动活度的多个特征量中的至少一个的特征量，
各特征量包含至少1个可选择的记述符。
26.权利要求25记载的图像记述系统，其特征在于：所述活动图像记述分类表进而包含所述活动图像的移动记述和所述活动图像的形状变化记述。
27.一种图像记述方法，其特征在于，具有：
存储对每一个图像类型定义的记述分类表的步骤，其中各记述分类表提供根据用途被分组后的一组特征量；
图像指定后便检索与该指定图像的类型对应的记述分类表再指定可从指定图像抽出的特征量的步骤；
有选择地显示能从所述指定图像中抽出的特征量的步骤。
28.权利要求27记载的图像记述方法，其特征在于：进而具有从所述显示的特征量中选择所要的特征量的步骤；和根据所要的特征量从所述指定图像中抽出特征量并生成记述文件的步骤。
29.权利要求28记载的图像记述方法，其特征在于：进而具有使用与所述指定图像的类型对应的记述分类表来验证所述生成的记述文件的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP355268/2002 | 2002-12-06 | ||
| JP2002355268 | 2002-12-06 | ||
| JP66399/2003 | 2003-03-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1692646A CN1692646A (zh) | 2005-11-02 |
| CN100454997C true CN100454997C (zh) | 2009-01-21 |
Family
ID=35347038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200380100383XA Expired - Fee Related CN100454997C (zh) | 2002-12-06 | 2003-12-05 | 图像记述系统及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4692784B2 (zh) |
| CN (1) | CN100454997C (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110446088A (zh) * | 2018-05-03 | 2019-11-12 | 尼尔森网联媒介数据服务有限公司 | 电视的媒体信息识别方法、交互方法及设备 |
| CN112241258A (zh) * | 2020-10-15 | 2021-01-19 | 科大国创软件股份有限公司 | 用于易变数据结构程序验证的形状图生成方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001057057A (ja) * | 1999-06-10 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 光ディスク再生装置、及び光ディスク再生方法 |
| CN1344084A (zh) * | 2000-09-12 | 2002-04-10 | 松下电器产业株式会社 | 媒体编辑方法及其装置 |
| US6400890B1 (en) * | 1997-05-16 | 2002-06-04 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
| JP2002170116A (ja) * | 2000-12-01 | 2002-06-14 | Sharp Corp | 画像を記述する方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001266052A (ja) * | 2000-03-15 | 2001-09-28 | Ricoh Co Ltd | 情報の構造化及びアプリケーション生成の方法及び装置 |
| JP2002007432A (ja) * | 2000-06-23 | 2002-01-11 | Ntt Docomo Inc | 情報検索システム |
-
2003
- 2003-12-05 CN CNB200380100383XA patent/CN100454997C/zh not_active Expired - Fee Related
-
2008
- 2008-10-27 JP JP2008275304A patent/JP4692784B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6400890B1 (en) * | 1997-05-16 | 2002-06-04 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
| JP2001057057A (ja) * | 1999-06-10 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 光ディスク再生装置、及び光ディスク再生方法 |
| CN1344084A (zh) * | 2000-09-12 | 2002-04-10 | 松下电器产业株式会社 | 媒体编辑方法及其装置 |
| JP2002170116A (ja) * | 2000-12-01 | 2002-06-14 | Sharp Corp | 画像を記述する方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1692646A (zh) | 2005-11-02 |
| JP2009048657A (ja) | 2009-03-05 |
| JP4692784B2 (ja) | 2011-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7307636B2 (en) | Image format including affective information | |
| US8184916B2 (en) | Method for creating and using affective information in a digital imaging system | |
| Elmagarmid et al. | Video Database Systems: Issues, Products and Applications | |
| US7613691B2 (en) | Dynamic insertion of supplemental video based on metadata | |
| US20140108932A1 (en) | Online search, storage, manipulation, and delivery of video content | |
| US20160330522A1 (en) | Apparatus, systems and methods for a content commentary community | |
| CN101568969B (zh) | 故事共享自动化 | |
| US20030117651A1 (en) | Method for using affective information recorded with digital images for producing an album page | |
| US20100274674A1 (en) | Media navigation system | |
| US20120102410A1 (en) | Media management for multi-user group | |
| JP2000253377A5 (zh) | ||
| JPH0937223A (ja) | 映画をその基礎にあるソース情報とリンクし表示するシステムおよび方法 | |
| JP2001155037A (ja) | 多重項目による利用者嗜好度情報データ構造及びそれを利用したマルチメディア情報提供方法 | |
| JP2010502116A (ja) | 推奨エンジンによる選択的メディアコンテンツアクセスのシステム及び方法 | |
| CN102084386A (zh) | 利用数字内容关联元信息的关键字广告方法及其关联系统 | |
| JP2008529338A (ja) | プロダクトプレイスメントを含むトレイラの自動生成 | |
| WO2008033840A2 (en) | System and methods for creating, collecting, and using metadata | |
| EP1324227A2 (en) | Method for creating and using affective information in a digital imaging system | |
| CN102103631A (zh) | 内容提供服务器和方法及内容再现设备、方法和系统 | |
| EP1222634A4 (en) | DESCRIPTION OF A VIDEO ABSTRACT AND SYSTEM AND METHOD FOR PRODUCING DATA DESCRIBED ABOVE FOR A DETAILED AND GENERAL OVERVIEW | |
| GB2455331A (en) | Retrieving media content | |
| US20140149427A1 (en) | System and method for tapestry interface scoring | |
| JPH10254850A (ja) | 情報流通システム及び同システムに適用する情報作成方法 | |
| KR20100059646A (ko) | 광고 동영상 제공 방법 및 장치 | |
| CN100454997C (zh) | 图像记述系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090121 Termination date: 20151205 |
|
| EXPY | Termination of patent right or utility model |