CN101277441B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN101277441B
CN101277441B CN2008100879973A CN200810087997A CN101277441B CN 101277441 B CN101277441 B CN 101277441B CN 2008100879973 A CN2008100879973 A CN 2008100879973A CN 200810087997 A CN200810087997 A CN 200810087997A CN 101277441 B CN101277441 B CN 101277441B
Authority
CN
China
Prior art keywords
information
time
characteristic value
continuous
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100879973A
Other languages
English (en)
Other versions
CN101277441A (zh
Inventor
关力
村越象
根木大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101277441A publication Critical patent/CN101277441A/zh
Application granted granted Critical
Publication of CN101277441B publication Critical patent/CN101277441B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种信息处理装置,从在给定的时间段中连续提供的时间顺序的信息中检测关于这样的时间的相关信息,在所述时间,在所述给定的时间段中提供满足预定条件的信息。划分部分将时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元。特征值检测部分在时间上连续地检测多个在时间上连续的信息单元的特征值。改变信息检测部分在预定时间段内存储在时间上连续的检测到的特征值,并且基于存储的特征值和当前检测到的特征值,检测多个在时间上连续的特征值改变信息。改变信息检测部分顺序地输出多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。

Description

信息处理装置和方法
与相关申请的交叉引用
本发明包含与2007年3月30日提交于日本专利局的日本专利申请JP 2007-094012有关的主题,通过引用将其完整内容结合在此。
技术领域
本发明涉及信息处理装置和方法,并且更具体地,涉及允许以廉价的结构对所希望的数据进行快速提取的信息处理装置和方法。
背景技术
在用于从时间顺序的数据诸如广播数据中提取元数据的处理中,检测从时间轴上的输入数据中检测到的预定特征值中的改变是重要的。
用于提取元数据的检测器参考时间轴上的过去的数据,并且对从当前的输入数据中检测到的预定特征值与该过去数据的预定特征值进行比较。
图1是示出了现有元数据提取装置10的示例结构的图。
在图1中,元数据提取装置10接收时间顺序的数据,诸如运动图像数据,作为输入数据。
检测器11从输入数据中检测预定特征值,并且将其作为输出数据输出。将从检测器11输出的数据存储在延迟元件12内。检测器11对从当前的输入数据获得的预定特征值和存储在延迟元件12内的特征值进行比较,以便检测满足预定条件的运动图像的时段,从而提取元数据。
另一个技术是在显示元件上显示由指示图像概况的多个长条形图像构成的静止图像,并且与该长条形图像相关联地显示相应于该静止图像的长条形图像的音频数据,诸如声级和声音类型的概况的视觉表示,以便允许准确地识别图像和声音的概况,以便促进更有效的操作,诸如编辑(见日本专利No.3158291)。
发明内容
然而,在从当前输入数据中检测到的预定特征值和过去的数据的预定特征值间进行的比较中,由于输入数据的条目是在时间上单调增加的顺序,难以执行并行处理。
因此,希望以廉价的结构实现所希望的数据的快速提取。
本发明的一个实施例提供了一种信息处理装置,用于从在给定的时间段中连续提供的时间顺序的信息中检测关于这样的时间的相关信息,在该时间提供满足预定条件的信息。该信息处理装置包括下述元件。划分部件将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元。特征值检测部件在时间上连续地检测所述多个在时间上连续的信息单元的特征值。改变信息检测部件在预定时间段内存储由特征值检测部件在时间上连续地检测的特征值,并且基于存储的特征值和由特征值检测部件检测到的当前的特征值,检测多个在时间上连续的特征值改变信息。改变信息检测部件顺序地输出多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
该信息处理装置还可以包括相关信息检测部件,用于在某个时间段内存储从改变信息检测部件输出的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息作为所述相关信息。
该特征值检测部件还可以将由所述划分部件获得的多个在时间上连续的信息单元中的每一个以更短的时间间隔划分为信息子单元,并且可以在时间上连续地检测该信息子单元的特征值。
该划分部件可以将所述时间顺序的信息划分为多个信息单元,从而所述多个信息单元中的第N个信息单元和第(N+1)个信息单元以相应于所述改变信息检测部件存储所述特征值的预定时间段的数量彼此部分重叠。
在时间上连续的信息单元可以是运动图像或声音的信息单元,并且可以检测所述相关信息作为所述运动图像或声音的元数据。
本发明的另一个实施例提供一种用于信息处理装置的信息处理方法,该信息处理装置配置为从在给定的时间段中连续提供的时间顺序的信息中检测关于这样的时间的相关信息,在该时间提供满足预定条件的信息。该信息处理方法包括步骤:将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;在时间上连续地检测所述多个在时间上连续的信息单元的特征值;在预定时间段内存储所述在时间上连续地检测到的特征值,以基于存储的特征值和当前检测的特征值,检测多个在时间上连续的特征值改变信息,其中顺序地输出多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
因此,以预定的时间间隔将在时间上连续提供的信息划分为多个在时间上连续的信息单元;在时间上连续地检测所述多个在时间上连续的信息单元的特征值;并且在预定的时间段内存储所述在时间上连续地检测的特征值,以便基于存储的特征值和当前检测到的特征值,检测多个在时间上连续的特征值改变信息。顺序地输出所述多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息。
本发明的另一个实施例提供了一种信息处理装置,用于从在给定的时间段中连续提供的时间顺序的信息中检测关于这样的时间的相关信息,在该时间提供满足预定条件的信息。该信息处理装置包括下述元件。划分部件将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元。改变信息检测部件在时间上连续地检测所述多个在时间上连续的信息单元的特征值,在预定时间段内,存储在时间上连续地检测到的特征值,并且基于存储的特征值和当前检测的特征值,检测多个在时间上连续的特征值改变信息。相关信息检测部件在某个时间段内存储从改变信息检测部件顺序输出的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息作为所述相关信息。
所述划分部件可以将所述时间顺序的信息划分为多个信息单元,从而所述多个信息单元中的第N个信息单元和第(N+1)个信息单元以相应于所述改变信息检测部件存储所述特征值的预定时间段的数量彼此部分重叠。
所述在时间上连续的信息单元可以是运动图像或声音的信息单元,并且可以检测所述相关信息,作为所述运动图像或声音的元数据。
本发明的另一个实施例提供了一种用于信息处理装置的信息处理方法,该信息处理装置配置为从在给定的时间段中连续提供的时间顺序的信息中检测关于这样的时间的相关信息,在该时间提供满足预定条件的信息。该信息处理方法包括步骤:将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;在时间上连续地检测所述多个在时间上连续的信息单元的特征值,在预定时间段内,存储在时间上连续地检测到的特征值,并且基于存储的特征值和当前检测到的特征值,检测多个在时间上连续的特征值改变信息;在某个时间段内存储顺序输出的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息,作为所述相关信息。
因此,将时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;在时间上连续地检测所述多个在时间上连续的信息单元的特征值;在预定时间段内,存储在时间上连续地检测的特征值,以便基于存储的特征值和当前检测到的特征值,检测多个在时间上连续的特征值改变信息;在某个时间段内存储所述检测到的多个在时间上连续的特征值改变信息;并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息。
因此,根据本发明的实施例,可以用廉价的结构快速地提取所希望的数据。
附图说明
图1是示出了现有的元数据提取装置的示例结构的方框图;
图2是示出了根据本发明的实施例的元数据提取装置的示例结构的方框图;
图3是示出了基层检测器的示例结构的方框图;
图4是示出了底层检测器的示例结构的方框图;
图5是示出了图2所示的底层检测部分的方框图;
图6是示出了图5所示的使用解多路复用器提供输入数据的系统的图;
图7是示出了高层检测器的示例结构的方框图;
图8是示出了元数据提取处理的例子的流程图;
图9是示出了基层检测处理的例子的流程图;
图10是示出了底层检测处理的例子的流程图;
图11是示出了高层检测处理的例子的流程图;
图12是示出了根据本发明的另一个实施例的元数据提取装置的示例结构的方框图;和
图13是示出了根据本发明的再一个实施例的元数据提取装置的示例结构的方框图。
具体实施方式
在描述本发明的实施例之前,下面将描述权利要求的特征和本发明的实施例中所公开的特定元件间的对应关系。该描述旨在确认本说明书中描述了支持所提出的发明的实施例。因此,即使下面的实施例中的元件未被描述为与本发明的某个特征相关,不必然意味着该元件不与权利要求的特征相关。相反,即使元件在此处被描述为与权利要求的某个特征相关,不必然意味着该元件不与权利要求的其它特征相关。
本发明的实施例提供了一种信息处理装置,用于在给定的时间段中,从连续提供的时间顺序的信息中,检测关于在该给定的时间段内提供满足预定条件的信息的时间的相关信息(例如,元数据)。该信息处理装置包括下述元件。划分部件(例如,图5中所示的解多路复用器50)将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元。特征值检测部件(例如,图2中所示的基层检测部分60)在时间上连续地检测所述多个在时间上连续的信息单元的特征值。改变信息检测部件(例如,图2中所示的底层检测部分70)在预定时间段内存储由特征值检测部件在时间上连续地检测到的特征值,并且基于存储的特征值和由特征值检测部件检测到的当前的特征值,检测多个在时间上连续的特征值改变信息(例如,中间数据)。改变信息检测部件顺序地输出多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
该信息处理装置还可以包括相关信息检测部件(例如,图2中所示的高层检测部分80),用于在某个时间段内存储从改变信息检测部件检测到的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息作为所述相关信息。
本发明的另一个实施例提供一种用于信息处理装置的信息处理方法,该信息处理装置配置为在给定的时间段中,从连续提供的时间顺序的信息中,检测关于在该给定的时间段内提供满足预定条件的信息的时间的相关信息(例如,元数据)。该信息处理方法包括步骤:将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元(例如,图8中所示的步骤S10的处理);在时间上连续地检测所述多个在时间上连续的信息单元的特征值(例如,图8中所示的步骤S11的处理);及在预定时间段内存储所述在时间上连续的检测的特征值,以基于存储的特征值和当前检测的特征值,检测多个在时间上连续的特征值改变信息(例如,中间数据)(例如,图8中所示的步骤S12的处理),其中顺序地输出多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
本发明的另一个实施例提供了一种信息处理装置,用于在给定的时间段中,从连续提供的时间顺序的信息中,检测关于在该给定的时间段内提供满足预定条件的信息的时间的相关信息(例如,元数据)。该信息处理装置包括下述元件。划分部件(例如,图5中所示的解多路复用器50)将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元。改变信息检测部件(例如,图13中所示的底层检测部分70)在时间上连续地检测所述多个在时间上连续的信息单元的特征值,在预定时间段内,存储在时间上连续地检测的特征值,并且基于存储的特征值和当前检测的特征值,检测多个在时间上连续的特征值改变信息(例如,中间数据)。相关信息检测部件(例如,图13中所示的高层检测部分80)在某个时间段内存储从改变信息检测部件检测到的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息作为所述相关信息。
本发明的另一个实施例提供了一种用于信息处理装置的信息处理方法,该信息处理装置配置为在给定的时间段中,从连续提供的时间顺序的信息中检测关于在该给定的时间段内提供满足预定条件的信息的时间的相关信息(例如,元数据)。该信息处理方法包括步骤:将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元(例如,图8中所示的步骤S10的处理);在时间上连续地检测所述多个在时间上连续的信息单元的特征值,在预定时间段内,存储在时间上连续地检测的特征值,并且基于存储的特征值和当前检测的特征值,检测多个在时间上连续的特征值改变信息(例如,中间数据)(例如,图8中所示的步骤S11和S12的处理);在某个时间段内存储检测到的多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息,作为所述相关信息(例如,图8中所示的步骤S13的处理)。
此后,将参考附图描述本发明的实施例。
图2是示出了根据本发明的实施例的元数据提取装置40的示例结构的方框图。元数据提取装置40从作为输入数据输入的时间顺序的数据中提取元数据,并且作为输出数据输出这样的数据,其中所述元数据与该输入数据相关联。
输入数据是时间顺序的数据诸如运动图像数据和音频数据。所述元数据是用于指出输入数据诸如运动图像数据和音频数据中满足预定条件的时段的信息。例如,输入数据是包括运动图像数据和声音的数据,并且元数据是用于指出该内容中的时段,诸如精彩场景时段或广告时段的信息。由例如硬盘驱动器(HDD)记录器实现元数据提取装置40,并且其用于提取记录在HDD上的内容的元数据,以便在希望时将元数据呈现给用户。
参考图2,元数据提取装置40包括基层检测部分60、底层检测部分70和高层检测部分80。
基层检测部分60配置为从输入数据中检测特征值。基层检测部分60接收例如每一帧的图像和音频数据的输入,并且检测特征值,诸如指示该帧图像的亮度的直方图的信息、指示该帧图像的对比度的信息或指示音频级别的信息。基层检测部分60向底层检测部分70输出被称为基层输出数据的数据,该数据将检测到的特征值与输入数据的该帧的位置(时间)相关联。
基层检测部分60不包括缓冲区诸如延迟元件。例如,当输入第一帧的图像和音频数据时,基层检测部分60检测第一帧的图像和音频数据的特征值,并且输出基层输出数据。当输入第二帧的图像和音频数据时,基层检测部分60检测第二帧的图像和音频数据的特征值,并且输出基层输出数据。
底层检测部分70配置为基于从基层检测部分60输出的基层输出数据,检测中间数据,诸如指示内容中是否出现场景改变的信息,或指示是否存在这样的时段的信息,在该时段中,音频等级超出预定阈值一个预定的时间段或更多(或多于或等于预定时间段的静音时段)。底层检测部分70向高层检测部分80输出被称为底层输出数据的数据,该数据将检测到的中间数据与输入数据的相应时段相关联。
底层检测部分70包括缓冲区诸如延迟元件,其能够存储相应于例如5秒的连续输入的数据帧的基层输出数据。例如,底层检测部分70将当前的基层输出数据与存储在缓冲区内的基层输出数据进行比较,以便检测中间数据,并且输出底层输出数据。
高层检测部分80配置为基于从底层检测部分70输出的底层输出数据,检测元数据,诸如用于指出该内容中的时段,诸如精彩场景时段或广告时段的信息,并且输出被称为高层输出数据的数据,该数据将检测到的元数据与输入数据的相应时段相关联。从而高层输出数据是元数据提取装置40的输出数据。
高层检测部分80包括缓冲区诸如延迟元件,其能够存储相应于例如几十分钟的连续输入的数据帧的底层输出数据。例如,高层检测部分80对存储在缓冲区内的底层输出数据中的预定时段与其它时段进行比较,或对当前输入的底层输出数据和存储在缓冲区内的底层输出数据进行比较,以便检测元数据,并且输出高层输出数据。
高层检测部分80的缓冲区配置为存储相应于这样的时间的输入数据的数据(底层输出数据),该时间是比相应于存储在底层检测部分70的缓冲区内的数据(基层输出数据)的输入数据的时间足够长的时间。
基层检测部分60不包括缓冲区,而底层检测部分70包括具有有限延迟时段的缓冲区,并且高层检测部分80包括具有无限延迟时段的缓冲区。应当理解,高层检测部分80的缓冲区的容量实际上是有限的。然而,高层检测部分80的缓冲区能够存储比底层检测部分70的缓冲区所能存储的时间足够长的时间的数据,并且因此可以被认为是具有无限延迟时段的缓冲区。
图3是示出了基层检测部分60的基层检测器61的示例结构的方框图。
图3中所示的基层检测器61包括并联的检测器,每个检测器配置为从例如一帧的输入图像和音频数据中检测特征值,诸如指示该帧图像的亮度的直方图的信息、指示该帧图像的对比度的信息或指示音频级别的信息。在图3中,并联N个检测器,即,检测器102-1到102-N。
由开关121将输入数据顺序提供到先入先出(FIFO)101-1到101-N。例如,将输入数据或内容的第一帧的数据输入到FIFO101-1,将第二帧的数据输入到FIFO101-2,将第三帧的数据输入到FIFO101-3,并且将第N帧的数据输入到FIFO101-N。将第(N+1)帧的数据再次输入到FIFO101-1。
检测器102-1到102-N分别读取例如来自FIFO101-1到101-N中的一帧的图像和音频数据,以便检测特征值,诸如指示相应帧图像的亮度的直方图的信息、指示相应帧图像的对比度的信息或指示音频级别的信息。检测器102-1到102-N分别向FIFO103-1到103-N输出这样的数据,该数据将检测到的特征值与输入数据的相应帧的位置相关联。
开关122顺序从FIFO103-1到103-N读取数据,并且输出基层输出数据。从而,以示例的方式,作为相应于N个在时间上连续的帧的输入数据的数据,输出该基层输出数据。
并联多个基层检测器61以便构造基层检测部分60。
图4是示出了底层检测部分70的底层检测器71的示例结构的方框图。如图4所示,底层检测器71具有有限脉冲响应(FIR)滤波器结构。
在图4中,底层检测器71包括包含串联的多个延迟元件D的有限延迟缓冲区202。有限延迟缓冲区202被这样配置,从而如图4中所示,将输入数据从延迟元件D顺序地从左到右输出。位于图4中所示的右侧的有限延迟缓冲区202中的延迟元件D中的一个存储在时间上较早的数据,并且位于图4中所示的左侧的延迟元件D中的一个存储在时间上较晚的数据。
检测器201对例如相应于例如存储在有限延迟缓冲区202内的位于如图4所示右侧上的预定数目的连续延迟元件D内的几秒(例如,几十帧)的图像和音频数据(输入数据)的内容中的在时间上较早的基层输出数据与相应于存储在有限延迟缓冲区202内的位于如图4所示左侧上的预定数目的连续延迟元件D内的,时间长度是所述在时间上较早的基层输出数据的几倍(例如,几百帧)的图像和音频数据的内容中的在时间上较晚的基层输出数据进行比较,以便基于比较结果检测中间数据,诸如指示内容中的第一个几秒的时段和下一个几秒的时段间是否出现场景改变的信息,或指示是否存在这样的时段的信息,在该时段中,音频等级增加(或减小)超过了预定的阈值。
作为底层输出数据输出将检测器201检测到的中间数据与输入数据的相应时段相关联的数据。从而底层输出数据是这样的数据,它为时间顺序的输入数据中的以预定时间间隔顺序提取的多个时段中的每一个指示是否发生场景改变、音频等级是否增加或减小超过预定的阈值等。与输入数据相同,底层输出数据也是时间顺序的数据。
并联多个底层检测器71以便构造底层检测部分70。
将具体描述底层检测器71的并联。图5是示出了底层检测部分70的示例结构的方框图。在图5所示的例子中,并联M个底层检测器71以便构造底层检测部分70。
在图5中,M个基层检测器61-1到基层检测器61-M具有与上面参考图3所述的基层检测器61类似的结构。解多路复用器50连接到M个基层检测器61-1到61-M的并行连接。解多路复用器50转换开关51,以便将预定时段的输入数据顺序地提取给基层检测器61-1到61-M。
解多路复用器50将时间顺序的输入数据划分为例如几十秒的条目单元,并且将第一个条目单元的数据提供给基层检测器61-1,将第二个条目单元的数据提供给基层检测器61-2,将第三个条目单元的数据提供给基层检测器61-3,并且将第M个条目单元的数据提供给基层检测器61-M。将第(M+1)个条目单元的数据再次提供给基层检测器61-1。
如上面参考图3所述,给基层检测器61-1到61-M中的每一个提供检测器102-1到102-N。作为例子,单个基层检测器61输出相应于N个在时间上连续的帧的输入数据的基层输出数据。
底层检测器71-1到71-M具有与上面参考图4所述的底层检测器71类似的结构。如上所述底层检测器71-1到71-M分别基于从基层检测器61-1到61-M输出的基层输出数据,检测中间数据,并且分别将底层输出数据输出到FIFO 72-1到72-M。
开关73从FIFO 72-1到72-M顺序地读取数据,并且输出底层输出数据。当开关73一旦从FIFO 72-1到72-M顺序地读取数据时,则输出底层输出数据,作为相应于例如M个几十秒的时间顺序的输入数据的数据。
因此,基层检测部分60包括并联的多个基层检测器61,并且底层检测部分70包括并联的多个底层检测器71。
如上面参考图3所述,给基层检测器61中的每一个提供N个检测器102。因此在具有上述结构的元数据提取装置40中,并联N×M个检测器102,以便构造基层检测部分60。该N×M个检测器102可以并行地从输入数据中检测特征值。
解多路复用器50可以被形成为基层检测部分60的一部分,或可以被独立地提供。
图6是示出了使用图5所示的解多路复用器50提供输入数据的系统的图。
在图6中,水平轴代表时间。图6中所示的输入数据301是输入到解多路复用器50的时间顺序的输入数据(音频和图像数据)。解多路复用器50将输入数据301划分为多个数据条目单元,每一个具有图6所示的时间长度,并且将这些数据条目单元顺序地提供给多个基层检测器61。为了简化描述,假设基层检测部分60包括4个基层检测器,即基层检测器61A到61D。
在这个例子中,将数据条目单元321-1提供给基层检测器61A,将数据条目单元321-2提供给基层检测器61B,将数据条目单元321-3提供给基层检测器61C,并且将数据条目单元321-4提供给基层检测器61D。将数据条目单元321-11提供给基层检测器61A,将数据条目单元321-12提供给基层检测器61B,并且将数据条目单元321-13提供给基层检测器61C。
如上面参考图5所述的情况,在并行连接底层检测器的情况下,从基层检测器61A到61D中的每一个输出的底层输出数据具有等于数据条目单元的时间长度的时间长度。基层检测器61A到61D分别将底层输出数据提供给底层检测器71A到71D。
如上面参考图4所述,底层检测器71的检测器201将存储在缓冲区202内的在时间上较早的数据(基层输出数据)与在时间上较晚的数据进行比较,以便基于比较结果检测中间数据,诸如指示内容中的第一个几秒的时段和下一个几秒的时段间是否出现场景改变的信息,或指示是否存在这样的时段的信息,在该时段中,音频等级增加(或减小)超过了预定的阈值。换言之,直到将数据完全存储在缓冲区202中为止,不检测中间数据。在图6中,检测延迟表示直到将数据完全存储在缓冲区202中为止流逝的时间。
具体地,将数据条目单元321-1从基层检测器61A输出的基层输出数据提供给底层检测器71A。相应于时段302-1的基层输出数据部分是检测延迟部分,并且不检测中间数据。在时段302-1之后的时段303-1中,由底层检测器71A检测中间数据。
相应于时段302-2、302-3和302-4等的基层输出数据部分也是检测延迟部分,并且不检测中间数据。在时段303-2、303-3和303-4等中,由底层检测器71B、71C和71D检测中间数据。
因此,连续地检测和输出相应于时段303-1、303-2、303-3、303-4、303-11、303-12和303-13的中间数据,以便从底层检测部分70输出底层输出数据,作为这样的时间顺序的数据,其中中间数据和一个输入数据时段彼此关联。
解多路复用器50划分将要提供给多个基层检测器的每个数据条目单元,从而使得该数据条目单元部分地冗余(或部分地重叠),并且提供这些数据条目单元。
具体地,这样提供从输入数据301产生的数据条目单元,从而还将具有与时段302-2相同时间长度的,将要提供给基层检测器61A的数据条目单元321-1的一部分(如图6中所示的右侧部分),冗余地提供给基层检测器61B。类似地,还冗余地提供具有与时段302-3相同时间长度的数据条目单元321-2的一部分(如图6中所示的右侧部分)。将相同的处理应用于数据条目单元321-3和其它的数据条目单元。
以这种方式,解多路复用器50将输入数据301划分为数据条目单元,从而例如,第K个数据条目单元和第(K+1)个数据条目单元以相应于检测延迟的时间的数量彼此重叠。
因此,可以由包括具有有限延迟时段的缓冲区的底层检测部分70并行地处理由不包括缓冲区的基层检测部分60并行处理并且输出的基层检测数据单元,以便输出时间顺序的底层检测数据。
优选地,这样设计底层检测部分70,从而可以相对于全部数据条目单元的时间长度充分地减小检测延迟的时间长度,以便最小化关于冗余部分的处理的负载,以便元数据提取装置40的有效的整体操作。
图7是示出了高层检测部分80的高层检测器81的示例结构的方框图。如图7所示,高层检测器81具有无限脉冲响应(IIR)滤波器结构。
参考图7,检测器82在缓冲区83中存储输入高层检测器81的时间顺序的底层输出数据,并且对存储的底层输出数据中的某个时段与其它时段进行比较,以便作为元数据,检测用于指出该内容中的时段,诸如精彩场景时段或广告时段的信息。作为高层输出数据输出这样的数据,它将检测到的元数据与输入数据的相应时段关联在一起。
如上所述,缓冲区83能够存储例如几十分钟的时间顺序的底层输出数据。
在元数据提取处理中,例如,在时间顺序的内容数据中参考过去的数据,并且将其与从当前输入数据中检测到的预定的特征值进行比较。在该情况下,由于输入数据的条目为在时间上单调增加的顺序,非常难以并行地执行处理。已有的元数据提取装置使用具有非常大容量的缓冲区的检测器执行这种元数据提取处理。这增加了处理的时间的数量,并且使得难以减少该装置的费用。
根据本发明的实施例的元数据提取装置40,在另一方面,在3个阶段分析输入数据以便提取元数据。这使得能够进行并行处理并且减少处理时间。根据本发明的实施例,可以被操作以便直接从输入数据提取特征值等而不使用缓冲区的基层检测部分60,以及可以被操作以便使用具有有限延迟时段的缓冲区执行处理的底层检测部分70具有可以减少处理时间的并行配置。
另外,根据本发明的实施例的元数据提取装置40,在3个阶段分析输入数据以便提取元数据,从而能够减少缓冲区的容量,并且减少装置的费用。具体地,基层检测部分60不包括缓冲区,并且底层检测部分70仅包括具有有限延迟时段的缓冲区。如同已有的元数据提取装置,高层检测部分80包括具有无限的延迟时段的缓冲区。然而,与已有的元数据提取装置不同,可以极大地减小存储在高层检测部分80的缓冲区内的数据的大小。
虽然已有的元数据提取装置使用具有存储非常长时间的输入数据的容量的缓冲区,高层检测部分80的缓冲区(即,缓冲区83)仅具有,例如,存储非常长时间的带有指示输入数据的时段的信息(即,底层输出数据)的中间数据的容量。
将参考图8中所示的流程图描述由元数据提取装置40执行的元数据提取处理。
在步骤S10,解多路复用器50以上面参考图6所述的方式将输入数据划分为数据条目单元。
在步骤S11,基层检测部分60对在步骤S10获得的每个输入数据单元(数据条目单元)执行下面参考图9描述的基层检测处理。
将参考图9中所示的流程图,详细描述图8中所示的步骤S11中的基层检测处理。
在步骤S101中,每个检测器102-1到102-N分析相应的输入数据单元。检测器102-1到102-N分别从FIFO 101-1到101-N读取例如一帧的图像和音频数据以便进行分析。
在步骤S102,每个检测器102-1到102-N检测特征值,诸如指示在步骤S101中读取的帧的图像的亮度的直方图的信息、指示该帧图像的对比度的信息或指示音频级别的信息。
在步骤S103,开关122输出基层检测数据。开关122读取将在步骤S102中检测到的特征值与顺序地来自FIFO 103-1到103-N的输入数据的帧的位置相关联的数据,并且输出基层输出数据。从而作为时间顺序的数据输出基层输出数据。
由并行连接的多个基层检测器61中的每一个执行步骤S101到S103的处理。如上面参考图6所述,将输入数据划分为数据条目单元,并且将该数据条目单元提供给基层检测器61。每个基层检测器61执行步骤S101到S103的处理。
再次参考图8,在步骤S11的处理之后,在步骤S12,底层检测部分70执行下面参考图10描述的底层检测处理。
将参考图10的流程图,详细描述图8所示的步骤S12中的底层检测处理。
在步骤S121,底层检测器71将输入数据存储在缓冲区内。输入数据是从基层检测部分60输出的底层输出数据,并且将时间顺序的底层输出数据存储在有限的延迟缓冲区202内。
在步骤S122,底层检测器71的检测器201确定是否已经存储了足以检测中间数据的数量的底层输出数据,并且等待直到确定已经存储了足以检测中间数据的数量的底层输出数据为止。如果在步骤S122确定已经存储了足以检测中间数据的数量的底层输出数据,处理进入步骤S123。
在步骤S123,检测器201分析存储的数据。例如,检测器201对存储在缓冲区202内的在时间上较早的数据(基层输出数据)与在时间上较晚的数据进行比较,以便基于比较结果确定,例如内容中的第一个几秒的时段和下一个几秒的时段间是否出现了场景改变,或是否存在这样的时段,在该时段中,音频等级增加(或减小)超过了预定的阈值等。
在步骤S124,检测器201基于在步骤S123获得的分析结果检测中间数据。
在步骤S125,输出将由检测器201检测到的中间数据与输入数据的相应时段关联在一起的数据,作为底层输出数据。
由并联的多个底层检测器71中的每一个执行步骤S121到S125的处理。如上面参考图5所述,开关73顺序地选择从多个底层检测器71输入了底层输出数据的FIFO 72-1到72-M,从而向高层检测部分80输出时间顺序的底层输出数据。
因此类似于未被解多路复用器50划分的原始输入数据,从底层检测部分70输出并且提供给高层检测部分80的底层输出数据是时间顺序的数据。
再次参考图8,在步骤S12的处理之后,高层检测部分80执行下面参考图11描述的高层检测处理。
将参考图11所示的流程图,详细描述图8所示的步骤S13中的高层检测处理。
在步骤S151,高层检测器81在缓冲区83中存储输入数据。该输入数据是从底层检测部分70输出的底层输出数据,并且存储时间顺序的底层输出数据。
在步骤S152,检测器82确定是否存储了数量足以检测元数据的底层输出数据,并且等待直到确定已经存储了数量足以检测元数据的底层输出数据为止。如果在步骤S152确定,已经存储了数量足以检测元数据的底层输出数据,处理进入步骤S153。
在步骤S153,检测器82分析存储的数据。例如,检测器82基于从底层检测部分70输出的底层输出数据,确定时间顺序的底层输出数据中的每个预定的时段是否满足预定的条件,以便指出该内容中的诸如精彩场景时段或广告时段的时段。
在步骤S154,检测器82基于在步骤S153中获得分析结果,检测元数据。
在步骤S155,输出将在步骤S154检测到的元数据和输入数据的相应时段相关联的数据,作为高层输出。
因此,元数据提取装置40执行元数据提取处理。
在前面的描述中,作为例子,元数据提取装置40配置为在3个阶段分析输入数据,即,基层检测部分60、底层检测部分70和高层检测部分80,以便检测元数据。在可替换的例子中,如图12所示,元数据提取装置40可以仅包括基层检测部分60和底层检测部分70。
在这个例子中,从底层检测部分70输出的底层输出数据是元数据提取装置40的输出数据。元数据可以是,例如,指示内容中的第一个几秒的时段和下一个几秒的时段间是否出现场景改变的信息,或指示是否存在这样的时段的信息,在该时段中,音频等级增加(或减小)超过了预定的阈值等。
在另一个可替换的例子中,如图13所示,元数据提取装置40可以仅包括底层检测部分70和高层检测部分80。
在这个例子中,将输入数据直接输入底层检测部分70。例如,底层检测器71的检测器201检测输入数据的特征值等,并且还基于检测到的特征值检测中间数据。
在该情况下,解多路复用器50可以是底层检测部分70的一部分,或可以被独立地提供。
可替换地,元数据提取装置40可以仅包括基层检测部分60和高层检测部分80。
在该情况下,高层检测器81的检测器82基于基层输出数据检测中间数据,并且还基于检测到的中间数据检测元数据。
可替换地,可以将上面参考图3和5描述的结构应用于其它设备,诸如不包括外部存储单元的硬件设备。可替换地,可以将上面参考图4和5描述的结构应用于固件设备,诸如具有有限存储容量的嵌入设备。本发明的实施例不限于被设计为提取元数据的装置的应用,并且可以广泛地用于以廉价的结构,从时间顺序的信息中迅速提取或检测该时间顺序的信息中的关于预定时段的相关信息或预定时段的应用。
在本说明书中,可以并行或单独地以及根据此处描述的顺序按时间的顺序,执行上述处理序列的步骤。
本领域的技术人员应当理解,根据设计要求和其它因素,可以有各种修改、组合、子组合和替换,只要它们在所附权利要求或其等同物的范围内即可。

Claims (10)

1.一种信息处理装置,用于从在给定的时间段中连续提供的时间顺序的信息中检测关于所述给定的时间段中提供满足预定条件的信息的时间的相关信息,所述信息处理装置包括:
划分部件,用于将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;
特征值检测部件,包括并联的多个特征值检测单元,用于在时间上连续地并行检测所述多个在时间上连续的信息单元的特征值;和
改变信息检测部件,包括并联的多个改变信息检测单元,用于在预定时间段内,存储由所述特征值检测部件在时间上连续地并行检测到的特征值,并且基于存储的特征值和由所述特征值检测部件检测到的当前的特征值,并行检测多个在时间上连续的特征值改变信息,
其中,所述改变信息检测部件顺序地输出所述多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
2.如权利要求1的信息处理装置,还包括:
相关信息检测部件,用于在某个时间段内,存储由所述改变信息检测部件检测到的所述多个在时间上连续的特征值改变信息,并且分析存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息,作为所述相关信息。
3.如权利要求1的信息处理装置,其中所述特征值检测部件还将由所述划分部件获得的所述多个在时间上连续的信息单元中的每一个以更短的时间间隔划分为信息子单元,并且在时间上连续地检测所述信息子单元的特征值。
4.如权利要求1的信息处理装置,其中所述划分部件将所述时间顺序的信息划分为多个信息单元,从而所述多个信息单元中的第N个信息单元和第(N+1)个信息单元彼此部分重叠与所述改变信息检测部件存储所述特征值的检测延迟时间相对应的量,其中N是正整数。
5.如权利要求1的信息处理装置,其中所述在时间上连续的信息单元是运动图像或声音的信息单元,并且检测所述相关信息作为所述运动图像或声音的元数据。
6.一种用于信息处理装置的信息处理方法,该信息处理装置配置为从在给定的时间段中连续提供的时间顺序的信息中检测关于所述给定的时间段中提供满足预定条件的信息的时间的相关信息,所述信息处理方法包括步骤:
将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;
在时间上连续地并行检测所述多个在时间上连续的信息单元的特征值;
在预定时间段内存储所述在时间上连续地并行检测到的特征值,以基于所述存储的特征值和当前检测到的特征值,并行检测多个在时间上连续的特征值改变信息,
其中顺序地输出所述多个在时间上连续的特征值改变信息,以便输出时间顺序的相关信息,作为所述相关信息。
7.一种信息处理装置,用于从在给定的时间段中连续提供的时间顺序的信息中检测关于所述给定的时间段中提供满足预定条件的信息的时间的相关信息,所述信息处理装置包括:
划分部件,用于将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;
改变信息检测部件,包括并联的多个改变信息检测单元,用于在时间上连续地并行检测所述多个在时间上连续的信息单元的特征值,在预定时间段内,存储所述在时间上连续地检测到的特征值,并且基于所述存储的特征值和当前检测到的特征值,并行检测多个在时间上连续的特征值改变信息;和
相关信息检测部件,用于在任意时间段内,存储由所述改变信息检测部件检测到的所述多个在时间上连续的特征值改变信息,并且分析所述存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息,作为所述相关信息。
8.如权利要求7的信息处理装置,其中所述划分部件将所述时间顺序的信息划分为多个信息单元,从而所述多个信息单元中的第N个信息单元和第(N+1)个信息单元彼此部分重叠与所述改变信息检测部件存储所述特征值的检测延迟时间相对应的量,其中,N是正整数。
9.如权利要求7的信息处理装置,其中所述在时间上连续的信息单元是运动图像或声音的信息单元,并且检测所述相关信息,作为所述运动图像或声音的元数据。
10.一种用于信息处理装置的信息处理方法,所述信息处理装置配置为从在给定的时间段中连续提供的时间顺序的信息中检测关于所述给定的时间段中提供满足预定条件的信息的时间的相关信息,所述信息处理方法包括步骤:
将所述时间顺序的信息以预定的时间间隔划分为多个在时间上连续的信息单元;
在时间上连续地并行检测所述多个在时间上连续的信息单元的特征值,在预定时间段内存储所述在时间上连续地并行检测到的特征值,并且基于所述存储的特征值和当前检测的特征值,并行检测多个在时间上连续的特征值改变信息;和
在任意时间段内,存储所述检测到的多个在时间上连续的特征值改变信息,并且分析所述存储的在时间上连续的特征值改变信息,以便检测时间顺序的相关信息,作为所述相关信息。
CN2008100879973A 2007-03-30 2008-03-28 信息处理装置和方法 Expired - Fee Related CN101277441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007094012A JP4849339B2 (ja) 2007-03-30 2007-03-30 情報処理装置および方法
JP2007-094012 2007-03-30

Publications (2)

Publication Number Publication Date
CN101277441A CN101277441A (zh) 2008-10-01
CN101277441B true CN101277441B (zh) 2011-04-06

Family

ID=39887049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100879973A Expired - Fee Related CN101277441B (zh) 2007-03-30 2008-03-28 信息处理装置和方法

Country Status (3)

Country Link
US (1) US8285051B2 (zh)
JP (1) JP4849339B2 (zh)
CN (1) CN101277441B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9379895B2 (en) 2008-07-24 2016-06-28 Zscaler, Inc. HTTP authentication and authorization management
JP2013171089A (ja) * 2012-02-17 2013-09-02 Toshiba Corp 音声補正装置、方法、及びプログラム
JP5833509B2 (ja) * 2012-08-15 2015-12-16 日本電信電話株式会社 映像解析装置、映像解析方法及び映像解析プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459830A (en) * 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
CN1328747A (zh) * 1998-09-29 2001-12-26 通用仪器公司 高清晰度电视编码器中检测场景改变与调节画面编码类型的方法与装置
CN1471306A (zh) * 2002-07-09 2004-01-28 ���ǵ�����ʽ���� 场景改变检测器及其方法
CN1921559A (zh) * 2005-08-26 2007-02-28 索尼株式会社 图像处理设备、图像显示器以及图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3158291B2 (ja) 1991-07-22 2001-04-23 ソニー株式会社 表示装置
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
JP4253934B2 (ja) * 1999-07-05 2009-04-15 ソニー株式会社 信号処理装置及び方法
JP5028717B2 (ja) 2001-05-31 2012-09-19 凸版印刷株式会社 半導体装置用多層配線基板の製造方法
JP3785068B2 (ja) * 2001-08-28 2006-06-14 日本電信電話株式会社 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4336813B2 (ja) * 2002-12-06 2009-09-30 日本電気株式会社 画像記述システムおよび方法
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7680340B2 (en) * 2003-11-13 2010-03-16 Eastman Kodak Company Method of using temporal context for image classification
JP4177239B2 (ja) * 2003-12-01 2008-11-05 日本電信電話株式会社 映像解析装置,映像解析方法,映像解析プログラムおよびその記録媒体
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
US8953908B2 (en) * 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
JP4559935B2 (ja) * 2005-08-25 2010-10-13 株式会社東芝 画像記憶装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459830A (en) * 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
CN1328747A (zh) * 1998-09-29 2001-12-26 通用仪器公司 高清晰度电视编码器中检测场景改变与调节画面编码类型的方法与装置
CN1471306A (zh) * 2002-07-09 2004-01-28 ���ǵ�����ʽ���� 场景改变检测器及其方法
CN1921559A (zh) * 2005-08-26 2007-02-28 索尼株式会社 图像处理设备、图像显示器以及图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2001-309269A 2001.11.02
JP特开2005-229509A 2005.08.25
同上.

Also Published As

Publication number Publication date
US8285051B2 (en) 2012-10-09
US20080267507A1 (en) 2008-10-30
JP4849339B2 (ja) 2012-01-11
JP2008252737A (ja) 2008-10-16
CN101277441A (zh) 2008-10-01

Similar Documents

Publication Publication Date Title
US10504194B2 (en) Correlating consumption and voltage data to identify line loss in an electric grid
CN101277441B (zh) 信息处理装置和方法
US9014419B2 (en) Valuable document identification method and identification system thereof
CN107851295B (zh) 数据分析设备、数据分析方法和存储数据分析程序的存储介质
JP5699715B2 (ja) データ保存装置、データ保存方法
CN109446076A (zh) 软件项目测试方法、系统、存储介质及终端设备
US9557698B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium for detecting an abnormity from sound data
US20120251001A1 (en) Electronic device with function of separating panels of digital comic strip and method thereof
JP5267748B2 (ja) 運用管理システム、運用管理方法、及びプログラム
CN103678314B (zh) 基于关联规则提取的海量数据处理系统、设备及方法
US20130138592A1 (en) Data processing
EP1641127A1 (en) Packet processing device and method
JP5566956B2 (ja) 分散処理システム、ログ収集サーバ、ログ収集方法、プログラム
US9391459B2 (en) Mesh delivery system
JP2021089525A (ja) 情報処理装置,情報処理システム及びプログラム
KR101268621B1 (ko) 동적 플로우 샘플링 장치 및 방법
CN109948998A (zh) 数据处理方法、装置及电子设备
US6970809B2 (en) Automated configuration of on-circuit facilities
US20020029356A1 (en) Input data processing circuit
JP5156282B2 (ja) 自動分析装置のラック搬送方法
JP5546951B2 (ja) 分散メディア処理装置及び方法及びプログラム
JP5746652B2 (ja) プラントデータ再生装置およびプラントデータ再生方法
JP5130968B2 (ja) 障害箇所特定方法
EP4332979A1 (en) Healthcare data processing capacity management
CN215067002U (zh) 一种电能质量扰动分类检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110406

Termination date: 20150328

EXPY Termination of patent right or utility model