CN101228786A - 摘要生成装置及方法、记录媒体及集成电路 - Google Patents
摘要生成装置及方法、记录媒体及集成电路 Download PDFInfo
- Publication number
- CN101228786A CN101228786A CNA2006800270697A CN200680027069A CN101228786A CN 101228786 A CN101228786 A CN 101228786A CN A2006800270697 A CNA2006800270697 A CN A2006800270697A CN 200680027069 A CN200680027069 A CN 200680027069A CN 101228786 A CN101228786 A CN 101228786A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- interval
- given zone
- characteristic quantity
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
- H04H60/375—Commercial
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2508—Magnetic discs
- G11B2220/2516—Hard disks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
特征量计算部(12)根据接收的AV信号计算出特征量。无声区间检测部(13)将声音功率电平在规定值以下的区间作为无声区间进行检测。候选区间检测部(14)将声音功率电平在规定值以下的区间作为摘要场景候选区间进行检测。CM区间判断部(15),根据无声区间彼此之间的时间间隔,判断CM区间。摘要列表制作部(16)通过从摘要候选区间删除相当于所判断的CM区间的区间,从而生成除去了CM区间的节目区间中的摘要场景信息。
Description
技术领域
本发明是关于摘要场景的生成,更具体地,是关于从电视广播等计算出影像及声音的特征量,并利用这些特征量确定特定的重要场景的摘要场景的生成。
背景技术
一直以来,存在从电视广播等计算出影像及声音的特征量,利用这些特征量确定重要场景的摘要(digest)生成装置。在这种装置中,对于摘要的生成一般采用以下的方式。首先,从已经录像在记录媒体上的AV信号计算出1个节目量的影像/声音的特征量,根据这些特征量检测CM(广告)区间,从CM区间以外计算摘要再现的播放列表等的时刻信息。
下面利用图14,对采用该方式的现有摘要生成装置的构成进行说明。图14是进行除去了CM区间的摘要的生成的摘要生成装置的构成例。在图14中,接收部101接收广播电波,解调成声音/影像信号(以下称AV信号)。大容量存储媒体102是存储接收到的AV信号的媒体,HDD等相当于该媒体。特征量抽出部103,根据大容量存储媒体102中所存储的AV信号计算出摘要生成所需要的特征量(以下称为摘要特征量)和CM检测所需要的特征量(以下称为CM特征量)。此处,摘要特征量可以是基于运动矢量及亮度信息的场景变换检测结果、声音功率、附加在节目上的文本信息等。CM特征量可以是基于亮度信息的场景变换检测结果、及声音无声部的信息等。CM检测部104,根据所算出的CM特征量检测CM区间(的开始端、结束端的时刻信息),输出给摘要检测部105。作为CM区间的检测方法,采用根据影像的亮度信息检测影像场景变换,当该检测出的时间间隔是固定的时间(15秒、30秒)时,则判断是CM区间的方法,或者检测声音的无声部,同样检查时间间隔,判断CM区间的方法。摘要检测部105,根据上述摘要特征量和从CM检测部104输出的CM区间信息,从CM区间外检测出摘要场景。另外,将检测出的摘要场景(的开始端、结束端的时刻信息)作为摘要信息输出给再现控制部106。作为摘要场景的检测方法,在体育转播等时,采用根据影像的运动矢量确定动作慢速的场景(反复的慢动作场景),将紧挨着的之前的数个镜头作为热烈的场景进行检测的方法(例如专利文献1)、及取声音功率信息的局部大的值的场景作为热烈的场景进行检测的方法(例如专利文献2),以及对节目上附加的文本信息和影像/声音信号的特征量进行组合,检测重要场景的方法(例如专利文献3)等。再现控制部106,从上述大容量存储媒体102读出AV信号,根据上述摘要信息进行摘要再现。通过这样的构成,用户在收看收听录像的节目时,即再现大容量存储媒体102中所存储的AV信号时,可以从除去了CM区间的节目区间,制作摘要场景信息,进行摘要再现。
另外,还有与节目的录像并行地对特征量也进行计算,将该特征量存放在记录媒体的方式。图19是与录像处理并行计算特征量的同时、实时检测摘要场景候选,与CM特征量一起存储在大容量存储媒体中,再现时检测CM区间,从摘要场景候选中除去CM区间所包含的部分,生成正确的摘要信息的摘要生成装置的构成例。在图19中,接收部101将接收的AV信号记录在大容量存储媒体102中,相应地,将该AV信号也输出给特征量抽出部103。特征量抽出部103计算出CM特征量,存放在大容量存储媒体102中。与此相应地,特征量抽出部103例如将声音的功率电平等的上述摘要特征量输出给摘要检测部105。摘要检测部105对该摘要特征量进行分析,例如将声音的功率电平在规定阈值以上的场景作为摘要场景候选进行检测。然后摘要检测部105将检测出的场景,作为摘要候选信息存放在大容量存储媒体102中。即,与节目录像并行地,检测出成为摘要候选的场景。然后将该摘要候选信息(时刻信息)、及CM特征量记录在大容量存储媒体102中。此处,对于CM检测,由于不能实时确定CM区间的开始端、结束端,所以,这里在以后的检测处理中只记录需要的CM特征量。而且,在按用户的指示对该录像的节目进行再现时,CM检测部104从大容量存储媒体102中读出上述CM特征量,检测CM区间。然后,CM检测部104,将检测结果作为CM区间信息输出给CM区间除去部107。CM区间除去部107,从由大容量存储媒体102读入的摘要候选信息中删除相当于CM区间的部分,制作摘要信息。即,录像时,例如对声音功率电平在规定值以上的场景,也包含CM区间,进行临时检测,作为摘要候选信息进行记录。然后,在录像结束后,例如在接受了开始再现指示时,对该录像的节目全体(的特征量)进行分析,检测出CM区间,从摘要候选中减去CM区间,由此抽出节目区间内的摘要区间。
专利文献1:日本特开2004-128550号公报
专利文献2:日本特开平10-039890号公报
专利文献3:日本特开2001-119649号公报
(发明要解决的课题)
但是,在上述的摘要生成装置中,存在以下所示的问题。首先,在第1种方式中,在录像结束之后,例如以接受用户的摘要再现开始指示的定时,进行特征量检测、CM区间检测、摘要场景检测、及摘要信息生成的处理。从而在摘要再现的开始指示之后,到实际开始再现之前,存在产生上述处理等待时间的问题。而在第2种方式中,在录像时进行检测特征量计算及检测成为摘要候选的场景的信息。为此,与第1种方式相比,可以削减再现指示时进行的特征量计算处理所花的时间。但是对于CM区间的检测,由于CM区间的开始端结束端不能实时判断,仍然要在录像结束后(再现开始指示时等)进行。因此,这一方式也会产生因生成摘要信息的处理等待时间。特别是,一般的DVD记录器等民用设备,通常安装只有个人计算机约1/10性能的CPU。因此上述处理等待时间也变长,将给用户造成因该等待时间而产生的不愉快及不好用的坏印象。
发明内容
为此,本发明的目的在于提供一种摘要生成装置,没有节目录像结束后的用于生成该节目摘要信息的处理等待时间。
(解决课题的手段)
为了达到上述目的,本发明采用了以下的构成。
根据本发明的第1方面,一种摘要生成装置,当接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,包括特征量计算部、特定区间端检测部、摘要场景信息制作。特征量计算部,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量。特定区间端检测部,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻。摘要场景信息制作部,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
根据本发明的第2方面,在第1方面中,摘要场景信息制作部包括:摘要区间检测部,每当对于单位时间量的AV信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对接收的AV信号检测摘要候选区间。而且,摘要场景信息制作部,每当通过特定区间端检测部检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与摘要候选区间重复,将表示由摘要区间检测部检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
根据本发明的第3方面,在第1方面中,摘要场景信息制作部包括暂时存储部,该暂时存储部从最新的计算时刻起存储规定时间的量的上述计算出的特征量。而且,摘要场景信息制作部,每当计算特征量时,判断暂时存储部中存储的特征量所涉及的时刻,是否包含在由特定区间端检测部所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的广播信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
根据本发明的第4方面,在第2方面中,特征量计算部,计算第1及第2特征量,特定区间端检测部,根据第1特征量,判断特定区间的开始端或结束端;摘要区间端检测部,根据第2特征量,检测上述摘要候选区间。
根据本发明的第5方面,在第1方面中,特定区间端检测部包括:特定区间候选检测部,当特征量满足规定的条件时,检测只包含满足该条件的特征量的区间作为特定区间候选;以及特定区间判断部,根据节目内的特定区间候选彼此之间的时间差,检测成为特定区间的开始端或结束端的候选。
根据本发明的第6方面,在第5方面中,特定区间判断部,每当检测特定区间候选时,如果从所检测出的特定区间候选起规定时间前的时刻包含在已经检测出的特定区间候选中,则将该规定的时间前的时刻检测为特定区间的开始端、并将该特定区间候选检测为特定区间的结束端。
根据本发明的第7方面,在第5方面中,特定区间检测部包括:判断部,每当检测特定区间候选时,判断在最后检测出的特定区间候选起规定的第1时间前的时刻,或在该最后检测出的特定区间候选起规定的第2时间前的时刻,是否存在已经检测出的特定区间候选;加法部,当由判断部判断为存在特定区间候选时,对判断为存在的特定区间候选及该最后检测出的特定区间候选,分别加上点数;开始端确定部,每当从检测出点数为规定值以上的对象候选起经过规定的第3时间时,判断从该对象候选起该第3时间前的时刻,是否存在点数为该规定值以上的特定区间候选,当不存在时,将该对象候选作为特定区间的开始端,以及结束端确定部,每当从检测出点数在规定值以上的对象候选起经过规定的第3时间时,判断在该第3时间经过的时刻,是否存在点数为该规定值以上的特定区间候选,当不存在时,将该对象候选作为特定区间的结束端。
根据本发明的第8方面,在第5方面中,特征量计算部,将声音信号的声音功率电平作为特征量进行计算;特定区间候选检测部,将功率电平在规定值以下的无声区间检测为特定区间候选。
根据本发明的第9方面,在第5方面中,特征量计算部,将基于影像信号的亮度信息作为特征量进行计算,特定区间候选检测部,将亮度信息的变化量在规定值以上的场景变换点检测为特定区间候选。
根据本发明的第10方面,一种摘要生成方法,当接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,包括特征量计算步骤、特定区间端检测步骤、摘要场景信息制作步骤。特征量计算步骤,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量。特定区间端检测步骤,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻。摘要场景信息制作步骤,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
根据本发明的第11方面,在第10方面中,摘要场景信息制作步骤,包括摘要区间检测步骤,每当对于单位时间量的广播信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对接收的广播信号检测摘要候选区间。另外,摘要场景信息制作步骤,每当通过特定区间端检测步骤检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与摘要候选区间重复,将表示由上述摘要区间检测步骤检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
根据本发明的第12方面,在第10方面中,摘要场景信息制作步骤,包括暂时存储步骤,从最新的计算时刻起存储规定时间的量的计算出的特征量。另外,摘要场景信息制作步骤,每当计算特征量时,判断由暂时存储步骤存储的特征量所涉及的时刻,是否包含在由特定区间端检测步骤所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的AV信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
根据本发明的第13方面,一种记录媒体,存放了使摘要生成装置的计算机执行的摘要生成程序,该摘要生成装置在接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,存放了特征量计算步骤、特定区间端检测步骤、摘要场景信息制作步骤。特征量计算步骤是用于下列操作的处理,即:每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量。特定区间端检测步骤是用于下列操作的处理,即:每当计算特征量时判断在接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻。摘要场景信息制作步骤是用于下列操作的处理,即:每当计算特征量时,根据该特征量,判断节目的全体区间中除了特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
根据本发明的第14方面,在第13方面中,摘要场景信息制作步骤,包括摘要区间检测步骤,每当对于单位时间量的广播信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对接收的广播信号检测摘要候选区间。另外,摘要场景信息制作步骤,每当通过特定区间端检测步骤检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与摘要候选区间重复,将表示由上述摘要区间检测步骤检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
根据本发明的第15方面,在第13方面中,摘要场景信息制作步骤,包括暂时存储步骤,从最新的计算时刻起存储规定时间的量的计算出的特征量。另外,摘要场景信息制作步骤,每当计算特征量时,判断由暂时存储步骤存储的特征量所涉及的时刻,是否包含在由特定区间端检测步骤所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的AV信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
根据本发明的第16方面,一种集成电路,用于摘要生成装置,该摘要生成装置在接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,包括特征量计算部、特定区间端检测部、摘要场景信息制作部。特征量计算部,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量。特定区间端检测部,每当计算特征量时判断在接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻。摘要场景信息制作部,每当计算特征量时,根据该特征量,判断节目的全体区间中除了特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
根据本发明的第17方面,在第16方面,摘要场景信息制作部包括:摘要区间检测部,每当对于单位时间量的AV信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对接收的AV信号检测摘要候选区间。而且,摘要场景信息制作部,每当通过特定区间端检测部检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与摘要候选区间重复,将表示由摘要区间检测部检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
根据本发明的第18方面,在第16方面中,摘要场景信息制作部包括暂时存储部,该暂时存储部从最新的计算时刻起存储规定时间的量的上述计算出的特征量。而且,摘要场景信息制作部,每当计算特征量时,判断暂时存储部中存储的特征量所涉及的时刻,是否包含在由特定区间端检测部所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的广播信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
(发明的效果)
根据上述第1发明,由于在记录节目的同时可以检测特定区间(例如CM区间),所以与节目的记录并行地,可以生成除去了特定区间的摘要场景信息。这样,可以消除录像结束后用于生成摘要场景信息的处理等待时间,可以对用户提供舒适的摘要再现操作。还可以在节目记录过程中追赶再现时,进行到接近该记录过程中的时刻附近处为止的摘要再现,可以提供使用更为方便的再现环境。
根据上述第2至第3发明,可以得到与上述第1发明同样的效果。
根据上述第4发明,可以采用2种特征量。因此可以利用适合于特定区间或摘要区间的各自的检测的特征量,可以更准确地检测特定区间或摘要区间。
根据上述第5至第6发明,根据特定区间候选彼此之间的时间间隔判断特定区间。这样可以更准确地判断特定区间。
根据上述第7发明,对于特定区间候选,根据规定时间间隔进行加点数。这样,可以评价特定区间的开始端或结束端的可能性。还由于将点数高的特定区间候选作为特定区间的开始端或结束端,所以可以防止将节目中偶尔存在的特定区间候选错误判断为特定区间的开始端或结束端的情况。结果,可以更准确地生成除去了特定区间的摘要场景信息。
根据上述第8发明,以无声区间作为特定区间候选。这样,可以进行例如像CM区间那样利用了区间的最初和结束是无声区间这一性质的准确的特定区间的检测。
根据上述第9发明,将亮度信息有较大变化的场景变换点作为特定区间候选。因此,对于亮度信息变化大的从节目向特定区间的转换期,可以作为特定区间候选,结果,可以更准确判断特定区间。
根据上述第10至第18发明,可以得到与上述第1发明同样的效果。
附图说明
图1是表示第1实施方式所涉及的摘要生成装置10的构成的方框图。
图2是表示本发明采用的数据一例的图。
图3是表示摘要场景列表生成处理的流程图。
图4是表示图3的步骤S4所示的无声区间检测处理的详细流程图。
图5是表示图4的步骤S16所示的点数评价处理的详细流程图。
图6是表示图3的步骤S5所示的候选区间检测处理的详细流程图。
图7是表示图3的步骤S6所示的CM区间判断处理的详细流程图。
图8是表示CM区间判断处理的CM区间判断一例的图。
图9是表示图3的步骤S7所示的摘要场景列表输出处理的详细流程图。
图10是表示第2实施方式所涉及的摘要生成装置10的构成的方框图。
图11是表示本发明采用的数据一例的图。
图12是表示第2实施方式所涉及的摘要场景列表生成处理的流程图。
图13是表示图12的步骤S66所示的无声区间检测处理的详细流程图。
图14是表示现有的记录再现装置构成的方框图。
图15是表示现有的记录再现装置构成的方框图。
具体实施方式
本发明,与节目录像并行地,生成表示摘要场景位置的摘要场景列表。在以下说明的本实施方式中,摘要场景将声音功率电平局部取大值的场景,即采用热烈的场景作为摘要场景。因此,将声音功率电平在规定值以上的场景提取出作为摘要候选区间。而将声音功率电平在规定值以下的区间作为无声区间提取出,将该无声区间以规定间隔(例如15秒间隔)出现的区间作为CM区间提取出。由于在CM区间的最初和最后有无声区间、并且CM区间的长度具有固定长的性质,所以可认为无声区间以一定间隔出现的部分是CM区间。而且每当提取出1个CM区间时,从摘要候选区间的信息中除去相当于CM区间的信息,制作表示节目区间内的摘要场景的摘要场景列表。在本实施方式中,以1个CM区间的长度最大为60秒进行说明。
(第1实施方式)
图1是表示本发明的第1实施方式所涉及的摘要生成装置的构成的方框图。在图1中,摘要生成装置10,由接收部11、特征量计算部12、无声区间检测部13、候选区间检测部14、CM区间判断部15、摘要列表制作部16、大容量记录媒体17、及再现控制部18构成。
接收部11接收广播电波,解调成图像信号及声音信号(以下称AV信号)。另外,接收部11将解调的AV信号输出给特征量计算部12、大容量记录媒体17、再现控制部18。
特征量计算部12对上述AV信号进行分析,计算出特征量,输出给无声区间检测部13及候选区间检测部14。此处,特征量用于判断节目内的CM区间及摘要场景。由于如上所述根据无声区间的产生间隔判断CM区间,所以作为判断CM区间的特征量,相当于声音信号的功率电平及功率谱等的声音特征量。另一方面,作为判断摘要场景的特征量,例如相当于影像信号的亮度信息及运动矢量等的影像特征量,以及声音信号的功率电平及功率谱等声音特征量。在本实施方式中,在CM区间及摘要场景的双方判断中使用声音信号的功率电平作为特征量进行说明。
无声区间检测部13根据上述特征量检测节目内的无声区间,生成无声区间信息24。另外,无声区间检测部13对CM区间判断部15输出该无声区间信息24。
候选区间检测部14根据上述特征量,检测成为节目内的摘要场景候选的区间(以下称为候选区间),生成候选区间信息25。另外,候选区间检测部14对摘要列表制作部16输出该候选区间信息25。
CM区间判断部15根据上述无声区间信息24,通过观察无声区间的时间间隔,判断CM区间。然后,CM区间判断部15将判断的CM区间作为CM区间信息27,输出给摘要列表制作部16。
摘要列表制作部16根据候选区间信息25及CM区间信息27,生成表示摘要场景位置的信息的摘要场景列表28。而且,摘要列表制作部16将该摘要场景列表28输出给大容量记录媒体17及再现控制部18。
大容量记录媒体17是记录AV信号及摘要场景列表28的媒体,由DVD及HDD等实现。
再现控制部18对接收的AV信号及大容量记录媒体17上所记录的AV信号的再现及向监视器的输出等进行再现控制。
图1中所示的特征量计算部12、无声区间检测部13、候选区间检测部14、CM区间判断部15及摘要列表制作部16,也可以典型地由作为集成电路的LSI实现。特征量计算部12、无声区间检测部13、候选区间检测部14、CM区间判断部15及摘要列表制作部16既可以分别用一个芯片,也可以包括一部分或全部制作一个芯片。另外,集成电路化的方法并不限于LSI,也可以由专用电路或通用处理器实现。
下面,利用图2对本实施方式中采用的各种数据进行说明。以下说明的各种数据,例如存放在由半导体存储器实现的暂时存储部(图中未画出)中。在图2中,比较用特征量信息21(图2(A))用于检测上述无声区间等,包括关于紧挨着的前面的帧的时刻信息211及存放由特征量计算部12计算出的声音电平值的之前特征量212。
无声开始端信息22(图2(B))具有无声开始端时刻,用于检测无声区间。
候选开始端信息23(图2(C))具有候选开始端时刻,用于检测候选区间。
无声区间信息24(图2(D)),存放无声区间检测部1 3的无声区间检测结果。无声区间信息24由区间号241、点数242、开始端时刻243及结束端时刻244的集合构成。区间号241是识别各无声区间的序号。点数242是评价该无声区间是CM区间端的可能性大到什么程度的值。该点数越高,则该无声区间是CM区间端的可能性越大,反之该点数越低,则在节目中偶尔产生的无声区间(即,不是CM区间的端)的可能性越大。开始端时刻243及结束端时刻244是表示该无声区间的开始时刻及结束时刻的时刻信息。
候选区间信息25(图2(E)),存放候选区间检测部14的候选区间的检测结果。候选区间信息25由候选号251、开始端时刻252及结束端时刻253的集合构成。候选号251是用于识别各候选区间的序号。开始端时刻252及结束端时刻253是表示该候选区间的开始时刻及结束时刻的时刻信息。
暂定CM开始端信息26(图2(F)),具有CM区间判断部15为检测CM区间所用的暂定CM开始端时刻,存放可成为CM区间开始端的无声区间的开始端时刻。
CM区间信息27(图2(G)),存放由CM区间判断部15检测的CM区间信息。CM区间信息27由CM号271、CM开始端时刻272及CM结束端时刻273的集合构成。CM号271是为识别各CM区间用的序号。CM开始端时刻272及CM结束端时刻273是表示该CM区间的开始时刻及结束时刻的时刻信息。
摘要场景列表28(图2(H))是表示成为节目中摘要场景的区间的时刻信息的文件。由摘要号281、摘要开始端时刻282和摘要结束端时刻283的集合构成。摘要号281是为识别各摘要区间用的序号。摘要开始端时刻282及摘要结束端时刻283是表示该摘要区间的开始时刻及结束时刻的时刻信息。
下面,利用图3~图9,说明摘要生成装置10进行的摘要场景列表生成处理的详细操作。图3是表示第1实施方式所涉及的摘要场景列表生成处理的详细操作流程图。通过用户的录像指示使图3中所示的处理开始。另外,图3中所示的处理的扫描时间为1帧。
在图3中,首先,摘要生成装置10判断是否指示了录像结束(步骤S1)。当其结果为指示了录像结束时(步骤S1中是),结束摘要场景列表生成处理。而当未指示录像结束时(步骤S1中否),特征量计算部12从接收部11取得1帧量的信号(步骤S2)。然后特征量计算部12对该取得的信号进行分析,计算出声音功率电平(特征量)(步骤S3)。
接着,无声区间检测部13进行无声区间检测处理,检测无声区间(步骤S4)。图4是表示上述步骤S4所示的无声区间检测处理的详细流程图。在图4中,首先无声区间检测部13判断步骤S3计算出的声音信号功率电平是否在规定阈值以下(步骤S11)。其结果如果在规定的阈值以下(步骤S11中是),则无声区间检测部13参照存放前1帧所涉及的特征量的之前特征量212,并判断其值是否在规定的阈值以下(步骤S12)。即,判断当前帧和前1帧之间的声音功率电平的变化。其结果如果不是在规定的阈值以下(步骤S12中否),则无声区间检测部13将该帧的时刻信息存放到无声开始端信息22中(步骤S13)。处理开始之后,由于之前特征量212中什么都未存放,所以这时处理为不是在规定阈值以下。而当是在规定的阈值以下时(步骤S12中是),则由于是无声区间持续过程中,所以直接结束无声区间检测处理。
另一方面,上述步骤S11的结果为,在步骤S3抽出的声音信号的功率电平不是在规定阈值以下时(步骤S11中否),无声区间检测部13参照之前特征量212,判断在此处存放的功率电平是否在规定阈值以下(步骤S14)。其结果如果在规定的阈值以下(步骤S14中是),则由于持续的无声区间在前1帧已结束,所以无声区间检测部13将从上述无声开始端信息22的无声开始端时刻起、到前1帧的时刻信息211为止的区间作为1个无声空间,输出给无声区间信息24(步骤S15)。接着,无声区间检测部13对步骤S15输出的无声区间,进行后述的点数评价处理(步骤S16)。
另一方面,步骤S14的判断结果若为之前特征量212的功率电平不是在规定的阈值以下(步骤S14中否),则由于不是无声区间的区间在持续中,所以无声区间检测部13结束处理。处理刚刚开始之后,由于之前特征量212中什么都未存放,所以这时也处理为不是在规定阈值以下。通过以上步骤,无声区间检测处理结束。
下面,利用图5,对上述步骤S16中的点数评价处理进行详细说明。在本处理中,判断最后检测的无声区间的前15秒、30秒、60秒的时刻是否是无声区间,如果是无声区间,则进行在各个无声区间信息上加1点的处理。这样,对于被认为是某个CM的开始端或结束端的无声区间,可以使点数提高。即,利用CM区间的两端是无声区间这一性质、及利用1个CM区间的长度为15秒、30秒或60秒这样的性质,通过对节目中产生的无声区间的“CM区间端部的可能性”加点数,进行评价的处理。其结果,可以区别节目中偶尔产生的无声区间和表示CM边界的无声区间。
在图5中,首先,无声区间检测部13取得在无声区间信息24中最后存放的无声区间的开始端时刻243。然后,无声区间检测部13通过检索无声区间信息24,判断是否存在有该时刻15秒前的时刻的无声区间(步骤S21)。其结果,如果能够检索到无声区间(步骤S21中是),则无声区间检测部13在最后存放的无声区间、及由步骤S21检索的无声区间的各自的点数242上加1(步骤S22)。另一方面,步骤S21的判断结果,如果不能检索到15秒前的无声区间(步骤S21中否),则无声区间检测部13不进行步骤S22的处理,将处理转到步骤S23。接着无声区间检测部13与步骤S21一样,判断30秒前是否是无声区间(步骤S23)。其结果如果可以检索(步骤S23中是),则无声区间检测部13在最后存放的无声区间、及本次检索的无声区间的各自的点数242上加1(步骤S24)。另一方面,步骤S23的判断结果,如果不能检索到30秒前的无声区间(步骤S23中否),则无声区间检测部13不进行步骤S24的处理,将处理转到步骤S25。在步骤S25,无声区间检测部13与步骤S21及S23同样,判断在60秒前是否有无声区间,如果有,则与步骤S22及S24同样,在点数242上加1。通过以上步骤,步骤S16所涉及的点数评价处理结束。在上述的说明中是以无声区间的开始端时刻243为基准检索了无声区间信息24,但是并不限于此,也可以以无声区间的结束端时刻244、或该无声区间中的任意时刻为基准进行检索。
再返回图3,步骤S4的处理之后,候选区间检测部14进行候选区间检测处理(步骤S5)。该处理是将声音功率电平在规定阈值以上的区间作为摘要场景的候选区间进行检测的处理。
图6是表示上述步骤S5所示的候选区间检测处理的详细流程图。在图6中,首先,候选区间检测部14判断步骤S3抽出的声音信号功率电平是否在规定阈值以上(步骤S31)。其结果如果是在规定的阈值以上(步骤S31中是),则接着候选区间检测部14判断上述之前特征量212是否在规定的阈值以上(步骤S32)。其结果如果不是在规定的阈值以上(步骤S32中否),则候选区间检测部14将步骤S2取得的帧(成为当前处理对象的帧)的时刻信息存放到候选开始端信息23(步骤S33)。处理刚刚开始之后,由于在之前特征量212中什么都没存放,所以这时处理为不是规定阈值以上。而如果是规定阈值以上(步骤S32中是),则由于是候选区间持续过程中,所以候选区间检测部14将处理转到步骤S36。
另一方面,上述步骤S31的结果,当在步骤S3计算出的声音信号的功率电平不是在规定阈值以上时(步骤S31中否),候选区间检测部14参照之前特征量212,判断在此存放的功率电平是否在规定阈值以上(步骤S34)。其结果如果在规定的阈值以上(步骤S34中否),则由于持续的候选区间在前1帧已结束,所以候选区间检测部14将从上述候选开始端信息23中存放的候选开始端时刻起、到作为前1帧时刻的时刻信息211为止的区间作为1个候选空间,输出给候选区间信息25(步骤S35)。
另一方面,步骤S34的判断结果,如果之前特征量212的值不是在规定的阈值以上(步骤S34中否),则由于不是候选区间的区间在持续过程中,所以候选区间检测部14将处理转到步骤S36。处理刚刚开始之后,由于之前特征量212中什么都未存放,所以处理为不是在规定阈值以上。在步骤S36,候选区间检测部14将上述步骤S3中取得的声音信号的功率电平,存放在之前特征量212中(步骤S36)。通过以上的步骤,候选区间检测处理结束。
再返回图3,如果步骤S5的处理结束,则接着,CM区间判断部15进行CM区间判断处理(步骤S6)。图7是表示上述的步骤S6所示的CM区间判断处理的详细流程图。在图7中,首先CM区间判断部15检索无声区间信息24,判断在当前帧的60秒前的时刻是否存在点数242在规定值以上(例如3点)的无声区间(步骤S41)。即,判断60秒前的时刻是否是无声区间。此处将无声区间存在的检索时刻设定为60秒前,是因为在本实施方式中,假定1个CM区间的长度最大为60秒的缘故。因此,当假定1个CM区间的长度最大为30秒时,只要将该检索的时刻设为30秒即可。步骤S41的判断结果如果60秒前的时刻不是无声区间(步骤S41中否),则CM区间判断部15将处理转到后述的步骤S46。
另一方面,步骤S41的判断结果如果是无声区间(步骤S41中是),则CM区间判断部15判断在暂定CM开始端信息26中是否存在数据(步骤S42)。其结果如果在暂定CM开始端信息26中不存在数据(步骤S42中否),则CM区间判断部15将检索的无声区间的时刻信息输出给暂定CM开始端信息26(步骤S49)。而如果已经存在数据(步骤S42中是),则CM区间判断部15从暂定CM开始端信息26取得暂定开始端时刻,并将其作为CM开始端时刻272,与CM号271相关联并输出给CM区间信息27。相应地,将由步骤S41检索的无声区间(即60秒前的时刻的无声区间)的结束端时刻作为CM结束端时刻273,输出给CM区间信息27(步骤S43)。
接着,CM区间判断部15将作为用于制作后述的摘要场景列表的标志的D列表生成标志设定为ON(步骤S44),接着,CM区间判断部15将该60秒前的无声区间信息的结束端时刻作为暂定CM开始端信息26的开始端时刻进行输出(步骤S45)。
然后,CM区间判断部15判断从暂定CM开始端信息26的时刻起是否经过了120秒以上(步骤S46)。即,发现有可能是CM开始端的无声区间后,如果120秒内仍没有点数242在规定值以上的无声区间,则认为该无声区间不是CM的开始端。此处,之所以将判断基准时刻定为120秒,是因为在本实施方式中假定1个CM区间最大为60秒的缘故。即,一旦发现CM区间的开始端候选,其60秒后即使发现了无声区间,为了确定该无声区间是否是CM区间的结束端,还需要60秒的缘故。
步骤S46的判断结果,如果经过了120秒以上(步骤S46中是),则CM区间判断部15清除暂定CM开始端信息26(步骤S47)。接着,CM区间判断部15将D列表生成标志设定为ON(步骤S48)。而当未经过120秒以上时(步骤S46中否),则原样结束处理。通过以上步骤,CM区间判断处理结束。
在此,利用图8对上述CM区间判断处理进行补充说明。在图8中,点A~点G,是作为无声区间的、且是15秒间隔的CM区间的端。通过上述的处理,在图8的点E(60秒)的时刻,点A为暂定CM开始端。此后,在点F(75秒)的时刻,确定为点A~点B是CM区间,该区间的时刻信息输出给CM区间信息27。相应地,点B成为新的暂定CM开始端。此后,在点G的时刻,点B~点C确定为CM区间,并输出CM区间信息,与此相应地,点C成为暂定CM开始端。这样,通过上述的处理,虽然是产生几分钟延迟时间的形式,但是即使在节目录像过程中,仍可以并行地确定正确的CM区间。
再返回图3,如果步骤S6的处理结束,则接着,摘要列表制作部16进行摘要场景列表输出处理(步骤S7)。图9是表示上述步骤S7所示的摘要场景列表输出处理的详细流程图。在图9中,首先,摘要列表制作部16判断D列表生成标志是否是ON(步骤S51)。其结果当不是ON时(步骤S51中否),摘要列表制作部16原样结束处理。而是ON时(步骤S51中是),则摘要列表制作部16判断在以前进行摘要场景列表输出处理之后,在候选区间信息25中是否增加了新的候选区间(步骤S52)。其结果如果未增加候选区间(步骤S52中否),则摘要列表制作部16原样结束摘要场景列表制作处理。而当以前进行摘要场景列表输出处理之后新增加了候选区间时(步骤S52中是),则摘要列表制作部16取得1件增加部分的候选区间信息(步骤S53)。接着,摘要列表制作部16参照CM区间信息27,判断该候选区间是否包含在CM区间内(步骤S54)。其结果如果不在CM区间内(步骤S54中否),则摘要列表制作部16将该候选区间的信息输出给摘要场景列表28(步骤S55)。而如果在CM区间内(步骤S54中是),则将处理转到步骤S56。即,当候选区间也是CM区间时,则进行不采用该候选区间作为摘要场景的分配。
然后,摘要列表制作部16,对于增加部分的全部候选区间,判断是否进行了上述分配的处理(步骤S56)。其结果如果还有未处理的增加部分的候选区间(步骤S56中否),则摘要列表制作部16返回上述步骤S53重复进行处理。而当对增加部分的候选区间全部进行了处理时,摘要列表制作部16将D列表生成标志设定为OFF(步骤S57),结束该摘要场景列表输出处理。通过以上步骤,第1实施方式所涉及的摘要场景列表生成处理结束。
这样,在第1实施方式中,与节目的录像并行的同时,可简单抽出声音功率电平在规定值以上的摘要候选区间,从中减去相当于CM区间的部分,可以与录像并行地生成只抽出节目区间内的摘要场景的摘要场景列表。这样,在节目录像结束后,就不必另外进行摘要场景列表生成的处理了,可以对用户提供没有因该生成处理的处理等待时间的舒适视听环境。
在上述的实施方式中,无声区间检测部13进行无声区间的检测处理,但是并不限于此,CM区间判断部15也可以在CM区间的判断处理之前检测无声区间。
另外,对于摘要场景检测,也不限于采用上述的声音功率电平的方式,例如,也可以采用限定于作为特定的节目类型的体育,根据影像的运动矢量确定慢的场景(重复的慢动作场景),以其紧挨着的之前的几个镜头作为热烈的场景进行检测的方式,以及对节目赋予的文本信息和影像/声音信息的特征量进行组合,检测出重要场景的方式。当然,并不限定这些摘要场景检测方式,只要是检测摘要场景,怎样的方式都行。同样,对于CM区间的检测,也不限于采用上述的声音功率电平的方式,例如也可以从影像的亮度信息检测出影像的场景变换点,根据其产生的间隔,判断CM区间。这时作为上述特征量,只要采用影像的亮度信息即可。
另外,采用上述的摘要列表,也可以在节目录像过程中进行该节目的追赶再现(追いつき再生)。这时,用户指示追赶再现。接受该指示,再现控制部18判断从录像开始是否经过了2分钟以上,如果是2分钟以上,则利用上述处理所生成的摘要列表,只再现摘要场景。而如果不是2分钟以上,则再现控制部18进行一览再现(早見再生)(例如以再现速度的1.5倍进行再现等)。此后,一览再现如果追上实际广播,则停止该一览再现,切换到实际时间广播的输出。另外,上述的摘要场景再现结束后,对于此后的再现,只要按照用户的指示即可。例如,既可以进行摘要场景通常的再现,也可以间隔取样地再现。例如,在60分钟节目中,在节目开始后经过了30分钟的时刻,用户指示“对摘要场景再现10分钟”的追赶再现。这时,再现控制部18根据该时刻生成的摘要场景列表,按10分钟结束的方式来再现摘要场景。然后,对于摘要场景再现结束后的收看收听,等待用户的指示。即,摘要场景再现后,由于节目开始后已经过40分钟,所以对于摘要场景再现过程中的10分钟节目,接受用户的指示既可以进行间隔取样再现,也可以进行一览再现。当然对于该10分钟期间的节目也可以不再现,而观看实际广播。这时,再现控制部18接受用户的指示,结束再现处理。这样,根据本实施方式,由于与录像并行地生成摘要场景列表,所以在录像过程中的任意定时,都可以进行摘要再现。
另外,在上述的实施方式中,从摘要候选区间减去CM区间,生成摘要场景信息。但是,从摘要候选区间减去的区间并不限于CM区间。例如也可以检测并减去显示静止画面的区间。例如在重新广播某个节目时,由于版权及肖像权的原因,有时会产生在节目内不能广播的场景。这时,在广播前进行编辑,对于不能广播的场景用静止画面(显示出“不能显示”)代替后进行广播。因此,检测出上述静止画面的特征量(例如影像的运动矢量为0),检测出静止画面持续显示的静止画面区间。然后,从摘要候选区间减去该静止画面区间(即广播禁止区间),生成摘要场景信息,这也是可以的。只要将具有这样的CM区间或静止画面区间等的规定特征的区间作为特定区间进行检测,并从摘要候选区间中减去该特定区间,就可以生成适当抽出摘要场景的摘要列表。
(第2实施方式)
下面参照图10~图13,对本发明的第2实施方式进行说明。在上述第1实施方式中,随时检测摘要场景的候选区间。与此相比,在第2实施方式中,不检测候选区间,而使摘要场景检测所需要的特征量积蓄规定时间的量,以规定的定时根据CM区间以外的该特征量,检测出摘要场景。图10是表示本发明的第2实施方式所涉及的摘要生成装置30的构成的方框图。在图10中,特征量计算部12使计算出的特征量和时刻信息相关联,作为暂时积蓄特征量36存放在暂时存储部31中。暂时存储部31具有保持规定时间量的帧特征量及时刻信息的容量。在本实施方式中,假定可以保持2分钟的量的帧信息。另外,暂时存储部31假定是通过环状缓冲(ring buffer)存储方式从老的数据起依次进行覆盖。摘要列表制作部32,根据CM区间信息27及暂时存储部31中所存储的特征量,从CM区间以外的区间检测出摘要场景,制作摘要场景列表28。除了这些之外,本实施方式所涉及的摘要列表生成装置30,与上述的第1实施方式具有基本相同的构成。因此,相同位置加有相同参考标号,其详细说明予以省略。
下面,利用图11对于第2实施方式中采用的数据进行说明。在第2实施方式中,除了第1实施方式中采用的数据之外,还采用暂时积蓄特征量36、摘要之前信息37、及摘要开始端信息38。暂时积蓄特征量36用于摘要场景的检测,具有时刻信息361及特征量362。在时刻信息361中存放帧的时刻信息。在特征量362中存放特征量计算部12算出的用于摘要场景检测的特征量(在本实施方式中是声音功率电平)。摘要之前信息37(图11(B))也用于摘要场景的检测,具有摘要之前时刻信息371及摘要之前特征量372。在摘要之前时刻信息371中存放成为当前处理对象的帧的前1帧所涉及的时刻信息。在摘要之前特征量372中存放有关成为当前处理对象的帧的前1帧的特征量。摘要开始端信息38(图11(C))具有摘要开始端时刻,用于检测摘要场景。
下面,利用图12~图13说明本发明的第2实施方式所涉及的摘要场景列表制作处理。图12是表示第2实施方式所涉及的摘要场景列表制作处理的详细操作的流程图。在图11中,由于步骤S61、S62的处理与上述的第1实施方式中利用图3说明的步骤S1、S2的处理相同,故其详细说明予以省略。另外,对于步骤S63所涉及的特征量计算处理,由于除了将算出的特征量输出给上述暂时存储部31之外,也与上述第1实施方式中利用图3说明的步骤S3的处理相同,所以其详细说明予以省略。另外,步骤S64所涉及的无声区间检测处理,除了在处理的最后,将步骤S63算出的特征量(声音信号的功率电平)存放在之前特征量212中之外,与上述第1实施方式中利用图4说明的步骤S4的处理相同,故其详细说明予以省略。
在步骤S64之后,CM区间判断部15进行CM区间判断处理,生成CM区间信息(步骤S65)。对于该步骤S65的操作,由于也与上述的第1实施方式中利用图7说明的步骤S6的处理相同,故其详细说明予以省略。
当步骤S65的处理结束时,摘要列表制作部32进行摘要列表输出处理(步骤S66)。图13是表示上述的步骤S66所示的无声区间检测处理的详细流程图。在图13中,首先,摘要列表制作部32判断在暂时积蓄特征量36中是否积蓄了120秒的量的帧特征量(步骤S71)。这是因为在本实施方式中,将CM区间的最大长度假定为60秒,例如在节目开头CM区间为60秒时,为了确定该CM区间最大需要120秒,所以从节目开始至少120秒内不进行本处理的缘故。步骤S71的判断结果,如果还未积蓄120秒的量(步骤S71中否),则摘要列表输出处理结束。而如果已经积蓄了(步骤S71中是),则摘要列表制作部16从暂时积蓄特征量36取得最老的时刻信息361及特征量362(步骤S72)。
接着,摘要列表制作部32参照CM区间信息,判断在CM区间内是否存在步骤S72取得的时刻信息361所示的时刻(步骤S73)。其结果如果是在CM区间内(步骤S73中是),则摘要列表制作部32结束摘要列表生成处理。而如果不是在CM区间内(步骤S73中否),则摘要列表制作部32判断特征量362的值是否在规定值以上(步骤S74)。其结果如果在规定值以上(步骤S74中是),则摘要列表制作部32判断摘要之前特征量372是否在规定值以上(步骤S75)。即,对步骤S72取得的帧和该帧前1帧之间的声音功率电平的变化进行判断。其结果如果摘要之前特征量372不是在规定值以上(步骤S75中否),则将该帧的时刻信息保存到摘要开始端信息38中(步骤S76)。在最初的第一次处理时,由于在摘要之前特征量212中什么还未存放,所以这时处理为不在规定值以上。而步骤S75的判断结果如果摘要之前特征量372在规定值以上(步骤S75中是),则摘要列表制作部16不进行S76的处理,转到步骤S77的处理。
另一方面,步骤S74的判断结果,如果特征量362的值不是在规定值以上(步骤S74中否),则接着摘要列表制作部32判断摘要之前特征量372是否在规定值以上(步骤S78)。其结果如果摘要之前特征量372不是在规定值以上(步骤S78中否),则摘要列表制作部16使摘要列表生成处理结束。而如果摘要之前特征量372在规定值以上(步骤S78中是),则由于持续的摘要场景在前1帧已经结束,所以将从上述的摘要开始端信息38所示的摘要开始端时刻起、到摘要之前时刻信息371位置的区间作为1个摘要区间输出给摘要场景列表28(步骤S79)。
然后,摘要列表制作部16使该帧的声音功率电平保存到摘要之前特征量372中(步骤S77)。通过以上的步骤,第2实施方式所涉及的摘要场景列表制作处理结束。
这样,在第2实施方式中,可以在与节目录像并行的同时,检测CM区间,从CM区间以外的节目区间检测出摘要场景。这样,在节目的录像结束后,就不必另外进行摘要场景列表生成的处理了,可以对用户提供没有因该生成处理的处理等待时间的舒适视听环境。
上述的各实施方式,也可以以存放使计算机执行的程序的记录媒体形式提供。这时只要读入该记录媒体中所存放的摘要生成程序,摘要生成装置(更准确地说是图中未画出的控制部)执行图3、图12所示的处理即可。
(产业上可利用性)
本发明所涉及的摘要生成装置、摘要生成方法,存放摘要生成程序的记录媒体,及用于摘要生成装置中的集成电路,可以在对节目进行录像的同时生成摘要场景信息,对于HDD记录器及DVD记录器等用途是有用的。
Claims (18)
1.一种摘要生成装置,当接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,其特征在于,包括:
特征量计算部,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量;
特定区间端检测部,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻;以及
摘要场景信息制作部,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
2.如权利要求1所述的摘要生成装置,其特征在于:
上述摘要场景信息制作部,
包括摘要区间检测部,每当对于上述单位时间量的广播信号计算特征量时,该摘要区间检测部根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对上述接收的广播信号检测摘要候选区间;
每当通过上述特定区间端检测部检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与上述摘要候选区间重复,将表示由上述摘要区间检测部检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
3.如权利要求1所述的摘要生成装置,其特征在于:
上述摘要场景信息制作部,
包括暂时存储部,该暂时存储部从最新的计算时刻起存储规定时间的量的上述计算出的特征量;
每当计算上述特征量时,判断上述暂时存储部中存储的特征量所涉及的时刻,是否包含在由上述特定区间端检测部所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的广播信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
4.如权利要求2所述的摘要生成装置,其特征在于:
上述特征量计算部,计算第1及第2特征量,
上述特定区间端检测部,根据第1特征量,判断特定区间的开始端或结束端;
上述摘要区间端检测部,根据第2特征量,检测上述摘要候选区间。
5.如权利要求1所述的摘要生成装置,其特征在于:
上述特定区间端检测部包括:
特定区间候选检测部,当上述特征量满足规定的条件时,检测只包含满足该条件的特征量的区间作为特定区间候选;以及
特定区间判断部,根据上述节目内的上述特定区间候选彼此之间的时间差,检测成为特定区间的开始端或结束端的候选。
6.如权利要求5所述的摘要生成装置,其特征在于:
上述特定区间判断部,每当检测上述特定区间候选时,如果从所检测出的特定区间候选起规定时间前的时刻包含在已经检测出的特定区间候选中,则将该规定时间前的时刻检测为特定区间的开始端、并将该特定区间候选检测为特定区间的结束端。
7.如权利要求5所述的摘要生成装置,其特征在于:
上述特定区间检测部包括:
判断部,每当检测上述特定区间候选时,判断在最后检测出的特定区间候选起规定的第1时间前的时刻,或在该最后检测出的特定区间候选起规定的第2时间前的时刻,是否存在已经检测出的特定区间候选;
加法部,当由上述判断部判断为存在特定区间候选时,对判断为存在的特定区间候选及该最后检测出的特定区间候选,分别加上点数;
开始端确定部,每当从检测出点数为规定值以上的对象候选起经过规定的第3时间时,判断从该对象候选起该第3时间前的时刻,是否存在点数为该规定值以上的特定区间候选,当不存在时,将该对象候选作为特定区间的开始端,以及
结束端确定部,每当从检测出点数在规定值以上的对象候选起经过规定的第3时间时,判断在该第3时间经过的时刻,是否存在点数为该规定值以上的特定区间候选,当不存在时,将该对象候选作为特定区间的结束端。
8.如权利要求5所述的摘要生成装置,其特征在于:
上述特征量计算部,将声音信号的声音功率电平作为上述特征量进行计算;
上述特定区间候选检测部,将上述功率电平在规定值以下的无声区间检测为上述特定区间候选。
9.如权利要求5所述的摘要生成装置,其特征在于:
上述特征量计算部,将基于影像信号的亮度信息作为上述特征量进行计算,
上述特定区间候选检测部,将上述亮度信息的变化量在规定值以上的场景变换点检测为上述特定区间候选。
10.一种摘要生成方法,当接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,其特征在于,包括:
特征量计算步骤,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量;
特定区间端检测步骤,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻;以及
摘要场景信息制作步骤,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
11.如权利要求10所述的摘要生成方法,其特征在于:
上述摘要场景信息制作步骤,
包括:
摘要区间检测步骤,每当对于上述单位时间量的广播信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对上述接收的广播信号检测摘要候选区间;
每当通过上述特定区间端检测步骤检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与上述摘要候选区间重复,将表示由上述摘要区间检测步骤检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
12.如权利要求10所述的摘要生成方法,其特征在于:
上述摘要场景信息制作步骤,
包括:
暂时存储步骤,从最新的计算时刻起存储规定时间的量的上述计算出的特征量;
每当计算上述特征量时,判断由上述暂时存储步骤存储的特征量所涉及的时刻,是否包含在由上述特定区间端检测步骤所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的AV信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
13.一种记录媒体,存放了使摘要生成装置的计算机执行的摘要生成程序,该摘要生成装置在接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,其特征在于,该程序使上述计算机执行下列步骤:
特征量计算步骤,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量;
特定区间端检测步骤,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻;以及
摘要场景信息制作步骤,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
14.如权利要求1 3所述的记录媒体,其特征在于:
上述摘要场景信息制作步骤,
包括:
摘要区间检测步骤,每当对于上述单位时间量的广播信号计算特征量时,根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对上述接收的广播信号检测摘要候选区间;
每当通过上述特定区间端检测步骤检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与上述摘要候选区间重复,将表示由上述摘要区间检测步骤检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
15.如权利要求13所述的记录媒体,其特征在于:
上述摘要场景信息制作步骤,
包括:
暂时存储步骤,从最新的计算时刻起存储规定时间的量的上述计算出的特征量;
每当计算上述特征量时,判断由上述暂时存储步骤存储的特征量所涉及的时刻,是否包含在由上述特定区间端检测步骤所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的AV信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
16.一种集成电路,用于摘要生成装置,该摘要生成装置在接收所广播的节目的广播信号并将其记录在记录媒体上时,生成与该节目有关的摘要场景信息,其特征在于,该摘要生成装置包括:
特征量计算部,每当接收规定的单位时间的广播信号时,根据该接收的单位时间量的广播信号,计算出至少1种表示与该广播信号中包含的影像及声音中至少一方有关的特征的特征量;
特定区间端检测部,每当计算上述特征量时判断在上述接收的广播信号中已经计算出特征量的信号部分所包含的规定的时刻是否成为特定区间的开始端或结束端,从而检测成为特定区间的开始端或结束端的时刻;以及
摘要场景信息制作部,每当计算上述特征量时,根据该特征量,判断上述节目的全体区间中除了上述特定区间之外的区间所涉及的广播信号是否是摘要场景,并生成摘要场景信息。
17.如权利要求16所述的集成电路,其特征在于:
上述摘要场景信息制作部,
包括摘要区间检测部,每当对于上述单位时间量的广播信号计算特征量时,该摘要区间检测部根据该特征量判断该单位时间量的广播信号所包含的内容是否是摘要场景,从而对上述接收的广播信号检测摘要候选区间;
每当通过上述特定区间端检测部检测特定区间的开始端及结束端的组时,判断从该开始端起到该结束端为止的特定区间是否与上述摘要候选区间重复,将表示由上述摘要区间检测部检测出的摘要候选区间中、除了与该特定区间重复的摘要候选区间之外的区间的信息,作为摘要场景信息生成。
18.如权利要求16所述的集成电路,其特征在于:
上述摘要场景信息制作部,
包括暂时存储部,该暂时存储部从最新的计算时刻起存储规定时间的量的上述计算出的特征量;
每当计算上述特征量时,判断上述暂时存储部中存储的特征量所涉及的时刻,是否包含在由上述特定区间端检测部所检测的特定区间的开始端到结束端之间,只在不包含时,在单位时间量的AV信号所包含的内容中检测作为摘要场景的内容,并生成摘要场景信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP217724/2005 | 2005-07-27 | ||
JP2005217724 | 2005-07-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101228786A true CN101228786A (zh) | 2008-07-23 |
Family
ID=37683303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800270697A Pending CN101228786A (zh) | 2005-07-27 | 2006-07-24 | 摘要生成装置及方法、记录媒体及集成电路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090226144A1 (zh) |
JP (1) | JPWO2007013407A1 (zh) |
CN (1) | CN101228786A (zh) |
WO (1) | WO2007013407A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074823A (ja) * | 2008-08-22 | 2010-04-02 | Panasonic Corp | 録画編集装置 |
JP6413653B2 (ja) * | 2014-11-04 | 2018-10-31 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9832022B1 (en) * | 2015-02-26 | 2017-11-28 | Altera Corporation | Systems and methods for performing reverse order cryptographic operations on data streams |
JP6683231B2 (ja) * | 2018-10-04 | 2020-04-15 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP7518681B2 (ja) | 2020-07-14 | 2024-07-18 | シャープ株式会社 | 無音区間検出装置および無音区間検出方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09312827A (ja) * | 1996-05-22 | 1997-12-02 | Sony Corp | 記録再生装置 |
US6160950A (en) * | 1996-07-18 | 2000-12-12 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for automatically generating a digest of a program |
JPH1032776A (ja) * | 1996-07-18 | 1998-02-03 | Matsushita Electric Ind Co Ltd | 映像表示方法及び記録再生装置 |
JPH10224722A (ja) * | 1997-02-07 | 1998-08-21 | Sony Corp | コマーシャル検出装置及び検出方法 |
US6600874B1 (en) * | 1997-03-19 | 2003-07-29 | Hitachi, Ltd. | Method and device for detecting starting and ending points of sound segment in video |
JP4178629B2 (ja) * | 1998-11-30 | 2008-11-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
US7155735B1 (en) * | 1999-10-08 | 2006-12-26 | Vulcan Patents Llc | System and method for the broadcast dissemination of time-ordered data |
JP2001177804A (ja) * | 1999-12-20 | 2001-06-29 | Toshiba Corp | 画像記録再生装置 |
JP3632646B2 (ja) * | 2001-11-09 | 2005-03-23 | 日本電気株式会社 | 通信システム、通信端末、サーバ、及びフレーム送出制御プログラム |
US7703044B2 (en) * | 2001-11-19 | 2010-04-20 | Ricoh Company, Ltd. | Techniques for generating a static representation for time-based media information |
US7260308B2 (en) * | 2002-05-09 | 2007-08-21 | Thomson Licensing | Content identification in a digital video recorder |
US7206494B2 (en) * | 2002-05-09 | 2007-04-17 | Thomson Licensing | Detection rules for a digital video recorder |
JP2004265477A (ja) * | 2003-02-28 | 2004-09-24 | Canon Inc | 再生装置 |
US20050001842A1 (en) * | 2003-05-23 | 2005-01-06 | Woojin Park | Method, system and computer program product for predicting an output motion from a database of motion data |
US7260035B2 (en) * | 2003-06-20 | 2007-08-21 | Matsushita Electric Industrial Co., Ltd. | Recording/playback device |
JP2005175710A (ja) * | 2003-12-09 | 2005-06-30 | Sony Corp | デジタル記録再生装置及びデジタル記録再生方法 |
WO2005069172A1 (ja) * | 2004-01-14 | 2005-07-28 | Mitsubishi Denki Kabushiki Kaisha | 要約再生装置および要約再生方法 |
JP2005229156A (ja) * | 2004-02-10 | 2005-08-25 | Funai Electric Co Ltd | 復号記録装置 |
US20050226601A1 (en) * | 2004-04-08 | 2005-10-13 | Alon Cohen | Device, system and method for synchronizing an effect to a media presentation |
WO2005109904A2 (en) * | 2004-04-30 | 2005-11-17 | Vulcan, Inc. | Maintaining a graphical user interface state that is based on a selected type of content |
JP2006050531A (ja) * | 2004-06-30 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 情報記録装置 |
US20060059510A1 (en) * | 2004-09-13 | 2006-03-16 | Huang Jau H | System and method for embedding scene change information in a video bitstream |
-
2006
- 2006-07-24 US US11/994,827 patent/US20090226144A1/en not_active Abandoned
- 2006-07-24 CN CNA2006800270697A patent/CN101228786A/zh active Pending
- 2006-07-24 JP JP2007528453A patent/JPWO2007013407A1/ja active Pending
- 2006-07-24 WO PCT/JP2006/314589 patent/WO2007013407A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20090226144A1 (en) | 2009-09-10 |
JPWO2007013407A1 (ja) | 2009-02-05 |
WO2007013407A1 (ja) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5146315B2 (ja) | 映像再生装置、映像再生方法、および映像再生用プログラム | |
KR100672296B1 (ko) | 양방향 티브이를 이용한 시청률 산출방법 | |
JP4332988B2 (ja) | 信号処理装置及び方法 | |
CN107509107A (zh) | 视频播放故障的检测方法、装置及设备、可读介质 | |
JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
KR100803747B1 (ko) | 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법 | |
JP4418423B2 (ja) | データ再生装置、データ再生方法及びプログラム | |
US20100226624A1 (en) | Information processing apparatus, playback device, recording medium, and information generation method | |
US8634708B2 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
JP4047264B2 (ja) | 動画像処理装置、動画像処理方法および動画像処理プログラム | |
KR101268987B1 (ko) | 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치 | |
CN101228786A (zh) | 摘要生成装置及方法、记录媒体及集成电路 | |
CN112287771A (zh) | 用于检测视频事件的方法、装置、服务器和介质 | |
JP3879122B2 (ja) | ディスク装置、ディスク記録方法、ディスク再生方法、記録媒体、並びにプログラム | |
US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
JP4366439B1 (ja) | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 | |
JP2005295266A (ja) | 受信装置 | |
KR20060102639A (ko) | 동영상 재생 시스템 및 방법 | |
EP1643764A1 (en) | Video reproducing apparatus | |
CN102034520B (zh) | 电子装置及内容再现方法 | |
JP4937795B2 (ja) | コンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体 | |
JP4491009B2 (ja) | 動画像処理装置 | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP2008092074A (ja) | コンテンツ再生装置及びコンピュータプログラム | |
KR101560690B1 (ko) | 디지털 녹화기의 썸네일 생성 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080723 |