CN1980331A - 特征影像检测方法及装置、影像差异检测方法及装置 - Google Patents

特征影像检测方法及装置、影像差异检测方法及装置 Download PDF

Info

Publication number
CN1980331A
CN1980331A CNA2006101091215A CN200610109121A CN1980331A CN 1980331 A CN1980331 A CN 1980331A CN A2006101091215 A CNA2006101091215 A CN A2006101091215A CN 200610109121 A CN200610109121 A CN 200610109121A CN 1980331 A CN1980331 A CN 1980331A
Authority
CN
China
Prior art keywords
image
scene
characteristic
difference
dangerous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101091215A
Other languages
English (en)
Inventor
白石匡央
大木康幸
井川胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1980331A publication Critical patent/CN1980331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的在于提供一种特征影像检测方法，为了将正确修改后的影像的修正方法当作危险性影像修正的准则来掌握，而从修正影像中检测出影像的修正方法，为了向修正者表示危险性影像修正的准则而提示应用了过去的修正方法的影像的修正案。为了实现上述目的，本发明具有下述结构：针对于修正前的危险性影像数据(1110)与修正后影像数据(1140)，对每个影像场景计算出表示场景特征的场景特征量，通过比较各个影像场景特征量按时间顺序的排列(1420、1430)来检测出场景结构的修正方法(1150)。

Description

特征影像检测方法及装置、影像差异检测方法及装置
技术领域
本发明涉及用于对满足规定条件的特征影像进行修正的技术。本发明还包括检测供修正用的特殊影像的技术。此外，在特殊影像中也包括有可能对人体带来危害的危险性影像。为此，本发明便涉及到危险性影像检测方法、影像差异检测方法与装置，特别是涉及到通过检测两个影像的场景结构的差异来检测影像差异的危险性影像检测方法、影像差异检测方法与装置。另外，在危险性影像中包含有闪烁影像(flash)、快速场景变化(速变图像序列rapidly changing imagesequences)、阈下影像(subliminal image)等。
背景技术
在影像编辑中，需要对特征影像进行删除或修正等编辑。尤其是关于危险性图像，基于下述理由更有这种需要。一般地说，已知动画等影像中所包含的在短时间反覆亮灭的闪烁(flicker)影像以及插入了人们不可能识别程度的短时间的图像的阈下影像等影像是有可能对人体带来危害的。这类影像对人体的影响程度存在着个体差异，即使是视听相同的影像，有的人会受到影响而有的人则不受影响。另外，这种影响可以说会因影像的视听环境而变化，也与视听者与影像监视器的位置关系以及视听场所的亮度状态有关。
当在电视播放等无特定人数的多人视听的影像中混入前述那种影像后，它的影响范围将非常大，可能要追究影像提供方的社会责任。为此，广播台等向人数不定的多名观众提供影像的影像提供者应在提供影像前事先检查、检测其中是否有这样的危险性影像混入。此外，以广播工作者为会员的日本民间广播联盟正计划制定这样的危险性影像的准则。
在危险性影像的一个例子中，由于在短时间(数帧～数秒)期间影像变化，因此难以通过目视进行充分检查，而在由目视进行检查时又会存在加入检查人的主观意见的风险。由于危险性影像的影响也依赖于视听方的环境，因此在于检查的环境下判定为为没有问题的图像的情况下，也有可能会因实际的视听条件而带来影响。
因此，与机械地检查危险性影像的方法有关的已有技术例如已被记载在USP 6,937,674中。该已有技术检测影像闪烁场面，并提示出检测时的特征量(features)和检测部位的静止图像作为检测结果。
上述的已有技术只能对危险性影像机械地进行检测，缺乏对检测出的危险性影像如何进行修正的准则，因而也就存在不能判定可以对所检测出的危险性影像进行哪种修正的问题。由此就不能将检查结果很好地传达给影像制作者，而存在由影像制作者修正的影像再次作为危险性影像被检测出的情况。特别是在电视播放的情形下，为了使危险性影像的检查者是电视台，影像的修正者是影像制片人而检查与修正是不同组织、由人来进行的情况较多，这就会较多出现前述那种问题。
发明内容
为了解决前述这类问题，作为危险性影像修正准则，可以考虑灵活运用因与过去相同的理由进行修正，并被判定为无问题的修正方法。此时，为了存储影像的修正方法就必须掌握已被修正了的影像的修正方法。但是，不论是在影像修正者仅传送修正后的影像的情形，还是在修正者传送修正方法的情形中，因为没有确保所传送的修正方法是正确的方法的办法，因而产生了不能正确掌握影像修正方法的问题。
鉴于上述问题，本发明的目的在于由于掌握被正确修正后的影像的修正方法作为包含危险性影像的特征影像的修正准则，因此可从修正影像中检测出影像的修正方法，由于将特征影像修正准则向修正者表示，因此可提示出应用了过去的修正方法的影像的修正案
上述目的可通过以下结构实现。预先将特征影像(或是包含它的影像)和对其进行编辑后所得的编辑影像相对应地存储在数据库中，在检测得知当前编辑对象(或检查对象)的影像为特征影像时，从数据库中检索“类似于”当前编辑对象的特征影像，并确定与所检索出的特征影像相对应的编辑影像的编辑内容，将其提示给利用者。在此，编辑内容也可以通过将检索出的特征影像和与之相对应的编辑影像相比较来特定。此外，也可将特征影像和编辑内容对应起来存储在数据库中，并对应于所检索出的特征影像来确定所存储的编辑内容。
另外，所谓“类似”是指相互间具有规定关系的意思，至于规定关系的具体内容则包括实施方式中所记述的内容。此外，作为本发明的一种方式，以危险性影像作为对象有以下内容。根据本发明，前述目的是通过检测危险性影像并提示检测结果的危险性影像检测方法来实现的，该方法具有下述步骤：具有存储了与过去的危险性影像相对应的修正事例的数据库，检测被输入的检查对象影像中是否含有危险性影像，在含有危险性影像的情况下，以检测出的危险性影像的危险性理由为关键字检索上述数据库并取得修正事例，然后将修正事例应用于影像的危险性部位作成修正案，输出上述被检测出的危险性影像的危险性理由、危险性部位以及修正案，以修正上述危险性影像。
此外，上述目的是通过检测危险性影像并提示检测结果的危险性影像检测方法来实现的，该方法具有下述步骤：具有存储了与过去的危险性影像相对应的修正事例的数据库以及影像差异检测单元，其中把对危险性影像进行修正后的影像作为检查对象影像输入，并检测此影像中是否含有危险性影像，在未含危险性影像时，上述影像差异检测单元针对修正前的影像与修正后的影像计算出以场景内的帧图像的特征量为基础的场景特征量，并比较两个影像各自的场景特征量按时间顺序的排列，根据场景特征量的排列的不同检测出两个影像的场景结构的差异，并检测出修正方法，将其存储在上述数据库中。
另外，上述目的是通过检测分别由多个场景构成的两个影像的差异的影像差异检测方法来实现的，该方法具有下述步骤：计算以两个影像的场景内的帧图像的特征量为基础的场景特征量；比较两个影像各自的场景特征量按时间顺序的排列，并根据场景特征量的排列的不同检测出两个影像的场景结构的差异。
根据本发明的一种方式，能够从修正影像和修正前的影像中检测出影像的修正方法，可以提示出在与危险性影像的检测中所检测出的危险性影像相对应的修正案。
附图说明
图1是表示应用由本发明的一实施方式的影像差异检测装置得到的过去的修正方法，提示出危险性影像修正案的危险性影像检测系统的功能结构与处理的框图。
图2是表示在已修正的影像再检查中，由本发明一实施方式的影像差异检测装置来检测修正方法，并作为事例进行存储的危险性影像检测系统的功能结构与处理的框图。
图3是表示影像差异检测部的功能结构与处理的框图。
图4是说明对修正方法进行检测的处理中影像特征量与场景特征量之间的关系图。
图5表示修正方法检测的匹配处理中比较源场景特征量列与比较目标场景特征量列之间的关系图。
图6是说明在图1中修正案生成部上的处理概要的图。
图7是表示图1、图2中所示的危险性影像检测终端硬件结构的框图。
具体实施方式
下面根据附图详细说明将本发明应用于危险性影像的危险性影像检测方法、影像差异检测方法以及装置的实施方式。
图1是表示应用由本发明一实施方式的影像差异检测装置得到的过去的修正方法，提出危险性影像修正案的危险性影像检测系统的功能结构与处理的框图。在图1中，1000为闪烁/阈下影像检测部、1010为修正事例检索部、1020为修正案生成部、1030为检测结果提示部、1100为检测结果数据、1110为危险性影像数据、1120为修正方法、1130为修正候补影像、1160为危险性部位、1170为危险性理由、1200为影像制作者、1210为检查对象影像、2000为危险性影像检测终端、2200为修正事例DB，在此，危险性影像检测终端2000由所谓计算机来实现。然后，作为结构要件的闪烁/阈下影像检测部1000、修正事例检索部1010、修正案生成部1020以及检测结果提示部1030则可由作为依据程序进行处理的处理器(CPU)来实现。此外，危险性影像检测终端2000也可由上述的处理器或未图示的存储有程序的存储装置、存储器等构成。
图1所示的危险性影像检测终端2000表示具有从由影像制作者1200制作的检查对象影像1210中检测危险性影像，并根据过去的修正事例制成修正案，直至返回给影像制作者1200为止的处理所必须的功能的装置。此危险性影像检测终端2000以具有闪烁/阈下影像检测部1000、修正事例检索部1010、修正案生成部1020、检测结果提示部1030、影像数据暂存区、修正事例DB2200的方式而被构成的。
由影像制作者1200制作并被输入到危险性影像检测终端2000的检查对象影像1210既可以被记录在VTR磁带等介质中，也可以MPEG等文件格式来表现。在是VTR磁带的情况下，检查对象影像1210在VTR走动机构上再生磁带，并被输入到危险性影像检测终端2000中。此外，检查对象影像1210既可以是以文件格式构成，也可以是检查对象影像1210以其原有格式输入到危险性影像检测终端2000的方式构成。
危险性影像检测终端2000的闪烁/阈下影像检测部1000对被输入的检查对象影像，检测出影像在短时间内对反复闪烁的插入或在人们无法意识到的短时间中对影像的插入。这种检测可以预先存储闪烁等的基准，将检查对象影像与此基准比较，在符合基准时则判定有插入。此外，也可使用前述的已有技术进行检测。这些是有可能对人体带来不利影响的影像。闪烁/阈下影像检测部1000输出组合影像的危险性部位1160与危险性理由1170所得的检测结果数据1100作为检测结果。
危险性部位1160是表示影像位置的时间数据(时间戳)。这种时间数据在将时间代码信息赋给影像的记录介质或影像文件时，便成为该时间代码值，另外，在没有时间代码信息时，则成为自影像开头起的经过时间。例如在表示从影像开头起经过10分钟后的部位时，即成为“00:10:00:00”这样的值。这是可唯一表示影像位置的值。
危险性理由1170是表示检测为危险性影像的要素的数据。在该数据中，危险性影像若为闪烁影像时则包括“闪烁区间的时间长度、亮度(luminance)变化的比例(％)、亮度变化的次数、颜色成分、发生闪烁的画面部位”等各种信息。此外，危险性影像若为阈下影像时，则包括“阈下图像插入的时间长度、阈下图像在画面上的部位”各种信息(要素)。
在此，当各要素中的全部都与修正事例DB200中所存储的危险性理由的各要素“类似”或者有一定个数或者一定个数以上的要素为“类似”时，可以判定为作为影像是相“类似”的。
另外，既可将各要素的“类似”在检查对象影像1210与修正事例DB2200中所存储的危险性理由的各要素的差分位于一定范围内时判定“类似”，也可如以下那样判定为各要素的“类似”。
·闪烁区间的时间长度：检查对象影像1210一方在一定范围内时间长度长(包括相等时间)；
·亮度变化的比例(％)：检查对象影像1210一方在一定范围内变化的比例大(包括相同比例)；
·亮度变化的次数：检查对象影像1210一方在一定范围内次数多(包括相同次数)；
·颜色成分：检查对象影像1210一方色调更接近危险性颜色(包括相同色调)；
·发生闪烁的画面部位：在画面上，检查对象影像1210一方更接近中心部位(包括相同部位)。
进而，关于各种要素也可以分别与存储在修正事例DB2200中的危险性理由的各要素相比较来进行检索。另外，也可如以下所示进行比较。其针对第1要素检索“类似”的危险性理由(的危险性影像)，在所检索出的危险性理由之中检索第2要素相“类似”的危险性理由。通过对它与第3要素等反复进行这样的筛选处理，可以确定所有要素为“类似”或规定要素为“类似”的影像。
闪烁/阈下影像检测部1000将检测结果数据1100记录在影像数据暂存区中，并且传送给修正事例检索部1010。此外，在危险性影像的检测处理中，将检测出检测用输入影像中的危险性而得到的危险性影像数据1110记录在影像数据暂存区中。该影像数据1110是作为缩小了影像分辨率/位速率的代理(プロキシProxy)影像来生成并被记录的。
修正事例检索部1010接收检测结果数据1100后，以检测结果数据1100的危险性理由1170作为检索关键字，从修正事例DB2200中检索在过去有无基于类似危险性理由的修正事例。当存在类似危险性理由的修正事例时，修正事例检索部1010取得与之相对应的修正方法1120。修正方法1120中包含有场景结构的变更、与场景相对应的编辑效果(edit effect)的变更的信息。有关修正方法1120的数据结构的详细内容将在以后进行说明，过去的修正方法1120既可以是只取得1件与最类似于所检测出的危险性理由1170的理由相对应的修正方法，也可以是取出多件与基于危险性理由的类似度而在某个阈值内具有类似性的理由相对应的修正方法。修正事例检索部1010将检测结果数据1100与修正方法1120发送给修正案生成部1020。
修正案生成部1020从影像数据暂存区取得影像数据1110，然后针对在危险性部位1160示出的影像的部位，按照修正方法1120对所示的内容实施场景结构的变更或对场景的编辑效果的变更，并生成修正候补影像1130。此处理的详细内容将在以后进行说明。修正案生成部1020将检测结果数据1100与修正候补影像1130传送给检测结果提示部1030。
检测结果提示部1030将危险性部位1160、危险性理由1170、修正候补影像1130作为危险性影像的检测结果显示在危险性影像检测终端2000的监视器上。此外，将这些数据作为数据文件进行输出。
在所输入的检查对象影像1210中，在闪烁/阈下影像检测部1000未检测出危险性影像时，不进行修正事例检索部1010、修正案生成部1020中的处理，而由检测结果提示部1030显示未检测出的意思。通过了检查的检查对象影像1210不加修正原样地进行利用。如果是播放用影像则被用于播放。
在从所输入的检查对象影像1210中检测出危险性影像时，检查者将由检测结果提示部1030输出的检测结果数据1100、修正候补影像1130传送给影像制作者1200。另外，在传送给影像制作者1200的处理中，除手工传送存储有该内容的介质之外，也可构成为经由网络将该检测结果数据1100发送给影像制作者1200所用的处理装置。影像制作者1200根据发送来的内容进行影像的修正操作。影像的修正可通过进行场景结构的变换、场景的插入/删除、场景长度的变更、闪烁亮度的变更、闪烁次数的变更等影像编辑处理来实施。修正后的影像将再次进行有无危险性影像的检查。
图2是表示在已修正的影像的再检查中，根据本发明一实施方式的影像差异检测装置来检测修正方法并作为事例进行存储的危险性影像检测系统的功能结构与处理的框图。在图2中，1040为影像差异检测部、1140为修正版影像数据、1150为修正方法，其他标号与图1中的相同。另外，图2所示的影像差异检测部1040是被包含在图1所示的危险性影像检测终端2000中，为便于说明，图2中只表示了影像差异检测中必要的结构。此外，与在图1中所说明的相同，危险性影像检测终端2000由具有处理器等计算机构成，按照程序进行各种处理。
根据按图1所示的处理而提示的检测结果数据1100与修正候补影像1130进行修正后的影像1220再次由闪烁/阈下影像检测部1000检查有无危险性影像。在该检查中，在再次检测出危险性部位时，再次进行图1所示的已说明过的处理，并将检测结果数据通知给影像制作者1200，请求对影像进行再修正。
当闪烁/阈下影像检测部1000没有检测出危险性部位时，也即已顺利地进行了修正时，闪烁/阈下影像检测部1000与图1所示的处理同样地，将检测用输入影像作为修正版影像数据1140记录在影像数据暂存区中。所记录的影像数据1140是缩小了影像分辨率/位速率后的代理影像。然后转移到影像差异检测部1040进行处理。
影像差异检测部1040通过比较作为修正后的影像数据的修正版影像数据1140与修正前的影像数据1110，检测出其修正方法。所检测出的修正方法作为影像的修正方法1150而被输出。修正方法1150与危险性理由相对应地被存储在修正事例DB2200中。
图3是表示影像差异检测部1040的功能结构以及处理的框图，图4是说明检测修正方法的处理中的影像特征量和场景特征量之间的关系图，然后参照图3和图4说明在影像差异检测部1040中的处理的详细内容。在图3和图4中，1300是影像特征量计算部、1310是场景特征量计算部、1320是场景特征量比较部。
影像差异检测部1040被构成为具有影像特征量计算部1300、场景特征量计算部1310、场景特征量比较部1320。当影像差异检测部1040输入修正版(后)影像数据1140和修正前影像数据1110时，首先影像特征量计算部1300分别针对修正前影像数据1110和修正后影像数据1140计算并输出作为各帧图像的特征量的修正后影像特征量1410、修正前影像特征量1400。该特征量如图4所示，与每一个帧图像1450相对应地被计算成为1个特征量1460。将该特征量按时间顺序的排列称为影像特征量，这样的影像特征量与修正前影像数据1110和修正后影像数据1140相对应，从影像特征量计算部1300中被输出。帧图像的特征量是表示图像亮度(1uminance histogram)、颜色的直方图(color histogram)等图像特征的值。
场景特征量计算部1310以从影像特征量计算部1300输出的修正前后的影像特征量1400、1410为输入，针对这些特征量计算每个场景的特征量。场景是在按照时间系列顺序观看帧图像的特征量时，根据其相似性进行帧图像的分组后所得的。例如，在图4中，关于影像特征量1400的帧图像特征量A1～C6，当在“A1～A5”、“B1～B4”、“C1～C6”各组中所包含的帧图像的相似度高的情况下，将与“A1～A5”相对应的帧图像组当作场景A1470，将“B1～B4”的组当作场景B1480，将“C1～C6”的组当作场景C1490。作为该场景的影像是表示通过1次拍摄所拍摄出来的一系列影像，一般称之为“cut(カツト，切)”。
所谓场景特征量是代表场景场面的特征的值，在本发明实施方式中，设定使用构成场景的帧图像的特征量平均值，但是既可以使用场景的起始帧的特征量，也可以使用构成场景的帧图像的特征量的中间值。另外，还使场景特征量中包含有场景长度的信息。例如，图4的场景A1470的场景长度为5帧。场景A1470的场景特征量1440的值“A-5”中的“5”是表示场景长度为5帧的意思，“A-5”的“A”是表示帧图像的特征量“A1～A5”的平均值。
将场景特征量按时间顺序的排列称之为“场景特征量列”。场景特征量列1420包含有场景A1470的场景特征量1440、场景B1480的场景特征量1500、场景C1490的场景特征量1510的排列。
场景特征量计算部1310针对影像特征量1400、1410计算并输出场景特征量列1420、1430。
场景特征量比较部1320对由场景特征量计算部1310计算出的2个场景特征量列1420、1430进行比较，检测出影像的修正方法。参照图5来说明由该场景特征量比较部1320进行的影像修正方法检测处理的详细内容。
图5是表示修正方法的检测匹配处理中的比较源场景特征量列和比较目标特征量列之间的关系图。
影像修正方法的检测处理按照以下说明顺序来进行。
(1)从修正前影像的场景特征量列1420中以包含有以危险性部位1160表示的部位的场景为中心提取出前后各n个场景的场景特征量。提取出的场景特征量作为比较源场景特征量列1600。在图5中所示的例子中，将n设为4。
(2)针对以修正后影像的场景特征量列1430的危险性部位1160所示的部位，进行和比较源场景特征量列1600的匹配。匹配是通过相对在修正后影像的场景特征量列1430的危险性部位1160中所表示的位置，一边在其前后m个场景内移动，一边针对与从修正前影像的场景特征量列1420提取出的比较源场景特征量列1600和从修正后影像的场景特征量列1430提取出的场景特征量列1600相对应的场景执行匹配计算来实施的。匹配计算是求得场景特征量的差的总和值，将成为最低值的位置当作匹配位置的计算。在图5所示的例子中，将m设为1，一边从匹配开始位置1610各移动1个场景位置设为1620、1630，一边进行匹配计算。在该例中，匹配位置被确定为1620。然后，将与匹配位置相对应的修正后影像的场景特征量列1430的部位设定为比较目标场景特征量列1640。
(3)针对每个场景对比较源场景特征量列1600和比较目标场景特征量列1640的各个场景进行比较，检测出场景特征量的不同。针对比较目标场景特征量列1640的比较源场景特征量列1600而检测出的场景特征量的差异按照进行了如下的影像修正来处理。
·在所检测出的场景特征量的差异是根据场景长度的变更而被检测出的情况下，进行使场景的长度变长或者使场景的长度变短的修正。
·在所检测出的场景特征量的差异是根据场景特征量的顺序的变更而被检测出的情况下，进行替换场景顺序的修正。例如将场景A、B、C变为场景B、A、C的顺序等。
·在所检测出的场景特征量的差异是根据存在新的场景而被检测出的情况下，进行追加新场景的修正。例如将场景X插入场景A、B、C，成为场景A、X、B、C。
·在所检测出的场景特征量的差异是根据场景特征量消失而被检测出的情况下，进行删除场景的修正。例如从场景A、B、C中删除场景B，成为场景A、C等。
·在所检测出的场景特征量的差异是根据特征量相似而被检测出的情况下，进行变更场景的影像效果的修正。根据在场景特征量中所用的影像特征量的种类改变可检测的影像效果。例如，如果使用亮度直方图作为特征量，则可检测亮度的变化。作为影像编辑的例子有降低场景A、B、C中场景B的亮度，变为场景B′，从而成为场景A、B′、C等的例子。另外，在特征量相似度偏离达某个阈值或该阈值以上时，作为插入新场景来处理。
如上所述的变更既可以仅进行1种也可以同时进行多种。
图3所示的影像差异检测部1040的场景特征量比较部1320进行上述处理，检测出影像的修正方法，并生成修正方法1150。修正方法1150由“变更前的场景结构、变更后的场景结构、成为危险性部位的场景”构成。在场景结构中包含有场景长度、场景特征量的信息。
由图3所示的影像特征量计算部1300执行的对各帧图像的特征量的计算也可以仅将危险性部位1160周围的帧图像当作对象。这种情况下，仅针对危险性部位1160周围的场景计算场景特征量列。帧图像的特征量的计算范围可以仅是为了进行比较源特征量列1600和比较目标场景特征量列1640的匹配运算所需要的范围。
图6是说明由图1中的修正案生成部1020执行的处理概要的图，然后参照图6说明将修正方法应用于危险性部位来生成修正候补影像的处理。
修正案生成部1020针对检测出危险性部位所得到的危险性影像数据1110，应用以危险性理由为关键字从事例DB中检索得到的修正方法1120，按照修正方法1120的内容，对包含有危险性影像数据1110表示的危险性部位的场景B1700进行影像修正。在图6所示的例子中，修正方法1120中记载了将包含有危险性部位的场景的场景长度设为2倍，将场景的影像亮度降低50％。修正案生成部1020按照该内容施行将场景B1700的场景长度设为2倍长度，将亮度降低50％的处理，生成场景B′1710。具体地，以将场景B1700的各帧图像各增加1张、各帧图像的亮度降低50％的方式实施图像滤波处理。通过这样的处理来生成作为修正案的修正候补影像1130。
图7是表示图2所示的危险性影像检测终端2000的硬件结构的框图。在图7中，2010、2020、2030是辅助存储装置，2040是CPU、2050是存储器，2060是总线、2070是OS、2100是影像捕获装置，其他的符号和图1、图2、图3所示的情况相同。另外，关于各结构要件(硬件)按照在图1、2中所说明的那样。
危险性影像检测终端2000具有辅助存储装置2010、2020与2030，用于输入影像信号的影像捕获装置2100，CPU2040与存储器2050，它们通过总线2060连接构成。
辅助存储装置2010中存储有闪烁/阈下影像检测部1000、修正事例检索部1010、修正案生成部1020、检测结果提示部1030、影像差异检测部1040、OS2070。影像差异检测部1040如图3所述构成为包括影像特征量计算部1300、场景特征量计算部1310与场景特征量比较部1320。闪烁/阈下影像检测部1000操作影像捕获装置2100，从影像信号中取得帧图像的数据。
存储在辅助存储装置2010中的闪烁/阈下影像检测部1000、修正事例检索部1010、修正案生成部1020、检测结果提示部1030与影像差异检测部1040可构成为程序并由计算机所具有的CPU来执行，此外，这些程序可存储在FD、CDROM、DVD等记录介质中来提供，还可经网络利用数字信息来提供。
辅助存储装置2020可用作暂存区，其中在该辅助存储装置2020中存储有闪烁/阈下影像检测部1000输出的检测结果数据1100、危险性影像数据1110、修正影像数据1140。辅助存储装置2030中存储有修正事例DB2200。
辅助存储装置2010、2020、2030的结构概要被表示在图1与2的危险性影像检测终端2000中。另外，辅助存储装置2020、2030可以是与辅助存储装置2010相同的装置。
在上述的本发明实施方式中说明了检测危险性影像，根据修正事例DB来指示其修正方法，并且影像差异检测部通过对修正后的影像与修正前的影像进行比较来提取修正方法，并使该修正方法反映到修正事例DB中，但是影像差异检测部所比较的影像并不局限于危险性影像及其修正影像，也可用来比较有某种关联的两种影像。例如在制成播放等用的影像后，在根据由导演等指示要进行影像修正的情况下，可以用来比较两种影像，提取修正方法并保存在数据库中，以在其后的影像制作时参考数据库内的修正方法等。

Claims (10)

1、一种检测特征影像并提示检测结果的特征影像检测方法，其特征在于：
将与特征影像对应的修正事例存储在数据库中；
检测在所输入的检查对象影像中是否包含特征影像；
在包含有特征影像时，以所检测出的特征影像的特征理由作为关键字，检索上述数据库，来取得修正事例；
将修正事例应用于影像的特征部位而作成修正案；
将上述检测出的特征影像的特征理由、特征部位及修正案进行输出，用以修正上述特征影像。
2、一种检测特征影像并提示检测结果的特征影像检测方法，其特征在于，具有：
存储与过去特征影像对应的修正事例的数据库；以及
影像差异检测单元，
其中，把对特征影像进行修正后的影像作为检查对象影像而输入，并检测该影像中是否包含特征影像，在未包含特征影像的情况下，上述影像差异检测单元针对修正前的影像与修正后的影像计算出根据场景内的帧图像的特征量的场景特征量，并比较两个影像各自的场景特征量按时间顺序的排列，根据场景特征量的排列的不同检测出两个影像的场景结构的差异，并检测出修正方法，将其存储在上述数据库中。
3、如权利要求2所述的特征影像检测方法，其特征在于：
上述场景特征量是根据与影像的编辑效果有关的特征量而计算出的，并通过比较场景特征量的排列，根据两个影像的场景特征量值之差检测出施加于场景上的编辑效果的差异，由此检测出上述场景结构的差异。
4、如权利要求2所述的特征影像检测方法，其特征在于：上述场景特征量是场景内的帧图像的特征量的平均值。
5、一种检测特征影像并提示检测结果的特征影像检测装置，其特征在于，具有：
存储有与特征影像对应的修正事例的数据库；
检测被输入的检查对象影像中是否包含有特征影像的单元；
在不包含特征影像时，以检测出的特征影像的特征理由为关键字检索上述数据库，并取得修正事例的单元；
将修正事例应用于影像的特征部位而作成修正案的单元；
将上述检测出的特征影像的特征理由、特征部位及修正案进行输出，用以修正上述特征影像的单元。
6、一种检测特征影像并提示检测结果的特征影像检测装置，其特征在于，具有：
存储有与特征影像对应的修正事例数据库；
影像差异检测单元；以及
将对特征影像进行修正后的影像作为检查对象影像并检测该影像中是否包含有特征影像的单元，
其中，在未包含有特征影像的情形下，上述影像差异检测单元针对修正前的影像与修正后的影像计算出基于场景内的帧图像的特征量的场景特征量，并比较两个影像各自的场景特征量按时间顺序的排列，根据场景特征量的排列的不同检测出两个影像的场景结构的差异，并检测出修正方法，将其存储在上述数据库中。
7、如权利要求6所述的特征影像检测装置，其特征在于：上述场景特征量是基于与影像的编辑效果有关的特征量计算出的，并通过比较场景特征量的排列，根据两个影像的场景特征量值之差检测出施加于场景上的编辑效果的差异，由此检测出上述场景结构的差异。
8、如权利要求6所述的特征影像检测装置，其特征在于：上述场景特征量是场景内的帧图像的特征量的平均值。
9、一种检测分别由多个场景构成的两个影像的差异的影像差异检测方法，其特征在于：
计算以两个影像的场景内的帧图像的特征量为基础的场景特征量；
比较两个影像各自的场景特征量按时间顺序的排列，并根据场景特征量的排列的不同检测出两个影像的场景结构的差异。
10、一种检测分别由多个场景构成的两个影像的差异的影像差异检测装置，其特征在于，具有：
计算出以两个影像的场景内的帧图像的特征量为基础的场景特征量的单元；
比较两个影像各自的场景特征量按时间顺序的排列，并根据场景特征量的排列的不同检测出两个影像的场景结构的差异的单元。
CNA2006101091215A 2005-12-05 2006-08-02 特征影像检测方法及装置、影像差异检测方法及装置 Pending CN1980331A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005350616 2005-12-05
JP2005350616A JP4749139B2 (ja) 2005-12-05 2005-12-05 危険映像検出方法、映像相違検出方法及び装置

Publications (1)

Publication Number Publication Date
CN1980331A true CN1980331A (zh) 2007-06-13

Family

ID=36955678

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101091215A Pending CN1980331A (zh) 2005-12-05 2006-08-02 特征影像检测方法及装置、影像差异检测方法及装置

Country Status (5)

Country Link
US (2) US7853084B2 (zh)
JP (1) JP4749139B2 (zh)
KR (2) KR100817989B1 (zh)
CN (1) CN1980331A (zh)
GB (2) GB2446276B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335292A (zh) * 2015-08-13 2018-07-27 海信集团有限公司 一种场景切换中插入图片的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100889936B1 (ko) * 2007-06-18 2009-03-20 한국전자통신연구원 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템
JP5040835B2 (ja) * 2008-07-04 2012-10-03 富士通株式会社 生体情報読取装置、生体情報読取方法および生体情報読取プログラム
JP5393124B2 (ja) * 2008-12-11 2014-01-22 三菱電機株式会社 画像表示装置
US9930309B2 (en) * 2009-03-11 2018-03-27 Centurylink Intellectual Property Llc System, method and apparatus for inband variable media maturity filtering
GB2530051B (en) * 2014-09-10 2018-09-19 Telestream Uk Ltd Method of adjusting video to minimise or remove PSE triggers
CN109977262B (zh) * 2019-03-25 2021-11-16 北京旷视科技有限公司 从视频中获取候选片段的方法、装置及处理设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950009856B1 (ko) * 1985-10-02 1995-08-29 도이체 톰손-브란트 게엠베하 블록마다 전송되는 신호의 보정방법
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
JP3551203B2 (ja) * 1994-07-11 2004-08-04 ソニー株式会社 修理サービス装置およびテレビジョン放送信号受信装置
JPH09284667A (ja) * 1996-04-09 1997-10-31 Toshiba Corp サブリミナル映像処理装置、テレビジョン受像機及び磁気記録再生装置
WO1998053363A1 (fr) * 1997-05-23 1998-11-26 Citizen Watch Co., Ltd. Procede d'attaque de cristaux liquides et attaqueur de cristaux liquides
JPH11275385A (ja) * 1998-03-23 1999-10-08 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法
MY123018A (en) * 1998-07-24 2006-05-31 Panasonic Corp Video signal character converting device and method of the same
JP3622527B2 (ja) * 1998-08-24 2005-02-23 株式会社日立製作所 映像の特徴場面検出方法及び装置
JP3847006B2 (ja) * 1998-08-26 2006-11-15 富士通株式会社 画像表示制御装置及び記録媒体
US6340991B1 (en) * 1998-12-31 2002-01-22 At&T Corporation Frame synchronization in a multi-camera system
JP4304368B2 (ja) * 1999-01-06 2009-07-29 日本電気株式会社 画像検索装置、並びに画像検索方法
JP3496559B2 (ja) * 1999-01-06 2004-02-16 日本電気株式会社 画像特徴量生成装置、並びに画像特徴量生成方法
JP3474131B2 (ja) * 1999-09-20 2003-12-08 日本電信電話株式会社 高速信号探索方法、装置及びその記録媒体
US7334249B1 (en) * 2000-04-26 2008-02-19 Lucent Technologies Inc. Method and apparatus for dynamically altering digital video images
JP2002007458A (ja) * 2000-06-21 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> 映像視聴方法と映像視聴装置および映像視聴方法を記録した記録媒体
US7031522B2 (en) * 2000-06-23 2006-04-18 Sony Corporation Image processing apparatus and method, and storage medium therefor
AU2002232817A1 (en) * 2000-12-21 2002-07-01 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
JP2002269569A (ja) * 2001-03-14 2002-09-20 Ricoh Co Ltd 動画像データベース
US6813372B2 (en) * 2001-03-30 2004-11-02 Logitech, Inc. Motion and audio detection based webcamming and bandwidth control
JP2002330453A (ja) * 2001-04-27 2002-11-15 Mitsubishi Electric Corp サブリミナル画像除去装置
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
KR100850935B1 (ko) * 2001-12-27 2008-08-08 주식회사 엘지이아이 장면 전환 검출 장치
AUPS185102A0 (en) 2002-04-19 2002-05-30 Dienn, Henry James William System for prevention of photoepileptic seizures
KR20050018656A (ko) * 2002-04-19 2005-02-23 헨리 제임스 윌리암 디엔 광과민성 간질 발작의 방지 시스템
WO2004019164A2 (en) * 2002-08-20 2004-03-04 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
JP4359085B2 (ja) * 2003-06-30 2009-11-04 日本放送協会 コンテンツ特徴量抽出装置
KR100530086B1 (ko) * 2003-07-04 2005-11-22 주식회사 엠투그래픽스 동영상의 자동편집장치와 그 방법 및 동영상자동편집방법이 저장된 기록매체
JP2005284394A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 特徴検出装置
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US8594391B2 (en) * 2004-05-06 2013-11-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Finger-based identification systems and methods
JP4546762B2 (ja) * 2004-05-20 2010-09-15 日本放送協会 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム
JP3931890B2 (ja) * 2004-06-01 2007-06-20 株式会社日立製作所 映像の検索方法および装置
EP1653727A1 (en) * 2004-10-28 2006-05-03 Thomson Licensing Preventing picture jitter in a digitized video signal
US20060018523A1 (en) * 2004-07-23 2006-01-26 Sanyo Electric Co., Ltd. Enrollment apparatus and enrollment method, and authentication apparatus and authentication method
JP3685208B2 (ja) * 2004-10-04 2005-08-17 株式会社日立製作所 特徴場面検出システム
JP2006107366A (ja) * 2004-10-08 2006-04-20 Fujitsu Ltd 生体情報入力装置，生体認証装置，生体情報処理方法，生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
JP4794861B2 (ja) 2005-01-06 2011-10-19 パイオニア株式会社 情報再生装置及び方法、情報再生用プログラム並びに情報記録媒体
US20060274949A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
KR20050111801A (ko) * 2005-11-14 2005-11-28 미쓰비시덴키 가부시키가이샤 화상 검색 방법, 화상 특징량 부호화 방법 및 화상 특징량복호 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335292A (zh) * 2015-08-13 2018-07-27 海信集团有限公司 一种场景切换中插入图片的方法
CN108335292B (zh) * 2015-08-13 2021-07-30 海信集团有限公司 一种场景切换中插入图片的方法

Also Published As

Publication number Publication date
KR100817989B1 (ko) 2008-03-31
GB2446276B (en) 2009-11-11
KR20070058955A (ko) 2007-06-11
KR100831132B1 (ko) 2008-06-10
US20110033115A1 (en) 2011-02-10
KR20070099513A (ko) 2007-10-09
JP2007158673A (ja) 2007-06-21
US20070127843A1 (en) 2007-06-07
US7853084B2 (en) 2010-12-14
JP4749139B2 (ja) 2011-08-17
GB2446276A (en) 2008-08-06
GB2438689B (en) 2009-04-01
GB0801593D0 (en) 2008-03-05
GB0614031D0 (en) 2006-08-23
GB2438689A (en) 2007-12-05

Similar Documents

Publication Publication Date Title
US11450109B2 (en) Systems and methods for generating bookmark video fingerprint
US9424882B2 (en) System and method for semantic trick play
CN1980331A (zh) 特征影像检测方法及装置、影像差异检测方法及装置
CN107534796A (zh) 检测视频节目的片段
US20140074855A1 (en) Multimedia content tags
US20080065693A1 (en) Presenting and linking segments of tagged media files in a media services network
CN111444415B (zh) 弹幕处理方法、服务器、客户端、电子设备及存储介质
CN108429782A (zh) 信息推送方法、装置、终端及服务器
TW200913714A (en) Video data producing method and device
CA2387404A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US20040250297A1 (en) Method, apparatus and system for providing access to product data
CN105847976A (zh) 一种根据面部特征跳过广告的方法和装置
US20140348491A1 (en) Method and apparatus for advertisement playout confirmation in digital cinema
US20210099772A1 (en) System and method for verification of video integrity based on blockchain
JP2007318688A (ja) 映像情報交換方法、サーバ装置、及びクライアント装置
US8306992B2 (en) System for determining content topicality, and method and program thereof
US20120137377A1 (en) Method and system for safeguarding digital objects consisting of digital assets
WO2016203469A1 (en) A digital media reviewing system and methods thereof
CN117676245B (zh) 一种上下文视频生成方法及装置
US20160088367A1 (en) Program event detection method, apparatus, and program data transmission system
KR101081308B1 (ko) 동영상 저작권 위반 판별방법 및 그것을 이용한 동영상 저작권 위반 판별장치
AU3512301A (en) Data management and distribution
FR2988255A1 (fr) Procede de teletransmission d&#39;un ensemble de donnees depuis un dispositif emetteur a destination d&#39;au moins un dispositif destinataire, dispositifs emetteur et destinataire associes.
WO2013135976A1 (fr) Procédé de télétransmission d&#39;un ensemble de données depuis un dispositif émetteur à destination d&#39;au moins un dispositif destinataire, dispositifs émetteur et destinataire associés

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication