JP2019139326A - コンテンツ判定装置、コンテンツ判定方法、及びプログラム - Google Patents

コンテンツ判定装置、コンテンツ判定方法、及びプログラム Download PDF

Info

Publication number
JP2019139326A
JP2019139326A JP2018019567A JP2018019567A JP2019139326A JP 2019139326 A JP2019139326 A JP 2019139326A JP 2018019567 A JP2018019567 A JP 2018019567A JP 2018019567 A JP2018019567 A JP 2018019567A JP 2019139326 A JP2019139326 A JP 2019139326A
Authority
JP
Japan
Prior art keywords
content
master
contents
feature
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018019567A
Other languages
English (en)
Other versions
JP6707305B2 (ja
Inventor
川西 隆仁
Takahito Kawanishi
隆仁 川西
永野 秀尚
Hidenao Nagano
秀尚 永野
柏野 邦夫
Kunio Kashino
邦夫 柏野
康智 大石
Yasutomo Oishi
康智 大石
薫 平松
Kaoru Hiramatsu
薫 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018019567A priority Critical patent/JP6707305B2/ja
Priority to PCT/JP2019/003946 priority patent/WO2019156043A1/ja
Priority to US16/967,384 priority patent/US11212572B2/en
Publication of JP2019139326A publication Critical patent/JP2019139326A/ja
Application granted granted Critical
Publication of JP6707305B2 publication Critical patent/JP6707305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543Billing, e.g. for subscription services
    • H04N21/2547Third Party Billing, e.g. billing of advertiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】クエリコンテンツの識別子を正確に判定する。【解決手段】コンテンツ判定装置100は、クエリコンテンツを入力する入力部2と、複数のマスタコンテンツを記憶する記憶部1と、複数のマスタコンテンツのうちの2つのマスタコンテンツの特徴値が互いに合致しない領域を判定し、2つのマスタコンテンツそれぞれの、領域の特徴値におけるクエリコンテンツの対応する領域における特徴値と合致する数である合致特徴数を算出し、マスタコンテンツそれぞれの合致特徴数に基づいてクエリコンテンツの識別子を判定するコンテンツ判定部4と、を備えることを特徴とする。【選択図】図1

Description

本発明は、コンテンツ判定装置、コンテンツ判定方法、及びプログラムに関する。
従来、データベースに記憶されている音響又は映像を示す信号から目的信号に最も近い信号を探索することが知られている。例えば、非特許文献1には、指定された音や映像の断片からなる目的信号と、データベースに蓄えられた音や映像の蓄積信号を時系列で数値化し、数値化された目的信号と蓄積信号の類似の度合である類似値を算出することによって、目的信号に最も類似した蓄積信号を探索することが記載されている。
川西 隆仁、外5名、"音楽や映像を特定するメディア指紋技術とその応用"、日本応用数理学会、応用数理 Vol.21(2011)、p.289−292
近年、テレビジョン放送等によって、様々な異なるコンテンツが提供されている。そこで、テレビジョン放送等によって提供されたコンテンツ(以下、「クエリコンテンツ」という)がテレビジョン放送によって提供された実績を分析するため、該コンテンツがあらかじめ記憶されている複数の既知のコンテンツ(以下、「マスタコンテンツ」という)のいずれであるかを正確に判定することが求められている。特に、所定のフレーム区間において音響又はフレーム内の一部の映像が異なる、バージョン違いのコマーシャルのコンテンツが提供されることがある。この場合、テレビジョン放送等によって提供されたコンテンツのバージョンが、複数の既知のコンテンツのバージョンのいずれであるかを正確に判定することが求められている。
しかし、複数のマスタコンテンツ、及びクエリコンテンツの1つ以上にノイズが含まれることがある。また、マスタコンテンツにおける他のマスタコンテンツと異なる部分がコンテンツ全体に対して微少であることがある。この場合、マスタコンテンツのクエリコンテンツに対する類似値がノイズに影響を受けた値となり、クエリコンテンツがいずれのマスタコンテンツであるかを類似値に基づいて正確に判定することができない場合がある。
かかる事情に鑑みてなされた本発明の目的は、クエリコンテンツの識別子を正確に判定することができるコンテンツ判定装置、コンテンツ判定方法、及びプログラムを提供することにある。
上記の課題を解決するため、本発明に係るコンテンツ判定装置は、クエリコンテンツを入力する入力部と、複数のマスタコンテンツを記憶する記憶部と、前記複数のマスタコンテンツのうちの2つのマスタコンテンツの特徴値が互いに合致しない領域を判定し、前記2つのマスタコンテンツそれぞれの、前記領域の特徴値における前記クエリコンテンツの対応する領域における特徴値と合致する数である合致特徴数を算出し、前記マスタコンテンツそれぞれの前記合致特徴数に基づいて前記クエリコンテンツの識別子を判定するコンテンツ判定部と、を備えることを特徴とする。
また、本発明に係るコンテンツ判定方法は、コンテンツ判定装置が実行するコンテンツ判定方法であって、クエリコンテンツを入力するステップと、複数のマスタコンテンツを記憶するステップと、前記複数のマスタコンテンツのうちの2つのマスタコンテンツにおける前記特徴値が互いに合致しない領域を判定し、前記2つのマスタコンテンツそれぞれの、前記領域の特徴値の、前記クエリコンテンツの対応する領域に合致する特徴値の数であるである合致特徴数を算出し、前記マスタコンテンツそれぞれの前記合致特徴数に基づいて前記クエリコンテンツの識別子を判定するステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、上記のコンテンツ判定装置としてコンピュータを機能させることを特徴とする。
本発明によれば、クエリコンテンツの識別子を正確に判定することができる。
本発明の第1の実施形態に係るコンテンツ判定装置の構成例を示すブロック図である。 複数のマスタコンテンツそれぞれに含まれる固有部分の一例を示す図である。 記憶部に記憶されているN種類のマスタコンテンツを示す概念図である。 ノイズを含むクエリコンテンツ及びマスタコンテンツを示す概念図である。 3つの区間から構成されるクエリコンテンツ及びマスタコンテンツを示す概念図である。 本発明の第1の実施形態に係るコンテンツ判定方法の一例を示すフローチャートである。 マスタコンテンツの順位を決定する処理の詳細を示すフローチャートである。 本発明の第2の実施形態に係るコンテンツ判定装置の構成例を示すブロック図である。 本発明の第2の実施形態に係るコンテンツ判定方法の一例を示すフローチャートである。 本発明の第3の実施形態に係るコンテンツ判定装置の構成例を示すブロック図である。 コンテンツにおける音量の時系列データを示す図である。 候補区間及びカット点について説明するための図である。 判定部による境界系列の判定の一例を説明するための図である。 判定部によるコマーシャル境界の判定の一例を説明するための図である。 カット点が抽出されなかった候補区間について説明するための図である。 カット点が抽出されなかった候補区間におけるコマーシャル境界の判定の例を説明するための図である。 本発明の第3の実施形態に係るコマーシャル境界判定方法においてコンテンツ取得部が実行する方法の一例を示すフローチャートである。
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本実施形態に係るコンテンツ判定装置100の構成例を示す図である。図1に示すように、コンテンツ判定装置100は、記憶部1と、入力部2と、マスタ順位決定部3と、コンテンツ判定部4と、出力部5とを備える。
記憶部1は、複数のマスタコンテンツを記憶する。以降において、記憶部1には、N種類(Nは2以上の整数)のマスタコンテンツが記憶されているとする。マスタコンテンツは映像及び音響から構成されるデータであり、例えば宣伝及び広告を目的とするコマーシャルコンテンツである。また、記憶部1は、マスタコンテンツを一意に識別するための識別子に関連付けてマスタコンテンツを記憶する。例えば、複数のマスタコンテンツは、所定以上の割合において同一の画像及び音声によって構成され、一部のみにおいて異なる映像及び音声から構成されるバージョン違いのコンテンツであってもよい。これに限られず、複数のマスタコンテンツは、互いに全く異なる映像及び音声から構成されるコンテンツであってもよい。
記憶部1に記憶されるN種類のマスタコンテンツは、例えば、図2に示すように、所定のフレーム区間においてフレーム内の、少なくとも一部の映像が互いに異なる。この異なる部分を、以下、「固有部分」という。固有部分は、コンテンツの製作者によって、コンテンツを構成する映像に含められる。なお、固有部分は、図2に示す例に限られるものではなく、所定のフレーム区間における音響であってもよい。
図3に示すように、各マスタコンテンツは複数の区間によって構成される。(t−1)秒からt秒までに再生される区間を第t区間とする(tは自然数)。各マスタコンテンツには、所定区間(図3の例では第15区間)のみにおいてそれぞれ異なる固有部分が含まれる。この場合、所定区間以外の、各区間における類似値(以下、「区間類似値」という)は、所定区間における類似値より高い。区間類似値は、各コンテンツの各区間が該区間に対応するクエリコンテンツの区間と類似している度合いを示す指標である。区間類似値は、例えば、音響信号又は映像信号の周波数軸と時間軸とからなるスペクトログラムから抽出した特徴を用いる分割一致探索法(DAL(Divide And Locate Method)法)によって算出される。区間類似値は、BAM(Binary Area Matching)法又はCAM(Coarsely-quantized Area Matching)法によって、それぞれ音響信号及び映像信号の周波数軸と時間軸とからなるスペクトログラムから抽出した特徴を用いて算出されてもよい。区間類似値は、これに限られず、映像又は音響から構成されるコンテンツの類似の度合を算出する任意の方法によって算出されてもよい。図3に示す例では、各マスタコンテンツの第15区間に固有部分が含まれる。この場合、第1区間から第14区間までの各区間類似値は、第15区間における区間類似値より高い。
図1に戻って、入力部2はクエリコンテンツを入力する。
マスタ順位決定部3は、複数のマスタコンテンツそれぞれの、クエリコンテンツに対する類似値に基づいて各マスタコンテンツの順位を決定する。一例として、マスタ順位決定部3は、記憶部1に記憶されているN種類のマスタコンテンツそれぞれの全体類似値を類似値として算出する。そして、マスタ順位決定部3は、全体類似値に基づいて各マスタコンテンツの順位を決定する。全体類似値は、マスタコンテンツのクエリコンテンツに対する全体的な類似の度合を示す値であり、該マスタコンテンツにおける各区間で算出された区間類似値の最小値である。
具体的には、マスタ順位決定部3は、N種類のマスタコンテンツそれぞれの区間類似値を算出する。例えば、図3に示したように、各マスタコンテンツが第1区間から第15区間までで構成される場合、マスタ順位決定部3は、各マスタコンテンツの第1区間から第15区間それぞれと、クエリコンテンツの第1区間から第15区間それぞれとの区間類似値を算出する。そして、マスタ順位決定部3は、各マスタコンテンツにおける区間類似値の最小値を全体類似値として算出する。さらに、マスタ順位決定部3は、N種類のマスタコンテンツのうち全体類似値が小さいほど順位が高く(順位を示す数字が小さく)なるようにマスタコンテンツの順位を決定する。
上述したように、記憶部1に記憶されているN種類のマスタコンテンツの所定区間のみに固有部分が含まれる。したがって、クエリコンテンツと異なるマスタコンテンツにおける所定区間の区間類似値は、クエリコンテンツに対応するマスタコンテンツにおける所定区間の区間類似値より低くなる。また、クエリコンテンツと異なるマスタコンテンツにおける所定区間の区間類似値は、所定区間以外の区間類似値より低くなる。このため、マスタ順位決定部3によって算出された、各マスタコンテンツの区間類似値のうち最も低い区間類似値が該マスタコンテンツの特徴を良く示すと考えられる。したがって、従来の技術においては、マスタ順位決定部3は、各マスタコンテンツの最も低い区間類似値を全体類似値として算出し、該全体類似値が最も大きいマスタコンテンツがクエリコンテンツに対応すると判定していた。
しかし、実際には、図4に示すように、各コンテンツそれぞれには、いくつかの区間のいくつかの領域にノイズが含まれることがある。領域は、BAM法及びCAM法では、領域は、音声信号及び画像信号の急激な変化を特徴化した特徴値に対応する領域である。特徴値は、例えば、周波数軸と時間軸とからなるスペクトログラムから抽出した特徴を示す符号、数値等である。さらに、クエリコンテンツにもいくつかの区間のいくつかの領域にノイズが含まれることがある。このノイズは、例えば、テレビ放送によってコンテンツが提供される前にテレビ局によってエンコードされるときに発生する。また、複数のテレビ局それぞれでエンコードの方法が異なる。そのため、同一のコンテンツがテレビ放送によって提供されても、それぞれのコンテンツに含まれるノイズは異なることがある。また、同一のテレビ局から提供された異なるコンテンツの同じ区間の同じ領域に同じノイズが含まれることもある。
このため、マスタ順位決定部3による区間類似値の算出にあたって、クエリコンテンツに対応するマスタコンテンツの、固有部分を含まない区間の区間類似値が、ノイズに起因して低く算出されることがある。また、固有部分のコンテンツ全体に対する割合は微小(例えば5%以下)であることが多い。このため、クエリコンテンツとは異なるマスタコンテンツにおける固有部分に起因して算出される区間類似値より、クエリコンテンツに対応するマスタコンテンツにおけるノイズに起因して算出される区間類似値の方が低くなることがある。その結果、クエリコンテンツとは異なるマスタコンテンツの全体類似値が最も大きくなり、クエリコンテンツに対応するマスタコンテンツが正確に判定されないことがある。
このような誤った判定を防ぐために、コンテンツ判定部4は以降で詳細に説明するようにクエリコンテンツの識別子を判定する。コンテンツ判定部4は、非合致判定部41と、合致特徴数算出部42と、判定部43とを備える。
非合致判定部41は、N種類のマスタコンテンツのうち、2つのマスタコンテンツの対応する区間の対応する領域における特徴値が合致するか否かを判定する。
具体的には、非合致判定部41は、マスタ順位決定部3によって決定された順位に基づく順番でマスタコンテンツの特徴値のうち、クエリコンテンツの特徴値と合致する数である合致特徴数を判定する。例えば、非合致判定部41は、まず、最も順位の高いマスタコンテンツと次に順位の高いマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。その後、判定部43によって後述するように候補マスタコンテンツが判定されると、非合致判定部41は、候補マスタコンテンツと、まだ特徴値が合致しない領域の判定の対象となっていないマスタコンテンツのうち最も順位の高いマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。非合致判定部41は、N種類のマスタコンテンツの全てについて、特徴値が合致しない領域の判定の対象となるまでこれを繰り返す。
図5に示す例では、説明を簡易にするために、各マスタコンテンツ及びクエリコンテンツはそれぞれ第1〜第3区間で構成され、各区間の映像には第1〜第5領域が含まれる。また、ノイズはそれぞれ異なるノイズである。また、クエリコンテンツが含む固有部分は、第2位のマスタコンテンツの固有部分と同じであり、第3区間の第3及び第4領域に含まれる。なお、上述のように、N種類のマスタコンテンツがそれぞれ含む固有部分は異なる。この場合、非合致判定部41は、まず、第1位のマスタコンテンツと第2位のマスタコンテンツの第1区間における第1領域の特徴値が互いに合致すると判定する。また、非合致判定部41は、第1位のマスタコンテンツと第2位のマスタコンテンツとの第1区間における第2領域の特徴値が合致しない(図5の(1)参照)と判定する。同様にして、非合致判定部41は、第1区間の第5領域(図5の(2)参照)、第2区間の第3領域(図5の(3)参照)及び第5領域(図5の(4)参照)、並びに第3区間の第3〜5領域(図5の(5)及び(6)参照)の特徴値が合致しないと判定する。
合致特徴数算出部42は、非合致判定部41によって判定された2つのマスタコンテンツそれぞれの合致特徴数を算出する。合致特徴数は、非合致判定部41によって判定された互いに合致しない特徴値のうち、該特徴値に対応するクエリコンテンツの特徴値と合致する特徴値の数である。
合致特徴数算出部42は、まず、上述のように最も順位の高い(第1位の)マスタコンテンツ、及び次に順位の高い(第2位の)マスタコンテンツにおいて互いに合致しなかった特徴値に基づいて、最も順位の高いマスタコンテンツ、及び次に順位の高いマスタコンテンツの合致特徴数をそれぞれ算出する。図5に示す例では、合致特徴数算出部42は、第1位のマスタコンテンツと第2位のマスタコンテンツとの特徴値が互いに合致しない領域である第1区間の第2及び第5領域、第2区間の第3及び第5領域、並びに第3区間の第3〜5領域のそれぞれにおいて、第1位のマスタコンテンツ及び第2位のマスタコンテンツの特徴値それぞれがクエリコンテンツの対応する領域の特徴値に合致するか否かを判定する。この場合、合致特徴数算出部42は、第1位のマスタコンテンツが、第2区間の第3領域、及び第3区間の第5領域の特徴値がクエリコンテンツの特徴値に合致すると判定する。これにより、合致特徴数算出部42は、第1位のマスタコンテンツの合致特徴数を「2」と算出する。同様にして、合致特徴数算出部42は、第2位のマスタコンテンツが、第2区間の第5領域、並びに第3区間の第3及び第4領域でクエリコンテンツに合致すると判定する。これにより、合致特徴数算出部42は、第2位のマスタコンテンツ合致特徴数を「3」と算出する。
判定部43は、合致特徴数算出部42によって算出された合致特徴数に基づいて、クエリコンテンツの識別子を判定する。具体的には、判定部43は、最も順位の高いマスタコンテンツと、次に順位の高いマスタコンテンツとそれぞれの合致特徴数の大きい方のマスタコンテンツを候補マスタコンテンツと判定する。そして、判定部43は、候補マスタコンテンツと、特徴値が互いに合致しない領域が判定されていないマスタコンテンツのうち最も順位の高いマスタコンテンツと対応する区間の対応する領域において特徴値が合致しない領域を判定し、該領域に基づいて合致特徴数の大きい方のマスタコンテンツを新たな候補マスタコンテンツと判定することを繰り返す。そして、判定部43は、最後に判定された候補マスタコンテンツの識別子がクエリコンテンツの識別子であると判定する。
図5に示す例では、第1位のマスタコンテンツの合致特徴数が「2」と算出され、第2位のマスタコンテンツ合致特徴数が「3」と算出されたため、判定部43は、第2位のマスタコンテンツを第1候補マスタコンテンツと判定する。
次に、非合致判定部41は、第1候補マスタコンテンツと第3位のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。そして、合致特徴数算出部42は、第1候補マスタコンテンツにおける該領域の特徴値が、対応するクエリコンテンツの特徴値に合致するか否かに基づいて、第1候補マスタコンテンツの合致特徴数を算出する。また、合致特徴数算出部42は、第3位のマスタコンテンツの該領域の特徴値が、対応するクエリコンテンツの特徴値に合致するか否かに基づいて、第1候補マスタコンテンツの合致特徴数を算出する。そして、判定部43は、第1候補マスタコンテンツ及び第3位のマスタコンテンツのうち合致特徴数が大きい方のコンテンツを新たな候補マスタコンテンツである第2候補マスタコンテンツと判定する。さらに非合致判定部41、合致特徴数算出部42、及び判定部43は上述の処理を繰り返し、全てのマスタコンテンツを対象とする処理を終えた時点での候補マスタコンテンツの識別子がクエリコンテンツの識別子であると判定する。
すなわち、コンテンツ判定部4は、第1位のマスタコンテンツと第2位のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。そして、コンテンツ判定部4は第1位のマスタコンテンツ及び第2位のマスタコンテンツそれぞれの該領域に基づいて合致特徴数を算出する。そして、コンテンツ判定部4は、該合致特徴数の大きい方のマスタコンテンツが第1候補マスタコンテンツであると判定する。次に、コンテンツ判定部4は、k=1〜(N−2)まで順に、第k候補マスタコンテンツと第(k+2)位のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。そして、コンテンツ判定部4は、第k候補マスタコンテンツ及び第(k+2)位のマスタコンテンツそれぞれの合致特徴数を算出する。そして、コンテンツ判定部4は、合致特徴数が大きい方のコンテンツを新たな候補マスタコンテンツである第(k+1)候補マスタコンテンツと判定する。コンテンツ判定部4は、k=N−2のときに判定された第(k+1)候補マスタコンテンツ、すなわち第(N−1)候補マスタコンテンツの識別子がクエリコンテンツの識別子であると判定する。
さらに言い換えれば、コンテンツ判定部4は、最も順位の高いマスタコンテンツと、次に順位の高いマスタコンテンツと対応する区間の対応する領域において特徴値が合致しない領域を判定し、該領域に基づいて合致特徴数の大きい方のマスタコンテンツを候補マスタコンテンツと判定する。さらに、コンテンツ判定部4は、候補マスタコンテンツと、特徴値が互いに合致しない領域が判定されていないマスタコンテンツのうち最も順位の高いマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定し、該領域の特徴量に基づいて合致特徴数の高いマスタコンテンツを新たな候補マスタコンテンツと判定する。コンテンツ判定部4は、これを繰り返し、最後に判定された候補マスタコンテンツの識別子がクエリコンテンツの識別子であると判定する。
出力部5は、コンテンツ判定部4によって判定されたクエリコンテンツの識別子を他の装置に通信ネットワークを介して出力する。
次に、第1の実施形態のコンテンツ判定装置100によるコンテンツ判定方法について、図6を参照して説明する。図6は、コンテンツ判定方法の一例を示すフローチャートである。
まず、入力部2により、テレビジョン放送等によって提供されたクエリコンテンツを入力する(ステップS11)。
次に、マスタ順位決定部3により、クエリコンテンツに対する全体類似値が小さいほど順位が高くなるように、N種類のマスタコンテンツの順位を決定する(ステップS12)。
ここで、マスタ順位決定部3による順位の決定の詳細について図7を参照して説明する。
まず、マスタ順位決定部3により、マスタコンテンツの各区間における、クエリコンテンツの対応する各区間との区間類似値を算出する(ステップS121)。
次に、マスタ順位決定部3により、全ての区間について区間類似値が算出されたか否かを判定する(ステップS122)。
ステップS122で全ての区間について区間類似値が算出されていないと判定されると、マスタ順位決定部3により、ステップS121に戻って、残りの区間の区間類似値を算出する。ステップS122で全ての区間について区間類似値が算出されたと判定されると、マスタ順位決定部3により、マスタコンテンツの区間類似値の最小値を全体類似値として算出する(ステップS123)。
次に、マスタ順位決定部3により、全てのマスタコンテンツの全体類似値が算出されたか否かを判定する(ステップS124)。
ステップS124で全てのマスタコンテンツの全体類似値が算出されていないと判定されると、ステップS121に戻って残りのマスタコンテンツの全体類似値を算出する。ステップS124で全てのマスタコンテンツの全体類似値が算出されたと判定されると、マスタ順位決定部3により、N種類のマスタコンテンツのうち全体類似値が小さいほど順位が高くなるようにマスタコンテンツの順位を決定する(ステップS125)。
再び図6を参照して、非合致判定部41により、第1位のマスタコンテンツと第2位のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する(ステップS13)。
次に、合致特徴数算出部42により、ステップS13で判定された領域の特徴値に基づいて、第1位のマスタコンテンツの合致特徴数を算出する(ステップS14)。
次に、合致特徴数算出部42により、ステップS13で判定された領域の特徴値に基づいて、第2位のマスタコンテンツの合致特徴数を算出する(ステップS15)。なお、合致特徴数算出部42によりステップS15の処理を行ってからステップS14の処理を行ってもよい。
次に、ステップS14及びステップS15で算出された合致特徴数の大きい方のマスタコンテンツを第1候補マスタコンテンツと判定する(ステップS16)。
次に、非合致判定部41により、k=1とする(ステップS17)。
次に、非合致判定部41により、第k候補マスタコンテンツと第(k+2)位のマスタコンテンツとにおける対応する区間の対応する領域において特徴値が合致しない領域を判定する(ステップS18)。
次に、合致特徴数算出部42により、ステップS18で判定された領域の特徴値に基づいて、第k候補マスタコンテンツの合致特徴数を算出する(ステップS19)。
次に、合致特徴数算出部42により、ステップS18で判定された領域の特徴値に基づいて、第(k+2)位のマスタコンテンツの合致特徴数を算出する(ステップS20)。なお、合致特徴数算出部42によりステップS20の処理を行ってからステップS19の処理を行ってもよい。
次に、判定部43により、ステップS19及びステップS20で算出された合致特徴数のうち大きい方のマスタコンテンツを第(k+1)候補マスタコンテンツと判定する(ステップS21)。
次に、判定部43により、k=(N−2)であるか否かを判定する(ステップS22)。
ステップS22でk=(N−2)でないと判定されると、判定部43により、k=k+1とし(ステップS23)、ステップS18に戻って、非合致判定部41及び合致特徴数算出部42によりステップS21までの処理を繰り返す。
ステップS22でk=(N−2)であると判定されると、判定部43により、第(k+1)候補マスタコンテンツであるマスタコンテンツの識別子がクエリコンテンツの識別子であると判定する(ステップS24)。
次に、出力部5により、ステップS24で判定されたクエリコンテンツの識別子を他の装置に出力する(ステップS25)。
なお、上述したコンテンツ判定装置100として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コンテンツ判定装置100の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROMなどの記録媒体であってもよい。
以上説明したように、第1の実施形態によれば、コンテンツ判定装置100は、複数のマスタコンテンツのうちの2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定し、2つのマスタコンテンツそれぞれの合致特徴数を算出し、該合致特徴数に基づいてクエリコンテンツの識別子を判定する。したがって、コンテンツ判定装置100は、複数のマスタコンテンツ及びクエリコンテンツのいずれか1つ以上にノイズが含まれている場合も正確にクエリコンテンツの識別子を判定することができる。
仮に3つ以上のマスタコンテンツのいずれかが合致しない特徴値に基づいて、合致特徴数が判定される場合、2つのマスタコンテンツにおける判定に比べて、多数の領域において特徴値が合致しないと判定されることになる。この場合、これらの多数の領域の特徴値それぞれに基づいて合致特徴数が算出されると、該合致特徴数の、固有部分における特徴値に起因する割合が低くなる。これに伴い、該合致特徴数の、固有部分以外の特徴値に含まれるノイズに起因する割合が相対的に高くなり、クエリコンテンツの識別子を正確に判定することができないという不都合が発生しうる。しかし、第1の実施形態のコンテンツ判定装置100においては、2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定するため、合致特徴数は、固有部分における特徴値に起因する割合が高くなりマスタコンテンツを正確に判定することができる。
また、仮に3つ以上のマスタコンテンツ全てで合致しない特徴値に基づいて、合致特徴数が判定される場合、N種類のマスタコンテンツにおいて少なくとも2つのマスタコンテンツに固有部分が含まれている領域が2つ以上あると、固有部分が含まれる領域において特徴値が合致すると判定されることがある。したがって、マスタコンテンツを特徴付ける固有部分において合致特徴数の算出がされず、クエリコンテンツの識別子を正確に判定することができないという不都合が発生しうる。しかし、第1の実施形態のコンテンツ判定装置100においては、2つのマスタコンテンツを用いて判定するため、特徴値が合致しない領域が適切に判定されないことによってマスタコンテンツが正確に判定されないという問題を回避することができる。
なお、発明者らによる検証実験において、コンテンツ判定装置100は、記憶部1が5719種類のマスタコンテンツを記憶している場合において、総計480時間の再生時間を有するコンテンツの識別子を判定した。その結果、再現率は98.6%であり、適合率は98.7%であった。これに対して、従来のように、区間類似値の最小値である全体類似値の最も大きいマスタコンテンツの識別子がクエリコンテンツの識別子であると判定した場合、再現率は98.1%であり、適合率は98.3%であった。すなわち、第1の実施形態のコンテンツ判定装置100は従来に比べて正確にクエリコンテンツの識別子を判定することが検証された。
また、第1の実施形態によれば、コンテンツ判定装置100は、複数のマスタコンテンツそれぞれの全体類似値に基づいて各マスタコンテンツの順位を決定し、該順位に従って候補コンテンツを判定する。これにより、全体類似値の大きいマスタコンテンツであるほど該判定の対象となる回数が少なく、最終的に候補マスタコンテンツとされる可能性が高くなる。したがって、コンテンツ判定装置100は、合致特徴数のみではなく全体類似値によって決定された順位にも基づいて識別子を判定することとなる。これにより、コンテンツ判定装置100は、さらに正確に識別子を判定することができる。
また、第1の実施形態によれば、コンテンツ判定装置100は、候補マスタコンテンツと、特徴値が合致しない領域が判定されていないマスタコンテンツのうち最も順位の高いマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定し、それぞれの合致特徴数を算出し、該合致特徴数の大きい方のマスタコンテンツを新たな候補マスタコンテンツと判定することを繰り返す。このため、コンテンツ判定装置100は、全ての組合せの2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定する必要がない。すなわち、コンテンツ判定装置100は、全ての組合せの数である通りの2つのマスタコンテンツに対して判定を行う必要はなく、(N−1)通りの2つのマスタコンテンツに対して判定を行えばよい。また、コンテンツ判定装置100は、通りの組合せで2つのマスタコンテンツの合致特徴数を算出する必要はなく、(N−1)通りの組合せで2つのマスタコンテンツの合致特徴数を算出すればよい。したがって、コンテンツ判定装置100は少ない処理負荷でクエリコンテンツの識別子を判定することができる。
また、第1の実施形態において、コンテンツ判定部4は、マスタ順位決定部3によって決定された順位に基づく順番で2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定し、該2つのマスタコンテンツそれぞれの合致特徴数を算出したが、この限りではない。例えば、コンテンツ判定部4は、任意の順番で2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定し、該2つのマスタコンテンツそれぞれの合致特徴数を算出してもよい。
また、第1の実施形態において、コンテンツ判定部4は、N種類のマスタコンテンツの全てについて他のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定し、該2つのマスタコンテンツそれぞれの合致特徴数を算出したが、この限りではない。例えば、コンテンツ判定部4は、マスタ順位決定部3によって決定された最も全体類似値が大きい2つのマスタコンテンツ、すなわち第N位のマスタコンテンツと第(N−1)位のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定し、該領域に基づいて算出した合致特徴数の大きい方のマスタコンテンツの識別子がクエリコンテンツの識別子であると判定してもよい。
(第2の実施形態)
次に、本発明の第2の実施形態について、図面を参照して説明する。
図8は、第2の実施形態に係るコンテンツ判定装置200の構成例を示す図である。図8に示すように、コンテンツ判定装置200は、記憶部1と、入力部2と、コンテンツ判定部4と、出力部5とを備える。コンテンツ判定装置200は、マスタ順位決定部3を備えず、この点で第1の実施形態のコンテンツ判定装置100と異なる。なお、第1の実施形態と同様の構成ブロックについては同一の参照符号を付して、適宜、説明を省略する。
第2の実施形態において、非合致判定部41は、N種類のマスタコンテンツから抽出した2つのマスタコンテンツの組合せ全てについて、一方のマスタコンテンツと他方のマスタコンテンツとの対応する区間の対応する領域において特徴値が合致しない領域を判定する。合致特徴数算出部42は、2つのマスタコンテンツの組合せ全てそれぞれについて、2つのマスタコンテンツの合致特徴数を算出する。
したがって、非合致判定部41及び合致特徴数算出部42は、通りの判定を行うことになる。例えば、記憶部1に4種類のマスタコンテンツが記憶されている場合、非合致判定部41は、マスタコンテンツ1とマスタコンテンツ2とにおいて特徴値が互いに合致しない領域A12を判定する。そして、合致特徴数算出部42は、マスタコンテンツ1の領域A12の特徴値とクエリコンテンツの領域A12に対応する領域の特徴値とに基づいて、マスタコンテンツ1の合致特徴数を算出する。さらに、合致特徴数算出部42は、マスタコンテンツ2の領域A12の特徴値とクエリコンテンツのA12に対応する領域の特徴値とに基づいて、マスタコンテンツ2の合致特徴数を算出する。
同様にして、非合致判定部41及び合致特徴数算出部42は、マスタコンテンツ1とマスタコンテンツ3との組合せについて特徴値が互いに合致しない領域A13を判定し、領域A13に基づいてマスタコンテンツ1及びマスタコンテンツ3それぞれの合致特徴数を算出する。さらに、非合致判定部41及び合致特徴数算出部42は、マスタコンテンツ1とマスタコンテンツ4との組合せ、マスタコンテンツ2とマスタコンテンツ3との組合せ、マスタコンテンツ2とマスタコンテンツ4との組合せ、マスタコンテンツ3とマスタコンテンツ4との組合せに対してそれぞれ同様の処理を行う。
判定部43は、合致特徴数算出部42によって算出された合致特徴数が最大であるマスタコンテンツの識別子が、クエリコンテンツの識別子であると判定する。
次に、第2の実施形態のコンテンツ判定装置200によるコンテンツ判定方法について、図9を参照して説明する。図9は、コンテンツ判定方法の一例を示すフローチャートである。
まず、入力部2により、テレビジョン放送等によって提供されたクエリコンテンツを入力する(ステップS31)。
次に、非合致判定部41により、2つのマスタコンテンツにおける特徴値が互いに合致しない領域を判定する(ステップS32)。
次に、合致特徴数算出部42により、一方のマスタコンテンツの合致特徴数を算出する(ステップS33)。
次に、合致特徴数算出部42により、他方のマスタコンテンツの合致特徴数を算出する(ステップS34)。
次に、合致特徴数算出部42により、全てのマスタコンテンツの組合せについて合致特徴数が算出されたか否かを判定する(ステップS35)。
ステップS35で全てのマスタコンテンツの組合せについて合致特徴数が算出されていないと判定されると、ステップS32に戻って、非合致判定部41及び合致特徴数算出部42によりステップS34までの処理を繰り返す。
ステップS35で全てのマスタコンテンツの組合せについて合致特徴数が算出されたと判定されると、判定部43により合致特徴数が最大のマスタコンテンツの識別子がクエリコンテンツの識別子であると判定する(ステップS36)。
次に、出力部5により、ステップS36で判定された識別子を他の装置に出力する(ステップS37)。出力部5により、ステップS36で判定されたマスタコンテンツを他の装置に出力してもよい。
なお、上述したコンテンツ判定装置200として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コンテンツ判定装置200の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROMなどの記録媒体であってもよい。
以上説明したように、第2の実施形態によれば、コンテンツ判定装置200は、N種類のマスタコンテンツのうちの2つのマスタコンテンツにおいて特徴値が互いに合致しない領域を判定し、該2つのマスタコンテンツそれぞれの合致特徴数を算出する。そして、コンテンツ判定装置200は、N種類のマスタコンテンツの全ての組合せにより算出したマスタコンテンツそれぞれの合致特徴数に基づいてクエリコンテンツの識別子を判定する。したがって、コンテンツ判定装置200は、第1の実施形態のコンテンツ判定装置100よりさらに正確にクエリコンテンツの識別子を正確に判定することができる。
(第3の実施形態)
次に、本発明の第3の実施形態について、図面を参照して説明する。
図10は、第3の実施形態に係るコンテンツ判定装置300の構成例を示す図である。図10に示すように、コンテンツ判定装置300は、記憶部1と、入力部2と、コンテンツ判定部4と、出力部5とを備える。コンテンツ判定装置200は、さらにコンテンツ取得部6を備え、この点で第1の実施形態のコンテンツ判定装置100と異なる。なお、第1の実施形態と同様の構成ブロックについては同一の参照符号を付して、適宜、説明を省略する。
第3の実施形態において、入力部2は、任意のコンテンツを取得する。入力部2によって入力されるコンテンツは、テレビ放送によって受信した、複数のコマーシャル及び番組を連続的に含むコンテンツであってよい。
コンテンツ取得部6は、入力部2によって入力されたコンテンツからクエリコンテンツを取得する。例えば、入力部2によって、複数のコマーシャル及び番組を連続的に含むコンテンツからコマーシャルの部分のコンテンツをクエリコンテンツとして取得する。コンテンツ取得部6は、音量算出部61と、コマーシャル検出部62と、候補区間決定部63と、カット点抽出部64と、取得部65とを備える。
音量算出部61は、図11に示すように入力部11によって入力されたコンテンツの時系列での音量を算出する。
コマーシャル検出部62は、音量算出部61によって算出された音量の時系列データから所定時間(例えば0.1秒)以上、音量が音量閾値未満となる時間帯(以下、「低音量区間」という)を判定する。そして、コマーシャル検出部62は、低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する。コマーシャル規定長は、1つのコマーシャルが再生される時間であり、例えば、15秒、30秒、45秒等である。
候補区間決定部63は、コマーシャル検出部62によって検出されたコマーシャルの両端の低音量区間を含む時間帯を候補区間と決定する。例えば、候補区間決定部63は、低音量区間の開始時点から所定時間(例えば、0.5秒)前の時点以降で、低音量区間の終了時点から所定時間(例えば、0.5秒)後の時点までの時間帯を候補区間と決定する。なお、上述のように、コマーシャル検出部62は、低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する。そのため、候補区間に含まれる低音量区間は、低音量区間のうち、該低音量区間の任意の時点が所定の時間間隔で離れて存在する低音量区間のみとなる。
カット点抽出部64は、候補区間決定部63によって決定された複数の候補区間Tk(k=1〜n(nは2以上の整数)それぞれからC_k(0以上の整数)個のカット点を抽出する。カット点は、候補区間の映像を構成する複数のフレームのうち、変化量が画素変化閾値以上であるフレームの再生時点である。変化量は、各フレームの画素値と、該各フレームの前フレームの画素値との差分又は比に基づく値である。例えば、変化量は、各フレームを構成する各画素の画素値と、各フレームの各画素にそれぞれ対応する、前フレームの画素の画素値との差分に基づく値であってもよい。差分に基づく値とは、例えば、各画素についての差分の絶対値の和、平均値、若しくは中央値、又は差分の二乗平均値である。また、変化量は、一のフレームと、該一のフレームの前フレームとの画素の平均値の比であってもよい。再生時点は、コンテンツが始めから再生される場合の開始を基準時点としたときの、該基準時点からの経過時間である。カット点抽出部64は、変化量が画素変化閾値以上であるフレームの再生時点をカット点として抽出する。例えば、カット点抽出部64は、変化量の比及び差それぞれが画素変化閾値以上であるフレームの再生時点をカット点としてもよい。なお、実験においては、各候補区間Tkから6〜8個のカット点が検出されることが多い。
図12に示した例では、カット点抽出部64は、候補区間T1からC_1個(図12では2個)のカット点を抽出し、候補区間T2からC_2個(図12では3個)のカット点を抽出し、候補区間T3からC_3個(図12では1個)のカット点を抽出する。同様にして、カット点抽出部64は、候補区間Tk(kは自然数)からC_k個のカット点を抽出する。
取得部65は、カット点に基づいてコマーシャル境界を判定し、隣接するコマーシャル境界の間にあるコマーシャルをクエリコンテンツとして取得する。コマーシャル境界は、コンテンツにおける2つの連続したコマーシャルの区切りとなる時点、及び番組とコマーシャルとの区切りとなる時点である。
具体的には、取得部65は、1個以上のカット点をそれぞれ含む複数の候補区間それぞれから1個のカット点を選択する。取得部65は、カット点系列Sjそれぞれに含まれるカット点に基づいてコマーシャル境界を判定する。カット点系列Sjは、複数の候補区間それぞれから選択されたカット点の組み合わせであり、カット点系列Sjの全数Callは式(1)に示すとおりである。なお、候補区間Tkにおいてカット点が検出されなかった場合、C_k=1とする。
Call=C_1×C_2×・・・×C_k×・・・×C_n (1)
具体的には、取得部65は、カット点系列Sjそれぞれに含まれるカット点の隣接カット点時間とコマーシャル規定長とに基づいてコマーシャル境界を判定する。隣接カット点時間は、各候補区間のカット点と前の候補区間のカット点との間の時間である。
さらに具体的には、取得部65は、各隣接カット点時間とコマーシャル規定長との差を算出する。取得部65は、ノイズの影響を加味して、該差が時間差閾値未満である数(以下、「一致数」という)をカット点系列Sjごとに算出する。時間差閾値は、例えば、コンテンツの映像の所定フレーム数が再生される時間である。所定フレーム数は、例えば、2フレームである。コンテンツの映像のフレームレートが30fpsである場合、2フレームが再生される時間、すなわち時間差閾値は(2/30)秒である。
一例として、図13に示すように、候補区間決定部63が3つの候補区間T1〜T3を決定し、カット点抽出部64が、候補区間T1から2個のカット点P11及びP12、候補区間T2から3個のカット点P21、P22、及びP23、並びに候補区間T3から1個のカット点P31を抽出した場合について説明する。
図13に示す例では、カット点系列Sjの全数CallはC_1×C_2×C_3=2×3×1=6個である。カット点系列S1は、カット点P11、カット点P21、及びカット点P31の組合せで構成される系列である。カット点系列S2は、カット点P11、カット点P22、及びカット点P31の組合せで構成される系列である。カット点系列S4は、カット点P11、カット点P23、及びカット点P31の組合せで構成される系列である。カット点系列S4は、カット点P12、カット点P21、及びカット点P31の組合せで構成される系列である。カット点系列S5は、カット点P12、及びカット点P22、及びカット点P31の組合せで構成される系列である。カット点系列S6は、カット点P12、カット点P23、及びカット点P31の組合せで構成される系列である。
取得部65は、カット点系列Sj(j=1〜6)それぞれにおける各隣接カット点時間とコマーシャル規定長との差を算出する。コマーシャル規定長を15秒、所定範囲が(2/30)秒であるとすると、取得部65は、カット点系列S1〜S6の一致数をそれぞれ0,2,0,0,1,0と算出する。
取得部65は、一致数が最大となるカット点系列Sjが複数あるか否かを判定する。そして、取得部65は、一致数が最大のカット点系列Sjが1つである場合、該カット点系列Sjを境界系列と判定する。図13に示す例では、取得部65は、カット点系列S1〜S6のうち、一致数が最大のカット点系列はカット点系列S2の1つであるため、カット点系列S2が境界系列であると判定する。
取得部65は、一致数が最大となるカット点系列Sjが複数あると判定した場合、一致数が最大の複数のカット点系列Sjのうち、各隣接カット点時間とコマーシャル規定長との差の合計が最小であるカット点系列Sjを境界系列と判定する。
そして、取得部65は、境界系列に基づいてコマーシャル境界を判定する。具体的には、取得部65は、境界系列において、隣接カット点時間がコマーシャル規定長に一致するカット点がコマーシャル境界であると判定する。
また、取得部65は、境界系列において、隣接カット点時間がコマーシャル規定長に一致するカット点が含まれない候補区間のコマーシャル境界を、隣接する候補区間において決定されたコマーシャル境界とコマーシャル規定長とに基づいて判定する。
一例では、境界系列において、隣接カット点時間とコマーシャル規定長との差が時間差閾値以上であるカット点がある場合、取得部65は、上述のように判定されたコマーシャル境界からの時間がコマーシャル規定長となる時点をコマーシャル境界と判定する。図14に示す例では、図13に示す例とは異なり、境界系列はカット点P11、P22、P32、P41、P53で構成されるカット点系列であると判定されているとする。また、この境界系列において、取得部65により、カット点P22についての隣接カット点時間がコマーシャル規定長である15秒に一致していると判定されているとする。また、取得部65により、カット点P32についての隣接カット点時間が16.5秒であるため、隣接カット点時間とコマーシャル規定長との差が時間差閾値以上であると判定されているとする。この場合、取得部65は、カット点P22を候補区間T2におけるコマーシャル境界と判定する。そして、取得部65は、カット点P32ではなく、カット点P22にコマーシャル規定長に許容時間を加算又は減算した時間を加算した時点が候補区間T3におけるコマーシャル境界であると判定する。許容時間は、候補区間ごとに異なる時間である。各候補区間の許容時間は、コマーシャル規定長に許容時間を加算又は減算した時間の合計がコマーシャル全体の再生時間となるように調整される。
他の例では、カット点抽出部64によって候補区間Tkにおいてカット点が抽出されなかった場合、取得部65は、上述のように判定されたコマーシャル境界からの時間がコマーシャル規定長となる時点をコマーシャル境界と判定する。図15Aに示す例では、カット点抽出部64によって、候補区間T3においてカット点が抽出されていない。また、取得部65によって、境界系列はカット点P11、P22、P41、P53で構成されるカット点系列であると判定されている。この場合、取得部65は、図15Bに示すように、候補区間T3の前の候補区間T2において抽出されたコマーシャル境界からコマーシャル規定長に許容時間を加算又は減算した時間を加算した時点を候補区間T3におけるコマーシャル境界と判定する。
このようにして、コマーシャル境界が判定されると、取得部65は、隣接するコマーシャル境界の間にあるコンテンツをクエリコンテンツとして取得する。
マスタ順位決定部3は、取得部6によって取得されたクエリコンテンツを用いて、第1の実施形態と同様に各マスタコンテンツの順位を決定する。
次に、第3の実施形態のコンテンツ判定装置300によるコンテンツ判定方法について説明する。
第3の実施形態におけるコンテンツ判定方法では、第1の実施形態のコンテンツ判定方法におけるステップS11でクエリコンテンツが入力されると、コンテンツ取得部6によって、入力部2が入力したコンテンツからクエリコンテンツを取得する。クエリコンテンツが取得されると、取得されたクエリコンテンツを用いてステップS11からステップS21までの処理が実行される。
ここで、コンテンツ取得部6によるクエリコンテンツ取得方法について、図16を参照して詳細に説明する。図16は、クエリコンテンツ取得方法の一例を示すフローチャートである。
音量算出部61により、入力部2によって入力されたコンテンツの時系列での音量を算出する(ステップS41)。
次に、コマーシャル検出部62により、ステップS41で算出された音量が音量閾値未満となる低音量区間を抽出する。そして、互いに隣接する低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する(ステップS42)。
次に、候補区間決定部63により、低音量区間の開始時点から所定時間(例えば、0.5秒)前の時点以降で、低音量区間の終了時点から所定時間(例えば、0.5秒)後の時点までの時間を候補区間と決定する(ステップS43)。
次に、カット点抽出部64により、ステップS43で決定された候補区間の映像からカット点を抽出する(ステップS44)。
次に、判定部65により、ステップS44で抽出された各候補区間内のカット点の組合せによって構成される全てのカット点系列Sについての一致数を算出する(ステップS45)。
次に、判定部65により、一致数が最大のカット点系列Sが複数あるか否かを判定する(ステップS46)。
ステップS46で、一致数が最大のカット点系列Sが1つあると判定された場合、判定部65により、該カット点系列Sを境界系列と判定する(ステップS47)。
ステップS46で、一致数が最大のカット点系列Sが複数あると判定された場合、判定部65により、複数の、一致数が最大のカット点系列Sのうち、隣接カット点時間のコマーシャル規定長との差が最小であるカット点系列Sを境界系列と判定する(ステップS48)。
ステップS47又はステップS48で境界系列が決定されると、取得部65により、該境界系列に基づいてコマーシャル境界を判定する(ステップS49)。
次に、取得部65により、コマーシャル境界に基づいてコマーシャルをクエリコンテンツとして取得する(ステップS50)。
以上説明したように、第3の実施形態によれば、コンテンツ判定装置300は、コンテンツにおいて音量が所定時間以上、音量閾値未満となる低音量区間を含む、複数の候補区間を決定し、候補区間からカット点を抽出する。そして、コンテンツ判定装置300は、カット点に基づいてコマーシャル境界を判定する。コマーシャルとコマーシャルとの間、及びコマーシャルと番組の間では、映像が切り替わることが多い。すなわち、コマーシャル境界はカット点であることが多い。したがって、コマーシャル境界判定装置1は、音量にのみ基づいてコマーシャル境界を判定する場合に比べて、低音量区間を含む候補区間におけるカット点に基づいてコマーシャル境界を判定することによって、正確にコマーシャルを検出することができる。そのため、コンテンツ判定装置300は、正確に検出されたコマーシャルであるクエリコンテンツの識別子を判定することができる。
なお、上述したコンテンツ判定装置300として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コンテンツ判定装置300の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROMなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
1 記憶部
2 入力部
3 マスタ順位決定部
4 コンテンツ判定部
5 出力部
6 コンテンツ取得部
41 非合致判定部
42 類似度算出部
43 判定部
61 音量算出部
62 コマーシャル検出部
63 候補区間決定部
64 カット点抽出部
65 取得部
100,200,300 コンテンツ判定装置

Claims (7)

  1. クエリコンテンツを入力する入力部と、
    複数のマスタコンテンツを記憶する記憶部と、
    前記複数のマスタコンテンツのうちの2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定し、前記2つのマスタコンテンツそれぞれの、前記領域の特徴値の、前記クエリコンテンツの対応する領域における特徴値と合致する数である合致特徴数を算出し、前記マスタコンテンツそれぞれの前記合致特徴数に基づいて前記クエリコンテンツの識別子を判定するコンテンツ判定部と、
    を備えることを特徴とするコンテンツ判定装置。
  2. 前記複数のマスタコンテンツそれぞれの、前記クエリコンテンツに対する類似値に基づいて各マスタコンテンツの順位を決定するマスタ順位決定部をさらに備え、
    前記コンテンツ判定部は、前記順位に基づく順番で前記複数のマスタコンテンツそれぞれの前記合致特徴数を算出することを特徴とする請求項1に記載のコンテンツ判定装置。
  3. 前記コンテンツ判定部は、最も順位の高いマスタコンテンツと、次に順位の高いマスタコンテンツとの前記特徴値が互いに合致しない領域を判定し、前記領域の特徴値に基づいて前記合致特徴数の大きい方のマスタコンテンツを候補マスタコンテンツと判定し、前記候補マスタコンテンツと、前記特徴値が互いに合致しない領域が判定されていないマスタコンテンツのうち最も順位の高いマスタコンテンツとの特徴値が互いに合致しない領域を判定し、該領域の特徴値に基づいて前記合致特徴数の大きい方のマスタコンテンツを新たな候補マスタコンテンツと判定することを繰り返し、最後に判定された候補マスタコンテンツの識別子が前記クエリコンテンツの識別子であると判定することを特徴とする請求項2に記載のコンテンツ判定装置。
  4. 前記類似値は、前記マスタコンテンツの各区間と、該区間に対応する前記クエリコンテンツの区間との類似の度合である区間類似値の最小値であり、
    前記マスタ順位決定部は、前記類似値が小さいほど、前記複数のマスタコンテンツの順位を高く決定することを特徴とする請求項2又は3に記載のコンテンツ判定装置。
  5. 前記コンテンツ判定部は、前記複数のマスタコンテンツのうちの2つのマスタコンテンツの組合せ全てについて前記特徴値が互いに合致しない領域を判定し、該領域それぞれの特徴値に基づいて前記2つのマスタコンテンツそれぞれの前記合致特徴数を算出し、前記算出された合致特徴数が最大である前記マスタコンテンツの識別子が、前記クエリコンテンツの識別子であると判定することを特徴とする請求項1に記載のコンテンツ判定装置。
  6. 複数のマスタコンテンツが記憶されたコンテンツ判定装置が実行するコンテンツ判定方法であって、
    クエリコンテンツを入力するステップと、
    前記複数のマスタコンテンツのうちの2つのマスタコンテンツの対応する区間の対応する領域において特徴値が合致しない領域を判定し、前記2つのマスタコンテンツそれぞれの、前記領域の特徴値の、前記クエリコンテンツの対応する領域における特徴値と合致する数である合致特徴数を算出し、前記マスタコンテンツそれぞれの前記合致特徴数に基づいて前記クエリコンテンツの識別子を判定するステップと、
    を含むことを特徴とするコンテンツ判定方法。
  7. 請求項1から5のいずれか一項に記載のコンテンツ判定装置としてコンピュータを機能させるためのプログラム。
JP2018019567A 2018-02-06 2018-02-06 コンテンツ判定装置、コンテンツ判定方法、及びプログラム Active JP6707305B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018019567A JP6707305B2 (ja) 2018-02-06 2018-02-06 コンテンツ判定装置、コンテンツ判定方法、及びプログラム
PCT/JP2019/003946 WO2019156043A1 (ja) 2018-02-06 2019-02-05 コンテンツ判定装置、コンテンツ判定方法、及びプログラム
US16/967,384 US11212572B2 (en) 2018-02-06 2019-02-05 Content determination device, content determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018019567A JP6707305B2 (ja) 2018-02-06 2018-02-06 コンテンツ判定装置、コンテンツ判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019139326A true JP2019139326A (ja) 2019-08-22
JP6707305B2 JP6707305B2 (ja) 2020-06-10

Family

ID=67547981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018019567A Active JP6707305B2 (ja) 2018-02-06 2018-02-06 コンテンツ判定装置、コンテンツ判定方法、及びプログラム

Country Status (3)

Country Link
US (1) US11212572B2 (ja)
JP (1) JP6707305B2 (ja)
WO (1) WO2019156043A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175538A1 (en) * 2007-07-16 2009-07-09 Novafora, Inc. Methods and systems for representation and matching of video content
WO2012108088A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 相違領域検出システム及び相違領域検出方法
WO2016117039A1 (ja) * 2015-01-21 2016-07-28 株式会社日立製作所 画像検索装置、画像検索方法、および情報記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL141104A0 (en) * 1998-07-27 2002-02-10 Webtv Networks Inc Remote computer access
JP4240957B2 (ja) * 2002-08-30 2009-03-18 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP4937400B1 (ja) * 2010-11-05 2012-05-23 株式会社東芝 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置
US8874557B2 (en) * 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US8737728B2 (en) * 2011-09-30 2014-05-27 Ebay Inc. Complementary item recommendations using image feature data
CN106875406B (zh) * 2017-01-24 2020-04-14 北京航空航天大学 图像引导的视频语义对象分割方法及装置
CN108182457B (zh) * 2018-01-30 2022-01-28 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175538A1 (en) * 2007-07-16 2009-07-09 Novafora, Inc. Methods and systems for representation and matching of video content
WO2012108088A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 相違領域検出システム及び相違領域検出方法
WO2016117039A1 (ja) * 2015-01-21 2016-07-28 株式会社日立製作所 画像検索装置、画像検索方法、および情報記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黒住 隆行、外2名: "実環境で収録された映像断片をキーとする一致映像探索", 電子情報通信学会論文誌, vol. 第J90−D巻,第8号, JPN6014044375, 1 August 2007 (2007-08-01), JP, pages 2223 - 2231, ISSN: 0004261916 *

Also Published As

Publication number Publication date
US11212572B2 (en) 2021-12-28
WO2019156043A1 (ja) 2019-08-15
US20210219008A1 (en) 2021-07-15
JP6707305B2 (ja) 2020-06-10

Similar Documents

Publication Publication Date Title
US7921296B2 (en) Generating and matching hashes of multimedia content
US8885870B2 (en) Information processing device and computer program product
US8886635B2 (en) Apparatus and method for recognizing content using audio signal
EP1081960A1 (en) Signal processing method and video/voice processing device
US20060126942A1 (en) Method of and apparatus for retrieving movie image
US20090279840A1 (en) Image Digesting Apparatus
KR102614021B1 (ko) 오디오 컨텐츠 인식 방법 및 장치
WO2019235405A1 (ja) Cm区間検出装置、cm区間検出方法、及びプログラム
CN111181687A (zh) 基于dvb-s2系统的帧头检测方法、装置、终端及存储介质
EP1161098B1 (en) Signal detection method and apparatus
JP2010186307A (ja) 動画コンテンツ識別装置および動画コンテンツ識別方法
WO2019156043A1 (ja) コンテンツ判定装置、コンテンツ判定方法、及びプログラム
JP2000285242A (ja) 信号処理方法及び映像音声処理装置
CN116489449A (zh) 一种视频冗余片段检测方法及系统
JP4394083B2 (ja) 信号検出装置、信号検出方法、信号検出プログラム及び記録媒体
JP2002044610A (ja) 信号検出方法、装置及びそのプログラム、記録媒体
JP4167245B2 (ja) デジタル映像処理方法及びその装置
US11412304B2 (en) Commercial information generating device, commercial information generating method, and program
WO2019235407A1 (ja) 提供クレジット表示検出装置、提供クレジット表示検出方法、及びプログラム
JP6710476B2 (ja) コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラム
US20080294445A1 (en) Method and apapratus for sinusoidal audio coding
CN113949942A (zh) 视频摘要生成方法、装置、终端设备及存储介质
CN111008301B (zh) 一种以图搜视频的方法
CN114650435B (zh) 视频内重复片段查找方法、装置及相关设备
JP5230567B2 (ja) 信号検出装置、信号検出方法、信号検出プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200519

R150 Certificate of patent or registration of utility model

Ref document number: 6707305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150