JP2020135029A - 検出装置、検出方法およびプログラム - Google Patents

検出装置、検出方法およびプログラム Download PDF

Info

Publication number
JP2020135029A
JP2020135029A JP2019023615A JP2019023615A JP2020135029A JP 2020135029 A JP2020135029 A JP 2020135029A JP 2019023615 A JP2019023615 A JP 2019023615A JP 2019023615 A JP2019023615 A JP 2019023615A JP 2020135029 A JP2020135029 A JP 2020135029A
Authority
JP
Japan
Prior art keywords
still image
acoustic signal
detection device
predetermined
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019023615A
Other languages
English (en)
Other versions
JP7208499B2 (ja
Inventor
康智 大石
Yasutomo Oishi
康智 大石
川西　隆仁
Takahito Kawanishi
隆仁 川西
柏野　邦夫
Kunio Kashino
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019023615A priority Critical patent/JP7208499B2/ja
Priority to PCT/JP2020/003670 priority patent/WO2020166382A1/ja
Priority to US17/310,456 priority patent/US11728914B2/en
Publication of JP2020135029A publication Critical patent/JP2020135029A/ja
Application granted granted Critical
Publication of JP7208499B2 publication Critical patent/JP7208499B2/ja
Priority to US18/182,360 priority patent/US20230216598A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543—Billing, e.g. for subscription services
    • H04N21/2547—Third Party Billing, e.g. billing of advertiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】多種多様な提供クレジットの態様毎に学習データを作成することなく、テレビ放送などの提供クレジットを含む映像から、提供クレジットに係る領域の抽出を可能とする。【解決手段】本発明に係る検出装置１０は、事前映像から所定の文字または図形を含む静止画と、若しくは、事前映像から取得された前記所定の文字または図形を含まない静止画と前記所定の音を含む音響信号と、を関連付けることで、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域である所望のシーンを検出する検出部１９、を備える。【選択図】図１

Description

本発明は、検出装置、検出方法およびプログラムに関する。
テレビ放送などにより放送される番組には、番組のスポンサーの企業ロゴの表示、あるいは、番組のスポンサーの名称などのアナウンスにより番組のスポンサーを示す提供クレジットが含まれることがある。提供クレジットには、企業ロゴの表示位置、文字色、使用言語などに応じて種々の態様がある。
近年、コマーシャルの効果の測定などのために、提供クレジットに含まれる企業ロゴあるいはスポンサーの名称などを称呼した音声（以下、「企業名音声」と称する）から、スポンサーを特定することが求められている。
従来は、上述した提供クレジットの多様性のために、人手により企業ロゴおよび企業名音声を確認して書き起こすという作業が行われていた（非特許文献１参照）。このような人手による作業は、コストの増加を招いていた。
「ＣＭメタデータ入力支援ツール」、［online］、［２０１９年１月３０日検索］、インターネット＜ＵＲＬ：http://www.jppanet.or.jp/documents/video.html＞
ロゴ認識技術、音声認識技術などを用いて、企業ロゴ（スポンサーを判別し得る所定の文字または図形）あるいは企業名音声（スポンサーを判別し得る所定の音）を自動的に検出することも考えられる。これらの認識技術を用いるためには、企業ロゴが表示された位置、企業名音声の区間などを検出する必要がある。企業ロゴが表示された位置、企業名音声の区間などを検出するためのモデルを構築することも考えられるが、このようなモデルを構築するために、多様な提供クレジットそれぞれの態様に応じた学習データを作成することは、コストの増加を招いてしまう。
上記のような問題点に鑑みてなされた本発明の目的は、多種多様な提供クレジットの態様毎に学習データを作成することなく、テレビ放送などの提供クレジットを含む映像から、提供クレジットに係る領域の抽出を可能とする検出装置、検出方法およびプログラムを提供することにある。
上記課題を解決するため、本発明に係る検出装置は、対象映像から所望のシーンを検出する検出装置であって、事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された前記所定の文字または図形を含まない静止画と前記所定の音を含む音響信号と、を関連付けることで、前記対象映像から、前記所定の文字または図形、および、前記所定の音の少なくとも一方を含む領域である前記所望のシーンを検出する検出部、を備える。
また、上記課題を解決するため、本発明に係る検出装置は、対象映像からＣＭに含まれる提供クレジットに係るシーンを検出する検出装置であって、事前映像から、ＣＭを構成するフレーム若しくは音響信号以外に含まれる、提供クレジットに係る静止画と、提供クレジットに係る音響信号と、を関連付けることで、前記対象映像から前記提供クレジットに係るシーンを検出する検出部、を備える。
また、上記課題を解決するため、本発明に係る検出方法は、対象映像から所望のシーンを検出する検出装置において実行される検出方法であって、事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された前記所定の文字または図形を含まない静止画と前記所定の音を含む音響信号と、を関連付けることで、前記対象映像から、前記所定の文字または図形、および、前記所定の音の少なくとも一方を含む領域である前記所望のシーンを検出するステップと、を含む。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の検出装置として機能させる。
本発明に係る検出装置、検出方法およびプログラムによれば、多種多様な提供クレジットの態様毎に学習データを作成することなく、テレビ放送などの提供クレジットを含む映像から、提供クレジットに係る領域の抽出を可能とする。
本発明の一実施形態に係る検出装置の構成例を示す図である。 図１に示す学習データ作成部による学習データの作成について説明するための図である。 図１に示す学習部が学習に用いるモデルについて説明するための図である。 企業ロゴを含む静止画の一例を示す図である。 図４Ａに示す静止画を入力した静止画用エンコーダの出力を可視化した図である。 図４Ａに示す静止画とペアの音響信号を入力した音響信号用エンコーダの出力を可視化した図である。 図１に示す検出装置において実行される検出方法について説明するためのフローチャートである。 図１に示す検出装置の検出精度の評価結果の一例を示す図である。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る検出装置１０の構成例を示す図である。本実施形態に係る検出装置１０は、対象映像から所望のシーンを検出するものである。
図１に示す検出装置１０は、正解メタデータ蓄積部１１と、パラメータ蓄積部１２と、学習データ作成部１３と、学習部１４と、検出用データ作成部１５と、提供クレジット検出部１６と、演算部１７と、認識部１８とを備える。演算部１７および認識部１８は、検出部１９を構成する。
正解メタデータ蓄積部１１は、番組において、その番組のスポンサーを示す提供クレジットの提示が行われた区間（以下、「提供クレジット区間」と称する。）の時刻データを蓄積する。番組は、例えば、放送された番組あるいはインターネット配信された番組などである。これらの番組における提供クレジットが、例えば、作業者により目視により確認され、提供クレジット区間の開始時刻および終了時刻などの時刻データが、正解メタデータ蓄積部１１に蓄積される。提供クレジット区間には、企業ロゴ（スポンサーを判別し得る所定の文字または図形）の表示と企業名音声（スポンサーを判別し得る所定の音）の出力とが行われた区間だけでなく、企業ロゴの表示だけが行われた区間、および、企業名音声の出力だけが行われた区間も含まれる。以下では、提供クレジット区間が検出済みの映像を事前映像と称する。
パラメータ蓄積部１２は、後述する、企業ロゴと企業名音声との関連付けモデルに適用するパラメータを蓄積する。企業ロゴと企業名音声との関連付けモデルは、例えば、畳み込みニューラルネットワークを用いたモデルである。詳細な説明は省略するが、畳み込みニューラルネットワークは、一般に、入力側から、畳み込み層とプーリング層とがこの順に、複数回繰り返して配置され、その後、全結合層が配置された構成を有する。畳み込みニューラルネットワークへの入力を画像とすると、畳み込み層では、入力画像に対して畳み込みフィルタを適用する処理が行われる。プーリング層では、畳み込み層の出力に対して、矩形フィルタを順次ずらしていきながら適用し、矩形フィルタ内の最大の値を取り出すなどして新しい画像を生成する処理が行われる。全結合層では、畳み込み層およびプーリング層により特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値を出力する処理が行われる。パラメータ蓄積部１２は、例えば、企業ロゴと企業名音声との関連付けモデルが畳み込みニューラルネットワークを用いたモデルである場合、各層で適用するフィルタのフィルタ重み、および、畳み込み層の出力に加算するバイアスパラメータなどを蓄積する。
学習データ作成部１３は、事前映像が入力され、入力された事前映像から上述した企業ロゴと企業名音声との関連付けモデルに適用するパラメータを学習するための学習データを作成する。学習データ作成部１３による学習データの作成について、図２を参照して説明する。
図２に示すように、事前映像には、番組区間と提供クレジット区間とが含まれる。学習データ作成部１３は、正解メタデータ蓄積部１１に蓄積されている時刻データに基づき、提供クレジット区間を特定する。次に、学習データ作成部１３は、事前映像の映像信号から提供クレジット区間における静止画を所定の時間間隔（例えば、１秒間隔）で抽出する。学習データ作成部１３は、事前映像の音響信号から、抽出した静止画を中心とした所定時間（例えば、前後に３秒間で合計６秒間）の音響信号を抽出する。学習データ作成部１３は、抽出した静止画と音響信号とのペアを学習データとして作成する。
上述したように、提供クレジット区間には、企業ロゴの表示と企業名音声の出力とが行われた区間だけでなく、企業ロゴの表示だけが行われた区間、および、企業名音声の出力だけが行われた区間も含まれる。したがって、学習データ作成部１３は、企業ロゴ（スポンサーを判別し得る所定の文字または図形）および企業名音声（スポンサーを判別し得る所定の音）を検出済みの事前映像から、企業ロゴを含む静止画と、企業名音声を含まない音響信号とのペアと、企業ロゴを含まない静止画と、企業名音声を含む音響信号とのペアとを少なくとも作成する。また、学習データ作成部１３は、企業ロゴを含む静止画と、企業名音声を含む音響信号とのペアを作成してもよい。
企業ロゴを含む静止画と、企業名音声を含まない音響信号（提供クレジットの提示が行われていない区間の音響信号）とのペア、および、企業名ロゴを含まない静止画（提供クレジットの提示が行われていない区間の静止画）と、企業名音声を含む音響信号とのペアを用いることで、これらのペアを構成する静止画と音響信号とに潜在的に共通する特徴を抽出することができる。
なお、図２においては、提供クレジット区間における静止画を１秒間隔で抽出する例を用いて説明したが、これに限られるものではなく、任意の時間間隔で静止画を抽出してよい。また、図２においては、抽出した静止画を中心として６秒間の音響信号を抽出する例を用いて説明した。提供クレジットにおいては、例えば、「この番組は、ご覧のスポンサーでお送りしました。」といった定型的なアナウンスが行われることが多い。音響信号を抽出する時間長は、例えば、このような提供クレジットに関するアナウンスの時間に応じて決定すればよい。
図１を再び参照すると、学習データ作成部１３は、作成した学習データを学習部１４に出力する。
学習部１４は、学習データ作成部１３により作成された学習データ（静止画と音響信号とのペア）を用いて、企業ロゴと企業名音声との関連付けモデルに適用するパラメータを学習する。具体的には、学習部１４は、畳み込みニューラルネットワークを利用して静止画から静止画特徴量として特徴ベクトルを抽出する静止画用エンコーダ（静止画特徴量抽出部）と、畳み込みニューラルネットワークを利用して音響信号から音響特徴量として特徴ベクトルを抽出する音響信号用エンコーダ（音響信号特徴量抽出部）とを含むモデルを用いて学習を行う。
図３は、学習部１４が学習に用いるモデル１４０の構成例を示す図である。
図３に示すモデル１４０は、静止画用エンコーダ１４１と、音響信号用エンコーダ１４２とを含む。
静止画用エンコーダ１４１は、畳み込み層１４１ａと、畳み込み層１４１ａの後段に設けられたプーリング層１４１ｂと、プーリング層１４１ｂの後段に設けられた畳み込み層１４１ｃと、畳み込み層１４１ｃの後段に設けられたプーリング層１４１ｄと、プーリング層１４１ｄの後段に設けられた畳み込み層１４１ｅと、畳み込み層１４１ｅの後段に設けられたプーリング層１４１ｆと、プーリング層１４１ｆの後段に設けられた畳み込み層１４１ｇと、畳み込み層１４１ｇの後段に設けられたプーリング層１４１ｈと、プーリング層１４１ｈの後段に設けられた畳み込み層１４１ｉと、畳み込み層１４１ｉの後段に設けられた畳み込み層１４１ｊとを含む。
図３においては、学習データとして抽出された静止画の行方向のピクセル数および列方向のピクセル数が２２４であるとする。学習データとして抽出された静止画は、ＲＧＢの３色で構成されるとすると、畳み込み層１４１ａには、２２４×２２４のサイズの画像が３チャネルで入力される。
畳み込み層１４１ａは、入力された静止画の所定領域ごとに、複数のフィルタそれぞれにより畳み込み処理を行い、特徴量を抽出する。畳み込み層１４１ａは、フィルタをスライドさせながら畳み込み処理により抽出した特徴量を、対応する位置にマッピングした画像（特徴マップ）を生成して、後段のプーリング層１４１ｂに出力する。例えば、６４個のフィルタにより畳み込み処理を行ったとすると、畳み込み層１４１ａは、２２４×２２４ピクセルの特徴マップを６４個生成して出力する。この場合、畳み込み層１４１ａの出力は、２２４×２２４×６４と表すことができる。畳み込み層１４１ａにより抽出された特徴量は特徴ベクトルとして表され、上述した例では、特徴ベクトルの次元数は６４である。
プーリング層１４１ｂは、前段の畳み込み層１４１ａから出力された画像に対して、所定サイズ毎（例えば、２×２ピクセル毎）に、その領域内の最大値あるいは平均値をとるなどして特徴マップを圧縮して、後段の畳み込み層１４１ｃに出力する。プーリング層１４１ｂの出力は、例えば、１１２×１１２×１２８で表される。以下、畳み込み層１４１ｃ，１４１ｅ，１４１ｇ，１４１ｉ，１４１ｊおよびプーリング層１４１ｄ，１４１ｆ，１４１ｈでは同様の処理が行われる。なお、各層を示すブロック内には、各層の出力の具体例を示しているが、本発明はこれに限られるものではない。
静止画用エンコーダ１４１は、最後段の畳み込み層１４１ｊの出力画像（特徴ベクトル集合）を出力する。以下では、静止画用エンコーダ１４１は、Ｎｒ×Ｎｃ×Ｎｄで表される特徴ベクトル集合を出力するものとする。Ｎｒ，Ｎｃはそれぞれ静止画用エンコーダ１４１の出力画像の行方向、列方向のピクセル数であり、Ｎｄは特徴ベクトルの次元数である。
音響信号用エンコーダ１４２は、畳み込み層１４２ａと、畳み込み層１４２ａの後段に設けられた畳み込み層１４２ｂと、畳み込み層１４２ｂの後段に設けられたプーリング層１４２ｃと、プーリング層１４２ｃの後段に設けられた畳み込み層１４２ｄと、畳み込み層１４２ｄの後段に設けられたプーリング層１４２ｅと、プーリング層１４２ｅの後段に設けられた畳み込み層１４２ｆと、畳み込み層１４２ｆの後段に設けられたプーリング層ｇと、プーリング層１４２ｇの後段に設けられた畳み込み層１４２ｈと、畳み込み層１４２の後段に設けられたプーリング層１４２ｉとを含む。
学習部１４は、ペアを構成する音響信号に対する周波数分析（例えば、窓長２５ｍｓ、窓シフト長１０ｍｓ）を行い、４０個のフィルタによりメルフィルタバンク処理を施す。こうすることで、音響信号は、６００×４０のメルスペクトログラムで表される。
畳み込み層１４２ａは、入力されたメルスペクトログラムに対して、所定区間ごとに複数のフィルタそれぞれにより畳み込み処理を行い、特徴量を抽出する。畳み込み層１４１ａは、フィルタをスライドさせながら畳み込み処理により抽出した特徴量を、対応する位置にマッピングした特徴マップを生成して、後段の畳み込み層１４２ｂに出力する。例えば、畳み込み層１４２が１２８個のフィルタにより畳み込み処理を行った場合、畳み込み層１４２の出力は、６００×１２８と表すことができる。畳み込み層１４２ａにより抽出された特徴量は特徴ベクトルとして表され、上述した例では、特徴ベクトルの次元数は１２８である。
畳み込み層１４２ｂは、畳み込み層１４２と同様の処理により、畳み込み層１４２ａから出力されたメルスペクトログラム（音響信号）の特徴量を抽出し、プーリング層１４２ｃに出力する。
プーリング層１４２ｃは、畳み込み層１４２ｂから出力されたメルスペクトログラムを圧縮して、後段の畳み込み層１４２ｄに出力する。プーリング層１４２ｃの出力は、例えば、３００×２５６で表される。以下、畳み込み層１４２ｄ，１４２ｆ，１４２ｈおよびプーリング層１４２ｅ，１４２ｇ，１４１ｉでは同様の処理が行われる。なお、各層を示すブロック内には、各層の出力の具体例を示しているが、本発明はこれに限られるものではない。
音響信号用エンコーダ１４２は、最後段のプーリング層１４１ｉから出力されたメルスペクトログラム（特徴ベクトル集合）を出力する。以下では、音響信号用エンコーダ１４２は、Ｎｔ×Ｎｄで表される特徴ベクトル集合を出力するものとする。ここで、Ｎｔは音響信号用エンコーダ１４２の出力音響信号（メルスペクトログラムに対応する音響信号）の長さであり、Ｎｄは特徴ベクトルの次元数である。
モデル１４０は、結合層１４３をさらに含む。結合層１４３は、静止画用エンコーダの出力と音響信号用エンコーダの出力との内積を出力する。
学習部１４は、ミニバッチサイズをＢとすると、学習データとして作成された静止画と音響信号とのペアを用いて、以下の式（１）の値が最小となるように確率的勾配法を用いて、静止画用エンコーダ１４１および音響信号用エンコーダ１４２（畳み込みニューラルネットワーク）のパラメータを学習する。なお、ミニバッチサイズＢは、パラメータの更新に使用するデータ（静止画と音響信号とのペア）の個数である。
式（１）において、Ｉｊ，Ａｊはそれぞれ、ｊ番目の静止画と音響信号とのペアに対する静止画用エンコーダ１４１および音響信号用エンコーダ１４２の出力であり、Ｉｊ ｉｍｐ，Ａｊ ｉｍｐはそれぞれ、ミニバッチ（パラメータの更新に使用するデータ）の中から、ｊ番目にランダムに選択された静止画と音響信号とのペアに対する静止画用エンコーダ１４１および音響信号用エンコーダ１４２の出力であり、Ｓ（Ｉｊ，Ａｊ）は、静止画用エンコーダ１４１の出力Ｉｊと、音響信号用エンコーダ１４２の出力Ａｊとの類似度である。式（１）においては、ペアを構成する静止画と音響信号とに基づき算出される類似度が、ペアを構成しない静止画と音響信号とに基づき算出される類似度（静止画用エンコーダ１４１の出力若しくは音響信号用エンコーダ１４２の出力のいずれか一方を他の値に置き換えて算出される類似度）よりも大きくなるという基準を満たすために、ｍａｘ関数が用いられている。
類似度Ｓ（Ｉｊ，Ａｊ）の算出方法としては、例えば、以下の５つの算出方法がある。以下では、１つ目の算出方法により算出される類似度をＳ１（Ｍ）とし、２つ目の算出方法により算出される類似度をＳ２（Ｍ）とし、３つ目の算出方法により算出される類似度をＳ３（Ｍ）とし、４つ目の算出方法により算出される類似度をＳ４（Ｍ）とし、５つ目の算出方法により算出される類似度をＳ５（Ｍ）とする。類似度Ｓ１（Ｍ）、類似度Ｓ２（Ｍ）、類似度Ｓ３（Ｍ）、類似度Ｓ４（Ｍ）および類似度Ｓ５（Ｍ）はそれぞれ、以下の式（２）〜式（７）に基づき算出される。
ここで、Ｉｒ，ｃ，ｄは静止画用エンコーダ１４１の出力要素であり、Ａｔ，ｄは音響信号用エンコーダ１４２の出力要素である。また、ｐは学習により設定されるパラメータである。
学習部１４は、類似度Ｓ１（Ｍ）、類似度Ｓ２（Ｍ）、類似度Ｓ３（Ｍ）、類似度Ｓ４（Ｍ）および類似度Ｓ５（Ｍ）のいずれかを算出し、式（１）の値が最小となる静止画用エンコーダ１４１および音響信号用エンコーダ１４２のパラメータを学習する。なお、学習部１４は、静止画用エンコーダ１４１の出力および音響信号用エンコーダ１４２の出力のいずれか一方を優先するようにパラメータに重み付けをしてもよい。すなわち、類似度は、静止画用エンコーダ１４１により抽出される静止画特徴量と、音響信号用エンコーダ１４２により抽出される音響特徴量とのいずれか一方を優先するように重み付けされてもよい。このような重み付けは、例えば、上述した類似度Ｓ（Ｉｊ，Ａｊ）の算出に用いる式（例えば、式（３）〜式（７））の選択により可能である。ここで、式（７）は、上述したパラメータｐの学習も可能とする。パラメータｐの値に応じて、静止画用エンコーダ１４１の出力および音響信号用エンコーダ１４２の出力のいずれを重視するかを決定することができる。式（３）〜式（６）においては、パラメータｐの値が固定である（例えば、式（３）はｐ＝１の場合に相当し、式（６）はｐ＝∞に相当する）。したがって、式（３）〜式（６）においては、静止画用エンコーダ１４１の出力および音響信号用エンコーダ１４２の出力のいずれかを重視する、若しくは、均等に評価している。してがって、式（７）を用いることで、学習データの学習の状態に応じて、静止画用エンコーダ１４１の出力および音響信号用エンコーダ１４２の出力のいずれを重視するかを最適化することができる。
図１を再び参照すると、学習部１４は、得られたパラメータをパラメータ蓄積部１２に蓄積する。
これまでは、学習部１４は、ペアを構成する静止画と音響信号とに基づき算出される類似度が、ペアを構成しない静止画と音響信号とに基づき算出される類似度よりも大きくなるという基準を満たすように、パラメータを学習する例を用いて説明したが、本発明はこれに限られるものではない。学習部１４は、類似度に代えて何らかの評価値（何らかの尤度が得ら得る値）を用いてもよい。静止画用エンコーダ１４１および音響信号用エンコーダ１４２は、事前映像から取得された所定の文字または図形を含む静止画から抽出された静止画特徴量と、所定の音を含まない音響信号から抽出された音響特徴量とから得られる評価値、若しくは、事前映像から取得された所定の文字または図形を含まない静止画から抽出された静止画特徴量と、所定の音を含む音響信号から得られた音響特徴量との評価値が高くなるように設計される。より具体的には、静止画用エンコーダ１４１および音響信号用エンコーダ１４２は、これらの評価値が、ペアを構成しない静止画および音響信号から抽出された静止画特徴量と音響特徴量との評価値よりも高くなるように設計される。
なお、本実施形態においては、機械学習を用いて提供クレジットに係る静止画と音響信号との共起関係を推定しているが、これに限られるものではない。例えば、上述した学習データ作成部１３で作成した学習データ群の統計的な性質を利用してヒューリスティックに提供クレジットに係る静止画と音響信号との共起関係を推定してもよい。また、静止画用エンコーダ１４１および音響信号用エンコーダ１４２は、機械学習ではなく、入力データを低次元化する線形関数などを用いてもよい。
検出用データ作成部１５は、企業ロゴおよび企業名音声の少なくとも一方を含む領域である所望のシーンを検出する対象の番組（以下、「対象映像」と称する）が入力される。検出用データ作成部１５は、入力された対象映像の音響信号から、窓長６秒、窓シフト長１秒で音響信号を抽出する。また、検出用データ作成部１５は、対象映像の映像信号から、抽出した音響信号の区間の中心時刻（抽出した音響信号の開始から３秒後の時刻）における静止画を抽出する。検出用データ作成部１５は、抽出した静止画と音響信号とのペアを検出用データとして提供クレジット検出部１６に出力する。なお、本実施形態においては、静止画と音響信号とのペアを検出用データとして用いる例を説明しているが、本発明はこれに限られるものではない。対象映像の静止画および音響信号のいずれか一方のみを検出用データとして用いてもよい。
提供クレジット検出部１６は、検出用データ作成部１５により作成された検出用データを用いて、対象映像における提供クレジット区間を検出する。
提供クレジット検出部１６は、例えば、企業ロゴの表示（提供クレジット表示）が検出済みの番組から作成された、提供クレジット表示を含む静止画と、提供クレジット表示を含まない静止画とを学習データとして用いて作成されたモデルを用いて、提供クレジット区間（企業ロゴが表示された区間）を検出することができる。
また、提供クレジット検出部１６は、対象映像の音声に対する音声認識により、提供クレジットのアナウンスに含まれる関連語句（例えば、「ご覧の」、「番組」、「スポンサー」、「提供」、「お送り」など）を抽出し、その関連語句の出現時刻を起点として所定期間を提供クレジット区間と推定し、提供クレジット区間と推定した区間が所定時間以上継続する場合、その区間を提供クレジット区間として検出することができる。
提供クレジット検出部１６は、検出した提供クレジット区間における静止画と音響信号とのペアを演算部１７に出力する。
演算部１７は、パラメータ蓄積部１２に蓄積されているパラメータを、図２を参照して説明したモデル１４０に代入して、企業ロゴと企業名音声との関連付けモデルを構築する。演算部１７は、構築した企業ロゴと企業名音声との関連付けモデルに、提供クレジット検出部１６から出力された、提供クレジット区間における静止画と音響信号とのペアを入力することで、静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄおよび音響信号用エンコーダ１４２の出力Ａｔ，ｄを得る。
演算部１７は、得られた静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄおよび音響信号用エンコーダ１４２の出力Ａｔ，ｄを、以下の式（８）〜式（１０）に代入し、値を算出する。
図４Ａは、企業ロゴが表示された静止画の一例を示す図である。図４Ａにおいては、背景の像に重畳して、画面の中央に企業ロゴ「ＡＢＣ」が白抜き文字で表示された例を示している。
図４Ｂは、図４Ａに示す静止画を入力した静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄを可視化した図である。図４Ｂにおいては、図４Ａに示す静止画において企業ロゴが表示された領域に対応する領域を白線で示している。図４Ｂに示すように、静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄを可視化した画像のうち概ね中央の領域が企業ロゴとして検出されており、この領域は、図４Ａに示す静止画において企業ロゴが表示された領域（白点線で示す領域）と概ね一致している。したがって、静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄから、対象映像において企業ロゴが含まれる領域（企業ロゴが表示された位置）を検出可能であることが分かる。
図４Ｃは、図４Ａに示す静止画とペアの音響信号を入力した音響信号用エンコーダ１４２の出力Ａｔ，ｄを可視化した図である。図４Ｃにおいては、企業名音声が出力されたタイミングを破線で示しており、音響信号の開始後、約０．５秒から１秒の間で、企業名音声が出力された例を示している。図４Ｃに示すように、音響信号用エンコーダ１４２の出力Ａｔ，ｄは、音響信号の開始後、約１秒前後で高いピークを示しており、これは、企業名音声が出力されたタイミングと概ね一致している。したがって、音響信号用エンコーダ１４２の出力Ａｔ，ｄから、対象映像において企業名音声が含まれる領域（企業名音声が出力された区間）を検出可能であることが分かる。
図１を再び参照すると、演算部１７は、算出したＩｒ、ｃ ｓｉｍおよびＡｔ ｓｉｍを認識部１８に出力する。
認識部１８は、演算部１７から出力されたＩｒ、ｃ ｓｉｍおよびＡｔ ｓｉｍに対して閾値処理を行い、対象映像において企業ロゴを含む領域（企業ロゴが表示された位置）および対象映像において企業名音声を含む領域（企業名音声が出力された区間）である所望のシーンを検出する。認識部１８は、既存の物体認識器および音声認識器などを利用して、特定した領域から企業ロゴおよび企業名音声の少なくとも一方を検出する。
上述したように、演算部１７および認識部１８は、検出部１９を構成する。したがって、検出部１９は、事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された所定の文字または図形を含まない静止画と所定の音を含む音響信号と、を関連付けることで、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域である所望のシーンを検出する。より具体的には、検出部１９は、事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された所定の文字または図形を含まない静止画と所定の音を含む音響信号とを用いて構築されたモデル（企業ロゴと企業名音声との関連付けモデル）を用いて、対象映像から、企業ロゴ（スポンサーを判別し得る所定の文字または図形）、および、企業名音声（スポンサーを判別し得る所定の音）の少なくとも一方を含む領域である所望のシーンを検出する。
なお、認識部１８は、対象映像において、企業ロゴを含む静止画が所定数以上連続する区間、または、企業名音声が所定時間以上連続する区間を検出してもよい。こうすることで、より確実に、対象映像において企業ロゴあるいは企業名音声を含む領域を検出することができる。
また、認識部１８は、企業ロゴを含む静止画が所定数以上連続する区間、または、企業名音声が所定時間以上連続する区間の開始時間および終了時間に関する情報を検出してもよい。開始時間および終了時間は、例えば、検出用データ作成部１５により作成された検出用データを時系列順に処理することで検出することができる。
次に、本実施形態に係る検出装置１０において実行される検出方法について、図５に示すフローチャートを参照して説明する。
学習データ作成部１３は、事前映像から、所定の文字または図形を含む静止画と、所定の音（企業名音声）を含まない音響信号とのペアと、所定の文字または図件を含まない静止画と、所定の音を含む音響信号とのペアを作成する（ステップＳ１０１）。
検出部１９は、学習データ作成部１３により作成された、所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された所定の文字または図形を含まない静止画と所定の音を含む音響信号と、を関連付けることで、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域である所望のシーンを検出する（ステップＳ１０２）。
図６は、上述した類似度Ｓ１（Ｍ）、類似度Ｓ２（Ｍ）、類似度Ｓ３（Ｍ）、類似度Ｓ４（Ｍ）および類似度Ｓ５（Ｍ）それぞれを用いて学習されたパラメータを適用した企業ロゴと企業名音声との関連付けモデルによる企業ロゴおよび企業名音声を含む領域の検出結果を示す図である。図６においては、縦軸に適合率（Ｐｒｅｃｉｓｉｏｎ）を示し、横軸に再現率（Ｒｅｃａｌｌ）を示している。適合率とは、提供クレジット（企業名ロゴおよび企業名音声）として検出されたもののうち、正しく検出された提供クレジットの割合である。また、再現率とは、検出されるべき提供クレジットのうち、実際に検出された提供クレジットの割合である。企業ロゴに関する適合率および再現率は、Ｉｒ、ｃ ｓｉｍを閾値処理によりバイナリ（０／１）で表現し、実際の企業ロゴの表示領域とピクセルごとに比較することで計算することができる。また、企業名音声に関する適合率および再現率は、Ａｔ ｓｉｍを閾値処理によりバイナリで表現し、実際の企業名音声の区間と比較することで計算することができる。
図６に示すように、音響信号（Ａｕｄｉｏ）については、それぞれの類似度Ｓ（Ｍ）において、概ね同程度の精度が得られた。また、画像（Ｉｍａｇｅ）については、類似度Ｓ５（Ｍ）を用いた場合に、特に高い精度が得られた。
このように本実施形態においては、検出装置１０は、事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された所定の文字または図形を含まない静止画と所定の音を含む音響信号と、を関連付けることで、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域である所望のシーンを検出する検出部１９を備える。
所定の文字または図形（企業ロゴ）を含む静止画と所定の音（企業名音声）を含まない音響信号と、若しくは、所定の文字または図形を含まない静止画と所定の音を含む音響信号とを関連付けることで、企業ロゴの表示と企業名音声のアナウンスとの対応関係（共起）を抽出し、対象映像から企業ロゴあるいは企業名音声を含む領域である所望のシーンを検出することができる。また、多様な提供クレジットそれぞれの態様に応じた学習データを作成する必要が無いので、コストの増大を抑制することができる。
なお、本発明は、提供クレジット区間の検出に応用することも可能である。この場合、本実施形態に係る検出装置１０は、事前映像から、ＣＭを構成するフレーム若しくは音響信号以外に含まれる、クレジットに係る静止画と、クレジットに係る音響信号と、を関連付けることで、対象映像からクレジットに係るシーンを検出する検出部１９を備えてもよい。
より具体的には、静止画用エンコーダ１４１の出力Ｉｒ，ｃ，ｄおよび音響信号用エンコーダ１４２の出力Ａｔ，ｄは静止画と音響信号とに共通する潜在変数であるとみなす。そして、提供クレジット区間における静止画用エンコーダ１４１および音響信号用エンコーダ１４２の出力と、提供クレジット区間以外の区間における静止画用エンコーダ１４１および音響信号用エンコーダ１４２の出力とを利用して、２クラスの識別器（ニューラルネットワーク、ＳＶＭ（Support Vector Machine））を学習する。検出部１９は、新規の静止画と音響信号とから得られるエンコーダ出力に対して、この識別器を用いることで、提供クレジット区間であるか否かを識別することができる。実験結果では、再現率９７．７％、適合率６８．０％の精度が確認され、静止画あるいは音響信号単独で得られる特徴を利用した識別器と比較して、適合率が改善された（誤検出が抑制された）。
なお、上述した実施形態においては、ペアとなる静止画と音響信号とに関し、音響信号の区間にその静止画が表示されるタイミングも含まれる例を用いて説明したが、本発明はこれに限られるものではない。
学習データ作成部１３は、事前映像から、所定の文字または図形を含む静止画と、所定の音を含まない音響信号とのペア、および、所定の文字または図形を含まない静止画と、所定の音を含む音響信号とのペアとであって、音響信号の区間に、その音響信号とペアとなる静止画が含まれないペアを、学習データとして作成してもよい。すなわち、学習データ作成部１３は、時間的に重複しない静止画と音響信号とのペアを学習データとして作成してもよい。この場合、検出部１９は、学習データ作成部１３により作成された、時間的に重複しない静止画と音響信号とのペアを用いて学習されたモデルを用いて、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域を検出する。
番組において、提供クレジット区間以外の、コマーシャル区間あるい番組内で商品紹介が行われる区間において、「商品」と「商品の呼び名」とが番組の映像・音声に出現することがある。学習データ作成部１３は、これらの区間から静止画と音響信号とのペアを作成する。学習データ作成部１３は、例えば、商品を含む静止画と、その商品の呼び名を含まず、商品を含む静止画と時間的に重複しない音響信号とのペアと、商品を含まない静止画と、その商品の呼び名を含み、商品を含まない静止画と時間的に重複しない音響信号とのペアを作成する。これらの学習データは、提供クレジット自体を含むものではないが、商品あるいは商品の呼び名を特定することができれば、企業名、すなわち、提供クレジットを検出することも可能である。したがって、時間的に重複しない静止画と音響信号とのペアを用いることによっても、対象映像から、所定の文字または図形、および、所定の音の少なくとも一方を含む領域を検出することが可能である。
以上、検出装置１０について説明したが、検出装置１０として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、検出装置１０の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１０ 検出装置
１１ 正解メタデータ蓄積部
１２ パラメータ蓄積部
１３ 学習データ作成部
１４ 学習部
１５ 検出用データ作成部
１６ 提供クレジット検出部
１７ 演算部
１８ 認識部
１９ 検出部
１４０ モデル
１４１ 静止画用エンコーダ（静止画特徴量抽出部）
１４２ 音響信号用エンコーダ（音響信号特徴量抽出部）
１４１ａ，１４１ｃ，１４１ｅ，１４１ｇ，１４１ｉ，１４１ｊ，１４２ａ，１４２ｂ，１４２ｄ，１４２ｆ，１４２ｈ 畳み込み層
１４１ｂ，１４１ｄ，１４１ｆ，１４１ｈ，１４１ｊ，１４２ｃ，１４２ｅ，１４２ｇ，１４２ｉ プーリング層
１４３ 結合層

Claims (10)

  1. 対象映像から所望のシーンを検出する検出装置であって、
    事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された前記所定の文字または図形を含まない静止画と前記所定の音を含む音響信号と、を関連付けることで、前記対象映像から、前記所定の文字または図形、および、前記所定の音の少なくとも一方を含む領域である前記所望のシーンを検出する検出部、を備える検出装置。
  2. 請求項１に記載の検出装置において、
    前記検出部は、前記対象映像において、前記所定の文字または図形を含む静止画が所定数以上連続する区間、または、前記所定の音が所定時間以上連続する区間を検出する、検出装置。
  3. 請求項２に記載の検出装置において、
    前記検出部は、前記区間の開始時間および終了時間に関する情報を検出する、検出装置。
  4. 請求項１から３のいずれか一項に記載の検出装置において、
    前記所定の文字または図形は、番組のスポンサーを判別し得る文字または図形であり、
    前記所定の音は、前記スポンサーを判別し得る音であり、
    前記検出部は、前記対象映像を構成する静止画において前記所定の文字または図形を含む静止画、および、前記対象映像において前記所定の音が出力される区間の少なくとも一方を、前記領域として検出する、検出装置。
  5. 請求項１から４のいずれか一項に記載の検出装置において、
    前記検出部は、
    前記静止画から静止画特徴量を抽出する静止画特徴量抽出部と、
    前記音響信号から音響特徴量を抽出する音響信号特徴量抽出部と、を含み、
    前記静止画特徴量抽出部および前記音響信号特徴量抽出部は、
    前記事前映像から取得された前記所定の文字または図形を含む静止画から抽出された静止画特徴量と、前記所定の音を含まない音響信号から抽出された音響特徴量とから得られる評価値、若しくは、前記事前映像から取得された前記所定の文字または図形を含まない静止画から抽出された静止画特徴量と、前記所定の音を含む音響信号から得られた音響特徴量との評価値が高くなるように設計されている、検出装置。
  6. 請求項５に記載の検出装置において、
    前記評価値は、前記静止画特徴量と前記音響特徴量の類似度であり、
    前記類似度は、以下の式（１）に基づき算出される、検出装置。
  7. 請求項６に記載の検出装置において、
    前記類似度は、前記静止画特徴量と前記音響特徴量とのいずれか一方を優先するように重み付けされる、検出装置。
  8. 対象映像からＣＭに含まれる提供クレジットに係るシーンを検出する検出装置であって、
    事前映像から、ＣＭを構成するフレーム若しくは音響信号以外に含まれる、提供クレジットに係る静止画と、提供クレジットに係る音響信号と、を関連付けることで、前記対象映像から前記提供クレジットに係るシーンを検出する検出部、を備える検出装置。
  9. 対象映像から所望のシーンを検出する検出装置において実行される検出方法であって、
    事前映像から取得された所定の文字または図形を含む静止画と所定の音を含まない音響信号と、若しくは、事前映像から取得された前記所定の文字または図形を含まない静止画と前記所定の音を含む音響信号と、を関連付けることで、前記対象映像から、前記所定の文字または図形、および、前記所定の音の少なくとも一方を含む領域である前記所望のシーンを検出するステップ、を含む検出方法。
  10. コンピュータを、請求項１から８のいずれか一項に記載の検出装置として機能させるプログラム。
JP2019023615A 2019-02-13 2019-02-13 検出装置、検出方法およびプログラム Active JP7208499B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019023615A JP7208499B2 (ja) 2019-02-13 2019-02-13 検出装置、検出方法およびプログラム
PCT/JP2020/003670 WO2020166382A1 (ja) 2019-02-13 2020-01-31 検出装置、検出方法およびプログラム
US17/310,456 US11728914B2 (en) 2019-02-13 2020-01-31 Detection device, detection method, and program
US18/182,360 US20230216598A1 (en) 2019-02-13 2023-03-13 Detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023615A JP7208499B2 (ja) 2019-02-13 2019-02-13 検出装置、検出方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020135029A true JP2020135029A (ja) 2020-08-31
JP7208499B2 JP7208499B2 (ja) 2023-01-19

Family

ID=72045283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023615A Active JP7208499B2 (ja) 2019-02-13 2019-02-13 検出装置、検出方法およびプログラム

Country Status (3)

Country Link
US (2) US11728914B2 (ja)
JP (1) JP7208499B2 (ja)
WO (1) WO2020166382A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011170B2 (ja) * 2018-06-05 2022-01-26 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
CN114820483A (zh) * 2022-04-14 2022-07-29 北京联影智能影像技术研究院 图像检测方法、装置及计算机设备
CN115214505B (zh) * 2022-06-29 2024-04-26 重庆长安汽车股份有限公司 车辆座舱音效的控制方法、装置、车辆及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) * 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
JP2008108166A (ja) * 2006-10-27 2008-05-08 Matsushita Electric Ind Co Ltd 楽曲選択装置、楽曲選択方法
WO2010058509A1 (ja) * 2008-11-21 2010-05-27 日本電気株式会社 情報処理装置
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002318948C1 (en) * 2001-08-02 2009-08-13 Opentv, Inc. Post production visual alterations
US8805689B2 (en) * 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
US20160073148A1 (en) * 2014-09-09 2016-03-10 Verance Corporation Media customization based on environmental sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) * 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
JP2008108166A (ja) * 2006-10-27 2008-05-08 Matsushita Electric Ind Co Ltd 楽曲選択装置、楽曲選択方法
WO2010058509A1 (ja) * 2008-11-21 2010-05-27 日本電気株式会社 情報処理装置
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム

Also Published As

Publication number Publication date
US20220109517A1 (en) 2022-04-07
WO2020166382A1 (ja) 2020-08-20
US11728914B2 (en) 2023-08-15
JP7208499B2 (ja) 2023-01-19
US20230216598A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
US10368123B2 (en) Information pushing method, terminal and server
WO2020166382A1 (ja) 検出装置、検出方法およびプログラム
CN109218629B (zh) 视频生成方法、存储介质和装置
CN111556332B (zh) 直播方法、电子设备和可读存储介质
CN108419141B (zh) 一种字幕位置调整的方法、装置、存储介质及电子设备
CN112565899A (zh) 一种用于视频中情绪一致性可视化分析的系统及方法
CN106937172A (zh) 基于人工智能的视频播放时的互动方法及装置
US8340498B1 (en) Extraction of text elements from video content
CN106060572A (zh) 视频播放方法及装置
CN110910322B (zh) 图片处理方法、装置、电子设备及计算机可读存储介质
JP2009251303A (ja) 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体
CN113301385A (zh) 视频数据处理方法、装置、电子设备和可读存储介质
JP6917210B2 (ja) 要約映像生成装置およびそのプログラム
JP2009278202A (ja) 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体
KR20190053587A (ko) 키워드를 통한 동영상 장면 검색 시스템
TWI684964B (zh) 知識點標記生成系統及其方法
US11042274B2 (en) Extracting demonstrations from in-situ video content
CN111063339A (zh) 智能交互方法、装置、设备及计算机可读介质
WO2019235138A1 (ja) 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
US20200075025A1 (en) Information processing apparatus and facilitation support method
CN113722513B (zh) 多媒体数据的处理方法及设备
CN115880737B (zh) 一种基于降噪自学习的字幕生成方法、系统、设备及介质
CN112019923B (zh) 视频剪切处理方法
US20200294552A1 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
US20210118121A1 (en) Apparatus and Method for Determining Sharpness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7208499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150