JP2012003407A - 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム - Google Patents

情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2012003407A
JP2012003407A JP2010136304A JP2010136304A JP2012003407A JP 2012003407 A JP2012003407 A JP 2012003407A JP 2010136304 A JP2010136304 A JP 2010136304A JP 2010136304 A JP2010136304 A JP 2010136304A JP 2012003407 A JP2012003407 A JP 2012003407A
Authority
JP
Japan
Prior art keywords
subtitle
feature amount
content
caption
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010136304A
Other languages
English (en)
Inventor
Yoshihiro Manabe
芳宏 真鍋
Yuichi Abe
友一 阿部
Hideki Noma
英樹 野間
Tsugutomo Enami
嗣智 榎並
Akifumi Kashiwagi
暁史 柏木
Tatsu Kawakami
達 河上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010136304A priority Critical patent/JP2012003407A/ja
Priority to CN201110159152.2A priority patent/CN102291621B/zh
Priority to US13/155,596 priority patent/US8913874B2/en
Publication of JP2012003407A publication Critical patent/JP2012003407A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】動画コンテンツの同一性の判断を高速に行うことが可能な、新規かつ改良された情報処理装置を提供する。
【解決手段】本発明の情報処理装置は、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、コンテンツを特定可能な識別情報と、字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部と、字幕特徴量蓄積部に記憶された字幕特徴量と、判定対象の字幕特徴量とを照合し、字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、判定対象の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、字幕特徴量照合部の照合結果を出力する照合結果出力部と、を備える、情報処理装置が提供される。
【選択図】図2

Description

本発明は、情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラムに関し、より詳細には、字幕情報を有する動画コンテンツの同一性を判定する情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラムに関する。
近年、インターネット上で動画コンテンツに対するユーザのコメントを共有するサービスが行われている。この際、動画コンテンツは多数存在するため、ユーザがどの動画コンテンツに対してコメントしているのか特定する必要がある。
特開2009−177822号公報
しかし、コメントされた動画コンテンツの特定が困難となる場合がある。例えば、動画コンテンツが当初からインターネット上に存在する場合には、ユーザが動画コンテンツの視聴の際に用いたURI(Uniform Resource Identifier)等を用いて、コメントされた動画コンテンツを容易に特定することができる。しかし、動画コンテンツが、例えばユーザがレコーダーを用いて自宅で録画したテレビ番組である場合には、インターネット上でテレビ番組に対してなされたコメントであることを特定するのは困難である。コメントするユーザの居住地域が同一であれば、放送時間およびテレビ局の情報を組み合わせることでそのテレビ番組を特定することもできるが、異なる地域となると同一番組であってもテレビ番組を提供するテレビ局や放送時間が異なる可能性もある。
一方、従来の動画コンテンツの同定は、動画コンテンツの画像情報から画像特徴量を抽出し、画像特徴量が一致する度合いに基づき行われていた(例えば、特許文献1等)。しかし、かかる同定は、画像特徴量抽出のための処理が複雑であるため、計算に非常に時間を要するという問題もあった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画コンテンツの同一性の判断を高速に行うことが可能な、新規かつ改良された情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、コンテンツを特定可能な識別情報と、字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部と、字幕特徴量蓄積部に記憶された字幕特徴量と、判定対象の字幕特徴量とを照合し、字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、判定対象の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、字幕特徴量照合部の照合結果を出力する照合結果出力部と、を備える、情報処理装置が提供される。
字幕処理部は、コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、字幕情報分離部により分離された字幕情報に基づいて、少なくとも字幕の時間的間隔の配列を字幕特徴量として抽出する字幕特徴量抽出部と、を備えてもよい。
また、字幕特徴量抽出部は、コンテンツに含まれる複数の字幕内容を表す字幕データを、字幕データの表示時刻に基づいて時系列に配列し、時系列において隣接する字幕データの表示時刻の差分からなる数値列を字幕の時間的間隔の配列として算出してもよい。
さらに、字幕特徴量抽出部は、字幕情報から字幕内容を表す字幕データを字幕特徴量として抽出してもよい。
字幕特徴量照合部は、字幕処理部にて抽出された字幕特徴量と、判定対象の字幕特徴量とが、少なくとも部分的に一致している場合、これらの字幕特徴量が抽出されたコンテンツは同一であると判定するようにしてもよい。
また、字幕特徴量照合部は、字幕処理部にて抽出された字幕特徴量と、判定対象の字幕特徴量とが、部分的に一致している場合、これらの字幕特徴量の一致した度合いを算出するようにしてもよい。
照合結果出力部は、字幕特徴量照合部により所定の割合以上一致しているコンテンツが複数あると判定された場合、これらのコンテンツの識別情報を照合結果として出力するようにしてもよい。
字幕特徴量蓄積部は、字幕特徴量をN−グラム法を用いて記憶してもよい。
コンテンツが地上波デジタル放送された地上波デジタル放送コンテンツであるとき、字幕処理部は、地上波デジタル放送コンテンツに字幕情報が含まれていないとき、当該地上波デジタル放送コンテンツと同時にワンセグ放送されたワンセグ放送コンテンツの字幕情報に基づいて、字幕特徴量を抽出することもできる。
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、字幕情報分離部により分離された字幕情報に基づいて、コンテンツの特徴を表す字幕特徴量を抽出する字幕特徴量抽出部と、コンテンツに対するユーザコメントに、字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するコメント情報出力部と、を備える、情報処理装置が提供される。
さらに、上記課題を解決するために、本発明の別の観点によれば、コンテンツの同一性を判定する同一性判定システムが提供される。同一性判定システムは、コンテンツに対するユーザコメントが入力される情報処理装置と、情報処理装置から送信されたユーザコメントをネットワーク上で提供する情報提供サーバとからなり、情報処理装置は、コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、字幕情報分離部により分離された字幕情報に基づいて、コンテンツの特徴を表す字幕特徴量を抽出する字幕特徴量抽出部と、コンテンツに対するユーザコメントが入力されるコメント入力部と、コンテンツに対するユーザコメントに、字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するコメント情報出力部と、を備え、情報提供サーバは、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、コンテンツを特定可能な識別情報と、字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部と、字幕特徴量蓄積部に記憶された字幕特徴量と、情報処理装置から送信されたコメント情報に含まれる字幕特徴量とを照合し、字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、コメント情報の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、字幕特徴量照合部の照合結果を出力する照合結果出力部と、を備える。
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツに対するユーザコメントが入力される情報処理装置の字幕情報分割部により、コンテンツから、当該コンテンツに含まれる字幕情報を分離するステップと、字幕情報分離部により分離された字幕情報に基づいて、コンテンツの特徴を表す字幕特徴量を、情報処理装置の字幕特徴量抽出部により抽出するステップと、情報処理装置に入力されたコンテンツに対するユーザコメントに、字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、情報処理装置のコメント情報出力部により、ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するステップと、情報提供サーバの字幕処理部により、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出するステップと、コンテンツを特定可能な識別情報と、字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部に記憶された字幕特徴量と、情報処理装置から送信されたコメント情報に含まれる字幕特徴量とを照合し、字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、コメント情報の字幕特徴量に対応するコンテンツとの同一性を判定するステップと、字幕特徴量照合部の照合結果を、照合結果出力部により出力するステップと、を含む、同一性判定方法が提供される。
さらに、上記課題を解決するために、本発明の別の観点によれば、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、コンテンツを特定可能な識別情報と、字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部に記憶された字幕特徴量と、判定対象の字幕特徴量とを照合し、字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、判定対象の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、を備える、情報処理装置として機能させるためのコンピュータプログラムが提供される。
プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などがあげられる。
以上説明したように本発明によれば、動画コンテンツの同一性の判断を高速に行うことが可能な、新規かつ改良された情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラムを提供することができる。
本発明の実施形態に係る同一性判定システムの概要を示す説明図である。 同実施形態に係る同一性判定システムの機能構成を示すブロック図である。 同実施形態に係る同一性判定システムにおけるコンテンツの同一性判定処理を示すフローチャートである。 字幕特徴量の抽出処理の一例を示す説明図である。 同実施形態に係る情報処理装置の一ハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.同一性判定システムの概要
2.同一性判定システムの構成
3.同一性判定システムにおけるコンテンツの同一性判定処理
4.ハードウェア構成例
<1.同一性判定システムの概要>
まず、図1を参照して、本発明の実施形態に係る同一性判定システムの概要について説明する。なお、図1は、本実施形態に係る同一性判定システムの概要を示す説明図である。
本実施形態に係る同一性判定システムは、例えば図1に示すように、動画コンテンツを視聴するユーザ側の情報処理装置100と、ユーザ側から送信されたコメントに対応する動画コンテンツを特定可能な情報提供サーバ200とからなる。コンテンツ配信局1は、例えば動画コンテンツとしてテレビ番組を配信するテレビ局等である。コンテンツ配信局1は、動画コンテンツの視聴者であるユーザ側のテレビ102と、インターネット上で動画コンテンツに対するユーザコメントを提供する情報提供サーバ200とに、動画コンテンツを配信する。このとき、ユーザは、配信されたテレビ番組をレコーダー104に録画しておくこともできる。
コンテンツ配信局1から動画コンテンツ視聴したユーザは、視聴した動画コンテンツに対する感想などのコメントを、インターネット上でコメントを公開するため、ネットワークを介して情報提供サーバ200へ送信することができる。コメントは、テレビ102のリモートコントローラ等の入力デバイスを用いて、テレビ102の画面に入力することができる。コメントには、コメントされた動画コンテンツを特定するための情報である字幕特徴量が付加され、コメント情報として情報提供サーバ200へ送信される。
本実施形態に係る同一性判定システムでは、コメントされた動画コンテンツを特定するための情報である字幕特徴量を抽出するための情報処理装置100がテレビ102に接続されている。なお、図1では、情報処理装置100はテレビ102と別体であるが、本発明はかかる例に限定されず、テレビ102、あるいはレコーダー104に内蔵させてもよい。情報処理装置100は、コメントを情報提供サーバ200へ送信するとき、コメントされた動画コンテンツを解析して字幕特徴量を取得し、コメントに付加する。
一方、情報提供サーバ200は、コンテンツ配信局1から受信した動画コンテンツについて、情報処理装置100と同様、字幕特徴量を抽出しておく。そして、情報提供サーバ200は、ユーザ側からコメントを受信したとき、コメントに付加された字幕特徴量と、情報提供サーバ200にて抽出された字幕特徴量とを比較して、コメントされた動画コンテンツを特定する。
このように、本実施形態の同一性判定システムは、動画コンテンツの字幕情報に基づき抽出された字幕特徴量を用いて、コンテンツの同一性判定処理を行う。したがって、動画コンテンツには、原則として字幕情報が付加されているものとするが、当該動画コンテンツに関連する他の情報より動画コンテンツの字幕情報が取得可能な場合には、必ずしも動画コンテンツ自体に字幕情報が付加されていなくともよい。例えば、地上波デジタル放送のテレビ番組の字幕情報として、同時に配信されたワンセグ放送のテレビ番組の字幕情報を用いること等がある。
コンテンツの同一性判定処理において字幕情報から抽出される字幕特徴量を用いることにより、従来の動画コンテンツの画像情報から抽出された画像特徴量を用いる場合と比較して、特徴量抽出のための処理が軽くなり、また、情報量を少なくすることができる。したがって、動画コンテンツの同一性判定処理を高速に行うことができる。以下、かかる同一性判定システムによるコンテンツの同一性判定処理について、詳細に説明していく。
<2.同一性判定システムの構成>
まず、図2に基づいて、本実施形態に係る同一性判定システムの機能構成について説明する。なお、図2は、本実施形態に係る同一性判定システムの機能構成を示すブロック図である。上述したように、本実施形態に係る同一性判定システムは、ユーザ側に設けられた情報処理装置100と、ユーザ側から送信されたコメントを提供する情報提供サーバ200とが、ネットワークを介して接続されて構成されている。
情報処理装置100は、動画コンテンツに含まれる字幕情報から字幕特徴量を抽出可能な装置であり、ユーザ側の動画コンテンツを視聴するための装置(例えば、テレビ102やレコーダー104)に設けられている。情報処理装置100は、図2に示すように、動画コンテンツ入力部110と、字幕トラック分離部120と、字幕特徴量抽出部130と、コメント入力部140と、コメント情報出力部150とを備える。
動画コンテンツ入力部110は、字幕特徴量の抽出対象である動画コンテンツが入力されるインタフェースである。動画コンテンツ入力部110には、例えば、コンテンツ配信局1から配信された動画コンテンツが、コンテンツ配信局1から直接、あるいはテレビ102、レコーダー104を介して、入力される。動画コンテンツ入力部110は、入力された動画コンテンツを字幕トラック分離部120へ出力する。
字幕トラック分離部120は、動画コンテンツから字幕情報として字幕トラックを抜き出す処理を行う。字幕トラック分離部120は、抜き出した字幕トラックを字幕特徴量抽出部130へ出力する。
字幕特徴量抽出部130は、字幕トラックに基づいて、動画コンテンツの特徴を示す字幕特徴量を抽出する処理を行う。字幕特徴量は、例えば、字幕間の時間間隔や、字幕の内容等である。なお、字幕特徴量の抽出処理の詳細については、後述する。字幕特徴量抽出部130は、抽出した字幕特徴量をコメント情報出力部150へ出力する。
コメント入力部140は、動画コンテンツに対するユーザのコメントが入力されるインタフェースである。ユーザが入力デバイスを用いてコメントを入力すると、コメント入力部140に入力される。コメント入力部140は、入力されたコメントをコメント情報出力部150へ出力する。
コメント情報出力部150は、動画コンテンツに対するユーザのコメントを情報提供サーバ200へ送信する。このとき、コメント情報出力部150は、ユーザコメントに、字幕特徴量抽出部130により抽出された字幕特徴量を付加して、これらをコメント情報として情報提供サーバ200へ送信する。
一方、情報提供サーバ200は、インターネット上で動画コンテンツに対するユーザコメントの共有サービスを提供するサーバであって、字幕特徴量を用いて動画コンテンツの同一性を判定する機能を備える。情報提供サーバ200は、図2に示すように、字幕処理部210と、字幕特徴量蓄積部220と、コメント情報入力部230と、字幕特徴量照合部240と、照合結果出力部250と、を備える。なお、図2では、情報提供サーバ200の機能のうち、動画コンテンツの同一性判定処理に用いる機能部のみを示している。
字幕処理部210は、動画コンテンツの字幕情報から字幕特徴量を抽出する処理を行う処理部であって、動画コンテンツ入力部211と、字幕トラック分離部212と、字幕特徴量抽出部213とからなる。動画コンテンツ入力部211、字幕トラック分離部212、および字幕特徴量抽出部213は、それぞれ、情報処理装置100の動画コンテンツ入力部110、字幕トラック分離部120、および字幕特徴量抽出部130と同一処理を行う。
すなわち、動画コンテンツ入力部211は、コンテンツ配信局1から動画コンテンツが入力されるインタフェースであり、入力された動画コンテンツを字幕トラック分離部212へ出力する。字幕トラック分離部212は、動画コンテンツから字幕情報である字幕トラックを抜き出して、字幕特徴量抽出部213へ出力する。字幕特徴量抽出部213は、抜き出された字幕トラックから字幕特徴量を抽出する。ここで、字幕特徴量抽出部213により抽出される字幕特徴量は、情報処理装置100の字幕特徴量抽出部130で抽出される字幕特徴量と同一の指標で表されたものである。字幕特徴量抽出部213は、抽出した字幕特徴量を、各動画コンテンツと関連付けて、字幕特徴量蓄積部220に記録する。
字幕特徴量蓄積部220は、字幕特徴量抽出部213により抽出された字幕特徴量を、各動画コンテンツと関連付けて記憶する。例えば、字幕特徴量蓄積部220は、動画コンテンツに固有のコンテンツID(動画コンテンツを特定するための識別情報)とともに、字幕特徴量を記憶している。このとき、1つの動画コンテンツに対して、例えば、字幕の時間的間隔の配列や字幕内容等のように、異なる指標で動画コンテンツの特徴を表した複数の字幕特徴量を関連付けて記憶させてもよい。また、動画コンテンツの同一性判定処理を高速に行うため、字幕特徴量の記憶形態を適宜させてもよい。例えば、字幕特徴量が数値列である場合、全文検索した文字列に対し、N文字単位で機械的に文字を切り出すN−グラム法を用いて記憶させてもよい。
コメント情報入力部230は、情報処理装置100から送信されたコメント情報が入力されるインタフェースである。コメント情報入力部230は、受信したコメント情報を字幕特徴量照合部240へ出力する。
字幕特徴量照合部240は、情報処理装置100から送信されたコメント情報に含まれる字幕特徴量と、字幕特徴量蓄積部220に記憶された字幕特徴量とに基づいて、動画コンテンツの同一性判定処理を行う。字幕特徴量照合部240は、コメント情報に含まれる字幕特徴量と一致する字幕特徴量蓄積部220に記憶された字幕特徴量を探索し、字幕特徴量の一致する動画コンテンツを特定する。字幕特徴量照合部240は、字幕特徴量の照合により動画コンテンツが特定されたか否かを照合結果として照合結果出力部250へ出力する。動画コンテンツが特定された場合には、当該動画コンテンツを特定するための識別情報(例えばコンテンツID等)が照合結果に含まれる。
照合結果出力部250は、字幕特徴量照合部240から受信した照合結果を、他の処理部へ出力するインタフェースである。例えば、字幕特徴量照合部240の照合により、コメントされた動画コンテンツが特定された場合には、照合結果出力部250は、コメントをインターネット上に公開する処理を行う機能部(図示せず。)へ照合結果を出力することもできる。また、例えば、コメントされた動画コンテンツを特定することができなかった場合には、照合結果出力部250は、ユーザ側の情報処理装置100に対して別の指標で表された字幕特徴量の送信を要求する機能部(図示せず。)へ照合結果を出力することもできる。
以上、本実施形態に係る同一性判定システムの機能構成について説明した。
<3.同一性判定システムにおけるコンテンツの同一性判定処理>
次に、図3および図4に基づいて、同一性判定システムにおけるコンテンツの同一性判定処理について説明する。なお、図3は、本実施形態に係る同一性判定システムにおけるコンテンツの同一性判定処理を示すフローチャートである。図4は、字幕特徴量の抽出処理の一例を示す説明図である。
同一性判定システムにおけるコンテンツの同一性判定処理では、まず、コンテンツ配信局1から配信された動画コンテンツの字幕特徴量を抽出する処理が行われる(S100、S101、S200、S201)。ユーザ側の情報処理装置100では、コンテンツ配信局1から動画コンテンツを受信すると(S100)、字幕トラック分離部120、字幕特徴量抽出部130により、字幕特徴量が抽出される(S101)。本実施形態では、字幕特徴量を、字幕トラックに複数含まれる、表示装置にコンテンツを表示させる時刻を指定するタイムスタンプを有する字幕データを用いて抽出する。
具体的には、図4に示すように、字幕トラックに含まれる字幕データを、タイムスタンプの小さい順に配列し、順に字幕1、字幕2、字幕3、・・・とする。各字幕データのタイムスタンプは、t1、t2、t3、・・・とする。ここで、個々のタイムスタンプの差分x(i)(=t(i+1)−t(i))と定義する。差分x(i)はタイムスタンプの原点に依存しない、字幕の表示間隔のみに依存する値である。この差分x(i)を字幕特徴量として用いることで、動画コンテンツの照合を正確に行うことが可能となる。
そして、情報処理装置100は、コメント入力部140から動画コンテンツに対するユーザコメントが入力されると(S102)、コメント情報出力部150より、コメントに字幕特徴量を付加したコメント情報を情報提供サーバ200へ送信する(S103)。
一方、情報提供サーバ200でも、コンテンツ配信局1からコンテンツが配信されると、ステップS100、S101と同様の処理が行われる(S200、S201)。情報提供サーバ200の字幕特徴量抽出部213により抽出された字幕特徴量は、字幕特徴量蓄積部220に蓄積される(S202)。情報提供サーバ200での字幕特徴量の抽出は、コンテンツ配信局1から動画コンテンツが配信されたタイミング、あるいは所定の時間間隔で行われる。情報提供サーバ200は、動画コンテンツの字幕特徴量を保持した状態で、ユーザ側からのコメント情報の受信を待機する。
その後、情報提供サーバ200が情報処理装置100からコメント情報を受信すると、字幕特徴量照合部240は、字幕特徴量蓄積部220に蓄積された字幕特徴量の中から、コメント情報に含まれる字幕特徴量と一致する動画コンテンツを探索する(S203)。この際、字幕特徴量は、上述したように、字幕データのタイムスタンプから算出された、字幕の表示間隔を示す単純な数値列であるため、既存の文字列探索に用いられる探索アルゴリズムをそのまま適用することができる。
また、情報処理装置100から受信した字幕特徴量が動画コンテンツの一部から生成された場合にも対応可能なように、字幕特徴量照合部240は、動画コンテンツの同一性を、完全一致ではなく部分一致で判定してもよい。部分一致した場合にも動画コンテンツに間に同一性があると判定する場合には、例えば、部分一致した度合いを示すパーセンテージが所定値以上であるとき同一コンテンツであると判定したり、最も高いパーセンテージを示す動画コンテンツを一致するコンテンツとして決定したりするようにしてもよい。なお、部分一致した度合いを示すパーセンテージは、その値が大きいほどより類似する動画コンテンツであることを示すものとする。
そして、字幕特徴量照合部240による字幕特徴量の照合結果が、照合結果出力部250より出力される(S204)。照合結果出力部250による最も単純な出力としては、同一と判定された動画コンテンツのコンテンツIDを出力することである。また、部分一致した場合にも動画コンテンツに間に同一性があると判定する場合には、照合結果出力部250は、より詳細な情報として、コンテンツIDとともに、部分一致であった場合の字幕特徴量の一致した度合いをパーセンテージで表し、出力してもよい。これにより、特定された動画コンテンツの確からしさを情報として提供することができる。
あるいは、複数の動画コンテンツにおいて、字幕特徴量の一致した度合いを示すパーセンテージが所定値であったときには、より詳細な同一性判定を行うため、これらの動画コンテンツのコンテンツIDを出力してもよい。この場合、字幕の時間的間隔の配列によっては1つの動画コンテンツを特定することができないため、これらのコンテンツIDの動画コンテンツから、コメントされた動画コンテンツを特定するため、他の字幕特徴量の送信要求を情報処理装置100に行ってもよい。他の字幕特徴量としては、字幕の内容を示す字幕データ等がある。字幕データは、タイムスタンプの差分で表された字幕特徴量と比較して情報量は大きくなるが、画像から抽出された画像特徴量よりははるかに情報量は小さいので、処理速度を大きく低下させることはない。
以上、本実施形態に係る同一性判定システムにおけるコンテンツの同一性判定処理について説明した。かかる処理によれば、画像情報から抽出された画像特徴量と比較して情報量の小さい、字幕情報に基づき抽出された字幕特徴量を用いて、動画コンテンツの同一性を判定する。これにより、動画コンテンツに対する同一性の判定を高速に行うことができる。
<4.ハードウェア構成例>
本実施形態にかかる情報処理装置100による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理装置100は、図5に示すようなコンピュータとして構成することもできる。以下、図5に基づいて、本実施形態に係る情報処理装置100の一ハードウェア構成例について説明する。
本実施形態に係る情報処理装置100は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置100は、図5に示すように、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104aとを備える。また、情報処理装置100は、ブリッジ104と、外部バス104bと、インタフェース105と、入力装置106と、出力装置107と、ストレージ装置(HDD)108と、ドライブ109と、接続ポート111と、通信装置113とを備える。
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス104aにより相互に接続されている。
ホストバス104aは、ブリッジ104を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス104bに接続されている。なお、必ずしもホストバス104a、ブリッジ104および外部バス104bを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
入力装置106は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。出力装置107は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
ストレージ装置108は、情報処理装置100の記憶部の一例であり、データ格納用の装置である。ストレージ装置108は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置108は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置108は、ハードディスクを駆動し、CPU101が実行するプログラムや各種データを格納する。
ドライブ109は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ109は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、RAM103に出力する。
接続ポート111は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。また、通信装置113は、例えば、通信網10に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置112は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、字幕情報を有する動画コンテンツについての同一性判定処理について説明したが、本発明はかかる例に限定されない。例えば、配信された動画コンテンツ自体に字幕情報が付随していない場合であっても、動画コンテンツが地上波デジタル放送であり、同時に放送されたワンセグ放送に字幕情報があれば、これを用いて動画コンテンツの同一性を判定することができる。この場合、字幕トラック分離部120、212は、そのワンセグ放送の字幕情報を分離して、字幕特徴量抽出部130へ出力する。字幕特徴量抽出部130は、上述した処理と同様に、この字幕情報から字幕特徴量を抽出することができる。
1 コンテンツ配信局
100 情報処理装置
110、211 動画コンテンツ入力部
120、212 字幕トラック分離部
130、213 字幕特徴量抽出部
140 コメント入力部
150 コメント情報出力部
200 情報提供サーバ
210 字幕処理部
220 字幕特徴量蓄積部
230 コメント情報入力部
240 字幕特徴量照合部
250 照合結果出力部

Claims (13)

  1. コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、
    コンテンツを特定可能な識別情報と、前記字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部と、
    前記字幕特徴量蓄積部に記憶された字幕特徴量と、判定対象の字幕特徴量とを照合し、前記字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、前記判定対象の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、
    前記字幕特徴量照合部の照合結果を出力する照合結果出力部と、
    を備える、情報処理装置。
  2. 前記字幕処理部は、
    コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、
    前記字幕情報分離部により分離された字幕情報に基づいて、少なくとも字幕の時間的間隔の配列を字幕特徴量として抽出する字幕特徴量抽出部と、
    を備える、請求項1に記載の情報処理装置。
  3. 前記字幕特徴量抽出部は、
    コンテンツに含まれる複数の字幕内容を表す字幕データを、前記字幕データの表示時刻に基づいて時系列に配列し、
    時系列において隣接する前記字幕データの表示時刻の差分からなる数値列を前記字幕の時間的間隔の配列として算出する、請求項2に記載の情報処理装置。
  4. 前記字幕特徴量抽出部は、前記字幕情報から字幕内容を表す字幕データを字幕特徴量としてさらに抽出する、請求項2に記載の情報処理装置。
  5. 前記字幕特徴量照合部は、前記字幕処理部にて抽出された字幕特徴量と、前記判定対象の字幕特徴量とが、少なくとも部分的に一致している場合、これらの字幕特徴量が抽出されたコンテンツは同一であると判定する、請求項1に記載の情報処理装置。
  6. 前記字幕特徴量照合部は、前記字幕処理部にて抽出された字幕特徴量と、前記判定対象の字幕特徴量とが、部分的に一致している場合、これらの字幕特徴量の一致した度合いを算出する、請求項5に記載の情報処理装置。
  7. 前記照合結果出力部は、前記字幕特徴量照合部により所定の割合以上一致しているコンテンツが複数あると判定された場合、これらのコンテンツの識別情報を照合結果として出力する、請求項6に記載の情報処理装置。
  8. 前記字幕特徴量蓄積部は、前記字幕特徴量をN−グラム法を用いて記憶する、請求項1に記載の情報処理装置。
  9. 前記コンテンツが地上波デジタル放送された地上波デジタル放送コンテンツであるとき、
    前記字幕処理部は、前記地上波デジタル放送コンテンツに字幕情報が含まれていないとき、当該地上波デジタル放送コンテンツと同時にワンセグ放送されたワンセグ放送コンテンツの字幕情報に基づいて、字幕特徴量を抽出する、請求項1に記載の情報処理装置。
  10. コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、
    前記字幕情報分離部により分離された字幕情報に基づいて、前記コンテンツの特徴を表す字幕特徴量を抽出する字幕特徴量抽出部と、
    前記コンテンツに対するユーザコメントに、前記字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、前記ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するコメント情報出力部と、
    を備える、情報処理装置。
  11. コンテンツの同一性を判定する同一性判定システムであって、
    コンテンツに対するユーザコメントが入力される情報処理装置と、前記情報処理装置から送信された前記ユーザコメントをネットワーク上で提供する情報提供サーバとからなり、
    前記情報処理装置は、
    コンテンツから、当該コンテンツに含まれる字幕情報を分離する字幕情報分離部と、
    前記字幕情報分離部により分離された字幕情報に基づいて、前記コンテンツの特徴を表す字幕特徴量を抽出する字幕特徴量抽出部と、
    前記コンテンツに対するユーザコメントが入力されるコメント入力部と、
    前記コンテンツに対するユーザコメントに、前記字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、前記ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するコメント情報出力部と、
    を備え、
    前記情報提供サーバは、
    コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、
    コンテンツを特定可能な識別情報と、前記字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部と、
    前記字幕特徴量蓄積部に記憶された字幕特徴量と、前記情報処理装置から送信されたコメント情報に含まれる字幕特徴量とを照合し、前記字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、前記コメント情報の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、
    前記字幕特徴量照合部の照合結果を出力する照合結果出力部と、
    を備える、同一性判定システム。
  12. コンテンツに対するユーザコメントが入力される情報処理装置の字幕情報分割部により、コンテンツから、当該コンテンツに含まれる字幕情報を分離するステップと、
    前記字幕情報分離部により分離された字幕情報に基づいて、前記コンテンツの特徴を表す字幕特徴量を、前記情報処理装置の字幕特徴量抽出部により抽出するステップと、
    前記情報処理装置に入力された前記コンテンツに対するユーザコメントに、前記字幕特徴量抽出部により抽出された字幕特徴量を付加したコメント情報を、前記情報処理装置のコメント情報出力部により、前記ユーザコメントをネットワーク上で提供する情報提供サーバへ送信するステップと、
    前記情報提供サーバの字幕処理部により、コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出するステップと、
    コンテンツを特定可能な識別情報と、前記字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部に記憶された字幕特徴量と、前記情報処理装置から送信されたコメント情報に含まれる字幕特徴量とを照合し、前記字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、前記コメント情報の字幕特徴量に対応するコンテンツとの同一性を判定するステップと、
    前記字幕特徴量照合部の照合結果を、照合結果出力部により出力するステップと、
    を含む、同一性判定方法。
  13. コンテンツに含まれる字幕情報から、当該コンテンツの特徴を表す字幕特徴量を抽出する字幕処理部と、
    コンテンツを特定可能な識別情報と、前記字幕処理部により当該コンテンツから抽出された字幕特徴量とを、関連付けて記憶する字幕特徴量蓄積部に記憶された字幕特徴量と、判定対象の字幕特徴量とを照合し、前記字幕特徴量蓄積部に記憶された字幕特徴量に対応するコンテンツと、前記判定対象の字幕特徴量に対応するコンテンツとの同一性を判定する字幕特徴量照合部と、
    を備える、情報処理装置として機能させるためのコンピュータプログラム。
JP2010136304A 2010-06-15 2010-06-15 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム Withdrawn JP2012003407A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010136304A JP2012003407A (ja) 2010-06-15 2010-06-15 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム
CN201110159152.2A CN102291621B (zh) 2010-06-15 2011-06-08 信息提供服务器、信息处理设备及同一性判定系统和方法
US13/155,596 US8913874B2 (en) 2010-06-15 2011-06-08 Information processing apparatus, sameness determination system, sameness determination method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010136304A JP2012003407A (ja) 2010-06-15 2010-06-15 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2012003407A true JP2012003407A (ja) 2012-01-05

Family

ID=45096284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010136304A Withdrawn JP2012003407A (ja) 2010-06-15 2010-06-15 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US8913874B2 (ja)
JP (1) JP2012003407A (ja)
CN (1) CN102291621B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686352A (zh) * 2013-11-15 2014-03-26 乐视致新电子科技(天津)有限公司 智能电视媒体播放器及其字幕处理方法、智能电视
CN105338394B (zh) * 2014-06-19 2018-11-30 阿里巴巴集团控股有限公司 字幕数据的处理方法及系统
CN106294370B (zh) * 2015-05-15 2019-09-17 株式会社理光 确定图文对应关系的方法和装置
JP2019215747A (ja) * 2018-06-13 2019-12-19 富士ゼロックス株式会社 情報処理装置及びプログラム
CN109257659A (zh) * 2018-11-16 2019-01-22 北京微播视界科技有限公司 字幕添加方法、装置、电子设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060045346A1 (en) * 2004-08-26 2006-03-02 Hui Zhou Method and apparatus for locating and extracting captions in a digital image
JP4459267B2 (ja) * 2005-02-28 2010-04-28 パイオニア株式会社 辞書データ生成装置及び電子機器
US20070011012A1 (en) * 2005-07-11 2007-01-11 Steve Yurick Method, system, and apparatus for facilitating captioning of multi-media content
JP4923604B2 (ja) * 2006-02-13 2012-04-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20070250319A1 (en) * 2006-04-11 2007-10-25 Denso Corporation Song feature quantity computation device and song retrieval system
JP4833147B2 (ja) * 2007-04-27 2011-12-07 株式会社ドワンゴ 端末装置、コメント出力方法、及びプログラム
JP4788787B2 (ja) 2009-02-13 2011-10-05 ソニー株式会社 特定画像検出装置、特定画像検出方法、プログラム及び特定画像検出システム

Also Published As

Publication number Publication date
US20110305432A1 (en) 2011-12-15
CN102291621B (zh) 2016-01-20
CN102291621A (zh) 2011-12-21
US8913874B2 (en) 2014-12-16

Similar Documents

Publication Publication Date Title
CN108370447B (zh) 内容处理装置及其内容处理方法、服务器
US9241195B2 (en) Searching recorded or viewed content
JP5144838B1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US9552413B2 (en) Information-processing apparatus, method, system, computer-readable medium and method for automatically recording or recommending content
US9191720B2 (en) Systems and methods for generating a user profile based customized display that includes user-generated and non-user-generated content
KR102091414B1 (ko) 방송되는 미디어 관련 전자 메시징 향상
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
US20120324495A1 (en) Detecting and distributing video content identities
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
US8341124B2 (en) Sales support system, sales support method and sales support program
KR20120099034A (ko) 온라인 소셜 네트워크를 통한 자동 미디어 자산 업데이트
CN102163212A (zh) 视频片段识别
JP2015090716A (ja) 動画番組推奨方法及びそのサーバ
US20230281243A1 (en) Systems and methods for identifying a media asset from an ambiguous audio indicator
US20180152758A1 (en) Systems and methods for predictive spoiler prevention in media assets based on user behavior
US9542395B2 (en) Systems and methods for determining alternative names
JP2012003407A (ja) 情報処理装置、同一性判定システム、同一性判定方法およびコンピュータプログラム
US20150012946A1 (en) Methods and systems for presenting tag lines associated with media assets
US20160321313A1 (en) Systems and methods for determining whether a descriptive asset needs to be updated
US20130177288A1 (en) Electronic device and audio output method
JP5209129B1 (ja) 情報処理装置、放送受信装置及び情報処理方法
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
US9094650B2 (en) Chapter creating device, chapter creating method, and computer program product therefor
JP5703321B2 (ja) 情報処理装置及び情報処理方法
US20140189769A1 (en) Information management device, server, and control method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903