JP2010074832A - デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システム - Google Patents

デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システム Download PDF

Info

Publication number
JP2010074832A
JP2010074832A JP2009213268A JP2009213268A JP2010074832A JP 2010074832 A JP2010074832 A JP 2010074832A JP 2009213268 A JP2009213268 A JP 2009213268A JP 2009213268 A JP2009213268 A JP 2009213268A JP 2010074832 A JP2010074832 A JP 2010074832A
Authority
JP
Japan
Prior art keywords
feature
moving image
content
scene
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009213268A
Other languages
English (en)
Inventor
Won-Suhk Uhm
ウォン スック ウム
Sang-Gyoo Sim
サン ギョウ シム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WIDILAB
Original Assignee
WIDILAB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42008424&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2010074832(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by WIDILAB filed Critical WIDILAB
Publication of JP2010074832A publication Critical patent/JP2010074832A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/2585—Generation of a revocation list, e.g. of client devices involved in piracy acts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems

Abstract

【課題】デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用しる動画コンテンツの管理システムを提供すること。
【解決手段】デジタル動画コンテンツの類似度の測定方法は、次のように行われる。まず、動画コンテンツの場面転換を検出して複数の場面に分離する。その後、分離された場面のうち、第１場面の第１場面特徴を抽出する。次に、抽出された第１場面の第１場面特徴を第２場面の第２場面特徴と比較して、類似度を測定する。これによって、デジタル動画コンテンツの類似度を効果的に測定でき、これを用いて動画コンテンツの不法共有を防止することができ、動画再生時に追加的な関連動画情報を提供することができるため、コンテンツ管理及び流通に効果的に活用することができる。
【選択図】図１

Description

本発明は、デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用しる動画コンテンツの管理システムに関わり、より詳細には、動画コンテンツの類似可否の判断のためのデジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システムに関する。
インターネットメディアが社会の一般的な情報交流及び獲得手段になることに応じて、動画コンテンツ(ｃｏｎｔｅｎｔｓ)の共有が非常に容易かつ頻繁に発生している。
これにしたがい、一般の空中波放送、ＤＭＢ(ｄｉｇｉｔａｌ ｍｕｌｔｉｍｅｄｉａ ｂｒｏａｄｃａｓｔｉｎｇ)放送、インターネット放送のような放送社でサービスする各種動画コンテンツは、第１コンテンツの消費者が獲得した後、インターネット共有サイト(ｓｉｔｅ)のようなインターネットメディアを用いて、第２コンテンツの消費者に容易に伝送することができる。
しかし、このような情報の伝達は、前記情報の著作権者の意思に反して第２コンテンツの消費者に伝えられることが可能であるため、著作権者の知的財産権を侵害するおそれがあり、多くの費用と努力によって製作された著作物が不法にインターネット上に流布される深刻な問題を招来する。更に、このような著作物の共有は、１〜２人の不法なコンテンツの消費者のみを発生させることに止まらず、幾何級数的に不法コンテンツの消費者を量産するという点から大きい問題がある。
よって、このような不法動画コンテンツの共有を防止するための動画コンテンツの管理方法が要求され、これのために、デジタル動画コンテンツの類似度を効果的に測定する方法が要求される。
そこで、本発明は、前記問題に鑑みてなされたものであり、本発明の目的とするところは、デジタル動画コンテンツの類似可否を判断できる基準を提供するデジタル動画コンテンツの類似度の測定方法を提供することにある。
また、本発明の目的は、前記のデジタル動画コンテンツの類似度の測定方法を用いて、動画コンテンツの不法共有を防止しうる動画コンテンツの管理方法を提供することにある。
なお、本発明の目的は、前記の動画コンテンツの管理方法を用いる動画コンテンツの管理システムを提供することにある。
本発明の一特徴によるデジタル動画コンテンツの類似度の測定方法は、次のように行われる。まず、動画コンテンツの場面(ｓｃｅｎｅ)転換を検出して複数の場面に分離する。その後、前記分離された場面のうち、第１場面の第１場面特徴(ｆｅａｔｕｒｅ)を抽出する。次に、前記抽出された第１場面の第１場面特徴を第２場面の第２場面特徴と比較して、類似度を測定する。
前記第１場面は、複数の第１フレームを含むことができ、前記第１場面特徴を抽出する段階は、前記第１フレームからそれぞれ第１フレーム特徴を抽出する段階、及び前記各第１フレームから抽出された第１フレーム特徴をグループ化して、前記第１場面の第１場面特徴に定義する段階、を含むことができる。これと同様に、前記第２場面は、複数の第２フレームを含むことができ、前記第２場面特徴を抽出する段階は、前記第２フレームからそれぞれ第２フレーム特徴を抽出する段階、及び前記各第２フレームから抽出された第２フレーム特徴をグループ化して、前記第２場面の第２場面特徴に定義する段階、を含むことができる。
ここで、前記第１フレームから第１フレーム特徴を抽出する段階は、前記第１フレームの動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)の角度をヒストグラム(ｈｉｓｔｏｇｒａｍ)化する段階、及び前記ヒストグラムの大きさが大きい角度の順序で所定個数を選定して、前記第１フレームの第１フレーム特徴に定義する段階、を含むことができる。これと同様に、前記第２フレームから第２フレーム特徴を抽出する段階は、前記第２フレームの動きベクトルの角度をヒストグラム化する段階、及び前記ヒストグラムの大きさが大きい角度の順序で所定個数を選定して、前記第２フレームの第２フレーム特徴に定義する段階、を含むことができる。
一実施例で、前記類似度を測定する段階は、前記第１場面における第１フレームの各第１フレーム特徴に対する平均値と前記第２場面における第２フレームの各第２フレーム特徴に対する平均値との間のユークリッド距離(ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ)を計算して行うことができる。
他の実施例で、前記類似度を測定する段階は、前記第１場面における第１フレームの各第１フレーム特徴と前記第２場面における第２フレームの各第２フレーム特徴との間のユークリッド距離に対する平均値を計算して行うことができる。
前記動画コンテンツの場面転換を検出して、複数の場面に分離する段階の前に、デジタル放送に転送される信号を実時間でインデクシングして特徴を抽出した後、特徴データベース（ｄａｔａｂａｓｅ：ＤＢ）に保存する段階を更に含むことができる。この場合、前記第２場面は、前記特徴データベースに保存された動画コンテンツに含まれることが可能である。
本発明の他の特徴による動画コンテンツの管理方法は、下記のように行われる。まず、動画サービス業者のサーバーからコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツに対して登録要請を受ける。続いて、前記第１動画コンテンツから第１特徴を抽出し、抽出された前記第１特徴を特徴データベースに保存して登録する。その後、共有サイト(ｓｉｔｅ)に第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベースに登録されている否かの照会要請を受ける。続いて、前記第２動画コンテンツの少なくとも一部から第２特徴を抽出し、抽出された前記第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する。
一実施例で、前記第１及び第２特徴は、それぞれ前記第１及び第２動画コンテンツの場面(ｓｃｅｎｅ)またはフレーム(ｆｒａｍｅ)から抽出される。
前記第１動画コンテンツと前記第２動画コンテンツの類似可否を判別した後、前記類似可否を前記動画サービス業者のサーバーに通知することができる。また、前記類似可否において類似であると判別された場合、前記第２動画を広告強制化または有料化することができる。
前記第２動画コンテンツの登録可否の照会要請は、前記コンテンツの消費者が前記共有サイトに前記第２動画コンテンツをアップロード(ｕｐｌｏａｄ)する時に行われ、前記類似可否において類似であると判別された場合に前記共有サイトは前記第２動画コンテンツのアップロードを拒否することができる。
前記第１特徴を前記特徴データベースに保存して登録する前に、前記少なくとも一つ以上の第１動画コンテンツを実時間でモニタリングして収集することができる。
また、前記類似可否において類似であると判別された場合、前記第１動画コンテンツに関わる追加情報を前記第２動画コンテンツの消費者に提供することもできる。
本発明の他の特徴による動画コンテンツの管理システムは、コンテンツ収集部、特徴抽出部、特徴データベース、登録質問受信部、及び類似判別部を含む。前記コンテンツ収集部は、コンテンツの消費者に第１動画コンテンツを提供する動画サービス業者のサーバーから前記第１動画コンテンツを収集する。前記特徴抽出部は、前記コンテンツ収集部に収集された前記第１動画コンテンツから第１特徴を抽出する。
前記特徴データベースには、前記特徴抽出部から抽出された前記第１特徴が保存される。前記登録質問受信部は、共有サイトに第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベースに登録されている否かの照会要請を受ける。前記類似判別部は、前記第２動画コンテンツの第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する。
一実施例で、前記登録質問受信部は、前記共有サイトから前記第２動画コンテンツの少なくとも一部を受信することができ、前記特徴抽出部は、受信された前記第２動画コンテンツから前記第２特徴を抽出して、前記類似判別部に伝達することができる。他の実施例で、前記共有サイトは、前記第２動画コンテンツの第２特徴を抽出して前記登録質問受信部に伝達することができ、前記登録質問受信部は、前記第２動画コンテンツの第２特徴を前記類似判別部に伝達することができる。
前記動画コンテンツの管理システムは、前記類似可否を前記共有サイトに応答する質問応答部を更に含むことができ、前記類似可否を前記動画サービス業者のサーバーに通知する類似通知部を更に含むことができる。
前記動画コンテンツの管理システムは、多数の追加的な動画コンテンツに関わる追加情報を保存する追加情報データベース、及び前記類似可否において類似であると判別された場合、前記追加情報のうち、前記第１動画コンテンツに関わる情報を前記第２動画コンテンツの消費者に提供する追加情報送信部、を更に含むことができる。
本発明のまた他の特徴による動画コンテンツの管理方法は、次のように行われる。まず、動画サービス業者のサーバーからコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツに対して登録要請を受ける。続いて、前記第１動画コンテンツから第１特徴を抽出し、抽出された前記第１特徴を特徴データベースに保存して登録する。その後、コンテンツの消費者が第２動画コンテンツを再生する時、前記第２動画コンテンツに関する情報の伝送を受ける。続いて、前記第２動画コンテンツの第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する。
前記類似可否において類似であると判別された場合、前記第１動画コンテンツに関わる追加情報を提供することができる。
一実施例で、前記類似可否を判別する前に、前記第２動画コンテンツから前記第２特徴を抽出することができる。他の実施例で、前記第２動画コンテンツに関する情報は、前記第２動画コンテンツの第２特徴を含むことができる。
本発明によると、デジタル動画コンテンツの場面から抽出された場面特徴を他の動画コンテンツの場面特徴と比較して類似度を測定することによって、デジタル動画コンテンツの類似度を効果的に測定することができる。
また、著作権問題や他の理由から共有を防止しようとする動画コンテンツから特徴を抽出してデータベース化し、動画コンテンツが共有される時、これから特徴を抽出して前記共有防止動画コンテンツと比較した後、類似可否を判別することによって、不法動画コンテンツの共有を防止することができ、これによって幾何級数的に量産される不法コンテンツの消費者を遮断することができる。
また、実時間で共有防止動画コンテンツを収集して、実時間で共有行為を把握して報告することができるため、共有防止のための安定的なシステムを提供することができる。
また、コンテンツの消費者が再生している動画コンテンツに関わる他の動画コンテンツに関する情報を実時間で前記コンテンツの消費者に追加的に提供することができる。
よって、コンテンツ管理及びコンテンツ流通に効果的に活用することができる。
本発明の一実施例によるデジタル動画コンテンツの類似度の測定方法を示したフローチャートである。 本発明の一実施例による動画コンテンツの管理方法を示したフローチャートである。 本発明の一実施例による動画コンテンツの管理方法を説明するための構成図である。 本発明の他の実施例による動画コンテンツの管理方法を示したフローチャートである。 本発明の他の実施例による動画コンテンツの管理方法を説明するための構成図である。 本発明の一実施例による動画コンテンツの管理システムを示した構成図である。 本発明の他の実施例による動画コンテンツの管理システムを示した構成図である。 本発明のまた他の実施例による動画コンテンツの管理システムを示した構成図である。
前述した本発明の特徴及び効果は、添付する図面と下記の詳細な説明によってより明らかになり、それによって本発明の属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施することができるだろう。
本発明は多様に変更することができ、多様な形態を有することができること、特定の実施形態を図面に例示して本文に詳細に説明する。しかし、これは、本発明を特定の開示形態に限定するのではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物、乃至代替物を含むことを理解すべきである。
本出願で用いる用語はただ特定の実施例を説明するためのものであって、本発明を限定しない。単数の表現は、文脈上、明白に相違が示されない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを意図するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないことを理解しなければならない。
なお、異なるものとして定義しない限り、技術的であるか科学的な用語を含めてここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に用いられる辞典に定義されているもののような用語は、関連技術の文脈上で有する意味と一致する意味を有することと解釈すべきであり、本出願で明白に定義されない限り、異常的であるか過度に形式的な意味に解釈されない。
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
図１は、本発明の一実施例によるデジタル動画コンテンツの類似度の測定方法を示したフローチャートである。
図１を参照すると、デジタル動画コンテンツの類似度の測定のために、まず動画コンテンツの場面(ｓｃｅｎｅ)転換を検出して、複数の場面に分離する(Ｓ１１０)。
デジタル動画コンテンツの類似度を測定するためには、例えば、二つの動画間の場面が互いにどのぐらい一致するかが重要な基準になることができる。
例えば、前記動画コンテンツは、ＭＰＥＧ−２ ＴＳで圧縮されたデジタル動画であることもあるが、この場合、前記デジタル動画は２進数コードでコーディングされているため、まずコーディングされた動画の場面転換を検出して複数の場面に分離すると、前記二つの動画間の場面の類似あるいは一致の可否を比較することができる。
例えば、圧縮された動画がＩ−フレーム(ｆｒａｍｅ)、Ｐ−フレーム、Ｂ−フレームを含む場合、残留エネルギー(ｒｅｓｉｄｕａｌ ｅｎｅｒｇｙ)が急激に変わる性質を用いて、場面転換を検出することができる。
また、圧縮された動画がＩ−フレーム、Ｐ−フレームのみを含む場合、残留エネルギーに関係なく特定Ｐ−フレームでイントラブロック(ｉｎｔｒａ−ｂｌｏｃｋ)と動き補償ブロック(ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｂｌｏｃｋ；ＭＣ−ｂｌｏｃｋ)との比率が急激に変わる場合、場面の転換が行われる性質を用いて、場面転換を検出することができる。
その後、前記分離された場面のうち、第１場面の第１場面特徴(ｆｅａｔｕｒｅ)を抽出する(Ｓ１２０)。
前記分離された場面のうち、いずれの場面に対して他の動画コンテンツに類似場面が含まれているのかを確認するために、各場面は所定の方法によって、その場面の固有な特徴を数値的に示すように場面特徴を定義することができる。即ち、ここで用いる「特徴(ｆｅａｔｕｒｅ)」とは、類似の場面を選別しうる選別因子としての意味で用いられる。一方、前記分離された場面のうち、いずれか一つの場面を第１場面であると定義する。
前記各第１場面は、複数の第１フレームで構成されることが可能である。よって、前記第１場面の第１場面特徴は、前記複数の第１フレームによって決められることが可能である。
例えば、それぞれの第１フレームから数値化された選別因子としての第１フレーム特徴を抽出して、抽出された複数の第１フレーム特徴を総合することによって第１場面特徴を定義することができる。
一実施例で、前記第１場面特徴を抽出するために、先に前記第１フレームからそれぞれ第１フレーム特徴を抽出した後、続いて前記各第１フレームから抽出された第１フレーム特徴をグループ化して、前記第１場面の第１場面特徴に定義することができる。
この場合、前記第１フレームから第１フレーム特徴を抽出するために、まず前記各第１フレームの動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)の角度をヒストグラム(ｈｉｓｔｏｇｒａｍ)化する。 各フレームに対するヒストグラムは、全般的な動きの傾向を示しているものの、ヒストグラム上の大きさが小さい角度に該当する動きは、実際動きの傾向にランダムエラー(ｒａｎｄｏｍ ｅｒｒｏｒ)が追加されて生成される動きに見なすことができるため、フレームを表現する動きの傾向からは排除することができる。よって、次に前記ヒストグラムの大きさが大きい角度の順序で所定個数を選定して、前記選ばれた所定個数のデータを前記第１フレームの第１フレーム特徴に定義することができる。
前記所定個数は、例えば、３〜５個であってもよい。このように、第１場面が含むそれぞれの第１フレームに対して、前記第１フレーム特徴に選ばれた所定個数のデータを抽出して、すべての第１フレームに対してグループ化することによって場面に対する選別因子、即ち、第１場面特徴に定義することができる。
次に、前記抽出された第１場面の第１場面特徴を第２場面の第２場面特徴と比較して、類似度を測定する(Ｓ１３０)。
前記第２場面は、例えば、比較対象のデジタル動画に属する場面であってもよい。前記第１場面を前記第２場面と比較して、類似可否を判断でき、これのために数値化された前記第１場面の第１場面特徴と前記第２場面の第２場面特徴とを互いに比較して、類似の程度を測定することができる。
前記第２場面も前記第１場面と同様に複数の第２フレームを含むことができ、前記第２場面特徴も前記第１場面特徴と同様の方式で抽出することができる。また、前記第２フレーム特徴も前記第１フレーム特徴と同様の方式で前記第２フレームから抽出することができる。
類似度の測定は、結局、数値化された前記第１場面特徴と前記第２場面特徴との距離を測定する問題に帰結されることが可能である。
よって一実施例で、前記第１場面における第１フレームの各第１フレーム特徴に対する平均値と前記第２場面における第２フレームの各第２フレーム特徴に対する平均値との間のユークリッド距離(ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ)を計算して、類似道として評価することができる。
他の実施例で、前記第１場面における第１フレームの各第１フレーム特徴と前記第２場面における第２フレームの各第２フレーム特徴との間のユークリッド距離に対する平均値を計算して、類似道として評価することもできる。
一方、前記動画コンテンツの場面転換を検出して、複数の場面に分離する段階(Ｓ１１０)の前に、デジタル放送に転送される信号を実時間でインデクシングして特徴を抽出した後、特徴データベース(ｄａｔａｂａｓｅ；ＤＢ)に保存してデータベース化することができる。この際、前記第２場面は、前記特徴データベースに保存されたいずれか一つの動画コンテンツに含まれた場面になる。
以下、前記のような動画コンテンツの類似度の測定方法を用いて、動画コンテンツを管理する方法を説明する。
図２は、本発明の一実施例による動画コンテンツの管理方法を示したフローチャートであり、図３は、本発明の一実施例による動画コンテンツの管理方法を説明するための構成図である。本実施例で、動画コンテンツ管理の管理対象のコンテンツとして著作権侵害の動画コンテンツを例にあげて説明する。これとは相違に、著作権侵害可否とは別に各種有害動画や視聴不可と認定された非認可動画のような場合にも管理対象コンテンツに含まれることが可能である。
図２及び図３を参照すると、動画コンテンツの管理のために、まずコンテンツ管理業者１０は、動画サービス業者２０からコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツの登録要請を受ける(Ｓ２１０)。
前記第１動画コンテンツは、前記動画サービス業者２０が著作権の保護を受けようと思う動画として一つまたはいくつかの動画コンテンツであってもよい。前記動画サービス業者２０は、例えば、空中波放送局であってもよい。これとは相違に、前記動画サービス業者２０は、ＤＭＢ放送局、インターネット放送局などであることもあり、オンラインサービスレコード会社であることもある。前記動画サービス業者２０の要請は特定の動画コンテンツを指定するなどで具体的に行われることが可能であるが、抽象的に行われることもある。例えば、前記動画サービス業者２０は、前記動画サービス業者２０から提供されるすべての動画に対して著作権保護を要請することができる。この場合、前記コンテンツ管理業者１０は、前記動画サービス業者２０から提供されるすべての動画に対して著作権の情報を収集する。
して、抽出された前記第１特徴を特徴データベースに保存して登録する(Ｓ２２０)。
前記動画サービス業者２０は、複数の前記第１動画コンテンツの登録を要請できるため、前記特徴データベースは、このような多数の第１動画コンテンツを保存することができる。前記第１特徴は、前記第１動画コンテンツのビデオストリーム(ｖｉｄｅｏ ｓｔｒｅａｍ)から場面(ｓｃｅｎｅ)またはフレーム(ｆｒａｍｅ)を検出した後、これから抽出されることが可能である。前記第１特徴は、例えば、二進コード(ｂｉｎａｒｙ ｃｏｄｅ)で構成することができる。前記特徴データベースは、前記動画サービス業者２０から登録された前記第１動画コンテンツの第１特徴の以外にも他の動画サービス業者から登録された動画コンテンツの特徴も保存することができる。
一方、前記コンテンツ管理業者１０が前記第１動画コンテンツから前記第１特徴を抽出して、前記特徴データベースに保存、登録するの前に、前記少なくとも一つ以上の第１動画コンテンツは、実時間でモニタリングして収集されることが可能である。例えば、前記動画サービス業者２０が空中波放送局である場合、空中波に放送される動画を実時間で収集して、収集された動画コンテンツから前記第１特徴を抽出することができる。
次に、共有サイト(ｓｉｔｅ)に第２動画コンテンツが共有される時、前記コンテンツ管理業者１０は、前記共有サイトの運営者から前記第２動画コンテンツが前記特徴データベースに登録されている否かの照会要請を受ける(Ｓ２３０)。
前記共有サイトは、インターネットウェブサイトであって、これを運営する共有サービス業者３０は、例えば、ユーチューブ(ＹｏｕＴｕｂｅ)やパンドラＴＶ(Ｐａｎｄｏｒａ ＴＶ)のような有料または無料の共有サービス業者であってもよい。これとは相違に、前記共有サイトを運営する運営者は、共有サービス業者でない営利または非営利目的の個人でることもある。
前記第２動画コンテンツの共有は、第１コンテンツの消費者４０によって行うことができる。前記第１コンテンツの消費者４０は、前記第１動画コンテンツをダウンロードするか保存して確保することができる。例えば、前記動画サービス業者２０が空中波放送局である場合、前記第１コンテンツの消費者４０は、前記第１動画コンテンツをビデオなどを用いて録画して、動画コンテンツを確保することができる。このような場合、前記動画コンテンツは、前記第１動画コンテンツの内容を含むことになって、前記動画コンテンツは共有時に著作権を侵害するおそれがある。よって、任意の第２動画コンテンツが共有される時、前記第２動画コンテンツが前述したような方式などで著作権を侵害する動画コンテンツであるか照会を要請することができる。
一実施例で、前記第２動画コンテンツの登録可否の照会要請は、前記第１コンテンツの消費者４０が前記共有サイトに前記第２動画コンテンツをアップロード(ｕｐｌｏａｄ)する時に行うことができる。これとは相違に、前記第２動画コンテンツの登録可否の照会は、前記第２動画コンテンツがアップロードされた後にも行されることが可能である。
その後、前記コンテンツ管理業者１０は、前記第２動画コンテンツが前記特徴データベースに登録された動画コンテンツに属するか否かを判別するために、前記第２動画コンテンツの少なくとも一部から第２特徴を抽出する。抽出された前記第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する(Ｓ２４０)。
前記に例として説明したように、前記第１コンテンツの消費者４０が前記動画サービス業者２０で提供した第１動画コンテンツをダウンロードして保存または録画した内容を前記第２動画コンテンツが含んでいる場合、前記第２動画コンテンツは、前記動画サービス業者２０の著作権を侵害するおそれがある。
前記類似可否の判別は、共有される前記第２動画コンテンツが著作権保護目録に登録された前記第１動画コンテンツの著作権を侵害するかを判断する基準になる。一例で、前記類似可否を判別するために、前記第１及び第２動画コンテンツの類似度を百分率形式で示すこともできる。この場合、基準類似度を予め決めた後、前記類似度が前記基準類似も以上の場合、類似であると判別する方法などを用いることができる。一方、前記類似可否は同一可否も含む概念である。
一方、前記類似可否または前記類似度は、前記動画サービス業者２０及び/または前記共有サービス業者３０に通知することができる。前記第２動画コンテンツが保護目録に登録された前記第１動画コンテンツと同一または類似の場合、前記コンテンツ管理業者１０は、前記動画サービス業者２０の指示により、または前記動画サービス業者２０が直接、前記共有サービス業者３０の共有サイトから前記第２動画コンテンツをダウンロードする前記第２コンテンツの消費者５０に広告を強制化するか、或いは有料化することによって著作権を行使することができる。この際、広告を強制化するための一例で、プラグイン(ｐｌｕｇｉｎ)を用いることができる。また、前記第２コンテンツの消費者５０に対しても、本発明の一実施例による動画コンテンツの管理方法を同一に適用できることはもちろんである。
これとは相違に、前記第２動画コンテンツが保護目録に登録された前記第１動画コンテンツの著作権を侵害する場合、前記共有サービス業者３０は、前記第１コンテンツの消費者４０のアップロードを拒否するか、アップロードの行為を中止させることができ、アップロードの後にはアップロードされた前記第２動画コンテンツを削除あるいは共有禁止することができる。
前記のような動画コンテンツの管理方法によると、著作権問題やあるいは他の理由から共有を防止しようとする動画コンテンツから特徴を抽出してデータベース化し、動画コンテンツが共有される時、これから特徴を抽出して前記共有防止の動画コンテンツと比較した後、類似可否を判別することによって、不法動画コンテンツの共有を防止することができ、これによって幾何級数的に量産される不法コンテンツの消費者を事前に遮断することができる。
一方、前記第２動画コンテンツが前記第１動画コンテンツと同一または類似の場合、前記第１動画コンテンツに関わる追加情報を前記第２コンテンツの消費者５０に提供することもできる。この際、前記第１動画コンテンツは、前記第２動画コンテンツと同一または類似であるため、第２動画コンテンツに関心のある前記第２コンテンツの消費者５０は、すでに保存されている前記第１動画コンテンツに関わる追加情報にも関心があると予測されるため、前記追加情報を前記第２コンテンツの消費者５０に提供することによって、より効果的に動画コンテンツの管理ができる。
図４は、本発明の他の実施例による動画コンテンツの管理方法を示したフローチャートであり、図５は、本発明の他の実施例による動画コンテンツの管理方法を説明するための構成図である。
図４及び図５を参照すると、動画コンテンツの管理のために、まずコンテンツ管理業者１０は、動画サービス業者２０からコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツの登録要請を受け(Ｓ３１０)、その後、前記コンテンツ管理業者１０は、前記第１動画コンテンツから第１特徴を抽出して、抽出された前記第１特徴を特徴データベースに保存して登録する(Ｓ３２０)。前記段階Ｓ３１０及び段階Ｓ３２０は、図２及び図３で説明した段階Ｓ２１０及び段階Ｓ２２０と実質的に同一であるため、重複する詳細な説明は省略する。ただし、図４及び図５では、情報の収集とは、著作権情報収集及びコンテンツ情報収集の意味、両方とも含む。
その後、前記第２コンテンツの消費者５０が前記第２動画コンテンツを再生する時、前記第２動画コンテンツに関する情報の伝送を受ける(Ｓ３３０)。このような送信は、プラグインなどを用いて動画プレーヤー（ｐｌａｙｅｒ）で自体的に行われることが可能である。
この際、前記コンテンツ管理業者１０は、前記第２動画コンテンツから図２及び図３で説明したような方法で前記第２特徴を抽出することができる。これとは相違に、前記第２動画コンテンツに関する情報は、前記第２動画コンテンツの第２特徴を含み、前記コンテンツ管理業者１０は、伝送された前記第２特徴を用いて後述する類似可否を判別することができる。
その後、前記第２動画コンテンツの第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する(Ｓ３４０)。
前記類似可否の結果による以後の過程は、図２及び図３で説明したことと実質的に同一であってもよい。
一方、前記類似可否において類似であると判別された場合、前記コンテンツ管理業者１０は、前記第１動画コンテンツに関わる追加情報を提供することができる。一例で、前記追加情報の提供は、追加情報提供業者(２５)により提供された情報であってもよい。前記追加情報提供業者(２５)は、前記動画サービス業者２０と同一であってもよく、相違してもよい。
以下、前記コンテンツ管理業者１０の管理システムについてより詳細に説明する。
図６は、本発明の一実施例による動画コンテンツの管理システムを示した構成図である。
図６を参照すると、動画コンテンツの管理システム１００は、コンテンツ収集部１１０、特徴抽出部１２０、特徴データベース１３０、登録質問受信部１４０、及び類似判別部１５０を含む。
前記コンテンツ収集部１１０は、前記第１コンテンツの消費者４０に第１動画コンテンツを提供する前記動画サービス業者２０から前記第１動画コンテンツを収集する。
前記特徴抽出部１２０は、前記コンテンツ収集部１１０に収集された前記第１動画コンテンツから前記第１特徴を抽出する。
前記特徴データベース１３０には、前記特徴抽出部１２０から抽出された前記第１特徴が保存される。
前記登録質問受信部１４０は、前記共有サービス業者３０の共有サイトに前記第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベース１３０に登録されている否かの照会要請を受ける。
この際、前記登録質問受信部１４０は、前記共有サイトから前記第２動画コンテンツの少なくとも一部を受信する。前記特徴抽出部１２０は、受信された前記第２動画コンテンツから第２特徴を抽出して前記類似判別部１５０に伝達する。
前記類似判別部１５０は、前記第２動画コンテンツの第２特徴を前記特徴データベース１３０に保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する。
前記動画コンテンツの管理システム１００は、質問応答部１６０を更に含むことができる。前記質問応答部１６０は、前記類似可否を前記共有サイトに応答する。
前記共有サイトは、前記類似可否に対する結果により前述したようにアップロードを拒否、アップロード行為を中止、アップロードされた前記第２動画コンテンツを削除または共有禁止などの多様な措置を取ることができる。
前記動画コンテンツの管理システム１００は、類似通知部１７０を更に含むことができる。前記類似通知部１７０は、前記類似可否を前記動画サービス業者２０に通知する。図示していないが、前記動画コンテンツの管理システム１００は、前記類似可否の結果により前記第２コンテンツの消費者５０に広告を強制化するか、有料化することができる。もちろん、前記広告強制化や有料化は、前記類似可否の通知を受けた動画サービス業者２０に直接することもできる。
また、前記動画コンテンツの管理システム１００は、ロガー(ｌｏｇｇｅｒ)１８０及びログデータベース(ｌｏｇ ｄａｔａｂａｓｅ)１９０を更に含むことができる。前記ロガー１８０は、前記第２動画コンテンツに対する類似可否を判別した結果を優先保存して、前記ログデータベース１９０に伝達する。前記ログデータベース１９０は、前記第２動画コンテンツに対する類似可否を判別した結果のみならず、前記共有サイトにアップロードされる他の第２動画コンテンツに対して類似可否を判別した結果を前記ロガー１８０を通じて記録して保存した後、前記類似通知部１７０に伝達することができる。前記類似通知部１７０は、所定の基準、例えば、一定の時間間隔または一定のデータ量により周期的に前記動画サービス業者２０に保存された結果を通知することができる。
図７は、本発明の他の実施例による動画コンテンツの管理システムを示した構成図である。図７に示した動画コンテンツの管理システムは、登録質問受信部及び特徴抽出部を除くと図６に示した動画コンテンツの管理システム１００と実質的に同一であるため、重複する詳細な説明は省略する。
図７を参照すると、動画コンテンツの管理システム１０２は、コンテンツ収集部１１０、特徴抽出部１２２、特徴データベース１３０、登録質問受信部１４２、及び類似判別部１５０を含む。
前記登録質問受信部１４２は、前記共有サービス業者３０の共有サイトに前記第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベース１３０に登録されている否かの照会要請を受ける。
この際、前記共有サイトは、自体的に登録可否の質問のためのモジュールを内蔵することができる。即ち、前記共有サイトは、前記第２動画コンテンツの第２特徴を抽出して、前記登録質問受信部１４２に伝達することができ、前記登録質問受信部１４２は、前記第２動画コンテンツの第２特徴を前記類似判別部１５０に伝達する。
前記共有サービス業者３０は、自体的に前記第２動画コンテンツの第２特徴を抽出するために、前記特徴抽出部１２２と実質的に同一の別途の特徴抽出部３２を具備することができ、選択的に質問発生器３４を更に具備して、前記特徴抽出部３２から抽出された前記第２特徴と前記第２動画コンテンツの情報を前記登録質問受信部１４２に伝達することができる。
また、前記共有サービス業者３０は、前記動画コンテンツの管理システム１００の質問応答部１６０から応答される前記類似可否を受信するための応答受信部３６を更に含むことができる。
よって、前記特徴抽出部１２２は、前記コンテンツ収集部１１０に収集された前記第１動画コンテンツから前記第１特徴を抽出し、前記第２動画コンテンツから第２特徴を抽出する必要がない。
前記のような動画コンテンツの管理システム(１００、１０２)は、不法動画コンテンツの共有を防止することができ、これによって幾何級数的に量産される不法コンテンツの消費者を遮断することができる。また、前記コンテンツ収集部１１０を通じて実時間で共有防止の動画コンテンツを収集し、前記類似通知部１７０を通じて実時間で共有行為を把握して報告することができるため、共有防止のための安定的なシステムを提供することができる。
図８は、本発明の更に他の実施例による動画コンテンツの管理システムを示した構成図である。図８に示した動画コンテンツの管理システムは、追加情報に関わる構成を除くと、図７に示した動画コンテンツの管理システム１０２と実質的に同一であるため、重複する詳細な説明は省略する。
図８を参照すると、動画コンテンツの管理システム１０４は、追加情報提供通知部２１０、追加情報データベース２２０、追加情報照会部２３０、及び追加情報送信部２４０を更に含む。
図７とは相違に、前記共有サービス業者３０から、例えば、動画コンテンツをダウンロードした第２コンテンツの消費者５０は、動画プレーヤーなどを用いて動画を再生する。この際、例えば、プラグインによって、前記第２動画コンテンツの特徴を特徴抽出部５２から抽出して質問発生器５４に伝達すると、前記質問発生器５４から前記第２動画コンテンツの第２特徴を前記登録質問受信部１４２に伝達する。
以後の過程のうち、図７と同一の過程に対する重複する詳細な説明は省略する。
前記追加情報データベース２２０は、多数の追加的な動画コンテンツに関わる追加情報を保存している。前記追加情報は、追加情報自体であってもよく、ＵＲＬのような追加情報に連結するための連結情報であってもよい。このような追加情報は、前記追加情報提供業者２５から予め提供されていることもあり、前記追加情報提供業者２５は、前記第２動画コンテンツが前記第１動画コンテンツと同一または類似のコンテンツの場合に前記追加情報データベース２２０に保存された追加情報の中で前記第１動画コンテンツに関わる情報を前記第２コンテンツの消費者５０に提供するように前記コンテンツ管理業者に事前に指示しておくことができる。前記関連情報は、前記追加情報データベース２２０に予めデータベース化されている。
前記類似判別部１５０から類似可否に関する結果の通知を受けた質問応答部１６０は、前記類似可否において類似であると判別された場合、追加情報提供のために前記追加情報照会部２３０に追加情報照会を要請する。
前記追加情報照会部２３０は、前記質問応答部１６０から追加情報照会の要請を受けると、前記追加情報データベース２２０に保存された追加情報の中で前記第１動画コンテンツに関わる情報を照会した後、前記関連情報を前記追加情報送信部２４０を通じて、前記第２コンテンツの消費者５０の追加情報受信部５６に提供する。
一方、前記ログデータベース１９０は、前記類似通知部１７０のみならず、前記追加情報提供通知部２１０にも類似可否に対する結果を伝達する。
前記追加情報提供通知部２１０は、追加情報提供業者２５に前記類似可否に対する結果を通知して、これで前記追加情報提供業者２５は前記第２コンテンツの消費者５０に予めコンテンツ管理業者に提供しておいた追加情報データベース２２０を通じて、追加情報が提供される事実を確認することができる。一方、前記追加情報提供業者２５は、前記動画サービス業者２０と同一または相違であることもある。
前記のような動画コンテンツの管理システム１０４によると、コンテンツの消費者が再生している動画コンテンツに関わる他の動画コンテンツに関する情報を実時間で前記コンテンツの消費者に提供することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特徴請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０ コンテンツ管理業者
２０ 動画サービス業者
２５ 追加情報提供業者
３０ 共有サービス業者
４０ 第１コンテンツの消費者
５０ 第２コンテンツの消費者
１００、１０２、１０４ 動画コンテンツの管理システム
１１０ コンテンツ収集部
１２０、１２２ 特徴抽出部
１３０ 特徴データベース
１４０、１４２ 登録質問受信部
１５０ 類似判別部
１６０ 質問応答部
１７０ 類似通知部
１８０ ロガー
１９０ ログデータベース
２１０ 追加情報提供通知部
２２０ 追加情報データベース
２３０ 追加情報照会部
２４０ 追加情報送信部

Claims (23)

  1. 動画コンテンツの場面(ｓｃｅｎｅ)転換を検出して複数の場面に分離する段階と、
    前記分離された場面のうち、第１場面の第１場面特徴(ｆｅａｔｕｒｅ)を抽出する段階と、
    前記抽出された第１場面の第１場面特徴を第２場面の第２場面特徴と比較して、類似度を測定する段階と、を含むことを特徴とするデジタル動画コンテンツの類似度の測定方法。
  2. 前記第１場面は、複数の第１フレームを含み、前記第１場面特徴を抽出する段階は、
    前記第１フレームからそれぞれ第１フレーム特徴を抽出する段階と、
    前記各第１フレームから抽出された第１フレーム特徴をグループ化して、前記第１場面の第１場面特徴に定義する段階と、を含み、
    前記第２場面は、複数の第２フレームを含み、前記第２場面特徴を抽出する段階は、
    前記第２フレームからそれぞれ第２フレーム特徴を抽出する段階と、
    前記各第２フレームから抽出された第２フレーム特徴をグループ化して、前記第２場面の第２場面特徴に定義する段階と、を含むことを特徴とする請求項１に記載のデジタル動画コンテンツの類似度の測定方法。
  3. 前記第１フレームから第１フレーム特徴を抽出する段階は、
    前記第１フレームの動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)の角度をヒストグラム(ｈｉｓｔｏｇｒａｍ)化する段階と、
    前記ヒストグラムの大きさが大きい角度の順序で所定個数を選定して、前記第１フレームの第１フレーム特徴に定義する段階と、を含み、
    前記第２フレームから第２フレーム特徴を抽出する段階は、
    前記第２フレームの動きベクトルの角度をヒストグラム化する段階と、
    前記ヒストグラムの大きさが大きい角度の順序で所定個数を選定して、前記第２フレームの第２フレーム特徴に定義する段階と、を含むことを特徴とする請求項２に記載のデジタル動画コンテンツの類似度の測定方法。
  4. 前記類似度を測定する段階は、
    前記第１場面における第１フレームの各第１フレーム特徴に対する平均値と前記第２場面における第２フレームの各第２フレーム特徴に対する平均値との間のユークリッド距離(ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ)を計算して行われることを特徴とする請求項３に記載のデジタル動画コンテンツの類似度の測定方法。
  5. 前記類似度を測定する段階は、
    前記第１場面における第１フレームの各第１フレーム特徴と前記第２場面における第２フレームの各第２フレーム特徴との間のユークリッド距離に対する平均値を計算して行われることを特徴とする請求項３に記載のデジタル動画コンテンツの類似度の測定方法。
  6. 前記動画コンテンツの場面転換を検出して、複数の場面に分離する段階の前に、
    デジタル放送に転送される信号を実時間でインデクシングして特徴を抽出した後、特徴データベース(ｄａｔａｂｅｓｅ；ＤＢ)に保存する段階を更に含み、
    前記第２場面は、前記特徴データベースに保存された動画コンテンツに含まれることを特徴とする請求項１に記載のデジタル動画コンテンツの類似度の測定方法。
  7. 動画サービス業者のサーバーからコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツに対して登録の要請を受ける段階と、
    前記第１動画コンテンツから第１特徴を抽出して、抽出された前記第１特徴を特徴データベースに保存して登録する段階と、
    共有サイト(ｓｉｔｅ)に第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベースに登録されているか否かの照会要請を受ける段階と、
    前記第２動画コンテンツの少なくとも一部から第２特徴を抽出し、抽出された前記第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する段階と、を含むことを特徴とする動画コンテンツの管理方法。
  8. 前記第１及び第２特徴は、それぞれ前記第１及び第２動画コンテンツの場面(ｓｃｅｎｅ)またはフレーム(ｆｒａｍｅ)から抽出されることを特徴とする請求項７に記載の動画コンテンツの管理方法。
  9. 前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する段階の後、
    前記類似可否を前記動画サービス業者のサーバーに通知する段階を更に含むことを特徴とする請求項７に記載の動画コンテンツの管理方法。
  10. 前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する段階の後、
    前記類似可否において類似であると判別された場合、前記第２動画を広告強制化または有料化する段階を更に含むことを特徴とする請求項７に記載の動画コンテンツの管理方法。
  11. 前記第２動画コンテンツの登録可否の照会要請を受ける段階は、前記コンテンツの消費者が前記共有サイトに前記第２動画コンテンツをアップロード(ｕｐｌｏａｄ)する時に行われ、
    前記類似可否において類似であると判別された場合に、前記共有サイトは前記第２動画コンテンツのアップロードを拒否することを特徴とする請求項７に記載の動画コンテンツの管理方法。
  12. 前記第１特徴を前記特徴データベースに保存して登録する段階の前に、前記少なくとも一つ以上の第１動画コンテンツを実時間でモニタリングして収集する段階を更に含むことを特徴とする請求項７に記載の動画コンテンツの管理方法。
  13. 前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する段階の後、
    前記類似可否において類似であると判別された場合、前記第１動画コンテンツに関わる追加情報を前記第２動画コンテンツの消費者に提供する段階を更に含むことを特徴とする請求項７に記載の動画コンテンツの管理方法。
  14. コンテンツの消費者に第１動画コンテンツを提供する動画サービス業者のサーバーから前記第１動画コンテンツを収集するコンテンツ収集部と、
    前記コンテンツ収集部に収集された前記第１動画コンテンツから第１特徴を抽出する特徴抽出部と、
    前記特徴抽出部から抽出された前記第１特徴を保存するための特徴データベースと、
    共有サイトに第２動画コンテンツが共有される時、前記共有サイトから前記第２動画コンテンツが前記特徴データベースに登録されている否かの照会要請を受ける登録質問受信部と、
    前記第２動画コンテンツの第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する類似判別部と、を含むことを特徴とする動画コンテンツの管理システム。
  15. 前記登録質問受信部は、前記共有サイトから前記第２動画コンテンツの少なくとも一部を受信し、
    前記特徴抽出部は、受信された前記第２動画コンテンツから前記第２特徴を抽出して前記類似判別部に伝達することを特徴とする請求項１４に記載の動画コンテンツの管理システム。
  16. 前記共有サイトは、前記第２動画コンテンツの第２特徴を抽出して前記登録質問受信部に伝達し、
    前記登録質問受信部は、前記第２動画コンテンツの第２特徴を前記類似判別部に伝達することを特徴とする請求項１４に記載の動画コンテンツの管理システム。
  17. 前記類似可否を前記共有サイトに応答する質問応答部を更に含むことを特徴とする請求項１４に記載の動画コンテンツの管理システム。
  18. 前記類似可否を前記動画サービス業者のサーバーに通知する類似通知部を更に含むことを特徴とする請求項１４に記載の動画コンテンツの管理システム。
  19. 多数の追加的な動画コンテンツに関わる追加情報を保存する追加情報データベースと、
    前記類似可否において類似であると判別された場合、前記追加情報のうち、前記第１動画コンテンツに関わる情報を前記第２動画コンテンツの消費者に提供する追加情報送信部と、を更に含むことを特徴とする請求項１４に記載の動画コンテンツの管理システム。
  20. 動画サービス業者のサーバーからコンテンツの消費者に提供される少なくとも一つ以上の第１動画コンテンツに対して登録要請を受ける段階と、
    前記第１動画コンテンツから第１特徴を抽出し、抽出された前記第１特徴を特徴データベースに保存して登録する段階と、
    コンテンツの消費者が第２動画コンテンツを再生する時、前記第２動画コンテンツに関わる情報を伝送される段階と、
    前記第２動画コンテンツの第２特徴を前記特徴データベースに保存された第１特徴と比較して、前記第１動画コンテンツと前記第２動画コンテンツとの類似可否を判別する段階と、を含むことを特徴とする動画コンテンツの管理方法。
  21. 前記類似可否を判別する段階の後、
    前記類似可否において類似であると判別された場合、前記第１動画コンテンツに関わる追加情報を提供する段階を更に含むことを特徴とする請求項２０に記載の動画コンテンツの管理方法。
  22. 前記類似可否を判別する段階の前に、
    前記第２動画コンテンツから前記第２特徴を抽出する段階を更に含むことを特徴とする請求項２０に記載の動画コンテンツの管理方法。
  23. 前記第２動画コンテンツに関する情報は、前記第２動画コンテンツの第２特徴を含むことを特徴とする請求項２０に記載の動画コンテンツの管理方法。
JP2009213268A 2008-09-16 2009-09-15 デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システム Pending JP2010074832A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080090771A KR100993601B1 (ko) 2008-09-16 2008-09-16 디지털 동영상 컨텐츠의 유사도 측정 방법, 이를 이용한 동영상 컨텐츠의 관리 방법 및 상기 관리 방법을 이용한 동영상 컨텐츠의 관리 시스템

Publications (1)

Publication Number Publication Date
JP2010074832A true JP2010074832A (ja) 2010-04-02

Family

ID=42008424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009213268A Pending JP2010074832A (ja) 2008-09-16 2009-09-15 デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システム

Country Status (5)

Country Link
US (1) US20100071016A1 (ja)
EP (1) EP2209317A3 (ja)
JP (1) JP2010074832A (ja)
KR (1) KR100993601B1 (ja)
CN (1) CN101676914A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016098187A1 (ja) * 2014-12-17 2016-06-23 株式会社日立製作所 画像検索装置および画像検索方法
WO2019087282A1 (ja) * 2017-10-31 2019-05-09 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置及びプログラム
JP2019527444A (ja) * 2016-06-27 2019-09-26 フェイスブック，インク． 一致するコンテンツを特定するためのシステムおよび方法
JP2020187639A (ja) * 2019-05-16 2020-11-19 富士ゼロックス株式会社 情報処理装置及びプログラム
US11030462B2 (en) 2016-06-27 2021-06-08 Facebook, Inc. Systems and methods for storing content

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010521A1 (en) * 2011-03-25 2014-01-09 Nec Corporation Video processing system, video processing method, video processing apparatus, control method of the apparatus, and storage medium storing control program of the apparatus
EP2690867A4 (en) * 2011-03-25 2014-09-10 Nec Corp VIDEO PROCESSING SYSTEM, VIDEO CONTENT MONITORING METHOD, VIDEO PROCESSING DEVICE, ITS CONTROL METHOD AND STORAGE MEDIUM STORING A CONTROL PROGRAM
US8958645B2 (en) * 2012-04-19 2015-02-17 Canon Kabushiki Kaisha Systems and methods for topic-specific video presentation
US20130312112A1 (en) * 2012-05-18 2013-11-21 Rumblefish, Inc. Licensing protected works within electronic information networks
JP6007682B2 (ja) * 2012-08-31 2016-10-12 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US8670649B1 (en) 2012-10-10 2014-03-11 Hulu, LLC Scene detection using weighting function
CN103177099B (zh) * 2013-03-20 2017-05-24 深圳先进技术研究院 视频比对方法及系统
WO2018169110A1 (ko) * 2017-03-17 2018-09-20 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
CN110377794B (zh) * 2019-06-12 2022-04-01 杭州当虹科技股份有限公司 一种视频特征描述与去重检索处理方法
CN111797752A (zh) * 2020-06-29 2020-10-20 广州市百果园信息技术有限公司 违规视频检测方法、装置、设备及存储介质
CN112866800A (zh) * 2020-12-31 2021-05-28 四川金熊猫新媒体有限公司 视频内容相似性检测方法、装置、设备及存储介质
CN113360709B (zh) * 2021-05-28 2023-02-17 维沃移动通信（杭州）有限公司 短视频侵权风险的检测方法、装置和电子设备
CN114782866B (zh) * 2022-04-20 2024-03-08 山东省计算中心（国家超级计算济南中心） 地理标记视频的相似度确定方法、装置、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
JP4111065B2 (ja) 2003-05-30 2008-07-02 セイコーエプソン株式会社 シーン切替検出システム及びシーン切替検出プログラム、並びにシーン切替検出方法
KR100678895B1 (ko) * 2004-09-24 2007-02-06 삼성전자주식회사 모델 기반 세그먼트 메타데이터를 생성하는 장치 및 방법
WO2008058093A2 (en) * 2006-11-03 2008-05-15 Google Inc. Content management system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016098187A1 (ja) * 2014-12-17 2016-06-23 株式会社日立製作所 画像検索装置および画像検索方法
JP2019527444A (ja) * 2016-06-27 2019-09-26 フェイスブック，インク． 一致するコンテンツを特定するためのシステムおよび方法
US11030462B2 (en) 2016-06-27 2021-06-08 Facebook, Inc. Systems and methods for storing content
WO2019087282A1 (ja) * 2017-10-31 2019-05-09 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置及びプログラム
JPWO2019087282A1 (ja) * 2017-10-31 2020-11-12 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置及びプログラム
JP7090098B2 (ja) 2017-10-31 2022-06-23 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置及びプログラム
JP2020187639A (ja) * 2019-05-16 2020-11-19 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
EP2209317A3 (en) 2011-04-13
KR20100031902A (ko) 2010-03-25
EP2209317A2 (en) 2010-07-21
US20100071016A1 (en) 2010-03-18
CN101676914A (zh) 2010-03-24
KR100993601B1 (ko) 2010-11-10

Similar Documents

Publication Publication Date Title
JP2010074832A (ja) デジタル動画コンテンツの類似度の測定方法、これを用いる動画コンテンツの管理方法、及び前記管理方法を用いる動画コンテンツの管理システム
US8249992B2 (en) Digital rights management and audience measurement systems and methods
US9479845B2 (en) System and method for auto content recognition
US11432041B2 (en) Methods and apparatus to measure exposure to streaming media
US11140460B2 (en) Content distribution pipeline watermarking
US20160381436A1 (en) System and method for auto content recognition
US20090320063A1 (en) Local advertisement insertion detection
CN105308980A (zh) 广播流的实时反盗版
US20140181851A1 (en) Methods Circuits Apparatuses Systems and Associated Computer Executable Code for Providing Viewer Analytics Relating to Broadcast and Otherwise Distributed Content
US20140013003A1 (en) Content-Specific Identification and Timing Behavior in Dynamic Adaptive Streaming over Hypertext Transfer Protocol
CN107077543B (zh) 流媒体中内容成分的所有权标识、信令和处理
US20150326922A1 (en) Methods Circuits Apparatuses Systems and Associated Computer Executable Code for Providing Viewer Analytics Relating to Broadcast and Otherwise Distributed Content
KR20150023340A (ko) 미디어 프리젠테이션을 모니터하는 방법 및 장치
KR20140103331A (ko) 협력된 워터마킹
KR20140043406A (ko) 클라이언트 이벤트 전처리가 있는 고 스케일성 청중 측정 시스템
US20150023652A1 (en) Updating of advertising content during playback of locally recorded content
KR101841259B1 (ko) 클라이언트의 동영상 시청 트래킹 방법 및 장치
US20140344843A1 (en) Methods Circuits Apparatuses Systems and Associated Computer Executable Code for Providing Viewer Analytics Relating to Broadcast Content
KR20100077136A (ko) 디지털 동영상 컨텐츠의 유사도 측정 방법, 이를 이용한 동영상 컨텐츠의 관리 방법 및 상기 관리 방법을 이용한 동영상 컨텐츠의 관리 시스템
KR101867504B1 (ko) 저작권 침해 콘텐츠가 유통되는 모바일 앱의 모니터링 시스템 및 그 방법
Lu Understanding Streaming and Copyright: A Comparison of the United States and European Regimes
WO2017017603A1 (en) System to detect unauthorized distribution of media content
CN113569719A (zh) 视频侵权判定方法、装置、存储介质及电子设备
JP5258243B2 (ja) 放送配信監視システムおよび放送配信監視方法、並びに放送配信情報取得装置および取得方法
US20080208751A1 (en) Method, Apparatus and System for Providing Added Value Content to Feature Content End Users