JP2023041233A

JP2023041233A - 動画監視装置

Info

Publication number: JP2023041233A
Application number: JP2021148475A
Authority: JP
Inventors: 美由紀山田; Miyuki Yamada; 靖人石亀; Yasuto Ishigame
Original assignee: J-STREAM Inc
Current assignee: J-STREAM Inc
Priority date: 2021-09-13
Filing date: 2021-09-13
Publication date: 2023-03-24
Anticipated expiration: 2041-09-13
Also published as: JP7183364B1

Abstract

【課題】番組等の動画コンテンツに対応して配信される動画を自動的に監視することができ、拡張可能で汎用的な動画監視装置を提供する。【解決手段】動画監視装置１は、放送局２の放送番組を配信するためにエンコードした配信データを第１動画として取得し、配信装置３がＩＰネットワーク４を介してユーザー端末６へ配信する配信データを第２動画として取得し、第１動画及び第２動画に共通して付加された番組の配信情報に基づいて、所定の時間範囲内のタイムコード毎に、第１動画から第１フレームを取得し、第２動画から第２フレームを取得し、時間範囲内のタイムコード毎に、第１フレームの第１特徴量と第２フレームの第２特徴量とを比較することで第１フレームと第２フレームとの一致度を判定し、時間範囲内の各タイムコードの第１フレーム及び第２フレームの一致度に基づいて、時間範囲内の第１動画及び第２動画の内容が一致しているか否かを判定する。【選択図】図１

Description

本発明は、放送局から放送される番組等の動画コンテンツに対応して配信される動画を監視する動画監視装置に関する。

従来、番組等の動画コンテンツに基づく動画をインターネットを介してユーザー端末へ配信するシステムでは、ユーザー端末における動画の受信品質の向上のために、受信時の動画を監視する装置が設けられている。

例えば、特許文献１に記載の動画受信品質判定装置では、第１の動画受信器の受信品質を評価する第１の動画受信品質評価手段と、第１の動画受信器と同じ動画を受信する第２の動画受信器の受信品質を評価する第２の動画受信品質評価手段と、第１の動画受信品質評価手段による評価値と第２の動画受信品質評価手段による評価値との比較に基づいて、第１の動画受信器の受信品質を判定する判定機とを設けている。

特開２００１－２７５１３６号公報

ところで、地上波放送や衛星放送の電波によって番組を放送する放送局は、その番組を異なる方式で放送し、例えば、配信サーバによってその番組と同じ内容の動画を生成してインターネットを介して配信している。このとき、配信サーバは、番組の放送と同じ時間帯に動画を同時配信する、いわゆるサイマル配信を行っている。

放送局は、番組の放送品質を向上するために、放送番組を監視する必要がある。放送番組の監視は、有人監視が一般的であり、監視者が端末に受像された番組を実際に視聴することで監視を行っていた。放送番組は、常に監視する必要があり、場合によっては、２４時間３６５日の監視を運用する必要がある。そのため、監視者の人数を掛けて交代制で監視する必要があり、監視負担や監視コストが非常に高くなる。

また、放送局が放送番組に対して動画をサイマル配信（ＩＰ同時配信）する場合でも、同様に、端末に受像された動画を監視する必要があり、監視者の人数が増加し、監視コストが非常に高くなる。なお、端末に受像された動画を視聴して監視する場合、視聴状況を断続的に監視することはできるが、放送された番組の内容と配信された動画の内容とが一致しているかを常時監視することは困難である。更に、動画の視聴状況を監視していても、その監視結果をデータとして管理、記憶することは困難であり、監視結果を統計的な傾向の情報として再利用することができない。

今後、サイマル配信の普及が高まると、番組や動画の監視対象が増加して常時監視の負担が増加してしまうため、監視負担を軽減することが求められている。また、サイマル配信の発達に伴い、新たなコーデックや新たな配信方式が適用されることが考えられるが、コーデックや配信方式に拘わらず、容易に動画監視できることが求められている。従って、放送番組に対応する動画のサイマル配信では、拡張可能で汎用的な監視プラットフォームが必要になっている。

そこで、本発明は上記事情を考慮し、放送番組等の動画コンテンツに対応して配信される動画を自動的に監視することができる、拡張可能で汎用的な動画監視装置を提供することを目的とする。

上記課題を解決するために、本発明の動画監視装置は、放送局から放送される所定の動画コンテンツを配信するためにエンコードした配信データを第１動画として取得し、配信装置がＩＰネットワークを介してユーザー端末へ配信する前記配信データを第２動画として取得し、前記第１動画及び前記第２動画に共通して付加された前記動画コンテンツの配信情報に基づいて、前記動画コンテンツの所定の時間範囲内のタイムコード毎に、前記第１動画から第１フレームを取得すると共に、前記第２動画から第２フレームを取得し、前記時間範囲内の前記タイムコード毎に、前記第１フレームの第１特徴量と前記第２フレームの第２特徴量とを比較することで前記第１フレームと前記第２フレームとの一致度を判定し、前記時間範囲内の前記各タイムコードの前記第１フレーム及び前記第２フレームの前記一致度に基づいて、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致しているか否かを判定することを特徴とする。

本発明によれば、放送番組等の動画コンテンツに対応して配信される動画を自動的に監視することができる、拡張可能で汎用的な動画監視装置を提供することが可能となる。

本発明の一実施形態に係る動画監視装置を備えた動画配信システムの概要を示すブロック図である。

本発明の実施形態に係る動画監視装置１について図を参照して説明する。図１は、動画監視装置１を備える動画配信システム１００の構成を示すブロック図である。動画配信システム１００は、放送局２が放送する番組等の動画コンテンツと同じ内容の動画を、配信装置３によってインターネット等のＩＰネットワーク４を介して配信（例えば、サイマル配信）するシステムである。放送局２はテレビ受像機５に向けて番組を放送し、配信装置３はユーザー端末６に向けて動画を配信する。動画配信システム１００は、配信装置３が配信しようとするオリジナルの動画とユーザー端末６で受像される動画とを、動画監視装置１によって比較して監視するように構成される。

以下、事業者とは、配信装置３を用いて放送番組等の動画コンテンツの配信データを配信する者を示し、ユーザーとは、ユーザー端末６を用いて配信データが示す動画コンテンツを視聴する者を示す。なお、図１では、動画配信システム１００において、１つの放送局２に対して１つのテレビ受像機５を例示すると共に、１つの配信装置３に対して１つのユーザー端末６を例示しているが、複数のテレビ受像機５や複数のユーザー端末６が設けられていてよい。

テレビ受像機５は、地上波放送や衛星放送の電波によって放送された番組の放送データをアンテナやケーブルを介して受信し、放送データが示す映像や音声を出力する端末装置である。

ユーザー端末６は、ＩＰネットワーク４を介して通信可能なパーソナルコンピュータ、スマートフォンやタブレット等の端末装置である。ユーザー端末６は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の制御装置と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリやハードディスク等の記録媒体を有して、記録媒体に記憶されるプログラムを制御装置が実行することにより各種機能を実現するものである。ユーザー端末６は、ＩＰネットワーク４を介して配信装置３と通信可能に接続し、配信装置３が配信する配信データをＩＰネットワーク４を介して受信し、配信データが示す映像や音声を出力する。

放送局２は、動画コンテンツとして放送番組の映像データ及び音声データからなる放送データを、アンテナや衛星を介して地上波放送や衛星放送の電波によって放送する。放送データは、放送番組の本編区間に対応する本編データと、本編区間の間に挿入されるＣＭ等の広告区間に対応する広告データとを含んで構成される。放送局２は、番組の放送開始時刻及び放送終了時刻、各本編区間の本編開始時刻及び本編終了時刻、各広告区間の広告開始時刻及び広告終了時刻、番組の番組名、出演者名、放送局名、広告の企業名、商品名、サービス名等の番組情報を、メタデータ等で放送データに付加する。

なお、放送局２は、放送データを放送によって出力するだけでなく、ＩＰネットワーク４やＬＡＮ等のプライベートネットワーク（図示せず）等を介した送信によって出力してもよい。

配信装置３は、放送番組と同じ内容の配信動画のデータであって、配信用の映像データ及び音声データからなる配信データをＩＰネットワーク４を介して配信する。配信装置３は、ＣＰＵ等の制御装置と、ＲＯＭやＲＡＭ等のメモリやハードディスク等の記録媒体を有して、記録媒体に記憶されるプログラムを制御装置が実行することにより各種機能を実現するものである。

配信装置３は、ＩＰネットワーク４を介して配信装置３に接続されている全てのユーザー端末６へ配信データを送信してもよく、あるいは、特定のユーザー端末６、例えば、配信装置３にログインしているユーザー端末６だけに配信データを送信してもよい。なお、配信装置３は、１つの放送番組に対して、帯域幅（通信速度）、ビットレート及び画質の異なる複数の配信データを送信可能であり、１つのユーザー端末６に対して何れかの画質の配信データを送信する。例えば、配信データには、高画質のデータ、中画質のデータ、低画質のデータ等がある。

配信装置３は、放送番組の放送データを配信用に変換して、番組と同じ内容の動画を示す配信データを生成する。特に、配信装置３は、放送局２で放送されている番組の放送データを即時に受信すると共に、配信データを即時に生成して配信することで、放送データと同じ内容の配信データを、その放送データの放送と同時に配信する、いわゆるサイマル配信を行う。

配信データは、放送データと同様に、本編区間に対応する本編データと広告区間に対応する広告データとを含んで構成される。配信装置３は、本編区間に対して放送番組と同じ内容の本編データを配信する一方、広告区間に対して放送番組の広告データに代えてネット配信用の広告データを配信する。配信装置３は、放送データと同様に、番組の放送開始時刻及び放送終了時刻、各本編区間の本編開始時刻及び本編終了時刻、各広告区間の広告開始時刻及び広告終了時刻、番組名、出演者名、放送局名、広告の企業名、商品名、サービス名等の配信情報を、メタデータ等で配信データに付加する。配信情報は、配信データのフレームレートやビットレートも含む。

例えば、配信装置３は、受信部１１と、エンコーダ１２と、広告差替部１３と、蓋処理部１４と、配信部１５とを備えている。配信装置３は、各部に共通の制御装置及び記録媒体を備えてもよく、あるいは、主要部毎に制御装置及び記録媒体を備えてもよい。

受信部１１は、放送局２から放送又は送信された放送データを受信するものである。エンコーダ１２は、受信部１１が受信した放送データをエンコードしてストリーム形式の配信データに変換するものである。エンコーダ１２は、放送データを所定のフレームレートで、ビットレート毎にエンコードして各画質の配信データを作成してよい。エンコーダ１２によってエンコードされた配信データは、配信用の広告の挿入前のオリジナルの配信データとして記憶装置に記憶される。配信装置３は、配信データの広告挿入等の処理を行う配信事業者や作業者がオリジナルの配信データを受信できるように、オリジナルの配信データのＵＲＬ等のアクセス情報を提供してよい。

広告差替部１３は、エンコーダ１２によってエンコードされた配信データのうち、広告区間の広告データをネット配信用の広告データに代えて入力するものである。広告差替部１３は、各ユーザー端末６に対して共通のネット配信用の広告データを入力してもよく、あるいは、配信対象であるユーザー端末６のユーザーに関する情報に応じてそのユーザー向けのネット配信用の広告データを判定して入力してもよい。

蓋処理部１４は、エンコーダ１２によってエンコードされた配信データにおいて配信権限のない本編データ又は広告データに蓋かぶせ処理を行うものである。蓋処理部１４は、配信データに変換される前に、エンコーダ１２に入力する放送データに対して蓋かぶせ処理を行ってもよく、あるいは、配信部１５から配信される配信データに対して蓋かぶせ処理を行ってもよい。

配信部１５は、エンコーダ１２によってエンコードされると共に広告差替部１３によって配信用の広告データを挿入された視聴用の配信データを、ＩＰネットワーク４を介してユーザー端末６に向けて送信する。例えば、配信部１５は、配信サーバで構成され、配信しようとする視聴用の配信データを記録媒体に記録して蓄積する。配信装置３は、パーソナルコンピュータ、スマートフォンやタブレット等のユーザー端末６の端末種類毎に視聴用の配信データを作成する。配信装置３は、ユーザーが視聴用の配信データを受信できるように、視聴用の配信データのＵＲＬ等のアクセス情報を提供してよい。

なお、配信装置３において、受信部１１、エンコーダ１２、広告差替部１３、蓋処理部１４及び配信部１５は、それぞれ独立して設けられてもよく、あるいは、２つ以上が組み合わされて設けられてもよい。例えば、エンコーダ１２は、配信部１５を構成する配信サーバに含まれてもよく、あるいは、配信サーバから独立して設けられてもよい。

動画監視装置１は、配信装置３が配信のために用意したオリジナルの配信データの動画と、ユーザー端末６が配信を受ける視聴用の配信データの動画とが同じ内容であるかを自動的に監視して、その監視結果を蓄積することで、動画の配信品質を管理するものである。例えば、動画監視装置１は、第１取得部２１と、第２取得部２２と、比較部２３と、蓄積部２４とを備えている。配信装置３は、ＣＰＵ等の制御装置と、ＲＯＭやＲＡＭ等のメモリやハードディスク等の記録媒体を有して、記録媒体に記憶されるプログラムを制御装置が実行することにより各種機能を実現するものである。

第１取得部２１は、ＩＰネットワーク４やＬＡＮ等のプライベートネットワーク（図示せず）等を介して配信装置３と通信可能に接続されていて、配信装置３のエンコーダ１２によってエンコードされたオリジナルの配信データを取得し、その配信データの動画を第１動画として取得する。例えば、第１取得部２１は、オリジナルの配信データのアクセス情報に基づいて、配信装置３からオリジナルの配信データを受信する。また、第１取得部２１は、配信データの配信情報（例えば、フレームレート、番組の放送開始時刻及び放送終了時刻）に基づいて、第１動画からフレームを切り出して第１フレームとして取得すると共に、第１フレームのタイムコードを算出して第１フレームに関連付ける。換言すれば、第１取得部２１は、第１動画の各タイムコードの第１フレームを取得する。

第２取得部２２は、ＩＰネットワーク４を介して配信装置３と通信可能に接続されていて、配信装置３の配信部１５によって配信される視聴用の配信データをユーザー端末６と同様の受信環境で受信し、その配信データの動画を第２動画として取得する。第２取得部２２は、パーソナルコンピュータ、スマートフォンやタブレット等のユーザー端末６の端末種類毎に用意された視聴用の配信データのうち、比較対象とする配信データを第２動画として取得する。動画監視装置１が、操作装置２５等によって、比較対象とする配信データの種類やユーザー端末６の端末種類を選択可能にしてよい。操作装置２５は、動画監視装置１を操作可能なものであればよく、動画監視装置１に備わるキーボードやポインティングデバイス、タッチパネルでもよく、動画監視装置１を遠隔操作可能な端末でもよい。なお、第２動画は、第１動画を視聴用に処理したものであり、配信情報は共通している。例えば、第２取得部２２は、視聴用の配信データのアクセス情報に基づいて、配信装置３から視聴用の配信データを受信する。また、第２取得部２２は、配信データの配信情報（例えば、フレームレート）に基づいて、第２動画からフレームを切り出して第２フレームとして取得すると共に、第２フレームのタイムコードを算出して第２フレームに関連付ける。換言すれば、第２取得部２２は、第２動画の各タイムコードの第２フレームを取得する。

比較部２３は、第１取得部２１によって取得した第１動画と、第２取得部２２によって取得した第２動画とが同じ内容であるかを比較するものである。先ず、比較部２３は、第１動画の各第１フレームのタイムコード及び第２動画の各第２フレームのタイムコードを参照して、同じタイムコードの第１フレーム及び第２フレームを比較する。例えば、比較部２３は、番組の所定の時間範囲において第１動画と第２動画とを比較するために、この時間範囲内のタイムコード毎に、第１フレーム及び第２フレームを比較する。

比較部２３は、第１取得部２１又は第２取得部２２によって取得した配信データの配信情報（番組の放送開始時刻及び放送終了時刻、各本編区間の本編開始時刻及び本編終了時刻、各広告区間の広告開始時刻及び広告終了時刻等）に基づいて、第１フレーム及び第２フレームのタイムコードが、配信データの何れの再生時刻に相当するかを判定する。

比較部２３は、第１フレームの第１特徴量及び第２フレームの第２特徴量を抽出し、第１特徴量及び第２特徴量を比較することで第１フレーム及び第２フレームの一致度を判定する。例えば、比較部２３は、第１フレームに対して様々な画像領域を抽出する切り抜き処理を行うと共に、各画像領域に示される物体等のオブジェクトが何れのラベルに相当するかを推測するラベル推測処理を行って、第１フレームのオブジェクトを検出する。

比較部２３は、切り抜き処理及びラベル推測処理の２つのアルゴリズムを１つにまとめていて、切り抜き処理による注意領域の決定とラベル推測処理による各領域のラベルの推測とを一連の処理として、ニューラルネットワーク等の機械学習を利用して行う。比較部２３は、機械学習ライブラリを利用すると共に、ＴＰＵやＧＰＵの追加ハードウェアを利用することにより、切り抜き処理及びラベル推測処理の機械学習を高速化している。なお、比較部２３は、ラベル推測処理において、動画監視装置１又は外部機器に予め定めたラベルを用いてもよく、あるいは、ＩＰネットワーク４を介して収集した情報に基づくラベルを用いてもよい。

また、比較部２３は、第１フレームと同じタイムコードの第２フレームに対しても切り抜き処理及びラベル推測処理を行って、第２フレームのオブジェクトを検出する。

更に、比較部２３は、同じタイムコードの第１フレーム及び第２フレームに対して、オブジェクトが検出された各画像領域の特徴点を検出し、特徴点に基づいて各画像領域のオブジェクトの局所特徴量を算出して、それぞれ第１特徴量及び第２特徴量とする。比較部２３は、第１フレームの各オブジェクトの第１特徴量と第２フレームの各オブジェクトの第２特徴量とを比較して、第１特徴量に対する第２特徴量の一致度を算出する。そして、比較部２３は、所定の一致度閾値を予め設定していて、第１特徴量及び第２特徴量の一致度が一致度閾値以上か否かを判定し、一致度が所定の一致度閾値以上である場合、第１フレームの内容と第２フレームの内容とが同じであると判定する。一方、一致度が所定の一致度閾値未満である場合、比較部２３は、第１フレームの内容と第２フレームの内容とが異なると判定する。

なお、比較部２３は、一致度閾値より少ない不具合閾値を予め設定していて、第１特徴量及び第２特徴量の一致度が、一致度閾値未満かつ不具合閾値以上の場合、時間範囲内の第１フレーム及び第２フレームが一致していないが、視聴用の第２フレームに通信障害等の不具合が生じていると判定してもよい。また、比較部２３は、第１特徴量及び第２特徴量が所定比率以上一致しているか否かに応じて、第１フレームの内容と第２フレームの内容とが一致しているか否かを判定してもよい。

なお、エンコーダ１２から出力されるオリジナルの第１動画と第２取得部２２で受信される視聴用の第２動画との間で、画質やサイズが異なる場合があっても、第１動画及び第２動画の内容が同じであれば、比較部２３は、各タイムコードの第１フレームの第１特徴量と第２フレームの第２特徴量との一致度が所定の一致度閾値以上と判定する。

また、比較部２３は、同じタイムコードの第１フレーム及び第２フレームについて、映像データの特徴量だけでなく、及び音声データの特徴量についても比較して、第１フレームの内容と第２フレームの内容とが同じであるか否かを判定する。

更に、比較部２３は、各タイムコードの第１フレーム及び第２フレームの一致度に基づいて、第１動画及び第２動画の内容が一致しているか否かを判定する。例えば、比較部２３は、番組の所定の時間範囲を第１動画及び第２動画の比較対象として、所定の時間範囲内の各タイムコードの第１フレーム及び第２フレームの一致度に基づいて、時間範囲内の第１動画及び第２動画の内容が一致しているか否かを判定する。このとき、比較部２３は、所定の一致数閾値を予め設定していて、時間範囲内の各タイムコードの第１フレーム及び第２フレームの組み合わせのうち、一致数閾値以上の組み合わせがそれぞれ一致している場合、時間範囲内の第１動画及び第２動画が一致していると判定する。一方、一致している第１フレーム及び第２フレームの組み合わせの数が所定の一致数閾値未満である場合、比較部２３は、時間範囲内の第１動画及び第２動画が異なると判定する。

なお、比較部２３は、一致数閾値より少ない不具合閾値を予め設定していて、一致している第１フレーム及び第２フレームの組み合わせの数が、一致数閾値未満かつ不具合閾値以上の場合、時間範囲内の第１動画及び第２動画が一致していないが、視聴用の第２動画に通信障害等の不具合が生じていると判定してもよい。また、比較部２３は、第１フレーム及び第２フレームの比較結果が第２フレームの不具合である第１フレーム及び第２フレームの組み合わせの数が所定数以上の場合に、視聴用の第２動画に通信障害等の不具合が生じていると判定してもよい。また、比較部２３は、時間範囲内の第１フレーム及び第２フレームの組み合わせの総数に対して、一致している第１フレーム及び第２フレームの組み合わせの数が所定比率以上であるか否かに応じて、時間範囲内の第１動画及び第２動画が一致しているか否かを判定してもよい。

例えば、比較部２３は、第１取得部２１又は第２取得部２２によって取得した配信データの配信情報から番組の各本編区間の本編開始時刻及び本編終了時刻を取得して、本編開始時刻から本編終了時刻までの範囲を時間範囲として設定する。また、比較部２３は、配信情報から番組の各広告区間の広告開始時刻及び広告終了時刻を取得して、広告開始時刻から広告終了時刻までの範囲を時間範囲として設定してもよい。

更に、比較部２３は、第１動画及び第２動画を比較することで、番組の本編区間の開始タイミングや終了タイミング、広告区間の開始タイミングや終了タイミングが一致しているかを判定してもよい。

例えば、比較部２３は、番組の配信情報に基づいて、本編区間の本編開始時刻を取得し、この本編開始時刻の周辺の範囲を時間範囲として設定する。そして、比較部２３は、時間範囲内の各タイムコードの第１フレーム及び第２フレームを比較し、時間範囲内の第１動画及び第２動画の内容が一致している場合、本編区間の開始タイミングが一致していると判定する。また、比較部２３は、番組の配信情報に基づいて、本編区間の本編終了時刻を取得し、この本編終了時刻の周辺の範囲を時間範囲として設定する。そして、比較部２３は、時間範囲内の各タイムコードの第１フレーム及び第２フレームを比較し、時間範囲内の第１動画及び第２動画の内容が一致している場合、本編区間の終了タイミングが一致していると判定する。

若しくは、比較部２３は、番組の配信情報に基づいて、広告区間の広告開始時刻を取得し、この広告開始時刻の周辺の範囲を時間範囲として設定する。そして、比較部２３は、時間範囲内の各タイムコードの第１フレーム及び第２フレームを比較し、時間範囲内の第１動画及び第２動画の内容が一致している場合、広告区間の開始タイミングが一致していると判定する。また、比較部２３は、番組の配信情報に基づいて、広告区間の広告終了時刻を取得し、この広告終了時刻の周辺の範囲を時間範囲として設定する。そして、比較部２３は、時間範囲内の各タイムコードの第１フレーム及び第２フレームを比較し、時間範囲内の第１動画及び第２動画の内容が一致している場合、本編区間の終了タイミングが一致していると判定する。

あるいは、動画監視装置１が、操作装置２５等によって、上記のように設定される時間範囲の複数パターンのうちから、１つ以上のパターンを任意に選択させることで時間範囲を設定可能に構成されてもよい。若しくは、動画監視装置１が、操作装置２５等によって、時間範囲の開始時刻及び終了時刻を任意に入力させることで時間範囲を設定可能に構成されてもよい。そして、比較部２３は、動画監視装置１で任意に設定された時間範囲を用いて第１動画及び第２動画を比較する。比較部２３は、本編区間に係る時間範囲内の第１動画及び第２動画の内容が同じである場合に、視聴用の第２動画の本編データが正しいと判定する一方、本編区間に係る時間範囲内の第１動画及び第２動画の内容が異なる場合に、視聴用の第２動画の本編データが正しくないと判定するとよい。また、比較部２３は、広告区間に係る時間範囲内の第１動画及び第２動画の内容が異なる場合に、視聴用の第２動画の広告データが正しいと判定する一方、広告区間に係る時間範囲内の第１動画及び第２動画の内容が同じである場合に、視聴用の第２動画の広告データが正しくないと判定するとよい。

蓄積部２４は、配信データの第１動画と第２動画との比較部２３による比較結果をタイムコード毎に蓄積する。換言すれば、蓄積部２４は、時間範囲内における第１動画の各タイムコードの第１フレームと第２動画の各タイムコードの第２フレームとの比較結果を、放送番組の配信データの配信監視結果として記憶する。なお、蓄積部２４は、比較部２３による第１動画及び第２動画の比較結果や、第１フレーム及び第２フレームの比較結果として、一致又は不一致の２種類を記憶してもよく、あるいは、一致、不一致又は第２動画の通信障害等の不具合の３種類を記憶してもよい。

また、蓄積部２４は、放送番組の配信データについて第１取得部２１で受信した第１動画及び第２取得部２２で受信した第２動画を配信監視結果と共に記憶するとよい。なお、蓄積部２４は、放送番組の配信データの配信監視結果を放送局２や動画監視装置１の管理者に対して表示や送信によって出力可能とする。なお、蓄積部２４は、配信データの配信監視結果を、第１動画及び第２動画の比較結果として出力してよく、また、タイムコード毎の第１フレーム及び第２フレームの比較結果を合わせて出力してよい。更に、蓄積部２４は、本編区間や広告区間等の時間帯毎の比較結果を合わせて出力してもよい。

更に、動画監視装置１は、放送番組の配信データの監視を操作する操作装置２５や、配信監視結果を表示可能な表示装置２６を備えるとよい。従って、動画監視装置１によれば、動画配信の監視状況を、操作装置２５や表示装置２６等のコンソールから一元管理することができ、配信状況統計表示や、過去配信された動画の再生、アラート通知先設定等を行うこともできる。

本実施形態では、上述のように、動画監視装置１は、放送局２から放送される番組（動画コンテンツ）を配信するためにエンコードした配信データを第１動画として取得し、配信装置３がＩＰネットワーク４を介してユーザー端末６へ配信する配信データを第２動画として取得し、第１動画及び第２動画に共通して付加された番組の配信情報に基づいて、番組の所定の時間範囲内のタイムコード毎に、第１動画から第１フレームを取得すると共に、第２動画から第２フレームを取得し、時間範囲内のタイムコード毎に、第１フレームの第１特徴量と第２フレームの第２特徴量とを比較することで第１フレームと第２フレームとの一致度を判定し、時間範囲内の各タイムコードの第１フレーム及び第２フレームの一致度に基づいて、時間範囲内の第１動画及び第２動画の内容が一致しているか否かを判定する。

上記したような構成により、本実施形態によれば、放送番組に対応して配信される動画を自動的に監視することができる、拡張可能で汎用的な動画監視装置１を提供することができる。特に、配信装置３が配信しようとする第１動画と、ユーザー端末６で受信される第２動画とを比較するため、高速に動画類似度を検出することができ、放送局２や配信装置３の事業者はその比較結果を参照することで動画の配信品質を向上することができる。

この動画監視装置１によれば、番組の配信データを２４時間３６５日配信している場合でも、配信された動画を常時、自動的に監視することができる。また、動画配信の監視に係る人件費やコストを抑制しつつ、動画の配信品質を担保することができる。なお、放送局２や配信装置３の複数の事業者がそれぞれ動画配信を監視する場合でも、動画監視装置１は、容易にスケールアウトすることができる。また、動画配信のコーデックや配信方式が変更されたり、監視対象が増加したりする等、動画配信の監視条件が変更された場合でも、動画監視装置１は、監視条件に応じてフレキシブルに対応することができる。

また、動画監視装置１は、時間範囲内の各タイムコードの第１フレーム及び第２フレームの組み合わせのうち、所定の一致数閾値以上の組み合わせがそれぞれ一致している場合、時間範囲内の第１動画及び第２動画が一致していると判定するとよい。

これにより、動画配信の監視結果を数値化して、事業者に明確に提供することができる。

例えば、動画監視装置１は、配信情報に基づいて番組の本編区間の本編開始時刻及び本編終了時刻を取得し、本編開始時刻から本編終了時刻までの範囲を時間範囲として設定してもよい。また、動画監視装置１は、時間範囲を任意に設定可能にしてもよい。

また、動画監視装置１は、配信情報に基づいて、番組の本編区間の本編開始時刻を取得し、本編開始時刻の周辺の範囲を時間範囲として設定して、時間範囲内の第１動画及び第２動画の内容が一致している場合、本編区間の開始タイミングが一致していると判定する。動画監視装置１は、配信情報に基づいて、番組の本編区間の本編終了時刻を取得し、本編終了時刻の周辺の範囲を時間範囲として設定して、時間範囲内の第１動画及び第２動画の内容が一致している場合、本編区間の終了タイミングが一致していると判定する。動画監視装置１は、配信情報に基づいて、番組の広告区間の広告開始時刻を取得し、広告開始時刻の周辺の範囲を時間範囲として設定して、時間範囲内の第１動画及び第２動画の内容が一致している場合、広告区間の開始タイミングが一致していると判定する。動画監視装置１は、配信情報に基づいて、番組の広告区間の広告終了時刻を取得し、広告終了時刻の周辺の範囲を時間範囲として設定して、時間範囲内の第１動画及び第２動画の内容が一致している場合、広告区間の終了タイミングが一致していると判定する。

更に、動画監視装置１は、時間範囲内における第１動画の各タイムコードの第１フレームと第２動画の各タイムコードの第２フレームとの比較結果を、所定の番組の配信監視結果として、第１動画及び第２動画と共に記憶するとよい。

これにより、配信された動画の配信状況を、時間範囲の開始から終了までの継続データとして管理することができ、配信監視結果を統計的な傾向の情報として利用することができる。また、配信監視結果を、配信環境と同じ第１動画や受信環境と同じ第２動画と共に確認することができるので、配信された動画について問い合わせを受けた場合でも、適切に対応することが可能となる。なお、動画配信に問題があった場合には、動画の配信データの作成からユーザー端末６での受信までの、何れの段階で問題が生じていたかをより確実に判定することができる。

本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う動画監視装置もまた本発明の技術思想に含まれる。

１００動画配信システム
１動画監視装置
２放送局
３配信装置
４ＩＰネットワーク
５テレビ受像機
６ユーザー端末
１１受信部
１２エンコーダ
１３広告差替部
１４蓋処理部
１５配信部
２１第１取得部
２２第２取得部
２３比較部
２４蓄積部
２５操作装置
２６表示装置

Claims

放送局から放送される所定の動画コンテンツを配信するためにエンコードした配信データを第１動画として取得し、
配信装置がＩＰネットワークを介してユーザー端末へ配信する前記配信データを第２動画として取得し、
前記第１動画及び前記第２動画に共通して付加された前記動画コンテンツの配信情報に基づいて、前記動画コンテンツの所定の時間範囲内のタイムコード毎に、前記第１動画から第１フレームを取得すると共に、前記第２動画から第２フレームを取得し、
前記時間範囲内の前記タイムコード毎に、前記第１フレームの第１特徴量と前記第２フレームの第２特徴量とを比較することで前記第１フレームと前記第２フレームとの一致度を判定し、
前記時間範囲内の前記各タイムコードの前記第１フレーム及び前記第２フレームの前記一致度に基づいて、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致しているか否かを判定することを特徴とする動画監視装置。
前記時間範囲内の前記各タイムコードの前記第１フレーム及び前記第２フレームの組み合わせのうち、所定の一致数閾値以上の前記組み合わせがそれぞれ一致している場合、前記時間範囲内の前記第１動画及び前記第２動画が一致していると判定することを特徴とする請求項１に記載の動画監視装置。
前記配信情報に基づいて前記動画コンテンツの本編区間の本編開始時刻及び本編終了時刻を取得し、前記本編開始時刻から前記本編終了時刻までの範囲を前記時間範囲として設定することを特徴とする請求項１に記載の動画監視装置。
前記時間範囲を任意に設定可能にすることを特徴とする請求項１に記載の動画監視装置。
前記配信情報に基づいて、前記動画コンテンツの本編区間の本編開始時刻を取得し、前記本編開始時刻の周辺の範囲を前記時間範囲として設定して、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致している場合、前記本編区間の開始タイミングが一致していると判定し、
若しくは、前記配信情報に基づいて、前記動画コンテンツの本編区間の本編終了時刻を取得し、前記本編終了時刻の周辺の範囲を前記時間範囲として設定して、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致している場合、前記本編区間の終了タイミングが一致していると判定し、
若しくは、前記配信情報に基づいて、前記動画コンテンツの広告区間の広告開始時刻を取得し、前記広告開始時刻の周辺の範囲を前記時間範囲として設定して、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致している場合、前記広告区間の開始タイミングが一致していると判定し、
若しくは、前記配信情報に基づいて、前記動画コンテンツの広告区間の広告終了時刻を取得し、前記広告終了時刻の周辺の範囲を前記時間範囲として設定して、前記時間範囲内の前記第１動画及び前記第２動画の内容が一致している場合、前記広告区間の終了タイミングが一致していると判定する
ことを特徴とする請求項１に記載の動画監視装置。
前記時間範囲内における前記第１動画の各タイムコードの前記第１フレームと前記第２動画の各タイムコードの前記第２フレームとの比較結果を、前記動画コンテンツの配信監視結果として、前記第１動画及び前記第２動画と共に記憶することを特徴とする請求項１に記載の動画監視装置。