JP2021149232A - 動画解析システム、動画解析装置、動画解析方法、およびプログラム - Google Patents

Abstract

【課題】動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する処理を、高速に行うこと。【解決手段】動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩを実行する第１処理部と、前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理部と、を備え、前記第１処理部は、前記第２処理部によって実行された処理の結果を出力部に出力させ、前記第２処理部が実行する処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理を含み、前記第２処理部は、前記類似画像抽出処理の少なくとも一部を分散環境で実行する、動画解析システム。【選択図】図２

Description

本発明は、動画解析システム、動画解析装置、動画解析方法、およびプログラムに関する。

従来、動画コンテンツにおけるシーンの切り替わりを検出し、各シーンの画像を前記動画コンテンツから抽出する抽出部と、前記動画コンテンツに含まれる音響情報の時間的推移を解析する解析部と、前記抽出部によって抽出された前記各シーンの画像の一覧と、前記解析部によって解析された前記音響情報の時間的推移を示す画像とを表示部へ表示する表示処理部と、を備え、前記解析部は、前記音響情報の時間的推移として、前記動画コンテンツに含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析することを特徴とする情報処理装置の発明が開示されている（特許文献１）。

特開２０１７−０９７８８８号公報

従来の技術では、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する処理を、高速に行うことができない場合があった。

本発明は、このような事情を考慮してなされたものであり、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する処理を、高速に行うことを目的の一つとする。

本発明の一態様は、動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩを実行する第１処理部と、前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理部と、を備え、前記第１処理部は、前記第２処理部によって実行された処理の結果を出力部に出力させ、前記第２処理部が実行する処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理を含み、前記第２処理部は、前記類似画像抽出処理の少なくとも一部を分散環境で実行する、動画解析システムである。

本発明の一態様によれば、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する処理を、高速に行うことができる。

動画解析システムを構成する動画解析装置１００の構成と使用環境の一例を示す図である。 第１実施形態に係る動画解析装置１００の機能について説明するための図である。 操作者端末装置２０によって表示される結果出力画像ＩＭの一例を示す図である。 第２実施形態に係る動画解析装置１００の機能について説明するための図である。

以下、図面を参照し、本発明の動画解析システムの実施形態について説明する。

＜第１実施形態＞
図１は、動画解析システムを構成する動画解析装置１００の構成と使用環境の一例を示す図である。動画解析装置１００は、一以上のプロセッサにより実現される。動画解析装置１００は、ネットワークＮＷを介して入稿者端末装置１０や操作者端末装置２０、動画配信装置２００などと通信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、セルラー網、公衆回線等を含む。なお、動画解析装置１００は、動画配信装置２００の一部であってもよいし、動画配信装置２００とは別体の装置であってもよい。また、図１では動画解析システムの構成要素が動画解析装置１００に実装されているものとしているが、例えばフロントエンド処理部１２０が操作者端末装置２０に実装されてもよい。その場合、操作者端末装置２０は動画解析システムの一部を構成する。

入稿者端末装置１０は、動画配信装置２００によって不特定多数の端末装置に配信される動画を動画配信装置２００に送信する。入稿者端末装置１０を操作する入稿者は、動画配信装置２００を運営する運営者とは異なる主体（コンテンツプロバイダー）の担当者である。

操作者端末装置２０は、動画解析装置１００を操作し、動画解析装置１００の処理結果を利用する操作者によって使用される。操作者端末装置２０は、表示装置やスピーカなどの出力部を備える。操作者端末装置２０では、動画解析装置１００が提供するインターフェース画像が表示され、各種の指示情報の入力が可能となっている。動画解析装置１００は、例えばウェブサーバの機能を有しており、操作者端末装置２０は、ブラウザやアプリケーションプログラムなどのＵＡ（User Agent）によって動画解析装置１００の提供するインターフェース画像を表示する。

動画解析装置１００は、例えば、通信部１１０、フロントエンド処理部１２０（第１処理部の一例）、ファイルシステム１３０、およびバックエンド処理部１４０（第２処理部の一例）を備える。フロントエンド処理部１２０、ファイルシステム１３０、およびバックエンド処理部１４０は、例えば、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。バックエンド処理部１４０が分散環境で処理を行うものであるため、ハードウェアプロセッサは、マルチコアプロセッサなどの並列処理が可能なものであることが好ましい。なお、バックエンド処理部１４０は、シングルコアプロセッサを用いて時分割で分散処理を行っても構わない。

通信部１１０は、ネットワークＮＷにアクセスするための通信インターフェースである。例えば、通信部１１０はネットワークカードを含む。

フロントエンド処理部１２０は、動画に対する処理内容を指示する指示情報を操作者端末装置２０から受け付け、指示情報に応じたＡＰＩ（Application Programming Interface）を実行する。フロントエンド処理部１２０は、バックエンド処理部１４０によって実行された処理の結果を操作者端末装置２０に出力させる。フロントエンド処理部１２０は、例えば、フリーソフトウェアであるFFmpegに周辺機能を付加することで実現される。フロントエンド処理部１２０は、コマンドラインのツールとして機能し、ライブラリを直に読み出して細かい制御をすることを可能とする。フロントエンド処理部１２０は、Pythonのコールバックを可能にすることで効率的に情報を取得でき、長尺の動画についてシーケンシャルな処理を行うこと、或いはシーク処理などを可能としている。

ファイルシステム１３０は、記憶部１５０にデータを展開して管理する。ファイルシステム１３０は、フロントエンド処理部１２０とバックエンド処理部１４０との間で受け渡されるデータを仲介する役割を有している。

バックエンド処理部１４０は、フロントエンド処理部１２０により実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を、分散環境で実行する。分散環境とは、典型的には同時並行して処理を行うことが可能な複数の処理主体によって処理を実行する環境をいう。バックエンド処理部１４０が実行する処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理を含み、バックエンド処理部１４０は、類似画像抽出処理の少なくとも一部を分散環境で実行する。比較対象画像とは、例えば入稿者端末装置１０から動画と共に取得されたサムネイル画像である。そのように取得されるサムネイル画像には、誤って選択された他の動画のフレーム画像であったり、シリーズ物の動画において何巻目に対応するのか不明な場合があったりするため、類似画像抽出処理は、動画に対して適切なサムネイル画像であるか否かを判断するための情報を提供することを目的としている。なお、類似画像抽出処理の他にも、バックエンド処理部１４０は、動画トランスコード、動画エンコード（目視確認のためのサイズダウン処理）などの処理を、必要に応じて分散環境で行うことができる。

図２は、第１実施形態に係る動画解析装置１００の機能について説明するための図である。まず、入稿者端末装置１０から動画とサムネイル画像が入稿される。これに対して、操作者端末装置２０に対して操作者が操作を行うことで、動画スプリット処理、キーフレーム抽出処理、特徴量抽出処理、サムネイル類似度判定処理が、順次あるいは一連のシーケンス処理としてフロントエンド処理部１２０に指示される。指示情報とは、これらを順次指示する複数の情報であってもよいし、一連のシーケンス処理として指示する情報であってもよい。

まず、フロントエンド処理部１２０は、動画スプリット処理をバックエンド処理部１４０に実行させるためのＡＰＩを実行する。バックエンド処理部１４０には、複数のタスクキュー部１４２がデーモンプログラムとして常駐している。そのうち一つのタスクキュー部１４２がＡＰＩの実行に反応し、例えば一つのプロセス実行部１４４に通知する。

プロセス実行部１４４は、ＯＳ（Operating System）機能を有している。上記の通知を受けたプロセス実行部１４４は、ＡＰＩによって指示される動画スプリット処理を一括で行う。動画スプリット処理は分散環境で実行されてもさほど効率が向上しないものであるため、バックエンド処理部１４０では動画スプリット処理を一括処理で行う。入稿者端末装置１０から入稿された動画は、例えば、MPEG2-PSなどの規格によって区切られており、プロセス実行部１４４は、FFmpegの機能を用いて、規格による区切りに沿って動画を分割する。プロセス実行部１４４による処理が終了すると、タスクキュー部１４２が処理結果である分割された動画（分割動画）をファイルシステム１３０に登録する。

次に、フロントエンド処理部１２０は、キーフレーム抽出処理をバックエンド処理部１４０に実行させるためのＡＰＩを実行する。一つのタスクキュー部１４２がＡＰＩの実行に反応し、複数のプロセス実行部１４４に通知してキーフレーム抽出処理を分散処理させる。キーフレーム抽出処理とは、分割画像のそれぞれにおけるキーフレーム（代表フレーム）を抽出する処理である。プロセス実行部１４４は、例えば、前後のフレーム画像との輝度変化の大きいフレーム画像を分割動画の中から二つ抽出し、抽出したフレーム画像の時間的に中間の位置にあるフレーム画像、すなわち輝度変化の小さい平穏なフレーム画像をキーフレームとする。プロセス実行部１４４による処理が終了すると、タスクキュー部１４２が処理結果である分割画像ごとのキーフレームをファイルシステム１３０に登録する。

次に、フロントエンド処理部１２０は、キーフレームおよびサムネイル画像の特徴量抽出処理をバックエンド処理部１４０に実行させるためのＡＰＩを実行する。一つのタスクキュー部１４２がＡＰＩの実行に反応し、複数のプロセス実行部１４４に通知して特徴量抽出処理を分散処理させる。プロセス実行部１４４は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やHarrisなどの処理を行なってもよいし、ＣＮＮ（Convolution Neural Network）などの機械学習を利用したモデルにキーフレームを入力することで出力を得るようにしてもよい。プロセス実行部１４４による処理が終了すると、タスクキュー部１４２が処理結果であるキーフレームごとの特徴量とサムネイル画像の特徴量をファイルシステム１３０に登録する。

次に、フロントエンド処理部１２０は、サムネイル類似度判定処理をバックエンド処理部１４０に実行させるためのＡＰＩを実行する。一つのタスクキュー部１４２がＡＰＩの実行に反応し、一つまたは複数のプロセス実行部１４４に通知してサムネイル類似度判定処理を実行させる。プロセス実行部１４４は、サムネイル画像の特徴量と、複数のキーフレームごとの特徴量とを一つずつ比較し、類似度が高い順にソートする。特徴量は、例えばベクトル形式で表されており、プロセス実行部１４４は、それらの距離を類似度として算出する。プロセス実行部１４４による処理が終了すると、タスクキュー部１４２が処理結果である類似度ランキング結果をファイルシステム１３０に登録する。類似度ランキング結果は、複数のキーフレームを、特徴量の類似度が高い順にランキングした結果である。

類似度ランキング結果がファイルシステム１３０に登録されると、フロントエンド処理部１２０は、自動的に、或いは操作者の操作に応じて、類似度ランキング結果に基づく情報を操作者端末装置２０に出力する。操作者端末装置２０は、入力された情報に応じた画像を表示する。図３は、操作者端末装置２０によって表示される結果出力画像ＩＭの一例を示す図である。図示するように、結果出力画像ＩＭは、動画タイトルや再生時間の他、サムネイル画像と、類似度ランキング結果に含まれる類似画像とを含む。図中、類似画像（１）となっているものは、特徴量がサムネイル画像の特徴量に最も類似すると判定されたキーフレームである。以下、類似画像（２）、（３）についても同様である。操作者は、このような画像を視認することで、動画に対して適切なサムネイル画像が付加されているかどうかを確認することができる。

以上説明した第１実施形態によれば、動画に含まれる一以上のフレーム画像のうち比較対象画像（サムネイル画像）に類似する画像を抽出する処理を、高速に行うことができる。

＜第２実施形態＞
以下、第２実施形態について説明する。図４は、第２実施形態に係る動画解析装置１００の機能について説明するための図である。第２実施形態において、フロントエンド処理部１２０によって各種処理を指示するためのＡＰＩが実行されると、その情報がジョブキュー部１４６に伝えられる。ジョブキュー部１４６は、処理のリストを生成する。そして、例えば複数のタスク登録部１４７が常駐している。これによって、動画に対する指示が複数、略同時になされた場合でも、タスク登録部１４７の数に応じたタスクの実行が可能である。タスク登録部１４７は、リストから取得した処理の内容をスケジューラ１４８に登録する。スケジューラ１４８は、例えば、順序性のある処理について優先順を付与した処理のリストを生成する。スケジューラ１４８により生成された処理のリストに応じた数のプロセス実行部１４４が自動的に生成される。但し、ハードウェアの限界に達する数がプロセス実行部１４４の数の上限となる。プロセス実行部１４４は、スケジューラ１４８のリストを参照し、自身でファイルシステム１３０内の対象情報を取得して第１実施形態と同様の各種処理（動画スプリット処理、キーフレーム抽出処理、特徴量抽出処理、サムネイル類似度判定処理、動画トランスコード、動画エンコードなど）を行う。これによって、プロセス実行部１４４の数に応じた並列処理が実行され、高速処理が実現されるが、ハードウェアリソースが足りない場合は、スケジューラ１４８に登録された状態で処理待ちとなる。

以上説明した第２実施形態によれば、第１実施形態と同様の効果を奏することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ 入稿者端末装置
２０ 操作者端末装置
１００ 画像解析装置
１１０ 通信部
１２０ フロントエンド処理部
１３０ ファイルシステム
１４０ バックエンド処理部
１４２ タスクキュー部
１４４ プロセス実行部
１４６ ジョブキュー部
１４７ タスク登録部
１４８ スケジューラ

Claims (7)

1. 動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩ（Application Programming Interface）を実行する第１処理部と、
   前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理部と、
   を備え、
   前記第１処理部は、前記第２処理部によって実行された処理の結果を出力部に出力させ、
   前記第２処理部が実行する処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理を含み、
   前記第２処理部は、前記類似画像抽出処理の少なくとも一部を分散環境で実行する、
   動画解析システム。
2. 前記類似画像抽出処理は、動画スプリット処理を一括処理で実行し、少なくとも動画スプリット処理の結果として得られた分割動画のそれぞれに対するキーフレーム抽出処理および特徴量抽出処理を分散環境で実行する、
   請求項１記載の動画解析システム。
3. 前記第２処理部は、前記指示情報の内容を保持すると共に前記第１処理部によりＡＰＩが実行されるのに応じてＡＰＩの実行を通知するタスクキュー部と、
   前記通知に応じて前記第１処理部により実行されたＡＰＩに応じた処理を分散環境で実行する複数のプロセス実行部と、
   を備える、請求項１または２記載の動画解析システム。
4. 前記第２処理部は、前記指示情報の内容をリストによって保持するジョブキュー部と、
   前記リストから処理の内容を取得してスケジューラに渡すタスク登録部と、
   前記スケジューラから処理の内容を取得して分散環境で処理を実行する複数のプロセス実行部と、
   を備える、請求項１または２記載の動画解析システム。
5. 動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩを実行する第１処理部と、
   前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理部と、
   を備え、
   前記第１処理部は、前記第２処理部によって実行された処理の結果を出力部に出力させ、
   前記第２処理部が実行する処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理を含み、
   前記第２処理部は、前記類似画像抽出処理の少なくとも一部を分散環境で実行する、
   動画解析装置。
6. 動画解析装置が、
   動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩを実行する第１処理と、
   前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理と、
   を実行し、
   前記第１処理は、前記第２処理によって実行された処理の結果を出力部に出力させる処理を含み、
   前記第２処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理と、前記類似画像抽出処理の少なくとも一部を分散環境で実行する処理とを含む、
   動画解析方法。
7. 動画解析装置に、
   動画に対する処理内容を指示する指示情報を操作者から受け付け、前記指示情報に応じたＡＰＩを実行する第１処理と、
   前記実行されたＡＰＩに応じた動画に対する処理の少なくとも一部を分散環境で実行する第２処理と、
   を実行させ、
   前記第１処理は、前記第２処理によって実行された処理の結果を出力部に出力させる処理を含み、
   前記第２処理は、動画に含まれる一以上のフレーム画像のうち比較対象画像に類似する画像を抽出する類似画像抽出処理と、前記類似画像抽出処理の少なくとも一部を分散環境で実行する処理とを含む、
   プログラム。

Images