JP2023016160A - 情報処理装置、および情報処理方法 - Google Patents

Abstract

【課題】複数のユーザから入力されたタグを適切に映像データに設定する情報処理装置及び情報処理方法を提供する。
【解決手段】情報処理装置１０は、映像データにおける事象を特定するタグに関する情報であってタグを入力したユーザに関する情報を含むタグ情報を取得するタグ情報取得部３２と、ユーザ毎のスコアを算出し、算出したスコアをユーザに対応付けて記憶部に記憶するスコア算出部３６と、事象に対して付与するタグを決定するタグ決定部３８と、を備える。タグ決定部は、タグ情報取得部が同一の事象に対して複数の異なるタグに関するタグ情報を取得した場合に、複数の異なるタグの中からユーザ毎のスコアに基づいてタグを決定し、決定したタグを事象に対して付与する。
【選択図】図２

Description

本発明は、情報処理装置、および情報処理方法に関する。

スポーツ競技などのイベントが撮影されている最中に、撮影した映像データにおけるアクション（事象、例えばヒットなど）の頭出し位置（タグ）を、ユーザ（操作者）がリアルタイムで入力する（タギングする）場合、ユーザは、アクションを見た後にタグの入力操作をする。例えば、特許文献１には、動画の撮影対象を見ながら付与されたタグやコメントを、時刻を合せて動画にタグ付けする技術が開示されている。

特開２０２０－１０７９９１号公報

１つの撮影に対して特定のチームや選手、事象など担当を決められた複数の人によってダギングを行うことで、タグの入力漏れを防ぐマルチダギングシステムが知られている。マルチダギングシステムでは、短い時間内に同じようなタグが複数入力されたり、類似した異なるタグが複数入力されたりすることがある。この場合、発生した事象に対して正しいタグが入力されたかどうかの判別が困難となる。また、タグの入力後、正しいタグを選択または整理する場合には、ユーザの負荷が大きくなることもあり、効率的にマルチダギングを行うことのできる技術が求められている。

本発明は、複数のユーザから入力されたタグを適切に映像データにおける事象に付与することのできる情報処理装置、および情報処理方法を提供することを目的とする。

本発明に係る情報処理装置は、映像データにおける事象を特定するタグに関する情報であって前記タグを入力したユーザに関する情報を含むタグ情報を取得するタグ情報取得部と、前記ユーザごとのスコアを算出し、算出した前記スコアを前記ユーザに対応付けて記憶部に記憶するスコア算出部と、前記事象に対して付与する前記タグを決定するタグ決定部と、を備え、前記タグ決定部は、前記タグ情報取得部が同一の前記事象に対して複数の異なる前記タグに関する前記タグ情報を取得した場合に、複数の異なる前記タグの中から前記ユーザごとの前記スコアに基づいて前記タグを決定し、決定した前記タグを前記事象に対して付与する。

本発明に係る情報処理方法は、映像データにおける事象を特定するタグに関するタグ情報を取得するステップと、前記タグを入力するユーザごとのスコアを算出し、算出した前記スコアを前記ユーザに対応付けて記憶部に記憶するステップと、前記事象に対して付与する前記タグを決定するステップと、同一の前記事象に対して複数の異なる前記タグに関する前記タグ情報を取得した場合に、前記ユーザごとの前記スコアに基づいて前記タグを決定し、決定した前記タグを前記事象に対して付与するステップと、を含む。

本発明によれば、複数のユーザから入力されたタグを適切に映像データにおける事象に付与することができる。

図１は、第１実施形態に係る情報処理システムの一例を示す図である。 図２は、第１実施形態に係る情報処理装置の構成例を示すブロック図である。 図３は、第１実施形態に係るスコアテーブルの一例を説明するための図である。 図４は、第１実施形態に係る端末装置の構成例を示すブロック図である。 図５は、第１実施形態に係る情報処理装置の処理内容を示すフローチャートである。 図６は、第１実施形態に係るタグテーブルの一例を示す図である。 図７は、第２実施形態に係る情報処理装置の構成例を示すブロック図である。 図８は、第２実施形態に係る情報処理装置の処理内容を示すフローチャートである。 図９は、第２実施形態に係るグループテーブルの一例を示す図である。 図１０は、第３実施形態に係る情報処理装置の処理内容を示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第１実施形態］
（情報処理システム）
図１を用いて、第１実施形態に係る情報処理システムについて説明する。図１は、第１実施形態に係る情報処理システムの一例を示す図である。

図１に示すように、情報処理システム１は、情報処理装置１０と、端末装置１２_１から端末装置１２_ｎ（ｎは２以上の整数）と、撮像部１４と、を含む。端末装置１２_１から端末装置１２_ｎを端末装置１２と総称することもある。情報処理システム１は、複数の端末装置１２を含む。

撮像部１４は、イベントを撮影して映像データを生成する。撮像部１４は、生成した映像データを情報処理装置１０に送信する。撮像部１４は、例えば、カメラで構成されている。端末装置１２は、イベントで発生した事象を特定するためのタグの入力をユーザから受け付ける。端末装置１２は、ユーザから受け付けたタグを情報処理装置１０に送信する。

イベントとは、時系列に沿って複数のアクション（事象）が起こりつつ進行する試合や催し物、行事などを指す。アクションは、イベント内で起こった出来事すなわち事象を指す。例えば、イベントは、スポーツの試合（例えば野球試合）であり、アクションは、試合におけるプレイヤーのプレイ内容（例えば野球におけるホームラン）であり、投手の投球を起点とした一連の出来事であるともいえる。

ただし、イベントは、それに限られず、例えばダンス大会、音楽コンクール、カラオケ大会、プレゼンテーション、製造業の作業工程の説明等、スポーツ試合以外であってもよい。以降、イベントとして野球試合を例に挙げて説明する。

（情報処理装置）
図２を用いて、第１実施形態に係る情報処理装置の構成例について説明する。図２は、第１実施形態に係る情報処理装置の構成例を示すブロック図である。

図２に示すように、情報処理装置１０は、通信部２０と、記憶部２２と、制御部２４と、を備える。情報処理装置１０は、例えば、サーバ装置などのコンピュータである。

通信部２０は、有線または無線のネットワークを介して外部装置と情報の送受信を行う。通信部２０は、例えば、撮像部１４からイベントを撮影した映像データを取得する。通信部２０は、端末装置１２からタグ情報を受信する。

記憶部２２は、各種の情報を記憶するメモリである。記憶部２２は、例えば、制御部２４の演算内容、およびプログラムなどの情報を記憶する。記憶部２２は、例えば、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）のような主記憶装置、ＨＤＤ（Hard Disk Drive）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２２は、スコア記憶部２２ａと、映像記憶部２２ｂと、を有する。

スコア記憶部２２ａは、事象の発生に対するタギングの遅延とタギングの詳細度によって算出されたスコアを、ユーザごとスコアテーブルとして記憶している。タギングの遅延と、タギングの詳細度については後述する。図３は、第１実施形態に係るスコアテーブルの一例を説明するための図である。図３に示すように、スコアテーブル８０は、ユーザＩＤと、スコアといった項目を含む。ユーザＩＤは、端末装置１２を使用するユーザを一意に識別するための情報を示す。スコアは、ダギングに関するスコアを示す。図３に示す例では、ユーザＩＤ「Ｕ１」のユーザのスコアは、「Ｓ１」であることを示す。図３に示す例では、スコアは、「Ｓ１」等と概念的に示されるが、実際には、例えば、数値で示される。スコアは、遅延が少ない場合、詳細度が高い場合などに高い値を示す。

映像記憶部２２ｂは、各種の映像データを記憶する。映像記憶部２２ｂは、例えば、撮像部１４が撮像したイベントの映像データを記憶する。

制御部２４は、情報処理装置１０の各部の動作を制御する。制御部２４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部２２などに記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。制御部２４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２４は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２４は、映像データ取得部３０と、タグ情報取得部３２と、タグ判定部３４と、スコア算出部３６と、タグ決定部３８とを、備える。

映像データ取得部３０は、各種の映像データを取得する。映像データ取得部３０は、例えば、通信部２０を介して、撮像部１４が撮像したイベントの映像データを取得する。映像データ取得部３０は、撮像部１４から取得した映像データを映像記憶部２２ｂに記憶する。

タグ情報取得部３２は、映像データにおける事象に付与するタグに関するタグ情報を取得する。タグ情報取得部３２は、例えば、複数の端末装置１２から、撮像部１４がイベントを撮影した映像データに対して、イベントで発生した事象を特定するタグに関するタグ情報を、通信部２０を介して取得する。

タグ判定部３４は、タグの種類を判定する。タグ判定部３４は、同一の事象について複数のタグが入力された場合、入力されたタグが同一の種類のタグであるか否かを判定する。タグ判定部３４の詳細は、後述する。

スコア算出部３６は、映像データにおける事象の発生に対するタギングの遅延と、タギングの詳細度に基づいて、端末装置１２のユーザごとにスコアを算出する。スコア算出部３６の詳細は、後述する。

タグ決定部３８は、映像データにおける事象に対して付与するタグを決定する。タグ決定部３８は、映像データにおける事象に対してタグを付与する。タグ決定部３８の詳細は、後述する。

（端末装置）
図４を用いて、第１実施形態に係る端末装置の構成例について説明する。図４は、第１実施形態に係る端末装置の構成例を示すブロック図である。

図４に示すように、端末装置１２は、入力部５０と、出力部５２と、記憶部５４と、視線検出部５６と、通信部５８と、制御部６０と、を備える。端末装置１２は、例えば、タブレット端末、スマートフォンなどであるが、これらに限定されない。

入力部５０は、端末装置１２に対する各種の入力操作を受け付ける入力装置である。入力部５０は、撮影しているイベントにおいて発生した事象のタグを入力する操作を受け付ける。入力部５０は、例えば、映像データにおける事象に付与するタグを入力する操作を受け付ける。入力部５０は、例えば、ボタン、タッチパネルなどを含む。

出力部５２は、各種映像を表示する。出力部５２は、例えば、タグを入力するためのインターフェースを表示する。出力部５２は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイ等を含むディスプレイを含む。なお、タッチパネル等を用いて、入力部５０と、出力部５２とを一体に構成してもよい。

記憶部５４は、各種の情報を記憶するメモリである。記憶部５４は、例えば、制御部６０の演算内容、およびプログラムなどの情報を記憶する。記憶部５４は、例えば、ＲＡＭと、ＲＯＭのような主記憶装置、ＨＤＤなどの外部記憶装置とのうち、少なくとも１つ含む。

視線検出部５６は、ユーザの視線を検出するセンサである。視線検出部５６は、例えば、ユーザの入力部５０への視線を検出する。視線検出部５６は、例えば、端末装置１２の図示しないインカメラであるが、これに限定されない。視線検出部５６は、ユーザの視線が検出可能な任意のセンサであってよい。

通信部５８は、有線または無線のネットワークを介して外部装置と情報の送受信を行う。通信部５８は、例えば、情報処理装置１０に対してタグ情報を送信する。

制御部６０は、端末装置１２の各部の動作を制御する。制御部６０は、例えば、ＣＰＵやＭＰＵ等によって、記憶部５４などに記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。制御部６０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部６０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部６０は、入力情報取得部７０と、入力時間測定部７２と、タグ情報生成部７４と
を備える。

入力情報取得部７０は、端末装置１２に対する各種の入力に関する入力情報を取得する。入力情報取得部７０は、入力部５０に対して手動で入力されたタグの入力に関する入力情報を取得する。入力情報取得部７０は、視線検出部５６が検出した視線の方向が出力部５２に表示されたタグを入力するためのインターフェースと重なったタイミングを、タグの入力に関する入力情報として取得する。すなわち、本実施形態においては、手動で入力されたタグおよび視線に関する情報に基づいて、タグの入力に関する入力情報を取得する。

入力時間測定部７２は、撮影しているイベントで発生した事象に対して、タグを入力するために要した操作時間を測定する。入力時間測定部７２は、例えば、事象が発生した時刻からタグが選択されるまでの時間を操作時間として測定する。入力時間測定部７２は、例えば、出力部５２への視線が検出された時刻から、出力部５２に表示されたタグが選択されるまでの時刻を操作時間として測定する。入力時間測定部７２は、例えば、端末装置１２の傾け動作に基づいて、操作時間を判定してもよい。この場合、端末装置１２の傾け動作が検出された時刻から、出力部５２に表示されたタグが選択されるまでの時刻を操作時間として測定する。

タグ情報生成部７４は、ユーザによって入力されたタグに関するタグ情報を生成する。タグ情報生成部７４は、例えば、入力情報取得部７０が取得したタグと、入力時間測定部７２が測定したタグの入力に要した操作時間と、タグを入力したユーザを識別するユーザ情報とを含むタグ情報を生成する。

［処理内容］
図５を用いて、第１実施形態に係る情報処理装置の処理内容について説明する。図５は、第１実施形態に係る情報処理装置の処理内容を示すフローチャートである。

タグ情報取得部３２は、映像データに含まれる事象を特定するためのタグに関するタグ情報を取得したか否かを判定する（ステップＳ１０）。具体的には、タグ情報取得部３２は、情報処理システム１に含まれる複数の端末装置１２のいずれかからタグ情報を取得したか否かを判定する。タグ情報を取得したと判定された場合（ステップＳ１０；Ｙｅｓ）、ステップＳ１２に進む。タグ情報を取得したと判定されない場合（ステップＳ１０；Ｎｏ）、タグ情報取得部３２は、ステップＳ１０の処理を繰り返す。

ステップＳ１０でＹｅｓと判定された場合、タグ情報取得部３２は、所定時間経過したか否を判定する（ステップＳ１２）。具体的には、タグ情報取得部３２は、ある事象について最初にタグ情報を取得してから所定時間経過したか否かを判定する。所定時間は、数秒（例えば、２から３秒程度）であるが、これに限定されない。ステップＳ１２で所定時間が経過するまでの間も、タグ情報取得部３２は複数の端末装置１２のいずれかからタグ情報を取得する。所定時間経過したと判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４に進む。所定時間経過したと判定されない場合（ステップＳ１２；Ｎｏ）、タグ情報取得部３２は、ステップＳ１２の処理を繰り返す。ここで、ある事象について最初にタグ情報を取得してから所定時間が経過するまでの間に取得したタグ情報を、同一の事象についてのタグ情報としてもよい。所定時間が経過するまでの間に取得されたタグの数は１つだけの場合もあれば、複数の場合もある。

ステップＳ１２でＹｅｓと判定された場合、タグ情報取得部３２は、同一の事象についてのタグ情報を複数の端末装置１２から取得したか否かを判定する（ステップＳ１４）。具体的には、ステップＳ１０で最初にタグ情報を取得してからステップＳ１２で所定時間経過するまでの間に、複数の端末装置１２からタグ情報を取得したか否かを判定する。タグ情報を複数の端末装置１２から取得したと判定された場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１６に進む。タグ情報を複数の端末装置１２から取得していないと判定された場合（ステップＳ１４；Ｎｏ）、ステップＳ１８に進む。

ステップＳ１４でＹｅｓと判定された場合、タグ判定部３４は、複数の端末装置１２から取得したタグ情報が示すタグは同一であるか否かを判定する（ステップＳ１６）。具体的には、タグ判定部３４は、例えば、事象とタグとが関連付けられたタグテーブルに基づいて、複数の端末装置１２から取得したタグ情報が示すタグは同一であるか否かを判定する。図６は、第１実施形態に係るタグテーブルの一例を示す図である。タグテーブル８２に示すように、例えば、「ヒット」という事象に対して、「ヒット」、「１塁打」、「２塁打」、および「３塁打」といったキーワードがタグとして関連付けられている。言い換えれば、「ヒット」という事象に対して「ヒット」、「１塁打」、「２塁打」、および「３塁打」の３種類のタグが関連付けられている。この場合、タグ判定部３４は、「ヒット」、「１塁打」、「２塁打」、および「３塁打」を同一のタグとして判定する。すなわち、タグテーブル８２は、各種の事象に対して、関連するタグが複数対応付けられている。複数の端末装置１２から取得したタグ情報が示すタグが同一であると判定された場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１８に進む。複数の端末装置１２から取得したタグ情報が示すタグが同一であると判定されない場合（ステップＳ１６；Ｎｏ）、ステップＳ２４に進む。

ステップＳ１６でＹｅｓと判定された場合、スコア算出部３６は、ユーザのスコアを算出する（ステップＳ１８）。具体的には、スコア算出部３６は、タギングの所要時間と、タギングの詳細度に基づいて、ユーザのスコアを算出する。タギングの所要時間は、ある事象についてタグを入力するのに要した操作時間を意味する。操作時間に関する情報は、タグ情報に含まれる。タギングの詳細度は、タグを大分類と小分類とに分けた場合の、タグの詳細度を意味する。例えば、野球の試合の打撃に関するタグである場合、大分類は「２塁」、「レフト」などの打球方向を示し、小分類は「ゴロ」、「打点」などの結果であってよい。例えば、大分類は「ヒット」などの結果を示し、小分類は「１塁打」、「２塁打」、「３塁打」などの詳細であってもよい。スコア算出部３６は、所要時間が短いほどスコアを高く算出する。スコア算出部３６は、詳細度が高いほどスコアを高く算出する。

スコア算出部３６は、所要時間に基づいてスコアを算出する場合、式（１）で算出することができる。

式（１）において、所要時間の平均値は全ユーザの所要時間の平均値を示し、所要時間は対象のユーザの所要時間を示す。旧スコアは、前回に算出したスコアの値を示す。旧スコアがない場合には、デフォルト値を用いてもよい。

スコア算出部３６は、詳細度に基づいてスコアを算出する場合、式（２）で算出することができる。

式（２）において、詳細度の平均値は全ユーザの詳細度の平均値を示し、詳細度は対象のユーザの詳細度を示す。

スコア算出部３６は、所要時間に基づくスコアと、詳細度に基づくスコアとを統合してもよい。スコア算出部３６は、例えば、所要時間に基づくスコアと、詳細度に基づくスコアとに対して重み付けをして、式（３）で算出してもよい。

式（３）において、αとβは、０より大きな所定値（係数）である。αとβは任意に設定してよい。例えば、所要時間に基づくスコアを詳細度に基づくスコアよりも重要視する場合には、αをβよりも大きくしてよい。

ステップＳ１８の後、スコア算出部３６は、算出したスコアをユーザごとにスコア記憶部２２ａに記憶する（ステップＳ２０）。具体的には、スコア算出部３６は、ユーザごとにスコアを最新の結果に更新する。そして、ステップＳ２２に進む。

タグ決定部３８は、ステップＳ１０で取得したタグ情報が示すタグを、事象を特定するためのタグとして付与する（ステップＳ２２）。そして、図５の処理を終了する。

ステップＳ１６でＮｏと判定された場合、スコア算出部３６は、複数の端末装置１２から取得した各タグ情報に含まれるユーザのスコアをスコア記憶部２２ａから取得する（ステップＳ２４）。そして、ステップＳ２６に進む。

タグ決定部３８は、ステップＳ２４で取得したスコアのうち、最も高いスコアのユーザに対応するタグすなわち最も高いスコアのユーザが入力したタグを、事象を特定するためのタグとして付与する（ステップＳ２６）。そして、図５の処理を終了する。

上述のとおり、第１実施形態では、同一の事象に対して複数の異なるタグが入力された場合に、タグを入力したユーザのうち、最も高いスコアのユーザが入力したタグを、事象を特定するためのタグとして付与する。これにより、第１実施形態は、複数のユーザから入力されたタグを適切に映像データに設定することができる。

また、第１実施形態では、リアルタイムで映像データに含まれる事象を特定するためのタグを適切に付与することができるので、映像データにタグを付与した後にタグを手動で選択したり、整理したりする必要がなくなるので、タグを付与する工程数を削減することができる。

また、第１実施形態では、同一の事象に対して同一のタグが複数入力された場合に、タグを入力したユーザのスコアを更新する。これにより、第１実施形態は、ユーザのスコアを最新の状態に維持することができるので、複数のユーザから入力されたタグを適切に映像データに設定することができる。

［第２実施形態］
次に、第２実施形態について説明する。第２実施形態では、タグを入力する複数のユーザをグループ分けする。例えば、スポーツの試合の映像データに対してタグを入力する場合には、チーム別、選手別などにグループ分けする。ユーザは、自分のグループのチームまたは選手を主体としてタグを入力する。第２実施形態では、複数のグループが入力したタグに関するタグ情報を取得する。すなわち、第２実施形態では、同一の事象について、異なる観点で入力されたタグ情報を取得する。

例えば、複数のユーザを、第１グループと、第２グループとに分けて、第１チームと、第２チームとの試合を撮像した映像データにタグを入力するとする。この場合、第１グループのユーザは、第１チームに発生した事象についてタグを入力し、第２グループのユーザは、第２チームに発生した事象についてタグを入力する。

（情報処理装置）
図７を用いて、第２実施形態に係る情報処理装置の構成例について説明する。図７は、第２実施形態に係る情報処理装置の構成例を示すブロック図である。

図７に示すように、情報処理装置１０Ａは、制御部２４Ａがグループ判定部４０と、タグ生成部４２とを備える点で図２に示す情報処理装置１０と異なる。

グループ判定部４０は、タグ情報取得部３２が端末装置１２からタグ情報を取得した場合に、端末装置１２のユーザが属しているグループを判定する。グループ判定部４０の詳細は、後述する。

タグ生成部４２は、タグ情報取得部３２が、同一の事象について複数のグループが入力したタグに関するタグ情報を取得した場合に、さらにタグを生成する。タグ生成部４２の詳細は、後述する。

図８を用いて、第２実施形態に係る情報処理装置の処理内容について説明する。図８は、第２実施形態に係る情報処理装置の処理内容を示すフローチャートである。

ステップＳ３０からステップＳ３４の処理は、それぞれ、図５に示すステップＳ１０からステップＳ１４の処理と同一なので、説明を省略する。

ステップＳ３４でＹｅｓと判定された場合、グループ判定部４０は、タグ情報取得部３２が複数のグループからタグ情報を取得したか否かを判定する（ステップＳ３６）。具体的には、グループ判定部４０は、例えば、ユーザとグループとが関連付けられたグループテーブルに基づいて、複数のグループからタグ情報を取得したか否かを判定する。図９は、第２実施形態に係るグループテーブルの一例を示す図である。グループテーブル８４は、ユーザと、グループといった項目を含む。グループテーブル８４に示すように、例えば、ユーザＵ１と、ユーザＵ２とは、グループＧ１に属しており、ユーザＵ３はグループＧ２に属している。グループ判定部４０は、例えば、タグ情報取得部３２が端末装置１２からタグ情報を取得した場合には、グループテーブル８４を参照することで、端末装置１２のユーザが属しているグループを判定することができる。複数のグループからタグ情報を取得したと判定された場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３８に進む。複数のグループからタグ情報を取得したと判定されない場合（ステップＳ３６；Ｎｏ）、ステップＳ５０に進む。

ステップＳ３６でＹｅｓと判定された場合、タグ生成部４２は、タグ情報取得部３２が複数のグループから取得したタグ情報が示すタグは、同一のタイミングで入力されたタグであるか否かを判定する（ステップＳ３８）。具体的には、タグ生成部４２は、例えば、タグ情報に含まれる時間情報に基づいて、同一のタイミングであるか否かを判定する。同一のタイミングとは、完全に同一だけでなく、所定時間（例えば、２秒程度）ずれたタイミングも含む。同一のタイミングで入力されたタグと判定された場合（ステップＳ３８；Ｙｅｓ）、ステップＳ４０に進む。同一のタイミングで入力されたタグと判定されない場合（ステップＳ３８；Ｎｏ）、ステップＳ５０に進む。

ステップＳ３８でＹｅｓと判定された場合、タグ生成部４２は、さらにタグを生成する（ステップＳ４０）。具体的には、タグ生成部４２は、タグ情報取得部３２が複数のグループから取得したタグ情報に基づいて、タグを生成する。例えば、スポーツの試合の映像データについてタグの入力を行う場合に、第１グループが第１選手についてタグを入力し、第２グループが第１選手の対戦相手である第２選手についてタグを入力しているものとする。この場合、第１選手に「パス」のタグが入力され、第２選手に「カット」のタグが入力されているものとする。この場合、タグ生成部４２、例えば、第１選手のパスがカットされた（パスが失敗した）と想定されるため第１選手のタグとして「パスミス」を生成する。また、タグ生成部４２は、例えば、第２選手は第２選手のパスをカットしているため、第２選手の新たなタグは生成しない。また、例えば、第１選手に「シュート」のタグが入力され、第２選手に「ブロック」のタグが入力されているものとする。この場合、タグ生成部４２、例えば、第１選手のシュートがブロックされたと想定されるため第１選手のタグとして「ブロックされた」を生成する。また、タグ生成部４２は、例えば、第２選手は第２選手のシュートをブロックしているため、第２選手の新たなタグは生成しない。すなわち、タグ生成部４２は、複数のグループから取得したタグ情報に基づいて、事象をより正確に特定するためのタグを生成する。そして、ステップＳ４２に進む。

タグ決定部３８は、タグ生成部４２が生成したタグを映像データにおける事象に付与する（ステップＳ４２）。そして、図８の処理を終了する。

ステップＳ４４からステップＳ５２の処理は、それぞれ、ステップＳ１８からステップＳ２６の処理と同一なので、説明を省略する。

上述のとおり、第２実施形態は、複数のグループから同一の事象について、異なる観点からのタグ情報を取得した場合に、新たなタグを生成する。これにより、第２実施形態は、事象をより正確に特定するタグを生成することができる。

［第３実施形態］
次に、第３実施形態について説明する。第１実施形態および第２実施形態では、複数のユーザから入力されたタグに基づいて、リアルタイムで映像データにおける事象にタグを付与するものとして説明した。第３実施形態は、例えば、映像データの再生前に、複数のタグが付与された映像データに対して処理を行い、各事象について付与するタグを選択してもよい。すなわち、映像データを記憶する段階では、映像データには複数のユーザが入力した全てのタグが含まれていてもよい。第３実施形態では、タグを選択する処理は、ユーザが映像データを再生する前の任意のタイミングで実行してよい。

第３実施形態に係る情報処理装置の構成は、図２に示す情報処理装置１０に加え、制御部２４が表示制御部（図示しない）を有する点で第１実施形態および第２実施形態と異なる。その他の構成については同一の構成なので、説明を省略する。

表示制御部は、映像記憶部２２ｂに記憶されている映像データを再生させる。表示制御部は、後述するタグ情報取得部３２が取得したタグ情報を映像データとともに表示させる。表示制御部は、映像データにおける事象に付与されたそれぞれのタグを、事象のリストとして表示させる。以下、表示制御部は、制御部２４に含まれるので、制御部２４が映像データおよびタグ情報を表示させると表記する。

図１０を用いて、第３実施形態に係る情報処理装置の処理内容について説明する。図１０は、第３実施形態に係る情報処理装置の処理内容を示すフローチャートである。

タグ情報取得部３２は、映像記憶部２２ｂに記憶されている映像データにおける同一の事象についてのタグ情報を取得する（ステップＳ６０）。ここで、映像データにおいて時間的に最初に付与されたタグの位置から所定時間の範囲内に付与されたタグに関するタグ情報を、同一の事象についてのタグ情報としてもよい。所定時間の範囲内に付与されたタグの数は１つだけの場合もあれば、複数の場合もある。そして、ステップＳ６２に進む。

タグ情報取得部３２は、同一の事象について、複数のタグ情報を取得したか否かを判定する（ステップＳ６２）。複数のタグを取得したと判定された場合（ステップＳ６２；Ｙｅｓ）、ステップＳ６４に進む。複数のタグを取得したと判定されない場合（ステップＳ６２；Ｎｏ）、ステップＳ６６に進む。

ステップＳ６２でＹｅｓと判定された場合、タグ判定部３４は、映像データから取得したタグ情報が示すタグは同一であるか否かを判定する（ステップＳ６４）。タグが同一であるか否かを判定する処理は、ステップＳ１６に示す処理と同一なので、説明を省略する。映像データから取得したタグ情報が示すタグが同一であると判定された場合（ステップＳ６４；Ｙｅｓ）、ステップＳ６６に進む。映像データから取得したタグ情報が示すタグが同一であると判定されない場合（ステップＳ６４；Ｎｏ）、ステップＳ７２に進む。

ステップＳ６６およびステップＳ６８の処理は、それぞれ、図５に示すステップＳ１８およびステップＳ２０の処理と同一なので、説明を省略する。

ステップＳ６８の後、タグ決定部３８は、ステップＳ６０で取得したタグを、事象を特定するためのタグとして選択する（ステップＳ７０）。そして、ステップＳ７６に進む。

ステップＳ７２の処理は、図５に示すステップＳ２４の処理と同一なので、説明を省略する。

ステップＳ７２の後、タグ決定部３８は、ステップＳ７２で取得したスコアのうち、最も高いスコアのユーザが入力したタグを、事象を特定するためのタグとして選択する（ステップＳ７４）。すなわち、タグ決定部３８は、選択したタグと事象とを対応付ける。そして、ステップＳ７６に進む。

制御部６０は、処理を終了するか否かを判定する（ステップＳ７６）。具体的には、制御部６０は、映像データにおける同一の事象についての全てのタグ情報に対して、処理が完了した場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ７６；Ｙｅｓ）、図１０の処理を終了する。処理を終了しないと判定された場合（ステップＳ７６；Ｎｏ）、ステップＳ６０に進む。このようにして、映像データにおける全ての事象に対してタグ情報が対応付けられる。

制御部６０は、映像データを再生する際に、映像データに含まれるタグ情報に基づいて、映像データ内の事象のリスト（「シュート」や「パス」など）を画面に表示させる。このとき、事象ごとに対応付けられたタグを表示させてもよい。映像データに複数の事象が含まれる場合は、事象ごとにリスト表示させる。そして、ユーザはその中から頭出し再生したい事象を選択することができる。または、表示されているタグの中からユーザが所望の事象に対応するタグを選択できるようにしてもよい。

また、制御部６０がタグを表示させる際に、ステップＳ７２およびステップＳ７４において選択されなかったタグ情報が示すタグを、選択されたタグ情報が示すタグとともに同時に表示させるようにしてもよい。このようにすることによって、選択されなかったタグを入力したユーザは、映像データを再生する際に自分が入力したタグを認識することができる。

上述のとおり、第３実施形態では、映像データに含まれる同一の事象に付与されたタグ情報を取得して、各事象に対して最適なタグを選択する。これにより、第３実施形態は、複数のユーザから入力されたタグを適切に映像データに設定することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 情報処理システム
１０ 情報処理装置
１２ 端末装置
１４ 撮像部
２０，５８ 通信部
２２，５４ 記憶部
２２ａ スコア記憶部
２２ｂ 映像記憶部
２４，６０ 制御部
３０ 映像データ取得部
３２ タグ情報取得部
３４ タグ判定部
３６ スコア算出部
３８ タグ決定部
４０ グループ判定部
４２ タグ生成部
５０ 入力部
５２ 出力部
５６ 視線検出部
７０ 入力情報取得部
７２ 入力時間測定部
７４ タグ情報生成部

Claims (6)

1. 映像データにおける事象を特定するタグに関する情報であって前記タグを入力したユーザに関する情報を含むタグ情報を取得するタグ情報取得部と、
   前記ユーザごとのスコアを算出し、算出した前記スコアを前記ユーザに対応付けて記憶部に記憶するスコア算出部と、
   前記事象に対して付与する前記タグを決定するタグ決定部と、を備え、
   前記タグ決定部は、前記タグ情報取得部が同一の前記事象に対して複数の異なる前記タグに関する前記タグ情報を取得した場合に、複数の異なる前記タグの中から前記ユーザごとの前記スコアに基づいて前記タグを決定し、決定した前記タグを前記事象に対して付与する、
   情報処理装置。
2. 前記スコア算出部は、前記タグ情報取得部が同一の前記事象に対して複数の同一の前記タグに関する前記タグ情報を取得した場合に、前記タグを入力した前記ユーザごとのスコアを前記タグ情報に基づいて算出する、
   請求項１に記載の情報処理装置。
3. 複数のユーザの各々が属しているグループを判定するグループ判定部と、
   前記タグ情報取得部が、複数の前記グループの各々の前記ユーザが同一の前記事象について入力した前記タグに関する前記タグ情報を取得した場合に、取得された前記タグ情報に基づいて、前記事象を特定するための新たなタグを生成するタグ生成部と、を備える、
   請求項１または２に記載の情報処理装置。
4. 前記タグは、前記ユーザの各々が操作する端末装置において入力され、
   前記タグ情報は、前記端末装置において少なくとも前記事象が発生した時刻から前記タグが選択されるまでの操作時間を含み、
   前記スコア算出部は、第１ユーザにおける前記操作時間と過去に前記第１ユーザに対して算出した前記スコアとに基づいて前記スコアを算出し、前記操作時間が短いほど高いスコアを算出する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記端末装置は、前記ユーザの視線方向を検出する視線検出部を備え、
   前記スコア算出部は、前記ユーザの前記端末装置の操作画面への視線が検出された時刻から前記タグが選択されるまでの時刻を前記操作時間として前記スコアを算出する、
   請求項４に記載の情報処理装置。
6. 映像データにおける事象を特定するタグに関するタグ情報を取得するステップと、
   前記タグを入力するユーザごとのスコアを算出し、算出した前記スコアを前記ユーザに対応付けて記憶部に記憶するステップと、
   前記事象に対して付与する前記タグを決定するステップと、
   同一の前記事象に対して複数の異なる前記タグに関する前記タグ情報を取得した場合に、前記ユーザごとの前記スコアに基づいて前記タグを決定し、決定した前記タグを前記事象に対して付与するステップと、
   を含む、情報処理方法。

Images