JP2022184596A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】映像データの頭出し位置を適切に設定する。
【解決手段】情報処理装置は、ユーザによる映像データに含まれるアクションを特定する特定情報の入力を受け付ける入力部と、入力部に入力された特定情報と、特定情報が入力された時刻である特定時刻Ｔ２とを取得する特定情報取得部と、ユーザが前記特定情報の入力に要した時間を示す入力時間ｔ２を取得する入力時間取得部と、特定情報で特定されたアクションに基づいて、アクションが開始してからユーザが特定情報を入力するまでの時間を示すアクション時間ｔ１を取得するアクション時間取得部と、特定時刻Ｔ２から、入力時間ｔ２及びアクション時間ｔ１の合計分を遡った時刻を、映像データにおける前記アクションの再生開始時刻Ｔ０として設定するタグ設定部とを備える。
【選択図】図３

Description

本発明は情報処理装置、情報処理方法及びプログラムに関する。

従来、スポーツ競技などのイベントが撮影されている最中に、映像データにおけるアクション（例えばヒットなど）の頭出し位置（タグ）を、ユーザ（操作者）がリアルタイムで設定する場合、操作者は、アクションを見た後にタグの入力操作をする。また、放送コンテンツを情報処理端末で録画して再生する際、ユーザ操作により所望の投稿情報が選択されると当該投稿情報の投稿時刻よりも所定の時間遡及した時刻から録画コンテンツが再生されるものが知られている（例えば、特許文献１参照）。

特許第６２５６３３１号公報

しかし、操作者がタグを入力する場合には、アクションの発生後にタグを入力するため、タグ入力によって設定された頭出し位置の時刻とアクションが実際に発生した時刻にタイムラグが生じるおそれがある。また、特許文献１の場合でも、マークを付した時刻から再生開始時刻まで遡及する時間が一定であるため、アクションの内容やユーザによっては、タイムラグが発生するおそれがある。従って、頭出し位置を適切に設定することが求められている。

本発明は、上記に鑑みてなされたものであり、映像データの頭出し位置を適切に設定することが可能な情報処理装置、情報処理法及びプログラムを提供することを目的とする。

本発明にかかる情報処理装置は、ユーザによって入力された、映像データに含まれるアクションを特定する特定情報と、前記特定情報が入力された時刻である特定時刻とを取得する特定情報取得部と、前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得する入力時間取得部と、前記特定情報で特定されたアクションに基づいて、前記アクションに対応する時間を示すアクション時間を取得するアクション時間取得部と、前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するタグ設定部と、を備える。

本発明にかかる情報処理方法は、ユーザによる映像データに含まれるアクションを特定する特定情報の入力を受け付けるステップと、入力された前記特定情報と、前記特定情報が入力された時刻である特定時刻とを取得するステップと、前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得するステップと、前記特定情報で特定されたアクションに基づいて、前記アクションが開始してから前記ユーザが前記特定情報を入力するまでの時間を示すアクション時間を取得するステップと、前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するステップと、を含む。

本発明にかかるプログラムは、ユーザによる映像データに含まれるアクションを特定する特定情報の入力を受け付けるステップと、入力された前記特定情報と、前記特定情報が入力された時刻である特定時刻とを取得するステップと、前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得するステップと、前記特定情報で特定されたアクションに基づいて、前記アクションが開始してから前記ユーザが前記特定情報を入力するまでの時間を示すアクション時間を取得するステップと、前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するステップと、をコンピュータに実行させる。

本発明によれば、映像データの頭出し位置を適切に設定することができる。

図１は、第１実施形態にかかる情報処理システムの一例を示す図である。 図２は、第１実施形態にかかる情報処理システムの一例を示す機能ブロック図である。 図３は、アクションの再生開始時刻の設定の一例を示す図である。 図４は、第１実施形態における映像データに設定されるタグの一例を示す図である。 図５は、第１実施形態における情報処理装置の動作の一例を示すフローチャートである。 図６は、第１実施形態の変形例にかかる情報処理システムの一例を示す機能ブロック図である。 図７は、第２実施形態にかかる情報処理システムの一例を示す機能ブロック図である。 図８は、第２実施形態における情報処理装置の動作の一例を示すフローチャートである。

以下、本開示にかかる情報処理装置、情報処理法及びプログラムの実施形態を図面に基づいて説明する。なお、本実施形態によりこの発明が限定されるものではない。また、本実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

（第１実施形態）
図１は、第１実施形態にかかる情報処理システムの一例を示す図である。第１実施形態に係る情報処理システム１は、情報処理装置１００と撮像部２００とを含む。撮像部２００は、イベントの内容を撮影して撮影データ（映像データ）を生成する。撮像部２００は、生成した撮影データを情報処理装置１００に送信する。撮像部２００は、例えばカメラが用いられる。

イベントとは、時系列に沿って複数のアクションが起こりつつ進行する事象を指す。アクションは、イベント内で起こった出来事を指す。例えば、イベントは、スポーツの試合（例えば野球）であり、アクションは、試合におけるプレイヤーのプレイ内容（例えば野球におけるホームラン）であり、投手の投球を起点とした一連の出来事であるともいえる。

ただし、イベントは、それに限られず、例えばダンス大会、音楽コンクール、カラオケ大会、プレゼンテーション、製造業の作業工程の説明等、スポーツ試合以外であってもよい。以降、イベントとして野球試合を例に挙げて説明する。

（情報処理装置）
情報処理装置１００は、入力部１１０と視線検出部１２０を備える。入力部１１０は、ユーザの入力を受け付けるユーザインターフェースであり、例えばタッチパネルであってよい。入力部１１０には、ユーザによって特定情報が入力される。特定情報とは、イベント中のアクションの内容を特定する情報である。入力部１１０には、アクションの内容が入力されるアクション内容入力ボタン、及びアクションの内容を修正する修正ボタンが設けられているが、入力部１１０の構成は、これに限定されない。

（特定情報）
特定情報としては、例えばスコアデータが挙げられる。スコアデータは、野球のスコアブックに記載されるスコアを構成するデータであり、投手の投球を起点として発生するアクションを構成する個々の出来事を示すデータである。スコアは、スコアデータの集合である。投手が１球投げるごとに複数のスコアデータが作成され、これにより１つのスコアが作成される。特定情報としてスコアデータが入力されることで、アクションが特定できる。例えば、１塁に出塁している状態での打撃結果がライトフライアウトになって１塁走者もタッチアウトになった場合、打者がアウトというスコアデータと、ライトフライというスコアデータと、１塁走者がアウトというスコアデータが作成され、これらのスコアデータから１つのスコアが構成されることになり、ライトフライアウトであるというアクションが特定される。スコアには、上記に例示したスコアデータの他にも、打者のアクション、野手のアクション、カウントの確定、既に出塁している走者がいる場合はその走者の進塁状況、その他、打者や野手のその他の行動などのスコアデータが含まれ得る。具体的には、スコアには、ストライク、ボール、ファウル、打撃結果、打球の種類、捕球野手、進塁結果などのスコアデータが含まれ得る。打撃結果は、アウト、１塁打、２塁打、３塁打、本塁打などの情報である。打球の種類は、ゴロ、ライナー、フライ、バントなどの情報であり、さらに細かく分類してもよい。捕球野手は、実際に打球を捕球した野手または野手の守備位置を特定するための情報である。進塁結果は、たとえば「１塁から２塁」など、出塁していた走者の進塁に関する情報であり、その他に打者や野手のその他の行動などを含めることができる。

（視線検出部）
視線検出部１２０は、ユーザの視線を検出するセンサであり、ユーザが入力部１１０を注視したことを検出することができる。視線検出部１２０は、例えば情報処理装置１００に搭載されるインカメラであるが、ユーザの目線の方向（視線）が検出可能なセンサであれば任意のセンサであってよい。

図２は、第１実施形態にかかる情報処理装置の一例を示す機能ブロック図である。情報処理装置１００は、撮像部２００と通信可能なコンピュータであり、本実施形態では、例えばタブレット端末である。図２に示すように、情報処理装置１００は、入力部１１０と、視線検出部１２０と、処理部１３０と、記憶部１４０と、出力部１５０と、通信部１６０を有する。

（記憶部）
記憶部１４０は、処理部１３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つを含む。記憶部１４０が記憶する処理部１３０用のプログラムは、情報処理装置１００が読み取り可能な記録媒体に記憶されていてもよい。また、通信部１６０が撮像部２００から受信した映像データを記憶する。

（出力部）
出力部１５０は、処理部１３０の演算結果やプログラムに基づいてイベントの状況を表示するディスプレイである。本実施形態では、出力部１５０は、タッチパネルディスプレイであり、特定情報の入力を受け付ける入力部１１０と、イベントの状況とを、１画面で表示する。ただし、入力部１１０と出力部１５０とは別の装置であってもよい。また、情報処理装置１００は、イベントの状況を表示する外部ディスプレイに、イベントの状況を示す情報を出力（送信）してもよい。

（通信部）
通信部１６０は、有線又は無線によって外部機器との間で情報の通信を行う。通信部１６０は、撮像部２００から撮影データを受信する。

（処理部）
処理部１３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含み、後述するように、映像データにおけるアクションの再生開始時刻を決定する。処理部１３０は、特定情報取得部１３１と、視線情報取得部１３２と、入力時間取得部１３３と、アクション時間取得部１３４と、タグ設定部１３５とを有する。処理部１３０は、記憶部１４０からプログラム（ソフトウェア）を読み出して実行することで、特定情報取得部１３１と、視線情報取得部１３２と、入力時間取得部１３３と、アクション時間取得部１３４と、タグ設定部１３５を実現して、それらの処理を実行する。なお、処理部１３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、特定情報取得部１３１と、視線情報取得部１３２と、入力時間取得部１３３と、アクション時間取得部１３４と、タグ設定部１３５との処理の少なくとも一部を、ハードウェア回路で実現してもよい。

図３は、アクションの再生開始時刻の設定の一例を示す図である。以下、図３を用いて、処理部１３０によるアクションの再生開始時刻の設定について説明する。

図３に示すように、イベントにおいては、アクションが開始し（例えばピッチャーの投球が開始し）、アクションが終了したら（例えばライトフライアウトになったら）、イベントを観戦しているユーザは、アクションの内容を特定し、入力部１１０に視線を移して、特定情報の入力を開始して、特定情報の入力を完了する。ユーザは、この作業をアクション毎に繰り返す。

（特定情報取得部）
特定情報取得部１３１は、ユーザによって入力部１１０に入力された特定情報と、特定情報に関連付けられた特定時刻Ｔ２（図３参照）とを取得する。特定情報取得部１３１は、入力部１１０にユーザの入力内容を検出させ、その検出結果を特定情報として取得する。特定時刻Ｔ２とは、ユーザによって入力部１１０に特定情報が入力された時刻であり、本実施形態では、入力部１１０への特定情報の入力が完了した時刻を指す。すなわち、特定情報取得部１３１は、入力部１１０への特定情報の入力が完了した時刻を、特定時刻Ｔ２として取得する。特定時刻Ｔ２の取得方法は任意であるが、例えば、ユーザが、特定情報の入力を終了したことを示す情報を入力部１１０に入力した時刻を、特定時刻Ｔ２として取得してよい。

（視覚情報取得部）
視線情報取得部１３２は、視線検出部１２０を制御して、視線検出部１２０にユーザの視線を検出させて、ユーザの視線の検出結果を取得する。視線情報取得部１３２は、ユーザの視線が入力部１１０に重なる時刻である注視時刻を取得する。すなわち、視線情報取得部１３２は、視線検出部１２０にユーザの視線を逐次検出させておき、ユーザの視線が、入力部１１０に重なっていない状態（ユーザの視線が入力部１１０から外れている状態）から、入力部１１０に重なっている状態（ユーザが入力部１１０を注視した状態）に切り替わった時刻を、注視時刻として取得する。イベントを観戦しているユーザは、アクションの内容が特定されたら、入力部１１０に視線を移し、特定情報の入力を開始する。従って、注視時刻とは、特定情報の入力が開始された入力開始時刻Ｔ１に対応するといえる。

（入力時間取得部）
入力時間取得部１３３は、入力時間ｔ２を取得する。入力時間ｔ２とは、ユーザが入力部１１０を用いた特定情報の入力に要する時間の長さを指し、より詳しくは、イベントを見ているユーザがアクションの内容を特定して入力部１１０に特定情報の入力を開始してから、特定情報の入力が完了するまでの時間を指すともいえる。入力時間取得部１３３は、任意の方法で入力時間ｔ２を取得してもよいが、例えば、固定値として予め設定されていた時間長さを、入力時間ｔ２として取得してよい。また例えば、入力時間取得部１３３は、過去に発生したアクションにおける注視時刻から、そのアクションについての特定情報が入力された特定時刻Ｔ２までの時間に基づき、入力時間ｔ２を設定してよい。この場合例えば、過去の複数回のアクションにおける、注視時刻から特定時刻Ｔ２までの時間の平均値を、入力時間ｔ２として設定してよい。

（アクション情報取得部）
アクション時間取得部１３４は、特定情報取得部１３１で取得された特定情報に基づいて、アクション時間ｔ１を取得する。アクション時間ｔ１とは、アクションに対応する時間の長さを指す。より詳しくは、アクション時間ｔ１は、アクションが開始したと想定されるタイミング（例えばピッチャーの投球が開始されたと想定されるタイミング）から、アクションが終了したと想定されるタイミング（例えばライトフライアウトになったと想定されるタイミング）までの時間を指し、言い換えれば、試合の選手などイベントの参加者がアクションを行っている間の時間を指す。本実施形態では、アクション時間ｔ１は、アクションの種類毎に予め設定されている。アクション時間取得部１３４は、特定情報で特定されたアクションに対して設定されているアクション時間を、今回のアクションのアクション時間ｔ１として設定する。例えば、アクション時間取得部１３４は、記憶部１４０から、アクションとアクション時間との対応関係を読み出して、今回のアクションのアクション時間ｔ１を設定してよい。また、アクション時間ｔ１は、アクションを実行した選手ごとに設定されたものであってもよい。この場合、アクション時間取得部１３４は、特定情報で特定されたアクションを実行した選手に対応付けられたアクション時間を、今回のアクションのアクション時間ｔ１として設定する。

（タグ設定部）
タグ設定部１３５は、映像データにおけるアクションの再生開始時刻Ｔ０を取得し、映像データにタグを設定する。再生開始時刻Ｔ０とは、映像データにおいて、アクションが開始されたと想定される時刻を指す。タグ設定部１３５は、今回のアクションにおいてユーザの視線が適切に検出されなかった場合とされた場合とで、異なる方法で、再生開始時刻Ｔ０を設定する。以下、それぞれのケースでの再生開始時刻Ｔ０の設定方法を説明する。なお、ユーザの視線が検出されなかった場合とは、今回のアクションにおいて、ユーザの視線が入力部１１０に重なる注視時刻が検出されないことを指し、言い換えれば、直前のアクションについての特定情報が入力されたタイミング（直前のアクションについての特定時刻Ｔ２）から、今回のアクションについての特定情報が入力された特定時刻Ｔ２までの時間において、ユーザの視線が入力部１１０に重なったことが検出されなかったことを指す。そして、ユーザの視線が検出された場合とは、今回のアクションにおいて特定時刻が検出されたことを指し、言い換えれば、直前のアクションについての特定情報が入力されたタイミングから、今回のアクションについての特定情報が入力された特定時刻Ｔ２までの時間において、ユーザの視線が入力部に重なったことが検出されたことを指す。

ユーザの視線が検出された場合、すなわち今回のアクションの注視時刻が取得された状態で特定情報が入力された場合、タグ設定部１３５は、ユーザの視線が入力部１１０に重なった注視時刻を、入力開始時刻Ｔ１として設定する。入力開始時刻Ｔ１とは、ユーザが入力部１１０に特定情報の入力を開始したと想定される時刻である。タグ設定部１３５は、入力開始時刻Ｔ１（ここでは注視時刻）から、アクション時間ｔ１だけ遡及した時刻を、再生開始時刻Ｔ０として設定する。

一方、ユーザの視線が検出されない場合、すなわち、今回のアクションの注視時刻が取得されない状態で特定情報が入力された場合、視線に基づいて特定情報の入力を開始した時刻を検出できないため、タグ設定部１３５は、入力時間取得部１３３により取得された入力時間ｔ２と特定時刻Ｔ２とを用いて、入力開始時刻Ｔ１を推定する。タグ設定部１３５は、特定時刻Ｔ２から入力時間ｔ２だけ遡及した時刻を入力開始時刻Ｔ１とし、その入力開始時刻Ｔ１からアクション時間ｔ１だけ遡及した時刻を、入力開始時刻Ｔ１として設定する。

図４は、第１実施形態における映像データに設定されるタグの一例を示す図である。図４に示すように、本実施形態において、タグ設定部１３５は、特定情報で特定されたアクションと、入力開始時刻Ｔ１と、映像データとを関連付け、設定したタグ１４１を記憶部１４０に格納する。すなわち、タグ１４１は、映像データにおいて、アクションの頭出し位置（アクションを再生した場合に、再生が開始される映像データ上での時刻）を示すデータといえる。

図５は、第１実施形態における情報処理装置の動作の一例を示すフローチャートである。図５ではイベントの録画中にタグ１４１の設定を行う場合を例にする。視線情報取得部１３２により、視線検出部１２０を制御して、視線検出部１２０にユーザの視線を常時検出させて、ユーザの視線の検出結果を取得する（ステップＳ１１０）。

ユーザによる特定情報の入力が完了する前に、ユーザの視線が入力部１１０に重なったことが視線検出部１２０によって検出された場合（ステップＳ１２０；ＹＥＳ）、情報処理装置１００は、視線情報取得部１３２により、ユーザの視線が入力部１１０に重なる時刻を注視時刻として取得し（ステップＳ１３０）、特定情報取得部１３１により、アクションを特定する特定情報を取得し（ステップＳ１３１）、アクション時間取得部１３４により、特定情報に基づきアクション時間ｔ１を取得する（ステップＳ１３２）。そして、情報処理装置１００は、注視時刻からアクション時間ｔ１遡った時刻を、再生開始時刻Ｔ０として設定し（ステップＳ１３３）、アクションと再生開始時刻Ｔ０と映像データとを関連付けたタグ１４１を設定する（ステップＳ１５０）。

一方、ユーザによる特定情報の入力が完了する前に、ユーザの視線が入力部１１０に重なったことが視線検出部１２０によって検出されない場合（ステップＳ１２０；ＮＯ）、情報処理装置１００は、特定情報取得部１３１により、特定情報及び特定時刻Ｔ２を取得し（ステップＳ１４０）、入力時間取得部１３３により、入力時間ｔ２を取得し（ステップＳ１４１）、アクション時間取得部１３４により、特定情報に基づきアクション時間ｔ１を取得する（ステップＳ１４２）。そして、情報処理装置１００は、特定時刻Ｔ２から入力時間ｔ２及びアクション時間ｔ１の合計分遡った時刻を、再生開始時刻Ｔ０として設定し（ステップＳ１４３）、アクションと入力開始時刻Ｔ１と映像データとを関連付けたタグ１４１を設定する（ステップＳ１５０）。

なお、本実施形態では、情報処理装置１００は、ユーザに操作される端末であり、入力部１１０、視線検出部１２０及び出力部１５０が備えられるが、入力部１１０、視線検出部１２０及び出力部の少なくとも一部は、情報処理装置１００とは別の装置に搭載されていてもよい。すなわち、入力部１１０、視線検出部１２０及び出力部１５０の少なくとも一部が設けられてユーザに操作される端末が、サーバとしての情報処理装置１００とは別に設けられていてもよい。この場合、情報処理装置１００は、端末と通信することにより、特定情報やユーザの視線の情報などを取得してよい。

（効果）
以上説明したように、本実施形態に係る情報処理装置１００は、特定情報取得部１３１と、入力時間取得部１３３と、アクション時間取得部１３４と、タグ設定部１３５とを備える。特定情報取得部１３１は、ユーザによって入力された、映像データに含まれるアクションを特定する特定情報と、特定情報が入力された時刻である特定時刻Ｔ２とを取得する。入力時間取得部１３３は、ユーザが特定情報の入力に要した時間を示す入力時間ｔ２を取得する。アクション時間取得部１３４は、特定情報で特定されたアクションに基づいて、アクションに対応する時間を示すアクション時間ｔ１を取得する。タグ設定部１３５は、特定時刻Ｔ２から、入力時間ｔ２及びアクション時間ｔ１の合計分を遡った時刻を、映像データにおけるアクションの再生開始時刻Ｔ０として設定する。

イベントにおけるアクションの開始時刻をユーザが設定する場合には、ユーザは、アクションの発生後にタグ１４１を入力するため、開始時刻とアクションが実際に発生した時刻にタイムラグが生じるおそれがある。それに対し、本実施形態にかかる情報処理装置１００によると、ユーザの操作に要した入力時間ｔ２と、アクションに要したアクション時間ｔ１とを見積もり、特定時刻Ｔ２と入力時間ｔ２とアクション時間ｔ１とに基づき、再生開始時刻Ｔ０を設定する。そのため、本実施形態によると、映像データの頭出し位置のタイムラグを小さくして、映像データの頭出し位置を適切に設定することができる。

情報処理装置１００は、視線情報取得部１３２を更に含む。視線情報取得部１３２はユーザの視線の検出結果を取得する。タグ設定部１３５は、ユーザの視線が検出されない場合に、入力時間ｔ２及びアクション時間ｔ１の合計分を遡った時刻を、アクションの再生開始時刻Ｔ０として設定する。タグ設定部１３５は、ユーザの視線が検出された場合であって、ユーザの視線が、特定情報が入力される入力部１１０に重なる場合には、ユーザの視線が入力部１１０に重なった注視時刻から、アクション時間ｔ１を遡った時刻を、アクションの再生開始時刻Ｔ０として設定する。

本実施形態にかかる情報処理装置１００によると、視線が検出された場合には、注視時刻においてアクションが終了したとして、注視時刻からアクション時間ｔ１遡った時刻を再生開始時刻Ｔ０として設定する。従って、本実施形態によると、映像データの頭出し位置を適切に設定することができる。一方、視線が検出できなかった場合には、特定時刻Ｔ２と入力時間ｔ２とアクション時間ｔ１とに基づき、再生開始時刻Ｔ０を設定する。従って、視線が検出できなかった場合においても、映像データの頭出し位置を適切に設定することができる。

入力時間取得部１３３は、過去における注視時刻から特定時刻Ｔ２までの時間に基づき、入力時間ｔ２を設定する。

本実施形態にかかる情報処理装置１００によると、視線が検出できなかった場合の入力時間ｔ２は、過去における注視時刻から特定時刻Ｔ２までの時間に基づいて設定する。よって、本実施形態によると、ユーザの過去の操作に応じて入力時間を見積もることで、映像データの頭出し位置を適切に設定することができる。

（第１実施形態の変形例）
第１実施形態の変形例について説明する。本変形例は、撮像部２００Ｂが映像データとタグ１４１とを記憶するとともに映像データを再生し、情報処理部１００Ｂが設定したタグ１４１を撮像部２００Ｂへ送信する点で第１実施形態と異なる。

図６は、第１実施形態の変形例にかかる情報処理システムの一例を示す機能ブロック図である。本変形例において、情報処理システム１Ｂはその撮像部２００Ｂに、記憶部２１０と、通信部２２０と、再生部２３０とを備える。記憶部２１０は、撮像部２００Ｂが撮影した映像データを記憶する。通信部２２０は、情報処理装置１００Ｂからタグ１４１を受信し、受信したタグ１４１を記憶部２１０に記憶する。再生部２３０は、記憶部２１０に記憶した映像データを再生する。情報処理装置１００Ｂは、タグ設定部１３５が設定したタグ１４１を撮像部２００Ｂへ送信する。

ユーザが撮像部２００Ｂに対してタグ１４１を指定した場合、撮像部２００Ｂはタグ１４１が示す頭出し位置から映像データを再生する。ユーザは、例えば撮像部２００Ｂの表示部に表示されたタグを見て、再生したいアクションを指定し、撮像部２００Ｂは、指定されたアクションのタグが示す頭出し位置から映像データを表示部に再生する。このような構成にすることによって、撮像部２００Ｂにおいてタグに基づく再生や一時停止などの操作をすることができ、また情報処理装置１００Ｂにおいても映像データを受信したり記憶したりしなくてよいので、第１実施形態よりも小さい処理負荷で映像データの頭出し位置を適切に設定することができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態においては、操作しているユーザを特定する点で、第１実施形態とは異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。

図７は、第２実施形態にかかる情報処理システムの一例を示す機能ブロック図である。図７に示すように、第２実施形態に係る情報処理システム１Ａは、情報処理装置１００Ａの処理部１３０Ａに、ユーザ特定部１３６と、表示態様設定部１３７とを備える。

（ユーザ特定部）
ユーザ特定部１３６は、特定情報を入力するユーザを特定する。ユーザ特定部１３６は、インカメラである視線検出部１２０を制御して、視線検出部１２０にユーザの顔を撮像させて、ユーザを特定する。本実施形態では、ユーザ特定部１３６は、ユーザの顔情報とユーザ情報とが関連付けられているテーブルを記憶部１４０から取得し、視線検出部１２０が撮像したユーザの顔に対して、共通する特徴量が所定値以上となるユーザの顔情報を、テーブルから抽出する。そして、ユーザ特定部１３６は、抽出したユーザの顔情報に対応するユーザ情報を、今回のユーザのユーザ情報として取得する。ユーザ情報とは、ユーザに関する情報であり、例えば、ユーザの熟練度を示す情報であってよい。ユーザ情報は、任意に設定されてよいが、例えば、過去における、注視時刻から特定時刻Ｔ２までの時間に基づき設定されてよい。この場合例えば、過去における注視時刻から特定時刻Ｔ２までの時間が短いほど、そのユーザの熟練度を高く設定する。なお、ユーザの特定方法や、ユーザ情報の取得方法は、上記に限られず任意の方法を用いてよい。例えば、ユーザを特定するＩＤをユーザに入力させて、そのＩＤに関連付けられているユーザ情報を、そのユーザのユーザ情報として取得してもよい。

（表示態様設定部）
表示態様設定部１３７は、ユーザ情報に基づいて、入力部１１０の表示態様を設定する。例えば、表示態様設定部１３７は、ユーザ情報においてそのユーザの熟練度が所定の条件を満たす場合には、入力部１１０を用いた特定情報の入力をより短時間で行うことが可能な表示態様に変化させる。この場合、例えば、表示態様設定部１３７は、入力部１１０に、特定情報の入力に用いるボタンのショートカットを表示させる。一方で、表示態様設定部１３７は、ユーザ情報においてそのユーザの熟練度が所定の条件を満たさない場合には、入力部１１０を用いた特定情報の入力が短時間で理解しやすくなるような表示態様に変化させる。この場合、例えば、表示態様設定部１３７は、入力部１１０に、特定情報の入力に用いるボタンの操作方法を示すガイドラインを表示させる。なお、ここでの所定の条件は、任意に設定されてよいが、例えば、熟練度が所定値以上であることとしてもよい。すなわち例えば、過去における注視時刻から特定時刻Ｔ２までの時間の平均値が所定値以下である場合に、所定の条件を満たすとしてもよい。

図８は、第２実施形態における情報処理装置の動作の一例を示すフローチャートである。図８では、顔認識によってユーザを特定し、その習熟度に応じて入力部１１０の設定を変更する場合を例にする。情報処理装置１００Ａは、ユーザ特定部１３６により、視線検出部１２０を制御してユーザの顔を撮像させて、ユーザを特定する（ステップＳ２１０）。（ステップＳ２２０）。

ユーザ特定部１３６は、表示態様設定部１３７は、ユーザ情報に基づいて、入力部１１０の表示態様を設定する。ユーザ情報においてそのユーザの熟練度が所定の条件を満たす場合（ステップＳ２２０；ＹＥＳ）、表示態様設定部１３７は、入力部１１０を用いた特定情報の入力をより短時間で行うことが可能な表示態様に変化させ、入力部１１０にショートカットを表示させる（ステップＳ２３０）。一方で、ユーザ情報においてそのユーザの熟練度が所定の条件を満たさない場合（ステップＳ２２０；ＮＯ）、表示態様設定部１３７は、入力部１１０を用いた特定情報の入力が短時間で理解しやすくなるような表示態様に変化させ、入力部１１０にガイドラインを表示させる（ステップＳ２４０）。

本実施形態では、ユーザ情報を表示態様の設定に用いたが、ユーザ情報を、入力時間ｔ２の設定に用いてもよい。すなわち、情報処理装置１００Ａは、ユーザ情報に基づき、ユーザが特定情報の入力に要した時間を示す入力時間ｔ２を設定してよい。この場合例えば、情報処理装置１００Ａは、ユーザ情報においてユーザの熟練度が高いほど、入力時間ｔ２を短く設定してもよい。

（効果）
第２実施形態にかかる情報処理装置１００Ａは、ユーザ特定部１３６と、表示態様設定部１３７とをさらに含む。ユーザ特定部１３６はユーザを特定する。表示態様設定部１３７は、ユーザ特定部１３６の特定結果に応じて、特定情報が入力される入力部１１０の表示態様を設定する。

第２実施形態にかかる情報処理装置１００Ａによると、ユーザを特定し、ユーザの入力時間ｔ２に応じて入力部１１０の表示態様を変化させ、特定情報の入力をスムーズにすることで、特定情報の入力が次のアクションまでに間に合わなくなることを防ぐことができる。これにより、映像データの頭出し位置を適切に設定することができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することができる。例えば、上記第１実施形態において特定情報をユーザが入力する場合を例に挙げて説明したが、これに限定されない。特定情報の入力においては、映像データから自動で特定情報の判定を行ってもよい。この場合、例えば、ユーザが候補となるアクションを入力部１１０で選択することで特定時刻Ｔ２の計測が行われる。

１，１Ａ…情報処理システム、１００，１００Ａ…情報処理装置、１１０…入力部、１２０…視線検出部、１３０，１３０Ａ…処理部、１３１…特定情報取得部、１３２…視線情報取得部、１３３…入力情報取得部、１３４…アクション時間取得部、１３５…タグ設定部、１３６…ユーザ特定部、１３７…表示態様設定部、１４０…記憶部、１４１…タグ、１５０…出力部、２００，２００Ｂ…撮像部、ｔ１，ｔ２…時間、Ｔ０…再生開始時刻、Ｔ１…入力開始時刻、Ｔ２…特定時刻

Claims (6)

1. ユーザによって入力された、映像データに含まれるアクションを特定する特定情報と、前記特定情報が入力された時刻である特定時刻とを取得する特定情報取得部と、
   前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得する入力時間取得部と、
   前記特定情報で特定されたアクションに基づいて、前記アクションに対応する時間を示すアクション時間を取得するアクション時間取得部と、
   前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するタグ設定部と、
   を備える情報処理装置。
2. 前記ユーザの視線の検出結果を取得する視線情報取得部と、
   を更に含み、
   前記タグ設定部は、
   前記ユーザの視線が検出されない場合に、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記アクションの再生開始時刻として設定し、
   前記ユーザの視線が検出された場合であって、前記ユーザの視線が、前記特定情報が入力される入力部に重なる場合には、前記ユーザの視線が前記入力部に重なった注視時刻から、前記アクション時間を遡った時刻を、前記アクションの再生開始時刻として設定する、請求項１に記載の情報処理装置。
3. 前記入力時間取得部は、過去における前記注視時刻から前記特定時刻までの時間に基づき、前記入力時間を設定する、請求項２に記載の情報処理装置。
4. 前記ユーザを特定するユーザ特定部と、前記ユーザ特定部の特定結果に応じて、前記特定情報が入力される入力部の表示態様を設定する表示態様設定部と、をさらに含む、請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. ユーザによる映像データに含まれるアクションを特定する特定情報の入力を受け付けるステップと、
   入力された前記特定情報と、前記特定情報が入力された時刻である特定時刻とを取得するステップと、
   前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得するステップと、
   前記特定情報で特定されたアクションに基づいて、前記アクションが開始してから前記ユーザが前記特定情報を入力するまでの時間を示すアクション時間を取得するステップと、
   前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するステップと、
   を含む、情報処理方法。
6. ユーザによる映像データに含まれるアクションを特定する特定情報の入力を受け付けるステップと、
   入力された前記特定情報と、前記特定情報が入力された時刻である特定時刻とを取得するステップと、
   前記ユーザが前記特定情報の入力に要した時間を示す入力時間を取得するステップと、
   前記特定情報で特定されたアクションに基づいて、前記アクションが開始してから前記ユーザが前記特定情報を入力するまでの時間を示すアクション時間を取得するステップと、
   前記特定時刻から、前記入力時間及び前記アクション時間の合計分を遡った時刻を、前記映像データにおける前記アクションの再生開始時刻として設定するステップと、
   をコンピュータに実行させる、プログラム。
   

Images