JP2018081630A - 検索装置、検索方法およびプログラム - Google Patents

Abstract

【課題】所望のシーンをより適切に検索できる検索装置を提供する。
【解決手段】検索装置は、軌跡取得部と、状況取得部と、クエリ取得部と、検索部と、を備える。軌跡取得部は、時系列画像内での対象の移動軌跡を表す軌跡情報を取得する。状況取得部は、時系列画像内での対象の周辺の状況を表す状況情報を取得する。クエリ取得部は、移動軌跡および周辺の状況を含む検索クエリを取得する。検索部は、軌跡情報および状況情報に基づいて、時系列画像に含まれる画像のうち検索クエリに適合する画像を検索する。
【選択図】図１

Description

本発明の実施形態は、検索装置、検索方法およびプログラムに関する。

映像から特定の時間帯のシーンを検索するニーズがある。例えば、駅やビル内などの監視カメラで撮影した監視画像から特定のシーンの時間帯を検索して安全管理や犯罪捜査などの検証に用いたり、スポーツの試合映像から特定シーンを検索してチーム強化のための分析に用いたりする。

例えば、試合映像に「トライ」および「スクラム」などのタグを付け、タグをもとにトライのシーンなどを検索する技術、および、オブジェクト（ボールや人物など）の移動軌跡で直感的に検索する技術が知られている。また、試合映像からオブジェクトを検出してプレーを解析する技術が知られている。

特開平０５−１０８７３０号公報 国際公開第２０１５／１９００７１号

しかしながら、従来技術では、所望のシーンを適切に検索できない場合があった。例えば、移動軌跡による検索のみでは、状況に応じたシーンを検索できない場合があった。

実施形態の検索装置は、軌跡取得部と、状況取得部と、クエリ取得部と、検索部と、を備える。軌跡取得部は、時系列画像内での対象の移動軌跡を表す軌跡情報を取得する。状況取得部は、時系列画像内での対象の周辺の状況を表す状況情報を取得する。クエリ取得部は、移動軌跡および周辺の状況を含む検索クエリを取得する。検索部は、軌跡情報および状況情報に基づいて、時系列画像に含まれる画像のうち検索クエリに適合する画像を検索する。

本実施形態にかかる検索装置のブロック図。 本実施形態における検索処理のフローチャート。 検索処理を実現する検索画面の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 検索クエリの入力方法の一例を示す図。 周辺の状況のマッチング方法の一例を説明する図。 検索装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる検索装置の好適な実施形態を詳細に説明する。

本実施形態にかかる検索装置は、時系列画像に含まれる対象（オブジェクト）の移動軌跡と、対象の周辺の状況（攻守の状態、密集領域の位置など）と、を検索クエリとして、時系列画像から所望の画像（シーン）を検索する。

時系列画像は、時系列に沿って並べられた複数の画像である。例えば時系列画像は、所定の時間間隔で撮像したフレーム画像を含む動画像（映像）である。上記のように、スポーツの試合を撮影した映像、および、監視カメラで撮影した監視画像などが時系列画像になりうる。時系列画像はこれらに限られるものではない。

図１は、本実施形態にかかる検索装置１００の構成の一例を示すブロック図である。図１に示すように、検索装置１００は、検出部１０１と、軌跡推定部１０２と、状況推定部１０３と、軌跡取得部１０４と、状況取得部１０５と、クエリ取得部１０６と、検索部１０７と、出力制御部１０８と、記憶部１２１と、を備えている。

検出部１０１は、時系列画像からオブジェクト、および、このオブジェクトの位置を検出する。例えば検出部１０１は、学習したオブジェクトの特徴量と、画像から得られる特徴量とを照合することにより、画像からオブジェクトを検出する。画像からオブジェクトを検出する方法はこれに限られるものではなく、従来から用いられているあらゆる検出方法を適用できる。例えば検出部１０１は、特許文献２に記載された方法により、画像からオブジェクトおよびオブジェクトの位置を検出してもよい。

検出するオブジェクトは、用途に応じて適宜決定すればよい。例えば、人、複数の人の集合、および、複数の人が集まる領域などをオブジェクトとして検出するように構成できる。また、球技を撮影した映像からは、各チームの選手および審判などの人、並びに、ラグビーのモールなどの複数の人が集まる領域をオブジェクトとして検出するように構成できる。

軌跡推定部１０２は、検出された位置に基づいて、時系列画像内でのオブジェクトの移動軌跡を推定する。移動軌跡の推定方法は、従来から用いられているあらゆる方法を適用できる。例えば、軌跡推定部１０２は、検出されたオブジェクトの時系列的な位置から移動軌跡を推定する方法、または、特許文献２に記載されているようなオプティカルフローを用いた方法により、オブジェクトの移動軌跡を推定することができる。

軌跡推定部１０２は、推定した移動軌跡を表す軌跡情報を出力する。軌跡情報は、例えば、移動軌跡が推定されたオブジェクトを識別する情報（オブジェクト識別情報）と、時系列画像のうちオブジェクトが検出された画像を識別する情報（画像識別情報）と、オブジェクトの位置を示す情報と、移動軌跡の位置を示す情報と、を含む。画像を識別する情報は、例えば、移動の開始時刻を特定する情報、および、移動の終了時刻を特定する情報である。軌跡情報のデータ構造はこれに限られるものではない。

状況推定部１０３は、時系列画像から、オブジェクトの周辺の状況を推定する。例えば状況推定部１０３は、移動軌跡を推定するオブジェクトとは異なる他のオブジェクトの有無、他のオブジェクトの位置などを、周辺の状況として推定する。他のオブジェクトの位置などは、検出部１０１と同様の方法で推定できる。周辺の状況はこれらに限られるものではない。例えば状況推定部１０３は、球技を撮影した映像から、ボールを保持するチーム、および、球技で実行されるプレー（技）の種類などを、周辺の状況として推定してもよい。

また、状況推定部１０３は、時系列画像に対応する音環境を認識することで、周囲の状況を認識してもよい。ここで、音環境は、例えば、映像に含まれる音、および、映像とは独立に取得された音を解析することにより得られる。解析方法は、単純にボリュームを検出する方法、および、機械学習を用いて音種別を分類する方法などを適用できる。例えば、うるさい、静か、歓声が沸いた、ホイッスルが鳴った、および、特定の人物が発話した、などの音に関する情報を周囲の状況として推定することができる。また、音声を認識した結果得られたテキスト情報から周囲の状況を推定してもよい。状況推定部１０３は、音の解析結果と画像の対応関係を記憶部１２１などに記憶する。

また、状況推定部１０３は、対象が存在する場所に関する情報を周辺の状況として推定してもよい。

なお、例えば選手が密集している領域にボールが隠れている場合などでは、ボールの位置が検出できず、ボールを保持するチームが推定できないことがある。このような場合は、状況推定部１０３は、オブジェクトの周辺の状況が不明であると推定してもよい。例えば状況推定部１０３は、ボールを保持するチームとして、「Ａチーム」、「Ｂチーム」、および、「不明」のいずれかであることを推定してもよい。

画像に含まれるボールの状態は、完全に見えている場合、人が保持して隠れている場合、および、密集領域の中に隠れている場合があるものとする。ボールが完全に見えている場合は、公知のオブジェクト検出手法によりボールを検出できる。ボールが検出できない場合は、人または密集領域でボールが隠れていると判定し、前のフレームでのボール位置付近にいる人または密集領域がボールを隠しているものとして、その人や密集領域を追跡する。これにより、各フレームの画像でボールがどの状態にあるかが推定できる。

これを踏まえ、ボール保持チームの推定方法について説明する。パスやキックの途中など、ボール単独で完全に見えている画像だけからでは、どちらのチームがホールを保持しているかがわからない。また、密集領域の中に隠れている場合も同様である。この場合は、ボール保持チームは「不明」とする。

一方で、人が保持している場合は、その人の検出位置付近の色情報と各チームのユニフォームの色との類似度をもとにチームが識別できる。この場合、ボール保持チームは「Ａチーム」または「Ｂチーム」であることが推定できる。

例えば、Ａチームの選手がＡチームの他の選手にパスをした場合や、Ａチームの選手がキックをしてＡチームの選手が保持した場合など、選手からボールが離れている間のフレームにおいては、ボール保持チームの状態が不明となるので、ボール保持チームの状態は「Ａチーム」→「不明」→「Ａチーム」と判定される。

状況推定部１０３は、ある画像の周辺の状況が不明である場合、前後の少なくとも一方の画像の周辺の状況が、当該画像の周辺の状況であると推定してもよい。例えば、状況推定部１０３は、時系列的な関係を考慮することで、ボール保持チームが「不明」である時間帯について、ボール保持チームを「Ａチーム」または「Ｂチーム」に置き換えてもよい。状況推定部１０３は、例えば「不明」の前後の状態が同一チームの場合は、その間の「不明」の時間帯もそのチームが保持しているものと推定してよい。また、「不明」の前の状態、または、「不明」の後の状態で置き換えてもよい。

状況推定部１０３は、推定した周辺の状況を表す状況情報を出力する。状況情報は、例えば、推定された周辺の状況を識別する情報（状況識別情報）と、時系列画像のうち周辺の状況が検出された画像を識別する情報（画像識別情報）と、を含む。状況情報のデータ構造はこれに限られるものではない。

なお、移動軌跡および周辺の状況の推定を、検索装置１００以外の装置で実行してもよい。例えば、移動軌跡および周辺の状況は、予め解析され記憶部１２１に記憶されていてもよいし、人手で付与した情報が、移動軌跡を示す情報および周辺の状況を示す情報として用いられてもよい。この場合、検出部１０１、軌跡推定部１０２、および、状況推定部１０３は、検索装置１００内に備える必要はない。

軌跡取得部１０４は、軌跡推定部１０２から出力された軌跡情報を取得する。軌跡取得部１０４は、他の装置から軌跡情報を取得してもよい。

状況取得部１０５は、状況推定部１０３から出力された状況情報を取得する。状況取得部１０５は、他の装置から状況情報を取得してもよい。

クエリ取得部１０６は、移動軌跡および周辺の状況を含む検索クエリを取得する。クエリ取得部１０６は、例えば、キーボード、マウス、タッチパネル、および、マイクなどの入力装置を介して入力された検索クエリを取得する。このように、検索クエリは、文字列、記号、および、音などの任意の形式で入力できる。音による入力の場合、クエリ取得部１０６は、利用者が発話した音を文字列として認識し、認識した文字列を検索クエリとして取得してもよい。クエリ取得部１０６は、例えば「周囲の音を検索」のようなモードが指定された場合に、マイク経由で、検索する音をそのまま検索クエリとして入力してもよい。検索クエリの取得方法はこれに限られるものではなく、任意の方法を適用できる。例えばクエリ取得部１０６は、他の装置から送信された検索クエリを、ネットワーク等を介して取得してもよい。

検索部１０７は、検索クエリ、軌跡情報および状況情報に基づいて、時系列画像に含まれる画像のうち検索クエリに適合する画像を検索する。例えば検索部１０７は、検索クエリに含まれる移動軌跡が、軌跡情報が表す移動軌跡と適合し、検索クエリに含まれる周辺の状況が、状況情報が表す周辺の状況に適合する画像を、時系列画像に含まれる各時刻の画像から検索する。音を検索クエリとする場合、例えば検索部１０７は、検索クエリとして入力された音と、映像に含まれる音とを照合して適合する画像を検索する。

移動軌跡が適合するとは、移動軌跡が完全に一致する場合だけでなく、複数の移動軌跡間の一致度（類似度）が閾値以上である場合、および、移動軌跡内の一部が検索クエリに含まれる移動軌跡と一致する場合などを含んでもよい。移動軌跡の一致の判定には、以下のような手法を用いることができる。
（１）移動軌跡上に所定の間隔でサンプリング点（始点および終点を含めた２点以上）を設定し、隣り合うサンプリング点間のサブ移動軌跡の方向（例えば、上下左右のいずれかに近似する）をもとにヒストグラムを作成する。例えば、ヒストグラムの「上」「下」「左」「右」の値は、各方向と判定されたサブ移動軌跡の距離を合計して算出してよい。ヒストグラム同士のバタチャリヤ距離が所定の閾値以下となる移動軌跡同士が一致するものと判定してよい。
（２）事前に設定された描画エリア（コートの領域と一致してよい）内を複数のブロックに分割し（例えば、縦２ブロック×横４ブロック）、検索クエリに含まれる移動軌跡が通過するブロックの順番と一致する移動軌跡を抽出してよい。
（３）上記（２）により通過するブロックそれぞれについて上記（１）と同様のヒストグラムを求め、通過するブロックが同じ、かつ、当該ブロックでのヒストグラムの距離が所定の閾値以下となる移動軌跡同士が一致するものと判定してよい。

周辺の状況が適合するとは、状況が完全に一致する場合だけでなく、複数の状況が類似する状況を示す場合、および、一方の状況が他方の状況を包含する場合などを含んでもよい。

検索部１０７は、検索クエリに含まれる移動軌跡および周辺の状況のうち、一方により検索の対象とする画像を絞り込んだ後に、他方によりさらに適合する画像を検索してもよい。例えば検索部１０７は、時系列画像に含まれる画像のうち、対応する状況情報が表す周辺の状況が検索クエリに含まれる周辺の状況と適合する画像（第１画像）を対象として、対応する軌跡情報が表す移動軌跡が検索クエリに含まれる移動軌跡と適合する画像を検索してもよい。

出力制御部１０８は、検索装置１００で実行される各種処理の結果の出力を制御する。例えば出力制御部１０８は、検索部１０７による検索結果を、ディスプレイなどの表示装置に出力する。表示装置は、検索装置１００内に備えられてもよいし、検索装置１００以外の装置に備えられてもよい。出力方法は、表示装置に表示する方法に限られるものではなく、ネットワークなどを介して送信する方法、および、記録媒体に出力する方法などを適用してもよい。

記憶部１２１は、検索装置１００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、検索の対象となる映像、推定された軌跡情報および状況情報、並びに、他の装置から送信された軌跡情報および状況情報などを記憶する。なお、記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

検出部１０１、軌跡推定部１０２、状況推定部１０３、軌跡取得部１０４、状況取得部１０５、クエリ取得部１０６、検索部１０７、および、出力制御部１０８は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置（プロセッサ）にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェア（プロセッサ）により実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

検索装置１００は、例えば通常のパーソナルコンピュータなどの単体の装置により構成することができる。検索装置１００を、パーソナルコンピュータおよび携帯端末などの端末装置からの検索要求に応じて検索処理を実行するサーバ装置として実現してもよい。サーバ装置は、物理的に１つの装置により構成してもよいし、クラウドコンピューティング環境上の仮想的な装置で実現してもよい。

次に、このように構成された本実施形態にかかる検索装置１００による検索処理について図２を用いて説明する。図２は、本実施形態における検索処理の一例を示すフローチャートである。

検出部１０１は、時系列画像から、ボールおよび人物などのオブジェクトの位置を検出する（ステップＳ１０１）。時系列画像は、事前に取得され記憶部１２１などに記憶されていてもよいし、放送およびストリーミングなどによりリアルタイムで入力されてもよい。

軌跡推定部１０２は、検出部１０１により検出された位置に基づいて、オブジェクトの移動軌跡を推定する（ステップＳ１０２）。状況推定部１０３は、時系列画像から、オブジェクトの周辺の状況を推定する（ステップＳ１０３）。推定された移動軌跡を表す軌跡情報、および、推定された周辺の状況を表す状況情報は、記憶部１２１などに記憶されてもよい。

検索装置１００以外の他の装置が移動軌跡等の推定を行う場合は、ステップＳ１０１からステップＳ１０３までの処理は、他の装置内で実行されてもよい。

次に、軌跡取得部１０４は軌跡情報を取得し、状況取得部１０５は状況情報を取得する（ステップＳ１０４）。クエリ取得部１０６は、検索クエリを取得する（ステップＳ１０５）。検索クエリは、検索の実行前までに取得されていればよい。例えばクエリ取得部１０６は、ステップＳ１０１の開始前までに検索クエリを取得してもよい。

検索部１０７は、検索クエリによる検索を実行する（ステップＳ１０６）。出力制御部１０８は、検索部１０７による検索結果を出力する（ステップＳ１０７）。

次に、検索装置１００による検索処理の具体例について説明する。図３は、検索処理を実現する検索画面の一例を示す図である。図３では、ラグビーの試合を撮影した映像を解析して表示する例が示されている。なおラグビー以外の球技や、球技以外のスポーツの映像の解析に適用してもよい。

図３に示すように、検索画面は、再生領域３０１と、オブジェクト表示領域３０２と、サムネイル表示領域３０３と、軌跡ボタン３０４と、を含む。

再生領域３０１は、映像を再生して表示する領域である。オブジェクト表示領域３０２は、検出されたオブジェクトを表示する領域である。図３の例では、オブジェクト表示領域３０２は、２次元の平面（ラグビーを行うフィールド）上でのオブジェクトの位置を示すために用いられる。この場合は、例えば検出部１０１は、所定の平面上のオブジェクトの位置を検出するように構成してもよい。オブジェクト表示領域３０２は、３次元空間内でのオブジェクトの位置を示すように構成してもよい。

出力制御部１０８は、例えば、各チームの選手、ボール、および、密集領域などのオブジェクト、並びに、一定時間過去からのボールの移動軌跡の位置を、再生領域３０１に表示される映像と同期させてオブジェクト表示領域３０２に表示する。

出力制御部１０８は、オブジェクトおよび周辺の状況の種類に応じて、各オブジェクトおよび周辺の状況の表示態様を変更して表示してもよい。例えば出力制御部１０８は、同じチームに属する選手は同じ色の矩形で囲んで再生領域３０１に表示してもよいし、同じチームに属する選手を同じ色のアイコンでオブジェクト表示領域３０２に表示してもよい。出力制御部１０８は、ボールが完全に見えている場合は、ボール保持チームに応じた色の矩形でボールを囲んで表示してもよい。

サムネイル表示領域３０３は、映像の一部のシーン（画像）のサムネイルを表示する領域である。例えば検索処理により検索された画像のサムネイルが、サムネイル表示領域３０３に表示される。また、出力制御部１０８は、例えば「パス」、「スクラム」、および、「ラック」などのプレーの種類に対応するボタンが押下された場合に、押下されたボタンに対応するプレーに適合するシーン（画像）の候補を、サムネイル表示領域３０３に表示してもよい。

軌跡ボタン３０４は、移動軌跡などを検索クエリとして指定する検索を実行するために用いられる。例えば軌跡ボタン３０４が押下されると、検索クエリを入力するための入力画面３０５が表示される。入力画面３０５は、例えば、オブジェクト表示領域３０２の代わりに、または、オブジェクト表示領域３０２に重畳して表示されてもよい。入力画面３０５では、オブジェクト表示領域３０２に表示されていたオブジェクトを示すアイコン等が非表示になり、フィールド（２次元の平面）上で、移動軌跡を示す矢印、オブジェクトや周辺の状況を示す文字列などの検索クエリが入力可能となる。

サムネイル表示領域３０３には、このようにして入力された検索クエリに適合する画像が表示されてもよい。映像がリアルタイムに入力される場合は、事前に入力された検索クエリに適合する画像が入力されたときに、この画像がサムネイル表示領域３０３に表示されるように構成してもよい。サムネイル表示領域３０３でサムネイルが選択された場合、選択されたサムネイルに対応する画像が、再生領域３０１に表示されてもよい。

次に、検索クエリの入力方法の具体例について説明する。図４〜図１９は、検索クエリの入力方法の一例を示す図である。

図４は、例えば「Ａチームが攻めているときにボールが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「ボール」であり、周辺の状況は「Ａチームがボールを保持」という状況である。

図５は、例えば「モールが指定位置にあるときに選手が指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「人」であり、周辺の状況は「モールが指定位置にある」という状況である。

オブジェクトや周辺状況の指定方法は、手書き入力、ペン色、アイコン、および、ボタンなどの任意の方法を適用できる。図６は、「ボール」および「人」などのオブジェクトをアイコンで選択し、移動軌跡を手書き入力により指定する例である。図６の下部に示すように、選手（人）の移動を示す状況を、矢印により指定できるように構成してもよい。この矢印の色を分けることにより、いずれのチームに属する選手かを指定できるように構成してもよい。複数の移動軌跡が入力されてもよい。すなわち、複数の移動軌跡により検索する検索クエリを用いてもよい。

オブジェクトおよび周辺の状況の両方が同様の方法で入力される場合は、各入力が、オブジェクトを指定した入力か、周辺の状況を指定した入力かを判別するように構成してもよい。例えば、図４の例では、移動軌跡に近い位置に入力された「ボール」がオブジェクトであり、移動軌跡に対して「ボール」より相対的に遠い位置に入力された「Ａ」が周辺の状況である、と判別してもよい。

「ボール」がオブジェクトであり「人」が周辺の状況である組み合わせを示す検索クエリ、および、「人」がオブジェクトであり「ボール」が周辺の状況である組み合わせを示す検索クエリ、の両方で検索を実行してもよい。

図７〜図９は、「ボールを保持するチーム」を周辺の状況として入力する場合の入力方法の一例を示す。図７〜図９は、「ボールを保持するチーム」をボタン（「Ａ」または「Ｂ」）により選択する例である。ボタンの代わりに、ペン色や手書きにより入力してもよい。

図７は、例えば「Ａチームが攻めているときにボールが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「ボール」であり、周辺の状況は「Ａチームがボールを保持」という状況である。

図８は、例えば「Ａチームが攻めているときにＢチームの選手が指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「Ｂチームの選手」であり、周辺の状況は「Ａチームがボールを保持」という状況である。

図９は、例えば「Ｂチームが攻めているときに選手ラインが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「選手ライン」であり、周辺の状況は「Ｂチームがボールを保持」という状況である。

図１０〜図１２は、「プレーの種類」を周辺の状況として入力する場合の入力方法の一例を示す。図１０〜図１２は、「プレーの種類」をボタン（「トライ」、「パス」、「タックル」など）により選択する例である。ボタンの代わりに、ペン色や手書きにより入力してもよい。

図１０は、例えば「Ａチームの選手が指定の軌跡で移動してトライになったシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「Ａチームの選手」であり、周辺の状況は「トライのプレー」という状況である。

図１１は、例えば「パスの連携によってボールが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「ボール」であり、周辺の状況は「パスのプレー」という状況である。

図１２は、例えば「パスの際に選手ラインが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「選手ライン」であり、周辺の状況は「パスのプレー」という状況である。

図１３〜図１６は、「他のオブジェクトの位置」を周辺の状況として入力する場合の入力方法の一例を示す。図１３〜図１６は、「他のオブジェクトの位置」、ペン色や手書きにより入力する例である。なお図１６に示すように「スペース」を他のオブジェクトとして入力可能としてもよい。

図１３は、例えば「ボールが指定の位置にあるときにＡチームの選手が指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「Ａチームの選手」であり、周辺の状況は「ボールが指定の位置にある」という状況である。

図１４は、例えば「モールが指定の位置にあるときに指定の軌跡で選手が移動したシーン」を検索するための検索クエリを入力する例である。なお、図１４で円形のクエリは黄色い線で描かれたものとする。この場合、移動軌跡を検索するオブジェクトは「選手」であり、周辺の状況は「モールが指定の位置にある」という状況である。

図１５は、例えば「Ｂチームの選手ラインが指定の位置のときにボールが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「ボール」であり、周辺の状況は「Ｂチームの選手ラインが指定の位置にある」という状況である。

図１６は、例えば「スペースが指定の位置にあるときにボールが指定の軌跡で移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「ボール」であり、周辺の状況は「スペースが指定の位置にある」という状況である。

図１７〜図１９は、スポーツの映像以外の映像の解析に適用する場合の入力方法の一例を示す。図１７〜図１９は、映像内の人物の流れを解析する場合の例である。

図１７は、例えば「指定の位置に群衆があるときに人物が指定の軌跡で回避したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「人物」であり、周辺の状況は「群衆が指定の位置にある」という状況である。

図１８は、例えば「群衆の流れる方向と逆流して人物が移動したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「人物」であり、周辺の状況は「群衆が指定の位置にあり、指定の方向に移動している」という状況である。

図１９は、例えば「赤信号のときに人物が斜め横断したシーン」を検索するための検索クエリを入力する例である。この場合、移動軌跡を検索するオブジェクトは「人物」であり、周辺の状況は「赤信号である」という状況である。周辺の状況は、例えば「信号の切り替わり音が鳴っている」などのように音の状況で指定されてもよい。この場合、状況推定部１０３は、例えば映像に含まれる音から、オブジェクトの周辺の音の状況を推定すればよい。

図２０は、周辺の状況のマッチング方法の一例を説明する図である。上記のように、オブジェクトの周辺の状況が不明であると推定される場合がある。このような場合、検索部１０７は、周辺の状況が適合する画像と、この範囲の前後の少なくとも一方を含む画像を対象として、移動軌跡が適合する画像を検索してもよい。

例えば周辺の状況として「状況２」が検索クエリに含まれる場合、検索部１０７は、状況２の前後の「不明」の状況を含む範囲１７０１から、移動軌跡が適合する画像を検索する。また、例えば周辺の状況として「状況３」が検索クエリに含まれる場合、検索部１０７は、状況３の前後の「不明」の状況を含む範囲１７０２から、移動軌跡が適合する画像を検索する。

以上説明したとおり、本実施形態によれば、対象の移動軌跡および対象の周辺の状況を検索クエリとして、時系列画像から所望の画像を検索することができる。これにより、所望の画像をより適切に検索することが可能となる。

次に、本実施形態にかかる検索装置のハードウェア構成について図２１を用いて説明する。図２１は、本実施形態にかかる検索装置のハードウェア構成例を示す説明図である。

本実施形態にかかる検索装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施形態にかかる検索装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施形態にかかる検索装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、本実施形態にかかる検索装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる検索装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態にかかる検索装置で実行されるプログラムは、コンピュータを上述した検索装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 検索装置
１０１ 検出部
１０２ 軌跡推定部
１０３ 状況推定部
１０４ 軌跡取得部
１０５ 状況取得部
１０６ クエリ取得部
１０７ 検索部
１０８ 出力制御部
１２１ 記憶部

Claims (11)

1. 時系列画像内での対象の移動軌跡を表す軌跡情報を取得する軌跡取得部と、
   前記時系列画像内での前記対象の周辺の状況を表す状況情報を取得する状況取得部と、
   移動軌跡および周辺の状況を含む検索クエリを取得するクエリ取得部と、
   前記軌跡情報および前記状況情報に基づいて、前記時系列画像に含まれる画像のうち、前記検索クエリに適合する画像を検索する検索部と、
   を備える検索装置。
2. 前記検索部は、前記時系列画像に含まれる画像のうち、前記状況情報が前記検索クエリに含まれる周辺の状況と適合する第１画像を対象として、前記軌跡情報が前記検索クエリに含まれる移動軌跡と適合する画像を検索する、
   請求項１に記載の検索装置。
3. 前記状況情報は、前記対象の周辺の状況が不明であることを表す情報を含み、
   前記検索部は、前記第１画像の前後の少なくとも一方の画像のうち、前記状況情報が、前記対象の周辺の状況が不明であることを示す画像、および、前記第１画像を対象として、前記軌跡情報が前記検索クエリに含まれる移動軌跡と適合する画像を検索する、
   請求項２に記載の検索装置。
4. 前記時系列画像から、前記対象の位置を検出する検出部と、
   検出された前記位置に基づいて前記移動軌跡を推定する軌跡推定部と、をさらに備え、
   前記軌跡取得部は、推定された前記移動軌跡を表す軌跡情報を取得する、
   請求項１に記載の検索装置。
5. 前記時系列画像から、前記周辺の状況を推定する状況推定部をさらに備え、
   前記状況取得部は、推定された前記周辺の状況を表す状況情報を取得する、
   請求項１に記載の検索装置。
6. 前記状況推定部は、前記時系列画像に含まれる第２画像の周辺の状況が不明である場合、前記第２画像の前後の少なくとも一方の画像の周辺の状況が、前記第２画像の周辺の状況であると推定する、
   請求項５に記載の検索装置。
7. 前記対象は、人、複数の人の集合、および、複数の人が集まる領域の少なくとも１つを含む、
   請求項１に記載の検索装置。
8. 前記周辺の状況は、前記対象と異なる他の対象の位置である、
   請求項１に記載の検索装置。
9. 前記対象は、球技で用いられるボールであり、
   前記周辺の状況は、前記ボールを保持するチーム、および、前記球技で実行される技の種類の少なくとも１つを含む、
   請求項１に記載の検索装置。
10. 時系列画像内での対象の移動軌跡を表す軌跡情報を取得する軌跡取得ステップと、
    前記時系列画像内での前記対象の周辺の状況を表す状況情報を取得する状況取得ステップと、
    移動軌跡および周辺の状況を含む検索クエリを取得するクエリ取得ステップと、
    前記軌跡情報および前記状況情報に基づいて、前記時系列画像に含まれる画像のうち前記検索クエリに適合する画像を検索する検索ステップと、
    を含む検索方法。
11. コンピュータを、
    時系列画像内での対象の移動軌跡を表す軌跡情報を取得する軌跡取得部と、
    前記時系列画像内での前記対象の周辺の状況を表す状況情報を取得する状況取得部と、
    移動軌跡および周辺の状況を含む検索クエリを取得するクエリ取得部と、
    前記軌跡情報および前記状況情報に基づいて、前記時系列画像に含まれる画像のうち前記検索クエリに適合する画像を検索する検索部、
    として機能させるためのプログラム。