JP2017055175A - 画像処理装置 - Google Patents

Abstract

【課題】 複数台の撮像手段で撮像した映像の切り替えや編集を行う場合において、競技者・視聴者の様々なニーズに対応した切り替えや編集を行うことを可能とする画像処理装置を提供すること。【解決手段】 動画像を取得する取得手段と、取得手段で取得した動画像に含まれる複数の対象物を検出する対象検出手段と、対象検出手段で検出した複数の対象物の競技空間における位置を検出する位置検出手段と、位置検出手段で検出した複数の対象物の位置関係に基づいて動画像中のイベントを検出するイベント検出手段と、イベント検出手段で検出したイベントから対象のイベントを選択する選択手段と、位置検出手段で検出した複数の対象物の位置及び選択手段で選択したイベントに基づいて、取得手段で取得した動画像に含まれる複数の動画像を抽出する抽出手段と、抽出手段で抽出した複数の動画像を所定の順序で合成する合成手段とを備える。【選択図】 図１

Description

本発明は、撮像手段を用いて撮像した画像を処理する画像処理装置に関し、特に複数の画像を時系列に表示する映像を処理する画像処理装置に関するものである。

複数台の撮像手段から映像を取得し、それらの映像を組み合わせて所望の映像に編集する際には、ユーザが判断して複数台の撮像手段からの映像をスイッチング操作したり、編集ポイントを判断したりしていた。このように担当者が主に手動操作により映像の切り替えや編集を行うことは、作業者の熟練が必要となり、また、多くの工数を必要としていた。

このような熟練や手間を必要とせずに映像の切り替えや編集をする手段として、視聴者に与える関心度に基づいて映像を切り替えるものが提案されている（特許文献１）。この手段では、放送用撮像手段と、スポーツ状況を撮像する状況判定用撮像手段と、視聴者に与える関心度を演算する手段を備えている。さらに、設定したイベントが発生したことを検出する手段と、録画を指示する手段と、関心を持つスポーツ映像に切り替えを指示する送出制御手段とを備えている。

特開２００９−２７２９７０

しかしながら、このような手段では、視聴者側の関心度を演算するアルゴリズムに基づいて映像の切り替えを行うため、競技者側のニーズに基づいた映像の切り替えができない。また、複数の視聴者を想定した場合に、夫々の視聴者個別のニーズに基づいた切り替えや編集を行うことはできない。

本発明は、複数台の撮像手段で撮像した映像の切り替えや編集を行う場合において、競技者・視聴者の様々なニーズに対応した切り替えや編集を行うことを可能とする画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明は、同一の競技空間を撮像する２以上の撮像装置が撮像した動画像を合成する画像処理装置であって、前記動画像を取得する取得手段と、前記取得手段で取得した前記動画像に含まれる複数の対象物を検出する対象検出手段と、前記対象検出手段で検出した前記複数の対象物の前記競技空間における位置を検出する位置検出手段と、前記位置検出手段で検出した前記複数の対象物の位置関係に基づいて動画像中のイベントを検出するイベント検出手段と、前記イベント検出手段で検出したイベントから対象のイベントを選択する選択手段と、前記位置検出手段で検出した前記複数の対象物の位置及び前記選択手段で選択したイベントに基づいて、前記取得手段で取得した動画像に含まれる複数の動画像を抽出する抽出手段と、前記抽出手段で抽出した複数の動画像を所定の順序で合成する合成手段とを備えること特徴とする。

複数台の撮像手段で撮像した映像の切り替えや編集を行う場合において、競技者・視聴者の様々なニーズに対応した切り替えや編集を行うことを可能とする画像処理装置を提供することが可能となる。

実施形態の画像処理システムを説明する図である。 実施形態の画像処理装置を説明する図である。 実施形態の競技空間の撮像と座標系を表す図である 実施形態の映像配信を説明する図である。 実施形態の処理を説明するためのフローチャートである。 実施形態の競技空間の領域と撮像手段割り付けを表す図である。 実施形態のスタッツ表示を説明する図である。 実施形態の個人スタッツ表示を説明する図である。 実施形態のイベント条件設定ＵＩを説明する図である。 実施形態のハイライト期間設定ＵＩを説明する図である。 実施形態のハイライト機能を説明する図である。 ハイライトの作成プロセスを説明するフローチャートである。 ハイライトの作成プロセスを説明する図である。 実施形態の個人向けアプリケーションを説明する図である。 実施形態の個人向けアドバイス・プロモーションを説明する図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施例１）
以下、図１を参照して、本発明の実施例による、画像処理装置及び画像処理システムに関して説明する。

１００は撮像装置であり、固定位置で撮影を行う定点カメラである。一例としては、ネットワーク経由で画像を配信可能なネットワークカメラである。撮像装置１００はスポーツを行う競技空間である競技空間において、映像である動画像を撮像する撮像手段に相当する。本実施例の撮像システムにおいては、図３に示すように１００Ａ乃至１００Ｈまで８つの撮像装置を含む。より詳細には、撮像対象の競技空間の各位置において２台以上の撮像手段で被写体である競技者等を捉えられるように設置されている。

２００はネットワークであり、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。しかしながら、本実施例においては、撮像装置１００と画像処理３００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。

例えば、ネットワーク２００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていても良い。なお、本実施例における撮像装置１００は、例えば、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標））に対応していても良く、ＬＡＮケーブルを介して電力を供給されても良い。

３００は録画装置であり、撮像手段の映像を取得して録画したり、その録画した映像を配信したりする。一例としては、ハードディスク、各種メモリ、ネットワークストレージ、クラウドストレージ等である。本発明では撮像装置を複数台用いるため、１台の録画装置では記憶容量やネットワーク容量の制限により不足する場合があるため、その場合は複数の録画手段を使用する。なお、複数種類の記憶手段を組み合わせてもよい。また、スポーツ施設などに設置する場合は、施設内に複数の競技空間がある場合は競技空間毎に録画手段を置いてもいいし、ネットワークを介して撮像を行う施設に録画手段を設置してもよい。また、映像を配信する際に、録画装置３００を経由せずに配信するようにしてもよい。

４００は画像処理装置であり、各撮像装置からの映像、又は録画装置３００に記憶されている映像を適宜処理する。一例としては、ＰＣ、サーバー等の外部装置であり、ユーザの操作を受け付ける操作部、映像や各種ＵＩを表示する表示部等を含む。画像処理装置４００の詳細に関しては、図２を用いて詳述する。

図２を参照して、本発明の実施例による、画像処理装置４００に関して説明する。

４０１は通信部であり、ネットワーク２００経由で各制御コマンドを各撮像装置１００又は映像録画装置３００に対して送信する場合に使用される。また各制御コマンドに対するレスポンスや、映像データを含むストリームを撮像装置１００又は映像録画装置３００から受信する場合に使用される。

４０２は、制御部である。制御部４０２は、例えばＣＰＵで構成され、画像処理装置４００の全体の制御を行う。

４０３は、メモリである。メモリ４０３は、主に制御部４０２が実行するプログラム格納領域、プログラム実行中のワーク領域等、様々なデータの格納領域として使用される。また、後述する検出部の検出結果を含むメタデータやイベント情報、後述する操作部による領域設定情報等の操作結果の格納領域として使用される。

４０４は、操作部である。操作部４０４は、例えばボタン、十字キー、タッチパネル、マウスなどで構成され、ユーザによる画面操作の内容を制御部４０２に通知する。

４０５は、表示部である。表示部４０５は、例えばＬＣＤ、有機ＥＬディスプレイなどで構成され、画像処理装置４００のユーザに対して、様々な設定画面や、撮像装置１００又は映像録画装置３００から受信する映像のビューワ、各種メッセージ等を表示する。この様々な設定画面には、後述の設定ウィンドウやＵＩ等が含まれる。

なお、映像録画装置３００において、操作部４０４及び表示部４０５を設けず、ネットワーク２００に接続されている別のＰＣ等の操作部と表示部を使用するようにしてもよい。

４０６は、撮像装置１００又は映像録画装置３００の情報を管理する映像管理部である。映像管理部４０６は撮像装置１００又は、映像録画装置３００と通信部４０１経由で通信を行う。この通信を通して、撮像装置１００が配信する映像や映像録画装置３００に録画されている映像の管理及び取得を行う。

４０７は、映像処理部である。映像管理部によって取得された映像中のパターンを認識し、映像に含まれる人物や器具等の対象物を認識する。認識した認識結果には、認識対象の映像中の位置、サイズ、色彩、種類等が含まれる。認識結果は、メモリ４０３等に出力される。認識する対象の一例として、パターン認識技術を用いて映像中に存在するスポーツの競技者とそのスポーツに用いる器具を認識する。認識に用いるパターンはメモリ４０３に保存されており、適宜制御部４０２によって映像処理部４０７に設定される。

本実施例ではフットサルのコートを被写体として想定し、パターン認識の対象はフットサル競技に用いられるボールとする。なお、映像管理部４０６の階層は映像録画３００の数に応じて多層にすることでスケーラビリティを確保してもよく、この限りではない。また、映像処理部４０７なども複数台用意して処理を分散してもよく、使用数はこの限りではない。なお、本実施例において、映像処理部４０７は対象物を検出する対象検出部に相当する。なお、パターン認識の対象としては、ボール以外にもゴールや競技場の境界ライン等を認識するようにしてもよい。

４０８は、映像中の様々な対象物を検出する検出部である。検出部４０８は映像管理部４０６が取得した映像において、ユーザ等によって指定された対象物を検出し、その検出結果を出力する。本実施例における検出部４０８は、顔向き検出部４０９、人識別部４１０、位置検出部４１１、イベント検出部４１２等を含み、映像はそれぞれの検出部に対して並列又は直列的に入力され結果を出力する。

以下は、検出部４０８に含まれる各検出部に関して詳細に説明する。

４０９は、顔向き検出部である。顔向き検出部４０９は、口や鼻等の顔の特徴点の位置関係から顔の向きを検出する。例えば、映像中に含まれる人物が、どの方向を向いているかを検出する。また、黒目等の位置から視線方向を検出してもよいし、複数の人物間の関係性を検出してもよい。なお、顔向き検出部４０９は顔の向きだけでなく、競技者の身体の向きも合わせて検出するようにしてもよい。

４１０は、人識別部である。人識別部４１０は、映像中に含まれる競技者の顔の映像から特徴を抽出し、パターン認識技術等を用いて個人を特定する。そして、予め登録しておいた名前やチーム名などの個人の情報と紐付けを行う。このとき、人の識別は顔の認識ではなく、競技者がビブスを着用し、そこに記載された番号やビブスの色等により個人のＩＤやチームを識別してもよい。また、映像処理部４０７により検出した検出結果から特徴を抽出し、パターン認識技術を用いて個人を特定するようにしてもよい。なお、本実施例において人識別部４１０は、動画像中に含まれる人物を特定する特定部に相当する。また、人識別部４１０の検出結果は動画像中に含まれる人物を特定した特定結果に相当する。

４１１は、位置検出部であり。位置検出部４１１は、映像処理部４０７の認識結果に基づいて、認識対象の位置を検出する。より詳細には、図３に示すように撮像装置１００Ａ乃至１００Ｈを、同一の対象競技空間の各位置に設置されている。この設置位置により、８台の撮像装置の内の２以上の撮像装置から競技者及びボールを捉えられることが可能となる。そして、認識対象である競技者及びボールを捉えた２台以上の撮像装置からの映像において、映像処理部４０７から映像中の認識結果を取得する。各撮像装置は定位置に固定されているため、複数の映像からの認識結果（対象の位置）を用いることにより、三角測距の技術を用いて、認識対象の位置を特定することができる。なお、各撮像装置の内部パラメータ（焦点距離、絞り、フォーカス位置等）や撮影画角（パン角度、チルト角度等）はネットワーク２００経由で取得し、位置検出に用いる。ここでは、基準となる座標系は２１に示すように、競技空間に並行な平面をＸＹ平面とし、その法線方向をＺ座標とする。

ここで、検出部４０８にて検出した検出結果は、メタデータとして映像と関連付けされて、メモリ４０３等に格納される。したがって、格納されたメタデータを検索することによって、映像データ自体を検索できるようになる。なお、メタデータと映像との関連付けは実時間に基づいて行われる。そのため、一例として認識対象が検出された位置をメタデータ上で指定することで、取得すべき映像データ内の時間帯を決定することが可能となる。また、映像データの検索だけに限定されず、複数の映像が画像処理装置４００に入力されている場合に、特定の映像を選択する場合においても検出部４０８の検出結果を用いるようにしてもよい。

次に、本実施例における映像配信やハイライト編集に関して説明する。ここで、ハイライトとは、複数の動画像中から所定の期間の動画像を抽出しそれをつなげて合成した動画像を示す。動画像中の冗長部分を除外した動画像を作成することで、より効果的な動画像をユーザに提供することが可能となる。また、ハイライト編集とは、抽出した動画像を合成する動作を示す。

図４は、表示部４０５に表示されるユーザインタフェース（以下、ＵＩと称することが有る）の一例である。２２は映像を表示する表示ＵＩであり、２３は切り替え条件を設定する操作ＵＩである。切り替え条件としてはＡＵＴＯとＭＡＮＵＡＬを設け、ＭＡＮＵＡＬを選択した場合はカメラアイコン２４を選択することにより、対応する所望の撮像装置からの映像を閲覧することが可能となる。また、２５に示すように、メタデータに保存されている競技者やボールの位置を表示することで、プレーを俯瞰した情報を見ることも可能となる。２６〜２８はメニューを切り替えるタブを表す。２７をクリックすると、後述するハイライトを見るためのＵＩに進み、２８をクリックすると後述するスタッツを見るためのＵＩに進む。本ＵＩにおいて、操作ＵＩ２３を操作することによって、複数台の撮像装置により撮像した映像のうち、どの映像を選択するかの条件を設定できる。ここでは、ボールの位置に応じて撮像手段を選択するオプションと、競技者の位置に応じて撮像手段を選択するオプションを想定する。

そして、図５のフローチャート及び図６を用いて、本実施例における映像配信やハイライト編集に関する動作を説明する。本フローチャートの処理は制御部４０２が実行する。

処理が開始されると、ステップＳ５０１において、制御部４０２は、操作ＵＩ２３にて設定された選択条件に基づいて、メモリ４０３に記憶されたメタデータより認識対象であるボールの位置を取得する。そして、取得した位置に対応する領域を選択する。その後、ステップＳ５０２に処理を進める。この領域の選択に関しては、図６を用いて詳細に説明する。図６は対象競技空間を領域１１１〜１３７に分割してあり、認識対象であるボールの位置に基づいて、対象の領域選択を行う。この情報は予め作成し、領域設定情報としてメモリ４０３に記憶しておく。なお、ボールの位置をメタデータからではなく、位置検出部４１１の検出結果より直接取得するようにしてもよい。

ステップＳ５０２において、制御部４０２は、映像中の競技者における顔向き検出部４０９の検出結果を取得する。顔向きを検出する対象は、認識対象のボールに最も位置が近い競技者が好ましいが、映像中に含まれるすべての競技者の向きを取得してもよい。そして、ステップＳ５０３に処理を進める。

ステップＳ５０３において、制御部４０２は、ステップＳ５０１で選択した領域とステップＳ５０２で検出した顔向き検出結果より、撮像装置を選択する。より詳細には、図６に示した領域１１１〜１３７のそれぞれは、撮像装置１００Ａ乃至１００Ｈに対応している。各領域に付された記号は、各撮像装置に付された記号と対応している。例えば、領域１１２に認識対象であるボール等が存在する場合、領域１１２に対応する撮像装置１００Ａ又は撮像装置１００Ｃが取得した映像が選択される。どちらの撮像装置を選択するかは、ステップＳ５０２にて検出した顔向き検出結果において、顔が向いている撮像装置を優先的に選択する。そして、ステップＳ５０４に処理を進める。

ステップＳ５０４において、制御部４０２は、認識対象のボールの位置が移動したか否かを判定する。移動したと判定した場合は、ステップＳ５０１に処理を戻す。そして、移動していない場合は、ステップＳ５０５に処理を進める。

ステップＳ５０５において、制御部４０２は、本フローチャートの処理が終了したか否かを判定する。終了でない場合は、ステップＳ５０４に処理を戻す。本フローチャートの処理はユーザによる指示によって終了してもよいし、設定された時間の経過後等の場合に終了するようにしてもよい。

このように認識対象の位置する領域等に基づいて映像を切換えてつなげることによって、認識対象を中心とした映像配信やハイライト編集を自動的に実行することが可能となる。また、映像配信した結果や編集したハイライトはメモリ４０３に保存してもよいし、再度映像録画装置３００に保存し直してもよい。

なお、ステップＳ５０３においては、認識対象の位置及び顔向き検出結果に基づいて、撮像装置を選択したが、ステップＳ５０４において、認識対象が移動したと判定した場合は、移動前後の撮像装置を優先的に用いてもよい。例えば、領域１１１から領域１１２に認識対象が移動した場合に撮像装置１００Ａを、領域１１３から領域１１２に認識対象が移動した場合は撮像装置１００Ｃを優先的に選択する。

これは、ひとつの領域にひとつの映像しか割り当てないと、領域の境目でボールの奪い合いなどが生じた場合は頻繁に映像が切り替わってしまうためである。複数が割り当てられている場合は、その領域に移動する前に属した領域において割り当てられた撮像装置が優先的に選択される。それゆえ、頻繁な切り替えは回避できる。このように、領域に重複を持たせて、撮像装置の切り替えにヒステリシス性を持たせることにより、撮像手段の頻繁な切り替えにより映像が見づらいものになることを回避することが可能となる。なお、各撮像装置は割り当てられた領域以外の領域においても被写体を撮像できることはいうまでもない。したがって、領域の面積は一律でなくてもよいし、等間隔でなくてもよい。

なお、この切り替え手段によると、領域１３３→１２３→１２２→１１２と移動した場合に、領域１２２から領域１１２への変化時に撮像装置１００Ｆからどの撮像装置の映像に切り替えるべきか不明確となる。このような場合は、候補の撮像装置について顔向き検出結果を優先して設定してもよいし、認識対象のボールと撮像装置までの距離を算出し、よりボールとの距離が短い方の撮像装置を選択するようにしてもよい。また、位置検出部４１１において、認識対象のボールの位置の変化を取得するようにし、その変化を表すベクトルの方向に基づいて、ボールの進行方向に近い方向にある撮像装置を選択するといった設定にしてもよい。

また、認識対象を競技者とした場合に関しては、位置検出部４１１によって取得する対象を人物検出部４１０によって検出した競技者の位置とすることによって、図５で示したフローチャート同様の処理によって実現可能である。また、切換える撮像装置が不明確となった場合には、ボールと同様に競技者と撮像手段の距離や、競技者の位置変化ベクトルの方法に基づいて撮像手段を選択してもよい。このように人識別部４１０の検出結果を用いることで、個人毎にカスタマイズした映像の取得が可能となる。また、顔向き検出部４０９を用いることで、競技者の表情をより正確に撮像している映像を取得することが可能となる。これにより、たとえば、子供の映像を取得したい親などのニーズを満たすことができる。

ここで、映像の切り替えは、制御部４０２がメモリ４０３に保存されたメタデータに関連付けられた映像を映像管理部４０６が管理している情報に基づいて、映像録画装置３００より取得する映像を切換えることで実現する。

また、この映像配信やハイライト映像は、ネットワーク２００経由でＷｅｂサイトやアプリケーションを通じて、各ユーザが保持する端末等で閲覧することも可能となる。

このように、映像を処理することにより得られる人や器具の位置に応じて撮像手段の映像を切り替えることにより、自動で映像の切り替えが可能となり、さらには、ユーザは自動で切り替わった映像を閲覧できる。競技者・視聴者の様々なニーズに対応した切り替えを行うことも可能となる。

（実施例２）
実施例１においては映像中に含まれる認識対象の位置等に基づいて、撮像装置の切り替えを行った。一方で、ハイライトを編集する場合には、ボール等の認識対象の位置のみではなく、得点した瞬間等の競技の内容に基づいて編集することが求められる場合が有る。本実施例においては、映像とメタデータから作成した「スタッツ」や「イベント」を元に映像を編集しハイライトを作成する場合について説明する。

ここで、「スタッツ」とは、対象の競技に関する競技情報である。例えば、スタッツには位置検出部４１１にて人やボールの位置を検出し、その検出結果を時間積分することで得たヒートマップ等が含まれる。また、人の位置の時間変化から算出する移動距離や、移動速度等を含めるようにしてもよいし、それぞれの情報を競技者のそれらの数値についてランキング表示するなどしてもよい。さらに、ボールの位置に最も近い競技者をボールの所有者として定義し、チームや人毎のボールの占有率を算出したりしてもよい。なお、スタッツの生成は、制御部４０２が行い、メモリ４０３に記憶されたメタデータ及び検出部４０８による検出結果を分析することで取得できる。本実施例において、メモリ４０３は位置検出部４１１が検出した検出結果を蓄積する蓄積手段に相当し、制御部４０２は蓄積した検出結果からスタッツを算出する算出部に相当する。

また、「イベント」とは、競技中の特定のシーンに関する情報である。例えば、ゴールまたはシュートを行った場合などが含まれ、これらのイベントはイベント検出部４１２によって検出される。検出方法の一例として、シュートについては、図３におけるゴール領域２０から所定の距離以上離れた位置にシュートラインを設定する。本設定は、操作部４０４等を用いてユーザが行ってもよいし、撮像装置等の設置時に設置業者が設定するようにしてもよい。そして、ボールがシュートラインを通過したときの移動方向や速度に基づいてシュートイベントとして検出する。この場合、ボールがそのまま競技空間外へ出た場合は枠外シュートとして検出し、そうでない場合は枠内シュートとして検出する。そして、ボールの位置がゴール領域２０内に一定時間とどまった場合はゴールとして検出する。その際、シュートを打った競技者、ゴールした競技者、シュートを打った位置とその速度などもイベント情報としてメモリ４０３に記録する。また、同チーム内のボール所有者の変化をパスとして記録し、異チーム間のボール所有者の変化をカットとしてイベントを検出するなども可能である。なお、イベント検出部４１２の検出結果は、イベントしてメモリ４０３にメタデータ等と関連付けられて記憶される。

これらのスタッツ及びイベントは、ネットワーク２００経由でモバイル端末上のＷｅｂサイトやアプリケーションなどに表示してユーザが閲覧することが可能である。

図７において、スタッツを見るためのＵＩを示す。タブ２７をクリックすることで、本ＵＩを表示することができる。また、本ＵＩ下部のボタンを操作することで、表示するスタッツの種類を切換えることができる。図７においては、Ｐａｓｓ／Ｉｎｔ．ボタン３２を操作した場合を示す。２９はゴール数を表し、括弧を用いた数字は枠内のシュート数を表している。３０はチーム毎のスタッツを表し、ボール占有率、パスの数、カットの数を表している。３１はそれらを個人毎の数字やそのランキングを表す。

他にもヒートマップを表示するためのＨｅａｔ Ｍａｐボタン３３、競技者の距離・速度を表示するためのＤｉｓｔ．／Ｓｐｄ．ボタン３４、シュート・ゴールシーンの一覧を表示するためのＳｈｏｔｓ／Ｇｏａｌｓボタン３５などの表示がされる。

ここでは主にチーム全体のスタッツについて説明したが、個人名をクリックするなどして個人のスタッツを見ることも可能であり、これを図８に表す。ここでは、３６は個人のヒートマップを表し、３７は時間毎の走行距離、３８は累積走行距離、３９は速度の経時変化を表している。

なお、イベント検出を行う場合において、別途マイク等の音声入力部を用いて取得した音声から盛り上がりを検出したり、人の密集度等から盛り上がりを検出したりすることも可能である。シュートやゴールについても、撮像手段以外のセンサ手段を設けて検出することで精度を向上することも可能である。

次に、図９及び図１０を用いてハイライトを作成する場合の条件設定に関して説明する。それぞれのＵＩは表示部４０５に表示され、操作部４０４による操作を受け付ける。図９にイベント設定ＵＩを示し、図１０にハイライト期間設定ＵＩを示す。４０と４１はこれらの手段を切り替えるタブを表す。イベント設定ＵＩは、ハイライトを作成する対象競技者の入力４２、対象イベントの入力４３、対象期間の入力４４、対象領域の入力４５などを含む。対象競技者としては個人ＩＤの他に、チームや全員等の複数人の指定も可能である。対象イベントとしては、イベント検出部４１２により検出されたイベントや、スタッツより検出されるアクション等の指定が可能である。スタッツより検出されるアクションの一例としては、「パスが沢山回った」や「チーム全員の動きが急に速くなった」などである。対象期間４４としては、全体、前半・後半、時間指定などハイライトを作成する期間の設定が可能である。対象領域４５としては、コート全体、自陣、敵陣、ゴール領域周辺、などの設定が可能である。このように、イベント設定ＵＩにより、ハイライトを生成する条件を特定可能である。また、イベント条件の一部又は全部が指定されない場合は、スタッツや、スタッツに含まれるヒートマップ等に基づいて制御部４０２が自動的に設定するようにしてもよい。一例としては、ヒートマップが集中している領域のハイライトを作成したり、複数のゴールが発生したりした場合等である。

ハイライト期間設定ＵＩでは、ハイライトを生成するポイントに対する映像の始点と終点を設定する。始点としては、イベント設定ＵＩと同様に対象競技者を指定する。そして、対象競技者によるボールの所有、ボールの喪失、ゴール、シュートなどのイベントが発生した場合に遡る時間を設定する。一例としては、図１０ではボールを所有してから１０秒さかのぼってハイライトを作成するように設定されている。終点に関しても始点の設定と同様である。

このようにイベント設定ＵＩおよびハイライト期間設定ＵＩにより、「チームＡがゴールしたシーンを映像全体から敵陣の範囲」でハイライトの生成を指定することができる。他にも、「Ａｌｅｘが画面に映っている映像をゲーム時間の１０分〜１５分の間でコート全体を対象」として検索し、「前後１５秒の映像を取り出して３０秒のハイライトとする」ことなども可能である。

作成したハイライトは、ネットワーク２００経由で外部のモバイル端末上のＷｅｂサイトやアプリケーションなどで閲覧が可能となる。この際の表示ＵＩを図１１に示す。生成されたハイライトはサムネイル４８に表示され、選択することで映像を鑑賞する。この際、図４と同様にカメラアイコン５１を用いて映像を切り替えることも可能である。また、メタデータ８を用いて俯瞰でみた競技者やボールの動きを表示する表示部５２や、ハイライトシーンのセットプレーなどの動きを振り返ることもできる。また、ダウンロードアイコン５３をクリックすることにより、所望のハイライトをダウンロードすることも可能である。このダウンロードしたハイライトはＳＮＳ等を通じて、友人と共有することも可能である。

図１２のフローチャートを用いて、本実施例におけるハイライト等の生成に関する動作を説明する。本フローチャートの処理は制御部４０２が実行する。

処理が開始されると、ステップＳ１２０１において、制御部４０２は、撮像装置を選択する。より詳細には、対象の撮像装置が撮像した映像であって、映像録画装置３００に記憶されている中から映像管理部４０６の管理情報に基づいて選択する。そして、ステップＳ１２０２に処理を進める。ここでは対象として撮像装置１００Ａが撮像した映像を選択する。

ステップＳ１２０２において、制御部４０２は、ステップＳ１２０１で選択した映像に関連付けられたメタデータをメモリ４０３から取得する。この際には、取得したメタデータに関連付けられた検出部４０８の検出結果も同時に取得するようにしてもよい。そして、ステップＳ１２０３に処理を進める。

ステップＳ１２０３において、制御部４０２は、ステップＳ１２０２にて取得したメタデータ及び検出部４０８の検出結果から、ハイライトを作成する場合の条件設定に基づいてイベントを検索し、そのイベントの映像期間を特定する。そして、ステップＳ１２０４に処理を進める。

ステップＳ１２０４において、制御部４０２は、撮像装置すべての映像に対してステップＳ１２０３における対象イベントの検索が終了したか否かを判定する。終了している場合は、ステップＳ１２０５に処理を進め、終了していない場合は、ステップＳ１２０１に処理を戻す。この処理を戻した場合のステップＳ１２０１においては、選択する撮像装置はそれ以前に選択していない撮像装置の中から選択するように制御される。この処理を繰り返すことによって、すべての撮像装置の映像に対して対象イベントの検索を行うことが可能となる。

ステップＳ１２０５において、制御部４０２は、ステップＳ１２０３にて取得した複数の撮像装置の映像において、所定の順序でイベントの並び替えを行う。そして、ステップＳ１２０６に処理を進める。

ステップＳ１２０６において、制御部４０２は、ステップＳ１２０５にて並び替えた順序で映像を切換え、ハイライトを生成し、処理を終了する。

ステップ１２０５及びステップＳ１２０６におけるイベントの並び替え及びハイライトの生成の一例としては、図１３に示す。図１３においては、イベントが発生した時間で並び替えを行う。より詳細には、図１３において、映像Ａ乃至映像Ｈは、撮像手段１００Ａ乃至１００Ｈが夫々撮像した映像を示している。黒く塗りつぶされた部分は、映像中における検索された対象イベントである。そして、それぞれのイベントを時系列でつなげてハイライト６５として生成する。

なお、イベントの並び替え順序に関しては、時系列でなくても、競技者毎またゴール等のイベントの種類毎等に並び替えるようにしてもよい。

上記のハイライトやスタッツ等は、個人用アプリケーションと連携して、ＳＮＳ投稿やアドバイスやプロモーションに利用してもよい。この様子を図１４、１５に示す。図１４は個人アプリのＵＩを表しており、６６はログインした個人の写真やアバターなどを表す。６７は体重・体脂肪・消費カロリーなど健康維持に必要なデータを集計したデータを表す。これらは、他のアプリやセンサとの連携により表示される。６８は、個人のイベント情報やスタッツに基づいたアドバイスを示しており、６９は該当する個人に紐づくハイライトを表す。個人のハイライトを管理することで、ＳＮＳに投稿したり、コーチからのアドバイスを受けたりすることが可能となる。

図１４はスタッツに基づいたアドバイルの例を表す。７０はスタッツの平均値と最近のスタッツとの比較を表す。７１はスタッツをグラフなどで表現して状況を考察している様子を表す。例えば、「後半に走行距離・速度が低下しており、持久力の向上がカギです」といったようなことである。７２は考察に基づくアドバイスを表す。例えば、「持久力を上がるために新発売のクエン酸サプリはいかがでしょう！」といったようなことである。これにより、スポーツ施設の利用を促進したり、商品のプロモーションを行ったりといったような応用が可能となる。

上述したシステムによれば、映像を処理することにより得られる人や器具の位置に応じて撮像手段の映像を切り替えることにより、自動で映像の編集や切り替えを行うことができる。それゆえ、人手による手間を不要とすることができる。さらに、人や器具の位置に応じてどのよう映像を切り替えるかを選択可能とすることで、自動で競技者・視聴者の様々なニーズに対応した切り替えや編集を行うことも可能となる。なお、本実施例では、フットサルについて言及したが、ラグビー、テニス、サッカー、などにも展開可能であり、フットサルに限ったものではない。

１００ 撮像装置
２００ ネットワーク
３００ 映像録画装置
４００ 画像処理装置
４０１ 通信部
４０２ 制御部
４０３ メモリ
４０６ 映像管理部
４０７ 映像処理部
４０８ 検出部

Claims (6)

1. 同一の競技空間を撮像する２以上の撮像装置が撮像した動画像を合成する画像処理装置であって、
   前記動画像を取得する取得手段と、
   前記取得手段で取得した前記動画像に含まれる複数の対象物を検出する対象検出手段と、
   前記対象検出手段で検出した前記複数の対象物の前記競技空間における位置を検出する位置検出手段と、
   前記位置検出手段で検出した前記複数の対象物の位置関係に基づいて動画像中のイベントを検出するイベント検出手段と、
   前記イベント検出手段で検出したイベントから対象のイベントを選択する選択手段と、
   前記位置検出手段で検出した前記複数の対象物の位置及び前記選択手段で選択したイベントに基づいて、前記取得手段で取得した動画像に含まれる複数の動画像を抽出する抽出手段と、
   前記抽出手段で抽出した複数の動画像を所定の順序で合成する合成手段と
   を備えること特徴とする画像処理装置。
2. 前記位置検出手段は前記２以上の撮像装置が撮像したそれぞれの動画像に含まれる前記複数の対象物の動画像中の位置関係から、前記複数の対象物の前記競技空間における位置を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記動画像中に含まれる人物を特定する特定手段を更に備え、
   前記抽出手段は、前記複数の対象物の位置、前記イベント、及び前記特定手段による特定結果に基づいて、前記取得手段で取得した動画像に含まれる複数の動画像を抽出する抽出手段と、
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記動画像中に含まれる人物の向きを検出する向き検出手段を更に備え、
   前記抽出手段は、前記複数の対象物の位置、前記イベント、及び前記向き検出手段による検出結果に基づいて、前記取得手段で取得した動画像に含まれる複数の動画像を抽出する抽出手段と、
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記複数の対象物には競技者が含まれる
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記位置検出手段が検出した前記複数の対象物の位置を蓄積する蓄積手段と、
   前記蓄積手段が蓄積した前記所定の対象物の位置から競技情報を算出する算出手段と、
   前記競技情報をメタデータとして前記動画像と関連付けて記憶する記憶手段と、
   を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

Images