JP2018137671A - 判定補助処理装置、判定補助システム、判定補助方法及び判定補助プログラム - Google Patents

Abstract

【課題】インアウト判定に要する時間を短縮化する。【解決手段】判定補助処理装置４０は、複数のカメラ１０で撮影した球技のコート３のライン４の映像７０を表示部３０に並べて表示させる映像表示制御部５１と、表示部３０に表示される複数の映像７０内で球ＢＬ１を検出し、映像７０内での球ＢＬ１の移動速度及び移動方向を示す移動情報ＤＴ１を抽出する移動情報抽出部５２と、球ＢＬ１の移動方向が映像７０内のＹ方向において反転するかを検出し、反転時における球ＢＬ１の移動速度のＸ成分の大きさを少なくとも抽出する反転時情報抽出部５３と、反転時における球ＢＬ１の移動速度のＸ成分の大きさに基づいて、表示部３０に表示される複数の映像７０から１つ以上の映像７０を選択する映像選択部５４と、表示部３０に表示される複数の映像７０から選択された１つ以上の映像７０に対してハイライト表示を行うハイライト表示制御部５５とを備える。【選択図】図１

Description

本発明は、判定補助処理装置、判定補助システム、判定補助方法及び判定補助プログラムに関する。

バレーボール、テニス等の球技において、球の落下点がコート内（イン）か、コート外（アウト）かの判定（以下、「インアウト判定」と表記する。）を行う際に、コートを撮影した映像を用いる場合がある（例えば、非特許文献１参照）。例えば、コートのサイドライン及びエンドラインを異なるアングルで複数のカメラにより撮影し、それぞれの映像を表示部に並べて表示する。審判等は、表示部に表示される複数の映像を見ることでインアウト判定を行う。

"バレーボール国内リーグ発足50周年に向けて新大会方式、競技日程を発表 ２０１６／１７ Ｖ・プレミアリーグ"，平成２８年６月２９日，日本バレーボール協会，平成２９年２月８日検索，インターネット ＜ＵＲＬ：https://www.jva.or.jp/index.php/topics/20160629-2＞

上記のような手法でインアウト判定を行う場合、表示部に複数の映像が並んで表示されるため、審判等が複数の映像の中から判定に用いる映像を探し当てるための時間が必要になる。このため、インアウト判定に要する時間が長くなる可能性がある。

本発明は、上記に鑑みてなされたものであり、インアウト判定に要する時間を短縮化することが可能な判定補助処理装置、判定補助システム、判定補助方法及び判定補助プログラムを提供することを目的とする。

本発明に係る判定補助処理装置は、互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させる映像表示制御部と、前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出する移動情報抽出部と、前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出する反転時情報抽出部と、前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択する映像選択部と、前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行うハイライト表示制御部とを備える。

本発明に係る判定補助システムは、互いに異なる角度から球技のコートのラインを撮影する複数のカメラと、複数の前記カメラで撮影した映像を表示可能な表示部と、前記表示部に表示される前記映像に基づいて、前記コートに落下する球のイン又はアウトの判定を行う際の判定補助処理を行う上記の判定補助処理装置とを備える。

本発明に係る判定補助方法は、互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させることと、前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出することと、前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出することと、前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択することと、前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行うこととを含む。

本発明に係る判定補助プログラムは、互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させる処理と、前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出する処理と、前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出する処理と、前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択する処理と、前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行う処理とをコンピュータに実行させる。

本発明によれば、インアウト判定に要する時間を短縮化することが可能となる。

図１は、第１実施形態に係る判定補助システムの一例を示す図である。 図２は、判定補助システムの一例を示す機能ブロック図である。 図３は、表示部に表示される映像の一例を示す図である。 図４は、本実施形態に係る判定補助システムの動作の一例を示すフローチャートである。 図５は、試合中において表示部に表示される映像の一例を示す図である。 図６は、移動情報である速度ベクトルを説明するための図である。 図７は、移動情報記憶部に記憶された移動情報の一例を示すデータテーブルである。 図８は、抽出された反転速度ベクトルの各移動情報を示すデータテーブルである。 図９は、ハイライト表示の一例を示す図である。 図１０は、第２実施形態に係る判定補助システムの一例を示す図である。 図１１は、ライン選択部による処理を詳細に示すフローチャートである。 図１２は、本実施形態に係る判定補助システムの動作の一例を示すフローチャートである。 図１３は、本実施形態に係る比較用画像の一例を示す図である。

以下、本発明に係る判定補助処理装置、判定補助システム、判定補助方法及び判定補助プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

＜第１実施形態＞
図１は、第１実施形態に係る判定補助システム１００の一例を示す図である。判定補助システム１００は、例えばバレーボール、テニス、バドミントン等の球技において、床部２に落下する球（羽球を含む）ＢＬの落下点がコート３の内（イン）か外（アウト）かのインアウト判定を行う際に用いられる。本実施形態では、球技としてバレーボールを例に挙げて説明するが、これに限定されない。

判定補助システム１００は、球技が行われる試合会場１に設置される。試合会場１は、例えば床部２にコート３が設置される。コート３は、ライン４によって区画される。ライン４は、サイドライン５及びエンドライン６を含む。コート３の中央には、ネット７が配置される。コート３は、ネット７を挟んで第１ゾーン３ａ及び第２ゾーン３ｂが設定される。本実施形態においては、ネット７の図中下側のゾーンを第１ゾーン３ａとし、ネット７の図中上側のゾーンを第２ゾーン３ｂとする。コート３の周囲には、一階席８ａ及び二階席８ｂが設置される。ネット７の側方の一階席８ａには、審判席９が配置される。なお、試合会場１の態様は、上記に限定されない。

図２は、判定補助システム１００の一例を示す機能ブロック図である。図１及び図２に示すように、判定補助システム１００は、カメラ１０と、入力部２０と、表示部３０と、判定補助処理装置４０とを備える。

カメラ１０は、複数台、例えば８台設けられる。以下、８台のカメラ１０を区別しないで説明する場合にはカメラ１０と表記して説明し、８台のカメラ１０を区別して説明する場合にはカメラ１１〜１８と異なる符号を付して説明する。なお、カメラ１０の台数は、８台に限定されない。例えば、同一のエンドライン６又は同一のサイドライン５を撮影するカメラ１０が少なくとも２台以上であればよい。

カメラ１１は、例えばコート３に対して審判席９側（図１における右側）の二階席８ｂに配置される。カメラ１１は、例えば第１ゾーン３ａの全体を撮影する。カメラ１２は、例えばコート３に対して審判席９とは反対側（図１における左側）の一階席８ａに配置される。カメラ１２は、例えば第１ゾーン３ａのエンドライン６ａの全体を撮影する。

カメラ１３は、例えば第１ゾーン３ａ側の二階席８ｂに配置される。カメラ１３は、第１ゾーン３ａの外側から一方のサイドライン５ａ（例えば、図１における左側のサイドライン５）の全体を撮影する。カメラ１４は、例えば第１ゾーン３ａ側の一階席８ａに配置される。カメラ１４は、第１ゾーン３ａの外側から他方のサイドライン５ｂ（例えば、図１における右側のサイドライン５）の全体を撮影する。

また、カメラ１５は、例えば審判席９に対してコート３を挟んだ反対側の一階席８ａに配置される。カメラ１５は、例えば第２ゾーン３ｂのエンドライン６ｂの全体を撮影する。カメラ１６は、コート３に対して審判席９側の二階席８ｂに配置される。カメラ１６は、例えば第２ゾーン３ｂの全体を撮影する。

カメラ１７は、例えば第２ゾーン３ｂ側の二階席８ｂに配置される。カメラ１７は、第２ゾーン３ｂの外側からサイドライン５ｂの全体を撮影する。カメラ１８は、例えば第２ゾーン３ｂ側の一階席８ａに配置される。カメラ１８は、第２ゾーン３ｂの外側からサイドライン５ａの全体を撮影する。

上記のカメラ１１〜１８のうち、サイドライン５（５ａ、５ｂ）を撮影するカメラ１３、１４、１７、１８は、それぞれ画角及びズーム等がほぼ等しく設定されている。また、エンドライン６（６ａ、６ｂ）を撮影するカメラ１２、１５は、それぞれ画角及びズーム等がほぼ等しく設定されている。また、第１ゾーン３ａの全体を撮影するカメラ１１、及び第２ゾーン３ｂの全体を撮影するカメラ１６については、例えば試合会場１の天井等に設けられ、上方から撮影する構成であってもよい。

入力部２０は、情報を入力するための所定の入力操作が可能である。入力部２０としては、例えばタッチパネル等の入力装置が用いられる。この場合、入力部２０は、後述の表示部３０と一体で設けられる。なお、入力部２０として、タッチパネルに加えて又はタッチパネルに代えて、ボタン、レバー、ダイヤル、スイッチ又は他の入力装置が用いられてもよい。入力部２０は、所定の入力操作に応じた指示信号を出力する。

表示部３０は、液晶パネル等の表示パネルを有する。表示部３０は、文字及び画像を含む各種情報を表示する。表示部３０は、例えば、各カメラ１０によって撮影された映像や、入力部２０によりタッチ操作を行うための入力操作用画像等を表示可能である。なお、上記の入力部２０は、タッチパネルの表面のうち表示部３０に表示される入力操作用の画像に対応する領域にタッチ操作が行われた場合、タッチ操作が行われた領域の位置情報を含む所定の指示信号を出力する。

判定補助処理装置４０は、カメラ１０によって撮影された映像を表示部３０に表示させ、審判等がインアウト判定を行う際の判定補助処理を行う。判定補助処理装置４０は、判定補助処理として、表示部３０に表示される映像のうち、インアウト判定に有効な映像を選択し、当該選択した画像に対してハイライト表示を行う。なお、インアウト判定に有効な映像としては、例えば球ＢＬが床部ＦＬに落下する場面において球ＢＬの落下点を撮影した映像が挙げられる。判定補助処理装置４０は、図２に示すように、制御部５０と、記憶部６０とを有する。

制御部５０は、カメラ１０、入力部２０及び表示部３０の各部の制御を行う。制御部５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有している。制御部５０は、映像表示制御部５１と、移動情報抽出部５２と、反転時情報抽出部５３と、映像選択部５４と、ハイライト表示制御部５５とを有する。

映像表示制御部５１は、複数のカメラ１０で撮影した映像情報が入力される。映像表示制御部５１は、入力された映像情報を表示部３０に出力し、映像として表示部３０に並べて表示させる。また、映像表示制御部５１は、入力された映像を記憶部６０に記憶させる。この場合、映像表示制御部５１は、各映像を撮影時刻等の時刻情報と対応付けて記憶部６０に記憶させる。

図３は、表示部３０に表示される映像の一例を示す図である。図３に示すように、本実施形態において、表示部３０は、第１表示部３０ａ及び第２表示部３０ｂを有する。映像表示制御部５１は、８台のカメラ１０で撮影した８つの映像７０を第１表示部３０ａ及び第２表示部３０ｂに並べて表示させる。以下、８つの映像７０を区別しないで説明する場合には映像７０と表記して説明し、８つの映像７０を区別して説明する場合には、映像７１〜７８と異なる符号を付して説明する。

映像表示制御部５１は、映像７１〜７４を第１表示部３０ａに並べて表示させる。映像７１は、カメラ１１で撮影した映像であり、第１ゾーン３ａの全体の映像である。映像７２は、カメラ１２で撮影した映像であり、第１ゾーン３ａのエンドライン６ａの全体の映像である。映像７３は、カメラ１３で撮影した映像であり、第１ゾーン３ａ側から撮影したサイドライン５ａの映像である。映像７４は、カメラ１４で撮影した映像であり、第１ゾーン３ａの外側から撮影したサイドライン５ｂの映像である。このように、映像表示制御部５１は、コート３の第１ゾーン３ａ側のカメラ１１〜１４で撮影した映像を第１表示部３０ａに表示させる。

一方、映像表示制御部５１は、映像７５〜７８を第２表示部３０ｂに並べて表示させる。映像７５は、カメラ１５で撮影した映像であり、第２ゾーン３ｂのエンドライン６ｂの映像である。映像７６は、カメラ１６で撮影した映像であり、第２ゾーン３ｂの全体の映像である。映像７７は、カメラ１７で撮影した映像であり、第２ゾーン３ｂの外側から撮影したサイドライン５ｂの映像である。映像７８は、カメラ１８で撮影した映像であり、第２ゾーン３ｂの外側から撮影したサイドライン５ａの映像である。このように、映像表示制御部５１は、コート３の第２ゾーン３ｂ側のカメラ１５〜１８で撮影した映像を第２表示部３０ｂに表示させる。

各映像７０は、例えば、それぞれ寸法が同一の矩形状である。各映像７０は、互いに直交するＹ方向（第１方向）及びＸ方向（第２方向）が設定される。Ｙ方向は、例えば各カメラ１０の視野における鉛直方向であり、各映像７０内における縦方向（図３の上下方向）である。Ｘ方向は、例えば各カメラ１０の視野における水平方向であり、各映像７０内の横方向（図３の左右方向）である。

本実施形態において、Ｙ方向は、カメラ１０の視野における鉛直方向の上方に向かう方向を正方向、下方に向かう方向を負方向とする。また、本実施形態において、Ｘ方向は、カメラ１０の視野における水平方向の右方に向かう方向を正方向、左方に向かう方向を負方向とする。

表示部３０は、１つであってもよいし、３つ以上であってもよい。映像表示制御部５１は、表示部３０が１つである場合、１つの表示部３０に複数の映像７０を並べて表示させる。また、映像表示制御部５１は、表示部３０が３つ以上である場合、１つ以上の表示部３０に複数の映像７０を並べて表示させることができる。

なお、表示部３０には、上記の映像７０の他に、例えば選択ボタン３９等の操作用ボタンが表示される。選択ボタン３９は、インアウト判定の対象となる判定対象ラインを、サイドライン５及びエンドライン６から１つ選択するためのボタンである。選択ボタン３９は、サイドライン５を選択するためのサイドライン選択ボタン３９ａと、エンドライン６を選択するためのエンドライン選択ボタン３９ｂとを有する。

サイドライン選択ボタン３９ａは、例えば第１表示部３０ａに表示される。エンドライン選択ボタン３９ｂは、例えば第２表示部３０ｂに表示される。なお、サイドライン選択ボタン３９ａ及びエンドライン選択ボタン３９ｂが第１表示部３０ａ及び第２表示部３０ｂのいずれか一方に表示されてもよい。

表示部３０の画面のうちサイドライン選択ボタン３９ａが表示される領域が操作者等によりタッチされた場合、入力部２０は、制御部５０に対して、判定対象ラインとしてサイドライン５が選択された旨の信号を出力する。表示部３０の画面のうちエンドライン選択ボタン３９ｂが表示される領域が操作者等によりタッチされた場合、入力部２０は、制御部５０に対して、判定対象ラインとしてエンドライン６が選択された旨の信号を出力する。

移動情報抽出部５２は、表示部３０に表示される複数の映像７０内で球（以下、映像７０における球の符号をＢＬ１とする）ＢＬ１を検出し、球ＢＬ１が検出された映像７０内での球ＢＬ１の移動情報を抽出する。移動情報は、球ＢＬ１の移動速度及び移動方向を示す。移動情報抽出部５２は、抽出した移動情報を記憶部６０に記憶させる。

反転時情報抽出部５３は、映像７０内における球ＢＬ１の移動方向がＹ方向において反転するかを検出し、反転時における映像７０内の球ＢＬ１の移動速度のＸ成分の大きさを少なくとも抽出する。例えば試合会場１で球ＢＬが床部２に落下して跳ね返る場合、カメラ１０で撮影した映像７０内においては、球ＢＬ１の移動方向のＹ成分の値が負から正に反転する。したがって、反転時情報抽出部５３は、球ＢＬが床部２に落下する落下点において、映像７０内の球ＢＬ１の移動速度のＸ成分の大きさを抽出することになる。反転時情報抽出部５３は、抽出した反転時情報を記憶部６０に記憶させる。

映像選択部５４は、反転時における映像７０内の球ＢＬ１の移動速度のＸ成分の大きさに基づいて、表示部３０に表示される複数の映像７０から１つ以上の映像７０を選択する。映像選択部５４は、例えば、サイドライン５及びエンドライン６のうち一方の判定対象ラインが選択された場合、判定対象ラインを撮影した複数の映像７０のうち、反転時での球ＢＬ１の移動速度のＸ成分が最も大きい値となる映像７０と、２番目に大きい値となる映像７０とを選択する。

ハイライト表示制御部５５は、表示部３０に表示される複数の映像のうち映像選択部５４が選択した１つ以上の映像に対してハイライト表示を行う。

記憶部６０は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部６０として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部６０は、判定補助処理のオペレーティングシステムや、カメラ１０、入力部２０及び表示部３０の動作を制御するための各種プログラム、判定補助処理装置４０において処理を行うための各種プログラム及びデータ等を記憶する。

また、記憶部６０は、互いに異なる角度から複数のカメラ１０で撮影した球技のコート３のライン４の映像７０を表示部３０に並べて表示させる処理と、表示部３０に表示される複数の映像７０内で球ＢＬ１を検出し、映像７０内での球ＢＬ１の移動速度及び移動方向を示す移動情報を抽出する処理と、球ＢＬ１の移動方向が映像７０内のＹ方向において反転するかを検出し、反転時における球ＢＬ１の移動速度のＸ成分の大きさを少なくとも抽出する処理と、反転時における球ＢＬ１の移動速度のＸ成分の大きさに基づいて、表示部３０に表示される複数の映像７０から１つ以上の映像７０を選択する処理と、表示部３０に表示される複数の映像７０から選択された１つ以上の映像７０に対してハイライト表示を行う処理とを判定補助処理装置４０に実行させる判定補助プログラムを記憶する。また、記憶部６０は、上記判定補助プログラムに加えて、例えば選択ボタン３９を表示させる処理、球ＢＬ１を検出する画像処理等を判定補助処理装置４０に行わせるプログラムを記憶する。

また、記憶部６０は、映像記憶部６１と、移動情報記憶部６２と、ハイライト表示情報記憶部６３とを有する。

映像記憶部６１は、映像表示制御部５１から出力された映像情報が入力される。映像記憶部６１は、入力された映像情報を記憶する。映像記憶部６１は、例えば映像情報を時刻情報と対応付けて記憶する。

移動情報記憶部６２は、移動情報抽出部５２で抽出された移動情報が入力される。移動情報記憶部６２は、入力された移動情報を記憶する。

ハイライト表示情報記憶部６３は、表示部３０に表示させるハイライト表示の表示データ及び表示プログラム等を記憶する。

次に、上記のように構成された判定補助システム１００の動作を説明する。図４は、本実施形態に係る判定補助システム１００の動作の一例を示すフローチャートである。図４に示すように、映像表示制御部５１は、複数のカメラ１０で撮影された映像を取得し、表示部３０に表示させる（ステップＳ１０）。図５は、試合中において表示部３０に表示される映像の一例を示す図である。ステップＳ１０において、映像表示制御部５１は、図５に示すように、カメラ１１〜１４で撮影された映像７１〜７４を第１表示部３０ａに表示させ、カメラ１５〜１８で撮影された映像７５〜７８を第２表示部３０ｂに表示させる。

次に、移動情報抽出部５２は、表示部３０に表示される複数の映像７０内で球ＢＬ１を検出し、移動情報を抽出する（ステップＳ２０）。ステップＳ２０において、移動情報抽出部５２は、表示部３０に表示される複数の映像７０において、例えば画像処理等により、映像７０内に含まれる球状体を検出することで、球ＢＬ１を検出する。例えば図５に示す例においては、移動情報抽出部５２は、映像７１〜７８のうち、映像７４、７６、７７の３つについて球ＢＬ１を検出する。

球ＢＬ１を検出した後、移動情報抽出部５２は、球ＢＬ１が検出された映像７４、７６、７７について、映像毎に球ＢＬ１の移動情報を抽出する。移動情報抽出部５２は、例えば球ＢＬ１の移動情報を速度ベクトルとして抽出する。速度ベクトルは、ベクトルの大きさにより移動速度が規定され、ベクトルの方向により移動方向が規定される。

図６は、移動情報である速度ベクトルを説明するための図である。図６では、球ＢＬ１を識別した３つの映像７４、７６、７７のうち、映像７７を例に挙げて示しているが、他の映像７４、７６においても同様の説明が可能である。移動情報抽出部５２は、例えば球ＢＬ１の重心Ｇを検出し、当該球ＢＬ１の重心Ｇについての速度ベクトルを、所定の期間毎に抽出する。なお、所定の期間については、例えばカメラ１１〜１８のフレーム周期と同一の期間としてもよいし、複数フレーム分の期間としてもよい。この場合、移動情報抽出部５２は、Ｘ方向の成分（以下、「Ｘ成分」と表記する）と、Ｙ方向の成分（以下、「Ｙ成分」と表記する）とに分解した状態で速度ベクトルを抽出する。

図６には、移動情報抽出部５２によって抽出された３つの速度ベクトルＡ１、Ａ２、Ａ３が代表的に示されている。移動情報抽出部５２は、速度ベクトルＡ１として、Ｘ成分Ｘ_Ａ１と、Ｙ成分Ｙ_Ａ１とを抽出する。移動情報抽出部５２は、速度ベクトルＡ２として、Ｘ成分Ｘ_Ａ２と、Ｙ成分Ｙ_Ａ２とを抽出する。移動情報抽出部５２は、速度ベクトルＡ３として、Ｘ成分Ｘ_Ａ３と、Ｙ成分Ｙ_Ａ３とを抽出する。なお、図６では映像７７に速度ベクトルＡ１、Ａ２、Ａ３の表示を重ねた状態で示しているが、実際に表示部３０に表示される映像７７には速度ベクトルＡ１、Ａ２、Ａ３は表示されなくてもよい。

移動情報抽出部５２は、抽出した速度ベクトルＡ１、Ａ２、Ａ３を移動情報として移動情報記憶部６２に記憶させる。図７は、移動情報記憶部６２に記憶された移動情報の一例を示すデータテーブルである。図７に示すように、移動情報ＤＴ１は、識別情報６２ａと、時刻情報６２ｂと、Ｘ方向情報６２ｃと、Ｙ方向情報６２ｄとを含む。識別情報６２ａは、速度ベクトルを識別するための情報である。時刻情報６２ｂは、速度ベクトルを抽出した時点における撮影時刻を示す。なお、図７に示す移動情報は、撮影時刻が古い順に配置されている。Ｘ方向情報６２ｃは、Ｘ方向についての球ＢＬ１の移動速度（Ｘ成分）及び移動方向（正負）を示す。Ｙ方向情報６２ｄは、Ｙ方向についての球ＢＬ１の移動速度（Ｙ成分）及び移動方向（正負）を示す。図７では、例えば図６に示す速度ベクトルＡ１、Ａ２、Ａ３についての識別情報６２ａ、時刻情報６２ｂ、Ｘ方向情報６２ｃ及びＹ方向情報６２ｄを示している。

次に、反転時情報抽出部５３は、球ＢＬ１の移動方向が映像７０内のＹ方向において反転するかを検出し、球ＢＬ１の移動方向のＹ成分の値が反転した時（反転時）における球ＢＬ１の移動速度のＸ方向成分を少なくとも抽出する（ステップＳ３０）。

ステップＳ３０において、反転時情報抽出部５３は、まず、移動情報抽出部５２によって抽出された移動情報を撮影時刻が古い順に検索し、移動方向のＹ成分の値が負から正に最初に変化した速度ベクトルを、反転速度ベクトルとして検出する。反転時情報抽出部５３は、反転速度ベクトルを検出した場合、例えば記憶部６０の移動情報記憶部６２に反転情報６２ｅ（図７参照）として記憶させる。図７では、一例として、速度ベクトルＡ２が反転速度ベクトルである場合を示している。次に、反転時情報抽出部５３は、反転速度ベクトルについて、時刻情報６２ｂ及びＸ方向情報６２ｃを抽出する。これにより、反転時情報抽出部５３は、反転時の時刻情報と、反転時の移動速度のＸ成分の値とを対応付けて抽出することが可能となる。

次に、映像選択部５４は、反転時における球ＢＬ１の移動速度のＸ成分の値の大きさに基づいて、表示部３０に表示される複数の映像７０から１つ以上の映像７０を選択する（ステップＳ４０）。

ステップＳ４０において、映像選択部５４は、まず、判定対象ラインがサイドライン５及びエンドライン６のいずれであるかを判断する。本実施形態において、制御部５０は、この判断を行わせる際に、判定対象ラインを操作者に選択させる。例えば、制御部５０は、表示部３０に表示されるサイドライン選択ボタン３９ａ又はエンドライン選択ボタン３９ｂにタッチ（入力）させるための指示を表示部３０に表示させてもよい。このような指示としては、例えば表示部３０に表示されるサイドライン選択ボタン３９ａ及びエンドライン選択ボタン３９ｂを点滅させること等が挙げられる。制御部５０は、入力部２０からの出力信号に基づいて、選択された判定対象ラインを判断する。その後、映像選択部５４は、選択された判定対象ラインを撮影した複数の映像７０のうち、判定対象ラインが選択された時点から遡って最も直近に球ＢＬ１のＹ成分が反転した反転時についての各映像７０同士を比較し、球ＢＬ１の移動速度のＸ成分が最も大きい値となる映像７０を選択する。

本実施形態では、球ＢＬの落下点がサイドライン５の近傍であり、例えば審判等の操作者により判定対象ラインとしてサイドライン５が選択される場合を例に挙げて説明する。この場合、映像選択部５４は、サイドライン５を撮影した映像７０として、映像７１、７３、７４、７６、７７、７８を検出する。映像選択部５４は、検出した映像７１、７３、７４、７６、７７、７８のうち、球ＢＬ１を識別した上記の３つの映像７４、７６、７７から取得される反転速度ベクトルを抽出する。

図８は、抽出された反転速度ベクトルの各移動情報を示すデータテーブルである。映像選択部５４は、抽出した各映像７０の反転速度ベクトルの移動情報ＤＴ２について、図８に示すようなデータテーブルを記憶部６０に作成してもよい。移動情報ＤＴ２は、上記の識別情報６２ａ、時刻情報６２ｂ、Ｘ方向情報６２ｃ及びＹ方向情報６２ｄに加えて、映像情報６２ｆ及び順序情報６２ｇを含んでいる。映像情報６２ｆは、各反転速度ベクトルＡ２、Ｂ２、Ｃ２が複数の映像７０のうちどの映像から抽出されたかを示す情報である。順序情報６２ｇは、抽出された複数の反転速度ベクトル間において、移動速度のＸ成分の大きさの順序を示すデータである。識別情報６２ａについて、図８では、３つの映像７４、７６、７７のうち、映像７７から抽出された反転速度ベクトルをＡ２、映像７４から抽出された反転速度ベクトルをＢ２、映像７６から抽出された反転速度ベクトルをＣ２として示している。

映像選択部５４は、抽出した３つの反転速度ベクトルＡ２、Ｂ２、Ｃ２のうち、Ｘ方向データ６２ｂを検索し、反転時の移動速度のＸ成分が大きい順に順序付けを行う。映像選択部５４は、順序付けの結果を順序情報６２ｇとして記憶部６０のデータテーブルに記憶させる。その後、映像選択部５４は、移動速度のＸ成分が最も大きい値となる反転速度ベクトルを検出する。本実施形態では、映像選択部５４は、順序情報６２ｇを検索して順序が１位である反転速度ベクトルＡ２を検出する。映像選択部５４は、検出された反転速度ベクトルＡ２の映像情報６２ｆを検索し、映像情報６２ｆに基づいて映像７７を抽出する。そして、映像選択部５４は、抽出した映像７７を選択する。

なお、映像選択部５４は、移動速度のＸ成分が最も大きい値となる反転速度ベクトルだけではなく、移動速度のＸ成分が２番目に大きい値となる反転速度ベクトルについても検出してもよい。この場合、映像選択部５４は、順序情報６２ｇを検索して順序が２位である反転速度ベクトルＢ２を検出する。映像選択部５４は、検出された反転速度ベクトルＢ２の映像情報６２ｆを検索し、映像情報６２ｆに基づいて映像７４を抽出する。そして、映像選択部５４は、抽出した映像７４を選択する。

次に、ハイライト表示制御部５５は、映像選択部５４が選択した映像７０に対して、ハイライト表示を行う（ステップＳ５０）。ステップＳ５０において、ハイライト表示制御部５５は、ハイライト表示情報記憶部６３に記憶された表示データを選択して表示させたり、表示プログラム等を実行したりすることで、ハイライト表示を行う。図９は、ハイライト表示の一例を示す図である。図９に示すように、映像選択部５４は、例えば移動速度のＸ成分が最も大きい値となる反転速度ベクトルを抽出した映像７４と、移動速度のＸ成分が２番目に大きい値となる反転速度ベクトルを抽出した映像７７とに対して、外縁を目立たせるハイライト表示８１、８２をそれぞれ行っている。なお、ハイライト表示の例としては、外縁を目立たせる表示に限定されない。例えば、ハイライト表示制御部５５は、選択した映像７４、７７を拡大してもよいし、選択した映像７４、７７を指し示すアイコン等を表示させてもよい。また、ハイライト表示制御部５５は、ハイライト表示８１、８２を点滅させてもよい。

以上のように、本実施形態に係る判定補助処理装置４０は、互いに異なる角度から複数のカメラ１０で撮影した球技のコート３のライン４の映像７０を表示部３０に並べて表示させる映像表示制御部５１と、表示部３０に表示される複数の映像７０内で球ＢＬ１を検出し、映像７０内での球ＢＬ１の移動速度及び移動方向を示す移動情報ＤＴ１を抽出する移動情報抽出部５２と、球ＢＬ１の移動方向が映像７０内のＹ方向において反転するかを検出し、反転時における球ＢＬ１の移動速度のＸ成分の大きさを少なくとも抽出する反転時情報抽出部５３と、反転時における球ＢＬ１の移動速度のＸ成分の大きさに基づいて、表示部３０に表示される複数の映像７０から１つ以上の映像７０を選択する映像選択部５４と、表示部３０に表示される複数の映像７０から選択された１つ以上の映像７０に対してハイライト表示を行うハイライト表示制御部５５とを備える。

この判定補助処理装置４０は、表示部３０に表示される複数の映像７０から、インアウト判定に有効な映像７０を自動的に選択してハイライト表示を行うため、審判等が複数の映像７０の中からインアウト判定の対象となる映像７０を選択するための時間が短縮される。これにより、判定補助処理装置４０は、インアウト判定に要する時間を短縮化することが可能となる。

また、判定補助処理装置４０は、映像７０及び移動情報ＤＴ１を記憶する記憶部６０をさらに備えるため、外部の記憶部等を用いなくても、制御部５０と連携した処理を高速で安定的に行うことが可能となる。

また、複数のカメラ１０が、ライン４のうちサイドライン５を撮影する複数のカメラ１１、１３、１４、１６、１７、１８と、エンドライン６を撮影する複数のカメラ１１、１２、１５、１６とを有し、判定補助処理装置４０において、映像選択部５４が、サイドライン５及びエンドライン６のうち一方の判定対象ラインが選択された場合、判定対象ラインを撮影した複数の映像７０のうち、反転時での球ＢＬ１の移動速度のＸ成分が最も大きい値となる映像７０を選択する。これにより、サイドライン５を撮影する複数のカメラ１０とエンドライン６を撮影する複数のカメラ１０との両方のカメラ１０で球ＢＬが撮影された場合、映像７０内の球ＢＬ１の移動方向のＸ成分を求める対象となる映像７０を絞ることができる。これにより、判定補助処理装置４０は、判定補助処理をより速く行うことができる。

＜第２実施形態＞
続いて、第２実施形態を説明する。図１０は、第２実施形態に係る判定処理システム２００の一例を示すブロック図である。第２実施形態では、第１実施形態に係る判定処理システム１００と同一の構成要素には同一の符号を付し、説明を省略又は簡略化する。図１０に示すように、判定補助システム２００は、カメラ１０と、入力部２０と、表示部３０と、判定補助処理装置１４０とを備える。

判定補助処理装置１４０は、制御部１５０と、記憶部１６０とを有する。制御部１５０は、映像表示制御部５１、移動情報抽出部５２、反転時情報抽出部５３、映像選択部５４及びハイライト表示制御部５５に加えて、ライン選択部５６を有する。ライン選択部５６は、映像選択部５４が判定対象ラインを判断する処理の前に、判定対象ラインを自動的に選択する。

記憶部１６０は、映像記憶部６１、移動情報記憶部６２及びハイライト表示情報記憶部６３に加えて、比較用画像記憶部６４を有する。比較用画像記憶部６４は、ライン選択部５６が判定対象ラインを選択する際に、映像７０内における球ＢＬ１の画像と比較するための比較用画像を記憶する。

図１３は、比較用画像ＢＬ２の一例を示す図である。比較用画像ＢＬ２は、エンドライン６を撮影するカメラ１０により、サイドライン５上に配置された状態の球ＢＬを予め撮影した画像である。また、比較用画像ＢＬ２は、サイドライン５を撮影するカメラ１０により、エンドライン６上に配置された状態の球ＢＬを予め撮影した画像である。なお、比較用画像ＢＬ２は、各カメラ１０の位置、アングル、画角等の撮影条件が上記試合中にライン４を撮影する場合と同様の撮影条件に設定された状態で撮影される。図１３では、サイドライン５ｂを撮影するカメラ１７により、エンドライン６ｂ上に配置された球ＢＬを撮影した比較用画像ＢＬ２を一例として示している。図１３に示すように、比較用画像ＢＬ２は、エンドライン６ｂ上の複数位置に同一寸法の球ＢＬを配置した状態で撮影される。各比較用画像ＢＬ２は、映像７７内における直径Ｒ２の情報と対応付けて、比較用画像記憶部６４に記憶される。

次に、上記のように構成された判定補助システム２００の動作を説明する。図１１は、本実施形態に係る判定補助システム２００の動作の一例を示すフローチャートである。図１１に示すように、判定補助処理装置１４０は、第１実施形態と同様の手順により、ステップＳ１０からステップＳ３０の処理を行わせる。

ステップＳ３０において反転時情報抽出部５３が球ＢＬ１のＹ成分の反転を検出した場合、ライン選択部５６は、ステップＳ３０の後に、球映像ＢＬと予め設定された比較用画像とに基づいて、判定対象ラインを選択する（ステップＳ６０）。図１２は、ライン選択部５６によるステップＳ６０の処理を詳細に示すフローチャートである。ステップＳ６０において、ライン選択部５６は、図１２に示すように、ライン選択部５６は、各映像７０内において反転時の球ＢＬ１の画像を抽出する（ステップＳ６１）。ステップＳ６１において、ライン選択部５６は、例えば画像処理等により、球ＢＬ１を識別した上記の３つの映像７４、７６、７７から反転時の球ＢＬ１の画像（図１３参照）を抽出する。

次に、ライン選択部５６は、抽出した球ＢＬ１の画像と比較用画像ＢＬ２とを比較する（ステップＳ６２）。ステップＳ６２において、ライン選択部５６は、球ＢＬ１の画像の直径Ｒ１と、比較用画像ＢＬ２の直径Ｒ２とを比較する。

次に、ライン選択部５６は、比較の結果に応じて判定対象となるラインを選択する（ステップＳ６３）。ステップＳ６３において、ライン選択部５６は、球ＢＬ１の画像の直径Ｒ１が比較用画像ＢＬ２の直径Ｒ２よりも小さい場合、サイドライン５を撮影するカメラ１０による映像７０については判定対象ラインをサイドライン５とする。また、エンドライン６を撮影するカメラ１０による映像７０については判定対象ラインをエンドライン６とする。また、ライン選択部５６は、球ＢＬ１の画像の直径Ｒ１が比較用画像ＢＬ２の直径Ｒ２以上の場合、サイドライン５を撮影するカメラ１０による映像７０については判定対象ラインをエンドライン６とする。また、エンドライン６を撮影するカメラ１０による映像７０については判定対象ラインをサイドライン５とする。以上によりステップＳ６０が終了し、ステップＳ４０に移行する。

ステップＳ４０において、映像選択部５４は、ライン選択部５６の選択結果に基づいて、判定対象ラインがサイドライン５及びエンドライン６のいずれであるかを判断する。つまり、ライン選択部５６が判定対象ラインをサイドライン５とした場合、映像選択部５４は、判定対象ラインがサイドライン５であると判断する。また、ライン選択部５６が判定対象ラインをエンドライン６とした場合、映像選択部５４は、判定対象ラインがエンドライン６であると判断する。その後、映像選択部５４は、第１実施形態と同様に、選択された判定対象ラインを撮影した複数の映像７０を検出し、当該選択された判定対象ラインを撮影した複数の映像７０のうち、反転時での球ＢＬ１の移動速度のＸ成分が最も大きい値となる映像７０を選択する。その後、ハイライト表示制御部５５により、第１実施形態と同様にステップＳ５０を行う。

以上のように、本実施形態に係る判定補助処理装置１４０は、球ＢＬ１の画像と予め設定された比較用画像ＢＬ２とに基づいて、判定対象ラインを選択するライン選択部５６を更に備える。これにより、審判等の操作者が判定対象ラインを選択する手間を省くことができるため、インアウト判定をより短時間で行うことができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記の判定補助処理装置４０、１４０は、ハイライト表示８１、８２を行わせた後、映像表示制御部５１において、映像７０のうち反転時の時刻ｔ２の前後所定時間を含む部分を表示部３０に再生させてもよい。これにより、審判等の判断に有効な場面を抜き出して表示部３０に表示させることができるため、インアウト判定に要する時間を短縮化することが可能となる。

Ａ１，Ａ２，Ａ３…速度ベクトル、Ａ２，Ｂ２，Ｃ２…反転速度ベクトル、Ｇ…重心、ＢＬ、ＢＬ１…球、ＦＬ，２…床部、ＤＴ１，ＤＴ２…移動情報、Ｘ_Ａ１，Ｘ_Ａ２，Ｘ_Ａ３…Ｘ成分、Ｙ_Ａ１，Ｙ_Ａ２，Ｙ_Ａ３…Ｙ成分、１…試合会場、３…コート、３ａ…第１ゾーン、３ｂ…第２ゾーン、４…ライン、５，５ａ，５ｂ…サイドライン、６，６ａ，６ｂ…エンドライン、７…ネット、８ａ…１階席、８ｂ…２階席、９…審判席、１０〜１８…カメラ、２０…入力部、３０…表示部、３０ａ…第１表示部、３０ｂ…第２表示部、３９…選択ボタン、３９ａ…サイドライン選択ボタン、３９ｂ…エンドライン選択ボタン、４０…判定補助処理装置、５０…制御部、５１…映像表示制御部、５２…移動情報抽出部、５３…反転時情報抽出部、５４…映像選択部、５５…ハイライト表示制御部、６０…記憶部、６１…映像記憶部、６２…移動情報記憶部、６２ａ…識別情報、６２ｂ…時刻情報，Ｘ方向データ、６２ｃ…Ｘ方向情報、６２ｄ…Ｙ方向情報、６２ｅ…反転情報、６２ｆ…映像情報、６２ｇ…順序情報、６３…ハイライト表示情報記憶部、７０〜７８…映像、８１，８２…ハイライト表示、１００…判定補助システム。

Claims (8)

1. 互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させる映像表示制御部と、
   前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出する移動情報抽出部と、
   前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出する反転時情報抽出部と、
   前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択する映像選択部と、
   前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行うハイライト表示制御部と
   を備える判定補助処理装置。
2. 前記映像及び前記移動情報を記憶可能な記憶部を更に備える
   請求項１に記載の判定補助処理装置。
3. 前記反転時情報抽出部は、前記反転時における前記球の移動速度の前記第２方向の成分の大きさと、前記反転時の時刻とを対応付けて抽出し、
   前記映像表示制御部は、前記映像のうち前記反転時の時刻の前後所定時間を含む部分を前記表示部に表示させる
   請求項１又は請求項２に記載の判定補助処理装置。
4. 複数の前記カメラは、前記ラインのうちサイドラインを撮影する複数の前記カメラと、前記サイドラインに直交するエンドラインを撮影する複数の前記カメラとを有し、
   前記映像選択部は、前記サイドライン及び前記エンドラインのうち一方の判定対象ラインが選択された場合、前記判定対象ラインを撮影した複数の前記映像のうち、前記反転時での前記球の移動速度の前記第２方向の成分が最も大きい値となる前記映像を選択する
   請求項１から請求項３のいずれか一項に記載の判定補助処理装置。
5. 前記反転時の前記球の画像と予め設定された比較用の画像とに基づいて、前記判定対象ラインを選択するライン選択部を更に備える
   請求項４に記載の判定補助処理装置。
6. 互いに異なる角度から球技のコートのラインを撮影する複数のカメラと、
   複数の前記カメラで撮影した映像を表示可能な表示部と、
   前記表示部に表示される前記映像に基づいて、球の落下点が前記コートの内か外かの判定を行う際の判定補助処理を行う請求項１から請求項５のいずれか一項に記載の判定補助処理装置と
   を備える判定補助システム。
7. 互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させることと、
   前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出することと、
   前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出することと、
   前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択することと、
   前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行うことと
   を備える判定補助方法。
8. 互いに異なる角度から複数のカメラで撮影した球技のコートのラインの映像を表示部に並べて表示させる処理と、
   前記表示部に表示される複数の前記映像内で球を検出し、前記映像内での前記球の移動速度及び移動方向を示す移動情報を抽出する処理と、
   前記球の移動方向が前記映像内の第１方向において反転するかを検出し、反転時における前記球の移動速度のうち前記第１方向に直交する第２方向の成分の大きさを少なくとも抽出する処理と、
   前記反転時における前記球の移動速度の前記第２方向の成分の大きさに基づいて、前記表示部に表示される複数の前記映像から１つ以上の前記映像を選択する処理と、
   前記表示部に表示される複数の前記映像から選択された１つ以上の前記映像に対してハイライト表示を行う処理と
   をコンピュータに実行させる判定補助プログラム。

Images