JP2018153373A - 球速計測システムおよび球速計測方法 - Google Patents

球速計測システムおよび球速計測方法 Download PDF

Info

Publication number
JP2018153373A
JP2018153373A JP2017052037A JP2017052037A JP2018153373A JP 2018153373 A JP2018153373 A JP 2018153373A JP 2017052037 A JP2017052037 A JP 2017052037A JP 2017052037 A JP2017052037 A JP 2017052037A JP 2018153373 A JP2018153373 A JP 2018153373A
Authority
JP
Japan
Prior art keywords
ball
image
ball speed
measurement
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017052037A
Other languages
English (en)
Other versions
JP6722610B2 (ja
Inventor
渉 寺林
Wataru Terabayashi
渉 寺林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Frontech Ltd filed Critical Fujitsu Frontech Ltd
Priority to JP2017052037A priority Critical patent/JP6722610B2/ja
Publication of JP2018153373A publication Critical patent/JP2018153373A/ja
Application granted granted Critical
Publication of JP6722610B2 publication Critical patent/JP6722610B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】適当な球速を計測すること。【解決手段】球速計測システムは、情報処理装置1と撮影装置2とを有する。撮影装置2は、投手と捕手とを撮影可能な位置に設置される。情報処理装置1は、投手が投げたボールを含む第1の画像4を撮影装置2から取得し、第1の画像4に設定した計測区間内にボールが存在する場合に撮影装置2から撮影時刻の異なる所定数のボールを含む画像を取得し、第1の画像4内のボールの位置と所定数のボールを含む画像のうち撮影装置2が最後に撮影した第2の画像7内のボールの位置とに基づいて移動距離を算出し、算出した移動距離と撮影装置2が第1の画像4を撮影したときから第2の画像7を撮影するまでの撮影時間とに基づいてボールの球速を特定する。【選択図】図1

Description

本発明は、球速計測システムおよび球速計測方法に関する。
人気のスポーツとして野球が挙げられる。野球では、スピードガンが投手の投げるボールの球速を計測している。ここで、野球に関する技術が提案されている。例えば、ピッチング分析支援システムは、投手と打者との対戦映像を利用し、投手のピッチングを分析する。
特開2015−154890号公報
ところで、スピードガンは、審判の後方向に設置される場合が多い。スピードガンは、審判が障害物になり、球速を誤計測するため、審判が障害物にならない位置に設置される。例えば、スピードガンは、審判の後右方向に設置される。しかし、スピードガンを審判の後右方向に設置し、左打者が打席に立った場合、左打者が障害物となるため、スピードガンは、球速を誤計測する。同様に、スピードガンを審判の後左方向に設置し、右打者が打席に立った場合、右打者が障害物となるため、スピードガンは、球速を誤計測する。また、スピードガンは、様々な電波の影響を受けることで、球速を誤計測する。
1つの側面では、本発明は、適当な球速を計測できる球速計測システムおよび球速計測方法を提供することを目的とする。
1つの態様では、球速計測システムが提供される。この球速計測システムは、撮影装置と情報処理装置とを有する。撮影装置は、投手と捕手とを撮影可能な位置に設置される。情報処理装置は、投手が投げたボールを含む第1の画像を撮影装置から取得し、第1の画像に設定した計測区間内にボールが存在する場合に撮影装置から撮影時刻の異なる所定数のボールを含む画像を取得し、第1の画像内のボールの位置と所定数のボールを含む画像のうち撮影装置が最後に撮影した第2の画像内のボールの位置とに基づいて移動距離を算出し、算出した移動距離と撮影装置が第1の画像を撮影したときから第2の画像を撮影するまでの撮影時間とに基づいてボールの球速を特定する。
また、1つの態様では、球速計測方法が提供される。この球速計測方法は、コンピュータが、投手と捕手とを撮影可能な位置に設置される撮影装置から投手が投げたボールを含む第1の画像を取得し、第1の画像に設定した計測区間内にボールが存在する場合に撮影装置から撮影時刻の異なる所定数のボールを含む画像を取得し、第1の画像内のボールの位置と所定数のボールを含む画像のうち撮影装置が最後に撮影した第2の画像内のボールの位置とに基づいて移動距離を算出し、算出した移動距離と撮影装置が第1の画像を撮影したときから第2の画像を撮影するまでの撮影時間とに基づいてボールの球速を特定する。
1つの側面では、適当な球速を計測できる。
第1の実施の形態の球速計測システムを示す図である。 第2の実施の形態の球速計測システムを示す図(その1)である。 第2の実施の形態の球速計測システムを示す図(その2)である。 第2の実施の形態の制御装置のハードウェア例を示す図である。 第2の実施の形態の制御装置の機能例を示す図である。 第2の実施の形態の球速テーブルの例を示す図である。 第2の実施の形態の準備段階を説明するための図である。 第2の実施の形態のマスク処理などの具体例を示す図である。 第2の実施の形態の移動距離を説明するための図(その1)である。 第2の実施の形態の移動距離を説明するための図(その2)である。 第2の実施の形態の移動距離を説明するための図(その3)である。 第2の実施の形態の球速計測システムで実行される処理の例を示すシーケンス図である。 第2の実施の形態の準備段階処理の例を示すフローチャートである。 第2の実施の形態の計測処理の例を示すフローチャートである。 第3の実施の形態の球速計測システムを示す図(その1)である。 第3の実施の形態の球速計測システムを示す図(その2)である。 第3の実施の形態の球速計測システムで実行される処理の例を示すシーケンス図である。 第3の実施の形態の計測処理の例を示すフローチャート(その1)である。 第3の実施の形態の計測処理の例を示すフローチャート(その2)である。
以下、本実施の形態について図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態の球速計測システムを示す図である。球速計測システムは、情報処理装置1と撮影装置2とを有する。情報処理装置1と撮影装置2とは、互いにネットワークを介して接続する。
撮影装置2は、例えば、ハイスピードカメラである。撮影装置2は、野球またはソフトボールを行う投手と捕手とを撮影可能な位置に設置される。例えば、撮影装置2は、投手の位置と捕手の位置とを結ぶ直線に垂直する方向に設置される。例えば、撮影装置2は、競技場3の1塁側、3塁側、または上方から投手と捕手とを撮影可能な位置に設置される。
情報処理装置1は、投手が投げたボール6を含む第1の画像4を撮影装置2から取得する。情報処理装置1は、第1の画像4に計測区間を設定する。例えば、情報処理装置1は、第1の画像4に線5a,5bを挿入し、計測区間を設定する。なお、情報処理装置1は、撮影装置2から取得する画像に設定する計測区間の位置を予め決めておく。
情報処理装置1は、計測区間内にボール6が存在するか否かを判定する。情報処理装置1は、計測区間内にボール6が存在する場合に撮影装置2から撮影時刻の異なる所定数のボール6を含む画像を取得する。なお、撮影時刻の異なる所定数のボール6を含む画像は、撮影装置2が第1の画像4を撮影した後に撮影した画像である。
図1には、撮影時刻の異なる所定数のボール6を含む画像のうち撮影装置2が最後に撮影した第2の画像7を示している。第2の画像7内のボール6aは、撮影装置2が第2の画像7を撮影した時点のボール6である。なお、情報処理装置1は、第2の画像7に計測区間を設定してもよい。
情報処理装置1は、第1の画像4内のボール6の位置と第2の画像7内のボール6aの位置とに基づいて移動距離を算出する。情報処理装置1は、算出した移動距離と撮影装置2が第1の画像4を撮影したときから第2の画像7を撮影するまでの撮影時間とに基づいて球速を特定する。
情報処理装置1は、撮影時間について、1画像あたりの撮影装置2が撮影にかかる時間と、第1の画像4から第2の画像7までの画像数とに基づいて、撮影装置2が第1の画像4を撮影したときから第2の画像7を撮影するまでの撮影時間を特定してもよい。
情報処理装置1は、球速を特定する際、移動距離を実際の距離に変換した距離と撮影時間とに基づいて球速を特定してもよい。この場合、情報処理装置1は、実際の距離に対する移動距離の倍率を記憶する。また、情報処理装置1は、球速を特定する際、移動距離と球速との対応関係を示す球速情報を予め記憶し、球速情報を参照して、算出した移動距離に対応する球速を特定してもよい。
情報処理装置1は、特定した球速をスコアボードなどの表示装置に表示させる。
第1の実施の形態によれば、球速計測システムは、左打者または右打者が打席に立ったとしても球速の計測に影響しない。また、球速計測システムは、様々な電波による影響が球速の計測に影響しない。そのため、球速計測システムは、適当な球速を計測できる。
また、情報処理装置1は、撮影時刻の異なる所定数のボール6を含む画像のうち撮影装置2が最初に撮影した画像内のボール6の位置と、第2の画像7内のボール6aの位置とに基づいて移動距離を算出してもよい。この場合、情報処理装置1は、算出した移動距離と、撮影時刻の異なる所定数のボール6を含む画像のうち撮影装置2が最初に撮影した画像を撮影装置2が撮影したときから第2の画像7を撮影するまでの撮影時間とに基づいて球速を特定する。情報処理装置1は、特定した球速を表示装置に表示させる。
[第2の実施の形態]
図2は、第2の実施の形態の球速計測システムを示す図(その1)である。球速計測システムは、野球場に構築される。野球場には、制御室10、カメラ200、スコアボード300、バックネット400が設置される。
制御室10は、例えば、バックネット400の付近に設置される。カメラ200は、投手が投げたボールを撮影する。例えば、カメラ200は、ハイスピードカメラである。カメラ200は、投手と捕手とを撮影可能な位置に設置される。例えば、カメラ200は、1塁側または3塁側に設置される。カメラ200は、天井に設置され、かつ投手と捕手とを撮影可能な位置に設置されてもよい。スコアボード300は、投手が投げたボールの球速を表示する。
図3は、第2の実施の形態の球速計測システムを示す図(その2)である。球速計測システムは、制御装置100、カメラ200、スコアボード300を含む。制御装置100、カメラ200、スコアボード300は、互いにネットワークを介して接続されている。例えば、ネットワークは、LAN(Local Area Network)である。
制御装置100は、制御室10に設置されている。制御装置100は、野球を行う投手および捕手をカメラ200が撮影した画像を取得する。制御装置100は、取得した画像を基に球速を計測する。制御装置100は、球速をスコアボード300に表示させる。これにより、スコアボード300は、球速を表示することができる。
また、制御装置100は、ディスプレイ11と接続する。例えば、ディスプレイ11は、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイなど各種のディスプレイである。ディスプレイ11は、カメラ200が撮影した画像を表示することができる。
次に、制御装置100のハードウェアについて説明する。
図4は、第2の実施の形態の制御装置のハードウェア例を示す図である。制御装置100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、画像信号処理部104、入力信号処理部105、読み取り装置106および通信インタフェース107,107aを有する。各ユニットが制御装置100のバスに接続されている。
プロセッサ101は、制御装置100全体を制御する。プロセッサ101は、複数のプロセッシング要素を含むマルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)またはFPGA(Field Programmable Gate Array)などである。また、プロセッサ101は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。
RAM102は、制御装置100の主記憶装置である。RAM102は、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、RAM102は、プロセッサ101による処理に用いる各種データを記憶する。
HDD103は、制御装置100の補助記憶装置である。HDD103は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。制御装置100は、フラッシュメモリやSSD(Solid State Drive)などの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。
画像信号処理部104は、プロセッサ101からの命令に従って、制御装置100に接続されたディスプレイ11に画像を出力する。
入力信号処理部105は、制御装置100に接続された入力デバイス12から入力信号を取得し、プロセッサ101に出力する。入力デバイス12としては、マウスやタッチパネルなどのポインティングデバイスやキーボードなどの各種の入力デバイスを用いることができる。制御装置100には、複数の種類の入力デバイスが接続されてもよい。
読み取り装置106は、記録媒体13に記録されたプログラムやデータを読み取る装置である。記録媒体13として、例えば、フレキシブルディスク(FD:Flexible Disk)やHDDなどの磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク(MO:Magneto-Optical disk)を使用できる。また、記録媒体13として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。読み取り装置106は、例えば、プロセッサ101からの命令に従って、記録媒体13から読み取ったプログラムやデータをRAM102またはHDD103に格納する。
通信インタフェース107は、カメラ200と通信を行う。通信インタフェース107aは、スコアボード300と通信を行う。
次に、制御装置100が有する機能について説明する。
図5は、第2の実施の形態の制御装置の機能例を示す図である。制御装置100は、記憶部110、準備制御部120、取得部130、計測部140および表示指示部150を有する。
記憶部110は、例えば、RAM102またはHDD103に確保した記憶領域として実装される。記憶部110は、球速テーブルを記憶する。球速テーブルは、球速を特定する際に用いられる。また、記憶部110は、カメラ200が1秒あたり何フレームを撮影するかという情報を記憶する。
準備制御部120、取得部130、計測部140および表示指示部150は、例えば、プロセッサ101が実行するプログラムのモジュールとして実装される。
準備制御部120は、球速を計測する前の準備段階の処理を行う。例えば、準備制御部120は、カメラ200から取得する画像に設定する計測区間を決定する。準備制御部120は、球速テーブルを作成する。球速テーブルの作成については、後で詳細に説明する。
取得部130は、カメラ200が撮影した画像を取得する。計測部140は、取得部130が取得した画像に計測区間を設定する。計測区間を設定後、計測部140は、画像にマスク処理を行う。マスク処理については、後で詳細に説明する。計測部140は、画像の計測区間内にボールが存在するか否かを判定する。計測部140は、計測区間内にボールが存在する場合、サンプリングを開始する。計測部140は、サンプリングで撮影時刻の異なる所定数の画像をカメラ200から取得する。所定数は、制御装置100がカメラ200から所定の時間内(例えば、16.6ms)に取得できる画像数に基づいて決定してもよい。計測部140は、撮影時刻の異なる所定数の画像をカメラ200から取得した場合、サンプリングを終了する。
計測部140は、計測区間内にボールが存在している画像内のボールの位置からサンプリングで最後に取得した画像内のボールの位置までの移動距離を算出する。計測部140は、球速テーブルを参照し、移動距離に対応する球速を特定する。表示指示部150は、球速の表示をスコアボード300に指示する。
次に、記憶部110に格納される情報について説明する。
図6は、第2の実施の形態の球速テーブルの例を示す図である。球速テーブル111は、記憶部110に格納される。球速テーブル111は、球速、移動距離の項目を含む。球速の項目は、球速を示す。球速の項目の単位は、km/hである。移動距離の項目は、計測区間内にボールが存在する画像内のボールの位置からサンプリングで最後に取得した画像内のボールの位置までの距離を示す。移動距離の項目の単位は、cmである。
例えば、球速テーブル111は、球速が“180”、移動距離が“415−”を示す。これは、移動距離が“415”cm以上の場合、球速が“180”km/hであることを示す。
また、例えば、球速テーブル111は、球速が“161”、移動距離が“371−373”を示す。これは、移動距離が“371”cmから“373”cmの範囲に属する場合、球速が“161”km/hであることを示す。
次に、球速を計測する前の準備段階について説明する。
図7は、第2の実施の形態の準備段階を説明するための図である。準備制御部120は、ユーザの操作により計測区間を決定する。また、準備制御部120は、実際の距離に対する計測区間の倍率を算出する。
例えば、ユーザは、野球場に2つのポールを置く。ユーザは、2つのポールの間隔を12mにする。準備制御部120は、カメラ200が撮影した2つのポールを含む画像500を取得する。準備制御部120は、ユーザの操作により、2つのポールの間隔(12m)を計測区間に設定する。これにより、準備制御部120は、計測区間を決定する。なお、計測区間は、画像内のマウンド付近に設定されるが、適当な球速を計測できる区間であればどこでもよい。計測区間を決定後、準備制御部120は、画像500内の計測区間の長さが2つのポールの間隔(12m)の何倍であるかを算出する。これにより、準備制御部120は、実際の距離に対する計測区間の倍率を算出できる。
また、準備制御部120は、倍率について、次のように算出してもよい。投手の投げる位置から打者の位置までが18.44mなので、準備制御部120は、カメラ200が撮影した画像500の1画素あたり何メートル(実際の距離)に相当するのかを算出する。そして、制御装置100は、画像500内の計測区間の長さが実際の距離の何倍であるかを算出してもよい。
準備制御部120は、算出した倍率を用いて、球速テーブル111を作成する。例えば、準備制御部120は、算出した倍率を用いて、各移動距離を実際の距離に変換する。準備制御部120は、カメラ200が1秒あたり何フレームを撮影するかという情報から1画像あたりのカメラ200が撮影にかかる時間を特定する。準備制御部120は、1画像あたりのカメラ200が撮影にかかる時間とサンプリングの画像数とに基づいて、計測区間内にボールが存在している画像を仮にカメラ200が撮影してからサンプリングで最後に取得する画像を撮影するまでの撮影時間を算出する。例えば、準備制御部120は、カメラ200が1秒あたり60フレームを撮影するという情報とサンプリングの5つの画像とに基づいて、計測区間内にボールが存在している画像(1枚目)を仮にカメラ200が撮影してからカメラ200が5枚目の画像を撮影するまでの撮影時間を算出する。準備制御部120は、各移動距離に対応する実際の距離と撮影時間とに基づいて、球速テーブル111を作成する。これにより、制御装置100は、球速の計測時に、移動距離を算出し、球速テーブル111を参照すれば、球速を特定することができる。すなわち、制御装置100は、球速の計測時に、移動距離を算出した後、算出した移動距離を実際の距離に変換し、撮影時間と実際の距離とに基づいて球速を算出しなくて済む。よって、制御装置100は、球速テーブル111を事前に作成しておくことで、球速の計測時における制御装置100の処理負荷を軽減することができる。
ここで、カメラ200から取得した画像は、2次元座標(X、Y座標)で表すことができる。1画素が1座標に対応するものとする。カメラ200が撮影した画像にボールが含まれている場合、ボールの位置は、座標で特定できる。
次に、球速の計測段階で行うマスク処理などについて、説明する。
図8は、第2の実施の形態のマスク処理などの具体例を示す図である。取得部130は、カメラ200が撮影した画像510を取得する。計測部140は、線510aと線510bとを画像510に挿入し、計測区間を設定する。計測区間は、準備制御部120が準備段階で決定したものである。
画像510は、全体エリア510cと計測エリア510dを含む。すなわち、全体エリア510cは、画像510のうち計測エリア510d以外の領域である。計測部140は、球速の計測に関係のない情報が全体エリア510cに含まれているため、マスク処理を実行する。例えば、球速の計測に関係のない情報とは、観客や風景などである。計測部140は、例えば、輝度の濃淡、色調の調整を行い、全体エリア510cをマスクする。図8の上図は、画像510の全体エリア510cにマスク処理を実行した後の状態を示している。
計測エリア510dのうち計測区間内には、広告などが存在する。計測部140は、計測区間内に存在するボールが広告などと重なった場合、ボールの正確な位置を特定しにくくなる。そこで、計測部140は、計測エリア510dのうち、ボール510e以外の領域をマスクする。例えば、計測部140は、物体認識技術を用いて、計測エリア510dからボール510eを検出する。例えば、物体認識技術は、特定物体認識技術である。物体認識技術は、一般物体認識技術でもよい。計測部140は、ボール510eを除き、計測エリア510dにマスク処理を実行する。例えば、計測部140は、ルミナンスキーを用いて、計測エリア510dにマスク処理を実行する。計測部140は、計測エリア510dのマスク色を全体エリア510cのマスク色よりも濃くしてもよい。計測部140は、ボール510eの色調、輪郭を強調する。例えば、計測部140は、ボール510eの白色を明確にする。図8の下図は、ボール510eを除き、計測エリア510dにマスク処理を実行した後の状態を示している。このように、計測部140は、計測エリア510dに対してマスク処理を実行することで、ボールの正確な位置を特定できる。
次に、移動距離について、具体例を用いて説明する。なお、移動距離を分かりやすくするために、具体例で示す画像には、上記の全体エリアおよび計測エリアに対するマスクを除去している。すなわち、実際には、具体例で示す画像の全体エリアおよび計測エリア(ボールを除く)は、マスクされている。
図9は、第2の実施の形態の移動距離を説明するための図(その1)である。取得部130は、カメラ200が撮影した画像600を取得する。図9(A)の画像600は、投球前の状態を示している。
取得部130は、カメラ200が撮影した画像601を取得する。計測部140は、画像601に計測区間を設定する。計測部140は、物体認識技術を用いて、ボールを検出する。計測部140は、計測区間内にボールが存在することを検出する。図9(B)は、画像601の計測区間内にボールが存在する状態を示している。また、図9(B)は、ボールのX座標が位置601aであることを示す。
計測部140は、サンプリングを開始する。なお、具体例では、サンプリングとしてカメラ200から画像を5枚取得するものとする。また、計測区間内にボールが存在することを検出した画像601をサンプリングの1枚目とする。
図10は、第2の実施の形態の移動距離を説明するための図(その2)である。図10(A)は、サンプリングの2枚目の画像602を示す。また、図10(A)は、ボールのX座標が位置602aであることを示す。図10(B)は、サンプリングの5枚目の画像603を示す。また、図10(B)は、ボールのX座標が位置603aであることを示す。
図11は、第2の実施の形態の移動距離を説明するための図(その3)である。図11は、サンプリングの5枚目の画像603にサンプリングの1枚目のボールを含めた画像604を示している。
計測部140は、サンプリングの1枚目のボールのX座標を示す位置601aとサンプリングの5枚目のボールのX座標を示す位置603aとの差分と、1座標(1画素)あたりの長さとにより移動距離を算出する。
なお、図11は、移動距離を説明するために、サンプリングの1枚目のボールを画像603に含めた画像604を示した。しかし、実際には、サンプリングの1枚目のボールを画像603に含めなくてよい。
次に、制御装置100とカメラ200とスコアボード300との間で行われる主な処理を、シーケンス図を用いて説明する。
図12は、第2の実施の形態の球速計測システムで実行される処理の例を示すシーケンス図である。以下、図12に示す処理をステップ番号に沿って説明する。
(ST101)カメラ200は、撮影した画像を制御装置100に送信する。
(ST102)制御装置100は、画像を取得する。制御装置100は、画像に計測区間を設定する。制御装置100は、画像にマスク処理を行う。制御装置100は、計測区間内にボールが存在していることを検出する。
(ST103)制御装置100は、サンプリングを開始する。
(ST104)カメラ200は、撮影した画像を制御装置100に送信する。
(ST105)制御装置100は、所定数の画像を取得した場合、サンプリングを終了する。また、制御装置100は、所定数の画像に計測区間を設定する。さらに、制御装置100は、所定数の画像にマスク処理を行う。
(ST106)制御装置100は、所定数の画像に基づいて移動距離を算出する。制御装置100は、球速テーブル111を参照し、移動距離に対応する球速を特定する。
(ST107)制御装置100は、球速の表示をスコアボード300に指示する。
(ST108)スコアボード300は、球速を表示する。
次に、制御装置100が実行する処理について、フローチャートを用いて説明する。
図13は、第2の実施の形態の準備段階処理の例を示すフローチャートである。以下、図13に示す処理をステップ番号に沿って説明する。
(S11)準備制御部120は、ユーザの操作により計測区間を決定する。
(S12)準備制御部120は、実際の距離に対する計測区間の倍率を算出する。
(S13)準備制御部120は、ボールに関する情報を記憶部110に格納する。例えば、準備制御部120は、ボールの色、球体であること、算出した倍率に基づくボールの大きさを記憶部110に格納する。
なお、計測部140は、カメラ200から取得した画像内にボールが存在するか否かを判定する際に特定物体認識技術を用いる場合、記憶部110に格納したボールに関する情報を用いる。
(S14)準備制御部120は、算出した倍率を用いて、球速テーブル111を作成する。すなわち、準備制御部120は、図7で説明したように、算出した倍率を用いて、球速テーブル111を作成する。準備制御部120は、球速テーブル111を記憶部110に格納する。
図14は、第2の実施の形態の計測処理の例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。
(S21)取得部130は、カメラ200が撮影した画像を取得する。
(S22)計測部140は、画像に計測区間を設定する。
(S23)計測部140は、画像の全体エリアをマスクする。
(S24)計測部140は、物体認識技術を用いて、計測エリアにボールが存在するか否かを検索する。計測部140は、ボールを検索できた場合、画像の計測エリアのうち、ボールを除いてマスクする。また、計測部140は、ボールを検索できなかった場合、画像の計測エリアをマスクする。
(S25)計測部140は、ステップS24でボールを検索できた場合、ボールの色調、輪郭を強調する。また、計測部140は、ステップS24でボールを検索できなかった場合、ステップS25をスキップする。
(S26)計測部140は、計測区間内にボールが存在するか否かを判定する。ボールが存在しない場合(S26のNo)、計測部140は、処理を終了する。ボールが存在する場合(S26のYes)、計測部140は、サンプリングを開始する。そして、計測部140は、処理をステップS27に進める。
(S27)計測部140は、カメラ200から撮影時刻の異なる所定数の画像を取得したか否かを判定する。例えば、所定数は、5である。なお、計測区間内にボールが存在すると最初に判定した画像を1とする。すなわち、所定数が5の場合、計測部140は、カメラ200から撮影時刻の異なる4つの画像を取得する。
所定数の画像を取得した場合(S27のYes)、計測部140は、処理をステップS28に進める。所定数の画像を取得していない場合(S27のNo)、計測部140は、処理をステップS21に進める。
(S28)計測部140は、計測区間内にボールが存在すると最初に判定した画像内のボールのX座標(以下、第1の座標)を特定する。計測部140は、所定数の画像のうちカメラ200が最後に撮影した画像内のボールのX座標(以下、第2の座標)を特定する。計測部140は、第1の座標と第2の座標との差分と、1座標あたりの長さとにより移動距離を算出する。
(S29)計測部140は、球速テーブル111を参照し、移動距離に対応する球速を特定する。例えば、計測部140は、移動距離が369cmの場合、球速テーブル111を参照し、球速“160km/h”を特定する。
ここで、計測部140は、球速を補正してもよい。例えば、計測部140は、球速に対して補正値(例えば、−1km/h)を適用する。補正値は、試合を行っていない状態(障害物がない状態)で捕手の後にスピードガンを設置し、投手が投げたボールをスピードガンで計測した球速に基づいて決定される。例えば、計測部140は、ステップS29で特定した球速が“160km/h”、補正値が“−1km/h”の場合、球速を“159km/h”とする。
(S30)表示指示部150は、球速の表示をスコアボード300に指示する。これにより、スコアボード300は、球速を表示できる。
また、表示指示部150は、マスク処理がされている所定数の画像をディスプレイ11に表示させてもよい。
第2の実施の形態によれば、球速計測システムは、左打者または右打者が打席に立ったとしても球速の計測に影響しない。また、球速計測システムは、様々な電波による影響が球速の計測に影響しない。そのため、球速計測システムは、適当な球速を計測できる。
[第3の実施の形態]
次に、第3の実施の形態を説明する。前述の第2の実施の形態との相違する事項を主に説明し、共通する事項の説明を省略する。
第3の実施の形態では、2つのカメラが野球場に設置される。制御装置100は、2つのカメラが撮影した画像に基づいて球速を決定する。
図15は、第3の実施の形態の球速計測システムを示す図(その1)である。野球場には、制御室10、カメラ200,200a、スコアボード300、バックネット400が設置される。カメラ200,200aは、投手が投げた野球ボールを撮影する。例えば、カメラ200,200aは、ハイスピードカメラである。また、カメラ200は、1塁側に設置される。カメラ200aは、3塁側に設置される。
図16は、第3の実施の形態の球速計測システムを示す図(その2)である。球速計測システムは、制御装置100、カメラ200,200a、スコアボード300を含む。制御装置100、カメラ200,200a、スコアボード300は、互いにネットワークを介して接続されている。また、制御装置100は、カメラ200aと通信するための通信インタフェースを有する。
制御装置100は、野球を行う投手および捕手をカメラ200,200aが撮影した画像を取得する。制御装置100は、取得した画像を基に球速を決定する。制御装置100は、球速をスコアボード300に表示させる。
また、制御装置100は、ディスプレイ11,11aと接続する。ディスプレイ11は、カメラ200が撮影した画像を表示することができる。ディスプレイ11aは、カメラ200aが撮影した画像を表示することができる。
次に、制御装置100とカメラ200,200aとスコアボード300との間で行われる主な処理を、シーケンス図を用いて説明する。
図17は、第3の実施の形態の球速計測システムで実行される処理の例を示すシーケンス図である。以下、図17に示す処理をステップ番号に沿って説明する。
(ST111)カメラ200は、撮影した画像を制御装置100に送信する。
(ST112)カメラ200aは、撮影した画像を制御装置100に送信する。
(ST113)制御装置100は、カメラ200,200aから画像を取得する。制御装置100は、カメラ200,200aから取得した画像に計測区間を設定する。なお、カメラ200,200aから取得した画像に設定する計測区間の長さおよび設定する位置は、同じである。制御装置100は、計測区間内にボールが存在していることを検出する。
(ST114)制御装置100は、サンプリングを開始する。
(ST115)カメラ200は、撮影した画像を制御装置100に送信する。
(ST116)カメラ200aは、撮影した画像を制御装置100に送信する。
(ST117)制御装置100は、カメラ200,200aそれぞれから所定数の画像を取得した場合、サンプリングを終了する。
(ST118)制御装置100は、カメラ200から取得した所定数の画像に基づいて移動距離を算出する。制御装置100は、球速テーブル111を参照し、移動距離に対応する球速を特定する。また、制御装置100は、カメラ200aから取得した所定数の画像に基づいて移動距離を算出する。制御装置100は、球速テーブル111を参照し、移動距離に対応する球速を特定する。制御装置100は、それぞれ特定した球速に基づいて球速を決定する。球速の決定については、後で説明する。
(ST119)制御装置100は、球速の表示をスコアボード300に指示する。
(ST120)スコアボード300は、球速を表示する。
図18は、第3の実施の形態の計測処理の例を示すフローチャート(その1)である。以下、図18に示す処理をステップ番号に沿って説明する。なお、図18では、ステップS31〜S37の処理をカメラ200から取得する画像に対する処理について説明するが、カメラ200aから取得する画像に対する処理についても同様である。
(S31)取得部130は、カメラ200(カメラ200a)が撮影した画像を取得する。
(S32)計測部140は、カメラ200(カメラ200a)が撮影した画像に計測区間を設定する。
(S33)計測部140は、カメラ200(カメラ200a)が撮影した画像の全体エリアをマスクする。
(S34)計測部140は、物体認識技術を用いて、カメラ200(カメラ200a)が撮影した画像の計測エリアにボールが存在するか否かを検索する。計測部140は、ボールを検索できた場合、画像の計測エリアのうち、ボールを除いてマスクする。また、計測部140は、ボールを検索できなかった場合、画像の計測エリアをマスクする。
(S35)計測部140は、ステップS34でボールを検索できた場合、ボールの色調、輪郭を強調する。また、計測部140は、ステップS34で計測エリアにボールを検索できなかった場合、ステップS35をスキップする。
(S36)計測部140は、計測区間内にボールが存在するか否かを判定する。ボールが存在しない場合(S36のNo)、計測部140は、処理を終了する。ボールが存在する場合(S36のYes)、計測部140は、サンプリングを開始する。そして、計測部140は、処理をステップS37に進める。
(S37)計測部140は、カメラ200(カメラ200a)から所定数の画像を取得したか否かを判定する。例えば、所定数は、5である。なお、計測区間内にボールが存在すると最初に判定した画像を1とする。所定数の画像を取得した場合(S37のYes)、計測部140は、処理をステップS38に進める。所定数の画像を取得していない場合(S37のNo)、計測部140は、処理をステップS31に進める。
(S38)計測部140は、カメラ200およびカメラ200aから所定数の画像を取得したか否かを判定する。各カメラから所定数の画像を取得した場合(S38のYes)、計測部140は、処理をステップS41に進める。各カメラから所定数の画像を取得していない場合(S38のNo)、計測部140は、処理をステップS31に進める。
図19は、第3の実施の形態の計測処理の例を示すフローチャート(その2)である。以下、図19に示す処理をステップ番号に沿って説明する。
(S41)計測部140は、カメラ200から取得した所定数の画像のうち計測区間内にボールが存在すると最初に判定した画像内のボールのX座標(以下、第3の座標)を特定する。計測部140は、カメラ200から取得した所定数の画像のうちカメラ200が最後に撮影した画像内のボールのX座標(以下、第4の座標)を特定する。計測部140は、第3の座標と第4の座標との差分と、1座標あたりの長さとにより移動距離を算出する。
計測部140は、カメラ200aから取得した所定数の画像のうち計測区間内にボールが存在すると最初に判定した画像内のボールのX座標(以下、第5の座標)を特定する。計測部140は、カメラ200aから取得した所定数の画像のうちカメラ200aが最後に撮影した画像内のボールのX座標(以下、第6の座標)を特定する。計測部140は、第5の座標と第6の座標との差分と、1座標あたりの長さとにより移動距離を算出する。
(S42)計測部140は、球速テーブル111を参照し、カメラ200から取得した所定数の画像に基づいて算出した移動距離に対応する球速を特定する。例えば、計測部140は、移動距離が369cmの場合、球速テーブル111を参照し、球速“160km/h”を特定する。
計測部140は、球速テーブル111を参照し、カメラ200aから取得した所定数の画像に基づいて算出した移動距離に対応する球速を特定する。例えば、計測部140は、移動距離が371cmの場合、球速テーブル111を参照し、球速“161km/h”を特定する。
ここで、計測部140は、球速を補正してもよい。計測部140は、球速に対して補正値(例えば、−1km/h)を適用する。例えば、計測部140は、カメラ200から取得した所定数の画像に基づいて特定した球速が“160km/h”、補正値が“−1km/h”の場合、球速を“159km/h”とする。計測部140は、カメラ200aから取得した所定数の画像に基づいて特定した球速が“161km/h”、補正値が“−1km/h”の場合、球速を“160km/h”とする。
(S43)計測部140は、それぞれの球速を基に平均値を算出する。計測部140は、平均値を球速と決定する。例えば、計測部140は、カメラ200から取得した所定数の画像に基づいて特定した球速“160km/h”と、カメラ200aから取得した所定数の画像に基づいて特定した球速“161km/h”とを基に平均値を算出する。計測部140は、平均値を四捨五入して、球速“161km/h”を算出する。計測部140は、算出した値である“161km/h”を球速に決定する。
なお、球速を補正している場合、計測部140は、それぞれの補正した球速を基に平均値を算出する。計測部140は、平均値を球速と決定する。
(S44)表示指示部150は、決定した球速の表示をスコアボード300に指示する。これにより、スコアボード300は、球速を表示できる。
また、表示指示部150は、カメラ200から取得した所定数の画像(マスク処理後)をディスプレイ11に表示させてもよい。表示指示部150は、カメラ200aから取得した所定数の画像(マスク処理後)をディスプレイ11aに表示させてもよい。
カメラ200が撮影した所定数の画像に基づいて球速を決定するよりもカメラ200,200aそれぞれが撮影した所定数の画像に基づいて球速を決定した方が、球速の精度が上がる。よって、第3の実施の形態によれば、球速計測システムは、カメラ200,200aそれぞれが撮影した所定数の画像に基づいて球速を決定することで球速の精度を上げることができる。
第2,3の実施の形態では、スコアボード300に球速を表示する場合を例示した。しかし、制御装置100は、スマートフォンなどの表示装置に球速を表示するように指示してもよい。
第2,3の実施の形態では、野球を行う投手が投げたボールの球速を計測する場合を例示した。しかし、第2,3の実施の形態は、野球以外のソフトボール、テニス、サッカーなどで使用されるボールの球速を計測する場合に適用することができる。例えば、サッカー選手が蹴ったサッカーボールの球速を計測する場合、カメラ200などは、2つのサッカーゴールを撮影可能な位置に設置される。
1 情報処理装置
2 撮影装置
3 競技場
4 第1の画像
5a,5b 線
6,6a ボール
7 第2の画像

Claims (8)

  1. 投手と捕手とを撮影可能な位置に設置される撮影装置と、
    前記投手が投げたボールを含む第1の画像を前記撮影装置から取得し、前記第1の画像に設定した計測区間内に前記ボールが存在する場合に前記撮影装置から撮影時刻の異なる所定数の前記ボールを含む画像を取得し、前記第1の画像内の前記ボールの位置と前記所定数の前記ボールを含む画像のうち前記撮影装置が最後に撮影した第2の画像内の前記ボールの位置とに基づいて移動距離を算出し、算出した移動距離と前記撮影装置が前記第1の画像を撮影したときから前記第2の画像を撮影するまでの撮影時間とに基づいて前記ボールの球速を特定する情報処理装置と、
    を有する球速計測システム。
  2. 前記情報処理装置は、前記撮影装置から取得した前記ボールを含む画像に対して、画像内の前記ボール以外の領域をマスクする、
    請求項1に記載の球速計測システム。
  3. 前記情報処理装置は、移動距離と球速との対応関係を示す球速情報を記憶し、前記球速情報を参照し、算出した移動距離に対応する球速を特定する、
    請求項1または2に記載の球速計測システム。
  4. 前記情報処理装置は、表示装置に対して、特定した球速の表示を指示する、
    請求項1乃至3の何れか1項に記載の球速計測システム。
  5. 前記情報処理装置は、前記所定数の前記ボールを含む画像のうち、前記撮影装置が最初に撮影した第3の画像内の前記ボールの位置と前記第2の画像内の前記ボールの位置とに基づいて移動距離を算出し、算出した移動距離と前記撮影装置が前記第3の画像を撮影したときから前記第2の画像を撮影するまでの撮影時間とに基づいて前記ボールの球速を特定する、
    請求項1乃至4の何れか1項に記載の球速計測システム。
  6. 前記撮影装置は、上方から前記投手と前記捕手とを撮影可能な位置に設置される、
    請求項1乃至5の何れか1項に記載の球速計測システム。
  7. 前記投手の位置と前記捕手の位置とを結ぶ直線を軸にして前記撮影装置が設置されている位置の反対方向に設置される他の撮影装置をさらに有し、
    前記情報処理装置は、前記ボールを含む第3の画像を前記他の撮影装置から取得し、前記第3の画像に設定した計測区間内に前記ボールが存在する場合に前記他の撮影装置から撮影時刻の異なる所定数の前記ボールを含む画像を取得し、前記第3の画像内の前記ボールの位置と、取得した撮影時刻の異なる所定数の前記ボールを含む画像のうち前記他の撮影装置が最後に撮影した第4の画像内の前記ボールの位置とに基づいて移動距離を算出し、算出した移動距離と前記他の撮影装置が前記第3の画像を撮影したときから前記第4の画像を撮影するまでの撮影時間とに基づいて前記ボールの球速を特定し、特定した前記ボールの球速と前記撮影装置が撮影した画像を基に特定した球速とに基づいて、球速を決定する、
    請求項1に記載の球速計測システム。
  8. コンピュータが、
    投手と捕手とを撮影可能な位置に設置される撮影装置から前記投手が投げたボールを含む第1の画像を取得し、
    前記第1の画像に設定した計測区間内に前記ボールが存在する場合に前記撮影装置から撮影時刻の異なる所定数の前記ボールを含む画像を取得し、
    前記第1の画像内の前記ボールの位置と前記所定数の前記ボールを含む画像のうち前記撮影装置が最後に撮影した第2の画像内の前記ボールの位置とに基づいて移動距離を算出し、
    算出した移動距離と前記撮影装置が前記第1の画像を撮影したときから前記第2の画像を撮影するまでの撮影時間とに基づいて前記ボールの球速を特定する、
    球速計測方法。
JP2017052037A 2017-03-17 2017-03-17 球速計測システムおよび球速計測方法 Expired - Fee Related JP6722610B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017052037A JP6722610B2 (ja) 2017-03-17 2017-03-17 球速計測システムおよび球速計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052037A JP6722610B2 (ja) 2017-03-17 2017-03-17 球速計測システムおよび球速計測方法

Publications (2)

Publication Number Publication Date
JP2018153373A true JP2018153373A (ja) 2018-10-04
JP6722610B2 JP6722610B2 (ja) 2020-07-15

Family

ID=63715827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052037A Expired - Fee Related JP6722610B2 (ja) 2017-03-17 2017-03-17 球速計測システムおよび球速計測方法

Country Status (1)

Country Link
JP (1) JP6722610B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7239231B1 (ja) 2022-08-25 2023-03-14 株式会社ネクストベース 判定システム、判定方法及びコンピュータープログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4545576A (en) * 1982-01-15 1985-10-08 Harris Thomas M Baseball-strike indicator and trajectory analyzer and method of using same
JPH1144700A (ja) * 1997-07-25 1999-02-16 Sanyo Electric Co Ltd 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム
JP2005159674A (ja) * 2003-11-25 2005-06-16 Casio Comput Co Ltd 電子カメラ、電子カメラの制御プログラム
JP2008241476A (ja) * 2007-03-27 2008-10-09 Konami Digital Entertainment:Kk プログラム、データ収集装置及び制御方法
JP2011205643A (ja) * 2011-03-18 2011-10-13 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4545576A (en) * 1982-01-15 1985-10-08 Harris Thomas M Baseball-strike indicator and trajectory analyzer and method of using same
JPH1144700A (ja) * 1997-07-25 1999-02-16 Sanyo Electric Co Ltd 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム
JP2005159674A (ja) * 2003-11-25 2005-06-16 Casio Comput Co Ltd 電子カメラ、電子カメラの制御プログラム
JP2008241476A (ja) * 2007-03-27 2008-10-09 Konami Digital Entertainment:Kk プログラム、データ収集装置及び制御方法
JP2011205643A (ja) * 2011-03-18 2011-10-13 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山田啓輔 他: "実投球された野球ボールの軌道と縫い目位置の影響", 日本機械学会[NO.07-24]シンポジウム講演論文集, vol. ジョイント・シンポジウム2007, JPN6020013488, 13 November 2007 (2007-11-13), pages 2020 - 3, ISSN: 0004250436 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7239231B1 (ja) 2022-08-25 2023-03-14 株式会社ネクストベース 判定システム、判定方法及びコンピュータープログラム
JP2024031158A (ja) * 2022-08-25 2024-03-07 株式会社ネクストベース 判定システム、判定方法及びコンピュータープログラム

Also Published As

Publication number Publication date
JP6722610B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
Stensland et al. Bagadus: An integrated real-time system for soccer analytics
Halvorsen et al. Bagadus: an integrated system for arena sports analytics: a soccer case study
US8599317B2 (en) Scene recognition methods for virtual insertions
TWI537872B (zh) 辨識二維影像產生三維資訊之方法
JP2018509016A (ja) 放送において目標を追跡及びタグ付けするためのシステム及び方法
US20070064975A1 (en) Moving object measuring apparatus, moving object measuring system, and moving object measurement
WO1999051990A2 (en) System for determining the end of a path for a moving object
JP2009200713A (ja) 画像処理装置、画像処理方法、プログラム
JP6447515B2 (ja) 情報処理装置、記録媒体および情報処理方法
JP7076955B2 (ja) ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
CN101894374A (zh) 用于目标跟踪的方法和设备
CN111866575B (zh) 一种实时动作视频智能捕捉与反馈方法及系统
US11615540B2 (en) Methods and systems to track a moving sports object trajectory in 3D using a single camera
JPH06105231A (ja) 画像合成装置
JP6722610B2 (ja) 球速計測システムおよび球速計測方法
WO2019070011A1 (ja) 移動体追跡装置及び移動体追跡方法
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
US11856318B2 (en) Methods and systems to automatically record relevant action in a gaming environment
KR20210036537A (ko) 영상 누적을 이용한 궤적표시 방법
NO20161098A1 (en) Camera system for filming sports venues
WO2023049868A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
JP2017215685A (ja) 仮想環境生成装置、仮想環境生成方法、プログラム
CN107537149B (zh) 确定用于拍摄球图像的关心区域的方法、系统及非暂时性计算机可读记录介质
EP3836012A1 (en) A device, computer program and method
JP2020191036A (ja) オブジェクト軌跡生成装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6722610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees