JP2002224260A - Offside decision assisting system - Google Patents

Offside decision assisting system

Info

Publication number
JP2002224260A
JP2002224260A JP2001022584A JP2001022584A JP2002224260A JP 2002224260 A JP2002224260 A JP 2002224260A JP 2001022584 A JP2001022584 A JP 2001022584A JP 2001022584 A JP2001022584 A JP 2001022584A JP 2002224260 A JP2002224260 A JP 2002224260A
Authority
JP
Japan
Prior art keywords
image
offside
line
determination assisting
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001022584A
Other languages
Japanese (ja)
Other versions
JP4355884B2 (en
Inventor
Yusuke Takahashi
祐介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001022584A priority Critical patent/JP4355884B2/en
Publication of JP2002224260A publication Critical patent/JP2002224260A/en
Application granted granted Critical
Publication of JP4355884B2 publication Critical patent/JP4355884B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To assist an exact and rapid offside decision by rapidly presenting the video on an offside line when the offside decision is carried out. SOLUTION: A driver 12 is controlled by a controller 13, by which the position of an imaging device 11 is controlled and the video on the offside line is picked up. On the other hand, the time when the offside decision is carried out is instructed by an image acquisition instruction input device 4 and the video on the offside line picked up by the imaging device 11 at this time is sent as an image from an image transmitter 21. The image on the offside line received by an image receiver 31 is displayed by an image display device 32.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明はオフサイド判定補助
装置に関し、特にサッカー,ラグビー,アメリカンフッ
トボール等の球技におけるオフサイド判定を補助するオ
フサイド判定補助装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an offside judgment assisting device, and more particularly to an offside judgment assisting device for assisting an offside judgment in ball games such as soccer, rugby, and American football.

【0002】[0002]

【従来の技術】例えば、サッカーの試合において、従来
は、ボールを保持している攻撃側のプレーヤが相手ゴー
ル方向にいる味方のプレーヤにパスを出したと主審が判
断した時刻に、ボールを受け取る攻撃側のプレーヤがオ
フサイドラインの前方にいるか否かを副審が判断して、
オフサイドの判定を行っている。オフサイドラインと
は、キーパーを含む守備側の最後尾から2番目プレーヤ
の位置を通るゴールラインと平行に引いた仮想上の線の
ことをいう。
2. Description of the Related Art In a soccer game, for example, conventionally, an attacking player holding a ball receives a ball at a time when the referee judges that the player has passed a teammate in the direction of the opponent's goal. The assistant referee determines whether the offending player is ahead of the offside line,
Offside judgment is performed. The offside line is an imaginary line drawn in parallel with the goal line passing through the position of the second player from the rear end on the defensive side including the keeper.

【0003】「コンピュータアニメーションによるサッ
カーシーンの再現」( 田中,松井,平野,吉岡,大西
著、2000年、電気学会論文誌C 第120―C巻1
号88〜97ページ)に示されるように、フィールドの
白線の交点,ゴールポストとゴールバーとの交点等を参
照点としてカメラの位置および画角のキャリブレーショ
ンを行い、カメラ画像からフィールド上のプレーヤの位
置を推定し、任意の視点からシーンを再現することがで
きる。これを用い、オフサイド判定の対象となるシーン
が映ったテレビカメラ等の映像から、オフサイドライン
を横もしくは上から見たシーンを仮想的に再現し、パス
を受けるプレーヤがオフサイドの位置かどうかを判定す
る方法もある。
"Reproduction of a soccer scene by computer animation" (Tanaka, Matsui, Hirano, Yoshioka, Onishi, 2000, IEEJ Transactions C, 120-C, vol. 1)
(Pages 88 to 97), the position and angle of view of the camera are calibrated using the intersection of the white line of the field, the intersection of the goal post and the goal bar as reference points, and the player on the field from the camera image. And the scene can be reproduced from an arbitrary viewpoint. Using this, the scene of the offside line viewed from the side or from the top is virtually reproduced from the image of the TV camera etc. showing the scene to be judged offside, and it is judged whether the player receiving the pass is at the offside position There are ways to do that.

【0004】[0004]

【発明が解決しようとする課題】第1の問題点は、オフ
サイド判定が高い精度で行えないことにある。その理由
は、ボールを保持しているプレーヤが相手ゴール方向に
いる味方にパスを出したと判断するのは主審であり、そ
の時刻に、ボールを受け取るプレーヤがオフサイドライ
ンを超えているかどうかの判断を行うのは副審であり、
主審・副審でオフサイド判定を行うべき時刻の同期をと
ることが困難なためである。
The first problem is that the offside determination cannot be performed with high accuracy. The reason is that it is the referee who determines that the player holding the ball has made a pass to an ally in the direction of the opponent's goal, and at that time whether the player receiving the ball has crossed the offside line. Is the assistant referee,
This is because it is difficult for the referee and assistant referee to synchronize the time at which the offside judgment should be made.

【0005】第2の問題点は、副審は常にオフサイドラ
インの位置を横から正確に判断することはできないとい
うことである。その理由は、副審はオフサイドラインを
注目するのみならず、ボールがサイドラインを出た判定
なども行うため、常にオフサイドラインに注目すること
ができないためである。
A second problem is that the assistant referee cannot always determine the position of the offside line accurately from the side. The reason is that the assistant referee not only pays attention to the offside line, but also determines that the ball has left the sideline, and therefore cannot always pay attention to the offside line.

【0006】第3の問題点は、テレビカメラの映像を用
いたオフサイド判定を行う方法では、オフサイドライン
上のプレーヤ位置の再現に時間がかかるため、判定に時
間がかかり試合の流れを止めてしまうということであ
る。さらに、映像でプレーヤが重なっている際には正確
なプレーヤの位置の推定が行えず、オフサイド判定が行
えないことも問題となる。
A third problem is that in the method of performing the offside determination using the image of the television camera, it takes a long time to reproduce the player position on the offside line, so that the determination takes a long time and the flow of the game is stopped. That's what it means. Further, when the players overlap with each other in the video, accurate estimation of the position of the player cannot be performed, and the offside determination cannot be performed.

【0007】本発明の目的は、オフサイド判定を行う時
刻のオフサイドライン上の画像を迅速にオフサイド判定
を行うユーザに提示するオフサイド判定補助装置を提供
することにある。
SUMMARY OF THE INVENTION It is an object of the present invention to provide an off-side determination assisting device for quickly presenting an image on an off-side line at a time when an off-side determination is made to a user who makes an off-side determination.

【0008】なお、その他の先行技術文献として、再公
表特許WO96/34364および特開平10−290
886があるが、両者はコンピュータゲーム等に係るも
のであり、実際のサッカーゲーム等に用いられる技術で
はない。また、特開平6−254185があるが、これ
は一人でゴールシュートの練習等を行うことができるサ
ッカーゲーム機に係るものであり、実際のサッカーゲー
ム等で使用される技術ではない。
[0008] As other prior art documents, re-published patent WO96 / 34364 and JP-A-10-290 are disclosed.
886, but both are related to computer games and the like, and are not technologies used in actual soccer games and the like. Also, there is JP-A-6-254185, which relates to a soccer game machine capable of practicing a goal shot or the like alone, and is not a technique used in an actual soccer game or the like.

【0009】[0009]

【課題を解決するための手段】本発明のオフサイド判定
補助装置は、オフサイドライン上の映像を取得するオフ
サイドライン撮像装置と、後述する画像提供装置に表示
すべき画像の時刻を指示する画像取得指示入力装置と、
前記オフサイドライン撮像装置により取得された映像に
おける指示された時刻のオフサイドライン上の画像を送
信する指示画像送信装置と、前記指示画像送信装置から
送信された画像を受信して表示する画像提供装置とを備
えることを特徴とする。
An offside determination assisting apparatus according to the present invention includes an offside line imaging apparatus for acquiring an image on an offside line, and an image acquisition instruction for instructing a time of an image to be displayed on an image providing apparatus described later. An input device;
An instruction image transmitting apparatus that transmits an image on an offside line at a designated time in a video acquired by the offside line imaging apparatus, and an image providing apparatus that receives and displays an image transmitted from the instruction image transmitting apparatus. It is characterized by having.

【0010】また、本発明のオフサイド判定補助装置
は、前記オフサイドライン撮像装置が、映像を撮像する
撮像装置と、前記撮像装置を指示を受けた方向および速
度で移動させる駆動装置と、オフサイドラインを前記撮
像装置で撮像するために前記駆動装置を制御する制御装
置とを備えることを特徴とする。
The offside determination assisting device according to the present invention is further characterized in that the offside line imaging device includes an imaging device for capturing an image, a driving device for moving the imaging device in a direction and at a speed instructed, and an offside line. A control device for controlling the driving device so as to capture an image with the imaging device.

【0011】さらに、本発明のオフサイド判定補助装置
は、前記制御装置が、ジョイスティックを備えた方向指
示装置であり、ユーザが手動で操作を行うことを特徴と
する。
Further, in the offside determination assisting device according to the present invention, the control device is a direction indicating device provided with a joystick, and the user manually operates the device.

【0012】さらにまた、本発明のオフサイド判定補助
装置は、前記指示画像送信装置が、前記画像取得指示入
力装置からの画像取得指示信号を検出したときに画像送
信要求信号を発生する入力判断装置と、前記入力判断装
置からの画像送信要求信号を受けたときに前記撮像装置
から取得した映像を画像として送信する画像送信装置と
を備えることを特徴とする。
Still further, the offside determination assisting device of the present invention is an input determination device for generating an image transmission request signal when the instruction image transmitting device detects an image acquisition instruction signal from the image acquisition instruction input device. And an image transmission device for transmitting a video acquired from the imaging device as an image when receiving an image transmission request signal from the input determination device.

【0013】また、本発明のオフサイド判定補助装置
は、前記画像提供装置が、前記指示画像送信装置から送
信された画像を受信する画像受信装置と、前記画像受信
装置から供給される画像を表示する画像表示装置とを備
えることを特徴とする。
Further, in the offside determination assisting device according to the present invention, the image providing device displays an image receiving device for receiving an image transmitted from the instruction image transmitting device, and an image supplied from the image receiving device. And an image display device.

【0014】さらに、本発明のオフサイド判定補助装置
は、前記画像取得指示入力装置が、画像を取得する時刻
を指示する押しボタンでなることを特徴とする。
Further, in the offside determination assisting device according to the present invention, the image acquisition instruction input device comprises a push button for instructing a time to acquire an image.

【0015】さらにまた、本発明のオフサイド判定補助
装置は、前記指示画像送信装置が、撮像した映像を蓄積
する映像蓄積装置を備え、送受信する画像が複数の静止
画像または動画像であることを特徴とする。
Still further, in the offside determination assisting device according to the present invention, the instruction image transmitting device includes a video storage device for storing a captured video, and the transmitted and received images are a plurality of still images or moving images. And

【0016】また、本発明のオフサイド判定補助装置
は、前記画像提供装置において、ユーザの指示で表示を
行いたい画像を複数の静止画像または動画像のいずれか
から選択できることを特徴とする。
Further, the offside determination assisting device according to the present invention is characterized in that in the image providing device, an image to be displayed can be selected from a plurality of still images or moving images according to a user's instruction.

【0017】さらに、本発明のオフサイド判定補助装置
は、前記撮像装置が、前記駆動装置によりサイドライン
と平行に移動することを特徴とする。
Further, in the offside determination assisting device according to the present invention, the image pickup device is moved in parallel with a side line by the driving device.

【0018】さらにまた、本発明のオフサイド判定補助
装置は、前記オフサイドライン撮像装置が、撮像された
画像からボールまたはプレーヤの位置を検出することで
オフサイドラインの位置を推定する画像解析装置を備
え、オフサイドライン位置が前記撮像装置で撮像される
ように前記撮像装置の位置を自動制御することを特徴と
する。
The offside determination assisting device according to the present invention further includes an image analysis device, wherein the offside line imaging device estimates a position of the offside line by detecting a position of a ball or a player from a captured image, The position of the imaging device is automatically controlled so that an offside line position is imaged by the imaging device.

【0019】また、本発明のオフサイド判定補助装置
は、前記画像解析装置が、サッカーの場合はゴールキー
パを除く守備側チームの最後尾プレーヤ位置をオフサイ
ドライン位置と判断することを特徴とする。
Further, in the offside determination assisting device according to the present invention, in the case of soccer, the image analysis device determines that the last player position of the defending team excluding the goalkeeper is the offside line position.

【0020】さらに、本発明のオフサイド判定補助装置
は、前記画像解析装置が、推定したオフサイドラインを
撮像画像上に描写して提示することを特徴とする。
Further, the offside determination assisting device according to the present invention is characterized in that the image analysis device renders and presents the estimated offside line on a captured image.

【0021】さらにまた、本発明のオフサイド判定補助
装置は、前記画像解析装置が、検出したオフサイド位置
のプレーヤの目印を撮像画像上に描写して提示すること
を特徴とする。
Further, the offside determination assisting device of the present invention is characterized in that the image analysis device renders and presents a mark of the player at the detected offside position on a captured image.

【0022】また、本発明のオフサイド判定補助装置
は、前記指示画像送信装置および前記画像提供装置にお
いて、画像の送受信を無線を用いて行うことを特徴とす
る。
Further, the offside determination assisting device according to the present invention is characterized in that the instruction image transmitting device and the image providing device transmit and receive images wirelessly.

【0023】さらに、本発明のオフサイド判定補助装置
は、前記画像提供装置が、前記画像提供装置と前記画像
取得指示入力装置とが一体となった携帯端末であること
を特徴とする。
Further, in the offside determination assisting device according to the present invention, the image providing device is a portable terminal in which the image providing device and the image acquisition instruction input device are integrated.

【0024】さらにまた、本発明のオフサイド判定補助
装置は、前記オフサイドライン撮像装置が、フィールド
の両サイドライン際に敷かれたレール上に1対設置さ
れ、それぞれの前記オフサイドライン撮像装置がフィー
ルドの各サイドにおけるオフサイドラインの追尾を行う
ことを特徴とする。
Further, in the offside determination assisting device according to the present invention, a pair of the offside line image pickup devices is installed on a rail laid on both side lines of the field, and each of the offside line image pickup devices is mounted on the field. The tracking of the offside line on each side is performed.

【0025】また、本発明のオフサイド判定補助装置
は、前記一対のオフサイドライン撮像装置が、副審の移
動する範囲を妨げないように、同じサイドを担当する副
審と反対側のサイドライン際に配置されることを特徴と
する。
Further, the offside determination assisting device according to the present invention is arranged such that the pair of offside line imaging devices are located on the side line opposite to the assistant referee in charge of the same side so as not to obstruct the moving range of the assistant referee. It is characterized by that.

【0026】さらに、本発明のオフサイド判定補助装置
は、前記オフサイドライン撮像装置が、設置の高さを高
くとり、フィールドを見下ろす画角に設置されることを
特徴とする。
Further, the offside determination assisting device according to the present invention is characterized in that the offside line image pickup device is installed at an angle of view overlooking the field by increasing the installation height.

【0027】さらにまた、本発明のオフサイド判定補助
装置は、前記オフサイドライン撮像装置が、フィールド
の高所にレールを設置し、吊り下げる形で設置されるこ
とを特徴とする。
Furthermore, the offside determination assisting device of the present invention is characterized in that the offside line imaging device is installed in a form where rails are installed at a height of a field and suspended.

【0028】本発明のオフサイド判定補助装置は、オフ
サイドライン撮像装置と、指示画像送信装置と、画像提
供装置と、画像取得指示入力装置とを備え、横(上)か
ら撮影されたオフサイドライン上のプレーヤの画像を取
得するように動作し、画像取得指示入力装置により指示
された時刻における画像を、指示画像送信装置から送信
し、画像提供装置で受信して画像表示を行う。
An offside determination assisting device according to the present invention includes an offside line imaging device, an instruction image transmitting device, an image providing device, and an image acquisition instruction input device. It operates so as to acquire an image of the player, transmits an image at a time designated by the image acquisition command input device from the designated image transmitting device, receives the image at the image providing device, and displays the image.

【0029】このような構成を採用することにより、オ
フサイド判定の対象となる時刻におけるオフサイドライ
ン上の画像をユーザが瞬時に取得して確認できるので、
迅速かつ正確なオフサイドの判定を補助することができ
る。
By adopting such a configuration, the user can instantly acquire and confirm the image on the offside line at the time to be subjected to the offside determination.
Quick and accurate offside determination can be assisted.

【0030】[0030]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0031】なお、ここでは、オフサイドライン位置が
プレーヤの位置により変動するサッカーを例に用いて説
明する。アイスホッケー,ラクロスなど、オフサイドラ
インがルール上固定されている競技に関しても同様に扱
うことができる。
Here, a soccer game in which the offside line position varies depending on the position of the player will be described as an example. The same applies to sports where the offside line is fixed by rules, such as ice hockey and lacrosse.

【0032】(1)第1の実施の形態 図1は、本発明の第1の実施の形態に係るオフサイド判
定補助装置の構成を示すブロック図である。本実施の形
態に係るオフサイド判定補助装置は、オフサイドライン
上のプレーヤを撮影するオフサイドライン撮像装置1
と、画像取得指示信号を受けた時刻の画像を送信する指
示画像送信装置2と、受信した画像を表示する画像提供
装置3と、画像を取得する時刻を指示する画像取得指示
入力装置4とから構成される。
(1) First Embodiment FIG. 1 is a block diagram showing a configuration of an offside determination assisting device according to a first embodiment of the present invention. The offside determination assisting device according to the present embodiment is an offside line imaging device 1 for photographing a player on the offside line.
And an instruction image transmitting device 2 for transmitting an image at a time when an image acquisition instruction signal is received, an image providing device 3 for displaying a received image, and an image acquisition instruction input device 4 for instructing a time to acquire an image. Be composed.

【0033】オフサイドライン撮像装置1は、撮像装置
11と、駆動装置12と、制御装置13とから構成され
ている。
The off-side line imaging device 1 includes an imaging device 11, a driving device 12, and a control device 13.

【0034】撮像装置11は、ビデオカメラ等の映像を
撮像する装置で、画像送信装置21に撮像した映像を供
給する。
The image pickup device 11 is a device for picking up an image, such as a video camera, and supplies the picked-up image to the image transmitting device 21.

【0035】駆動装置12は、撮像装置11を移動する
ために車輪等の駆動機能を持ち、サイドラインと平行に
設置されたレール等に沿って制御装置13により指示を
受けた方向および速度で移動を行う。
The driving device 12 has a driving function such as wheels for moving the imaging device 11, and moves in a direction and at a speed instructed by the control device 13 along a rail or the like installed in parallel with the side line. I do.

【0036】制御装置13は、キーパーを含めた守備側
の最後尾から2番目のプレーヤの位置(オフサイドライ
ン)を撮像装置11で撮像するために駆動装置12を制
御する装置である。なお、制御装置13自体は、撮像装
置11および駆動装置12から離れた固定した場所に設
置することができる。
The control device 13 is a device for controlling the drive device 12 so that the image pickup device 11 takes an image of the position (offside line) of the second player from the rear of the defense including the keeper. Note that the control device 13 itself can be installed in a fixed place away from the imaging device 11 and the driving device 12.

【0037】指示画像送信装置2は、画像送信装置21
と、入力判断装置22とで構成される。
The instruction image transmitting device 2 includes an image transmitting device 21
And an input determination device 22.

【0038】画像送信装置21は、入力判断装置22で
画像取得指示信号を受けた場合は、この時刻に撮像装置
11から取得した映像を画像として無線等により送信す
る。
When receiving the image acquisition instruction signal from the input determining device 22, the image transmitting device 21 transmits the image acquired from the imaging device 11 at this time as an image by radio or the like.

【0039】入力判断装置22は、画像取得指示入力装
置4から画像取得指示信号があるか否かを判定し、同信
号を検出した際には画像送信装置21に画像送信要求信
号を発生する。
The input judging device 22 judges whether there is an image acquisition instruction signal from the image acquisition instruction input device 4, and generates an image transmission request signal to the image transmission device 21 when detecting the signal.

【0040】画像提供装置3は、画像受信装置31と、
画像表示装置32とで構成される。
The image providing device 3 includes an image receiving device 31 and
And an image display device 32.

【0041】画像受信装置31は、画像送信装置21か
ら送信された画像を受信する装置である。
The image receiving device 31 is a device for receiving the image transmitted from the image transmitting device 21.

【0042】画像表示装置32は、画像受信装置31か
ら供給される画像を表示する液晶モニタ等の装置であ
る。
The image display device 32 is a device such as a liquid crystal monitor for displaying an image supplied from the image receiving device 31.

【0043】画像取得指示入力装置4は、画像を取得す
る時刻を指示する押しボタン等の装置である。
The image acquisition instruction input device 4 is a device such as a push button for instructing a time to acquire an image.

【0044】次に、このように構成された第1の実施の
形態に係るオフサイド判定補助装置の動作について、図
1ないし図6を参照して説明する。
Next, the operation of the off-side determination assisting device according to the first embodiment thus configured will be described with reference to FIGS.

【0045】図2に示すように、両サイドライン際に敷
かれたレール上に、オフサイドライン撮像装置1A,1
Bをそれぞれ設置し、撮像装置11A,11Bそれぞれ
がフィールドのサイドA,サイドBにおけるオフサイド
ラインの追尾を行う。それぞれのオフサイドライン撮像
装置1A,1Bは、副審A,Bの移動する範囲を妨げな
いように、同じサイドを担当する副審と反対側のサイド
ライン際に配置させるとよい。撮像装置11A,11B
は、副審が前を横切っても視界が塞がれないように、ま
たプレーヤ同士が重なって死角になるのを防ぐために、
設置の高さを2m以上とり、見下ろす画角にすることが
好ましい。
As shown in FIG. 2, the off-side line image pickup devices 1A and 1
B, respectively, and the imaging devices 11A and 11B track off-side lines on side A and side B of the field, respectively. The off-side line imaging devices 1A and 1B may be arranged on the side line opposite to the assistant referee in charge of the same side so as not to obstruct the moving range of assistant assistants A and B. Imaging devices 11A and 11B
To prevent the line of sight from being obstructed even when the assistant referee crosses in front, and to prevent blind spots due to players overlapping each other,
It is preferable that the height of the installation is set to 2 m or more so that the angle of view can be viewed from above.

【0046】撮像装置11A,11Bは、サイドライン
沿いの他に、図3に示すようにフィールドの高所にレー
ルを設置し、吊り下げる形で設置してもよい。以下、撮
像装置11A,11Bをサイドライン沿いに設置した場
合として説明するが、高所から吊り下げた撮像装置11
A,11Bでの画像を用いても同様に実現できる。以
下、サイドA,サイドBを特に分けずに説明する。
The imaging devices 11A and 11B may be installed along rails at high places in the field as shown in FIG. Hereinafter, the case where the imaging devices 11A and 11B are installed along the side line will be described, but the imaging device 11 suspended from a high place is described.
The same can be realized by using the images of A and 11B. Hereinafter, the side A and the side B will be described without particular division.

【0047】オフサイドライン撮像装置1に搭載されて
いる撮像装置11で、常にオフライドライン上のプレー
ヤを撮影できるように、制御装置13を用いて駆動装置
12をレールに沿って移動させる。制御装置13は、ジ
ョイスティック等を備えた方向指示装置であり、ユーザ
が手動で操作を行う。ジョイスティックを用いた方向指
示装置では、スティックを倒す方向で移動方向を指示で
きる。これに加えて、スティックを倒す角度で移動の速
度を調整できるとよい。
The driving device 12 is moved along the rail by using the control device 13 so that the imaging device 11 mounted on the offside line imaging device 1 can always photograph the player on the off-ride line. The control device 13 is a direction indicating device provided with a joystick and the like, and is manually operated by a user. In a direction indicating device using a joystick, a moving direction can be indicated by a direction in which the stick is tilted. In addition to this, it is desirable that the speed of movement can be adjusted by the angle at which the stick is tilted.

【0048】これにより、図4に示すようなオフサイド
ライン上のプレーヤの映像が常に指示画像送信装置2へ
供給される。撮像装置11として、NTSC(Nati
onal Television System Co
mmittee)規格の映像信号を出力するビデオカメ
ラ等を用いると、画面が縦横比3:4となるため、高所
より見下ろした視線での撮像画面でオフサイドライン全
体が見渡せるためには、広角レンズを使用しなければな
らないが、図5に示すようにビデオカメラを視線方向を
軸に90度回転させた配置をとることで、よりズームア
ップした状態でオフサイドライン全体を見渡すことがで
きる。また、NTSC規格で撮像した映像ではインター
レースの影響で奇数フィールドと偶数フィールドとでず
れが生じてしまい、動きの大きい対象物体の場合は、そ
の影響がぶれとして顕著に現れてしまう。そこで、片方
のフィールドのみの画像サイズ(720×240ピクセ
ル)を用いることとする。NTSC規格およびインター
レース方式の問題点については「実践画像処理」(FE
ST Project編集委員会編、シュプリンガー・
フェアラーク東京株式会社、2000年)に詳しい。
Thus, the video of the player on the offside line as shown in FIG. 4 is always supplied to the instruction image transmitting device 2. As the imaging device 11, NTSC (Nati
onal Television System Co
If a video camera or the like that outputs a video signal of the standard (mmite) standard is used, the screen has an aspect ratio of 3: 4. Although it is necessary to use the video camera, as shown in FIG. 5, by arranging the video camera rotated by 90 degrees about the line of sight, the entire offside line can be seen in a more zoomed-up state. In addition, in the video captured by the NTSC standard, a shift occurs between an odd field and an even field due to the influence of interlace, and in the case of a target object having a large motion, the influence is remarkably manifested as blur. Therefore, an image size (720 × 240 pixels) of only one field is used. For the problems of the NTSC standard and the interlace method, refer to “Practical Image Processing” (FE
ST Project Editing Committee, Springer
Fairlark Tokyo Co., Ltd., 2000).

【0049】指示画像送信装置2は、画像取得指示入力
装置4からの画像取得指示信号を受けたか否かを判別
し、同信号を受信した際は、受信した時刻に撮像装置1
1から供給された映像を画像として画像提供装置3へ送
信する。
The instruction image transmitting device 2 determines whether or not an image acquisition instruction signal has been received from the image acquisition instruction input device 4, and upon receiving the signal, the imaging device 1
The image supplied from 1 is transmitted to the image providing device 3 as an image.

【0050】詳しくは、入力判断装置22は、画像取得
指示入力装置4からの画像取得指示信号を待機し、同信
号を受信した際には画像送信装置21に画像送信要求信
号を発する。
More specifically, the input determination device 22 waits for an image acquisition instruction signal from the image acquisition instruction input device 4, and issues an image transmission request signal to the image transmission device 21 when receiving the signal.

【0051】画像送信装置21は、入力判断装置22か
らの画像送信要求信号を受け、撮像装置11から供給さ
れた映像情報(ビデオストリーム)を静止画像(フィー
ルド)として取り込み、画像受信装置31へ送信を行
う。画像を送信する相手はオフサイド判定を行うユーザ
であり、通常はフィールド上の主審となるため、有線を
用いての送信が困難となる。そこで、画像の送信は無線
を介して遠隔地へと転送する。無線を用いた送信を高速
化するために、送信する画像をJPEG(Joint Photogr
aphic Coding Experts Group)規格等を用いて圧縮した
後に送信するとよい。JPEGの規格は、ISO/IE
C(International Organization for Standardization
/ International Electrotechnical Commission )10
918で定められている。
The image transmission device 21 receives the image transmission request signal from the input determination device 22, captures the video information (video stream) supplied from the imaging device 11 as a still image (field), and transmits it to the image reception device 31. I do. The other party transmitting the image is the user who makes the offside determination, and is usually the referee on the field, so it is difficult to transmit the image using a wired connection. Therefore, the transmission of the image is transmitted to a remote place via wireless. To increase the speed of wireless transmission, images to be transmitted must be JPEG (Joint Photogr
The data may be transmitted after compression using the aphic coding experts group (Aphic Coding Experts Group) standard or the like. The JPEG standard is ISO / IE
C (International Organization for Standardization
/ International Electrotechnical Commission) 10
918.

【0052】画像提供装置3では、画像送信装置21か
ら送信された画像を画像受信装置31が受信し、JPE
G等で圧縮されていればこれを伸張してもとの画像に戻
し、この画像を液晶ディスプレイ等の画像表示装置32
に表示する。画像を確認するのが主審である場合は、画
像提供装置3は、図6に示すように携帯しやすく、しか
も動きに負担をかけない腕時計型ディスプレイ,携帯端
末などが好ましい。小型ディスプレイで、撮像した画像
全体を表示する解像度を確保できない場合は、初期状態
ではディスプレイの解像度に合わせて画像の解像度を落
して表示し、ユーザが必要と判断した個所のみを高解像
度で表示を行えるタッチパネル型ディスプレイ等のイン
ターフェイスを有する必要がある。
In the image providing device 3, the image receiving device 31 receives the image transmitted from the image transmitting device 21, and the JPE
If the image is compressed by G or the like, it is decompressed and returned to the original image, and this image is displayed on an image display device 32 such as a liquid crystal display.
To be displayed. When the referee checks the image, the image providing device 3 is preferably a wristwatch-type display, a portable terminal, or the like that is easy to carry as shown in FIG. If the resolution for displaying the entire captured image cannot be secured on a small display, the image is initially displayed at a reduced resolution in accordance with the resolution of the display, and only the parts that the user deems necessary are displayed in high resolution. It is necessary to have an interface such as a touch panel type display that can be used.

【0053】画像取得指示入力装置4は、ボールを持っ
たプレーヤが相手ゴール方向の味方の選手にパスを出し
た際に、主審等のユーザが画像取得の時刻を知らせるス
イッチ,押しボタン等の装置である。この装置は、スイ
ッチ等が押されたと同時に入力判断装置22へ画像送信
要求信号を発する。指示画像送信装置2が遠隔して設置
されている際は、そこへ瞬時に無線で画像送信要求信号
を送信する。画像取得指示者とオフサイド判定を行う人
物とが主審などの同一人物の場合は、画像取得指示入力
装置4を画像提供装置3に組み込こむとよい。画像提供
装置3の携帯端末の側面に画像取得指示入力装置4のボ
タンを設置することで、片手で携帯端末を所持しつつ親
指で画像取得の時刻を指示することができ、同時にオフ
サイドライン上の画像の確認を行うことができる。
The image acquisition instruction input device 4 is a device such as a switch or a push button for notifying a user such as a referee of an image acquisition time when a player holding a ball gives a pass to a teammate in the direction of the opponent's goal. It is. This device issues an image transmission request signal to the input determination device 22 at the same time that a switch or the like is pressed. When the instruction image transmitting device 2 is installed remotely, an image transmission request signal is instantaneously transmitted wirelessly there. When the image acquisition instructor and the person performing the offside determination are the same person such as the referee, the image acquisition instruction input device 4 may be incorporated in the image providing device 3. By arranging the button of the image acquisition instruction input device 4 on the side of the portable terminal of the image providing device 3, it is possible to instruct the time of image acquisition with the thumb while holding the portable terminal with one hand, and at the same time on the offside line The image can be confirmed.

【0054】(2)第2の実施の形態 次に、本発明の第2の実施の形態について図面を参照し
て詳細に説明する。
(2) Second Embodiment Next, a second embodiment of the present invention will be described in detail with reference to the drawings.

【0055】図7は、本発明の第2の実施の形態に係る
オフサイド判定補助装置の構成を示すブロック図であ
る。本実施の形態に係るオフサイド判定補助装置は、図
1に示した第1の実施の形態に係るオフサイド判定補助
装置と比較して、撮像装置11と画像送信装置21との
間に、特定の期間の映像を蓄える映像蓄積装置23が設
けられている点だけが異なる。映像蓄積装置23は、メ
モリ,ハードディスク等の記憶媒体である。この記憶媒
体に過去の映像を逐次蓄積していく。蓄積容量に制限が
あるため、ある一定容量を越えて蓄積を行う際には、最
も古い映像を削除し最新の映像を加えることで、常に最
近の映像を蓄積しておくことができる。
FIG. 7 is a block diagram showing a configuration of an offside determination assisting device according to a second embodiment of the present invention. The offside determination assisting device according to the present embodiment is different from the offside determining assisting device according to the first embodiment illustrated in FIG. The only difference is that a video storage device 23 for storing the video is provided. The video storage device 23 is a storage medium such as a memory and a hard disk. Past images are sequentially stored in this storage medium. Since the storage capacity is limited, when storing data exceeding a certain capacity, the latest video can always be stored by deleting the oldest video and adding the latest video.

【0056】このように最近の映像を蓄積しておくこと
で、画像取得指示入力装置4からの画像取得指示信号を
受けた時刻の画像のみだけでなく、その時刻以前および
以後の映像を連続した静止画像群または動画像で提供す
ることができる。オフサイド判定には、注目時刻の前後
2秒ずつ程度の映像があればよい。
By accumulating the latest video in this way, not only the image at the time when the image acquisition instruction signal is received from the image acquisition instruction input device 4 but also the video before and after the time is continuously displayed. It can be provided as a still image group or a moving image. For the offside determination, it is sufficient if there is an image of about 2 seconds before and after the attention time.

【0057】画像送信装置21は、動画像として送信す
る際、送信量が膨大となるため、MPEG(Moving Pic
ture Experts Group)規格等を用いて動画像の圧縮を行
った後に送信するものとする。MPEGの規格は、IS
O/IEC(International Organization for Standardi
zation / International Electrotechnical Commissio
n)で定められている。撮像装置11としてNTSC映像
信号の偶フィールドまたは奇フィールドの映像(720
×240画素サイズ)を用いた場合では、MPEG―2
を用いて圧縮を行うとよい。その理由は、MPEG―2
では720×576以下の任意の画像サイズで圧縮が可
能だからである。
The image transmission device 21 transmits an enormous amount of video when transmitting it as a moving image.
This is transmitted after compressing the moving image using the standard such as the “Simulation Experts Group” standard. The MPEG standard is IS
O / IEC (International Organization for Standardi)
zation / International Electrotechnical Commissio
n). As the imaging device 11, an even field or odd field video (720
× 240 pixel size), MPEG-2
The compression may be performed by using. The reason is MPEG-2
This is because compression is possible with an arbitrary image size of 720 × 576 or less.

【0058】画像表示装置32は、画像受信装置31で
受信し伸張した動画像を、再生,コマ送り等を行うため
の押しボタン等のインターフェイスを有する。映像提供
の仕方としては、最初に画像取得指示を出した時刻の画
像を表示し、[後戻り]ボタンを押し続けている間は逆ス
ロー再生を行い、ボタンを離すと正方向にスロー再生を
行う。これにより、画像取得指示を出した時刻の画像に
よるオフサイド判定が困難な場合、その時刻の前後の動
画像を確認できるため、各プレーヤの動きの流れを把握
することができる。
The image display device 32 has an interface such as a push button for performing reproduction, frame advance, and the like of the moving image received and expanded by the image receiving device 31. As a way of providing video, the image at the time when the image acquisition instruction was first issued is displayed, reverse slow playback is performed while the [return] button is kept pressed, and slow playback is performed in the forward direction when the button is released. . Accordingly, when it is difficult to perform the offside determination based on the image at the time when the image acquisition instruction is issued, the moving images before and after the time can be confirmed, so that the movement flow of each player can be grasped.

【0059】第2の実施の形態によれば、第1の実施の
形態の効果に加えて、オフサイド判定対象となる時刻の
前後の映像も合わせて提供することができるので、判定
が微妙な場合でも、オフサイド判定を行う時刻の前後の
流れを参照することで、より正確な判定材料を提供でき
る効果を有する。
According to the second embodiment, in addition to the effects of the first embodiment, it is also possible to provide images before and after the time to be subjected to the offside determination. However, by referring to the flow before and after the time for performing the offside determination, there is an effect that more accurate determination material can be provided.

【0060】(3)第3の実施の形態 次に、本発明の第3の実施の形態について図面を参照し
て詳細に説明する。
(3) Third Embodiment Next, a third embodiment of the present invention will be described in detail with reference to the drawings.

【0061】図8は、本発明の第3の実施の形態に係る
オフサイド判定補助装置の構成を示すブロック図であ
る。本実施の形態に係るオフサイド判定補助装置は、図
1に示した第1の実施の形態に係るオフサイド判定補助
装置と比較して、撮像装置11と制御装置13との間
に、撮像装置11の映像を画像解析することでオフサイ
ドライン上のプレーヤを画面上の特定の位置に写るよう
に制御命令を制御装置13に供給する画像解析装置14
が設けられている点だけが異なる。
FIG. 8 is a block diagram showing a configuration of an offside determination assisting device according to a third embodiment of the present invention. The offside determination assisting device according to the present embodiment is different from the offside determining assisting device according to the first embodiment shown in FIG. Image analysis device 14 that supplies a control command to control device 13 so that a player on the offside line is captured at a specific position on the screen by image analysis of the video.
The only difference is that is provided.

【0062】これにより、ユーザが手動で行っていた駆
動装置12の制御を自動化することができる。
This makes it possible to automate the control of the driving device 12 which was manually performed by the user.

【0063】次に、画像解析装置14の動作について、
図9および図10を参照して詳細に説明する。
Next, the operation of the image analyzer 14 will be described.
This will be described in detail with reference to FIGS.

【0064】予め、両チームプレーヤのユニフォーム
(キーパーのユニフォームの色も含む)の代表的な色を
登録しておく。ユニフォームの色を赤・緑・青の輝度値
で表したRGBデータを、輝度信号・色差信号で表した
YIQデータに変換する。輝度信号Yは照明の影響など
で変化しやすいため、IQを登録色データとして採用す
る。RGBからYIQへの変換式は、数1で表される
(「画像の処理と認識」(安居院猛,長尾智晴著、昭晃
堂、1994年)参照)。
The representative colors of the uniforms of both team players (including the color of the keeper's uniform) are registered in advance. The RGB data representing the color of the uniform by the luminance values of red, green, and blue is converted to YIQ data represented by a luminance signal and a color difference signal. Since the luminance signal Y is likely to change due to the influence of lighting, IQ is adopted as the registered color data. The conversion equation from RGB to YIQ is represented by Equation 1 (see "Image Processing and Recognition" (Takeru Asaiin, Tomoharu Nagao, Shokodo, 1994)).

【0065】[0065]

【数1】 (Equation 1)

【0066】各サイドのオフサイドライン撮像装置1
A,1Bごとに、そのサイドにおける攻撃側プレーヤ・
守備側プレーヤ・キーパーのユニフォームの色データ
を、それぞれ(Io, Qo), (Id, Qd), (Ik,
Qk)として保存しておく。
Off-side line imaging device 1 for each side
For each A, 1B, the attacking player on that side
The color data of the defensive player / keeper uniform is (Io, Qo), (Id, Qd), (Ik,
Qk).

【0067】試合開始時に、守備側のキーパーを除いた
最後尾プレーヤが撮像装置11の映像内に写る位置にオ
フサイドライン撮像装置1をセットする。セット方法は
手動で位置を決定してもよい。また、ゴールライン位置
からフィールド中央ラインに向かってオフサイドライン
撮像装置1を、画面上でキーパーを除く守備側プレーヤ
のユニフォーム色が見つかるまで移動させることで自動
的にセットすることもできる(図9のステップA0)。
At the start of the match, the offside line image pickup device 1 is set at a position where the rearmost player excluding the keeper on the defense side appears in the image of the image pickup device 11. In the setting method, the position may be determined manually. Also, the offside line imaging device 1 can be automatically set by moving the offside line imaging device 1 from the goal line position toward the center line of the field until the uniform color of the defending player excluding the keeper is found on the screen (see FIG. 9). Step A0).

【0068】撮像装置11から図10に示すような画像
を取得する(図9のステップA1)。
An image as shown in FIG. 10 is obtained from the imaging device 11 (step A1 in FIG. 9).

【0069】次に、取得された画像内のプレーヤの領域
を抜き出す(図9のステップA2)。プレーヤ領域を抜
き出す方式としては、まずフィールド上のプレーヤが存
在すると考えられる画像上の領域以外にマスクをかけ除
去し、残りの領域内で登録しているユニフォームの色と
類似している領域を抽出する方法を用いる。画像内の各
点のRGB輝度値をYIQ値に変換し、IQ値が(Io,
Qo),(Id, Qd),(Ik, Qk)に近い画素を、そ
れぞれ攻撃プレーヤ画素,守備プレーヤ画素,キーパー
画素とする。
Next, the area of the player in the obtained image is extracted (step A2 in FIG. 9). As a method to extract the player area, first remove the mask on the area other than the area on the image where the player is considered to be present, and extract the area similar to the registered uniform color in the remaining area Is used. The RGB luminance value of each point in the image is converted into a YIQ value, and the IQ value is (Io,
Pixels close to (Qo), (Id, Qd) and (Ik, Qk) are assumed to be an attacking player pixel, a defensive player pixel, and a keeper pixel, respectively.

【0070】画素pにおけるIQ値(Ip, Qp)が登
録してあるユニフォームの色に近いか否かの判定には、
予め設定したしきい値(ThI , ThQ )を用いて判定
を行う。画素pは、数2を満たす場合、攻撃側のプレー
ヤ領域、数3を満たす場合は守備側のプレーヤ領域、数
4を満たす場合は、守備側のキーパー領域と判定され
る。
To determine whether the IQ value (Ip, Qp) at pixel p is close to the color of the registered uniform,
A determination using preset threshold (Th I, Th Q) a. When the pixel p satisfies the expression 2, it is determined as the attacking player region, when the expression 3 is satisfied, the defense player region, and when the expression 4 is satisfied, the pixel p is determined as the defense keeper region.

【0071】[0071]

【数2】 (Equation 2)

【0072】[0072]

【数3】 (Equation 3)

【0073】[0073]

【数4】 (Equation 4)

【0074】続いて、抽出した攻撃プレーヤ画素の集ま
った領域(攻撃プレーヤ領域)を灰色で、守備プレーヤ
画素の集まった領域(守備プレーヤ領域)を黒色で表し
た画像から、色領域の面積がある一定値以上の領域のみ
を選択すると、図11に示すような画像が得られる。こ
の処理をセグメンテーションという。ある一定値以下の
面積を持つ領域は、ノイズとみなす(図9のステップA
3)。
Subsequently, the area where the extracted attack player pixels are gathered (attack player area) is gray and the area where the defense player pixels are gathered (defensive player area) is black. If only an area having a certain value or more is selected, an image as shown in FIG. 11 is obtained. This process is called segmentation. A region having an area smaller than a certain value is regarded as noise (step A in FIG. 9).
3).

【0075】次に、得られた守備プレーヤ領域(図1
1)を外接矩形でくくり、その左上の座標をP1(X
1,Y1)、右下の座標をP2(X2,Y2)とする。
同様に、攻撃側プレーヤ領域の外接矩形の左上座標をA
1(Xa1,Ya1)、右下座標をA2(Xa2,Ya2)
とする(図12参照)。このとき、図2に示したオフサ
イドライン撮像装置1の配置により、画面上で右側がゴ
ール側になるため、オフサイドラインは守備プレーヤの
最後尾で、位置はP2として表せる。このオフサイドラ
イン位置の情報は、時系列情報として保存しておく。攻
撃プレーヤ領域が、守備プレーヤ領域と重なったため
に、守備プレーヤ領域が十分抽出されない場合には、過
去の複数のオフサイドライン位置より、現在のオフサイ
ドライン位置を推定する。推定には、「応用カルマンフ
ィルタ」(片山徹著、朝倉書店、1983年)に示され
るように、過去の時系列データから現在のデータをノイ
ズに頑強に推定するカルマンフィルタを用いる(図9の
ステップA4)。
Next, the obtained defensive player area (FIG. 1)
1) is circumscribed by a circumscribed rectangle, and its upper left coordinate is represented by P1 (X
1, Y1) and the lower right coordinate is P2 (X2, Y2).
Similarly, the upper left coordinate of the circumscribed rectangle of the attacking player area is represented by A
1 (Xa1, Ya1), the lower right coordinate is A2 (Xa2, Ya2)
(See FIG. 12). At this time, since the right side on the screen is the goal side due to the arrangement of the offside line imaging device 1 shown in FIG. 2, the offside line is the rearmost position of the defensive player, and the position can be represented as P2. The information on the offside line position is stored as time-series information. When the defensive player area is not sufficiently extracted because the offensive player area overlaps the defensive player area, the current offside line position is estimated from a plurality of past offside line positions. As shown in "Applied Kalman Filter" (by Toru Katayama, Asakura Shoten, 1983), a Kalman filter that robustly estimates current data from past time-series data as noise is used for the estimation (step A4 in FIG. 9). ).

【0076】続いて、図13に示すように、最後尾プレ
ーヤの最後尾位置P2のX座標位置X2を、予め設定し
てある基準位置座標Xoと比較する(図9のステップA
5)。Xo>X2であれば、オフサイドラインは基準位
置に対して左にいるため、オフサイドライン撮像装置1
を右移動すると判断する(図9のステップA6)。Xo
=X2であれば、オフサイドラインは基準位置にいるた
め、オフサイドライン撮像装置1を静止させると判断す
る(図9のステップA7)。Xo<X2であれば、オフ
サイドラインは基準位置に対して右にいるため、オフサ
イドライン撮像装置1を左移動させると判断する(図9
のステップA8)。判断結果を制御装置13に供給する
(図9のステップA9)。このとき、XoとX2との差
分の絶対値|Xo−X2|の大きさに比例して、左右の
移動速度を変化させる。このようにすることで、急激に
プレーヤが動いたためにプレーヤが画面中央から大きく
外れた際は高速でプレーヤを画面中央で捕らえるように
移動し、画面中央との差が微小な場合は、低速で修正を
行うため、プレーヤを画面から取り逃がすことなく追尾
が行える。
Subsequently, as shown in FIG. 13, the X coordinate position X2 of the last position P2 of the last player is compared with a preset reference position coordinate Xo (step A in FIG. 9).
5). If Xo> X2, the offside line is on the left side with respect to the reference position.
Is moved to the right (step A6 in FIG. 9). Xo
If = X2, since the offside line is at the reference position, it is determined that the offside line imaging apparatus 1 is to be stopped (step A7 in FIG. 9). If Xo <X2, the offside line is on the right side of the reference position, and thus it is determined that the offside line imaging apparatus 1 is to be moved to the left (FIG. 9).
Step A8). The determination result is supplied to the control device 13 (Step A9 in FIG. 9). At this time, the left and right moving speeds are changed in proportion to the magnitude of the absolute value | Xo−X2 | of the difference between Xo and X2. In this way, when the player moves abruptly from the center of the screen due to sudden movement of the player, the player moves so as to catch the player at the center of the screen at high speed, and when the difference from the center of the screen is small, Since the correction is performed, tracking can be performed without removing the player from the screen.

【0077】ステップA4で抽出した攻撃プレーヤ領域
が、オフサイドライン位置X2よりも右側に位置してい
る場合、つまり数5を満たす場合、その攻撃プレーヤは
オフサイドのポジションにいると判断できる(図9のス
テップA10)。
If the attacking player area extracted in step A4 is located on the right side of the offside line position X2, that is, if Expression 5 is satisfied, it can be determined that the attacking player is in the offside position (FIG. 9). Step A10).

【0078】[0078]

【数5】 (Equation 5)

【0079】このとき、図14に示すように、オフサイ
ドの位置にいる攻撃プレーヤ領域の上部に、矢印等の目
印(オフサイドマーク)を描写することでユーザにオフ
サイド位置にいるプレーヤの存在を知らしめることがで
きる(図9のステップA11)。さらに、仮想上の直線
であるオフサイドラインを実際の映像上に描き込み、画
像送信装置21に配信することで、オフサイド判定を行
いやすい映像を提供できる(図9のステップA12)。
At this time, as shown in FIG. 14, a mark such as an arrow (offside mark) is drawn above the attacking player area located at the offside position to inform the user of the presence of the player at the offside position. (Step A11 in FIG. 9). Furthermore, by drawing a virtual straight offside line on the actual video and distributing it to the image transmission device 21, it is possible to provide a video that allows easy offside determination (step A12 in FIG. 9).

【0080】コーナーキック時などのオフサイド判定の
対象とならないプレーにおいては、画像取得指示入力装
置4に設置された停止スイッチを押すことで、オフサイ
ドライン撮像装置1を一時停止させることもでき、ま
た、通常のプレーに移行した際にはリセットスイッチを
押すと、オフサイドライン撮像装置1をゴールライン位
置まで戻し、キーパーを除く最後尾の守備側のプレーヤ
を検出し直し、追尾を再開する。
In a play that is not a target of offside determination such as at the time of a corner kick, the offside line imaging device 1 can be temporarily stopped by pressing a stop switch provided on the image acquisition instruction input device 4. When the normal play is started, when the reset switch is pressed, the offside line imaging device 1 is returned to the goal line position, the last player on the defense side excluding the keeper is detected again, and tracking is resumed.

【0081】このように第3の実施の形態によれば、第
1の実施の形態の効果に加えて、ユーザが手動で行って
いた最後尾プレーヤの追尾作業を自動で行えるため、ユ
ーザの負担が軽減する効果を有する。さらに、オフサイ
ドの位置にいる攻撃側のプレーヤを検出し、ユーザにそ
の情報を提供するとともに、仮想上の線であるオフサイ
ドラインを実際の画像に重ねて表示することでオフサイ
ド判定を容易にすることができる。
As described above, according to the third embodiment, in addition to the effects of the first embodiment, the user can automatically perform the tracking operation of the last player, which has been performed manually, so that the burden on the user is increased. Has the effect of reducing. Furthermore, it is necessary to detect the offending attacking player at the offside position, provide the information to the user, and facilitate the offside determination by superimposing the virtual offside line on the actual image. Can be.

【0082】[0082]

【発明の効果】第1の効果は、オフサイド判定を行うと
判断した時刻におけるオフサイドライン上のプレーヤの
位置関係を把握することができることである。その理由
は、オフサイドライン上の映像を撮像している撮像装置
から、ユーザが指示した時刻における画像をすばやくユ
ーザに提供できるためである。
The first effect is that it is possible to grasp the positional relationship of the players on the offside line at the time when it is determined to perform the offside determination. The reason is that an image capturing apparatus that captures an image on the offside line can quickly provide the user with an image at a time designated by the user.

【0083】第2の効果は、正確にオフサイド判定を行
いやすい横または上から見たオフサイドライン上のプレ
ーヤの位置関係を把握できることである。その理由は、
オフサイドラインの移動に合わせて駆動装置を用いて撮
像装置をサイドライン平行に移動し、横または上からの
オフサイドラインを撮像するオフサイドライン撮像装置
を設けたためである。
The second effect is that it is possible to grasp the positional relationship of the player on the offside line viewed from the side or from above, where it is easy to accurately perform the offside determination. The reason is,
This is because an offside line imaging device is provided which moves the imaging device in parallel with the sideline using a driving device in accordance with the movement of the offside line, and images the offside line from the side or from above.

【0084】第3の効果は、判定困難なオフサイド判定
シーンにおいても前後の時間におけるプレーヤの動きの
流れから正確な判定を行える材料を提供できることであ
る。その理由は、静止画像では判定しづらいシーンにお
いてもその前後のシーンを撮像した連続静止画像または
動画像を提供できる映像蓄積装置を設けたためである。
The third effect is that it is possible to provide a material that enables accurate determination based on the flow of the player's movement between before and after times even in an offside determination scene where determination is difficult. The reason is that a video storage device capable of providing a continuous still image or a moving image obtained by capturing scenes before and after a scene that is difficult to determine with a still image is provided.

【0085】第4の効果は、ユーザがオフサイドライン
の追尾を行う必要がないので、ユーザの負担を著しく軽
減できることである。その理由は、撮像した画像を用い
て攻撃側および守備側のプレーヤを抽出し、最後尾の守
備プレーヤを常時追尾するように撮像装置の位置を制御
するための画像解析装置を設けたためである。
The fourth effect is that the burden on the user can be remarkably reduced since the user does not need to track the offside line. The reason is that an image analysis device is provided for extracting the attacking and defending players using the captured images and controlling the position of the imaging device so that the last defending player is always tracked.

【0086】第5の効果は、オフサイドライン上でのプ
レーヤの位置関係が把握しやすい画像を提供できること
である。その理由は、オフサイドの位置にいる攻撃側の
プレーヤを自動抽出し、そのプレーヤ位置を画面上でマ
ーキングし、加えて仮想上の線であるオフサイドライン
を画像上に重ね合わせて提供できるためである。
The fifth effect is to provide an image in which the positional relationship of the player on the offside line can be easily grasped. The reason is that it is possible to automatically extract the attacking player at the offside position, mark the player position on the screen, and additionally provide an imaginary offside line superimposed on the image. .

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態に係るオフサイド判
定補助装置の構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an offside determination assisting device according to a first embodiment of the present invention.

【図2】第1の実施の形態に係るオフサイド判定補助装
置の設置例を示す図である。
FIG. 2 is a diagram illustrating an installation example of an offside determination assisting device according to the first embodiment.

【図3】第1の実施の形態に係るオフサイド判定補助装
置の他の設置例を示す図である。
FIG. 3 is a diagram showing another installation example of the offside determination assisting device according to the first embodiment.

【図4】図1中の指示画像送信装置に供給されるオフサ
イドライン上のプレーヤの映像を例示する図である。
FIG. 4 is a diagram exemplifying a video of a player on an offside line supplied to the instruction image transmitting device in FIG. 1;

【図5】図4の映像を視線方向を軸に90度回転させた
配置をとることで、よりズームアップした状態でオフサ
イドライン全体を見渡すことができるようにした図であ
る。
FIG. 5 is a view in which the image of FIG. 4 is rotated by 90 degrees about the line of sight so that the entire offside line can be seen over the zoom-up state.

【図6】図1中の画像提供装置を、腕時計型ディスプレ
イ,携帯端末などで実現した例を示す図である。
FIG. 6 is a diagram showing an example in which the image providing apparatus in FIG. 1 is realized by a wristwatch type display, a portable terminal, or the like.

【図7】本発明の第2の実施の形態に係るオフサイド判
定補助装置の構成を示すプロック図である。
FIG. 7 is a block diagram illustrating a configuration of an offside determination assisting device according to a second embodiment of the present invention.

【図8】本発明の第3の実施の形態に係るオフサイド判
定補助装置の構成を示すブロック図である。
FIG. 8 is a block diagram illustrating a configuration of an offside determination assisting device according to a third embodiment of the present invention.

【図9】第3の実施の形態に係るオフサイド判定補助装
置の処理を示す流れ図である。
FIG. 9 is a flowchart illustrating processing of an offside determination assisting device according to a third embodiment.

【図10】図8中の画像解析装置が撮像装置から取得す
る画像を例示する図である。
10 is a diagram illustrating an example of an image acquired by the image analysis device in FIG. 8 from an imaging device.

【図11】図10の画像に対してセグメンテーションを
行った画像を例示する図である。
11 is a diagram illustrating an image obtained by performing a segmentation on the image of FIG. 10;

【図12】図11の画像中のプレーヤ領域を外接矩形で
くくった状態を例示する図である。
12 is a diagram illustrating a state where a player area in the image of FIG. 11 is bounded by a circumscribed rectangle;

【図13】図10の画像において最後尾プレーヤの最後
尾位置を基準位置座標と比較することを示す図である。
13 is a diagram showing that the last position of the last player in the image of FIG. 10 is compared with reference position coordinates.

【図14】図10の画像においてオフサイドの位置にい
るプレーヤ領域上部にオフサイドマークを描写すること
を示す図である。
14 is a diagram showing that an offside mark is drawn above a player area located at an offside position in the image of FIG. 10;

【符号の説明】[Explanation of symbols]

1 オフサイドライン撮像装置 2 指示画像送信装置 3 画像提供装置 4 画像取得指示入力装置 11 撮像装置 12 駆動装置 13 制御装置 14 画像解析装置 21 画像送信装置 22 入力判断装置 23 映像蓄積装置 31 画像受信装置 32 画像表示装置 DESCRIPTION OF SYMBOLS 1 Offside line imaging device 2 Instruction image transmission device 3 Image providing device 4 Image acquisition instruction input device 11 Imaging device 12 Drive device 13 Control device 14 Image analysis device 21 Image transmission device 22 Input judgment device 23 Video storage device 31 Image reception device 32 Image display device

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/232 H04N 5/232 B 7/18 7/18 Z Fターム(参考) 5C022 AA01 AB62 AB65 AC27 AC69 AC74 AC78 5C054 AA01 CA04 CC02 CE12 CE15 CF06 CF08 CG02 CG08 CH01 CH02 DA07 EA01 EA03 EA05 EA07 EG06 FC11 FE04 GB01 GB05 GD01 GD07 HA16 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/232 H04N 5/232 B 7/18 7/18 Z F term (Reference) 5C022 AA01 AB62 AB65 AC27 AC69 AC74 AC78 5C054 AA01 CA04 CC02 CE12 CE15 CF06 CF08 CG02 CG08 CH01 CH02 DA07 EA01 EA03 EA05 EA07 EG06 FC11 FE04 GB01 GB05 GD01 GD07 HA16

Claims (19)

【特許請求の範囲】[Claims] 【請求項1】オフサイドライン上の映像を取得するオフ
サイドライン撮像装置と、後述する画像提供装置に表示
すべき画像の時刻を指示する画像取得指示入力装置と、
前記オフサイドライン撮像装置により取得された映像に
おける指示された時刻のオフサイドライン上の画像を送
信する指示画像送信装置と、前記指示画像送信装置から
送信された画像を受信して表示する画像提供装置とを備
えることを特徴とするオフサイド判定補助装置。
1. An offside line imaging device for acquiring an image on an offside line, an image acquisition instruction input device for instructing a time of an image to be displayed on an image providing device described later,
An instruction image transmitting apparatus that transmits an image on an offside line at a designated time in a video acquired by the offside line imaging apparatus, and an image providing apparatus that receives and displays an image transmitted from the instruction image transmitting apparatus. An offside determination assisting device, comprising:
【請求項2】前記オフサイドライン撮像装置が、映像を
撮像する撮像装置と、前記撮像装置を指示を受けた方向
および速度で移動させる駆動装置と、オフサイドライン
を前記撮像装置で撮像するために前記駆動装置を制御す
る制御装置とを備えることを特徴とする請求項1記載の
オフサイド判定補助装置。
2. The imaging device according to claim 1, wherein the offside line imaging device is an imaging device that captures an image, a driving device that moves the imaging device in a direction and at a speed instructed, and an imaging device that captures an offside line with the imaging device. The offside determination assisting device according to claim 1, further comprising a control device that controls the driving device.
【請求項3】前記制御装置が、ジョイスティックを備え
た方向指示装置であり、ユーザが手動で操作を行うこと
を特徴とする請求項2記載のオフサイド判定補助装置。
3. The offside determination assisting device according to claim 2, wherein the control device is a direction indicating device provided with a joystick, and is manually operated by a user.
【請求項4】前記指示画像送信装置が、前記画像取得指
示入力装置からの画像取得指示信号を検出したときに画
像送信要求信号を発生する入力判断装置と、前記入力判
断装置からの画像送信要求信号を受けたときに前記撮像
装置から取得した映像を画像として送信する画像送信装
置とを備えることを特徴とする請求項1記載のオフサイ
ド判定補助装置。
4. An input determination device for generating an image transmission request signal when the instruction image transmission device detects an image acquisition instruction signal from the image acquisition instruction input device, and an image transmission request signal from the input determination device. The apparatus according to claim 1, further comprising: an image transmission device that transmits a video acquired from the imaging device as an image when receiving a signal.
【請求項5】前記画像提供装置が、前記指示画像送信装
置から送信された画像を受信する画像受信装置と、前記
画像受信装置から供給される画像を表示する画像表示装
置とを備えることを特徴とする請求項1記載のオフサイ
ド判定補助装置。
5. The image providing apparatus according to claim 1, further comprising: an image receiving device that receives an image transmitted from the instruction image transmitting device; and an image display device that displays an image supplied from the image receiving device. The offside determination assisting device according to claim 1, wherein
【請求項6】前記画像取得指示入力装置が、画像を取得
する時刻を指示する押しボタンでなることを特徴とする
請求項1記載のオフサイド判定補助装置。
6. The offside determination assisting device according to claim 1, wherein said image acquisition instruction input device is a push button for instructing a time to acquire an image.
【請求項7】前記指示画像送信装置が、撮像した映像を
蓄積する映像蓄積装置を備え、送受信する画像が複数の
静止画像または動画像であることを特徴とする請求項1
または請求項4記載のオフサイド判定補助装置。
7. The apparatus according to claim 1, wherein said instruction image transmitting device includes a video storage device for storing a captured video, and the transmitted and received images are a plurality of still images or moving images.
An offside determination assisting device according to claim 4.
【請求項8】前記画像提供装置において、ユーザの指示
で表示を行いたい画像を複数の静止画像または動画像の
いずれかから選択できることを特徴とする請求項7記載
のオフサイド判定補助装置。
8. The apparatus according to claim 7, wherein in the image providing apparatus, an image to be displayed can be selected from a plurality of still images and moving images in accordance with a user's instruction.
【請求項9】前記撮像装置が、前記駆動装置によりサイ
ドラインと平行に移動することを特徴とする請求項2記
載のオフサイド判定補助装置。
9. The offside determination assisting device according to claim 2, wherein the imaging device is moved by the driving device in parallel with a side line.
【請求項10】前記オフサイドライン撮像装置が、撮像
された画像からボールまたはプレーヤの位置を検出する
ことでオフサイドラインの位置を推定する画像解析装置
を備え、オフサイドライン位置が前記撮像装置で撮像さ
れるように前記撮像装置の位置を自動制御することを特
徴とする請求項1または請求項2記載のオフサイド判定
補助装置。
10. The offside line image pickup device includes an image analysis device for estimating an offside line position by detecting a position of a ball or a player from a picked-up image, and the offside line position is picked up by the image pickup device. The offside determination assisting device according to claim 1 or 2, wherein the position of the image pickup device is automatically controlled so that the position of the image pickup device is controlled.
【請求項11】前記画像解析装置が、サッカーの場合は
ゴールキーパを除く守備側チームの最後尾プレーヤ位置
をオフサイドライン位置と判断することを特徴とする請
求項10記載のオフサイド判定補助装置。
11. The offside determination assisting device according to claim 10, wherein the image analysis device determines the last player position of the defending team excluding the goalkeeper in the case of soccer as an offside line position.
【請求項12】前記画像解析装置が、推定したオフサイ
ドラインを撮像画像上に描写して提示することを特徴と
する請求項10または請求項11記載のオフサイド判定
補助装置。
12. The offside determination assisting device according to claim 10, wherein the image analysis device draws and presents the estimated offside line on a captured image.
【請求項13】前記画像解析装置が、検出したオフサイ
ド位置のプレーヤの目印を撮像画像上に描写して提示す
ることを特徴とする請求項10,請求項11または請求
項12記載のオフサイド判定補助装置。
13. The offside determination assisting device according to claim 10, wherein the image analysis device draws and presents a mark of the player at the detected offside position on a captured image. apparatus.
【請求項14】前記指示画像送信装置および前記画像提
供装置において、画像の送受信を無線を用いて行うこと
を特徴とする請求項1ないし請求項13のいずれかに記
載のオフサイド判定補助装置。
14. The offside determination assisting device according to claim 1, wherein said instruction image transmitting device and said image providing device transmit and receive images wirelessly.
【請求項15】前記画像提供装置が、前記画像提供装置
と前記画像取得指示入力装置とが一体となった携帯端末
であることを特徴とする請求項1ないし請求項14のい
ずれかに記載のオフサイド判定補助装置。
15. The image forming apparatus according to claim 1, wherein the image providing device is a portable terminal in which the image providing device and the image acquisition instruction input device are integrated. Offside judgment assist device.
【請求項16】前記オフサイドライン撮像装置が、フィ
ールドの両サイドライン際に敷かれたレール上に1対設
置され、それぞれの前記オフサイドライン撮像装置がフ
ィールドの各サイドにおけるオフサイドラインの追尾を
行うことを特徴とする請求項1記載のオフサイド判定補
助装置。
16. A pair of said off-side line imaging devices are installed on rails laid on both side lines of a field, and each of said off-side line imaging devices tracks an off-side line on each side of a field. The offside determination assisting device according to claim 1, wherein:
【請求項17】前記一対のオフサイドライン撮像装置
が、副審の移動する範囲を妨げないように、同じサイド
を担当する副審と反対側のサイドライン際に配置される
ことを特徴とする請求項16記載のオフサイド判定補助
装置。
17. The pair of offside line imaging devices are arranged on the side line opposite to the assistant referee in charge of the same side so as not to obstruct the moving range of the assistant referee. The described offside determination assisting device.
【請求項18】前記オフサイドライン撮像装置が、設置
の高さを高くとり、フィールドを見下ろす画角に設置さ
れることを特徴とする請求項16または請求項17記載
のオフサイド判定補助装置。
18. The apparatus according to claim 16, wherein the offside line imaging apparatus is installed at an angle of view overlooking a field by increasing the installation height.
【請求項19】前記オフサイドライン撮像装置が、フィ
ールドの高所にレールを設置し、吊り下げる形で設置さ
れることを特徴とする請求項16または請求項17記載
のオフサイド判定補助装置。
19. The apparatus according to claim 16, wherein said offside line imaging device is installed by suspending a rail at a height of a field.
JP2001022584A 2001-01-31 2001-01-31 Offside judgment assist device Expired - Fee Related JP4355884B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001022584A JP4355884B2 (en) 2001-01-31 2001-01-31 Offside judgment assist device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001022584A JP4355884B2 (en) 2001-01-31 2001-01-31 Offside judgment assist device

Publications (2)

Publication Number Publication Date
JP2002224260A true JP2002224260A (en) 2002-08-13
JP4355884B2 JP4355884B2 (en) 2009-11-04

Family

ID=18887978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001022584A Expired - Fee Related JP4355884B2 (en) 2001-01-31 2001-01-31 Offside judgment assist device

Country Status (1)

Country Link
JP (1) JP4355884B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008990A (en) * 2001-06-19 2003-01-10 Nhk Engineering Services Inc Auxiliary video effect generator, and video transmitter and video receiver
JP2004208995A (en) * 2002-12-30 2004-07-29 Casio Comput Co Ltd Judgment assisting device for competition, competition result indicating device, and judgement assisting system for competition
JP2005209148A (en) * 2003-12-26 2005-08-04 Nippon Hoso Kyokai <Nhk> Offside line detector, program therefor, and player location detector
JP2007003340A (en) * 2005-06-23 2007-01-11 Fujitsu Frontech Ltd Moving object measuring arrangement and measuring method for moving object
JP2010124895A (en) * 2008-11-25 2010-06-10 Nippon Hoso Kyokai <Nhk> Score possibility quantification device, score possibility sequencing device, and score possibility quantification program
US8335296B2 (en) 2007-09-17 2012-12-18 Siemens Aktiengesellschaft Multi-leaf collimators and operating method
CN111275021A (en) * 2020-03-17 2020-06-12 淮安信息职业技术学院 Automatic football offside line scribing method based on computer vision
US11825063B2 (en) 2021-04-02 2023-11-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008990A (en) * 2001-06-19 2003-01-10 Nhk Engineering Services Inc Auxiliary video effect generator, and video transmitter and video receiver
JP4658391B2 (en) * 2001-06-19 2011-03-23 財団法人エヌエイチケイエンジニアリングサービス Image auxiliary effect generating device, image transmitting device, and image receiving device
JP2004208995A (en) * 2002-12-30 2004-07-29 Casio Comput Co Ltd Judgment assisting device for competition, competition result indicating device, and judgement assisting system for competition
JP2005209148A (en) * 2003-12-26 2005-08-04 Nippon Hoso Kyokai <Nhk> Offside line detector, program therefor, and player location detector
JP4533037B2 (en) * 2003-12-26 2010-08-25 日本放送協会 Offside line detection device and program thereof
JP2007003340A (en) * 2005-06-23 2007-01-11 Fujitsu Frontech Ltd Moving object measuring arrangement and measuring method for moving object
US8335296B2 (en) 2007-09-17 2012-12-18 Siemens Aktiengesellschaft Multi-leaf collimators and operating method
JP2010124895A (en) * 2008-11-25 2010-06-10 Nippon Hoso Kyokai <Nhk> Score possibility quantification device, score possibility sequencing device, and score possibility quantification program
CN111275021A (en) * 2020-03-17 2020-06-12 淮安信息职业技术学院 Automatic football offside line scribing method based on computer vision
US11825063B2 (en) 2021-04-02 2023-11-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
JP4355884B2 (en) 2009-11-04

Similar Documents

Publication Publication Date Title
US8154633B2 (en) Line removal and object detection in an image
US8483549B2 (en) System and method for managing the visual effects insertion in a video stream
US20090128563A1 (en) User interface for accessing virtual viewpoint animations
JP4389901B2 (en) Camera automatic control system, camera automatic control method, camera automatic control device, and program in sports competition
US20180225852A1 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
EP1279425A3 (en) Video game apparatus, method and recording medium storing program for controlling movement of simulated camera in video game
JP2006263169A (en) Image analysis system of swing operation
WO2009029483A1 (en) Methods and computer readable medium for displaying a restored image
WO2009064904A1 (en) 3d textured objects for virtual viewpoint animations
EP2215604A1 (en) Updating background texture for virtual viewpoint antimations
JP2011139282A (en) Image processing apparatus, imaging apparatus, image processing method, and program
KR101291765B1 (en) Ball trace providing system for realtime broadcasting
JP4355884B2 (en) Offside judgment assist device
JPH06105231A (en) Picture synthesis device
KR101879368B1 (en) Event video providing system in ball game and judge in/out method using the same
Pers et al. A low-cost real-time tracker of live sport events
KR101738420B1 (en) System and method for automatically creating image information on golf
JP3929811B2 (en) Image composition apparatus and image composition method
JP2022016929A (en) Information processing device, information processing method, and program
JPH10341431A (en) Motion component detection processor for object and medium storing processing program therefor
JP5687670B2 (en) Display control system, game system, display control device, and program
KR101888747B1 (en) Event video providing system in ball game and event video generating method using the same
KR101703317B1 (en) Realtime displaying system in baseball game relay broadcast
JP4658391B2 (en) Image auxiliary effect generating device, image transmitting device, and image receiving device
KR20050079275A (en) Sportscast system and method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090721

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees