JP6909513B2 - スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末 - Google Patents

スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末 Download PDF

Info

Publication number
JP6909513B2
JP6909513B2 JP2019174846A JP2019174846A JP6909513B2 JP 6909513 B2 JP6909513 B2 JP 6909513B2 JP 2019174846 A JP2019174846 A JP 2019174846A JP 2019174846 A JP2019174846 A JP 2019174846A JP 6909513 B2 JP6909513 B2 JP 6909513B2
Authority
JP
Japan
Prior art keywords
information
competition
video stream
spectator
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019174846A
Other languages
English (en)
Other versions
JP2019216483A (ja
Inventor
將洋 鈴木
將洋 鈴木
佐古 曜一郎
曜一郎 佐古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mico Latta Inc
Original Assignee
Mico Latta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018202399A external-priority patent/JP6598334B2/ja
Application filed by Mico Latta Inc filed Critical Mico Latta Inc
Priority to JP2019174846A priority Critical patent/JP6909513B2/ja
Publication of JP2019216483A publication Critical patent/JP2019216483A/ja
Priority to JP2021106218A priority patent/JP7158770B2/ja
Application granted granted Critical
Publication of JP6909513B2 publication Critical patent/JP6909513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、例えばゴルフ競技、体操競技、オリンピック競技などのスポーツ競技をライブで観戦する際に用いて好適なスポーツ競技ライブ観戦システムに関する。
ゴルフ競技や体操競技などのスポーツ競技をライブ観戦する場合に、観戦者は、異なった位置にいる複数の選手のプレーや演技等のパフォーマンスを同時的に観ることは困難である。体操競技やオリンピック競技などのように複数の種目の競技が、同一競技場内で同時的に行われる場合にも、その複数の種目について選手のパフォーマンスを同時に観ることは難しい。
スポーツ競技ライブ観戦システムの一例として、例えば特許文献1には、複数台のテレビカメラを、例えば競技場に配置し、その複数台のテレビカメラで撮影したストリームデータを合成して、一つの合成ストリームデータを生成し、その合成ストリームデータを視聴者端末に配信することが開示されている。したがって、視聴者は、視聴者端末において、合成ストリームの中からの一つを選択して、視聴者端末で見ることで、居ながらにして、自分自身が移動して他の位置の選手のパフォーマンスを観戦しているようなライブ映像を見ることができる。
特開2003−18583号公報
しかしながら、上述のようなスポーツ競技においては、常に選手がパフォーマンスを行っているのではなく、次のパフォーマンスを行うために移動していたり、準備をしていたりする時間もある。そのため、複数台のテレビカメラで撮影したストリームデータの中から所定のテレビカメラで撮影したストリームデータを選択的に受信して、視聴者端末に表示しても、選手がパフォーマンスをする場面ではない場合が多々生じる。他方、その選択の間に、他のテレビカメラで、選手がパフォーマンスを実行しているなどということも生じる。
このため、観戦者自身が観たいと欲していた選手のパフォーマンスや、観戦者自身が観たいと欲していた種目のパフォーマンスを、観戦者は見逃してしまう恐れがある。
この発明は、以上の点に鑑み、複数の選手が同時的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が、所望する選手や種目のパフォーマンスを、見逃すことなく観ることができるようにしたスポーツ競技ライブ観戦システムを提供することを目的とする。
上記の課題を解決するために、請求項1の発明は、
複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技のライブ観戦システムであって、
撮影した動画映像の映像ストリームを無線送信する複数のカメラと、
前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部と、前記収集した前記映像ストリームに基づく配信映像ストリーム(0066)の複数個を放送信号として配信する配信部とを備える映像収集配信設備装置と、
前記競技の観戦者が所持し、前記映像収集配信設備装置からの前記放送信号を受信し、前記配信映像ストリームを観視するための表示画面に表示する観戦者端末と、
を備え、
前記映像収集配信設備装置は、
前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加し、
前記観戦者端末は、
前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の前記観戦者による登録を受け付けて登録情報記憶部に記憶する登録手段と、
前記受信した放送信号の前記配信映像ストリームに含まれる前記推奨場面通知情報を検出すると共に、前記検出した前記推奨場面通知情報に対応付けられている前記撮影位置の情報及び/または前記選手を特定するための情報と、前記登録情報記憶部に記憶されている前記撮影位置の情報及び/または前記競技のパフォーマンスを行う選手とが合致する前記配信映像ストリームを検出し、前記合致する前記配信映像ストリームを前記観戦者に報知する報知手段と
を備えることを特徴とするスポーツ競技ライブ観戦システムを提供する。
上述の構成の請求項1の発明によれば、映像収集配信設備装置は、収集部で収集した、複数のカメラからの映像ストリームのそれぞれの画像内容に基づいて、観戦者による観視を推奨する推奨場面を通知するための推奨場面通知情報を生成し、生成した推奨場面通知情報を、放送する映像ストリームのそれぞれに付加するようにすると共に、推奨場面の撮影位置の情報及び/または推奨場面で競技のパフォーマンスを行う選手を特定するための情報を、推奨場面通知情報に対応付けて付加する。
一方、観戦者端末は、観戦者が観視を希望する撮影位置及び/または競技のパフォーマンスを行う選手の観戦者による登録を受け付けて登録情報記憶部に記憶する登録手段を備える。そして、観戦者端末の報知手段は、受信した放送信号の配信映像ストリームに含まれる推奨場面通知情報を検出すると共に、検出した推奨場面通知情報に対応付けられている撮影位置の情報及び/または選手を特定するための情報と、登録情報記憶部に記憶されている撮影位置の情報及び/または競技のパフォーマンスを行う選手とが合致する配信映像ストリームを検出し、合致する前記配信映像ストリームを観戦者に報知する。
したがって、観戦者は、観視を希望する撮影位置及び/または選手について、当該選手がパフォーマンスを開始する場面が近づいた配信映像ストリームを検知することができるので、観戦者端末において、その配信映像ストリームを選択して表示画面に表示させるようにすることができ、当該パフォーマンスを見逃すことがない。
この発明によるスポーツ競技ライブ観戦システムによれば、複数の選手が同時的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が、所望する選手や種目のパフォーマンスを、見逃すことなく観ることができる。
この発明によるスポーツ競技ライブ観戦システムの実施形態の概要を説明するための図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成するカメラの構成例を示すブロック図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する映像収集配信設備装置の収集装置部の構成例を示すブロック図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する映像収集配信設備装置の配信装置部の構成例を示すブロック図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態において配信される映像ストリームの例を説明するための図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末の構成例を示すブロック図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末の表示画面上の表示例を示す図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末の構成例を説明するために用いる図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末の構成例を説明するために用いる図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末における処理動作の流れの例を説明するフローチャートの一部を示す図である。 この発明によるスポーツ競技ライブ観戦システムの実施形態を構成する観戦者端末における処理動作の流れの例を説明するフローチャートの一部を示す図である。 この発明によるスポーツ競技ライブ観戦システムの他の実施形態の概要を説明するための図である。
以下、この発明によるスポーツ競技ライブ観戦システムの実施形態を、図を参照しながら説明する。以下に説明するシステムは、ゴルフ競技を観戦するシステムの場合に、この発明を適用した例である。
図1は、この実施形態のスポーツ競技ライブ観戦システムの概要を説明するための図である。図1の中央に示されるのは、ゴルフ競技が開催されるゴルフ場のゴルフコースの例の全体を示すもので、この例では、18ホールからなる。各ホールに付与されている数字は、ホール番号を示している。
観戦者としては、パフォーマンス(この例のゴルフ競技の場合にはゴルフプレー。以下プレーと記載する)を観てみたい選手に付いて、各ホールを回る人や、特定のホールに留まって、当該ホールにおける複数の選手のプレーを観る人もいる。前者の場合、観戦者は、観てみたい選手が複数人存在する場合に、従来は、当該複数の選手と同じ組で一緒にプレーする場合以外には、当該複数の選手のプレーを、ライブで観ることができなかった。また、後者の場合には、観戦者は、従来は、特定のホールでの選手のプレーしか観ることができず、他のホールにおける選手のプレーのライブ観戦は、諦めるしかなかった。
また、例えばプロゴルフ競技の場合、通常、図1に示すように、18番ホール(最終ホール)のグリーンの周囲の適宜の位置には、観戦者用の観覧席STが設けられており、図1において、当該観覧席STの拡大図に示すように、観戦者が座って観戦できるようにされている。この観覧席STに着席する観戦者は、各ホールを選手に付いて回るのではなく、選手が当該最終ホールのグリーンに到着してプレーをするのを待つ。したがって、観覧席STに着席する観戦者は、従来は、最終ホールのプレーは楽しめるものの、当該最終ホールまでの他のホールにおける選手のプレーを観ることは諦めることが多かった。
また、ゴルフ競技の観戦者の多くは、全ての選手のプレーを観たいのではなく、自分が贔屓にしている選手やファンになっている選手、また目当ての選手のプレーを中心に観たいということが多い。ただし、観戦者は、選手が移動中の姿等を特に観たいという要求は低く、選手が行うティーショット、セカンドショット、アプローチショット、バンカーショット、パッティングなどのプレーを観ることができればよいことが多い。また、観戦者は、自分が現在居る位置以外の特定のホールのプレーは、贔屓やファンの選手、目当ての選手のみではなく、全ての選手あるいは多くの選手のプレーを観戦してみたいという場合もある。特定のホールは、例えば、選手の名前やプロフィールの紹介がある1番ホール(スタートホール)や、観戦するゴルフコースの名物ホールや難ホールである。
以下に説明する実施形態は、上記のような要求をも満足することができるように考慮している。すなわち、この実施形態では、上記のような、従来はできない、あるいは諦めるしかなかった選手のプレーを、的確に、ライブ観視することができるようにしている。
この実施形態のスポーツ競技ライブ観戦システムは、複数台のカメラ10と、映像収集配信設備装置20と、複数台の観戦者端末30とからなる。
この実施形態では、カメラ10は、1番ホールから18番ホールの各ホールの適宜の位置において選手のプレーを動画として撮影するように、複数台が配置される。カメラ10は、例えば、各ホールにおいて、ティーグランド、セカンドショット地点、グリーン近傍、の3か所に配置される。図1では、4番ホールのグリーン近傍、8番ホールのグリーン近傍、14番ホールのティーグランド、に配置されたカメラ10のみを示し、その他のカメラ10の図示は省略してある。なお、カメラ10は固定的に設置されていてもよいし、撮影者が、カメラ10を持って、配置位置近傍において移動しながら撮影するようにしても勿論よい。
なお、カメラ10の配置箇所や台数は、これに限定されるものではなく、例えばバンカーの周辺に配置してもよい。また、同じティーグランドに配置する場合でも、選手に対して正対する方向、打球線方向に沿った選手の後方など複数箇所に配置してもよい。選手に対して正対する方向からの撮影は、選手のスウィングがよく見えるため、選手のスウィングや表情を観たい場合に好適である。選手の後方からの撮影は、選手のスウィングはもちろん、球筋、落下点が見やすく、じっくり観ることができるという長所がある。
また、カメラ10は同じ種類のものを配置してもよいし、異なる種類のものを配置してもよい。例えば、ティーグランドに配置されたカメラ10は遠距離のショットを追うために、望遠性能のすぐれたカメラとし、グリーン近傍に配置されたカメラ10はカップインの瞬間を捉えるために、ズーム機能の充実したカメラとすることができる。
カメラ10のそれぞれは、選手のプレーを動画として撮影し、その撮影した動画の映像ストリームを、映像収集配信設備装置20に向けて無線送信する機能を有する。無線送信する映像ストリームには、カメラ10の識別情報と、それぞれのカメラの撮影位置を特定するための情報(以下、撮影位置情報)が付加されている。
映像収集配信設備装置20は、この実施形態では、ゴルフ競技が開催されるゴルフ場の適宜の位置に設けられる。映像収集配信設備装置20は、各ホールに配置されている複数のカメラ10から送られてくる映像ストリームを収集し、観戦者端末30に配信する。この実施形態では、映像収集配信設備装置20は、収集装置部21と、配信装置部22とにより構成されている。なお、映像収集配信設備装置20は、この例のように収集装置部21と配信装置部22とに分離せずに、一つの装置として構成しても勿論よい。
収集装置部21は、各ホールに配置されている複数のカメラ10から送られてくる映像ストリームを収集する。収集装置部21は、その収集した映像ストリームのそれぞれに、いずれの撮影位置のカメラ10からの映像ストリームであるかを示す撮影位置情報と、カメラ識別情報とを付加して、配信装置部22に転送する。同じ撮影位置に複数台のカメラ10が配置される場合も考慮して、収集装置部21からは、カメラ10のそれぞれを識別するためのカメラ識別情報も、撮影位置情報に加えて付加されて、配信装置部22に転送されるものである。同じ撮影位置に1台のカメラしか存在しない場合には、収集装置部21から配信装置部22には、撮影位置情報を送るだけで、カメラ識別情報の転送は省略してもよい。
また、この実施形態では、収集装置部21は、収集した映像ストリームのそれぞれについて、画像認識を行うことで、当該映像ストリームの当該時点において撮影されている選手を認識する。そして、配信装置部22は、その認識した選手を特定するための情報(選手特定情報)を、配信装置部22に転送する映像ストリームのそれぞれに付加するようにする。
また、収集装置部21では、収集した映像ストリームのそれぞれの画像内容に基づいて、観戦者による観視を推奨する場面を予測して検出し、当該場面を、その開始前に観戦者に通知するための推奨場面通知情報を生成する。そして、収集装置部21は、その生成した推奨場面通知情報を、映像ストリームのそれぞれに、前述したように、推奨する場面の開始前のタイミング時点において付加するようにする。ここで、観戦者による観視を推奨する場面とは、この例のゴルフ競技の場合には、選手がティーショットを打つ、セカンドショットを打つ、パッティングをするなどのプレーを実行する場面である。
配信装置部22は、収集装置部21から転送されてくる映像ストリーム及び、当該映像ストリームに付加されている撮影位置情報、選手特定情報、推奨場面通知情報を受けて、これらに基づいて、配信する映像ストリームを生成して、観戦者端末30に対して、放送信号形式で、送信するようにする。
観戦者端末30は、当該ゴルフ競技の観戦チケットを有する観戦者に、有償で、あるいは無償で貸与される専用端末とされる。専用端末はタブレット型端末でもよいし、折り畳めるタイプの端末でもよい。あるいは、観戦者端末30の機能を実現するアプリケーションソフトウエアプログラムを、事前に、インターネットなどを通じて、有償または無償で、当該ゴルフ競技の観戦チケットを有する観戦者のスマートフォンやタブレットなどの携帯端末にダウンロードすることで、観戦者自身が所有するスマートフォンやタブレットなどの携帯端末を観戦者端末30とすることもできる。専用端末の場合には、観戦者端末30は、ヘッドマウント型ディスプレイや眼鏡型ディスプレイの構成のものであってもよい。
この観戦者端末30は、配信装置部22から放送により配信された複数の映像ストリームを受信し、利用者(この例では観戦者。以下、観戦者または利用者と記載する)の選択操作に応じて、そのうちの一つの映像ストリームを表示画面に表示することができる。
ここで、配信装置部22からの、観戦者端末30への映像ストリーム配信(放送)方式としては、この実施形態では、Wi−Fi(登録商標)を用いたマルチキャストによるWi−Fi(登録商標)利用放送を用いる(http://www.isid.co.jp/news/2012/0216.html参照)。観戦者端末30では、各映像ストリームのパケットのヘッダ部に含まれる撮影位置情報に応じた識別情報(映像ストリームID)に基づいて、複数の映像ストリームの中から、所望の映像ストリームの選択をすることができる。なお、アクセスポイントは、各ホール毎に複数個配設するようにする。
そして、特に、この実施形態では、観戦者端末30は、放送信号として受信する複数個の全ての映像ストリームについて、付加されている推奨場面通知情報を監視する機能を有する。そして、推奨場面通知情報を検出したときには、その推奨場面通知情報が検出された映像ストリームが、利用者が選択中の映像ストリームではないときには、検出された推奨場面通知情報が付加されていた映像ストリームを、利用者に報知するようにする。
したがって、利用者は、この推奨場面の報知により、いずれかの選手がプレーを開始する映像ストリームを事前に知って、その映像ストリームを選択することで、当該選手のプレーを見逃すことなく観視することができる。
この場合に、観戦者端末30では、推奨場面通知情報が検出された映像ストリームの撮影位置情報から、いずれのホールのいずれの位置であるかを知ることができると共に、推奨場面通知情報が検出された映像ストリームに付加されている選手特定情報から、いずれの選手についての映像ストリームであるかも知ることができるので、前記撮影位置情報及び選手特定情報を、表示画面を通じて利用者に通知することができる。したがって、利用者は、この表示画面の撮影位置情報や選手特定情報から、推奨場面通知情報により、推奨された場面の到来の通知を受けても、自分が観視を希望する位置や選手であるかを認識することができて、それに基づいて、実際に映像ストリームを選択するかどうかを決定することができる。
以上の場合は、観戦者端末30において、全てのカメラ撮影位置における全ての選手に付いての推奨場面通知情報の検出がなされ、その検出結果に基づいて、当該推奨場面の開始予告の報知がなされることになる。したがって、出場選手が多数の場合に、頻繁に推奨場面の開始予告の報知がなされることになる。
前述したように、ゴルフ競技の観戦者の多くは、全ての選手のプレーを観たいのではなく、自分が贔屓にしている選手やファンになっている選手、また目当ての選手のプレーを中心に観たいということが多い。また、観戦者は、自分が現在居る位置以外の特定のホールのプレーは、贔屓やファンの選手、目当ての選手のみではなく、全ての選手あるいは多くの選手のプレーを観戦してみたいという場合もある。
このことに鑑み、この実施形態では、観戦者端末30においては、利用者による推奨場面通知情報を検出する対象の選手の登録及び推奨場面通知情報を検出する対象のホールなどの撮影位置の登録を受け付ける機能を設けている。そして、観戦者端末30は、利用者が登録した選手のプレーに限定された推奨場面の開始予告の報知を受けることができるようにする機能を備えると共に、登録した撮影位置については全ての選手のプレーについての推奨場面の開始予告の報知を受けることができるようにする機能を備えるように構成されている。
次に、カメラ10、映像収集配信設備装置20及び観戦者端末30の、より詳細な構成例について説明する。
[カメラ10の構成例]
図2は、この実施形態におけるカメラ10の構成例を示すブロック図である。すなわち、カメラ10は、図2に示すように、制御部101に対して、システムバス100を通じて、撮影部102、送信信号生成部103、送信部104、撮影位置情報発生部105、操作部106、のそれぞれが接続されて構成されている。
制御部101は、マイクロコンピュータ(図示せず)を備えて構成されており、カメラ10の全体の動作を、内蔵するメモリに記憶されているプログラムにより制御する。
撮影部102は、選手のプレーを動画として撮影するもので、望遠機能やズーム機能等を備える。操作部106は、撮影者の操作入力に応じて、撮影部102による動画の撮影の開始や終了の操作指示、望遠指示やズーム指示等を行う。制御部101は、この操作部106での撮影者の操作指示に応じて撮影部102を制御する。なお、各種操作指示は、撮影者ではなく、カメラが選手やゴルフボールなど外界を認識して、全自動ですることも可能である。撮影部102で撮影された動画の情報は送信信号生成部103に供給される。
撮影位置情報発生部105は、この例では、例えばGPS(Global Positioning System)測位手段を用いて現在位置を検出し、検出した現在位置情報を、送信信号生成部103に供給する。
送信信号生成部103は、撮影部102からの動画の映像ストリームに、撮影位置情報発生部105からの現在位置情報と、カメラ10の自機のカメラ識別情報を付加した送信情報を生成する。カメラ識別情報は、この例では、制御部101が内蔵するメモリ(図示は省略)に記憶されており、制御部101から送信部104に供給される。送信信号生成部103は、生成した送信情報を送信部104に供給する。
送信部104は、この例では、Wi−Fi(登録商標)を用いる無線LANの無線通信器の構成であり、宛先を映像収集配信設備装置20にして、送信情報を、無線送信する。なお、カメラ10から映像収集配信設備装置20への無線送信は、この例のような無線LANの構成とする場合に限られるものではなく、カメラ10から送信情報を映像収集配信設備装置20へ無線送信することができるものであれば、どのような無線通信方式を採用してもよい。
なお、送信信号生成部103及び送信部104は、専用装置部の構成として、撮影部102、撮影位置情報発生部105及び操作部106を備えるカメラ本体部と有線または無線で接続される構成であってもよい。
また、送信信号生成部103は、制御部101がそのソフトウエア機能として実行する機能手段の構成としてもよい。
[映像収集配信設備装置20の構成例]
[収集装置部21の構成例]
図3は、映像収集配信設備装置20の収集装置部21の構成例を示すブロック図である。すなわち、この例では、収集装置部21は、制御部211に対して、システムバス210を通じて、受信収集部212、撮影位置判別部213、選手特定情報生成部214、推奨場面通知情報生成部215、転送用カメラ映像生成部216、転送部217、のそれぞれが接続されて構成されている。選手特定情報生成部214には、選手顔画像記憶部218が接続されている。
制御部211は、マイクロコンピュータ(図示せず)を備えて構成されており、収集装置部21の全体の動作を、内蔵するメモリに記憶されているプログラムにより制御する。
受信収集部212は、この例では、Wi−Fi(登録商標)を用いる無線LANの無線通信器の構成であり、複数台のカメラ10のそれぞれからの映像ストリームと、それに付加されている現在位置情報及びカメラ識別情報とを受信し、カメラ識別情報により区分けされたバッファメモリに、収集した映像ストリーム、現在位置情報及びカメラ識別情報を順次に一時記憶する。
撮影位置判別部213は、バッファメモリに一時記憶された映像ストリームに付加されている現在位置情報から、映像ストリームが何番ホールのどの位置であるかを判別する。この判別のため、撮影位置判別部213には、図示は省略するが、各ホールのティーグランド、セカンドショット、グリーンなどの撮影位置と、そのそれぞれに対応する位置情報範囲との対応テーブルが設けられており、撮影位置判別部213は、映像ストリームに付加されている現在位置情報で示されるカメラ10の現在位置が、どの位置情報範囲内であるかを判別することで、何番ホールのどの位置であるかを判別する。そして、撮影位置判別部213は、判別結果の何番ホールのどの位置であるかを示す撮影位置情報を、転送用カメラ映像生成部216に供給する。
なお、カメラ10の撮影位置情報発生部105は、この例では、カメラ10が、定点的に固定的な位置に配置されるので、何番ホールのどの位置であるかを示す情報を予め登録して、その登録情報を、撮影部102で撮影した映像ストリームに付加するようにしてもよい。その場合には、収集装置部21の撮影位置判別部213では、その情報を検出することで何番ホールのどの位置のカメラ10からの映像ストリームであることを判別することができる。あるいは、撮影位置判別部213の代わりに、映像ストリームに付加された何番ホールのどの位置のカメラ10かの情報を、撮影位置IDに置き換える手段を設けるようにしてもよい。
選手特定情報生成部214は、この例では、顔画像認識機能を有する。そして、選手顔画像記憶部218には、予め、当該ゴルフ競技に参加している選手の顔画像と、その選手名とが対応付けられて登録されて記憶されている。この場合に、選手顔画像記憶部218には、当該ゴルフ競技に参加している全ての選手の顔画像と、その選手名とを登録しておいてもよいし、全ての選手の中から選択した複数の選手の顔画像と、その選手名とを登録しておいてもよい。
選手特定情報生成部214は、受信収集部212のバッファメモリに一時記憶された映像ストリームの映像情報について、選手顔画像記憶部218に記憶されている選手の顔画像を用いた顔画像認識を行い、当該映像ストリーム中に登場する選手を認識し、その認識結果として選手名の情報を選手顔画像記憶部218から得て、その選手名の情報を転送用カメラ映像生成部216に供給する。なお、ゴルフ競技では、同一の組で、複数の選手がプレーするので、選手特定情報生成部214では、複数人の選手が同時に認識される場合もある。
推奨場面通知情報生成部215は、この例では、画像認識機能を有し、受信収集部212のバッファメモリに一時記憶された映像ストリームの画像内容について画像認識を行うことで、観戦者による観視を推奨する場面を予測して検出する。観戦者による観視を推奨する場面としては、例えば、ティーショット、セカンドショット、アプローチショット、バンカーショット、パッティングなどの、選手のプレーに入る準備からプレーを経てプレー終了に至る場面であり、推奨場面通知情報生成部215は、その場面を、その開始に先立ち、予測して検出する。
そして、推奨場面通知情報生成部215は、この実施形態においては、上記の推奨場面の予測検出は、
・選手がティーグランドに登場したこと、
・フェアウエイまたはラフを歩いていた選手が所定時間以上止まったこと、
・選手がパッティンググリーン上に登場したこと、
・選手がバンカー内に入ろうとしていること、
などの選手の挙動や状況を、画像認識により自動認識することにより行う。
そして、推奨場面通知情報生成部215は、この実施形態では、推奨場面通知情報として推奨フラグを用いる。そして、推奨場面通知情報生成部215は、上記の選手の挙動や状況を認識したときには、この実施形態では、その認識時点から、選手のプレーが終了するまでの間、推奨フラグを例えば「1」とし、その他の期間では推奨フラグを「0」にしておくようにする。推奨場面通知情報生成部215は、生成した推奨フラグを、転送用カメラ映像生成部216に供給する。
転送用カメラ映像生成部216は、受信収集部212からの映像ストリームに、撮影位置判別部213からの何番ホールのどの位置であるかを示す撮影位置情報と、選手特定情報生成部214からの選手名の情報と、推奨場面通知情報生成部215からの推奨場面通知情報の例としての推奨フラグとを付加して、転送用カメラ映像ストリーム情報を生成する。この場合に、転送用カメラ映像生成部216では、撮影位置情報は、映像ストリームの全体に亘って同じものが付加されるが、選手名の情報は、同一の選手名の場合、当該選手が選手特定情報生成部214で認識されている期間だけ、映像ストリームの対応期間において付加される。
転送用カメラ映像生成部216は、以上のようにして生成した転送用カメラ映像ストリーム情報を、転送部217に供給する。転送部217は、受け取った転送用カメラ映像ストリーム情報を、配信装置部22に転送する。この場合の転送は、収集装置部21と配信装置部22とが有線で接続されている場合には、その接続ケーブルを通じて行われ、収集装置部21と配信装置部22とが無線で接続されている場合には、無線通信により行われる。
なお、上述の説明では、推奨場面通知情報生成部215では、画像認識により、推奨場面の予測検出を自動認識により行うようにしたが、撮影者やオペレータによる、映像ストリーム中の推奨場面が予測される時点でのキュー(マーキング)操作などの所定の操作に基づいて、推奨フラグを「1」とするようにしてもよい。
すなわち、例えばカメラ10の撮影者が、撮影中に、推奨場面の開始が予測される時点で、開始キュー操作をすると共に、推奨場面が終了した時点で終了キュー操作をすることで、当該開始キュー操作に基づく開始キュー情報及び終了キュー操作に基づく終了キュー情報を、映像ストリームに付加して、映像収集配信設備装置20に送信するようにする。その場合には、映像収集配信設備装置20の収集装置部21では、映像ストリームに付加されている開始キュー情報の時点から推奨フラグを「1」として、終了キュー情報の時点で推奨フラグを「0」にして、配信装置部22に転送するようにする。
また、収集装置部21で、オペレータが収集した映像ストリームのモニター画像を監視し、推奨場面が予測される時点で、開始キュー操作及び終了キュー操作をするようにしてもよい。その場合には、推奨場面通知情報生成部215は、オペレータからの開始キュー操作を受けたことを検知した時点に対応して、推奨フラグを「1」にし、終了キュー操作を受けたことを検知した時点に対応して、推奨フラグを「0」に戻すようにする。
また、撮影位置判別部213、選手特定情報生成部214、推奨場面通知情報生成部215、転送用カメラ映像生成部216の各処理は、制御部211が、そのソフトウエア機能として実行する機能処理手段としてもよい。
[配信装置部22の構成例]
図4は、映像収集配信設備装置20の配信装置部22の構成例を示すブロック図である。すなわち、この例では、配信装置部22は、制御部221に対して、システムバス220を通じて、転送受付部222、配信映像ストリーム生成部223、映像配信実行部224、のそれぞれが接続されて構成されている。
制御部221は、マイクロコンピュータ(図示せず)を備えて構成されており、配信装置部22の全体の動作を、内蔵するメモリに記憶されているプログラムにより制御する。
転送受付部222は、収集装置部21から転送されてくる転送用映像ストリーム情報を受け付けて、配信映像ストリーム生成部223に供給する。
配信映像ストリーム生成部223は、転送用映像ストリーム情報から、配信映像ストリームを生成する。図5は、配信映像ストリームの時間の経過に沿ったイメージ図である。このイメージ図に示すように、配信映像ストリームは、この実施形態では、複数台のカメラ10のそれぞれ毎に対応する第1、第2、第3、・・・の映像ストリームからなるものとされている。すなわち、第1映像ストリームは、1番ホール(No.1ホール)のティーグランドの選手を撮影するカメラの映像ストリームとされ、そのことを示す撮影位置ID(識別情報)が付加されると共に、選手ID及び推奨フラグが付加される。また、第2映像ストリームは、1番ホール(No.1ホール)のセカンドショット地点の選手を撮影するカメラの映像ストリームとされ、そのことを示す撮影位置ID(識別情報)が付加されると共に、選手ID及び推奨フラグが付加される。なお、前述したように、カメラ10が同じティーグランドに、選手に対して正対する方向、選手の後方など複数箇所に配置される場合は、その情報も併せて付加される。その場合、第1映像ストリームは、複数の映像ストリームとなり、1番ホール(No.1ホール)のティーグランドの選手に正対して撮影するカメラの映像ストリーム、選手の後方から撮影するカメラの映像ストリームなどとされ、複数箇所の位置(選手に正対、選手の後方など)を識別するための情報が、撮影位置ID(識別情報)に付加される。
選手IDは、時間の経過と共に変更されるものであり、図5の例の第1映像ストリームは、選手Aがカメラ10で撮影されていた状態から、選手Bが当該カメラ10で撮影されている状態に遷移していることを示し、その間には、選手はだれも登場していない待ち状態であることを示している。そして、推奨フラグは、選手A、選手Bがそれぞれプレーを行うことを予告する時点から、前記選手A、選手Bがそれぞれのプレーを終了した時点まで「1」になっている。また、第2映像ストリームは、選手Cがカメラ10で撮影されていた状態から、選手Dが当該カメラ10で撮影されている状態に遷移していることを示し、その間には、選手はだれも登場していない待ち状態であることを示している。そして、推奨フラグは、選手C、選手Dがそれぞれプレーを行うことを予告する時点から、前記選手C、選手Dがそれぞれのプレーを終了した時点まで「1」になっている。
映像配信実行部224は、図5のイメージ図の複数個の映像ストリームの配信を実行する。この場合に、映像配信実行部224は、前述したように、この実施形態では、マルチキャストによるWi−Fi(登録商標)利用放送を用いており、各映像ストリームのデータはパケット化されて配信される。そして、撮影位置ID、選手ID、推奨フラグは、各パケットのヘッダ部または付加情報部に配置されて送信される。もちろん、ヘッダ部と付加情報部の両方に配置してもよい。
なお、複数個の映像ストリームの伝送のためには、配信のために複数の搬送周波数が利用可能であれば、それが利用されると共に、各搬送周波数に複数の映像ストリームを伝送する必要があるときには、TDMA(Time Division Multiple Access)方式でそれぞれのパケットが伝送される。
なお、転送受付部222、配信映像ストリーム生成部223及び映像配信実行部224の上述した処理動作は、アンテナなどの機構部分を除き、制御部221が、そのソフトウエア機能として実行する機能処理手段としてもよい。
[観戦者端末30の構成例]
図6は、観戦者端末30の構成例を示すブロック図である。すなわち、この例では、観戦者端末30は、制御部301に対して、システムバス300を通じて、放送受信部302、表示映像選択部303、表示画像生成部304、表示部305、操作部306、推奨フラグ検出部307、設定登録メニュー情報記憶部308、サムネイル画像記憶部309、登録情報記憶部310、対応テーブル情報記憶部311、のそれぞれが接続されて構成されている。
制御部301は、マイクロコンピュータ(図示せず)を備えて構成されており、観戦者端末30の全体の動作を、内蔵するメモリに記憶されているプログラムにより制御する。
放送受信部302は、配信装置部22から送信された映像ストリームの配信情報のパケットを受信し、表示映像選択部303に供給すると共に、推奨フラグ検出部307に供給する。
表示映像選択部303は、後述する操作部306を通じて利用者の選択操作に応じた一つの映像ストリームを、放送受信部302で受信された放送信号から選択して、表示画像生成部304に転送する。
表示画像生成部304は、表示映像選択部303から受け取った映像ストリームの動画映像情報を復元し、表示部305に表示画像として送る。観戦者端末30は、この例では、タブレット型端末であり、表示部305は、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)からなり、その表示画面305Dに表示画像生成部304から受け取った動画映像情報を表示する(図7参照)。
また、表示画像生成部304は、表示画面305Dに表示されている動画映像情報が、いずれの撮影位置のものであるか、また、いずれの選手の画像であるかを示す画像説明表示321を生成して、表示画面305Dに表示するようにする。この画像説明表示321は、次のようにしてなされる。
すなわち、対応テーブル情報記憶部311には、図8(A)に示すような撮影位置IDと撮影位置名称との対応テーブル情報と、図8(B)に示すような選手IDと選手名との対応テーブル情報とが記憶されている。表示画像生成部304は、表示映像選択部303から受け取った映像ストリームの撮影位置IDにより、図8(A)の対応テーブルを参照し、その撮影位置IDに対応する撮影位置名称を取得して、その表示情報を生成する。同様に、表示画像生成部304は、表示映像選択部303から受け取った映像ストリームの選手IDにより図8(B)の対応テーブルを参照し、選手IDに対応する選手名の表示情報を生成する。そして、表示画像生成部304は、生成した撮影位置名称及び選手名の表示情報を表示部305の表示画面305Dに表示する。
なお、前述したように、カメラ10が同じティーグランドに、選手に正対、選手の後方などの複数箇所に配置される場合、撮影位置名称は「No.1 Tee (選手)正対」「No.1 Tee (選手)後方」などと呼称する。
また、表示画像生成部304は、この例では、受信する放送信号に含まれる映像ストリームのそれぞれを選択するための映像選択アイコン群322を生成して、図7の表示画面305Dの下方に表示する。
操作部306は、この例では、表示部305を構成するLCDパネルに重畳して配設されているタッチパネルの構成とされている。もちろん、操作部はタッチパネルの構成に限定されるものではなく、例えば、LCDパネル近傍に取り付けられたボタンで構成されてもよいし、別体のリモコンで構成されてもよい。もちろん、映像選択アイコン群322の表示画面305D上の位置や配列、大きさなども、図7の例に限定されない。
利用者は、映像選択アイコン群322をタッチ操作することで、いずれかの撮影位置のカメラ10の映像ストリームを選択することができる。図7の例では、1番ホール(No.1)から18番ホール(No.18)までのいずれかを選択するアイコンが表示されているが、そのうちの一つを選択すると、その選択したホールのティーグランド、セカンドショット位置、グリーンのいずれかを選択するためのアイコン(図示せず)が表示され、そのうちのいずれかを選択することで、一つの撮影位置を選択することができる。
この操作部306による選択操作により一つの撮影位置が選択されると、その選択された撮影位置IDが表示映像選択部303に送られる。表示映像選択部303は、その選択された撮影位置IDと同一の撮影位置IDを含むパケットの映像ストリームを、受信した映像ストリームから選択して、表示画像生成部304に送る。これにより、表示画面305Dには、利用者が操作部306を通じて選択した撮影位置の映像ストリームが表示される。図7の例では、4番ホールのティーグランドが撮影位置として選択されているので、映像選択アイコン群322の内の「No.4」のアイコンがグレイ表示されて(図7では斜線を付してある)、非選択の状態となっていることを示している。
推奨フラグ検出部307は、映像ストリームのパケット中の推奨フラグを抽出して、抽出した推奨フラグが「1」になっているかどうかを検出する。そして、推奨フラグが「1」になっている映像ストリームに対応する映像選択アイコンを、映像選択アイコン群322の他の映像選択アイコンと区別可能に表示変更する。この例では、推奨フラグが「1」になっている映像ストリームに対応する映像選択アイコンを、表示画面305Dにおいて、フラッシングするようにする。図7の例では、「No.18」のアイコンがフラッシングされて、18番ホールのどこかで、いずれかの選手がプレーを開始することが予告される。
この状態で、フラッシングされている「No.18」のアイコンが利用者により、操作部306を通じて選択操作されると、制御部301は、「1」となっていることが検出された推奨フラグが付加されている映像ストリームの撮影位置IDを、推奨フラグ検出部307から取得して、表示映像選択部303に渡す。表示映像選択部303は、渡された撮影位置IDの映像ストリームを、放送受信部302で受信した映像ストリーム群の中から選択し、表示画像生成部304に渡す。これにより、表示部305の表示画面305Dには、選手がプレーを開始しようとする場面を、確実に観視することができるようになる。
以上説明した映像選択アイコン群322における推奨フラグに応じた推奨場面通知においては、映像選択アイコン群322のアイコンのみでは、その推奨場面が、どの選手がプレーを開始しようとする場面であるかが分からない。また、この例の場合には、ホール番号は分かっても、ティーグランド、セカンドショット地点、グリーン上のいずれの撮影位置であるかはわからない。
しかし、前述もしたように、観戦者は、特に観たい選手、特に観たい撮影位置がある場合が多い。そこで、この実施形態の観戦者端末30では、観戦者は、それらの特に観たい選手、特に観たい撮影位置を登録しておくことで、確実にそれら選手及び撮影位置における推奨場面通知を行うことができるように構成している。
すなわち、この実施形態の観戦者端末30の設定登録メニュー情報記憶部308には、推奨場面通知を利用者が望む選手及び撮影位置の登録のための情報が記憶されている。まず、選手の登録について説明する。
設定登録メニュー情報記憶部308には、当該ゴルフ競技に参加している全ての選手名が、前述した選手IDと対応付けられて記憶されている。そして、サムネイル画像記憶部309には、選手IDと対応付けられて、選手の小画像(例えば顔画像)と選手名とからなるサムネイル画像が記憶されている。また、設定登録メニュー情報記憶部308には、当該ゴルフ競技の会場の撮影位置の位置名が、撮影位置IDと対応付けられて記憶されている。そして、サムネイル画像記憶部309には、撮影位置IDと対応付けられて、撮影位置の位置を表象する小画像と選手名とからなるサムネイル画像が記憶されている。
そして、設定登録メニュー情報記憶部308には、利用者が操作部306を通じた操作により表示される選手登録及び撮影位置登録のためのメニュー情報が用意されている。
図9(A)は、登録メニュー項目として、選手登録が選択されたときの表示画面305Dに表示される表示画像を示している。利用者は、この表示画面305Dに表示されている選手登録のためのガイドメッセージに従い、自分が観視したい選手を登録するようにする。図9(A)の例では、選手名が「松○○樹」、「アダム○○」、「藤田××」のチェック欄にチェックがされているので、それらの選手が登録される。すると、登録された選手名「松○○樹」、「アダム○○」、「藤田××」に対応する選手IDのそれぞれが、登録情報記憶部310に記憶されると共に、それら登録された選手名に対応する選手IDが、サムネイル画像記憶部309及び推奨フラグ検出部307に送られる。
サムネイル画像記憶部309は、取得した選手IDに対応するサムネイル画像を読み出して、表示画像生成部304に供給する。表示画像生成部304は、これにより、登録された選手のサムネイル画像を、図7に示すように、登録選手アイコン323Aとして生成して、表示部305の表示画面305Dに表示するようにする。
また、図9(B)は、登録メニュー項目として、撮影位置登録が選択されたときの表示画面305Dに表示される表示画像を示している。利用者は、この表示画面305Dに表示されている撮影位置登録のためのガイドメッセージに従い、自分が観視したい撮影位置を登録するようにする。図9(B)の例では、18番ホールのグリーンのチェック欄にチェックがされているので、それらが登録される。すると、登録された撮影位置に対応する撮影位置IDが、登録情報記憶部310に記憶されると共に、それら登録された撮影位置に対応する撮影位置IDが、サムネイル画像記憶部309及び推奨フラグ検出部307に送られる。
サムネイル画像記憶部309は、取得した撮影位置IDに対応するサムネイル画像を読み出して、表示画像生成部304に供給する。表示画像生成部304は、これにより、登録された撮影位置のサムネイル画像を、図7に示すように、登録位置アイコン323Bとして生成して、表示部305の表示画面305Dに表示するようにする。
推奨フラグ検出部307は、登録情報記憶部310から、登録された選手IDを受け取ると、上述の動作に加えて、映像ストリーム中の選手IDが、当該登録された選手IDと同一である映像ストリームの全ての推奨フラグの状態を監視し、推奨フラグが「1」となったら、登録された選手IDと共に、当該選手に付いての推奨フラグが「1」になった旨を表示画像生成部304に通知する。
表示画像生成部304は、この通知を受けると、表示画面305Dに表示されている選手IDに対応する登録選手アイコン323Aを、他の登録選手アイコン323Aと区別可能に表示変更する。この例では、推奨フラグが「1」になっている選手IDに対応する登録選手アイコン323Aを、表示画面305Dにおいて、フラッシングするようにする。図7の例では、「松○○樹」の登録選手アイコン323Aがフラッシングされて、当該選手がプレーを開始することが予告される。
この状態で、フラッシングされている「松○○樹」の登録選手アイコン323Aが利用者により、操作部306を通じて選択操作されると、制御部301は、選手IDが「松○○樹」の選手IDと同一であり、「1」となっている推奨フラグが付加されている映像ストリームの撮影位置IDを、推奨フラグ検出部307から取得して、表示映像選択部303に渡す。表示映像選択部303は、渡された撮影位置IDの映像ストリームを、放送受信部302で受信した映像ストリーム群の中から選択し、表示画像生成部304に渡す。これにより、表示部305の表示画面305Dには、登録された選手がプレーを開始しようとする場面を、確実に観視することができるようになる。
また、推奨フラグ検出部307は、登録情報記憶部310から、登録された撮影位置IDを受け取ると、上述の全ての映像ストリームについての推奨フラグについての監視動作において、登録された撮影位置について、推奨フラグが「1」となったら、登録された撮影位置IDと共に、当該撮影位置に付いての推奨フラグが「1」になった旨を表示画像生成部304に通知する。
表示画像生成部304は、この通知を受けると、表示画面305Dに表示されている撮影位置IDに対応する登録位置アイコン323Bを、この例では、フラッシングするようにすると共に、映像選択アイコン群322の内の対応する映像選択アイコンをもフラッシングするようにする。したがって、利用者は、図7の例では、18番ホールのグリーンの撮影位置の登録位置アイコン323Bがフラッシングされることから、いずれかの選手が18番ホールのグリーンでプレーを開始することを予見することができる。
なお、図7の例では、表示画面305Dに上部に、登録選手アイコン323Aが3個、登録位置アイコン323Bを1個、合計4個を表示しているが、アイコンの数はこれに限定されない。例えば、登録選手アイコン323Aが2個、登録位置アイコン323Bを2個の合計4個を表示してもよい。また、合計数自体を3個、6個、9個など増減できる。
図7の例のように、アイコン数が合計4個の場合、図9(A)(B)での登録数は、4個に限定する。あるいは登録数は制限せず、入力順などでアイコンを入れ替えたり、推奨フラグが「1」となったもののみアイコン表示したりするようにしてもよい。さらにアイコンの数を固定ではなく、可変とするようにしてもよい。可変にすることで、利用者は状況に応じて、アイコンの数を変えて、ゴルフ観戦を楽しむことができる。
なお、図6の観戦者端末30のハードウエア構成において、放送受信部302、表示映像選択部303、表示画像生成部304、推奨フラグ検出部307の機能処理については、制御部301がそのソフトウエア機能として実行する機能処理手段としてもよい。
また、上述の説明では、推奨フラグ検出部307における推奨フラグの監視及び検出動作は、放送信号に含まれる全ての撮影位置からの映像ストリームについて行うようにしたが、登録した選手及び登録した撮影位置の映像ストリームについてのみ行うようにしてもよい。
なお、ゴルフトーナメントの場合、予選ラウンド、決勝ラウンドと3日間乃至4日間行われる。この登録は、一日ごとに行うようにしてもよいし、3日間乃至4日間通しで行えるようにしてもよい。通しで行う場合、決勝ラウンドでは、決勝ラウンド進出選手名を大会事務局が準備するサーバなどから入手し、予選落ちした選手の選手名や選手IDは、抹消する。また、通しで登録できるようにしておいて、当日ごとに追加登録や削除ができるようにしてもよい。ゴルフトーナメントは、当日のスタート表により、選手のペアリング(2人乃至3人を一緒の組にする組合せ)が発表されるので、そのペアリングによって、利用者は、登録内容を変更したくなることがあるが、その場合に便利である。もちろん、同一日の中でも登録内容を変更できるようにしてもよい。
[観戦者端末30における処理動作の流れの例]
次に、以上説明した構成の観戦者端末30における処理動作の流れの例を、図10及び図11のフローチャートを参照しながら説明する。また、以下のフローチャートの各ステップの処理は、制御部301が、放送受信部302、表示映像選択部303、表示画像生成部304、推奨フラグ検出部307の機能処理を、そのソフトウエア機能として実行する場合として説明する。
制御部301は、まず、選手及び撮影位置についての登録情報を前述したようにして受け付けて、登録情報記憶部310に記憶する(ステップS101)。次に、制御部301は、選手及び撮影位置についての登録情報に対応した登録選手アイコン323A及び登録位置アイコン323Bを表示画面305Dに表示する(ステップS102)。
次に、制御部301は、利用者による映像選択アイコン群322の中の一つの映像選択アイコンの選択入力を受け付けて、受信した放送信号からの一つの映像ストリームの選択を受け付ける(ステップS103)。そして、制御部301は、受け付けた映像ストリームを再生して、メイン画像として表示画面305Dに表示する(ステップS104)。
次に、制御部301は、表示中の映像ストリーム以外の映像ストリーム中の推奨フラグを監視する(ステップS105)。そして、制御部301は、「1」となっている推奨フラグを検出したか否か判別する(ステップS106)。
このステップS106で、「1」となっている推奨フラグを検出したと判別したときには、制御部301は、映像選択アイコン群322の内の、当該推奨フラグが「1」となっている映像ストリームに対応する映像選択アイコンをフラッシングすると共に、当該推奨フラグが「1」となっている映像ストリームの選手IDが登録された選手IDと一致している場合には、対応する登録選手アイコン323Aをフラッシングし、また、当該推奨フラグが「1」となっている映像ストリームの撮影位置IDが登録された撮影位置IDと一致している場合には、対応する登録位置アイコン323B及び映像選択アイコン群322の内の一つの映像選択アイコンをフラッシングする(ステップS107)。
ステップS107の次には、制御部301は、登録選手アイコン323A、登録位置アイコン323Bまたは映像選択アイコン群322の内の一つの映像選択アイコンのいずれかが利用者によりタッチされて選択操作されたか否か判別する(ステップS108)。そして、このステップS108で、いずれのアイコンも選択操作されていないと判別したときには、制御部301は、処理をステップS105に戻し、このステップS105以降の処理を繰り返す。
また、ステップS108で、登録選手アイコン323A、登録位置アイコン323Bまたは映像選択アイコン群322の内の一つの映像選択アイコンのいずれかが利用者によりタッチされて選択操作されたと判別したときには、制御部301は、選択操作された登録選手アイコン323A、登録位置アイコン323Bまたは映像選択アイコン群322の内の一つの映像選択アイコンのいずれかに対応する映像ストリームを放送信号から選択して再生し、メイン画像として表示画面305Dに表示する(図11のステップS111)。
次に、制御部301は、利用者により電源がオフとされるなどの終了指示がなされたか否か判別し(ステップS112)、終了指示がなされていないと判別したときには、処理をステップS103に戻して、このステップS103以降の処理を繰り返す。ステップS112で、終了指示がなされたと判別したときには、処理を終了する。
また、ステップS106で、「1」である推奨フラグを検出してはいないと判別したときには、制御部301は、処理をステップS108にジャンプさせ、このステップS108以降の処理を繰り返す。
[実施形態の効果]
以上のようにして、上述の実施形態によれば、観戦者が実際には観ることができない位置における選手のプレーを確実に観ることができる。そして、上記の実施形態によれば、選手がプレーの開始を予告するような推奨場面通知を観戦者端末は検知することができ、観戦者端末は、それを利用者に報知するので、利用者は、自分が観たい場面を見落としなく、確実に観ることができる。
しかも、上述の実施形態においては、観戦者は、観戦者端末において、特に観たい選手や、特に観たい撮影位置を登録することができ、その登録した選手や撮影位置に対応して、推奨場面通知に基づく報知が、利用者に対してなされるので、特に観たい選手や、特に観たい撮影位置のプレーを、見逃しなく観視することが可能となる。
[上述の実施形態の変形例]
上述の実施形態では、観戦者は、観戦者端末において、特に観たい選手や、特に観たい撮影位置を登録することができたが、登録方法はそれに限定されるものではないことは勿論である。観戦者の楽しみ方は多様であり、例えば、贔屓やファンではなくても、パッティングの名手などの特定の選手のパッティングだけは見逃したくないという場合もある。これに対応するには、選手と撮影位置の両者を対(ペア)にして登録する構成にする。
また、首位争いや上位争い、あるいは優勝争いをしている選手のプレーだけは、どうしても観たいということも多い。この場合は、別途、ゴルフトーナメント大会における順位情報を、大会事務局が準備するサーバから入手したり、ゴルフ場の電光掲示板などによる順位表(リーダーボード)を文字認識したりすることで入手する。入手した順位情報から、首位もしくは上位(例えば上位5名や3位タイまで)の選手の選手名及び選手IDを取得し、その選手を登録することにより、首位争いや上位争い、あるいは優勝争いのプレーを楽しむことができる。
また、上述の実施形態では、映像収集配信設備装置20では、映像ストリームに、撮影位置ID、選手ID及び推奨フラグを付加し配信するようにしたが、順位情報に基づく順位IDを付加するようにしてもよい。この場合、1位、2位、3位、・・・という識別情報である順位IDとその順位の選手が結び付けられ、利用者は、例えば「1位」や「1位、2位、3位」と順位を登録することにより、その順位の選手、すなわち、「1位の選手」や「1位、2位、3位の選手」のプレーを見逃すことなく、観ることができる。
なお、順位IDを映像ストリームに付加しなくても、同様の効果を得るようにすることもできる。例えば、観戦者端末30が貸与される専用端末である場合に、当該専用端末の観戦者端末30には、映像収集配信設備装置20から、映像ストリームに付加されて、あるいは別途、順位情報が送られ、利用者は、その時点での各順位の選手を特定できるものとする。また、携帯端末に専用のアプリケーションがダウンロードされることで構成される観戦者端末30の場合には、当該ゴルフ競技の大会事務局のサーバに定期的にアクセスすることで、順位情報を常に更新しながら入手できるものとする。
そして、観戦者端末30の利用者が観たい順位を登録すると、観戦者端末30は、その登録された順位の選手を、既に入手した各順位の選手の情報から特定し、特定された選手の選手名から選手IDを入手することで、順位と選手IDを結びつける。そして、登録された順位に結び付けられた選手IDが含まれる映像ストリームを監視することで、登録した順位の選手のプレーを見逃すことなく、観ることができる。なお、映像ストリームに付加する順位情報やサーバから取得する順位情報が、順位と選手名と選手IDとを対応付けた情報とされていてもよい。
また、ペアリングされた選手(2人乃至3人)の組は、一緒にラウンドするので、ペアリングされた選手の組を一括りにする組IDを作成し、映像ストリームに付加するようにしてもよい。利用者は観たい組を登録することにより、その組の選手全員を一緒に観視することができる。
なお、組IDを映像ストリームに付加しなくても、同様の効果を得るようにすることもできる。この場合には、上述した順位情報と同様に、専用端末の観戦者端末30では、映像収集配信設備装置20から各組と、その組を構成する選手名の情報を入手でき、また、携帯端末に専用のアプリケーションがダウンロードされることで構成される観戦者端末30の場合には、当該ゴルフ競技の大会事務局のサーバに、当該ゴルフ競技が開催される当日にアクセスすることで、各組の選手の情報を入手できるものとする。
そして、観戦者端末30の利用者が観たい組を登録すると、その登録された組のペアリングされている選手を、既に入手した各組の選手の情報から特定し、特定された組の複数の選手名を入手することで、登録された組と複数の選手の選手名を結びつける。そして、特定された複数の選手の選手名から複数の選手IDを入手することで、その組と複数の選手IDを結びつけることで、観戦者端末30では、その組の選手全員のプレーを観視することができる。なお、映像ストリームに付加する組情報やサーバから取得する組情報が、組IDと選手名と選手IDとを対応付けた情報とされていてもよい。
なお、利用者が観たい順位を登録したり、観たい組を登録したりする場合は、図7に登録順位アイコンや登録組アイコンが表示されるようにする。
また、上述の実施形態では、登録する選手や撮影位置に優先順位付け(優先度の設定)をしなかったが、優先順位付けをするようにしてもよい。これにより、複数の観たい選手のプレーが重なった時や、複数の観たい撮影位置のプレーが重なった時でも、その時点で一番観たい選手や一番観たい撮影位置を選択することができる。観たい選手や観たい撮影位置が多い場合、推奨場面通知が頻繁に発生してしまうので、優先順位付けは、その通知を取捨選択するためにも有用となる。
さらに、選手や撮影位置とは無関係に、挑戦的あるいは冒険的な場面を登録できるようにしてもよい。挑戦的あるいは冒険的な場面は、カメラが自動認識するか、撮影者が手動で開始キュー操作を入れることで、登録可能である。この場面は、池越えのショット、パー5のホールの2オン狙い、林の中からグリーンに向けてのリカバリーショットなど、リスクの高いものであり、興味を持つ観戦者は多い。
また、上述の実施形態においては、推奨場面の予測検出は、
・選手がティーグランドに登場したこと、
・フェアウエイまたはラフを歩いていた選手が所定時間以上止まったこと、
・選手がパッティンググリーン上に登場したこと、
・選手がバンカー内に入ろうとしていること、
などの選手の挙動や状況を、画像認識により自動認識することにより行ったが、予測検出はこれに限定されない。例えば、選手が上記の挙動や状況になった後、ドライバー、アイアン、パターなどのゴルフクラブを握って、ゴルフボールに対峙してアドレスしたことを予測検出してもよい。この場合はまさにプレー直前であり、プレーの瞬間だけを観たい観戦者、短時間に多くの選手のプレーを観たい観戦者には、特に有用である。
なお、上述の実施形態では、推奨フラグが「1」「0」の2値としたが、多値とすることもできる。例えば「3」「2」「1」「0」と4値とし、「3:推奨度大」「2:推奨度中」「1:推奨度小」「0:推奨しない」というように、数字の大きさで推奨度を表してもよい。上述したような選手や撮影位置に順位付けを、この推奨フラグの設定で行うこともできる。この場合、順位の高い選手や撮影位置に対して、推奨度を大きくする、すなわち推奨フラグを大きな数字にする。
なお、映像収集配信設備装置20からの観戦者端末30への映像ストリーム配信技術(放送技術)は、上述した例に限らず、IPマルチキャストによる映像ストリーム配信としてもよい。その場合には、配信装置部22は、各観戦者端末30から、ホールや選手に付いての登録情報を受け付けて記憶しておき、ホール毎や選手毎の映像ストリームを生成して、対応するホールや選手が登録されている観戦者端末に、対応する映像ストリームをマルチキャスト配信するようにすればよい。
また、映像収集配信設備装置20からの観戦者端末30への映像ストリーム配信には、地上デジタル放送に割り当てられたUHF帯のホワイトスペースを活用して行われるワンセグ携帯等の地上デジタルテレビ放送受信機に向けたエリア限定放送サービスを利用することもできる。その場合には、観戦者端末としては、ワンセグ携帯等の地上デジタルテレビ放送受信機の機能を備えるスマートフォンなどの携帯端末を用いることができる。
また、映像収集配信設備装置20からの観戦者端末30への映像ストリーム配信技術として、WiMAX技術を用いるようにしてもよい。
また、上述の実施形態では、カメラ10の映像ストリームは、常時、映像ストリームとして配信するようにしたが、推奨場面通知情報により通知すべき場面が発生しつつある映像ストリームのみを配信するようにしてもよい。
また、上述の実施形態では、カメラ10は、ホール毎に固定的に配置したが、出場選手のそれぞれ毎にカメラ10を配置し、選手の移動に応じて、撮影者がカメラ10を持って、当該選手を追跡するように移動してもよい。この場合に、撮影対象となる選手は、当該ゴルフ競技に参加する全ての選手ではなく、特定の選手のみとしてもよい。
そして、この場合には、映像ストリームは、上述の実施形態のような各ホールの各撮影位置のそれぞれの映像ストリームではなく、選手毎の映像ストリームとなるので、カメラ識別情報から選手を特定することができる。ただし、その場合に、カメラの現在位置情報から、カメラの撮影位置がどのホールのどの位置であるかのプレー位置情報を生成し、選手毎の映像ストリームに付加することで、撮影位置が何処であるかを認定できるようにする。
また、上述の実施形態では、観戦者端末はタブレット型端末で説明したが、それに限定されるものではない。例えば、折り畳めるタイプの端末を用い、二画面ディスプレイとし、一方をメイン画像、他方をアイコンやサムネイル画像の選択用サブ画面としてもよい。
なお、観戦者端末における推奨場面の予告の報知は、上述の実施形態では、表示画面において、アイコンやサムネイル画像をフラッシングするなどの表示による報知としたが、これに代えて、あるいはこれに加えて、音声による報知、振動により報知、などを行ってもよい。また、推奨場面の推奨度に大小が付いている場合(推奨フラグが多値の場合)は、推奨度が高いものほどフラッシングを激しくするなどして、利用者に確実に報知するようにできる。また、推奨度が高いものほどアイコンやサムネイル画像を大きくするようにしてもよい。
なお、上述の実施形態では、推奨場面の予告の報知の有無に関係なく、表示画面に、登録選手アイコンや登録位置アイコンを表示していたが、メイン画像の邪魔にならないよう、推奨場面の予告の報知があったアイコンのみ表示するようにし、報知のないアイコンは表示しないようにしてもよい。
また、各ホールのレイアウト図を表示画面に表示し、推奨場面がどの位置なのか、その位置でのフラッシングで報知してもよい。
なお、ゴルフトーナメントの場合、2名乃至複数名でプレーオフが行われることがある。この場合、プレーオフを検出した時点で、従前の登録内容を抹消し、プレーオフに参加する選手をカメラが追従し、映像ストリームとして配信するようにする。
さらに、優勝決定の瞬間は、非常に重要であるので、その映像ストリームは利用者に配信するようにする。また、優勝決定後は、優勝者や上位入賞者をカメラが追従し、その表情、インタビューや表彰式の模様が映像ストリームとして配信されることが望ましい。
[他の実施形態]
上述の実施形態は、スポーツ競技がゴルフ競技の場合であったが、この発明が適用できるスポーツ競技は、ゴルフ競技に限られるものではないことは言うまでもない。例えば図12は、体育館などの競技施設内の同一空間において行われる体操競技の場合(図12は男子の場合)を示すものである。図12に示すように、男子体操競技は、体育館などの競技施設内の同一空間において行われるものの、「ゆか」、「鉄棒」、「平行棒」、「跳馬」、「吊り輪」、「あん馬」の6種目のパフォーマンス(体操競技の場合には演技。以下、演技という)が同時並行的に行われる。そして、観戦者は、体育館などの競技施設内の観覧席から選手の演技を観戦する。
したがって、観戦者は全体を見渡して、自分が好きな選手や種目の演技の開始を監視しながら観戦するが、ややもすると、観たい選手の演技の始まりがわからず、見落としてしまうことが生じてしまう。また、観覧席の位置によっては、観たい種目の演技の位置が遠くて見づらかったり、角度的に、あるいは障害物で、特定の種目の演技が見えなかったりする。例えば、図12の例の場合、「平行棒」が見やすい席は「あん馬」が見づらく、「吊り輪」と「あん馬」が見やすい席は「平行棒」や「鉄棒」が見づらい傾向になる。
そこで、図12の例に示すように、各種目ごとにカメラ10を配置すると共に、映像収集配信設備装置を設け、さらに、観戦者に観戦者端末を所持させるようにして、上述の実施形態と同様の構成のスポーツ競技ライブ観戦システムを構築することで、観たい選手の演技や、観たい種目の演技を、確実に監視することができるようになる。
この場合には、配信される各カメラ10の映像ストリームには、撮影位置ID(種目ID)と、選手IDとが付加されると共に、推奨場面通知情報として、推奨フラグが同様に付加されるものである。そして、観戦者端末においては、上述の実施形態と同様に、特に観たい選手や種目の登録ができ、その登録した選手や種目についての推奨場面通知がされるものである。
上記は男子体操競技の場合であるが、この発明は、女子体操競技においても、同様に適用できる。ただし、女子体操競技の場合は、「ゆか」、「跳馬」、「段違い平行棒」、「平均台」の4種目である。
体操競技の場合、団体総合、個人総合、種目別と演技が行われる。団体総合の場合は、国別や大学別などで争われるため、配信される各カメラ10の映像ストリームには、選手IDの他に、選手の属する国や大学などのIDを付加してもよい。すなわち、観たい国や大学、応援したい国や大学などを識別するための国IDや大学IDなどを付加してもよい。また、種目別の場合は、一つの種目で選手が争うので、種目IDとしての撮影位置IDは不要である。ただし、その種目の演技を複数の位置から撮影し、その位置を種目の代わりに撮影位置IDにすることができる。
また、体操競技の場合も、ゴルフ競技の場合と同様、順位IDや組IDを適用できるのは勿論である。体操競技における団体総合と個人総合の場合、4〜6人程度の選手を組にして、同一種目をローテーションさせながら演技させるので、その組に対して組IDを適用する。
また、オリンピック競技の陸上競技においても、競技場のトラックやフィールド内で、多種目が同時並行的に競技や演技がなされるので、この場合にも同様にして、この発明が適用できる。
さらに、この発明のスポーツ競技ライブ観戦システムを、マラソン競技に適用した場合においても、10km通過地点、20km通過地点・・・ゴール地点などの主要な位置にカメラを設置し、観戦者端末に主要な選手を登録しておくことで、登録した選手の10km通過地点、20km通過地点、ゴール地点などを推奨場面のパフォーマンスを確実に観視することができるようになる。駅伝競技などにおいても、同様に、この発明のスポーツ競技ライブ観戦システムを、適用することができる。
また、広い会場で、同時に複数コートで試合が行われる場合のテニス、バドミントン、バレーボール、複数レーンで行われるボーリング、カーリング、複数台で行われる卓球などの競技にも適用可能である。
なお、上述の実施形態では、映像ストリームには、推奨場面通知の例としての推奨フラグのみではなく撮影位置ID及び選手IDが付加されているが、撮影位置ID及び選手IDに関しては、その一方のみが付加されていてもよいし、その両方が付加されていなくてもよい。
10…カメラ、20…映像収集配信設備装置、21…収集装置部、22…配信装置部、30…観戦者端末

Claims (57)

  1. 複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技のライブ観戦システムであって、
    撮影した映像の映像ストリームを無線送信する複数のカメラと、
    前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部と、前記収集した前記映像ストリームに基づく配信映像ストリームの複数個を放送信号として配信する配信部とを備える映像収集配信設備装置と、
    前記競技の観戦者が観視するための表示画面を備え、前記映像収集配信設備装置からの前記放送信号を受信し、前記配信映像ストリームを前記表示画面に表示する観戦者端末と、
    を備え、
    前記映像収集配信設備装置は、
    前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加し、
    前記観戦者端末は、
    前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の前記観戦者による登録を受け付けて登録情報記憶部に記憶する登録手段と、
    前記受信した放送信号の前記配信映像ストリームに含まれる前記推奨場面通知情報を検出すると共に、前記検出した前記推奨場面通知情報に対応付けられている前記撮影位置の情報及び/または前記選手を特定するための情報と、前記登録情報記憶部に記憶されている前記撮影位置の情報及び/または前記競技のパフォーマンスを行う選手とが合致する前記配信映像ストリームを検出し、前記合致する前記配信映像ストリームを前記観戦者に報知する報知手段と
    を備えることを特徴とするスポーツ競技ライブ観戦システム。
  2. 前記映像収集配信設備装置は、前記収集部で収集した前記映像ストリームのそれぞれの画像内容に含まれる前記選手の挙動及び/または状況の画像認識結果に基づいて、前記推奨場面通知情報を生成する
    ことを特徴とする請求項1に記載のスポーツ競技ライブ観戦システム。
  3. 前記カメラは、前記選手が行う前記パフォーマンスを撮影する位置のそれぞれに対応して設置され、前記映像ストリームを、自機のカメラ識別情報を付加して無線送信し、
    前記映像収集配信設備装置は、前記カメラ識別情報に基づいて、前記撮影位置の情報を取得する
    ことを特徴とする請求項1または請求項2に記載のスポーツ競技ライブ観戦システム。
  4. 前記カメラは、前記選手の移動に伴って移動するものであって、現在位置を検出してその位置情報を発生する位置情報発生手段を備え、前記映像ストリームに、前記位置情報発生手段からの位置情報を付加して無線送信し、
    前記映像収集配信設備装置は、前記位置情報に基づいて、前記撮影位置の情報を取得する
    ことを特徴とする請求項1または請求項2に記載のスポーツ競技ライブ観戦システム。
  5. 前記観戦者端末は、前記選手が行う前記パフォーマンスを撮影する撮影位置のリスト、及び/または前記競技のパフォーマンスを行う選手のリストを記憶する登録メニューリストを備え、
    前記観戦者端末の前記登録手段は、前記選手が行う前記パフォーマンスを撮影する撮影位置のリストの中から、及び/または前記競技のパフォーマンスを行う選手のリストの中から、前記観戦者により選択された撮影位置、及び/または前記観戦者により選択された選手を登録する
    ことを特徴とする請求項1〜請求項4のいずれかに記載のスポーツ競技ライブ観戦システム。
  6. 前記観戦者端末は、前記登録手段で登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手に対応するアイコンを、前記表示画面に表示する手段を備え、
    前記報知手段は、前記合致する前記配信映像ストリームに付加されている撮影位置及び/または前記競技のパフォーマンスを行う選手に対応する前記アイコンの表示態様を変更することで前記報知を行う
    ことを特徴とする請求項1〜請求項5のいずれかに記載のスポーツ競技ライブ観戦システム。
  7. 前記アイコンは、前記登録手段で登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手に対応するサムネイル画像である
    ことを特徴とする請求項6に記載のスポーツ競技ライブ観戦システム。
  8. 前記報知手段は、前記アイコンをフラッシングすることで、及び/または前記アイコンの大きさを変化させることで、前記報知を行う
    ことを特徴とする請求項6または請求項7に記載のスポーツ競技ライブ観戦システム。
  9. 前記映像収集配信設備装置は、前記推奨場面通知情報に、前記推奨場面の推奨度の大小の情報を付加し、
    前記観戦者端末の前記報知手段は、前記推奨場面の推奨度が大きいほど前記アイコンのフラッシングを激しくすることで、及び/または前記アイコンの大きさを大きくすることで、前記報知を行う
    ことを特徴とする請求項8に記載のスポーツ競技ライブ観戦システム。
  10. 前記アイコンをフラッシングすることで、及び/または前記アイコンの大きさを変化させることで、前記報知を行うことに代えて、あるいは、加えて、音声による報知及び/または振動による報知をする
    ことを特徴とする請求項8または請求項9に記載のスポーツ競技ライブ観戦システム。
  11. 前記観戦者端末は、前記アイコンの選択操作を受け付ける操作部を備えていると共に、前記操作部を通じて前記アイコンが選択操作されたときには、前記選択操作されたアイコンに対応する前記配信映像ストリームによる画像が前記表示画面に表示されるように構成されている
    ことを特徴とする請求項6〜請求項10のいずれかに記載のスポーツ競技ライブ観戦システム。
  12. 前記表示画面に表示される前記アイコンの数は増減可能とされている
    ことを特徴とする請求項6〜請求項11のいずれかに記載のスポーツ競技ライブ観戦システム。
  13. 前記表示画面に表示される前記アイコンの数は固定であり、前記登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手の前記アイコンは、前記表示画面において、入れ替え表示が可能とされている
    ことを特徴とする請求項6〜請求項11のいずれかに記載のスポーツ競技ライブ観戦システム。
  14. 前記推奨場面通知情報は、前記配信映像ストリームにおいて、前記推奨場面の開始点から終了点までの区間を示す推奨フラグである
    ことを特徴とする請求項1〜請求項13のいずれかに記載のスポーツ競技ライブ観戦システム。
  15. 前記推奨フラグは、前記推奨場面の推奨度に応じて異なる複数の値を有する
    ことを特徴とする請求項14に記載のスポーツ競技ライブ観戦システム。
  16. 前記選手を特定するための情報には、前記選手が属する国または団体を識別するための情報が含まれている
    ことを特徴とする請求項1〜請求項15のいずれかに記載のスポーツ競技ライブ観戦システム。
  17. 前記スポーツ競技は、複数の種目を含むものであり、
    前記推奨場面の前記撮影位置の情報は、前記複数の種目のいずれであるかを示す情報である
    ことを特徴とする請求項1〜請求項16のいずれかに記載のスポーツ競技ライブ観戦システム。
  18. 前記映像収集配信設備装置は、前記収集部で収集した前記映像ストリームのそれぞれの画像内容に基づいて、前記映像ストリームに含まれる前記選手を認識し、その認識した選手を特定するための情報を、前記放送する前記映像ストリームのそれぞれに付加するようにする
    ことを特徴とする請求項1〜請求項17のいずれかに記載のスポーツ競技ライブ観戦システム。
  19. 前記観戦者端末は、前記放送に含まれる複数の前記映像ストリームのそれぞれを択一的に選択するための手段を備える
    ことを特徴とする請求項1〜請求項18のいずれかに記載のスポーツ競技ライブ観戦システム。
  20. 前記競技のパフォーマンスが行われる場所のレイアウト図を表示画面に表示すると共に、前記推奨場面がどの位置かを報知する手段を備える
    ことを特徴とする請求項1〜請求項19のいずれかに記載のスポーツ競技ライブ観戦システム。
  21. 前記競技は、予選と決勝とを有するものであり、
    前記登録手段は、前記決勝に進出する選手の情報を取得して、前記決勝に進出する前記選手について登録を受けるようにする
    ことを特徴とする請求項1〜請求項20のいずれかに記載のスポーツ競技ライブ観戦システム。
  22. 前記競技においてプレーオフが行われる場合に、前記プレーオフに参加する選手を前記カメラが追従するようにして、前記配信映像ストリームを配信する
    ことを特徴とする請求項1〜請求項21のいずれかに記載のスポーツ競技ライブ観戦システム。
  23. 前記競技において、優勝が決定した瞬間を前記推奨場面として含む配信映像ストリームを配信する
    ことを特徴とする請求項1〜請求項22のいずれかに記載のスポーツ競技ライブ観戦システム。
  24. 前記競技において、優勝決定後の優勝者及び/または入賞者を前記カメラが追従するようにして、前記配信映像ストリームを配信する
    ことを特徴とする請求項1〜請求項23のいずれかに記載のスポーツ競技ライブ観戦システム。
  25. 前記登録手段は、前記競技に参加している前記選手の順位表の情報を取得して、前記取得した順位表の情報に基づいて前記選手について登録を受けるようにする
    ことを特徴とする請求項1〜請求項24いずれかに記載のスポーツ競技ライブ観戦システム。
  26. 前記配信映像ストリームの前記推奨場面通知情報には、前記競技のパフォーマンスを行う前記選手の順位を示す情報が付加されていると共に、
    前記登録手段で登録される前記選手の情報は、前記順位である
    ことを特徴とする請求項1〜請求項25のいずれかに記載のスポーツ競技ライブ観戦システム。
  27. 前記配信映像ストリームの前記推奨場面通知情報には、前記競技において複数の選手からなる組の情報が付加されていると共に、
    前記登録手段で登録される前記選手の情報は、前記組の情報である
    ことを特徴とする請求項1〜請求項26のいずれかに記載のスポーツ競技ライブ観戦システム。
  28. 前記登録手段により受け付けられた、前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の登録には、優先順位が付けられており、
    前記推奨場面通知情報が、複数の前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手について重なった時に、前記優先順位に従って前記観戦者に対する前記報知がなされる
    ことを特徴とする請求項1〜請求項27のいずれかに記載のスポーツ競技ライブ観戦システム。
  29. 前記登録手段は、前記観戦者が観視を希望する撮影位置と、前記競技のパフォーマンスを行う選手とをペアとする登録を受け付ける
    ことを特徴とする請求項1〜請求項28のいずれかに記載のスポーツ競技ライブ観戦システム。
  30. 撮影した映像の映像ストリームを無線送信する複数のカメラと、映像収集配信設備装置と、複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が観視するための表示画面を備え、前記映像収集配信設備装置からの放送信号を受信し、前記映像ストリームを前記表示画面に表示する観戦者端末とを備えるスポーツ競技ライブ観戦システムの前記映像収集配信設備装置であって、
    前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部と、
    前記収集した前記映像ストリームに基づく配信映像ストリームの複数個を放送信号として配信する配信部と、
    を備え、
    前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加するようにした
    ことを特徴とするスポーツ競技ライブ観戦システムの映像収集配信設備装置。
  31. 前記収集部で収集した前記映像ストリームのそれぞれの画像内容に含まれる前記選手の挙動及び/または状況の画像認識結果に基づいて、前記推奨場面通知情報を生成する
    ことを特徴とする請求項30に記載の映像収集配信設備装置。
  32. 前記カメラは、前記選手が行う前記パフォーマンスを撮影する位置のそれぞれに対応して設置され、前記映像ストリームを、自機のカメラ識別情報を付加して無線送信するものであり、
    前記カメラ識別情報に基づいて、前記撮影位置の情報を取得する
    ことを特徴とする請求項30または請求項31に記載の映像収集配信設備装置。
  33. 前記カメラは、前記選手の移動に伴って移動するものであって、現在位置を検出してその位置情報を発生する位置情報発生手段を備え、前記映像ストリームに、前記位置情報発生手段からの位置情報を付加して無線送信するものであり、
    前記位置情報に基づいて、前記撮影位置の情報を取得する
    ことを特徴とする請求項30または請求項31に記載の映像収集配信設備装置。
  34. 前記推奨場面通知情報に、前記推奨場面の推奨度の大小の情報を付加する
    ことを特徴とする請求項30〜請求項33のいずれかに記載の映像収集配信設備装置。
  35. 前記競技において、優勝が決定した瞬間を前記推奨場面として含む配信映像ストリームを配信する
    ことを特徴とする請求項30〜請求項34のいずれかに記載のスポーツ競技ライブ観戦システムの映像収集配信設備装置。
  36. 前記競技において、優勝決定後の優勝者及び/または入賞者を前記カメラが追従するようにして、前記配信映像ストリームを配信する
    ことを特徴とする請求項30〜請求項35のいずれかに記載のスポーツ競技ライブ観戦システムの映像収集配信設備装置。
  37. 撮影した映像の映像ストリームを無線送信する複数のカメラと、映像収集配信設備装置と、複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が観視するための表示画面を備え、前記映像収集配信設備装置からの放送信号を受信し、前記映像ストリームを前記表示画面に表示する観戦者端末とを備えるスポーツ競技ライブ観戦システムの前記映像収集配信設備装置が備えるコンピュータを、
    前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部、
    前記収集した前記映像ストリームに基づく配信映像ストリームの複数個を放送信号として配信する配信部、
    として機能させるための映像収集配信設備装置用のプログラムであって、
    前記配信部は、前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加するようにする
    ことを特徴とする映像収集配信設備装置用のプログラム。
  38. 複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が観視するための表示画面を備える観戦者端末と、
    撮影した映像の映像ストリームを無線送信する複数のカメラと、
    前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部と、前記収集した前記映像ストリームに基づく配信映像ストリームの複数個を放送信号として配信する配信部とを備え、前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加するようにする映像収集配信設備装置と、
    を備えるスポーツ競技ライブ観戦システムの前記観戦者端末であって、
    前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の前記観戦者による登録を受け付けて登録情報記憶部に記憶する登録手段と、
    前記映像収集配信設備装置からの放送信号を受信する手段と、
    前記受信した放送信号の前記配信映像ストリームを前記表示画面に表示する手段と、
    前記受信した放送信号の前記配信映像ストリームに含まれる前記推奨場面通知情報を検出すると共に、前記検出した前記推奨場面通知情報に対応付けられている前記撮影位置の情報及び/または前記選手を特定するための情報と、前記登録情報記憶部に記憶されている前記撮影位置の情報及び/または前記競技のパフォーマンスを行う選手とが合致する前記配信映像ストリームを検出し、前記合致する前記配信映像ストリームを前記観戦者に報知する報知手段と
    を備えることを特徴とするスポーツ競技ライブ観戦システムの観戦者端末。
  39. 前記選手が行う前記パフォーマンスを撮影する撮影位置のリスト、及び/または前記競技のパフォーマンスを行う選手のリストを記憶する登録メニューリストを備え、
    前記登録手段は、前記選手が行う前記パフォーマンスを撮影する撮影位置のリストの中から、及び/または前記競技のパフォーマンスを行う選手のリストの中から、前記観戦者により選択された撮影位置、及び/または前記観戦者により選択された選手を登録する
    ことを特徴とする請求項38に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  40. 前記登録手段で登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手に対応するアイコンを、前記表示画面に表示する手段を備え、
    前記報知手段は、前記合致する前記配信映像ストリームに付加されている撮影位置及び/または前記競技のパフォーマンスを行う選手に対応する前記アイコンの表示態様を変更することで前記報知を行う
    ことを特徴とする請求項38または請求項39に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  41. 前記アイコンは、前記登録手段で登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手に対応するサムネイル画像である
    ことを特徴とする請求項40に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  42. 前記報知手段は、前記アイコンをフラッシング及び/または前記アイコンの大きさを変化させることで、前記報知を行う
    ことを特徴とする請求項40または請求項41に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  43. 前記映像収集配信設備装置は、前記推奨場面通知情報に、前記推奨場面の推奨度の大小の情報を付加するものであり、
    前記報知手段は、前記推奨場面の推奨度が大きいほど前記アイコンのフラッシングを激しく、及び/または前記アイコンの大きさを大きくすることで、前記報知を行う
    ことを特徴とする請求項42に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  44. 前記アイコンをフラッシングすることで、及び/または前記アイコンの大きさを変化させることで、前記報知を行うことに代えて、あるいは、加えて、音声による報知及び/または振動による報知をする
    ことを特徴とする請求項42または請求項43に記載のスポーツ競技ライブ観戦システムの観戦者端末。
  45. 前記アイコンの選択操作を受け付ける操作部を備えていると共に、前記操作部を通じて前記アイコンが選択操作されたときには、前記選択操作されたアイコンに対応する前記配信映像ストリームによる画像が前記表示画面に表示されるように構成されている
    ことを特徴とする請求項40〜請求項44のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  46. 前記表示画面に表示される前記アイコンの数は増減可能とされている
    ことを特徴とする請求項40〜請求項45のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  47. 前記表示画面に表示される前記アイコンの数は固定であり、前記登録された前記撮影位置及び/または前記競技のパフォーマンスを行う選手の前記アイコンは、前記表示画面において、入れ替え表示が可能とされている
    ことを特徴とする請求項40〜請求項45のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  48. 前記競技のパフォーマンスが行われる場所のレイアウト図を表示画面に表示すると共に、前記推奨場面がどの位置かを報知する手段を備える
    ことを特徴とする請求項38〜請求項47のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  49. 前記競技は、予選と決勝とを有するものであり、
    前記登録手段は、前記決勝に進出する選手の情報を取得して、前記決勝に進出する前記選手について登録を受けるようにする
    ことを特徴とする請求項38〜請求項48のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  50. 前記競技においてプレーオフが行われる場合に、前記プレーオフに参加する選手を前記カメラが追従するようにして、前記配信映像ストリームを配信する
    ことを特徴とする請求項38〜請求項49のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  51. 前記登録手段は、前記競技に参加している前記選手の順位表の情報を取得して、前記取得した順位表の情報に基づいて前記選手について登録を受けるようにする
    ことを特徴とする請求項38〜請求項50いずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末

  52. 前記配信映像ストリームの前記推奨場面通知情報には、前記競技のパフォーマンスを行う前記選手の順位を示す情報が付加されていると共に、
    前記登録手段で登録される前記選手の情報は、前記順位である
    ことを特徴とする請求項38〜請求項51のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  53. 前記配信映像ストリームの前記推奨場面通知情報には、前記競技において複数の選手からなる組の情報が付加されていると共に、
    前記登録手段で登録される前記選手の情報は、前記組の情報である
    ことを特徴とする請求項38〜請求項52のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  54. 前記登録手段により受け付けられた、前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の登録には、優先順位が付けられており、
    前記推奨場面通知情報が、複数の前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手について重なった時に、前記優先順位に従って前記観戦者に対する前記報知がなされる
    ことを特徴とする請求項38〜請求項53のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  55. 前記登録手段は、前記観戦者が観視を希望する撮影位置と、前記競技のパフォーマンスを行う選手とをペアとする登録を受け付ける
    ことを特徴とする請求項38〜請求項54のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  56. 携帯端末からなる
    ことを特徴とする請求項38〜請求項55のいずれかに記載のスポーツ競技ライブ観戦システムの観戦者端末。
  57. 複数の選手が同時並行的に異なる位置において競技のパフォーマンスを行うスポーツ競技の観戦者が観視するための表示画面を備える観戦者端末と、
    撮影した映像の映像ストリームを無線送信する複数のカメラと、
    前記複数のカメラから無線送信されてくる前記映像ストリームを収集する収集部と、前記収集した前記映像ストリームに基づく配信映像ストリームの複数個を放送信号として配信する配信部とを備え、前記収集した前記複数のカメラからの前記映像ストリームのそれぞれの画像内容に基づいて、前記観戦者による観視を推奨する前記選手による前記競技のパフォーマンスの推奨場面を、当該推奨場面の開始前に通知するための推奨場面通知情報を生成し、前記推奨場面通知情報を前記配信映像ストリームのそれぞれに付加するようにすると共に、前記推奨場面の撮影位置の情報及び/または前記推奨場面で前記競技のパフォーマンスを行う選手を特定するための情報を、前記推奨場面通知情報に対応付けて付加するようにする映像収集配信設備装置と、
    を備えるスポーツ競技ライブ観戦システムの前記観戦者端末が備えるコンピュータを、
    前記観戦者が観視を希望する撮影位置及び/または前記競技のパフォーマンスを行う選手の前記観戦者による登録を受け付けて登録情報記憶部に記憶する登録手段、
    前記映像収集配信設備装置からの放送信号を受信する手段、
    前記受信した放送信号の前記配信映像ストリームを前記表示画面に表示する手段、
    前記受信した放送信号の前記配信映像ストリームに含まれる前記推奨場面通知情報を検出すると共に、前記検出した前記推奨場面通知情報に対応付けられている前記撮影位置の情報及び/または前記選手を特定するための情報と、前記登録情報記憶部に記憶されている前記撮影位置の情報及び/または前記競技のパフォーマンスを行う選手とが合致する前記配信映像ストリームを検出し、前記合致する前記配信映像ストリームを前記観戦者に報知する報知手段、
    として機能させるための観戦者端末用のプログラム。

JP2019174846A 2018-10-29 2019-09-26 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末 Active JP6909513B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019174846A JP6909513B2 (ja) 2018-10-29 2019-09-26 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
JP2021106218A JP7158770B2 (ja) 2019-09-26 2021-06-28 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018202399A JP6598334B2 (ja) 2018-10-29 2018-10-29 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
JP2019174846A JP6909513B2 (ja) 2018-10-29 2019-09-26 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018202399A Division JP6598334B2 (ja) 2018-10-29 2018-10-29 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021106218A Division JP7158770B2 (ja) 2019-09-26 2021-06-28 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム

Publications (2)

Publication Number Publication Date
JP2019216483A JP2019216483A (ja) 2019-12-19
JP6909513B2 true JP6909513B2 (ja) 2021-07-28

Family

ID=68918776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174846A Active JP6909513B2 (ja) 2018-10-29 2019-09-26 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末

Country Status (1)

Country Link
JP (1) JP6909513B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135067B (zh) * 2020-09-01 2023-08-15 上海潘氏投资管理有限公司 比赛直播竞猜互动及分组传播系统、方法、存储器和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3671476B2 (ja) * 1995-11-07 2005-07-13 ソニー株式会社 受信装置
EP0912053A1 (en) * 1997-10-24 1999-04-28 CANAL+ Société Anonyme Multichannel digital television system
JP2001101190A (ja) * 1999-07-29 2001-04-13 Jisedai Joho Hoso System Kenkyusho:Kk 受信装置および受信方法
JP4759851B2 (ja) * 2000-07-13 2011-08-31 ソニー株式会社 伝送信号処理装置及び信号伝送方法
JP2002045457A (ja) * 2000-08-04 2002-02-12 Psc:Kk スコアサーバ、スコア通知システム、スコア通知プログラムが格納されたプログラム製品、及びスコア通知方法
US6889384B1 (en) * 2000-11-08 2005-05-03 The Directv Group, Inc. Simplified interactive user interface for multi-video channel navigation
JP2003018583A (ja) * 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP2003069977A (ja) * 2001-08-28 2003-03-07 Sony Corp ネット配信によるデータ送出方法、及びネット配信の受信方法、及びネット配信によるデータ送出システム、及びネット配信の受信システム
JP2004064511A (ja) * 2002-07-30 2004-02-26 Suzuka Circuitland Co Ltd レース中継システム
JP2006174124A (ja) * 2004-12-16 2006-06-29 Nec Commun Syst Ltd 映像配信再生システム、映像配信装置及び映像再生装置
JP2008103933A (ja) * 2006-10-18 2008-05-01 Sharp Corp 情報送信装置、映像表示装置、プログラムおよび記録媒体
JP2008187575A (ja) * 2007-01-31 2008-08-14 Sony Corp 情報処理装置および方法、並びにプログラム
JP2008283486A (ja) * 2007-05-10 2008-11-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2009165035A (ja) * 2008-01-09 2009-07-23 Sony Corp 表示制御装置、方法、プログラムおよび記録媒体
JP5024063B2 (ja) * 2008-01-10 2012-09-12 富士通株式会社 録画装置,録画プログラム及び録画方法

Also Published As

Publication number Publication date
JP2019216483A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP6429542B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
JP6598334B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
US11683452B2 (en) Image-stream windowing system and method
JP6761811B2 (ja) スポーツバーチャルリアリティシステム
US8572498B2 (en) System and method for influencing an on-going event
JP6579558B2 (ja) スポーツ競技ライブ観戦システムの観戦者端末及び観戦者端末用プログラム
JP2002335572A (ja) 移動体映像通信手段を用いた野球の観戦方法
JP6440189B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集提供装置及び観戦者端末
JP6909513B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
WO2021124750A1 (ja) 情報処理装置、情報処理方法、プログラム
US20060146132A1 (en) Video system having multiple video cameras for capturing events
JP2003532346A (ja) オンライン中継放送システム
JP7158770B2 (ja) 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム
KR101686859B1 (ko) 스포츠 중계 시스템 및 그 중계 방법
JP4136353B2 (ja) ホールインワン認定システム
JP6788293B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集提供装置及び観戦者端末並びに観戦者端末用プログラム及び映像収集提供装置用プログラム
KR102453205B1 (ko) 볼러 관리 시스템과 볼링장에 설치된 볼링 경기 시스템을 연계한 볼링 경기 온라인 운영 시스템
JP7421821B2 (ja) 競技観戦システム、観戦者端末、映像収集提供装置、観戦者端末用プログラム及び映像収集提供装置用プログラム
JP2002202979A (ja) 画像の自動検索システム
JP7315388B2 (ja) 情報処理装置
AU2012201523B2 (en) Autonomous systems and methods for still and moving picture production
JP2002152724A (ja) テレビ中継を支援するための情報提供システム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R150 Certificate of patent or registration of utility model

Ref document number: 6909513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150