JP2022533152A - 自律的な活動監視システムおよび方法 - Google Patents

自律的な活動監視システムおよび方法 Download PDF

Info

Publication number
JP2022533152A
JP2022533152A JP2021568426A JP2021568426A JP2022533152A JP 2022533152 A JP2022533152 A JP 2022533152A JP 2021568426 A JP2021568426 A JP 2021568426A JP 2021568426 A JP2021568426 A JP 2021568426A JP 2022533152 A JP2022533152 A JP 2022533152A
Authority
JP
Japan
Prior art keywords
video
user
activity
processor
golfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021568426A
Other languages
English (en)
Inventor
アイメス,ケビン・アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hole in One Media Inc
Original Assignee
Hole in One Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hole in One Media Inc filed Critical Hole in One Media Inc
Publication of JP2022533152A publication Critical patent/JP2022533152A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0025Tracking the path or location of one or more users, e.g. players of a game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

活動を監視および録画および処理するためのシステムは、活動のビデオを自動的に録画するための1つ以上のカメラを含む。カメラに関連付けられ、カメラと通信するプロセッサおよびメモリは、活動の場所の近くに配置される。システムは、カメラによってキャプチャされたビデオフレーム内に録画されたユーザを識別するように構成されたAIロジックを含み得る。システムはまた、ユーザが所定の領域内にいるときに、ユーザを検出および識別することができる。システムは、ビデオフレーム内の画像を処理してユーザを識別するように構成されたビデオ処理エンジンを含み得て、ユーザおよび活動を識別するとビデオを変更およびフォーマットし得る。システムは、フォーマットされたビデオを遠隔ビデオ処理システムに通信するための通信モジュールを含み得て、遠隔ビデオ処理システムは、ビデオをさらに処理し、ユーザのモバイルアプリへのアクセスを可能にし得る。

Description

関連出願への相互参照
本出願は、以前に出願された米国仮特許出願第62/847,052号(2019年5月13日出願)の利益を主張し、その全内容は、参照によりその全体が本明細書に組み込まれる。
技術分野
本開示は、活動のビデオ録画を対象とする。より具体的には、本開示は、ビデオカメラおよびコンピュータ処理を使用して、ゴルフなどの運動活動を自動的に監視および録画することを対象とする。
背景技術
アマチュアおよびプロのアスリートは、様々な運動イベントや競技会に参加する。プロスポーツの場合、競技会はテレビおよび/またはインターネットで録画および放送されるのが一般的である。放送局は、多くの場合、アスリートまたは運動イベントの運営団体と協力して、イベントへのアクセスを提供し、固定位置または可動位置に分散された複数のカメラやマイクなど、イベントの録画と放送に必要な機器を提供する。これらの配置は、ゴルフ、テニス、フットボール、野球、バスケットボール、サッカー、ホッケー、オートレース、サイクリングなど、ほとんどのプロの観戦スポーツにおいて一般的である。これらの配置は、大学の陸上競技でも一般的であり、イベントはしばしば同じまたは類似のタイプのアクセスおよびカメラでカバーされる。
アマチュアの、大学生以外のアスリートによって行われる典型的なレクリエーション活動などの他の運動イベントの場合、レクリエーションゴルフ、テニス、バスケットボールなどを観戦する広範な公共の需要がないために、ビデオ録画および/または放送は一般的ではない。ただし、多くの場合、参加するアスリートは、プロのイベントで提供される録画と同様に、活動を録画することを望む。このような録画は、後に娯楽や評価の目的で見ることができる。例えば、ゴルファーは、改善の可能性があるかどうかスイングのメカニズムを分析できるように、スイングを録画することを望む場合がある。同様に、ゴルファーは自分のショットを録画したいと思うかもしれない。バスケットボール選手も同様に、特定の攻撃的なプレーや防衛ポジションの効果を評価するために、シュートの動きと結果としてのシュート、またはコートでの動きを録画したい場合がある。
ただし、レクリエーションアスリートは、イベントを録画するために独自の手配をする必要がある。アスリートは、独自の録画装置を提供して設定し、イベントが十分に録画されるように効果的な方法で独自の録画装置を設定する必要があり得る。あるいは、アスリートは、様々なビューを取得したり、プレーヤーの動きに適応したりするために録画装置を扱うことができる第三者のサービスを確保する必要があり得る。
場合によっては、アスリートは、イベントの特定の態様を録画するために、身体に取り付けるカメラを自分自身に取り付けることがある。例えば、ヘッドマウントカメラを使用して特定のサイクリングルートを録画することがある。ロッククライマーも同様に、身体に取り付けるカメラを使用して特定の登山ルートを録画することがある。ただし、身体に取り付けるこれらのカメラには、通常、特にアスリートの体の動きを録画できないという点で制限がある。さらに、ヘッドマウントカメラは通常、ユーザの頭の位置に従って方向付けられるため、アスリートが見ているものに対応する限られた領域しか録画できない場合がある。多くの場合、カメラは目の動きや焦点の変化に応じて調整されないため、アスリートが焦点を合わせているものを録画することすらできない。
バスケットボールコートや屋内テニスコートなど、競技場と面積が既知で一定である一部の運動場所では、録画装置が事前に取り付けられている場合がある。ただし、アスリートがいる可能性のある場所は無数にあるため、多くのアウトドアレクリエーション活動では通常これは不可能である。例えば、ゴルフコースでは、各場所が前の場所およびその前の場所からのボールの飛行に依存するため、ゴルフボールの経路またはコース上のゴルファーの場所を確実に予測することは困難である。ランナー、サイクリスト、クライマーなどの場合、場所はさらに予測できない可能性がある。したがって、これらのタイプの活動を録画するために、通常、活動に追従して当該活動を録画して使用可能な録画を提供するために、レクリエーションアスリートには別の個人が必要である。
上記を考慮して、運動イベントの録画システムを改善することができる。
発明の概要
本開示の一態様は、運動イベントを自動的に録画するためのシステムを提供することである。
本開示のさらに別の態様は、運動イベントの録画を自動的に処理し、録画を追加情報とともに表示するためのシステムを提供することである。
本開示のさらに別の態様は、ゴルフショットを自動的に録画し、ゴルフショットの画像を処理するためのシステムを提供することである。
これらおよび他の態様を考慮して、活動を自動的に録画および処理するためのシステムが提供される。システムは、第1の所定の活動のビデオを録画するために第1の地理的位置に配置された第1の遠隔カメラを含む。システムはさらに、第1の遠隔カメラに動作可能に関連付けられ、カメラと通信する、第1のプロセッサおよびメモリを含む。第1のプロセッサおよびメモリは、第1の地理的位置の近くにある。システムはさらに、第1のプロセッサとメモリに関連付けられた、ローカルビデオ処理エンジンを含む。ローカルビデオ処理エンジンは、第1の所定の活動に参加している第1のユーザの第1の遠隔カメラによってキャプチャされたビデオのフレームを処理するように構成されている。第1のプロセッサはさらに、第1のユーザおよび第1の所定の活動を識別するとビデオを変更するように構成されている。システムはさらに、フォーマットされたビデオを遠隔ビデオ処理システムに伝達することができる通信モジュールを含む。遠隔ビデオ処理システムは、フォーマットされたビデオをさらに処理して、処理されたビデオのアクセスを第1のユーザへ可能にするように構成されている。
一態様では、プロセッサは、GPS位置、顔認識、オブジェクト認識、衣服認識、動き検出、RFID検出、ブルートゥース検出、Wi-Fi検出、レーダー感知、および熱感知の1つ以上を使用して、第1のユーザの位置を検出するように構成されている。
一態様では、システムは、第1のプロセッサにアクセス可能な人工知能(AI)ロジックを含む。人工知能(AI)ロジックは、第1の遠隔カメラによってキャプチャされたビデオフレーム内に録画された1人以上のユーザを識別するロジックを伴って構成されている。
一態様では、第1のプロセッサは、第1のユーザを識別し、第1のユーザが第1の所定の領域内に配置されたときに、第1のユーザを自動的に録画し、第1のユーザの第1の録画を第1のユーザに関連付け、第1のユーザの第2の録画を第1のユーザに関連付け、そして第1のユーザの第1および第2の録画を処理し、第1のユーザに関連付けられたフォーマットされたビデオを定義するように構成されている。
一態様では、第1のプロセッサは、第1の所定の領域内の第2のユーザを検出および識別するように構成されている。
一態様では、第1のプロセッサは、第2のユーザを自動的に録画するように構成され、第1のプロセッサは、第2のユーザに関連付けられた録画を処理するように構成されている。
一態様では、第1のプロセッサは、第1および第2のユーザのどちらが録画されるかを決定するように構成されている。
一態様では、第1のプロセッサは、第1のユーザまたは第2のユーザが録画されることを示すメッセージを第1のユーザまたは第2のユーザに送信するように構成されている。
一態様では、第1のプロセッサは、第1の地理的位置の少なくとも一部にわたって位置グリッドを生成するように構成されている。
一態様では、第1のプロセッサは、位置グリッド内の第1のユーザの位置を検出するように構成され、さらに、位置グリッド内の第1のユーザに関連付けられたオブジェクトの位置を検出するように構成されている。
一態様では、第1のプロセッサは、第1のユーザが第1の地理的位置内に位置している間に、第1のユーザの位置を監視するように構成されている。
一態様では、第1のプロセッサは、録画に関連付けられたデータに基づいて、第1の処理された録画にグラフィック要素を追加するように構成されている。
一態様では、グラフィック要素は、ビデオの1つ以上のフレームに追加される1つ以上のグラフィック要素を含むことができ、グラフィック要素は、ビデオの位置を示すテキスト情報、ビデオが録画された場所の1つ以上の名前、第1のユーザの名前、ビデオが録画された日付、場所に関連付けられたロゴまたはその他のマーケティング画像、移動するオブジェクトのフレーム間のグラフィックラインを示すために作成された色付きのトレース、グラフィックオブジェクト、拡張現実要素を含む。
一態様では、色付きのトレースは、ゴルフボールの飛行経路、フットボール選手の走行経路、フットボールの飛行経路、サッカー選手の走行経路、サッカーボールの飛行経路、ダウンヒルスキーヤーまたはスノーボーダーの経路、スイマーの水泳経路、第1のユーザが釣った魚の遊泳経路、双胴船またはボートレース船の航行経路、マウンテンバイクやレースバイクのサイクリング経路の1つ以上のためのトレースを作成することを含む。
別の態様では、活動を自動的に録画および処理するためのシステムが提供される。システムは、第1の所定の活動のビデオを録画するために第1の地理的位置に配置された第1の遠隔カメラを含む。システムはさらに、第1の遠隔カメラに動作可能に関連付けられ、カメラと通信する、第1のプロセッサおよびメモリを含む。第1のプロセッサとメモリは、第1の地理的位置の近くに配置されている。システムはさらに、プロセッサにアクセス可能な人工知能(AI)ロジックを含む。人工知能(AI)は、第1の遠隔カメラによってキャプチャされたビデオフレーム内に録画されたユーザを識別するためのロジックを伴って構成されている。システムはさらに、第1のプロセッサとメモリに関連付けられた、ローカルビデオ処理エンジンを含む。ローカルビデオ処理エンジンは、第1のユーザを識別するためにビデオフレーム内の画像を処理するように構成されている。第1のプロセッサはさらに、第1のユーザおよび第1の所定の活動を識別するとビデオを変更するように構成されている。システムはさらに、フォーマットされたビデオを遠隔ビデオ処理システムに伝達することができる通信モジュールを含む。遠隔ビデオ処理システムは、フォーマットされたビデオをさらに処理し、識別された第1のユーザのモバイルアプリへのアクセスを可能にするように構成されている。
一態様では、AIロジックは、ゴルファー、ゴルフボール、シャツ、シャツの色、ズボン、ズボンの色、スカート、スカートの色、帽子、帽子の色、ゴルフグローブ、ゴルフシューズ、ゴルフカート、ゴルフカートに乗っている1人以上の人、ゴルフティー、ゴルフクラブ、アイアン、ドライバー、ユーティリティクラブ、パター、ウェッジ、ゴルフボールのロゴ、男性、女性、子供、若者、シャツのロゴ、キャディー、進行係、ブランド、左利きのゴルファー、右利きのゴルファー、バイザー、眼鏡、サングラス、飲み物、ティーボックス、ティーボックスの色、樹木、フェアウェイ、カート経路、グリーン、ピン、ホール、サンドバンカー、ウォーターハザード、グラスハザード、森、アウトオブバウンズ、ラフ、グリーンのファーストカット、グリーンのセカンドカット、鳥、虫、動物、ティーからピンまでの距離、ティーからグリーン手前までの距離、ティーからグリーン中心までの距離、ティーからグリーンの後ろまでの距離、赤杭、白杭、黄杭、標高の変化、雲、雨、雪、霧、靄、泥、風、グリーンの地形、またはホールのカットのうちの1つ以上を識別することができるロジックを含む。
一態様では、AIロジックはさらに、ゴルフ活動、フットボール活動、サッカー活動、ラクロス活動、野球活動、バスケットボール活動、テニス活動、ピックルボール活動、ビーンバッグトス活動、ボウリング活動、ビリヤード活動、水泳活動、ダイビング活動、レース活動、ホッケー活動、フィールドホッケー活動、ディスクゴルフ活動、ラグビー活動、スキー活動、スノーボード活動、サイクリング活動、釣り活動、ボート活動、およびスポーツ活動のうちの1つ以上を含む活動を識別することができるロジックを含む。
一態様では、遠隔ビデオ処理システムはさらに、第1のプロセッサと通信する遠隔ビデオ処理管理システムを含む。遠隔ビデオ処理管理システムは、第1の一連の録画されたビデオを受信し、第1の一連の録画されたビデオを処理してAIロジックを作成するように構成されている。第1の一連の録画されたビデオの処理は、録画されたビデオの各々の1つ以上のフレーム内の1つ以上の一意に識別されたオブジェクトにタグを付けることを含む。タグを付けることは、録画されたビデオ内のユーザおよびユーザの活動を識別するためのタグを含む。当該処理はさらに、タグ付けされたオブジェクトのニューラルネットワークを含むAIロジックを作成し、所定の場所でビデオを処理する際に使用するためにAIロジックを第1のプロセッサに配信することを含む。当該処理はさらに、フォーマットされたビデオを通信モジュールから受信し、モバイルアプリの使用に基づいて、フォーマットされたビデオを変更することを含む。
一態様では、システムは、ビデオ処理システムと通信する遠隔ビデオ処理管理システムを含む。遠隔ビデオ処理管理システムは、ビデオ処理システムおよび第1の遠隔カメラから受信した処理されたビデオを格納するクラウドストレージに結合されたネットワークプロセッサ、フォーマットされたビデオにアクセスしてフォーマットされたビデオを処理するように構成された人工知能(AI)対応グラフィック処理エンジン、フォーマットされたビデオの1つ以上のフレームに追加されるAI対応グラフィック処理エンジンにアクセス可能なグラフィックアセット、フォーマットされたビデオの配信場所に基づいてフォーマットされたビデオをフォーマットするように構成されたフォーマットマネージャ、およびネットワークプロセッサにアクセス可能な配信マネージャを含む。配信マネージャは、フォーマットされたビデオを配信場所に配信するように構成されている。
一態様では、システムは、配信マネージャに関連付けられたモバイルアプリを含む。モバイルアプリは、配信マネージャによって提供されるコンテンツを含む。当該コンテンツは、遠隔ビデオ処理管理システムによって出力される1つ以上のフォーマットされたビデオ、1つ以上の活動を使用して作成されたビデオのリスト、1つ以上のビデオが録画された場所のリスト、フォーマットされたビデオを共有するためのソーシャルメディア機能、およびコーチが第1のユーザのフォーマットされたビデオにアクセスしてコメントできるように構成された仮想コーチング機能を含む。
一態様では、プロセッサは、第1の遠隔カメラによってキャプチャされたビデオフレーム内に録画された第2のユーザを識別するように構成されている。プロセッサは、第1のビデオからビデオフレームを抽出するように構成され、ビデオフレームは第2のユーザを含む。プロセッサは、抽出されたビデオフレームを第2のフォーマットされたビデオに結合するように構成され、第2のフォーマットされたビデオは、第2のユーザを含む。通信モジュールは、第2のフォーマットされたビデオを遠隔ビデオ処理システムに送信する。遠隔ビデオ処理システムは、ビデオをさらに処理し、識別された第2のユーザのモバイルアプリへのアクセスを可能にするように構成されている。
一態様では、遠隔ビデオ処理管理システムはさらに、録画された活動中に第1のユーザの近くにいる第2のユーザを識別し、遠隔ビデオ処理システムによって生成された第2のビデオの第1のユーザへのアクセスを開始し、モバイルアプリを使用して第1のユーザが第2のビデオにアクセスすることを可能にするように構成されている。
別の態様では、ビデオを自動的に録画し提供する方法が提供される。この方法は、第1の地理的位置に配置された第1の遠隔カメラを使用して、所定の活動のビデオを録画することを含む。この方法はさらに、第1の地理的位置でビデオを処理することを含む。処理は、所定の活動を行う第1のユーザを識別することと、所定の活動中に第1のユーザを含むビデオから画像フレームを抽出することと、抽出された画像フレームをマージして、フォーマットされたビデオを生成することとを含む。この方法は、追加の処理のために、フォーマットされたビデオを遠隔ビデオ処理システムに出力することを含む。
一態様では、この方法はさらに、ビデオ内で所定の活動を行う第2のユーザを識別することと、所定の活動を行う第2のユーザを含む追加の画像フレームを抽出することと、追加の画像フレームをマージして、第2のフォーマットされたビデオを生成することと、第2のフォーマットされたビデオを遠隔ビデオ処理システムに出力することとを含む。
一態様では、この方法は、第1の地理的位置に第2の遠隔カメラを設けることと、第1の地理的位置をゴルフコースのゴルフホールとして識別することと、ゴルフホールのティーボックスの周りに第1のジオフェンスを設置することと、ゴルフホールのグリーンの周りに第2のジオフェンスを設置することと、第1のユーザが第1のジオフェンス内にいるときを検出することと、所定の活動を録画するために第1のジオフェンス内の第1のユーザを識別することに応答して、第1の遠隔カメラおよび第2の遠隔カメラの録画をアクティブ化することと、第1のユーザが第2のジオフェンス内にいるときを検出することと、第1のユーザが第2のジオフェンスを離れるときを検出することと、第1のユーザが第2のジオフェンスを離れるときに所定の活動の録画を無効にすることとを含む。
一態様では、第1のジオフェンスは、第1のジオフェンス半径を含み、第2のジオフェンスは、第1のジオフェンス半径とは異なる第2のジオフェンス半径を含む。
一態様では、第1のジオフェンスは、第1のジオフェンスサイズを含み、第2のジオフェンスは、第1のジオフェンスサイズとは異なる第2のジオフェンスサイズを含む。
一態様では、この方法は、所定の活動をゴルフ活動として識別することと、第1の画像フレームを抽出して、第1の画像フレーム内の第1の位置にあるゴルフボールを識別することと、第1の画像フレームよりも遅い期間で第2の画像フレームを抽出することと、ゴルフボールが第2の画像フレーム内の別の位置に移動したかどうかを決定することと、第2の画像フレーム内から第1の位置まで延びる色付きの線を引くことと、ゴルフボールが見えなくなるまで後続のフレームで線を引くことを繰り返すことと、ゴルフボールが着地する場所を推定することと、ゴルフボールが着地する推定位置へ色付きの線を引くこととを含む。
一態様では、この方法はさらに、特定の活動を識別するために以前に録画された活動を使用してAIロジックを作成することと、AIロジックを使用して特定の活動を識別することと、特定の活動を行う第1のユーザを識別することと、特定の活動の画像フレームの抽出を開始することと、抽出された特定の活動の画像フレームを組み合わせることとを含む。
一態様では、AIロジックの作成はさらに、以前に録画されたビデオ内でゴルフクラブを保持しているゴルファーを識別するステップと、特定の服、ゴルフクラブ、およびゴルフボールを持っているゴルファーにタグを付けるステップと、以前に録画された多数の活動と画像フレームに対して、識別するステップとタグを付けるステップを繰り返すステップと、タグ付けされた画像を使用してAIロジックを生成するステップと、第1の遠隔カメラを備えたゴルフコースでAIロジックを使用するステップとを含む。
別の態様では、運動パフォーマンスを自動的に録画する方法が提供される。この方法は、少なくとも1人のプレーヤーが所定の領域内に位置することをプロセッサによって検出することと、少なくとも1人のプレーヤーの第1のプレーヤーを識別することと、プロセッサに動作可能に結合された少なくとも1つのカメラによって、第1のプレーヤーのパフォーマンスを自動的に録画し、第1の録画を定義することと、プロセッサに動作可能に結合されたデータベースに、第1の録画を自動的に保存することと、第1の録画を第1のプレーヤーと自動的に相関させることと、第1の録画を自動的に処理し、第1の処理された録画を定義することとを含む。
一態様では、少なくとも1つのカメラは、第1のカメラと第2のカメラとを含む。
別の態様では、この方法は、第1のカメラの第1の地理的位置と第2のカメラの第2の地理的位置とをプロセッサで識別することを含む。
別の態様では、この方法は、プロセッサで所定の領域を識別することを含む。
別の態様では、この方法は、所定の領域内に位置グリッドを規定することを含む。
別の態様では、この方法は、位置グリッド内のグリッド位置で第1のプレーヤーに関連付けられたオブジェクトを検出することを含む。
別の態様では、この方法は、グリッド位置でオブジェクトを検出することに応答して、その位置に関連付けられたグラフィックを第1の処理された録画に自動的に追加することを含む。
別の態様では、第1のプレーヤーの識別は、画像認識を介して決定される。
別の態様では、この方法は、プロセッサによって、第1のプレーヤーに関連付けられたモバイルデバイスに、プレーヤーに実行するように指示する信号を通信することを含む。
別の態様では、この方法は、第1の処理された録画を第1のユーザに自動的に送信することを含む。
図面の簡単な説明
本開示の他の態様は、添付の図面に関連して検討した場合、以下の詳細な説明を参照することによってよりよく理解されるようになるため、容易に理解されるであろう。
本開示の一態様による、活動を検出および録画するためのビデオ処理システムを示すブロック図である。 本開示の一態様による、ビデオ処理システムとともに使用するためのAI対応カメラを示すブロック図である。 本開示の一態様による、ローカルビデオ処理のためのAI対応ビデオ処理システムを示すブロック図である。 本開示の一態様によるローカルビデオ処理のための方法のフロー図である。 本開示の一態様による、遠隔ビデオ処理のためのAI対応ビデオ処理システムを示すブロック図である。 本開示の一態様による、AI対応遠隔ビデオ処理を使用してビデオを処理するための方法のフロー図である。 本開示の一態様によるモバイルデバイスアプリケーションを示すユーザインターフェースである。 本開示の一態様による、ゴルフコースに配置されたAI対応ビデオ録画システムの一例を示すブロック図である。 本開示の一態様による運動監視システムの一態様の方法を示す。 本開示の一態様による運動監視システムの一態様の方法を示す。
発明を実施するための形態
図と組み合わせた以下の説明は、本明細書に開示された教示を理解するのを助けるために提供される。以下の記述は、教示の特定の実施および実施形態に焦点を当てる。この焦点は、教示を説明するのを助けるために提供されており、教示の範囲または適用可能性に対する制限として解釈されるべきではない。しかし、他の教示は確かにこのアプリケーションで利用することができる。本教示は、他のアプリケーションや、分散コンピューティングアーキテクチャ、クライアント/サーバアーキテクチャ、ミドルウェアサーバアーキテクチャおよび関連コンポーネントなど、いくつかの異なるタイプのアーキテクチャで利用することもできる。
相互に通信するデバイスまたはプログラムは、特に明記されていない限り、相互に継続的に通信している必要はない。さらに、互いに通信するデバイスまたはプログラムは、1つ以上の仲介物を介して直接的または間接的に通信し得る。
以下で説明する実施形態は、ネットワーク要素間の通信相互作用の全部または一部を管理する分散コンピューティングソリューションを部分的に説明している。この文脈において、通信相互作用は、情報送信の企図、情報の送信、情報の要求、情報の受信、情報の要求の受信、またはそれらの任意の組み合わせであり得る。したがって、通信相互作用は、単方向、双方向、多方向、またはそれらの任意の組み合わせであり得る。状況によっては、通信相互作用は比較的複雑で、2つ以上のネットワーク要素が関係し得る。例えば、通信相互作用は、各ネットワーク要素が他の要素との間で情報を送受信する、クライアントとサーバとの間の「会話」または一連の関連する通信であり得る。ネットワーク要素間の通信相互作用は、必ずしも1つの特定の形式だけに限定されるわけではない。ネットワーク要素は、ノード、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、コンピューティングシステムの別のコンポーネント、またはそれらの任意の組み合わせであり得る。
本開示の目的のために、運動監視および録画システムは、ビジネス、科学、制御、娯楽、またはその他の目的で、あらゆる形式の情報、インテリジェンス、またはデータを計算、分類、処理、送信、受信、検索、発信、切り替え、保存、表示、マニフェスト、検出、録画、再生、取り扱い、または利用するように動作可能である任意の手段または手段の集合を含むことができる。例えば、運動監視および録画システムは、パーソナルコンピュータ、PDA、家庭用電子機器、スマートフォン、セルラーフォンまたはモバイルフォン、セットトップボックス、デジタルメディア加入者モジュール、ケーブルモデム、光ファイバー対応通信デバイス、メディアゲートウェイ、ホームメディア管理システム、ネットワークサーバまたはストレージデバイス、スイッチルータ、ワイヤレスルータ、その他のネットワーク通信デバイス、またはその他の適切なデバイスであり得、サイズ、形状、性能、機能、および価格は異なり得る。
システムは、メモリ、1つ以上の処理リソースまたはコントローラ、例えば、中央処理装置(CPU)、ハードウェアまたはソフトウェア制御ロジックなどを含むことができる。システムの追加コンポーネントは、1つ以上のストレージデバイス、外部デバイスやキーボード、マウス、およびビデオディスプレイなどの様々な入出力(I/O)デバイスと通信するための、1つ以上の無線、有線、またはそれらの任意の組み合わせの通信ポートを含む。運動監視および録画システムはまた、様々なハードウェアコンポーネント間の通信を送信するように動作可能な1つ以上のバスを含むことができる。
以下の説明では、フローチャート化された手法またはアルゴリズムが一連の順次アクションで説明される場合がある。特に明記されていない限り、アクションの順序およびアクションを実行する当事者は、教示の範囲から逸脱することなく自由に変更することができる。アクションは、いくつかの方法で追加、削除、または変更できる。同様に、アクションを並べ替えたり、ループしたりすることができる。さらに、プロセス、方法、アルゴリズムなどは順番に記述され得るが、そのようなプロセス、方法、アルゴリズム、またはそれらの任意の組み合わせは、代替の順序で実行されるように動作可能であり得る。さらに、プロセス、方法、またはアルゴリズム内のいくつかのアクションは、少なくともある時点で同時に実行することができ(例えば、並行して実行されるアクション)、全体、部分、またはそれらの任意の組み合わせで実行することもできる。
本明細書で使用される場合、用語「備える(comprises)」、「備える(comprising)」、「含む(includes)」、「含む(including)」、「有する(has)」、「有する(having)」またはそれらの他の任意の変形は、非排他的な包含をカバーすることを意図する。例えば、特徴のリストを含むプロセス、方法、物品、または装置は、必ずしもそれらの特徴だけに限定されるわけではなく、そのようなプロセス、方法、物品、または装置に明示的にリストされていない、または固有ではない他の特徴を含み得る。さらに、明示的に反対の記載がない限り、「または」は包括的論理和を指し、排他的論理和を指さない。例えば、条件AまたはBは、以下のいずれかによって満たされる。Aは真であり(または存在し)Bは偽である(または存在しない)、Aは偽であり(または存在せず)Bは真である(または存在する)、そしてAとBの両方が真である(または存在する)。
また、「a」または「an」の使用は、本明細書に記載の要素および構成要素を説明するために使用される。これは、単に便宜上、そして本発明の範囲の一般的な意味を与えるために行われる。この説明は、1つまたは少なくとも1つを含むように読む必要があり、単数形には複数形も含まれ、別の意味であることが明らかでない限り、その逆もまた同様である。例えば、本明細書に単一のデバイスが記載されている場合、単一のデバイスの代わりに複数のデバイスを使用することができる。同様に、本明細書に複数のデバイスが記載されている場合、そのデバイスの代わりに単一のデバイスを使用することができる。
別段の定義がない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載されたものと同様または同等の方法および材料を、本発明の実施形態の実施または試験に使用することができるが、適切な方法および材料を以下に説明する。本明細書で言及されるすべての刊行物、特許出願、特許、および他の参考文献は、特定の節が引用されていない限り、その全体が参照により組み込まれる。矛盾する場合は、定義を含む本仕様が優先される。さらに、材料、方法、および例は例示にすぎず、限定することを意図するものではない。
本明細書に記載されていない範囲で、特定の材料、処理行為、および回路に関する多くの詳細は従来のものであり、コンピューティング、電子機器、およびソフトウェア技術内の教科書および他の情報源に見出すことができる。
説明内では、人工知能(AI)またはAIロジック、機械学習、ニューラルネットワークの使用も用いられる。AIまたはAIロジックは、コンピュータが人間の能力を模倣できるようにするいくつかのカテゴリの手法を含む。AIの手法またはロジックには、機械学習、音声および言語処理、エキスパートシステム、ロボット工学が含まれる。機械学習はAIのサブセットであり、コンピュータが経験を通じてタスクを改善できるようにする。機械学習には、回帰分析などの従来の統計ベースのアプローチと、ディープラーニングなどの新しい手法が含まれる。ディープラーニングは、大量の履歴データを使用してマルチレベルのニューラルネットワークをトレーニングし、新しいデータに関する結論を導き出す。明細書全体を通して、説明では、ニューラルネットワークの形式でディープラーニングを展開するAIロジックを使用して、ビデオ画像およびセグメント内のオブジェクトのクラス、オブジェクトの場所を識別する。ディープラーニングは、ビデオ画像およびセグメント内の特徴的な活動またはサブ活動を識別するためにも使用される。一部の形式では、統計ベースの機械学習を使用して、ビデオ画像およびセグメント内のオブジェクトの動きまたは方向を特徴付ける。
次に、自律録画および処理システムの例示的な態様について、より完全に説明する。これらの例示的な態様のそれぞれは、本開示が完全であり、本発明の概念、特徴、および利点の範囲を当業者に完全に伝えるように提供されている。この目的のために、本開示に関連する各態様の完全な理解を提供するために、システムに関連する特定のコンポーネントおよび方法の例など、多数の特定の詳細が示されている。しかしながら、当業者には明らかであるように、本明細書に記載のすべての特定の詳細を使用する必要はなく、例示的な態様は、多くの異なる形態で具体化することができ、したがって、開示の範囲を制限するように解釈または理解されるべきではない。
本開示の様々な態様は、一般に、様々なシステムに分散されたハードウェア、ソフトウェア、モジュールなどを指す場合がある。様々なハードウェアおよびソフトウェアを使用して、本明細書で説明する特徴および機能を容易にすることができ、これにはNVIDIA Jetson TX2コンピュータ、256コアNVIDIA CUDAを備えた256コアNVIDIA Pascal GPUアーキテクチャ、ならびにデュアルコアNVIDIA Denver 2 64ビットCPUおよびクアッドコアARM Cortex-A57 MPCore(8GB 128ビットLPDDR4メモリおよび32GB eMMCストレージを含む)が含まれるが、これらに限定されない。ソフトウェアにはPythonでプログラムされたアプリケーションを備えたLinux(登録商標)オペレーティングシステム、OpenCV画像処理ライブラリ、AWS Greengrass MLモデルDevelopment and Execution、OpenCV画像処理ライブラリとPythonプログラミングを使用したビデオ編集ソフトウェアが含まれる。様々なクラウドサービス、ならびにビデオの保存および送信用にビデオストレージ用のAWS S3とAWS Glacier、コンテンツ送達および配信用のAWS CloudFrontなどが使用できる。ビデオを処理および編集するためのクラウドサービスには、AWS EC2サーバで実行されるPythonおよびOpenCVが含まれる場合がある。ビデオをある形式から別の形式に変換するためのクラウドサービスには、AWS Elemental MediaConvertが含まれ得る。ニューラルネットワークを生成するためのクラウドサービスとAIには、Keras/TensorFlow開発フレームワーク、ローカルコンピュータに展開するためのモデルを準備するためのSagemaker NEOを含む、機械学習モデルを構築、トレーニング、調整、評価するためのAWS SageMakerが含まれ得る。
本明細書に記載のシステムで使用するためのカメラは、HDカメラまたは4Kカメラであり得る。
4Kカメラは、参照により本明細書に組み込まれる仕様および操作マニュアルを有するハンファ製モデルPNP-9200RHであってもよい。ハンファ製カメラ、モデルPNO-9200RHは、次の仕様を含む4K PTZカメラである。
イメージングデバイスセンサ:1/2.5”8MP CMOS
解像度:3,840(H)x2,160(V)、8.00Mピクセル
焦点距離(ズーム比):4.8~96mm(光学20倍)
画角H/V:65.1度(ワイド)~3.8度(テレ)/38.4度(ワイド)~2.2度(テレ)
オートフォーカス&オートアイリス
赤外線照明
120デシベルのダイナミックレンジ
パン範囲/速度:360度/400度/秒
チルト範囲/速度:190度/300度/秒
16倍デジタルズーム
アプリケーションプログラミングインターフェース:ONVIFプロファイルS/G
ビデオ圧縮フォーマット:H.265/H.264、MJPEG
すべての解像度で最大フレームレートH.265/H.264:30fps
オーディオ入力選択可能(マイク入力/ライン入力)
イーサネット(登録商標):10/100 BASE-T
動作温度/湿度:-58°F~+131°F/90%RH未満
侵入保護:IP66/耐破壊性 IK10
入力電圧:24V AC
消費電力:90W(ヒーターオン、IRオン)
カメラは、高解像度で録画できるHDカメラであり得る。したがって、カメラは、参照により本明細書に組み込まれる仕様および操作マニュアルを備えたモデル番号XNP-6321HのハンファHD 1080p PTZカメラであり得る。ハンファ製カメラ、モデルXNP-6321Hは、次の仕様を含むHD 1080p PTZカメラである。
イメージングデバイス:1/2.8”2.4M CMOS
解像度:1,981(H)x1,288(V)、2.55M
焦点距離(ズーム比):4.44~142.6mm(光学32倍)
図角H/V:61.8度(ワイド)~2.19度(テレ)/36.2度(ワイド)~1.24度(テレ)
オートフォーカス&オートアイリス
IR照明
150デシベルのダイナミックレンジ
パン範囲/速度:360度/700度/秒
チルト範囲/速度:210度/700度/秒
デジタルズーム:32倍
アプリケーションプログラミングインターフェース:ONVIFプロファイルS/G
ビデオ圧縮フォーマット:H.265/H.264、MJPEG
最大フレームレートH.265/H.264:すべての解像度で60fps
オーディオ入力選択可能(マイク入力/ライン入力)
イーサネット:10/100 BASE-T
動作温度/湿度:-31°F~+131°F/90%RH未満
侵入保護:IP66/耐破壊性 IK10
入力電圧:24V ACまたはPOE+
消費電力:最大24W(ヒーターオフ)、最大65W(ヒーターオン、24V AC)
ここで図1を参照すると、活動を検出および録画するためのビデオ処理システムを示すブロック図が提供される。ビデオ処理システムがシステム100に一般的に示されている。説明の目的で、システム100の様々な実施形態および態様が本明細書に記載および図示され、様々なシステムモジュールが異なる相互接続されたシステム、ハードウェア、およびソフトウェアに分散されており、これらはインターネット/クラウドを介してローカルおよび遠隔の両方で有線または無線の方法で互いに通信する。本明細書に記載のシステム100の様々な機能は、プロセッサおよび非一時的コンピュータ可読媒体またはメモリを含むコンピュータを使用して達成することができ、コンピュータに格納された命令はプロセッサによって実行される。システム100は、様々なアルゴリズムで定められた規則に従って自動的に機能することができる。様々なプロセッサ、メモリ、および命令は、様々なシステム間およびクラウドを介して配信され得、いくつかの命令または処理は遠隔で発生し得、システム間またはモジュール間で通信され得ることがさらに理解されよう。
一態様によれば、システム100は、第1の遠隔カメラ102、第2の遠隔カメラ104、第3の遠隔カメラ106、またはN番目の遠隔カメラ108として一般的に示される追加のカメラの様々な組み合わせを含むことができる。システム100はまた、1つ以上の遠隔カメラ102~108をAI対応ビデオプロセッサ112に接続するネットワークスイッチ110を含む。システム100は、AI対応プロセッサ112に接続された非一時的メモリ111を含む。遠隔カメラ102~108は、ネットワークスイッチ110に動作可能に接続され得、AI対応ビデオプロセッサ112によって制御され得る。他の形態では、カメラ102~108は、本明細書で説明されるように、ビデオを録画するためのオンボード機能と独立して動作することができる。
システム100はまた、インターネット/クラウド116などのネットワークを介してデータを通信または送信するように構成された、セルラーモデムまたはハードワイヤードモデムなどのモデム114を含むことができる。モデム114は、3G、4G、5G、または他の通信規格を使用して通信することができるセルラーモデムであり得る。他の形態では、モデム114は、イーサネットなどのブロードバンド接続を使用して、または光ファイバー接続を介して、またはそれらの様々な組み合わせを介して通信することができる有線モデムであり得る。
一態様によれば、モデム114は、さらなる処理のために遠隔カメラ102~108によってキャプチャされた生のビデオデータを通信するように構成され得るか、またはモデム114は、AI対応プロセッサ112によって作成された処理されたビデオを通信するように構成され得る。したがって、一態様によれば、モデム114は、インターネット/クラウド116と通信するように、またはインターネット/クラウド116と動作可能に通信するように構成され得る。
さらなる態様によれば、システム100は、インターネット/クラウド116を介してモデム114に接続された遠隔ビデオ処理管理システム118をさらに含み得る。遠隔ビデオ処理管理システム118は、ビデオを自動的に処理し、作成されたビデオファイルの配信を管理することができる。システム100は、遠隔ビデオ処理管理システム118と通信するコンテンツ管理配信システム120をさらに含み得る。コンテンツ管理配信システム120は、システム100によって作成されたビデオの配信をさらに制御するように構成され得る。
例えば、遠隔ビデオ処理管理システム118で生のビデオデータを受信することに応答して、システム100は、所定の指示に従ってビデオを自動的に処理するように構成され得る。ビデオの処理に応答して、コンテンツ管理配信システム120は、処理されたビデオを受信し、それに応答して、処理されたビデオをエンドユーザに送信または利用可能にすることができる。したがって、システム100は、遠隔カメラの近くに配置されたビデオ処理を使用して、ビデオ活動を検出し、カメラに対してローカルに、クラウドサービス内で、またはそれらの組み合わせの1つ以上の形式でビデオを処理することができる。
一態様によれば、システム100は、ゴルフ環境においてゴルファーを検出し、処理されたビデオの形でゴルファーの活動を録画し通信するために使用することができる。ゴルフ環境でのシステム100の使用中、システム100は、カメラ102~108を介してゴルファーのビデオデータを自動的にキャプチャするように構成され得る。ビデオデータのキャプチャに応答して、システム100は、AI対応プロセッサ112でカメラ102~108からビデオデータを受信することができる。AI対応プロセッサ112は、ビデオデータを自動的に処理し、処理されたビデオを作成することができる。例えば、AI対応プロセッサ112は、ビデオからの画像データ、およびビデオまたは画像フレーム内の人を検出するために作成されたニューラルネットワークを使用して、ゴルファーを検出するために使用することができる。人を検出すると、ニューラルネットワーク(NN)を作成して、ゴルファーの服、靴、帽子、ゴルフクラブ、ゴルフボール、またはゴルフ活動に特有の様々な他の態様もしくは態様の組み合わせなど、ゴルファーの他の要素を識別することができる。ゴルファーを識別すると、システム100は、その特定のゴルファーについてビデオをキャプチャして処理することができる。処理されたビデオの作成に応答して、AI対応プロセッサ112は、ビデオデータを送信することができる。ビデオデータの処理は、ローカルまたは遠隔で発生し得る。例えば、AI対応プロセッサ112は、カメラ102~108の一部であるか、カメラ102~108と通信するコンピュータまたは処理システムにあるか、またはクラウドにあり得る。
別の態様によれば、システム100は、カメラ102~108に関連する所定の領域内の1人以上のゴルファーの存在を検出するように構成され得る。例えば、システム100は、AI対応プロセッサ112に送信された信号を介して、カメラ102~108が設置され較正されたゴルフコースのホールにゴルファーが到達したことを検出するように構成されている。システム100はさらに、1人以上のゴルファーがホールを完了し、ホールを離れたことを検出するように構成されている。このようにして、ゴルファーがいる場合にのみ、限られた量のビデオをキャプチャおよび録画することができ、それにより、ビデオを保存、処理、および通信するために必要なメモリおよび処理の量を減らす。
以下でさらに詳細に説明するさらなる態様によれば、ゴルファーは、ゴルファーの存在を示すためにシステム100と通信することができる、モバイルデバイス、スマートフォンもしくはタブレットなどのGPSもしくは位置情報サービス対応デバイス、または他のGPSまたは位置情報サービス対応デバイス、RFIDデバイス、ブルートゥース対応デバイス、またはそれらの任意の組み合わせなどの送信機を自分自身に関連付けることができる。別の形態では、システム100は、ゴルフカートおよびゴルファーの位置を検出するためにゴルフカート内に統合されたGPSまたは位置情報サービス追跡システムを有するゴルフカートと通信するように構成され得る。
したがって、例えば、カメラ102~108でビデオを自動的に録画する前に、システム100は、ゴルファーに関連付けられたデバイスから近接信号を受信することができる。近接信号の受信に応答して、システム100は、カメラを介してホールの録画を自動的に開始することができる。
本開示の別の態様によれば、1つ以上の遠隔カメラ102~108は、1つ以上の遠隔カメラ102~108に設置されたGPSまたは位置情報サービスデバイスなどのGPSまたは位置情報サービス測位機能を含み得、その結果、遠隔カメラ102~108のGPS座標が知られている可能性がある。GPSまたは位置情報サービスデバイスを使用して、各カメラ102~108の特定のGPS座標を検出してシステム100に送信することができ、それにより、システム100への参照点を提供して、システム100に各遠隔カメラ102~108の位置データを提供し、ゴルフホール上および遠隔カメラ102~108の視野内の他のオブジェクトが、カメラ102~108によって検出され得る。したがって、システム100は、三角測量して、遠隔カメラ102~108に対するオブジェクトの位置を決定することができる。
別の態様によれば、ゴルフコースにおけるシステム100の初期設定段階中に、遠隔カメラ102~108は、ゴルフホールの特定のレイアウトに応じて、ゴルフホールの設置者によって決定された固定位置に設置され得る。典型的であるように、各ゴルフホールは一意であり、ティーボックスとグリーンとの間、および異なるグラスカット(フェアウェイ、ファーストカット、ラフ、フリンジなど)を含むその間の領域において一意なレイアウトを有する。一態様では、第1のカメラ102はティーボックスの後ろに配置され得、第2のカメラ104はグリーンの後ろに配置され得る。設置されるとき、遠隔カメラ102~108は、通常、ボール飛行の予想される経路にない位置に配置される。言い換えれば、第1の遠隔カメラ102は、ゴルファーがティーボックス上に立ちつつグリーンに面しているときにゴルファーの後ろに配置することができ、第2の遠隔カメラ104は、ティーボックスに対する方向でグリーンを越えて配置することができる。したがって、遠隔カメラ102~108は、ゴルフボールからの衝撃が起こりそうにないように配置される。システム100は、様々な異なる場所で複数の異なるカメラを含むことができることが理解されよう。
ここで図2を参照すると、ビデオ処理システムで使用するためのAI対応カメラを示すブロック図が提供される。200で一般的に示されるAI対応カメラは、オンボードプロセッサ204、および1つ以上のセンサ206、208、210を含み、これらは、信号および/またはビデオをプロセッサ204に送信するように構成され得る。
センサ206~210は、光学センサを含むことができ、何らかの形で、光学、運動、赤外線、レーダーまたはドップラーセンサ、ブルートゥースセンサ、Wi-Fiセンサ、RFIDセンサ、またはそれらの様々な組み合わせを含むがこれらに限定されない、センサの様々なタイプまたは組み合わせを含むことができる。カメラ202は、プロセッサ204と通信するメモリ212と、メモリ212と通信する組み込みAIモジュール214とをさらに含み得る。AIモジュール214は、メモリ212に記憶され、プロセッサ204によって実行されるソフトウェアの形態であり得る。
カメラ202は、プロセッサ204および電力モジュール218と通信する通信モジュール216をさらに含み得る。通信モジュール216は、光ファイバー、イーサネット、パワーオーバーイーサネット(POE)などの有線または無線通信であり得る。無線通信は、Wi-Fiまたは他の802.11通信、ブルートゥース(登録商標)、セルラー通信、またはそれらの様々な組み合わせであり得る。電力モジュール218は、カメラ202に電力を供給するように構成され得る。電力モジュール208は、電力グリッドまたは他の電源に接続されたバッテリまたはハードワイヤード入力の形態であり得る。一態様によれば、電力は、所与の距離にわたってカメラ200に電力を供給するのに十分なPOE接続を使用して提供することができる。したがって、本明細書に記載の自動ビデオ録画および処理ステップを参照して、カメラ202はこれらのステップを実行することができ、処理されたビデオの作成に応答して、カメラ202は処理されたビデオをエンドユーザに送信することができる。
カメラ202は、カメラセンサ206~210と通信する制御モジュール220をさらに含み得る。制御モジュール220は、プロセッサ204と通信し、センサ206~210から信号を受信し、カメラ202を制御するためにプロセッサ204に信号を提供することができる。制御モジュール220は、カメラ202をパン、チルト、またはズームするように構成され得る。カメラ202は、本明細書に記載されている他の任意のカメラに使用することができる。本明細書で説明される様々なカメラは、カメラ202に関連する機能のいくつかまたはすべてを含み得る。例えば、本明細書で説明される様々なカメラは、パン、チルト、およびズーム機能を含み得るが、例えば、オンボードAI処理を含まない場合がある。例えば、一態様では、1人以上のゴルファーの検出に応答して、カメラ202は、制御モジュール220がカメラ202を自動的にチルト/パン、またはズームするための制御信号を生成することができる。
一態様によれば、カメラ202は、参照により本明細書に組み込まれる仕様および操作マニュアルを有する、ハンファ製4Kカメラ、モデルPNP-9200RHであり得る。ハンファ製カメラ、モデルPNO-9200RHとしてのカメラ202は、次の仕様を含む4K PTZカメラである。
イメージングデバイスセンサ:1/2.5”8MP CMOS
解像度:3,840(H)x2,160(V)、8.00Mピクセル
焦点距離(ズーム比):4.8~96mm(光学20倍)
画角H/V:65.1度(ワイド)~3.8度(テレ)/38.4度(ワイド)~2.2度(テレ)
オートフォーカス&オートアイリス
赤外線照明
120デシベルのダイナミックレンジ
パン範囲/速度:360度/400度/秒
チルト範囲/速度:190度/300度/秒
16倍デジタルズーム
アプリケーションプログラミングインターフェース:ONVIFプロファイルS/G
ビデオ圧縮フォーマット:H.265/H.264、MJPEG
すべての解像度で最大フレームレートH.265/H.264:30fps
オーディオ入力選択可能(マイク入力/ライン入力)
イーサネット:10/100 BASE-T
動作温度/湿度:-58°F~+131°F/90%RH未満
侵入保護:IP66/耐破壊性 IK10
入力電圧:24V AC
消費電力:90W(ヒーターオン、IRオン)
あるいは、カメラ202は、高解像度で録画することができるHDカメラとして提供され得る。したがって、カメラ202は、参照により本明細書に組み込まれる仕様および操作マニュアルを備えたモデル番号XNP-6321HのハンファHD 1080p PTZカメラを含むことができる。ハンファ製カメラ、モデルXNP-6321Hとしてのカメラ202は、次の仕様を含むHD 1080p PTZカメラである。
イメージングデバイス:1/2.8”2.4M CMOS
解像度:1,981(H)x1,288(V)、2.55M
焦点距離(ズーム比):4.44~142.6mm(光学32倍)
図角H/V:61.8度(ワイド)~2.19度(テレ)/36.2度(ワイド)~1.24度(テレ)
オートフォーカス&オートアイリス
IR照明
150デシベルのダイナミックレンジ
パン範囲/速度:360度/700度/秒
チルト範囲/速度:210度/700度/秒
デジタルズーム:32倍
アプリケーションプログラミングインターフェース:ONVIFプロファイルS/G
ビデオ圧縮フォーマット:H.265/H.264、MJPEG
最大フレームレートH.265/H.264:すべての解像度で60fps
オーディオ入力選択可能(マイク入力/ライン入力)
イーサネット:10/100 BASE-T
動作温度/湿度:-31°F~+131°F/90%RH未満
侵入保護:IP66/耐破壊性 IK10
入力電圧:24V ACまたはPOE+
消費電力:最大24W(ヒーターオフ)、最大65W(ヒーターオン、24V AC)
したがって、カメラ202は、様々な異なるタイプのカメラとして実現することができ、本明細書に記載の様々なビデオ処理システムおよび方法とともに展開および使用することができる。
ここで図3Aを参照すると、AI対応ビデオ処理システムを示すブロック図が提供される。システム300として一般的に示されている組み込みAIビデオ処理システムは、プロセッサ302およびメモリ303を含む。システム300には、ローカルビデオカメラを処理および制御するためのNVIDIA JetsonTX2システムを含むことができる。プロセッサ302には、デュアルコアNVIDIA Denver 2 64ビットCPUとクアッドコアARM(登録商標)Cortex(登録商標)-A57MPCoreを含めることができ、メモリ303には8GB 128ビットLPDDR4メモリを含めることができ、32GB eMMCのストレージを含めることもできる。システム300は、256コアNVIDIA CUDAを備えた256コアNVIDIA Pascal(商標)GPUアーキテクチャを含むことができるAI対応グラフィックプロセッサ316を含むこともできる。システム300のオペレーティングソフトウェアには、Linuxオペレーティングシステム、アプリケーションプログラミング言語としてのPython、およびOpenCV画像処理ライブラリを含めることができる。システム300はさらに、アマゾンウェブサービスグリーングラスMLソフトウェアなどの機械学習の展開実行ソフトウェアを含むAIロジックモジュール318を含む。
システム300はさらに、プロセッサ302と通信する遠隔カメラインターフェース304を含む。遠隔カメラインターフェース304は、図1に示されるネットワークスイッチ110、またはカメラプロセッサ302を接続する他のインターフェース/通信メカニズムに接続され得る。システム300は、電力モジュール306をさらに含み、プロセッサ302およびシステム300の他のコンポーネントに電力を供給するように構成され得る。電力モジュール306は、電池の形態であり得るか、または電力網または既存の電源などの別の電源へのハードワイヤード接続であり得る。遠隔カメラインターフェース304は、遠隔カメラインターフェース304に接続された遠隔カメラに電力を供給するために使用することができる。一態様によれば、遠隔カメラインターフェース304はイーサネットインターフェースであり得、各カメラ(図示せず)は、PoE接続を使用して電力を供給され、制御され得る。光ファイバー、同軸ケーブル、ツイストペア、シングルストランド、またはそれらの様々な組み合わせを含むがこれらに限定されない他の形態の接続も使用することができる。
システム300は、プロセッサ302に接続された通信モジュール308と、データを送信するように構成されたセルラーモデム310などのモデムとをさらに含み得る。モデム310は、図1のモデム114、または必要に応じて他の形態のモデムであり得る。モデム310は、インターネットまたはクラウドベースのサービスを接続することができる有線または無線ネットワークと通信することができる。通信モジュール308を使用して、モデム310を介して通信するための位置またはアドレスを決定することができ、さらに、モデム310を介してプロセッサ302のデータまたは命令を受信することができる。
さらに、一態様によれば、システム300は、AI対応デジタルビデオレコーダ312およびローカルビデオ処理エンジン314をさらに含み得、これらのそれぞれは、プロセッサ302に接続され得、プロセッサ302から制御信号を受信し得る。ビデオレコーダ312および処理エンジン314は、組み合わせて生ビデオを受信し、生ビデオを保存することができ、次に、生ビデオを自動的に処理して、特定のオブジェクトを検出し、本明細書で説明する特定のタイプのビデオを作成することができる。
使用中、システム300は、ビデオをキャプチャおよび録画するために、遠隔カメラインターフェース304を使用してカメラを設定および制御することができる。AI対応グラフィックプロセッサ316は、録画されたビデオに対してオブジェクト検出を実行して、所定の活動を識別することができる。所定の活動が有効である場合、システム300は、検出されたユーザについてビデオをセグメントに処理することができる。システム300は、必要に応じてセグメントを編集し、検出されたユーザについてセグメントを一意にビデオファイルに結合することができる。次に、ビデオファイルは、通信モジュール308およびセルモデム310を使用してインターネットまたはクラウドにアップロードされ得る。このようにして、AI機能を使用したローカルビデオ処理を特定の場所に展開して、ビデオファイルの全体的なファイルサイズを縮小し、ユーザ固有のコンテンツを生成し、ビデオファイルをインターネットまたはクラウドに効率的に通信して迅速にアクセスできる。
さらなる態様によれば、システム300は、設置された遠隔カメラの地理的位置の近くに局所的にAIビデオ処理を提供して、所望の活動の自動監視および処理を提供することができる。したがって、自動検出およびビデオ録画/処理は、システム300によって実行され得、処理されたビデオは、エンドユーザに送信され得る。処理されたビデオは、受信され、中間サーバまたは他の通信デバイスを介してエンドユーザに転送され得る。
しかしながら、別の態様では、システム300は、以下でさらに説明するように、遠隔AIビデオ処理を使用することができる。ビデオを遠隔で処理する場合でも、ビデオは1つ以上の遠隔カメラによってローカルに録画され得る。次に、録画されたビデオは、システム300によって遠隔処理システム(明示的に図示されていない)に通信され、以下に説明する遠隔ビデオ処理システム400などの遠隔ビデオ処理システムを使用して、追加のグラフィックを自動的に編集および組み込むことができる。
図3Bは、本開示の一態様によるローカルビデオ処理の方法のフロー図である。この方法は、システム、デバイス、プロセッサ、モジュール、ソフトウェア、ファームウェア、または他の様々な形態の処理のうちの1つ以上によって、図3Bに記載された方法を実行するために使用され得る。さらに、図3Bは、図1~図3A、図4~図8の様々な部分内のように実現され得、いくつかの態様では、そこに記載された様々な機能、使用、および特徴を含むように変更され得る。
この方法は、一般にステップ301で始まり、所定の活動が実行される様々な地理的位置で使用することができる。一例として、この方法は、以下に説明するようにゴルフコースでのローカル処理およびビデオキャプチャに使用することができるが、図3Bの方法に関連して他の活動を説明することができる。存在が検出されると、方法はステップ303に進む。例えば、ゴルファーは、ゴルフホールをプレーすることに関連してティーボックスに近づくときに検出され得る。検出は、GPSまたはRFID、Wi-Fi、ブルートゥース、モバイルデバイス内の位置情報サービス、または動き検出、RFID検出、ブルートゥース検出、Wi-Fi検出、レーダー検知、温度もしくは熱感知、もしくはその他の様々な感知技術を含む、存在を検知するための他のセンサなど、別の送信機からの信号の受信を使用することを含むがこれらに限定されない、様々な方法で行うことができる。個々のゴルファーの存在を検出することに加えて、1人以上のゴルファーの存在を示すために、同様の送信機がゴルフカートなどに設けられてもよい。他の検出メカニズムも使用できることが理解されよう。
存在を感知すると、方法は、ステップ305に進み、ユーザが有効であるかどうかを決定する。例えば、検出された存在は、ゴルフコースの鹿であり得るか、ジョギングをする人や歩行者であり得る。したがって、様々なタイプの技術を使用して、ステップ305でゴルファーを検出することができる。例えば、一形態では、ビデオを録画するためのアプリケーションを有するモバイルデバイスのゴルファー位置情報サービスを検出することができる。例えば、ジオフェンスをティーボックスに配置し、有効なゴルファーがティーボックスに近づくと、ジオフェンスがトリガーされてユーザを検証する。ゴルファーの顔認識を含み、その場所でカメラによって検出されるAIロジックなど、他の形式の検証も使用できる。別の形式では、AIロジックには、ゴルファーに固有のオブジェクトを識別できるオブジェクト認識ニューラルネットワークを含めることができる。例えば、AIロジックは、ティーボックス上の人とゴルフクラブを識別できる。本明細書に記載されているように、他の形態のオブジェクト認識を使用して、ゴルファーを識別することができる。
ユーザが有効でない場合、方法は、別の存在が検出されるまでステップ303に進む。ステップ305で、有効なユーザが検出された場合、方法は、ステップ307に進み、活動の録画を開始する。例えば、ゴルフホールまたは他の活動場所に複数のカメラが存在してもよく、活動を録画するために使用され得る。そのように、有効なユーザが検出されると、地理的位置に関連付けられた遠隔カメラはイベントの録画を開始することができる。一形態では、録画は個人によっても開始することができる。例えば、ゴルファーが、地理的位置にあるカメラに関連付けられたアプリを備えたモバイルデバイスを持っていてもよい。そのため、ゴルファーはグリーンに足を踏み入れ、ゴルフ活動の録画を開始することができる。このようにして、録画は、自動的に、または録画を開始するユーザを用いて行うことができる。
次に、この方法は、ステップ309でユーザを識別することに進む。例えば、ステップ309で、ゴルファーが検出された可能性があり、ブロック309で、録画中にユーザを識別することができる。例えば、この方法では画像処理を使用してユーザが着ている服を識別でき、他の形式では、AIロジックを使用して顔認識を使用して特定のユーザを識別できる。ユーザが識別されると、方法は、ステップ311に進み、活動を識別することができる。例えば、ゴルフクラブを持っているゴルファーは、ビデオセグメントの1つ以上のフレーム内の活動を識別するために使用できる。いくつかの形態では、図3Bの方法で提供されるサービスに加入していない、ゴルフクラブを持っている他の個人が、ティーボックスに現れることがある。そのため、無効なユーザがゴルフクラブをスイングしている場合、この方法は活動が有効であるとは見なさず、ステップ303に進む。他の形態では、保守作業員がティーボックスに存在し、ティーボックスで作業をしている場合がある。この方法はその活動を識別し、ステップ313で、有効な活動を有するAIロジックを使用して、活動を無効であるとして却下する。次に、この方法は、別の存在が検出されるまでステップ303に進むであろう。ステップ313で有効な活動が検出された場合、方法はステップ315に進み、ビデオを録画し続ける。
録画を継続する際、方法は、ステップ317でチェックして、ユーザが地理的位置にまだ存在しているかどうかを決定する。例えば、ユーザはゴルファーであり得、ホールを完了する前にボールを複数回打つことができる。そのため、ユーザがグリーンなどの地理的位置の所定の領域を離れると、録画は終了する。ユーザが退出または離れていない場合、遠隔カメラは録画を継続する。ステップ317で、ユーザがもはや存在しないか、または検出されない場合、方法は、ステップ319に進み、ユーザについてビデオが処理される。
ブロック319において、ビデオのローカル処理は、本明細書で説明されるように、様々なAIロジック処理、画像処理、フォーマットおよび圧縮技術を含むことができる。一態様によれば、ビデオは、識別されたユーザのみを含む部分にセグメント化することができる。セグメント化は、AIロジックまたは画像処理を使用して発生し、セグメント内のユーザを検証できる。セグメントが作成されると、ボールトレースや所定のグラフィックなどの追加情報をビデオセグメントに追加できる。次に、ビデオセグメントをマージして、エンドユーザが使用できる形式にフォーマットすることができる。別の態様によれば、最終的なビデオは、ローカルビデオプロセッサから通信する前に圧縮され得る。他の形式では、ローカル処理を実行する方法の要望に応じて、処理の様々な部分を追加または削除できる。
ビデオを処理すると、方法はステップ321に進み、別のユーザが存在するかどうかを検出する。例えば、ビデオは、スノーボーダーが複数の友人と一緒にトレイルを下りていく様子を映している場合がある。次に、この方法は、ビデオ内の別の有効なユーザを検出し、第2のスノーボーダーが存在するビデオのセグメントを抽出する。追加のユーザについてセグメントを抽出すると、方法は、ステップ323に進み、第2のユーザについてビデオを処理することができる。例えば、複数のスノーボーダーについて処理されたビデオには、第2のスノーボーダーが第1のスノーボーダーに対して下降した場所の詳細を示すトレースまたは色付きの線が含まれてもよい。このようにして、同じビデオを使用して複数のユーザを検出することができ、そのユーザに対して固有のビデオをセグメント化することができる。第2のユーザとしてのみ示されているが、ビデオを処理し、必要に応じてまたは所望に応じて、複数の追加ユーザを検出できることを理解する必要がある。第2のユーザビデオを処理すると、方法は、ステップ325に進み、フォーマットされたビデオを通信し、ステップ327に進み、そこで方法が終了する。
ここで図4Aを参照すると、本開示の一態様による、遠隔で使用するためのAI対応ビデオ処理システムを示すブロック図が提供される。遠隔ビデオ処理システムおよび管理システムまたは遠隔処理システム400として一般的に示されるAI対応ビデオ処理システムは、クラウドストレージおよびサービス404に接続されたネットワークプロセッサ402を含み、クラウドストレージおよびサービス404は遠隔カメラ(明示的に図示せず)からビデオを通信することができる遠隔ビデオインターフェース406に接続されている。ネットワークプロセッサ402は、遠隔ビデオインターフェース406から受信したビデオを管理および処理するための様々なモジュールにアクセスすることができる。例えば、ネットワークプロセッサは、遠隔ビデオマネージャ416、コンテンツマネージャ418、プロファイルマネージャ420、フォーマットマネージャ422、および出力マネージャ424にアクセスすることができる。列挙された各マネージャは、ネットワークプロセッサ402によって必要に応じてアクセスされ得るソフトウェアモジュールまたはプログラムインターフェースとして提供され得る。
ネットワークプロセッサ402は、アマゾンクラウドサービス、IBMクラウドサービス、マイクロソフトクラウドサービス、またはそれらの様々な組み合わせを使用して展開することができるクラウドサービスとして実現することもできる。クラウドストレージおよびサービス404および配信マネージャ/通信408はまた、異なるストレージ機能およびアクセス可能性を有する様々なタイプのクラウドストレージサービスおよび配信サービスを含むことができる。例えば、一部のコンテンツはすぐにアクセスできるように保存されてもよく、他の形式のコンテンツは、ディープストレージ技術を使用して遅延アクセス用に保存できる。これにより、ユーザごとに全体的なコストを削減しながら、ビデオなどのコンテンツに柔軟にアクセスできるようになる。例えば、ユーザが長期ストレージの料金を支払うことを選択した場合、画像処理システムは、レートごとにストレージのタイプを変更できる。したがって、クラウドストレージおよびサービス404は、様々な異なるタイプのオンラインサービスを含むことができ、一態様によれば、ビデオをクラウドに格納するためのアマゾンウェブサービス(AWS)Glacierを含むことができる。さらに、コンテンツマネージャ418および配信マネージャ/通信408は、エンドユーザにビデオを配信するコンテンツ配信サービスとしてAWS Cloudfrontを利用できる。
遠隔システム400はまた、AI対応グラフィック処理エンジンまたはGPU410を含むことができる。GPU410は、様々なタイプのAI対応プロセッサを含むことができ、一形態では、AIロジック412の機械学習(ML)を生成、開発、トレーニングするためのAI処理が可能な1つ以上のNVIDIA V100 Tensor Core GPUを含み、AIロジック412は、本明細書に記載のシステム400または他のAI対応プロセッサによって作成、変更、配布、使用することができる。一態様によれば、GPU410および/またはネットワークプロセッサはまた、追加のソフトウェアおよびサービスを利用して、AIロジック412を作成することができる。例えば、GPU410は、AWS SageMakerを使用して、MLモデルの構築、トレーニング、チューニング、評価を行うことができる。Sagemakerは多くのML開発フレームワークをサポートしており、一態様によれば、Keras/TensorFlowを使用する場合がある。さらに、システム300は、Sagemaker NEOを使用して、図1~図3、図6に示すように、遠隔プロセッサに展開するためのAIロジック412モデルを準備できる。
一態様によれば、GPU410は、ネットワークプロセッサ402を使用して処理されているビデオに追加することができるグラフィックアセット414にアクセスすることができる。GPU410はまた、AIロジック412にアクセスすることができ、AIロジック412は、様々な格納されたAI対応ロジックを含むことができ、これらのAI対応ロジックは、本明細書で提供される遠隔処理システム400およびローカル処理システム300、カメラ200、または他の様々な処理システムおよびデバイスで自律的にビデオを処理する様々な態様を自動化するように設計される。例えば、AIロジック412は、ゴルフ活動、フットボール活動、サッカー活動、野球活動、バスケットボール活動、スキー活動、スノーボード活動、サイクリング活動、釣り活動、ボート活動、一般的なスポーツ活動、または地理的位置で発生することが事前に決定されている他の様々な種類の非スポーツ活動など、特定の活動中に作成された様々なビデオを使用して作成できる。AIロジック412は、ビデオフレーム内で以前に録画された画像データを処理でき、活動に重要なまたは活動に関連するビデオ内のオブジェクトにタグを付けるために使用できる。例えば、AIロジック412は、サッカー場内で使用されているサッカーボールにタグを付けるために使用できるが、サッカー場の上を飛んでいる鳥にタグを付けるために使用することはできない。さらに、サッカー選手の番号と名前は、特定の選手が存在し、それに応じて処理される可能性のあるビデオを識別するのに役立つ方法で処理およびタグ付けすることができる。特定の活動用に作成されたAIロジック412は、本明細書で説明するように、ローカルビデオ処理システムまたはカメラと共有できる。他の形式では、AIロジック412は、必要に応じて使用または配布するために、遠隔ビデオ処理システム400にローカルに格納することができる。
さらなる態様によれば、システム400を使用して、遠隔ビデオインターフェース406から受信した処理されたビデオを投稿することができる。例えば、ビデオは、追加のアセット414を追加するために変更または編集され得るか、またはフォーマットマネージャ422によって提供される特定のフォーマットを使用してフォーマットされ得る。そのため、システム400は、AWS EC2ウェブサーバでビデオを編集するためのPythonとOpenCVの使用を含む、後処理と編集のための追加のソフトウェアを採用できる。システム400はまた、AWS Elemental MediaConvertを利用して、配信マネージャ/通信408を使用して配信する前にビデオを変換またはフォーマットすることができる。
ここで図4Bを参照すると、本開示の一態様による、AI対応遠隔ビデオ処理を使用してビデオを処理するための方法のフロー図が示されている。この方法は、図4Bに記載された方法を実行するために、システム、デバイス、プロセッサ、モジュール、ソフトウェア、ファームウェア、または他の様々な形態の処理のうちの1つ以上によって使用され得る。さらに、図4Bは、図1~図3Bおよび図5~図8の様々な部分内のように実現され得、いくつかの態様では、そこに記載された様々な機能、使用、および特徴を含むように変更され得る。
この方法は一般にステップ401で開始される。ステップ403で、ビデオが遠隔ビデオソースから受信されると、方法はステップ405に進み、ビデオ内の活動を識別する。ここで説明する様々な活動は、ニューラルネットワークとして機械学習を使用して作成された様々なAIロジック内に保存できる。ビデオの一部をAIロジックと比較することができ、活動が検出されない場合、方法はブロック407に進み、ビデオを処理して新しい活動を識別することができる。一部の形式では、処理には、活動に固有であり、1つ以上の活動について機械学習が使用できるビデオ内のオブジェクトのタグ付けまたは識別を含めることができる。ビデオを処理すると、方法はブロック409に進み、ニューラルネットワーク内に新しい活動を作成する必要があるかどうかを決定する。例えば、本明細書に記載されているような様々な活動を識別できるが、一部の形式では、活動カテゴリ内のサブ活動を作成することもできる。この活動の例には、ゴルフ活動の一形態において、ボールをスライスまたはフックするゴルファー、クラブを振るゴルファー、別のゴルファーとハイファイブをするゴルファー、ホールインワンをするゴルファー、または作成される可能性のある他の様々な活動またはサブ活動が含まれ得る。活動を作成する必要がある場合、方法はステップ411に進み、ビデオの画像フレーム内で使用および存在することができるオブジェクトまたは一連のオブジェクトを識別する。この方法は、ステップ423に進み、識別されたオブジェクトにラベルを付け、次に、ブロック425に進み、オブジェクトまたはフレームをその活動のAIロジックに追加することができる。一部の形式では、活動が存在する場合、オブジェクトを活動のニューラルネットワークに追加することができ、他の形式では、活動が存在せず、ニューラルネットワークが利用できない場合、方法は、AIロジック内で使用される新しいニューラルネットワークおよび機械学習インスタンスを生成できる。次に、この方法は、ステップ417に進み、AIロジックを処理し、ステップ429に進んで、活動が有効であり、AIロジック内でリリースできるかどうかを決定する。例えば、ニューラルネットワークの精度には、識別され、その活動の機械学習インスタンスに提供されるオブジェクトの数への依存関係を含めることができる。インスタンスが1つしかない場合、AIロジックは失敗する可能性がある。機械学習インスタンス内で追加のオブジェクトが識別されて使用されると、AIロジックが活動を識別する可能性は統計的に高くなる。その活動のための追加のオブジェクトが必要な場合、方法は、追加のビデオが受信されるまでステップ401に進む。ステップ419で活動が有効になった場合、機械学習インスタンスは、ステップ421でその活動のAIロジックを有効にし、ステップ423に進んで、必要に応じてAIロジックを様々な場所に配布することができる。次に、この方法はステップ425に進み、終了する。
ステップ405で活動が識別された場合、方法はステップ427に進み、ビデオが出力または保存するのに有効であるかどうかを決定する。例えば、ローカルビデオプロセッサが、配信するのに十分なビデオを処理した可能性がある。したがって、システム400などの遠隔ビデオプロセッサは、ビデオとともに提供されるデータを使用して、ビデオが追加の処理を必要とするかどうかを検出することができる。ビデオが出力に有効である場合、方法は、ステップ429に進み、フォーマットマネージャを使用してビデオをフォーマットすることができる。例えば、ビデオの投稿に関連して必要な特定のフォーマット、ファイルサイズ、およびその他の仕様を有するモバイルデバイスまたはアプリケーションに出力するために、ビデオをフォーマットする必要があり得る。様々な場所やアプリケーションに提供されるビデオには、Facebook、YouTube(登録商標)、Instagram、Snapchat、およびその他のアプリケーションが含まれる。利用されている各アプリは、特定のネットワークに公開するために独自のフォーマットを必要とする場合がある。そのため、フォーマットマネージャは、ビデオの1つ以上の場所を決定し、それに応じてフォーマットすることができる。他の形式では、ビデオを処理して、特定のモニターなどの固定出力デバイスで高解像度または4Kビデオ出力を備えたネットワークロケーションに配信することができる。ビデオを様々な宛先に出力するために、様々なタイプのフォーマットを使用できる。ビデオをフォーマットすると、この方法はステップ431に進み、配信マネージャを使用して、フォーマットされたビデオを配信する。例えば、ビデオは、ビデオを保存するように構成されたクラウドストレージアカウントに配信される単一のインスタンスであり得る。ただし、他の形式では、ビデオが複数の形式にフォーマットされている可能性があるため、配信が必要であり得る複数のビデオが作成される。したがって、ステップ431で、ビデオはそれらの宛先に配信される。次に、この方法はステップ425に進み、終了する。
ステップ427で、ビデオが出力するのに有効でない場合、方法はビデオの処理に進む。例えば、この方法は、ビデオを処理するために使用され得る3つの異なるタイプの処理を含み、特定の順序ではなく、ビデオの処理を説明するための参照としてのみ提供される。ブロック433で、方法は、1つ以上のユーザ処理を実行する必要があるかどうかを決定する。例えば、ローカルビデオプロセッサが、ビデオに録画された特定のユーザについて情報を提供した可能性がある。そのため、その情報を使用して、ビデオ内のユーザを識別することができる。顔認識、ジオフェンス、GPSまたは位置情報サービスの位置識別、グリッド識別、ユーザのモバイルアプリからの手動入力、またはビデオ内の特定のユーザを識別するために使用できるその他の様々なトリガーなど、様々なタイプの識別を使用できる。この方法では、AIロジックを使用して特定のユーザを識別し、そのユーザの特性、詳細、および/またはオブジェクトをビデオとともに提供することもできる。ユーザを識別すると、この方法は、ステップ437に進み、ユーザに関連するビデオのセグメントを抽出する。例えば、識別されるユーザは、特定のジャージ番号と名前を持つフットボール選手であり得る。この方法では、フットボール選手がいるビデオのすべてのセグメントを特定し、他の選手からそれらのセグメントを抽出する。別の形態では、ゴルファーが他のプレーヤーとゴルフコースでホールをプレーしている場合があり、ビデオには、他のゴルファーによって行われた多数の他のショットや活動が含まれている場合がある。そのため、この方法では、ビデオの様々なセグメント内の特定のユーザおよび活動を識別し、特定のユーザを含まないセグメントを除外することができる。このようにして、特定のゴルファーだけのビデオを作成することができる。ビデオセグメントを抽出すると、方法はステップ439に進み、ビデオの終わりに到達したかどうかを決定する。そうでない場合、この方法はステップ437に進み、繰り返される。ビデオが終了した場合、方法はステップ441に進み、新しいユーザについてビデオが処理されるべきかどうかを決定する。例えば、前述のように、複数のゴルファーまたはプレーヤーが、キャプチャされた同じビデオの一部である場合がある。したがって、必要に応じて、ブロック435で新しいユーザを識別することができ、上記のように方法を進めることができる。このようにして、特定のユーザに固有の複数のセグメントを単一のビデオから抽出できるため、処理に必要なビデオのアップロード数を減らすことができる。例えば、フットボール場では、単一のビデオをアップロードでき、この方法は各プレーヤーのビデオ映像を抽出して、各プレーヤー、そのチームメート、コーチなどに提供できる各プレーヤーの一意のビデオセグメントを作成できる。ブロック441で複数のユーザが検出され得るが、この方法では、すべてのユーザのビデオセグメントを抽出することが望まれない場合があり、特定のユーザのセグメントのみを抽出するためにプロファイルおよびコンテンツマネージャからのプロファイルを含むことができる。
ステップ441で、追加のユーザセグメントを抽出すべきではないと方法が決定された場合、方法はステップ443に進むことができる。ステップ443で、この方法は、セグメントがさらなる処理を必要とするかどうかを決定する。例えば、ビデオの単一のセグメントのみが抽出される場合、セグメントを結合するための追加の処理は必要ない場合がある。ステップ443でビデオセグメントが追加の処理を必要とする場合、方法はステップ445に進み、各ユーザのセグメントを単一のビデオに結合する。例えば、セグメントを抽出して、ビデオまたはビデオセグメントの一部として保存することができる。ステップ445で、セグメントを組み合わせて、1人のユーザのための単一のコンポジットビデオを作成することができる。セグメントを結合すると、方法はステップ447に進み、残りの任意のユーザのビデオセグメントを結合して、各ユーザに固有のビデオを作成する。そのため、個々の参加者は、独自の経験について作成されたセグメントを使用して独自のビデオを得ることができる。
必要に応じてビデオを処理すると、この方法はステップ449に進み、ビデオにエフェクトを追加する必要があるかどうかを決定する。例えば、図4のコンテンツマネージャ418または他の自律コンテンツマネージャなどのコンテンツマネージャは、オムニバートンクリークなどのリゾートで特定のゴルフホールをプレーしていたゴルファーのビデオを識別することができる。コンテンツマネージャは、プレー中のゴルフホールのドローンフライオーバーの紹介ビデオを保存している可能性があり、ユーザのビデオセグメントに紹介ビデオを追加し得る。他の形式では、ホールまでの距離を示すアニメーショングラフィックを、ホールの「トップダウン」ビューからティーボックスからグリーンまで描くことができる。他のエフェクトには、活動でのユーザおよび他のプレーヤーのオーディオまたは追加のキャプチャされたビデオの追加も含むことができる。一形態では、ビデオのセグメントの一部を識別またはタグ付けして、エフェクト作成の一部としてボールの動きにトレーサーを追加することができる。他の例では、AIロジックを使用して、ゴルファーが望まない場所のグリーンの周りにボールが配置されていることを検出できる。その場合、ボールが森、サンドトラップ、ウォーターハザードなどに入るときに、ビデオに増強効果を追加することができる。増強効果は、アニメーションビデオオーバーレイを含むことができる。例えば、ゴルフボールがウォーターハザードに入るときにネス湖の怪物がゴルフボールを盗むアニメーションをビデオセグメントに追加できる。他のアニメーションも必要に応じて、または必要に応じて使用および追加できる。このようにして、ユーザのビデオに拡張現実を追加することができる。さらなる態様によれば、ビデオは、ゴルファーによって行われたショットにボールトレースエフェクトを追加することができる。例えば、この方法を使用して、ビデオのフレーム内のゴルフボールを識別し、各フレームに色付きのトレースラインを追加して、ボールの経路を示すことができる。グリーンに入ってくるボールのビデオセグメントがビデオに含まれている場合、ボールがグリーンに着地したときにビデオにトレースを追加できる。場合によっては、AIロジックまたは画像処理を使用して、フレーム内のボールの位置を特定することができ、場合によっては、ボールがグリーン上に配置された後、ビデオを逆行させることができる。例えば、ユーザがグリーン上でゴルフボールに近づくと、AIロジックまたは画像処理により、ユーザがボールを拾ったりボールをアドレスしたりする前に、ユーザを識別してエフェクトやその他のコンテンツを追加できる。このように、ビデオデータの逆行処理を通じて、ボールを前のフレームまたはセグメントにトレースバックでき、それに応じてその特定のユーザ向けにビデオを変更できる。別の形式では、エフェクトには、ビデオに追加されたオーディオエフェクト、音楽、またはサウンドを含めることができる。例えば、音楽はビデオのすべてまたは一部に追加でき、様々なオーディオレベルを含むことができる。ビデオで起こっていることに基づいて、ユニークなサウンドをビデオに追加することもできる。例えば、ユーザがボールを森に打ち込み、「チェーンソー」音、手拍子音、笑い音、拍手音、またはその他の効果音をビデオセグメントに追加することができる。別の形式では、AIロジックまたは画像処理を使用して、ゴルフボールがカップに入るときを識別し、「カップにボールが落ちる」効果音を追加できる。エフェクトは、AIロジックによって識別される活動またはサブ活動に基づいて事前に決定できる。このようにして、この方法は、ビデオセグメント内のラベルにアクセスし、ビデオの部分またはセグメントに所望のエフェクトを自動的に追加することができる。
必要に応じてエフェクトを追加した後、この方法はステップ453に進み、ビデオにグラフィックを追加する必要があるかどうかを決定する。グラフィックを追加する必要がない場合、方法はステップ429に進み、終了する。追加のグラフィックを追加する場合、方法はステップ455に進み、図4のコンテンツマネージャ418を使用して、または必要に応じてもしくは所望に応じて他のアセットもしくはコンテンツリソースを使用して、アセット414などのアセットリソースから追加するコンテンツまたはグラフィックを取得する。アセットまたはグラフィックには、ビデオ画像またはビデオセグメントに追加する1つ以上のグラフィックを含めることができる。例えば、グラフィックは、ゴルファーの名前、日付、ゴルフコース、ホール番号、ホールまでの距離、ゴルファーが使用するクラブ、現在の気象条件、ボールの最大高度もしくはボールが打たれた後の最大高度、ボールが打たれた後のボールの速度、飛行中のボールの曲率、ボールが移動した最大距離、現在のストロークまたは行われたストローク数、ホールのパー、現在プレーしている他のプレーヤー情報、または必要に応じてもしくは所望に応じて、他のプレーヤー情報もしくはコース情報などの情報を含むことができる。別の態様によれば、ゴルフコースは、ゴルフコースの名前、ゴルフコースのロゴ、年数または設立時期、現在のプロの名前、所有者の名前、またはゴルフコースによってビデオセグメントへの追加が望まれる可能性のある他の様々なタイプのマーケティングアセットまたはグラフィックなど、ビデオのセグメントに追加されるグラフィックアセットを含み得る。ゴルフ業界向けのアセットの追加として説明されているが、必要に応じて、または所望に応じて、他のグラフィックアセットをビデオに追加できる。グラフィックアセットを取得すると、この方法はステップ457に進み、セグメントを変更して、アセットまたはグラフィックを特定のビデオ画像またはセグメントに追加する。次に、方法はステップ429に進み、そこで方法は終了する。
図4Bの方法は、必要に応じて変更して、必要に応じて様々な部分を組み合わせるかまたは除去することができる。例えば、ステップ405で活動またはサブ活動を識別すると、この方法を使用してビデオをセグメント化し、さらにビデオセグメントを処理してサブ活動を識別することができる。セグメントには、そのサブ活動があるものとしてラベルを付けることができ、ラベルはさらに、セグメントの処理、エフェクトの追加、グラフィックの追加、またはビデオセグメントの他の様々なタイプの処理のために使用できる。このように、AIロジックを使用した自動化されたプロセスでは、個人がビデオを手動で変更および編集する必要なしに、ビデオを効率的に編集および処理できる。
したがって、システム100は、最終的に、ユーザアプリ500を介するなどして、後でユーザに提供するために、活動のビデオをキャプチャ、処理、および保存することができる。
図5を参照すると、ユーザアプリ500および/またはユーザ電話501の概略図が示され、ユーザによる視覚化のためにアプリ500によって提示される様々な画面およびサブ画面が示されている。アプリは、ユーザのビデオ、ユーザの場所、ユーザの友達、ユーザのコーチング、およびその他にそれぞれ対応する、複数のソフトボタン514、516、518、520、および522を含み得る。ボタン514(ビデオの場合は「V」)を選択することにより、イベントタイプによって分類されたビデオのリストを表示することができる。図5に示すように、カテゴリには、ゴルフコース502、スキー504、フットボール練習506、釣り508、およびサッカー510が含まれてもよい。
ボタン516を選択することにより、複数の場所カテゴリを表示することができる。図5の例に示されるように、位置は、それぞれ、第1の位置524、第2の位置526、第3の位置528、第4の位置530、および第5の位置532を含み得る。図示されている場所には、例えば、ゴルフコース、スキーリゾート、海の場所、および運動場が含まれる。
ボタン518を選択することにより、アプリ上のユーザの友人のリストが表示され得、リストは第1の友人カテゴリ534、第2の友人カテゴリ536、第3の友人カテゴリ538、第4の友人カテゴリ540、および第5の友人カテゴリ542を含む。ボタン520を選択することにより、第1のカテゴリ544、第2のカテゴリ546、第3のカテゴリ548、および第4のカテゴリ550を含むカテゴリに従って、コーチングコメントがリストされ得る。
追加のボタンおよび対応するサブ画面を他のグループに使用できることが理解されよう。各カテゴリ内で、アプリはカテゴリ内のビデオの数量を表示してもよい。数量は、ビデオの総数、未視聴のビデオの総数、またはその他の測定値を表してもよい。ユーザについてビデオを編成および表示することに加えて、アプリ500はまた、電話501のソフトウェア/ハードウェアを介して、システム100の他の態様と、直接的または間接的に通信することができる。
ここで図6を参照すると、本開示の一態様による、ゴルフコースに配置されたAI対応ビデオ録画システムの一例を示すブロック図が提供されている。システム600として一般的に示されているAI対応ビデオ録画システムは、ティーボックス602およびグリーン604を有するゴルフホールでのゴルフ活動を検出、録画、および処理するために使用される。システム600は、ティーボックス602に隣接して配置され得るカメラ606、608、610を含み、カメラ606はティーボックス602の後ろに配置され、カメラ608および610はティーボックス602の反対側に配置される。カメラ614、616、618は、グリーン604に隣接して配置され得、カメラ616は、グリーン604の後ろに(そしてティーボックス602に面して)、カメラ614および618は、グリーン604の反対側に配置され得る。各カメラはカメラインターフェース624と通信しており、カメラインターフェースは、図1のネットワークスイッチ110、図3の遠隔カメラインターフェース304、または遠隔カメラをプロセッサ611に接続することができる他のインターフェースを含み得る。インターフェース624は、プロセッサ611およびAIビデオ処理エンジン622に接続されているか、またはそれらと統合されている。処理エンジン622は、上記の処理システム112またはシステム300であり得、モデム310またはモデム114を含み得る。
処理エンジン622は、電力を供給し得るゴルフコース灌漑電力インターフェース620に接続され得るが、他の形態の電力が電力プロセッサ611および処理エンジン622に供給されてもよい。処理エンジン622は、遠隔ゴルフコースビデオ処理管理システム628(システム400であり得る)と通信することができる。ビデオ処理管理システム628は、モバイルアプリ630と通信することができ、モバイルアプリ630は、上記のモバイルアプリ500であり得る。モバイルアプリ630は、モバイルデバイス631にインストールされ得る。モバイルデバイス631は、携帯電話、タブレット、スマートウォッチ、ゴルフカート、プルアート、プッシュカート、動力付き「フォローミー」カート、または他の任意のモバイルデバイスであり得る。モバイルアプリ630はまた、従来のコンピュータ、インターネットブラウザなどの他のデバイスにインストール/具現化/アクセス可能であり得ることが理解されよう。モバイルアプリ630はまた、以下に説明されるような他の特徴および機能を含み得る。様々な上記のシステムは、全体的または部分的にシステム600に統合され得、カメラによってキャプチャされたビデオのローカルおよび/または遠隔処理を可能にすることが理解されよう。そのような処理は、システム600によって受信され、かつビデオまたは画像処理および/または人工知能を使用して決定されたデータに基づいて、自動的に達成され得る。さらに、システム600の様々な態様および使用は、システム600またはシステム600内の様々なコンポーネントによって使用可能な方法およびソフトウェアとして実現され得る。そのため、図6の説明またはその要素は、方法として展開できる。
カメラの異なる図および態様を参照して様々なカメラを上記で説明してきた。説明の目的で、上記の各カメラは、一般に1つ以上のカメラ601と呼ばれることがあり、これらは図6に一般的に示されている。カメラ601への言及は、カメラ102~108、カメラ202、カメラ606~618、またはこの説明における他のカメラ参照も参照し得ることが理解されよう。
初期設定中に、カメラ601を利用して、ホール/ゴルフコースの3Dスキャンを録画または実行することができ、その結果、コースの異なる態様が、プロセッサ611での画像処理を介して決定され得る。例えば、プロセッサ611は、ウォーターハザードまたはサンドトラップ/バンカーの位置および形状、ならびに樹木の位置、草の異なる刈り取り、構造物などを検出するように構成され得る。3Dスキャンの結果は、特定のホールについてプロセッサ611に記憶され得、ボール飛行の後の処理のための参照として使用され得る。
初期設定の一部として、カメラ601の高さを決定し、プロセッサ611に入力することができる。この情報は、カメラ601のGPSまたは位置情報サービスの位置情報から容易に取得されない可能性がある。カメラ601の高さは、手動で入力することができ、またはレーザーなどの他の測定方法を利用する他のセンサを使用して検出することができる。GPS座標または他の測定方法のいずれかによって、カメラ601間の距離も測定され得る。
さらに、カメラ601のそれぞれについて決定された位置およびホールの3Dスキャンを用いて、設定は、ジオフェンス636またはホールに割り当てられた他の所定の境界を確立することを含み得る。ジオフェンス636は、境界ボックスまたはホールを取り囲む複雑な曲率の形をとることができ、カメラ601の確立されたGPS座標を参照して作成することができる。ジオフェンス636は、ゴルファーの位置がジオフェンス636の境界の内側にあるか境界の外側にあるかを検出することによって、ゴルファーがいつホールに入ったかを検出するために利用され得る。
ゴルファーの検出は、検出または送信されたゴルファーの位置に基づくか、カメラ601による検出を介して、または画像処理ソフトウェアと組み合わせたセンサなどの他の検出方法を介して行うことができる。別の態様によれば、ゴルファーの検出は、GPSまたは位置情報サービスまたはRFID、Wi-Fi、ブルートゥースなどの別の送信機からの信号の受信に基づくことができ、モバイルデバイス631または他の送信デバイスを介して送信することができる。個々のゴルファーの存在を検出することに加えて、1人以上のゴルファーの存在を示すために、同様の送信機がゴルフカートなどに設けられてもよい。上記のように、モバイルデバイス631は、ゴルファーに関連付けられた電話であり得るか、またはゴルフカートなどの他のデバイスであり得る。他の検出メカニズムも使用できることが理解されよう。
ホールの3Dスキャンに加えて、初期設定には、他のマーキング方法を介してコース上の様々なオブジェクトの正確な位置を特定することが含まれ得る。一態様では、設置者は、特定のオブジェクトの場所に移動し、そのオブジェクトを特定のGPSまたは位置情報サービスの場所でマークし、それによってそのオブジェクトの追加の参照点を提供することができる。これを繰り返して、コース周辺の様々なオブジェクトにマークを付けることができる。例えば、図6は、グリーン604に隣接するハザードを示している。
したがって、システム600は、カメラ601および周囲のオブジェクトに対応する位置情報を受信することができる。この位置情報を受信することに応答して、システム600は、ジオフェンス636を定義することができる。ジオフェンス636の定義に従って、システム600は、ゴルファーがジオフェンス636内にいつ存在するか、およびカメラ601に対するゴルファーの位置を自動的に検出および/または決定することができる。
システム600は、位置グリッド650をさらに定義することができる。図6に部分的に示されている位置グリッド650は、ジオフェンス636内の領域に限定され得るか、またはジオフェンス636を超えて拡張され得る。好ましくは、ジオフェンス636は、ホール/コースをプレーしている間にゴルフボールおよびゴルファーが存在する可能性が高い領域のかなりの部分を包含するのに十分な大きさの空間であると定義される。もちろん、特にレクリエーションゴルファーの場合、ゴルフボールのボール飛行は予測不可能であり、ゴルフボールまたはボールを打ったゴルファーは、ホール/コースをプレーしている間、最終的にジオフェンス636の外を移動する可能性があることが理解されよう。
グリッド650は、ホール全体または実質的にホール全体にわたって繰り返される3’×3’ボックスなどの複数のグリッドボックスによって定義することができる。各グリッドボックスは、カメラ601に対して固定された位置を有し、グリッドボックスを利用して、ホールがプレーされている間のボールまたはゴルファーの特定の位置に関する情報をプロセッサ611に提供することができる。特定のグリッドボックスを基準としたボールまたはゴルファーの位置は、プロセッサ611による画像処理中に使用されて、特別に調整されたビデオをゴルファーに提供することができる。
したがって、カメラ601の位置情報および環境オブジェクトの位置情報を受信することに応答して、システム600は、位置グリッド650を自動的に定義する。位置グリッド650の定義に従って、システム600は、位置グリッド650内のゴルファーの位置を自動的に検出することができる。
システム600は、1つ以上のモバイルデバイス631を含み得、モバイルデバイスは、アプリケーションおよび関連するメモリ/プロセッサを含み得、したがって、モバイルコンピューティングデバイスとも呼ばれ得る。説明の目的で、モバイルコンピューティングデバイス631をモバイルデバイス631と呼ぶ。モバイルデバイス631は、ゴルファーに位置および検出機能を提供するものとして上記で説明されてきた。しかしながら、モバイルデバイス631は、他の通信および制御機能も提供し得る。モバイルデバイス631は、プロセッサ611と通信して、ゴルファーに関する様々な情報をプロセッサ611に提供し、プロセッサ611がゴルファーおよびゴルフショットを適切に監視および録画することを可能にするように構成されている。モバイルデバイス631は、GPSまたは位置情報サービス機能を含み得、それにより、モバイルデバイス631およびモバイルデバイス631を所有しているゴルファーの位置を示す。モバイルデバイス631はまた、クラウドまたは遠隔ベースのシステムと通信することができる。ヤード数機能を備えたものを含む、GPSまたは位置情報サービス時計などのGPSまたは位置情報サービス位置機能を備えた任意のデバイスを、本明細書で一貫した目的で使用できることが理解されよう。本明細書で説明されるモバイルデバイス631の様々な機能はまた、複数のモバイルデバイス631によって提供され得る。例えば、1つのモバイルデバイス631は、位置特定のために使用され得、一方、別のモバイルデバイス631は、クラウド/遠隔システムと通信して他の情報を提供または受信するために使用され得る。
一態様では、ゴルファーのグループの場合、各ゴルファーは、プロセッサ611と特に通信している独自のモバイルデバイス631を有し得る。モバイルデバイス631とプロセッサ611との間の通信は、直接であり得るか、または別の通信リレーを介することができる。プロセッサ611と通信するモバイルデバイス631を用いて、プロセッサ611は、各モバイルデバイス631および各ゴルファーの特定の位置を決定することができ、それにより、1人以上のゴルファーが、監視および録画を開始すべき所定のジオフェンス636に入ったときを決定することができる。
例えば、ゴルファーのグループおよび彼らのモバイルデバイス631がジオフェンス636に入るとき、彼らの位置を検出している彼らのモバイルデバイス631は、モバイルデバイス631の座標が所定のジオフェンス636内にあると決定することができる。ジオフェンス636の座標は、モバイルデバイス631が所定のジオフェンス636内にあるとモバイルデバイス631が決定することができるように、モバイルデバイス631に通信および保存され得る。したがって、モバイルデバイス631は、次に、モバイルデバイス631がジオフェンス636内に存在することをプロセッサ611に通信することができる。この態様では、プロセッサ611は、ゴルファーの存在を能動的に監視していない。むしろ、プロセッサ611は、モバイルデバイス631から信号を受信する。
別の態様では、プロセッサ611は、ゴルファーまたはモバイルデバイス631の存在を能動的に監視することができる。例えば、モバイルデバイス631または他のデバイスは、所定の間隔で「ping」を送信することができる。プロセッサ611はpingを「聞く」ことができ、ゴルファーおよびモバイルデバイス631がプロセッサ611の所定の範囲内に入ると、プロセッサ611は、ゴルファーおよびモバイルデバイス631がホール/コースに到着したことを決定し、監視および録音を開始することができる。
システム600は、参加している特定のゴルファーのそれぞれを認識し、各ゴルファーがいつ参加しているのかを識別するように構成されている。通常、ゴルファーは交代でショットを打つ。発生しているショットをカメラ601が録画する間に、プロセッサ611は、特定のショットを正しいゴルファーに関連付けることができるように、どのショットがどのゴルファーに属するかを決定するように構成されている。したがって、プロセッサ611は、各ショットの前にゴルファーを識別するように構成されている。
一態様では、ゴルファーは、関連するモバイルデバイス631を介して、自分が自分のショットを打とうとしている人であることを示すことができる。ゴルファーは、モバイルデバイス631に表示されたボタンを介して、それが彼らの次のショットであることを示すことができる。あるいは、グループ内の別のゴルファーが、彼らのモバイルデバイス631を介して、グループ内の特定のゴルファーが彼らのショットを打とうとしていることを示すことができる。次に、プロセッサ611は、得られたショットを示されたゴルファーと関連付けることができる。このタイプのゴルファー識別は、手動ゴルファー識別として説明することができる。
別の態様では、ショットを打つ直前のゴルファーの識別は、プロセッサ611および関連するプロセッサおよびソフトウェアによって自動的に実行することができる。一態様では、顔認識ソフトウェアを使用することができる。このアプローチでは、ショットを打つ前に、ゴルファーは1つのカメラ601の前に立ち、カメラ601がゴルファーの画像をキャプチャし、キャプチャされた画像を介してゴルファーのグループのどのゴルファーが認識された顔と一致するかを決定することができる。ゴルファーはラウンドの前に顔を録画して、プロセッサ611が、参加が期待されるゴルファーの顔のデータベースにアクセスできるようにすることができる。
別の態様では、ゴルファーは、着ている服によって識別され得る。通常、各ゴルファーの服はグループ内で一意である。例えば、ズボン、シャツ、帽子、靴などが各ゴルファーによって録画され、その後、ゴルファーがショットを打つ前にカメラ601によって検出され得る。
別の態様では、プロセッサ611は、モバイルデバイス631の位置データを利用して、どのゴルファーが打とうとしているのかを決定することができる。例えば、1人のゴルファーがティーボックスの上に立ってボールをアドレスしており、他のゴルファーがティーボックスの外に立っている、またはボールをアドレスしていない場合、プロセッサ611は、モバイルデバイス631の位置に基づいて、ショットを打とうとしている特定のゴルファーを決定し得る。
別の態様では、ゴルファーは、ポケットの中、ベルトにクリップで留められている、帽子に固定されているなど、その人に遠隔識別子633を携帯してもよい。遠隔識別子は、GPS送信機またはRFIDタグの形式であり得る。GPS送信機の場合、遠隔識別子633は、ゴルファーの位置データをプロセッサ611に能動的に送信することができ、プロセッサ611は、送信を受信し、ゴルファーの位置を検出する。RFIDタグの場合、遠隔識別子633は、プロセッサ611によって検出され得、プロセッサ611は、無線周波数を送信して、プロセッサ611に対するゴルファーの位置を特定し、各ゴルファーの位置を決定し得る。
別の態様では、システム600は、各ショットのボールの終了位置を記憶することができ、記憶された位置からプレーされる後続のショットを前のショットとつなぎ合わせることができる。したがって、特定のゴルファーを識別できないときがあった場合でも、システム600はなおも、前のショットが終了した場所に関連するショットの開始場所に基づいて、ショットがそのゴルファーに属すると決定することができる。一態様では、そのような決定は、ビデオフレーム内の位置またはグリッド650内の位置に基づいて行うことができる。
したがって、上記を考慮して、システム600は、ゴルファーがティーボックスから第1のショットを打つ前に、個々のゴルファーを識別するように構成され、その後のショットも同様である。ホールに設置されたカメラ601は、各ショットを録画し、各ゴルファーのショットを後で正しいゴルファーに提供できるように、各ゴルファーの識別に基づいて、各ゴルファーのショットを各ゴルファーの一意の識別子とともに録画データベースに保存する。
典型的であるように、各ゴルファーから得られるショットは一意になる。ゴルファーのスイング、ポジショニング、風速および風向など、ショットの結果に影響を与える多くの要因が存在することが理解されよう。したがって、各ゴルファーのショットの結果として得られる位置は、ホールの様々な位置、通常はティーボックスよりもグリーンに近い位置にあり得る。したがって、各ゴルファーの後続のショットの録画には、複数のカメラからの録画を含めることができる。
カメラ601は、光学ズームおよびデジタルズームの一方または両方を含むズーム機能を含むように構成され得る。カメラ601は、カメラ601を識別されたターゲットに向けることができるように、チルトおよびパン機能を有するようにさらに構成され得る。カメラ601はそれぞれ、最初のショットと、ホールの最終ショットを含む最終ショットまでの後続のショットとを含むショットを試みるゴルファーに向けられ、ズームされ得る。
別の態様では、1つ以上のカメラ601は、チルト、パン、または光学ズームなしで固定された視点を有し得る。この態様では、カメラ601は、その視野内のすべてをキャプチャするように構成され得る。ビデオは、全体として提供または分析され得るか、または特定のゴルファーもしくはプレーされているショットを分離するためにビューのセグメント/ウィンドウが分離またはトリミングされ得る。したがって、同じビデオ画像を、同時にカメラ601の視野内にいる複数のゴルファーに使用することができる。
最初のティーショットの後、システム600は、どのゴルファーが次のショットを打つかを決定および識別するように構成されている。典型的なゴルフのエチケットとルールでは、どのゴルファーのボールがピンから最も遠いかによって決定されるようにゴルファーがショットを打つことが定められている。レクリエーションゴルファーおよびプロゴルファーは通常この規則に従うが、特にレクリエーション環境では例外がよくある。多くのゴルフコースは、そのゴルファーのボールが他のゴルファーよりもホールに近い場合でも、打つ準備ができている第1のゴルファーが次のショットを打つ「レディゴルフ」をプレーするようプレーヤーに奨励する。この慣行は、通常、ホールのより効率的な完了とプレーのペースをもたらし、ゴルファーがより速くホールを完了することを可能にし、後ろでプレーするゴルファーがより早くホールをプレーする機会を持つことを可能にする。
したがって、システム600は、カメラ601が正しいゴルファーに向けられ、焦点を合わせて、次のショットを録画することができるように、どのゴルファーが次のショットを打つかを決定するように構成されている。
各ゴルファーが打つ各ショットについて、カメラ601はショットを録画し、録画されたビデオに基づいて、位置グリッド650内の各ボールの位置を決定する。システム600は、各ショットについてゴルファーを識別し、それにより、ボールの位置とボールを打ったゴルファーとを相関させる。したがって、システム600は、各ゴルファーについて、次のショットが発生する場所を決定することができる。同様に、システム600は、位置グリッド650上の各ボールについて、どのゴルファーが各ボールを打つかを決定することができる。したがって、システム600は、ボールの位置とゴルファーの識別の両方を決定する。
システム600は、どのゴルファーが次のショットを打つかを制御するように、またはどのゴルファーが次のショットを打とうとしているのかを識別するように構成され得る。一態様では、プロセッサ611は、ゴルファーと通信して、ゴルファーに次のショットを打つ番であると通知することができる。一態様では、アラートまたは信号は、ゴルファーのモバイルデバイス631に送信され得る。アラートは、可聴アラート、視覚アラート(モバイルデバイスの画面上のグラフィック表現など)、触覚アラート(モバイルデバイス631の振動機能をアクティブにすることによってなど)、またはメッセージ(SMSテキストメッセージなど)の形式であり得る。このアプローチでは、ゴルファーは、どのゴルファーが彼らのショットを打つ予定であるかをプロセッサ611が指示することを知っていてもよい。プロセッサ611は、プレーの順序を示すアラートを各ゴルファーに同時に送信することができ、その結果、ゴルファーは、現在打っているゴルファーが終了した後、次に打つゴルファーについて通知される。
上記のように、プロセッサ611は、各ゴルファーの位置を監視および検出するように構成され、したがって、どのゴルファーが打つことになっているかを制御することによって、カメラ601をそのゴルファーに向けてショットを録画することができる。カメラ601は、次のショットを打とうとしているゴルファーにズームインすることもできる。
別の態様では、プロセッサ611は、ボールに対するゴルファーの動きに基づいて、どのゴルファーが次のショットを打とうとしているのかを決定することができる。例えば、ゴルファーのグループの1つが所定の距離内に位置し、残りのゴルファーがさらに離れて位置している場合、プロセッサ611は、ボールの近くのゴルファーが打とうとしているゴルファーであると決定することができる。この決定に応答して、プロセッサ611は、カメラがこのゴルファーに向けられるように指示することができ、カメラ601は、ゴルファーにズームインすることができる。
ゴルファーと彼らのそれぞれのゴルフボールの位置との間の相対距離は、グリッド650を使用して決定することができる。例えば、ゴルファーが、以前に決定されたボールの位置と同じグリッド正方形または隣接するグリッド正方形内に位置している場合、プロセッサ611は、このゴルファーが打とうとしているゴルファーであると決定することができる。プロセッサ611は、ゴルファーと彼らのそれぞれのボール位置との間の相対距離を比較し、ボールに最も近いゴルファーが、打とうとしているゴルファーであると決定してもよい。プロセッサ611が決定を行うのを支援するために、打とうとしていないときはボールから所定の距離を保つようにゴルファーに指示してもよい。
したがって、システム600は、どのゴルファーが次に打つべきかをゴルファーに合図するように構成され得、および/またはシステム600は、それぞれのボール位置に対するゴルファーの位置に基づいて、どのゴルファーが次に打つことを決めたかを判定するように構成され得る。両方の場合において、システム600は、ゴルファーおよび次のショットの録画が適切に録画および保存されるように、カメラ601の焦点を正しいゴルファーに合わせるように構成され得る。
このプロセスは、ホール上の様々なゴルファーによってホール上でプレーされている連続するショットごとに繰り返され得る。場合によっては、別のゴルファーが次のショットを打つ前に、同じゴルファーが複数のショットを打つことがある。このプロセスは、ホールが完了するまで繰り返され得る。
ホールのプレー中、カメラ601は、常に録画するように構成されてもよく、プロセッサ611は、各ゴルファーの識別と打たれた各ショットに従って録画を分割し、つなぎ合わせることができるように、様々なゴルファーと打たれているショットに対応するために録画の特定の時間をタグ付けするように構成されてもよい。あるいは、録画は、打たれるショットごとに開始および停止されてもよく、個々の録画がタグ付けされ、後で、個々のゴルファーごとにつなぎ合わされてもよい。
システム600は、図3に示されるAI対応デジタルビデオレコーダ312またはメモリ303など、プロセッサ611と通信するローカルビデオストレージ(図6には明示的に示されていない)を含み得る。あるいは、図4のクラウドストレージおよびサービス404などの遠隔ビデオストレージを使用してもよい。プロセッサ611は、Wi-Fi、セルラーデータ、無線通信などを介してビデオストレージと通信することができる。プロセッサ611はまた、ビデオストレージと通信する遠隔サーバまたは他の通信デバイスと通信ケーブルを介して通信することができる。
プロセッサ611はさらに、画像処理システム/モジュール112、300、118、400を含むか、またはこれらと通信してもよく、これらは録画されたビデオのビデオストレージと通信し、各ゴルファーに割り当てられた各ショットの様々な録画をつなぎ合わせる。図6を参照すると、プロセッサ611は、ローカルAIビデオ処理システム/エンジン622および遠隔処理システム628と通信する。ビデオ処理システム/エンジン622は、ビデオ録画を保存し、かつビデオ録画をフォーマットするための独自のデータベースを含み得る。画像処理システム/モジュール622、628、112、300、118、400は、プロセッサ611に含まれていてもよく、または様々な図に示されているように、別個のモジュールであってもよい。画像処理システム/モジュール622、628、112、300、118、400は、各ショットの完了直後に画像の処理を開始し、組み立てられた録画を追加のショットごとに追加するか、またはビデオ録画が終了した後に処理してもよい。
システム600はさらに、ゴルファーがホールを離れたときのゴルファーの位置データ(モバイルデバイス631または他の位置特定メカニズムを介して)およびジオフェンス636の境界に基づいて決定するように構成され得る。ゴルファーがホールを離れたとの決定に応答して、プロセッサ611は、つなぎ合わされまたはセグメント化され、組み立てられまたは組み合わされ、処理され、フォーマットされ、通信された1つ以上の録画をゴルファーに提供することができる。一態様では、各ゴルファーは、モバイルデバイス631または他のデバイスで、特定のショットの録画を受け取ることができる。別の態様では、各ゴルファーは、グループのすべての録画を受け取り、どの録画を見るかを選択することができる。
好ましい態様では、録画は、ホールの完了後、およびゴルファーがホールを離れた後にゴルファーに提供されて、後続のゴルファーがホールをプレーできるようゴルファーがホールを離れるように促す。しかしながら、別のアプローチでは、録画または録画の一部は、各ショットの完了直後にゴルファーに提供され得る。別の態様では、録画は、ゴルファーがラウンドを終了し、プロショップ、レストラン、バー、クラブハウス、ロッカールーム、または駐車場など、ゴルフコースの別の場所に入った後にゴルファーに提供され得る。
一態様では、システム600は、個々のゴルファーに録画を提供することに加えて、ゴルファーの組み立てられた録画をインターネットに自動的にアップロードするように構成され得る。あるいは、録画は、ゴルファーに直接提供される代わりに、インターネットにアップロードされ得る。
一態様では、録画は、各ゴルファー固有の録画に対応するゴルファーに関連付けられた特定のアカウントにアップロードされ得る。例えば、録画はゴルファーのソーシャルメディアアカウントの1つに自動的にアップロードされてもよい。各ゴルファーは、システム600に関連付けられたユーザアカウントを有することができる。例えば、ゴルファーのモバイルデバイス631にインストールされたアプリ630を介して、ゴルファーは、ゴルファーの名前、住所、電子メールアドレス、支払い情報、写真、およびゴルファーの他の識別特性などの様々な識別データを入力することができる。ゴルファーはまた、ソーシャルメディアアカウントと、モバイルデバイス631にインストールされたアプリがリンクされたソーシャルメディアアカウントに情報を投稿するための許可とを提供することができる。一態様では、ゴルファーは、モバイルデバイス631にインストールされたアプリにこの情報を入力するのではなく、プロセッサ611に関連付けられたデータベースに自分の経歴情報およびソーシャルメディアアカウントを入力することができる。
一態様では、ゴルファーは、録画をソーシャルメディアアカウントにアップロードするかどうかを選択することができる。ゴルファーは、録画が自動的にアップロードされるかどうかを録画の前または後に選択することができる。ゴルファーは、録画が自動的にアップロードされるかどうかを手動で制御することも選択できる。
複数のカメラ601、この場合はグリーンとティーボックスの両方の近くに配置されたカメラ601を含めることにより、各ショットを複数のアングルから録画することが可能になる。したがって、画像処理ソフトウェアは、各ショットの複数のアングルをつなぎ合わせることができる。システム600は、カメラ601からの距離およびカメラ601が特定のゴルファーにズームインする能力に応じて、1つのアングルのみを表示すべきかどうかを決定することができる。場合によっては、ゴルファーは構造物または他の障害物の後ろにいる可能性があり、その結果、あるアングルが別のアングルよりも好ましい。場合によっては、ゴルファーは、望ましい録画のためにはカメラ601の1つから離れすぎている可能性がある。例えば、ゴルファーがパッティンググリーンまたはパッティンググリーンの近くにいるとき、ティーボックスの近くのカメラ601は、望ましいアングルを提供しない可能性がある。しかしながら、ゴルファーがティーボックスから打っているとき、ゴルファーは遠く離れている可能性があるが、ボールの飛行により、グリーンのカメラ601の近くにボールが着地する可能性があり、したがって、ティーボックスとグリーンの両方からのアングルが使用され得る。別の場合では、ゴルファーはティーとグリーンのおよそ中間にいる可能性があり、したがって両方のカメラ601からのアングルが望ましい可能性がある。
上記の態様は、テレビで競うゴルファーのビデオ録画と同様に、ゴルファーの「無人の」または自律ビデオ撮影を実行する能力を提供する。
システム600はさらに、娯楽および評価の目的でゴルフショットの録画にグラフィック要素を追加するように構成され得る。
一態様では、システム600は、カメラ601によってキャプチャされ、ビデオ処理システム/モジュール/エンジン622、628(または112、118、300、400)によって処理された画像を分析して、録画されたビデオに追加の画像強調を提供するように構成され得る。例えば、システム600は、ボールの飛行の視覚的表示を提供する「トレーサー」ソフトウェアを含み得る。例えば、プロのゴルフイベントの多くのテレビ放送では、ゴルファーがボールを打つと、色付きの線がボールを追跡し、放送中の画像にボールの飛行の色付きの経路を残す。経路の曲率は、ボールがどのように移動、フック、スライス、フェードなどしたかを示す放送画像に表示される。トレーサーソフトウェアは、ボールの速度、ボールが移動した距離、ショット中のボールの頂点または高さ、または他の態様を決定することができる。
ビデオまたは録画に含まれるトレーサーを含むこれらの画像は、特にボールがカメラから比較的遠い距離を移動した場合に、通常の視聴者が通常可能であるよりも、ボールの飛行経路のより堅牢な説明を提供する。トレーサーのない放送では、ボールの飛行の後半でボールの経路を把握するのが難しい場合があり、放送はボールの着地エリアを示す別の視野に切り替わることが多く、ボールがどのように移動したかについて視聴者に不完全な情報を残す。したがって、システム600に関連するビデオ処理システム622、628(または112、118、300、400)は、トレーサーのない画像と比較して、ゴルフショットに関連するより完全な情報をユーザに提供することができる。
ボールの経路を追跡することに加えて、他のグラフィック表現をボールの飛行に追加することができる。例えば、速度、距離、またはボールの飛行に応じて、特定の成果を示すために飛行経路を色分けすることができる。例えば、ボールが特定の速度を超えて移動する場合、赤または「強烈な」色を適用して高速を示したり、フレームグラフィックをボールのテールとして追加したりできる。同様に、ボールの飛行が「ストレート」と見なされる範囲内にある場合、フックまたはスライスがないことを示すために、ボールの飛行に緑色を適用することができる。逆に、ボールの飛行が真っ直ぐでない場合は、黄色や赤色などの別の色をボールの飛行に適用して、理想的とは言えないショットを示すことができる。ボールの飛行に基づくこれらのグラフィカルな追加は、様々な色またはグラフィカルな表現を提供するように調整され得ることが理解されよう。一態様では、ゴルファーは、モバイルデバイス631を介して、表示したいインジケータのタイプを示すことができる。複数のタイプのインジケータを同じ録画に適用できるように、インジケータのタイプを切り替えることができる。
各ショットの終了時にボールが着地した場所に基づいて、録画にグラフィック要素を追加することもできる。上記のように、システム600は、ホールの地形に関連付けられた位置グリッド650を含み得る。例えば、位置グリッド650の各グリッド正方形は、ホールの地形的態様と相関し得る。選択された正方形は、バンカー、ウォーターハザード、アウトオブバウンズ、森の中、フェアウェイ、ラフ、グリーンなどに関連し得る。システム600、カメラ601、およびプロセッサ611は、録画およびボールの飛行に基づいて、ボールがグリッド650内で終了した場所、したがって、ボールが終了した場所のタイプを決定することができる。ボールの位置に基づいて、システム600は、グラフィック要素を追加することができる。
例えば、ボールがウォーターハザードに着地したと判定された場合、海の怪物などのグラフィック要素をボールの位置の録画に追加することができる。同様に、水しぶきのイラストやシュノーケリングをする人などを追加することもできる。ボールがバンカーまたはサンドトラップに着地したと判定された場合、ビーチボールやビーチパラソルをボールの位置の録画に追加することができる。ボールがラフに着地したと判定された場合、芝刈り機のイラストをボールの位置に追加することができる。ボールが森に着地したと判定された場合、ボールに近づいて逃げるように見えるリスやクマを追加することができる。ボールがグリーンに着地した場合、これは「ダンスフロア」と呼ばれることもあり、ダンサーやディスコボールのイラストを追加することができる。他の様々なタイプのボールの位置および対応するアニメーションまたはイラストが、位置に基づいて適用され得ることが理解されよう。システム600は、各事例が比較的固有のアニメーションであり得るように、同じタイプの場所について複数のアニメーションを含むことができる。アニメーションは、場所のタイプに基づいてランダムに割り当てられてもよいし、繰り返されるアニメーションが限定されるように、識別されたゴルファーに対して周回されてもよい。
位置グリッド650は、追加の目的のためにも使用され得る。一態様では、位置グリッド650は、ゴルファーが自分のボールを見つけるのを助けるために使用することができる。多くの場合、ゴルファーはショット後にボールの飛行を見るのに苦労し、ボールがどこにあるのかわからないことがある。プロセッサ611は、ゴルファーがボールの着地点を探すために追加の時間を費やす必要がないように、ボールの位置データをゴルファーに提供することができる。したがって、ゴルファーはより効率的な方法でホールを完了し、プレーのペースを改善することができる可能性がある。
同様に、グリッド内のボールの位置、および位置グリッド650と相関するホールの他の特徴の位置に基づいて、システム600は、ゴルファーに次のショットに関する追加情報を提供することができる。例えば、プロセッサ611は、ショットの終了時にピンまでの距離をゴルファーに伝達することができ、ゴルファーは、ボールの位置に到着する前に、次のショットにどのクラブを使用するかを検討することができる。システム600は、ウォーターハザードやバンカーをクリアするために必要な距離、またはグリーンの特定の領域までの距離など、ホールの他の特徴までの距離など、他の距離ベースの情報を提供することができる。
上記のように、位置グリッド650は、グリーン604を含むホールに重ねることができる。したがって、システム600はまた、パットでゴルファーを支援するための仮想キャディーとして動作するように構成され得る。システム600は、メモリ303、クラウドストレージおよびサービス404、またはシステム600と通信する他のデータベースストレージに記憶されているグリーンに関する様々な情報を含み得る。例えば、グリーンの表面の様々なうねりを記憶し、これを参照して、特定のパットで予想されるブレイクを判定することができる。例えば、プロセッサ611は、次のパットが左に3インチ曲がることをゴルファーに伝えることができる。プロセッサ611は、パットが上り坂であるか下り坂であるかを示すことができる。さらに、プロセッサ611は、グリーン上の様々な場所から作られたパットの様々な録画を記憶し、これらのパットを集約して人工知能を使用して、パットがグリーン上の特定の場所からどのように移動するかを判定することができる。例えば、温度、風、湿気、および芝目の方向は、パットの移動方法に影響を与える可能性があるが、グリーンの形状からは容易に明らかではなく、また、時間や気象条件によって変化する可能性がある。異なる場所から録画されたパットの結果を分析することによって、プロセッサ611は、このデータを利用し、異なる場所に対するその推奨を更新することができる。一態様では、グリーンに関連付けられた位置グリッド650は、仮想キャディー支援を提供するためのより正確な位置データを提供するために、より小さなグリッド正方形を有し得る。
システム600はさらに、ゴルファーによって使用されているブランドを自動的に識別するために使用され得る。上記の顔認識と同様に、プロセッサ611は、カメラ601を介して、ゴルファーが使用しているゴルフクラブのブランド、またはゴルファーが着ている衣類のブランドを識別し得る。プロセッサ611は、画像認識機能を利用して、異なるブランドに関連するロゴ、パターン、商標などを識別することができる。各ゴルファーに関連付けられたブランドを識別することに応答して、プロセッサ611は、ゴルファーと通信して、新製品、製品提供、または代替製品など、ブランドに関する情報を提供するように構成され得る。
システム600はまた、ゴルファーまたはゴルフコース所有者によって使用され得る様々なソフトウェアアプリケーションを統合する能力を含み得る。モバイルデバイス631は、ゴルフホールに対するユーザの位置を示すように動作し得るユーザアプリ630を含み得、ユーザアプリは手動または自動で実行され得る。上記のように、システム600は、ゴルファーが特定のゴルフホールに到着したことを自動的に決定することができる。ユーザアプリ630はまた、ゴルファーがホールに到着したことをプロセッサ611に手動で合図するために使用され得る。同様に、ユーザアプリ630は、録画が利用可能なホールに到着したことをゴルファーに通知することができる。ユーザアプリ630は、ゴルファーが自分のショットが録画されることを拒否することを可能にするなど、他の機能を提供することができる。
システム600が使用されるゴルフコースの所有者はまた、プロセッサ611とインターフェースする専用のアプリケーションを有することができる。このアプリケーションは、コースアプリ632と呼ばれてもよい。コースアプリ632は、ユーザアプリ630と通信するように構成され得る。コースアプリ632によって、ゴルフコースは、ゴルフコースを録画機能を含むコースとして登録することが可能になり得る。ユーザアプリ630は、登録する様々なゴルフコースから情報を受信することができ、録画機能を提供する利用可能なコースに関する情報をエンドユーザに提供する。
コースアプリ632は、ユーザアプリ630と通信して、関心のあるユーザがオンサイトにいることをコースに通知することができる。アラートは、ユーザまたはユーザのグループが到着したこと、およびユーザがテクノロジーの使用に興味を持っていることを、コースアプリ632を介して提供することができる。同様に、ユーザアプリ630は、近くのコースまたはゴルファーがプレーする準備をしているコースが録画機能を含むことをゴルファーに通知することができる。
ユーザアプリ630はまた、ラウンドの途中で録画を要求する機能を提供し得る。別のアプローチでは、コースアプリ632は、ゴルファーのチェックイン中にゴルフコースによって使用されて、興味のあるゴルファーにサービスを提供することができる。ただし、ゴルファーは、ショットを録画するかどうかについて考えを変える場合がある。したがって、録画を要求するか、または以前に要求された録画を拒否する機能をユーザアプリ630に提供することは、ユーザのニーズが満たされることを確実にし得る。
ユーザアプリ630はまた、ショットが録画される前または後に、ショットの特定の機能に対して支払うためのメカニズムを提供し得る。例えば、ショットが録画される場合、録画および画像処理は、ボールの経路を示すためにショットに上記のトレーサー技術を提供する能力を有する。これは追加機能と見なすことができ、ユーザはショットを打った後にトレーサーテクノロジーを適用するかどうかを選択できる。しかしながら、別の態様では、トレーサー技術は、ユーザ入力に関係なく適用され得る。ユーザアプリ630は、オンデマンドでトレーサーをオンまたはオフにする機能を提供することができる。
ユーザアプリ630は、他のゴルファーのために他のユーザアプリ630と通信することができる。例えば、ゴルファーの特定のグループの各メンバーは、彼らのユーザアプリ630をアクティブにして、各ゴルファーが彼らのショットを録画することができる。各ゴルファーのショットは、1つ以上のユーザアプリ630によって集約され得、各ゴルファーにショットの合成を提供する。ショットは、互いに重ね合わせたり、次々に表示したりすることができる。ユーザアプリ630は、コース上の各ゴルファーの位置、各ゴルファーのホールまでの距離など、ゴルファーのグループ間で他の機能を提供することができ、これは、競争または娯楽目的のためにグループ間で望ましい利益を提供し得る。
一態様によれば、ユーザアプリ630は、必要に応じて録画を調整するために、ゴルファーによるさらなるカメラ/録画制御を提供することができる。一態様では、ゴルファーは、ユーザアプリ630を使用して、アプリ630を介して表示されるか、または他の方法でモバイルデバイス631に提供される録画ボタンを使用して、ビデオ録画をアクティブ化することができ、カメラ601がゴルファーを録画することが可能になる。関連する態様では、例えばゴルファーがグリーンを読んでいる間などにカメラ601を無効にする、停止ボタンを同様に提供することができる。
別の態様では、ゴルファーの録画は、所定のプログラミングに従って自動的に停止され得る。一態様では、ジオフェンス636および/または位置感知技術を上記の手動起動と組み合わせて使用して、ユーザが録画を停止するのを忘れた場合にカメラ601をオフにすることができる。
上記の一般的な説明または例で説明した活動のすべてが必要なわけではなく、特定の活動の一部が必要ない場合があり、説明した活動に加えて1つ以上のさらなる活動を実行してもよいことに注意されたい。さらに、活動がリストされている順序は、必ずしもそれらが実行される順序であるとは限らない。
本明細書に記載の実施形態の仕様および図解は、様々な実施形態の構造の一般的な理解を提供することを意図している。仕様および図解は、本明細書に記載の構造または方法を使用する装置およびシステムのすべての要素および特徴の網羅的かつ包括的な説明として役立つことを意図するものではない。本開示を検討すると、他の多くの実施形態が当業者には明らかであり得る。構造的置換、論理的置換、または別の変更が、本開示の範囲から逸脱することなくなされ得るように、他の実施形態が使用され、本開示から導き出され得る。したがって、本開示は、限定的ではなく例示的であると見なされるべきである。
特定の特徴は、明確にするために、別個の実施形態の文脈で本明細書に記載されているが、単一の実施形態で組み合わせて提供されてもよい。逆に、簡潔にするために、単一の実施形態の文脈で説明される様々な特徴はまた、別個にまたは任意のサブの組み合わせで提供されてもよい。さらに、範囲に記載されている値への言及には、その範囲内のすべての値が含まれる。
利益、他の利点、および問題の解決策を特定の実施形態に関して上述してきた。しかしながら、利益、利点、問題の解決策、および利益、利点または解決策を発生させたり、より顕著にしたりする可能性のある特徴は、請求項のいずれかまたはすべての決定的な、必要な、または不可欠なものとして解釈されるべきではない。
上記に開示された主題は、例示的であり、限定的ではないと見なされるべきであり、添付の特許請求の範囲は、本発明の範囲内にあるそのような修正、拡張、および他の実施形態のすべてを網羅することを意図している。したがって、法律で認められる最大限の範囲で、本発明の範囲は、以下の特許請求の範囲およびそれらの同等物の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されないものとする。
上記のシステム600は、プロセッサ611およびそれに関連するソフトウェアによって制御可能である関連するコンポーネントのグループとして具体化され得る。システム600およびその使用の様々な態様はまた、エンドユーザに上記の利益を自動的に提供するために上記の機能を利用する方法として具体化することができる。システム600は、プロセッサ611を使用して、または遠隔で、プロセッサ611と通信して実施され得る様々な関連するソフトウェアモジュールを含み得る。モジュールまたは方法は、様々な画像を自動的に処理し、エンドユーザに所望の出力を提供するために、様々な人工知能および機械学習および画像処理を含み得る。以下の図7および図8は、本開示の態様に従って、ゴルフ活動のビデオを自動的に録画および処理するために使用することができる方法を提供する例を示す。
図7は、上記のシステムに関連する方法700の一態様を示す。一態様では、運動能力を自動的に録画する方法700が提供される。方法700は、ステップ702で、少なくとも1人のプレーヤーが所定の領域内に位置していることをプロセッサによって検出することと、ステップ704で、少なくとも1人のプレーヤーの第1のプレーヤーを識別することと、ステップ706で、プロセッサに動作可能に結合された少なくとも1つのカメラによって、第1のプレーヤーのパフォーマンスを自動的に録画し、第1の録画を定義することと、ステップ708で、プロセッサに動作可能に結合されたデータベースに、第1の録画を自動的に保存することと、ステップ710で、第1の録画を第1のプレーヤーと自動的に相関させることと、ステップ712で、第1の録画を自動的に処理し、第1の処理された録画を定義することとを含む。
図8は、上記のシステムの態様に従ってビデオを自動的に録画および提供する方法800の一態様を示す。方法800は、ステップ802で、第1の地理的位置に配置された第1の遠隔カメラを使用して、所定の活動のビデオを録画することと、ステップ804で、第1の地理的位置でビデオを処理することとを含み得る。処理は、ステップ806で、所定の活動を行う第1のユーザを識別することと、ステップ808で、所定の活動中に第1のユーザを含むビデオから画像フレームを抽出することと、ステップ810で、抽出された画像フレームをマージして、フォーマットされたビデオを生成することとを含み得る。方法800はまた、ステップ812で、追加の処理のために、フォーマットされたビデオを遠隔ビデオ処理システムに出力することを含み得る。
様々な他の追加の方法ステップが上記の方法に含まれ得るか、または上記の方法が上記のシステム100の機能に従って修正され得ることが理解されるであろう。
そのような態様および実施形態は、コンピュータまたは他のコントローラによって実行される抽象的なアイデア以上のものであることが理解されよう。上記の態様は、簡単にアクセスまたは決定できない様々な入力に基づいて自動的に実行され、結果として得られる最終製品は、別の方法では同じ自動方法で提供することができない。
少数の例示的な実施形態のみが上記で詳細に説明されたが、当業者は、本開示の実施形態の新規の教示および利点から実質的に逸脱することなく、例示的な実施形態に多くの修正が可能であることを容易に理解するであろう。したがって、そのようなすべての修正は、以下の特許請求の範囲で定義される本開示の実施形態の範囲内に含まれることが意図されている。請求項において、手段プラス機能条項は、列挙された機能を実行するものとして本明細書に記載された構造、ならびに構造的同等物だけでなく同等の構造もカバーすることを意図している。

Claims (30)

  1. 活動を自動的に録画および処理するためのシステムであって、
    第1の所定の活動のビデオを録画するために第1の地理的位置に配置された第1の遠隔カメラと、
    前記第1の遠隔カメラに動作可能に関連付けられ、前記カメラと通信する、第1のプロセッサおよびメモリとを備え、前記第1のプロセッサおよびメモリは前記第1の地理的位置の近くに配置され、
    前記システムは、前記第1のプロセッサおよびメモリに関連付けられたローカルビデオ処理エンジンをさらに備え、前記ローカルビデオ処理エンジンは前記第1の所定の活動に参加している第1のユーザの前記第1の遠隔カメラによってキャプチャされたビデオのフレームを処理するように構成され、
    前記第1のプロセッサは、前記第1のユーザおよび前記第1の所定の活動を識別すると前記ビデオを変更するようにさらに構成され、
    前記システムは、フォーマットされたビデオを遠隔ビデオ処理システムに通信することができる通信モジュールをさらに備え、前記遠隔ビデオ処理システムは前記フォーマットされたビデオをさらに処理し、前記処理されたビデオのアクセスを前記第1のユーザへ可能にするように構成されている、システム。
  2. 前記プロセッサは、
    ジオフェンス、
    GPS位置、
    顔認識、
    オブジェクト認識、
    衣服認識、
    動き検出、
    RFID検出、
    ブルートゥース検出、
    Wifi検出、
    レーダー感知、および
    熱感知
    のうちの1つ以上を使用して前記第1のユーザの位置を検出するように構成されている、請求項1に記載のシステム。
  3. 前記第1のプロセッサにアクセス可能な人工知能(AI)ロジックをさらに含み、前記人工知能(AI)ロジックは前記第1の遠隔カメラによってキャプチャされたビデオフレーム内に録画された1人以上のユーザを識別するロジックを伴って構成されている、請求項2に記載のシステム。
  4. 前記第1のプロセッサは、
    前記第1のユーザを識別し、
    前記第1のユーザが第1の所定の領域内に位置するときに、前記第1のユーザを自動的に録画し、
    前記第1のユーザの第1の録画を前記第1のユーザに関連付け、
    前記第1のユーザの第2の録画を前記第1のユーザに関連付け、
    前記第1のユーザの前記第1および第2の録画を処理し、前記第1のユーザに関連付けられた前記フォーマットされたビデオを定義するように構成されている、請求項2に記載のシステム。
  5. 前記第1のプロセッサは、前記第1の所定の領域内の第2のユーザを検出および識別するように構成されている、請求項2に記載のシステム。
  6. 前記第1のプロセッサは前記第2のユーザを自動的に録画するように構成され、前記第1のプロセッサは前記第2のユーザに関連付けられた録画を処理するように構成されている、請求項5に記載のシステム。
  7. 前記第1のプロセッサは、前記第1および第2のユーザのうちのどちらが録画されるかを決定するように構成されている、請求項5に記載のシステム。
  8. 前記第1のプロセッサは、前記第1のユーザまたは前記第2のユーザが録画されることを示すメッセージを前記第1のユーザまたは前記第2のユーザに送信するように構成されている、請求項5に記載のシステム。
  9. 前記第1のプロセッサは、前記第1の地理的位置の少なくとも一部にわたって位置グリッドを生成するように構成されている、請求項1に記載のシステム。
  10. 前記第1のプロセッサは、前記位置グリッド内の前記第1のユーザの位置を検出するように構成され、さらに、前記位置グリッド内の前記第1のユーザに関連付けられたオブジェクトの位置を検出するように構成されている、請求項9に記載のシステム。
  11. 前記第1のプロセッサは、前記第1のユーザが前記第1の地理的位置内に位置している間に、前記第1のユーザの位置を監視するように構成されている、請求項1に記載のシステム。
  12. 前記第1のプロセッサは、前記録画に関連付けられたデータに基づいて、前記第1の処理された録画にグラフィック要素を追加するように構成されている、請求項1に記載のシステム。
  13. 前記グラフィック要素は、前記ビデオの1つ以上のフレームに追加される1つ以上のグラフィック要素を含むことができ、前記グラフィック要素は、
    前記ビデオの場所を表示するテキスト情報、
    前記ビデオが録画された場所の1つ以上の名前、
    前記第1のユーザの名前、
    前記ビデオが録画された日付、
    前記場所に関連付けられたロゴまたはその他のマーケティング画像、
    移動するオブジェクトのフレーム間のグラフィックラインを示すために作成された色付きのトレース、
    グラフィックオブジェクト、および
    拡張現実要素
    を含む、請求項12に記載のシステム。
  14. 前記色付きのトレースは、
    ゴルフボールの飛行経路、
    フットボール選手の走行経路、
    フットボールの飛行経路、
    サッカー選手の走行経路、
    サッカーボールの飛行経路、
    ダウンヒルスキーヤーまたはスノーボーダーの経路、
    スイマーの水泳経路、
    前記第1のユーザが釣った魚の遊泳経路、
    双胴船またはボートレース船の航行経路、および
    マウンテンバイクまたはレースバイクのサイクリング経路
    の1つ以上のためのトレースを作成することを含む、請求項13に記載のシステム。
  15. 活動を自動的に録画および処理するためのシステムであって、
    第1の所定の活動のビデオを録画するために第1の地理的位置に配置された第1の遠隔カメラと、
    前記第1の遠隔カメラに動作可能に関連付けられ、前記カメラと通信する、第1のプロセッサおよびメモリとを備え、前記第1のプロセッサおよびメモリは前記第1の地理的位置の近くに配置され、
    前記システムは、前記プロセッサにアクセス可能な人工知能(AI)ロジックをさらに備え、前記人工知能(AI)ロジックは前記第1の遠隔カメラによってキャプチャされたビデオフレーム内に録画されたユーザを識別するロジックを伴って構成され、
    前記システムは、前記第1のプロセッサおよびメモリに関連付けられたローカルビデオ処理エンジンをさらに備え、前記ローカルビデオ処理エンジンは前記ビデオフレーム内の画像を処理して前記第1のユーザを識別するように構成され、
    前記第1のプロセッサは、前記第1のユーザおよび前記第1の所定の活動を識別すると前記ビデオを変更するようにさらに構成され、
    前記システムは、フォーマットされたビデオを遠隔ビデオ処理システムに通信することができる通信モジュールをさらに備え、前記遠隔ビデオ処理システムは前記フォーマットされたビデオをさらに処理し、前記識別された第1のユーザのモバイルアプリへのアクセスを可能にするように構成されている、システム。
  16. 前記AIロジックは、
    ゴルファー、
    ゴルフボール、
    シャツ、
    シャツの色、
    ズボン、
    ズボンの色、
    スカート、
    スカートの色、
    帽子、
    帽子の色、
    ゴルフグローブ、
    ゴルフシューズ、
    ゴルフカート、
    ゴルフカートに乗っている1人以上の人、
    ゴルフティー、
    ゴルフクラブ、
    アイアン、
    ドライバー、
    ユーティリティクラブ、
    パター、
    ウェッジ、
    ゴルフボールのロゴ、
    男性、
    女性、
    子供、
    若者、
    シャツのロゴ、
    キャディー、
    進行係、
    ブランド、
    左利きのゴルファー、
    右利きのゴルファー、
    バイザー、
    眼鏡、
    サングラス、
    飲み物、
    ティーボックス、
    ティーボックスの色、
    樹木、
    フェアウェイ、
    カート経路、
    グリーン、
    ピン、
    ホール、
    サンドバンカー、
    ウォーターハザード、
    グラスハザード、
    森、
    アウトオブバウンズ、
    ラフ、
    グリーンのファーストカット、
    グリーンのセカンドカット、
    鳥、
    虫、
    動物、
    ティーからピンまでの距離、
    ティーからグリーン手前までの距離、
    ティーからグリーン中心までの距離、
    ティーからグリーンの後ろまでの距離、
    赤杭、
    白杭、
    黄杭、
    標高の変化、
    雲、
    雨、
    雪、
    霧、
    靄、
    泥、
    風、
    グリーンの形態、または
    ホールのカット
    の1つ以上を識別することができるロジックをさらに含む、請求項15に記載のシステム。
  17. 前記AIロジックは、
    ゴルフ活動、
    フットボール活動、
    サッカー活動、
    ラクロス活動、
    野球活動、
    バスケットボール活動、
    テニス活動、
    ピックルボール活動、
    ビーンバッグトス活動、
    ボウリング活動、
    ビリヤード活動、
    水泳活動、
    ダイビング活動、
    レース活動、
    ホッケー活動、
    フィールドホッケー活動、
    ディスクゴルフ活動、
    ラグビー活動、
    スキー活動、
    スノーボード活動、
    サイクリング活動、
    釣り活動、
    ボート活動、および
    スポーツ活動
    の1つ以上を含む活動を識別することができるロジックをさらに含む、請求項16に記載のシステム。
  18. 前記遠隔ビデオ処理システムは、前記第1のプロセッサと通信する遠隔ビデオ処理管理システムをさらに含み、前記遠隔ビデオ処理管理システムは、第1の一連の録画されたビデオを受信し、前記第1の一連の録画されたビデオを処理して前記AIロジックを作成するように構成され、
    前記第1の一連の録画されたビデオの処理は、前記録画されたビデオの各々の1つ以上のフレーム内の1つ以上の一意に識別されたオブジェクトにタグを付けることを含み、前記タグを付けることは、前記録画されたビデオ内のユーザおよびユーザの活動を識別するためのタグを含み、
    前記処理は、タグ付けされたオブジェクトのニューラルネットワークを含む前記AIロジックを作成し、前記所定の場所でビデオを処理する場合に使用するために前記AIロジックを前記第1のプロセッサに配信することをさらに含み、
    前記処理は、前記通信モジュールから前記フォーマットされたビデオを受信し、前記モバイルアプリの使用に基づいて前記フォーマットされたビデオを変更することをさらに含む、請求項17に記載のシステム。
  19. 前記ビデオ処理システムと通信する遠隔ビデオ処理管理システムをさらに備え、前記遠隔ビデオ処理管理システムは、
    前記ビデオ処理システムおよび前記第1の遠隔カメラから受信した処理されたビデオを格納するクラウドストレージに結合されたネットワークプロセッサと、
    前記フォーマットされたビデオにアクセスして前記フォーマットされたビデオを処理するように構成された人工知能(AI)対応グラフィック処理エンジンと、
    前記フォーマットされたビデオの1つ以上のフレームに追加される前記AI対応グラフィック処理エンジンにアクセス可能なグラフィックアセットと、
    前記フォーマットされたビデオの配信場所に基づいて前記フォーマットされたビデオをフォーマットするように構成されたフォーマットマネージャと、
    前記ネットワークプロセッサにアクセス可能な配信マネージャとを含み、前記配信マネージャは前記フォーマットされたビデオを前記配信場所に配信するように構成されている、請求項15に記載のシステム。
  20. 前記配信マネージャに関連付けられたモバイルアプリをさらに備え、前記モバイルアプリは前記配信マネージャによって提供されるコンテンツを含み、前記コンテンツは、
    前記遠隔ビデオ処理管理システムによって出力された1つ以上のフォーマットされたビデオと、
    1つ以上の活動を使用して作成されたビデオのリストと、
    前記1つ以上のビデオが録画された場所のリストと、
    前記フォーマットされたビデオを共有するためのソーシャルメディア機能と、
    前記第1のユーザの前記フォーマットされたビデオにコーチがアクセスしてコメントできるように構成された仮想コーチング機能とを含む、請求項19に記載のシステム。
  21. 前記プロセッサは、前記第1の遠隔カメラによってキャプチャされた前記ビデオフレーム内に録画された第2のユーザを識別するように構成され、
    前記プロセッサは、前記第1のビデオからビデオフレームを抽出するように構成され、前記ビデオフレームは前記第2のユーザを含み、
    前記プロセッサは、前記抽出されたビデオフレームを第2のフォーマットされたビデオに結合するように構成され、前記第2のフォーマットされたビデオは前記第2のユーザを含み、
    前記通信モジュールは、前記第2のフォーマットされたビデオを前記遠隔ビデオ処理システムに通信し、前記遠隔ビデオ処理システムは、前記ビデオをさらに処理し、前記識別された第2のユーザのモバイルアプリへのアクセスを可能にするように構成されている、請求項15に記載のシステム。
  22. 前記遠隔ビデオ処理管理システムは、さらに、
    前記録画された活動中に、前記第1のユーザの近くにいる前記第2のユーザを識別し、
    前記遠隔ビデオ処理システムによって生成された第2のビデオの前記第1のユーザへのアクセスを開始し、
    前記モバイルアプリを使用して、前記第1のユーザが前記第2のビデオにアクセスすることを可能にするように構成されている、請求項21に記載のシステム。
  23. ビデオを自動的に録画および提供する方法であって、
    第1の地理的位置に配置された第1の遠隔カメラを使用して、所定の活動のビデオを録画するステップと、
    前記第1の地理的位置での前記ビデオを処理するステップとを含み、前記処理は、
    前記所定の活動を行う第1のユーザを識別することと、
    前記所定の活動中に前記第1のユーザを含む前記ビデオから画像フレームを抽出することと、
    前記抽出された画像フレームをマージして、フォーマットされたビデオを生成することとを含み、
    前記方法は、追加の処理のために、前記フォーマットされたビデオを遠隔ビデオ処理システムに出力するステップをさらに含む、方法。
  24. 前記ビデオ内で前記所定の活動を行う第2のユーザを識別するステップと、
    前記所定の活動を行う前記第2のユーザを含む追加の画像フレームを抽出するステップと、
    前記追加の画像フレームをマージして、第2のフォーマットされたビデオを生成するステップと、
    前記第2のフォーマットされたビデオを前記遠隔ビデオ処理システムに出力するステップとをさらに含む、請求項23に記載の方法。
  25. 前記第1の地理的位置に第2の遠隔カメラを設けるステップと、
    前記第1の地理的位置をゴルフコースのゴルフホールとして識別するステップと、
    前記ゴルフホールのティーボックスの周りに第1のジオフェンスを設置するステップと、
    前記ゴルフホールのグリーンの周りに第2のジオフェンスを設置するステップと、
    第1のユーザが前記第1のジオフェンス内にいるときを検出するステップと、
    前記所定の活動を録画するために前記第1のジオフェンス内の前記第1のユーザを識別することに応答して、前記第1の遠隔カメラおよび前記第2の遠隔カメラの録画をアクティブ化するステップと、
    前記第1のユーザが前記第2のジオフェンス内にいるときを検出するステップと、
    前記第1のユーザが前記第2のジオフェンスを離れるときを検出するステップと、
    前記第1のユーザが前記第2のジオフェンスを離れるときに前記所定の活動の録画を無効にするステップとをさらに含む、請求項23に記載の方法。
  26. 前記第1のジオフェンスは、第1のジオフェンス半径を含み、
    前記第2のジオフェンスは、前記第1のジオフェンス半径とは異なる第2のジオフェンス半径を含む、請求項25に記載の方法。
  27. 前記第1のジオフェンスは、第1のジオフェンスサイズを含み、
    前記第2のジオフェンスは、前記第1のジオフェンスサイズとは異なる第2のジオフェンスサイズを含む、請求項25に記載の方法。
  28. 前記所定の活動をゴルフ活動として識別するステップと、
    第1の画像フレームを抽出して、前記第1の画像フレーム内の第1の位置にあるゴルフボールを識別するステップと、
    前記第1の画像フレームよりも遅い期間で第2の画像フレームを抽出するステップと、
    前記ゴルフボールが前記第2の画像フレーム内の別の位置に移動したかどうかを決定するステップと、
    前記第2の画像フレーム内から前記第1の位置まで延びる色付きの線を引くステップと、
    前記ゴルフボールが見えなくなるまで後続のフレームで線を引くことを繰り返すステップと、
    前記ゴルフボールが着地する場所を推定するステップと、
    前記ゴルフボールが着地する推定位置へ色付きの線を引くステップとをさらに含む、請求項23に記載の方法。
  29. 特定の活動を識別するために以前に録画された活動を使用してAIロジックを作成するステップと、
    前記AIロジックを使用して前記特定の活動を識別するステップと、
    前記特定の活動を行う前記第1のユーザを識別するステップと、
    前記特定の活動の画像フレームの抽出を開始するステップと、
    前記特定の活動の前記抽出された画像フレームを組み合わせるステップとをさらに含む、請求項23に記載の方法。
  30. 前記AIロジックを作成するステップは、
    以前に録画されたビデオ内でゴルフクラブを保持しているゴルファーを識別するステップと、
    特定の服、ゴルフクラブ、およびゴルフボールを持っている前記ゴルファーにタグを付けるステップと、
    以前に録画された多数の活動および画像フレームに対して、前記識別するステップとタグを付けるステップを繰り返すステップと、
    前記タグ付けされた画像を使用して前記AIロジックを生成するステップと、
    前記第1の遠隔カメラを有するゴルフコースで前記AIロジックを使用するステップとをさらに含む、請求項29に記載の方法。
JP2021568426A 2019-05-13 2020-05-13 自律的な活動監視システムおよび方法 Pending JP2022533152A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962847052P 2019-05-13 2019-05-13
US62/847,052 2019-05-13
PCT/US2020/032697 WO2020232139A1 (en) 2019-05-13 2020-05-13 Autonomous activity monitoring system and method

Publications (1)

Publication Number Publication Date
JP2022533152A true JP2022533152A (ja) 2022-07-21

Family

ID=71094804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568426A Pending JP2022533152A (ja) 2019-05-13 2020-05-13 自律的な活動監視システムおよび方法

Country Status (7)

Country Link
US (8) US11003914B2 (ja)
EP (1) EP3970358A1 (ja)
JP (1) JP2022533152A (ja)
KR (1) KR20220061054A (ja)
AU (1) AU2020275846A1 (ja)
CA (1) CA3137575A1 (ja)
WO (1) WO2020232139A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891267A (zh) 2016-10-28 2019-06-14 Ppg工业俄亥俄公司 用于增加近红外检测距离的涂层
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
US11577146B1 (en) 2019-06-07 2023-02-14 Shoot-A-Way, Inc. Basketball launching device with off of the dribble statistic tracking
US11400355B1 (en) * 2019-06-07 2022-08-02 Shoot-A-Way, Inc. Basketball launching device with a camera for detecting made shots
US11606617B2 (en) * 2020-03-11 2023-03-14 Augusta National, Inc. Method, apparatus and computer program product for presenting a sporting event
US11875517B2 (en) * 2020-03-23 2024-01-16 Full-Swing Golf, Inc. Golf ball tracking system and methods
US11445245B2 (en) * 2020-06-03 2022-09-13 Caavo Inc Synchronized combinations of captured real-time media content with played-back digital content
US20220280855A1 (en) * 2021-03-05 2022-09-08 Trackman A/S System and method for player's identification
US11581019B2 (en) * 2021-03-12 2023-02-14 Snap Inc. Automated video editing
KR102324657B1 (ko) * 2021-04-26 2021-11-10 주식회사 유라이크 캘리브레이션 기능이 구비된 골프 분석 장치
US20230048851A1 (en) * 2021-08-12 2023-02-16 Jocelyn Bruno Golf Ball Tracking System and Method
US11849225B2 (en) 2022-02-21 2023-12-19 Ghost Autonomy Inc. Throughput reduction in autonomous vehicle camera sensors
US11805316B2 (en) * 2022-02-21 2023-10-31 Ghost Autonomy Inc. Reducing camera sensor throughput via an intermediary device
US11909944B1 (en) * 2022-02-21 2024-02-20 Ghost Autonomy Inc. Dynamic calibration of cameras in a stereoscopic configuration
US20240017150A1 (en) * 2022-07-14 2024-01-18 Christopher Brigdale System and method of capturing and recording video content of golf ball striking and subsequent flight
US11712610B1 (en) 2023-01-11 2023-08-01 Shoot-A-Way, Inc. Ultrasonic shots-made detector for basketball launching device

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW381975B (en) 1997-09-01 2000-02-11 Nrc Group Ltd A roulette wheel assembly and table arrangement
US6520864B1 (en) * 1999-07-07 2003-02-18 Peter J. Wilk Method for tracking golf ball
US8933967B2 (en) 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
US8613620B2 (en) * 2005-07-26 2013-12-24 Interactive Sports Direct Incorporated Method and system for providing web based interactive lessons with improved session playback
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US9306952B2 (en) 2006-10-26 2016-04-05 Cfph, Llc System and method for wireless gaming with location determination
US20080108456A1 (en) 2006-11-02 2008-05-08 Bonito Anthony P Golf scoring, marketing and reporting system and method of operation
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US8451333B2 (en) * 2007-08-06 2013-05-28 Frostbyte Video, Inc. Video capture system and method
US10462409B2 (en) * 2007-12-28 2019-10-29 Google Technology Holdings LLC Method for collecting media associated with a mobile device
US20090191929A1 (en) 2008-01-24 2009-07-30 Full Swing Golf Golf simulator connected to the internet
GB0810457D0 (en) 2008-06-07 2008-07-09 Reid Martin Gold system
CA2740109C (en) * 2008-10-08 2016-01-19 Interactive Sports Technologies Inc. Sports simulation system
JP5725629B2 (ja) 2010-04-01 2015-05-27 ゴルフゾン カンパニー リミテッド 映像処理装置および映像処理方法
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
CN103118647B (zh) * 2010-09-22 2016-04-06 松下知识产权经营株式会社 运动支援系统
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US9154747B2 (en) * 2010-12-22 2015-10-06 Pelco, Inc. Stopped object detection
US20130057695A1 (en) * 2011-09-07 2013-03-07 Timothy J. Huisking Method and apparatus for unlocking/locking a door and enabling two-way communications with a door security system via a smart phone
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
JP2013248381A (ja) 2012-05-01 2013-12-12 Maruyoshi Setsubi Service Kk ホールインワン確認システム及びそのカメラ
US10649613B2 (en) * 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
US9383448B2 (en) 2012-07-05 2016-07-05 Deca System Co., Ltd. Golf GPS device with automatic hole recognition and playing hole selection
US9589190B2 (en) * 2012-12-21 2017-03-07 Robert Bosch Gmbh System and method for detection of high-interest events in video data
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
US9421440B1 (en) * 2013-07-08 2016-08-23 Hon Chau Technologies for flagstick distance determination
US8823795B1 (en) * 2013-07-26 2014-09-02 SkyBell Technologies, Inc. Doorbell communication systems and methods
US8941736B1 (en) * 2013-07-26 2015-01-27 SkyBell Technologies, Inc. Doorbell communication systems and methods
DE202014011537U1 (de) 2013-12-09 2022-02-01 Todd Martin System zur Zeitmessung und zum Fotografieren eines Ereignisses
CN105828893A (zh) 2013-12-24 2016-08-03 索尼公司 图像处理装置和图像处理方法
US20170272703A1 (en) * 2014-04-30 2017-09-21 Gchd Partners, Llc Athletic performance data acquisition systems, apparatus, and methods
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9805567B2 (en) * 2015-09-14 2017-10-31 Logitech Europe S.A. Temporal video streaming and summaries
US10469308B2 (en) * 2015-10-19 2019-11-05 Noritz Corporation Communication adapter for collecting information about a system being monitored
US10733456B2 (en) * 2015-12-21 2020-08-04 A9.Com, Inc. Sharing video footage from audio/video recording and communication devices
WO2018187865A1 (en) * 2017-04-10 2018-10-18 Ank Partners Inc. Golf system
AU2017272325A1 (en) * 2017-12-08 2019-06-27 Canon Kabushiki Kaisha System and method of generating a composite frame
WO2019229748A1 (en) * 2018-05-28 2019-12-05 United Perfectum Ltd. Golf game video analytic system
EP3857477A1 (en) * 2018-09-27 2021-08-04 HTI Digital GmbH System and method for detecting the number of users on at least one ski resort run
US20200406118A1 (en) * 2019-06-30 2020-12-31 Cecelumen, Llc Golf related methods and apparatus

Also Published As

Publication number Publication date
KR20220061054A (ko) 2022-05-12
US11003914B2 (en) 2021-05-11
US20220180637A1 (en) 2022-06-09
US20210350137A1 (en) 2021-11-11
WO2020232139A1 (en) 2020-11-19
US11763563B2 (en) 2023-09-19
US12014543B2 (en) 2024-06-18
US20200364462A1 (en) 2020-11-19
US12008809B2 (en) 2024-06-11
AU2020275846A1 (en) 2022-01-06
US20240005659A1 (en) 2024-01-04
US20220180636A1 (en) 2022-06-09
US11551451B2 (en) 2023-01-10
US20230122348A1 (en) 2023-04-20
EP3970358A1 (en) 2022-03-23
US11270125B2 (en) 2022-03-08
US11741714B2 (en) 2023-08-29
US20230401849A1 (en) 2023-12-14
US20220383636A1 (en) 2022-12-01
CA3137575A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US12014543B2 (en) Artificial intelligence-enabled golf course
US11956572B2 (en) Autonomous golf competition systems and methods
US11941915B2 (en) Golf game video analytic system
JP2023169203A5 (ja)
US20210383124A1 (en) Autonomous activity monitoring system and method
US11729490B2 (en) Autonomous digital media processing systems and methods
JP2024508136A (ja) プレーヤーの識別のためのシステムおよび方法
US12005337B2 (en) Autonomous digital media processing systems and methods
JPWO2021248050A5 (ja)
CA3208026A1 (en) Autonomous digital media processing systems and methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240606

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611