JP2021114288A

JP2021114288A - 深層学習に基づく馬速計算システム及び方法

Info

Publication number: JP2021114288A
Application number: JP2021003199A
Authority: JP
Inventors: レウンクワン、クォック; Kwok Leung Kwan
Original assignee: Target Information Co Ltd
Current assignee: Target Information Co Ltd
Priority date: 2020-01-13
Filing date: 2021-01-13
Publication date: 2021-08-05
Anticipated expiration: 2041-01-13
Also published as: AU2021200218B2; WO2021143716A1; JP7168153B2; CN111274914A; CN111274914B; EP4105819A1; EP4105819A4; AU2021200218A1

Abstract

【課題】より科学的な方法で馬を観察したり、馬の速度を計算したりするために、人工知能技術を使用して、深層学習に基づく馬速計算システムおよび方法を提供する。【解決手段】深層学習に基づく馬速計算システムにおける方法は、カメラによって競技前にフィールドを歩き回っている馬の映像を取得して、オプティカルフロー場の計算、深層学習に基づくオブジェクトの検出、オプティカルフロー場の濾過、カメラ速度の計算、馬の変位でカメラ速度への調整及び単位変換によって、最後に対象馬の平均速度を取得する。【選択図】なし

Description

本発明は、深層学習の技術分野に関し、特に深層学習に基づく馬速計算システムおよび方法に関する。

乗馬スポーツは、スポーツ、フィットネス、レジャーを統合したスポーツであり、近年、ますます多くの人々に愛されている。乗馬スポーツに基づくスピード競馬は、競技イベントに発展し、スピードとライディングスキルで勝ち、ライダーの総合的なレベルをテストする。現在、馬のランキングを予測する際には、一般的に馬の状態（疲労の程度、発汗量、動作など）を視覚的に観察することに基づいて推定している。より正確な科学的かつインテリジェントな手段がまだ欠如している。

先行技術の欠点に鑑みて、本発明は、より科学的な方法で馬を観察したり、馬の速度を計算したりするために、人工知能技術を使用して、深層学習に基づく馬速計算システムおよび方法を提供することを目的とする。

上記の目的を達成するために、本発明は以下の技術的解決手段を採用する：

深層学習に基づく馬速計算システムの方法であって、以下のステップを含む：

Ｓ１、競技開始前に、競技に参加する馬が競技場を歩き回っており、カメラは、競技場を歩き回っている対象馬の映像を撮影してオプティカルフロー場計算モジュールに送信し、撮影中に、カメラは対象馬を撮影範囲内に維持するように回転する。

Ｓ２、カメラにより取得された映像に対して画像抽出を実行し、連続する画像間のオプティカルフロー場を計算する。

オプティカルフロー場計算モジュールは、カメラにより入力された映像を単独のフレームにデコードして、所定数Ｎのフレームごとに画像を抽出し、つまり、２枚の連続する画像間にＮ個のフレームがあり、２枚の連続する画像間のオプティカルフロー場を計算する。

Ｓ３、映像に対してオブジェクト人工知能検出を実行する。

オブジェクト人工知能検出モジュールは、映像に出現したオブジェクトを検出し、対象馬の位置とサイズを含む、検出された各オブジェクトの位置とサイズを保存し、オブジェクトの位置は中心点の位置であり、サイズは長さと幅を含む。

Ｓ４、オプティカルフロー場濾過モジュールは、ステップＳ３で検出されたオブジェクトに基づいて、ステップＳ２で得られたオプティカルフロー場からすべての移動オブジェクトを濾除する。

Ｓ５、カメラ速度計算モジュールは、ステップＳ４で濾過後のオプティカルフロー場に基づいてカメラの方向と速度を計算する。

Ｓ６、２枚の連続する画像間の対象馬速を計算する。

オブジェクト人工知能検出モジュールにより検出された対象馬の位置に基づいて、対象馬の現在画像における位置から１枚前の画像における位置を差し引くことによって、２枚の連続する画像間の対象馬の変位を算出し、変位の単位はピクセル／Ｎフレームであり、よって、対象馬速計算モジュールは、ピクセル／Ｎフレームを単位とする最終的なカメラ速度、つまり対象馬速Ｈ_ｐを以下［数１］のように算出し：

ωはピクセル／Ｎフレームを単位とするカメラの角速度であり、

［数２］は１枚前の画像における対象馬の中心位置であり、ｄは現在画像における対象馬の中心位置である。

Ｓ７、出力モジュールは、算出された２つの連続する画像間の対象馬速のすべてを平均して、対象馬の平均速度を取得する。

さらに、ステップＳ２において、設定されたフレーム数は、５フレームである。

さらに、ステップＳ２において、オプティカルフロー場は、Ｆａｒｎｅｂａｃｋ方法を使用して算出される。

さらに、ステップＳ３において、オブジェクト人工知能検出モジュールは、ＹＯＬＯｖ３ネットワークを使用してオブジェクトの人工知能検出を実現する。

さらに、ステップＳ６において、Ｈ_ｐを単位変換して、馬の長さ／秒を単位とする対象馬速を取得する。

まず、以下のように、Ｈ_ｐに基づいてピクセル／秒を単位とする対象馬速［数３］

を算出する：

ｆｐｓは映像の１秒あたりのフレーム数である。

次に、ピクセルを馬の長さに変換して、以下のように馬の長さ／秒を単位とする対象馬速Ｖ_ｔを算出する。

［数６］は、ピクセル／秒を単位とする対象馬速であり、Ｐｉｘｅｌｓはピクセル／馬の長さを単位とする馬の長さのピクセル数である。

さらに、人工知能検出モジュールにより検出された対象馬の長さに対しては、異常状態検出方法ＲＡＮＳＡＣを使用して、検出された馬の長さをチェックし、対象馬が映像の開始後の短い時間内に正常に歩くと仮定すると、新しいデータポイントの出現に伴って、新しい回帰モデルは、このサンプルデータ群に基づいて更新され、新しい回帰モデルと照合して新しいデータポイントをチェックし、既存の回帰モデルの高品質のデータポイントと照合することによって、すべての異常なデータ値が除去されて、既知の有効長に置き換えられる。

本発明はさらに深層学習に基づく馬速計算システムを提供し、このシステムは、

競技場に配置されており、競技前に競技場を歩き回っている対象馬の映像を撮影し、撮影中に、対象馬を撮影範囲内に維持するように回転するためのカメラと、

カメラにより取得された映像から画像を抽出し、連続する画像間のオプティカルフロー場を計算するためのオプティカルフロー場計算モジュールと、

人工知能を使用して、映像内のオブジェクトの位置とサイズを検出して保存するためのオブジェクト人工知能検出モジュールと、

オブジェクト人工知能検出モジュールの検出結果に従って、オプティカルフロー場計算モジュールにより算出されたオプティカルフロー場を濾過し、すべての移動物体を濾除するためのオプティカルフロー場濾過モジュールと、

オプティカルフロー場濾過モジュールにより濾過されたオプティカルフロー場を使用して、カメラの方向と速度を計算するためのカメラ速度計算モジュールと、

オブジェクト人工知能検出モジュールにより検出された対象馬の位置に基づいて、対象馬の現在画像における位置から１枚前の画像における位置を差し引くことによって、２枚の連続する画像間の対象馬の変位を算出し、馬の変位を使用してカメラ速度計算モジュールにより算出された２つの連続する画像間のカメラ速度を調整することによって対象馬速Ｈ_ｐを取得し、調整式は、

であり、ωはピクセル／Ｎフレームを単位とするカメラの角速度であり、

［数８］は１枚前の画像における対象馬の中心位置であり、ｄは現在画像における対象馬の中心位置である目標馬速計算モジュールと、

取得された２つの連続する画像間の対象馬速のすべてを平均して、対象馬の平均速度を取得して輸出するための出力モジュールと、

を含む。

本発明の有益な効果は、本発明が人工知能技術を使用してより科学的な方法で馬を観察したり、馬度を計算したりすることを実現し、その結果、馬の競争ランキングを効果的に予測できることである。

ＹＯＬＯｖ３のネットワークアーキテクチャの概略図である。移動物体から光流ベクトルが除去されたときのオプティカルフロー場のヒストグラムへの影響を示す概略図である。異なる姿勢での異なる馬の長さを示す概略図である。本発明に係る実施形態の試験結果の概略図である。本発明に係る実施形態の試験結果の概略図である。

本発明は、添付の図面と併せて以下にさらに説明される。本実施形態は本技術的解決手段を前提条件として詳細な実施方式および特定の操作手順を提供するが、本発明の保護範囲は、この実施形態に限定されないことに留意されたい。

＜実施形態１＞
本実施形態は、深層学習に基づく馬速計算システムの方法を提供し、以下の手順を含む：

Ｓ１、競技開始前に、競技に参加する馬が競技場を歩き回っており、カメラは、競技場を歩き回っている対象馬の映像を撮影してオプティカルフロー場計算モジュールに送信し、撮影中に、上記カメラは対象馬を撮影範囲内に維持するように回転する。

映像は通常、ＡＶＩまたはＭＰ４エンコーディングで記録されるが、リアルタイムＲＴＳＰストリーミングも利用できる。映像は毎秒２３〜２６フレームである。

カメラの回転速度ωは、カメラが変化するラジアンレートΦを時間ｔで割った値に等しくなり、対象馬の直線速度（カメラの視野内にあると仮定）は、カメラと対象馬との間の距離の係数に比例する。しかし、希望の出力が馬の長さで表される且つカメラの配置（ズームレベル、距離など）が固定されないため、本実施形態では、１秒あたりのピクセル数、すなわちピクセル変位を使用してカメラの回転速度を表す。

本実施形態では、ピクセル変位を得るために、２枚の連続する画像間の光流れ（ＨｏｒｎａｎｄＳｃｈｕｎｃｋ）を計算する。本実施形態では、オプティカルフロー場計算モジュールは、カメラにより入力された映像を単独のフレームにデコードして、５フレームごとに画像を抽出し、つまり、２枚の連続する画像間に５つのフレームがある。乗馬速度が比較的遅いため、カメラの回転速度も遅いので、精度に影響を与えることなくフレームをスキップすることで全体的なパフォーマンスを向上させることができる。光流れは、２つの関連する画像間の移動を、例えば、画像速度や離散オブジェクト変位（ＢｅａｕｃｈｅｍｉｎａｎｄＢａｒｒｏｎ）など、推定するために使用される。１枚目の画像におけるピクセルのそれぞれにとっては価値がある。２つの画像間の時間が非常に短いと仮定すると、２枚目の画像におけるピクセル値は次のようになる：

Ｉ（ｘ，ｙ，ｔ）は、２枚目の画像における特定のピクセルのピクセル値を表し、ｘとｙは、ピクセルのｘ軸とｙ軸における座標値をそれぞれ表し、ｔは時間を表し、Δｘ、Δｙ、Δｔは、２枚目の画像における特定のピクセルの、１枚目の画像における対応のピクセルに対する、ｘ軸における座標値の変化値、ｙ軸における座標値の変化値および時間の変化値を表す。

光流れの目的は、２つの画像間の対応するピクセルを見つけて、それらを方向と長さ（方向は角度として表され、長さはピクセル数として表される。）として表すためである。オプティカルフロー場を計算する方法はいくつかある。本実施形態では、ファーンバック（Ｆａｒｎｅｂａｃｋ）法が採用されている。

２つの画像は次のようにモデル化できる：

ここで、φ_ｉ（ｘ，ｙ，ｔ）とη_ｉ（ｘ，ｙ，ｔ）、ｉ＝１，２，...，ｎはそれぞれ、２つの画像のｎ個のプロセスモデルの基本関数であり、Ａ_ｉは、各プロセスモデルの空間と時間の変化の係数である。

Ｅ_Ｄ（ｕ，ｖ）が測定の偏差項、Ｅ_Ｓ（ｕ，ｖ）が平滑化項、αが平滑化の加重係数であると仮定すると、２つの画像のオプティカルフロー場は、データの合計および加重の平滑化項の最小化である：

Ｅ（ｕ，ｖ）は、２つの画像のオプティカルフロー場を表す。

得られたオプティカルフロー場には様々なノイズが含まれているため、他の物体（主に人や馬）の移動に起因するノイズを除去する必要がある。

オブジェクト人工知能検出モジュールは、映像に表示されたオブジェクトを検出し、検出された各オブジェクトの位置とサイズ（対象馬の位置とサイズが含まれる。）を保存する。その中で、検出位置は、関連するオブジェクトの光流れベクトルを濾過するために使用される。対象馬の位置とサイズは、馬の長さを補正と計算するためにオブジェクト変位として保存される。

本実施形態では、オブジェクト検出人工知能はＹＯＬＯｖ３に由来し、ＹＯＬＯｖ３は、ＲｅｄｍｏｎとＦａｒｈａｄｉによって開発されたＤａｒｋ−ｎｅｔに由来する。他のオブジェクト検出モデルと同様に、ＹＯＬＯｖ３は、完全に畳み込みのニューラルネットワーク（ＣＮＮ）であり、残りのレイヤーとスキップコネクション技術を利用して、異なる深さのレイヤーを可能にし、推論結果に寄与する。このネットワークは、推論を行うために、５３個の畳み込み層と最後の完全接続層で構成されている。図１は、ＹＯＬＯｖ３のネットワークレイアウトを示す。

他の従来のオブジェクト検出人工知能と比べて、ＹＯＬＯｖ３の利点は、一回だけの推論が必要であるため、他の多次元／マルチパスモデルよりもはるかに速いことにある。

入力画像には１３×１３のグリッドを打ち込み、各グリッドは最大５つのオブジェクトを予測する。それぞれのバウンディングボックスに対しては、ネットワークが５つの座標ｔ_ｘ、ｔ_ｙ、ｔ_ｗ、ｔ_ｈ、ｔ_ｏを予測する。そのうち、ｔ_ｘ、ｔ_ｙはそれぞれ、バウンディングボックスの中心点のｘ軸座標とｙ軸座標であり、ｔ、ｔ_ｈはそれぞれ、バウンディングボックスの幅と高さであり、ｔ_ｏは、バウンディングボックスの信頼水準である。そうすると、列ｘと行ｙに位置する、座標が（ｃ_ｘ，ｃ_ｙ）である各グリッドの境界ボックスの幅と高さはｐ_ｗ，ｐ_ｈであり、オブジェクトの境界ボックスの予測は次のようになる：

その中で、α（）は論理活性化関数または正規化関数であり、結果値ε［０、１］。Ｐｒ（ｏｂｊｅｃｔ）はオブジェクトの確率であり、ＩＯＵ（ｂ，Ｏｂｊｅｃｔ）は、バウンディングボックスの精度である。これらの座標に加えて、各予測にはさらにそれに関連付けられるタイプを有する。本実施形態で使用されるＹＯＬＯｖ３ネットワークは、既に人間および馬に関する微調整訓練を受けており、ネットワークが人間および馬をより正確に検出できるように、最後の完全接続層で転移学習を行うことによって訓練を実現する。

各フレームの予測により、各オブジェクトの位置（中心点）とサイズ（長さと幅）が提供される。これらの情報は、オプティカルフロー場からのノイズを低減し、対象馬の変位とサイズを計算するために、下記の部分で使用される。

Ｓ４、オプティカルフロー場フィルターモジュールは、ステップＳ３で検出されたオブジェクトに基づいて、ステップＳ２で取得したオプティカルフロー場から、すべての移動オブジェクトを濾除する（ゼロに戻る）。このとき、オプティカルフロー場の最大成分は、５フレームごとにおける、ピクセルを単位とするカメラ速度となる。図２は、移動しているオブジェクトから光流れベクトルを除去した場合の、オプティカルフロー場のヒストグラムへの影響を示す。そのうち、図２（ａ）は濾過前の振幅ヒストグラム、図２（ｂ）は濾過後の振幅ヒストグラムである。

Ｓ５、カメラ速度計算モジュールは、ステップＳ４で濾過後のオプティカルフロー場に基づいてカメラの方向と速度を計算する：

各光流れベクトルは、方向（角度）と速度（ピクセル）という２つの部分で構成される：

１．方向：カメラの方向値ω_φがオプティカルフロー場の方向ヒストグラムの最大成分に等しい

２．速度：カメラの速度値ω_ｍがオプティカルフロー場の速度ヒストグラムの最大成分に等しい（逆方向を除去済）。

ここで、ω_φとω_ｍは、カメラの方向と速度（変位）であり、Ｄ_Ｈは、オプティカルフロー場の方向ヒストグラムであり、Ｍ_Ｈは、オプティカルフロー場の速度ヒストグラムであり、Ｆ_ωφは、方向についてのベクトルフィルターである。

Ｓ６、２枚の連続する画像間の対象馬速を計算する。

対象馬速が変化する可能性もあるし、カメラが対象を視野の中心に維持する可能性も低いため、この偏差は結果に影響を与えることがある。この影響を低減するために、対象馬の変位を計算することによって、算出されたカメラ速度を調整することができる。このような調整は、前の画像（つまり、５フレーム前）に対する現在の画像における対象馬の変位に基づくことであり、単位がピクセル／５フレームである。

具体的には、ステップＳ３において、オブジェクト人工知能検出モジュールは、対象馬の位置およびサイズを含む、各オブジェクト（人間および馬）の位置およびサイズを検出する。対象馬の現在位置から過去位置を差し引くことによって、対象馬の変位を算出する（ピクセル／５フレームを単位とする）。これによって、対象馬速計算モジュールは、ピクセルを単位とする最終的なカメラ速度、つまり対象馬速Ｈ_ｐを以下のように算出する：

ωはカメラの角速度（ピクセル／５フレームを単位とする）であり、

［数２１］は対象馬の中心の過去位置であり、ｄは対象馬の中心の現在位置である。希望の結果は馬の長さ／秒を単位とするため、Ｈ_ｐを変換する必要がある。まず、時間単位を５フレームから１秒に変換する。ｆｐｓは映像の１秒あたりのフレーム数である。そうすると、ピクセル／秒を単位とする対象馬速［数２２］

は以下である：

次に、ピクセル／秒を単位とする対象馬速を、馬の長さ／秒を単位とする対象馬速に変換する。

ステップＳ２．２において、オブジェクト人工知能検出モジュールは、対象馬の位置とサイズを検出する。ただし、位置とは異なり、対象馬のサイズはその姿勢に依存し、馬の長さの正確さもその姿勢に大きく依存する。図３（ａ）と（ｂ）は異なる馬の姿勢を示しており、２つの異なる姿勢での馬の長さの差異を明らかに見える。オブジェクト人工知能検出モジュールがオブジェクトを検出できない場合は、以前に知られている馬の長さが使用される。

このような状況を軽減するために、本実施形態は、異常状態検出方法ＲＡＮＳＡＣを使用して、検出された馬の長さをチェックする。対象馬が映像の開始後の短い時間内に正常に歩くと仮定すると、新しいデータポイントの出現に伴って、新しい回帰モデルは、このサンプルデータ群に基づいて更新される。新しい回帰モデルと照合して新しいデータポイントをチェックし、既存の回帰モデルの高品質のデータポイントと照合することによって、すべての異常なデータ値が除去されて、既知の有効長に置き換えられる。ピクセルを馬の長さに変換して、馬の長さ／秒を単位とする対象馬速Ｖ_ｔを算出する：

［数２５］はピクセル／秒を単位とする目標馬速であり、Ｐｉｘｅｌｓはピクセル／馬の長さを単位とする馬の長さのピクセル数である。

Ｓ７、出力モジュールは、算出された２枚の連続する画像間の対象馬速のすべてを平均して、対象馬の平均速度を取得する。平均速度は、馬の長さ／秒で表される。最終的な結果は、リアルタイム映像に表示したり、ファイルに出力したりすることができる。

予測によって得られた各馬の平均速度に基づいて、競技のランキングを効果的に予測することができる。

以下、試験を通して本実施形態に係る方法の性能をさらに説明する。

このテストには３０００を超えるサンプル映像があり、３０００を超える映像クリップからランダムに競技会場Ａからの４０個の映像クリップと競技会場Ｂからの４０個の映像クリップをサンプリングする。各映像の長さは３０〜４５秒である。図４には会場Ｂのテスト結果を示し、図５には会場Ａのテスト結果を示す。Ｘ軸は５％を間隔とするエラー率を表し、Ｙ軸はエラー率内の結果の数を表す。エラー率は、推定結果と実際の結果との差を実際の結果の絶対値で割ったものである：

εはエラー（パーセンテージ）であり、Ｒ_Ｔは実際の結果（馬の長さ／秒）であり、Ｒ_Ｐは本実施形態に係る方法による予測結果である。

人工で観測された実際の速度値は、距離が既知である映像内の２点間の時間を測定することで推定できる。また、馬の長さは、対象馬の実際の長さではなく、競走馬の平均長度（２．４ｍ）を使用する。実際の速度は次のように計算される：

Ｖ_ｔ＝実際の速度（馬の体／秒）
Ｄ＝砂円における２つの既知点の間の距離（ｍ）
Ｔ＝経過時間（秒）
Ｌ＝競走馬の平均長度（２．４ｍ／馬の体）

結果に示すように、テストサンプルの８６％（６９／８０）以上がエラーの１０％以内に収まっており、そして、テストサンプルの１．５％（１／８０）未満だけが２０％のエラー範囲外に落ちる。

これから分かるように、実施形態１に係る方法の精度は、期待値に匹敵する。正解率は９０％を超え、リコール率は８６％を超えている。さらに、異なる競技会場の環境も通常、非常に異なる（背景、移動物体／障害物の数、および観察距離）。したがって、実施形態１に係る方法は、異なる砂円条件に対してロバストを持ち、異なる視点にも適応することができる。

＜実施形態２＞

本実施形態は、深層学習に基づく馬速計算システムを提供し、以下を含む：

カメラは、競技場に設置されており、競技前に競技場を歩き回っている対象馬の映像を撮影するために使用される。撮影中に、上記カメラは対象馬を撮影範囲内に維持するように回転する。

オプティカルフロー場計算モジュールは、カメラにより取得された映像から画像を抽出して、連続する画像間のオプティカルフロー場を計算するために使用される。

オブジェクト人工知能検出モジュールは、ＹＯＬＯｖ３ネットワークを利用して映像内のオブジェクトの位置とサイズを検出して保存するために使用される。

オプティカルフロー場濾過モジュールは、オブジェクト人工知能検出モジュールの検出結果によって、オプティカルフロー場計算モジュールにより算出されたオプティカルフロー場を濾過し、すべての移動オブジェクトを濾除するために使用される。

カメラ速度計算モジュールは、オプティカルフロー場濾過モジュールにより濾過された光フローフィールドを利用して、カメラの方向と速度を計算するために使用される。

目標馬速計算モジュールは、オブジェクト人工知能検出モジュールの対象馬の位置に基づいて、対象馬の現在画像における位置から１枚前の画像における位置を差し引くことによって、２枚の連続する画像間の馬の変位を計算し、馬の変位を利用してカメラ速度計算モジュールにより算出された２枚の連続する画像間のカメラ速度を補正し、これによって２枚の連続する画像間のピクセルで表される対象馬速を取得し、その後、ピクセルで表される対象馬速に対して単位変換を行うために使用される。

出力モジュールは、取得した２枚の連続する画像間の対象馬速のすべてを平均して、対象馬の平均速度を取得して出力するために使用される。平均速度の単位は、馬の長さ／秒である。

当業者にとっては、上記の技術的解決手段およびアイデアに基づいて、対応する様々な変更および修正を提供することができる。これらの変更および修正のすべても、本発明の特許請求の範囲に含まれるべきである。

Claims

競技開始前に、競技に参加する馬が競技場を歩き回っており、カメラは、競技場を歩き回っている対象馬の映像を撮影してオプティカルフロー場計算モジュールに送信し、撮影中に、前記カメラは対象馬を撮影範囲内に維持するように回転するステップと、
前記カメラにより取得された映像に対して画像抽出を実行し、連続する画像間のオプティカルフロー場を計算するステップであって、前記オプティカルフロー場計算モジュールは、前記カメラにより入力された映像を単独のフレームにデコードして、前記連続する画像間において所定数Ｎのフレームごとに画像を抽出し、前記連続する画像間のオプティカルフロー場を計算するステップと、
前記映像に対してオブジェクト人工知能検出を実行し、オブジェクト人工知能検出モジュールは、前記映像に出現したオブジェクトを検出し、前記対象馬の位置とサイズを有する、検出された各オブジェクトの位置とサイズを保存するステップであって、前記オブジェクトの位置は中心点の位置であり、前記サイズは長さと幅を含む、保存するステップと、
オプティカルフロー場濾過モジュールは、前記保存するステップで検出された前記オブジェクトによって、前記オプティカルフロー場を計算するステップで得られたオプティカルフロー場からすべての移動オブジェクトを濾除するステップと、
カメラ速度計算モジュールは、前記濾除するステップ後のオプティカルフロー場に基づいて前記カメラの方向と速度を計算するステップと、
前記連続する画像間の対象馬速を計算し、前記オブジェクト人工知能検出モジュールにより検出された前記対象馬の位置に基づいて、前記対象馬の現在画像における位置から１枚前の画像における位置を差し引くことによって、前記連続する画像間の前記対象馬の変位を算出し、前記変位の単位はピクセル／Ｎフレームであり、よって、対象馬速計算モジュールは、ピクセル／Ｎフレームを単位とする最終的なカメラ速度である対象馬速Ｈ_ｐを［数１］によって算出するステップと、
出力モジュールは、算出された２つの連続する画像間の対象馬速のすべてを平均して、対象馬の平均速度を取得するステップと、
を含む、深層学習に基づく馬速計算システムの方法であって、

ωはピクセル／Ｎフレームを単位とする前記カメラの角速度であり、上記［数２］は１枚前の画像における対象馬の中心位置であり、ｄは現在画像における対象馬の中心位置である、馬速計算システムの方法。
前記オプティカルフロー場を計算するステップにおいて、設定されたフレーム数は、５フレームである、請求項１に記載の馬速計算システムの方法。
前記オプティカルフロー場を計算するステップにおいて、前記オプティカルフロー場は、Ｆａｒｎｅｂａｃｋ方法を使用して算出される、請求項１または２に記載の馬速計算システムの方法。
前記保存するステップにおいて、オブジェクト人工知能検出モジュールは、ＹＯＬＯｖ３ネットワークを使用してオブジェクトの人工知能検出を実現する請求項１から３のいずれか一項に記載の馬速計算システムの方法。
前記算出するステップにおいて、前記対象馬速Ｈ_ｐを単位変換して、馬の長さ／秒を単位とする対象馬速を取得し、
［数３］のように、前記対象馬速Ｈ_ｐに基づいてピクセル／秒を単位とする対象馬速［数４］を算出し、
ピクセルを馬の長さに変換して、［数５］によって馬の長さ／秒を単位とする対象馬速Ｖ_ｔを算出する、馬速計算システムの方法であって、

ｆｐｓは映像の１秒あたりのフレーム数であり、Ｐｉｘｅｌｓはピクセル／馬の長さを単位とする馬の長さのピクセル数である、請求項１から４のいずれか一項に記載の馬速計算システムの方法。
人工知能検出モジュールにより検出された対象馬の長さに対しては、異常状態検出方法ＲＡＮＳＡＣを使用して、検出された馬の長さをチェックし、対象馬が映像の開始後の短い時間内に正常に歩くと仮定すると、新しいデータポイントの出現に伴って、新しい回帰モデルは、このサンプルデータ群に基づいて更新され、新しい回帰モデルと照合して新しいデータポイントをチェックし、既存の回帰モデルの高品質のデータポイントと照合することによって、すべての異常なデータ値が除去されて、既知の有効長に置き換えられる、請求項５に記載の馬速計算システムの方法。
競技場に配置されており、競技前に競技場を歩き回っている対象馬の映像を撮影することに用いられ、撮影中に、前記対象馬を撮影範囲内に維持するように回転するカメラと、
前記カメラにより取得された映像から画像を抽出し、連続する画像間のオプティカルフロー場を計算するオプティカルフロー場計算モジュールと、
人工知能を使用して、映像内のオブジェクトの位置とサイズを検出して保存するためのオブジェクト人工知能検出モジュールと、
前記オブジェクト人工知能検出モジュールの検出結果に従って、オプティカルフロー場計算モジュールにより算出されたオプティカルフロー場を濾過し、すべての移動物体を濾除するオプティカルフロー場濾過モジュールと、
前記オプティカルフロー場濾過モジュールによって濾過されたオプティカルフロー場を使用して、前記カメラの方向と速度を計算するカメラ速度計算モジュールと、
前記オブジェクト人工知能検出モジュールにより検出された前記対象馬の位置に基づいて、前記対象馬の現在画像における位置から１枚前の画像における位置を差し引くことによって、連続する画像間の前記対象馬の変位を算出し、前記対象馬の変位を使用して前記カメラ速度計算モジュールにより算出された前記連続する画像間のカメラ速度を調整式［数６］によって調整することで対象馬速Ｈ_ｐを取得する目標馬速計算モジュールであって、

ωはピクセル／Ｎフレームを単位とする前記カメラの角速度であり、上記［数７］は１枚前の画像における前記対象馬の中心位置であり、ｄは現在画像における前記対象馬の中心位置である、目標馬速計算モジュールと、
取得された前記連続する画像間の対象馬速のすべてを平均し、前記対象馬の平均速度を取得して出力する出力モジュールと、
を含む、深層学習に基づく馬速計算システム。