JP2022177631A - 制御システム - Google Patents

Abstract

【課題】インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間とから余裕時間を算出し、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供する。【解決手段】制御システム1は移動体の情報を送信する移動体検出部11、12、移動体の情報を受信し移動体の情報に基づき移動体の制御処理部152に制御情報を送信する管制システム13を備える。管制システム1は移動体の反応時間及び通信制御推定必要時間に基づき第１余裕時間を算出する余裕時間算出部135、制御情報の実行順序を決定する処理管理部136、移動体の情報と処理管理部136が決定した実行順序とに基づき制御情報を算出するアプリケーション部137、移動体の反応時間及び通信制御実必要時間に基づき第２余裕時間を算出し第２余裕時間に応じて制御情報を制御処理部152に送信する送信制御部138を備える。【選択図】図２

Description

本発明は、無線通信を含む制御システムのリアルタイム性向上技術に関する。

限定領域向けの移動サービスや搬送作業サービスを提供するために制御システムの自律化が進行している。例えば、車両による工場敷地内搬送システムや、自動フォークリフトやＡＧＶ（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）やロボットアーム付きＡＧＶによる倉庫管理システム、特定地区向けロボットタクシーや自動運転バス、鉱山における自動運転トラックなどがあげられる。

これらのサービスが行われるフィールドでは、自律的に認知・判断・制御を行う移動体（自律移動体）と、人が操作する移動体（有人移動体）と、歩行者や作業員など人が共存して各々の作業を行っている。

移動体のセンシング範囲は限られているために、路上や施設内に設置されたセンサ（インフラセンサ）で移動体の死角を監視し、無線通信で接続された移動体と人（が有するデバイス）に認識情報を通知、または移動体や人に行動を指示する技術が求められている。

特許文献１には、インフラセンサが移動体の死角に潜む他移動体や人を認識し、該当する移動体に情報共有や通知する技術が記載されている。

特開２０１９－２１５７８５号公報

特許文献１に記載の技術によると、移動体や人に対する安全性の向上が期待できる。

しかしながら、建物や車両の影などの場所によって無線通信の電波状況が異なるため、移動体や人の場所によって通信時間が変化する。そのため、複数の移動体や人に対して、認識情報共有や行動指示を行う際には、電波状況が良くない移動体や人との通信に時間を要し、他の移動体や人に対しての認識情報共有や行動指示が遅れてしまう可能性がある。

さらに、特許文献１に記載の技術では、フィールドに異種の移動体や、移動体と人が混在する状況を考慮していない。認識情報共有や制御指示を受けた後に反応し、行動を終了するまでの時間（制御反応時間）は、移動体や人に依存する。

例えば、人と人とは異なる移動体に停止指示を送信し、制動距離に要する制御反応時間を考慮すると、移動体が人よりも長い制御反応時間を要する場合、同タイミングで両方に衝突の警告を発行すると、人の方が警告に気づく時間は移動体よりも長いが、停止完了までの行動終了時間が短いために最終的な制御反応時間が短くなる。

つまり、死角がある場所において、通信状態が悪い人と通信状態が良い移動体の間で衝突リスクがある場合、移動体、人の順に情報を共有すると、逆の場合よりも衝突リスクが高くなるという課題がある。

このように、制御システムの稼働環境が複雑である場合には、事前に処理や通信の実行順に優先度を設定することが困難である。

本発明は、上記のような課題を解決するためになされたものであり、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することを目的とする。

上記課題を解決するための本発明の制御システムは、次のように構成される。

制御システムにおいて、移動体を検出し、前記移動体の情報を送信する移動体検出部と、前記移動体検出部が送信した前記移動体の前記情報を受信し、受信した前記移動体の前記情報に基づいて、前記移動体の制御処理部に制御情報を送信する管制システムと、を備える。前記管制システムは、前記移動体の反応時間及び通信制御推定必要時間に基づいて、第１余裕時間を算出する余裕時間算出部と、前記第１余裕時間に基づいて、前記制御情報の実行順序を決定する処理管理部と、前記移動体の前記情報と、前記処理管理部が決定した前記実行順序とに基づいて前記制御情報を算出するアプリケーション部と、前記移動体の反応時間及び通信制御実必要時間に基づいて、第２余裕時間を算出し、前記第２余裕時間に応じて前記制御情報を前記制御処理部に送信する送信制御部と、を備える。

本発明に係る制御システムによれば、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することができる。

実施例１に係る制御システムの全体概略構成図である。 実施例１に係る管制システムの内部構成図である。 実施例１に係る認識処理部の処理フローである。 実施例１に係る受信部の処理フローである。 実施例１に係る入力経過時間算出部の処理フローである。 実施例１に係る通信性能測定サーバ処理部の処理フローである。 実施例１に係る制御時間推定部の処理フローである。 実施例１に係る余裕時間算出部の処理フローである。 実施例１に係る余裕時間の算出説明図である。 実施例１に係る処理管理部の処理フローである。 実施例１に係るアプリケーション部の処理フローである。 実施例１に係る送信制御部の処理フローである。 実施例１に係る通信性能測定クライアント処理部の処理フローである。 実施例１に係る制御処理部の処理フローである。 実施例１に係るスレッドの優先度の例を示す図である。 実施例１に係る物体情報の例を示す図である。 実施例１に係る制御対象情報テーブルの例を示す図である。 実施例１とは異なる例であり、制御システムの実行タイミング（ＦＩＦＯ）の例の説明図である。 実施例１に係る制御システムの実行タイミングの例の説明図である。 実施例１とは異なる例であり、制御システムの実行タイミング（ＦＩＦＯ）の他の例の説明図である。 実施例１に係る制御システムの実行タイミングの他の例の説明図である。 実施例２に係る制御システムの管制システムの内部構成図である。 実施例２に係る制御時間推定部の処理フローである。 実施例２に係るアプリケーション部の処理フローである。 実施例２に係る物体情報の例を示す図である。 実施例２に係る物体情報の他の例を示す図である。 実施例２に係る制御対象情報テーブルの例を示す図である。

本発明に係る制御システムは、移動体検出部のセンシング時刻と無線通信時間と制御対象の反応時間から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御することで、リアルタイムに制御対象に認識情報を提供、あるいは行動指示を通知する。

以下、図面を用いて本発明の実施形態について説明する。

なお、実施例では、移動体検出部の一例として、インフラセンサを記載したが、インフラセンサに限らず、移動体を検出する検出装置等であれば、適用可能である。

（実施例１）
図１は、本発明の実施例１に係る制御システムの全体概略構成図である。

図１において、制御システム１は、インフラセンサ１１、インフラセンサ１２、管制システム１３、無線機器１４、自動車１５、バス１６、無線通信機器１７ＴＲを所持した歩行者１７、歩行者１８、信号機１９を管制するシステムである。

なお、図１には、歩行者１７、歩行者１８、信号機１９、自動車１５及びバス１６が、それぞれ互いに異なる余裕時間を有することを示す説明部分１Ａが示されている。

インフラセンサ１１とインフラセンサ１２との間は有線通信あるいは無線通信で通信される。無線機器１４は、自動車１５、バス１６、歩行者１７及び信号機１９と無線で通信する。歩行者１８が通信機器を所持している場合は、無線機器１４は、歩行者１８が無線通信機器と無線で通信する。

図２は、実施例１に係る管制システム１３の内部構成図であり、各部の処理フローを示す図である。

図２において、インフラセンサ１１、１２の認識処理部１１１は、センシング内容を分析し、検知した物体情報１３Ａを管制システム１３の受信部１３１に送信する。管制システム１３とインフラセンサ１１、１２の時刻は、管制システム１３の時刻同期部１１２Ａとインフラセンサ１１、１２の時刻同期部１１２Ｂで合わせられる。

受信部１３１は、物体情報１３Ａを、入力経過時間算出部１３２、制御時間推定部１３４、アプリケーション部１３７に送信する。通信性能測定サーバ処理部１３３は、時刻情報を通信性能測定クライアント処理部１５１に送信し、通信性能測定クライアント処理部１５１は、前記時刻情報を受信した際には、通信性能測定サーバ処理部１３３に返信する。通信性能測定サーバ処理部１３３は、受信した時刻情報に基づいて推定通信時間を算出し、制御時間推定部１３４に送信する。

入力経過時間算出部１３２は、物体情報１３Ａに内包された時刻情報からセンシング経過時間を算出し、余裕時間算出部１３５に送信する。制御時間推定部１３４は、物体情報１３Ａと推定通信時間から推定制御時間を算出し、余裕時間算出部１３５に送信する。

余裕時間算出部１３５は、センシング経過時間と推定制御時間から余裕時間を算出し、処理管理部１３６に送信する。

処理管理部１３６は、余裕時間に基づいてアプリケーション部１３７を起動する。アプリケーション部１３７は、制御対象情報、送信データ及び余裕時間を送信制御部１３８に通知する。送信制御部１３８は、余裕時間に応じて送信データを、制御対象情報に応じて制御対象１５、１６、１７、１９の制御処理部１５２に送信する。

以降より、実施例１に係る動作フローの詳細を説明する。

図３は認識処理部１１１の処理フローである。以下、図３の各ステップについて説明する。

（図３：ステップ１１１１）
認識処理部１１１は、インフラセンサ１１、１２のセンシング情報から物体を識別し、タイムスタンプを付与して管制システム１３に送信する。

図４は受信部１３１の処理フローである。以下、図４の各ステップについて説明する。

（図４：ステップ１３１１）
受信部１３１は、インフラセンサ１１、１２からの情報を取得し、アプリケーション部１３７、入力経過時間算出部１３２及び制御時間推定部１３４に送信する。
図５は、入力経過時間算出部１３２の処理フローである。以下、図５の各ステップについて説明する。

（図５：ステップ１３２１）
入力経過時間算出部１３２は、受信情報に付与されたタイムスタンプ情報と管制システム１３の基準時刻を比較し、センシング経過時間（Ｔ_ＩＳ＋Ｔ_ＵＬ）を算出する。その結果を余裕時間算出部１３５に送る。

図６は通信性能測定サーバ処理部１３３の処理フローである。以下、図６の各ステップについて説明する。

（図６：ステップ１３３１）
通信性能測定サーバ処理部１３３は、時刻情報を制御対象１５、１６、１７及び１９のそれぞれに送信する。

（図６：ステップ１３３２）
通信性能測定サーバ処理部１３３は、制御対象１５、１６、１７及び１９から送られてくる時刻情報を受信するまで待つ。

（図６：ステップ１３３３）
通信性能測定サーバ処理部１３３は、制御対象１５、１６、１７及び１９から受信した時刻情報と現在時刻から制御対象との通信時間を推定し、制御対象情報テーブル１３Ｂの推定通信時間を更新する。

図７は、制御時間推定部１３４の処理フローである。以下、図７の各ステップについて説明する。

（図７：ステップ１３４１）
制御時間推定部１３４は、物体情報の物体ＩＤに基づいて、制御対象情報テーブル１３Ｂを参照して、制御対象の反応時間と推定通信時間を取得し、推定制御時間を算出する。算出結果を余裕時間算出部１３５に送信する。

制御対象の反応時間は制御対象情報テーブル１３Ｂを参照しなくても良い。例えば、物体情報から制御対象が、デバイスを見ているか否か、あるいは移動体の方向を向いているか、あるいは人の年齢の情報に基づいて推定してもよい。

つまり、移動体には、歩行者を含み、制御処理部１５２は歩行者１７が所持する無線通信機器１７ＴＲであり、制御時間推定部１３４は、歩行者１７の反応時間を、無線通信機器１７ＴＲを見ているか否か、あるいは移動体である自動車１５やバス１６の方向を向いているか、あるいは歩行者１７の年齢の情報に基づいて推定することも可能である。

図８は、余裕時間算出部１３５の処理フローである。以下、図８の各ステップについて説明する。

（図８：ステップ１３５１）
余裕時間算出部１３５は、センシング経過時間と推定制御時間から余裕時間Ｔ１_{Ｌａｘｉｔｙ}を算出し、処理管理部１３６に送信する。実施例１では全体レイテンシ（Ｔ_Ｅ２ＥＬ）、Ｅ_ＳＡは固定時間として扱う。

次式（１）は、余裕時間Ｔ１_{Ｌａｘｉｔｙ}の算出式であり、次式（２）は、余裕時間Ｔ２_{Ｌａｘｉｔｙ}の算出式である。
Ｔ１_{Ｌａｘｉｔｙ}＝Ｔ_Ｅ２ＥＬ－（Ｔ_ＩＳ＋Ｔ_ＵＬ＋Ｅ_ＳＡ＋Ｅ_ＤＬ＋Ｅ_ＶＡ） ・・・（１）
Ｔ２_{Ｌａｘｉｔｙ}＝Ｔ_Ｅ２ＥＬ－（Ｔ_ＩＳ＋Ｔ_ＵＬ＋Ｔ_ＳＡ＋Ｅ_ＤＬ＋Ｅ_ＶＡ） ・・・（２）

上記式（１）において、余裕時間（Ｔ１_{Ｌａｘｉｔｙ}）は全体レイテンシ（Ｔ_Ｅ２ＥＬ）からインフラセンサ１１、１２のセンシング経過時間（Ｔ_ＩＳ＋Ｔ_ＵＬ）と推定アプリケーション実行時間（Ｅ_ＳＡ）と推定通信時間（Ｅ_ＤＬ）と制御対象反応時間（Ｅ_ＶＡ）の差分から算出できる。

上記式（２）において、余裕時間（Ｔ２_{Ｌａｘｉｔｙ}）は全体レイテンシ（Ｔ_Ｅ２ＥＬ）からインフラセンサ１１、１２のセンシング経過時間（Ｔ_ＩＳ＋Ｔ_ＵＬ）と実アプリケーション実行時間（Ｔ_ＳＡ）と推定通信時間（Ｅ_ＤＬ）と制御対象反応時間（Ｅ_ＶＡ）の差分から算出できる。

全体レイテンシ（Ｔ_Ｅ２ＥＬ）は、移動体や人に対して制御指示をして完了するまでのセンシングから行動終了するまでの時間（移動体検出部が移動体の情報を受信した時点から移動体が行動を終了するまでの時間）である。また、全体レイテンシは、移動体１５、１６、１７、１９が停止するまでの時間、あるいは、人１８に指示や警告を画像・音・振動で通知し、行動を起こし、終了するまでの反応時間を考慮した時間である。

例えば、移動体が遠隔操作（操舵制御）によって停止するまでの全体時間や、人が所持するデバイスへの表示、音の発生、振動させることで人を停止させるまでの全体時間の情報である。

つまり、移動体の制御処理部１５２に送信する制御情報は、車両の停止あるいは操舵制御、あるいは、人に指示や警告を与える画像・音・振動に関する情報である。

図９は、上記式（１）及び式（２）の説明図である。

図９において、Ｔ_ＩＳはインフラセンサ１１、１２の制御対象１５、１６、１７、１９を検知するセンシング時間（検知時間）であり、Ｔ_ＵＬはインフラセンサ１１、１２からのセンサ信号（検知信号）のアップリンク時間である。Ｅ_ＳＡはアプリケーション部１３７の推定アプリケーション実行時間、Ｅ_ＤＬは管制システム１３と制御対象の制御処理部１５２との推定通信時間、Ｅ_ＶＡは制御対象反応時間である。推定通信時間Ｅ_ＤＬと制御対象反応時間Ｅ_ＶＡとを加算した値が推定制御時間となる。

また、推定制御時間（推定通信時間Ｅ_ＤＬ＋制御対象反応時間Ｅ_ＶＡ）と、推定アプリケーション実行時間Ｅ_ＳＡと、センシング時間Ｔ_ＩＳと、アップリンク時間Ｔ_ＵＬと、を加算した値が通信制御推定必要時間である。

また、推定制御時間（推定通信時間Ｅ_ＤＬ＋制御対象反応時間Ｅ_ＶＡ）と、アプリケーション部１３７の実際の実行時間である実アプリケーション実行時間Ｔ_ＳＡと、センシング時間Ｔ_ＩＳと、アップリンクする時間Ｔ_ＵＬと、を加算した値が通信制御実必要時間である。

実アプリケーション実行時間Ｔ_ＳＡはアプリケーションが実行開始されてから終了するまでの時間である。推定アプリケーション実行時間Ｅ_ＳＡは実アプリケーション実行時間Ｔ_ＳＡより長い時間が設定されている。第１余裕時間Ｔ１_{Ｌａｘｉｔｙ}は、センサ信号がアップリンクされてから、アプリケーションが実行されるまでの時間であり、第２余裕時間Ｔ２_{Ｌａｘｉｔｙ}はアプリケーションが終了してから通信が開始されるまでの時間である。

図１０は、処理管理部１３６の処理フローである。以下、図１０の各ステップについて説明する。

（図１０：ステップ１３６１）
処理管理部１３６は余裕時間Ｔ１_{Ｌａｘｉｔｙ}に基づいてアプリケーション部１３７の実行順を決定する（制御情報の処理実行順序を決定する）。例えば、余裕時間Ｔ１_{Ｌａｘｉｔｙ}が短い順に制御情報の算出を実行するようにアプリケーション部１３７の実行順を決定する。余裕時間Ｔ１_{Ｌａｘｉｔｙ}がマイナスとなる場合には、処理を実行しないでもよい。マイナスとなる場合には処理結果に意味をなさないことが多く、処理を中止し、他の処理を優先的に実行することで制御システム全体としての安定性が向上する。

図１１はアプリケーション部１３７の処理フローである。以下、図１１の各ステップについて説明する。

（図１１：ステップ１３７１）
アプリケーション部１３７は物体情報に基づいて制御アプリケーションを実行する。

（図１１：ステップ１３７２）
アプリケーション部１３７は制御対象と送信データと余裕時間Ｔ１_{Ｌａｘｉｔｙ}を送信制御部１３８に送信する。

図１２は送信制御部１３８の処理フローである。以下、図１２の各ステップについて説明する。

（図１２：ステップ１３８１）
送信制御部１３８はセンシング経過時間と推定制御時間と実アプリケーション実行時間から余裕時間Ｔ２_{Ｌａｘｉｔｙ}を算出する。

（図１２：ステップ１３８２）
送信制御部１３８は余裕時間Ｔ２_{Ｌａｘｉｔｙ}に応じて送信データの送信順番を決定する。送信制御部１３８は、余裕時間Ｔ２_{Ｌａｘｉｔｙ}の短い順に制御情報を制御処理部１５２に送信する。余裕時間Ｔ２_{Ｌａｘｉｔｙ}がマイナスとなる場合には、送信データを破棄してもよい。マイナスとなる場合には送信データに意味をなさないことが多く、送信データを中止し、他の送信データを優先的に実行することで制御システム全体としての安定性が向上できる。

あるいは、通信時間を短くする対策手段を実施しても良い。例えば、ＡＣＫによる再送型の通信ではなく、予め同じ送信パケットを連続で送信する方法や、別の通信経路を利用する方法を用いてもよい。

（図１２：ステップ１３８３）
送信制御部１３８は優先度が高いデータを送信する。例えば、余裕時間Ｔ２_{Ｌａｘｉｔｙ}が短い送信データを送信する。

図１３は、通信性能測定クライアント処理部１５１の処理フローである。以下、図１３の各ステップについて説明する。

（図１３：ステップ１５１１）
通信性能測定クライアント処理部１５１は、管制システム１３から時刻情報を受信した場合には、その時刻情報を変更せずに管制システム１３の通信性能測定クライアント処理部１３３に返信する。

図１４は、制御処理部１５２の処理フローである。以下、図１４の各ステップについて説明する。

（図１４：ステップ１５２１）
制御処理部１５２は、送信処理部１３８からの送信データに基づいて、制御処理を実行する。例えば、制御対象が自動車１５やバス１６の場合には走行停止処理を実行する。制御対象が歩行者１７の場合には所持しているデバイスを振動・警報させ、画面に停止指示することで行動を間接的に制御する。

制御対象が信号機１９の場合には、信号の色を任意の色（例えば赤）に変更する。

図１５は、管制システム１３のスレッド優先度の例を示す図である。

図１５において、通信性能測定スレッド１３３０は通信性能測定サーバ処理部１３３を実行する。

受信処理スレッド１３１０は受信部１３１を実行する。

余裕時間計算スレッド１３５０は、入力経過時間算出部１３２、制御時間推定部１３４、余裕時間算出部１３５、処理管理部１３６を実行する。

アプリケーションスレッド１３７０は、アプリケーション部１３７を実行する。

送信処理スレッド１３８０は送信制御部１３８を実行する。

図１６は、物体情報１３Ａの例を示す図である。

図１６において、物体情報１３Ａは、物体種別、物体ＩＤ、インフラセンサ１１、１２が付与したタイムスタンプで構成される。図１６には、物体種別としてセンシングした情報が、車両Ａである例を示す。また、物体ＩＤが１の例を示し、タイムスタンプが１２時３４分０００ミリ秒の例を示す。

図１７は、制御対象情報テーブル１３Ｂの例を示す図である。

図１７において、制御対象情報テーブル１３Ｂは、物体ＩＤ、項目、反応時間、ＩＰアドレス、推定通信時間で構成される。

図１８は、実施例１とは異なり、余裕時間を用いずに一般的によく用いられるＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）に基づいてアプリケーション部１３７の実行順を決定したときの制御システムの実行タイミングの例を示す図であり、横方向に時間経過を示す。

図１８に示した例は、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。

図１８において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。第１のＣＰＵで、２つの物体情報の受信順に、送信処理スレッド１３８０が実行される。

そして、先に受信した物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、後に受信した物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２２（歩行者Ｂ）が実行される。

図１８に示した例においては、管制システム１３が受信した順にアプリケーション部１３７を実行するため、車両Ａへの指示が先行し、通信時間と反応時間が長い歩行者Ｂの指示が遅れる。

図１９に示した例は、本発明の実施例１の場合の例であり、余裕時間に基づいて実行された制御システムの実行タイミングの例を示す図である。

図１９に示した例も、図１８に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。

図１９において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。

アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）の実行においては、先に受信した物体情報の処理より、後に受信した物体情報ついての処理が先行するように調整される。

送信処理スレッド１３８０では、第１のＣＰＵで、２つの物体情報のうち、余裕時間が短い物体情報が先に処理され、余裕時間が長い物体情報が後に処理される。

そして、余裕時間が長い物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、余裕時間が短い物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２１（車両Ａ）より先に、制御処理スレッド１４２２（歩行者Ｂ）が実行される。

図１９に示した本発明の実施例１においては、管制システム１３は余裕時間が短いアプリケーションスレッドＢ１３７０２を優先的に実行させる。これによって、歩行者Ｂの制御処理スレッド１４２２を、車両Ａの制御処理スレッド１４２１（車両Ａ）より早く実行することが可能となる。

図２０は、実施例１とは異なり、余裕時間を用いずに一般的によく用いられるＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）に基づいてアプリケーション部１３７の実行順を決定したときの制御システムの実行タイミングの他の例を示す図であり、横方向に時間経過を示す。

図２０に示した例は、図１８に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。

図２０において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。第１のＣＰＵで、２つの物体情報の受信順に、送信処理スレッド１３８０が実行される。

そして、先に受信した物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、後に受信した物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２２（歩行者Ｂ）が実行される。

図２０に示した例においては、管制システム１３が受信した順にアプリケーション部１３７を実行するため、車両Ａへの指示が先行し、通信時間と反応時間が長い歩行者Ｂの指示が遅れる。

図２１に示した例は、本発明の実施例１の場合の他の例であり、余裕時間に基づいて実行された制御システムの実行タイミングの例を示す図である。

図２１に示した例も、図１９に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。

図２１において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。

送信処理スレッド１３８０では、第１のＣＰＵで、２つの物体情報の受信順に処理される。

そして、先に受信した余裕時間が長い物体情報について、送信データ１３Ｄ１（余裕時間長）を遅延させて、後に受信した余裕時間が短い物体情報について、送信データ１３Ｄ２（余裕時間短）が、送信データ１３Ｄ１（余裕時間長）より先に送信される。これによって、制御処理スレッド１４２２（歩行者Ｂ）が制御処理スレッド１４２１（車両Ａ）より先に実行される。

図２１に示した本発明の実施例１においては、管制システム１３は余裕時間が短いアプリケーションスレッドＢ１３７０２を優先的に実行させる。これによって、歩行者Ｂの制御処理スレッド１４２２を、車両Ａの制御処理スレッド１４２１（車両Ａ）より早く実行することが可能となる。

以上のように、本発明の実施例１によると、特定の制御対象との無線通信時間や制御対象の反応時間を考慮した余裕時間に基づいてアプリケーションと送信データの順番を決定するため、移動体や人との無線通信時間が変動しても、動的に更新することができるため、リアルタイム性を向上することができる。

つまり、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することができる。

本発明の実施例１により、フィールドにおいて、自律移動体、有人移動体、人における情報共有、制御指示のリアルタイム性を向上することができる。

なお、本実施例１には反応時間を固定としたが、これに限らない。例えば、歩行者がデバイスの画面を見ている場合には反応時間を短くするなど、状況に応じて変更してもよい。

さらに、変更が生じる状況として、制御対象の移動速度やインフラセンサのセンシング距離によって変化ことが考えられる。例えば、アプリケーションが遠隔緊急停止制御である場合には、移動速度が速いほど、停止までの制動距離が延びるため、それを見越した反応時間が長くなる。

また、本実施例１においては、全体レイテンシを固定値としたがこれに限らない。例えば、制御対象の移動速度やセンシング距離によって変化することが考えられる。具体的には移動速度が速い、センシング距離が短くなるほど全体レイテンシが短くなる可能性がある。

本実施例１によれば、短い余裕時間のアプリケーション処理を優先して実行するため、状況によって優先度が変わるような異なる種類のアプリケーションにおいても適用可能となる。

また、本実施例１によれば、短い余裕時間の送信データの送信処理を優先して実行するため、状況によって優先度が変わるような異なる種類のデータ通信においても適用可能となる。

また、本実施例１によれば、制御対象との無線通信時間を推定することで、特定の制御対象が通信不良となる状況に対しても柔軟に対応可能となる。

また、本実施例１によれば、移動体および人の反応時間に基づいて処理することで、制御対象が多様な状況においても柔軟に制御可能となる。

また、本実施例１によれば、余裕時間がマイナスとなる場合には、アプリケーション処理の中止や、送信パケットの棄却をすることで制御システムの安定性を向上できる。

本実施例１においては、余裕時間がマイナスとなる場合には、通信時間を短くする対策手段を実施しても良い。例えば、ＡＣＫによる再送型の通信ではなく、予め同じ送信パケットを連続で送信する方法や、別の通信経路を利用する方法を用いることで、リアルタイム性を向上することができる。

（実施例２）
次に、本発明の実施例２について説明する。

実施例１と異なる点を中心に実施例２について、図面を用いて説明する。

図２２は、実施例２に係る管制システム１３の内部構成であり、各部の処理フローを示す図である。

実施例２では、インフラセンサ１１、１２から物体情報１３Ｃや物体情報１３Ｄが受信部１３１に送信される。アプリケーション部１３９は、入力された物体情報１３Ｃや物体情報１３Ｄに基づいて制御対象１５、１６、１７、１９の有無を判定し、入力経過時間算出部１３２と制御時間推定部１３０に送信する。制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄに基づいて、制御対象情報テーブル１３Ｅに格納された反応時間と推定行動終了時間を更新する。

以降より、実施例２に係る動作フローの詳細を説明する。

図２３は、制御時間推定部１３０の処理フローを示す図である。以下、図２３の各ステップについて説明する。

（図２３：ステップ１３０１）
制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄが所持している制御対象の情報（速度や状態）に基づいて、制御対象情報テーブル１３Ｅに格納された反応時間や推定行動終了時間を更新する。例えば、制御対象の移動速度が速くなるほど、推定行動終了時間が長くなる。

例えば、制御対象の状態が情報端末を見ていない状態から見ている状態に変化したときには、反応時間時間が短くなる。また、これらに限らない。例えば、制御対象の人の体の向きが移動体の方向を向いているといった移動体に注視している場合には反応時間を短くしてよい。さらに、年齢に基づいて反応時間を変更してもよい。

（図２３：ステップ１３０２）
制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄの物体ＩＤに基づいて、制御対象情報テーブル１３Ｅを参照して、制御対象の反応時間と推定通信時間を取得し、推定制御時間を算出する。制御時間推定部１３０は、算出結果を余裕時間算出部１３５に送信する。

図２４はアプリケーション部１３９の処理フローを示す図である。以下、図２４の各ステップについて説明する。

（図２４：ステップ１３９１）
アプリケーション部１３９は、物体情報１３Ｃ、１３Ｄに基づいて、制御の必要性を判断し、必要である場合にはどの物体に対して制御を実施するかを判定する。

（図２４：ステップ１３９２）
ステップ１３９２において、制御が必要な場合はステップ１３９３に進み、制御が必要ではない場合は、処理を終了する。

（図２４：ステップ１３９３）
アプリケーション部１３９は、制御が必要と判定した制御対象に対する制御対象情報と、送信データと、余裕時間とを送信制御部１３８に送信する。

図２５は、物体情報１３Ｃの例を示す図である。

図２５において、物体情報１３Ｃは、物体種別、物体ＩＤ、速度、インフラセンサ１１、１２が付与したタイムスタンプで構成される。実施例１における物体情報１３Ａ（図１６）と比較して、物体情報１３Ｃには、速度の情報が追加されている。

図２６は、物体情報１３Ｄの例を示す図である。

図２６において、物体情報１３Ｄは、物体種別、物体ＩＤ、状態、インフラセンサ１１、１２が付与したタイムスタンプで構成される。実施例１における物体情報１３Ａ（図１６）と比較して、物体情報１３Ｄには、状態の情報が追加されている。

図２７は、制御対象情報テーブル１３Ｅの例を示す図である。

図２７において、制御対象情報テーブル１３Ｅは、物体ＩＤ、項目、反応時間、推定行動終了時間、ＩＰアドレス、推定通信時間で構成される。実施例１における制御情報テーブル１３Ｂ（図１７）と比較して、制御対象情報テーブル１３Ｅには、推定行動終了時間が追加されている。

本実施例２によれば、実施例１と同様な効果を得ることができる他、推定行動終了時間を制御対象の移動速度に応じて変更することで、多様な状況に対応可能な制御システムを提供することができる。

本実施例２によれば、物体の状態によって制御対象の反応時間を変更することで、正確な制御が可能となる。

１・・・制御システム、１１、１２・・・インフラセンサ、１３・・・管制システム、１３Ａ、１３Ｃ、１３Ｄ・・・物体情報、１３Ｂ、１３Ｅ・・・制御対象情報テーブル、１４・・・無線機器、１５・・・自動車、１６・・・バス、１７、１８・・・歩行者、１７ＴＲ・・・無線通信機器、１９・・・信号機、１１１・・・認識処理部、１１２Ａ、１１２Ｂ・・・時刻同期部、１３０、１３４・・・制御時間推定部、１３１・・・受信部、１３２・・・入力経過時間算出部、１３３・・・通信性能測定サーバ処理部、１３５・・・余裕時間算出部、１３６・・・処理管理部、１３７、１３９・・・アプリケーション部、１３８・・・送信制御部、１５１・・・通信性能測定クライアント処理部、１５２・・・制御処理部

Claims (12)

1. 移動体を検出し、前記移動体の情報を送信する移動体検出部と、
   前記移動体検出部が送信した前記移動体の前記情報を受信し、受信した前記移動体の前記情報に基づいて、前記移動体の制御処理部に制御情報を送信する管制システムと、
   を備え、
   前記管制システムは、
   前記移動体の反応時間及び通信制御推定必要時間に基づいて、第１余裕時間を算出する余裕時間算出部と、
   前記第１余裕時間に基づいて、前記制御情報の実行順序を決定する処理管理部と、
   前記移動体の前記情報と、前記処理管理部が決定した前記実行順序とに基づいて前記制御情報を算出するアプリケーション部と、
   前記移動体の反応時間及び通信制御実必要時間に基づいて、第２余裕時間を算出し、前記第２余裕時間に応じて前記制御情報を前記制御処理部に送信する送信制御部と、
   を備えることを特徴とする制御システム。
2. 請求項１に記載の制御システムにおいて、
   前記第１余裕時間は、前記移動体検出部が前記移動体の前記情報を受信した時点から前記移動体が移動してから移動を終了するまでの時間である全体レイテンシに対して、前記移動体の反応時間及び通信制御推定必要時間を減算して算出され、
   前記第２余裕時間は、前記全体レイテンシに対して、前記移動体の反応時間及び通信制御実必要時間を減算して算出されることを特徴とする制御システム。
3. 請求項２に記載の制御システムにおいて、
   前記通信制御推定必要時間は、前記管制システムと前記制御処理部との推定通信時間と、前記移動体の反応時間と、前記アプリケーション部の推定アプリケーション実行時間と、前記移動体検出部が前記移動体を検知する時間と、前記移動体を検知する検知信号のアップリンク時間と、を加算した値であり、
   前記通信制御推定実要時間は、前記管制システムと前記制御処理部との推定通信時間と、前記移動体の反応時間と、前記アプリケーション部の実際のアプリケーション実行時間と、前記移動体検出部が前記移動体を検知する時間と、前記移動体を検知する検知信号のアップリンク時間と、を加算した値であることを特徴とする制御システム。
4. 請求項３に記載の制御システムにおいて、
   前記管制システムは、前記推定通信時間と前記移動体の前記反応時間を推定する制御時間推定部を、さらに備えることを特徴とする制御システム。
5. 請求項３に記載の制御システムにおいて、
   前記処理管理部は、前記第１余裕時間が短い順に前記アプリケーション部が前記制御情報を算出するように前記実行順序を決定することを特徴とする制御システム。
6. 請求項３に記載の制御システムにおいて、
   前記送信制御部は、前記第２余裕時間が短い順に前記制御情報を前記制御処理部に送信することを特徴とする制御システム。
7. 請求項３に記載の制御システムにおいて、
   前記第１余裕時間または前記第２余裕時間がマイナスとなる場合には、前記アプリケーション部の前記制御情報の算出を中止することを特徴とする制御システム。
8. 請求項３に記載の制御システムにおいて、
   前記移動体には、歩行者を含み、前記制御処理部は前記歩行者が所持する無線通信機器であることを特徴とする制御システム。
9. 請求項３に記載の制御システムにおいて、
   前記処理管理部は、前記第１余裕時間が長い前記制御情報の算出を停止させ、前記第１余裕時間が短い前記制御情報をアプリケーション部に算出させることを特徴とする制御システム。
10. 請求項３に記載の制御システムにおいて、
    前記送信制御部は、前記第２余裕時間が長い前記制御情報の送信を停止させ、慚愧第２余裕時間が短い前記制御情報の送信を実行することを特徴とする制御システム。
11. 請求項４に記載の制御システムにおいて、
    前記移動体には、歩行者を含み、前記制御処理部は前記歩行者が所持する無線通信機器であり、前記制御時間推定部は、前記歩行者の反応時間を、前記無線通信機器を見ているか否か、あるいは前記移動体の方向を向いているか、あるいは前記歩行者の年齢の情報に基づいて推定することを特徴とする制御システム。
12. 請求項１記載の制御システムにおいて、
    前記移動体の前記制御処理部に送信する前記制御情報は、車両の停止あるいは操舵制御、あるいは、人に指示や警告を与える画像・音・振動に関する情報であることを特徴とする制御システム。

Images