JP6779835B2 - 監視制御システム、監視制御装置及び監視制御方法 - Google Patents

Description

本発明は、自律移動体向け遠隔監視制御技術に関する。

近年、安価かつ安全な移動手段提供に向けて自動運転技術の開発が行われている。ドライバーを不要とする完全自動運転を実現する上で、認知・判断・制御の不完全性に対処する必要がある。不完全な自動運転車を早期に実用化（サービスイン）させるために、自動運転車両を、遠隔センタから監視・制御することで安全性を担保する方法等が検討されている。例えば、交差点周辺など、自動運転を行うための判断が難しい場所において、自動運転の判断、制御が誤っていないかを確認するために、自動運転車から遠隔センタへ自動運転車が取得した周辺画像を送信し、遠隔センタから監視している監視制御者が、自動運転車の判断が誤っている場合に、緊急停止の制御を行うユースケースが想定される。また、道路上で工事が行われている等、通常時と異なる状況において自動運転が継続できず自動運転が解除された場合に、自動運転車から遠隔センタへ自動運転車が取得した周辺画像を送信し、遠隔センタの監視制御者から、遠隔運転を行うユースケースが想定される。このような遠隔監視・遠隔運転を行う際に、自動運転車と監視制御センタを携帯電話網などの、無線ネットワークを使用することが想定される。無線ネットワークにおける電波状況等の変動等により、通信品質が変動する中でも走行の安全性を確保することが必要となる。

遠隔運転を行う際の遠隔センタへの画像送信方法として特許文献１がある。自律移動体の移動の安全性を向上させる方法として特許文献２の技術がある。

特開２０１４−０７１７７７号公報 特開２００８−０９０５７６号公報

特許文献１では、車を遠隔から制御（運転）するシステムにおいて、車が送信する周辺画像データ量を削減するために、キーフレームと差分フレームによるＭＰＥＧ（Moving Picture Experts Group）圧縮を行った上でセンタへ送信する技術が開示されている。

特許文献２では、自律移動体の移動経路上の通信品質に応じて、移動速度を制御するシステムが開示されている。特許文献１と特許文献２を組合せることによって、車からキーフレームと差分フレームからなる映像を遠隔センタに送信し、遠隔センタから制御を行うシステムにおいても、通信品質低下時に必ず移動速度制限が頻繁に実施されるため、安全性は確保できるが、移動時間を短くするという課題を解決することができない。

上記の課題を解決するために、本発明の代表的な一例を示せば、移動体と、ネットワークを介して前記移動体と通信するサーバ装置と、を有する監視制御システムであって、前記移動体は、前記ネットワークを介して前記サーバ装置と通信する第１通信部と、画像を撮影するカメラと、前記カメラが撮影した画像から、所定の間隔で挿入されるキーフレームと、前記キーフレームに対する差分を含む差分フレームと、からなる画像データを生成するエンコード部と、前記第１通信部を介して前記サーバ装置に前記エンコード部が生成した画像データを送信する送信部と、前記第１通信部を介して前記サーバ装置から受信した制御信号に従って前記移動体の移動を制御する移動制御部と、を有し、前記サーバ装置は、前記ネットワークを介して前記移動体と通信する第２通信部と、前記移動体から送信された前記画像データのうち、前記キーフレームの少なくとも一部を所定の時間内に受信しない場合、前記第２通信部を介して前記移動体に緊急制御信号を送信する緊急制御信号送信部と、を有することを特徴とする。

本発明の一形態によれば、自律走行にて移動する車等の移動体とセンタを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、移動体の安全性を確保した上で、移動時間を短くすることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例１にかかる自動運転車監視制御システムの構成を示す説明図である。 本発明の実施例１にかかる自動運転車のハードウェア構成を示すブロック図である。 本発明の実施例１にかかる自動運転車を構成する各ハードウェア同士でやりとりされるデータの流れ、及び、情報処理装置で実行されるプログラムの構成を示すブロック図である。 本発明の実施例１にかかるエンコード部の処理を示すフローチャートである。 本発明の実施例１にかかる送信制御部の処理を示すフローチャートである。 本発明の実施例１にかかるエンコード部が生成して送信制御部に入力するフレームと、送信制御部が生成して無線通信装置へ入力する通信パケットとを示す説明図である。 本発明の実施例１にかかる監視制御サーバのハードウェア構成を示すブロック図である。 本発明の実施例１にかかる監視制御サーバを構成する各ハードウェア同士でやりとりされるデータの流れ、及び、情報処理装置で実行されるプログラムの構成を示すブロック図である。 本発明の実施例１にかかるバッファ部の処理を示すフローチャートである。 本発明の実施例１にかかる映像設定情報受信部の処理を示すフローチャートである。 本発明の実施例１にかかる読出タイミング制御部の処理を示すフローチャートである。 本発明の実施例１にかかるキーフレームロス率計算部の処理を示すフローチャートである。 本発明の実施例１にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例１にかかるデコード部の処理を示すフローチャートである。 本発明の実施例１にかかるバッファ部にバッファリングされたフレームの例の説明図である。 本発明の実施例１にかかるバッファ部にバッファリングされたフレームの例の説明図である。 本発明の実施例２にかかる監視制御サーバの構成を示すブロック図である。 本発明の実施例２にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例２にかかるキーフレームロス率ベース緊急制御テーブルの一例を示す説明図である。 本発明の実施例３にかかる監視制御サーバの構成を示すブロック図である。 本発明の実施例３にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例３にかかる走行モードベース緊急制御テーブルの一例を示す説明図である。 本発明の実施例４にかかる監視制御サーバの構成を示すブロック図である。 本発明の実施例４にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例４にかかるキーフレームロス率ベース緊急制御テーブルの一例を示す説明図である。 本発明の実施例５にかかる監視制御サーバの構成を示すブロック図である。 本発明の実施例５にかかる読出タイミング制御部の処理を示すフローチャートである。 本発明の実施例５にかかる差分フレームロス率計算部の処理を示すフローチャートである。 本発明の実施例５にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例５にかかるキーフレームロス率と差分フレームロス率組み合わせ判定テーブルの一例を示す説明図である。 本発明の実施例５にかかる自動運転車のフレーム送信タイミングの一例を示す説明図である。 本発明の実施例５にかかる監視制御サーバのフレーム受信タイミングの一例を示す説明図である。 本発明の実施例６にかかる監視制御サーバの構成を示すブロック図である。 本発明の実施例６にかかる緊急制御実施判定部の処理を示すフローチャートである。 本発明の実施例６にかかる走行モードベース緊急制御テーブルの一例を示す説明図である。

本発明の実施形態について、図面を用いて説明する。本発明の実施例では移動体として自動車を例に説明するが、自律走行によって移動可能なものであればいずれのものでもよい。例えば、産業用ロボット、人型ロボット、ドローン、航空機、ヘリコプター、船舶、潜水艦などが挙げられる。また、本発明の実施例では、移動体と、移動体を遠隔監視制御するために使用される遠隔監監視制御サーバとが広域網を介して通信する例を示しているが、地域網のみを介して通信してもよい。

図１は、本発明の実施例１にかかる自動運転車監視制御システムの構成を示す説明図である。

自動運車監視制御システムは、自動運転車１０１、道路１０２、無線基地局１０３、広域網１０４、監視制御サーバ１０５、及び監視制御者１０６から構成される。図１は、あくまで一例を示しており、図中の各要素がそれぞれ複数存在してもよい。例えば、ある自動運転車監視制御システムの中に、複数の自動運転車１０１が存在してもよい。例えば、ある自動運転車監視制御システムの中に、複数の監視制御サーバ１０５が存在してもよい。自動運転車１０１は、道路１０２上を走行する自動車である。自動運転車１０１は、自動運転、または、遠隔操縦による走行を行う。自動運転車１０１は、無線基地局１０３及び広域網１０４を介して監視制御サーバ１０５と接続する。広域網１０４は、無線基地局１０３と監視制御サーバ１０５とを接続する。監視制御サーバ１０５は、自動運転車１０１から受信した情報を表示する。監視制御サーバ１０５は、監視制御者１０６が入力した情報を自動運転車１０１に送信する。

図２は、本発明の実施例１にかかる自動運転車１０１のハードウェア構成を示すブロック図である。

自動運転車１０１は、センサ部２０１、カメラ２０２、ＧＰＳ（Global Positioning System）２０３、ミリ波レーダー２０４、情報処理装置２０５、揮発性記憶装置２０６、不揮発性記憶装置２０７、演算処理装置２０８、無線通信装置２０９及び走行制御装置２１０から構成される。

センサ部２０１は、自動運転車１０１の周辺の情報等を取得するために利用される。センサ部２０１は、カメラ２０２、ＧＰＳ２０３及びミリ波レーダー２０４から構成される。センサ部２０１はＬＩＤＡＲ（Light Detection and Ranging）など、上記以外のセンサから構成されてもよい。センサ部２０１は取得したセンサ情報を情報処理装置２０５に入力する。カメラ２０２は自動運転車１０１周辺の画像情報を取得する。ＧＰＳ２０３は、自動運転車１０１の現在位置情報を取得するために使用される。ミリ波レーダー２０４は、自動運転車１０１周辺の物体の位置を検出する。

情報処理装置２０５は、揮発性記憶装置２０６、不揮発性記憶装置２０７及び演算処理装置２０８から構成される。揮発性記憶装置２０６は、演算処理装置２０８が実行するプログラムなどを一時的に格納するために使用される。不揮発性記憶装置２０７は、情報を定常的に格納されるために使用されるものであり、例えば、ハードディスクなどが該当する。演算処理装置２０８は、データ処理に関する様々な演算を行う装置である。

無線通信装置２０９は、無線基地局１０３と通信を行うために使用される。走行制御装置２１０は、加速、減速、旋回など、走行に関する動作の制御を実行する。

図３は、本発明の実施例１にかかる自動運転車１０１を構成する各ハードウェア同士でやりとりされるデータの流れ、及び、情報処理装置２０５で実行されるプログラムの構成を示すブロック図である。

情報処理装置２０５において実行されるソフトウェアとして、監視制御クライアントソフト３０１及び自動運転制御ソフト３０２がある。

監視制御クライアントソフト３０１は、センサ部２０１内のカメラ２０２の制御を行う。監視制御クライアントソフト３０１は、カメラ２０２から入力された画像をエンコードして、無線通信装置２０９を介して監視制御サーバ１０５へ画像を送信する。監視制御クライアントソフト３０１は、無線通信装置２０９を介して、監視制御サーバ１０５へ、画像のエンコード、または、デコードに関する情報を送信する。監視制御クライアントソフト３０１は、自動運転制御ソフト３０２から、自動運転車１０１の走行モードを受信し、無線通信装置２０９を介して、監視制御サーバ１０５へ送信する。監視制御クライアントソフト３０１は、監視制御サーバ１０５が送信する制御信号を、無線通信装置２０９を介して受信し、当該制御信号を自動運転制御ソフト３０２に入力する。

監視制御クライアントソフト３０１は、映像設定情報送信部３０３、エンコード部３０４、送信制御部３０５、走行モード管理部３０６及び遠隔制御命令実行部３０７から構成される。映像設定情報送信部３０３は、カメラ２０２に対してｆｐｓ（frame per second）設定及び撮像開始命令を入力する。カメラ２０２は、映像設定情報送信部３０３から撮像開始命令を受信すると、上記のｆｐｓ設定Ｆ［fps］に基づいて撮像を行い、撮像したデータ（以下、画像データと呼ぶ）をエンコード部３０４へ入力する。

映像設定情報送信部３０３は、エンコード部３０４に対してキーフレーム挿入間隔Ｇと、エンコード開始命令とを入力する。キーフレーム挿入間隔Ｇは、カメラ２０２から連続して入力される画像データの内、何個に１個の間隔でキーフレームを生成するかを決定するための値である。例えば、フレーム挿入間隔Ｇが５の場合には、カメラ２０２から連続して入力される画像データの内、５個毎に１個のキーフレームを生成することとなる。映像設定情報送信部３０３は、無線通信装置２０９を介して監視制御サーバ１０５へ、初回フレーム読出しタイミング、ｆｐｓ設定Ｆ［fps］、及びキーフレーム挿入間隔Ｇを送信する。

エンコード部３０４は、映像設定情報送信部３０３からキーフレーム挿入間隔Ｇ及びエンコード開始命令を受信すると、カメラ２０２から連続して入力される画像データをエンコードした上で、エンコード後のフレームを送信制御部３０５へ入力する。エンコード部３０４のエンコード処理は具体的には、カメラ２０２から連続して入力される画像に対して、Ｇ個に１個の間隔でキーフレームを生成し、それ以外の画像に対しては、差分フレームを生成することによって実行される。エンコード部３０４は、生成したキーフレーム及び差分フレームに対して、フレーム種別とシーケンス番号のヘッダを付与した上で、それらのフレームを送信制御部３０５へ入力する。

送信制御部３０５は、エンコード部３０４からフレームを受信すると、無線通信装置２０９から送出されるフレームのデータを含む通信パケットのサイズが予め設定されたパケットサイズを超えないように、フレームの分割処理を実施し、分割されたフレームのデータを含む各パケットに分割数及び通し番号のヘッダから成るヘッダを付与した上で、上記のフレームを無線通信装置２０９を介して監視制御サーバ１０５へ送信する。

走行モード管理部３０６は、自動運転制御ソフト３０２から入力される自動運転車１０１の走行モードを、無線通信装置２０９を介して監視制御サーバ１０５へ送信する。遠隔制御命令実行部３０７は、無線通信装置３０９を介して制御監視サーバから受信した遠隔制御信号を、自動運転制御ソフト３０２へ入力する。

自動運転制御ソフト３０２は、走行モードが自動運転である場合には、センサ部２０１から入力されるセンサ情報に基づいて、今後走行する経路等を計算し、経路の計算結果に基づいて車両を制御するための加減速信号、操舵信号などを生成し、走行制御装置２１０へ入力する。これによって、自動運転車１０１の自動運転が制御される。また、自動運転制御ソフト３０２は、走行モードが自動運転、または、遠隔運転である場合に、遠隔制御命令実行部３０７から制御信号を受信すると、受信した制御信号を走行制御装置２１０へ入力する。これによって、自動運転車１０１の遠隔運転が制御される。

以下、自動運転車１０１内で上記のソフトウェアに従って実行される処理を、便宜上、上記のソフトウェア（又はそれらに含まれる処理部等）が実行する処理として記載する場合がある。しかし、実際にはそれらの処理は、情報処理装置２０５の演算処理装置２０８が、揮発性記憶装置２０６等に格納されている上記のソフトウェアに記述された命令に従って、必要に応じて自動運転車１０１内の各部を制御して実行する。

以下では、エンコード部３０４及び送信制御部３０５の処理フローについて説明する。

図４は、本発明の実施例１にかかるエンコード部３０４の処理を示すフローチャートである。

エンコード部３０４は、動作を開始すると、映像設定情報送信部３０３からエンコード開始命令及びキーフレーム挿入間隔Ｇを受信したかを確認する（ステップ４０１）。ステップ４０１において、受信していない場合には（ＮＯの場合には）、ステップ４０１へ進む。ステップ４０１において、受信している場合には（ＹＥＳの場合には）、ステップ４０２へ進む。

ステップ４０２では、エンコード部３０４は、キーフレーム挿入間隔Ｇを映像設定情報送信部３０３から受信した値に設定し、シーケンス番号ｓを０で初期化し、ステップ４０３へ進む。ステップ４０３では、エンコード部３０４は、カメラ２０２から画像データを受信したかを確認する。ステップ４０３において、画像データを受信していない場合には、ステップ４０３へ進む。ステップ４０３において、画像データを受信している場合には、ステップ４０４へ進む。ステップ４０４では、エンコード部３０４は、ｓ ｍｏｄ Ｇ（すなわちＳをＧで除した余り）の値を計算し、計算結果をｍとし、次にステップ４０５へ進む。

ステップ４０５では、エンコード部３０４は、ｍの値が０であるか否かを確認する。ステップ４０５において、ｍが０である場合には、エンコード部３０４は、キーフレーム生成タイミングが到来したと判定し、ステップ４０６へ進む。ステップ４０５において、ｍが０でない場合には、キーフレーム生成タイミングが到来しておらず、差分フレーム生成タイミングが到来したと判定し、ステップ４０７へ進む。

ステップ４０６では、エンコード部３０４は、受信した画像データをキーフレームとしてエンコーディングし、キーフレームを生成して、ステップ４０８へ進む。ステップ４０７では、エンコード部３０４は、受信した画像データと前フレームデータとの差分を計算し、差分フレームとしてエンコーディングし、差分フレームを生成して、ステップ４０８へ進む。ステップ４０８では、エンコード部３０４は、ステップ４０６で生成したキーフレーム、または、ステップ４０７で生成した差分フレームに、フレーム種別及びシーケンス番号から構成されるヘッダを付与して送信制御部３０５に入力し、ステップ４０９へ進む。フレーム種別のヘッダには、当該フレームの種別としてキーフレーム、または、差分フレームが指定される。シーケンス番号のヘッダには、シーケンス番号ｓが格納される。ステップ４０９では、エンコード部３０４は、本画像データを前フレーム情報として保存し、ステップ４１０へ進む。ステップ４１０では、エンコード部３０４は、シーケンス番号ｓをｓ＋１で更新し、ステップ４０３へ進む。

図５は、本発明の実施例１にかかる送信制御部３０５の処理を示すフローチャートである。

送信制御部３０５は、動作を開始すると、ステップ５０１において通信パケットサイズＰ［Ｂｙｔｅ］を予め定められた値に設定し、ステップ５０２へ進む。ステップ５０２では、送信制御部３０５は、エンコード部３０４からフレームが入力されたかを確認する。ステップ５０２において、フレームが入力されたことが確認された場合には、ステップ５０３へ進む。ステップ５０２において、フレームが入力されていないことが確認された場合には、ステップ５０２へ進む。ステップ５０３では、送信制御部３０５は、分割数ＤをＤ＝ＲＯＵＮＤＵＰ（Ｂ÷（Ｐ−（Ａ＋Ｃ）））によって計算する。ここで、ＲＯＵＮＤＵＰは入力された値を切り上げる関数である。例えば、Ｄ＝ＲＯＵＮＤＵＰ（３．１）の場合には、Ｄ＝４となる。また、例えば、Ｄ＝ＲＯＵＮＤＵＰ（３．０）の場合には、Ｄ＝３となる。また、ここで、入力されたフレームのサイズをＡ＋Ｂ（すなわちヘッダ部のサイズＡ［Ｂｙｔｅ］、データ部のサイズＢ［Ｂｙｔｅ］）、分割後に新たに付与するヘッダ部のサイズをＣ［Ｂｙｔｅ］とする。

ステップ５０４では、送信制御部３０５は、フレームを、それぞれのサイズが通信パケットサイズの最大値Ｐ［Ｂｙｔｅ］を超えないＤ個のパケットに分割し、分割したパケットにヘッダ（分割数Ｄと通し番号）を付与して送信し、ステップ５０２へ進む。

図６は、本発明の実施例１にかかるエンコード部３０４が生成して送信制御部３０５に入力するフレームと、送信制御部３０５が生成して無線通信装置２０９へ入力する通信パケットとを示す説明図である。

フレーム６０１は、エンコード部３０４が生成して送信制御部３０５に入力するフレームである。フレーム６０１は、フレーム種別６０２、シーケンス番号６０３、及びフレームデータ部６０４から構成される。フレーム種別６０２には、当該フレームがキーフレームの場合にはキーフレームであることを示す値が格納され、当該フレームが差分フレームの場合には差分フレームであることを示す値が格納される。シーケンス番号６０３には、エンコード部が計算し、保持している一連のシーケンス番号が格納される。フレーム種別６０２とシーケンス番号６０３の両方を合わせたヘッダ部のサイズはＡ［Ｂｙｔｅ］の固定長となる。フレームデータ部６０４のサイズは、フレーム毎に異なる値をとることとなる。ここでは、フレームデータ部６０４のサイズをＢ［Ｂｙｔｅ］とする。

通信パケット６０７は、送信制御部３０５が生成して無線通信装置２０９へ入力する通信パケットである。通信パケット６０７は、フレーム種別６０２、シーケンス番号６０３、分割数６０８、通し番号６０５、及びデータフレームの一部６０６から構成される。フレーム種別６０２及びシーケンス番号６０３については、フレーム６０１に格納されたものと同じものが格納される。分割数６０８には、ステップ５０３において、Ｄ＝ＲＯＵＮＤＵＰ（Ｂ／（Ｐ−（Ａ＋Ｃ）））の値が格納される。通し番号６０５には、一つのフレームを分割して生成された複数の通信パケットの中でそれぞれの通信パケットを識別する通し番号の値が格納される。フレームデータの一部６０６は、フレームデータ部６０４を分割して生成されたデータが格納される。

図７は、本発明の実施例１にかかる監視制御サーバ１０５のハードウェア構成を示すブロック図である。

監視制御サーバ１０５は、通信装置７０１、情報処理装置７０２、揮発性記憶装置７０３、不揮発性記憶装置７０４、演算処理装置７０５、監視制御用入力装置７０６、表示装置７０７、ステアリング７０８、アクセルペダル７０９、及びブレーキペダル７１０から構成される。通信装置７０１は、広域網１０４と接続し、無線基地局１０３を介して自動運転車１０１と通信を行う。

情報処理装置７０２は、揮発性記憶装置７０３、不揮発性記憶装置７０４及び演算処理装置７０５から構成される。揮発性記憶装置７０３は、演算処理装置７０５が実行するプログラムなどを一時的に格納するために使用される。不揮発性記憶装置７０４は、情報を定常的に格納されるために使用されるものであり、例えば、ハードディスクなどが該当する。演算処理装置７０５は、データ処理に関する様々な演算を行う装置である。表示装置７０７は、自動運転車１０１から受信した映像（画像）、走行状況情報等を表示するための装置である。

監視制御用入力装置７０６は、監視制御者１０６が自動運転車１０１を制御するための情報を入力するための装置である。監視制御用入力装置７０６はステアリング７０８、アクセルペダル７０９、ブレーキペダル７１０などから構成される。ステアリング７０８は、監視制御者１０６が自動運転車１０１の操舵を実行するための装置である。アクセルペダル７０９は、監視制御者１０６が、自動運転車１０１の加速を行うための装置である。ブレーキペダル７１０は、監視制御者１０６が、自動運転車１０１の減速を行うための装置である。

図８は、本発明の実施例１にかかる監視制御サーバ１０５を構成する各ハードウェア同士でやりとりされるデータの流れ、及び、情報処理装置７０２で実行されるプログラムの構成を示すブロック図である。

監視制御サーバソフト８０１は、情報処理装置７０２において実行されるプログラムである。監視制御サーバソフト８０１は、自動運転車１０１の監視制御に関連する処理を実行するプログラムである。監視制御サーバソフト８０１は、バッファ部８０２、映像設定情報受信部８０３、読出タイミング制御部８０４、デコード部８０５、キーフレームロス（損失）率計算部８０６、緊急制御実施判定部８０７、緊急制御信号送信部８０８、及び通常制御信号送信部８０９から構成される。

バッファ部８０２は、通信装置７０１から入力されたフレームを、シーケンス番号でソートした上でバッファリングする。映像設定情報受信部８０３は、通信装置７０１から初回フレーム読出しタイミング、ｆｐｓ設定Ｆ［ｆｐｓ］及びキーフレーム挿入間隔Ｇを受信すると、受信した初回フレーム読出しタイミング、ｆｐｓ設定Ｆ及びキーフレーム挿入間隔Ｇを記録する。また、映像設定情報受信部８０３は、受信したｆｐｓ設定Ｆから、フレーム読出し間隔を計算して記録する。また、映像設定情報受信部８０３は、受信した初回フレーム読出しタイミングを、読出タイミング制御部８０４へ入力する。

読出タイミング制御部８０４は、映像設定情報受信部８０３から入力された初回フレーム読出しタイミングに従って、バッファ部８０２に蓄積されたフレームの読出しを行い、読出したフレームをデコード部８０５及びキーフレームロス率計算部８０６へ入力する。デコード部８０５は、同一シーケンス番号を有するフレーム群に対し、各フレームの分割数及び通し番号のヘッダを削除して元フレームを再構築した上で、当該フレームをデコードし、表示装置７０７へ入力する。キーフレームロス率計算部８０６は、読出タイミング制御部８０４から入力された同一シーケンス番号のフレーム群の分割数と、入力されたフレーム群とからキーフレームロス率を計算し、計算されたキーフレームロス率を緊急制御実施判定部へ入力する。

緊急制御実施判定部８０７は、予め定められたキーフレームロス率閾値と、入力されたキーフレームロス率とを比較して、キーフレームロス率がキーフレームロス率閾値以上となっている場合には、緊急制御方法を決定して、緊急制御信号送信部８０８に通知する。ここで、緊急制御の方法は予め定められており、例えば、緊急停止、または、速度リミッタ制御等が挙げられる。緊急制御信号送信部８０８は、緊急制御実施判定部８０７から緊急制御実施命令を受信すると、前記緊急制御実施命令に対応する通信パケットを生成して、通信装置７０１を介して自動運転車１０１へ送信する。

以下、監視制御サーバ１０５内で上記のソフトウェアに従って実行される処理を、便宜上、上記のソフトウェア（又はそれらに含まれる処理部等）が実行する処理として記載する場合がある。しかし、実際にはそれらの処理は、情報処理装置７０２の演算処理装置７０５が、揮発性記憶装置７０３等に格納されている上記のソフトウェアに記述された命令に従って、必要に応じて監視制御サーバ１０５内の各部を制御して実行する。

図９は、本発明の実施例１にかかるバッファ部８０２の処理を示すフローチャートである。

バッファ部８０２は、動作を開始すると、通信装置７０１からフレーム入力があるかを確認する（ステップ９０１）。ステップ９０１において、フレーム入力があると確認された場合には、ステップ９０２に進む。ステップ９０１において、フレーム入力がないことが確認された場合には、再度ステップ９０１へ進む。ステップ９０２では、バッファ部８０２は、入力されたフレームをフレームシーケンス番号でソートしてバッファへ蓄積しておく。

図１０は、本発明の実施例１にかかる映像設定情報受信部８０３の処理を示すフローチャートである。

映像設定情報受信部８０３は、動作を開始すると、通信装置７０１から初回読出タイミング、ｆｐｓ設定Ｆ［ｆｐｓ］、及びキーフレーム挿入間隔Ｇを受信したかを確認する（１００１）。ステップ１００１において、受信していることが確認された場合には、ステップ１００２へ進む。ステップ１００１において、受信していないことが確認された場合には、再度ステップ１００１へ進む。

ステップ１００２において、映像設定情報受信部８０３は、初回フレーム読出タイミング、ｆｐｓ設定Ｆ、及びキーフレーム挿入間隔Ｇを記録し、ステップ１００３へ進む。ステップ１００３では、映像設定情報受信部８０３は、ｆｐｓ設定Ｆから、フレーム読出し間隔を計算して記録し、ステップ１００４へ進む。具体的には、映像設定情報受信部８０３は、１÷Ｆの値をフレーム読出し間隔として計算する。ステップ１００４では、映像設定情報受信部８０３は、初回フレーム読出タイミング及びフレーム読出し間隔を読出タイミング制御部８０４へ入力する。

図１１は、本発明の実施例１にかかる読出タイミング制御部８０４の処理を示すフローチャートである。

読出タイミング制御部８０４は、動作を開始すると、映像設定情報受信部８０３から、初回フレーム読出タイミング及びフレーム読出間隔を受信したかを確認する（ステップ１１０１）。ステップ１１０１において、初回フレーム読出タイミング及びフレーム読出間隔を受信していることが確認された場合にはステップ１１０２へ進む。ステップ１１０１において、初回フレーム読出タイミング及びフレーム読出間隔を受信していないことが確認された場合には再度ステップ１１０１へ進む。

ステップ１１０２では、読出タイミング制御部８０４は、次フレーム読出し時刻を、初回フレーム読出し時刻に設定し、ステップ１１０３へ進む。ステップ１１０３では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号を０に設定し、ステップ１１０４へ進む。ステップ１１０４では、読出タイミング制御部８０４は、現在時刻を取得し、ステップ１１０５へ進む。

ステップ１１０５では、読出タイミング制御部８０４は、現在時刻＞次フレーム読出し時刻となっているかを確認する。ステップ１１０５において、現在時刻＞次フレーム読出し時刻となっていること（すなわち、次フレーム読出し時刻が到来したこと）が確認された場合にはステップ１１０６へ進む。ステップ１１０５において、現在時刻＞次フレーム読出し時刻となっていないことが確認された場合にはステップ１１０４へ進む。

ステップ１１０６では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号より小さなシーケンス番号のフレームを全て読みだして廃棄し、ステップ１１０７へ進む。ステップ１１０７では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号ｍｏｄキーフレーム挿入間隔Ｇを計算し、ステップ１１０８へ進む。ステップ１１０８では、読出タイミング制御部８０４は、ステップ１１０７での計算結果が０である（すなわち次回読出しフレームがキーフレームである）かを確認する。ステップ１１０８において、計算結果が０である（すなわち次回読出しフレームがキーフレームである）ことが確認された場合には１１１０へ進む。ステップ１１０８において、計算結果が０でない（すなわち次回読出しフレームが差分フレームである）ことが確認された場合には、１１０９へ進む。

ステップ１１０９では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号のフレームがあるかを確認する。ステップ１１０９において、次回読出しフレームシーケンス番号のフレームがあることが確認された場合にはステップ１１１３へ進む。ステップ１１０９において、次回読出しフレームシーケンス番号のフレームがないことが確認された場合には、ステップ１１１４へ進む。

ステップ１１１０では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号のフレームがあるかを確認する。ステップ１１１０において、次回読出しフレームシーケンス番号のフレームがあることが確認された場合には、ステップ１１１２へ進む。ステップ１１１０において、次回読出しフレームシーケンス番号のフレームがない（すなわちキーフレームがロスしている）ことが確認された場合には、ステップ１１１１へ進む。ステップ１１１１では、読出タイミング制御部８０４は、フレーム完全ロス情報をキーフレームロス率計算部８０６へ入力し、ステップ１１１４へ進む。

ステップ１１１２では、読出タイミング制御部８０４は、読出した次回読出しフレームシーケンス番号のフレーム群をコピーして、キーフレームロス率計算部８０６へ入力し、ステップ１１１３へ進む。ステップ１１１３では、入力されたフレーム群を再構築してデコード部へ入力する。ステップ１１１４では、読出タイミング制御部８０４は、次フレーム読出し時刻を、次フレーム読出し時刻＋フレーム読出し間隔に更新し、ステップ１１１５へ進む。ステップ１１１５では、読出タイミング制御部８０４は、次回読出しフレームシーケンス番号を、次回読出しフレームシーケンス番号＋１に更新し、ステップ１１０４へ進む。

図１２は、本発明の実施例１にかかるキーフレームロス率計算部８０６の処理を示すフローチャートである。

キーフレームロス率計算部８０６は、動作を開始すると、読出しタイミング制御部からフレーム完全ロス情報を受信したかを確認する（ステップ１２０１）。ステップ１２０１において、フレーム完全ロス情報を受信している（すなわちキーフレームがロスした）ことが確認された場合には、ステップ１２０２へ進む。ステップ１２０１において、フレーム完全ロス情報を受信していないことが確認された場合には、ステップ１２０３へ進む。

ステップ１２０２では、キーフレームロス率計算部８０６は、キーフレームロス率＝１であることを、緊急制御実施判定部８０７へ通知する。ステップ１２０３では、キーフレームロス率計算部８０６は、読出タイミング制御部８０４からフレーム群を受信したかを確認する。ステップ１２０３において、フレーム群を受信していることが確認された場合には、ステップ１２０４へ進む。ステップ１２０３において、フレーム群を受信していないことが確認された場合には、ステップ１２０１へ進む。

ステップ１２０４では、キーフレームロス率計算部８０６は、受信したフレーム群の個数をＮとし、あるフレームのヘッダ記載の分割数をＭとし、（Ｍ−Ｎ）÷Ｍを計算することによってキーフレームロス率を算出し、算出したキーフレームロス率を緊急制御実施判定部８０７に通知し、１２０１へ進む。

図１３は、本発明の実施例１にかかる緊急制御実施判定部８０７の処理を示すフローチャートである。

緊急制御実施判定部８０７は、動作を開始すると、キーフレームロス率閾値を設定し（ステップ１３０１）、ステップ１３０２へ進む。１３０２では、緊急制御実施判定部８０７は、キーフレームロス率を受信したかを確認する。ステップ１３０２において、キーフレームロス率を受信していることが確認された場合には、ステップ１３０３へ進む。ステップ１３０２において、キーフレームロス率を受信していないことが確認された場合には、ステップ１３０２へ進む。

ステップ１３０３では、緊急制御実施判定部８０７は、キーフレームロス率＞キーフレームロス率閾値であるかを確認する。ステップ１３０３において、キーフレームロス率＞キーフレームロス率閾値であることが確認された場合には、受信した画像データに基づいてデコード部８０５が生成し、表示装置７０７が表示する画像の品質が、安全な遠隔運転を実現するために必要とされる基準に達しない（言い換えると、遠隔運転の安全性を確保するためには何らかの緊急制御を実行する必要がある）と推定されるため、ステップ１３０４へ進む。ステップ１３０３において、キーフレームロス率＞キーフレームロス率閾値となっていないことが確認された場合には、ステップ１３０２へ進む。ステップ１３０４では、緊急制御実施判定部８０７は、緊急制御方法を決定して、緊急制御信号送信部に通知し、ステップ１３０２へ進む。

図１４は、本発明の実施例１にかかるデコード部８０５の処理を示すフローチャートである。

デコード部８０５は、動作を開始すると、読出タイミング制御部８０４からフレーム入力があるかを確認する（ステップ１４０１）。ステップ１４０１において、フレーム入力があることが確認された場合には、ステップ１４０２へ進む。ステップ１４０１において、フレーム入力がないことが確認された場合には、ステップ１４０１へ進む。

ステップ１４０２において、デコード部８０５は、入力された当該フレームの種別がキーフレームであるかを確認する。ステップ１４０２において、当該フレームの種別がキーフレームである場合には、ステップ１４０３へ進む。ステップ１４０２において、当該フレームの種別がキーフレームでない（すなわち差分フレームである）ことが確認された場合には、ステップ１４０４へ進む。

ステップ１４０３では、デコード部８０５は、当該フレームのみをデコードして画像を表示し、ステップ１４０５へ進む。ステップ１４０４では、デコード部８０５は、前回表示したフレームと当該フレームの差分演算デコードを実施して画像を表示し、ステップ１４０５へ進む。ステップ１４０５では、当該フレームを、前回表示フレームとして保存し、ステップ１４０１へ進む。

ここで、キーフレームと差分フレームから構成されるＭＰＥＧ等の圧縮方式では、キーフレームが失われた場合と差分フレームが失われた場合に、表示する画像品質に対する影響度合いが異なる。キーフレームについては、当該キーフレームのみをデコードして画像を表示する。差分フレームは、キーフレームからの差分情報のみを保持しているため、キーフレームと差分フレームの両方をデコードすることで画像を表示する。効率的に圧縮を行うためには、キーフレームと差分フレームの内、差分フレームの数の方が多くなる。ここである一枚のキーフレームが一部、または、全てが失われた場合には、次にキーフレームを受信するまでの間、差分フレームから再生される画像に影響が及ぶため、影響度が大きい。一方、ある一枚の差分フレームの一部、または、全てが失われた場合には、当該フレームの再生は完全に行うことができないが、次の差分フレームの再生には影響がでないため、キーフレームに比べて影響度が小さい。以上から、通信品質の低下がキーフレーム送信時に発生した場合には、画像劣化の影響度が大きくなるが、通信品質の低下が差分フレーム送信時に発生した場合には、画像劣化の影響度が小さくなることがわかる。

＜実施例１の具体例の説明＞
図１５及び図１６は、本発明の実施例１にかかるバッファ部８０２にバッファリングされたフレームの例の説明図である。

以下、図１５または図１６に示すフレームがバッファ部８０２にバッファリングされた場合に実行される処理の実例について説明する。はじめに、図１５及び図１６の場合の読出タイミング制御部８０４の処理について説明する。ここで、キーフレーム挿入間隔Ｇは５に設定され、次回読出しフレームシーケンス番号は「１００」であるものとする。

図１１のステップ１１０５において、現在時刻＞次フレーム読出し時刻の判定がＹＥＳであると判定されると、ステップ１１０６に進む。図１５及び図１６の場合、次回読出しフレームシーケンス番号より小さいフレームはバッファに蓄積されていないので、ステップ１１０６の処理は行わず、ステップ１１０７へ進む。ステップ１１０７では、次回読出しフレームシーケンス番号ｍｏｄキーフレーム挿入間隔Ｇの計算結果は、１００ｍｏｄ５＝０となり、次にステップ１１０８に進む。ステップ１１０８の判定結果はＹＥＳとなり、ステップ１１１０へ進む。ステップ１１１０では、バッファ部８０２には、次回読出しフレームシーケンス番号である１００のフレームが蓄積されているため、ＹＥＳと判定され、ステップ１１１２へ進む。すなわち、この例ではステップ１１１１が実行されないため、キーフレームロス率計算部８０６はフレーム完全ロス情報を受信しない。ステップ１１１２において、シーケンス番号が「１００」であるフレーム群がコピーされて、キーフレームロス率計算部８０６へ入力される。

次に、上記の読出タイミング制御部８０４の処理に対応するキーフレームロス率計算部８０６の処理について、図１２を用いて説明する。ステップ１２０１において、読出タイミング制御部８０４からフレーム完全ロス情報を受信していないと判定されるため、ステップ１２０３へ進む。ステップ１２０３において、読出タイミング制御部８０４からフレーム群を受信していると判定されるため、ステップ１２０４へ進む。

＜図１５の場合のキーフレームロス率計算部、緊急制御実施判定部の処理＞
図１５に示すフレーム群（すなわちフレーム１５０２、１５０３、１５０４、１５０５及び１５０６からなる）がキーフレームロス率計算部８０６に入力された場合、ステップ１２０４では、ヘッダの分割数１５０７が参照され、Ｍ＝５となる。Ｎについては、入力されたフレーム群がフレーム１５０２、１５０３、１５０４、１５０５及び１５０６の合計５個を含むので、Ｎ＝５となる。以上から、（Ｍ−Ｎ）÷Ｍ＝０÷５＝０となる。図１５の例の場合には、キーフレームロス率として０が緊急制御実施判定部８０７に入力される。

緊急制御実施判定部８０７ではキーフレームロス率閾値として、０．５が設定されているものとする。緊急制御実施判定部８０７は、図１３のステップ１３０２において、キーフレームロス率を受信している（すなわちＹＥＳ）と判定し、ステップ１３０３へ進む。ステップ１３０３において緊急制御実施判定部８０７は、キーフレームロス率＞キーフレームロス率閾値となるかを確認する。ここで、０＞０．５となり、条件式をみたさないためＮＯと判定されステップ１３０２へ進むこととなり、緊急制御信号送信部８０８への通知（ステップ１３０４）は行われない。

＜図１６の場合のキーフレームロス率計算部、緊急制御実施判定部の処理＞
図１６に示すフレーム群（すなわちフレーム１６０２及び１６０３からなる）がキーフレームロス率計算部８０６に入力された場合、ステップ１２０４では、ヘッダの分割数１６０４が参照され、Ｍ＝５となる。Ｎについては、入力されたフレーム群がフレーム１６０２及び１６０３の合計２個を含むので、Ｎ＝２となる。以上から、（Ｍ−Ｎ）÷Ｍ＝３÷５＝０．６となる。図１６の例の場合には、キーフレームロス率として０．６が緊急制御実施判定部８０７に入力される。

緊急制御実施判定部８０７ではキーフレームロス率閾値として、０．５が設定されているものとする。緊急制御実施判定部８０７は、図１３のステップ１３０２において、キーフレームロス率を受信している（すなわちＹＥＳ）と判定し、ステップ１３０３へ進む。ステップ１３０３において緊急制御実施判定部８０７は、キーフレームロス率＞キーフレームロス率閾値となるかを確認する。ここで、０．６＞０．５となり、条件式をみたす（すなわちＹＥＳと判定される）ため、ステップ１３０４進む。

ステップ１３０４において緊急制御実施判定部８０７は、緊急制御方法を決定して、緊急制御信号送信部８０８に通知し、緊急制御信号送信部８０８から緊急制御信号が自動運転車１０１に向けて送信される。

本実施例によれば、自律走行にて移動する車とセンタ（すなわち監視制御サーバ）とを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、通信品質の低下によって監視制御サーバの画像が乱れた場合にのみ、移動時間の増加に繋がる緊急制御が実施されるため、車の安全性を確保した上で、移動時間を短くすることができる。

本発明に係る実施例２を、図１７〜図１９を用いて説明する。以下に説明する相違点を除き、実施例２のシステムの各部は、図１〜図１６に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

本実施では、実施例１の構成に対して、監視制御サーバ１０５の構成が異なる。

図１７は、本発明の実施例２にかかる監視制御サーバ１０５の構成を示すブロック図である。

図１７の構成要素の内、図８に示したものと同じ部分には、図８と同一の番号を付与し、説明を省略する。図１７の監視制御サーバ１０５は、監視制御サーバソフト８０１を有する。実施例２の監視制御サーバソフト８０１は、実施例１の監視制御サーバソフト８０１が有するものと同様の各部に加えて、緊急制御実施判定部１７０１及びキーフレームロス率ベース緊急制御テーブル１７０２を有する。緊急制御実施判定部１７０１は、キーフレームロス率を受信すると、キーフレームロス率ベース緊急制御テーブル１７０２を参照し、当該キーフレームロス率に対応する緊急制御方法を決定して、緊急制御信号送信部８０８に通知する。キーフレームロス率ベース緊急制御テーブル１７０２は、キーフレームロス率とそのキーフレームロス率に対応する緊急制御方法との対応付けを保持するテーブルである。

図１８は、本発明の実施例２にかかる緊急制御実施判定部１７０１の処理を示すフローチャートである。

緊急制御実施判定部１７０１は、動作を開始すると、キーフレームロス率を受信したかを確認する（ステップ１８０１）。ステップ１８０１において、キーフレームロス率を受信していることが確認された場合には、ステップ１８０２に進む。ステップ１８０１において、キーフレームロス率を受信していないことが確認された場合には、ステップ１８０１へ進む。ステップ１８０２では、緊急制御実施判定部１７０１は、キーフレームロス率ベース緊急制御テーブル１７０２を参照し、ステップ１８０１において受信したキーフレームロス率に対応する緊急制御方法を決定し、緊急制御信号送信部８０８に通知する。

図１９は、本発明の実施例２にかかるキーフレームロス率ベース緊急制御テーブル１７０２の一例を示す説明図である。

キーフレームロス率ベース緊急制御テーブル１７０２は、キーフレームロス率１９０１と、緊急制御方法１９０２とから構成される。緊急制御実施判定部１７０１は、図１８のステップ１８０２においてキーフレームロス率ベース緊急制御テーブル１７０２を参照し、キーフレームロス率が０（フィールド１９０３）である場合には、緊急制御を実施しないこととする（フィールド１９０６）。キーフレームロス率１９０１が０〜０．５（フィールド１９０４）である場合には、緊急制御方法１９０２として、「速度リミッタ制御（５ｋｍ／ｈ以下での走行に制限）」（フィールド１９０７）を実施する。キーフレームロス率１９０１が０．５〜１．０（フィールド１９０５）である場合には、緊急制御方法１９０２として「緊急停車」（フィールド１９０８）を実施する。

図１８及び図１９の例では、キーフレームロス率が０でない場合に、受信した画像データに基づいて生成及び表示される画像の品質が、安全な遠隔運転を実現するために必要とされる基準に達しない（言い換えると、遠隔運転の安全性を確保するためには何らかの緊急制御を実行する必要がある）と推定される。さらに、キーフレームロス率が０．５までであれば、遠隔運転の安全性を確保するために速度を５ｋｍ／ｈ以下に制限する必要があり、キーフレームロス率が０．５を超える場合には、緊急停止をする必要があると判定される。

図１９に例示する緊急制御方法１９０２は、速度制限なし、５ｋｍ／ｈ以下での走行に制限、及び、緊急停車の３段階に設定される。ここで、「緊急停車」は、速度を０ｋｍ／ｈに制限すると言い換えることもできる。すなわち、上記の例では、キーフレームロス率が高いほど速度の制限が厳しくなる（すなわち、より低い速度に制限される）ように、緊急制御方法が設定される。さらに、速度の制限をより細分化し、キーフレームロス率が高いほど速度の制限が厳しくなるように設定することで速度の制限の段階数を増やしてもよい。キーフレームロス率が高いほど、監視制御サーバ１０５が出力する画像の品質低下の度合いが増すため、安全性を確保するためにはより厳しい速度の制限が必要になる。

本実施例によれば、自律走行にて移動する車とセンタとを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、キーフレームロス率に応じた必要最低限の緊急制御を実施することで、車の安全性を確保した上で、移動時間をより短くすることができる。

本発明に係る実施例３を、図２０〜図２２を用いて説明する。以下に説明する相違点を除き、実施例３のシステムの各部は、図１〜図１９に示された実施例１〜実施例２の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

本実施例では、実施例１の構成に対して、監視制御サーバ１０５の構成が異なる。

図２０は、本発明の実施例３にかかる監視制御サーバ１０５の構成を示すブロック図である。

図２０の構成要素の内、図８に示したものと同じ部分には、図８と同一の番号を付与し、説明を省略する。図２０の監視制御サーバ１０５は、監視制御サーバソフト８０１を有する。実施例３の監視制御サーバソフト８０１は、実施例１の監視制御サーバソフト８０１が有するものと同様の各部に加えて、走行モード保持部２００１、緊急制御実施判定部２００２及び走行モードベース緊急制御テーブル２００３を有する。

走行モード保持部２００１は、自動運転車１０１が送信した、自動運転車１０１の走行モードを、通信装置７０１を介して受信して保持する。緊急制御実施判定部２００２は、キーフレームロス率計算部８０６から入力されるキーフレームロス率と、走行モード保持部２００１が保持している自動運転車１０１の走行モードと、に対応する緊急制御方法を、走行モードベース緊急制御テーブル２００３を参照して決定する。走行モードベース緊急制御テーブル２００３は、自動運転車１０１の走行モードと緊急制御方法との対応付けを記録したテーブルである。

図２１は、本発明の実施例３にかかる緊急制御実施判定部２００２の処理を示すフローチャートである。

緊急制御実施判定部２００２は、動作を開始すると、キーフレームロス率閾値を設定する（ステップ２１０１）。次に、ステップ２１０２において、緊急制御実施判定部２００２は、キーフレームロス率を受信したかを確認する。ステップ２１０２において、キーフレームロス率を受信していることが確認された場合には、ステップ２１０３へ進む。ステップ２１０２において、キーフレームロス率を受信していないことが確認された場合には、ステップ２１０２に進む。

ステップ２１０３では、緊急制御実施判定部２００２は、キーフレームロス率＞キーフレームロス率閾値となっているかを確認する。ステップ２１０３において、キーフレームロス率＞キーフレームロス率閾値となっていることが確認された場合には、ステップ２１０４へ進む。ステップ２１０３において、キーフレームロス率＞キーフレームロス率閾値となっていないことが確認された場合には、ステップ２１０２へ進む。ステップ２１０４では、緊急制御実施判定部２００２は、走行モード保持部２００１から現在の走行モードを取得し、ステップ２１０５へ進む。ステップ２１０５では、緊急制御実施判定部２００２は、走行モードベース緊急制御テーブル２００３を参照し、現在のキーフレームロス率と、走行モードと、に対応する緊急制御方法を決定し、緊急制御信号送信部８０８に通知する。

図２２は、本発明の実施例３にかかる走行モードベース緊急制御テーブル２００３の一例を示す説明図である。

走行モードベース緊急制御テーブル２００３は、走行モード２２０１及び緊急制御方法２２０２から構成される。緊急制御実施判定部２００２は、ステップ２１０３においてキーフレームロス率＞キーフレームロス率閾値となっており、かつ、走行モード２２０１が自動運転（フィールド２２０３）である場合には、緊急制御方法２２０２として、速度リミッタ制御（５ｋｍ／ｈ以下での走行に制限）（フィールド２２０５）を実施する。走行モード２２０１が遠隔運転（フィールド２２０４）である場合、緊急制御方法２２０２として緊急停車（フィールド２２０６）を実施する。

自動運転車１０１が遠隔運転を行っている場合、監視制御サーバ１０５が出力する画像の品質が走行の安全性に大きな影響を与えるため、キーフレームロス率の増大等によって画像の品質が低下する場合には走行速度の制限などの緊急制御を行って安全性を確保する必要がある。一方、自動運転車１０１が自動運転を行っている場合には、監視制御サーバ１０５が出力する画像の品質が直ちに安全性に影響するわけではないため、緊急制御を行う必要性は低いが、遠隔運転モードに移行する可能性があることを考慮すると、ある程度の制御は行っておくことが望ましい。このため、上記の例では、キーフレームロス率が所定の条件を満たす場合において、自動運転が行われている場合より、遠隔運転が行われている場合に走行速度が低く制限されるように、緊急制御方法が設定される。

本実施例によれば、自律走行にて移動する車とセンタとを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、走行モードに応じた必要最低限の緊急制御を実施することで、車の安全性を確保した上で、移動時間をより短くすることができる。

本発明に係る実施例４を、図２３〜図２５を用いて説明する。以下に説明する相違点を除き、実施例４のシステムの各部は、図１〜図２２に示された実施例１〜実施例３の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

本実施例では、実施例１の構成に対して、監視制御サーバ１０５の構成が異なる。

図２３は、本発明の実施例４にかかる監視制御サーバ１０５の構成を示すブロック図である。

図２３の構成要素の内、図８に示したものと同じ部分には、図８と同一の番号を付与し、説明を省略する。図２３の監視制御サーバ１０５は、監視制御サーバソフト８０１を有する。監視制御サーバソフト８０１は、実施例１の監視制御サーバソフト８０１が有するものと同様の各部に加えて、走行モード保持部２３０１、緊急制御実施判定部２３０２、及び、走行モードとキーフレームロス率ベース緊急制御テーブル２３０３を有する。

走行モード保持部２３０１は、自動運転車１０１が送信した、自動運転車１０１の走行モードを、通信装置７０１を介して受信して保持する。緊急制御実施判定部２３０２は、キーフレームロス率計算部８０６から入力されるキーフレームロス率と、走行モード保持部２３０１が保持している自動運転車１０１の走行モードと、に対応する緊急制御方法を、走行モードとキーフレームロス率ベース緊急制御テーブル２３０３を参照して決定する。走行モードとキーフレームロス率ベース緊急制御テーブル２３０３は、自動運転車１０１の走行モードとキーフレームロス率と緊急制御方法との対応付けを記録したテーブルである。

図２４は、本発明の実施例４にかかる緊急制御実施判定部２３０２の処理を示すフローチャートである。

緊急制御実施判定部２３０２は、動作を開始すると、キーフレームロス率を受信したかを確認する（ステップ２４０１）。ステップ２４０１において、キーフレームロス率を受信していることが確認された場合には、ステップ２４０２に進む。ステップ２４０１において、キーフレームロス率を受信していないことが確認された場合には、ステップ２４０１へ進む。

ステップ２４０２では、緊急制御実施判定部２３０２は、現在の走行モードを、走行モード保持部２３０１から取得して、ステップ２４０３へ進む。ステップ２４０３では、緊急制御実施判定部２３０２は、走行モードとキーフレームロス率ベース緊急制御テーブル２３０３を参照し、受信したキーフレームロス率と走行モードとに対応した制御方法を決定し、緊急制御信号送信部８０８に通知する。

図２５は、本発明の実施例４にかかる走行モードとキーフレームロス率ベース緊急制御テーブル２３０３の一例を示す説明図である。

走行モードとキーフレームロス率ベース緊急制御テーブル２３０３は、走行モード２５０１、キーフレームロス率２５０２及び緊急制御方法２５０３から構成される。緊急制御実施判定部２３０２は、図２４のステップ２４０３において走行モードとキーフレームロス率ベース緊急制御テーブル２３０３を参照し、走行モード２５０１が「自動運転」、キーフレームロス率が０の場合、緊急制御は実施しないと判定する。走行モードが「自動運転」、キーフレームロス率が０〜０．５の場合には、緊急制御方法として、「速度リミッタ制御（１０ｋｍ／ｈ以下での走行に制限）」（２５０３）を実施すると判定する。走行モードが「自動運転」、キーフレームロス率が０．５〜１．０の場合には、緊急制御方法として「速度リミッタ制御（５ｋｍ／ｈ以下での走行に制限）」を実施することと判定する。走行モードが「遠隔運転」、キーフレームロス率が０の場合には、緊急制御は実施しないと判定する。走行モードが「遠隔運転」、キーフレームロス率が０〜０．５の場合、緊急制御方法として「速度リミッタ制御（５ｋｍ／ｈ以下での走行に制限）」を実施すると判定する。走行モードが「遠隔運転」、キーフレームロス率が０．５〜１．０の場合、緊急制御方法として「緊急停車」を実施すると判定する。このように、本実施例では、自動運転が行われている場合より、遠隔運転が行われている場合に、走行速度が低く制限され、かつ、キーフレームロス率が高いほど走行速度が低く制限されるように、走行モードと、キーフレームロス率と、緊急制御方法とが対応付けられる。

本実施例によれば、自律走行にて移動する車とセンタとを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、走行モードとキーフレームロス率に応じて、必要最低限の緊急制御を実施することで、車の安全性を確保した上で、移動時間をより短くすることができる。

本発明に係る実施例５を、図２６〜図３２を用いて説明する。以下に説明する相違点を除き、実施例５のシステムの各部は、図１〜図２５に示された実施例１〜実施例４の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

本実施例では、実施例１の構成に対して、監視制御サーバ１０５の構成が異なる。

図２６は、本発明の実施例５にかかる監視制御サーバ１０５の構成を示すブロック図である。

図２６の構成要素の内、図８に示したものと同じ部分には、図８と同一の番号を付与し、説明を省略する。図２６の監視制御サーバ１０５は、監視制御サーバソフト８０１を有する。実施例５の監視制御サーバソフト８０１は、実施例１の監視制御サーバソフト８０１が有するものと同様の各部に加えて、読出タイミング制御部２６０１、差分フレームロス率計算部２６０２、緊急制御実施判定部２６０３、及び、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を含む。

読出タイミング制御部２６０１は、バッファ部８０２からフレームを読出し、デコード部８０５へ入力するとともに、当該フレームを、当該フレームがキーフレームであればキーフレームロス率計算部８０６へ、当該フレームが差分フレームであれば差分フレームロス率計算部２６０２へ入力する。差分フレームロス率計算部２６０２は、読出タイミング制御部２６０１から差分フレームを入力されると、差分フレームロス率を計算して、緊急制御実施判定部２６０３へ入力する。

緊急制御実施判定部２６０３はキーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を参照し、キーフレームロス率と差分フレームロス率が、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４のいずれかの判定条件に合致する場合に、緊急制御方法を決定し、緊急制御信号送信部８０８へ通知する。キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４は、キーフレームロス率と差分フレームロス率の組み合わせによる１または、複数の判定条件を記録するテーブルである。

図２７は、本発明の実施例５にかかる読出タイミング制御部２６０１の処理を示すフローチャートである。

図１１と同じ部分には、図１１と同一の番号を付与し、説明を省略する。

ステップ２７０１において、読出タイミング制御部２６０１は、計算結果が０である（すなわち次回読出しフレームがキーフレームである）かを確認する。ステップ２７０１において、計算結果が０である（すなわち次回読出しフレームがキーフレームである）ことが確認された場合には、ステップ１１１０へ進む。ステップ２７０１において、計算結果が０でない（すなわち次回読出しフレームがキーフレームでなく差分フレームである）ことが確認された場合には、ステップ２７０２へ進む。

ステップ２７０２では、読出タイミング制御部２６０１は、次回読出しフレームシーケンス番号のフレームがあるかを確認する。ステップ２７０２において、次回読出しフレームシーケンス番号のフレームがあることが確認された場合には、ステップ２７０４へ進む。ステップ２７０２において、次回読出しフレームシーケンス番号のフレームがない（すなわち差分フレームがロスしている）ことが確認された場合には、ステップ２７０３へ進む。ステップ２７０３において、読出タイミング制御部２６０１は、フレーム完全ロス情報（当該フレームの種別の種別が差分フレームであること、及び、当該フレームが完全にロスしたことを示す情報）を差分フレームロス率計算部２６０２に入力し、ステップ１１１４へ進む。ステップ２７０４では、読出タイミング制御部２６０１は、読出した次回読出しフレームシーケンス番号のフレーム群をコピーして、差分フレームロス率計算部２６０２へ入力する。

図２８は、本発明の実施例５にかかる差分フレームロス率計算部２６０２の処理を示すフローチャートである。

差分フレームロス率計算部２６０２は、動作を開始すると、読出タイミング制御部２６０１からフレーム完全ロス情報を受信したかを確認する（ステップ２８０１）。ステップ２８０１において、フレーム完全ロス情報を受信していることが確認された場合には、ステップ２８０２へ進む。ステップ２８０１において、フレーム完全ロス情報を受信していないことが確認された場合には、ステップ２８０３へ進む。

ステップ２８０２では、差分フレームロス率計算部２６０２は、差分フレームロス率＝１であることを、緊急制御実施判定部８０７へ通知する。ステップ２８０３では、差分フレームロス率計算部２６０２は、読出タイミング制御部２６０１からフレーム群を受信したかを確認する。ステップ２８０３において、フレーム群を受信していることが確認された場合には、ステップ２８０４へ進む。ステップ２８０３において、フレーム群を受信していないことが確認された場合には、ステップ２８０１へ進む。

ステップ２８０４では、差分フレームロス率計算部２６０２は、当該差分フレームの一部が欠損しているかを確認する。ステップ２８０４において、当該差分フレームの一部が欠損していることが確認された場合には、ステップ２８０２へ進む。ステップ２８０４において、当該差分フレームの一部が欠損していないことが確認された場合には、ステップ２８０１へ進む。

図２９は、本発明の実施例５にかかる緊急制御実施判定部２６０３の処理を示すフローチャートである。

緊急制御実施判定部２６０３は、動作を開始すると、通信装置７０１からキーフレーム挿入間隔Ｇを受信したかを確認する（ステップ２９０１）。ステップ２９０１において、通信装置７０１からキーフレーム挿入間隔Ｇを受信していることが確認された場合には、ステップ２９０２に進む。ステップ２９０１において、通信装置７０１からキーフレーム挿入間隔Ｇを受信してないことが確認された場合には、ステップ２９０１に進む。

ステップ２９０２において、緊急制御実施判定部２６０３は、キーフレーム間隔Ｇを受信した値に設定し、ステップ２９０３に進む。ステップ２９０３では、緊急制御実施判定部２６０３は、キーフレームロス率を受信したかを確認する。ステップ２９０３において、キーフレームロス率を受信していることが確認された場合には、ステップ２９０４に進む。ステップ２９０３において、キーフレームロス率を受信していないことが確認された場合には、ステップ２９０６に進む。

ステップ２９０４では、緊急制御実施判定部２６０３は、キーフレームロス率を受信した値に更新し、ステップ２９０５に進む。ステップ２９０５では、緊急制御実施判定部２６０３は、差分フレームロス率を０に更新し、ステップ２９０８に進む。ステップ２９０６において、緊急制御実施判定部２６０３は、差分フレーム完全ロス情報を受信しているかを確認する。ステップ２９０６において、差分フレーム完全ロス情報を受信していることが確認された場合には、ステップ２９０７へ進む。ステップ２９０６において、差分フレームロス完全ロス情報を受信していないことが確認された場合には、ステップ２９０３へ進む。

ステップ２９０７では、緊急制御実施判定部２６０３は、差分フレームロス率に１÷（キーフレーム間隔Ｇ−１）を加算し、ステップ２９０８へ進む。ステップ２９０８では、緊急制御実施判定部２６０３は、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を参照し、計算されたキーフレームロス率及び差分フレームロス率がテーブル記載の条件に合致するかを調べ、合致する場合、緊急制御信号送信部８０８に通知し、ステップ２９０３へ進む。

図３０は、本発明の実施例５にかかるキーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４の一例を示す説明図である。

キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４は、キーフレームロス率３００２及び差分フレームロス率３００３の組み合わせによって構成される。キーフレームロス率３００２の値Ｌと差分フレームロス率３００３の値Ｍとの組み合わせがステップ２９０８で参照される判定条件であり、判定条件３００１はそれぞれの判定条件を識別する番号（図３０の例では１から３のいずれか）である。以下の説明に置いて、判定条件３００１が１である判定条件を判定条件１とも記載する。他の判定条件３００１の値についても同様である。

図３０の例では、キーフレームロス率Ｌが０であっても、差分フレームロス率Ｍが０．７５以上であれば、判定条件１が満たされる。判定条件１から３のいずれかが満たされることは、受信した画像データに基づいて生成及び表示される画像の品質が、安全な遠隔運転を実現するために必要とされる基準に達しない（言い換えると、遠隔運転の安全性を確保するためには何らかの緊急制御を実行する必要がある）と推定されことを意味する。このため、所定の緊急制御信号が送信される。キーフレームロス率Ｌが０＜Ｌ≦０．４を満たし、かつ、差分フレームロス率Ｍが０．５０以上であれば、判定条件２が満たされるため、所定の緊急制御信号が送信される。キーフレームロス率Ｌが０．４より大きく、かつ、差分フレームロス率Ｍが０．２５以上である場合、判定条件３が満たされるため、所定の緊急制御信号が送信される。このように、キーフレームロス率Ｌの値が大きくなるほど小さくなるように差分フレームロス率Ｍの閾値（上記の例では０．７５，０．５０、０．２５）が設定され、差分フレームロス率Ｍがその閾値以上となる場合に緊急制御が行われる。すなわち、キーフレームロス率Ｌが小さくても、差分フレームロス率Ｍが十分に大きければ緊急制御が行われ、差分フレームロス率Ｍが小さくてもキーフレームロス率Ｌが十分に大きければ緊急制御が行われる。上記は一例であるが、キーフレームロス率Ｌの範囲と差分フレームロス率Ｍの閾値との関係を適切に設定することによって、安全性を確保するために必要最低限の緊急制御を実行することができる。

図３１及び図３２を参照して、緊急制御実施判定部２６０３の具体的な処理の例を説明する。

ここで、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４としては、図３０に示したものを使用するものとする。

図３１は、本発明の実施例５にかかる自動運転車１０１のフレーム送信タイミングの一例を示す説明図である。

図３２は、本発明の実施例５にかかる監視制御サーバ１０５のフレーム受信タイミングの一例を示す説明図である。

図３１及び図３２の例では、キーフレーム間隔Ｇは５であるとする。つまり、５フレームに一つの間隔でキーフレームが生成及び送信される。図３１に示す通り、自動運転車１０１は、送信タイミングＳ１００において、シーケンス番号が１００のキーフレームを送信する。この例では、シーケンス番号が１００のキーフレームは、通し番号が１から５の５個の通信パケットに分割して送信される。さらに、自動運転車１０１は、送信タイミングＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４において、それぞれシーケンス番号が１０１、１０２、１０３及び１０４の差分フレームを送信する。この例では、それぞれの差分フレームは通し番号が１及び２の２個の通信パケットに分割して送信される。

図３２に示す通り、監視制御サーバ１０５は、自動運転車１０１が送信した各フレームを受信し、読みだす。具体的には、監視制御サーバ１０５は、読出タイミングＲ１００において、シーケンス番号が１００のキーフレームを読み出す。さらに、監視制御サーバ１０５は、読出タイミングＲ１０１、Ｒ１０２、Ｒ１０３及びＲ１０４において、それぞれ、シーケンス番号が１０１、１０２、１０３及び１０４の差分フレームを読み出す。図３２の各読出しタイミングでの、キーフレームロス率計算部８０６及び差分フレームロス率計算部２６０２の計算処理について、以下で説明する。

なお、図３２の例では、監視制御サーバ１０５は、読出タイミングＲ１００において、シーケンス番号が１００のキーフレームの一部が格納された５個の通信パケットのうち、通し番号が３の通信パケットを受信していない。また、監視制御サーバ１０５は、読出タイミングＲ１０１において、シーケンス番号が１０１の差分フレームの一部が格納された２個の通信パケットのうち、通し番号が２の通信パケットを受信していない。さらに、監視制御サーバ１０５は、読出タイミングＲ１０３において、シーケンス番号が１０３の差分フレームの一部が格納された２個の通信パケットのうち、通し番号が１の通信パケットを受信していない。

読出タイミングＲ１００において、キーフレームロス率計算部８０６は、図１２のステップ１２０４によって、キーフレームロス率＝（５−４）／５＝０．２と計算する。緊急制御実施判定部２６０３は図２９のステップ２９０５において、差分フレームロス率を０に更新する。ステップ２９０８では、現在のキーフレームロス率＝０．２及び差分フレームロス＝０が、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４のいずれの判定条件３００１にも該当しないため、緊急制御実施判定部２６０３は、緊急制御を実施しないことと判定する。

次に読出タイミングＲ１０１において、差分フレームロス率計算部２６０２は、図２８のステップ２８０４において、当該差分フレームは一部が欠損していると判定し、ステップ２８０２へ進む。ステップ２８０２において、差分フレームロス率計算部２６０２は、差分フレーム完全ロス情報を緊急制御実施判定部２６０３に通知する。緊急制御実施判定部２６０３は、ステップ２９０６において、差分フレーム完全ロス情報を受信していることが確認されたため、ステップ２９０７へ進む。ステップ２９０７において、緊急制御実施判定部２６０３は、現在の差分フレームロス率＝０に１÷（５−１）＝０．２５を加算し、現在の差分フレームロス率を０．２５に更新する。ステップ２９０８では、現在のキーフレームロス率＝０．２及び差分フレームロス＝０．２５が、これらはキーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４のいずれの判定条件３００１にも該当しないため、緊急制御実施判定部２６０３は、緊急制御を実施しないことと判定する。

次に読出タイミングＲ１０２において、差分フレームロス率計算部２６０２は、図２８のステップ２８０４において、当該差分フレームは一部が欠損していないと判定しステップ２８０１へ進むこととなり、緊急制御実施判定部２６０３には、何も通知は行われない。

次に読出タイミングＲ１０３において、差分フレームロス率計算部２６０２は、ステップ２８０４において、当該差分フレームは一部が欠損していると判定し、ステップ２８０２へ進む。ステップ２８０２において、差分フレームロス率計算部２６０２は、差分フレーム完全ロス情報を緊急制御実施判定部２６０３に通知する。緊急制御実施判定部２６０３は、ステップ２９０６において、差分フレーム完全ロス情報を受信していることが確認されたため、ステップ２９０７へ進む。ステップ２９０７において、緊急制御実施判定部２６０３は、現在の差分フレームロス率＝０．２５に１÷（５−１）＝０．２５を加算し、現在の差分フレームロス率は０．５に更新される。ステップ２９０８では、現在、キーフレームロス率＝０．２、差分フレームロス＝０．５である。これらは、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４に登録された判定条件３００１が２である判定条件に該当するため、緊急制御実施判定部２６０３は、緊急制御を実施することと判定する。

本実施例によれば、自律走行にて移動する車とセンタとを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、キーフレームロス率と差分フレームロス率に応じて、必要最低限の緊急制御を実施することで、車の安全性を確保した上で、移動時間をより短くすることができる。

本発明に係る実施例６を、図３３〜図３５を用いて説明する。以下に説明する相違点を除き、実施例６のシステムの各部は、図１〜図３２に示された実施例１〜実施例５の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

本実施例では、実施例５の構成に対して、監視制御サーバ１０５の構成が異なる。

図３３は、本発明の実施例６にかかる監視制御サーバ１０５の構成を示すブロック図である。

図３３の構成要素の内、図２６に示したものと同じ部分には、図２６と同一の番号を付与し、説明を省略する。図３３の監視制御サーバ１０５は、監視制御サーバソフト８０１を有する。監視制御サーバソフト８０１は、実施例３の監視制御サーバソフト８０１が有するものと同様の各部に加えて、走行モード保持部３３０１、走行モードベース緊急制御テーブル３３０２及び緊急制御実施判定部３３０３を有する。

走行モード保持部３３０１は、自動運転車１０１が送信した、自動運転車１０１の走行モードを、通信装置７０１を介して受信して保持する。走行モードベース緊急制御テーブル３３０２は、自動運転車１０１の走行モードと緊急制御方法の対応付けを記録したテーブルである。緊急制御実施判定部３３０３は、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を参照し、キーフレームロス率と差分フレームロス率が、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４のいずれかの判定条件に合致する場合に、走行モード保持部３３０１から現在の走行モードを取得し、走行モードベース緊急制御テーブル３３０２を参照し、現在の走行モードに対応した緊急制御方法を決定し、緊急制御信号送信部８０８へ通知する。

図３４は、本発明の実施例６にかかる緊急制御実施判定部３３０３の処理を示すフローチャートである。

図３４について、実施例５の緊急制御判定部の処理（図２９）と同じ処理の部分については説明を省略し、同一の符号を付与する。本実施例の緊急制御実施判定部３３０３は、ステップ２９０５又はステップ２９０７が実行されると、次に、ステップ３４０１を実行する。ステップ３４０１において、緊急制御実施判定部３３０３は、現在の走行モードを、走行モード保持部３３０１から取得し、ステップ３４０２へ進む。ステップ３４０２において、緊急制御実施判定部３３０３は、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を参照し、計算されたキーフレームロス率及び差分フレームロス率がテーブル記載の条件に合致するかを調べ、合致する場合、走行モードに対応した制御方法を決定し、緊急制御信号送信部８０８に通知する。

図３５は、本発明の実施例６にかかる走行モードベース緊急制御テーブル３３０２の一例を示す説明図である。

走行モードベース緊急制御テーブル３３０２は、走行モード３５０１及び緊急制御方法３５０２から構成される。緊急制御実施判定部２６０３は、図３４の３４０２において、キーフレームロス率と差分フレームロス率組み合わせ判定テーブル２６０４を参照し、当該キーロス率と当該差分フレームロス率がテーブル記載の条件に合致する場合に、走行モードを取得し、走行モード３５０１が自動運転（フィールド３５０３）の場合には、緊急制御方法３５０２として、速度リミッタ制御（５ｋｍ／ｈ以下での走行に制限）（フィールド３５０５）を実施すると判定する。走行モード３５０１が遠隔運転（フィールド３５０４）の場合、緊急制御方法３５０２として緊急停車（フィールド３５０６）を実施すると判定する。

本実施例によれば、自律走行にて移動する車とセンタとを通信ネットワークを介して接続して遠隔監視・制御を行うシステムにおいて、キーフレームロス率と差分フレームロス率と自動運転車の走行―モードに応じて、必要最低限の緊急制御を実施することで、車の安全性を確保した上で、移動時間をより短くすることができる。

以上のように、本発明の実施例１から６に記載した監視制御サーバ１０５は、自動運転車１０１との間の単なる通信品質ではなく、自動運転車１０１から受信した画像データの受信状況に基づいて、受信した画像データからデコード部８０５によって生成され、表示装置７０７によって出力される画像の品質を推定する。そして、監視制御サーバ１０５は、推定された画像の品質が安全な遠隔運転のために必要とされる基準に達していないと判定された場合に、緊急制御信号を送信する。

具体的には、監視制御サーバ１０５は、キーフレームロス率のみ、又は、キーフレームロス率と差分フレームロス率との両方に基づいて画像の品質が所望の基準に達しているかを判定してもよい。実施例１から４では、キーフレームロス率のみに基づいて、画像の品質が所望の基準に達しているかが判定される。特に、実施例２及び４では、キーフレームロス率のみに基づいて、画像の品質の程度が推定され、それに応じた緊急制御が実行される。実施例５及び６では、キーフレームロス率と差分フレームロス率との両方に基づいて、画像の品質が所望の基準に達しているかが判定される。

これによって、仮に通信品質が低くても、画像の品質が所望の基準に達していると判定される場合には緊急制御が実行されない（又は、実行されたとしても、制限速度の低下量が小さく抑えられるなど、より軽微な制御が実行される）ことによって、車の安全性を確保した上で、移動時間をより短くすることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０１ 自動運転車
１０２ 道路
１０３ 無線基地局
１０４ 広域網
１０５ 監視制御サーバ
１０６ 監視制御者

Claims (15)

1. 移動体と、ネットワークを介して前記移動体と通信するサーバ装置と、を有する監視制御システムであって、
   前記移動体は、
   前記ネットワークを介して前記サーバ装置と通信する第１通信部と、
   画像を撮影するカメラと、
   前記カメラが撮影した画像から、所定の間隔で挿入されるキーフレームと、前記キーフレームに対する差分を含む差分フレームと、からなる画像データを生成するエンコード部と、
   前記第１通信部を介して前記サーバ装置に前記エンコード部が生成した画像データを送信する送信部と、
   前記第１通信部を介して前記サーバ装置から受信した制御信号に従って前記移動体の移動を制御する移動制御部と、を有し、
   前記サーバ装置は、
   前記ネットワークを介して前記移動体と通信する第２通信部と、
   前記移動体から送信された前記画像データのうち、前記キーフレームの少なくとも一部を所定の時間内に受信しない場合、前記第２通信部を介して前記移動体に緊急制御信号を送信する緊急制御信号送信部と、を有することを特徴とする監視制御システム。
2. 請求項１に記載の監視制御システムであって、
   前記緊急制御信号は、前記移動体の移動速度の制限及び前記移動体の緊急停止のいずれかの方法による緊急制御を指示する信号であることを特徴とする監視制御システム。
3. 請求項２に記載の監視制御システムであって、
   前記サーバ装置は、
   前記キーフレームの損失率が高いほど前記移動体の移動速度が低く制限されるように、前記キーフレームの損失率と緊急制御の方法とを対応付ける緊急制御情報を保持し、
   前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
   前記緊急制御情報に基づいて、前記計算されたキーフレームの損失率に対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
   前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御システム。
4. 請求項２に記載の監視制御システムであって、
   前記移動制御部は、前記移動体の移動を制御するために、自動運転、及び、前記サーバ装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
   前記サーバ装置は、
   前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限されるように、前記移動モードと緊急制御の方法とを対応付ける緊急制御情報と、前記移動体において行われている制御の前記移動モードと、を保持し、
   前記緊急制御情報に基づいて、前記保持されている移動モードに対応する緊急制御の方法を判定する緊急制御判定部を有し、
   前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御システム。
5. 請求項２に記載の監視制御システムであって、
   前記移動制御部は、前記移動体の移動を制御するために、自動運転、及び、前記サーバ装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
   前記サーバ装置は、
   前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限され、かつ、前記キーフレームの損失率が高いほど前記移動体の移動速度が低く制限されるように、前記移動モードと、前記キーフレームの損失率と、緊急制御の方法とを対応付ける緊急制御情報と、前記移動体において行われている制御の前記移動モードと、を保持し、
   前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
   前記緊急制御情報に基づいて、前記保持されている移動モードと前記計算されたキーフレームの損失率とに対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
   前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御システム。
6. 請求項２に記載の監視制御システムであって、
   前記サーバ装置は、
   前記キーフレームの損失率が高いほど低くなるように設定された前記差分フレームの損失率の閾値を保持し、
   前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
   前記差分フレームの少なくとも一部を所定の時間内に受信したか否かに基づいて、前記差分フレームの損失率を計算する差分フレーム損失率計算部と、
   前記計算された差分フレームの損失率が、前記計算されたキーフレームの損失率に対応する前記閾値以上である場合に緊急制御を実行すると判定する緊急制御判定部と、を有し、
   前記緊急制御信号送信部は、前記緊急制御判定部によって緊急制御を実行すると判定された場合に、前記緊急制御信号を送信することを特徴とする監視制御システム。
7. 請求項２に記載の監視制御システムであって、
   前記移動制御部は、前記移動体の移動を制御するために、自動運転、及び、前記サーバ装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
   前記サーバ装置は、
   前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限されるように、前記移動モードと緊急制御の方法とを対応付ける緊急制御情報と、前記キーフレームの損失率が高いほど低くなるように設定された前記差分フレームの損失率の閾値と、を保持し、
   前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
   前記差分フレームの少なくとも一部を所定の時間内に受信したか否かに基づいて、前記差分フレームの損失率を計算する差分フレーム損失率計算部と、
   前記計算された差分フレームの損失率が、前記計算されたキーフレームの損失率に対応する前記閾値以上である場合に、前記緊急制御情報に基づいて、前記保持されている移動モードに対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
   前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御システム。
8. 移動体と通信する通信部と、前記通信部を介して緊急制御信号を送信する緊急制御信号送信部と、を有する監視制御装置であって、
   前記通信部は、前記移動体から送信された、所定の間隔で挿入されるキーフレームと、前記キーフレームに対する差分を含む差分フレームと、からなる画像データを受信し、
   前記緊急制御信号送信部は、前記移動体から送信された前記画像データのうち、前記キーフレームの少なくとも一部を所定の時間内に受信しない場合、前記通信部を介して前記移動体に緊急制御信号を送信することを特徴とする監視制御装置。
9. 請求項８に記載の監視制御装置であって、
   前記緊急制御信号は、前記移動体の移動速度の制限及び前記移動体の緊急停止のいずれかの方法による緊急制御を指示する信号であることを特徴とする監視制御装置。
10. 請求項９に記載の監視制御装置であって、
    前記キーフレームの損失率が高いほど前記移動体の移動速度が低く制限されるように、前記キーフレームの損失率と緊急制御の方法とを対応付ける緊急制御情報を保持し、
    前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
    前記緊急制御情報に基づいて、前記計算されたキーフレームの損失率に対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
    前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御装置。
11. 請求項９に記載の監視制御装置であって、
    前記移動体は、自動運転、及び、前記監視制御装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
    前記監視制御装置は、
    前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限されるように、前記移動モードと緊急制御の方法とを対応付ける緊急制御情報と、前記移動体において行われている制御の前記移動モードと、を保持し、
    前記緊急制御情報に基づいて、前記保持されている移動モードに対応する緊急制御の方法を判定する緊急制御判定部を有し、
    前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御装置。
12. 請求項９に記載の監視制御装置であって、
    前記移動体は、自動運転、及び、前記監視制御装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
    前記監視制御装置は、
    前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限され、かつ、前記キーフレームの損失率が高いほど前記移動体の移動速度が低く制限されるように、前記移動モードと、前記キーフレームの損失率と、緊急制御の方法とを対応付ける緊急制御情報と、前記移動体において行われている制御の前記移動モードと、を保持し、
    前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
    前記緊急制御情報に基づいて、前記保持されている移動モードと前記計算されたキーフレームの損失率とに対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
    前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御装置。
13. 請求項９に記載の監視制御装置であって、
    前記キーフレームの損失率が高いほど低くなるように設定された前記差分フレームの損失率の閾値を保持し、
    前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
    前記差分フレームの少なくとも一部を所定の時間内に受信したか否かに基づいて、前記差分フレームの損失率を計算する差分フレーム損失率計算部と、
    前記計算された差分フレームの損失率が、前記計算されたキーフレームの損失率に対応する前記閾値以上である場合に緊急制御を実行すると判定する緊急制御判定部と、を有し、
    前記緊急制御信号送信部は、前記緊急制御判定部によって緊急制御を実行すると判定された場合に、前記緊急制御信号を送信することを特徴とする監視制御装置。
14. 請求項９に記載の監視制御装置であって、
    前記移動体は、自動運転、及び、前記監視制御装置から受信した制御信号に従う遠隔運転のいずれかの移動モードによる制御を行い、
    前記監視制御装置は、
    前記自動運転が行われている場合より、前記遠隔運転が行われている場合に、前記移動体の移動速度が低く制限されるように、前記移動モードと緊急制御の方法とを対応付ける緊急制御情報と、前記キーフレームの損失率が高いほど低くなるように設定された前記差分フレームの損失率の閾値と、を保持し、
    前記キーフレームの少なくとも一部を前記所定の時間内に受信したか否かに基づいて、前記キーフレームの損失率を計算するキーフレーム損失率計算部と、
    前記差分フレームの少なくとも一部を所定の時間内に受信したか否かに基づいて、前記差分フレームの損失率を計算する差分フレーム損失率計算部と、
    前記計算された差分フレームの損失率が、前記計算されたキーフレームの損失率に対応する前記閾値以上である場合に、前記緊急制御情報に基づいて、前記保持されている移動モードに対応する緊急制御の方法を判定する緊急制御判定部と、を有し、
    前記緊急制御信号送信部は、前記緊急制御判定部によって判定された方法の緊急制御を実行するための前記緊急制御信号を送信することを特徴とする監視制御装置。
15. 移動体と、ネットワークを介して前記移動体と通信するサーバ装置と、を有する監視制御システムによる監視制御方法であって、
    前記移動体は、前記ネットワークを介して前記サーバ装置と通信する第１通信部と、画像を撮影するカメラと、前記移動体の移動を制御する移動制御部と、前記第１通信部、前記カメラ及び前記移動制御部に接続される第１情報処理部と、を有し、
    前記サーバ装置は、前記ネットワークを介して前記移動体と通信する第２通信部と、前記第２通信部に接続される第２情報処理部と、を有し、
    前記監視制御方法は、
    前記第１情報処理部が、前記カメラが撮影した画像から、所定の間隔で挿入されるキーフレームと、前記キーフレームに対する差分を含む差分フレームと、からなる画像データを生成する第１手順と、
    前記第１情報処理部が、前記第１通信部を介して前記サーバ装置に前記画像データを送信する第２手順と、
    前記第２情報処理部が、前記移動体から送信された前記画像データのうち、前記キーフレームの少なくとも一部を所定の時間内に受信しない場合、前記第２通信部を介して前記移動体に緊急制御信号を送信する第３手順と、を有することを特徴とする監視制御方法。

Images