JP2023012821A - 遠隔運転システム - Google Patents

Abstract

【課題】遠隔操作に係る操作性の低下を抑制しつつ、通信量を抑制する。【解決手段】遠隔運転システム（１）は、対象車両（２０）を遠隔運転する。当該遠隔運転システムは、対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得手段（２６）と、操作情報に応じて、対象車両に搭載された複数のカメラ（２１Ｌ、２１Ｃ、２１Ｒ）各々に係る解像度及びフレームレートを制御する制御手段（２７）とを備える。ステアリングホイールの操作量が比較的小さい場合、対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方が維持又は向上される。ステアリングホイールが左右一方側に回転操作され、且つ、上記操作量が比較的大きい場合、対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方が維持又は向上される。【選択図】図１

Description

本発明は、対象車両を遠隔運転する遠隔運転システムの技術分野に関する。

この種のシステムとして、例えば、制御装置から建設機械に対して無線基地局を介して制御信号を送信することにより建設機械を遠隔操作し、建設機械から制御装置に対して無線基地局を介して建設機械に搭載されたカメラの映像を送信するシステムが提案されている（特許文献１参照）。このシステムでは、建設機械の挙動に応じて映像データ量の増加が予測される場合は、映像の解像度及びフレームレートを低減することにより映像データ量の削減が図られる。

特許第６５８１８４４号

特許文献１に記載の技術では、映像データ量の増加を抑制することに主眼を置いており、建設機械に搭載された複数のカメラの解像度及びフレームレートが一律に設定される。例えば、解像度及びフレームレートが一律に低下されてしまうと、遠隔操作しているユーザが表示された画像から必要な情報を把握するまでに要する時間が増える可能性がある。つまり、カメラの解像度及びフレームレートに起因して、遠隔操作に係る操作性が低下する可能性があるという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、遠隔操作に係る操作性の低下を抑制しつつ、通信量を抑制することができる遠隔運転システムを提供することを課題とする。

本発明の一態様に係る遠隔運転システムは、対象車両を遠隔運転する遠隔運転システムであって、前記対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得手段と、前記操作情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートの少なくとも一方を制御する制御手段と、を備え、前記制御手段は、前記操作情報により示される前記ステアリングホイールの操作量が比較的小さい場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

第１実施形態に係る遠隔運転システムの構成を示すブロック図である。 第１実施形態に係る車両のカメラの撮像範囲の一例を示す図である。 第１実施形態に係るディスプレイの一例を示す図である。 第１実施形態に係る遠隔運転システムの動作を示すフローチャートである。 第２実施形態に係る遠隔運転システムの動作を示すフローチャートである。 第３実施形態に係る遠隔運転システムの動作を示すフローチャートである。 第４実施形態に係る遠隔運転システムの動作を示すフローチャートである。 実施形態に係るコンピュータの構成を示すブロック図である。

＜第１実施形態＞
遠隔運転システムに係る第１実施形態について図１乃至図４を参照して説明する。図１において、遠隔運転システム１は、遠隔運転装置１０と、該遠隔運転装置１０により遠隔運転される車両２０とを備えている。

遠隔運転装置１０は、例えば車両のコックピットを模した作りとなっている。遠隔運転装置１０には、当該遠隔運転装置１０を用いて対象車両（ここでは、車両２０）を遠隔運転するユーザが操作するステアリングホイール、アクセルペダル、ブレーキペダル、ウインカレバー（いずれも図示せず）が設けられている。

遠隔運転装置１０は、制御装置１１、通信部１２、操舵センサ１３、アクセルペダルセンサ１４、ブレーキペダルセンサ１５、ディスプレイ１６、スピーカ１７及びウインカセンサ１８を備えて構成されている。操舵センサ１３は、上記ステアリングホイールの操作量を検出する。アクセルペダルセンサ１４は、上記アクセルペダルの操作量を検出する。ブレーキペダルセンサ１５は、上記ブレーキペダルの操作量を検出する。ウインカセンサ１８は、上記ウインカレバーの状態を検出する。

車両２０は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ、マイクロホン２２（以降、”マイク２２”と表記する）、速度センサ２３、加速度センサ２４、ヨーレートセンサ２５、通信部２６並びに画像制御部２７を備えて構成されている。

マイク２２は、車両２０の周囲の音（以降、”外部環境音”と称する）を検出する。速度センサ２３は、車両２０の速度を検出する。加速度センサ２４は、車両２０の加速度を検出する。ヨーレートセンサ２５は、車両２０のヨーレートを検出する。マイク２２により検出された外部環境音、速度センサ２３により検出された速度、加速度センサ２４により検出された加速度及びヨーレートセンサ２５により検出されたヨーレートは、通信部２６を介して、遠隔運転装置１０に送信される。

カメラ２１Ｃは、車両２０の前方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｌは、車両２０の左側方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｒは、車両２０の右側方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像は、通信部２６を介して、遠隔運転装置１０に送信される。

画像制御部２７は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々の解像度及びフレームレートを設定可能に構成されている。カメラ２１Ｌ、２１Ｃ及び２１Ｒは、画像制御部２７により設定された解像度及びフレームレートで、夫々対応する領域を撮像する。尚、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートの具体的な変更方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

ここで、図２において、範囲ＩＲＬはカメラ２１Ｌの撮像範囲に相当し、範囲ＩＲＣはカメラ２１Ｃの撮像範囲に相当し、範囲ＩＲＲはカメラ２１Ｒの撮像範囲に相当する。尚、車両２０は、カメラ２１Ｌ、２１Ｃ及び２１Ｒに加えて、例えば車両２０の後方領域を撮像可能なカメラ等の他のカメラを備えていてよい。

遠隔運転装置１０の制御装置１１は、その内部に論理的に実現される論理ブロックとして、又は、物理的に実現される処理回路として、車両制御部１１１、表示制御部１１２及び音制御部１１３を有する。

車両制御部１１１は、通信部１２を介して、車両２０から送信された速度、加速度及びヨーレートを取得する。車両制御部１１１は、該取得された速度、加速度及びヨーレートと、操舵センサ１３により検出された操作量、アクセルペダルセンサ１４により検出された操作量及びブレーキペダルセンサ１５により検出された操作量とに基づいて、車両２０を制御するための指令値を演算する。車両制御部１１１は、該演算された指令値を、通信部１２を介して、車両２０に送信する。

車両制御部１１１は、操舵センサ１３により検出された操作量を示す操舵情報と、ウインカセンサ１８により検出されたウインカレバーの状態を示すウインカ情報とを、通信部１２を介して、車両２０に送信する。

表示制御部１１２は、通信部１２を介して、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を取得する。ここでディスプレイ１６は、例えば図３に示すように、表示領域ＤＲＬ、ＤＲＣ及びＤＲＲを有する。表示制御部１１２は、カメラ２１Ｌにより撮像された画像を表示領域ＤＲＬに表示し、カメラ２１Ｃにより撮像された画像を表示領域ＤＲＣに表示し、カメラ２１Ｒにより撮像された画像を表示領域ＤＲＲに表示する。

尚、表示領域ＤＲＬ、ＤＲＣ及びＤＲＲ各々は、１つのディスプレイ内の部分領域として実現されてよい。表示領域ＤＲＬ、ＤＲＣ及びＤＲＲは、複数の（例えば３つの）ディスプレイにより実現されてよい。また、表示制御部１１２は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を個別に表示することに代えて、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を合成した上で、合成された画像をディスプレイ１６に表示してよい。

音制御部１１３は、通信部１２を介して、車両２０から送信された外部環境音を取得する。音制御部１１３は、該取得された外部環境音が発せられるように、スピーカ１７を制御する。

ところで、遠隔運転装置１０と車両２０との間の通信容量（又は、通信路容量）は、例えば時間帯や場所等によって変化する。カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像は、そのデータ量が比較的大きいため、通信容量が比較的小さいと、車両２０から遠隔運転装置１０に画像が適切に送信できなくなる可能性がある。

そこで、画像制御部２７は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像される画像の優先度を決定する。そして、画像制御部２７は、該決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々の解像度及びフレームレートを設定する。画像制御部２７の動作について図４のフローチャートを参照して具体的に説明する。

図４において、画像制御部２７は、車両２０と遠隔運転装置１０との間の通信容量が低下したか否かを判定する（ステップＳ１０１）。ステップＳ１０１の処理において、画像制御部２７は、通信容量が、所定の通信容量閾値より小さくなった場合に、通信容量が低下したと判定してよい。

通信容量の計測方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。通信容量は逐次計測されなくてもよい。例えば、画像制御部２７は、時間帯と通信容量との関係を規定するマップを参照して、現在の通信容量を推定してよい。或いは、画像制御部２７は、位置と通信容量との関係を規定するマップを参照して、車両２０の現在の位置の通信容量を推定してよい。

ステップＳ１０１の処理において、通信容量が低下していないと判定された場合（ステップＳ１０１：Ｎｏ）、図４に示す動作は終了される。その後、所定時間が経過した後に、ステップＳ１０１の処理が行われてよい。つまり、図４に示す動作は、所定時間に応じた周期で繰り返し行われてよい。

ステップＳ１０１の処理において、通信容量が低下したと判定された場合（ステップＳ１０１：Ｙｅｓ）、画像制御部２７は、通信部２６を介して取得された操舵情報により示されるステアリングホイールの操作量（以降、適宜“操舵量”と称する）が、所定の操舵量閾値より大きいか否かを判定する（ステップＳ１０２）。

ここで「操舵量閾値」は、車両２０が直進しているか旋回しているかを決定する値であり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。このような「操舵量閾値」は、経験的に若しくは実験的に又はシミュレーションによって、例えば操舵量と車両２０の偏向の程度との関係を求め、該関係に基づいて設定すればよい。

ステップＳ１０２の処理において、操舵量が所定の操舵量閾値より小さいと判定された場合（ステップＳ１０２：Ｎｏ）、画像制御部２７は、車両２０が直進していると判定する。この場合、画像制御部２７は、ディスプレイ１６の表示領域ＤＲＣ（図３参照）に表示される、カメラ２１Ｃにより撮像された画像（以降、適宜“正面画像”と称する）の優先度を「高」に設定する（ステップＳ１０３）。画像制御部２７は、ディスプレイ１６の表示領域ＤＲＬに表示される、カメラ２１Ｌにより撮像された画像（以降、適宜“左側面画像”と称する）と、ディスプレイ１６の表示領域ＤＲＲに表示される、カメラ２１Ｒにより撮像された画像（以降、適宜“右側面画像”と称する）との優先度を「低」に設定する（ステップＳ１０４）。

その後、画像制御部２７は、ステップＳ１０３及びＳ１０４の処理において設定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定する（ステップＳ１１２）。この場合、画像制御部２７は、カメラ２１Ｃの解像度及びフレームレートを少なくとも維持する。その一方で、画像制御部２７は、カメラ２１Ｌの解像度及びフレームレートの少なくとも一方を低下するとともに、カメラ２１Ｒの解像度及びフレームレートの少なくとも一方を低下する。

尚、カメラ２１Ｌ及び２１Ｒの解像度及びフレームレートの少なくとも一方が低下されたことに起因して通信容量に余裕が生じた場合、画像制御部２７は、カメラ２１Ｃの解像度及びフレームレートの少なくとも一方を向上してよい。

ステップＳ１０２の処理において、操舵量が所定の操舵量閾値より大きい場合（ステップＳ１０２：Ｙｅｓ）、画像制御部２７は、通信部２６を介して取得された操舵情報により示される操舵方向が左であるか否かを判定する（ステップＳ１０５）。尚、ステップＳ１０２の処理において、操舵量が所定の操舵量閾値と「等しい」場合は、どちらかの場合に含めて扱ってよい。

ステップＳ１０５の処理において、操舵方向が左であると判定された場合（ステップＳ１０５：Ｙｅｓ）、画像制御部２７は、車両２０が左に旋回していると判定する。この場合、画像制御部２７は、左側面画像の優先度を「高」に設定する（ステップＳ１０６）。画像制御部２７は、正面画像の優先度を「中」に設定する（ステップＳ１０７）。画像制御部２７は、右側面画像の優先度を「低」に設定する（ステップＳ１０８）。

その後、画像制御部２７は、ステップＳ１０６、Ｓ１０７及びＳ１０８の処理において設定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定する（ステップＳ１１２）。この場合、画像制御部２７は、カメラ２１Ｌの解像度及びフレームレートを少なくとも維持する。画像制御部２７は、カメラ２１Ｃの解像度及びフレームレートを維持する。画像制御部２７は、カメラ２１Ｒの解像度及びフレームレートの少なくとも一方を低下する。

尚、カメラ２１Ｒの解像度及びフレームレートの少なくとも一方が低下されたことに起因して通信容量に余裕が生じた場合、画像制御部２７は、カメラ２１Ｌの解像度及びフレームレートの少なくとも一方を向上してよい。他方で、カメラ２１Ｒの解像度及びフレームレートの両方を低下させたにもかかわらず通信容量が不足する場合、画像制御部２７は更に、カメラ２１Ｃの解像度及びフレームレートの少なくとも一方を低下させてよい。

ステップＳ１０５の処理において、操舵方向が左ではない（即ち、右である）と判定された場合（ステップＳ１０５：Ｎｏ）、画像制御部２７は、車両２０が右に旋回していると判定する。この場合、画像制御部２７は、右側面画像の優先度を「高」に設定する（ステップＳ１０９）。画像制御部２７は、正面画像の優先度を「中」に設定する（ステップＳ１１０）。画像制御部２７は、左側面画像の優先度を「低」に設定する（ステップＳ１１１）。

その後、画像制御部２７は、ステップＳ１０９、Ｓ１１０及びＳ１１１の処理において設定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定する（ステップＳ１１２）。この場合、画像制御部２７は、カメラ２１Ｒの解像度及びフレームレートを少なくとも維持する。画像制御部２７は、カメラ２１Ｃの解像度及びフレームレートを維持する。画像制御部２７は、カメラ２１Ｌの解像度及びフレームレートの少なくとも一方を低下する。

尚、カメラ２１Ｌの解像度及びフレームレートの少なくとも一方が低下されたことに起因して通信容量に余裕が生じた場合、画像制御部２７は、カメラ２１Ｒの解像度及びフレームレートの少なくとも一方を向上してよい。他方で、カメラ２１Ｌの解像度及びフレームレートの両方を低下させたにもかかわらず通信容量が不足する場合、画像制御部２７は更に、カメラ２１Ｃの解像度及びフレームレートの少なくとも一方を低下させてよい。

（技術的効果）
車両２０が直進している場合、遠隔運転装置１０により車両２０を遠隔運転するユーザは、正面画像を注視していることが多い。当該遠隔運転システム１では、車両２０が直進しているときに通信容量が低下した場合、カメラ２１Ｃの解像度及びフレームレートが少なくとも維持される。このため、上記ユーザが注視していることが多い正面画像の画質が低下することはない。他方で、カメラ２１Ｌ及び２１Ｒの解像度及びフレームレートの少なくとも一方が低下される。このため、車両２０から遠隔運転装置１０に送信されるデータの総量を低減することができる。

車両２０が左旋回している場合、上記ユーザは、車両２０の進行方向である左斜め前方を注視していることが多い。当該遠隔運転システム１では、車両２０が左旋回しているときに通信容量が低下した場合、カメラ２１Ｌの解像度及びフレームレートが少なくとも維持される。このため、上記ユーザが注視していることが多い左側面画像の画質が低下することはない。他方で、カメラＲの解像度及びフレームレートの少なくとも一方が低下される。このため、車両２０から遠隔運転装置１０に送信されるデータの総量を低減することができる。

車両２０が右旋回している場合、上記ユーザは、車両２０の進行方向である右斜め前方を注視していることが多い。当該遠隔運転システム１では、車両２０が右旋回しているときに通信容量が低下した場合、カメラ２１Ｒの解像度及びフレームレートが少なくとも維持される。このため、上記ユーザが注視していることが多い右側面画像の画質が低下することはない。他方で、カメラＬの解像度及びフレームレートの少なくとも一方が低下される。このため、車両２０から遠隔運転装置１０に送信されるデータの総量を低減することができる。

このように当該遠隔運転システム１によれば、遠隔運転装置１０による遠隔運転に係る操作性の低下を抑制しつつ、通信量を抑制することができる。

＜第２実施形態＞
遠隔運転システムに係る第２実施形態について図５を参照して説明する。第２実施形態では、画像制御部２７の動作が一部異なる以外は、上述した第１実施形態と同様である。従って、第２実施形態について、第１実施形態と重複する説明は適宜省略するとともに、図面上における同一箇所については同一符号を付して示し、第１実施形態と異なる点について図５を参照して説明する。

図５において、通信容量が低下したと判定された場合（ステップＳ１０１：Ｙｅｓ）、画像制御部２７は、通信部２６を介して取得されたウインカ情報により示されるウインカレバーの状態に基づいて、ウインカが作動しているか否かを判定する（ステップＳ２０１）。ステップＳ２０１の処理において、ウインカが作動していないと判定された場合（ステップＳ２０１：Ｎｏ）、ステップＳ１０３以降の処理が行われる。

ステップＳ２０１の処理において、ウインカが作動していると判定された場合（ステップＳ２０１：Ｙｅｓ）、画像処理部２７は、左のウインカが作動しているか否かを判定する（ステップＳ２０２）。ステップＳ２０２の処理において、左のウインカが作動していると判定された場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ１０６以降の処理が行われる。

ステップＳ２０２の処理において、左のウインカが作動していない（即ち、右のウインカが作動している）と判定された場合（ステップＳ２０２：Ｎｏ）、ステップＳ１０９以降の処理が行われる。

（技術的効果）
第２実施形態に係る遠隔運転システム１によれば、上述した第１実施形態と同様に、遠隔運転装置１０による遠隔運転に係る操作性の低下を抑制しつつ、通信量を抑制することができる。

＜第３実施形態＞
遠隔運転システムに係る第３実施形態について図６を参照して説明する。第３実施形態では、遠隔運転システム１の動作が一部異なる以外は、上述した第１実施形態と同様である。従って、第３実施形態について、第１実施形態と重複する説明は適宜省略するとともに、図面上における同一箇所については同一符号を付して示し、第１実施形態と異なる点について図６を参照して説明する。

図６において、通信容量が低下したと判定された場合（ステップＳ１０１：Ｙｅｓ）、遠隔運転装置１０の車両制御部１１１は、当該遠隔運転装置１０により車両２０を遠隔運転するユーザの注視点を検出する（ステップＳ３０１）。尚、注視点の検出方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

車両制御部１１１は、検出された注視点を示す注視点情報を、通信部１２を介して、車両２０に送信する（ステップＳ３０２）。尚、ステップＳ３０１及びＳ３０２の処理は、通信容量が低下した場合に限らず、常時行われていてよい。

車両２０の通信部２６を介して注視点情報を取得した画像制御部２７は、注視点情報に基づいて、上記ユーザが正面画像を注視しているか否かを判定する（ステップＳ３０３）。ステップＳ３０３の処理において、上記ユーザが正面画像を注視していると判定された場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ１０３以降の処理が行われる。

ステップＳ３０３の処理において、上記ユーザが正面画像を注視していないと判定された場合（ステップＳ３０３：Ｎｏ）、画像制御部２７は、上記ユーザが左側面画像を注視しているか否かを判定する（ステップＳ３０４）。ステップＳ３０４の処理において、上記ユーザが左側面画像を注視していると判定された場合（ステップＳ３０４：Ｙｅｓ）、ステップＳ１０６以降の処理が行われる。

ステップＳ３０４の処理において、上記ユーザが左側面画像を注視していない（即ち、右側面画像を注視している）と判定された場合（ステップＳ３０４：Ｎｏ）、ステップＳ１０９以降の処理が行われる。

（技術的効果）
第３実施形態に係る遠隔運転システム１によれば、上述した第１実施形態と同様に、遠隔運転装置１０による遠隔運転に係る操作性の低下を抑制しつつ、通信量を抑制することができる。

＜第４実施形態＞
遠隔運転システムに係る第４実施形態について図７を参照して説明する。第４実施形態では、画像制御部２７の動作が一部異なる以外は、上述した第１実施形態と同様である。従って、第４実施形態について、第１実施形態と重複する説明は適宜省略して、第１実施形態と異なる点について図７を参照して説明する。

図７において、画像制御部２７は、車両２０と遠隔運転装置１０との間の通信容量が低下したか否かを判定する（ステップＳ４０１）。尚、このステップＳ４０１の処理は、上述したステップＳ１０１の処理に相当する。

ステップＳ４０１の処理において、通信容量が低下していないと判定された場合（ステップＳ４０１：Ｎｏ）、図７に示す動作は終了される。その後、所定時間が経過した後に、ステップＳ４０１の処理が行われてよい。つまり、図７に示す動作は、所定時間に応じた周期で繰り返し行われてよい。

ステップＳ４０１の処理において、通信容量が低下したと判定された場合（ステップＳ４０１：Ｙｅｓ）、画像制御部２７は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像から障害物を検出する（ステップＳ４０２）。「障害物」は、例えば歩行者、自転車、他車両、路上落下物等、車両２０の運転に比較的大きな影響を及ぼすものを意味する。尚、障害物の検出方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

次に、画像制御部２７は、ステップＳ４０２の処理における障害物の検出結果に応じて、各画像（即ち、正面画像、左側面画像及び右側面画像）の優先度を決定する（ステップＳ４０３）。具体的には、画像制御部２７は、障害物が映っている画像の優先度を高くする一方、障害物が映っていない画像の優先度を低くする。複数の障害物が検出された場合、画像制御部２７は、例えば映っている障害物が多い画像ほど、その優先度を高くしてよい。また、複数の障害物が検出された場合、画像制御部２７は、例えば映っている障害物の種別に応じて、各画像の優先度を決定してよい。

その後、画像制御部２７は、ステップＳ４０３の処理において決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定する（ステップＳ４０４）。

（技術的効果）
第４実施形態に係る遠隔運転システム１によれば、上述した第１実施形態と同様に、遠隔運転装置１０による遠隔運転に係る操作性の低下を抑制しつつ、通信量を抑制することができる。

尚、第４実施形態に係る態様は、上述した第１乃至第３実施形態のいずれかに係る態様と組み合わされてよい。つまり、画像制御部２７は、ステップＳ４０２の処理において検出された障害物に加えて、操舵情報、ウインカ情報及び注視点情報の少なくとも一つに基づいて、各画像の優先度を決定してよい。

＜コンピュータプログラム＞
コンピュータプログラムに係る実施形態について図８を参照して説明する。図８は、実施形態に係るコンピュータの構成を示すブロック図である。

図８において、コンピュータ５０は、遠隔運転の対象車両としての車両２０の一部を構成する。コンピュータ５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１、ＲＡＭ５２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５３及びＩ／Ｏ５４を備えて構成されている。ＣＰＵ５１、ＲＡＭ５２、ＨＤＤ５３及びＩ／Ｏ５４は、バス５５により相互に接続されている。ＨＤＤ５３には、本実施形態に係るコンピュータプログラム５３１が予め格納されている。Ｉ／Ｏ５４により、上述した通信部２６が構成されていてよい。

コンピュータプログラム５３１によるＣＰＵ５１の処理について説明する。ＣＰＵ５１は、Ｉ／Ｏ５４を介して、例えば、遠隔運転装置１０から送信された操舵情報、ウインカ情報、注視点情報等を取得する。

ＣＰＵ５１は、車両２０と遠隔運転装置１０との間の通信容量が低下したか否かを判定する。通信容量が低下したと判定された場合、ＣＰＵ５１は、上記操舵情報に基づいて、上述した正面画像、左側面画像及び右側面画像各々の優先度を決定してよい。そして、ＣＰＵ５１は、決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定してよい。

通信容量が低下したと判定された場合、ＣＰＵ５１は、上記ウインカ情報に基づいて、上述した正面画像、左側面画像及び右側面画像各々の優先度を決定してよい。そして、ＣＰＵ５１は、決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定してよい。

通信容量が低下したと判定された場合、ＣＰＵ５１は、上記注視点情報に基づいて、上述した正面画像、左側面画像及び右側面画像各々の優先度を決定してよい。そして、ＣＰＵ５１は、決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定してよい。

通信容量が低下したと判定された場合、ＣＰＵ５１は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像から障害物を検出してよい。ＣＰＵ５１は、障害物の検出結果に応じて、上述した正面画像、左側面画像及び右側面画像各々の優先度を決定してよい。そして、ＣＰＵ５１は、決定された優先度に応じて、カメラ２１Ｌ、２１Ｃ及び２１Ｒの解像度及びフレームレートを設定してよい。

尚、コンピュータ５０が、例えば、コンピュータプログラム５３１を格納するＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、等の記録媒体から、コンピュータプログラム５３１を読み込むことにより、ＨＤＤ５３にコンピュータプログラム５３１が格納されてよい。或いは、コンピュータ５０が、例えばインターネット等のネットワークを介して、コンピュータプログラム５３１をダウンロードすることにより、ＨＤＤ５３にコンピュータプログラム５３１が格納されてよい。

コンピュータプログラム５３１によれば、上述した第１乃至第４実施形態における遠隔運転システム１と同様に、遠隔運転装置１０による遠隔運転に係る操作性の低下を抑制しつつ、通信量を抑制することができる。コンピュータプログラム５３１によれば、上述した第１乃至第４実施形態における遠隔運転システム１を比較的容易に実現することができる。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る遠隔運転システムは、対象車両を遠隔運転する遠隔運転システムであって、前記対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得手段と、前記操作情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、を備え、前記制御手段は、前記操作情報により示される前記ステアリングホイールの操作量が比較的小さい場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

上述の実施形態においては「通信部２６」が「取得手段」の一例に相当し、「画像制御部２７」が「制御手段」の一例に相当し、「操舵情報」が「操作情報」の一例に相当し、「カメラ２１Ｃ」が「対象車両の進行方向前方の領域を撮像するカメラ」の一例に相当し、「カメラ２１Ｌ及び２１Ｒの一方」が「対象車両の左右一方側の領域を撮像するカメラ」の一例に相当する。

当該遠隔運転システムでは、前記制御手段は、前記操作量が比較的小さい場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下してよく、前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下してよい。上述の実施形態においては「カメラ２１Ｌ及び２１Ｒの他方」が「対象車両の左右他方側の領域を撮像するカメラ」の一例に相当する。

発明の他の態様に係る遠隔運転システムは、対象車両を遠隔運転する遠隔運転システムであって、前記対象車両を遠隔運転するユーザによるウインカレバーの操作に係るウインカ情報を取得する取得手段と、前記ウインカ情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、を備え、前記制御手段は、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

当該遠隔運転システムでは、前記制御手段は、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下してよく、前記制御手段は、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下してよい。

本発明の他の態様に係る遠隔運転システムは、対象車両を遠隔運転する遠隔運転システムであって、前記対象車両を遠隔運転するユーザの注視点を示す注視点情報を取得する取得手段と、前記注視点情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、を備え、前記制御手段は、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

当該遠隔運転システムでは、前記制御手段は、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下してよく、前記制御手段は、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下してよい。

本発明の他の態様に係る遠隔運転システムは、対象車両を遠隔運転する遠隔運転システムであって、前記対象車両に搭載された複数のカメラ各々により撮像された画像から障害物を検出する検出手段と、前記検出手段による障害物の検出結果に応じて、前記複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、を備えるというものである。上述の実施形態においては「画像制御部２７」が「検出手段」の一例に相当する。

本発明の一態様に係る制御方法は、対象車両を遠隔運転する遠隔運転システムにおける制御方法であって、前記対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得工程と、前記操作情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御工程と、を含み、前記制御工程では、前記操作情報により示される前記ステアリングホイールの操作量が比較的小さい場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方が維持又は向上され、前記制御工程では、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方が維持又は向上されるというものである。

発明の他の態様に係る制御方法は、対象車両を遠隔運転する遠隔運転システムにおける制御方法であって、前記対象車両を遠隔運転するユーザによるウインカレバーの操作に係るウインカ情報を取得する取得工程と、前記ウインカ情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御工程と、を含み、前記制御工程では、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御工程では、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

本発明の他の態様に係る制御方法は、対象車両を遠隔運転する遠隔運転システムにおける制御方法であって、前記対象車両を遠隔運転するユーザの注視点を示す注視点情報を取得する取得工程と、前記注視点情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御工程と、を含み、前記制御工程では、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御工程では、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

本発明の他の態様に係る制御方法は、対象車両を遠隔運転する遠隔運転システムにおける制御方法であって、前記対象車両に搭載された複数のカメラ各々により撮像された画像から障害物を検出する検出工程と、前記検出手段による障害物の検出結果に応じて、前記複数のカメラ各々に係る解像度及びフレームレートを制御する制御工程と、を含むというものである。

本発明の一態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転システムを構成するコンピュータを、前記対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得手段と、前記操作情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、として機能させ、前記制御手段は、前記操作情報により示される前記ステアリングホイールの操作量が比較的小さい場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

本発明の他の態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転システムを構成するコンピュータを、前記対象車両を遠隔運転するユーザによるウインカレバーの操作に係るウインカ情報を取得する取得手段と、前記ウインカ情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、として機能させ、前記制御手段は、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

本発明の他の態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転システムを構成するコンピュータを、前記対象車両を遠隔運転するユーザの注視点を示す注視点情報を取得する取得手段と、前記注視点情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、として機能させ、前記制御手段は、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、前記制御手段は、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上するというものである。

本発明の他の態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転システムを構成するコンピュータを、前記対象車両に搭載された複数のカメラ各々により撮像された画像から障害物を検出する検出手段と、前記検出手段による障害物の検出結果に応じて、前記複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、として機能させるというものである。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔運転システムもまた本発明の技術的範囲に含まれるものである。

１…遠隔運転システム、１０…遠隔運転装置、１１…制御装置、１２、２６…通信部、１３…操舵センサ、１４…アクセルペダルセンサ、１５…ブレーキペダルセンサ、１６…ディスプレイ、１７…スピーカ、１８…ウインカセンサ、２０…車両、２１Ｌ、２１Ｃ、２１Ｒ…カメラ、２２…マイクロホン、２３…速度センサ、２４…加速度センサ、２５…ヨーレートセンサ、２７…画像制御部、１１１…車両制御部、１１２…表示制御部、１１３…音制御部

Claims (7)

1. 対象車両を遠隔運転する遠隔運転システムであって、
   前記対象車両を遠隔運転するユーザによるステアリングホイールの操作に係る操作情報を取得する取得手段と、
   前記操作情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、
   を備え、
   前記制御手段は、前記操作情報により示される前記ステアリングホイールの操作量が比較的小さい場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、
   前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上する
   ことを特徴とする遠隔運転システム。
2. 前記制御手段は、前記操作量が比較的小さい場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下し、
   前記制御手段は、前記操作情報により前記ステアリングホイールが左右一方側に回転操作されたことが示され、且つ、前記操作量が比較的大きい場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下する
   ことを特徴とする請求項１に記載の遠隔運転システム。
3. 対象車両を遠隔運転する遠隔運転システムであって、
   前記対象車両を遠隔運転するユーザによるウインカレバーの操作に係るウインカ情報を取得する取得手段と、
   前記ウインカ情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、
   を備え、
   前記制御手段は、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、
   前記制御手段は、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上する
   ことを特徴とする遠隔運転システム。
4. 前記制御手段は、前記ウインカ情報により前記ウインカレバーが操作されていないことが示される場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下し、
   前記制御手段は、前記ウインカ情報により前記ウインカレバーが左右一方のウインカが作動するように操作されたことが示される場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下する
   ことを特徴とする請求項３に記載の遠隔運転システム。
5. 対象車両を遠隔運転する遠隔運転システムであって、
   前記対象車両を遠隔運転するユーザの注視点を示す注視点情報を取得する取得手段と、
   前記注視点情報に応じて、前記対象車両に搭載された複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、
   を備え、
   前記制御手段は、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の進行方向前方の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上し、
   前記制御手段は、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、前記対象車両の左右一方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を維持又は向上する
   ことを特徴とする遠隔運転システム。
6. 前記制御手段は、前記注視点情報により前記ユーザが正面を注視していることが示される場合、前記複数のカメラのうち、前記進行方向前方の領域を撮像するカメラ以外の、少なくとも一つのカメラの解像度及びフレームレートの少なくとも一方を低下し、
   前記制御手段は、前記注視点情報により前記ユーザが左右一方側を注視していることが示される場合、前記複数のカメラのうち、少なくとも前記対象車両の左右他方側の領域を撮像するカメラの解像度及びフレームレートの少なくとも一方を低下する
   ことを特徴とする請求項５に記載の遠隔運転システム。
7. 対象車両を遠隔運転する遠隔運転システムであって、
   前記対象車両に搭載された複数のカメラ各々により撮像された画像から障害物を検出する検出手段と、
   前記検出手段による障害物の検出結果に応じて、前記複数のカメラ各々に係る解像度及びフレームレートを制御する制御手段と、
   を備えることを特徴とする遠隔運転システム。

Images