JP2023148657A - 制御装置及び制御方法 - Google Patents
制御装置及び制御方法 Download PDFInfo
- Publication number
- JP2023148657A JP2023148657A JP2022056799A JP2022056799A JP2023148657A JP 2023148657 A JP2023148657 A JP 2023148657A JP 2022056799 A JP2022056799 A JP 2022056799A JP 2022056799 A JP2022056799 A JP 2022056799A JP 2023148657 A JP2023148657 A JP 2023148657A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- unit
- control device
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000004891 communication Methods 0.000 claims abstract description 112
- 238000001514 detection method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上すること。
【解決手段】車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備える。
【選択図】図2
【解決手段】車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備える。
【選択図】図2
Description
本発明は、制御装置及び制御方法に関する。
従来、車両の走行を遠隔で制御する技術が知られている。例えば、特許文献1には、「第1通信系統を介して操作情報を含む第1情報を授受し、第2通信系統を介して操作端末5に提示される駐車制御に関する提示情報を含む第2情報を授受し、第1通信系統の第1評価値が第1閾値未満である場合には、第1情報の少なくとも一部を第1通信系統以外の他の通信系統を介して授受し、第2通信系統の第2評価値が第2閾値未満である場合には、第2情報の少なくとも一部を第2通信系統以外の他の通信系統を介して授受するとともに、第1情報及び/又は第2情報の情報量を低減し、外部の操作端末5に入力された操作情報に基づいた駐車経路を移動させる制御命令に従って車両Vを駐車させる。」との記載がある。
従来の技術によれば、車両が外部との通信により指示を受信して動作を制御することができ、通信の状態に応じて通信系統の選択等を行うことができる。しかしながら、従来の技術では、車両の走行の状態による必要な情報の違いは考慮されていない。
例えば、車両が自車両の状態や周辺の状態を示す情報をユーザが携帯する端末に送信し、ユーザが端末を操作して車両の状態を確認し、必要に応じて走行に対する指示を送信するケースを想定する。このようなケースで送受信の遅延が大きくなると、時間的な余裕がなくなり、車両の制御が間に合わなくなる可能性がある。遅延に対応するために、端末に送信する情報を一様に削減すると、ユーザが操作に必要な情報の品質も低下してしまう。具体的には、車両が前方に走行しているときに、通信系統を変更したり、画像全体の解像度を下げると、車両の前方の画像も後方の画像も同様に影響を受ける。ユーザによる確認の重要度は、車両の進行方向である前方の画像が高く、車両の後方の画像が低いが、このような情報の重要度は考慮されないのである。この結果、通信状況の影響を受けて車両の遠隔制御の操作性が低下する事態が生じていた。
そこで、本発明では、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上することを目的とする。
上記目的を達成するために、代表的な本発明の制御装置の一つは、車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備えることを特徴とする。
本発明によれば、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
以下、実施例について図面を用いて説明する。
図1は、実施例1に係る車両の制御の説明図である。図1に示す車両10は、車両制御装置20を搭載している。車両制御装置20は、電子制御装置(ECU)であり、駐車に関する車両の走行制御を自動で実行する自動駐車機能を有する。また、車両制御装置20は、車両10のユーザが携行する端末40と通信可能である。
ユーザが、車両10を運転し、駐車場の出入り口で降車し、自動駐車機能を実行すると、車両10は、駐車区画まで自動で走行し、駐車区画内に駐車する走行制御を行う。このように自動で走行制御を行っている間、車両制御装置20は、端末40に対して車両走行状態に関する情報を送信する。車両走行状態に関する情報は、車両周辺画像を含む。この他、車両走行状態に関する情報は、車両10自体の状態に関する情報(車速など)と、車両10周辺の障害物に関する情報などを含むことができる。
ユーザは、端末40を用いて車両周辺画像を確認することができる。そして、必要に応じて車両10の走行を制御する操作を行う。例えば、ユーザが周辺の画像を確認することで、緊急停止が必要であると判断したならば、端末40に緊急停止操作を行う。端末40は、緊急停止操作を受け付けて、緊急停止を要求する指示を車両制御装置20に送信する。緊急停止を要求する指示を受信した車両制御装置20は、端末40からの指示を自動の走行制御よりも優先し、車両10の停止制御を実行する。
このように、車両制御装置20は、車両周辺画像を端末40に送信し、端末40から走行制御操作を受信する。ここで、車両制御装置20と端末40との通信状況が悪化し、送受信の遅延が大きくなると、ユーザの判断や操作に時間的な余裕がなくなる。このため、例えば、遅延が大きくなった場合に、ユーザからの緊急停止の操作が間に合わない、といった事態が生じ得る。
そこで、車両制御装置20は、端末40との通信状況を判定するとともに、車両10の進行方向を判定し、通信状況及び進行方向に応じて、車両10の周囲のうち、端末40に報知する範囲を報知範囲として決定する。
具体的には、車両制御装置20は、端末40との通信に係る電波の強度を通信状況として取得する。
強度が第1の閾値Th1以上であれば、車両制御装置20は、車両10の周囲の全方向を報知範囲とする。そして、車両制御装置20は、車両10の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置20は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末40に提供する。
強度が第1の閾値Th1未満であれば、車両制御装置20は、車両10の周囲のうち、進行方向を報知範囲に含みつつ、車両10の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置20は、車両10の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置20は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末40に提供する。図1の例では、車両制御装置20は、前方向と右前方向を報知範囲とする特定範囲画像を提供する。
強度が第1の閾値Th1以上であれば、車両制御装置20は、車両10の周囲の全方向を報知範囲とする。そして、車両制御装置20は、車両10の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置20は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末40に提供する。
強度が第1の閾値Th1未満であれば、車両制御装置20は、車両10の周囲のうち、進行方向を報知範囲に含みつつ、車両10の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置20は、車両10の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置20は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末40に提供する。図1の例では、車両制御装置20は、前方向と右前方向を報知範囲とする特定範囲画像を提供する。
このように、通信状況に応じて報知範囲を変更することで、端末40に送信するデータ量を削減した場合であっても、ユーザの判断に寄与する情報については高品質かつ低遅延での送信が可能である。このため、ユーザは、緊急停止の要否などの判断を余裕をもって正確に行うことができる。
図2は、車両制御装置20の構成を示す構成図である。車両制御装置20は、車両10に搭載され、1又は複数のカメラ11、1又は複数のレーダ12、駆動制御ユニット13などと接続する。カメラ11は、車両10の周囲を撮像する。レーダ12は、車両10の周囲に存在する物体を検知する。レーダ12は、電波式であってもよいし、音波式のソナーであってもよい。また、LIDAR(Light Detection and Ranging、Laser Imaging
Detection and Ranging)であってもよい。駆動制御ユニット13は、車両の加減速制御や操舵制御などを行うユニット群である。
Detection and Ranging)であってもよい。駆動制御ユニット13は、車両の加減速制御や操舵制御などを行うユニット群である。
車両制御装置20は、ユーザの端末40と通信が可能である。また、車両制御装置20は、基地局50を介してユーザの端末40と通信が可能である。端末40は、さらに、基地局50を介してサーバ60と通信可能である。サーバ60は、駐車場における駐車区画の配置などを示す駐車場データと、各駐車区画の空き状況を示す空き状況データを管理している。
車両制御装置20は、その内部に、通信部21、通信状況取得部22、障害物検知部23、進行方向取得部24、周囲状況取得部25、報知範囲決定部26、画像生成部27、出力制御部28及び走行制御部29を有する。
通信部21は、車両の外部と通信を行う処理部である。通信部21は、例えば移動体通信によって通信を行う。移動体通信は、基地局を介して行う移動通信システムによる通信であり、例えば第4世代(4G)、第5世代(5G)などで区別することができる。また、通信部21は、近距離無線通信による通信が可能であってもよい。近距離無線は、車両制御装置20と端末40との直接の通信であり、例えば無線LANやBluetooth(登録商標)、UWB(Ultrawideband)等によって実現することができる。複数の通信方式に対応する場合には、通信部21は、通信方式ごとに異なる複数の通信ユニットの集合である。通信部21は、車両10の走行状態を示す情報を外部の端末40に送信し、端末40から車両10の走行を制御する指示を受信可能である。
通信状況取得部22は、通信部21の通信状況を取得する。通信状況としては、任意の指標を用いることができる。一例として、通信状況取得部22は、車両が移動体通信を用いて端末と通信している場合には電波強度を取得し、車両がwi-fi(登録商標)などの無線LANを用いて端末と通信している場合には受信信号強度を取得する。
障害物検知部23は、車両の周囲に存在する障害物を検知する。具体的には、障害物検知部23は、レーダ12の出力から障害物の方向と距離を検知する。また、カメラ11の画像に対する画像処理で障害物を検知してもよい。
進行方向取得部24は、車両10の進行方向を取得する。具体的には、進行方向取得部24は、駆動制御ユニット13からシフト情報を取得して、車両10の進行方向が前方であるか後方であるかを判別する。
周囲状況取得部25は、車両10の周囲の状況を画像として取得する。具体的には、周囲状況取得部25は、複数のカメラ11からそれぞれが撮影した画像を取得する。
報知範囲決定部26は、通信状況及び進行方向に応じて、車両10の周囲のうち、外部の端末40に報知する範囲を報知範囲として決定する。具体的には、報知範囲決定部26は、通信状況及び進行方向に応じて、見下ろし画像の生成に使用する1又は複数のカメラを選択する。
一例として、報知範囲決定部26は、強度が第1の閾値よりも低い場合に、進行方向を報知範囲に含みつつ、車両10の周囲の一部を報知範囲から除外することで報知範囲を縮小する。
また、報知範囲決定部26は、強度が第1の閾値に比して小さい第2の閾値よりも低い場合に、障害物が所在する方向を残しつつ、報知範囲をさらに縮小することができる。
報知範囲決定部26は、報知範囲に加えて、端末40に送信する画像の種別をさらに決定することもできる。例えば、カメラ11が撮影した画像から見下ろし画像と主観視点画像を生成する場合に、報知範囲決定部26は、強度が第2の閾値以上であれば、見下ろし画像及び主観視点画像を端末40への送信対象とし、強度が第2の閾値未満であれば、見下ろし画像のみを端末40への送信対象とする。
また、報知範囲決定部26は、強度が第1の閾値に比して小さい第2の閾値よりも低い場合に、障害物が所在する方向を残しつつ、報知範囲をさらに縮小することができる。
報知範囲決定部26は、報知範囲に加えて、端末40に送信する画像の種別をさらに決定することもできる。例えば、カメラ11が撮影した画像から見下ろし画像と主観視点画像を生成する場合に、報知範囲決定部26は、強度が第2の閾値以上であれば、見下ろし画像及び主観視点画像を端末40への送信対象とし、強度が第2の閾値未満であれば、見下ろし画像のみを端末40への送信対象とする。
画像生成部27は、周囲状況取得部25で取得した画像を用い、報知範囲について車両10を見下ろした画像である見下ろし画像を生成する。具体的には、画像生成部27は、報知範囲決定部26により選択した1又は複数のカメラの撮影結果を用いて見下ろし画像を生成する。
また、画像生成部27は、見下ろし画像に加えて、主観視点画像をさらに生成可能である。主観視点画像は、カメラ11が撮影した画像をそのまま用いてもよい。カメラ11が魚眼レンズであれば、画像生成部27は、カメラ11が撮影した画像に歪み補正を行って、主観視点画像として出力することができる。
また、画像生成部27は、カメラ11が撮影した画像を、運転席を視点とした画像になるよう加工して、主観視点画像として出力することができる。車両10は、ユーザが運転席に着座して運転操作することも、端末40による遠隔操作も可能である。運転席に遠隔操作専用のカメラを配置すると、運転席での運転操作を阻害し、また、コストの上昇を招く。そこで、画像生成部27は、周辺監視用のカメラ11の出力を加工することで、運転席視点の画像を生成する。このとき、複数のカメラ11の出力を合成して使用してもよい。
また、画像生成部27は、見下ろし画像に加えて、主観視点画像をさらに生成可能である。主観視点画像は、カメラ11が撮影した画像をそのまま用いてもよい。カメラ11が魚眼レンズであれば、画像生成部27は、カメラ11が撮影した画像に歪み補正を行って、主観視点画像として出力することができる。
また、画像生成部27は、カメラ11が撮影した画像を、運転席を視点とした画像になるよう加工して、主観視点画像として出力することができる。車両10は、ユーザが運転席に着座して運転操作することも、端末40による遠隔操作も可能である。運転席に遠隔操作専用のカメラを配置すると、運転席での運転操作を阻害し、また、コストの上昇を招く。そこで、画像生成部27は、周辺監視用のカメラ11の出力を加工することで、運転席視点の画像を生成する。このとき、複数のカメラ11の出力を合成して使用してもよい。
出力制御部28は、報知範囲の見下ろし画像を、通信部21を用いて端末40へ送信する。また、出力制御部28は、報知範囲の主観視点画像を、通信部21を用いて端末40へ送信する。
走行制御部29は、通信部21が端末40から受信した指示に基づいて車両10の走行を制御する。具体的には、走行制御部29は、駐車区画に車両10を駐車する制御を行い、端末40から停止の指示を受け付けた場合には車両10が停止する制御を行う。走行制御部29は、駐車区画に車両10を駐車する制御に際しては、障害物検知部23による検知結果や、駆動制御ユニット13から取得した自車両の状態等を用いて車両10の走行を制御する。
図3は、カメラの配置についての説明図である。図3では、カメラ11は、車両10の前方(F)、右前方(FR)、右後方(RR)、後方(R)、左後方(RL)、左前方(FL)の6方向に対してそれぞれ配置する。実際には、複数のカメラ11の撮影範囲は、重複していてもよい。また、図3に示した6方向は一例にすぎず、カメラの数と配置場所は任意に変更可能である。さらに、図3に示したカメラ11の配置に加え、レーダ12を適宜配置する。
図4は、自動駐車の説明図である。図4では、ユーザは駐車場の出入口で車両10を降り、自動運転による駐車を指示している。駐車場には複数の駐車区画があり、車両10はユーザが指定した駐車区画まで走行して、駐車を実行する。車両10が駐車を完了するまで、車両10に搭載された車両制御装置20は、基地局50を介した移動体通信により端末40と通信する。
図4には、端末40の表示例を示している。端末40は、車両10の自動運転中には、見下ろし画像、主観視点画像、駐車場模式図、入庫ボタン、出庫ボタン、緊急停止ボタン、状態情報、障害物検知結果を表示する。見下ろし画像は、複数のカメラ11の撮像結果を合成して生成する。主観視点画像は、例えば車両10の進行方向を撮像するカメラ11の出力を用いる。駐車場模式図は、サーバ60から取得した駐車場データと空き状況データから生成する。また、駐車場模式図には、端末40の位置、車両10の位置、走行予定経路、目標とする駐車区画などを重畳表示する。
入庫ボタンは、自動運転による駐車を指示する場合に用いる。出庫ボタンは、駐車した車両10が自動で出入口まで走行する指示を行う場合に用いる。緊急停止ボタンは、車両10の緊急停止を指示する操作を受け付ける。状態情報としては、車両10の車速など任意の情報を表示することができる。障害物検知結果は、障害物検知距離内に物体を検知した場合に表示出力する。
図5は、強度に基づくデータ削減についての説明図である。
強度が閾値Th1以上であれば、車両制御装置20の報知範囲決定部26は、全てのカメラ11を選択する。また、報知範囲決定部26は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末40は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
強度が閾値Th1以上であれば、車両制御装置20の報知範囲決定部26は、全てのカメラ11を選択する。また、報知範囲決定部26は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末40は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
強度が閾値Th1以上であれば、車両制御装置20の報知範囲決定部26は、全てのカメラ11を選択する。また、報知範囲決定部26は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末40は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
強度が閾値Th1未満Th2以上であれば、報知範囲決定部26は、進行方向のカメラ11を選択する。図5では、報知範囲決定部26は、前方(F)と右前方(FR)に対応するカメラ11を選択している。また、報知範囲決定部26は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末40は、前方(F)及び右前方(FR)の見下ろし画像と、主観視点画像の一部を表示する。
強度が閾値Th2未満で、障害物を検知している場合、報知範囲決定部26は、障害物が存在する方向のカメラ11を選択する。図5では、報知範囲決定部26は、右前方(FR)に対応するカメラ11を選択している。また、報知範囲決定部26は、見下ろし画像を送信対象とし、主観視点画像を送信対象から除外する。この結果、端末40は、右前方(FR)の見下ろし画像を表示し、主観視点画像は表示しない。
図6は、実施例1の自動駐車の処理手順を示すフローチャートである。まず、端末40が駐車場を管理するサーバ60に対して問い合わせを行う(ステップS101)。サーバ60は、端末40に対して駐車場データと空き状況データを応答する(ステップS201)。
端末40は、駐車場データ及び空き状況データを表示出力し、ユーザから駐車区画の選択操作を受け付ける(ステップS102)。端末40は、駐車先の駐車区画の予約をサーバ60に要求し、サーバ60は空き状況を更新する(ステップS202)。その後、端末40は、駐車場データと駐車先の駐車区画を車両制御装置20に送信する(ステップS104)。
車両制御装置20は、端末40から駐車場データと駐車先の駐車区画を受信すると、自動運転の行先としての駐車区画を決定するとともに、走行経路を決定する(ステップS301)。そして、決定した行先と走行経路に従って、自動運転処理を実行し(ステップS302)、処理を終了する。
図7は、自動運転処理の処理手順を示すフローチャートである。自動運転処理において、車両制御装置20は、ステップS401からステップS425の処理を順次実行する。各ステップの処理は次のとおりである。
ステップS401 通信状況取得部22は、通信部21から通信状況を取得する。例えば、通信状況取得部22は、通信の強度を取得する。その後、ステップS402に進む。
ステップS402 進行方向取得部24は、車両10の進行方向を取得する。例えば、進行方向取得部24は、駆動制御ユニット13からシフト情報を取得し、車両10の進行方向が前方であるか後方であるかを特定する。
ステップS402 進行方向取得部24は、車両10の進行方向を取得する。例えば、進行方向取得部24は、駆動制御ユニット13からシフト情報を取得し、車両10の進行方向が前方であるか後方であるかを特定する。
ステップS403 報知範囲決定部26は、強度が閾値Th1以上であるか否かを判定する。強度が閾値Th1以上であれば(ステップS403;Yes)、ステップS404に進む。強度が閾値Th1未満であれば(ステップS403;No)、ステップS405に進む。
ステップS404 報知範囲決定部404は、全てのカメラ11を選択する。その後、ステップS410に進む。
ステップS405 報知範囲決定部26は、強度が閾値Th2以上であるか否かを判定する。強度が閾値Th2以上であれば(ステップS405;Yes)、ステップS408に進む。強度が閾値Th2未満であれば(ステップS405;No)、ステップS406に進む。
ステップS405 報知範囲決定部26は、強度が閾値Th2以上であるか否かを判定する。強度が閾値Th2以上であれば(ステップS405;Yes)、ステップS408に進む。強度が閾値Th2未満であれば(ステップS405;No)、ステップS406に進む。
ステップS406 報知範囲決定部26は、障害物検知部23が車両10の周囲に障害物を検知したか否かを判定する。障害物がなければ(ステップS406;No)、ステップS408に進む。障害物があれば(ステップS407;No)、ステップS409に進む。
ステップS408 報知範囲決定部404は、進行方向のカメラ11を選択する。その後、ステップS410に進む。
ステップS409 報知範囲決定部404は、進行方向かつ障害物の方向のカメラ11を選択する。その後、ステップS411に進む。
ステップS409 報知範囲決定部404は、進行方向かつ障害物の方向のカメラ11を選択する。その後、ステップS411に進む。
ステップS410 画像生成部27は、報知範囲決定部404が選択したカメラ11の出力を用いて見下ろし画像と主観視点画像を生成する。その後、ステップS412に進む。
ステップS411 画像生成部27は、報知範囲決定部404が選択したカメラ11の出力を用いて見下ろし画像を生成する。その後、ステップS412に進む。
ステップS411 画像生成部27は、報知範囲決定部404が選択したカメラ11の出力を用いて見下ろし画像を生成する。その後、ステップS412に進む。
ステップS412 出力制御部28は、画像生成部27が生成した画像を端末40に送信する。その後、ステップS413に進む。
ステップS413 走行制御部29は、通信部21が端末40からユーザの要求を受信したか否かを判定する。ユーザの要求を受信していれば、ステップS414に進む。ユーザの要求を受信していなければ(ステップS413;No)、ステップS415に進む。
ステップS413 走行制御部29は、通信部21が端末40からユーザの要求を受信したか否かを判定する。ユーザの要求を受信していれば、ステップS414に進む。ユーザの要求を受信していなければ(ステップS413;No)、ステップS415に進む。
ステップS414 走行制御部29は、ユーザが指定した駐車区画に向けて車両10が走行するよう駆動制御ユニット13に指示を出力する。その後、ステップS416に進む。
ステップS415 走行制御部29は、ユーザの要求を処理する。その後、ステップS416に進む。
ステップS415 走行制御部29は、ユーザの要求を処理する。その後、ステップS416に進む。
ステップS416 走行制御部29は、ユーザが指定した駐車区画への駐車が完了したか否かを判定する。駐車か完了していなければ(ステップS416;No)、ステップS401に戻る。駐車が完了していれば(ステップS416;Yes)、処理を終了する。
(変形例)
これまでの説明では、車両制御装置20が見下ろし画像及び主観視点画像を生成する構成を例示したが、端末40が見下ろし画像及び主観視点画像を生成する構成としてもよい。この場合には、車両制御装置20は、通信状況に応じてカメラ11を選択し、選択したカメラ11の画像を端末40に送信する。端末40は車両制御装置20から受信した画像を用いて見下ろし画像及び主観視点画像を生成する。
これまでの説明では、車両制御装置20が見下ろし画像及び主観視点画像を生成する構成を例示したが、端末40が見下ろし画像及び主観視点画像を生成する構成としてもよい。この場合には、車両制御装置20は、通信状況に応じてカメラ11を選択し、選択したカメラ11の画像を端末40に送信する。端末40は車両制御装置20から受信した画像を用いて見下ろし画像及び主観視点画像を生成する。
図8は、変形例における自動運転処理の処理手順を示すフローチャートである。図8のフローチャートは、ステップS401からS409まで図7と同様である。車両制御装置20は、ステップS404,S408,S409の後、ステップS501を実行する。
ステップS501では、車両制御装置20は、ステップS404,S408,S409で選択したカメラ11の画像を端末40に送信する。その後、ステップS413に移行する。ステップS413以降は、図7と同様である。
この構成では、車両制御装置20は、処理負荷が小さくなり、端末40に速やかにデータ送信を行うことができる。また、通信状況が悪化した場合には、カメラ11の選択により、ユーザにとって重要な情報を高品質で提供しつつ、データ量を削減できる。
この構成では、車両制御装置20は、処理負荷が小さくなり、端末40に速やかにデータ送信を行うことができる。また、通信状況が悪化した場合には、カメラ11の選択により、ユーザにとって重要な情報を高品質で提供しつつ、データ量を削減できる。
他の変形例として、通信方式に応じて報知範囲を切り替えてデータ削減を行ってもよい。図9は、通信方式に基づくデータ削減についての説明図である。
図9に例示した車両制御装置20は、端末40と複数の通信方式で通信可能である。複数の通信方式には、移動体通信と近距離無線通信とが含まれる。移動体通信と近距離無線通信とを比較すると、近距離無線通信の方が大量のデータを低遅延で送信可能である。
図9に例示した車両制御装置20は、端末40と複数の通信方式で通信可能である。複数の通信方式には、移動体通信と近距離無線通信とが含まれる。移動体通信と近距離無線通信とを比較すると、近距離無線通信の方が大量のデータを低遅延で送信可能である。
図9に例示した車両制御装置20は、通信状況の判定において、端末40と通信に用いている通信方式を判定する。
近距離無線通信を行っていれば、車両制御装置20は、車両10の周囲の全方向を報知範囲とする。そして、車両制御装置20は、車両10の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置20は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末40に提供する。
移動体通信を行っていれば、車両制御装置20は、車両10の周囲のうち、進行方向を報知範囲に含みつつ、車両10の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置20は、車両10の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置20は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末40に提供する。
近距離無線通信を行っていれば、車両制御装置20は、車両10の周囲の全方向を報知範囲とする。そして、車両制御装置20は、車両10の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置20は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末40に提供する。
移動体通信を行っていれば、車両制御装置20は、車両10の周囲のうち、進行方向を報知範囲に含みつつ、車両10の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置20は、車両10の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置20は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末40に提供する。
このように、通信方式に応じて報知範囲を変更することで、端末40に送信するデータ量を削減した場合であっても、ユーザの判断に寄与する情報については高品質かつ低遅延での送信が可能である。このため、ユーザは、緊急停止の要否などの判断を余裕をもって正確に行うことができる。
上述してきたように、開示の車両制御装置20は、車両10に搭載され、前記車両の外部と通信可能な通信部21を備える制御装置であって、前記通信部21の通信状況を取得する通信状況取得部22と、前記車両10の周囲の状況を画像として取得する周囲状況取得部25と、前記車両10の進行方向を取得する進行方向取得部24と、前記通信状況及び前記進行方向に応じて、前記車両10の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部26と、前記周囲状況取得部25で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部27と、前記報知範囲の前記見下ろし画像を、前記通信部21を用いて前記端末40へ送信する出力制御部28とを備える。
かかる構成及び動作により、制御装置は、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。
かかる構成及び動作により、制御装置は、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。
また、前記周囲状況取得部25は、複数のカメラ11が撮影した複数の画像を取得し、前記報知範囲決定部26は、前記通信状況及び前記進行方向に応じて、前記見下ろし画像の生成に使用する1又は複数のカメラ11を選択する。前記画像生成部27は、前記報知範囲決定部26により選択した1又は複数のカメラ11の撮影結果を用いて前記見下ろし画像を生成する。
かかる構成及び動作により、報知範囲を簡易且つ効率的に決定することができる。
かかる構成及び動作により、報知範囲を簡易且つ効率的に決定することができる。
また、前記通信状況取得部22は、前記端末40との通信に係る電波の強度を前記通信状況として取得し、前記報知範囲決定部26は、前記強度が第1の閾値よりも低い場合に、前記進行方向を前記報知範囲に含みつつ、前記車両の周囲の一部を前記報知範囲から除外する。
かかる構成及び動作により、通信時の強度に基づいて報知範囲を適正に選択することができる。
かかる構成及び動作により、通信時の強度に基づいて報知範囲を適正に選択することができる。
また、制御装置は、前記車両10の周囲に存在する障害物を検知する障害物検知部23をさらに備え、前記報知範囲決定部26は、前記強度が前記第1の閾値に比して小さい第2の閾値よりも低い場合に、前記障害物が所在する方向を残しつつ、前記報知範囲をさらに縮小することができる。
かかる構成及び動作によれば、ユーザの判断に重要な障害物に関する情報を低遅延で提供することができる。
かかる構成及び動作によれば、ユーザの判断に重要な障害物に関する情報を低遅延で提供することができる。
また、前記画像生成部27は、前記見下ろし画像に加えて、主観視点画像をさらに生成可能であり、前記報知範囲決定部26は、前記報知範囲に加えて、前記端末に送信する画像の種別をさらに決定する。
かかる構成及び動作によれば、制御装置は、多様な種別の画像の提供が可能となるとともに、通信状況に合わせて提供する画像の種別を絞り込むことができる。
かかる構成及び動作によれば、制御装置は、多様な種別の画像の提供が可能となるとともに、通信状況に合わせて提供する画像の種別を絞り込むことができる。
また、制御装置は、前記通信部21が前記端末40から受信した指示に基づいて前記車両10の走行を制御する走行制御部29をさらに備える。
前記走行制御部29は、駐車区画に前記車両10を駐車する制御を行い、前記端末40から停止の指示を受け付けた場合には前記車両10が停止する制御を行う。
このため、車両10の自動走行に対する外部からの介入に余裕を持たせることができる。そして、車両10の駐車を支援しつつ、緊急停止を間に合わせることができる。
前記走行制御部29は、駐車区画に前記車両10を駐車する制御を行い、前記端末40から停止の指示を受け付けた場合には前記車両10が停止する制御を行う。
このため、車両10の自動走行に対する外部からの介入に余裕を持たせることができる。そして、車両10の駐車を支援しつつ、緊急停止を間に合わせることができる。
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
例えば、上記の実施例では、自動の走行制御に対し、遠隔での介入を行う場合を例示した。しかし、本発明は、自動の走行制御に限定されず、車両の走行中に外部と通信し、走行に対する介入を受ける場合に広く適用できるものである。一例として、運転者の訓練や評価を目的として車両及び周辺に関する情報を外部に送信し、運転者への指示や車両制御への介入を行う場合にも適用可能である。具体例としては、運転免許取得のための無線講習、高齢者の運転技術の評価、運転者の希望による運転サポート等が挙げられる。
10:車両、11:カメラ、12:レーダ、13:駆動制御ユニット、20:車両制御装置、21:通信部、22:通信状況取得部、23:障害物検知部、24:進行方向取得部、25:周囲状況取得部、26:報知範囲決定部、27:画像生成部、28:出力制御部、29:走行制御部、40:端末、50:基地局、60:サーバ
Claims (8)
- 車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、
前記通信部の通信状況を取得する通信状況取得部と、
前記車両の周囲の状況を画像として取得する周囲状況取得部と、
前記車両の進行方向を取得する進行方向取得部と、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、
前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部と
を備えることを特徴とする制御装置。 - 請求項1に記載の制御装置であって、
前記周囲状況取得部は、複数のカメラが撮影した複数の画像を取得し、
前記報知範囲決定部は、前記通信状況及び前記進行方向に応じて、前記見下ろし画像の生成に使用する1又は複数のカメラを選択し、
前記画像生成部は、前記報知範囲決定部により選択した1又は複数のカメラの撮影結果を用いて前記見下ろし画像を生成することを特徴とする制御装置。 - 請求項1に記載の制御装置であって、
前記通信状況取得部は、前記端末との通信に係る電波の強度を前記通信状況として取得し、
前記報知範囲決定部は、前記強度が第1の閾値よりも低い場合に、前記進行方向を前記報知範囲に含みつつ、前記車両の周囲の一部を前記報知範囲から除外することで前記報知範囲を縮小することを特徴とする制御装置。 - 請求項3に記載の制御装置であって、
前記車両の周囲に存在する障害物を検知する障害物検知部をさらに備え、
前記報知範囲決定部は、前記強度が前記第1の閾値に比して小さい第2の閾値よりも低い場合に、前記障害物が所在する方向を残しつつ、前記報知範囲をさらに縮小することを特徴とする制御装置。 - 請求項1に記載の制御装置であって、
前記画像生成部は、前記見下ろし画像に加えて、主観視点画像をさらに生成可能であり、
前記報知範囲決定部は、前記報知範囲に加えて、前記端末に送信する画像の種別をさらに決定することを特徴とする制御装置。 - 請求項1に記載の制御装置であって、
前記通信部が前記端末から受信した指示に基づいて前記車両の走行を制御する走行制御部をさらに備えたことを特徴とする制御装置。 - 請求項6に記載の制御装置であって、
前記走行制御部は、駐車区画に前記車両を駐車する制御を行い、前記端末から停止の指示を受け付けた場合には前記車両が停止する制御を行うことを特徴とする制御装置。 - 車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置が、
前記通信部の通信状況を取得する通信状況取得ステップと、
前記車両の周囲の状況を画像として取得する周囲状況取得ステップと、
前記車両の進行方向を取得する進行方向取得ステップと、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定ステップと、
前記周囲状況取得ステップで取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成ステップと、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御ステップと
を含むことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056799A JP2023148657A (ja) | 2022-03-30 | 2022-03-30 | 制御装置及び制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056799A JP2023148657A (ja) | 2022-03-30 | 2022-03-30 | 制御装置及び制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023148657A true JP2023148657A (ja) | 2023-10-13 |
Family
ID=88287672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022056799A Pending JP2023148657A (ja) | 2022-03-30 | 2022-03-30 | 制御装置及び制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023148657A (ja) |
-
2022
- 2022-03-30 JP JP2022056799A patent/JP2023148657A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110709909B (zh) | 泊车控制方法及泊车控制装置 | |
CN108431881B (zh) | 停车辅助信息的显示方法及停车辅助装置 | |
WO2018155159A1 (ja) | 遠隔映像出力システム、及び遠隔映像出力装置 | |
US11249473B2 (en) | Remote driving managing apparatus, and computer readable storage medium | |
JP4244873B2 (ja) | 車々間通信制御システム、車載通信システムおよび通信状態表示装置 | |
WO2018216184A1 (ja) | 駐車制御方法及び駐車制御装置 | |
JP2017068640A (ja) | 車両間データ通信装置 | |
US11489954B2 (en) | Vehicular electronic device and operation method thereof | |
KR20210106377A (ko) | 원격 조작 주행 세션을 호출하기 위한 방법, 방법의 단계들을 수행하기 위한 장치, 차량 및 컴퓨터 프로그램 | |
JPWO2018016151A1 (ja) | 画像処理装置と画像処理方法 | |
JPWO2018016150A1 (ja) | 画像処理装置と画像処理方法 | |
WO2018131514A1 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
US20210253090A1 (en) | Parking Control Method and Parking Control Device | |
JP7074528B2 (ja) | 情報処理装置及びプログラム | |
JP2020165709A (ja) | 情報処理方法、情報処理装置、及び情報処理システム | |
JP2022104107A (ja) | 車両遠隔操作システム及び車両遠隔操作方法 | |
US11671700B2 (en) | Operation control device, imaging device, and operation control method | |
JP2023148657A (ja) | 制御装置及び制御方法 | |
US20230186651A1 (en) | Control device, projection system, control method, and program | |
CN113838299A (zh) | 用于查询车辆路况信息的方法和设备 | |
JP2023125989A (ja) | 車両制御装置及び車両制御方法 | |
JP2019194809A (ja) | 表示制御装置及びプログラム | |
JP4375127B2 (ja) | 車両の外観画像表示装置及び車両撮像装置 | |
WO2021182313A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
WO2022208656A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 |