JP2021174405A

JP2021174405A - 表示システム、表示方法、及び表示プログラム

Info

Publication number: JP2021174405A
Application number: JP2020079824A
Authority: JP
Inventors: 貴也眞方山; Takaya Makatayama
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-04-28
Filing date: 2020-04-28
Publication date: 2021-11-01

Abstract

【課題】自動運転車両を監視する場合に、車外にいて危険な状態にある人物を容易に把握することができる表示システム、表示方法、及び表示プログラムを提供する。
【解決手段】表示システムは、自動運転車両の車外にいる人物を表す情報を表示する。表示システムは、人物の移動速度、及び、自動運転車両のドアを閉める動作を開始してからドアが閉まるまでのドア閉時間に基づいて、人物に対して、人物がドアに挟まる危険の程度を表す危険度を決定する危険度決定部２１Ｂと、危険度決定部２１Ｂにより決定された、人物の危険度に応じて、人物を表す情報の表示形態を変更する制御を行う表示制御部２１Ｃと、を備える。
【選択図】図４

Description

本開示は、表示システム、表示方法、及び表示プログラムに関する。

近年、自動運転バスの実用化を目指して様々な取り組みが行われている。この自動運転バスでは、利用者の安全の確保を目的として、運行状態が監視センタで監視される。この自動運転バスでは、利用者が乗り降りするため、車外にいる利用者の安全にも配慮する必要がある。

例えば、特許文献１には、車外にいるユーザの安全状態を監視し、危険な状態であれば危険をユーザに知らせる機能を有した車外ユーザ保護機能付き車両が記載されている。この車外ユーザ保護機能付き車両は、車外にいるユーザの位置を検出するユーザ位置検出手段と、ユーザ位置検出手段により検出されたユーザの位置に基づいて、ユーザ周辺の物体の位置を検出する物体位置検出手段と、を備える。また、この車外ユーザ保護機能車両は、ユーザ位置検出手段及び物体位置検出手段により検出されたユーザ及びユーザ周辺の物体の位置から算出される両者の相対位置及び相対速度に基づいて、ユーザと周辺の物体とが衝突し得る危険な状態にあるか否かを判定する危険状態判定手段と、危険状態判定手段により、ユーザが危険状態にあると判定されたときには、ユーザに危険を通知する危険通知手段と、を備える。

特開２００８−６５３８１号公報

ところで、例えば、バスやタクシーのような乗降者がドアの開閉を行わない車両において自動又は乗降者以外の第三者がドアを閉める指示情報を提供する場合に、車外にいる人物のうち、ドアの比較的近くにいる人物はドアに挟まれる危険性が高く、ドアから比較的離れている人物はドアに挟まれる危険性が低いと考えられる。

しかしながら、上記特許文献１に記載の技術をはじめ、従来の自動運転車両を監視するシステムでは、車外にいる人物を、危険な状態であるか否かに係わらず、一律に表示している。このため、どの人物が危険な状態であるのか把握することが難しかった。

本開示は、自動運転車両を監視する場合に、車外にいて危険な状態にある人物を容易に把握することができる表示システム、表示方法、及び表示プログラムを提供することを目的とする。

上記目的を達成するために、本開示の第１態様に係る表示システム（９０）は、自動運転車両の車外にいる人物を表す情報を表示する表示システムであって、前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定する危険度決定部（２１Ｂ）と、前記危険度決定部により決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う表示制御部（２１Ｃ）と、を備えている。

本開示の第２態様に係る表示方法は、自動運転車両の車外にいる人物を表す情報を表示する表示システム（９０）による表示方法であって、前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定し、前記決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う。

本開示の第３態様に係る表示プログラム（２５Ａ）は、自動運転車両の車外にいる人物を表す情報を表示する表示システムの表示プログラムであって、コンピュータを、前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定する危険度決定部（２１Ｂ）、及び、前記危険度決定部により決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う表示制御部（２１Ｃ）、として機能させる。

開示の技術によれば、自動運転車両を監視する場合に、車外にいて危険な状態にある人物を容易に把握することができる、という効果を有する。

第１の実施形態に係る表示システムの構成の一例を示す図である。比較例に係る監視画面を示す正面図である。比較例に係る別の監視画面を示す正面図である。第１の実施形態に係る表示装置の機能的な構成の一例を示すブロック図である。実施形態に係る危険度テーブルの一例を示す図である。第１の実施形態に係る表示プログラムによる処理の流れの一例を示すフローチャートである。第１の実施形態に係る自動運転車両の車外周辺領域の状態を模式的に示す図である。第１の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第１の実施形態に係る監視画面の一例を示す正面図である。第１の実施形態に係る別の監視画面の一例を示す正面図である。第２の実施形態に係る表示プログラムによる処理の流れの一例を示すフローチャートである。第２の実施形態に係る自動運転車両の車外周辺領域の状態を模式的に示す図である。第２の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第２の実施形態に係る監視画面の一例を示す正面図である。第３の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第３の実施形態に係る監視画面の一例を示す正面図である。第４の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第５の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第６の実施形態に係る移動速度補正テーブルの一例を示す図である。第６の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第６の実施形態に係る監視画面の一例を示す正面図である。第７の実施形態に係る移動速度補正テーブルの一例を示す図である。第７の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第８の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。第８の実施形態に係る危険度変更方法の説明に供する図である。

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。

[第１の実施形態]
図１は、第１の実施形態に係る表示システム９０の構成の一例を示す図である。

図１に示すように、本実施形態に係る表示システム９０は、自動運転車両に搭載された車載装置１０と、監視センタに設けられた表示装置２０と、を備えている。なお、本実施形態では、自動運転車両として自動運転バスを例示して説明するが、自動運転バスに限定されるものではない。また、自動運転車両は、車両の制御や非常時に車両の制御を代替するために乗車する有人の場合も含む。さらに、車両の操舵の一部が自動で行われる車両も含む。

車載装置１０及び表示装置２０は、ネットワークＮを介して通信可能に接続されている。ネットワークＮには、一例として、インターネット、ＷＡＮ（Wide Area Network）等が適用される。

自動運転車両は、所定の条件下において運転者の操作によらず自動走行が可能な車両である。自動運転車両は、停車地点で停車した際に、ドアを開き、ドアを閉め、発車する、という一連の動作を行うが、これら一連の動作は、一例として、監視センタからの遠隔操作によって行われる。

車載装置１０は、住所又は緯度経度等の目的地の情報に基づいて、目的地までの走行ルートを含む走行計画を生成する機能、及び、自車両の自動運転を制御する機能を備えている。車載装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、表示部１４と、記憶部１５と、センサ群１６と、カメラ１７と、通信部１８と、を備えている。

ＣＰＵ１１は、プロセッサの一例である。ここでいうプロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。メモリ１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。

記憶部１５には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１５には、自動運転の制御を行うための制御プログラム（図示省略）が記憶されている。

センサ群１６は、自車両の周囲の状況を把握するための各種のセンサにより構成されている。センサ群１６は、車両外部の所定範囲に探査波を送信するミリ波レーダと、少なくとも車両前方の所定範囲をスキャンするＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）と、を含んでいる。また、センサ群１６には、自車両に搭載されるＧＮＳＳ（Global Navigation Satellite System）受信機が含まれていてもよい。このＧＮＳＳ受信機により、自車両の現在位置及び現在時刻等の情報が取得される。

カメラ１７は、自車両の所定方向の所定範囲を撮影する。具体的に、カメラ１７は、自車両のドアの近傍に設けられており、ドアの周辺における車外の周辺領域を撮影する。カメラ１７は、１台でもよいが、より多くの情報を得るために複数個所に複数台設けられていることが望ましい。なお、カメラ１７に代えて、停車地点等に設置された外部カメラを用いて車外の周辺領域を撮影してもよい。

表示部１４には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１４は、タッチパネルを一体的に有していてもよい。

通信部１８は、インターネット、ＷＡＮ等のネットワークＮに接続し、表示装置２０と通信を行うための通信インターフェースである。

なお、車載装置１０は、自動運転に必要な走行装置（図示省略）と接続されており、この走行装置を制御することで自動運転を行う。この走行装置には、一例として、電動パワーステアリング、電子制御ブレーキ、電子制御スロットル等が含まれる。

車載装置１０は、自車両の走行計画に従って自動運転するように自車両の駆動、操舵、及び制動を制御する。なお、自動運転の方法自体には、様々な公知の方法が存在し、本実施形態では特に限定されるものではない。

一方、表示装置２０は、自動運転車両の車載装置１０と定期的に通信することにより自動運転車両の車両状態を監視する。表示装置２０には、一例として、サーバコンピュータ、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータ装置が適用される。表示装置２０は、ＣＰＵ２１と、メモリ２２と、操作部２３と、表示部２４と、記憶部２５と、通信部２６と、を備えている。

ＣＰＵ２１は、プロセッサの一例である。ここでいうプロセッサとは、上述したように、広義的なプロセッサを指し、汎用的なプロセッサや、専用のプロセッサを含むものである。メモリ２２は、ＲＯＭ、ＲＡＭ等により構成されている。

記憶部２５には、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部２５には、自動運転車両の監視画面を表示するための表示プログラム２５Ａが記憶されている。表示プログラム２５Ａは、例えば、表示装置２０に予めインストールされていてもよい。表示プログラム２５Ａは、不揮発性の非遷移的（non-transitory）記録媒体に記憶して、又はネットワークＮを介して配布して、表示装置２０に適宜インストールすることで実現してもよい。なお、不揮発性の非遷移的記録媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。

操作部２３は、表示装置２０への操作入力を受け付けるためのインターフェースとして構成されている。表示部２４には、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ等が用いられる。表示部２４は、タッチパネルを一体的に有していてもよい。

通信部２６は、インターネット、ＷＡＮ等のネットワークＮに接続し、車載装置１０と通信を行うための通信インターフェースである。

表示装置２０は、自動運転車両が停車地点に停車した場合に、自動運転車両の車外にいる人物を撮影して得られる画像から、当該人物を表す情報を含む監視画面を表示する。人物を表す情報は、人物の画像そのものでもよく、人物の画像を模式化した図形等でもよい。なお、人物を表す情報は、撮影画像から特定することに限らず、センサ群１６に含まれるＬＩＤＡＲ等から得られるセンサ情報から特定するようにしてもよい。ここで、図２及び図３を参照して、監視画面の比較例について説明する。

図２は、比較例に係る監視画面を示す正面図である。

図２に示す監視画面は、表示装置２０の表示部２４に表示される画面である。この監視画面には、車載装置１０から取得された画像情報及び車両情報が表示される。画像情報は、カメラ１７により撮影された動画であり、車外にいる人物が撮影されている。また、車両情報は、一例として、車両番号、現在時刻、走行状態、ドアの開閉状態、運行状態、及び走行位置等が含まれる。

図３は、比較例に係る別の監視画面を示す正面図である。

図３に示す監視画面は、図２と同様に、表示装置２０の表示部２４に表示される画面である。この監視画面は、車両周辺情報及び車両情報が表示される。車両情報は、図２の車両情報と同様である。車両周辺情報は、車外にいる人物を、人物の画像そのものではなく、画像を模式化した簡単な図形として表示する。人物の画像を模式化した図形は、例えば、複数台のカメラの画像から得られる情報を逐次解析し、これら複数の情報を統合して表示したものである。このように表示を簡単化することで監視者の負担が軽減される。また、単一のカメラでは、死角となり把握できない人物を他のカメラ画像から得られる情報を用いて補うことができるため、人物の見落としを防ぎ、安全性を向上することができる。

ところで、従来のシステムでは、上述の図２及び図３に示すように、車外にいる人物を、危険な状態であるか否かに係わらず、一律に表示している。このため、どの人物が危険な状態であるのか把握することが難しかった。

本実施形態に係る表示装置２０のＣＰＵ２１は、記憶部２５に記憶されている表示プログラム２５ＡをＲＡＭ２３に書き込んで実行することにより、図４に示す各部として機能する。

図４は、第１の実施形態に係る表示装置２０の機能的な構成の一例を示すブロック図である。

図４に示すように、本実施形態に係る表示装置２０のＣＰＵ２１は、人物認識部２１Ａ、危険度決定部２１Ｂ、及び表示制御部２１Ｃとして機能する。

本実施形態に係る記憶部２５には、画像情報２５Ｂ及び車両情報２５Ｃが記憶されている。これらの画像情報２５Ｂ及び車両情報２５Ｃは、自動運転車両の車載装置１０と定期的に通信することで取得される情報である。

画像情報２５Ｂは、自動運転車両の車外の周辺領域を撮影した画像であり、例えば、動画である。カメラ１７を用いた場合、画像情報２５Ｂには、自動運転車両の一部が含まれていてもよく、自動運転車両は含まれなくてもよい。なお、外部カメラを用いた場合、画像情報２５Ｂには、自動運転車両の全体が含まれていてもよい。また、車両情報２５Ｃは、上述したように、一例として、車両番号、現在時刻、走行状態、ドアの開閉状態、運行状態、及び走行位置等が含まれる。

また、記憶部２５には、一例として、図５に示す危険度テーブル２５Ｄが記憶されている。

図５は、本実施形態に係る危険度テーブル２５Ｄの一例を示す図である。

図５に示す危険度テーブル２５Ｄは、自動運転車両のドアからの距離と危険度とを対応付けたデータテーブルである。ここでいう危険度とは、人物がドアに挟まる危険の程度を表す指標である。危険度は、ドアからの距離によって決定される。ドアからの距離は、人物の移動速度×ドア閉時間によって定まる。人物の移動速度には、一例として、固定値（例えば、８０ｍ／分）が用いられる。なお、８０ｍ／分（≒１．３３ｍ／秒）は、大人が歩く速度の目安となる値である。また、ドア閉時間とは、自動運転車両のドアを閉める動作（例えば、ドア閉ボタンを操作する動作）を開始してからドアが閉まるまでの時間であり、自動運転車両の仕様によって決定される値である。

図５の例では、ドアからの距離が、第１距離、第２距離、及び第３距離に区分けされる。具体的には、ドア閉時間を例えば３秒とした場合、第１距離は、１．３３ｍ／秒×３秒＝３．９９ｍ未満と定められ、第２距離は、３．９９ｍ以上で、３．９９ｍの２倍にあたる７．９８ｍ未満と定められ、第３距離は、７．９８ｍ以上と定められる。但し、これらの第１距離、第２距離、及び第３距離の値は、一例であり、人物の移動速度及びドア閉時間に基づいて適切な値が設定される。第１距離には、最も危険なレベルである危険レベルを表す危険度２が対応付けられる。つまり、この第１距離にいる人物は、ドア閉時間の間にドアに到着し、閉まるドアに挟まれる可能性が最も高いと考えられる。第２距離には、危険レベルほど危険ではないが注意が必要なレベルである注意レベルを表す危険度１が対応付けられる。第３距離には、安全なレベルである安全レベルを表す危険度０が対応付けられる。

本実施形態に係る人物認識部２１Ａは、自動運転車両が停車地点で停車した場合に、車外の周辺領域を撮影した画像情報２５Ｂを取得し、取得した画像情報２５Ｂから、人物を認識する。なお、画像から人物を認識する方法は、特に限定されるものではなく、公知の画像認識技術（人体認識、顔認識等）が適用される。

本実施形態に係る危険度決定部２１Ｂは、人物認識部２１Ａにより人物が認識された場合に、人物の移動速度及びドア閉時間に基づいて、人物に対して、危険度を決定する。具体的には、上述の図５に示す危険度テーブル２５Ｄを用いて危険度を決定する。つまり、危険度決定部２１Ｂは、人物の移動速度及びドア閉時間によって定まる複数レベルの危険度に基づいて、車外の周辺領域を複数の危険度別領域に分割し、分割した複数の危険度別領域のうち、人物がいる危険度別領域の危険度を、人物の危険度として決定する。上述の危険度テーブル２５Ｄの例によれば、車外の周辺領域は、ドアから３．９９ｍ未満の危険領域と、ドアから３．９９ｍ以上７．９８ｍ未満の注意領域と、７．９８ｍ以上の安全領域と、に分割される。この場合、危険領域にいる人物の危険度は危険度２とされ、注意領域にいる人物の危険度は危険度１とされ、安全領域にいる人物の危険度は危険度０とされる。

本実施形態に係る表示制御部２１Ｃは、危険度決定部２１Ｂにより決定された、人物の危険度に応じて、人物を表す情報の表示形態を変更する制御を行う。人物を表す情報は、上述したように、人物の画像そのものでもよく、人物の画像を模式化した図形等でもよい。具体的な表示例については後述する。

次に、図６を参照して、第１の実施形態に係る表示装置２０の作用を説明する。

図６は、第１の実施形態に係る表示プログラム２５Ａによる処理の流れの一例を示すフローチャートである。なお、本実施形態では、ドア閉の際に、車外にいる複数の人物が移動せずに同じ場所に留まっている場合について説明する。

まず、表示装置２０の電源がオンされると、表示プログラム２５Ａが起動され、以下の各ステップを実行する。

図６のステップ１００では、ＣＰＵ２１が、自動運転車両が停車地点に停車したか否かを判定する。自動運転車両が停車地点に停車したと判定した場合（肯定判定の場合）、ステップ１０１に移行し、自動運転車両が停車地点に停車していないと判定した場合（否定判定の場合）、ステップ１００で待機となる。

ステップ１０１では、ＣＰＵ２１が、記憶部２５から画像情報２５Ｂを取得する。画像情報２５Ｂは、停車地点に停車した自動運転車両の車外の周辺領域（以下、「車外周辺領域」という。）を撮影して得られた画像である。このとき、記憶部２５から車両情報２５Ｃも取得する。なお、画像情報２５Ｂ及び車両情報２５Ｃは、自動運転車両の車載装置１０から直接取得するようにしてもよい。

図７は、第１の実施形態に係る自動運転車両の車外周辺領域Ｒの状態を模式的に示す図である。

図７では、自動運転車両が停車地点に停車し、ドア開の状態を示している。自動運転車両の車外周辺領域Ｒには複数の人物Ａ〜Ｅが存在している。図７の例では、ドアを閉じる際に、複数の人物Ａ〜Ｅが同じ場所に留まっているものとする。

ステップ１０２では、ＣＰＵ２１が、画像情報２５Ｂから、人物を認識したか否かを判定する。人物を認識したと判定した場合（肯定判定の場合）、ステップ１０３に移行し、人物を認識していないと判定した場合（否定判定の場合）、ステップ１１１に移行する。なお、図７の例では、複数の人物Ａ〜Ｅが認識される。

ステップ１０３では、ＣＰＵ２１が、一例として、上述の図５に示す危険度テーブル２５Ｄを用いて、画像情報２５Ｂに対して、車外の周辺領域（図７の例では車外周辺領域Ｒ）を複数の危険度別領域に分割する。

図８は、第１の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図８に示すように、車外周辺領域Ｒは、複数の危険度別領域、すなわち、第１距離（例えば、３．９９ｍ未満）に対応する危険領域、第２距離（例えば、３．９９ｍ以上７．９８ｍ未満）に対応する注意領域、及び、第３距離（例えば、７．９８ｍ以上）に対応する安全領域に分割される。これらの危険領域、注意領域、及び安全領域は、例えば、ドア中心を基準とする同心円状の領域とされる。

ステップ１０４では、ＣＰＵ２１が、ステップ１０２で認識した複数の人物のうちの１人を対象人物として、対象人物が危険領域にいるか否かを判定する。対象人物が危険領域にいると判定した場合（肯定判定の場合）、ステップ１０５に移行し、対象人物が危険領域にいないと判定した場合（否定判定の場合）、ステップ１０６に移行する。

ステップ１０５では、ＣＰＵ２１が、対象人物に対して、危険領域の危険度である「危険度２」を設定する。

一方、ステップ１０６では、ＣＰＵ２１が、対象人物が注意領域にいるか否かを判定する。対象人物が注意領域にいると判定した場合（肯定判定の場合）、ステップ１０７に移行し、対象人物が注意領域にいない、つまり、安全領域にいると判定した場合（否定判定の場合）、ステップ１０８に移行する。

ステップ１０７では、ＣＰＵ２１が、対象人物に対して、注意領域の危険度である「危険度１」を設定する。

一方、ステップ１０８では、ＣＰＵ２１が、対象人物に対して、安全領域の危険度である「危険度０」を設定する。

ステップ１０９では、ＣＰＵ２１が、ステップ１０２で認識した全ての人物について危険度の設定が終了したか否かを判定する。全ての人物について危険度の設定が終了したと判定した場合（肯定判定の場合）、ステップ１１０に移行し、全ての人物について危険度の設定が終了していないと判定した場合（否定判定の場合）、ステップ１０４に戻り処理を実施していない人物に対して処理を繰り返す。

ステップ１１０では、ＣＰＵ２１が、ステップ１０２で認識した全ての人物に設定された危険度別に各人物の表示形態を変更する。

ステップ１１１では、ＣＰＵ２１が、一例として、図９に示すように、ステップ１１０で各人物の表示形態が変更された監視画面を表示部２４に表示する制御を行う。

図９は、第１の実施形態に係る監視画面３０の一例を示す正面図である。

図９に示す監視画面３０では、複数の人物Ａ〜Ｅの画像を模式化した図形を表示している。この場合、複数の人物Ａ〜Ｅの危険度に応じて、人物Ａ〜Ｅの各々に対応する図形の色、サイズ、形状、及び輪郭線の少なくとも１つが変更される。なお、表示形態の変更は、複数の図形が識別可能であれば、どのような変更であってもよい。図９の例では、人物Ａ〜Ｅに対応する図形の色が変更された状態（ハッチングの違いで色の違いを表現）を示している。この場合、人物Ａが安全領域にいることを示し、人物Ｂ、Ｄ、Ｅが注意領域にいることを示し、人物Ｃが危険領域にいることを示している。

図１０は、第１の実施形態に係る別の監視画面３１の一例を示す正面図である。

図１０に示す監視画面３１では、複数の人物Ａ〜Ｅの各々の画像をそのまま表示している。この場合、複数の人物Ａ〜Ｅの危険度に応じて、人物Ａ〜Ｅの各々の画像に付与される囲み枠の色、サイズ、形状、及び輪郭線の少なくとも１つが変更される。なお、表示形態の変更は、複数の画像が識別可能であれば、どのような変更であってもよい。図１０の例では、人物Ａ〜Ｅの各々の画像の囲み枠の色が変更された状態（ハッチングの違いで色の違いを表現）を示している。この場合、人物Ａが安全領域にいることを示し、人物Ｂ、Ｄ、Ｅが注意領域にいることを示し、人物Ｃが危険領域にいることを示している。

ステップ１１２では、ＣＰＵ２１が、自動運転車両がドアを閉め、停車地点を発車したか否かを判定する。自動運転車両が停車地点を発車していないと判定した場合（否定判定の場合）、ステップ１０１に戻り車外の画像情報を取得し、自動運転車両が停車地点を発車したと判定した場合（肯定判定の場合）、ステップ１００に戻り待機となる。

このように本実施形態によれば、自動運転車両を監視する場合に、車外にいて危険な状態にある人物を容易に把握することができる。特に、ドア閉の際に、車外にいる複数の人物が移動せずに同じ場所に留まっている場合に、危険な状態にある人物を容易に把握することができる。

[第２の実施形態]
上記第１の実施形態では、ドア閉の際に、車外にいる人物が移動せずに同じ場所に留まっている場合について説明した。本実施形態では、ドア閉の際に、車外にいる人物が移動する場合について説明する。

本実施形態に係る表示システムは、上記第１の実施形態で説明した表示システム９０と同様の構成要素を有しており、上述の図４を参照して、相違点のみを説明する。

本実施形態に係る危険度決定部２１Ｂは、人物の移動方向を予測し、予測した移動方向に基づいて、人物の移動検知から所定時間経過後に人物がいると予測される危険度別領域の危険度を、人物の危険度として決定する。この場合、人物の移動速度には、上述した固定値を用いればよい。また、危険度決定部２１Ｂは、人物の移動方向及び移動速度を予測してもよい。この場合、危険度決定部２１Ｂは、予測した移動方向及び移動速度に基づいて、人物の移動検知から所定時間経過後に人物がいると予測される危険度別領域の危険度を、人物の危険度として決定する。なお、移動方向及び移動速度の予測には、例えば、画像情報２５Ｂから検出される、人物の動きベクトルが用いられる。また、ここでいう所定時間には、例えば、上述のドア閉時間が適用される。また、ドア閉にかかる処理時間を含めてもよい。この処理時間とは、例えば、ドア閉ボタンを押してからドアが閉じ始めるまでの時間である。また、遠隔地からドア開閉を制御する場合には、無線通信の通信遅延を含めてもよい。

次に、図１１を参照して、第２の実施形態に係る表示装置２０の作用を説明する。

図１１は、第２の実施形態に係る表示プログラム２５Ａによる処理の流れの一例を示すフローチャートである。なお、本実施形態では、ドア閉の際に、車外にいる複数の人物が移動する場合について説明する。

図１１のステップ１２０では、ＣＰＵ２１が、自動運転車両が停車地点に停車したか否かを判定する。自動運転車両が停車地点に停車したと判定した場合（肯定判定の場合）、ステップ１２１に移行し、自動運転車両が停車地点に停車していないと判定した場合（否定判定の場合）、ステップ１２０で待機となる。

ステップ１２１では、ＣＰＵ２１が、記憶部２５から画像情報２５Ｂを取得する。画像情報２５Ｂは、停車地点に停車した自動運転車両の車外周辺領域を撮影して得られた画像である。このとき、記憶部２５から車両情報２５Ｃも取得する。なお、画像情報２５Ｂ及び車両情報２５Ｃは、自動運転車両の車載装置１０から直接取得するようにしてもよい。

図１２は、第２の実施形態に係る自動運転車両の車外周辺領域Ｒの状態を模式的に示す図である。

図１２では、自動運転車両が停車地点に停車し、ドア開の状態を示している。自動運転車両の車外周辺領域Ｒには複数の人物Ａ〜Ｅが存在している。図１２の例では、ドアを閉じる際に、複数の人物Ａ〜Ｅが移動しているものとする。

ステップ１２２では、ＣＰＵ２１が、画像情報２５Ｂから、人物を認識したか否かを判定する。人物を認識したと判定した場合（肯定判定の場合）、ステップ１２３に移行し、人物を認識していないと判定した場合（否定判定の場合）、ステップ１３２に移行する。なお、図１２の例では、複数の人物Ａ〜Ｅが認識される。

ステップ１２３では、ＣＰＵ２１が、一例として、上述の図５に示す危険度テーブル２５Ｄを用いて、画像情報２５Ｂに対して、車外の周辺領域（図１２の例では車外周辺領域Ｒ）を複数の危険度別領域に分割する。

図１３は、第２の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図１３に示すように、車外周辺領域Ｒは、複数の危険度別領域、すなわち、第１距離（例えば、３．９９ｍ未満）に対応する危険領域、第２距離（例えば、３．９９ｍ以上７．９８ｍ未満）に対応する注意領域、及び、第３距離（例えば、７．９８ｍ以上）に対応する安全領域に分割される。これらの危険領域、注意領域、及び安全領域は、例えば、ドア中心を基準とする同心円状の領域とされる。

ステップ１２４では、ＣＰＵ２１が、ステップ１２２で認識した複数の人物のうちの１人を対象人物として、移動方向及び移動速度を予測する。これらの移動方向及び移動速度の予測には、例えば、画像情報２５Ｂから検出される、対象人物の動きベクトルが用いられる。なお、移動速度を固定値とし、移動方向のみを予測してもよい。

ステップ１２５では、ＣＰＵ２１が、ステップ１２４で予測した移動方向及び移動速度に基づいて、対象人物が移動検知から所定時間経過後に危険領域にいるか否かを判定する。なお、ここでいう所定時間には、上述のドア閉時間が適用される。対象人物が所定時間経過後に危険領域にいると判定した場合（肯定判定の場合）、ステップ１２６に移行し、対象人物が所定時間経過後に危険領域にいないと判定した場合（否定判定の場合）、ステップ１２７に移行する。

ステップ１２６では、ＣＰＵ２１が、対象人物に対して、危険領域の危険度である「危険度２」を設定する。

一方、ステップ１２７では、ＣＰＵ２１が、対象人物が移動検知から所定時間経過後に注意領域にいるか否かを判定する。対象人物が所定時間経過後に注意領域にいると判定した場合（肯定判定の場合）、ステップ１２８に移行し、対象人物が注意領域にいない、つまり、安全領域にいると判定した場合（否定判定の場合）、ステップ１２９に移行する。

ステップ１２８では、ＣＰＵ２１が、対象人物に対して、注意領域の危険度である「危険度１」を設定する。

一方、ステップ１２９では、ＣＰＵ２１が、対象人物に対して、安全領域の危険度である「危険度０」を設定する。

ステップ１３０では、ＣＰＵ２１が、ステップ１２２で認識した全ての人物について危険度の設定が終了したか否かを判定する。全ての人物について危険度の設定が終了したと判定した場合（肯定判定の場合）、ステップ１３１に移行し、全ての人物について危険度の設定が終了していないと判定した場合（否定判定の場合）、ステップ１２４に戻り処理を繰り返す。

本実施形態では、上述の図１３に示すように、ドア閉の際に、複数の人物Ａ〜Ｅが移動している。例えば、現時点で安全領域にいる人物Ａは、所定時間経過後でも安全領域にいることが予測されるため、人物Ａには「危険度０」が設定される。現時点で危険領域にいる人物Ｂは、所定時間経過後に注意領域にいることが予測されるため、人物Ｂには「危険度１」が設定される。現時点で注意領域にいる人物Ｃは、所定時間経過後に危険領域にいることが予測されるため、人物Ｃには「危険度２」が設定される。現時点で注意領域にいる人物Ｄ、Ｅの各々は、所定時間経過後に安全領域にいることが予測されるため、人物Ｄ、Ｅの各々には「危険度０」が設定される。つまり、本実施形態では、人物が移動しているため、所定時間経過後に、人物がどの危険度別領域にいるかによって、人物の危険度が決定される。なお、人物が自動運転車両のドアに近付いているか否かの判定は、例えば、移動方向の延長線上にドア開口部が有るか否かで判定してもよい。但し、ドア開口部の幅は、ドア開口幅＋マージン（例えば、３０ｃｍ程度）を含む幅とすることが望ましい。

ステップ１３１では、ＣＰＵ２１が、ステップ１２２で認識した全ての人物に設定された危険度別に各人物の表示形態を変更する。

ステップ１３２では、ＣＰＵ２１が、一例として、図１４に示すように、ステップ１３１で各人物の表示形態が変更された監視画面を表示部２４に表示する制御を行う。

図１４は、第２の実施形態に係る監視画面３２の一例を示す正面図である。

図１４に示す監視画面３２では、複数の人物Ａ〜Ｅの画像を模式化した図形を表示している。この場合、複数の人物Ａ〜Ｅの危険度に応じて、人物Ａ〜Ｅの各々に対応する図形の色、サイズ、形状、及び輪郭線の少なくとも１つが変更される。なお、表示形態の変更は、複数の図形が識別可能であれば、どのような変更であってもよい。図１４の例では、人物Ａ〜Ｅに対応する図形の色が変更された状態（ハッチングの違いで色の違いを表現）を示している。この場合、人物Ａ、Ｄ、Ｅが所定時間経過後に安全領域にいることを示し、人物Ｂが所定時間経過後に注意領域にいることを示し、人物Ｃが所定時間経過後に危険領域にいることを示している。

ここで、図１４に示すように、人物を表す図形と共に、予測された人物の移動方向を表す情報を表示するようにしてもよい。図１４の例では、移動方向を表す矢印が表示されている。また、予測された人物の移動方向及び移動速度の少なくとも一方を表す情報を表示するようにしてもよい。図１４の例では、移動方向を表す矢印と共に、現時点での移動速度（Ｖ＝Ｘｍ／分）が表示されている。当然ながら、移動方向を表す矢印のみでもよい。また、矢印の長さを変化させることによって、人物が所定時間経過後にいると予測される位置を示すようにしてもよい。

ステップ１３３では、ＣＰＵ２１が、自動運転車両がドアを閉め、停車地点を発車したか否かを判定する。自動運転車両が停車地点を発車していないと判定した場合（否定判定の場合）、ステップ１２１に戻り車外の画像情報を取得し、自動運転車両が停車地点を発車したと判定した場合（肯定判定の場合）、ステップ１２０に戻り待機となる。

このように本実施形態によれば、ドア閉の際に、車外にいる複数の人物が移動している場合に、危険な状態にある人物を容易に把握することができる。

[第３の実施形態]
本実施形態では、自動運転車両の車両状態に応じて、危険度別領域の形状を変更する形態について説明する。

本実施形態に係る危険度決定部２１Ｂは、複数の危険度別領域の形状を、自動運転車両の車両状態に応じて変更する。なお、ここでいう車両状態とは、一例として、自動運転車両がドアを開いてから閉じるまでの状態（以下、ドア閉状態という。）、あるいは、自動運転車両がドアを閉じてから発車するまでの状態（以下、発車待ち状態という。）である。車両状態は、車両情報２５Ｃから取得される。

図１５は、第３の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図１５に示す車外周辺領域Ｒは、発車待ち状態での複数の危険度別領域、すなわち、危険領域、注意領域、及び安全領域を示している。発車待ち状態では、車両周辺を全体的に確認するために、これらの危険領域、注意領域、及び安全領域の形状が、ドア閉状態の危険領域、注意領域、及び安全領域（例えば、図１３参照）の形状と異なっている。

例えば、人物Ｂは危険領域にいるが、車両から離れる方向に移動しているため、所定時間経過後に注意領域にいると予測される。一方、人物Ａ、Ｅは注意領域にいるが、車両に近付く方向に移動しているため、所定時間経過後に危険領域にいると予測される。なお、ここでいう所定時間とは、発車判断する上で、安全確認に必要とされる待ち時間（以下、「発車待ち時間」という。）であり、適切な値（例えば、１０秒以下）が設定される。

図１６は、第３の実施形態に係る監視画面３３の一例を示す正面図である。

図１６に示す監視画面３３では、複数の人物Ａ〜Ｅの画像を模式化した図形を表示している。この場合、人物Ａ、Ｅが危険領域にいることを示し、人物Ｂが注意領域にいることを示し、人物Ｃ、Ｄが安全領域にいることを示している。当然ながら、移動方向を表す矢印や、移動方向を表す矢印と共に、現時点での移動速度（Ｖ＝Ｘｍ／分）が表示されてもよい。また、矢印の長さを変化させることによって、人物が所定時間経過後にいると予測される位置を示すようにしてもよい。

[第４の実施形態]
本実施形態では、自動運転車両が停車する特定の場所の形状に応じて、危険度別領域の形状を変更する形態について説明する。

本実施形態に係る危険度決定部２１Ｂは、複数の危険度別領域の形状を、自動運転車両が停車する特定の場所の形状に応じて変更する。なお、特定の場所とは、例えば、停車地点が設置されている場所（道路、歩道等）であり、場所の形状とは、例えば、停車地点近傍の道路又は歩道の幅が狭い、広い等の形状を意味する。停車する特定の場所の形状に関する情報は、予め記憶部２５に記憶されている。つまり、幅の狭い道路の場合、上述の図１３に示すような同心円状に危険領域を設定すると、道路を通り抜けようとしている人物も危険と判定してしまう場合がある。このため、特定の場所の形状に応じて危険度別領域の形状を変更することが望ましい。また、特定の場所や場所の形状に関する情報は、時間的に変化してもよい。つまり、特定の停車地点が歩道の幅が広い停車地点であっても、道路工事等によって歩道の幅が狭い場合は、特定の停車地点が歩道の狭い停車地点とすることが望ましい。

図１７は、第４の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図１７に示す車外周辺領域Ｒは、幅の狭い道路に停車している状態での複数の危険度別領域、すなわち、危険領域、注意領域、及び安全領域を示している。幅の狭い道路に停車している状態では、道路の幅方向において危険領域が小さくなるように変更される。このため、これらの危険領域、注意領域、及び安全領域の形状が、幅の広い道路に停車している状態の危険領域、注意領域、及び安全領域（例えば、図１３参照）の形状と異なっている。

例えば、人物Ａは、自動運転車両から比較的離れた場所を通り抜けようとする人物である。人物Ａは、安全領域のみを移動することが予測されるため、危険度は低くなる。このため、安全な人物Ａを不必要に監視者に注目させることが回避される。一方、人物Ｂは、自動運転車両の比較的近くの場所を通り抜ける人物、あるいは、自動運転車両のドアから乗車する人物である。人物Ｂは、安全領域から危険領域に近付くことが予測されるため、危険度は高くなる。このため、危険な人物Ｂを監視者に注目させることが可能となる。

[第５の実施形態]
本実施形態では、人物が移動可能な複数の移動範囲に対して確率分布を設定する形態について説明する。

本実施形態に係る表示システムは、上記第１の実施形態で説明した表示システム９０と同様の構成要素を有しており、上述の図４を参照して、相違点のみ説明する。

本実施形態に係る危険度決定部２１Ｂは、人物の移動方向を予測する際に、人物が移動可能な複数の移動範囲に対して確率分布を設定し、設定した確率分布に基づいて、危険度の期待値を算出する。

図１８は、第５の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図１８に示す車外周辺領域Ｒは、上述の図１５の例と同様に、発車待ち状態での複数の危険度別領域、すなわち、危険領域、注意領域、及び安全領域を示している。発車待ち状態では、車両周辺を全体的に確認するために、これらの危険領域、注意領域、及び安全領域の形状が、ドア閉状態の危険領域、注意領域、及び安全領域（例えば、図１３参照）の形状と異なっている。

例えば、危険領域にいる人物Ａは、自動運転車両から離れる方向に移動する場合に、道路の幅方向Ｗに沿って一直線に移動するとは限らない。つまり、人物Ａは、ドアから見て左右方向（幅方向Ｗと交差する方向）に移動することも想定される。そこで、人物Ａが左右方向に移動する場合における確率分布を複数の移動範囲について設定する。移動範囲は、例えば、人物Ａを基準として扇型の範囲とする。図１８に示す数値（例えば、０．１、０．４）は、人物Ａが発車待ち時間経過後に各移動範囲に存在する確率分布を表している。この確率分布の数値は、画像情報２５Ｂから取得される不特定多数の人物の移動軌跡に基づいて設定してもよく、一般の路線バスを利用する不特定多数の人物の移動軌跡に関する所謂ビッグデータに基づいて設定するようにしてもよい。

また、人物Ａの移動範囲は左右方向に限らず、３６０度の全方向に移動する場合における確率分布を複数の移動範囲について設定してもよい。

また、人物Ａが自動運転車両から離れる方向に移動してから逆方向（自動運転車両に近付く方向）に戻る場合も想定される。この場合、一定の割合（例えば、５％の割合）で戻ることも考慮して、確率分布を設定してもよく、一般の路線バスを利用する不特定多数の人物の移動軌跡に関する所謂ビッグデータに基づいて設定するようにしてもよい。

また、人物Ａが現在地点から移動せずにそのまま現在地点に滞在し続ける場合における確率分布を設定してもよい。

人物の移動範囲の確率分布を考慮した場合の危険度の算出方法の一例として、図１８の例においては、危険領域の危険度である「危険度２」の係数を２、注意領域の危険度である「危険度１」の係数を１、安全領域の危険度である「危険度０」の係数を０とした場合、人物Ａの危険度の期待値は、０．１×０＋０．４×０＋０．４×２＋０．１×２＝１．０、と算出される。これは、注意領域にいるのと同程度の危険度となる。なお、移動範囲が、注意領域及び危険領域の両方に重なる場合、安全性の観点からより危険度が高い値を採用している。当然ながら、人物の移動範囲の確率分布を考慮した場合の危険度の算出方法は、この限りではない。

また、図１８の例では、発車待ち状態での確率分布を設定した場合について示したが、ドア閉状態でも同様に確率分布を設定することができる。この場合の確率分布は、人物Ａがドア閉時間経過後に各移動範囲に存在する確率として示される。

[第６の実施形態]
本実施形態では、車外領域にいる複数の人物の密度に応じて、人物の移動速度を補正する形態について説明する。

本実施形態に係る危険度決定部２１Ｂは、車外領域にいる複数の人物の密度に応じて、人物の移動速度を補正する。以下では、図１９〜図２１を参照して、移動速度の具体的な補正方法を説明する。

図１９は、第６の実施形態に係る移動速度補正テーブル２５Ｅの一例を示す図である。

図１９に示す移動速度補正テーブル２５Ｅは、人物の密度と移動速度係数とを対応付けたデータテーブルである。図１９の例では、車外領域にいる人物が１０人以上である場合を第１密度とし、移動速度係数を０．５とする。また、人物が４人以上１０人未満である場合を第２密度とし、移動速度係数を０．７とする。また、人物が４人未満である場合を第３密度とし、移動速度係数を１．０とする。

例えば、人物の移動速度を固定値（＝１．３３ｍ／秒）とした場合、第１密度での移動速度は、１．３３ｍ／秒×０．５≒０．６７ｍ／秒、と補正される。第２密度での移動速度は、１．３３ｍ／秒×０．７≒０．９３ｍ／秒、と補正される。一方、第３密度での移動速度は、１．３３ｍ／秒×１．０＝１．３３ｍ／秒、となり変化しない。すなわち、人物の密度が高くなる（混雑する）ほど、移動速度が遅くなるため、安全領域から危険領域にかけて人物の密度が高くなる場合に、安全領域の人物がドア閉時間経過後に危険領域まで到達する可能性が低くなり、危険度が低くなる。一方で、安全領域から危険領域にかけて人物の密度が高くなる場合に、危険領域の人物がドア閉時間経過後に安全領域まで到達する可能性が低くなり、危険度が高くなる。

図２０は、第６の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図２０に示す車外周辺領域Ｒは、上述の図８の例と同様に、複数の危険度別領域として、危険領域、注意領域、及び安全領域を含んでいる。図２０の例では、複数の人物Ａ〜Ｉの密度が９人（第２密度）であるため、移動速度係数が０．７となる。このため、複数の人物Ａ〜Ｉの補正後の移動速度は、０．９３ｍ／秒、となる。これにより、複数の人物Ａ〜Ｉのうち、現時点で安全領域又は注意領域にいる人物が、移動速度の補正前と比較して、移動によりドア閉時間経過後に危険領域にいる可能性が低くなる。

また、ドア閉時に人物が移動しない場合には、補正後の移動速度に応じて、人物の密度毎に、上述の第１距離（危険領域）、第２距離（注意領域）、及び第３距離（安全領域）を変更してもよい。例えば、ドア閉時間を３秒とした場合、第１密度では、第１距離が０．６７ｍ／秒×３秒＝２．０１ｍ未満、と変更され、第２密度では、第１距離が０．９３ｍ／秒×３秒＝２．７９ｍ未満、と変更される。この場合、第１距離の変更に応じて、第２距離及び第３距離を変更すればよい。なお、第３密度では、第１距離は３．９９ｍ未満のままで変更されない。

また、複数の人物Ａ〜Ｉの密度に応じて、危険度別領域の大きさを領域毎に調整してもよい。例えば、注意領域が混雑している場合には、安全領域にいる人物がドアに近付こうとしても、注意領域の混雑によって、近付く人物の移動速度が遅くなる。このため、注意領域の大きさは変えずに、注意領域より遠い安全領域の大きさを小さくしてもよい。

図２１は、第６の実施形態に係る監視画面３４の一例を示す正面図である。

図２１に示す監視画面３４では、複数の人物Ａ〜Ｉの画像を模式化した図形を表示している。この場合、人物Ｄ、Ｅ、Ｆが危険領域にいることを示し、人物Ａ、Ｉが注意領域にいることを示し、人物Ｂ、Ｃ、Ｇ、Ｈが安全領域にいることを示している。

[第７の実施形態]
本実施形態では、車外領域にいる人物の属性に応じて、人物の移動速度を補正する形態について説明する。

本実施形態に係る危険度決定部２１Ｂは、車外領域にいる人物の属性に応じて、人物の移動速度を補正する。ここでいう属性には、例えば、大人（一般成人）、子供、高齢者等が含まれる。また、この属性には、一般成人男性、一般成人女性、ベビーカーを押している一般成人、傘をさしている一般成人等の属性を含んでいてもよい。この属性は、例えば、顔認識、物体認識等の技術を用いて取得される。以下では、図２２及び図２３を参照して、移動速度の具体的な補正方法を説明する。

図２２は、第７の実施形態に係る移動速度補正テーブル２５Ｆの一例を示す図である。

図２２に示す移動速度補正テーブル２５Ｆは、人物の属性と移動速度係数とを対応付けたデータテーブルである。図２２の例では、車外領域にいる人物が一般成人である場合、移動速度係数を１．０とする。また、人物が子供である場合、急に走り出す可能性があるため、移動速度係数を一般成人よりも大きい２．０とする。人物が高齢者である場合、移動速度係数を一般成人よりも小さい０．５とする。また、一般成人を男女の平均として、一般成人男性と一般成人女性とに区別してもよい。この場合、一般成人の移動速度係数と比較して、一般成人男性の移動速度係数を大きくし、一般成人女性の移動速度係数を小さくする。また、一般成人の移動速度係数と比較して、ベビーカーを押している一般成人の移動速度係数を小さくしてもよい。

例えば、人物の移動速度を固定値（＝１．３３ｍ／秒）とした場合、一般成人の移動速度は、１．３３ｍ／秒×１．００＝１．３３ｍ／秒、となり変化しない。一方、子供の移動速度は、１．３３ｍ／秒×２．０＝２．６６ｍ／秒、と補正される。高齢者の移動速度は、１．３３ｍ／秒×０．５≒０．６７ｍ／秒、と補正される。すなわち、子供は一般成人と比較して、移動速度が速くなるため、ドア閉時間経過後に危険領域まで到達する可能性が高くなり、危険度が高くなる。また、高齢者は一般成人と比較して、移動速度が遅くなるため、ドア閉時間経過後に危険領域まで到達する可能性が低くなり、危険度が低くなる。

また、ドア閉時に人物が移動しない場合には、補正後の移動速度に応じて、人物の属性毎に、上述の第１距離（危険領域）、第２距離（注意領域）、及び第３距離（安全領域）を変更してもよい。例えば、ドア閉時間を３秒とした場合、人物が子供では、第１距離が２．６６ｍ／秒×３秒＝７．９８ｍ未満、と変更され、人物が高齢者では、第１距離が０．６７ｍ／秒×３秒＝２．０１ｍ未満、と変更される。この場合、第１距離の変更に応じて、第２距離及び第３距離を変更すればよい。なお、人物が一般成人では、第１距離が３．９９ｍ未満のままで変更されない。

図２３は、第７の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図２３に示す車外周辺領域Ｒは、上述の図８の例と同様に、複数の危険度別領域として、危険領域、注意領域、及び安全領域を含んでいる。図２３の例では、人物Ａが大人であるため、移動速度係数が１．０となる。このため、人物Ａの移動速度は、１．３３ｍ／秒、となる。一方、人物Ｂが子供であるため、移動速度係数が２．０となる。このため、人物Ｂの移動速度は、２．６６ｍ／秒、となる。つまり、人物Ａと人物Ｂとがドアから等距離にいる場合、人物Ｂは人物Ａと比較して、移動速度が速くなるため、ドア閉時間で移動する移動距離が長くなる。図２３の例では、人物Ａはドア閉時間経過後に注意領域にいると判定され、人物Ｂはドア閉時間経過後に危険領域にいると判定される。

[第８の実施形態]
本実施形態では、人物が危険度別領域にある程度長い時間静止している場合に、人物の危険度を低く変更する形態について説明する。

本実施形態に係る危険度決定部２１Ｂは、人物が危険度別領域に静止している時間が所定時間以上になった場合に、人物の危険度を、危険度別領域の危険度よりも低い危険度に変更する。ここでいう所定時間は、人物が静止を開始してからの時間であり、画像情報２５Ｂから取得される不特定多数の人物の移動軌跡に基づいて設定してもよく、一般の路線バスを利用する不特定多数の人物の移動軌跡に関する所謂ビッグデータに基づいて設定するようにしてもよく、監視者により適宜設定、また変更される値が適用される。

図２４は、第８の実施形態に係る複数の危険度別領域の状態を模式的に示す図である。

図２４に示す車外周辺領域Ｒは、上述の図８の例と同様に、複数の危険度別領域として、危険領域、注意領域、及び安全領域を含んでいる。例えば、危険領域には、自動運転車両を表すバスＡの停車地点Ｓａと、自動運転車両ではない他のバスを表すバスＢの停車地点Ｓｂが設置されている。

例えば、現時点で安全領域にいる人物Ａは、バスＡに近付く方向に移動しており、所定時間（例えば、ドア閉時間）経過後に危険領域にいると判定される。一方、複数の人物Ｂ、Ｃ、Ｄは、既にバスＡの危険領域にいるが、バスＢの乗車待ちをしている。複数の人物Ｂ、Ｃ、Ｄは、バスＡに乗り込むためにバスＡの危険領域にいるわけではないため、一定時間経過した後も、バスＡに近づく可能性が低いと考えられる。このため、危険領域にいる人物であっても、所定時間以上場所が変化しない人物については、時間経過に伴い危険度を低下させる。すなわち、発車時（又はドア閉時）において、バスＡのドアに近付く人物Ａの危険度を高くし、バスＡのドア付近にいて、バスＢの乗車待ちをしている人物Ｂ、Ｃ、Ｄの危険度を低下させる。

図２５は、第８の実施形態に係る危険度変更方法の説明に供する図である。

図２５に示すように、危険領域にいるが、所定時間以上同じ場所に静止し続ける対象人物の危険度を低下させる。但し、設定時間Ｔ１は、危険領域にいる対象人物が静止を開始した時刻である計測基準時刻から危険度を注意レベルに低下させるまでの時間であり、設定時間Ｔ２は、危険度を注意レベルから安全レベルに低下させるまでの時間である。設定時間Ｔ１及び設定時間Ｔ２には、上述したように、事前に設定される固定値でもよく、画像情報２５Ｂから取得される不特定多数の人物の移動軌跡に基づいて設定してもよく、一般の路線バスを利用する不特定多数の人物の移動軌跡に関する所謂ビッグデータに基づいて設定するようにしてもよく、監視者により適宜設定、また変更される値が適用されてもよい。

ここで、上記の各実施形態に係る表示システム９０では、表示プログラム２５Ａが表示装置２０にインストールされている。つまり、表示装置２０のＣＰＵ２１が表示プログラム２５Ａを実行することにより、ＣＰＵ２１を、人物認識部２１Ａ、危険度決定部２１Ｂ、及び表示制御部２１Ｃとして機能させていた。これに対して、表示プログラム２５Ａを車載装置１０にインストールしてもよい。この場合、車載装置１０のＣＰＵ１１が表示プログラム２５Ａを実行することにより、ＣＰＵ１１を、人物認識部２１Ａ、危険度決定部２１Ｂ、及び表示制御部２１Ｃとして機能させる。但し、車載装置１０を用いて自車両の監視を行う場合、自車両には自動運転を補助する補助者が乗車し、補助者によって監視が行われるものとする。

以上、実施形態に係る表示システムを例示して説明した。実施形態は、表示システムが備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非遷移的記録媒体の形態としてもよい。

その他、上記実施形態で説明した表示システムの構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。例えば、自動運転車両側で人物の認識や危険度の決定を行う構成の全て、あるいは、その一部を実施するようにしてもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０車載装置、１１、２１ＣＰＵ、１２、２２メモリ、１４、２４表示部、１５、２５記憶部、１６センサ群、１７カメラ、１８、２６通信部、２０表示装置、２１Ａ人物認識部、２１Ｂ危険度決定部、２１Ｃ表示制御部、２３操作部、２５Ａ表示プログラム、２５Ｂ画像情報、２５Ｃ車両情報、２５Ｄ危険度テーブル、２５Ｅ、２５Ｆ移動速度補正テーブル、３０〜３４監視画面、９０表示システム

Claims

自動運転車両の車外にいる人物を表す情報を表示する表示システム（９０）であって、
前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定する危険度決定部（２１Ｂ）と、
前記危険度決定部により決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う表示制御部（２１Ｃ）と、
を備えた表示システム（９０）。
前記危険度決定部は、前記移動速度及び前記ドア閉時間によって定まる複数レベルの危険度に基づいて、前記車外の領域を複数の危険度別領域に分割し、分割した複数の危険度別領域のうち、前記人物がいる危険度別領域の危険度を、前記人物の危険度として決定する
請求項１に記載の表示システム。
前記危険度決定部は、前記人物の移動方向を予測し、予測した移動方向に基づいて、前記人物の移動検知から所定時間経過後に前記人物がいると予測される危険度別領域の危険度を、前記人物の危険度として決定する
請求項２に記載の表示システム。
前記表示制御部は、前記人物を表す情報と共に、前記予測された前記人物の移動方向を表す情報を表示する制御を行う
請求項３に記載の表示システム。
前記危険度決定部は、前記人物の移動速度を更に予測し、予測した移動方向及び移動速度に基づいて、前記人物の移動検知から所定時間経過後に前記人物がいると予測される危険度別領域の危険度を、前記人物の危険度として決定する
請求項３に記載の表示システム。
前記表示制御部は、前記人物を表す情報と共に、前記予測された前記人物の移動方向及び移動速度の少なくとも一方を表す情報を表示する制御を行う
請求項５に記載の表示システム。
前記危険度決定部は、前記複数の危険度別領域の形状を、前記自動運転車両の車両状態に応じて変更する
請求項２又は請求項３に記載の表示システム。
前記危険度決定部は、前記複数の危険度別領域の形状を、前記自動運転車両が停車する特定の場所の形状に応じて変更する
請求項２又は請求項３に記載の表示システム。
前記危険度決定部は、前記人物の移動方向を予測する際に、前記人物が移動可能な複数の移動範囲に対して確率分布を設定し、設定した確率分布に基づいて、前記危険度の期待値を算出する
請求項３に記載の表示システム。
前記危険度決定部は、前記車外の領域にいる人物の密度に応じて、前記人物の移動速度を補正する
請求項１又は請求項２に記載の表示システム。
前記危険度決定部は、前記人物の属性に応じて、前記人物の移動速度を補正する
請求項１又は請求項２に記載の表示システム。
前記危険度決定部は、前記人物が前記危険度別領域に静止している時間が所定時間以上になった場合に、前記人物の危険度を、前記危険度別領域の危険度よりも低い危険度に変更する
請求項２に記載の表示システム。
前記人物を表す情報は、前記人物の画像を模式化した図形であり、
前記表示制御部は、前記人物の危険度に応じて、前記人物に対応する前記図形の色、サイズ、形状、及び輪郭線の少なくとも１つを変更する制御を行う
請求項１〜請求項１２のいずれか１項に記載の表示システム。
前記人物を表す情報は、前記人物の画像であり、
前記表示制御部は、前記人物の危険度に応じて、前記人物の前記画像に付与される囲み枠の色、サイズ、形状、及び輪郭線の少なくとも１つを変更する制御を行う
請求項１〜請求項１２のいずれか１項に記載の表示システム。
自動運転車両の車外にいる人物を表す情報を表示する表示システム（９０）による表示方法であって、
前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定し、
前記決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う、
表示方法。
自動運転車両の車外にいる人物を表す情報を表示する表示システムの表示プログラム（２５Ａ）であって、
コンピュータを、
前記人物の移動速度、及び、前記自動運転車両のドアを閉める動作を開始してから前記ドアが閉まるまでのドア閉時間に基づいて、前記人物に対して、前記人物が前記ドアに挟まる危険の程度を表す危険度を決定する危険度決定部（２１Ｂ）、及び、
前記危険度決定部により決定された、前記人物の危険度に応じて、前記人物を表す情報の表示形態を変更する制御を行う表示制御部（２１Ｃ）、
として機能させるための表示プログラム（２５Ａ）。