JP2023003974A - 車室内監視システム及び乗合車両 - Google Patents
車室内監視システム及び乗合車両 Download PDFInfo
- Publication number
- JP2023003974A JP2023003974A JP2021105388A JP2021105388A JP2023003974A JP 2023003974 A JP2023003974 A JP 2023003974A JP 2021105388 A JP2021105388 A JP 2021105388A JP 2021105388 A JP2021105388 A JP 2021105388A JP 2023003974 A JP2023003974 A JP 2023003974A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- seat
- person
- warning
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 241001125929 Trisopterus luscus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】車内の混雑状況に応じたマナー順守を要請することを可能とする。【解決手段】座席状態推定部37は、荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する。混雑率算出部64は、認識された人物及び荷物に基づいて、車室における混雑率を求める。警告可否判定部65は、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率が所定の混雑閾値を超過する場合に、警告の出力を乗合車両10に指令する。【選択図】図3
Description
本明細書では、乗合車両、及び当該乗合車両の車室内を監視する車室内監視システムが開示される。
車室内監視システムとして、例えば特許文献1では、電車内の迷惑行為者を推定するシステムが開示される。このシステムでは、車内にカメラが設けられる。迷惑行為を受けた者(被害者)が通信端末によりシステムに通報すると、通報信号の発信位置周辺の画像がカメラにより撮影される。この撮像画像から、迷惑行為を受けた者の周囲に居合わせた人物に対して顔認識が実行され、システム内の顔データベースに格納される。
また特許文献2では、大型荷物による座席の占有を発見した車内の通知者からの通知を車載ユニットが受けると、当該車載ユニットは、車室内のカメラにて座席の占有の有無を確認する。そして、カメラ画像から荷物による座席の占有が確認されると、車載ユニットは中止要求のメッセージを車内ディスプレイに表示させる。
ところで、空席に荷物を置く等の行為は、車内が十分に空いているときには許容され得る。このように、いわゆる車内マナーの許容度は、車内の混雑状況によって変化する。そこで本明細書では、車内の混雑状況に応じたマナー順守を要請することの可能な、車室内監視システム及び乗合車両が開示される。
本明細書で開示される車室内監視システムは、乗合車両と、乗合車両の運行を管理する運行管理装置を備える。乗合車両は、撮像器、画像認識部、及び座席状態推定部を備える。撮像器は、車室の天井に設けられる。画像認識部は、撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。座席状態推定部は、認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する。運行管理装置は、混雑率算出部及び警告可否判定部を備える。混雑率算出部は、認識された人物及び荷物に基づいて、車室における混雑率を求める。警告可否判定部は、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率が所定の混雑閾値を超過する場合に、警告の出力を乗合車両に指令する。
上記構成によれば、荷物占有座席及び重複着座席の少なくとも一方が発生した場合には、車内の混雑状況を踏まえて、警告の出力有無が決定される。
また上記構成において、画像認識部は、認識された人物及び荷物の占有面積を求めてもよい。また混雑率算出部は、認識された人物及び荷物の占有面積の総和と車室床面積に基づいて、混雑率を求めてもよい。
上記構成によれば、例えば人数や荷物の個数に基づいて混雑率を求める場合と比較して、人物の体格差や荷物の大小が反映された精度の高い混雑率の算出が可能となる。
また上記構成において、警告可否判定部は、混雑率が混雑閾値以下であるときには、予約状況確認処理を実行してもよい。この予約状況確認処理では、乗合車両への乗車予約情報に応じて警告の出力の見合わせ有無が判定される。
上記構成によれば、車内が空いているときには、乗車予約状況を踏まえて、警告の出力可否が決定される。
また上記構成において、乗合車両は、規定経路を走行し規定経路に沿って設けられた停留所にて停車可能であってよい。この場合、乗車予約情報として、乗車希望者が乗車予定の停留所である乗車予定停留所と、着座予定の指定席とが設定される。運行管理装置は、乗車予約情報を記憶する記憶部を備える。警告可否判定部は、予約状況確認処理として、乗合車両の次停車予定の停留所を乗車予定停留所とする停留所条件と、着座予定の指定席が荷物占有座席及び重複着座席の少なくとも一方に該当する指定席条件との、両条件を満たす乗車予約情報が記憶部に記憶されていない場合には、乗合車両による警告の出力を見合わせる。
上記構成によれば、荷物占有座席及び重複着座席の少なくとも一方が発生した場合であっても、車内が空いており、かつ、荷物占有座席及び重複着座席が、次停車予定の停留所で乗車する乗客の指定席には該当しない場合には、警告の出力が見合わせられる。
また、本明細書で開示される乗合車両は、撮像器、画像認識部、座席状態推定部、混雑率算出部、及び警告可否判定部を備える。撮像器は、車室の天井に設けられる。画像認識部は、撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。座席状態推定部は、認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する。混雑率算出部は、認識された人物及び荷物に基づいて、車室における混雑率を求める。警告可否判定部は、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率が所定の混雑閾値を超過する場合に、警告器に警告を出力させる。
本明細書で開示される車室内監視システム及び乗合車両によれば、車内の混雑状況に応じたマナー順守を要請することが可能となる。
以下に、本発明の実施形態が図面を用いて説明される。以下で説明する形状、材料、個数、及び数値は、説明のための例示であって、車室内監視システムの仕様に応じて適宜変更することができる。また以下ではすべての図面において同等の要素には同一の符号が付される。
<交通サービス>
図1には、本実施形態に係る乗合車両10及び運行管理装置50により提供される交通サービスの概要が例示される。この交通サービスでは、運行経路である規定経路90を乗合車両10が走行し、不特定多数の利用者が輸送される。運行管理装置50は、複数の乗合車両10-1~10-8の運行を管理する。また、運行管理の一環として、乗合車両10及び運行管理装置50により、本実施形態に係る車室内監視システムが構成される。
図1には、本実施形態に係る乗合車両10及び運行管理装置50により提供される交通サービスの概要が例示される。この交通サービスでは、運行経路である規定経路90を乗合車両10が走行し、不特定多数の利用者が輸送される。運行管理装置50は、複数の乗合車両10-1~10-8の運行を管理する。また、運行管理の一環として、乗合車両10及び運行管理装置50により、本実施形態に係る車室内監視システムが構成される。
図1に例示される交通サービスでは、規定経路90は例えば循環経路である。乗合車両10は、規定経路90上を図示矢印のように一方通行にて循環運行する。さらに乗合車両10は、規定経路90に沿って設けられた停留所ST1~ST3にて停車可能となっている。
また、規定経路90と接続するようにして車庫92が設けられる。図1では車庫92に待機される乗合車両10―5~10-8が例示される。車庫92との接続ポイントとして、規定経路90には回収ポイントPout及び投入ポイントPinが設けられる。
また規定経路90には、運行中の乗合車両10-1~10-4に各自の運行スケジュールを送る運行スケジュール更新ポイントPuが設けられる。スケジュール更新ポイントPuでは、運行管理装置50から、当該ポイントを通過する乗合車両10に対して、当該乗合車両10の、運行スケジュール更新ポイントPuを起点とした一周分の運行スケジュールが提供される。
後述されるように、本実施形態に係る車室内監視システムでは、運行中の乗合車両10の車室内において、マナー違反が疑われる事象が検出される。具体的には、荷物が占有される座席である荷物占有座席の有無と、一人の乗客が複数の座席に跨って着座することで生じる重複着座席の有無が、乗合車両10によって判定される。
荷物占有座席及び重複着座席の少なくとも一方が発生有りと判定されると、運行管理装置50は、荷物占有座席及び重複着座席の発生した乗合車両10の混雑率と、乗車予約状況とに基づいて、荷物占有座席及び重複着座席の解消を促す警告の出力可否を決定する。
具体的には、車室内が空いており、かつ、乗合車両10の次停留所を乗車地とする乗客が着座予定の指定席が、荷物占有座席及び重複着座席のどちらにも該当しない場合には、警告の出力を見合わせる。つまり、荷物占有座席及び重複着座席が、実質的に他の乗客に迷惑を掛けない態様で発生している場合には警告の出力が控えられる。このように、本実施形態に係る車室内監視システムによれば、混雑率や予約状況等の乗車状況に応じて、柔軟に乗車マナーの順守を呼びかけることが出来る。
<車室内監視システムの全体構成>
図2には、本実施形態に係る車室内監視システムのハードウェア構成が例示される。また図3には、車室内監視システムの機能ブロックが例示される。上述のように、車室内監視システムは、乗合車両10及び運行管理装置50を含んで構成される。乗合車両10及び運行管理装置50は、インターネット95等の通信手段を用いて互いに通信可能となっている。
図2には、本実施形態に係る車室内監視システムのハードウェア構成が例示される。また図3には、車室内監視システムの機能ブロックが例示される。上述のように、車室内監視システムは、乗合車両10及び運行管理装置50を含んで構成される。乗合車両10及び運行管理装置50は、インターネット95等の通信手段を用いて互いに通信可能となっている。
<運行管理装置>
図1を参照して、運行管理装置50は、例えば複数の乗合車両10を使った交通サービスを提供する管理会社に設置される。運行管理装置50は、例えばコンピュータ(電子計算機)から構成される。図2を参照して、運行管理装置50は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ51を備える。また運行管理装置50は、CPU52、入力部53、表示部54、ROM55、RAM56、及びハードディスクドライブ57(HDD)、時計59を備える。なお、ハードディスクドライブ57の代わりに、SSD(Solid State Drive)等の記憶装置が用いられてもよい。これらの構成部品は内部バス58に接続される。
図1を参照して、運行管理装置50は、例えば複数の乗合車両10を使った交通サービスを提供する管理会社に設置される。運行管理装置50は、例えばコンピュータ(電子計算機)から構成される。図2を参照して、運行管理装置50は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ51を備える。また運行管理装置50は、CPU52、入力部53、表示部54、ROM55、RAM56、及びハードディスクドライブ57(HDD)、時計59を備える。なお、ハードディスクドライブ57の代わりに、SSD(Solid State Drive)等の記憶装置が用いられてもよい。これらの構成部品は内部バス58に接続される。
記憶装置であるROM55及びハードディスクドライブ57の少なくとも一方には、運行管理を行うためのプログラムが記憶される。上記プログラムが運行管理装置50のCPU52等により実行されることで、運行管理装置50には、図3に例示されるような機能ブロックが形成される。また当該プログラムが記憶されたDVD等の非一過性の記憶媒体をCPU52が読み取って実行することによっても、運行管理装置50には、図3に例示されるような機能ブロックが形成される。
すなわち運行管理装置50は、記憶部として、運行スケジュール記憶部66及びダイナミックマップ記憶部67を備える。また運行管理装置50は、機能部として、運行スケジュール作成部61、運行ルート作成部62、乗降車予約設定部63、混雑率算出部64、及び警告可否判定部65を備える。
ダイナミックマップ記憶部67には、地図データであるダイナミックマップデータが記憶される。ダイナミックマップは、3次元地図であって、例えば車道の位置及び形状(3次元形状)が記憶される。車道の3次元形状とは、例えば勾配や幅員等が含まれる。また車道に引かれた車線、横断歩道、停止線等の位置もダイナミックマップに記憶される。加えて、道路周辺の停留所、建物、信号機等の構造物の位置及び形状(3次元形状)もダイナミックマップに記憶される。さらに、駐車場の位置及び形状もダイナミックマップに記憶される。
例えばダイナミックマップでは、緯度及び経度を含む地理座標系が用いられる。乗合車両10が自動運転走行する際には、運行ルート作成部62がダイナミックマップ記憶部67からダイナミックマップデータを抽出して、走行路線及び停留所位置を含む運行地図データを作成する。
運行スケジュール作成部61は、乗合車両10の運行スケジュール(言い換えると運行ダイヤ)を作成する。例えば運行ルート作成部62から運行地図データを受信すると、運行スケジュール作成部61は、走行路線、乗合車両10の定格速度、及び停留所ST1~ST3での標準停車時間等に基づいて、各停留所ST1~ST3の到着予定時刻及び出発予定時刻を含む運行スケジュールを作成する。
図4には、乗合車両10に提供される、運行スケジュールテーブルが例示される。運行スケジュールテーブルには、各停留所ST1~ST3の到着予定時刻及び出発予定時刻の他に、運行スケジュール更新ポイントPu(図1参照)の通過時刻、回収ポイントPoutの通過予定時刻、投入ポイントPinの通過予定時刻も設定される。
さらに運行スケジュールテーブルには、実際の各ポイントの通過・到着・出発時刻が記録される欄及び混雑率が入力される欄が設けられる。加えて運行スケジュールテーブルには、乗車予約及び降車予約の有無及び指定席番号が記録される欄が設けられる。
上述のように、この運行スケジュールとして、運行スケジュール更新ポイントPuを起点とした、規定経路90の一周分のスケジュールが作成される。作成された運行スケジュールは、乗合車両10が運行スケジュール更新ポイントPuを通過したときに、当該乗合車両10に提供される。提供された運行スケジュールは、乗合車両10内の運行スケジュール記憶部35に記憶される。
図3を参照して、乗降車予約設定部63は、乗車希望者の携帯端末(例えばスマートフォン)から入力された乗車予約情報を受け付け、運行スケジュール記憶部66に記憶させる。乗車予約情報には、乗車希望者が乗車予定の停留所である乗車予定停留所、降車予定の停留所である降車予定停留所、及び着座予定の指定席番号が含まれる。
例えば図4を参照して、この運行スケジュールには、停留所ST2にて乗車し、指定席42Bに着座予定の乗車予約情報が設定されている。またこの運行スケジュールには、停留所ST3にて乗車し、指定席42D,42Eに着座予定の乗車予約情報と、指定席42Bに着座する乗客が停留所ST3で降車する降車予約情報が設定されている。このように、乗降車予約設定部63により設定された乗車予約情報は、運行スケジュール作成部61を介して運行スケジュール記憶部66に記憶される。
混雑率算出部64は、乗合車両10の車室内画像認識部36により認識された人物及び荷物に基づいて、車室40(図6参照)の混雑率を求める。
例えば混雑率算出部64は、車室内画像認識部36により認識された人物の数及び荷物の個数に基づいて、車室40の混雑率を求める。例えば混雑率算出部64は、2個の荷物を人物1人分と置き換えた上で車室40内の総人数をカウントして、当該総人数と車室40の定員とから、混雑率を求める。
また別の混雑率算出方法として、混雑率算出部64は、車室内画像認識部36により認識された乗客(人物)及び荷物の、後述される図8の矩形枠であるバウンディングボックスの面積Sbの総和ΣSbを求める。この総和ΣSbは、車室40内の全乗客及び全荷物の占有面積の総和として扱われる。
さらに混雑率算出部64は、面積総和ΣSbと車室40の床面積Saに基づいて、車室40における混雑率を求める。具体的に混雑率算出部64は、車室床面積Saに対する乗客及び荷物の占有総面積ΣSbの割合(ΣSb/Sa)×100[%]を混雑率Aとして求める。求められた混雑率Aは警告可否判定部65に送られる。
警告可否判定部65は、混雑率Aと、乗車予約状況とに基づいて、荷物占有座席及び重複着座席の解消を促す警告の出力可否を決定する。この決定プロセスの詳細は後述される。すなわち、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率Aが所定の混雑閾値を超過する場合に、警告可否判定部65は、警告器である車内スピーカ45(図6参照)及び車内表示器47Bに警告を出力させる。
<乗合車両>
図5には、乗合車両10の外観が例示され、図6には、乗合車両10の車室40内の様子が例示される。なお、図5、図6において、車体前後方向が記号FRで表される軸で示され、車幅方向が記号RW(Right Width)で表される軸で示される。また、車高方向が記号UPで表される軸で示される。
図5には、乗合車両10の外観が例示され、図6には、乗合車両10の車室40内の様子が例示される。なお、図5、図6において、車体前後方向が記号FRで表される軸で示され、車幅方向が記号RW(Right Width)で表される軸で示される。また、車高方向が記号UPで表される軸で示される。
図5を参照して、乗合車両10は乗合バスとして利用され、左側面には乗降口となる一対のドア41,41が設けられる。また、車両前方には車外表示器47Aが設けられる。車外表示器47Aはいわゆるデジタルサイネージとも呼ばれ、液晶ディスプレイまたはLEDディスプレイから構成される。
図6を参照して、車室40内には、その壁面に沿って、乗客用の座席が複数設けられる。例えば座席は、事前予約の可能な指定席42A~42Fと、予約不可の自由席49が設けられる。また立位客の支持のため、天井には複数の吊り手44が設けられる。また車室40の側壁には手摺46が設けられる。
ドア41,41の上方には車内表示器47Bが設けられる。車内表示器47Bは、車外表示器47Aと同様に、液晶ディスプレイまたはLEDディスプレイから構成される。後述されるように、車内表示器47Bは、荷物占有座席及び重複着座席の解消を促す警告メッセージを表示可能となっている。なおこの警告メッセージは、車室40の天井に設けられた車内スピーカ45から音声案内としても出力可能となっている。
車室40の天井の中央部には、撮像器である車内カメラ18が設けられる。例えば車室40の車幅方向中央かつ車両前後方向中央に、車内カメラ18が設けられる。例えば車内カメラ18は、CMOSセンサやCCDセンサ等のイメージセンサを備える。
例えば車内カメラ18は、いわゆる360°カメラであってよく、車室40の乗客用空間全体を撮像可能となっている。例えば車内カメラ18は、車室40の床43全体を視野に含む。
車内カメラ18により撮像される車室内画像は、例えば図7のような俯瞰視画像となる。このような車室内画像によれば、乗客101A,101B及び荷物102A,102Bの床43上の占有面積を求めることが出来る。
<乗合車両の自動運転制御機構>
図2、図3を参照して、乗合車両10は、例えば自動運転機能を備える自動運転車両である。例えば交通サービスの提供に当たり、乗合車両10が規定経路90(図1参照)を走行する際には、米国の自動車技術会(SAE)による基準に基づいて、乗合車両10は、レベル4またはレベル5での自動運転が可能となっている。
図2、図3を参照して、乗合車両10は、例えば自動運転機能を備える自動運転車両である。例えば交通サービスの提供に当たり、乗合車両10が規定経路90(図1参照)を走行する際には、米国の自動車技術会(SAE)による基準に基づいて、乗合車両10は、レベル4またはレベル5での自動運転が可能となっている。
乗合車両10は、規定経路90を自動運転で走行しながら、停留所ST1~ST3にて停車して乗客が乗り降りする乗り合いバスとして利用される。例えば乗合車両10は、回転電機17(モータ)を駆動源とし、図示しないバッテリを電源とする電動車両である。また乗合車両10は、走行制御機構として、ブレーキ機構14A、操舵機構14B、及び回転電機17の出力を制御するインバータ14Cを備える。
さらに、乗合車両10は、自車位置の取得や周辺状況の把握のための機構として、車外カメラ11A、ライダーユニット11B、近接センサ12、測位部13、時計15、及び制御部20を備える。例えば乗合車両10には、その前面、後面、及び両側面に、センサユニットが設けられる。センサユニットは、車外カメラ11A及びライダーユニット11Bを含んで構成される。
ライダーユニット11Bは、自動運転走行用のセンサユニットであり、自車周辺の物体と自車との距離を測定可能な測距部である。ライダーユニット11Bでは、ライダー(LiDAR、Light Detection and Ranging)、すなわちレーザー光を用いて周辺物体との距離を測定する技術が用いられる。
ライダーユニット11Bは、例えばソリッドステート型のユニットであって、赤外線のレーザー光を車外に向かって照射するエミッタと、その反射光を受光するレシーバ、並びにレーザー光の照射角を制御するレンズ及びミラーが、半導体基板上に実装される。ライダーユニット11Bにより、乗合車両10の周辺環境についての3次元点群データを得ることが出来る。
車外カメラ11Aは、ライダーユニット11Bと同様の視野を撮像する。車外カメラ11Aは、例えばCMOSセンサやCCDセンサ等のイメージセンサを備える。近接センサ12は、例えば赤外線センサであって、例えば平面視で乗合車両10の四隅に設けられる。例えば乗合車両10が乗車地に到着する際に、近接センサ12が歩道の縁石等の突出物を検出する。この検出により、乗合車両10を縁石に近接させて停車させる正着制御が可能となる。測位部13は人工衛星によって測位を行うシステムであって、例えば衛星測位システム(globalnavigation satellite system)が用いられる。
制御部20は、例えば乗合車両10の電子コントロールユニット(ECU)であってよく、コンピュータ(電子計算機)から構成される。図2を参照して、制御部20は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ21を備える。また制御部20は、演算装置として、CPU22、GPU23(Graphics Processing Unit)、及びDLA24(Deep Learning Accelerators)を備える。また制御部20は、記憶部として、ROM25、RAM26、及びハードディスクドライブ27(HDD)を備える。なお、ハードディスクドライブ27の代わりに、SSD(Solid State Drive)等の記憶装置が用いられてもよい。これらの構成部品は内部バス28に接続される。
記憶装置であるROM25及びハードディスクドライブ27の少なくとも一方には、乗合車両10の自動運転制御を行うためのプログラムが記憶される。上記プログラムが制御部20のCPU22等により実行されることで、制御部20には、図3に例示されるような機能ブロックが形成される。または、また当該プログラムが記憶されたDVD等の非一過性の記憶媒体をCPU22が読み取って実行することによっても、制御部20には、図3に例示されるような機能ブロックが形成される。
すなわち制御部20は機能ブロックとして、スキャンデータ解析部30、自己位置推定部31、自律走行制御部32、運行案内部33、車室内画像認識部36、及び座席状態推定部37を備える。また制御部20は記憶部として、ダイナミックマップ記憶部34及び運行スケジュール記憶部35を備える。
スキャンデータ解析部30は、車外カメラ11Aが撮像した撮像画像を取得する。スキャンデータ解析部30は、取得した撮像画像に対して、既知のディープラーニング手法を利用した画像認識を行う。この画像認識により、撮像画像内の物体検出とその属性(車両、通行人、構造物等)認識が行われる。
またスキャンデータ解析部30は、ライダーユニット11Bから3次元点群データを取得する。さらにスキャンデータ解析部30は、画像認識済みの撮像画像と3次元点群データの座標を重ね合わせた周辺データを作成する。周辺データにより、どのような属性の物体が、乗合車両10からどれだけ離隔しているかを検出することが出来る。この周辺データは、自律走行制御部32に送られる。
自己位置推定部31は、測位部13から自己位置情報(緯度、経度)を取得する。例えば自己位置推定部31は人工衛星から自己位置情報を取得する。このようにして得られた自己位置情報(自車位置情報)は、自律走行制御部32に送られる。
ダイナミックマップ記憶部34には、運行管理装置50の運行ルート作成部62が作成した運行経路地図データが記憶される。この運行経路地図データにはダイナミックマップデータが含まれる。また運行スケジュール記憶部35には、運行管理装置50の運行スケジュール作成部61が作成した運行スケジュール(図4参照)が記憶される。
自律走行制御部32は、ダイナミックマップ記憶部34に記憶された運行経路地図データ、自己位置推定部31から送信された自己位置情報(自車位置情報)、及び、スキャンデータ解析部30から送信された周辺データに基づいて、乗合車両10の走行制御を行う。また停留所ST1~ST3に到着すると、乗合車両10は運行スケジュールに設定された出発時刻まで停留所ST1~ST3に待機する。
<荷物占有座席及び重複着座席の推定>
車室内画像認識部36は、車内カメラ18が撮像した車室内画像に含まれる、人物(乗客)及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。例えば車室内画像認識部36には、画像認識アルゴリズムとして、教師有り学習を用いたSSD(Single Shot Multibox Detector)が実装される。
車室内画像認識部36は、車内カメラ18が撮像した車室内画像に含まれる、人物(乗客)及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。例えば車室内画像認識部36には、画像認識アルゴリズムとして、教師有り学習を用いたSSD(Single Shot Multibox Detector)が実装される。
SSDアルゴリズムは既知の技術であるため、ここでは簡潔に説明される。SSDアルゴリズムでは、撮像画像内の位置推定及びクラス推定が行われる。つまり、画像内のどの位置に物体がいるのか、及びその物体の属性(クラス)は何か、という2種類の推定が同時並行で、つまり、ニューラルネットワークを用いた一回の演算で(Single Shotで)行われる。
SSDアルゴリズムでは、人物及び荷物の検出に当たり、その人物及び荷物と外部との境界線を抽出する代わりに、図8に例示されるような矩形枠の「バウンディングボックス」により、人物及び荷物の境界が画定される。例えばSSDアルゴリズムでは、位置推定に当たり、画像上に大きさや形の異なる複数の(例えば1万個弱の)デフォルトボックスと呼ばれる矩形枠が当て嵌められ、そのいずれの枠が物体を過不足なく含められるかが演算される。さらに各バウンディングボックスには、当該ボックスに捉えられた物体の属性(クラス)が表示される。
車室内画像認識部36は、物体の属性として、人物「human」及び荷物「baggage」の値を付与する。さらに車室内画像認識部36は、人物「human」の下位属性として、立位「standing」及び着座「seated」の値を付与する。つまり認識された人物については、座位および立位のどちらかであるかが推定される。
例えば図8には、図7の車室内画像(俯瞰視画像)に対して、車室内画像認識部36のSSDアルゴリズムによる画像認識処理が行われた結果が示される。図8の例によれば、立位の人物101Aに対して「human,standing」の属性値が付与されたバウンディングボックス111Aが設定される。また座位の人物101Bに対して、「human,seated」の属性値が付与されたバウンディングボックス111Bが設定される。さらに荷物102A,102Bに対してクラス「baggage」の属性値が付与されたバウンディングボックス112A,112Bが設定される。
このような画像認識を可能とするため、例えばSSDアルゴリズムを学習させる教師データは、立位の人物画像を入力データとし、クラス「人物,立位(human,standing)」及び人物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。またこの教師データは、座位の人物画像を入力データとし、クラス「人物,座位(human,seated)」及び人物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。さらに教師データは、荷物画像を入力データとし、クラス「荷物(Baggage)」及び荷物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。
各バウンディングボックスには位置パラメータが与えられる。すなわち、撮像画像平面座標におけるボックスの中心座標C[Cx,Cy]、ボックス幅W、及びボックス高さHがバウンディングボックスの位置パラメータとして与えられる。
バウンディングボックスのボックス幅Wとボックス高さHの積から、バウンディングボックスの面積Sbを求めることが出来る。本明細書に係る車内監視システムでは、バウンディングボックスの面積Sbが、人物または荷物の占有面積として利用される。つまり車室内画像認識部36は、車内カメラ18が撮像した車室内画像に含まれる、人物(乗客)及び荷物の画像領域を認識するとともに、認識された人物及び荷物の占有面積を求める。
座席状態推定部37は、荷物占有座席の有無及び重複着座席の発生有無を推定する。荷物占有座席とは、荷物に占有された座席を指す。重複着座席は、一人の座位の人物が複数の座席に跨って着座することで発生する。
車内カメラ18の画角及び倍率を固定値とすると、車内カメラ18内の撮像画像における、座席の位置は固定される。例えば図9には、指定席42A~42Fが含まれる撮像画像が示されているが、これらの指定席42A~42Fのそれぞれの、撮像画像平面内の座席領域は固定された位置に定まる。
座席状態推定部37は、車室内画像認識部36により認識された荷物102Bのバウンディングボックス112Bの位置パラメータ(ボックスの中心座標C[Cx,Cy]、ボックス幅W、及びボックス高さH)と、指定席42A~42Fのそれぞれの画像平面内の座席領域の座標情報から、バウンディングボックス112Bとそれぞれの座席領域との重複面積を求める。
例えば図9のように、座席状態推定部37により、バウンディングボックス112Bと指定席42Bの座席領域142Bとの重複面積Soが求められる。さらにその重複面積Soの、バウンディングボックス112Bの面積Sbに対する割合である重複率L[%]が求められる。重複率Lが所定の重複閾値Lth以上である場合、例えば70%以上である場合、座席状態推定部37は、指定席42Bは荷物102Bにより荷物占有座席になったと推定する。荷物占有座席と推定された指定席42Bの情報(例えば指定席番号)は、運行管理装置50の警告可否判定部65に送信される。
また、座席状態推定部37は、重複着座席の有無を推定する。図10を参照して、車室内画像認識部36により認識された座位の人物101Bのバウンディングボックス111Bの位置パラメータ(ボックスの中心座標C[Cx,Cy]、ボックス幅W、及びボックス高さH)と、指定席42A~42Fのそれぞれの画像平面内の座席領域の座標情報から、座席状態推定部37は、バウンディングボックス111Bとそれぞれの座席領域との重複面積を求める。
例えば図10のように、バウンディングボックス111Bとその周辺の指定席42B,42Cの座席領域142B,142Cとの重複面積So_B,So_C,がそれぞれ求められる。さらにその重複面積So_B,So_Cの、バウンディングボックス112Bの面積Sbに対する割合である重複率L_B,L_C[%]が求められる。
そして、重複率L_B,L_Cのどちらも、所定の着座閾値Lths以上である場合、例えば30%以上である場合、座席状態推定部37は、指定席42B,42Cは重複着座席になったと推定する。重複着座席と推定された指定席42B,42Cの情報(例えば指定席番号)は、運行管理装置50の警告可否判定部65に送信される。
<警告可否判定フロー>
図11には、本実施形態に係る運行管理システムにおける、警告可否判定フローが例示される。なおこのフローでは、各ステップの実行主体が乗合車両10(V)または運行管理装置50(S)で示される。
図11には、本実施形態に係る運行管理システムにおける、警告可否判定フローが例示される。なおこのフローでは、各ステップの実行主体が乗合車両10(V)または運行管理装置50(S)で示される。
例えば、各停留所ST1~ST3から乗合車両10が出発するタイミングで、図11のフローが起動される。なお以下では、図12に例示される運行スケジュールのように、乗合車両10が停留所ST1を出発(7:23)し、次停留予定の停留所ST2に向かう間に実行されるフローが説明される。
まず、運行案内部33(図3参照)は、図示しない記憶部における、荷物フラグ及び座席フラグの値を0に設定する(S10)。後述されるように、これらのフラグの値に応じて、車内への警告メッセージの内容が設定される。
次に、車室内画像認識部36は、車内カメラ18が撮像した車室内画像を取得し(S12)、図8に例示されるような、車室画像内の人物(乗客)及び荷物の画像認識を行う(S14)。さらに人物について車室内画像認識部36は、立位及び座位のどちらかであるかを推定する。
また、車室内画像認識部36は、認識された荷物及び人物を囲むバウンディングボックスの位置パラメータ(ボックスの中心座標C[Cx,Cy]、ボックス幅W、及びボックス高さH)を、運行管理装置50の混雑率算出部64に送信する。
次に座席状態推定部37は、車室40内の座席42A~42F,49を対象として、荷物占有座席の発生有無を、上述の重複閾値Lthを用いて判定する(S16)。荷物占有座席が発生したと推定された場合、運行案内部33は荷物フラグの値を1に設定する(S18)。また荷物占有座席の情報(座席番号等)が、運行管理装置50の警告可否判定部65に送信される。
さらに座席状態推定部37は、車室40内の座席42A~42F,49を対象として、重複着座席の発生有無を、上述の着座閾値Lthsを用いて判定する(S19)。重複着座席が発生したと推定された場合、運行案内部33は座席フラグの値を1に設定する(S22)。また重複着座席の情報(座席番号等)が、運行管理装置50の警告可否判定部65に送信される。
ステップS16に戻り、座席状態推定部37により、荷物占有座席が発生していないと推定された場合には、ステップS19と同様にして、重複着座席の発生有無が判定される(S20)。座席状態推定部37により、重複着座席が発生していないと推定された場合には、荷物占有座席も重複着座席も発生せず、車内マナーは良好に維持されているため、警告可否判定フローは終了する。一方、ステップS20において重複着座席の発生有りと推定されると、上述のステップS22に進み、座席フラグの値が1に設定される。
運行管理装置50の混雑率算出部64には、車室内画像認識部36から、認識された荷物及び人物を囲むバウンディングボックスの位置パラメータ(ボックスの中心座標C[Cx,Cy]、ボックス幅W、及びボックス高さH)が送信される。混雑率算出部64は、人物及び荷物のバウンディングボックスの面積Sbの総和ΣSbを求める(S24)。
混雑率算出部64は、車室床面積Saに対する面積総和ΣSbの割合である混雑率A[%]を求める(S26)。ここで図8を参照して、人物101A,101Bのバウンディングボックス111A,111Bと荷物102A,102Bのバウンディングボックス112A,112Bはその一部が重なり合う。したがって面積総和ΣSbは車室床面積Saを超過して混雑率Aは100%を超過する値を取る場合がある。
このような場合であっても、その原因がバウンディングボックスの一部重複にあることが明らかであることから、混雑率算出部64は、混雑率Aが100%を超過してもそれをエラー値として扱わない。求められた混雑率Aは、警告可否判定部65に送信される。また、運行スケジュール記憶部66に記憶された運行スケジュールにも、混雑率Aが記録される。
警告可否判定部65は、混雑率Aが所定の混雑閾値K1[%]を超過するか否かを判定する(S28)。混雑閾値K1は、車室40が混雑状態であるか否かを判定するための閾値であって、例えばK1=70[%]である。
混雑率A>混雑閾値K1である場合、警告可否判定部65は、乗合車両10の運行案内部33に対して、警告通知を送信する(S30)。言い換えると警告可否判定部65は、乗合車両10に対して、警告を出力する旨を通知する。
これを受けて運行案内部33は、荷物フラグ及び座席フラグを参照する。そして、設定値が1であるフラグに応じた警告アナウンスを出力する(S34)。例えば荷物フラグの設定値が1であるときには、運行案内部33は、荷物を座席から膝上等に移動させる旨のメッセージを、警告器として機能する車内表示器47B(図6参照)及び車内スピーカ45から出力させる。また座席フラグの設定値が1であるときには、運行案内部33は、座席を詰めて使用する旨のメッセージを、車内表示器47B(図6参照)及び車内スピーカ45から出力させる。
ステップS28に戻り、混雑率A≦混雑閾値K1である場合、つまり車内が空いている平常状態である場合、警告可否判定部65は、乗車予約情報に応じて警告の出力見合わせ有無を判定する、予約状況確認処理を実行する(S32)。
警告可否判定部65は、運行スケジュール記憶部66内に記憶された運行スケジュールを参照して、次停留所ST2を乗車予定停留所とする乗車予約が設定されているか否かを確認する(停留所条件)。さらにそのような乗車予約が設定されている場合、警告可否判定部65は、当該乗車予約における着座予定の指定席が、荷物占有座席及び重複着座席の一方であるか否かを確認する(指定席条件)。
次停留所ST2を乗車予定停留所とする乗車予約が設定されてない場合(停留所条件=無効)には、荷物占有座席及び重複着座席を指定席とする乗車希望者は、次停車予定の停留所ST2にはいないことが明らかであり、また上述のように車内は空いていることから、警告可否判定部65は、警告の出力を見合わせる。つまり、荷物占有座席及び重複着座席が許容される。
また、次停留所ST2を乗車予定停留所とする乗車予約が設定されている場合であっても、荷物占有座席及び重複着座席を指定席とする乗車予定が設定されていない場合(指定席条件=無効)には、警告可否判定部65は、警告の出力を見合わせる。
一方、停留所条件及び指定席条件の両条件を満たす場合、つまり、次停留所ST2を乗車予定停留所とする乗車予約が設定されている場合であって、かつ、荷物占有座席及び重複着座席を着座予定の指定席とする乗車予定が設定されている場合には、警告可否判定部65は、警告の出力を運行案内部33に対して通知する(S30)。
このように、本実施形態に係る警告可否判定フローでは、混雑時にはマナー違反とされる行為に対しても、混雑率や予約状況等の乗車状況に応じて、警告の発報を控えるなど、柔軟に乗車マナーの順守を呼びかけることが出来る。
<車室内監視システムの別例>
図13には、図3に例示された車室内監視システムの別例が示される。図13では、図3では運行管理装置50に設けられていた混雑率算出部64及び警告可否判定部65が、乗合車両10の制御部20内に設けられる。その他の構成は図3と同様である。
図13には、図3に例示された車室内監視システムの別例が示される。図13では、図3では運行管理装置50に設けられていた混雑率算出部64及び警告可否判定部65が、乗合車両10の制御部20内に設けられる。その他の構成は図3と同様である。
図13のような機能ブロックは、図3と同様に、乗合車両10の自動運転制御を行うためのプログラムをCPU22(図2参照)が実行することで、形成される。このプログラムは、記憶装置であるROM25及びハードディスクドライブ27の少なくとも一方に記憶されるか、DVD等の非一過性の記憶媒体に記憶される。
このような構成において、図11における警告可否判定フローは、乗合車両10が単独で実行する。つまり、図11における各ステップの実行主体が全て乗合車両10を示す(V)に置き換えられる。
10 乗合車両、18 車内カメラ(撮像器)、20 制御部、33 運行案内部、35 運行スケジュール記憶部、36 車室内画像認識部、37 座席状態推定部、40 車室、42A~42F 座席(指定席)、43 車室の床、45 車内スピーカ(警告器)、47B 車内表示器(警告器)、50 運行管理装置、61 運行スケジュール作成部、62 運行ルート作成部、63 乗降車予約設定部、64 混雑率算出部、65 警告可否判定部、66 運行スケジュール記憶部、67 ダイナミックマップ記憶部、90 規定経路、101A,101B 人物(乗客)、102A,102B 荷物、111A,111B,112A,112B バウンディングボックス、142B,142C 座席領域。
Claims (5)
- 乗合車両と、前記乗合車両の運行を管理する運行管理装置と、を備える車室内監視システムであって、
前記乗合車両は、
車室の天井に設けられた撮像器と、
前記撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する画像認識部と、
認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する座席状態推定部と、
を備え、
前記運行管理装置は、
認識された人物及び荷物に基づいて、前記車室における混雑率を求める、混雑率算出部と、
前記荷物占有座席及び前記重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた前記混雑率が所定の混雑閾値を超過する場合に、警告の出力を前記乗合車両に指令する、警告可否判定部と、
を備える、車室内監視システム。 - 請求項1に記載の車室内監視システムであって、
前記画像認識部は、認識された人物及び荷物の占有面積を求め、
前記混雑率算出部は、認識された人物及び荷物の前記占有面積の総和と車室床面積とに基づいて、前記混雑率を求める、
車室内監視システム。 - 請求項2に記載の車室内監視システムであって、
前記警告可否判定部は、前記混雑率が前記混雑閾値以下であるときには、前記乗合車両への乗車予約情報に応じて前記警告の出力の見合わせ有無を判定する予約状況確認処理を実行する、車室内監視システム。 - 請求項3に記載の車室内監視システムであって、
前記乗合車両は、規定経路を走行し前記規定経路に沿って設けられた停留所にて停車可能であって、
前記乗車予約情報として、乗車希望者が乗車予定の停留所である乗車予定停留所と、着座予定の指定席とが設定され、前記運行管理装置は、前記乗車予約情報を記憶する記憶部を備え、
前記警告可否判定部は、前記予約状況確認処理として、前記乗合車両の次停車予定の停留所を前記乗車予定停留所とする停留所条件と、前記指定席が前記荷物占有座席及び前記重複着座席の少なくとも一方に該当する指定席条件との、両条件を満たす前記乗車予約情報が前記記憶部に記憶されていない場合には、前記乗合車両による前記警告の出力を見合わせる、
車室内監視システム。 - 車室の天井に設けられた撮像器と、
前記撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する画像認識部と、
認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する座席状態推定部と、
認識された人物及び荷物に基づいて、前記車室における混雑率を求める、混雑率算出部と、
前記荷物占有座席及び前記重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた前記混雑率が所定の混雑閾値を超過する場合に、警告器に警告を出力させる、警告可否判定部と、
を備える、乗合車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021105388A JP2023003974A (ja) | 2021-06-25 | 2021-06-25 | 車室内監視システム及び乗合車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021105388A JP2023003974A (ja) | 2021-06-25 | 2021-06-25 | 車室内監視システム及び乗合車両 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023003974A true JP2023003974A (ja) | 2023-01-17 |
Family
ID=85101122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021105388A Pending JP2023003974A (ja) | 2021-06-25 | 2021-06-25 | 車室内監視システム及び乗合車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023003974A (ja) |
-
2021
- 2021-06-25 JP JP2021105388A patent/JP2023003974A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021202268B2 (en) | Estimating time to pick up and drop off passengers for improved stopping analysis in autonomous vehicles | |
CN113353073A (zh) | 确定和响应车辆的内部状态 | |
JP2020074169A (ja) | 車両システム、自動運転車両、車両制御方法、およびプログラム | |
JP2016062414A (ja) | 車内監視装置及び車内監視システム | |
JP7067441B2 (ja) | 運行支援装置、車載装置、運行支援システム、運行支援方法及び運行支援プログラム | |
JP2021051431A (ja) | 配車管理装置および運行管理装置 | |
KR20200112630A (ko) | 자율주행 차량을 이용한 운송 서비스 제공 방법 | |
SE1351222A1 (sv) | Förfarande och system för hantering av färdstopp för ett motorfordon | |
KR102144778B1 (ko) | 실시간 업데이트된 도로정보 제공방법 및 시스템 | |
JP2020154550A (ja) | 情報処理システム、サーバ、及びプログラム | |
US11262205B2 (en) | Traffic control apparatus, traffic control system, traffic control method, and non-transitory computer recording medium | |
US11961400B2 (en) | Passenger vehicle and operation management system | |
WO2022239672A1 (ja) | 情報提示装置 | |
JP2023003974A (ja) | 車室内監視システム及び乗合車両 | |
US20200242929A1 (en) | Systems and methods for a transportation network | |
US20220388546A1 (en) | Predicting a Parking or Pullover Spot Vacancy for an Autonomous Vehicle Pickup | |
JP2023003971A (ja) | 運行管理システム、乗合車両、及び携帯端末 | |
JP2023009362A (ja) | 乗合車両及び運行管理システム | |
JP7439781B2 (ja) | 自動運転車両、乗合車両及び車両乗換システム | |
JP2020079996A (ja) | 車両の制御装置、入力装置及び入出力装置 | |
JP2024064277A (ja) | 客室管理装置、方法、及びプログラム | |
JP2022129423A (ja) | 乗合車両及び自動運転車両の配車管理装置 | |
JP2022118053A (ja) | 出力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240125 |