JP2022046277A

JP2022046277A - コンピュータシステムおよび制御方法

Info

Publication number: JP2022046277A
Application number: JP2020152225A
Authority: JP
Inventors: 大輔鈴木; Daisuke Suzuki; 史倫菊地; Fumitomo Kikuchi; ▲隆▼治小池; Takaharu Koike
Original assignee: Railway Technical Research Institute; Emovis Corp
Current assignee: Railway Technical Research Institute; Emovis Corp
Priority date: 2020-09-10
Filing date: 2020-09-10
Publication date: 2022-03-23
Anticipated expiration: 2040-09-10
Also published as: JP7442140B2

Abstract

【課題】車掌の業務に適した手法で車掌の業務を支援する新たなシステムを実現するための技術を提供すること。
【解決手段】列車の車掌が装着するＡＲデバイスは、車掌の視界を撮影するカメラを備える。制御装置は、車掌が視認すべき設備として設定された視認対象物を、カメラのライブ映像７（撮影画像）に基づいて検出し、検出された視認対象物に基づいてＡＲオブジェクト３０の重畳表示を抑制する視界中の範囲を重畳表示抑制エリア２０として設定する。そして、制御装置は、重畳表示させるＡＲオブジェクト３０を決定し、視界中の重畳表示抑制エリア２０以外に重畳表示させる制御を行う。
【選択図】図９

Description

本発明は、列車の車掌の業務を支援するためのコンピュータシステム等に関する。

列車の運転士に向けて、安全運行や安全運転に必要な各種情報を提示する技術がある。
例えば、特許文献１では、複数の事象が発生し個々の事象が時間に応じて変化する場合に、列車の運転台に設けられたモニタ表示装置にて、必要に応じた状況認識支援情報や意思決定支援情報を、運転士に分かり易く提示する技術が開示されている。

特開２０１４－１７６２３３号公報

運転士への情報提供と同様に車掌への情報提供も望まれる。例えば、車掌は、駅に到着してから出発するまでの間に、出発時刻までの残時間を気にしつつ、列車に乗り降りする乗客が安全に乗降できたか、扉を閉める間際の駆け込みは無いか、出発信号の現示はどうなっているか、など確認すべきことが多々ある。

車掌への情報提供をどのようにするべきかについては種々の考え方がある。車掌は、運転士のように常時座席に座っていることがない。時に乗務員室から駅ホームに降りて安全を確認する。安全確認のためには、駅ホームの様々な場所に視線を巡らせる必要がある。安全確認後には列車内に戻り、運転士に発車合図を送る、発車ブザーを操作する等の作業をしなければならない。してみれば、乗務員室に車掌向けのモニタを搭載し、そこに情報提供する方法は、車掌の業務には馴染まない可能性がある。

本発明が解決しようとする課題は、車掌の業務に適した手法で車掌の業務を支援する新たなシステムを実現するための技術を提供すること、である。

上述した課題を解決するための第１の発明は、少なくとも列車の扉扱いをする際に車掌が装着するＡＲデバイスと、前記ＡＲデバイスに対して、前記車掌の視界に所与のＡＲオブジェクトを重畳表示させる制御を行う制御装置と、を具備するコンピュータシステムであって、前記ＡＲデバイスは、前記車掌の視界を撮影するカメラ、を備え、
前記制御装置は、
前記カメラの撮影画像に基づいて、前記扉扱いの際に前記車掌が視認する対象物として設定された視認対象物を含む前記視界中の範囲を含むように重畳表示抑制エリアを設定する抑制エリア設定手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、抑制エリア設定部２２０、図２１のステップＳ３２）と、重畳表示させるＡＲオブジェクトを決定するＡＲオブジェクト決定手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、ＡＲオブジェクト決定部２２４、図２１のステップＳ３６～ステップＳ３８）と、
前記決定されたＡＲオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行う表示制御手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、ＡＲ表示制御部２３０、図２１のステップＳ５０～ステップＳ６８）と、
を備える、コンピュータシステムである。

第１の発明によれば、コンピュータシステムは、ＡＲオブジェクトの表示を通じて車掌に情報を提供して業務を支援することができる。コンピュータシステムは、車掌の視界をカメラで撮影し、そこに扉扱いの際に車掌が視認する対象物として設定された視認対象物を含むようにして重畳表示抑制エリアを設定し、当該エリア以外にＡＲオブジェクトを表示することができる。重畳表示抑制エリアを適切に設定することで、例えば、視認対象物にＡＲオブジェクトが重なるように表示されて、当該視認対象物を車掌が視認できない状態や、視認し難い状態となるのを防ぐことができる。これにより、車掌の業務に適した、車掌の業務を支援するための、ＡＲデバイスを用いた新たなシステムが実現可能となる。

第２の発明は、前記制御装置が、前記撮影画像に基づいて、前記視認対象物を検出する検出手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、視認対象物検出部２１６、図２１のステップＳ３０）、を更に備え、前記抑制エリア設定手段は、前記検出された視認対象物に基づいて前記重畳表示抑制エリアを設定する、第１の発明のコンピュータシステムである。

第２の発明によれば、コンピュータシステムは、車掌の視界の中から視認対象物を検出し、重畳表示抑制エリアを設定できる。よって、重畳表示抑制エリアをより適切に設定することができる。

第３の発明は、前記制御装置が、前記撮影画像に基づいて、前記扉扱いが前記列車の左右どちら側を対象としているかを判定する判定手段（例えば、図１の制御基板１１５０、図２２の判定部２４２）、を更に備え、前記抑制エリア設定手段は、前記扉扱いが前記列車の左側である場合と右側である場合とについて前記視認対象物の前記視界中の想定範囲に基づき定められた前記重畳表示抑制エリアの左側テンプレートおよび右側テンプレートのうち、前記判定手段の判定結果に対応するテンプレートを用いて前記重畳表示抑制エリアを設定する、第１の発明のコンピュータシステムである。

第３の発明によれば、コンピュータシステムは、撮影画像に基づいて扉扱いが列車の左右どちら側を対象としているかを判定し、判定された側に対応して予め用意されているテンプレートに従って重畳表示抑制エリアを設定できる。つまり、視界内から視認対象物を検出するといった処理が不要になる。

第４の発明は、前記制御装置が、前記車掌の首振りを検出する首振り検出手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、首振り検出部２１４、図２１のステップＳ４０）と、
前記首振り検出手段による検出に応じて、前記表示制御手段による前記ＡＲオブジェクトの重畳表示を中止させる表示中止制御手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、表示中止制御部２４０、図２１のステップＳ４２）と、を更に備える、第１～第３の何れかの発明のコンピュータシステムである。

第４の発明によれば、コンピュータシステムは、車掌の首振りを検出した場合に、ＡＲオブジェクトの重畳表示を中止することができる。車掌は、様々な視認対象物を確実に視認するために、立ち位置を変え、身体の向きを変え、顔の向きを変えることが多い。そのため、ＡＲオブジェクトの重畳表示が視界中でうるさく感じられる場合も起こり得る。そのような場合に、車掌は、首振りをすることで、ＡＲオブジェクトの重畳表示を中止させることが可能となる。

第５の発明は、前記視認対象物が、前記列車の側面と、点字ブロックを含むホーム側縁部と、を含む、第１～第４の何れかの発明のコンピュータシステムである。

第５の発明によれば、コンピュータシステムは、列車の側面と、点字ブロックを含むホーム側縁部とを扉扱いに係る視認対象物に含めて重畳表示抑制エリアを設定できる。よって、扉扱いに係る視認対象物として比較的重要度合が高い、列車の側面やモーム側縁部へのＡＲオブジェクトの重畳表示を抑制させることができる。

第６の発明は、前記制御装置が、前記列車の扉付近の映像を取得する映像取得手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、現場映像取得制御部２２２、通信部３９４、図２１のステップＳ６２）、を更に備え、前記ＡＲオブジェクト決定手段は、前記映像取得手段により取得された映像を表示するためのＡＲオブジェクトを決定する、第１～第５の何れかの発明のコンピュータシステムである。

第６の発明によれば、コンピュータシステムは、扉付近の映像をＡＲオブジェクトで表示させることができる。

第７の発明は、前記制御装置が、前記列車の扉に係る異常通知を当該扉の位置情報を含めて受信する異常通知受信手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、異常通知受信制御部２１２、通信部３９４、図２１のステップＳ３４）、を更に備え、前記ＡＲオブジェクト決定手段は、前記異常通知に応じた情報を表示するためのＡＲオブジェクトを決定する、第１～第６の何れかの発明のコンピュータシステムである。

第７の発明によれば、コンピュータシステムは、列車の扉に係る異常通知に関する情報をＡＲオブジェクトで表示することで車掌に提供できる。

第８の発明は、前記ＡＲオブジェクト決定手段が、前記異常通知に含まれる扉の位置情報に基づいて、前記列車の編成画像および当該編成画像中の当該扉の位置を示すマーカを表示するためのＡＲオブジェクトを決定する、第７の発明のコンピュータシステム
である。

第８の発明によれば、コンピュータシステムは、列車の編成を示す画像に、異常の有った扉の位置を示すマーカを付して、どの車両のどの扉で異常があったかを明示することができる。

第９の発明は、前記ＡＲオブジェクトには、種類に応じた優先度が対応づけられており、
前記ＡＲオブジェクト決定手段は、前記優先度と、重畳表示させるＡＲオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させるＡＲオブジェクトを決定する、第１～第８の何れかの発明のコンピュータシステムである。

第９の発明によれば、コンピュータシステムは、一度に表示するＡＲオブジェクトの表示数を適切に調整して見易いＡＲ表示を実現できる。

第１０の発明は、前記ＡＲオブジェクトには、所定の抑制免除条件を満たすＡＲオブジェクトが含まれ、前記表示制御手段は、前記ＡＲオブジェクト決定手段により前記抑制免除条件を満たすＡＲオブジェクトが決定された場合に、前記重畳表示抑制エリアであるか否かに関わらず、当該抑制免除条件を満たすＡＲオブジェクトを前記視界中に重畳表示させる最優先表示制御手段（例えば、図１の制御基板１１５０、図１４の処理部２００、支援表示制御部２１０、最優先表示制御部２３２、図２１のステップＳ５４）を有する、第１～第９の何れかの発明のコンピュータシステである。

第１０の発明によれば、コンピュータシステムは、抑制免除条件を満たすＡＲオブジェクトについては、重畳表示抑制の対象外とし、重畳表示抑制エリア内であっても表示させることできる。つまり、重要な情報を確実に表示することができる。

第１１の発明は、車掌の視界を撮影するカメラを有して少なくとも列車の扉扱いをする際に車掌が装着するＡＲデバイスに対して、前記車掌の視界に所与のＡＲオブジェクトを重畳表示させる制御を行う制御装置による制御方法であって、前記カメラの撮影画像に基づいて、前記扉扱いの際に前記車掌が視認する対象物として設定された視認対象物を含む前記視界中の範囲を含むように重畳表示抑制エリアを設定することと、重畳表示させるＡＲオブジェクトを決定することと、前記決定されたＡＲオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行うことと、を含む制御方法である。

第１１の発明によれば、第１の発明と同様の効果を得る制御方法を実現することができる。

支援システムの構成例を示す図。第１の監視システムの構成例を示す図。第２の監視システムの構成例を示す図。監視システムの機能構成例を示す機能ブロック図。監視システムにおける処理の流れを説明するためのフローチャート。駅に停車中の列車の車掌によるとある視界の例を示す図。車掌向けとしては好ましく無いＡＲ表示の一例を示す図。重畳表示抑制エリアの設定について説明するための図。支援システムによるＡＲ表示の一例を示す図（その１）。優先度の設定の一例について説明するための表。異常通知情報に対応する優先度「高」のＡＲオブジェクトによる、異常発生現場の映像の表示のさせ方について説明するための図。支援システムによるＡＲ表示の一例を示す図（その２）。支援システムによるＡＲ表示の一例を示す図（その３）。ＡＲ表示システムの機能構成の一例を示す機能ブロック図。ＡＲ表示システムの記憶部が記憶するプログラムやデータの例を示す図。視認対象物登録データのデータ構成例を示す図。ＡＲオブジェクト設定データのデータ構成例を示す図（その１）。ＡＲオブジェクト設定データのデータ構成例を示す図（その２）。ＡＲオブジェクト設定データのデータ構成例を示す図（その３）。ＡＲ表示制御データのデータ構成例を示す図。ＡＲ表示システムの処理の流れを説明するためのフローチャート。ＡＲ表示システムの変形例における機能ブロック図。

以下、本発明の実施形態を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

図１は、支援システム１０００の構成例を示す図である。
支援システム１０００は、ユーザの視界にＡＲオブジェクトを重畳表示させるＡＲ表示システム１１００と、列車３に備えられた第１の監視システム１３００ａと、駅４に備えられた第２の監視システム１３００ｂと、を有し、ＡＲ表示システム１１００と２つの監視システム１３００（１３００ａ、１３００ｂ）は、ネットワーク９を介して、データ通信可能に接続されている。

ネットワーク９は、データ通信が可能な通信路を意味する。すなわち、ネットワーク９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。

２つの監視システム１３００（第１の監視システム１３００ａと、第２の監視システム１３００ｂ）は、基本的な機能構成が同様である。すなわち、第１の監視システム１３００ａは、例えば図２に示すように、制御装置１３１０と、監視カメラ１３９０と、監視センサ１３９２と、を備え、各構成要素が列車３に搭載されている。第２の監視システム１３００ｂは、例えば図３に示すように、制御装置１３１０と、監視カメラ１３９０と、監視センサ１３９２と、を備え、各構成要素が駅４に設置されている。なお、第１の監視システム１３００ａは、列車３の運転台に設置されたコンピュータシステムを兼ねてもよいし、別体で用意してもよい。

監視カメラ１３９０は、監視対象をライブ撮影する。
例えば、図２で示す第１の監視システム１３００ａにおける監視カメラ１３９０は、列車３の各車両の様々な場所、例えば各乗降口となる扉や、座席、通路など、をライブ撮影する。撮影画像は画像認識処理されることで、列車３での異常（煙の発生、火災の発生、戸挟み発生、病人の発生、車内を走り回るなどの乗客の異常行動、など）を検知するのに用いられる。

また例えば、図３で示す第２の監視システム１３００ｂの監視カメラ１３９０は、駅ホームの乗降位置付近、駅ホームへ通じる通路、駅ホームと車両との間、などをライブ撮影する。撮影画像は画像認識処理されることで、駅４での異常（煙の発生、火災の発生、戸挟み発生、駆け込みとなりそうな乗客の動き、病人の発生、ホーム転落、など）を検知するのに用いられる。

監視センサ１３９２は、異常を検知するためのセンサである。例えば、火災の発生を検知する煙センサや火炎センサ、戸挟みを検知する通過センサ、ホーム柵の開閉状態を検知するセンサ、乗客の動きを検知する人流センサ、などを監視センサ１３９２とすることができる。

監視センサ１３９２には、それぞれ監視カメラ１３９０が対応付けられており、センサで異常が検出された現場を何れかの監視カメラ１３９０で撮影できるように構成されている。そして、監視カメラ１３９０と監視センサ１３９２は、監視ネットワーク９ｋを介して制御装置１３１０に接続されている。

制御装置１３１０は、監視システムの主たる制御部となるコンピュータシステムである。すなわち、制御基板１３５０を搭載する。図示されていないが、制御装置１３１０には、適宜、キーボードや、タッチパネル等を付属させることができる。

制御基板１３５０は、ＣＰＵ（Central Processing Unit）１３５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１３５２、通信モジュール１３５３、インターフェースモジュール１３５７、などを搭載する。

なお、制御基板１３５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。そして、制御装置１３１０は、ＣＰＵ１３５１でＩＣメモリ１３５２に記録されている所定のプログラムを演算処理することによって、監視カメラ１３９０のライブ映像をＡＲデバイス１２００向けにストリーミング配信する制御を行うとともに、監視カメラ１３９０の撮影画像や監視センサ１３９２による計測結果に基づいて車内での異常を検出判定処理する。そして、異常検出時には、異常通知情報をＡＲ表示システム１１００へ配信する制御を行う。

図４は、監視システム１３００の機能構成例を示す機能ブロック図である。
監視システム１３００は、撮影部１３０と、計測部１３２と、処理部２００ｋと、通信部３９０ｋと、記憶部５００ｋと、を有する。

撮影部１３０は、異常状態を画像認識するための対象となる画像を撮影し、撮影したデータを処理部２００ｋへ出力する。図２および図３の監視カメラ１３９０がこれに該当する。

計測部１３２は、異常検出するための計測手段であり、計測データを処理部２００ｋへ出力する。図２および図３の監視センサ１３９２がこれに該当する。

処理部２００ｋは、所定のプログラムを実行することで、監視システム１３００としての各種機能を実現する。図２および図３の制御基板１３５０が搭載するＣＰＵ１３５１がこれに該当する。そして、処理部２００ｋは、画像認識部２０２と、異常判定部２０４と、異常通知情報設定部２０６と、配信制御部２０８と、システムクロックを利用して現在日時や異常判定のための計時等を行う計時部２９０と、を有する。

画像認識部２０２は、撮影部１３０で撮影された画像を画像認識処理する。
異常判定部２０４は、画像認識処理の結果および／又は計測部１３２で計測された計測結果に基づいて異常の検出判定を行う。
異常通知情報設定部２０６は、異常の発生を報せる異常通知情報を生成して、ＡＲ表示システム１１００へ配信する。
配信制御部２０８は、撮影部１３０それぞれが撮影しているライブ画像を、それぞれ１チャンネルと見なしてＡＲ表示システム１１００向けにストリーミング配信する制御を行う。

通信部３９０ｋは、外部装置とのデータ通信を実現する。図２および図３の制御基板１３５０が搭載する通信モジュール１３５３がこれに該当する。

記憶部５００ｋは、処理部２００ｋに監視システム１３００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、処理部２００ｋの演算作業領域として用いられ、処理部２００ｋが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図２および図３の例では制御基板１３５０が搭載するＩＣメモリ１３５２がこれに該当する。

そして、記憶部５００ｋは、監視プログラム５０１と、カメラ登録データ５１０と、センサ登録データ５１２と、異常認識用辞書データベース５１４と、監視カメラ１３９０別の監視映像データ５１６と、監視センサ１３９２別のセンサ計測データ５１８と、ライブ配信制御データ５２０と、異常通知情報５３０と、現在日時８００と、を含む。

監視プログラム５０１は、処理部２００ｋに画像認識部２０２、異常判定部２０４、異常通知情報設定部２０６、および配信制御部２０８としての機能を実現させるためのプログラムである。

カメラ登録データ５１０は、監視カメラ１３９０毎に用意され、固有のカメラＩＤと、当該カメラの撮影対象である撮影場所や範囲を示す監視場所情報と、を対応づけて格納する。監視場所情報は、列車３や駅４の各場所の名称のリストとして記述される。

センサ登録データ５１２は、監視センサ１３９２毎に用意され、固有のセンサＩＤと、当該センサが計測している場所を撮影することができる監視カメラ１３９０を示す対応カメラＩＤと、を対応づけて格納する。

異常認識用辞書データベース５１４は、各種の異常を監視カメラ１３９０の映像から画像認識するための辞書データを格納する。

ライブ配信制御データ５２０は、監視映像のライブ映像をストリーミング配信するための各種データを含む。例えば、監視カメラ１３９０別のライブ映像アクセス情報５２２を含む。ライブ映像アクセス情報５２２は、監視カメラ１３９０のカメラＩＤと、ライブ映像受信用アドレス（ストリーミング配信を受けるためのアドレス情報）と、を対応付けて格納している。いわば、ライブ映像アクセス情報５２２は、ストリーミング配信のチャンネル情報に相当し、当該情報を元にライブ映像受信アドレスに接続することで、ＡＲ表示システム１１００は、任意に選択した監視カメラ１３９０のライブ映像を取得できるようになる。

異常通知情報５３０は、異常が画像認識される毎に作成され、当該異常が解消されると削除される。１つの異常通知情報５３０は、固有の異常通知ＩＤ５３１と、異常種類５３３と、異常が起きている場所の位置を列車３や駅４の場所の名称で示す異常位置情報５３４と、異常が起きている現場を撮影している監視カメラ１３９０を示す撮影カメラＩＤ５３５と、を含む。勿論、これら以外のデータも適宜含めることができる。

図５は、監視システム１３００における処理の流れを説明するためのフローチャートである。監視システム１３００は、先ず監視カメラ１３９０で撮影された撮影画像（映像）の画像認識処理と、監視センサ１３９２による計測を開始し（ステップＳ２）、各監視カメラ１３９０で撮影されている映像のライブ配信を開始する（ステップＳ４）。

次いで、監視システム１３００は、十分に短い所定周期（例えば、６０Ｈｚ）で、ステップＳ４からステップＳ２４を繰り返し実行する。

具体的には、監視システム１３００は、通信圏内のＡＲ表示システム１１００との通信を確立する（ステップＳ１０）。この時、ライブ映像アクセス情報５２２をＡＲ表示システム１１００に提供し、ＡＲ表示システム１１００はこれを記憶する。

次に、監視システム１３００は、異常の発生を判定し（ステップＳ１２）、もし発生しているならば（ステップＳ１４のＹＥＳ）、当該異常に関する異常通知情報５３０を生成し（ステップＳ１６）、これをＡＲ表示システム１１００へ配信する（ステップＳ１８）。

既に異常通知情報５３０が設定されている異常が継続して発生していると判定されなければ当該異常が解消されたと見なして（ステップＳ２０のＹＥＳ）、監視システム１３００は対応する異常通知情報５３０を抹消するように指示する抹消通知をＡＲ表示システム１１００へ配信して（ステップＳ２２）、当該異常通知情報５３０を抹消する（ステップＳ２４）。

図１に戻って、ＡＲ表示システム１１００は、ＡＲデバイス１２００と、制御装置１１１０と、を有する。ＡＲデバイス１２００と制御装置１１１０は、互いに無線によるデータ通信が可能に接続されている。

ＡＲデバイス１２００は、車掌が頭部に装着する表示装置であって、全体としてメガネ型のデザインを有し、メガネのグラス部を通じて車掌が見る現実世界の風景に、ＡＲオブジェクト（ポリゴンモデルのＣＧや、テキストグラフィックスなど）を重畳表示する透過型のウェアラブルディスプレイ装置である。具体的には、ＡＲデバイス１２００は、フレーム１２０１と、透過型ディスプレイ１２０２と、ライブカメラ１２３０と、ＴｏＦ（Time of Flight）センサ１２３２と、制御基板１２５０と、バッテリー１２７０と、を有する。

透過型ディスプレイ１２０２は、制御基板１２５０により表示制御される。透過型ディスプレイ１２０２の構成は、適宜選択可能である。図１に示すように、投影モジュール１２０４から投影される映像を、メガネのグラス部１２０５の前方に配置した光学素子１２０６で車掌の瞳へ屈折・導光するとしてもよい。或いは、グラス部１２０５の車掌側の側面に投影させるとしてもよい。なお、投影モジュール１２０４および光学素子１２０６は、左右それぞれに設けられた構成としてもよい。

ライブカメラ１２３０は、ＡＲデバイス１２００を装着する車掌の視界をライブ撮影するための撮影手段であって、撮影されたライブ映像の信号は制御基板１２５０へ出力される。

制御基板１２５０は、ＣＰＵ１２５１と、ＩＣメモリ１２５２と、無線通信モジュール１２５３と、ＧＰＳ（Global Positioning System）モジュール１２５４と、ジャイロセンサ１２５５と、３軸加速度センサ１２５６と、インターフェースモジュール１２５７と、を搭載する。

ＧＰＳモジュール１２５４は、衛星測位システムを利用して車掌（或いは車掌が乗務する列車３）の現在位置情報を取得する。なお、現在位置情報を取得するために利用する測位システムは、ＧＰＳシステムに限らず、ＢｅｉＤｏｕやＧａｌｉｌｅｏ等の他の衛星測位システムの他、鉄道沿線に基地局を配置して無線通信による三角測量の原理で位置を測位するシステム等を利用するとしてもよい。取得された位置情報は、制御基板１２５０が無線通信モジュール１２５３で制御基板１１５０との間で確立した無線データ通信を通じて、制御装置１１１０へ提供される。

インターフェースモジュール１２５７には、透過型ディスプレイ１２０２のドライバ回路や、ライブカメラ１２３０で撮影されたライブ映像の信号を入力する回路、ＴｏＦセンサ１２３２との入出力回路、などが含まれている。ライブカメラ１２３０により撮影されたライブ映像の情報は、無線通信モジュール１２５３による無線データ通信を通じて、制御装置１１１０へ提供される。

制御基板１２５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。制御基板１２５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１２５０は、ＣＰＵ１２５１で、ＩＣメモリ１２５２に記憶されている所定のプログラムを演算処理して実行することで、ＡＲデバイス１２００としての機能させるための各種制御を実行する。

制御装置１１１０は、ＡＲ表示の内容を決定するＡＲ表示システム１１００の主たる制御部である。すなわち、制御装置１１１０は、制御基板１１５０のＣＰＵ１１５１で、ＩＣメモリ１１５２に記憶されている所定のプログラムを実行することで、通信モジュール１１５３を通じてＡＲデバイス１２００や監視システム１３００と通信可能に接続する制御と、ＡＲ表示の内容を決定する制御と、決定に必要な情報を取得する制御と、決定された内容のＡＲオブジェクトをＡＲデバイス１２００で表示させる制御と、を実行する。

次に、支援システム１０００によるＡＲの見せ方の一例について説明する。
図６は、駅４に停車中の列車３に乗務する車掌のとある視界（ライブカメラ１２３０で撮影されているライブ映像７）の例を示す図である。当該ライブ映像７の例は、乗客の乗り降りが完了し、全ての扉が正常に閉じているかを、車掌がホームに身を乗り出して確認している状態である。視界の中央から左側半分にかけて列車３の側面が見えている。列車３の側面には、各乗降口の扉は勿論、扉の閉じ状態を点灯で示す車側灯が見えている。また、列車３の側面の右下部に沿って、点字ブロックを含むホーム側縁部も見えている。これらは、扉扱いの際に車掌が視認するべき視認対象物の１つである。

図７は、車掌向けとしては好ましく無いＡＲ表示の一例を示す図である。例えば、ＡＲデバイス１２００にてＡＲオブジェクト３０を表示させる場合は、視認対象物の視認に差し支える位置にＡＲオブジェクト３０を表示するべきではない。図７の例では、出発時刻までの残時間を示すＡＲオブジェクト３０（１０ａ）が、車側灯の上に被さるように表示されており、車掌が当該車側灯を視認できない不適切な状態である。

そこで、支援システム１０００は、そうした不適切なＡＲ表示を避けるべく、ＡＲ表示を抑制する重畳表示抑制エリアを設定し、当該エリア以外に表示するようにＡＲオブジェクト３０の表示位置の調整を行って、適切なＡＲ表示を実現する。

図８は、重畳表示抑制エリアの設定について説明するための図であって、図８（１）は元になるライブ映像７上に破線で重畳表示抑制エリアを示している。図８（２）は図８（１）の重畳表示抑制エリアを分かり易く示した図である。

支援システム１０００は、図８（１）のライブ映像７から、扉扱いの際に車掌が視認するべき対象物として設定された視認対象物を画像認識し、視認対象物が写っている部分を含むように重畳表示抑制エリア２０を設定する。図８（１）の例では、列車３の側面が第１の視認対象物として画像認識されて、第１の重畳表示抑制エリア２０ａが設定されている。また、ホーム側縁部が第２の視認対象物として画像認識されて、第２の重畳表示抑制エリア２０ｂが設定されている。

なお、重畳表示抑制エリア２０は、視認対象物が写っている部分だけでなく、視認対象物が写っている部分の周囲に適宜余白部分を含むとしてもよい。また、重畳表示抑制エリア２０には、システム運用上の観点から常時必須とされる固定エリア（例えば、ライブ映像７の画面上端や下端に帯状に設けられたエリア）をこれに含めることができる。

そして、支援システム１０００は、ライブ映像７の全画像範囲２２（透過型ディスプレイ１２０２の画像表示範囲に同じ）からこれらの重畳表示抑制エリア２０（２０ａ、２０ｂ）を除いた範囲を、ＡＲオブジェクト３０の表示推奨エリア２４と見なして、その中にＡＲオブジェクト３０を納めるように表示位置を決定する。

具体的には、重畳表示抑制エリア２０（２０ａ、２０ｂ）を、ライブ映像７の全画像範囲２２から除いて表示推奨エリア２４を一次決定する。そして、一次決定された表示推奨エリア２４のうち、狭小に過ぎるためにＡＲオブジェクト３０の全体を表示することができない狭小エリアを抽出して、重畳表示抑制エリア２０に追加する。これで表示推奨エリア２４を最終決定する。

図８の例では、ライブ映像７の右斜め上の角を頂天する略３角形状の表示推奨エリア２４が設定され、この表示推奨エリア２４内に、図９に示すようにＡＲオブジェクト３０（１０ａ）が表示されることとなる。これにより、扉扱いに係り車掌が視認するべき視認対象をＡＲオブジェクト３０が覆ってしまうような好ましく無いＡＲ表示を防ぐことができる。

勿論、車掌は、ＡＲデバイス１２００を装着したまま任意に頭の姿勢（向き）を変えることができるので、重畳表示抑制エリア２０は、その時々のライブ映像７における視認対象の見え方や見える位置の変化に応じて、時々刻々と更新されることになる。

但し、多くのＡＲオブジェクト３０が表示されると、それらがもたらす情報提供のメリットよりも、それが視界内を動き回ることによる車掌の視認性阻害によるデメリットの方が大きくなることが懸念される。そこで、支援システム１０００は、一度に表示されるＡＲオブジェクト３０の数を抑制する。つまり、表示数に制限をかける。

具体的には、支援システム１０００は、あるタイミングにおいて表示対象とされる複数のＡＲオブジェクト３０の中から、各ＡＲオブジェクトの表示内容に応じた優先順位を設定し、上位から所与の表示許可数だけ選抜して表示させる。これにより多くのＡＲオブジェクト３０が同時に表示されることで車掌の視界が狭くなり、車掌の視認性が低下する事態を回避する。

基本的な優先順位は、図１０のように、視認対象物の種類やＡＲオブジェクト３０の示す内容に基づいて予め設定されている優先度が元に決まる。特に、監視システム１３００がＡＲ表示システム１１００に配信する異常通知情報５３０（図４参照）に対応するＡＲオブジェクト３０の優先度は「高」に設定される。なお、図１０では優先度を３段階としているが、４段階以上に分けても良い。

「表示許可数」とは、言い換えると「表示数制限における表示上限数」のことである。「表示許可数」は、状況に応じて変更され得るが、優先度「高」の内容を示すＡＲオブジェクト３０は必ず表示されるようにその値が設定される。例えば、とあるタイミングにおいて、優先度「高」に該当するＡＲオブジェクト３０が表示対象に含まれていない場合は、表示許可数を所定数（例えば、「２」「３」程度）とする。一方、あるタイミングにおいて、表示対象とされるＡＲオブジェクト３０の中に、優先度「高」に該当する内容のＡＲオブジェクト３０が含まれる場合、表示許可数は、その時に表示対象に含まれる優先度「高」の数、又はその時に表示対象に含まれる優先度「高」の数に所定数（例えば「１」「２」程度）を加えた値とする。

そして、異常通知情報に対応する優先度「高」のＡＲオブジェクト３０は、当該異常の発生現場の映像を写すとともに、異常が発生している位置情報を簡易表示する。

図１１は、異常通知情報に対応する優先度「高」のＡＲオブジェクト３０による、異常発生現場の映像の表示について説明するための図である。
前述のように、監視システム１３００は、監視カメラ１３９０で撮影されたライブ映像７をそれぞれ１チャンネルとして配信しており、通信接続したＡＲ表示システム１１００へライブ映像アクセス情報５２２を提供する。

一方、異常通知情報５３０には、異常が発生した場所の名称（異常位置情報５３４）と、その場所を撮影している監視カメラ１３９０を示す撮影カメラＩＤ５３５とが含まれている。
異常通知情報５３０を受信したＡＲ表示システム１１００は、当該情報の撮影カメラＩＤ５３５に対応するライブ映像アクセス情報５２２を参照して、そのライブ映像受信用アドレスから異常発生現場のライブ映像（現場映像３７；図１１の例では戸挟みの例を示している。）を取得する。そして、当該映像を、異常通知用のＡＲオブジェクト３０（３０ｂ）を用いて重畳表示させる。

例えば、図９の状態で、どこかの乗降口の扉で戸挟みが発生した場合、異常通知用のＡＲオブジェクト３０ｂは、図１２に示すように表示される。異常通知用のＡＲオブジェクト３０ｂは、現場映像３７を表示する映像表示部３１と、異常位置情報５３４に基づいて発生場所などの当該異常に関する情報を示す情報表示部３２と、を有する。図１２の例では、情報表示部３２は車両番号を示している。当該ＡＲオブジェクトが表示されることで、車掌は、第５車両で戸挟みによる異常が発生していて、現場映像３７から人が挟まっているのか、カバンなどの手荷物が挟まっているのか、或いは扉の故障かといった状況把握を速やかに行うことができる。なお、図１１，１２では、分かり易くするために、異常通知用のＡＲオブジェクト３０（３０ｂ）に表示される映像をイラストで示しているが、実際にはライブ映像そのものが表示される。

そして、異常通知用のＡＲオブジェクト３０ｂは、重畳表示抑制エリア２０（２０ａ、２０ｂ）に係わりなく表示される。
言い換えると、異常通知用のＡＲオブジェクト３０ｂは、優先度「高」に該当することで抑制免除条件を満たすと判定され、重畳表示抑制エリア２０であるか否かに関わらず視界中に重畳表示される。これにより、例えば車掌の視界がほぼ列車３の側面で占められるような状況であっても、異常発生を報せる異常通知用のＡＲオブジェクト３０ｂを表示させて、迅速な異常発生の報知を実現している。

また、ＡＲ表示システム１１００は、受信した異常通知情報５３０の異常位置情報５３４が、車掌が異常発生現場を目視できる場所であるかを判定し、目視できる場所になければ、図１３に示すように、全体情報用のＡＲオブジェクト３０ｃを表示させる。

全体表示用のＡＲオブジェクト３０ｃは、列車３や駅４の全体画像３３と、発生場所を示すマーカ３４と、を有する。図１３の例は、図９に示した状態において、車掌がいる場所からは戸挟みが発生している場所を目視できないと判定されたために、全体画像３３として、列車３の編成の一部分又は全体を簡易表示する編成画像（番号は車両番号を示している。）が表示された場合を示している。そして、第２車両の左側中央扉で戸挟みが発生しているので全体画像３３の該当位置にマーカ３４が表示されている。

なお、異常位置情報５３４の示す位置が、車掌が異常発生現場を目視できる場所であるかの判定は、監視カメラ１３９０の監視場所毎に、そこが目視できる場所か目視できない場所かを予め定めた登録データとして用意しておくことで実現できる。例えば、駅４の監視カメラ１３９０であれば、当該駅４に列車が停止した場合の各車両位置が決まるため、車掌室（乗務員室）のある列車最後尾から車掌が目視できるか否かを、当該監視カメラ１３９０毎に予め設定して用意しておけば良い。また、列車３に搭載された監視カメラ１３９０であれば、車掌室（乗務員室）のある列車最後尾車両から、当該監視カメラ１３９０の搭載車両までの距離或いは車両数に基づいて、車掌が目視できるか否かを当該監視カメラ１３９０毎に予め設定して用意しておけば良い。

次に、ＡＲ表示システム１１００の機能構成について説明する。
図１４は、ＡＲ表示システム１１００の機能構成の一例を示す機能ブロック図である。ＡＲ表示システム１１００は、視界撮影部１００と、姿勢変化計測部１０２と、測位部１０４と、処理部２００と、画像表示部３９２と、通信部３９４と、記憶部５００と、を有する。

視界撮影部１００・姿勢変化計測部１０２・測位部１０４・画像表示部３９２が、ＡＲデバイス１２００により実現され、処理部２００・通信部３９４・記憶部５００が制御装置１１１０にて実現されている。

具体的には、視界撮影部１００は、車掌の視界を撮影する。すなわち、視界撮影部１００は車掌の視界に写っているものを画像認識するための視界のライブ映像を撮影し、撮影したライブ映像の撮影画像データを、処理部２００へ出力する。図１の構成では、ライブカメラ１２３０がこれに該当する。

姿勢変化計測部１０２は、車掌の頭部の姿勢の変化を計測し、姿勢変化量情報を処理部２００へ出力する。図１の構成では、ジャイロセンサ１２５５、３軸加速度センサ１２５６がこれに該当する。

測位部１０４は、運転士の現在位置情報を取得し、現在位置情報を処理部２００へ出力する。図１の構成では、ＧＰＳモジュール１２５４がこれに該当する。

処理部２００は、所定のプログラムを演算処理して様々な機能を実現する。具体的には、処理部２００は、支援表示制御部２１０と、計時部２９０と、画像生成部２９２と、通信制御部２９４とを有する。

支援表示制御部２１０は、ＡＲ表示を用いた車掌支援の機能部として、異常通知受信制御部２１２と、首振り検出部２１４と、視認対象物検出部２１６と、抑制エリア設定部２２０と、現場映像取得制御部２２２と、ＡＲオブジェクト決定部２２４と、ＡＲ表示制御部２３０と、表示中止制御部２４０と、を有する。

異常通知受信制御部２１２は、列車３および駅４に係る異常通知を、当該異常の発生場所の位置情報を含めて受信する（図４の異常通知情報５３０を参照）。

首振り検出部２１４は、車掌の首振りを検出する。具体的には、首振り検出部２１４は、姿勢変化計測部１０２により計測された姿勢変化（上下左右の移動、ロール・ピッチ・ヨーの変化）が所定の基準値を超える場合に検出有りと判定する。或いは、視界撮影部１００で撮影された時間的に前後する複数の画像フレーム（コマ画像）において、視界内の被写体の移動方向を判定し、その大部分が同じ方向へ移動している場合に、視界が流れているとみなし、車掌の首振りがあったと判定してもよい。

視認対象物検出部２１６は、視界撮影部１００で撮影された撮影画像に基づいて、視認対象物を検出する。具体的には、視認対象物検出部２１６は、画像認識処理により視認対象物が写っているか否か、写っている場合の視認対象物の範囲を判定・検出する。

抑制エリア設定部２２０は、視界撮影部１００で撮影された撮影画像に基づいて、扉扱いの際に車掌が視認する対象物として設定された視認対象物を含む視界中の範囲を含むように重畳表示抑制エリア２０を設定する。具体的には、抑制エリア設定部２２０は、視認対象物検出部２１６により検出された視認対象物に基づいて重畳表示抑制エリアを設定する。

現場映像取得制御部２２２は、監視システム１３００から異常通知された現場の映像を取得するための制御を行う。前述のように、視認対象物には列車３の側面が含まれているので、現場映像取得制御部２２２は、列車の扉付近の映像を取得することができる。

ＡＲオブジェクト決定部２２４は、重畳表示させるＡＲオブジェクト３０を決定する。特に、監視システム１３００からの異常通知情報５３０に対応するＡＲオブジェクト３０を表示する場合は、ＡＲオブジェクト決定部２２４は、異常通知された現場映像３７と、異常通知に応じた情報（例えば、異常が起きた車両番号など；情報表示部３２）を表示するためのＡＲオブジェクト３０ｂを決定する（図１２参照）。

更には、ＡＲオブジェクト決定部２２４は、異常通知に含まれる異常が発生した位置情報に基づいて（例えば、戸挟みであれば扉の位置情報）に基づいて、全体画像３３（列車３であれば編成画像）および当該異常発生位置（列車３であれば編成画像中の乗降用の扉の位置など）を示すマーカ３４を表示するためのＡＲオブジェクトを決定する（図１３参照）。そして、ＡＲオブジェクト決定部２２４は、ＡＲオブジェクト３０の種類に応じた優先度と、重畳表示させるＡＲオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させる。

ＡＲ表示制御部２３０は、ＡＲオブジェクト決定部２２４により決定されたＡＲオブジェクトを、視界中の重畳表示抑制エリア２０以外に重畳表示させる制御を行う。
そして、ＡＲ表示制御部２３０は、最優先表示制御部２３２を有する。最優先表示制御部２３２は、ＡＲオブジェクト決定部２２４により抑制免除条件を満たすＡＲオブジェクト３０（例えば、優先度「高」に設定されている内容を示すＡＲオブジェクト、異常通知に対応するＡＲオブジェクト）が決定された場合に、重畳表示抑制エリア２０であるか否かに関わらず、当該抑制免除条件を満たすＡＲオブジェクト３０を視界中に重畳表示させる。

表示中止制御部２４０は、首振り検出部２１４による検出に応じて、ＡＲ表示制御部２３０によるＡＲオブジェクト３０の重畳表示を中止させる。中止は、１０秒間といった一時的な中止としてもよい。

計時部２９０は、システムクロックを利用して現在日時や制限時間等の計時を行う。

画像生成部２９２は、画像表示部３９２に表示させる画像を生成し、その画像信号の出力を行う。

画像表示部３９２は、画像を表示させる装置で実現される。図１の例では、ＡＲデバイス１２００、より具体的には、透過型ディスプレイ１２０２がこれに該当する。

通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。

通信部３９４は、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、制御回路等によって実現される。図１の例では通信モジュール１１５３が該当する。

記憶部５００は、処理部２００に支援システム１０００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、処理部２００の演算作業領域として用いられ、処理部２００が各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、オンラインストレージなどによって実現される。図１の例では制御基板１１５０が搭載するＩＣメモリ１１５２がこれに該当する。

図１５は、記憶部５００が記憶するプログラムやデータの例を示す図である。
記憶部５００は、例えば、支援表示制御プログラム５０３と、視認対象物登録データ５５０と、ＡＲオブジェクト設定データ５６０と、運行予定データ６００と、受信済ライブ映像アクセス情報６１０と、受信済異常通知情報６１２と、ＡＲ表示制御データ７００と、現在日時８００と、を含む。勿論、これら以外のデータも適宜含めることができる。

支援表示制御プログラム５０３は、処理部２００が実行することで、処理部２００に支援表示制御部２１０としての機能を実現させるためのプログラムである。

視認対象物登録データ５５０は、扉扱いの際に車掌が視認するべき対象物として設定された視認対象物毎に作成され、当該視認対象物に関する各種情報を格納する。１つの視認対象物登録データ５５０は、例えば図１６に示すように、固有の視認対象物ＩＤ５５１と、視認対象物種類５５３と、対象物画像認識用辞書データ５５５と、当該視認対象物が信号機である場合に設定される信号現示認識用辞書データ５５７と、を含む。勿論、これら以外のデータも適宜含めることができる。

視認対象物種類５５３には、例えば「列車の側面」「点字ブロックを含むホーム側縁部」「車両のドア」「車側灯」「出発反応標識」「ホーム柵の状態表示灯」「車掌用ホームモニタ」「駅係員」などの名称を格納する。

対象物画像認識用辞書データ５５５は、視認対象物を画像認識するための基礎データである。
信号現示認識用辞書データ５５７は、当該鉄道設備が信号機である場合に信号現示を画像認識するための基礎データである。

図１５に戻って、ＡＲオブジェクト設定データ５６０は、ＡＲオブジェクト３０の種類毎に用意され、当該種類のＡＲオブジェクト３０を、どのような状況において、どのようなオブジェクトで、何の情報を表示するか、を示す各種データを格納する。

１つのＡＲオブジェクト設定データ５６０は、例えば図１７～図１９に示すように、ＡＲオブジェクト種類５６１と、カテゴリ５６２と、表示開始条件５６３と、表示終了条件５６４と、優先度５６５と、オブジェクトデータ５６６と、表示内容指定データ５６７と、を含む。勿論、これら以外のデータも適宜含めることができる。

カテゴリ５６２は、ＡＲオブジェクト設定データ５６０のメタデータであって、当該ＡＲオブジェクトのＡＲ表示制御上の分類を示す。分類は適宜設定可能であるが、例えば図１７に示すような「標準」と、図１８に示すような「異常通知用」と、図１９に示すような「全体表示用」と、の３種を含む様に設定される。

更には、カテゴリ５６２には、サブ階層情報としてサブカテゴリ（種類でも良い）を適宜設定できる。例えば、図１７の例では、カテゴリ「標準」のサブ階層情報として、出発予定時刻までの「残時間表示」、が設定されている。その他、出発予定時刻からの「遅延時間」などを設定することもできる。図１８および図１９の例では、カテゴリ「異常通知」「全体表示」のサブ階層情報として「戸挟み」が設定されている。その他、「駆け込み」、「火災報知」、などを設定することができる。

オブジェクトデータ５６６は、重畳表示させるオブジェクトの色や形を定義するデータである。
表示内容指定データ５６７は、オブジェクトデータ５６６が指定するオブジェクトで表示する内容であって、所定のテキストデータや、所定の映像、所定の画像（例えば、イラスト）、その時々に算出されえるパラメータの種類、等が指定される。

例えば、図１７の例では、出発予定時刻までの残時間のように、定時運行の出発予定時刻までの残時間を表示するための標準のＡＲオブジェクト３０ａを定義している。すなわち、オブジェクトデータ５６６は、残時間をテキスト表示するのに十分な大きさ・形・配色が施されたＡＲオブジェクト３０ａが定義されている。表示内容指定データ５６７は、その時々に算出されるパラメータとして、出発予定時刻までの残時間を指定している。

また、図１８の例は、異常通知情報５３０を受信して表示される異常通知用のＡＲオブジェクト３０ｂを定義している。すなわち、オブジェクトデータ５６６は、映像表示部３１とする第１オブジェクトと、情報表示部３２とする第２オブジェクトとを定義している。表示内容指定データ５６７は、第１オブジェクト用に「対応する異常通知情報５３０の撮影カメラＩＤ５３５が示す監視カメラ１３９０で撮影されている現場映像」を、第２オブジェクト用に「異常位置情報５３４が示す車両番号」をそれぞれ指定している。

表示内容指定データ５６７にて、第１オブジェクト用に「現場映像」が指定されている場合、ＡＲ表示システム１１００は、監視システム１３００から提供されているライブ映像アクセス情報５２２から、異常通知情報５３０の撮影カメラＩＤ５３５が示す情報を検索し、そのライブ映像受信用アドレスに接続してストリーミング配信されている現場映像を取得し、取得した現場映像を情報表示部３２の第１オブジェクトにリアルタイムで合成して表示させる。

また、図１９の例は、異常通知情報５３０を受信して表示される全体表示用のＡＲオブジェクト３０ｃを定義している。すなわち、表示開始条件５６３は、当該ＡＲオブジェクトが、「第２車両の左側中央ドアで戸挟みが発生した時」に表示されることを示している。そして、オブジェクトデータ５６６は、マーカ３４が付された全体画像３３を表示するのに十分な大きさのオブジェクトを定義している。表示内容指定データ５６７は、イラストで表された編成画像（全体画像３３）に、第２車両の左中央ドアを表す位置にマーカ３４が付された画像が設定されている。

図１５に戻って、運行予定データ６００は、車掌が乗務する列車３の運行予定に関する情報を格納するデータである。運行予定データ６００は、出発前にＡＲ表示システム１１００がネットワーク９を介して所定の運行管理システムから取得するか、車掌がＩＣメモリカードなどの情報記憶媒体にコピーして持ち込むことで、ＡＲ表示システム１１００に読み込まれて記憶される。

運行予定データ６００は、編成数６０２と、運行スケジュールデータ６０４と、停車予定の駅４毎に用意された視界外駅監視場所リスト６０６と、を含む。

視界外駅監視場所リスト６０６は、駅名と、当該運行予定に基づいて当該駅に入線・停車しているときに車掌から見えないと予測される当該駅の監視カメラ１３９０の監視場所情報（停車時視界外監視場所情報）と、を対応づけて格納する。当該リストは、予め用意されている。

受信済ライブ映像アクセス情報６１０は、監視システム１３００から受信したライブ映像アクセス情報５２２（図４参照）である。監視システム１３００と、ＡＲ表示システム１１００との無線通信が確立すると監視システム１３００から受信して記憶し、当該通信が途切れるとこれらを消去する。よって、列車３の第１の監視システム１３００ａに係る受信済ライブ映像アクセス情報６１０は常時記憶部５００に記憶されるが、駅４の第２の監視システム１３００ｂに係る受信済ライブ映像アクセス情報６１０は、駅４に近づき通信圏内に入ると受信・記憶され、駅４から通信圏外に離れると消去されることになる。

受信済異常通知情報６１２は、監視システム１３００から受信した異常通知情報５３０（図４参照）である。

図１５に戻って、ＡＲ表示制御データ７００は、ＡＲ表示の実行に係る各種最新のデータを格納する。ＡＲ表示制御データ７００は、例えば図２０に示すように、
（１）視界撮影部１００で撮影した撮影画像データ７０１と、
（２）姿勢変化計測部１０２で計測した姿勢変化に基づいて求められる視界撮影部１００の光軸方向（車掌の視線方向）を示す視線方向トラッキングデータ７０２と、
（３）測位部１０４が計測或いは取得した現在位置情報７０３と、
（４）ライブ映像７に写っている視認対象物を画像認識するための各種データを格納する画像認識処理データ７０５と、
（５）重畳表示抑制エリア管理データ７１０と、
（６）表示推奨エリア設定データ７２０と、
（７）表示優先順位リスト７２２と、
（８）表示許可数７２４と、
（９）表示中止タイマー７２６と、
（１０）ＡＲオブジェクト管理データ７３０と、
を含む。勿論、これら以外のデータも適宜含めることができる。

重畳表示抑制エリア管理データ７１０は、重畳表示抑制エリア２０（図８参照）毎に作成される。１つの重畳表示抑制エリア管理データ７１０は、例えば固有のエリアＩＤ７１１と、認識元になった視認対象物を示す認識元視認対象物ＩＤ７１３と、エリア定義データ７１５と、を含む。エリア定義データ７１５は、例えば画像座標系における重畳表示抑制エリア２０の各頂点位置座標のリストとして実現される。或いは、画像座標系を分断する境界線を記述する関数や、境界線が通る通過点の位置座標のリストであってもよい。

表示優先順位リスト７２２は、そのタイミングで表示開始条件５６３（図１７参照）を満たしているＡＲオブジェクトを、それぞれの優先度５６５に基づいて上位から並べたＡＲオブジェクト種類５６１のリストである。

表示中止タイマー７２６は、車掌の首振り動作が検出された場合に、検出から一定時間ＡＲ表示を中止するための中止適用時間を計時するタイマーである。

ＡＲオブジェクト管理データ７３０は、固有のＡＲオブジェクトＩＤ７３１と、表示位置座標７３３と、オブジェクトデータ７３５と、表示内容データ７３７と、を含む。勿論、これら以外のデータも適宜含めることができる。

次に、ＡＲ表示システム１１００の動作について説明する。
なお、車掌が列車の扉扱いをするために、列車３は駅４に停車しており、ＡＲ表示システム１１００は、列車３の第１の監視システム１３００ａおよび駅４の第２の監視システム１３００ｂと通信が確立されている状況にあるものとする。

図２１は、ＡＲ表示システム１１００の処理の流れを説明するためのフローチャートである。ＡＲ表示システム１１００は、リアルタイム処理と呼べる程度に十分短い所定周期で、ステップＳ３０～ステップＳ７０を繰り返し実行する。

具体的には、ＡＲ表示システム１１００は、ライブ映像７における視認対象物の画像認識をし（ステップＳ３０）、認識された認識対象物に応じた重畳表示抑制エリア２０を設定する（ステップＳ３２）。

次いで、ＡＲ表示システム１１００は、監視システム１３００から配信された異常通知情報５３０を記憶し、監視システム１３００から抹消通知された異常通知情報５３０を消去する（ステップＳ３４）。

次に、ＡＲ表示システム１１００は、表示許可数７２４を決定して、表示開始条件５６３を満たすＡＲオブジェクト３０を検索し（ステップＳ３６）、それらの優先度５６５に基づく優先順位に基づいて表示対象とするＡＲオブジェクト３０を選抜する（ステップＳ３８）。

次に、ＡＲ表示システム１１００は、車掌の首振りを検出する。もし、首振りが検出されず（ステップＳ４０のＮＯ）、且つ表示中止タイマー７２６が起動していなければ（ステップＳ４２のＮＯ）、ステップＳ３８で選抜したＡＲオブジェクト３０毎に、ＡＲオブジェクト管理データ７３０を作成して、選抜したＡＲオブジェクト３０毎にループＡを実行する（ステップＳ５０～ステップＳ６８）。

ループＡでは、ＡＲ表示システム１１００は、処理対象のＡＲオブジェクト３０の優先度が「高」であれば（ステップＳ５２のＹＥＳ）、重畳表示抑制エリア２０の設定如何に関わらず、その表示位置を決定する（ステップＳ５４）。つまり、重畳表示抑制エリア２０であるか否かに関わらず、画像表示範囲の任意の表示位置（望ましくは、車掌の注意を引きやすい位置：例えば中央や、上部中央など）を決定する。

一方、優先度が「高」以外であれば（ステップＳ５２のＮＯ）、ＡＲ表示システム１１００は、処理対象のＡＲオブジェクト３０の表示位置を、重畳表示抑制エリア２０外となるように設定する（ステップＳ５４）。

次に、ＡＲ表示システム１１００は、処理対象のＡＲオブジェクト３０のカテゴリ５６２を判定する。
カテゴリ５６２が「異常通知」である場合（ステップＳ６０の異常通知）、ＡＲ表示システム１１００は処理対象のＡＲオブジェクト３０に係る現場映像を取得し（ステップＳ６２）、当該ＡＲオブジェクト３０の映像表示部３１に取得した映像をライブ表示し、情報表示部３２で異常位置情報を示すようにして、ＡＲオブジェクト３０を重畳表示させる（ステップＳ６６）。そして、ループＡを終了する（ステップＳ６８）。

一方、カテゴリ５６２が「全体情報」である場合は（ステップＳ６０の全体情報）、ＡＲ表示システム１１００は、処理対象のＡＲオブジェクト３０に係る受信済ライブ映像アクセス情報６１０の示す異常位置情報５３４（図１５参照）の示す位置が、車掌の視界外であるかを判定する。具体的には、当該異常位置情報５３４を、視界外駅監視場所リスト６０６（図１５参照）と照合し、当該リストに登録されていれば「視界外」と判定する。

そして、視界外であれば（ステップＳ６４のＹＥＳ）、ＡＲ表示システム１１００は処理対象のＡＲオブジェクト３０を表示させ（ステップＳ６６）、ループＡを終了する（ステップＳ６８）。
もし、視界内であれば（ステップＳ６４のＮＯ）ＡＲ表示システム１１００は処理対象のＡＲオブジェクト３０を表示させずに、ループＡを終了する（ステップＳ６８）。

もしカテゴリ５６２が「異常通知」と「全体情報」以外であれば（ステップＳ６０の他）、ＡＲ表示システム１１００は、そのままＡＲ表示システム１１００は処理対象のＡＲオブジェクト３０を表示させずに、ループＡを終了する（ステップＳ６８）。

ステップＳ３８で選抜した全てのＡＲオブジェクト３０についてループＡを実行したならば、ＡＲ表示システム１１００は支援終了条件を満たすかを判定する（ステップＳ７０）。

但し、ステップＳ４０にて首振り動作が検出された場合は（ステップＳ４０のＹＥＳ）、ＡＲ表示システム１１００は、表示中止タイマー７２６を起動させ（ステップＳ４４）、ループＡは実行せず支援終了条件を満たすかを判定する（ステップＳ７０）。

支援終了条件は適宜設定可能である。例えば、列車３が運行行路の終着点に到着したことを支援終了条件としてもよい。そして、支援終了条件が満たされるまでは（ステップＳ７０のＮＯ）、支援システム１０００は、ステップＳ３０～ステップＳ７０を所定周期で繰り返し実行する。支援終了条件が満たされれば（ステップＳ７０のＹＥＳ）、一連の処理を終了する。

以上、本実施形態によれば、支援システム１０００は、ＡＲオブジェクト３０の表示を通じて車掌に情報を提供して業務を支援することができる。
具体的には、支援システム１０００は、車掌の視界をカメラで撮影し、そこに扉扱いの際に車掌が視認する対象物として設定された視認対象物を含むようにして重畳表示抑制エリア２０を設定し、当該エリア以外にＡＲオブジェクト３０を表示することができる。重畳表示抑制エリア２０を適切に設定することで、例えば、視認対象物にＡＲオブジェクト３０が重なるように表示されて、当該視認対象物を車掌が視認できなかったり、視認し難い状態となるのを防ぐことができる。これにより、車掌の業務に適した、車掌の業務を支援するための、ＡＲデバイスを用いた新たなシステムが実現可能となる。

また、重畳表示抑制エリアの設定時に参照される視認対象物は、車掌の視界であるライブ映像（撮影画像）に基づいて検出される。

また、支援システム１０００は、車掌の首振りを検出した場合は、ＡＲオブジェクト３０の重畳表示を中止させることができる。車掌は、様々な視認対象物を確実に視認するために、立ち位置を変え、身体の向きを変え、顔の向きを変えることが多い。そのため、ＡＲオブジェクト３０の重畳表示が視界中でうるさく感じられる場合も起こり得る。そのような場合に、車掌は、首振りをすることで、ＡＲオブジェクト３０の重畳表示を中止させることが可能となる。

また、支援システム１０００は、異常と判断された現場の映像（例えば、列車３の乗降口の扉付近の映像）をＡＲオブジェクト３０で表示させることができる。加えて、現場の映像とともに異常発生場所に関する情報（例えば、列車３のどの車両のどの乗降口の扉）も車掌に提供することができる。

また、支援システム１０００は、一度に表示するＡＲオブジェクト３０の表示数を適切に調整して見易いＡＲ表示を実現できる。

また、所定の抑制免除条件を満たすＡＲオブジェクト（例えば、異常通知用のＡＲオブジェクト３０ｂ）については、重畳表示抑制エリア２０であるか否かに関わらず、当該ＡＲオブジェクトを視界中に重畳表示させることができる。つまり、重要な情報を確実に表示することができる。

〔変形例〕
以上、本発明を適用した実施形態の一例について説明したが、本発明を適用可能な実施形態は、上記実施形態に限定されるものではなく、適宜構成要素の省略・追加・変更を行うことができる。

（変形例その１）
例えば、上記実施形態では、ＡＲ表示システム１１００を、制御装置１１１０とＡＲデバイス１２００との大きく２つのハードウェアで構成したが、ハードウェアの構成数はこれに限らない。例えば、ＡＲデバイス１２００の制御基板１２５０が制御装置１１１０の制御基板１１５０の機能を有するのであれば、制御装置１１１０の機能をＡＲデバイス１２００にて実現することとし、ＡＲ表示システム１１００をＡＲデバイス１２００単体で実現するとしてもよい。

（変形例その２）
また、上記実施形態では、重畳表示抑制エリア２０を、車掌の視界のライブ映像７から視認対象物を画像認識して検出し、検出された視認対象物のそれぞれに応じて設定する構成としたが、それ以外の構成も可能である。

例えば、図２２に示すように、支援表示制御部２１０に判定部２４２を含める。
判定部２４２は、視界撮影部１００で撮影された撮影画像に基づいて、扉扱いが、車掌の乗務する列車３の左右どちら側を対象としているかを判定する。つまり、視界の左右どちら側に列車３の側面が画像認識されたかを判定する。或いは、運行予定データ６００の運行スケジュールデータ６０４に、停車駅で左右どちら側の扉を開けるかの情報が含まれる場合には、これを参照して判定するとしてもよい。

そして、抑制エリア設定部２２０が、扉扱いが列車３の左側である場合と右側である場合とについて視認対象物の視界中の想定範囲に基づき定められた重畳表示抑制エリア２０の左側テンプレートおよび右側テンプレートのうち、判定部２４２による判定結果に対応するテンプレートを用いて重畳表示抑制エリア２０を設定する。

具体的には、表示推奨エリア設定データ７２０を左側用と右側用とで予め用意しておく。前者は、左側テンプレートとして機能し、例えばライブ映像７の全画像範囲２２（透過型ディスプレイ１２０２としての画像表示範囲）の右上の角周辺部を、表示推奨エリア２４として設定されている。また、後者は、右側テンプレートとして機能し、例えばライブ映像７の全画像範囲２２の左上の角周辺部を、表示推奨エリア２４として設定されている。或いは、例えば、左側テンプレートとなる表示推奨エリア設定データ７２０は、画像全体のうちの右側１／３を表示推奨エリア２４として設定されたデータとし、右側テンプレートとなる表示推奨エリア設定データ７２０は、画像全体のうちの左側１／３を表示推奨エリア２４として設定されたデータとする、こととしてもよい。

当該構成では、画像認識の対象物が上記実施形態よりも減るので、ＡＲ表示システム１１００の処理負荷を軽減できる。

３…列車
４…駅
７…ライブ映像
２０…重畳表示抑制エリア
２４…表示推奨エリア
３０…ＡＲオブジェクト
３１…映像表示部
３２…情報表示部
３３…全体画像
３４…マーカ
３７…現場映像
１００…視界撮影部
１３０…撮影部
２００ｋ…処理部
２０２…画像認識部
２０４…異常判定部
２０６…異常通知情報設定部
２０８…配信制御部
２１０…支援表示制御部
２１２…異常通知受信制御部
２１４…首振り検出部
２１６…視認対象物検出部
２２０…抑制エリア設定部
２２２…現場映像取得制御部
２２４…ＡＲオブジェクト決定部
２３０…ＡＲ表示制御部
２３２…最優先表示制御部
２４０…表示中止制御部
２４２…判定部
５０１…監視プログラム
５０３…支援表示制御プログラム
５２０…ライブ配信制御データ
５２２…ライブ映像アクセス情報
５３０…異常通知情報
５３４…異常位置情報
５５０…視認対象物登録データ
５６０…ＡＲオブジェクト設定データ
５６１…ＡＲオブジェクト種類
５６５…優先度
６１０…受信済ライブ映像アクセス情報
６１２…受信済異常通知情報
７００…ＡＲ表示制御データ
７０１…撮影画像データ
７０５…画像認識処理データ
７１０…重畳表示抑制エリア管理データ
７２２…表示優先順位リスト
７２４…表示許可数
７２６…表示中止タイマー
７３０…ＡＲオブジェクト管理データ
７３３…表示位置座標
１０００…支援システム
１１００…ＡＲ表示システム
１２００…ＡＲデバイス
１３００（１３００ａ、１３００ｂ）…監視システム

Claims

少なくとも列車の扉扱いをする際に車掌が装着するＡＲデバイスと、前記ＡＲデバイスに対して、前記車掌の視界に所与のＡＲオブジェクトを重畳表示させる制御を行う制御装置と、を具備するコンピュータシステムであって、
前記ＡＲデバイスは、
前記車掌の視界を撮影するカメラ、
を備え、
前記制御装置は、
前記カメラの撮影画像に基づいて、前記扉扱いの際に前記車掌が視認する対象物として設定された視認対象物を含む前記視界中の範囲を含むように重畳表示抑制エリアを設定する抑制エリア設定手段と、
重畳表示させるＡＲオブジェクトを決定するＡＲオブジェクト決定手段と、
前記決定されたＡＲオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行う表示制御手段と、
を備える、
コンピュータシステム。
前記制御装置は、
前記撮影画像に基づいて、前記視認対象物を検出する検出手段、
を更に備え、
前記抑制エリア設定手段は、前記検出された視認対象物に基づいて前記重畳表示抑制エリアを設定する、
請求項１に記載のコンピュータシステム。
前記制御装置は、
前記撮影画像に基づいて、前記扉扱いが前記列車の左右どちら側を対象としているかを判定する判定手段、
を更に備え、
前記抑制エリア設定手段は、前記扉扱いが前記列車の左側である場合と右側である場合とについて前記視認対象物の前記視界中の想定範囲に基づき定められた前記重畳表示抑制エリアの左側テンプレートおよび右側テンプレートのうち、前記判定手段の判定結果に対応するテンプレートを用いて前記重畳表示抑制エリアを設定する、
請求項１に記載のコンピュータシステム。
前記制御装置は、
前記車掌の首振りを検出する首振り検出手段と、
前記首振り検出手段による検出に応じて、前記表示制御手段による前記ＡＲオブジェクトの重畳表示を中止させる表示中止制御手段と、
を更に備える、
請求項１～３の何れか一項に記載のコンピュータシステム。
前記視認対象物は、前記列車の側面と、点字ブロックを含むホーム側縁部と、を含む、
請求項１～４の何れか一項に記載のコンピュータシステム。
前記制御装置は、
前記列車の扉付近の映像を取得する映像取得手段、
を更に備え、
前記ＡＲオブジェクト決定手段は、前記映像取得手段により取得された映像を表示するためのＡＲオブジェクトを決定する、
請求項１～５の何れか一項に記載のコンピュータシステム。
前記制御装置は、
前記列車の扉に係る異常通知を当該扉の位置情報を含めて受信する異常通知受信手段、
を更に備え、
前記ＡＲオブジェクト決定手段は、前記異常通知に応じた情報を表示するためのＡＲオブジェクトを決定する、
請求項１～６の何れか一項に記載のコンピュータシステム。
前記ＡＲオブジェクト決定手段は、前記異常通知に含まれる扉の位置情報に基づいて、前記列車の編成画像および当該編成画像中の当該扉の位置を示すマーカを表示するためのＡＲオブジェクトを決定する、
請求項７に記載のコンピュータシステム。
前記ＡＲオブジェクトには、種類に応じた優先度が対応づけられており、
前記ＡＲオブジェクト決定手段は、前記優先度と、重畳表示させるＡＲオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させるＡＲオブジェクトを決定する、
請求項１～８の何れか一項に記載のコンピュータシステム。
前記ＡＲオブジェクトには、所定の抑制免除条件を満たすＡＲオブジェクトが含まれ、
前記表示制御手段は、前記ＡＲオブジェクト決定手段により前記抑制免除条件を満たすＡＲオブジェクトが決定された場合に、前記重畳表示抑制エリアであるか否かに関わらず、当該抑制免除条件を満たすＡＲオブジェクトを前記視界中に重畳表示させる最優先表示制御手段を有する、
請求項１～９の何れか一項に記載のコンピュータシステム。
車掌の視界を撮影するカメラを有して少なくとも列車の扉扱いをする際に車掌が装着するＡＲデバイスに対して、前記車掌の視界に所与のＡＲオブジェクトを重畳表示させる制御を行う制御装置による制御方法であって、
前記カメラの撮影画像に基づいて、前記扉扱いの際に前記車掌が視認する対象物として設定された視認対象物を含む前記視界中の範囲を含むように重畳表示抑制エリアを設定することと、
重畳表示させるＡＲオブジェクトを決定することと、
前記決定されたＡＲオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行うことと、
を含む制御方法。