JP2021018593A - 車両用情報処理装置 - Google Patents

Abstract

【課題】車両内で、推論モデルを使用した推論を行って画像から人物や行動などの検出処理を行う際の判定精度を向上させる。【解決手段】車両に設置されたカメラから画像を取得する画像取得部１０１と、画像取得部１０１で取得した画像を保存する画像記憶部１５１と、特性の異なる複数の推論モデルの中から、車両の周囲環境に最適な推論モデルを選択するモデル選択部１３０と、モデル選択部１３０で選択された推論モデルによる推論の精度を算出する精度算出制御部１１１とを備える。モデル選択部１３０は精度算出制御部１１１で出力された推論の精度に応じて、画像の推論処理に使用する推論モデルを切替えるようにした。【選択図】図１

Description

本発明は、車両用情報処理装置に関する。

近年のＡＩ(Artificial Intelligence)画像認識技術、特にディープラーニングの技術の進歩により、予め学習させた推論モデルを使用して推論させることで、カメラが撮影した画像から、特定の物体や人物を検出したり、特定の行動を検出することを、高精度に行うことが可能になっている。

推論モデルを使用して推論を行う際には、検出する用途に応じた教師データを準備し、推論モデルを構築することで様々な推論が可能になる。例えば、車両（電車やバス等）のような周囲環境が随時変動する環境においては、単一の推論モデルを使用し続けた場合、推論モデルと適合しない場面において推論結果の精度が低下してしまう。

ここで、推論の精度低下とは、取得した画像の周囲環境と教師データの周囲環境が異なることにより、特定の対象の検出有無を示す確率が期待する値を出せていないことをいう。推論の精度が低下している状態では、誤判定を行う可能性が高くなってしまう。通常、推論の精度は、常に一定水準以上を維持することが望ましい。

特許文献１には、正常・異常の判定に使用する正常データの集合の選択を、画像取得時の時間帯（朝・昼・夜）に合わせて実施することで、誤判定が少ない識別を行う技術が記載されている。

特開２０１６−１０３２４５号公報

特許文献１に記載の技術では、時間帯（朝・昼・夜）の属性に応じて判定に用いるデータ集合を切替えているが、屋外で使用するケースにおいては、時間帯に応じた日照状況は一年通して変化するため、時間帯だけでの判別では誤判定に繋がる可能性がある。例えば、同じ１８時であっても、夏と冬では日照状況が異なるため、時間帯だけの判別では周囲環境に適さないデータが選択され、誤判定の可能性が高くなる。また、天候などの条件によっても、適していない正常データが選択されてしまう可能性があり、このような場合でも誤判定の可能性が高くなってしまう。

本発明は、車両内で、推論モデルを使用した推論を行って画像から検出処理を行う際の判定精度を向上させることができる車両用情報処理装置を提供することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両に設置されたカメラから取得した画像を保存する画像記憶部と、特性の異なる複数の推論モデルの中から、車両の周囲環境に最適な推論モデルを選択するモデル選択部と、モデル選択部で選択された推論モデルによる推論の精度を算出する精度算出制御部とを備え、モデル選択部は精度算出制御部で出力された推論の精度に応じて、画像の推論に使用する推論モデルを切替えるようにした車両用情報処理装置としたものである。

本発明によれば、刻々と周囲環境が変動する車両の環境において、周囲環境に合わせた最適な推論モデルに逐次自動で切替えることにより、推論の精度低下を防ぎ、適用するシステムの信頼性向上や誤判定の防止が可能となる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施の形態例による車両用情報処理装置の構成図である。 本発明の第１の実施の形態例による車両用情報処理装置を車内表示器に適用した場合の設置例を示す図である。 本発明の第１の実施の形態例による車両用情報処理装置のハードウェアの例を示す構成図である。 本発明の第１の実施の形態例による動作例を示すフローチャートである。 本発明の第１の実施の形態例による推論モデル選択例を示すフローチャートである。 本発明の第２の実施の形態例による車両用情報処理装置の構成図である。 本発明の第２の実施の形態例による動作例を示すフローチャートである。 本発明の第３の実施の形態例による車両用情報処理装置の構成図である。 混雑度状態の変動を判定するために用いる周囲環境判定用テーブルの一例を示す図である。 本発明の第３の実施の形態例による車両用情報処理装置のハードウェアの例を示す構成図である。

＜１．第１の実施の形態例＞
以下、本発明の第１の実施の形態例を、図１〜図５を参照して説明する。

［１−１．情報処理装置の構成］
図１は、本発明の第１の実施の形態例の車両用情報処理装置１００の構成例である。
車両用情報処理装置１００は、電車やバスなどの車両に設置され、車両に搭載されたカメラから取得した画像についての情報処理を行うものである。なお、車両用情報処理装置１００の設置例については後述する（図２）。

図１に示す構成について説明すると、車両用情報処理装置１００は、推論部１１０と演算部１４０と記憶部１５０とを備える。記憶部１５０は、画像記憶部１５１と、比較用精度記憶部１５２と、推論結果記憶部１５３と、指定モデル向け精度記憶部１５４とを備える。

記憶部１５０の画像記憶部１５１には、画像入力制御部１０２が画像取得部１０１を介して取得した画像が記憶される。画像入力制御部１０２は、画像取得部１０１が画像を出力する形式に対応したコントローラで構成される。画像取得部１０１が取得する画像は、車両に搭載された防犯カメラ１０１ａ（図２）から取得した画像である。画像入力制御部１０２は、例えばＵＳＢ（Universal Serial Bus）ケーブルやＬＡＮ（Local Area Network）ケーブルにより、画像取得部１０１から画像データを取得する。

推論部１１０には、画像記憶部１５１が記憶した画像から予め設定された事象（物体、人物、行動など）を検出するための特性が異なる複数の推論用のモデルが用意され、状況に応じた適切な推論モデルが選択される。
演算部１４０では、推論部１１０で選択された推論モデルを使った推論の演算処理が実行され、演算処理の実行結果が、記憶部１５０の推論結果記憶部１５３に記憶される。
推論結果記憶部１５３に記憶された推論結果は、推論結果判定部１０３で読み出され、推論結果判定部１０３で推論結果の判定処理が行われる。推論結果判定部１０３で得られた判定結果は、出力制御部１０４の制御により外部出力部１０５に出力される。出力制御部１０４は、例えば出力用のインタフェースに対応したコントローラで構成される。

推論部１１０は、精度算出制御部１１１と、演算処理制御部１１２と、精度判定部１１３と、モデル集合部１２０と、モデル選択部１３０とを備える。
モデル集合部１２０には、複数の推論モデルが用意されている。図１の例では、第１推論モデル１２１と、第２推論モデル１２２と、第３推論モデル１２３とが用意されている。第１推論モデル１２１は、天候が晴れの状況で撮像された画像に適した推論モデルである。第２推論モデル１２２は、天候が曇りの状況で撮像された画像に適した推論モデルである。第３推論モデル１２３は、天候が雨の状況で撮像された画像に適した推論モデルである。図１の例では、推論に使用するために指定された指定モデル１２９として、第１推論モデル１２１が選択された状況を示す。

推論部１１０での指定モデル１２９の選択は、モデル選択部１３０のモデル判定部１３１からの指示で行われる。モデル選択部１３０は、モデル判定部１３１と精度比較部１３２とを備える。精度比較部１３２は、記憶部１５０の比較用精度記憶部１５２の記憶データから、各推論モデルの精度を比較する。そして、精度比較部１３２での比較結果に基づいて、モデル判定部１３１が、指定モデル１２９を選択する。

演算部１４０は、第１ＡＩモデル演算部１４１と第２ＡＩモデル演算部１４２とを備える。演算部１４０としては、ＧＰＵ(Graphic Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array)、推論処理に特化したＡＩアクセラレータ等が使用される。また、負荷の少ないＣＰＵ（Central Processing Unit）コアがある場合は、演算部１４０に対して使用可能なＣＰＵコアを割り当ててもよい。

第１ＡＩモデル演算部１４１は、推論部１１０の演算処理制御部１１２の制御で指定された推論モデル（指定モデル１２９）を使って、画像記憶部１５１に記憶された画像についての推論を実行する。第１ＡＩモデル演算部１４１での推論結果は、記憶部１５０内の推論結果記憶部１５３及び指定モデル向け精度記憶部１５４に記憶される。
第２ＡＩモデル演算部１４２は、推論部１１０の精度算出制御部１１１の制御で指定された推論モデルを使って、画像記憶部１５１に記憶された画像についての推論を実行する。第２ＡＩモデル演算部１４２での推論結果は、記憶部１５０内の比較用精度記憶部１５２に記憶される。

指定モデル向け精度記憶部１５４が記憶した推論結果のデータは、推論部１１０の精度判定部１１３により読み出され、推論結果の精度が判定される。精度判定部１１３で判定された精度のデータは、精度算出制御部１１１に供給される。

［１−２．車両用情報処理装置の設置例］
図２は、車両用情報処理装置１００の設置例を示す。
図２の例では、鉄道用の車両２００のドア２０１の上部に設置された車内表示装置２１０が、図１に示す車両用情報処理装置１００を内蔵する。
車内表示装置２１０には、ディスプレイパネル１０５ａが配置され、車内の乗客への各種案内を行うことができる。例えば、ディスプレイパネル１０５ａには、列車の運行情報、乗り換え案内、広告等が表示される。
また、車両用情報処理装置１００には、防犯カメラ１０１ａが取り付けられている。図１に示す画像取得部１０１は、この防犯カメラ１０１ａが撮像した画像を取得する。

そして、車両用情報処理装置１００の演算部１４０では、防犯カメラ１０１ａが撮像した画像を使った演算処理を実行し、車内で特定の事象（特定の状況や特定の物体又は人物）が検出されたか否かを判定する。例えば、車内の乗客が転倒しているか否かを判定し、その判定結果に基づいて、ディスプレイパネル１０５ａでの表示を制御する。あるいは、判定結果を、車両用情報処理装置１００から車内の他の箇所（乗務員用端末）に伝送する。さらに、車両外の特定箇所（運行管理センタなど）に通知するようにしてもよい。

［１−３．車両用情報処理装置のハードウェア構成例］
図３は、車内表示装置２１０が車両用情報処理装置１００を内蔵した場合のハードウェア構成例を示す。
車内表示装置２１０は、ＣＰＵ（central processing unit）１１、主記憶装置１２、演算部１３、補助記憶装置１４、バス１５、画像入力制御部１０２、及び表示部２１１を備える。

補助記憶装置１４は、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）、その他半導体メモリ等のストレージデバイスで構成される。補助記憶装置１４には、図１に示す記憶部１５０が含まれる。また、図１に示す推論部１１０や推論結果判定部１０３の機能が、プログラムとして補助記憶装置１４に記憶される。このプログラムは、主記憶装置１２に読込まれた後、ＣＰＵ１１により処理が実行される。

演算部１３は、先に説明したように、ＧＰＵ、ＦＰＧＡ、推論処理に特化したＡＩアクセラレータ等で構成される。あるいは、ＣＰＵ１１が演算部１３における演算を行うようにしてもよい。
画像入力制御部１０２が取得した画像データは、バス１５を経由して、補助記憶装置１４に取り込まれる。
また、表示部２１１のディスプレイパネル１０５ａの表示は、ＣＰＵ１１の制御に基づいて、出力制御部１０４から出力されたデータにより行われる。また、補助記憶装置１４での推論結果判定部１０３の判定に基づいた処理結果も、ディスプレイパネル１０５ａに表示される。

［１−４．車両用情報処理装置による処理］
図４及び図５は、本実施の形態例の車両用情報処理装置１００が行う処理の流れを示すフローチャートである。
まず、図４のフローチャートに基づいて、画像取得時の処理の流れを説明する。
車両用情報処理装置１００は、画像取得部１０１を経由して、防犯カメラ１０１ａが撮像した画像を取得する（ステップＳ１）。このとき、車両用情報処理装置１００の第１ＡＩモデル演算部１４１が、指定モデル１２９を使って、画像に対する推論を実施する（ステップＳ２）。

ここで、例えばデフォルトで指定モデル１２９として第１推論モデル１２１が設定されている場合、ステップＳ２では、この第１推論モデル１２１（晴れ用の推論モデル）を使って、第１ＡＩモデル演算部１４１で演算処理が実行される。

第１ＡＩモデル演算部１４１での推論結果は、推論結果記憶部１５３に記憶され、その推論結果が出力制御部１０４から出力される。同時に、そのときの推論の精度が指定モデル向け精度記憶部１５４に出力され記憶される（ステップＳ３）。

ここでの推論の精度には、推論時に算出する確率が用いられる。例えば、特定の状態を検出する推論モデルを使用するケースでは、その状態であるかどうかの確率を算出し、算出した確率が閾値を上回った場合に、特定の状態を検出したと判定する。このときに算出する確率を推論の精度の指標として用いる。精度判定部１１３は、例えば、過去に特定の状態を検出した際の推論の精度の平均値(例えば過去５回分)を算出しておき、推論の精度が平均値から一定の数値以上(例えば２０%以上)乖離していた場合に推論の精度が低下したと判定する。

そして、精度判定部１１３は推論の精度の判定を行い、推論の精度低下を検知した場合に精度低下を示すフラグをセットし、推論の精度低下が発生していない場合には精度低下を示すフラグをクリアする（ステップＳ４）。
このステップＳ１〜Ｓ４の処理が、新たに画像を取得するごとに繰り返される。

次に、図５のフローチャートに基づいて、推論の精度低下時の推論モデル切替えの処理を説明する。
この推論の精度低下時の推論モデル切替えの処理タスクは、図４のフローチャートに示す画像取得時の推論処理タスクと並行して実施される。
まず、精度算出制御部１１１は、精度判定部１１３が保持する推論の精度低下のフラグがセットされているか否かを確認する（ステップＳ５）。
このステップＳ５で、推論の精度低下のフラグがセットされていないと確認された場合（ステップＳ５のＮＯ）、精度算出制御部１１１でのステップＳ５の確認を繰り返す。

そして、ステップＳ５で、推論の精度低下のフラグがセットされていることが確認された場合には（ステップＳ５のＹＥＳ）、精度算出制御部１１１は、指定モデル１２９以外の全ての推論モデルを使用して、取得画像に対する推論を第２ＡＩモデル演算部１４２に実行させる（ステップＳ６）。
そして、第２ＡＩモデル演算部１４２は、指定モデル１２９以外の推論モデルの推論の精度を、比較用精度記憶部１５２に出力する（ステップＳ７）。

比較用精度記憶部１５２に推論の精度が記憶されると、精度比較部１３２が比較用精度記憶部１５２から推論の精度を取得して比較する。そして、モデル判定部１３１が、精度比較部１３２から取得した情報を元に、最も精度が高い推論モデルを選択する（ステップＳ８）。
このステップＳ８で選択した推論モデルが、新たな指定モデル１２９になる。

以上説明したように、本実施の形態例の車両用情報処理装置１００によると、入力した画像を使った推論モデルによる推論が、自動的に最適な推論モデルに切り替わり、周囲環境が変化した場合でも、推論の精度低下による誤判定を防ぐことができる。

ここで、本実施の形態例の場合には、車両用情報処理装置１００の演算部１４０は、２つのＡＩモデル演算部１４１，１４２を備えて、図５のフローチャートに示す精度低下のフラグセット時の処理が、図４に示す推論処理と並行して行われる。
したがって、例えばモデル集合部１２０に用意された推論モデルの数が多い場合であっても、図５のフローチャートに示す処理に要する時間の影響を、図４のフローチャートに示す推論処理が受けない。このため、推論モデル切り替えのための比較処理が車両用情報処理装置１００で行われていても、入力画像に基づいた推論処理が遅れることがなく、入力画像に基づいた推論処理は常に最適な状態で実施される。

＜２．第２の実施の形態例＞
次に、本発明の第２の実施の形態例を、図６及び図７を参照して説明する。この図６及び図７において、第１の実施の形態例で説明した図１〜図５と同一箇所には同一符号を付している。

［２−１．情報処理装置の構成］
図６は、本発明の第２の実施の形態例の車両用情報処理装置１００ａの構成を示す。
車両用情報処理装置１００ａは、第１の実施の形態例の車両用情報処理装置１００と同様に、電車やバスなどの車両に設置され、車両に搭載されたカメラから取得した画像についての情報処理を行うものである。
第２の実施の形態例の車両用情報処理装置１００ａは、状態入力制御部１０７と周囲環境判定部１０８とを備える点で、第１の実施の形態例の車両用情報処理装置１００と相違する。第２の実施の形態例の車両用情報処理装置１００ａのその他の構成は、第１の実施の形態例の車両用情報処理装置１００と同じである。

状態入力制御部１０７は、状態取得部１０６から車両の周囲環境の情報を取得する。状態取得部１０６は、例えばインターネットを経由して、所定のウェブサイトから天候などの情報を取得する。あるいは、車両などに設置されたセンサ（明るさセンサ、雨センサ、気圧センサなど）の検出出力に基づいて、状態取得部１０６が周囲環境の情報を取得してもよい。

状態入力制御部１０７が取得した周囲環境の情報は、周囲環境判定部１０８に通知される。周囲環境判定部１０８には、推論結果判定部１０３での推論結果の判定情報も通知される。そして、周囲環境判定部１０８で取得した周囲環境の情報と推論結果の判定情報とが、推論部１１０の精度算出制御部１１１に通知される。

［２−２．車両用情報処理装置による処理］
次に、本実施の形態例の車両用情報処理装置１００ａで行われる処理について説明する。
画像取得部１０１から取得した画像に対して行われる推論処理は、先に第１の実施の形態例で図４のフローチャートで説明した処理と同じである。
そして、本実施の形態例の車両用情報処理装置１００ａでは、入力画像に対して行われる推論処理と並行して、図７のフローチャートに示す推論モデル切替え処理が実行される。

図７のフローチャートに基づいて説明すると、精度算出制御部１１１は、精度判定部１１３が保持する推論の精度低下のフラグがセットされているか否かを確認する（ステップＳ５）。
このステップＳ５で、推論の精度低下のフラグがセットされていないと確認された場合（ステップＳ５のＮＯ）、推論結果判定部１０３は推論の対象となる推論結果の情報を検出したか否かを判断する（ステップＳ９）。このステップＳ９で、推論の対象となる推論結果の情報を検出しないと判定された場合は（ステップＳ９のＮＯ）、ステップＳ５の精度算出制御部１１１での判断に戻る。

そして、ステップＳ９で、推論の対象となる推論結果の情報を検出したと判定された場合には（ステップＳ９のＹＥＳ）、推論結果判定部１０３は該当する推論結果の情報を、周囲環境判定部１０８に通知する。
ここで、周囲環境判定部１０８は、状態入力制御部１０７が取得した周囲環境の情報を参照して、周囲環境に変化があるか否かを判定する（ステップＳ１０）。ここでは、周囲環境として、天候情報の状態を扱うケースでは、状態取得部１０６が外部ネットワーク等から取得する天候状態に基づいて、曇りから晴れに変化したような状況を判定する。

ステップＳ１０で、周囲状態の変化がないと周囲環境判定部１０８が判定した場合（ステップＳ１０のＮＯ）、ステップＳ５の精度算出制御部１１１での判断に戻る。
そして、ステップＳ１０で、周囲状態の変化があると周囲環境判定部１０８が判定した場合（ステップＳ１０のＹＥＳ）、周囲環境判定部１０８は、周囲状態に変化があることの情報を精度算出制御部１１１に通知する。この通知を受信した精度算出制御部１１１は、指定モデル１２９以外の全推論モデルと、画像記憶部１５１から取得した画像を入力パラメータとして、第２ＡＩモデル演算部１４２に推論を実行させる（ステップＳ６）。

そして、第２ＡＩモデル演算部１４２は、指定モデル１２９以外の推論モデルの推論の精度を、比較用精度記憶部１５２に出力する（ステップＳ７）。
比較用精度記憶部１５２に推論の精度が記憶されると、精度比較部１３２が比較用精度記憶部１５２から推論の精度を取得して比較する。そして、モデル判定部１３１が、精度比較部１３２から取得した情報を元に、最も精度が高い推論モデルを選択する（ステップＳ８）。
このステップＳ８で選択した推論モデルが、新たな指定モデル１２９になる。

以上説明したように、本実施の形態例の場合にも、車両用情報処理装置１００ａによると、入力した画像を使った推論モデルによる推論が、自動的に最適な推論モデルに切り替わり、周囲環境が変化した場合でも、推論の精度低下による誤判定を防ぐことができる。
特に、本実施の形態例の車両用情報処理装置１００ａの場合には、推論精度の低下を検出しない状況でも、周囲環境の検出で切り替わるため、迅速に推論モデルが切り替わるようになり、推論の精度低下による誤判定をより効果的に防ぐことができる。

＜３．第３の実施の形態例＞
次に、本発明の第３の実施の形態例を、図８〜図１０を参照して説明する。この図８〜図１０においても、第１及び第２の実施の形態例で説明した図１〜図７と同一箇所には同一符号を付している。

［３−１．情報処理装置の構成］
図８は、本発明の第３の実施の形態例の車両用情報処理装置１００ｂの構成を示す。
車両用情報処理装置１００ｂは、第１及び第２の実施の形態例の車両用情報処理装置１００，１００ａと同様に、電車やバスなどの車両に設置され、車両に搭載されたカメラから取得した画像についての情報処理を行うものである。

第３の実施の形態例の車両用情報処理装置１００ｂは、第２の実施の形態例の車両用情報処理装置１００ｂの構成に加えて、さらに記憶部１５０が周囲環境判定用テーブル１５５を備える。また、状態取得部１０６が取得する環境情報の一つとして、車両に搭載された重量センサ１０６ａの情報が含まれる。重量センサ１０６ａは、車内の乗客及び荷物の重量を検出する。
第３の実施の形態例の車両用情報処理装置１００ｂのその他の構成は、第２の実施の形態例の車両用情報処理装置１００ａと同じである。

また、本実施の形態例の車両用情報処理装置１００ｂは、モデル集合部１２０が持つ３つの推論モデル１２１，１２２，１２３として、混雑度が異なる推論モデルを持つ。すなわち、第１推論モデル１２１は、車内の混雑度が低い状態（混雑度：低）の画像を教師データとして構築した推論モデルである。また、第２推論モデル１２２は、車内の混雑度が中程度の状態（混雑度：中）の画像を教師データとして構築した推論モデルである。さらに、第３推論モデル１２３は、車内の混雑度が高い状態（混雑度：高）の画像を教師データとして構築した推論モデルである。

周囲環境判定用テーブル１５５は、周囲環境の変化を判定するためのテーブルである。
図９は、周囲環境判定用テーブル１５５が持つ情報の例を示す。
ここでは、周囲環境判定用テーブル１５５は、重量センサ１０６ａが検出した乗客の総重量と、推定乗客人数と、混雑度状態との情報を持つ。
例えば、重量センサ１０６ａが検出した重量が０トン〜３トンのとき、推定乗客数が０人〜５０人であり、混雑度状態が混雑度１になる。
また、重量センサ１０６ａが検出した重量が３トン〜６トンのとき、推定乗客数が５０人〜１００人であり、混雑度状態が混雑度２になる。以下、同様にして、重量センサ１０６ａが検出した重量が増えるごとに、推定乗客数が増え、混雑度のランクが高くなる。

［３−２．車両用情報処理装置のハードウェア構成例］
図１０は、車内表示装置２１０が本実施の形態例の車両用情報処理装置１００ｂを内蔵した場合のハードウェア構成例を示す。
図１０に示す車内表示装置２１０の場合には、周囲環境判定部１０８の機能が、補助記憶装置１４にプログラムとして記憶される。

そして、状態入力制御部１０７で、重量センサ１０６ａ（図８）を含む状態取得部１０６の出力が取得され、その状態入力制御部１０７が取得した情報から、状態入力制御部１０７で混雑度などの状態が判断される。
車内表示装置２１０のその他の構成は、第１の実施の形態例で図３に示す車内表示装置２１０と同じである。

［３−３．車両用情報処理装置による処理］
次に、本実施の形態例の車両用情報処理装置１００ｂで行われる処理について説明する。
画像取得部１０１から取得した画像に対して行われる推論処理は、先に第１の実施の形態例で図４のフローチャートで説明した処理が実行される。
そして、本実施の形態例の車両用情報処理装置１００ｂで行われる推論モデル切替え処理は、先に第２の実施の形態例で図７のフローチャートで説明した処理が実行される。
但し、本実施の形態例の場合には、周囲環境として混雑度の情報を取得し、取得した混雑度のレベルに応じて、推論モデルを切り替える処理が実行される点が、第１及び第２の実施の形態例と異なる。

すなわち、周囲環境判定部１０８は、周囲環境判定用テーブル１５５を参照することで、車内の混雑度変化の有無を検知する。
例えば、最初の状態が混雑度１であり、状態取得部１０６から取得した値が３トンを超えた場合、混雑度状態が混雑度１から混雑度２に変化しているため、周囲環境判定部１０８は、混雑度が変化したと判定する。

このように混雑度が変化したと判定された場合には、図７のフローチャートのステップＳ１０で周囲環境変化ありと判断される場合（ステップＳ１０のＹＥＳ）に相当し、ステップＳ６以降の処理が実施され、推論の精度が高い推論モデルが選択される。
したがって、本実施の形態例の車両用情報処理装置１００ｂによると、車内の混雑度に変化が発生した場合、推論の精度が高い推論モデルへの切替えが実施されるようになり、自動的に推論の精度が高い推論モデルが選択され、推論の精度低下による誤判定を防ぐことができる。

＜４．変形例＞
なお、本発明は、上述した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上述した第１，第２の実施の形態例では、天候の相違に応じた複数種類の推論モデルを用意し、第３の実施の形態例では、混雑度の相違に応じた複数種類の推論モデルを用意し、推論の精度によって切り替えるようにした。これに対して、その他の条件に応じて、複数種類の推論モデルを用意して切り替えるようにしてもよい。例えば、時間帯ごとの推論モデル（日中の時間帯用の推論モデル、朝夕の時間帯用の推論モデル、夜間の時間帯用の推論モデルなど）を用意して、その時間帯ごとの推論モデルを、推論の精度に応じて切り替えるようにしてもよい。この場合、季節によってそれぞれの時間帯となる時間が変化するが、本発明によると季節変動を考慮することなく、常に最適な時間帯の推論モデルが設定されるようになる。

また、上述した各実施の形態例では、演算部１４０は、第１ＡＩモデル演算部１４１と第２ＡＩモデル演算部１４２とを備えて、特定事象検出用の推論モデルを使った演算と並行して、精度比較用の演算を行うようにした。これに対して、１つのＡＩモデル演算部だけを備えて、切り替えて演算を行うようにして、ハードウェア構成を簡易化してもよい。

例えば、上述した各実施の形態例では、鉄道用の車両の車内表示装置が内蔵する車両用情報処理装置としたが、車内表示装置以外の箇所に、車両用情報処理装置を設置してもよい。また、鉄道用の車両以外の車両（バスなど）に搭載した車両用情報処理装置としてもよい。

また、推論結果として、乗客の転倒の検出を行う点についても一例であり、その他の事象の検出（特定の物体や人物の検出、特定の行動の検出など）を行うようにしてもよい。さらに、乗客の転倒などの事象を検出した推論結果の出力先として、表示部とした点についても一例であり、乗務員が所持した端末や、運行管理センタ側に推論結果を出力してもよい。

また、図１、図３などのブロック図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図４、図５などに示すフローチャートにおいて、処理結果に影響を及ぼさない範囲で、複数の処理を同時に実行したり、処理順序を変更してもよい。

また、各実施の形態例で説明した車両用情報処理装置１００，１００ａ，１００ｂは、図３で説明したように、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置くことができる。
さらに、各実施の形態例では、演算部１４０としてＧＰＵ、ＦＰＧＡ、推論処理に特化したＡＩアクセラレータ等が適用可能と述べたが、車両用情報処理装置１００，１００ａ，１００ｂのその他の一部または全ての構成についても、ＦＰＧＡなどでハードウェア化してもよい。

１１…ＣＰＵ、１２…主記憶装置、１３…演算部、１４…補助記憶装置、１５…バス、１００，１００ａ，１００ｂ…情報処理装置、１０１…画像取得部、１０１ａ…防犯カメラ、１０２…画像入力制御部、１０３…推論結果判定部、１０４…出力制御部、１０５…外部出力部、１０５ａ…ディスプレイパネル、１０６…状態取得部、１０６ａ…重量センサ、１０７…状態入力制御部、１０８…周囲環境判定部、１１０…推論部、１１１…精度算出制御部、１１２…演算処理制御部、１１３…精度判定部、１２１…第１推論モデル、１２２…第２推論モデル、１２３…第３推論モデル、１２９…指定モデル、１３０…モデル選択部、１３１…モデル判定部、１３２…精度比較部、１４０…演算部、１４１…第１ＡＩモデル演算部、１４２…第２ＡＩモデル演算部、１５０…記憶部、１５１…画像記憶部、１５２…比較用精度記憶部、１５３…推論結果記憶部、１５４…指定モデル向け精度記憶部、１５５…周囲環境判定用テーブル、２００…車両、２０１…ドア、２１０…車内表示装置、２１１…表示部

Claims (6)

1. 車両に設置されたカメラから取得した画像を保存する画像記憶部と、
   特性の異なる複数の推論モデルの中から、前記車両の周囲環境に最適な推論モデルを選択するモデル選択部と、
   前記モデル選択部で選択された推論モデルによる推論の精度を算出する精度算出制御部と、を備え、
   前記モデル選択部は前記精度算出制御部で出力された推論の精度に応じて、画像の推論に使用する推論モデルを切替えるようにした
   車両用情報処理装置。
2. 前記周囲環境には時間情報が含まれ、
   前記モデル選択部が選択する複数の推論モデルには、適用される時間に応じた複数の推論モデルを有し、
   前記モデル選択部は、複数の前記推論モデルの中から最も推論の精度が高い推論モデルを選択する
   請求項１に記載の車両用情報処理装置。
3. 前記周囲環境には、前記車両の周辺の天候情報を含み、
   前記モデル選択部が選択する複数の推論モデルには、天候に応じた複数の推論モデルを有し、
   前記モデル選択部は、複数の前記推論モデルの中から最も推論の精度が高い推論モデルを選択する
   請求項１に記載の車両用情報処理装置。
4. 前記情報処理装置において、前記周囲環境は、車両内の乗客による混雑度情報を含み、
   前記モデル選択部が選択する複数の推論モデルには、混雑度に応じた複数の推論モデルを有し、
   前記モデル選択部は、複数の前記推論モデルの中から最も推論の精度が高い推論モデルを自動で選択する
   請求項１に記載の車両用情報処理装置。
5. 前記情報処理装置において、
   前記周囲環境の状態を取得する状態取得部を備え、
   前記モデル選択部は、前記状態取得部から取得する情報に応じて推論モデルを切替える
   請求項１〜４のいずれか１項に記載の車両用情報処理装置。
6. 前記情報処理装置において、
   前記モデル選択部で選択された推論モデルによる演算を実行して前記画像から特定の事象を検出する第１の演算部と、
   前記精度算出制御部で精度を算出するために、複数の推論モデルの演算を実行する第２の演算部と、を備える
   請求項１〜４のいずれか１項に記載の車両用情報処理装置。
   

Images