JP2020135535A - 車両判別方法、車両判別装置および車両判別プログラム - Google Patents

Abstract

【課題】車両施設における車両の状態を、車両を特定しつつ精度よく判別し、車両施設を効率よく運用すること。【解決手段】実施形態に係る車両判別方法は、生成工程と、判別工程とを含む。生成工程は、車両施設の所定の駐停車領域ごとに設けられた第１のカメラによって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、駐停車領域の状態判別モデルを生成する。判別工程は、第１のカメラによって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、駐停車領域に駐停車中の車両のナンバーおよびエンブレムを判別する。【選択図】図２Ｂ

Description

開示の実施形態は、車両判別方法、車両判別装置および車両判別プログラムに関する。

従来、駐車場のような所定の駐停車領域を有する車両施設において、車両の入出場を管理する管理システムが知られている。

このような管理システムでは、たとえば入場ゲート機を通過する入場車両の台数と出場ゲート機を通過する出場車両の台数とを計数し、入場車両の総数から出場車両の総数を減算することによって現状の駐車台数を把握する。そして、かかる駐車台数が所定の最大駐車台数に達する場合は、車両の入場を制限し、最大駐車台数を下回っている場合は、車両の入場を許可するようにしている（たとえば、特許文献１参照）。

特開２００３−１４１５８１号公報

しかしながら、上述した従来技術には、車両施設における車両の状態を、車両を特定しつつ精度よく判別し、車両施設を効率よく運用するうえで、さらなる改善の余地がある。

具体的には、上述した従来技術は、出場ゲート機において出場車両を検出するものであるため、たとえば、出場車両が発車して駐停車領域が空いたとしても、出場車両が出場ゲート機に到達するまでの間は、かかる駐停車領域は満車と判定されてしまう。このため、車両の入場が制限される時間が長くなってしまい、車両施設の稼働率を低下させてしまう。

特に、車両施設がトラック輸送の物流拠点となる物流センターである場合、物流センターは、昨今のインターネットを利用した電子商取引などの飛躍的な普及に伴う物流需要の増加に応じて、施設の大型化や、輸送機会の多頻度化も進んできている。このような物流センターにおいては、荷捌き場ほか、トラックの駐停車領域において、どのトラックがどのような状態にあるのかを精度よく判別し、運用の効率化を図ることが強く望まれている。

なお、こうした車両施設において、車両をカメラで撮影し、画像からナンバーを読み取って車両を判別する技術も知られている。しかし、たとえば複数台の車両を一台のカメラで撮影する場合や、設置場所が限られて近くで撮影できない場合、また、ズーム機能がない安価なカメラを利用している場合など、撮影条件によっては、ナンバーが小さく写ったり、画像の品質が悪かったりしてしまい、車両を判別できないことがある。

実施形態の一態様は、上記に鑑みてなされたものであって、車両施設における車両の状態を、車両を特定しつつ精度よく判別し、車両施設を効率よく運用することができる車両判別方法、車両判別装置および車両判別プログラムを提供することを目的とする。

実施形態の一態様に係る車両判別方法は、生成工程と、判別工程とを含む。前記生成工程は、車両施設の所定の駐停車領域ごとに設けられた第１のカメラによって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、前記駐停車領域の状態判別モデルを生成する。前記判別工程は、前記第１のカメラによって撮像された判別対象分となる撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域に駐停車中の車両のナンバーおよびエンブレムを判別する。

実施形態の一態様によれば、車両施設における車両の状態を、車両を特定しつつ精度よく判別し、車両施設を効率よく運用することができる。

図１Ａは、実施形態に係る車両施設監視システムの概要説明図（その１）である。 図１Ｂは、実施形態に係る車両施設監視システムの概要説明図（その２）である。 図１Ｃは、実施形態に係る車両施設監視システムの概要説明図（その３）である。 図１Ｄは、実施形態に係る車両施設監視システムの概要説明図（その４）である。 図２Ａは、実施形態に係る車両施設監視システムのブロック図である。 図２Ｂは、実施形態に係るサーバ装置のブロック図である。 図３Ａは、第１判別モデルの一例を示す図である。 図３Ｂは、第２判別モデルの一例を示す図である。 図３Ｃは、第３判別モデルの一例を示す図（その１）である。 図３Ｄは、第３判別モデルの一例を示す図（その２）である。 図３Ｅは、第３判別モデルの一例を示す図（その３）である。 図３Ｆは、第３判別モデルの一例を示す図（その４）である。 図３Ｇは、第３判別モデルの一例を示す図（その５）である。 図３Ｈは、第３判別モデルの一例を示す図（その６）である。 図４は、入場車両リストの一例を示す図である。 図５Ａは、スパンの状態パターンの具体例を示す図（その１）である。 図５Ｂは、スパンの状態パターンの具体例を示す図（その２）である。 図５Ｃは、スパンの状態パターンの具体例を示す図（その３）である。 図５Ｄは、スパンの状態パターンの具体例を示す図（その４）である。 図５Ｅは、スパンの状態パターンの具体例を示す図（その５）である。 図６Ａは、全体監視画面の具体例を示す図である。 図６Ｂは、個別監視画面の具体例を示す図（その１）である。 図６Ｃは、個別監視画面の具体例を示す図（その２）である。 図６Ｄは、手動割り当て操作の一例を示す図である。 図７Ａは、実施形態に係る生成部が実行する処理手順を示すフローチャートである。 図７Ｂは、実施形態に係る判別部が実行する処理手順を示すフローチャートである。 図８Ａは、実施形態に係る車両施設監視システムが実行する処理手順を示すフローチャート（その１）である。 図８Ｂは、実施形態に係る車両施設監視システムが実行する処理手順を示すフローチャート（その２）である。 図８Ｃは、実施形態に係る車両施設監視システムが実行する処理手順を示すフローチャート（その３）である。 図８Ｄは、実施形態に係る車両施設監視システムが実行する処理手順を示すフローチャート（その４）である。 図９は、実施形態に係るサーバ装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する車両判別方法、車両判別装置および車両判別プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、車両施設が、トラック輸送の物流拠点となる物流センターである場合を例に挙げて説明を行うが、以下で「トラック」と言った場合、荷室を有し、かかる荷室へ輸送品を積載して、輸送品を物流センターへ搬入または物流センターから搬出することができる車両を広く含むものとする。

まず、実施形態に係る車両判別方法を適用した車両施設監視システムの概要について、図１Ａ〜図１Ｄを参照して説明する。図１Ａ〜図１Ｄは、実施形態に係る車両施設監視システム１の概要説明図（その１）〜（その４）である。

図１Ａに示すように、実施形態に係る車両施設監視システム１は、物流センター２と、サーバ装置１０（「車両判別装置」の一例に相当）とを含む。物流センター２は、輸送品の入荷、保管、ピッキング、流通加工、検品、出荷といった物流に関する各種業務が行われる。

たとえば、物流センター２は、トラックＴが進入可能な複数のフロアを有し、各フロアには、所定の区画であるスパン２１が設けられている。スパン２１は、物流センター２における所定の駐停車領域の一例であって、トラックＴの荷捌き場となる領域である。なお、本実施形態では、物流センター２が複数のフロアを有することとするが、物流センター２は単一のフロア、すなわち、平屋であってもよい。

図１Ａに示すように、スパン２１は、たとえば物流センター２内の柱と柱の間に形成されている。スパン２１内のトラックＴの駐停車箇所は、「バース」と呼ばれる。なお、スパン２１は、複数のトラックを停めることができる寸法を有して形成されている。したがって、スパン２１は、複数のバースを有する。

また、スパン２１は、許容台数が動的に変化するように複数のトラックＴを停車させることができる。言い換えれば、バースの数を動的に変化させることができる。

たとえば、１つのスパン２１には、図中の「４０３」のスパン２１に示すように、大型のトラックＴを２台停車させることができる。また、同じ大きさのスパン２１には、たとえば、小型のトラックＴ（図示略）を２台以上停車させることができる。また、無論、１つのスパン２１には、大型と小型のトラックＴを混在させて停車させることもできる。

なお、ここに言う「大型」、「小型」は、相対的なサイズの大小を指すものであって、車両寸法や最大積載量、車両総重量などによって分類される、「小型トラック」、「中型トラック」、「大型トラック」の規格を指すものではない。以下では、かかる「大型」および「小型」を区分けする必要がある場合については、「大型」のトラックは「トラックＴ１」と、「小型」のトラックは「トラックＴ２」と、それぞれ記載する。

また、図中の「４０４」のスパン２１に示すように、スパン２１は、前述の柱と柱の間にシャッター２２を具備することができる。かかるシャッター２２を閉めることにより、スパン２１は戸締まりされた状態となる。なお、シャッター２２は、「巻き取り式」、「折りたたみ式」、「オーバースライダー式」など、収納方法の違いは問わない。

また、物流センター２は、たとえば敷地内に、トラックＴの待機場２３を有する。待機場２３は、物流センター２における所定の駐停車領域の一例であって、物流センター２内へ入場する前のトラックＴを待機させておく場所である。

そして、車両施設監視システム１は、カメラ２４を備える。カメラ２４は、物流センター２におけるスパン２１および待機場２３ごとに設けられ、各スパン２１および待機場２３をそれぞれ撮像する。

なお、カメラ２４は、たとえば物流センター２内の柱などに、それぞれ特定のスパン２１をたとえば斜め前方などから撮像可能な向きで取り付けられる。また、カメラ２４は、たとえば物流センター２の敷地内の柱などに、待機場２３全体を斜め上方などから撮像可能な向きで取り付けられる。ただし、いずれもカメラ２４の取り付けられる向きを限定するものではない。

また、カメラ２４は、無線カメラであっても、有線カメラであってもよい。無線カメラの場合、カメラ２４の配線を引き回す必要がなく、増設／変更等が容易であるというメリットが得られる。また、カメラ２４は、スチルカメラであってもムービーカメラであってもよい。本実施形態では、カメラ２４は、無線式のスチルカメラであるものとする。

そして、本実施形態では、かかるカメラ２４によって撮像された正例となる撮像画像を用いた機械学習を実行することで、物流センター２における駐停車領域の状態判別モデルを生成することとした。そして、カメラ２４によって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、駐停車領域、たとえばスパン２１それぞれの状態を判別することとした。

具体的には、図１Ａに示すように、車両施設監視システム１は、物流センター２からは、インターネット等のネットワークＮを介して周期的に、各カメラ２４によって撮像された撮像画像を送信する（ステップＳ１）。

そして、サーバ装置１０は、物流センター２から送信された各カメラ２４の撮像画像を収集する（ステップＳ２）。なお、サーバ装置１０は、たとえばクラウドコンピューティングにおけるクラウドサーバとして設けられる。

そして、サーバ装置１０は、収集した撮像画像のうちの正例となる学習対象分を用いた機械学習により、状態判別モデルを生成する（ステップＳ３）。機械学習には、ディープラーニング等、公知のアルゴリズムを用いることができる。

そして、サーバ装置１０は、生成した状態判別モデルにより、たとえば各スパン２１の状態判別を行う（ステップＳ４）。具体的には、サーバ装置１０は、収集した撮像画像のうちの判別対象分を状態判別モデルへ入力し、それによって得られる状態判別モデルからの出力値に基づいて、各スパン２１の状態をリアルタイムに判別する。

たとえばサーバ装置１０は、スパン２１の「満空状態を判別」する。また、サーバ装置１０は、たとえば「シャッター２２の開閉状態を判別」する。本実施形態に係る車両施設監視システム１が判別可能な駐停車領域のこれら判別例については、図５Ａ〜図５Ｅを用いた説明で後述する。

また、サーバ装置１０は、スパン２１に駐停車中の「車両を特定」する。すなわち、サーバ装置１０は、物流センター２において、どのトラックＴがどのスパン２１に駐停車中かを判別する。

具体的には、まず、図１Ｂに示すように、実施形態に係る車両施設監視システム１は、トラックＴの物流センター２への「入場時」および「退場時」において、高精細カメラ２８によるナンバーおよびエンブレムの読み取りを行う（ステップＳ５）。

ここで、「ナンバー」は、ナンバープレートに記載された番号である（図中のＭ１部参照）。ナンバープレートは、登録自動車の自動車登録番号標、軽自動車や自動二輪車といった登録自動車以外の車両番号標、小型特殊自動車や原動機付自転車の標識を含む。

また、「エンブレム」は、トラックＴの前面に取り付けられた、たとえば社章、ロゴタイプ、フードクレストマークなどである（図中のＭ２部参照）。ブランド名、車名、排気量、グレードを表す文字列を含んでもよい。

高精細カメラ２８（「第２のカメラ」の一例に相当）は、前述のカメラ２４より少なくとも解像度が高いカメラであり、物流センター２の入退場口にそれぞれ設けられる。かかる高精細カメラ２８により、トラックＴのナンバーおよびエンブレムを読み取ることによって、物流センター２内へ入場中のトラックＴの識別情報を把握する。

一方で、実施形態に係る車両施設監視システム１は、サーバ装置１０が、カメラ２４から収集した撮像画像のうちの正例となる学習対象分を用いた機械学習により状態判別モデルを生成するが（図１ＡのステップＳ３）、かかる際に、図１Ｃに示すように、サーバ装置１０は、あわせて学習対象分の撮像画像中における車両、ナンバーおよびエンブレムの該当領域（図中の領域ＦＲ１，ＦＲ２，Ｒ１１，Ｒ１２，Ｒ２１，Ｒ２２参照）を機械学習する（ステップＳ６）。

かかるステップＳ６における機械学習のアルゴリズムとしては、たとえば、ディープラーニングの一種である敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）や、ＶＡＥ（Variational Auto Encoder）、ＣＮＮ（Convolutional Neural Network）、ｆａｓｔｅｒ Ｒ−ＣＮＮ（Region-based Convolutional Neural Networks）等を用いることができる。

なお、図１Ｃに示すように、機械学習を用いた画像判別において画像特徴量としてあらわれやすいエンブレムの該当領域（図中の領域Ｒ１２，Ｒ２２参照）を、ナンバーの該当領域（図中の領域Ｒ１１，Ｒ２１参照）に対し組み合わせることによって、判別精度を向上させるのに資することができる。

具体的には、エンブレムは、ナンバーの各文字よりも大きく映りやすいことから、ナンバーの各文字が見えにくい場合でも、少なくともナンバーよりは判別精度は高い。そこで、本実施形態では、ナンバーとエンブレムの両方を判別し、総合的なマッチング率を算出することで、ナンバーのいずれかの文字を誤判別したとしても、車両の判別精度は確保することができる。こうした点については、図３Ｃ〜図３Ｈや、図７Ａ〜図８Ｄを用いた説明で後述する。

ステップＳ６の機械学習の結果、図１Ｄに示すように、サーバ装置１０は、たとえば状態判別モデルの１つとして第３判別モデル１３ｅを生成する。第３判別モデル１３ｅは、複数の各種モデルを含む。サーバ装置１０は、かかる第３判別モデル１３ｅへ判別対象分となる各スパン２１の画像を入力し、その結果、第３判別モデル１３ｅの各種モデルから得られる出力値に基づいて、各スパン２１に駐停車中のトラックＴのナンバーおよびエンブレム（図中のＭ１，Ｍ２部参照）を判別する（ステップＳ７）。

そして、サーバ装置１０は、ステップＳ７における判別結果を、高精細カメラ２８による読み取り結果とマッチングすることによって（ステップＳ８）、車両停車位置を特定する（ステップＳ９）。すなわち、サーバ装置１０は、どのトラックＴが、どのスパン２１のどのバースに駐停車中かを判別する。

そして、サーバ装置１０は、かかるトラックＴの特定を含む各スパン２１の状態を、たとえばサーバ装置１０が備えるディスプレイ等の監視画面へ表示させる。オペレータは、かかる監視画面を確認することによって各スパン２１の状態を把握し、たとえばトラックＴの配車や予約、スパン２１のバースの予約、トラックＴの呼び出し、バースの監視、トラックＴの出庫確認といった物流センター２の運用業務を、効率よく円滑に遂行することができる。

監視画面の具体的な例については、図６Ａ〜図６Ｄを用いた説明で後述する。また、監視画面の表示先は、たとえばオペレータが携帯する携帯情報端末等であってもよい。

このように、本実施形態に係る車両施設監視システム１は、カメラ２４の撮像画像に基づいて生成された状態判別モデルにより、所定の駐停車領域の各状態をリアルタイムに判別することとしたので、駐停車領域の状態を精度よく判別することができる。また、判別される各状態は、前述の「車両を特定」する場合を含むので、たとえば物流センター２のどこのスパン２１のどのバースにどのトラックＴが駐停車中であるか等を把握することができ、物流センター２をより効率よく運用することが可能となる。

以下、上述した実施形態に係る車両施設監視システム１の構成例について、さらに具体的に説明する。

図２Ａは、実施形態に係る車両施設監視システム１のブロック図である。また、図２Ｂは、実施形態に係るサーバ装置１０のブロック図である。なお、図２Ａおよび図２Ｂでは、本実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２Ａおよび図２Ｂに図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

なお、図２Ａおよび図２Ｂを用いた説明では、これまでに既に述べた構成要素については、説明を簡略化するか、省略する場合がある。

図２Ａに示すように、車両施設監視システム１は、物流センター２と、サーバ装置１０とを含む。物流センター２は、複数のスパン２１と、待機場２３と、中継装置２５と、ゲートウェイ装置２６と、入退場口２７と、を有する。

中継装置２５は、たとえば物流センター２の各フロアごとに設けられ、各スパン２１のカメラ２４の撮像画像を集約してたとえば同じく各フロアごとに設けられたゲートウェイ装置２６へ送信する。また、中継装置２５は、入退場口２７の高精細カメラ２８の撮像画像をゲートウェイ装置２６へ送信する。

また、中継装置２５は、たとえば物流センター２の敷地内で、待機場２３のカメラ２４とゲートウェイ装置２６との間に設けられ、待機場２３のカメラ２４の撮像画像をゲートウェイ装置２６へ装置する。中継装置２５を設けることによって、物流センター２が大規模なものであったとしても、各スパン２１、待機場２３および入退場口２７の撮像画像を集約して周期的に収集することが可能となる。

ゲートウェイ装置２６は、物流センター２からネットワークＮへの中継装置であって、たとえばフィールドバスネットワークで中継装置２５と接続され、中継装置２５から受信した撮像画像をネットワークＮへ送信する。

次に、図２Ｂに示すように、サーバ装置１０は、通信部１１と、制御部１２と、記憶部１３とを有する。制御部１２は、収集部１２ａと、抽出部１２ｂと、生成部１２ｃと、取得部１２ｄと、判別部１２ｅと、監視部１２ｆとを有する。

通信部１１は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して物流センター２からカメラ２４または高精細カメラ２８の各撮像画像を受信し、制御部１２へ渡す。

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、サーバ装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory）を作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

記憶部１３は、たとえば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２Ｂの例では、撮像画像ＤＢ（データベース）１３ａと、学習対象分データセット１３ｂと、状態判別モデルとしての第１判別モデル１３ｃ，第２判別モデル１３ｄ，第３判別モデル１３ｅと、入場車両リスト１３ｆと、判別対象分データセット１３ｇと、判別結果ＤＢ１３ｈとを記憶する。

制御部１２は、サーバ装置１０の全体制御を行う。収集部１２ａは、通信部１１を介し、物流センター２から各カメラ２４の撮像画像を収集し、撮像画像ＤＢ１３ａへ格納する。

抽出部１２ｂは、撮像画像ＤＢ１３ａから、機械学習に用いられる正例となる撮像画像、すなわち学習対象分を抽出し、学習対象分データセット１３ｂへ格納する。また、撮像画像ＤＢ１３ａから、物流センター２の運用中において判別対象となる撮像画像、すなわち判別対象分を抽出し、判別対象分データセット１３ｇへ格納する。

生成部１２ｃは、学習対象分データセット１３ｂを取得し、操作部２０を介したユーザ（たとえばオペレータ）からの操作を適宜受け付けつつ、学習対象分データセット１３ｂを用いた機械学習を実行して、状態判別モデルを生成する。

ここで、状態判別モデルの一例について、図３Ａ〜図３Ｈを用いて説明する。図３Ａは、第１判別モデル１３ｃの一例を示す図である。また、図３Ｂは、第２判別モデル１３ｄの一例を示す図である。また、図３Ｃ〜図３Ｈは、第３判別モデル１３ｅの一例を示す図（その１）〜（その６）である。

図３Ａに示すように、たとえば生成部１２ｃは、学習対象分としてスパン２１の完全空車状態の撮像画像を用いた機械学習を実行し（ステップＳ１１）、第１判別モデル１３ｃを生成する。

一方で、図３Ｂに示すように、たとえば生成部１２ｃは、学習対象分としてスパン２１の各状態パターンの撮像画像を用いた機械学習を実行し（ステップＳ１２）、第２判別モデル１３ｄを生成する。

ここで、「状態パターン」とは、物流センター２の運用においてスパン２１に対し起こりうる各状態を指し、たとえば「トラック２台停車」や「トラック１台停車」、「大型・小型が混在」、「シャッターが閉状態」といった各種パターンごとでクラスタリングされている。かかる各状態パターンの学習対象分に基づいて生成される第２判別モデル１３ｄにより、言わばスパン２１が完全空車状態でない場合の状態パターンをモデル化することができる。

そして、図３Ａに戻り、後述する判別部１２ｅは、まず判別対象分の撮像画像を第１判別モデル１３ｃへ入力し、その結果、第１判別モデル１３ｃから得られる出力値に基づいて、学習済みクラスとの乖離度を算出する（ステップＳ１３）。この乖離度がたとえば所定の閾値以下であるならば、入力した撮像画像が示すスパン２１の状態は、完全空車状態であることを示す。また、乖離度が閾値を上回るならば、入力した撮像画像が示すスパン２１の状態は、完全空車状態ではないことを示す。

そして、判別部１２ｅは、図３Ｂに示すように、乖離度が大きかった判別対象分の撮像画像を第２判別モデル１３ｄへ入力し、その結果得られる第２判別モデル１３ｄの出力値（たとえば図中の「分類ＩＤ」）に基づいて、各スパン２１の状態パターンを判別することとなる（ステップＳ１４）。

また、生成部１２ｃは、第３判別モデル１３ｅを生成する。図３Ｃに示すように、たとえば第３判別モデル１３ｅは、第１検知モデル１３ｅａと、第２検知モデル１３ｅｂと、生成モデル１３ｅｃと、第３検知モデル１３ｅｄとを含む。

第１検知モデル１３ｅａは、車両領域（図１Ｃの領域ＦＲ１，ＦＲ２参照）を検知するモデルである。また、第２検知モデル１３ｅｂは、ナンバーおよびエンブレム領域（図１Ｃの領域Ｒ１１，Ｒ１２，Ｒ２１，Ｒ２２参照）を検知するモデルである。

また、生成モデル１３ｅｃは、ナンバー領域画像を高解像化させた高解像画像を生成するモデルである。また、第３検知モデル１３ｅｄは、かかる高解像画像の各文字領域における文字を検知するモデルである。

具体的には、図３Ｄに示すように、まず生成部１２ｃは、学習対象分となる各スパン２１の撮像画像に対して、車両、ナンバーおよびエンブレムの各領域と分類クラスを設定したうえで、かかる学習対象分を用いた機械学習を実行し（ステップＳ１５）、第１検知モデル１３ｅａを生成する。

第１検知モデル１３ｅａは、判別部１２ｅが、判別対象分となる各スパン２１の撮像画像を入力した場合に、かかる撮像画像中における車両領域（図中の領域ＦＲ１参照）を検知して（ステップＳ１６）、出力する。

また、図３Ｅに示すように、生成部１２ｃは、同じく学習対象分の各スパン２１の撮像画像を用いた機械学習を実行し（ステップＳ１７）、第２検知モデル１３ｅｂを生成する。

第２検知モデル１３ｅｂは、判別部１２ｅが、同じく判別対象分の各スパン２１の撮像画像を入力した場合に、かかる撮像画像中におけるナンバーおよびエンブレム領域（図中の領域Ｒ１１，Ｒ１２参照）を検知して（ステップＳ１８）、出力する。あわせて、第２検知モデル１３ｅｂは、エンブレムの分類クラス（図中の「Ａ社」参照）を出力する。

生成部１２ｃは、第３判別モデル１３ｅの生成過程において、これら第１検知モデル１３ｅａおよび第２検知モデル１３ｅｂに対し判別対象分として学習対象分の各画像を入力し、その結果に基づいてナンバー領域の切り出しを行う（ステップＳ１９）。そして、生成部１２ｃは、切り出したナンバー領域画像の高解像化を行う（ステップＳ２０）。

かかる高解像化は、ナンバー領域画像に対し公知の高解像化アルゴリズム（たとえば、ＧＡＮによる「Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Networks」等）を用いた所定の高解像化処理を実行し、かかる高解像化処理後の画像をさらに鮮明にする加工を人手により施すことによって行われる。人手による加工は、操作部２０を介したユーザの操作に基づいて行われる。

なお、人手を加えるのは、一般の高解像化処理では高解像化に限度があるためである。高解像画像を生成するための一般の高解像化処理では、鮮明な画像を一般的な画像処理（ぼかし）で劣化させ、その逆工程を学習することによって行われるが、画像処理によって作り出される劣化と実際の画像の劣化とが一致しないことも多い。このため、学習の結果、生成されるようになる高解像画像が、実はうまく高解像化されていないケースもある。そこで、本実施形態では、所定の高解像化処理によってナンバー領域画像をある程度鮮明にした後に、人手によりさらに鮮明にして高解像化画像とし、次のステップＳ２１での教師データとしている。

人手による鮮明化は、図３Ｅの最下段の高解像画像中に破線の閉曲線で囲んだ各部分として示すように、文字が小さい部分や、輪郭がぼやけやすい部分などに対し施すと好適である。

そして、生成部１２ｃは、図３Ｆに示すように、上述のステップＳ１９で切り出したナンバー領域の切り出し画像、および、ステップＳ２０でこれを高解像化させた高解像画像を学習対象分として用いた機械学習を実行し（ステップＳ２１）、生成モデル１３ｅｃを生成する。

生成モデル１３ｅｃは、判別部１２ｅが、判別対象分となるナンバー領域の切り出し画像を入力した場合に、かかる切り出し画像を高解像化させた高解像画像を出力する（ステップＳ２２）。

また、生成部１２ｃは、図３Ｇに領域Ｃ１〜Ｃ４ほか破線の矩形で囲んだ部分として示すように、図３Ｆで学習対象分となった高解像画像の各文字領域と分類クラスを設定する。

そして、そのうえで図３Ｆに示すように、これら高解像画像を学習対象分として用いた機械学習を実行し（ステップＳ２３）、第３検知モデル１３ｅｄを生成する。

第３検知モデル１３ｅｄは、判別部１２ｅが、判別対象分となるナンバー領域の高解像画像を入力した場合に、たとえば領域Ｃ１〜Ｃ４ごとの分類クラス、すなわち「８」、「５」、「１」、「９」といった、文字領域ごとの文字の判別結果を出力する（ステップＳ２４）。

このように生成された第３判別モデル１３ｅについては、判別部１２ｅは、第２判別モデル１３ｄによって判別された各スパン２１の状態パターンがたとえばトラックＴの駐停車中を示す場合、該当する判別対象分の撮像画像を第３判別モデル１３ｅへ入力し、その結果得られる第３判別モデル１３ｅの出力値に基づいて、各スパン２１に駐停車中のトラックＴのナンバーおよびエンブレムを判別し、トラックＴを特定することとなる。

なお、図３Ａ〜図３Ｈに示した状態判別モデル、および、これを用いた判別方法はあくまで一例であって、状態判別モデルを構成するモデルの数や、各モデルにおけるクラスタリング等を図３Ａ〜図３Ｈに示した例に限定するものではない。たとえば、第１検知モデル１３ｅａおよび第２検知モデル１３ｅｂは、１つのモデルとして生成され、かかるモデルへ判別対象分の各スパン２１の撮像画像を入力した場合に、車両、ナンバーおよびエンブレムの各領域が一度に検知されるようにしてもよい。

図２Ｂの説明に戻る。取得部１２ｄは、通信部１１を介し、物流センター２から高精細カメラ２８の撮像画像を取得し、撮像画像からトラックＴのナンバーを読み取る。なお、取得部１２ｄは、かかる読み取りに第３判別モデル１３ｅを用いることができる。また、取得部１２ｄは、入場口側の高精細カメラ２８の撮像画像から読み取ったナンバーを入場車両リスト１３ｆへ格納する。

ここで、入場車両リスト１３ｆの一例について、図４を用いて説明しておく。図４は、入場車両リスト１３ｆの一例を示す図である。入場車両リスト１３ｆは、物流センター２へ入場中のトラックＴに関する情報であり、たとえば図４に示すように、「入場日時」項目と、「エンブレム」項目と、「ナンバー」項目と、「バース割当」項目と、「バースＩＤ」項目とを含む。「エンブレム」項目は、たとえば「社名」項目を含む。

「入場日時」項目は、該当のトラックＴの入場日時が格納される。入場日時は、たとえば入場口の高精細カメラ２８による撮影日時である。「エンブレム」項目および「ナンバー」項目は、取得部１２ｄによって読み取られたエンブレムおよびナンバーがそれぞれ格納される。

「バース割当」項目は、該当のトラックＴにいずれかのバースが割り当てられているか否かを示す情報が格納される。たとえば、割り当て済みであれば「済」が、割り当て済みでなければ「未」が、それぞれ格納される。

ここで、割り当て済みとは、図１ＤのステップＳ８に示したマッチングにより、該当のトラックＴが駐停車中のバースが特定されている状態を指す。「バースＩＤ」項目は、かかる特定されたバースの識別情報が格納される。

図２Ｂの説明に戻る。また、取得部１２ｄは、退場口側の高精細カメラ２８の撮像画像から読み取ったナンバーに該当するトラックＴを入場車両リスト１３ｆから削除する。なお、取得部１２ｄは、かかる読み取りにおいても第３判別モデル１３ｅを用いることができる。

判別部１２ｅは、判別対象分データセット１３ｇを取得し、これを第１判別モデル１３ｃへ入力して、第１判別モデル１３ｃによる出力値を受け取る。そして、判別部１２ｅは、受け取った出力値に基づいて前述の乖離度を算出し、かかる乖離度が所定の閾値以下であれば、スパン２１を完全空車状態であると判別し、判別結果を判別結果ＤＢ１３ｈへ格納する。

また、判別部１２ｅは、乖離度が閾値を上回るならば、該当する判別対象分の撮像画像を第２判別モデル１３ｄへ入力する。そして、判別部１２ｅは、その結果得られる第２判別モデル１３ｄの出力値に基づいて、各スパン２１の状態パターンを判別し、判別結果を判別結果ＤＢ１３ｈへ格納する。

ここで、図５Ａ〜図５Ｅを用いて、判別部１２ｅが判別する状態パターンの各例について、さらに具体的に説明する。図５Ａ〜図５Ｅは、スパン２１の状態パターンの具体例を示す図（その１）〜（その５）である。

図５Ａには、スパン２１が完全空車状態である状態パターンを示している。なお、図５Ａに示すように、同じ完全空車状態でも、照度が異なる撮像画像を用いた機械学習を実行することによって、時間帯等による明暗の差がある場合であっても、スパン２１の状態を精度よく判別可能な状態判別モデルを生成することができる。かかる点は、図５Ｂ〜図５Ｅに示す状態パターンでも同様とする。

次に、図５Ｂには、スパン２１に大型のトラックＴ１が２台駐停車中の状態を示している。かかる場合、いずれか一方のトラックＴ１が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１にトラックＴ１が２台許容できる場合において、スパン２１が満車状態であるのか、または、一方のバースが空いているのかを判別することが可能となる。

次に、図５Ｃには、スパン２１に大型のトラックＴ１と小型のトラックＴ２とが混在している状態を示している。かかる場合、いずれか一方が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１にトラックＴ１，Ｔ２が混在できる場合において、スパン２１が満車状態であるのか、または、バースに空きがあるのかを判別することが可能となる。

なお、図５Ｃには、スパン２１内のトラックＴ１，Ｔ２のサイズの相対的な大小を例に挙げたが、無論、車両寸法や最大積載量、車両総重量などによって分類される規格通りに「小型トラック」、「中型トラック」、「大型トラック」等をクラスタリングし、機械学習を実行するようにしてもよい。また、無論、メーカーや車種の異同に基づいて撮像画像をクラスタリングし、機械学習を実行するようにしてもよい。

次に、図５Ｄには、スパン２１が具備するシャッター２２の閉状態を示している。かかるシャッター２２の閉状態を含めた機械学習を実行することによって、スパン２１が戸締まり状態であるのかを判別することが可能となる。

なお、図５Ｅに示すように、シャッター２２の閉状態の程度が異なる場合を含めた機械学習を実行することによって生成された状態判別モデルを用いて、スパン２１の撮像画像の判定結果を時系列的に解析することによって、シャッター２２が閉状態から開状態となったのか、開状態から閉状態となったのか、その途中であるのか、あるいは途中で止まっているのか等を判別することも可能である。

この他にも、車両以外の物体、たとえばコンテナや、作業者等の人間等が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１に車両以外の物体が存在していることを判別することが可能となる。また、かかる場合において、スパン２１がトラックＴの進入できない状態であるのか、一方のバースが空いているのか、または、作業者がいるため注意を要するといった状態を判別することが可能となる。

図２Ｂの説明に戻る。また、判別部１２ｅは、判別された各スパン２１の状態パターンがたとえばトラックＴの駐停車中を示す場合、該当する判別対象分の撮像画像を第３判別モデル１３ｅへ入力する。そして、判別部１２ｅは、その結果得られる第３判別モデル１３ｅの出力値に基づいて、駐停車中のトラックＴのナンバーおよびエンブレムを判別する。

また、判別部１２ｅは、判別したトラックＴのナンバーおよびエンブレムと、入場車両リスト１３ｆとをマッチングし、該当するトラックＴが入場車両リスト１３ｆに存在すれば、バースを割り当てる。具体的には、判別部１２ｅは、入場車両リスト１３ｆ中の該当するトラックＴの「バース割当」項目へ「済」を設定するとともに、「バースＩＤ」項目へバースの識別情報を格納する。また、判別部１２ｅは、バースの割り当て結果を判別結果ＤＢ１３ｈへ反映する。

監視部１２ｆは、判別部１２ｅによって判別されたスパン２１の状態を判別結果ＤＢ１３ｈから取得し、所定の監視画面へ表示させる。監視画面は、たとえばサーバ装置１０に接続されたディスプレイ等である表示部３０へ表示される。

また、監視部１２ｆは、少なくともスパン２１ごとの満空状態およびスパン２１のシャッター２２の開閉状態を監視画面へ表示させる。また、監視部１２ｆは、カメラ２４によるスパン２１または待機場２３の最新の撮像画像を監視画面へ表示させる。撮像画像は、たとえば判別結果に対応付けられて判別結果ＤＢ１３ｈへ格納されている。

また、監視部１２ｆは、スパン２１ごとの個別の監視画面において、バースが割り当て済みである、すなわち停車位置を特定済みであるトラックＴの識別情報、たとえばナンバーを表示させる。

ここで、図６Ａ〜図６Ｃを用いて、監視画面の具体例について説明する。図６Ａは、全体監視画面の具体例を示す図である。また、図６Ｂおよび図６Ｃは、個別監視画面の具体例を示す図（その１）および（その２）である。

図６Ａに示すように、物流センター２の全体を監視する全体監視画面は、たとえば少なくともスパン２１ごとの満空状態およびスパン２１のシャッター２２の開閉状態を表示する。なお、図６Ａには、１Ｆに「１０１」〜「１０５」、２Ｆに「２０１」〜「２０５」、３Ｆに「３０１」〜「３０５」、４Ｆに「４０１」〜「４０５」で示される各スパン２１の状態を表示した場合を示しているが、フロア数、スパン数を限定するものではない。

具体的には、全体監視画面は、各フロアのスパン２１を、たとえばそれぞれアイコン表示する。そして、かかる各アイコンに、それぞれ「満」、「０／２」や「１／２」といった分数、「閉」、「ＮＧ」等の、状態を端的に示す文言を表示することによって、各スパン２１の状態をオペレータ等の視認者に視認させる。なお、たとえば「更新」ボタンを押すことによって、最新の状況を表示させることができる。「更新」ボタンは、「手動更新」および「自動更新」の切り替え機能を含んでいてもよい。

たとえば「満」は、そのスパン２１が満車状態であることを示し、判別部１２ｅによって、該当のスパン２１が満車状態であると判別された場合に表示される。

また、たとえば「０／２」や「１／２」といった分数は、そのスパン２１に空きバースがあることを示す。たとえば「０／２」は、判別部１２ｅによって、該当のスパン２１がトラックＴを２台許容できる場合において、完全空車状態であると判別された場合に表示される。

また、たとえば「１／２」は、判別部１２ｅによって、該当のスパン２１がトラックＴを２台許容できる場合において、空きバースが１つある状態であると判別された場合に表示される。

また、たとえば「閉」は、そのスパン２１のシャッター２２が閉状態であることを示し、判別部１２ｅによって、該当のスパン２１のシャッター２２が閉状態であると判別された場合に表示される。図６Ａに示す例では、４Ｆはすべてのスパン２１が「閉」状態にあり、かかる場合において監視部１２ｆは、たとえば４Ｆのフロアをセキュリティ管理することができる。

また、たとえば「ＮＧ」は、そのスパン２１のシャッター２２が異常状態であることを示し、判別部１２ｅによって、たとえば該当のスパン２１のシャッター２２が故障中であると判別された場合等に表示される。判別部１２ｅは、たとえばシャッター２２が途中で止まったままの状態で所定時間が経過した場合等に、かかるシャッター２２を故障中であると判別することができる。

また、図６Ａに示すように、全体監視画面は、たとえば各フロアの空きバースの数を表示させることができる。また、全体監視画面は、待機場２３の最新の撮像画像を表示させることができる。なお、たとえば「撮影」ボタンを押すことによって、さらに最新の撮像画像を表示させることもできる。

また、全体監視画面は、たとえば特定のスパン２１を指定する操作を行うことによって、かかるスパン２１の個別監視画面へと遷移することができる。ここで、１Ｆの「１０２」で示されるスパン２１が指定されたものとする。

すると、図６Ｂに示すように、かかる「１０２」のスパン２１の個別監視画面へと表示を遷移させることができる。個別監視画面では、たとえば指定されたスパン２１における「バースＩＤ」ごとの「満空情報」と、各バースに割り当てられたトラックＴの「ナンバー」と、「駐車時刻」とが表示される。なお、全体監視画面と同様に、たとえば「更新」ボタンを押すことによって、最新の状況を表示させることができる。

また、図６Ｂに示すように、個別監視画面は、該当のスパン２１の最新の撮像画像を表示させることができる。また、たとえば「撮影」ボタンを押すことによって、さらに最新の撮像画像を表示させることもできる。

物流センター２のオペレータは、かかる個別監視画面を視認することによって、該当のスパン２１の詳細な状況、たとえば「１０２」のスパン２１の各バース１０２−０１，１０２−０２には、表示された駐車時刻から、表示されたナンバーの各トラックＴがそれぞれ駐停車中であることを即座に確認することができる。

そして、オペレータは、このような全体監視画面および個別監視画面を視認することによって、空きバースのあるスパン２１を特定し、かかるスパン２１へ停車可能なトラックＴを待機場２３の最新画像を介して選定して、たとえば音声や誘導灯により、誘導することができる。なお、トラックＴのドライバが携帯する携帯情報端末や、トラックＴに搭載されたナビ等の車載装置へ、空きバースの情報を通知することによって誘導してもよい。

ところで、判別部１２ｅがトラックＴのナンバーおよびエンブレムの判別を試みたものの、判別対象分であるカメラ２４の撮像画像の品質や外的要因等により、判別できなかった場合や、誤判別してしまった場合が起こりうる。誤判別してしまった場合、結果として、高精細カメラ２８による読み取り結果とのマッチングにおいてマッチングエラーが生じることとなる。

かかる場合、実施形態に係る車両施設監視システム１は、オペレータによるバースの手動割り当てが可能となるようにしている。ここで、図６Ｃに示すように、たとえば「１０２」のスパン２１のバース１０２−０２について、前述のマッチングエラーが生じたものとする。

すると、かかる場合に、個別監視画面はたとえば、図６Ｃに示すようにマッチングエラーを示す「照合できません」のメッセージを表示させるとともに、「手動割当」ボタンを表示させる。個別監視画面は、オペレータがかかる「手動割当」ボタンを押下することにより、バースの手動割り当てを可能にする手動割り当て操作部を表示させることができる。

図６Ｄは、手動割り当て操作の一例を示す図である。手動割り当て操作部では、図６Ｄに示すように、ＧＵＩウィジェットのドロップダウンリストなどにより、入場車両リスト１３ｆにおいて「バース割当」項目が「未」であるトラックＴのナンバー、すなわち物流センター２へ入場したもののステータスが「バース未割当」であるトラックＴのナンバーが選択可能となっている。

そして、オペレータが、たとえば個別監視画面に表示された該当のスパン２１の撮像画像を視認しつつ、図６Ｄに示すように、特定のトラックＴのナンバーを選択し、「設定」ボタンを押下すると設定内容が確定される。かかる確定により、たとえば判別部１２ｅが、該当のトラックＴにつき、入場車両リスト１３ｆの「バース割当」項目を「済」とし、「バースＩＤ」項目にバースの識別情報を格納して、該当のトラックＴのステータスを「バース割当済」とさせる。

これにより、物流センター２へ入場したものの、カメラ２４の撮像画像の品質や外乱等の影響により、システム上バースが割り当てられていないトラックＴが生じている場合に、容易な操作で、手動割り当てを行うことができる。また、これにより、物流センター２へ入場したトラックＴと、かかるトラックＴが駐停車中のバースとの関連付けの整合性を確保するのに資することができる。すなわち、物流センター２の運用の信頼性を保つのに資することができる。

なお、図６Ａ〜図６Ｄに示した各種画面はあくまで一例であって、車両施設監視システム１において監視する内容や、画面レイアウト等を限定するものではない。

次に、実施形態に係る車両施設監視システム１が実行する処理手順について、図７Ａ〜図８Ｄを用いて説明する。なお、図７Ａおよび図７Ｂを用いては特に、生成部１２ｃが第３判別モデル１３ｅを生成し、判別部１２ｅがこれを用いてナンバーおよびエンブレムを判別する場合の処理手順について説明する。また、図８Ａ〜図８Ｄを用いては、トラックＴの物流センター２への入場時から退場時までの一連の処理手順について説明する。

図７Ａは、実施形態に係る生成部１２ｃが実行する処理手順を示すフローチャートである。また、図７Ｂは、実施形態に係る判別部１２ｅが実行する処理手順を示すフローチャートである。また、図８Ａ〜図８Ｄは、実施形態に係る車両施設監視システム１が実行する処理手順を示すフローチャート（その１）〜（その４）である。

まず、生成部１２ｃが第３判別モデル１３ｅを生成する場合の処理手順から説明する。図７Ａに示すように、かかる生成に先立って、収集部１２ａが、学習対象分となる撮像画像を収集する（ステップＳ１０１）。

そして、生成部１２ｃが、かかる学習対象分に対して、車両、ナンバーおよびエンブレムの各領域と分類クラスを設定する（ステップＳ１０２）。そして、生成部１２ｃは、かかる学習対象分および設定情報から、車両領域を検知する第１検知モデル１３ｅａを機械学習により生成する（ステップＳ１０３）。

また、生成部１２ｃは、同じく学習対象分および設定情報から、ナンバーおよびエンブレム領域を検知する第２検知モデル１３ｅｂを機械学習により生成する（ステップＳ１０４）。

そして、生成部１２ｃは、学習対象分からナンバー領域を切り出す（ステップＳ１０５）。なお、このとき、第２検知モデル１３ｅｂの検知結果を利用してもよいし、利用しなくともよい。

そして、生成部１２ｃは、切り出したナンバー領域画像から、上述したように所定の高解像化処理および人手により高解像画像を生成する（ステップＳ１０６）。

そして、生成部１２ｃは、高解像化前のナンバー領域画像および高解像画像から、高解像画像の生成モデル１３ｅｃを機械学習により生成する（ステップＳ１０７）。また、生成部１２ｃは、高解像画像に対して、文字領域と分類クラスを設定する（ステップＳ１０８）。

そして、生成部１２ｃは、かかる設定情報と高解像画像から、各文字領域の文字を検知する第３検知モデル１３ｅｄを機械学習により生成し（ステップＳ１０９）、処理を終了する。

次に、判別部１２ｅが第３判別モデル１３ｅを用いてナンバーおよびエンブレムを判別する場合の処理手順について説明する。図７Ｂに示すように、かかる判別に先立って、取得部１２ｄが、判別対象分となる撮像画像を取得する（ステップＳ２０１）。

そして、判別部１２ｅは、かかる判別対象分を第１検知モデル１３ｅａへ入力し、第１検知モデル１３ｅａが出力する車両領域を取得する（ステップＳ２０２）。また、判別部１２ｅは、同じく判別対象分を第２検知モデル１３ｅｂへ入力し、第２検知モデル１３ｅｂが出力するナンバーおよびエンブレム領域を取得する（ステップＳ２０３）。また、このとき判別部１２ｅは、エンブレムを判別する。

そして、判別部１２ｅは、取得した車両領域にナンバー領域が含まれる場合、車両と判別する（ステップＳ２０４）。そして、判別部１２ｅは、車両と判別した場合、判別対象分からナンバー領域を切り出す（ステップＳ２０５）。

そして、判別部１２ｅは、切り出したナンバー領域画像を生成モデル１３ｅｃへ入力し、高解像画像を生成する（ステップＳ２０６）。そして、判別部１２ｅは、生成した高解像画像を第３検知モデル１３ｅｄへ入力し、第３検知モデル１３ｅｄが出力する文字領域と分類クラスを取得する（ステップＳ２０７）。

そのうえで、判別部１２ｅは、文字領域から位置関係を特定し、ナンバーを判別する（ステップＳ２０８）。そして、判別部１２ｅは、判別したナンバーとエンブレムを入場車両リスト１３ｆとマッチングして、車両を特定し（ステップＳ２０９）、処理を終了する。

ここで、判別したナンバーおよびエンブレムと、入場車両リスト１３ｆとをマッチングする方法の一例について説明しておく。

判別部１２ｅはたとえば、
上記式（１）により、ナンバーの正解率ＡｃｃＮ（０．０〜１．０）を算出する。ここで、ＡｃｃＩｉは、４桁のナンバーの各数字の正解値（０もしくは１、なおｉはインデックス番号（１〜４））である。

ＡｃｃＣｉは、運輸支局の地域名等、４桁のナンバー以外の各文字の正解値（０もしくは１、なおｉはインデックス番号（１〜ＮＣ））である。ＮＣは、かかる４桁のナンバー以外の文字の数である。αは、４桁のナンバーと、かかる４桁のナンバー以外の文字との結合係数である。運用上、４桁のナンバーを判別できれば十分であるならば、ＮＣ＝０、α＝０．０としてもよい。

そして、判別部１２ｅは、上記式（１）による正解率ＡｃｃＮの算出結果に基づいて、
上記式（２）により、入場車両リスト１３ｆの車両ごとのマッチング率ＡｃｃＴ（０．０〜１．０）を算出する。ここで、ＡｃｃＥは、エンブレムの正解値（０もしくは１）である。βは、ナンバーとエンブレムとの結合係数である。

そして、判別部１２ｅは、上記式（２）により算出したマッチング率ＡｃｃＴが最も大きい車両について、マッチングしたとして判定する。なお、マッチング率ＡｃｃＴが少なくとも所定の閾値を超える場合に限定してもよい。

次に、トラックＴの物流センター２への入場時の処理手順について説明する。図８Ａに示すように、高精細カメラ２８の撮像画像に基づき、取得部１２ｄが、入場車両のナンバーおよびエンブレムを読み取る（ステップＳ３０１）。

そして、読み取りが成功したならば（ステップＳ３０２，Ｙｅｓ）、取得部１２ｄが、読み取ったナンバーおよびエンブレムを入場車両リスト１３ｆへ追加し（ステップＳ３０３）、処理を終了する。また、読み取りが成功しなかったならば（ステップＳ１０２，Ｎｏ）、そのまま処理を終了する。

つづいて、トラックＴが物流センター２へ入場してからの処理手順について説明する。図８Ｂに示すように、カメラ２４がスパン２１を撮像し（ステップＳ４０１）、判別部１２ｅが、状態判別モデルを用い、かかる撮像画像からスパン２１の状態を判別する（ステップＳ４０２）。

そして、スパン２１に駐停車中のトラックＴのナンバーおよびエンブレムが判別された場合（ステップＳ４０３，Ｙｅｓ）、かかるナンバーおよびエンブレムが入場車両リスト１３ｆに存在するならば（ステップＳ４０４，Ｙｅｓ）、判別部１２ｅは、入場車両リスト１３ｆにバースを割り当てる（ステップＳ４０５）。

そして、監視部１２ｆは、たとえばスパン２１の個別監視画面に、満空状態やトラックＴのナンバーを含むスパン２１の状態を表示させて（ステップＳ４０６）、処理を終了する。

一方、判別されたナンバーおよびエンブレムが入場車両リスト１３ｆに存在しないならば（ステップＳ４０４，Ｎｏ）、監視部１２ｆは、マッチングエラーを表示させる（ステップＳ４０７）。そして、監視部１２ｆは、たとえばスパン２１の個別監視画面に、満空状態を含むスパン２１の状態を表示させる（ステップＳ４０８）。また、監視部１２ｆは、同個別監視画面に、手動割当ボタンを表示させて（ステップＳ４０９）、処理を終了する。

また、ステップＳ４０３でナンバーおよびエンブレムが判別されなかった場合（ステップＳ４０３，Ｎｏ）、監視部１２ｆは、たとえばスパン２１の個別監視画面に、満空状態やシャッター２２の開閉状態を含むスパン２１の状態を表示させる（ステップＳ４１０）。そして、監視部１２ｆは、同個別監視画面に、手動割当ボタンを表示させて（ステップＳ４１１）、処理を終了する。

つづいて、手動割り当ての処理手順について説明する。図８Ｃに示すように、まず手動割当ボタンが押下されたか否かが判定される（ステップＳ５０１）。そして、手動割当ボタンが押下された場合（ステップＳ５０１、Ｙｅｓ）、入場車両リスト１３ｆのうち、「バース未割当」の車両リストが表示される（ステップＳ５０２）。なお、手動割当ボタンが押下されない場合（ステップＳ５０１，Ｎｏ）、ステップＳ５０１が繰り返される。

そして、ステップＳ５０２で表示された車両リストから候補が選択され、設定ボタンによって確定がなされる（ステップＳ５０３）。すると、判別部１２ｅが、選択された車両のステータスを「バース割当済」とする（ステップＳ５０４）。そして、処理を終了する。

つづいて、トラックＴの物流センター２からの退場時の処理手順について説明する。図８Ｄに示すように、高精細カメラ２８の撮像画像に基づき、取得部１２ｄが、退場車両のナンバーを読み取る（ステップＳ６０１）。

そして、読み取りが成功したならば（ステップＳ６０２，Ｙｅｓ）、取得部１２ｄが、読み取ったナンバーの該当車両を入場車両リスト１３ｆから削除し（ステップＳ６０３）、処理を終了する。また、読み取りが成功しなかったならば（ステップＳ６０２，Ｎｏ）、そのまま処理を終了する。

ところで、上述してきた実施形態に係るサーバ装置１０は、たとえば図９に示すような構成のコンピュータ６０によって実現される。図９は、実施形態に係るサーバ装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インタフェース（Ｉ／Ｆ）６５、入出力インタフェース（Ｉ／Ｆ）６６、およびメディアインタフェース（Ｉ／Ｆ）６７を備える。

ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース６５は、通信ネットワークを介して他の機器からデータを受信してＣＰＵ６１へ送り、ＣＰＵ６１が生成したデータを、通信ネットワークを介して他の機器へ送信する。

ＣＰＵ６１は、入出力インタフェース６６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ６１は、入出力インタフェース６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インタフェース６６を介して出力装置へ出力する。

メディアインタフェース６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインタフェース６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

たとえば、コンピュータ６０が実施形態に係るサーバ装置１０として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、制御部１２の各機能を実現する。また、ＨＤＤ６４には、記憶部１３内のデータが記憶される。コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。

上述してきたように、実施形態に係るサーバ装置１０（「車両判別装置」の一例に相当）は、生成部１２ｃと、判別部１２ｅとを備える。生成部１２ｃは、物流センター２（「車両施設」の一例に相当）におけるスパン２１（「所定の駐停車領域」の一例に相当）ごとに設けられたカメラ２４（「第１のカメラ」の一例に相当）によって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、スパン２１の状態判別モデルを生成する。判別部１２ｅは、カメラ２４によって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、スパン２１に駐停車中の車両のナンバーおよびエンブレムを判別する。

したがって、実施形態に係るサーバ装置１０によれば、物流センター２におけるトラックＴの状態を、トラックＴを特定しつつ精度よく判別し、物流センター２を効率よく運用することができる。

なお、上述した実施形態では、「ナンバー」に、たとえば「大阪 ＸＸ と １２−３４」のように地名、分類番号（ＸＸ）、１文字のひらがな文字またはアルファベット文字が含まれる場合を例に挙げたが、これに限られるものではない。たとえば、一連指定番号または車両番号に該当する「１２−３４」の部分だけを「ナンバー」としてもよい。かかる場合、機械学習時の領域Ｒ１１，Ｒ２１は、ナンバープレート全体ではなく、この数字４桁部分のみとしてもよい。

また、上述した実施形態では、入退場時にトラックＴを撮像するカメラが高精細カメラ２８であることとしたが、入退場時においてトラックＴのナンバーが十分に読み取り可能であれば、カメラ２４と同程度の解像度のカメラを用いてもよい。

また、上述した実施形態では、機械学習により、主にスパン２１の状態を判別する場合を例に挙げたが、無論、待機場２３の状態を判別するようにしてもよい。すなわち、待機場２３の撮像画像に基づいて機械学習を実行し、生成された状態判別モデルによって、たとえば待機場２３の各駐停車スペースの満空状態や、駐停車中のトラックＴのサイズや、ナンバーおよびエンブレム等を判別するようにしてもよい。

このように、待機場２３の状態を判別可能とすることにより、たとえばあるスパン２１のバースが空いたと判別された場合に、かかるバースへ進入可能なサイズであり、かつ、より長く待機しているトラックＴを自動的に選定して、音声や誘導灯により、システムが自動的に誘導することが可能となる。

また、トラックＴの誘導業務については、他の車両誘導システムが導入され、これにより運用されている場合に、車両施設監視システム１は、スパン２１および待機場２３の状態の判別結果を、かかる他の車両誘導システムへ連携させるようにしてもよい。

これにより、物流センター２に複数のベンダによる複数のシステムが導入され、運用されている場合であっても、車両施設監視システム１の判別結果に基づいて、物流センター２を効率よく円滑に運用することが可能となる。

また、上述した実施形態では、車両前部のナンバーおよびエンブレムが撮像される場合を例に挙げたが、車両後部のナンバーおよびエンブレムが撮像される場合であってもよい。

また、上述した実施形態では、車両施設が物流センター２である場合を例に挙げたが、無論、車両施設を限定するものではない。たとえば、大型商業施設の駐車場などであってもよい。

また、上述した実施形態では、サーバ装置１０が、収集部１２ａと、抽出部１２ｂと、生成部１２ｃと、取得部１２ｄと、判別部１２ｅと、監視部１２ｆとを有する場合を例に挙げたが、たとえば収集部１２ａや、生成部１２ｃ、判別部１２ｅ、監視部１２ｆ等が、それぞれの機能に特化した個別の専用装置として構成され、ネットワークＮを介して情報のやり取りを行いつつ、全体として車両施設監視システム１の機能を実現してもよい。

また、上述した実施形態では、機械学習のアルゴリズムとしてディープラーニングを用いるものとしたが、用いるアルゴリズムを限定するものではない。したがって、ＳＶＭ（Support Vector Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、状態判別モデルを生成してもよい。また、ここで、パターン識別器はＳＶＭに限らず、たとえばアダブースト（AdaBoost）などであってもよい。また、ランダムフォレストなどを用いてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 車両施設監視システム
２ 物流センター
１０ サーバ装置
１２ａ 収集部
１２ｂ 抽出部
１２ｃ 生成部
１２ｄ 取得部
１２ｅ 判別部
１２ｆ 監視部
１３ｂ 学習対象分データセット
１３ｃ 第１判別モデル
１３ｄ 第２判別モデル
１３ｅ 第３判別モデル
１３ｅａ 第１検知モデル
１３ｅｂ 第２検知モデル
１３ｅｃ 生成モデル
１３ｅｄ 第３検知モデル
１３ｆ 入場車両リスト
１３ｇ 判別対象分データセット
２１ スパン
２２ シャッター
２３ 待機場
２４ カメラ
２８ 高精細カメラ

Claims (10)

1. 車両施設の所定の駐停車領域ごとに設けられた第１のカメラによって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、前記駐停車領域の状態判別モデルを生成する生成工程と、
   前記第１のカメラによって撮像された判別対象分となる撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域に駐停車中の車両のナンバーおよびエンブレムを判別する判別工程と
   を含むことを特徴とする車両判別方法。
2. 前記生成工程は、
   前記正例となる撮像画像に対して車両、ナンバーおよびエンブレムの該当領域、ならびに、分類クラスを設定し、前記正例となる撮像画像を用いた機械学習を実行することによって、前記判別対象分となる撮像画像が入力された場合に、該判別対象分における車両、ナンバーおよびエンブレムを検知する検知モデルを前記状態判別モデルの１つとして生成する
   ことを特徴とする請求項１に記載の車両判別方法。
3. 前記生成工程は、
   前記検知モデルによって検知されたナンバーの該当領域を切り出して高解像化し、高解像化の前後の画像を用いた機械学習を実行することによって、前記検知モデルによって検知されたナンバーの該当領域が入力された場合に当該該当領域の高解像画像を生成する生成モデルを前記状態判別モデルの一つとして生成する
   ことを特徴とする請求項２に記載の車両判別方法。
4. 前記生成工程は、
   切り出したナンバーの該当領域に対し所定の高解像化処理を実行し、該高解像化処理後の画像をさらに鮮明にする加工を人手により施した画像を、高解像化後の画像として機械学習を実行する
   ことを特徴とする請求項３に記載の車両判別方法。
5. 前記生成工程は、
   前記生成モデルによって生成された前記高解像画像に対してナンバーの各文字の該当領域、および、分類クラスを設定し、前記高解像画像を用いた機械学習を実行することによって、前記判別対象分となる撮像画像におけるナンバーの該当領域を高解像化した前記高解像画像が入力された場合に、前記判別対象分におけるナンバーの各文字を検知する文字検知モデルを前記状態判別モデルの１つとして生成する
   ことを特徴とする請求項３または４に記載の車両判別方法。
6. 前記判別工程は、
   前記文字検知モデルによって検知された各文字、および、各文字の該当領域の位置関係に基づいて、車両のナンバーを判別する
   ことを特徴とする請求項５に記載の車両判別方法。
7. 前記判別工程は、
   前記車両施設の少なくとも入場口に設けられ、入場時における車両のナンバーおよびエンブレムを撮像可能に設けられた第２のカメラの撮像画像に基づいて取得された車両のリストと、前記出力値に基づいて判別された車両のナンバーおよびエンブレムとをマッチングし、マッチングが成立した場合に、車両を特定する
   ことを特徴とする請求項１〜６のいずれか一つに記載の車両判別方法。
8. 前記判別工程は、
   少なくとも、前記出力値に基づいて判別された車両のナンバーの各文字と、前記リスト中の車両のナンバーの各文字との正解率に基づいて前記リスト中の車両ごとのマッチング率を算出し、当該マッチング率が最も大きい車両についてマッチングが成立したと判定する
   ことを特徴とする請求項７に記載の車両判別方法。
9. 車両施設の所定の駐停車領域ごとに設けられた第１のカメラによって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、前記駐停車領域の状態判別モデルを生成する生成部と、
   前記第１のカメラによって撮像された判別対象分となる撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域に駐停車中の車両のナンバーおよびエンブレムを判別する判別部と
   を備えることを特徴とする車両判別装置。
10. 車両施設の所定の駐停車領域ごとに設けられた第１のカメラによって撮像された正例となる撮像画像における車両のナンバーおよびエンブレムの該当領域が少なくとも特徴ベクトルに含まれるように機械学習を実行することによって、前記駐停車領域の状態判別モデルを生成する生成手順と、
    前記第１のカメラによって撮像された判別対象分となる撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域に駐停車中の車両のナンバーおよびエンブレムを判別する判別手順と
    をコンピュータに実行させることを特徴とする車両判別プログラム。