JP2021086467A - 交通量計測装置 - Google Patents

Abstract

【課題】 信頼性の高い交通量計測装置を提供する。【解決手段】 撮像部５０は、道路など自動車が通行する箇所を撮像するように設置され、連続撮像画像（動画）を出力する。車両認識手段５２は、連続撮像画像の各静止画に含まれる車両を認識し、当該車両をバウンダリーボックス６０で囲って出力する車両通過判断手段５４は、上記認識した車両のバウンダリーボックス６０が、連続撮影画像において自動車の移動軌跡と交わるように設定された通過線６２を跨ぐかどうかを判断し、車両が通過したかどうかを判断する。車両通過判断手段５４によって通過した車両を判断し、その数を計数することで交通量の計測を行うことができる。通過線６２とバウンダリーボックス６０を用いて通過の有無を判断しているので、精度良く自動車の通過を判断することができる。【選択図】 図１

Description

この発明は、撮像した画像から、自動車などの移動量を計測する装置に関するものである。

交通量の調査においては、調査員が車両の通過台数の計測を行うようにしている。このような交通量調査を自動化するためのシステムが提案されている。たとえば、特許文献１には、カメラによって自動車の動きを撮像し、その撮像画像に基づいて、車両の通過台数を計測するシステムが開示されている。

このシステムによれば、調査員を配置することなく交通量調査を行うことができ、コスト低減や大規模調査における人員確保の問題を解消することができる。

特許５６５６５４７

しかしながら、画像に基づいて交通調査を行うシステムにおいては、車両の通過台数を正確に把握することが容易ではなかった。このため、自動化したシステムによる交通量調査の信頼性が低下するおそれがあった。この点、特許文献１においても、画像に基づいて車両の通過台数をどのように計数するのかについて、具体的な記述はなされていない。

この発明は上記のような問題点を解決して、信頼性の高い交通量計測装置を提供することを目的とする。

この発明の独立して適用可能な特徴を以下に列挙する。

(1)(2)この発明に係る交通量計測装置は、車両の通行する所定のエリアを固定的に撮像して連続撮像画像を出力する撮像部と、前記連続撮像画像に含まれる車両を認識し、車両領域を設定する車両認識手段と、前記所定のエリアの撮像画像において設定された通過線に基づいて、前記連続撮像画像において、前記車両領域が当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段とを備えている。

したがって、車両の通過を正確に判断して交通量を計測することができる。

(3)この発明に係る交通量計測装置は、前記通過線は２つ設定されており、前記車両通過判断手段は、車両領域が前記２つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴としている。

したがって、より正確に通過判定を行うことができる。

(4)この発明に係る交通量計測装置は、通過線は、車両の移動方向の手前から第１通過線、第２通過線の２つ設定されており、前記車両通過判断手段は、車両領域が第１通過線に交差した後、第２通過線に交差した場合に、車両の通過であると判断することを特徴としている。

したがって、通過方向も考慮して計数を行うことができる。

(5)この発明に係る交通量計測装置は、車両通過判断手段は、前記車両領域の重心位置が第１通過線を通過したかどうかによって交差したかどうかを判断し、前記車両領域の上辺または底辺が第２通過線を通過したかどうかによって交差したかどうかを判断することを特徴としている。

したがって、より正確に通過の有無を判断することができる。

(6)この発明に係る交通量計測装置は、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する部位抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段とを備え、前記車両通過判断手段は、前記大小推定手段の推定結果に基づいて、大型車、小型車を区別して、車両通過数を計数することを特徴としている。

したがって、大型車小型車を区別して計数することができる。

(7)この発明に係る交通量計測装置は、大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴としている。

したがって、より正確に推定を行うことができる。

(8)この発明に係る交通量計測装置は、部位抽出手段は、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴としている。

したがって、これら領域に基づいて、大型小型の推定を行うことができる。

(9)この発明に係る交通量計測装置は、大小推定手段は、前記抽出された車両画像も推定の根拠に用いることを特徴としている。

したがって、より正確に推定を行うことができる。

(10)この発明に係る交通量計測装置は、大小推定手段が、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴としている。

したがって、より正確に推定を行うことができる。

(11)この発明に係る交通量計測装置は、大小推定手段が、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴としている。

したがって、より正確に推定を行うことができる。

(12)この発明に係る交通量計測装置は、車両認識手段が、少なくとも乗用車、バス、トラックの車種を判断するものであり、大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴としている。

したがって、より正確に推定を行うことができる。

「車両認識手段」は、実施形態においては、ステップＳ２０４がこれに対応する。

「車両通過判断手段」は、実施形態においては、ステップＳ２２３〜Ｓ２３８がこれに対応する。

「大小推定手段」は、少なくとも大型車であるか小型車であるかの区別を行うものであり、車種の判断をおこなうものも含む概念である。実施形態においては、ステップＳ１２がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による交通量計測装置の機能構成図である。 交通量計測装置のハードウエア構成である。 交通量計測プログラムのフローチャートである。 交通量計測プログラムのフローチャートである。 撮像画像と車両を認識したバウンダリーボックスである。 学習のためのデータを示す図である。 車両認識のための学習処理のフローチャートである。 認識画像における車両通過判断処理を示す図である、 交差点での通過車両判断を示す図である。 通過量計測を信号機の制御に用いたシステム例である。 この発明の第２の実施形態による交通量計測装置の機能構成図である。 車推定プログラムのフローチャートである。 撮像画像と車両認識画像と部位推定画像の例である。 車両認識のための学習処理のフローチャートである。 学習のためのデータを示す図である。 車両を切り出した画像の例である。 部位推定のための学習処理のフローチャートである。 部位推定のための学習データを示す図である。 大小推定のための学習処理のフローチャートである。 学習のためのデータを示す図である。 車種の修正のためのテーブルである。 第３の実施形態による交通量計測装置の機能構成である。 ゲートの外観を示す図である。 ハードウエア構成を示す図である。 制御プログラムのフローチャートである。

１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による交通量計測装置の機能構成を示す。撮像部５０は、道路など自動車が通行する箇所を撮像するように設置され、連続撮像画像（動画）を出力する。車両認識手段５２は、連続撮像画像の各静止画に含まれる車両を認識し、当該車両をバウンダリーボックス６０で囲って出力する。車両認識手段４は、たとえば、車両の画像にて学習させた推論手段によって構築することができる。

車両通過判断手段５４は、上記認識した車両のバウンダリーボックス６０が、連続撮影画像において自動車の移動軌跡と交わるように設定された通過線６２を跨ぐかどうかを判断し、車両が通過したかどうかを判断する。

車両通過判断手段５４によって通過した車両を判断し、その数を計数することで交通量の計測を行うことができる。通過線６２とバウンダリーボックス６０を用いて通過の有無を判断しているので、精度良く自動車の通過を判断することができる。

1.2ハードウエア構成
図２に、交通量計測装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、カメラ２、ハードディスク３６、ＤＶＤ−ＲＯＭドライブ３８、キーボード／マウス４０、通信回路４２が接続されている。

通信回路４２は、インターネットに接続するためのものである。ハードディスク３６には、オペレーティングシステム４４、交通量計測プログラム４６が記録されている。交通量計測プログラム４６は、オペレーティングシステム４４と協働してその機能を発揮するものである。

これらプログラムは、ＤＶＤ−ＲＯＭ４８に記録されていたものを、ＤＶＤ−ＲＯＭドライブ３８を介して、ハードディスク３６にインストールしたものである。

1.3交通量計測処理
図３、図４に、交通量計測プログラム４６のフォローチャートを示す。ＣＰＵ３０は、カメラ２による撮像画像を取得し、ハードディスク３６に記録する。この実施形態では、動画として撮像を行っている。図５Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からの固定的なアングルにて撮像を行っている。

ＣＰＵ３０は、ハードディスク３６に記録された撮像画像の１フレームを取得する（ステップＳ２０２）。この実施形態では、撮像画像が記録されるとリアルタイムでこれを読み出して処理を行うようにしている。しかし、撮像画像を一旦記録しておき、後に、交通量計測処理を行うようにしてもよい。

ＣＰＵ３０は、取得した１フレームの撮像画像に含まれる車両を認識し、図５Ｂに示すように、当該車両が内接されるバウンダリーボックス（矩形領域）を生成する（ステップＳ２０４）。この実施形態では、かかる認識処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

学習処理において、まず、図６Ａに示すような車両の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。

この時、車両を撮像するアングルは、できるだけ実際に運用する場合のアングルに近いものであることが好ましい。たとえば、図４Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示する。ユーザは、画像を見ながら、キーボード／マウス４０を操作して、図６Ｂに示すように車両部分を矩形（バウンダリーボックス）で囲う。

これにより、図６Ｃに示すように、バウンダリーボックスの左上座標、右下座標（二次元画像中の座標）が記録された解析データと、オリジナル画像データとが対応付けられてハードディスク３６に記録される。

上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、ハードディスク３６に記録されることになる。

図７に、車両認識のために、推定モデル（ディープラーニング）を学習する処理のフローチャートを示す。

ＣＰＵ３０は、ハードディスク３６からオリジナル画像を取得する（ステップＳ５２）。たとえば、図６Ａに示すようなオリジナル画像を読み出す。次に、ＣＰＵ３０は、オリジナル画像について、学習済みの推定モデル（ディープラーニング）により、車両認識を行ってバウンダリーボックスを生成する（ステップＳ５４）。

次に、ＣＰＵ３０は、オリジナル画像に対応づけて記録されている解析データ（図６Ｃ）を読み出す（ステップＳ５８）。続いて、ＣＰＵ３０は、図６Ｃの解析データを教師データとし、車両認識の結果に基づいて、ステップＳ５４における推定のためのパラメータを学習する（ステップＳ６０）。

以上のようにして、学習済みの推論モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。

なお、学習済みの推論モデルとして、YOLOなどのプログラムを用いてもよい。また、YOLOなどのプログラムを追加学習して用いるようにしてもよい。

図３のステップＳ２０４においては、ＣＰＵ３０は、このようにして生成された推論モデルを用いて、撮像された画像（図５Ａ）に写し出された車両を認識し、図５Ｂに示すようにバウンダリーボックスにて囲う。

次に、ＣＰＵ３０は、図５Ｂのように認識された各バウンダリーボックスに、車両ＩＤを付与する（ステップＳ２０６〜Ｓ２１６）。ここで、車両ＩＤとは、撮像画像中に写し出された車両を特定するためのＩＤである。この実施形形態では、異なるフレームの画像であっても、同一の車両に対しては同一の車両ＩＤを付すようにしている。以下、車両ＩＤの付与を詳細に説明する。

ＣＰＵ３０は、撮像画像中の車両のバウンダリーボックスの一つを対象バウンダリーボックスとして選択する（ステップＳ２０８）。ＣＰＵ３０は、このバウンダリーボックスにおける車両と類似する車両が、前のフレームにおいて画面上の車両進行方向について逆（後）方向の位置にあったかどうかを判断する（ステップＳ２１０）。あれば、先のフレームにおいて当該車両に与えられている車両ＩＤを引き継いで、今回のフレームの当該車両に与える（ステップＳ２１２）。なければ、当該車両は初めて撮像されたものであると判断し、当該車両に新たな車両ＩＤを付す（ステップＳ２１４）。

なお、ノイズ画像などにより、前のフレームにおいて登場しているにも拘わらず、類似している車両がないと判断されることがある。この場合に、新たな車両ＩＤを付すことは妥当ではない。そこで、この実施形態では、図５Ａの線２００を完全に超えたバウンダリーボックスについては、必ず前のフレームにおいて同一車両が登場しているものとして処理を行うようにしている。具体的には、１フレームの間に車両が移動する平均的距離を考慮して、前のフレームにおいて当該位置に存在する車両を同一の車両であるとする。

ＣＰＵ３０は、一つのバウンダリーボックスについて以上の処理を行うと、次のバウンダリーボックスについて同様の処理を行う。これを、全てのバウンダリーボックスについて行うことで、１フレームの撮像画像のすべてのバウンダリーボックスについて車両ＩＤを与えることができる。

たとえば、図８Ａに示すように、１フレームの撮像画像の全てのバウンダリーボックス（車両画像は省略している）について車両ＩＤ（Ｃ１〜Ｃ４）が与えられたものとする。

ＣＰＵ３０は、このうちの一つのバウンダリーボックスに着目する（ステップＳ２２０）。たとえば、車両ＩＤ＝Ｃ４のバウンダリーボックスに着目したとする。ＣＰＵ３０は、バウンダリーボックスＣ４の重心と底辺の中心点の位置の算出する（ステップＳ２２２）。図においては、これを点にて示している。

ＣＰＵ３０は、このバウンダリーボックスＣ４が、第１通過線６２ａを通過したかどうかを判断する（ステップＳ２２４）。ここで、第１通過線６２ａは、操作者が撮像画像をディスプレイ３４に表示しながら、キーボード／マウス４０によって予め設定されたものである。第２通過線６２ｂも同様である。

第１通過線６２ａは、車両の通過方向において、第２通過線６２ｂよりも上流に設けるようにしている。

この実施形態では、ＣＰＵ３０は、1)バウンダリーボックスの重心が第１通過線６２ａよりも下流側にあること、および、2)１つ前のフレームにおいて、同じ車両ＩＤのバウンダリーボックスの重心が第１通過線６２ａより上流側にあることの２つの条件が満たされた時、第１通過線６２ａを通過したと判断する。

図８Ａにおいて、バウンダリーボックスＣ４は、第１通過線６２ａより上流側にあるので、第１通過線６２ａを通過したとは判断されない。

したがって、第１通過フラグは降りたままであるので（第１通過フラグは初期状態において降りている）、ステップＳ２２８を経て、バウンダリーボックスＣ４についての処理が終了する。

ＣＰＵ３０は、上記と同じようにして、他のバウンダリーボックスＣ１、Ｃ２、Ｃ３についてもステップＳ２１８〜Ｓ２３６の処理を行う。全ての対象車両ＩＤについての処理を終えると、ＣＰＵ３０は、ハードディスク３６から次のフレームの撮像画像を取得する（ステップＳ２０２）。

取得した撮像画像について車両を認識し、バウンダリーボックスを生成する（ステップＳ２０４）。さらに、これらのバウンダリーボックスに対して、車両ＩＤを付す（ステップＳ２０６〜Ｓ２１６）。この状態を図８Ｂに示す。

続いて、このフレーム中の各バウンダリーボックスに対し、第１通過線６２ａ、第２通過線６２ｂを通過したかどうかの判断を行う。たとえば、バウンダリーボックスＣ４は、その重心が第１通過線６２ａより下流側にあり、１フレーム前の画像（図８Ａ）では、第１通過線６２ａより上流側にあった。したがって、ＣＰＵ３０は、バウンダリーボックスＣ４が第１通過線６２ａを通過したと判断し、第１通過フラグ６２ａを立てる（ステップＳ２２６）。

続いて、ＣＰＵ３０は、バウンダリーボックスＣ４の底辺中心点が第２通過線６２ｂを通過したかどうか判断する（ステップＳ２３０）。ＣＰＵ３０は、1)バウンダリーボックスの底辺中心点が第２通過線６２ｂよりも下流側にあること、および、2)１つ前のフレームにおいて、同じ車両ＩＤのバウンダリーボックスの底辺中心点が第２通過線６２ｂより上流側にあることの２つの条件が満たされた時、第２通過線６２ｂを通過したと判断する。

図８Ｂの状態においては、バウンダリーボックスＣ４の底辺中心点は、第２通過線６２ｂより上流にあるので、第２通過線６２ｂを通過していないと判断される。

したがって、第２通過フラグは降りたままであるので（第２通過フラグは初期状態において降りている）、ステップＳ２３０を経て、バウンダリーボックスＣ４についての処理が終了する。

ＣＰＵ３０は、上記と同じようにして、他のバウンダリーボックスＣ１、Ｃ２、Ｃ３についてもステップＳ２１８〜Ｓ２３６の処理を行う。全ての対象車両ＩＤについての処理を終えると、ＣＰＵ３０は、ハードディスク３６から次のフレームの撮像画像を取得する（ステップＳ２０２）。

このようにして、図８Ｃ、図８Ｄ、図８Ｅ、図８Ｆのフレーム画像について、順次処理が行われる。バウンダリーボックスＣ４は、図８Ｆのフレーム画像において、第２通過線６２ｂを通過する。したがって、ＣＰＵ３０は、ステップＳ２３０からＳ２３２に進み、第２通過フラグを立てる。

これにより、第１通過フラグ、第２通過フラグの双方が立ったので、ＣＰＵ３０は、バウンダリーボックスＣ４について、通過車両であると判断する（ステップＳ２３８）。そして、通過台数をインクリメントして計数し記録する。

なお、このようにして通過が確認されて計数されたバウンダリーボックスＣ４の車両は、その後の処理対象とする必要はないので、ステップＳ２１８〜Ｓ２３６の処理の対象となる処理対象車両から外す。

なお、この実施形形態では、反対車線の車両などで、第２通過線６２ｂを先に通過し、第１通過線６２ａを後に通過した車両は、通過車両であると計数しないようにしている。

以上のようにして、第１通過線６２ａを通過した後、第２通過線６２ｂを通過した車両について、通過車両として計数を行うことができる。

1.4その他
(1)上記実施形態においては、第１通過線６２ａを通過した後、第２通過線６２ｂを通過した車両について、通過車両として計数を行うようにしている。しかし、第２通過線６２ｂを通過した後、第１通過線６２ａを通過した車両について、反対方向の通過車両として計数を行うようにしてもよい。

(2)上記実施形態では、第１通過線６２ａについては重心、第２通過線６２ｂについては底辺中心点によって通過の有無を判断している。しかし、双方とも、重心または底辺中心線を用いて判断してもよい。また、上辺中心点などバウンダリーボックスの他の点を用いてもよい。

(3)上記実施形態では、２つの通過線を用いて通過を判断している。しかし、３つ以上の通過線を用い、これらを順に通過した場合に、通過したものと判断するようにしてもよい。また、１つの通過線のみを設け、この通過線を通過したことにより、車両が通過したものと判断するようにしてもよい。この場合、時系列のフレームにおける車両の位置から、いずれの方向に通過したかを判断するようにしてもよい。

(4)上記実施形態では、一方向に車両が移動する車道についての交通量を計測している。しかし、図９に示すように交差点を撮像画像とし、交差点の入口（出口）において通過線６２ａ〜６２ｈを設け、通過方向も含めて計数すれば、交差点の通行量を詳細に把握することができる。

これにより、図９のIからIV、IからVI、IからVIII、IからII（Ｕターン）など（II以下についても同様）、いずれの方向から来ていずれの方向に進んだかを計数することができる。

この計数データに基づいて、図１０に示すような信号制御システムを構築することができる。交通量計測装置にて計測した交差点の通行量（たとえば、３０分前の通行量）に基づいて、信号制御装置が、信号の青の時間、赤の時間、青矢印の時間などを制御する。交通量計測装置が信号制御装置を兼ねていてもよい。

たとえば、信号制御装置は、IからVIへの車両通過量とVからIIへの車両通量との合計値と、IIIからVIIIへの車両通過量とVIIからIVへの車両通過量との合計値を比較し、その比率に応じて、信号機２５０（２５６）の青の時間と信号機２５２（２５４）の青の時間の比率を制御する。また、IからVIへの車両通行量とIからIVへの車両通行量との比率に応じて、信号機２５０の青の時間と青矢印の時間の比率を制御する。

また、交差点に入る手前の道路において通行量を計数して、将来の交差点における通過量を予測し、これに基づいて信号機を制御するようにしてもよい。

(6)上記実施形態によって計数した車両通過量を、交差点における右折レーンの長さの設計のために用いることができる。たとえば、図１０の交差点において、IからIVへの車両通行量に基づいて、Iに設ける右折レーンの長さを算出することができる。

たとえば、このような交差点における交通量情報をサーバ装置に記録しておき、端末装置にインストールされた道路設計ソフトウェアにてこの情報を取得し、これに基づいて右折レーンの長さを提案して設計者に提示するようにしてもよい。

(7)上記実施形態によって計数した車両通行量に基づいて、累積の道路通行量がしきい値を超えたら、道路補修時期である旨のワーニングを出力するようにしてもよい。

(8)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態変形例と組み合わせて実施可能である。

２．第２の実施形態
2.1機能構成
図１１に、この発明の一実施形態による交通量計測装置の機能構成を示す。この実施形態では、大型車、小型車などの区別を行い、それぞれについて交通量を計測するようにしている。

撮像部５０、車両認識手段５２、車両通過判断手段５４は、第１の実施形態と同様である。

車両画像抽出手段６は、車両認識手段５２によって認識された車両部分の画像（バウンダリーボックス）を抽出する。部位抽出手段８は、当該車両画像中の、前後のタイヤ、正面、側面、上面などの部位領域を抽出する。この部位抽出手段８は、部位を特定して学習させた推論手段によって構築することができる。

大小推定手段１０は、上記抽出された複数の部位領域の関係に基づいて、大型車であるか小型車であるかを推定する。この大小推定手段１０は、大型車、小型車につき、複数の部位領域の関係を特定して学習させた推論手段によって構築することができる。

以上のようにして大型車、小型車を推定することができる。車両通過判断手段５４は、大小推定手段１０の推定結果と併せて、大型車、小型車ごとに通過量を計数する。

2.2ハードウエア構成
交通量計測装置のハードウエア構成は、図２と同様である。

2.3交通量計測処理
この実施形態による交通量計測処理のうち、通過台数を計測する部分については第１の実施形態と同様である。ただし、この実施形態では、通過した車両が大型であるか小型であるかを判断し、それぞれについて通過台数を集計するようにしている。

図１２に、大型であるか小型であるかを推計する車推定処理の部分のフローチャートを示す。図４のステップＳ２３６が終了すると、図１２の処理が実行される。

カメラ２による撮像画像を、図１３Ａに示す。ＣＰＵ３０は、この撮像画像に含まれる車両を認識し車種を推定する（ステップＳ４）。この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

まず、図１５Ａに示すような車両の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。

この時、車両を撮像するアングルは、できるだけ実際に運用する場合のアングルに近いものであることが好ましい。たとえば、図１３Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示する。、ユーザは、画像を見ながら、キーボード／マウス４０を操作して、図１５Ｂに示すように車両部分を矩形（バウンダリーボックス）で囲い、当該車両の車種を入力する
これにより、図１５Ｃに示すように、バウンダリーボックスの左上座標、右下座標（二次元画像中の座標）および車種が記録された解析データと、オリジナル画像データとが対応付けられてハードディスク３６に記録される。この実施形態では、車種として、乗用車、貨物車、バスを区別するようにしている。上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、ハードディスク３６に記録されることになる。

図１４に、車両認識と車種推定のために、推定モデル（ディープラーニング）を学習する処理のフローチャートを示す。

ＣＰＵ３０は、ハードディスク３６からオリジナル画像を取得する（ステップＳ５２）。たとえば、図１５Ａに示すようなオリジナル画像を読み出す。次に、ＣＰＵ３０は、オリジナル画像について、学習済みの推定モデル（ディープラーニング）により、車両認識と車種推定を行う（ステップＳ５４、Ｓ５６）。

次に、ＣＰＵ３０は、オリジナル画像に対応づけて記録されている解析データ（図６Ｃ）を読み出す（ステップＳ５８）。続いて、ＣＰＵ３０は、図１５Ｃの解析データを教師データとし、車両認識と車両推定の結果に基づいて、ステップＳ５４、Ｓ５６における推定のためのパラメータを学習する（ステップＳ６０）。

以上のようにして、学習済みの推論モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。

なお、学習済みの推論モデルとして、YOLOなどのプログラムを用いてもよい。また、YOLOなどのプログラムを追加学習して用いるようにしてもよい。

図１２のステップＳ４においては、ＣＰＵ３０は、このようにして生成された推論モデルを用いて、撮像された画像（図１３Ａ）に写し出された車両をバウンダリーボックスにて囲い、車種を推定する。

図１３Ｂに、車両が認識されバウンダリーボックスにて囲われた画像を示す。また、図示していないが、各バウンダリーボックスに対応付けて推定した車種が記録される（図１５Ｃのような形式にて記録される）。

続いて、ＣＰＵ３０は、バウンダリーボックスに基づいて、それぞれの車両の画像を切り出す（ステップＳ８）。切り出した車両画像の例を、図１６に示す。

ＣＰＵ３０は、車両画像に基づいて、当該車両の部位推定を行う（ステップＳ１０）。なお、車両との距離によって切り出した画像の大きさが異なっている。そこで、この実施形態では距離に応じて異なる大きさとなっている車両画像を、統一した大きさに変換（正規化）してから推定を行うようにしている。たとえば、車両画像の横幅（バウンダリーボックスの横幅）を定められた幅となるように、車両画像全体を均等に拡大縮小する。

この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

図１７に、学習処理のフローチャートを示す。この実施形態では、セマンティック・セグメンテーションによる推定処理を行うSegNet（https://qiita.com/uni-3/items/a62daa5a03a02f5fa46dにて入手可能）を、ディープラーニングのエンジンとして用いた。

まず、図１８Ａに示すような自動車の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、いろいろな背景による画像が多数あることが好ましい。

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示し、操作者が画像をみながら、マウス４０を操作して、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル画像の例を図９Ｂに示す。生成されたラベル画像データは、オリジナルの画像データに対応付けて、ハードディスク３６に記録される。

以上のようにして、オリジナル画像データとこれに対応するラベル画像データが、多数、ハードディスク３６に記録されることとなる。

まず、ＣＰＵ３０は、ハードディスク３６からオリジナル画像データを取得する（ステップＳ６２）。たとえば、図１８Ａのようなオリジナル画像を読みだす。次に、ＣＰＵ３０は、オリジナル画像について、学習済みのセマンティック・セグメンテーションにより、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面の各部位を推定する（ステップＳ６４）。推定結果の画像を、図１８Ｃに示す。図１８Ｃに示すように、各部位ごとに異なる色が付された画像となっている。

この実施形態では、オリジナル画像に対して、プーリングおよび畳み込みを繰り返し、さらに、アップサンプリングと畳み込みを繰り返すことで推定結果の画像を得るようにしている。

次に、ＣＰＵ３０は、オリジナル画像に対応してハードディスク３６に記録されているラベル画像を読みだす（ステップＳ６６）。たとえば、図１８Ｂのようなラベル画像が読みだされる。

続いて、ＣＰＵ３０は、図１８Ｂのラベル画像を教師データとし、図１８Ｃの推定結果画像に基づいて、ステップＳ６４における推定のためのパラメータを学習する（ステップＳ６８）。

全てのオリジナル画像・ラベル画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ６０、Ｓ７０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。

図１２のステップＳ１０において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、一つの車両の部位領域を推定する（ステップＳ１０）。これにより、図１３Ｃに示すように、自動車の各部位が推定される。この実施形態では、各部位ごとに領域分けされた（色彩、濃度などにより区別する）部位推定画像を出力するようにしている。

図１３Ｃに部位推定画像の例を示す。この例の場合、前面、前ナンバープレート、フロントガラス、左側面、上面、左前タイヤ、左後タイヤが認識されている。

次に、ＣＰＵ３０は、上記の部位推定画像とステップＳ４にて推定した車種とに基づいて、大型車・小型車の推定を行う（ステップＳ１２）。

前述のように、この実施形態では、ステップＳ３において、乗用車、貨物車、バスの車種を得ている。しかし、貨物車の中には、小型貨物車（小型トラック）と普通貨物車（普通トラック）が含まれており、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。

また、乗用車の中には、ワゴン車やマイクロバスのように、その形状から大型車であるバスと誤って認識されることもある。そこで、この実施形態では、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。

以上のように、大型・小型の区別を行うことにより、道路交通センサスなどに用いられている分類である、乗用車（小型車）、小型貨物車（小型車）、バス（大型車）、普通貨物車（大型車）を得ることができる。

この実施形態では、大型・小型の推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

図１９に、学習処理のフローチャートを示す。まず、図２０に示すような部位推定画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種による画像が多数あることが好ましい。

それぞれの部位推定画像を、ディスプレイ３４に表示し、操作者が画像をみながら、キーボード／マウス４０を操作して、大型車・小型車の区別を入力する。なお、部位推定画像だけでは判別が難しい場合があるので、オリジナル画像も合わせて表示する。上述のように、乗用車（マイクロバス、ワゴン車を含む）や小型貨物車であれば小型車とし、バス、普通貨物車であれば大型車とする。この大型車・小型車の区別は、部位推定画像に対応付けて、ハードディスク３６に記録される。

以上のようにして、部位推定画像とこれに対応する大型車・小型車の区別が、多数ハードディスク３６に記録されることとなる。

まず、ＣＰＵ３０は、ハードディスク３６から部位推定画像を取得する（ステップＳ８２）。たとえば、図２０Ａのような部位推定画像を読みだす。次に、ＣＰＵ３０は、部位推定画像について、学習済みの推定エンジンにより、大型・小型の推定を行う（ステップＳ８４）。

次に、ＣＰＵ３０は、部位推定画像に対応してハードディスク３６に記録されている大型・小型の区別を読みだす（ステップＳ６６）。

続いて、ＣＰＵ３０は、読み出した大型・小型の区別を教師データとし、ステップＳ８４における推定結果に基づいて、ステップＳ８４における推定のためのパラメータを学習する（ステップＳ８８）。

全ての部位推定画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ８０、Ｓ９０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

なお、この推定が機能している理由は、大型車と小型車とによって、外形形状が類似していたとしても、フロントガラスの占める割合や前後のタイヤ間隔などが異なるためであると思われる。

なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。

図１２のステップＳ１２において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、部位推定画像に基づいて大型・小型の推定を行う。次に、ＣＰＵ３０は、この大型・小型の推定結果に基づいて、ステップＳ４における車種推定を修正する（ステップＳ１４）。

ステップＳ４では、乗用車、貨物車、バスの車種推定を行っていた。この実施形態では、ステップＳ１４において、図２１に示すように、大型・小型の推定に基づいて、車種推定を正確なものに修正している。

ＣＰＵ３０は、上記推定結果を、車両ＩＤに対応づけて記録する（ステップＳ１８）。

ＣＰＵ３０は、上記の推定を、車両の数だけ繰り返す（ステップＳ６、Ｓ２２）。これにより、カメラによって撮像された画像に写し出された各車両について、車種の推定を行うことができる。

次に、ＣＰＵ３０は、次の撮像画像を取り込み（ステップＳ２０２）、通過計数処理を行い、上記と同様にして、各車両の車種推定を行い、その結果を車両ＩＤに対応づけて記録する（ステップＳ４〜Ｓ２２）。

以上を繰り返すと、車両の移動により、撮像されなくなるものがでてくる。当該車両ＩＤについて、記録さた修正された車種推定結果（複数個ある）を統合して、最終的な車種推定結果を得て、当該最終的な車種推定結果を当該車両（車両ＩＤ）に対応づけて記録する（ステップＳ２４）。たとえば、複数ある車種推定結果のうち、最も多い車種推定結果を、最終的な車種推定結果とする。したがって、車種推定結果に基づいて、車種ごとの通過量を計数することができる。

以上のようにして、リアルタイムに撮像を行いながら正確に車種を判断することができる。また、車種ごとに通行量を計数することができる。

2.4その他
(1)上記実施形態では、ステップＳ１４において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップＳ８で抽出した車両画像（正規化したものが好ましい）も含めて推定に用いるようにしてもよい。

(2)上記実施形態では、車両画像の大きさを正規化した後、推定を行うようにしている。しかし、正規化せずに推定を行うようにしてもよい。

(3)上記実施形態では、まず、車種を推定してから、大型・小型の推定を行って、修正し最終的な車種を得ている。しかし、ステップＳ４において、車両の部位推定画像を用いて、最終的な車種の推定を一度に行ってもよい。

(4)上記実施形態では、リアルタイムに車種の推定を行っている。しかし、記録済みの撮像画像に基づいて上記の処理を行って、車種の推定を行うようにしてもよい。この場合、カメラ２によって撮像した画像を可搬性記録媒体に記録し、これをハードディスク３６に読み込んで処理を行うようにしてもよい。

(5)上記実施形態では、部位推定画像として、前面、前ナンバープレート、側面、タイヤ、フロントガラスなどの部位領域を明らかにしたものを用いている。しかし、大型車と小型車において、全体の大きさが分かる部位と、フロントガラスやタイヤ間隔やナンバープレートの大きさが分かるような部位を含む部位推定画像を用いることができる。たとえば、少なくとも、フロントガラスといずれかの側面を含む部位推定画像を用いてもよい。また、少なくとも、いずれかの前タイヤと後タイヤといずれかの側面を含む部位推定画像を用いてもよい。

(6)上記実施形態では、全ての車両についての共通した学習済み推論モデルを構築して、大型車・小型車の推定をしている。しかし、ステップＳ４において推定した車種ごとに学習済み推論モデルを構築し、車種ごとに大型車・小型車の推定をしてもよい。また、車種の判定を行うようにしてもよい。

(7)上記実施形態では部位推定画像に基づいて大型車・小型車の推論を行っている。しかし、これに代えて、あるいはこれに加えて、車両画像を正規化した時のバウンダリーボックス枠の大きさや車両が専有する面積などを推論の根拠として用いるようにしてもよい。

(8)上記実施形態では、いろいろな方向に移動する車両を撮像している。しかし、カメラ設置の際に、一方にのみ移動する車（向かってくる車のみ等）だけが撮像されるように設定すれば、推定処理が容易となり精度も向上する。

(9)上記実施形態では、同一の車両に対する複数の車両画像に基づいて、大型小型の判断を行っている。しかし、一枚の画像に基づいてこれを行うようにしてもよい。

(10)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態変形例と組み合わせて実施可能である。

３．第３の実施形態
3.1機能構成
図１３に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部２は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定計数手段１００は、たとえば、第１の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定し、車種ごとに通過車両数を計数するものである。ゲート制御手段１５０は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。

3.2システム構成と動作
図２３に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート１２０と大型車用ゲート１４０が設けられている。カメラ２は、これらのゲートに進入しようとする車両を撮像する。

図２４に、ハードウエア構成を示す。コンピュータ１６０は、第１の実施形態における図２の構成と同様のものである。ただし、ＣＰＵ３０は、ゲート１２０、１４０の開閉を制御するゲート制御部１８０に対して、指令を与えることができるようになっている。

図２５に、制御プログラムのフローチャートを示す。ＣＰＵ３０は、ステップＳ１１０において、カメラ２によって撮像した画像を取得する。撮像画像において車両が認識されなければ、ステップＳ１１０を繰り返す。

車両が認識されると、ＣＰＵ３０は、第１の実施形態にて説明した処理により、車種（大型・小型）の推定を行う（ステップＳ１１４）。大型であると推定した場合、ＣＰＵ３０は、大型用ゲート１４０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。また、小型であると推定した場合、ＣＰＵ３０は、小型用ゲート１２０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。

ゲートを開いた後、通過検出のセンサ（図示せず）からの出力を受けると、ＣＰＵ３０は、ゲートを閉じる（ステップＳ１１８）。

以上のようにして、自動的に大型小型を判定して、行き先のゲートを選択して開閉することができる。また、入場した大型車、小型車の数を計数しているので、大型車用のエリアまたは小型車用のエリアが満車になったことを表示器（図示せず）によって表示することができる。

3.3その他
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。

また、所定の車種に応じて（あるいは大型・小型に応じて）、ゲートを開けるかどうかを判断するようにしてもよい。たとえば、小型車専用の橋であれば、その入口で大型車に対してはゲートを開けないように制御することができる。

(2)上記実施形態では、ゲートの開閉を制御する場合について説明した。しかし、車種推定（大型小型の推定を含む）に応じて、駐車料金や施設利用料金を算出するようにしてもよい。高速道路などの入り口において利用することができる。

(3)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。

Claims (12)

1. 車両の通行する所定のエリアを固定的に撮像して連続撮像画像を出力する撮像部と、
   前記連続撮像画像に含まれる車両を認識し、車両領域を設定する車両認識手段と、
   前記所定のエリアの撮像画像において設定された通過線に基づいて、前記連続撮像画像において、前記車両領域が当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段と、
   を備えた交通量計測装置。
2. 交通量計測装置をコンピュータによって実現するための交通量計測プログラムであって、コンピュータを、
   車両の通行する所定のエリアを固定的に撮像した連続撮像画像に含まれる車両を認識し、車両領域を設定する車両認識手段と、
   前記所定のエリアの撮像画像において車両の移動方向と交差するように設定された通過線に基づいて、前記連続撮像画像において、前記車両領域が当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させるための交通量計測プログラム。
3. 請求項１の装置または請求項２のプログラムにおいて、
   前記通過線は２つ設定されており、
   前記車両通過判断手段は、車両領域が前記２つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴とする装置またはプログラム。
4. 請求項１〜３のいずれかの装置またはプログラムにおいて、
   前記通過線は、車両の移動方向の手前から第１通過線、第２通過線の２つ設定されており、
   前記車両通過判断手段は、車両領域が第１通過線に交差した後、第２通過線に交差した場合に、車両の通過であると判断することを特徴とする装置またはプログラム。
5. 請求項４の装置またはプログラムにおいて、
   前記車両通過判断手段は、前記車両領域の重心位置が第１通過線を通過したかどうかによって交差したかどうかを判断し、前記車両領域の上辺または底辺が第２通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする装置またはプログラム。
6. 請求項１〜５のいずれかの装置またはプログラムにおいて、
   車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、
   抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する部位抽出手段と、
   前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段とを備え、
   前記車両通過判断手段は、前記大小推定手段の推定結果に基づいて、大型車、小型車を区別して、車両通過数を計数することを特徴とする装置またはプログラム。
7. 請求項６の装置またはプログラムにおいて、
   大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴とする装置またはプログラム。
8. 請求項６または７のいずれかの装置またはプログラムにおいて、
   前記部位抽出手段は、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴とする装置またはプログラム。
9. 請求項６〜８のいずれかの装置またはプログラムにおいて、
   前記大小推定手段は、前記抽出された車両画像も推定の根拠に用いることを特徴とする装置またはプログラム。
10. 請求項６〜９のいずれかの装置またはプログラムにおいて、
    前記大小推定手段は、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴とする装置またはプログラム。
11. 請求項６〜１０のいずれかの装置またはプログラムにおいて、
    前記大小推定手段は、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴とする装置またはプログラム。
12. 請求項６〜１１のいずれかの装置またはプログラムにおいて、
    前記車両認識手段は、少なくとも乗用車、バス、トラックの車種を判断するものであり、
    前記大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴とする装置またはプログラム。
    
    
    
    
    

Images