[システム構成]
まず、実施例1に係る監視システムのシステム構成について説明する。図1は、実施例1に係る監視システムの構成例を示すシステム構成図である。図1に示す監視システム(system)1は、車両が撮像された画像から車両に取り付けられたナンバープレート(numberplate)を認識し、その認識結果が特定の条件を満たす特定車両を追跡または検証するものである。
図1に示すように、監視システム1には、監視装置10−1〜10−3と、センタ(center)装置30と、巡回者用端末40−1〜40−2と、巡回車両用端末50−1〜50−2とが収容される。なお、図1の例では、3つの監視装置、1つのセンタ装置、2つの巡回者用端末、2つの巡回車両用端末をそれぞれ図示したが、開示のシステムは図示の構成に限定されない。すなわち、監視システム1は、任意の数の監視装置、センタ装置、巡回者用端末または巡回車両用端末を収容できる。
監視装置10−1〜10−3とセンタ装置30とは、ネットワーク(network)3を介して相互に通信可能に接続される。また、センタ装置30と巡回者用端末40−1および巡回車両用端末50−1〜50−2とは、ネットワーク5を介して相互に通信可能に接続される。なお、ネットワーク3及びネットワーク5には、有線または無線を問わず、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。また、ネットワーク3及びネットワーク5は、1つの通信網に統合することもできる。
このうち、監視装置10−1〜10−3は、後述する撮像部11により撮像された画像を監視する端末である。ここでは、撮像部11により撮像された画像そのもの、すなわち加工が行われていない画像を「撮画像」と呼ぶこととする。一例として、監視装置10−1〜10−3は、撮画像に所定のナンバー認識処理を行った結果が特定の条件を満たす場合に、撮画像または撮画像に映る車の特徴を表す特徴情報と、撮像部11の撮像範囲に収められた場所を表す撮像位置情報とをセンタ装置30へ通知する。なお、以下では、監視装置10−1〜10−3の各装置を区別なく総称する場合には、監視装置10と記載する。同様に、巡回者用端末40−1〜40−2や巡回車両用端末50−1〜50−2についても、それぞれ巡回者用端末40、巡回車両用端末50と記載する。
上記のナンバー認識処理の一例として、監視装置10は、車両が映る撮画像からナンバープレートが映る領域を抽出する領域抽出処理を行う。他の一例として、監視装置10は、ナンバープレートの領域の形状が所定の形状であるか否かを判定する形状判定処理を行う。更なる一例として、監視装置10は、ナンバープレートの領域内の文字又は模様を認識する認識処理を行う。そして、監視装置10は、領域抽出処理、形状判定処理または認識処理のうち少なくとも一つで否定的な結果が得られた場合に、撮画像またはその撮画像の特徴情報と撮像位置情報とをセンタ装置30へ通知する。
センタ装置30は、車両の監視を行う監視センタなどに配設されるサーバ(server)装置であり、監視装置10、巡回者用端末40及び巡回車両用端末50を管理する。一例としては、センタ装置30は、監視装置10から通知を受け付けた場合に、監視装置10の撮像位置情報と、巡回者用端末40および巡回車両用端末50の位置情報とに基づき、巡回者用端末40または巡回車両用端末50を選択する。すなわち、センタ装置30は、巡回者用端末40および巡回車両用端末50のうち、撮像部11が画像を撮像した場所に最も近い巡回者用端末40または巡回車両用端末50を選択する。その上で、センタ装置30は、監視装置10から通知を受け付けた撮画像または特徴情報を先に選択した巡回者用端末40または巡回車両用端末50へ通知する。
巡回者用端末40は、巡回者により使用される端末装置である。また、巡回車両用端末50は、巡回者が搭乗する車両に搭載される端末装置である。これら巡回者用端末40及び巡回車両用端末50は、センタ装置30から通知された撮画像または特徴情報を自装置の表示部に表示させる。これによって、巡回者は、徒歩または巡回車両などの移動手段を通じて、特定の条件を満たした特定車両を追跡することができる。また、巡回者は、センタ装置30から受け取った撮画像や特徴情報をもとに違反車両、盗難車両や犯罪車両などのナンバーや特徴情報を管理するシステムへ照会することにより特定車両を検証できる。
かかる巡回者用端末40及び巡回車両用端末50の一態様としては、携帯電話機、PHS(Personal Handyphone System)やPDA(Personal Digital Assistant)などの移動体端末を採用できる。また、上述した汎用の移動体端末の他にも、巡回者が所属する組織により使用される無線通信端末を採用することとしてもよい。これら移動体端末の他、パーソナルコンピュータ(personal computer)を始め、サーバなどの固定端末を採用することとしてもよい。
ここで言う巡回者とは、所定の担当区域を巡回する者を指し、一例としては、警備員などが該当する。また、巡回車両とは、巡回者が搭乗する車両を指し、一例としては、警備用の自動車、や、警備用の自動二輪車などが該当する。
[監視装置の構成]
続いて、本実施例に係る監視装置の構成について説明する。図2は、実施例1に係る監視装置の構成を示すブロック図である。図2に示すように、監視装置10は、撮像部11と、通信I/F部12と、記憶部13と、制御部14とを有する。
このうち、撮像部11は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像デバイスである。一例としては、撮像部11は、道路上を走行する車体の一部または全部を撮像範囲に収容できる場所に設置される。他の一例としては、駐車場に出入りまたは駐車する車体の一部または全部を撮像範囲に収容できる場所に設置される。かかる撮像部11の設置場所は、少なくとも車両前部または車両後部いずれかのナンバープレート全体が撮像範囲に収まる位置が好ましい。
なお、図2に示す例では、監視装置10が撮像部11を有する構成を例示したが、必ずしも監視装置10が撮像部11を有する必要はない。一例としては、撮像部11により撮像された画像または外部装置に記憶された画像を所定のネットワークを介して取得することとしてもよい。かかるネットワークには、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。他の一例としては、所定の読取装置を介して、フレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの記録媒体から、監視対象が収められた画像を取得することとしてもよい。
通信I/F(interface)部12は、他の装置、例えばセンタ装置30との間で通信制御を行うためのインタフェースである。
記憶部13は、例えば、フラッシュメモリ(flash memory)などの半導体メモリ素子、または、ハードディスク(hard disk)、光ディスクなどの記憶装置である。なお、記憶部13は、上記の種類の記憶装置に限定されるものではなく、RAM(Random Access Memory)、ROM(Read Only Memory)であってもよい。
また、記憶部13は、制御部14で実行されるOS(Operating System)や車両監視用のアプリケーション(application)などの各種プログラム(program)を記憶する。さらに、記憶部13は、制御部14で実行されるプログラムの実行に必要なデータを記憶する。一例として、記憶部13は、撮画像データ13aと、認識結果データ13bとを併せて記憶する。
撮画像データ13aは、撮像部11により撮像された画像データである。この撮画像データ13aは、後述の画像入力部15により記憶部13へ登録される。なお、ここでは、撮画像に車両が映っているか否かを問わずに全ての撮画像が登録される場合を想定するが、後述の車体切出部16により車体が検出された撮画像だけを登録することとしてもかまわない。また、所定の圧縮符号化方式により複数の撮画像にエンコード(encode)を行って動画として格納することとしてもよい。
認識結果データ13bは、後述のナンバー認識部17によるナンバープレートの認識結果を示すデータである。かかる認識結果データ13bの一態様としては、認識ID(identification)、認識日時、運輸支局、分類番号、かな文字、一連番号、地点ID、進行方向、特徴、判定結果などを対応付けたデータが挙げられる。
ここで言う「認識ID」とは、ナンバー認識部17により認識されたナンバープレートの認識結果を一意に特定するために付与される識別子を指し、一例としては、ナンバー認識部17により認識がなされた順番に通し番号が付与される。また、「認識日時」とは、ナンバー認識部17により認識がなされた日時を指す。また、「運輸支局」、「分類番号」、「かな文字」及び「一連番号」は、ナンバープレート内の所定の領域に標示された文字情報を指す。また、「地点ID」とは、監視装置10が設置された地点を一意に特定するために付与された識別子を指す。また、「進行方向」とは、監視装置10が撮像範囲に収めた道路上で車両が進行する方向を指す。
また、「特徴」とは、ナンバープレートの認識結果が示す特徴を指す。かかる特徴の一例としては、ナンバープレートの標示無し、汚れ過多、変形、封印無しなどの不審車両に関する項目の他、レンタカー(rent-a-car)に割り当てられたかな文字の標示を有するなどの特定の条件を満たす項目などが挙げられる。また、「判定結果」とは、ナンバープレートの認識結果が特定の条件を満たすか否かが後述の特定車両判定部18により判定された判定結果を指す。かかる判定結果の一例としては、不審車両に関する条件に該当する特定車両1、不審車両以外の特定車両に関する条件に該当する特定車両2、特定車両1および特定車両2のいずれにも該当しない一般車両などが挙げられる。
図3は、認識結果データの一例を示す図である。図3に示す認識結果のうち、認識ID「0000001」の認識結果は、2009年1月1日の14時00分23秒に認識されたことを示す。かかる認識ID「0000001」の認識結果のうち、運輸支局が「川崎」であり、分類番号が「500」であり、かな文字が「さ」であり、また、一連番号が「12-XX」であることを示す。さらに、認識ID「0000001」の認識結果が地点ID「AB01」に設けられた監視装置10による認識結果であることを指し、また、車両の進行方向が西であることを示す。かかる認識ID「0000001」の認識結果には、特定車両1または特定車両2に関する条件に該当する特徴がないことを示す。さらに、認識ID「0000001」の認識結果からは、一般車両に該当する旨の判定結果が得られたことを示す。このように、認識ID「0000001」の認識結果が得られた撮画像に映る車両には、追跡や検証が不要であることがわかる。
また、認識ID「0000002」の認識結果は、2009年1月1日の14時00分24秒に認識されたことを示す。かかる認識ID「0000002」の認識結果のうち、運輸支局が「横浜」であり、分類番号が「5??」であり、かな文字が「あ」であり、また、一連番号が「23-XX」であることを示す。この認識ID「0000002」の認識結果では、分類番号の一部が認識できなかったことを示す。さらに、認識ID「0000002」の認識結果が地点ID「AB01」に設けられた監視装置10による認識結果であることを指し、また、車両の進行方向が西であることを示す。かかる認識ID「0000002」の認識結果には、特定車両1に関する条件に該当する特徴「汚れ過多」があり、ナンバープレートの汚れが目立つことを示す。さらに、認識ID「0000002」の認識結果からは、特定車両1に該当する旨の判定結果が得られたことを示す。このように、認識ID「0000002」の認識結果が得られた撮画像に映る車両には、追跡や検証が必要であることがわかる。
また、認識ID「0000003」の認識結果は、2009年1月1日の14時00分46秒に認識されたことを示す。かかる認識ID「0000003」の認識結果のうち、運輸支局が「川崎」であり、分類番号が「???」であり、かな文字が「?」であり、また、一連番号が「??-??」であることを示す。この認識ID「0000003」の認識結果では、分類番号、かな文字及び一連番号の全てが認識できなかったことを示す。さらに、認識ID「0000003」の認識結果が地点ID「AB01」に設けられた監視装置10による認識結果であることを指し、また、車両の進行方向が西であることを示す。かかる認識ID「0000003」の認識結果には、特定車両1に関する条件に該当する特徴「一部曲げ」があり、ナンバープレートの一部が変形していることを示す。さらに、認識ID「0000003」の認識結果からは、特定車両1に該当する旨の判定結果が得られたことを示す。このように、認識ID「0000003」の認識結果が得られた撮画像に映る車両には、追跡や検証が必要であることがわかる。
さらに、認識ID「0000004」の認識結果は、2009年1月1日の14時00分48秒に認識されたことを示す。かかる認識ID「0000004」の認識結果のうち、運輸支局が「多摩」であり、分類番号が「500」であり、かな文字が「わ」であり、また、一連番号が「45-XX」であることを示す。この認識ID「0000004」の認識結果では、分類番号、かな文字及び一連番号が全て認識できたことを示す。さらに、認識ID「0000004」の認識結果が地点ID「AB01」に設けられた監視装置10による認識結果であることを指し、また、車両の進行方向が西であることを示す。かかる認識ID「0000004」の認識結果には、特定車両2に関する条件に該当する特徴「レンタカー」があり、レンタカーに付与されるかな文字が標示されたナンバープレートであることを示す。さらに、認識ID「0000004」の認識結果からは、特定車両2に該当する旨の判定結果が得られたことを示す。このように、認識ID「0000004」の認識結果は、リアルタイム(real time)で実行される取引、例えばレンタカーに対する駐車料金の割引に使用したり、特定の条件に合致する車両の統計情報、例えば地域におけるレンタカー台数を算出したりなどに利用できる。
なお、図3の例では、車両の進行方向が全て「西」である場合を説明したが、必ずしも車両の進行方向が同一の認識結果ばかりが登録されるとは限らない。例えば、時間帯によって車線の進行方向が変更される場合には、ナンバープレートの認識を行った時刻に対応する車両の進行方向が登録される。また、図3の例では、ナンバープレートの特徴が1つだけ登録されている場合を例示したが、後述の特定車両判定部18により特定車両1及び/又は特定車両2に該当すると判定されたナンバープレートの特徴を全て登録することとしてもよい。
制御部14は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路またはCPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路である。
制御部14は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部14は、図2に示すように、画像入力部15と、車体切出部16と、ナンバー認識部17と、特定車両判定部18と、通知部19とを有する。
画像入力部15は、画像の入力を受け付ける処理部である。一例としては、画像入力部15は、撮像部11により撮像された撮画像を記憶部13へ登録するとともに、撮画像を車体切出部16へ入力する。
車体切出部16は、撮画像に含まれる車体を切り出す処理部である。一例としては、車体切出部16は、撮画像に含まれる風景と車体との境界、すなわち輝度の変化が激しいエッジ(edge)を検出する。このエッジ検出により車体が検出された場合には、車体切出部16は、撮画像の中から車体の部分、すなわち車両の外形を縁取る部分を切り出す。そして、車体切出部16は、撮画像から車体部分を切り出した車体画像をナンバー認識部17へ入力する。なお、撮画像の中から車体が検出されなかった場合には、ナンバー認識部17に対する画像の入力は行われず、ナンバープレートの認識処理は実行されない。
ナンバー認識部17は、ナンバープレートに関する各種の認識処理を実行する処理部であり、図2に示すように、領域抽出部17aと、形状判定部17bと、認識部17cとを有する。
領域抽出部17aは、車体画像の中からナンバープレートが映る領域を抽出する処理部である。一例としては、領域抽出部17aは、ナンバープレートの特徴が表現されたテンプレート(template)画像を図示しない作業用メモリから読み出す。かかるテンプレート画像の一例には、普通自動車用のナンバープレート、大型自動車用のナンバープレート、さらには大型特殊自動車用のナンバープレートの画像などが含まれる。そして、領域抽出部17aは、車体切出部16により車体が切り出された車体画像と、作業用メモリから読み出したテンプレート画像とをマッチング(matching)する。かかるテンプレートマッチングにより、領域抽出部17aは、車体画像の中からナンバープレートが映る領域、すなわちナンバープレート画像を抽出する。
図4は、ナンバープレート画像の一例を示す。図4に示す符号20は、ナンバープレート画像を示す。図4に示す符号21は、ナンバープレート画像中に運輸支局が標示される領域を示す。図4に示す符号22は、ナンバープレート画像中に分類番号が標示される領域を示す。図4に示す符号23は、ナンバープレート画像中にかな文字が標示される領域を示す。図4に示す符号24は、ナンバープレート画像中に一連番号が標示される領域を示す。図4に示す符号25は、ナンバープレート画像中に封印が標示される領域を示す。なお、ナンバープレートの封印は、車両前部のナンバープレートにはなく、車両後部のナンバープレートにしか設けられない。
なお、ここでは、撮画像から車体画像を切り出した上でナンバープレート画像を抽出することとしたが、撮画像からナンバープレート画像を直接抽出するようにしてもかまわない。また、ここでは、領域抽出部17aにより抽出されたナンバープレート画像を形状判定部17b及び認識部17cでそのまま使用させる場合を説明するが、ナンバープレート画像が略平行四辺形上である場合には、矩形に補正することとしてもかまわない。
図4に示すように、ナンバープレート画像20の領域21には、運輸支局として「川崎」が標示されている。また、ナンバープレート画像20の領域22には、分類番号として「XXX」が標示されている。また、ナンバープレート画像20の領域23には、かな文字として「X」が標示されている。また、ナンバープレート画像20の領域24には、一連番号として「XX−XX」が標示されている。
形状判定部17bは、ナンバープレートの領域の形状が所定の形状であるか否かを判定する処理部である。一例としては、形状判定部17bは、領域抽出部17aにより抽出されたナンバープレート画像から、ナンバープレートを形成する頂点の画像上の座標およびナンバープレートの長手方向の2辺の長さ及び短手方向の2辺の長さを算出する。そして、形状判定部17bは、ナンバープレート画像を形成する四角形の相関関係に基づき、ナンバープレートに変形があるか否かを判定する。
図5は、ナンバープレートを形成する頂点および辺の算出要領を説明するための図である。図5に示すように、ナンバープレート画像を形成する四角形の頂点のうち、左上の頂点の座標が(X1,Y1)であり、右上の頂点の座標が(X2,Y2)であり、左下の頂点の座標が(X3,Y3)であり、右下の頂点の座標が(X4,Y4)であるものとする。さらに、ナンバープレート画像を形成する4辺のうち、長手方向の上側にある辺を上底(WT)とし、長手方向の下側にある辺を下底(WB)、短手方向の左側にある辺を左高(HL)とし、短手方向の右側にある辺を右高(HR)とする。なお、画像上の座標の原点は、図示の位置に限定されない。すなわち、ナンバープレート画像上、それ以外の任意の点を原点とすることができる。
図5に示す例では、形状判定部17bは、X2−X1を計算することにより、上底の長さWTを算出する。また、形状判定部17bは、X4−X3を計算することにより、下底の長さWBを算出する。さらに、形状判定部17bは、(Y2−Y1)/(X2−X1)を計算することにより、上底の傾きAWTを算出する。また、形状判定部17bは、(Y4−Y3)/(X4−X3)を計算することにより、下底の傾きAWBを算出する。さらに、形状判定部17bは、(Y1−Y3)/(X4−X3)を計算することにより、下底および左高の比率Rを算出する。このようにして、形状判定部17bは、上底、下底、上底の傾き、下底の傾き、下底および左高の比率をそれぞれ算出する。
その上で、形状判定部17bは、上底の長さと下底の長さとの違いが所定の閾値以下であるか否かを判定する。ここで、上底の長さと下底の長さとの違いが閾値を超える場合、すなわち|WT−WB|>Thである場合には、ナンバープレートの四隅の一部が折り曲げられていたり、あるいは欠けていると推定することができる。このとき、WT>WBである場合には、ナンバープレートの右下または左下の部分の折り曲げまたは欠落を推定できる。また、WT<WBである場合には、ナンバープレートの右上または左上の部分の折り曲げまたは欠落を推定できる。
図6Aは、ナンバープレートの変形の一態様を示す図である。図6Aに示すように、WT>WBであり、かつ|X2−X4|>|X1−X3|である場合には、ナンバープレートの右下の部分が折り曲げられていたり、あるいは欠けている可能性が高い。なお、ここでは、上底の長さと下底の長さとが異なる場合を例示したが、左高の長さと右高の長さとが異なる場合にも、同様にして、ナンバープレートの折り曲げ及び欠落を検出できる。
また、形状判定部17bは、上底の傾きと下底の傾きとの違いが所定の閾値以下であるか否かを判定する。ここで、上底の傾きと下底の傾きとの違いが所定の閾値を超える場合、すなわち|AWT−AWB|>Thである場合には、ナンバープレートの上下の一部が折り曲げられていたり、あるいは欠けていると推定することができる。このとき、AWT<AWBである場合には、ナンバープレートの下部分の折り曲げまたは欠落を推定できる。また、AWT>AWBである場合には、ナンバープレートの上部分の折り曲げまたは欠落を推定できる。
図6Bは、ナンバープレートの変形の一態様を示す図である。図6Bに示すように、AWT<AWBであり、かつAWB>0である場合には、ナンバープレートの下部分、さらにはその中でも右下部分が大きく折り曲げられていたり、あるいは欠けている可能性が高い。なお、ここでは、上底の傾きと下底の傾きとが異なる場合を例示したが、左高の傾きと右高の傾きとが異なる場合にも、同様にして、ナンバープレートの折り曲げ及び欠落を検出できる。
また、形状判定部17bは、下底および左高の比率が所定の基準範囲内であるか否かを判定する。ここで、下底および左高の比率が基準範囲内ではない場合、すなわちTh1≦R≦Th2ではない場合には、ナンバープレートのいずれかの一辺を回転軸として全体が折り曲げられていると推定できる。このような判定により、各辺が平行である場合でもナンバープレートの変形を検出できる。
図6Cは、ナンバープレートの変形の一態様を示す図である。図6Cに示すように、Th1≦R≦Th2ではなく、かつHLおよびHRが基準値Th3よりも短い場合には、ナンバープレートの上辺を回転軸とする上側への折り曲げ、すなわちナンバープレートを垂直から傾けて標示していると推定できる。なお、ここでは、下底および左高の比率が基準範囲から逸脱する場合を例示したが、下底および右高の比率、上底および左高の比率、上底および右高の比率が基準範囲から逸脱する場合にも、同様にして、ナンバープレート全体の折り曲げを検出できる。
なお、ここでは、ナンバープレート画像を用いてナンバープレートの形状判定を行う場合を説明したが、必ずしもナンバープレート画像だけを用いる必要はない。例えば、車体画像からバンパー(bumper)の水平成分を抽出し、バンパーの水平成分と、上底および下底とが平行であるか否かにより、ナンバープレートの形状判定を行うこともできる。
図2の説明に戻り、認識部17cは、ナンバープレート画像の文字又は模様を認識する処理部である。一例としては、認識部17cは、ナンバープレート画像に含まれる運輸支局、分類番号、かな文字、一連番号などの文字を認識するとともに、ナンバープレート画像に含まれる封印などの模様を認識する。
かかる文字および模様の認識には、公知の技術を任意に適用できる。一例としては、認識部17cは、ナンバープレートに刻印される文字のフォントや大きさに適合したテンプレートやナンバープレートに刻印される模様のテンプレートを作業用メモリに保持しておく。そして、認識部17cは、ナンバープレート画像中の領域、すなわち運輸支局、分類番号、かな文字及び一連番号が標示されていると推定される領域や封印が標示されていると推定される領域ごとにテンプレートマッチングを行う。これにより、認識部17cは、ナンバープレート画像から運輸支局、分類番号、かな文字及び一連番号などの文字、さらには封印などの模様を認識する。
また、認識部17cは、上記の文字または模様を認識する他、ナンバープレート画像に汚れがあるか否かをさらに認識する。一例としては、認識部17cは、ナンバープレート画像全体のうち文字部分に対応する色を有する画素の数が所定の閾値以下であるか否かを判定する。このとき、文字部分に対応する色を有する画素の数が所定の閾値を超える場合には、認識部17cは、文字や模様を隠し、認識を阻害する汚れがあると推定する。なお、かかる閾値には、一例として、ナンバープレートに刻印される文字パターン(pattern)のうちナンバープレートを占める文字の面積が最も大きい文字パターンを基準に設定することができる。これにより、文字の面積が大きい文字パターンが標示されたナンバープレート画像に汚れがあると誤認識することを防止できる。
なお、ここでは、ナンバープレート画像全体を占める文字部分の割合が閾値以下であるか否かにより汚れの有無を判別する場合を説明したが、開示の装置はこれに限定されない。他の一例としては、ナンバープレートの背景部分、すなわち文字や模様を除いた部分の割合が別途定めた閾値以上であるか否かにより汚れの有無を判別することもできる。
また、認識部17cは、ナンバープレート画像に封印が含まれるか否かを判定する。一例としては、認識部17cは、ナンバープレート画像に封印のテンプレート画像が含まれるか否かをマッチングすることにより、封印の有無を判定する。なお、封印の有無は、車両のナンバープレートのうち後部のナンバープレートが撮像範囲に含まれるように撮像部11が設置されている場合にだけ判定することとしてもよい。
特定車両判定部18は、撮画像に含まれる車両が特定車両1、特定車両2または一般車両のいずれであるのかを判定する処理部である。ここで、特定車両判定部18は、各種の不審車両に関する条件に該当する場合には、撮画像に映る車両が「特定車両1」であると判定する。また、特定車両判定部18は、不審車両以外の特定車両に関する条件に該当する場合には、撮画像に映る車両が「特定車両2」であると判定する。なお、特定車両判定部18は、特定車両1および特定車両2のいずれにも該当しない場合には、撮画像に映る車両が「一般車両」であると判定する。
ここで、特定車両判定部18が特定車両1と判定する条件を例示列挙する。一例としては、領域抽出部17aにより車体画像からナンバープレート画像が抽出されなかった場合には、特定車両判定部18は、ナンバープレートを外して走行している可能性が高いので、撮画像に映る車両が「特定車両1」であると判定する。
他の一例としては、形状判定部17bによりナンバープレートの一部または全部に折り曲げや欠落があると判定された場合には、車両の関係者がナンバープレートを変形している可能性が高い。よって、特定車両判定部18は、撮画像に映る車両が「特定車両1」であると判定する。
更なる一例としては、認識部17cによりナンバープレート画像から文字および模様を全て認識できなかった場合には、特定車両判定部18は、ナンバープレートの標示を秘匿している可能性があるので、撮画像に映る車両が「特定車両1」であると判定する。
他の一例としては、認識部17cによりナンバープレートに汚れがあると判定された場合にも、特定車両判定部18は、ナンバープレートの標示を秘匿している可能性があるので、撮画像に映る車両が「特定車両1」であると判定する。
このように、特定車両判定部18は、ナンバー無し、文字および模様の認識不全、ナンバーの変形有り、ナンバーの汚れ有りのうち、いずれかの否定的な結果が得られた場合に、撮画像に映る車両が「特定車両1」であると判定する。
また、特定車両判定部18が特定車両2と判定する条件を例示列挙する。一例としては、特定車両判定部18は、ナンバープレート画像から予め規定されている地域以外の運輸支局、あるいは予め規定された運輸支局が認識された場合には、撮画像に映る車両が「特定車両2」であると判定する。かかる判定により、一例として、他府県から来る車両や特定の地域から来る車両の統計情報、例えば一定期間における他府県車両の流入数を収集することができる。
他の一例としては、特定車両判定部18は、ナンバープレート画像からレンタカーに付与されるかな文字「れ」や「わ」が認識された場合には、撮画像に映る車両が「特定車両2」であると判定する。かかる判定により、一例として、レンタカーを利用する旅行者に関する統計情報、例えば一定期間における旅行者の来訪数を収集したり、かかる旅行者を対象に駐車場や遊園地などの施設利用に関する料金を割引したりすることができる。
更なる一例としては、特定車両判定部18は、ナンバープレート画像から業務用車両に付与されるナンバーの背景色「緑」が認識された場合には、撮画像に映る車両が「特定車両2」であると判定する。かかる判定により、一例として、業務用車両を使用する業者の統計情報、例えば地域に存在する業者数を収集することができる。
他の一例としては、特定車両判定部18は、ナンバープレート画像から乗合自動車に付与される分類番号「20番台」が認識された場合には、撮画像に映る車両が「特定車両2」であると判定する。かかる判定により、一例として、公共性が高い乗合自動車が通過する交差点の信号を青信号の割合が高くなるように優遇したり、旅行者が搭乗する他府県からの乗合自動車、例えば一定期間における団体旅行者数を収集することができる。
通知部19は、特定車両判定部18による指示に基づき、センタ装置30に対する通知を行う処理部である。これを説明すると、通知部19は、特定車両判定部18により撮画像に含まれる車両が特定車両1または特定車両2であると判定されたことを契機にセンタ装置30への通知を実行する。一例としては、通知部19は、特定車両1が映る撮画像をセンタ装置30へ通知する。さらに、通知部19は、撮画像に映る車の特徴を表す特徴情報として、ナンバープレートの認識結果をセンタ装置20へ通知する。このナンバープレートの認識結果には、撮像部11の撮像範囲に収められた場所または撮像部11の設置場所を表す撮像位置、すなわち地点IDも含まれる。
[センタ装置の構成]
次に、本実施例に係るセンタ装置の構成について説明する。図7は、実施例1に係るセンタ装置の構成を示すブロック図である。図7に示すように、センタ装置30は、通信I/F部31と、記憶部32と、制御部33とを有する。なお、センタ装置30は、図7に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入力デバイスや表示デバイスなどの機能を有するものとする。
このうち、通信I/F(interface)部31は、他の装置、例えば監視装置10、巡回者用端末40または巡回車両用端末50との間で通信制御を行うためのインタフェースである。
記憶部32は、例えば、フラッシュメモリ(flash memory)などの半導体メモリ素子、または、ハードディスク(hard disk)、光ディスクなどの記憶装置である。なお、記憶部32は、上記の種類の記憶装置に限定されるものではなく、RAM(Random Access Memory)、ROM(Read Only Memory)であってもよい。
また、記憶部32は、制御部33で実行されるOS(Operating System)や対端末通知用のアプリケーション(application)などの各種プログラム(program)を記憶する。さらに、記憶部32は、制御部33で実行されるプログラムの実行に必要なデータを記憶する。一例として、記憶部32は、端末位置データ32aと、認識結果データ32bと、地図データ32cとを有する。
端末位置データ32aは、巡回者用端末40や巡回車両用端末50などの端末が所在する位置に関するデータである。かかる端末位置データ32aの一態様としては、端末ID、移動手段、東経および北緯が対応付けられたデータが挙げられる。この端末位置データ32aは、後述の端末位置管理部33aにより巡回者用端末40または巡回車両用端末50の位置情報が最新の位置情報へ更新される。なお、ここでは、位置情報として東経および北緯を例示したが、開示の装置はこれに限定されない。例えば、位置情報は、任意の緯度や経度で表記でき、また、緯度や経度である必要はなく、住所であってもかまわない。
図8は、端末位置データの一例を示す図である。図8に示す例では、巡回者用端末40−1を携帯する巡回者が徒歩で移動しており、東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。同様に、巡回者用端末40−2を携帯する巡回者が徒歩で移動しており、東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。また、巡回車両用端末50−1を搭載した自動車が東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。同様に、巡回車両用端末50−2を搭載した自動車が東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。また、巡回車両用端末50−6を搭載したバイクが東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。同様に、また、巡回車両用端末50−7を搭載したバイクが東経「dd度ss分mm秒」、北緯「dd度ss分mm秒」の位置に所在することを示す。なお、図8の例では、位置情報をブランクとしたが、実際には各端末が位置する座標位置が後述の端末位置管理部33aにより登録される。
認識結果データ32bは、ナンバープレートの認識結果を示すデータである。かかる認識結果データ32bの一態様としては、認識ID、認識日時、運輸支局、分類番号、かな文字、一連番号、地点ID、進行方向、特徴、判定結果などを対応付けたデータが挙げられる。この認識結果データ32bは、監視装置10から通知されたナンバープレートの認識結果が登録される。よって、監視装置10の記憶部13により記憶される認識結果データ13bと略同一のデータであるものの、監視装置10ごとの認識結果データ13bが記憶される点が異なる。
地図データ32cは、地図が描画された画像データとともに地図に含まれる道路を構成するノード(node)間の接続情報を含んでなるデータである。なお、かかる地図データ32cとして格納される地図の範囲は、センタ装置の開発者や管理者が任意に設定または変更できる。
制御部33は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路またはCPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路である。
制御部33は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部33は、図7に示すように、端末位置管理部33aと、端末選択部33bと、通知部33cとを有する。
端末位置管理部33aは、巡回者用端末40及び巡回車両用端末50の位置情報を管理する処理部である。一例としては、端末位置管理部33aは、GPS(global positioning system)を搭載した巡回者用端末40および巡回車両用端末50から定期的に位置情報を取得する。このとき、端末位置管理部33aは、記憶部32に端末位置データ32aとして記憶された位置情報のうち、今回に位置情報を取得した端末に対応する位置情報を新たに取得した位置情報に更新する。
端末選択部33bは、巡回者用端末40及び巡回車両用端末50の中から、特定車両1または特定車両2を追跡する端末を選択する処理部である。なお、以下では、特定車両1を追跡する場合を例示するが、特定車両2を追跡する場合も同様である。
これを説明すると、端末選択部33bは、監視装置10から特定車両1に関する通知を受け付けた場合に処理を起動する。このとき、端末選択部33bは、記憶部32に端末位置データ32aとして記憶された各端末の位置情報を参照して、先の通知に含まれる撮像位置から所定の距離以内に位置する端末を検索する。そして、端末選択部33bは、検索により得られた端末の位置情報と、特定車両1を撮像した撮像部11の撮像位置との距離を算出する。その上で、端末選択部33bは、先の検索により得られた端末のうち、所定の選択基準を満たす端末を選択する。なお、以下では、端末選択部33bにより選択される端末の数を1つとする場合を説明するが、開示の装置はこれに限定されず、任意の数の端末を選択できる。
かかる選択基準の一例としては、端末選択部33bは、先の検索により得られた端末のうち、特定車両1を撮像した撮像部11の撮像位置との距離が最も近い巡回者用端末40または巡回車両用端末50を選択することが挙げられる。
図9は、特定車両を追跡する端末の選択要領を説明するための図である。図9に示す符号10−Lは、特定車両1を撮像した監視装置の所在位置を指す。図9に示す符号40−M及び符号40−Nは、いずれも巡回者用端末の所在位置を指す。図9に示す二重丸は、特定車両1の所在位置を指す。図9に示す例で言えば、巡回者用端末40−M及び巡回者用端末40−Nのうち、特定車両1の所在位置に最も近い巡回者用端末40−Mが選択される。かかる選択が行われた場合には、最短の距離にある巡回者または巡回車両が特定車両1を追跡できる結果、特定車両の追跡効率が高まる。
他の一例としては、端末選択部33bは、先の検索により得られた端末のうち、ナンバープレートの認識結果に含まれる特定車両1の進行方向に基づいて端末することが挙げられる。すなわち、端末選択部33bは、特定車両1が走行中の道路を進行方向側の領域と進行方向逆側の領域とに分断する。その上で、端末選択部33bは、先の検索により得られた端末の中でも、進行方向側の領域に所在する端末を選択する。
図10は、特定車両を追跡する端末の選択要領を説明するための図である。図10に示す符号10−Lは、特定車両1を撮像した監視装置の所在位置を指す。図10に示す符号40−M及び符号40−Nは、いずれも巡回者用端末の所在位置を指す。図10に示す二重丸は、特定車両1の所在位置を指す。図10に示す地図データのうち網掛け無しの部分は、進行方向逆側の領域を指す。図10に示す地図データのうち網掛け有りの部分は、進行方向側の領域を指す。図10に示す例で言えば、巡回者用端末40−M及び巡回者用端末40−Nのうち、進行方向側の領域に所在する巡回者用端末40−Nが選択される。かかる選択が行われた場合には、巡回者または巡回車両が特定車両1を後ろから追跡して追いつく必要がなくなる結果、特定車両を効果的に追跡できる。
更なる一例としては、端末選択部33bは、先の検索により得られた端末のうち、地図情報に基づいて端末を選択することが挙げられる。すなわち、端末選択部33bは、特定車両1の所在位置までのアクセス(access)が良い端末を選択する。例えば、端末選択部33bは、特定車両1と各端末との距離が所定の値以上であり、かつ特定車両1が高速道路またはバイパス(bypass)から所定の距離以内に位置する場合には、高速道路またはバイパスの出入り口に近い端末を選択する。
図11は、特定車両を追跡する端末の選択要領を説明するための図である。図11に示す符号10−Lは、特定車両1を撮像した監視装置の所在位置を指す。図11に示す符号50−M、符号50−N及び符号50−Pは、いずれも巡回車両用端末の所在位置を指す。図11に示す二重丸は、特定車両1の所在位置を指す。図11に示す網掛け部分は、高速道路を指す。図11に示す黒の塗りつぶし中に表記された符号X、符号Y及び符号Zは、高速道路の出入り口を指す。図11に示す例で言えば、巡回車両用端末50−M〜巡回車両用端末50−Pのうち、高速道路の出入り口「X」に近い位置に所在する巡回車両用端末50−Nが選択される。かかる選択が行われた場合には、巡回者または巡回車両が特定車両1により高い速度で追跡することができる結果、特定車両を効果的に追跡できる。
なお、図9〜図11の例では、移動手段が同種である複数の端末の中から1つの端末を選択する場合を説明したが、異種の端末の中から1つの端末を選択することもできる。一例としては、各移動手段に予め優先順位を定めておき、先の検索により得られた端末の中でも優先順位の高い移動手段を持つ端末を優先的に選択することができる。かかる優先順位の設定の一例としては、狭い路地でも速やかに通行可能なバイクを優先順位1とし、その次に徒歩よりも高速に移動可能な自動車を優先順位2とし、最後に徒歩を優先順位3として設定することができる。
図7の説明に戻り、通知部33cは、端末選択部33bによる指示に基づき、巡回者用端末40または巡回車両端末50に対する通知を行う処理部である。これを説明すると、通知部33cは、端末選択部33bにより巡回者用端末40または巡回車両端末50が選択されたことを契機に通知を実行する。一例としては、通知部33cは、監視装置10から通知を受け付けた撮画像を端末選択部33bにより選択された端末へ通知する。さらに、通知部33cは、監視装置10から通知を受け付けたナンバープレートの認識結果を端末選択部33bにより選択された端末へ通知する。
[処理の流れ]
次に、本実施例に係る監視システムの処理の流れについて説明する。なお、以下では、監視装置10によって行われる(1)対センタ通知処理を説明してから、センタ装置30によって行われる(2)対端末通知処理を説明する。
(1)対センタ通知処理
図12は、実施例1に係る対センタ通知処理の手順を示すフローチャートである。この対センタ通知処理は、画像入力部15により車体切出部16へ撮画像が入力された場合に起動する。なお、対センタ通知処理は、監視装置10の電源がON状態である限り再帰的に実行される。
図12に示すように、撮画像が入力されると(ステップS101肯定)、車体切出部16は、撮画像の中から車体部分の切出を試行する(ステップS102)。なお、車体部分の切出に成功しなかった場合(ステップS103否定)には、ナンバープレートの認識を行う必要がないので、ステップS101に戻る。
このとき、車体部分の切出に成功した場合(ステップS103肯定)には、ナンバー認識部17は、所定のナンバー認識処理を実行する(ステップS104)。かかるナンバー認識処理には、領域抽出部17aにより実行される領域抽出処理、すなわち車体画像の中からナンバープレートが映る領域を抽出する処理が含まれる。さらに、ナンバー認識処理には、形状判定部17bにより実行される形状判定処理、すなわちナンバープレートの領域の形状が所定の形状であるか否かを判定する処理が含まれる。さらに、ナンバー認識処理には、認識部17cにより実行される認識処理、すなわちナンバープレート画像の文字又は模様を認識する処理が含まれる。
その後、特定車両判定部18は、車体画像からナンバープレート画像が抽出されたか否か、すなわちナンバーの有無を判定する(ステップS105)。このとき、ナンバープレート画像が抽出された場合、すなわちナンバー有りの場合(ステップS105肯定)には、特定車両判定部18は、ナンバープレート画像から文字および模様を全て認識できたか否かをさらに判定する(ステップS106)。
そして、文字および模様を全て認識できた場合(ステップS106肯定)には、特定車両判定部18は、ナンバープレートの一部または全部に折り曲げや欠落などの変形があるか否かをさらに判定する(ステップS107)。このとき、ナンバープレートの一部または全部に変形がなかった場合(ステップS107肯定)には、特定車両判定部18は、ナンバープレートに汚れがあるか否かをさらに判定する(ステップS108)。
続いて、ナンバープレートに汚れがない場合(ステップS108肯定)には、特定車両判定部18は、特定車両2に該当する条件を満たしたか否かをさらに判定する(ステップS109)。
ここで、特定車両2に該当する条件を満たさない場合(ステップS109否定)には、特定車両判定部18は、撮画像に映る車両が「一般車両」であると判定する(ステップS110)。そして、特定車両判定部18は、ナンバー認識部17による一般車両の認識結果を記憶部13へ保存し(ステップS111)、処理を終了する。
一方、ナンバープレート画像が抽出されなかった場合、すなわちナンバー無しの場合(ステップS105否定)には、特定車両判定部18は、撮画像に映る車両が「特定車両1」であると判定する(ステップS112)。また、ナンバープレート画像から文字および模様を全て認識できなかった場合(ステップS106否定)にも、特定車両判定部18は、撮画像に映る車両が「特定車両1」であると判定する(ステップS112)。
さらに、ナンバープレートの一部または全部に変形があった場合(ステップS107否定)にも、特定車両判定部18は、撮画像に映る車両が「特定車両1」であると判定する(ステップS112)。また、ナンバープレートに汚れがあった場合(ステップS108否定)にも、特定車両判定部18は、撮画像に映る車両が「特定車両1」であると判定する(ステップS112)。
このように、撮画像に映る車両が「特定車両1」であると判定されたときには、通知部19は、次のような処理を行う。すなわち、通知部19は、特定車両1が映る撮画像と、特定車両1のナンバープレートの認識結果とをセンタ装置30へ通知する(ステップS113)。なお、かかる認識結果には、撮像部11の撮像範囲に収められた場所または撮像部11の設置場所を表す撮像位置、すなわち地点IDが含まれる。
その後、特定車両判定部18は、ナンバー認識部17による特定車両1の認識結果を記憶部13へ保存し(ステップS111)、処理を終了する。
また、特定車両2に該当する条件を満たした場合(ステップS109肯定)には、特定車両判定部18は、撮画像に映る車両が「特定車両2」であると判定する(ステップS114)。続いて、通知部19は、特定車両2が映る撮画像と、特定車両2のナンバープレートの認識結果とをセンタ装置30へ通知する(ステップS115)。なお、かかる認識結果には、撮像部11の撮像範囲に収められた場所または撮像部11の設置場所を表す撮像位置、すなわち地点IDが含まれる。
その後、特定車両判定部18は、ナンバー認識部17による特定車両2の認識結果を記憶部13へ保存し(ステップS111)、処理を終了する。
なお、上記のステップS106〜ステップS108の処理は、図示の実行順序に限定されない。これらステップS106〜ステップS108の処理は、処理の実行順序を任意に入換えたり、並列して実行することができる。
(2)対端末通知処理
図13は、実施例1に係る対端末通知処理の手順を示すフローチャートである。この対端末通知処理は、監視装置10から特定車両1に関する通知を受け付けた場合に起動する。また、対端末通知処理は、センタ装置30の電源がON状態である限り再帰的に実行される。なお、ここでは、特定車両1の進行方向に基づいて端末を選択する場合を説明するが、他の選択基準を適用することとしてもよい。
図13に示すように、監視装置10から特定車両1に関する通知を受け付けると(ステップS301)、端末選択部33bは、次のような処理を行う。すなわち、端末選択部33bは、記憶部32に端末位置データ32aとして記憶された各端末の位置情報を参照して、先の通知に含まれる撮像位置から所定の距離以内に位置する端末を検索する(ステップS302)。続いて、端末選択部33bは、検索により得られた端末の位置情報と、特定車両1を撮像した撮像部11の撮像位置との距離を算出する(ステップS303)。
そして、端末選択部33bは、特定車両1の進行方向と同じ方向に位置する端末が存在するか否かを判定する(ステップS304)。このとき、特定車両1の進行方向と同じ方向に位置する端末が存在する場合(ステップS304肯定)には、端末選択部33bは、特定車両1の進行方向に位置する端末のうち、特定車両1との距離が最も近い端末を選択する(ステップS305)。その後、通知部33cは、監視装置10から通知を受け付けた撮画像と、監視装置10から通知を受け付けたナンバープレートの認識結果とを端末選択部33bにより選択された端末へ通知し(ステップS306)、処理を終了する。
一方、特定車両1の進行方向と同じ方向に位置する端末が存在しない場合(ステップS304否定)には、端末選択部33bは、ステップS302の検索により得られた端末のうち、特定車両1との距離が最も近い端末を選択する(ステップS307)。その後、通知部33cは、監視装置10から通知を受け付けた撮画像と、監視装置10から通知を受け付けたナンバープレートの認識結果とを端末選択部33bにより選択された端末へ通知し(ステップS306)、処理を終了する。
[実施例1の効果]
上述してきたように、本実施例に係る監視装置10は、ナンバーの領域を抽出できない、ナンバーの文字又は模様を認識できない、あるいはナンバーに変形がある場合に、撮画像、撮画像に映る車の特徴や撮像位置をセンタ装置30に通知する。このため、本実施例に係る監視装置10及び監視システム1では、経験のある巡回者が目視でしか発見できなった特定車両1の検知および通知を自動化できる。よって、本実施例に係る監視装置10及び監視システム1によれば、ナンバープレートを正常に認識できなかった車両を追跡または検証することが可能になる。
また、本実施例に係るセンタ装置30は、監視装置10から通知された車の進行方向に基づいて特定車両1または特定車両2を追跡させる巡回者用端末40及び/又は巡回車両用端末50を選択する。このため、本実施例に係る監視システム1では、巡回者または巡回車両が特定車両1を後ろから追跡して追いつく必要がなくなる。それゆえ、本実施例に係る監視システム1によれば、特定車両を効果的に追跡することが可能になる。
また、本実施例に係るセンタ装置30は、地図データに基づいて特定車両1または特定車両2を追跡させる巡回者用端末40及び/又は巡回車両用端末50を選択する。このため、本実施例に係る監視システム1では、巡回者または巡回車両が特定車両1により高い速度で追跡することができる。それゆえ、本実施例に係る監視システム1によれば、特定車両を効果的に追跡することが可能になる。