JPWO2016157894A1 - Vehicle search system and vehicle search method - Google Patents
Vehicle search system and vehicle search method Download PDFInfo
- Publication number
- JPWO2016157894A1 JPWO2016157894A1 JP2017509293A JP2017509293A JPWO2016157894A1 JP WO2016157894 A1 JPWO2016157894 A1 JP WO2016157894A1 JP 2017509293 A JP2017509293 A JP 2017509293A JP 2017509293 A JP2017509293 A JP 2017509293A JP WO2016157894 A1 JPWO2016157894 A1 JP WO2016157894A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- search
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 167
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000001994 activation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本発明の目的は、任意の車両の画像をリアルタイム、かつ継続的に表示することで、現時点での車両の位置を特定する確実性を向上させることである。そのために、本発明に係る車両検索システム100は、上空から地上を撮像する撮像部101と、撮像部101により撮像されている画像から、車両の画像を抽出する車両画像抽出部102と、車両画像抽出部102により抽出された車両の画像からナンバー情報を読み取るナンバー情報読取部103と、ナンバー情報読取部103により読み取られたナンバー情報が、検索車両情報と一致するか否かを判定する検索車両判定部104と、検索車両判定部104により一致すると判定された場合、このナンバー情報に基づく車両を撮像するように撮像部101の撮像方向を制御する撮像方向制御部105と、を具備して構成される。An object of the present invention is to improve the certainty of specifying the current vehicle position by continuously displaying an image of an arbitrary vehicle in real time. Therefore, the vehicle search system 100 according to the present invention includes an imaging unit 101 that images the ground from above, a vehicle image extraction unit 102 that extracts a vehicle image from an image captured by the imaging unit 101, and a vehicle image. A number information reading unit 103 that reads number information from the vehicle image extracted by the extraction unit 102, and a search vehicle determination that determines whether the number information read by the number information reading unit 103 matches the search vehicle information. Unit 104 and image capturing direction control unit 105 that controls the image capturing direction of image capturing unit 101 so as to image a vehicle based on this number information when it is determined by search vehicle determining unit 104 to match. The
Description
本発明は、車両検索システム及び車両検索方法に関する。 The present invention relates to a vehicle search system and a vehicle search method.
Nシステム(自動車ナンバー読取装置)のように、自動車のナンバープレートを自動で読み取って、検索対象となっている車両(以下、検索車両という)を検出するシステムが一般的に知られている。 A system that automatically reads a license plate of an automobile and detects a vehicle to be searched (hereinafter referred to as a search vehicle), such as an N system (automobile number reading device), is generally known.
ここで、Nシステムのような大がかりなシステムは、装置の価格が高いため、全ての道路に設置することが困難である。このため、Nシステムは、比較的、交通量の多い主要道路(例えば、高速道路、国道等)に優先的に設置され、検索車両の検索を行っている。しかしながら、Nシステムは、上述したように、全ての道路に設置することが困難であるため、例えば、他の道路(例えば、県道等)には設置されていない可能性がある。このように、Nシステムは、全ての道路に設置することが困難であるため、このNシステムが設置された主要道路を検索車両が通過しない限り、検索車両を検索することができなかった。 Here, a large-scale system such as the N system is difficult to install on all roads because the price of the device is high. For this reason, the N system is installed preferentially on main roads (for example, highways, national roads, etc.) with relatively high traffic volume, and searches for search vehicles. However, since it is difficult to install the N system on all roads as described above, the N system may not be installed on other roads (for example, prefectural roads). Thus, since it is difficult to install the N system on all roads, the search vehicle cannot be searched unless the search vehicle passes through the main road where the N system is installed.
そこで、限られた地点以外であっても検索車両の位置を特定するための技術として、車載装置、報知方法、車両照合システム及びコンピュータプログラムが特許文献1に記載されている。この特許文献1記載の技術は、車載カメラにより前方の車両、後方の車両、対向車両のナンバープレートを撮像し、検索車両を検索している。
Therefore,
また、限られた地点以外であっても検索車両の位置を特定するための技術として、盗難車両検索システムおよび盗難車両検索システムにおける検索方法が特許文献2に記載されている。この特許文献2記載の技術は、航空機等から撮像した画像を用いて、検索車両の現時点での位置を予測している。
しかしながら、上記特許文献1記載の技術は、カメラが搭載された車両の前後方の車両、対向車線を通過する車両等を検索対象としている。このため、上記特許文献1記載の技術は、発見した検索車両が対向車線を通過した車両であった場合、その後、折り返して追跡したとしても、既に検索車両が逃走している可能性がある。これにより、利用者が車両を見失ってしまう。このように、上記特許文献1記載の技術は、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。
However, the technique described in the above-mentioned
また、上記特許文献2記載の技術は、航空機等から撮像した後、所定期間(例えば、一か月)、蓄積した画像を用いて、盗難された車両の現時点での位置を予測している。このように、上記特許文献2記載の技術は、現時点ではなく、過去の画像を用いており、盗難された車両が確実に予測した位置にいるか否かが定かではない。このため、上記特許文献2記載の技術も、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。
Further, the technique described in
本発明の目的は、現時点での車両の位置を特定する確実性を向上させることが可能な車両検索システム及び車両検索方法を提供することにある。 An object of the present invention is to provide a vehicle search system and a vehicle search method capable of improving the certainty of specifying the current vehicle position.
上記目的を達成するために、本発明に係る車両検索システムは、飛行物体に搭載され、上空から地上を撮像する撮像手段と、上記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、上記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、上記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、上記検索車両判定手段により上記ナンバー情報と上記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように上記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備して構成される。 In order to achieve the above object, a vehicle search system according to the present invention extracts an image of a vehicle from an imaging unit mounted on a flying object and imaging the ground from above, and an image captured by the imaging unit. Vehicle image extraction means, number information reading means for reading number information on a license plate from a vehicle image extracted by the vehicle image extraction means, and number information read by the number information reading means are preset. When the search vehicle determination unit determines whether the search vehicle determination unit matches the search vehicle information, and the search vehicle determination unit determines that the number information matches the search vehicle information, the vehicle is imaged based on the number information And an imaging direction control means for controlling the imaging direction of the imaging means.
上記目的を達成するために、本発明に係る車両検索方法は、上空から地上が撮像されている画像から、車両の画像を抽出し、抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、上記ナンバー情報と上記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように撮像方向を制御する。 In order to achieve the above object, a vehicle search method according to the present invention extracts a vehicle image from an image of the ground imaged from above, reads number information on a license plate from the extracted vehicle image, It is determined whether or not the read number information matches preset search vehicle information. If it is determined that the number information matches the search vehicle information, the vehicle based on the number information is imaged. The imaging direction is controlled to do so.
本発明によれば、現時点での車両の位置を特定する確実性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the certainty which pinpoints the position of the vehicle at the present time can be improved.
(第1の実施形態)
図1及び図2を用いて、本発明の一実施形態(第1の実施形態)について説明する。まず、図1を用いて、本実施形態の車両検索システム100の構成について説明する。図1は、本実施形態(第1の実施形態)に係る車両検索システム100の構成を示すブロック図である。(First embodiment)
An embodiment (first embodiment) of the present invention will be described with reference to FIGS. 1 and 2. First, the structure of the
図1に例示されるように、本実施形態の車両検索システム100は、撮像部101、車両画像抽出部102、ナンバー情報読取部103、検索車両判定部104及び撮像方向制御部105を具備する。
As illustrated in FIG. 1, the
本実施形態において、車両検索システム100は、ヘリコプター等の航空機に搭載される。車両画像抽出部102は、撮像部101により撮像されている画像から、車両の画像を抽出する。ナンバー情報読取部103は、車両画像抽出部102により抽出された車両の画像からナンバープレート上のナンバー情報を読み取る。検索車両判定部104は、ナンバー情報読取部103により読み取られたナンバー情報と、予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。
In the present embodiment, the
撮像方向制御部105は、検索車両判定部104によりナンバー情報と検索車両情報とが一致していると判定された場合、ナンバー情報に基づく車両を撮像するように撮像部101の撮像方向を制御する。
The imaging
(車両検索方法)
次に、図2を用いて、車両検索システム100に実行させる処理について説明する。図2は、本実施形態(第1の実施形態)に係る車両検索システム100に実行させる処理を示すフローチャートである。(Vehicle search method)
Next, a process executed by the
ステップS1において、車両検索システム100は、車両画像抽出処理を行う。この処理において、車両検索システム100は、撮像部101にて撮像されている画像から車両の画像を抽出する処理を行う。
In step S1, the
ステップS2において、車両検索システム100は、ナンバー情報読取処理を行う。この処理において、車両検索システム100は、上記ステップS1にて抽出された車両の画像からナンバープレートのナンバー情報を読み取る処理を行う。
In step S2, the
ステップS3において、車両検索システム100は、判定処理を行う。この処理において、車両検索システム100は、上記ステップS2にて読み取ったナンバー情報と予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。ここで、検索車両情報とは、利用者が検索したい車両のナンバー情報である。
In step S3, the
この処理において、車両検索システム100は、ナンバー情報と車両検索情報とが一致していると判定した場合には、ステップS4に処理を移す。一方、この処理において、車両検索システム100は、ナンバー情報と車両検索情報とが一致していないと判定した場合には、ステップS1に処理を移す。
In this process, if the
ステップS4において、車両検索システム100は、撮像方向制御処理を行う。この処理において、車両検索システム100は、上記ステップS3にてナンバー情報と車両検索情報とが一致していると判定した場合、このナンバー情報に基づく車両を撮像部101にて撮像するように、撮像部101の撮像方向を制御する。
In step S4, the
よって、本実施形態の車両検索システム100によれば、現時点での車両の位置を特定する確実性を向上させることができる。
Therefore, according to the
(第2の実施形態)
図3乃至図6を用いて、本発明の他の実施形態(第2の実施形態)について説明する。まず、図3を用いて、本実施形態の車両検索システム200の構成について説明する。図3は、本実施形態(第2の実施形態)に係る車両検索システム200の内部構成を示すブロック図である。(Second Embodiment)
Another embodiment (second embodiment) of the present invention will be described with reference to FIGS. First, the structure of the
(車両検索システム200の構成)
本実施形態の車両検索システム200は、機上装置210及び地上装置220を具備している。機上装置210は、航空機に搭載される。これにより、後述する機上装置210の撮像部211は、上空から地上を撮像することが可能となる。地上装置220は、例えば、機上装置210を管理する施設に設置される。地上装置220は、機上装置210から不審車両情報が送られると、この不審車両情報を巡回中のパトカー等に展開している。車両検索システム200は、機上装置210で発見した不審車両の情報を地上装置220に伝達し、地上との連携に役立てている。まず、機上装置210について説明し、機上装置210を説明した後に、地上装置220について説明する。(Configuration of vehicle search system 200)
The
(機上装置210)
本実施形態において、機上装置210は、機外装置209と機内装置207とから構成される。まず、機外装置209について説明する。機外装置209は、撮像部211及び撮像方向制御部225を具備している。(Onboard device 210)
In the present embodiment, the
(撮像部211)
機外装置209の撮像部211は、図示しないレンズ及びディジタル撮像素子を有している。レンズは、例えば、集光レンズ又はズームレンズ等を用いて構成される。ディジタル撮像素子は、例えば、CCDで構成され、レンズにより受光した光の強度に応じて電荷を生成する素子である。そして、撮像部211は、ディジタル撮像素子によって生成された電荷に応じて画像を生成する。このCCDについては、周知の技術であるため、具体的な説明は省略する。「CCD」とは、「Charge Coupled Device」の略である。(Imaging unit 211)
The
なお、本実施形態の撮像部211のディジタル画像素子は、上述したように、CCDで構成されるが、これに限定されず、レンズにより受光した光の強度に応じて電荷を生成するものであれば、例えば、CMOS等で構成しても良い。このCMOSについても、CCDと同様に、周知の技術であるため、具体的な説明は省略する。「CMOS」とは、「Complementary Metal Oxide Semiconductor」の略である。
As described above, the digital image element of the
ここで、機外装置209は、図示しないGPS受信部を有しており、このGPS受信部により座標データを受信し、撮像部211にて撮像する際に、画像に座標データを付している。そして、機外装置209は、撮像部211にて撮像した画像を機内装置207に送信する際に、画像とともに、座標データを送信する。また、機外装置209は、機上装置210の座標データを機内装置207に送信する。なお、画像に座標データを付す点については、周知であるため、具体的な説明については省略する。「GPS」とは、「Global Positioning System」の略である。
Here, the
これにより、後述する機内装置207の追尾情報生成部212は、機上装置210の座標データと撮像した画像の座標データとを用いて制御情報を生成することが可能になる。なお、これら制御情報の生成方法については、後述する。
As a result, the tracking
(撮像方向制御部225)
撮像方向制御部225は、撮像部211の振動を抑制する振動制御を行う。撮像方向制御部225は、この処理を行うために、図示しないジャイロセンサを有している。なお、ジャイロセンサは、周知の技術であるため、具体的な説明を省略する。(Imaging direction control unit 225)
The imaging
撮像方向制御部225は、操作部208による制御か、又は追尾情報生成部212による制御で駆動する。通常、撮像方向制御部225は、操作部208による制御で駆動する。これに対し、ユーザが操作部208の操作により自動検索モードに切り替えた場合には、追尾情報生成部212が周囲を自動でスキャンする。不審車両を追尾するときは追尾情報生成部212が自動で車両の追尾を開始する。これにより、撮像方向制御部225は、追尾情報生成部212による制御で駆動する。
The imaging
撮像方向制御部225は、追尾情報生成部212から送信される制御情報を受信すると、設定された撮像方向に撮像部211を向ける処理を行う。ここで、設定された撮像方向に撮像部211を向ける処理は、上述の設定された撮像方向に撮像部211が向いていない、すなわち、撮像部211が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部211を向ける処理が行われる。このため、撮像方向制御部225は、撮像部211の撮像方向を変更する場合には、上述の設定されている撮像部211の撮像方向に撮像部211が向いていない場合に行われる。
When receiving the control information transmitted from the tracking
また、撮像方向制御部225は、撮像部211の撮像方向を制御する。具体的には、撮像方向制御部225は、後述する追尾情報生成部212により送信される制御情報を受信すると、この制御情報に基づいて、上述の利用者により入力された撮像方向を書き換えて、新たに撮像方向を設定する。このため、撮像部211の撮像方向は、利用者により入力された情報から、制御情報に基づいて、更新されていく。ここで、制御情報とは、撮像部211の撮像方向を制御するための撮像方向情報をいう。また、撮像部211の撮像方向とは、撮像部211が映している方角のことをいう。画角とは、映像に映る範囲を角度で示したものをいう。そして、撮像方向制御部225は、撮像部211の撮像方向の変更及びズーム倍率の制御を行う。また、撮像方向制御部225は、追尾情報生成部212に撮像部211の現在の撮像方向情報を送信する。
In addition, the imaging
次に、機内装置207について説明する。機内装置207は、互いにバスで接続されたCPU210a、ROM210b、RAM210cを具備し、コンピュータプログラムを実行する。これにより、機内装置207は、画像処理部221、車両画像抽出部222、検索車両判定部224及び追尾情報生成部212を制御する装置として機能する。「CPU」とは、「Central Processing Unit」の略である。「ROM」とは、「Read Only Memory」の略である。「RAM」とは、「Random Access Memory」の略である。
Next, the in-
(操作部208)
また、機内装置207は、操作部208を具備している。この操作部208は、複数の操作ボタンを有し、利用者による撮像方向、画角、追尾車両登録等の操作を可能としている。この操作部208は、複数の操作ボタンを有し、利用者による車両検索情報の入力を可能にしている。(Operation unit 208)
The in-
なお、本実施形態の機内装置207は、上述したように、CPU210a等を備え、コンピュータプログラムを実行しているが、これに限定されず、ASIC、PLD等のハードウェアを用いてプログラムを実行しても良い。「ASIC」とは、「Application Specific Integrated Circuit」の略である。「PLD」とは、「Programmable Logic Device」の略である。
As described above, the in-
(画像処理部221)
画像処理部221は、撮像部211から送信された画像のボケ除去、超解像、照明変化除去等の処理を行う。なお、この処理については、周知の技術であるため、詳細な説明を省略する。これにより、後述する車両画像抽出部222は、車両の画像の領域を抽出することが可能になる。(Image processing unit 221)
The
(車両画像抽出部222)
車両画像抽出部222は、画像処理部221により補正された画像に基づいて、この画像の中から車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、パターン認識技術を利用しており、周知の技術であるため、詳細な説明は省略する。一例として、車両画像抽出部222は、画像処理部221から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出する。(Vehicle image extraction unit 222)
The vehicle
(ナンバー情報読取部223)
ナンバー情報読取部223は、抽出した車両の画像に基づいて、車両のナンバープレート情報を読み取る。ここで、ナンバープレートに表示されている文字は、位置、文字の種類、配置について様式が定められているため、この様式に従い、OCR技術を用いて各文字を抽出する。例えば、一連指定番号の左方側には、用途記号、左上方には、陸運支局名、右上方には、分類番号が並んでいる。これら定められた様式を利用し、各文字を画像から切り出して、ナンバープレートの画像からナンバー情報をテキスト化する。「OCR」とは、「Optical Character Reader(光学式文字読取装置)」の略である。(Number information reading unit 223)
The number
なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。車両の車種を認識する方法については、既知の方法を用いると良いが、一例として、抽出した車両の画像の領域からタイヤ領域、窓領域を除いたボディ領域を抽出する。そして、抽出した画像のカラー情報を調べ、ボディの色を特定すると良い。 In the present embodiment, as described above, the number information on the license plate of the vehicle is read. However, the present invention is not limited to this. For example, the vehicle type of the vehicle may be recognized. As a method for recognizing the vehicle type of the vehicle, a known method may be used. As an example, a body region excluding a tire region and a window region is extracted from the extracted vehicle image region. Then, it is preferable to check the color information of the extracted image and specify the color of the body.
(検索車両判定部224)
検索車両判定部224は、車両画像抽出部222にて読み取ったナンバー情報と、ROM210bに記憶されている検索車両情報とを対比し、これらナンバー情報と検索車両情報とが一致しているか否かを判定する。そして、検索車両判定部224は、ナンバー情報と検索車両情報とが一致しているか否かの判定結果を追尾情報生成部212に出力する。(Search vehicle determination unit 224)
The search
追尾情報生成部212は、車両位置座標を演算する処理を行う。追尾情報生成部212は、撮像方向制御情報を生成する処理を行う。追尾情報生成部212は、座標情報履歴を記録する。そして、追尾情報生成部212は、撮像方向制御部225に制御情報を送信する。ここで、機上装置220の座標データ及び検索車両の座標データに基づいて、追従情報を生成する方法は、周知の技術であるため、詳細な説明を省略するが、一例として、以下の方法により追従情報を生成する。機上装置220の座標データの各値(X値、Y値、Z値)と検索車両の座標データの各値(X値、Y値、Z値)との差分を算出する。そして、算出された差分に基づいて、機上装置220に対し、検索車両情報に基づく車両がどの方向に位置しているかを算出する。X値、Y値の差分に基づいて、二軸の方向を算出する。この算出値をパラメータとして、撮像方向を決定している。
The tracking
そして、追尾情報生成部212は、生成した制御情報を撮像方向制御部225に送信する。ここで、制御情報とは、上述したように、撮像部211の撮像方向を制御するための撮像方向情報をいう。これにより、撮像部211の撮像方向を制御することが可能になる。また、追尾情報生成部212は、地上装置220に車両位置情報、車両ナンバー、車両の色、形状、車両画像を送信する。
Then, the tracking
(地上装置220)
次に、地上装置220について説明する。地上装置220は、機上装置210と同様に、互いにバスで接続されたCPU220a、ROM220b、RAM220c等を具備し、コンピュータプログラムを実行する。これにより、地上装置220は、図示しない検索車両情報展開処理を具備する装置として機能する。(Ground device 220)
Next, the
なお、本実施形態の地上装置220も、上述したように、CPU220a等を備え、コンピュータプログラムを実行しているが、これに限定されず、機上装置210と同様に、ASIC、PLD等のハードウェアを用いてプログラムを実行しても良い。
As described above, the
地上装置220は、機上装置210から検索車両の車両位置情報等を受信すると、この情報を巡回中のパトカー等に展開する処理を行う。これにより、本実施形態の検索車両システム200は、現時点での車両の位置を特定する確実性を向上させることができる。
When the
(検索車両システムの動作)
次に、図4を用いて、本実施形態の車両検索システム200の流れについて説明する。図4は、本実施形態(第2の実施形態)に係る車両検索システム200に実行させる処理の流れを示すシーケンスである。(Operation of search vehicle system)
Next, the flow of the
まず、機外装置209は、電源が投入されると、撮像部211を起動させ、画像情報を図示しない表示部に出力する。これにより、表示部には、撮像部211により撮像されている画像が表示される。なお、以下の例では、予め検索車両情報が記憶されているとする。そして、利用者は、操作部208を操作して、撮像部211のズーム倍率、撮像方向を変え、画像を目視しながら地上を監視する。
First, when the power is turned on, the
ステップS31において、機内装置207は、表示部に表示されている画像を画像処理部221にて、画像のブレ、ズレ等を補正する。
In step S <b> 31, the in-
ステップS32において、機内装置207の車両画像抽出部222は、上記ステップS31にて補正された画像の中から、車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、上述したように、車両画像抽出部222は、画像処理部221から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出すると良い。このとき、利用者は、表示部に表示されている複数の車両の中から、一つの車両を選択することが可能である。なお、本実施形態では、利用者が選択するに限定されず、表示部に表示されている車両の画像情報を抽出することも可能である。
In step S32, the vehicle
ステップS33において、機内装置207のナンバー情報読取部223は、車両画像抽出部222により抽出された車両の画像に基づいて、車両のナンバープレートのナンバー情報を読み取る。なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。
In step S <b> 33, the number
ステップS34において、機内装置207の検索車両判定部224は、予め記憶されている検索車両情報と、上記ステップS33にて読み取ったナンバー情報とを対比する。以下、ここでは、検索車両情報とナンバー情報とが一致したものとして説明する。
In step S34, the search
ステップS35において、機内装置207の追尾情報生成部212は、検索車両情報とナンバー情報とが一致すると、機上装置210の座標データ、車両の推定座標データを用いて、制御情報を生成する。ここで、制御情報とは、上述したように、撮像部211の撮像方向を制御するための回転量等をいう。そして、この処理において、地上装置220は、生成した制御情報を撮像方向制御部225に送信する。なお、制御情報を生成する方法については、上述したように、機上装置220の座標データの値と車両の推定座標データの値との差分を算出し、算出した値に基づいて、機上装置220に対し、車両がどの方向に位置しているかを算出すると良い。
In step S35, when the searched vehicle information and the number information match, the tracking
ステップ40において、機外装置209の撮像方向制御部225は、追尾情報生成部212から制御情報を受信すると、撮像部211の撮像方向を制御する。そして、撮像方向制御部225は、ボケ・ブレ除去及び超解像処理後(照明変化除去処理前)の映像に追尾車両の位置等の情報を画面に重畳させる。これにより、表示部には、制御情報に基づいて撮像部211により撮像された画像が表示される。
In
そして、機外装置209は、地上装置220に検索車両情報を送信する。地上装置220は、この検索車両情報を巡回中のパトカー等に展開する処理を行う。これにより、検索車両システム200は、現時点での車両の位置を特定する確実性を向上させることが可能となる。
Then, the
(電源投入処理)
次に、図5乃至図6を用いて、本実施形態の車両検索システム200の機上装置210及び地上装置220に実行させる処理について説明する。まず、図5を用いて、機上装置210における電源投入処理について説明する。図5は、本実施形態(第2の実施形態)に係る機上装置210における電源投入処理を示すフローチャートである。(Power-on processing)
Next, processing executed by the
ステップS100において、機上装置210は、制御ボード起動処理を行う。この処理において、機上装置210は、電源が投入されると、図示しない制御基板に搭載されているCPU210aを起動する。このため、以下の処理は、CPU210aにより実行される。
In step S100, the
ステップS200において、CPU210aは、読み込み処理(ROM210bに格納され、撮像部211、画像処理部221、車両画像抽出部222、検索車両判定部224及び追尾情報生成部212を動作させるための各種制御プログラム、各種データ等を読み込む処理)を行う。
In step S200, the
ステップS300において、CPU210aは、設定処理(利用者により入力された撮像方向、画角を撮像部211に設定する処理)を行う。また、この処理において、CPU210aは、RAM210cに記憶されている制御情報参照し、この制御情報に基づいて、撮像方向制御部225にて撮像部211の撮像方向を改めて設定する処理を行う。このため、撮像部211の撮像方向は、利用者により入力された情報、又は既に更新された制御情報に基づく情報から、新たな制御情報に基づいて、更新されていく。なお、制御情報は、後述するステップS560の撮像方向制御処理にて制御情報を受信すると、RAM210cに記憶される。
In step S300, the
ステップS400において、CPU210aは、上記ステップS300にて設定された撮像方向に撮像方向制御部225にて撮像部211を向ける処理を行う。ここで、設定された撮像方向に撮像部211を向ける処理は、上述の設定された撮像方向に撮像部211が向いていない、すなわち、撮像部211が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部211を向ける処理が行われる。CPU210aは、撮像方向制御部225にて撮像部211の角速度を検出している。CPU210aは、検出した角速度を積分演算処理により積分することで、撮像部211の角度(撮像方向)を算出している。そして、CPU210aは、上述の設定された角度(撮像方向)から算出した撮像部211の角度を引いた角度を算出する。CPU210aは、算出した角度を用いて、撮像部211を回転させる処理を行う。このとき、回転させる方向については、例えば、時計回り方向を+とした場合、算出した角度が+であれば、反時計回り方向に回転させ、算出した角度が−であれば、時計回り方向に回転させる等、算出した角度の正負で正逆回転させると良い。
In step S400, the
ステップS500において、CPU210aは、割込処理を行う。本実施形態において、割込処理は、制御情報を有無に応じて、実行する処理である。なお、この割込処理については、図6を用いて後述する。
In step S500, the
(割込処理)
次に、図6を用いて、割込処理について説明する。図6は、本実施形態(第2の実施形態)に係る機上装置210における割込処理を示すフローチャートである。この割込処理は、図6に示すステップS500のサブルーチンである。(Interrupt processing)
Next, the interrupt process will be described with reference to FIG. FIG. 6 is a flowchart showing an interrupt process in the
ステップS510において、CPU210aは、画像処理を行う。この処理において、CPU210aは、撮像部211により撮像された画像を画像処理部221によりブレ、ボケ等を補正する処理を行う。
In step S510, the
ステップS520において、CPU210aは、検索車両情報が入力されているか否かを判定する。ここで、検索車両情報は、利用者が表示部に表示されている画像の中から、検索車両を選択した場合が挙げられる。
In step S520, the
ステップS530において、CPU210aは、車両画像抽出処理を行う。この処理において、CPU110aは、画像処理部221により送信された画像から車両画像抽出部222にて車両部分を抽出する。
In step S530, the
ステップS540において、CPU210aは、ナンバー情報読取処理を行う。この処理において、CPU210aは、ナンバー情報読取部223にて車両のナンバーを読み取る処理を行う。
In step S540, the
ステップS550において、CPU210aは、利用者により入力された検索車両情報と、上記ステップS540にて読み取ったナンバー情報とが一致するか否かを判定する。この処理において、CPU210aは、検索車両情報とナンバー情報とが一致していると判定した場合には、ステップS560に処理を移す。一方、この処理において、CPU210aは、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了する。
In step S550, the
なお、本実施形態では、上述したように、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了しているが、これに限定されず、再度、画像情報を受信し、繰り返し処理を行っても良い。 In the present embodiment, as described above, when it is determined that the search vehicle information and the number information do not match, the current process is terminated, but the present invention is not limited to this, and the image is again displayed. Information may be received and repeated processing may be performed.
ステップS560において、CPU210aは、追尾情報生成処理を行う。この処理において、CPU210aは、制御情報を生成する。そして、CPU210aは、機外装置209の撮像方向制御部225に制御情報を送信する。制御情報は、上述したように、撮像部211の撮像方向を制御するための撮像方向情報をいう。
In step S560, the
(電源投入処理)
次に、地上装置220の処理について説明する。この地上装置220は、地上装置210から送信される車両位置情報、車両ナンバー、車両の色及び形状、車両画像等の情報を受信すると、巡回中のパトカー等にこれらの情報を展開する処理を行う。(Power-on processing)
Next, processing of the
以上のように、本実施形態の車両検索システム200は、検索車両情報とナンバー情報とが一致した場合には、このナンバー情報に基づく車両に向けて撮像部211の撮像方向、画角を制御することが可能になる。
As described above, the
よって、車両検索システム200によれば、検索車両情報とナンバー情報とが一致した車両をリアルタイム、かつ継続的に表示することが可能になり、現時点での車両の位置を特定する確実性を向上させることができる。
Therefore, according to the
(第3の実施形態)
図7を用いて、本発明の他の実施形態(第3の実施形態)について説明する。まず、図7を用いて、本実施形態の車両検索システム300の構成について説明する。図7は、本実施形態(第3の実施形態)に係る車両検索システム300の構成を示すブロック図である。(Third embodiment)
With reference to FIG. 7, another embodiment (third embodiment) of the present invention will be described. First, the configuration of the
本実施形態の車両検索システム300は、上述の第2の実施形態の車両検索システム200に対し、複数の撮像部311として、第1の撮像部311a及び第2の撮像部311bを具備する点が異なり、他の点は、同様である。したがって、以下、本実施形態の車両検索システム300を説明する際に、上述の第2の実施形態の車両検索システム200と同様の部分については、同一又は相当する符号を付して、その説明を省略する。
The
本実施形態において、車両検索システム300は、上述したように、第1の撮像部311a及び第2の撮像部311bを具備している。このように、本実施形態の車両検索システム300では、複数の撮像部311として、第1の撮像部311a及び第2の撮像部311bを有しているため、複数の方向から同時に車両を撮像することが可能になる。
In the present embodiment, the
また、本実施形態において、第1の撮像部311aは、広角レンズ331を有している。また、第2の撮像部311bは、望遠レンズ332を有している。これにより、第1の撮像部311aは、広角レンズ331を用いて複数の車両を捉える。第2の撮像部311bは、望遠レンズ332を用いて特定の車両を捉える。これにより、本実施形態によれば、広域の車両を同時に、かつ継続的に抽出することが可能になる。このため、本実施形態によれば、広視野の画像で捉えた車両を順に調査することで、ナンバー読み取り対象の重複を防ぐことが可能になる。
In the present embodiment, the
なお、本実施形態では、複数の撮像部311を一つの航空機に搭載しているが、これに限定されず、複数の航空機の夫々に一つの撮像部311を搭載することで、複数の撮像部311を構成しても良い。また、複数の航空機の夫々に複数の撮像部311を搭載することで、複数の撮像部311を構成しても良い。これにより、本実施形態によれば、より広域な範囲で車両を撮像することが可能になる。 In the present embodiment, a plurality of imaging units 311 are mounted on one aircraft. However, the present invention is not limited to this, and a plurality of imaging units can be provided by mounting one imaging unit 311 on each of a plurality of aircraft. 311 may be configured. In addition, a plurality of imaging units 311 may be configured by mounting a plurality of imaging units 311 on each of a plurality of aircraft. Thereby, according to this embodiment, it becomes possible to image a vehicle in a wider range.
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。 The present invention has been described above using the above-described embodiment as an exemplary example. However, the present invention is not limited to the above-described embodiment. That is, the present invention can apply various modes that can be understood by those skilled in the art within the scope of the present invention.
この出願は、2015年4月1日に出願された日本出願特願2015−074821を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2015-074821 for which it applied on April 1, 2015, and takes in those the indications of all here.
100 車両検索システム
101 撮像部
102 車両画像抽出部
103 ナンバー情報読取部
104 検索車両判定部
105 撮像方向制御部DESCRIPTION OF
Claims (9)
前記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、
前記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、
前記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、
前記検索車両判定手段により前記ナンバー情報と前記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように前記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備する、車両検索システム。An imaging means mounted on a flying object and imaging the ground from above;
Vehicle image extraction means for extracting an image of the vehicle from the image captured by the imaging means;
Number information reading means for reading number information on the license plate from the vehicle image extracted by the vehicle image extracting means;
Search vehicle determination means for determining whether or not the number information read by the number information reading means matches preset search vehicle information;
An imaging direction control means for controlling an imaging direction of the imaging means so as to image a vehicle based on the number information when the search vehicle determination means determines that the number information and the search vehicle information match. A vehicle search system.
これら複数の撮像手段は、互いに異なる方向に向けて地上を撮像する、請求項1又は2記載の車両検索システム。The imaging means comprises a plurality of imaging means,
The vehicle search system according to claim 1 or 2, wherein the plurality of imaging means images the ground in different directions.
これら複数の飛行物体に少なくとも一つの前記撮像手段を搭載する、請求項3記載の車両検索システム。The flying object comprises a plurality of flying objects,
The vehicle search system according to claim 3, wherein at least one of the imaging means is mounted on the plurality of flying objects.
抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、
読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、
前記ナンバー情報と前記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように撮像方向を制御する、車両検索方法。Extract the vehicle image from the image of the ground imaged from above,
Read the number information on the license plate from the extracted vehicle image,
Determine whether the read number information matches the preset search vehicle information,
A vehicle search method for controlling an imaging direction so as to image a vehicle based on the number information when it is determined that the number information matches the search vehicle information.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015074821 | 2015-04-01 | ||
JP2015074821 | 2015-04-01 | ||
PCT/JP2016/001825 WO2016157894A1 (en) | 2015-04-01 | 2016-03-30 | Vehicle search system and vehicle search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016157894A1 true JPWO2016157894A1 (en) | 2018-02-08 |
JP6907938B2 JP6907938B2 (en) | 2021-07-21 |
Family
ID=57004060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017509293A Active JP6907938B2 (en) | 2015-04-01 | 2016-03-30 | Vehicle search system and vehicle search method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6907938B2 (en) |
WO (1) | WO2016157894A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730889B (en) * | 2017-10-30 | 2021-01-05 | 昆明理工大学 | Target vehicle retrieval method based on traffic video |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0721400B2 (en) * | 1988-10-17 | 1995-03-08 | 三菱電機株式会社 | Tracking device |
JPH11296788A (en) * | 1998-04-10 | 1999-10-29 | Mitsubishi Electric Corp | Vehicle speed measuring instrument |
JP2008545324A (en) * | 2005-06-30 | 2008-12-11 | プラナム・ビジョン・リミテッド | Monitoring system and method for detecting prohibited operation along a predetermined path |
JP2011165146A (en) * | 2010-02-15 | 2011-08-25 | Nec Software Kyushu Ltd | In-vehicle device, notification method, vehicle collation system and computer program |
JP2013205419A (en) * | 2013-06-10 | 2013-10-07 | Pasuko:Kk | Portable photographing device |
JP2014089160A (en) * | 2012-10-31 | 2014-05-15 | Topcon Corp | Aviation photographic measurement method, and aviation photographic measurement system |
JP2014119827A (en) * | 2012-12-13 | 2014-06-30 | Secom Co Ltd | Imaging system |
US20140336848A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
-
2016
- 2016-03-30 WO PCT/JP2016/001825 patent/WO2016157894A1/en active Application Filing
- 2016-03-30 JP JP2017509293A patent/JP6907938B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0721400B2 (en) * | 1988-10-17 | 1995-03-08 | 三菱電機株式会社 | Tracking device |
JPH11296788A (en) * | 1998-04-10 | 1999-10-29 | Mitsubishi Electric Corp | Vehicle speed measuring instrument |
JP2008545324A (en) * | 2005-06-30 | 2008-12-11 | プラナム・ビジョン・リミテッド | Monitoring system and method for detecting prohibited operation along a predetermined path |
JP2011165146A (en) * | 2010-02-15 | 2011-08-25 | Nec Software Kyushu Ltd | In-vehicle device, notification method, vehicle collation system and computer program |
JP2014089160A (en) * | 2012-10-31 | 2014-05-15 | Topcon Corp | Aviation photographic measurement method, and aviation photographic measurement system |
JP2014119827A (en) * | 2012-12-13 | 2014-06-30 | Secom Co Ltd | Imaging system |
US20140336848A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
JP2013205419A (en) * | 2013-06-10 | 2013-10-07 | Pasuko:Kk | Portable photographing device |
Also Published As
Publication number | Publication date |
---|---|
WO2016157894A1 (en) | 2016-10-06 |
JP6907938B2 (en) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4622001B2 (en) | Road lane marking detection apparatus and road lane marking detection method | |
JP6311646B2 (en) | Image processing apparatus, electronic mirror system, and image processing method | |
WO2016002163A1 (en) | Image display device and image display method | |
EP3217318A2 (en) | Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object | |
JP6586849B2 (en) | Information display device and information display method | |
US20210331680A1 (en) | Vehicle driving assistance apparatus | |
JP6795379B2 (en) | Operation control device, operation control method and operation control program | |
JP2020065141A (en) | Vehicle overhead image generation system and method thereof | |
JP6375633B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP6989284B2 (en) | Vehicle position estimation device and program | |
JP6327115B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
EP2056235A1 (en) | Driving path identification via online adaptation of the driving path model | |
KR102552712B1 (en) | System for estimating a vehicle location and method for estimating the vehicle location using the system | |
WO2016157894A1 (en) | Vehicle search system and vehicle search method | |
JP2006344133A (en) | Road division line detector | |
JP2020086956A (en) | Imaging abnormality diagnosis device | |
KR20160149564A (en) | Apparatus and method for recognizing traffic mark based on image | |
US20230098440A1 (en) | Imaging device, imaging system, and imaging method | |
JP2005216200A (en) | Other vehicle detecting apparatus and method | |
EP4060639B1 (en) | Traffic signal recognition method and traffic signal recognition device | |
JP2005178623A (en) | Display device for vehicle | |
JP6992344B2 (en) | Landmark selection method and landmark selection device | |
US20210129751A1 (en) | Side and rear reflection controller and side and rear reflection control method | |
JP2019091327A (en) | Three-dimensional object detection device | |
JP5921596B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6907938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |