JP2008306373A - Vehicle imaging device - Google Patents

Vehicle imaging device Download PDF

Info

Publication number
JP2008306373A
JP2008306373A JP2007150529A JP2007150529A JP2008306373A JP 2008306373 A JP2008306373 A JP 2008306373A JP 2007150529 A JP2007150529 A JP 2007150529A JP 2007150529 A JP2007150529 A JP 2007150529A JP 2008306373 A JP2008306373 A JP 2008306373A
Authority
JP
Japan
Prior art keywords
vehicle
exposure amount
captured
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007150529A
Other languages
Japanese (ja)
Inventor
Yuji Yoshimitsu
裕司 吉光
Takeshi Kurata
剛 倉田
Koji Arima
康二 有間
Yoshiyuki Hagiwara
祥行 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2007150529A priority Critical patent/JP2008306373A/en
Publication of JP2008306373A publication Critical patent/JP2008306373A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle imaging device capable of appropriately managing vehicles in which a registration number indicated on a number plate of a vehicle is associated with a driver's face image of the vehicle. <P>SOLUTION: The vehicle imaging device 1 images a vehicle that enters an imaging region with a first exposure amount at an imaging part 3, and is imaged with a second exposure amount as well. The vehicle imaging device 1 associates a picture imaged with the first exposure amount with that imaged with the second exposure amount, and store them in a picture storing part 6. An image processing part 7 extracts a driver's face image from any one of the pictures stored in such a manner. It recognizes a registration number indicated on a number plate using the picture from which a driver's face image is extracted or the other picture. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、撮像領域を通過する車両を撮像する車両撮像装置に関する。   The present invention relates to a vehicle imaging device that images a vehicle passing through an imaging region.

従来、撮像領域を通過する車両を撮像するとともに、撮像した車両の撮像画像を処理し、この車両に取り付けられているナンバープレートに表記されている登録番号を認識するナンバープレート読取装置があった（例えば、特許文献１参照）。このナンバープレート読取装置は、道路網における２地点間の旅行時間を計測するシステムや、駐車場内の車両を管理するシステム等で利用されている。例えば、旅行時間を計測するシステムでは、ナンバープレート読取装置を道路網の複数の地点に設置している。各ナンバープレート読取装置は、撮像した通過車両の撮像画像を処理し、その地点を通過した車両のナンバープレートに表記されている登録番号、通過時刻、および通過地点を含む車両の通過情報を生成し、センタに通知する。センタは、各地点のナンバープレート読取装置から通知された通過情報を収集し、道路網のある地点から別の地点までの２地点間における車両の旅行時間を算出する。   Conventionally, there has been a license plate reading device that captures a vehicle passing through an imaging region, processes a captured image of the captured vehicle, and recognizes a registration number written on a license plate attached to the vehicle ( For example, see Patent Document 1). This license plate reader is used in a system for measuring travel time between two points on a road network, a system for managing vehicles in a parking lot, and the like. For example, in a system for measuring travel time, license plate readers are installed at a plurality of points on the road network. Each license plate reader processes the captured image of the captured passing vehicle, and generates vehicle registration information including the registration number, the passage time, and the passage point indicated on the license plate of the vehicle that has passed the point. , Notify the center. The center collects the passing information notified from the license plate reader at each point, and calculates the travel time of the vehicle between two points from one point on the road network to another point.

また、駐車場内の車両を管理するシステムは、例えば駐車場の入口、および出口にナンバープレート読取装置を設置している。駐車場の入口に設置しているナンバープレート読取装置は、撮像した入場車両の撮像画像を処理し、その車両のナンバープレートに表記されている登録番号、および入場時刻を含む車両の入場情報を生成し、センタに通知する。また、駐車場の出口に設置しているナンバープレート読取装置は、撮像した出場車両の撮像画像を処理し、その車両のナンバープレートに表記されている登録番号、および出場時刻を含む車両の出場情報を生成し、センタに通知する。センタは、通知された入場情報、および出場情報を収集し、駐車場内に駐車されている車両の台数や、車両毎の登録番号を管理する。また、このシステムでは、入場時に駐車券を発券することなく、出場時に駐車料金を算出し、利用者に精算させることもできる。すなわち、このシステムでは、駐車券を発券する発券装置が不要になる。   Moreover, the system which manages the vehicle in a parking lot has installed the license plate reader at the entrance and exit of a parking lot, for example. The license plate reader installed at the entrance of the parking lot processes the captured image of the entrance vehicle, and generates the entrance information of the vehicle including the registration number written on the license plate of the vehicle and the entrance time. And notify the center. In addition, the license plate reader installed at the exit of the parking lot processes the captured images of the participating vehicles, and the vehicle participation information including the registration number written on the vehicle license plate and the participation time Is generated and notified to the center. The center collects the notified entry information and entry information, and manages the number of vehicles parked in the parking lot and the registration number for each vehicle. In addition, with this system, it is possible to calculate the parking fee at the time of entry and allow the user to pay without issuing a parking ticket at the time of entry. That is, in this system, a ticket issuing device for issuing a parking ticket is not necessary.

また、車両のナンバープレートと同時に、フロントガラス越しに撮像した運転者の顔画像を、ナンバープレートに表記されている登録番号とともに出力する車両撮像装置もある。この車両撮像装置を利用することで、センタでは車両の登録番号と、その車両の運転者の顔画像と、を対応づけて管理することができる。例えば、上述した駐車場内の車両を管理するシステムに適用すると、車両の出場時に、その車両の運転者が、入場時の運転者と同一人物であるかどうかを判断することができる。このため、入場時と出場時とで、運転者が異なっている場合、出口の係員にその旨を通知し、出場車両についての駐車場からの出場可否を係員に対応させられる。したがって、駐車場内に駐車されている車両の盗難に対するセキュリティが高められる。
特開昭６３−５４８８９号公報 There is also a vehicle imaging device that outputs a driver's face image taken through the windshield together with a registration number written on the license plate at the same time as the vehicle license plate. By using this vehicle imaging apparatus, the center can manage the registration number of the vehicle and the face image of the driver of the vehicle in association with each other. For example, when applied to the above-described system for managing a vehicle in a parking lot, it is possible to determine whether or not the driver of the vehicle is the same person as the driver at the time of entry when the vehicle enters. For this reason, when the driver is different at the time of entry and at the time of entry, the person in charge at the exit is notified to that effect, and the person in charge from the parking lot regarding the entry vehicle can be made to respond. Therefore, security against theft of a vehicle parked in the parking lot is enhanced.
JP-A-63-54889

しかしながら、最近の車両は、近赤外線をカットするＩＲカットガラスをフロントガラスに利用する傾向にある。このため、従来の車両撮像装置では、ＩＲカットガラスをフロントガラスに利用した車両の場合、光量不足が原因で車内が暗く、運転者の顔が認識できる撮像画像が得られないことがあった。すなわち、ＩＲカットガラスの利用の増加にともなって、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が困難になってきている。   However, recent vehicles tend to use IR cut glass that cuts near infrared rays for the windshield. For this reason, in the case of a vehicle using an IR cut glass as a windshield in a conventional vehicle imaging device, the interior of the vehicle is dark due to insufficient light quantity, and a captured image that can recognize the driver's face may not be obtained. That is, as the use of IR cut glass increases, it becomes difficult to manage a vehicle in which a registration number written on a license plate of a vehicle is associated with a face image of the driver of the vehicle. .

この発明の目的は、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が適正に行なえる車両撮像装置を提供することにある。   An object of the present invention is to provide a vehicle imaging device capable of appropriately managing a vehicle in which a registration number written on a license plate of a vehicle and a face image of a driver of the vehicle are associated with each other. .

この発明の車両撮像装置は、上記課題を解決し、その目的を達するために、以下のように構成している。   In order to solve the above-described problems and achieve the object, the vehicle imaging device of the present invention is configured as follows.

露光量指示手段が、撮像手段に対して、撮像時の露光量として第１の露光量、または第２の露光量を指示する。撮像手段は、撮像領域を近赤外領域で撮像する構成であってもよいし、可視光領域で撮像する構成であってもよい。前記撮像手段は、前記露光量指示手段によって指示された露光量で撮像領域を撮像する。前記露光量指示手段による露光量の指示は、シャッタスピードや、絞り、さらには、これらの組み合わせで行なえる。一般的なＣＣＤカメラ等の応答性を考慮すれば、シャッタスピードで露光量を指示する構成が好ましい。   The exposure amount instruction unit instructs the imaging unit to specify the first exposure amount or the second exposure amount as the exposure amount at the time of imaging. The imaging means may be configured to image the imaging region in the near infrared region, or may be configured to image in the visible light region. The imaging unit images the imaging region with the exposure amount instructed by the exposure amount instruction unit. The instruction of the exposure amount by the exposure amount instruction means can be performed by a shutter speed, an aperture, or a combination thereof. In consideration of responsiveness of a general CCD camera or the like, a configuration in which the exposure amount is indicated by the shutter speed is preferable.

進入検知手段が、前記撮像手段の撮像領域内における車両の進入を検知する。また、記憶手段は、この進入検知手段により前記撮像領域内における車両の進入が検知されたタイミングで、前記撮像手段が時間的に連続して撮像した２つの撮像画像を対応づけて記憶する。さらに、前記露光量指示手段が、前記記憶手段に対応づけて記憶される２つの撮像画像が、前記第１の露光量で撮像された撮像画像と、前記第２の露光量で撮像された撮像画像と、になるように、前記撮像手段に対して撮像時の露光量を指示する。すなわち、記憶手段が対応づけて記憶する２つの撮像画像は、第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、になる。   An approach detection means detects the approach of the vehicle within the imaging area of the imaging means. In addition, the storage unit stores two captured images that are sequentially captured in time by the imaging unit at a timing when the approach detection unit detects the entry of the vehicle in the imaging region. Furthermore, the two exposure images stored in association with the storage means by the exposure amount instruction means are picked-up images picked up with the first exposure amount and picked-up images picked up with the second exposure amount. The exposure amount at the time of imaging is instructed to the imaging means so as to become an image. That is, the two captured images stored in association with each other by the storage unit are a captured image captured with the first exposure amount and a captured image captured with the second exposure amount.

ここで、第１の露光量を、フロントガラスがＩＲカットガラスでない車両を撮像したときに、フロントガラス越しに撮像された運転者の顔画像が認識できる露光量とし、また、第２の露光量を、フロントガラスがＩＲカットガラスである車両を撮像したときに、フロントガラス越しに撮像された運転者の顔画像が認識できる露光量とすることによって、フロントガラスがＩＲカットガラスであるかどうかにかかわらず、前記記憶手段に対応づけて記憶した２つの撮像画像の、どちらか一方で、運転者の顔画像が認識できる。したがって、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が適正に行なえる。   Here, the first exposure amount is an exposure amount with which the driver's face image captured through the windshield can be recognized when a vehicle whose windshield is not an IR cut glass is imaged, and the second exposure amount. To determine whether or not the windshield is IR cut glass by setting the exposure amount so that the face image of the driver imaged through the windshield can be recognized when a vehicle whose windshield is IR cut glass is imaged. Regardless, one of the two captured images stored in association with the storage means can recognize the driver's face image. Therefore, the vehicle can be properly managed by associating the registration number written on the license plate of the vehicle with the face image of the driver of the vehicle.

また、以下に示す、登録番号認識手段、顔画像抽出手段、および出力手段を備えることで、センタ等の上位装置へ出力するデータ量が抑えられる。すなわち、上位装置との間における通信量が抑えられる。   In addition, by providing the following registration number recognition unit, face image extraction unit, and output unit, the amount of data to be output to a host device such as a center can be suppressed. That is, the amount of communication with the host device is suppressed.

登録番号認識手段は、前記記憶手段が対応づけて記憶しているどちらかの撮像画像を処理し、撮像されている車両のナンバープレートに表記されている登録番号を認識する。顔画像抽出手段は、前記記憶手段が対応づけて記憶しているどちらかの撮像画像を処理し、運転者の顔画像を抽出する。出力手段は、前記登録番号認識手段が認識した登録番号と、前記顔画像抽出手段が抽出した顔画像と、を対応づけて出力する。   The registration number recognition means processes one of the captured images stored in association with the storage means, and recognizes the registration number written on the license plate of the vehicle being imaged. The face image extraction means processes one of the captured images stored in association with the storage means, and extracts the driver's face image. The output means outputs the registration number recognized by the registration number recognition means and the face image extracted by the face image extraction means in association with each other.

登録番号認識手段は、記憶手段が対応づけて記憶しているどちらかの撮像画像によって、ナンバープレートに表記されている登録番号を認識すればよい。また、顔画像抽出手段も、記憶手段が対応づけて記憶しているどちらかの撮像画像によって、運転者の顔画像が抽出できればよい。登録番号認識手段が登録番号を認識した撮像画像と、顔画像抽出手段が運転者の顔画像を抽出した撮像画像と、は同じであってもよいし、異なっていてもよい。   The registration number recognition means may recognize the registration number written on the license plate from either captured image stored in association with the storage means. Further, the face image extracting means only needs to be able to extract the driver's face image from one of the captured images stored in association with the storage means. The captured image in which the registration number recognition unit recognizes the registration number and the captured image in which the face image extraction unit has extracted the driver's face image may be the same or different.

この発明によれば、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が適正に行なえる。   According to this invention, management of the vehicle which matched the registration number written on the license plate of the vehicle with the face image of the driver of the vehicle can be performed appropriately.

以下、この発明の実施形態である車両撮像装置について説明する。   Hereinafter, a vehicle imaging apparatus according to an embodiment of the present invention will be described.

図１は、この発明の実施形態である車両撮像装置の主要部の構成を示す図である。車両撮像装置１は、制御部２と、撮像部３と、露光量指示部４と、差分画像生成処理部５と、撮像画像記憶部６と、画像処理部７と、出力部８と、を備えている。この車両撮像装置１は、駐車場内の車両を管理するシステム等に適用できる。制御部２は、本体各部の動作を制御する。撮像部３は、撮像領域を撮像するＣＣＤカメラを有する。このＣＣＤカメラは、可視光領域で撮像する構成であってもよいし、近赤外領域で撮像する構成であってもよい。撮像部３のＣＣＤカメラは、１秒間に撮像領域を撮像した撮像画像を１５〜３０フレーム程度出力することができる。また、撮像領域を通過する車両のナンバープレートに表記されている文字が画像処理で認識できる大きさに撮像されるように、撮像部３のＣＣＤカメラを設置している。露光量指示部４は、撮像部３に対して撮像時の露光量を第１の露光量とするか、第２の露光量とするかを指示する。第１の露光量は、フロントガラスがＩＲカットガラスでない車両を撮像したときに、車内が適当な明るさで撮像され、フロントガラス越しに運転者の顔画像が認識できる撮像画像が得られる露光量である。また、第２の露光量は、フロントガラスがＩＲカットガラスである車両を撮像したときに、車内が適当な明るさで撮像され、フロントガラス越しに運転者の顔画像が認識できる撮像画像が得られる露光量である。第１の露光量、および第２の露光量は、撮像部３のＣＣＤカメラの特性や、撮像領域周辺の環境等に基づいて決定すればよい。また、露光量の指示は、ＣＣＤカメラの絞りを指示する方法でもよいし、ＣＣＤカメラのシャッタスピードを指示する構成でもよいし、絞り、およびシャッタスピードの両方を指示する構成であってもよい。ここでは、撮像部３のＣＣＤカメラの応答性の面から、露光量の指示をシャッタスピードで行なう構成としている。具体的には、露光量指示部４は、撮像部３に対して、シャッタスピードとしてＮ（ｓ）（第１の露光量）またはａ×Ｎ（ｓ）（ただし、ａ＞１）（第２の露光量）を指示する。   FIG. 1 is a diagram showing a configuration of a main part of a vehicle imaging apparatus that is an embodiment of the present invention. The vehicle imaging device 1 includes a control unit 2, an imaging unit 3, an exposure amount instruction unit 4, a difference image generation processing unit 5, a captured image storage unit 6, an image processing unit 7, and an output unit 8. I have. This vehicle imaging device 1 can be applied to a system or the like that manages vehicles in a parking lot. The control unit 2 controls the operation of each part of the main body. The imaging unit 3 includes a CCD camera that images an imaging area. This CCD camera may be configured to capture an image in the visible light region or may be configured to capture an image in the near infrared region. The CCD camera of the imaging unit 3 can output about 15 to 30 frames of a captured image obtained by capturing an imaging region per second. In addition, the CCD camera of the imaging unit 3 is installed so that characters written on the license plate of the vehicle passing through the imaging area are captured in a size that can be recognized by image processing. The exposure amount instructing unit 4 instructs the image capturing unit 3 whether the exposure amount at the time of image capturing is the first exposure amount or the second exposure amount. The first exposure amount is an exposure amount at which when a vehicle whose front glass is not an IR cut glass is imaged, the interior of the vehicle is imaged with appropriate brightness, and a captured image is obtained through which the driver's face image can be recognized through the front glass. It is. In addition, the second exposure amount is obtained when a vehicle whose front glass is an IR cut glass is imaged so that the interior of the vehicle is captured with appropriate brightness and the driver's face image can be recognized through the windshield. Exposure amount. The first exposure amount and the second exposure amount may be determined based on the characteristics of the CCD camera of the imaging unit 3, the environment around the imaging region, and the like. In addition, the method of instructing the exposure amount may be a method of instructing the aperture of the CCD camera, a configuration in which the shutter speed of the CCD camera is instructed, or a configuration in which both the aperture and the shutter speed are instructed. Here, from the viewpoint of the responsiveness of the CCD camera of the imaging unit 3, the exposure amount is instructed at the shutter speed. Specifically, the exposure amount instruction unit 4 sets the shutter speed to N (s) (first exposure amount) or a × N (s) (where a> 1) (second) with respect to the imaging unit 3. The exposure amount).

図２は、フロントガラスがＩＲカットガラスである車両を第１の露光量で撮像した撮像画像である。また、図３は、フロントガラスがＩＲカットガラスである車両を第２の露光量で撮像した撮像画像である。図２に示すように、第１の露光量で撮像した場合、ナンバープレート部分は、表記されている登録番号が画像処理で認識できる適当な明るさである。これに対し、車内部分は、露光量不足による暗い画像であり、運転者の顔を認識することができない。この露光量不足が生じた主な原因は、ＩＲカットガラスによる光量の減衰である。一方、図３に示すように、第２の露光量で撮像した場合、ナンバープレート部分は、露光量過多によりハレーションを起こし、表記されている登録番号が画像処理で認識できないが、フロントガラス越しに撮像された車内部分は、適当な明るさで撮像されており、運転者の顔を認識することができる。   FIG. 2 is a captured image obtained by capturing a vehicle whose front glass is IR cut glass with a first exposure amount. FIG. 3 is a captured image obtained by capturing a vehicle whose front glass is IR cut glass with a second exposure amount. As shown in FIG. 2, when the image is taken with the first exposure amount, the license plate portion has an appropriate brightness that allows the registered number to be recognized by image processing. On the other hand, the vehicle interior is a dark image due to insufficient exposure, and the driver's face cannot be recognized. The main cause of this shortage of exposure is the attenuation of the amount of light by the IR cut glass. On the other hand, as shown in FIG. 3, when the image is taken with the second exposure amount, the license plate portion is halated due to the excessive exposure amount, and the registered number cannot be recognized by the image processing, but through the windshield. The imaged interior portion is imaged with appropriate brightness, and the driver's face can be recognized.

なお、フロントガラスがＩＲカットガラスでない車両を第１の露光量で撮像した撮像画像、および第２の露光量で撮像した撮像画像については示さなかったが、第１の露光量で撮像した場合、ナンバープレート部分、および車内部分が適当な明るさで撮像される。一方、第２の露光量で撮像した場合、ナンバープレート部分、および車内部分が露光量過多によりハレーションを起こした撮像画像になる。また、ナンバープレートに近赤外線等をカットするナンバープレートカバーが取り付けられていると、第１の露光量で撮像した場合、露光量不足による暗い画像となり、表記されている登録番号の認識が行なえない。一方、第２の露光量で撮像した場合、ナンバープレート部分が表記されている登録番号が画像処理で認識できる適当な明るさになる。   In addition, although it did not show about the picked-up image which imaged the vehicle whose windshield is not IR cut glass with the 1st exposure amount, and the 2nd exposure amount, when picked up with the 1st exposure amount, The license plate portion and the vehicle interior portion are imaged with appropriate brightness. On the other hand, when imaging is performed with the second exposure amount, the number plate portion and the vehicle interior portion are captured images in which halation has occurred due to excessive exposure amount. In addition, if a license plate cover that cuts near infrared rays or the like is attached to the license plate, when the image is taken with the first exposure amount, the image becomes dark due to insufficient exposure amount and the registered number cannot be recognized. . On the other hand, when the image is taken with the second exposure amount, the registration number on which the license plate portion is written has an appropriate brightness that can be recognized by image processing.

差分画像生成処理部５は、撮像部３で撮像された撮像画像と、撮像領域に車両が存在していないときの撮像画像（以下、背景画像と言う。）と、の差分画像を生成し、この差分画像から撮像領域内に車両が存在しているかどうかを判定する。この判定は、生成した差分画像に、車両に相当する大きさの物体があるかどうかを判定することで行う。差分画像生成処理部５は、撮像領域内に車両が存在しているかどうかを判定した判定結果を制御部２に入力する。撮像画像記憶部６は、撮像部３で撮像された撮像画像を記憶する。後述するように、撮像画像記憶部６は、時間的に連続して撮像された２つの画像を対応づけて記憶する。この２つの撮像画像の一方は第１の露光量で撮像された撮像画像であり、他方は第２の露光量で撮像された撮像画像である。制御部２が、撮像画像記憶部６に記憶させる撮像画像を制御する。言い換えれば、撮像画像記憶部６は、撮像部３で撮像された全ての撮像画像を記憶するのではなく、制御部２によって記憶することが指示された撮像画像を記憶する。   The differential image generation processing unit 5 generates a differential image between a captured image captured by the imaging unit 3 and a captured image when the vehicle is not present in the imaging region (hereinafter referred to as a background image). It is determined from this difference image whether a vehicle is present in the imaging region. This determination is performed by determining whether or not there is an object having a size corresponding to the vehicle in the generated difference image. The difference image generation processing unit 5 inputs a determination result obtained by determining whether or not a vehicle exists in the imaging region to the control unit 2. The captured image storage unit 6 stores the captured image captured by the imaging unit 3. As will be described later, the captured image storage unit 6 stores two images captured sequentially in time in association with each other. One of the two captured images is a captured image captured with the first exposure amount, and the other is a captured image captured with the second exposure amount. The control unit 2 controls the captured image stored in the captured image storage unit 6. In other words, the captured image storage unit 6 does not store all the captured images captured by the imaging unit 3, but stores the captured image instructed to be stored by the control unit 2.

画像処理部７は、撮像画像記憶部６が対応づけて記憶している撮像画像を処理して、撮像されている車両のナンバープレートに表記されている登録番号を認識する認識処理、および運転者の顔画像を切り出して抽出する抽出処理を含む画像処理を行なう。認識処理は、撮像画像から、撮像されている車両のナンバープレート部分の画像を切り出し、ここで切り出したナンバープレート部分の画像に対して、このナンバープレートに表記されている文字毎にパターンマッチング等による文字認識処理を行い、登録番号を認識する処理である。抽出処理は、撮像画像から、撮像されている運転者の顔画像を認識し、認識した顔画像を切り出して抽出する処理である。出力部８は、画像処理部７で認識された登録番号と、抽出された運転者の顔画像と、を図示していない上位装置へ出力する。例えば、ここでいう上位装置は、駐車場内の車両を管理するシステムのセンタである。   The image processing unit 7 processes a captured image stored in association with the captured image storage unit 6 and recognizes a registration number written on the number plate of the vehicle being imaged, and a driver Image processing including extraction processing for cutting out and extracting the face image of the person. The recognition process cuts out the image of the number plate portion of the vehicle being picked up from the picked-up image, and performs pattern matching or the like for each character written on the number plate with respect to the image of the number plate portion cut out here. This is a process of performing a character recognition process and recognizing a registration number. The extraction process is a process of recognizing the face image of the driver being imaged from the captured image, and extracting and extracting the recognized face image. The output unit 8 outputs the registration number recognized by the image processing unit 7 and the extracted driver's face image to a host device (not shown). For example, the host device here is the center of a system that manages vehicles in a parking lot.

この車両撮像装置１は、撮像部３が予め定められた時間間隔で撮像領域の撮像画像を出力する。差分画像生成処理部５は、撮像部３から出力された撮像画像と、背景画像と、の差分画像を生成し、撮像領域内に車両が進入したかどうかを判定し、その判定結果を制御部２に入力する。制御部２は、撮像領域内に車両が進入したとする判定結果が入力されると、撮像画像記憶部６に対して、そのときの撮像画像を記憶することを指示する。また、制御部２は、露光量指示部４に対して、撮像部３に対する露光量の指示を切り換えることを指示する。露光量指示４は、この制御部２からの指示にしたがって、撮像部３に対して指示する露光量を切り換える。撮像部３は、この指示により、露光量（ここでは、シャッタスピード）を切り換えて、指示された露光量で撮像領域を撮像する。また、制御部２は、撮像画像記憶部６に対して、先に記憶した撮像画像に対応づけて、今回露光量を替えて撮像した撮像画像を記憶することを指示する。   In the vehicle imaging device 1, the imaging unit 3 outputs a captured image of the imaging region at a predetermined time interval. The difference image generation processing unit 5 generates a difference image between the captured image output from the imaging unit 3 and the background image, determines whether a vehicle has entered the imaging region, and determines the determination result as a control unit. Enter in 2. When the determination result indicating that the vehicle has entered the imaging area is input, the control unit 2 instructs the captured image storage unit 6 to store the captured image at that time. Further, the control unit 2 instructs the exposure amount instruction unit 4 to switch the exposure amount instruction for the imaging unit 3. The exposure amount instruction 4 switches the exposure amount instructed to the imaging unit 3 in accordance with the instruction from the control unit 2. In response to this instruction, the imaging unit 3 switches the exposure amount (here, shutter speed) and images the imaging region with the instructed exposure amount. In addition, the control unit 2 instructs the captured image storage unit 6 to store the captured image captured by changing the current exposure amount in association with the previously stored captured image.

また、車両撮像装置１は、撮像画像処理部６に対応づけて記憶した２つの撮像画像を画像処理部７で処理し、撮像されている車両のナンバープレートに表記されている登録番号を認識するとともに、撮像されている運転者の顔画像を抽出する。そして、登録番号、および運転者の顔画像を出力部８から上位装置へ出力する。   In addition, the vehicle imaging device 1 processes two captured images stored in association with the captured image processing unit 6 by the image processing unit 7 and recognizes a registration number written on the license plate of the vehicle being imaged. At the same time, the face image of the driver being imaged is extracted. Then, the registration number and the driver's face image are output from the output unit 8 to the host device.

以下、この車両撮像装置１の動作について詳細に説明する。図４は、車両撮像装置における撮像処理を示すフローチャートである。露光量指示部４は、撮像部３に対して、撮像時の露光量として第１の露光量を指示する（ｓ１）。この指示は、シャッタスピードをＮ（ｓ）とする指示である。撮像部３が、予め定められた時間間隔（例えば、３０ｍｓ〜６０ｍｓ程度の時間間隔）で撮像領域を撮像し（ｓ２）、差分画像生成処理部５が、撮像部３で撮像された撮像画像と背景画像との差分画像を生成し、撮像領域内に車両が存在しているかどうかを判定する（ｓ３）。ｓ２では、撮像部３は、露光量指示部４によって指示されている第１の露光量で撮像領域を撮像している。差分画像生成処理部５は、撮像領域内に車両が存在しているかどうかを判定した判定結果を制御部２に入力する。車両撮像装置１は、差分画像生成処理部５がｓ３で撮像領域内に車両が存在していると判定するまで、上述したｓ２、ｓ３にかかる処理を繰り返す。   Hereinafter, the operation of the vehicle imaging device 1 will be described in detail. FIG. 4 is a flowchart showing an imaging process in the vehicle imaging device. The exposure amount instruction unit 4 instructs the imaging unit 3 to set the first exposure amount as the exposure amount at the time of imaging (s1). This instruction is an instruction to set the shutter speed to N (s). The imaging unit 3 captures an imaging region at a predetermined time interval (for example, a time interval of about 30 ms to 60 ms) (s2), and the difference image generation processing unit 5 and the captured image captured by the imaging unit 3 A difference image with the background image is generated, and it is determined whether or not a vehicle is present in the imaging region (s3). In s2, the imaging unit 3 images the imaging region with the first exposure amount instructed by the exposure amount instruction unit 4. The difference image generation processing unit 5 inputs a determination result obtained by determining whether or not a vehicle exists in the imaging region to the control unit 2. The vehicle imaging device 1 repeats the processes relating to s2 and s3 described above until the difference image generation processing unit 5 determines in s3 that a vehicle is present in the imaging region.

車両撮像装置１は、差分画像生成処理部５がｓ３で撮像領域内に車両が存在していると判定すると、今回差分画像を生成した撮像画像を撮像画像記憶部６に記憶するとともに（ｓ４）、露光量指示部４が撮像部３に対して、撮像時の露光量を第２の露光量にすることを指示する（ｓ５）。露光量指示部４は、撮像部３に対して、シャッタスピードを２×Ｎ（ｓ）とする指示を行なう。これにより、撮像部３が、第２の露光量で撮像領域を撮像する（ｓ６）。車両撮像装置１は、撮像部３が第２の露光量で撮像した撮像画像を、ｓ４で記憶した撮像画像に対応づけて撮像画像記憶部６に記憶する（ｓ７）。車両撮像装置１は、ｓ７で２つの画像を撮像画像記憶部６に対応づけて記憶すると、ｓ１に戻る。   When the difference image generation processing unit 5 determines that the vehicle is present in the imaging area in s3, the vehicle imaging device 1 stores the captured image that generated the current difference image in the captured image storage unit 6 (s4). Then, the exposure amount instruction unit 4 instructs the imaging unit 3 to set the exposure amount at the time of imaging to the second exposure amount (s5). The exposure amount instruction unit 4 instructs the imaging unit 3 to set the shutter speed to 2 × N (s). Thereby, the imaging unit 3 images the imaging region with the second exposure amount (s6). The vehicle imaging device 1 stores the captured image captured by the imaging unit 3 with the second exposure amount in the captured image storage unit 6 in association with the captured image stored in s4 (s7). The vehicle imaging device 1 returns to s1 when the two images are stored in association with the captured image storage unit 6 in s7.

このように、車両撮像装置１は、上記図４に示した処理を繰り返し行なうことで、撮像領域を通過する車両毎に、その車両を第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、を対応づけて撮像画像記憶部６に記憶する。   As described above, the vehicle imaging apparatus 1 repeatedly performs the process shown in FIG. 4, so that for each vehicle passing through the imaging region, the captured image obtained by capturing the vehicle with the first exposure amount, and the second The captured image captured with the exposure amount is stored in the captured image storage unit 6 in association with each other.

また、車両撮像装置１は、撮像画像記憶部６に対応づけて記憶した２つの撮像画像から、撮像されている車両のナンバープレートに表記されている登録番号を認識する認識処理、および運転者の顔画像を切り出して抽出する抽出処理を含む画像処理を適当なタイミングで実行する。この画像処理を実行するタイミングは、第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、を対応づけて撮像画像記憶部６に記憶したタイミングとしてもよいし、上位装置等によって指示されたタイミングで実行するようにしてもよい。この処理は、撮像画像記憶部６が第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、を対応づけて記憶していることを条件に実行すればよい。   In addition, the vehicle imaging device 1 recognizes the registration number written on the license plate of the vehicle being imaged from the two captured images stored in association with the captured image storage unit 6, and the driver's Image processing including extraction processing for cutting out and extracting a face image is executed at an appropriate timing. The timing at which this image processing is executed may be the timing at which the captured image captured at the first exposure amount and the captured image captured at the second exposure amount are stored in the captured image storage unit 6 in association with each other. Alternatively, it may be executed at a timing instructed by a higher-level device or the like. This process may be executed on condition that the captured image storage unit 6 stores the captured image captured with the first exposure amount and the captured image captured with the second exposure amount in association with each other. .

図５は、この画像処理を示すフローチャートである。画像処理部７は、撮像画像記憶部６が対応づけて記憶している２つの撮像画像の一方を取り込み（ｓ１１）、取り込んだ撮像画像に対して撮像されている車両のナンバープレートに表記されている登録番号を認識する認識処理を行なう（ｓ１２）。ｓ１１では、第１の露光量で撮像した撮像画像を取り込んでもよいし、第２の露光量で撮像した撮像画像を取り込んでもよい。ここでは、ｓ１１で取り込む撮像画像が、第１の露光量で撮像した撮像画像であるとして説明する。第１の露光量で撮像した撮像画像は、上述したようにナンバープレートカバーが取り付けられていなければ、表記されている登録番号が認識できる。言い換えれば、ナンバープレートカバーが取り付けられていると、ナンバープレートに表記されている登録番号が露光量不足により認識できない可能性が高い。   FIG. 5 is a flowchart showing this image processing. The image processing unit 7 captures one of the two captured images stored in association with the captured image storage unit 6 (s11), and is displayed on the license plate of the vehicle that has captured the captured image. A recognition process for recognizing the registered number is performed (s12). In s11, a captured image captured with the first exposure amount may be captured, or a captured image captured with the second exposure amount may be captured. Here, a description will be given assuming that the captured image captured in s11 is a captured image captured with the first exposure amount. The captured image captured with the first exposure amount can recognize the registered number as long as the license plate cover is not attached as described above. In other words, if the license plate cover is attached, there is a high possibility that the registration number written on the license plate cannot be recognized due to insufficient exposure.

車両撮像装置１は、ｓ１２で実行した画像処理部７における登録番号の認識処理で撮像されている車両のナンバープレートに表記されている登録番号が認識できると（ｓ１３）、今回認識した登録番号を制御部２に設けられているメモリ（不図示）に一時的に記憶し（ｓ１４）、以下に示すｓ１５以降の処理を行なう。反対に、登録番号が認識できなければ、ｓ１４にかかる処理を行なうことなく、以下に示すｓ１５以降の処理を行なう。   When the vehicle imaging device 1 can recognize the registration number written on the license plate of the vehicle imaged in the registration number recognition process in the image processing unit 7 executed in s12 (s13), the vehicle imaging device 1 displays the registration number recognized this time. The data is temporarily stored in a memory (not shown) provided in the control unit 2 (s14), and the processing after s15 is performed as follows. On the other hand, if the registration number cannot be recognized, the following processing from s15 is performed without performing the processing related to s14.

次に、ｓ１１で取り込んだ撮像画像から、撮像されている車両の運転者の顔画像を切り出して抽出する抽出処理を行なう（ｓ１５）。第１の露光量で撮像した撮像画像は、上述したようにフロントガラスがＩＲカットガラスでなければ、車内が適当な明るさで撮像されており、運転者の顔画像を認識し抽出することができる。言い換えれば、フロントガラスがＩＲカットガラスであれば、車内が露光量不足で暗く、運転者の顔画像を認識し抽出することができない可能性が高い。   Next, an extraction process is performed to extract and extract the face image of the driver of the vehicle being captured from the captured image captured in s11 (s15). If the windshield is not an IR cut glass as described above, the captured image captured at the first exposure amount is captured at an appropriate brightness in the vehicle, and the driver's face image can be recognized and extracted. it can. In other words, if the windshield is an IR cut glass, the interior of the vehicle is dark due to insufficient exposure, and there is a high possibility that the driver's face image cannot be recognized and extracted.

車両撮像装置１は、ｓ１５で実行した画像処理部７における顔画像抽出処理で、運転者の顔画像が抽出できれば、抽出した顔画像を制御部２に設けられているメモリ（不図示）に一時的に記憶し（ｓ１７）、以下に示すｓ１８以降の処理を行なう。反対に、運転者の顔画像が抽出できなければ、ｓ１７にかかる処理を行なうことなく、以下に示すｓ１８以降の処理を行なう。   If the driver's face image can be extracted by the face image extraction process in the image processing unit 7 executed in s15, the vehicle imaging device 1 temporarily stores the extracted face image in a memory (not shown) provided in the control unit 2. (S17) and the following processing after s18 is performed. On the other hand, if the driver's face image cannot be extracted, the following processing after s18 is performed without performing the processing related to s17.

車両撮像装置１は、ｓ１２でナンバープレートに表記されている登録番号の認識、およびｓ１５での運転者の顔画像が抽出の両方が行なえたかどうかを判定する（ｓ１８）。車両撮像装置１は、両方が行なえていれば、制御部２のメモリに今回記憶した登録番号、および運転者の顔画像を出力部８から上位装置へ出力し（ｓ２９）、本処理を終了する。また、このとき、今回処理した２つの撮像画像も加えて上位装置へ出力してもよいし、今回処理した２つの撮像画像を撮像画像記憶部６から削除してもよい。   The vehicle imaging device 1 determines whether or not the recognition of the registration number written on the license plate in s12 and the extraction of the driver's face image in s15 can be performed (s18). If both can be performed, the vehicle imaging device 1 outputs the registration number stored this time in the memory of the control unit 2 and the driver's face image from the output unit 8 to the host device (s29), and ends this processing. . At this time, the two captured images processed this time may be added and output to the host device, or the two processed images processed this time may be deleted from the captured image storage unit 6.

車両撮像装置１は、ｓ１８でナンバープレートに表記されている登録番号の認識、または運転者の顔画像の抽出の、少なくとも一方ができていないと判定すると、画像処理部７は、撮像画像記憶部６がｓ１１で取り込んだ撮像画像に対応づけて記憶している他方の撮像画像を取り込む（ｓ１９）。ここでは、画像処理部７は、第２の露光量で撮像した撮像画像を取り込む。車両撮像装置１は、ｓ１２でナンバープレートに表記されている登録番号が認識できているかどうかを判定し（ｓ２０）、認識できていれば後述するｓ２６以降の処理を行なう。ｓ１２でナンバープレートに表記されている登録番号が認識できていなければ、画像処理部７がｓ１９で取り込んだ撮像画像に対して撮像されている車両のナンバープレートに表記されている登録番号を認識する認識処理を行なう（ｓ２１）。ｓ２１では、今回取り込んだ撮像画像に撮像されている車両が、ナンバープレートカバーを取り付けている車両であれば、そのナンバープレートに表記されている登録番号の認識率を確保することができる。ｓ２１にかかる処理は、対象となる撮像画像が異なるだけで、上述したｓ１２と同じ処理である。車両撮像装置１は、ｓ２１で撮像されている車両のナンバープレートに表記されている登録番号が認識できなければ、処理不良と判断し、その旨（認識不良）を上位装置に通知し（ｓ２２、ｓ２３）、本処理を終了する。また、このとき、ｓ１７で制御部２に設けられているメモリに今回抽出した運転者の顔画像を記憶していれば、この顔画像を削除する。さらに、上位装置への通知に、今回処理した２つの撮像画像を加えて出力してもよいし、今回処理した２つの撮像画像を撮像画像記憶部６から削除してもよい。   When the vehicle imaging device 1 determines that at least one of recognition of the registration number written on the license plate or extraction of the driver's face image is not completed in s18, the image processing unit 7 reads the captured image storage unit. 6 captures the other captured image stored in association with the captured image captured in s11 (s19). Here, the image processing unit 7 captures a captured image captured with the second exposure amount. The vehicle imaging device 1 determines whether or not the registration number written on the number plate can be recognized in s12 (s20), and if it can be recognized, the processing after s26 described later is performed. If the registration number written on the license plate is not recognized in s12, the image processing unit 7 recognizes the registration number written on the license plate of the vehicle that is captured for the captured image captured in s19. Recognition processing is performed (s21). In s21, if the vehicle captured in the captured image captured this time is a vehicle with a license plate cover attached, the recognition rate of the registration number written on the license plate can be secured. The process related to s21 is the same process as s12 described above, except that the target captured image is different. If the registration number written on the license plate of the vehicle imaged in s21 cannot be recognized, the vehicle imaging device 1 determines that the processing is defective and notifies the host device of that fact (recognition failure) (s22, s23), the process ends. At this time, if the driver's face image extracted this time is stored in the memory provided in the control unit 2 in s17, the face image is deleted. Furthermore, two captured images processed this time may be added to the notification to the host device and output, or the two captured images processed this time may be deleted from the captured image storage unit 6.

車両撮像装置１は、ｓ２２で実行した画像処理部７における登録番号の認識処理で撮像されている車両のナンバープレートに表記されている登録番号が認識できれば、今回認識した登録番号を制御部２に設けられているメモリに一時的に記憶する（ｓ２２、ｓ２４）。車両撮像装置１は、ｓ２４で今回認識した登録番号を制御部２に設けられているメモリに記憶すると、ｓ１５で運転者の顔画像がすでに抽出できているかどうかを判定する（ｓ２５）。ｓ２５で、運転者の顔画像がすでに抽出できていると判定すると上述したｓ２９にかかる処理を行い、本処理を終了する。ｓ２５で、運転者の顔画像が抽出できていないと判定すると、ｓ２６以降の処理を実行する。   If the vehicle imaging apparatus 1 can recognize the registration number written on the license plate of the vehicle imaged in the registration number recognition process in the image processing unit 7 executed in s22, the vehicle imaging device 1 will use the registration number recognized this time to the control unit 2. It is temporarily stored in the provided memory (s22, s24). When the registration number recognized this time in s24 is stored in the memory provided in the control unit 2, the vehicle imaging apparatus 1 determines whether or not the driver's face image has already been extracted in s15 (s25). If it is determined in s25 that the driver's face image has already been extracted, the process related to s29 described above is performed, and the process ends. If it is determined in s25 that the driver's face image has not been extracted, the processing after s26 is executed.

画像処理部７は、ｓ１９で取り込んだ撮像画像から、撮像されている車両の運転者の顔画像を切り出して抽出する抽出処理を行なう（ｓ２６）。ｓ２６では、今回取り込んだ撮像画像に撮像されている車両のフロントガラスが、ＩＲカットガラスであれば、運転者の顔画像の抽出率を確保することができる。ｓ２６にかかる処理は、対象となる撮像画像が異なるだけで、上述したｓ１５と同じ処理である。車両撮像装置１は、ｓ２６で撮像されている車両の運転者の顔画像が抽出できなければ（ｓ２７）、処理不良と判断し、上述したｓ２３で、その旨（認識不良）を上位装置に通知し、本処理を終了する。また、このとき、ｓ１４、またはｓ２４で制御部２に設けられているメモリにナンバープレートに表記されている登録番号を記憶していれば、この登録番号を削除する。さらに、今回処理した２つの撮像画像を撮像画像記憶部６から削除してもよい。   The image processing unit 7 performs an extraction process for extracting and extracting the face image of the driver of the vehicle being captured from the captured image captured in s19 (s26). In s26, if the vehicle windshield captured in the captured image captured this time is an IR cut glass, the extraction ratio of the driver's face image can be ensured. The process related to s26 is the same process as s15 described above, except that the target captured image is different. If the face image of the driver of the vehicle imaged in s26 cannot be extracted (s27), the vehicle imaging device 1 determines that the processing is defective, and notifies the host device of that fact (recognition failure) in s23 described above. Then, this process ends. At this time, if the registration number written on the license plate is stored in the memory provided in the control unit 2 at s14 or s24, the registration number is deleted. Further, the two captured images processed this time may be deleted from the captured image storage unit 6.

車両撮像装置１は、上述した処理で、撮像した車両のナンバープレートに表記されている登録番号が認識でき、且つ運転者の顔画像が抽出できると、上述したｓ２９で、今回認識した登録番号、および抽出した運転者の顔画像を上位装置へ出力し、本処理を終了する。   When the vehicle imaging apparatus 1 can recognize the registration number written on the number plate of the imaged vehicle and extract the driver's face image by the above-described processing, the registration number recognized this time in s29 described above, Then, the extracted driver's face image is output to the host device, and this process is terminated.

このように、車両撮像装置１は、撮像領域に進入してきた車両について、第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像とを対応づけて撮像画像記憶部６に記憶する。そして、第１の露光量は、フロントガラスがＩＲカットガラスでない車両を撮像したときに、車内が適当な明るさで撮像され、フロントガラス越しに運転者の顔画像が認識できる撮像画像が得られる露光量である。また、第２の露光量は、フロントガラスがＩＲカットガラスである車両を撮像したときに、車内が適当な明るさで撮像され、フロントガラス越しに運転者の顔画像が認識できる撮像画像が得られる露光量である。このため、フロントガラスがＩＲカットガラスでない車両であれば第１の露光量で撮像した撮像画像から運転者の顔画像を抽出することができ、フロントガラスがＩＲカットガラスである車両であれば第２の露光量で撮像した撮像画像から運転者の顔画像を抽出することができる。しかも、ナンバープレートカバーを取り付けていない車両であれば第１の露光量で撮像した撮像画像で登録番号の認識率を確保でき、反対に、ナンバープレートカバーを取り付けている車両であれば第２の露光量で撮像した撮像画像で登録番号の認識率を確保できる。したがって、撮像領域を通過車両について、ナンバープレートに表記されている登録番号、または運転者の顔画像の少なくとも一方が得られないという事態の発生頻度が抑えられ、その結果、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が適正に行なえる。   As described above, the vehicle imaging device 1 associates the captured image captured with the first exposure amount with the captured image captured with the second exposure amount for the vehicle that has entered the imaging region. 6 is stored. The first exposure amount is obtained when an image of a vehicle whose front glass is not an IR cut glass is captured with an appropriate brightness inside the vehicle, and a captured image can be obtained through which the driver's face image can be recognized through the front glass. Exposure amount. In addition, the second exposure amount is obtained when a vehicle whose front glass is an IR cut glass is imaged so that the interior of the vehicle is captured with appropriate brightness and the driver's face image can be recognized through the windshield. Exposure amount. Therefore, if the windshield is a vehicle that is not an IR cut glass, the driver's face image can be extracted from the captured image captured at the first exposure amount. The driver's face image can be extracted from the captured image captured with the exposure amount of 2. In addition, if the vehicle does not have a license plate cover, the recognition rate of the registration number can be secured with the captured image captured at the first exposure amount. The recognition rate of the registration number can be ensured with the captured image captured with the exposure amount. Therefore, the frequency of occurrence of a situation in which at least one of the registration number indicated on the license plate or the driver's face image cannot be obtained for vehicles passing through the imaging area is suppressed, and as a result, the vehicle is indicated on the license plate of the vehicle. The vehicle can be properly managed by associating the registered number with the face image of the driver of the vehicle.

また、上記実施形態では、撮像部３で撮像された撮像画像を処理して、撮像部３の撮像領域内における車両の進入を検知するとしたが、超音波センサ等を利用した物体検知センサで撮像部３の撮像領域内における車両の進入を検知する構成としてもよい。図６は、この車両撮像装置１の主要部の構成を示す図である。図１と異なる点は、差分画像生成処理部５に代えて、物体進入検知部９を設けた点である。この物体進入検知部９は、撮像部３の撮像領域に対して超音波や、レーザ光等の検知波を照射し、その検知波を照射してから、この検知波の反射波を受信するまでの経過時間に計測することで、撮像部３の撮像領域に車両が進入したかどうかを検知する。具体的には、検知波を照射してから、この検知波の反射波を受信するまでの経過時間が、予め定めた時間よりも短ければ、撮像領域に車両が進入したと判断する。   Moreover, in the said embodiment, although the captured image imaged with the imaging part 3 was processed and the approach of the vehicle in the imaging area of the imaging part 3 was detected, it imaged with the object detection sensor using an ultrasonic sensor etc. It is good also as a structure which detects the approach of the vehicle in the imaging region of the part 3. FIG. FIG. 6 is a diagram illustrating a configuration of a main part of the vehicle imaging device 1. The difference from FIG. 1 is that an object approach detection unit 9 is provided instead of the difference image generation processing unit 5. The object approach detection unit 9 irradiates the imaging region of the imaging unit 3 with a detection wave such as an ultrasonic wave or a laser beam, irradiates the detection wave, and then receives a reflected wave of the detection wave It is detected whether the vehicle has entered the imaging area of the imaging unit 3 by measuring the elapsed time. Specifically, if the elapsed time from receiving the detection wave to receiving the reflected wave of the detection wave is shorter than a predetermined time, it is determined that the vehicle has entered the imaging region.

図７は、この車両撮像装置の撮像処理を示すフローチャートである。この車両撮像装置１では、撮像部３は、上述した実施形態と異なり、露光量指示部４によって撮像時の露光量が指示されたときに、指示された露光量で撮像領域を撮像する。言い換えれば、撮像部３は、露光量指示部４によって撮像時の露光量が指示されないと、撮像領域を撮像しない。   FIG. 7 is a flowchart showing an imaging process of the vehicle imaging device. In this vehicle image pickup apparatus 1, unlike the above-described embodiment, the imaging unit 3 images the imaging region with the instructed exposure amount when the exposure amount instruction unit 4 instructs the exposure amount at the time of imaging. In other words, the imaging unit 3 does not image the imaging region unless the exposure amount instruction unit 4 instructs the exposure amount at the time of imaging.

車両撮像装置１は、物体進入検知部９において、撮像領域内への車両の進入が検知されるのを待つ（ｓ４１）。このとき、撮像部３は、撮像領域を撮像していない。車両撮像装置１は、ｓ４１で撮像領域への車両の進入を検知すると、撮像部３に対して第１の露光量での撮像を指示する（ｓ４２）。これにより、撮像部３が、第１の露光量で撮像領域を撮像する（ｓ４３）。車両撮像装置１は、撮像部３が第１の露光量で撮像した撮像画像を撮像画像記憶部６に記憶し（ｓ４４）、撮像部３に対して第２の露光量での撮像を指示する（ｓ４５）。これにより、撮像部３が、第２の露光量で撮像領域を撮像する（ｓ４６）。車両撮像装置１は、撮像部３が第２の露光量で撮像した撮像画像を、ｓ４４で記憶した撮像画像に対応づけて記憶し（ｓ４７）、ｓ４１に戻る。   The vehicle imaging device 1 waits for the object approach detection unit 9 to detect the entry of the vehicle into the imaging area (s41). At this time, the imaging unit 3 does not image the imaging area. When the vehicle imaging device 1 detects entry of the vehicle into the imaging region in s41, the vehicle imaging device 1 instructs the imaging unit 3 to perform imaging with the first exposure amount (s42). Thereby, the imaging unit 3 images the imaging region with the first exposure amount (s43). The vehicle imaging device 1 stores the captured image captured by the imaging unit 3 with the first exposure amount in the captured image storage unit 6 (s44), and instructs the imaging unit 3 to perform imaging with the second exposure amount. (S45). Thereby, the imaging unit 3 images the imaging region with the second exposure amount (s46). The vehicle imaging device 1 stores the captured image captured by the imaging unit 3 with the second exposure amount in association with the captured image stored in s44 (s47), and returns to s41.

このように、この図７に示す処理でも、上述した図４に示す処理処理と同様に、撮像領域を通過する車両毎に、その車両を第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、を対応づけて撮像画像記憶部６に記憶することができる。したがって、図５に示した画像処理を実行することで、上述した実施形態と同様に、撮像領域を通過車両について、ナンバープレートに表記されている登録番号、または運転者の顔画像の少なくとも一方が得られないという事態の発生頻度が抑えられ、その結果、車両のナンバープレートに表記されている登録番号と、その車両の運転者の顔画像と、を対応づけた車両の管理が適正に行なえる。   As described above, in the process shown in FIG. 7 as well, in the same manner as the process shown in FIG. 4 described above, for each vehicle passing through the imaging region, a captured image obtained by capturing the vehicle with the first exposure amount, and the second Can be stored in the captured image storage unit 6 in association with each other. Therefore, by executing the image processing shown in FIG. 5, as in the above-described embodiment, at least one of the registration number written on the number plate or the driver's face image for the vehicle passing through the imaging region is displayed. As a result, the vehicle can be managed properly by associating the registration number written on the license plate of the vehicle with the face image of the driver of the vehicle. .

また、撮像部３にＣＣＤカメラを２つ設け、一方のＣＣＤカメラが第１の露光量で撮像領域を撮像し、他方のカメラが第２の露光量で撮像領域を撮像する構成としてもよい。この場合には、２つのＣＣＤカメラの撮像タイミングを同期させることによって、第１の露光量で撮像した撮像画像と、第２の露光量で撮像した撮像画像と、の撮像タイミングを一致させることができる。   Alternatively, two CCD cameras may be provided in the imaging unit 3, and one CCD camera may capture an imaging region with a first exposure amount, and the other camera may capture an imaging region with a second exposure amount. In this case, by synchronizing the imaging timings of the two CCD cameras, the imaging timings of the captured image captured with the first exposure amount and the captured image captured with the second exposure amount can be matched. it can.

例えば、２つのＣＣＤカメラの撮像タイミングを同期させ、上述した差分画像生成処理部５が一方のＣＣＤカメラで撮像された撮像画像を処理して、撮像領域内における車両の進入を検知する構成とすればよい。そして、差分画像生成処理部５が像領域内における車両の進入を検知したときには、このときに２つのＣＣＤカメラが撮像した撮像画像を対応づけて、撮像画像記憶部６に記憶すればよい。   For example, the imaging timing of two CCD cameras is synchronized, and the above-described difference image generation processing unit 5 processes a captured image captured by one CCD camera to detect entry of a vehicle in the imaging region. That's fine. Then, when the difference image generation processing unit 5 detects the entry of the vehicle within the image area, the captured images captured by the two CCD cameras at this time may be associated with each other and stored in the captured image storage unit 6.

また、物体進入検知部９が撮像領域内における車両の進入を検知したときに、一方のＣＣＤカメラに対して第１の露光量での撮像を指示し、他方のＣＣＤカメラに対して第２の露光量での撮像を指示する構成としてもよい。この場合も、２つのＣＣＤカメラが撮像した撮像画像を対応づけて、撮像画像記憶部６に記憶すればよい。   Further, when the object approach detection unit 9 detects the entry of the vehicle within the imaging area, the CCD camera is instructed to take an image with the first exposure amount with respect to one CCD camera, and the second CCD camera with respect to the second exposure amount. It may be configured to instruct imaging with an exposure amount. In this case as well, the captured images captured by the two CCD cameras may be associated with each other and stored in the captured image storage unit 6.

さらに、上述した図５に示す処理を実行する機能については、車両撮像装置１側に設けないで、上位装置に設けてもよい。この場合、車両撮像装置１は、撮像画像記憶部６に対応づけて記憶した２つの撮像画像（第１の露光量で撮像した撮像画像、および第２の露光量で撮像した撮像画像）を、上位装置へ出力する構成とすればよい。   Furthermore, the function of executing the process shown in FIG. 5 described above may be provided in the host device without being provided on the vehicle imaging device 1 side. In this case, the vehicle imaging device 1 stores two captured images (a captured image captured with the first exposure amount and a captured image captured with the second exposure amount) stored in association with the captured image storage unit 6. What is necessary is just to make it the structure output to a high-order apparatus.

なお、昼間、夜間、晴天、曇天等による、撮像領域周辺の明るさの変化については、撮像装置の絞り制御等で対応すればよい。   Note that changes in brightness around the imaging region due to daytime, nighttime, fine weather, cloudy weather, etc. may be dealt with by aperture control of the imaging device.

この発明の実施形態である車両撮像装置の主要部の構成を示す図である。It is a figure which shows the structure of the principal part of the vehicle imaging device which is embodiment of this invention. フロントガラスがＩＲカットガラスである車両を第１の露光量で撮像した撮像画像である。It is the picked-up image which imaged the vehicle whose front glass is IR cut glass with the 1st exposure amount. フロントガラスがＩＲカットガラスである車両を第２の露光量で撮像した撮像画像である。It is the picked-up image which imaged the vehicle whose front glass is IR cut glass with the 2nd exposure amount. 車両撮像装置の撮像処理を示すフローチャートである。It is a flowchart which shows the imaging process of a vehicle imaging device. 車両撮像装置の画像処理を示すフローチャートである。It is a flowchart which shows the image process of a vehicle imaging device. 別の実施形態である車両撮像装置の主要部の構成を示す図である。It is a figure which shows the structure of the principal part of the vehicle imaging device which is another embodiment. 別の実施形態である車両撮像装置の撮像処理を示すフローチャートである。It is a flowchart which shows the imaging process of the vehicle imaging device which is another embodiment.

符号の説明Explanation of symbols

１−車両撮像装置
２−制御部
３−撮像部
４−露光量指示部
５−差分画像生成処理部
６−撮像画像記憶部
７−画像処理部
８−出力部
９−物体進入検知部 1-vehicle imaging device 2-control unit 3-imaging unit 4-exposure amount instruction unit 5-difference image generation processing unit 6-captured image storage unit 7-image processing unit 8-output unit 9-object approach detection unit

Claims (5)

撮像領域を撮像する撮像手段と、
前記撮像手段に対して、撮像時の露光量として第１の露光量、または第２の露光量を指示する露光量指示手段と、
前記撮像手段の撮像領域内における車両の進入を検知する進入検知手段と、
前記進入検知手段が前記撮像手段の撮像領域内における車両の進入が検知されたタイミングで、時間的に連続して撮像した２つの撮像画像を対応づけて記憶する記憶手段と、を備え、
前記露光量指示手段は、前記記憶手段に対応づけて記憶される２つの撮像画像が、前記第１の露光量で撮像された撮像画像と、前記第２の露光量で撮像された撮像画像と、になるように、前記撮像手段に対して撮像時の露光量を指示する手段である、車両撮像装置。 Imaging means for imaging an imaging region;
An exposure amount instruction means for instructing the imaging means with a first exposure amount or a second exposure amount as an exposure amount at the time of imaging;
An entry detecting means for detecting an entry of a vehicle in an imaging area of the imaging means;
Storage means for storing two imaged images that are sequentially captured at the timing when the entry detecting unit detects the entry of a vehicle in the imaging area of the imaging unit,
The exposure amount instruction unit includes two captured images stored in association with the storage unit, a captured image captured with the first exposure amount, and a captured image captured with the second exposure amount. The vehicle image pickup device is a means for instructing the image pickup means the exposure amount at the time of image pickup. 前記記憶手段が対応づけて記憶しているどちらかの撮像画像を処理し、撮像されている車両のナンバープレートに表記されている登録番号を認識する登録番号認識手段と、
前記記憶手段が対応づけて記憶しているどちらかの撮像画像を処理し、運転者の顔画像を抽出する顔画像抽出手段と、
前記登録番号認識手段が認識した登録番号と、前記顔画像抽出手段が抽出した顔画像と、を対応づけて出力する出力手段と、を備えた請求項１に記載の車両撮像装置。 Registration number recognition means for processing one of the captured images stored in association with the storage means and recognizing the registration number written on the license plate of the vehicle being imaged;
Face image extraction means for processing one of the captured images stored in association with the storage means and extracting a driver's face image;
The vehicle imaging apparatus according to claim 1, further comprising: an output unit that outputs the registration number recognized by the registration number recognition unit and the face image extracted by the face image extraction unit in association with each other. 前記登録番号認識手段は、前記記憶手段が対応づけて記憶している一方の撮像画像を処理し、撮像されている車両のナンバープレートに表記されている登録番号が認識できなかった場合、この撮像画像に対応づけて記憶している他方の撮像画像を処理し、撮像されている車両のナンバープレートに表記されている登録番号を認識する手段である、請求項２に記載の車両撮像装置。   The registration number recognition means processes one of the captured images stored in association with the storage means, and if the registration number indicated on the license plate of the imaged vehicle cannot be recognized, The vehicle imaging device according to claim 2, which is means for processing the other captured image stored in association with the image and recognizing a registration number written on a license plate of the vehicle being imaged. 前記顔画像抽出手段は、前記記憶手段が対応づけて記憶している一方の撮像画像から運転者の顔画像を抽出することができなかった場合、この撮像画像に対応づけて記憶している他方の撮像画像から運転者の顔画像を抽出する手段である、請求項２、または３に記載の車両撮像装置。   When the face image extraction unit cannot extract the driver's face image from one of the captured images stored in association with the storage unit, the other of the face image extraction unit stores the image in association with the captured image. The vehicle imaging device according to claim 2, which is means for extracting a driver's face image from the captured image. 前記露光量指示手段は、前記撮像手段に対してシャッタスピードを、露光量として指示する手段である、請求項１〜４のいずれかに記載の車両撮像装置。   5. The vehicle imaging apparatus according to claim 1, wherein the exposure amount instruction unit is a unit that instructs the imaging unit to use a shutter speed as an exposure amount.
JP2007150529A 2007-06-06 2007-06-06 Vehicle imaging device Pending JP2008306373A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007150529A JP2008306373A (en) 2007-06-06 2007-06-06 Vehicle imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007150529A JP2008306373A (en) 2007-06-06 2007-06-06 Vehicle imaging device

Publications (1)

Publication Number Publication Date
JP2008306373A true JP2008306373A (en) 2008-12-18

Family

ID=40234719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007150529A Pending JP2008306373A (en) 2007-06-06 2007-06-06 Vehicle imaging device

Country Status (1)

Country Link
JP (1) JP2008306373A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239145A (en) * 2010-05-10 2011-11-24 Panasonic Electric Works Co Ltd Imaging device
CN107343154A (en) * 2016-04-29 2017-11-10 华为技术有限公司 A kind of methods, devices and systems for the exposure parameter for determining camera device
JP2020191508A (en) * 2019-05-20 2020-11-26 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 Vehicle monitoring system and vehicle monitoring method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099763A (en) * 2001-05-25 2003-04-04 Toshiba Corp Face image storage device, information management system, face image storing method, and information management method
JP2005005893A (en) * 2003-06-10 2005-01-06 Jai Corporation Monitoring image pickup device
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2006134072A (en) * 2004-11-05 2006-05-25 Toshiba Corp Entry/exit management system and biological characteristic information verification device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099763A (en) * 2001-05-25 2003-04-04 Toshiba Corp Face image storage device, information management system, face image storing method, and information management method
JP2005005893A (en) * 2003-06-10 2005-01-06 Jai Corporation Monitoring image pickup device
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2006134072A (en) * 2004-11-05 2006-05-25 Toshiba Corp Entry/exit management system and biological characteristic information verification device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239145A (en) * 2010-05-10 2011-11-24 Panasonic Electric Works Co Ltd Imaging device
WO2011141780A3 (en) * 2010-05-10 2012-02-23 パナソニック株式会社 Imaging apparatus
CN102783137A (en) * 2010-05-10 2012-11-14 松下电器产业株式会社 Imaging apparatus
US9213217B2 (en) 2010-05-10 2015-12-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus for taking a picture of a driver of a motor vehicle through a front glass of the motor vehicle
CN107343154A (en) * 2016-04-29 2017-11-10 华为技术有限公司 A kind of methods, devices and systems for the exposure parameter for determining camera device
JP2020191508A (en) * 2019-05-20 2020-11-26 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 Vehicle monitoring system and vehicle monitoring method
US11765322B2 (en) 2019-05-20 2023-09-19 i-PRO Co., Ltd. Vehicle monitoring system and vehicle monitoring method
JP7444423B2 (en) 2019-05-20 2024-03-06 ｉ－ＰＲＯ株式会社 Vehicle monitoring system and vehicle monitoring method

Similar Documents

Publication Publication Date Title
CN109716400B (en) Image recording apparatus, image recording method, and storage medium
EP2698982B1 (en) Image processing device
KR101625538B1 (en) Car Number Recognition system
JP7428360B2 (en) Vehicle monitoring system and vehicle monitoring method
JP2008152736A (en) Monitoring system, monitoring device, and monitoring method
CN104134352A (en) Video vehicle characteristic detection system and detection method based on combination of long exposure and short exposure
CN111656411A (en) Recording control device, recording control system, recording control method, and recording control program
JP4973341B2 (en) License plate reader
JP2005173787A (en) Image processor detecting/recognizing moving body
JP5991886B2 (en) Parking system
JP2008306373A (en) Vehicle imaging device
JP7444423B2 (en) Vehicle monitoring system and vehicle monitoring method
JP2008041017A (en) Monitoring system and monitoring device
JP4614826B2 (en) Road marking line detection device
CN101625506B (en) Face automatic focusing method of digital image acquirement device
JP5320096B2 (en) Unauthorized passing vehicle management system and unauthorized passing vehicle management method
JP4286702B2 (en) Image printing system, apparatus and image printing method
JP4645321B2 (en) Moving object detection device using images
KR101311728B1 (en) System and the method thereof for sensing the face of intruder
JP5232463B2 (en) Automatic toll collection card processing system
JPH11296786A (en) Vehicle number recognition device
KR101152606B1 (en) Apparatus and method for controlling caramera of blackbox of vehicle
JP2009048261A (en) Camera system
JP5187004B2 (en) Traffic control device
WO2022019049A1 (en) Information processing device, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110929

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121106