JP2006048238A - Image processor and image processing program - Google Patents
Image processor and image processing program Download PDFInfo
- Publication number
- JP2006048238A JP2006048238A JP2004225881A JP2004225881A JP2006048238A JP 2006048238 A JP2006048238 A JP 2006048238A JP 2004225881 A JP2004225881 A JP 2004225881A JP 2004225881 A JP2004225881 A JP 2004225881A JP 2006048238 A JP2006048238 A JP 2006048238A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- area
- detecting
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、対面通行の道路における停止車両検出を可能とする画像処理装置及びコンピュータに上記処理を行わせるための画像処理プログラムに関するものである。 The present invention relates to an image processing apparatus that enables detection of a stopped vehicle on a face-to-face road and an image processing program for causing a computer to perform the above processing.
道路には、一方通行道路と対面通行道路が存在している。テレビカメラにより得た画像を処理して道路監視を行う場合、一方通行道路にあっては、道路を走行する車両を後方から撮像するようにカメラを配置するため、車両のヘッドライトの影響は少なく、画像処理に障害が生じることは少ない。これに対し、対面通行道路にあってはカメラに向かって走行する車両の車線が存在し、この車線を走行する車両のヘッドライトの影響が撮像した画像に生じ、適切な画像処理を妨げることがある。 The road includes a one-way road and a two-way road. When road monitoring is performed by processing an image obtained by a TV camera, on a one-way road, the camera is arranged so that the vehicle traveling on the road is imaged from the rear, so the influence of the vehicle headlight is small. There are few problems in image processing. On the other hand, on a two-way street, there is a lane of a vehicle traveling toward the camera, and the effect of the headlights of the vehicle traveling in this lane occurs in the captured image, preventing proper image processing. is there.
具体的には、カメラから遠ざかるように車両が走行する側の車線を第１車線とし、カメラに対して近付くように車両が走行する側の車線を第２車線とするとき、第２車線を走行する車両のヘッドライトが第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることから、停止車両の誤検出が生じることがある。また、第２車線を複数台の車両が連なって走行すると、ヘッドライトが大きな光の玉となった如くの画像として撮像され、車両が走行しているのか或いは停止車両が存在するのか判定が困難となる。更に、ハザードランプを点滅した停止車両を検出することが困難である。 Specifically, when the lane on the side where the vehicle travels away from the camera is the first lane and the lane on the side where the vehicle travels so as to approach the camera is the second lane, travel on the second lane Since the headlight of the vehicle illuminates the road surface of the first lane and the stopped vehicle appears to be present in the first lane, an erroneous detection of the stopped vehicle may occur. In addition, when a plurality of vehicles travel in the second lane, the headlight is captured as an image of a large light ball, making it difficult to determine whether the vehicle is traveling or whether there is a stopped vehicle. It becomes. Furthermore, it is difficult to detect a stopped vehicle with a blinking hazard lamp.
従来の画像処理では対面通行の道路における車両検出が困難であるとして、カメラにて順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとその前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないときの投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差分最大値と背景データに基づいて車両の有無を判定するシステムが特許文献１に示されている。
しかしながら、前述のヘッドライトによる影響を考慮した停止車両検出には及んでおらず、それゆえ本発明は、対面通行道路においてヘッドライトの影響を受けた場合にも、停止車両検出を適切に行うことができる画像処理装置及び画像処理プログラムを提供することを課題とする。 However, it does not extend to the detection of a stopped vehicle in consideration of the influence of the above-mentioned headlight. Therefore, the present invention appropriately detects a stopped vehicle even when it is affected by a headlight on a two-way road. An object of the present invention is to provide an image processing apparatus and an image processing program that can perform the above processing.
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段とを具備することを特徴とする。 The image processing apparatus according to the present invention is a time average image creating means for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time. Vehicle area detection means for detecting a vehicle area by extracting a high-luminance area of the time-average image and determining a similarity between the extracted high-luminance area and a corresponding area in the background image; Stopping vehicle detection means for detecting a stopped vehicle based on whether a white pixel ratio in a result obtained by performing inter-frame difference and binarization on the processed image for each vehicle region exceeds a threshold value. Features.
本発明に係る画像処理装置は、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定手段を具備し、車両領域の絞り込みを行うことを特徴とする。 The image processing apparatus according to the present invention has a second lane side on the side where the vehicle travels so as to approach the camera when a vehicle area is detected in the first lane on the side where the vehicle travels away from the camera. The vehicle area is expanded to include a legitimacy determining means for determining whether or not the vehicle area in the first lane is valid based on a luminance ratio between the enlarged area and the original vehicle area. It is characterized by narrowing down.
本発明に係る画像処理装置は、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。 In the image processing apparatus according to the present invention, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold for each lane of face-to-face traffic and for each vehicle area, and the number of times the threshold is exceeded is predetermined per unit time. Hazard flashing detecting means for detecting the flashing of the hazard lamp by detecting that the number of times has been exceeded, and when the hazard flashing detecting means detects that the hazard lamp is flashing, for each lane of face-to-face traffic and the vehicle Hazard for detecting the continuation of the hazard lamp by detecting that the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold and the average luminance in the time average image exceeds the luminance threshold for each region. And a blinking continuation detecting means.
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。 The image processing apparatus according to the present invention is a time average image creating means for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time. Vehicle area detection means for detecting a vehicle area by extracting a high-luminance area of the time-average image and determining a similarity between the extracted high-luminance area and a corresponding area in the background image; For each vehicle area, the white pixel ratio of the binarized image of the inter-frame difference exceeds a threshold value, and it is detected that the number of times the threshold value has been exceeded exceeds a predetermined number of times per unit time to detect blinking of the hazard lamp. Hazard blink detection means, and when the hazard blink detection means detects that the hazard lamp is blinking, for each lane of facing traffic and for each vehicle area Hazard blinking continuation detecting means for detecting the continuation of the hazard lamp blinking by detecting that the white pixel ratio of the binarized image of the interframe difference exceeds the threshold value and the average luminance in the time average image exceeds the luminance threshold value. It is characterized by comprising.
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップとにより構成されることを特徴とする。 An image processing program according to the present invention is an image processing program for realizing the following steps by a computer executing the program, and for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time, A time average image creating step for creating a time average image by calculating an average of brightness information, and extracting a high brightness area of the time average image, and determining similarity between the extracted high brightness area and a corresponding area in the background image Vehicle area detection step for performing vehicle area detection and the white pixel ratio in the result obtained by performing inter-frame difference and binarization on the processed image for each lane of face-to-face traffic and for each vehicle area exceeds a threshold value It is comprised by the stop vehicle detection step which performs a stop vehicle detection based on whether or not.
本発明に係る画像処理プログラムは、更に、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定ステップを具備し、車両領域の絞り込みを行うことを特徴とする。 The image processing program according to the present invention further includes a second program on the side where the vehicle travels so as to approach the camera when a vehicle area is detected in the first lane on the side where the vehicle travels away from the camera. A vehicle having a legitimacy determining step for enlarging the vehicle area to the lane side and determining whether or not the vehicle area in the first lane is valid based on a luminance ratio between the enlarged area and the original vehicle area; It is characterized by narrowing down the area.
本発明に係る画像処理プログラムは、更に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。 In the image processing program according to the present invention, the white pixel ratio of the binarized image of the inter-frame difference exceeds a threshold value for each lane of face-to-face traffic and for each vehicle region, and the number of times the threshold value is exceeded is a unit time. A hazard blink detection step for detecting the hazard lamp blinking by detecting that the predetermined number of times has been exceeded, and when the hazard blink detection is detected by the hazard blink detection step, For each vehicle area, it is detected that the white pixel ratio of the binarized image of the difference between frames exceeds the threshold value, and the average luminance in the time average image exceeds the luminance threshold value, thereby detecting the continued blinking of the hazard lamp. And a hazard blink continuation detecting step.
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。 An image processing program according to the present invention is an image processing program for realizing the following steps by a computer executing the program, and for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time, A time average image creating step for creating a time average image by calculating an average of brightness information, and extracting a high brightness area of the time average image, and determining similarity between the extracted high brightness area and a corresponding area in the background image Vehicle area detection step for performing vehicle area detection, and for each face-to-face lane and each vehicle area, the white pixel ratio of the binarized image of the interframe difference exceeds the threshold, and the number of times the threshold is exceeded A hazard blink detection step for detecting a hazard lamp blink by detecting that a predetermined number of times exceeds a predetermined number of times, and the hazard When it is detected that the hazard lamp is blinking in the blink detection step, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold for each lane of face-to-face traffic and for each vehicle area, A hazard blinking continuation detecting step of detecting that the average luminance in the time average image exceeds a luminance threshold and detecting the continuation of the hazard lamp blinking.
本発明によれば、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成し、時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うので、車両領域検出を適切に行うことができ、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うことで、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。 According to the present invention, a time average image is created by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time, and a high luminance region of the time average image In addition, the vehicle area detection is performed by determining the similarity between the extracted high-luminance area and the corresponding area in the background image, so that the vehicle area detection can be performed appropriately, and for each lane of face-to-face traffic and the above-mentioned Stops regardless of the effects of headlights by detecting stopped vehicles based on whether the white pixel ratio in the result obtained by performing inter-frame difference and binarization on the processed image for each vehicle area exceeds a threshold value. There is an effect that vehicle detection can be appropriately executed.
また、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するので、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。 In addition, when the vehicle area is detected in the first lane on the side where the vehicle travels away from the camera, the vehicle area is enlarged toward the second lane on the side where the vehicle travels so as to approach the camera. Since it is determined whether or not the vehicle area in the first lane is valid based on the luminance ratio between the enlarged area and the original vehicle area, the stop vehicle detection can be appropriately executed regardless of the influence of the headlight. There is an effect.
更に、対面通行の車線毎及び車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出し、上記ハザード点滅検出によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するので、ヘッドライトによる影響に関わらずハザードランプ点滅を検出可能となり、停止車両検出を適切に実行できる効果がある。 Further, it is detected that the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane and vehicle area of the face-to-face traffic, and the number of times the threshold value is exceeded exceeds the predetermined number of times per unit time. When the hazard lamp blinking is detected and the hazard blink detection detects that the hazard lamp is blinking, the binarized image white of the interframe difference is detected for each lane and the vehicle area. Since the pixel ratio exceeds the threshold and the average brightness in the time average image exceeds the brightness threshold, it is detected whether the hazard lamp blinks continuously. Thus, there is an effect that the stopped vehicle detection can be appropriately executed.
対面通行道路においてヘッドライトの影響があるにも拘らず、停止車両検出を適切に行うという目的を、輝度情報の平均を算出することによる時間平均画像の作成、時間平均画像の高輝度領域を抽出、抽出した高輝度領域と背景画像における対応領域の類似度判定で車両領域検出を行い、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合の判定により実現したものである。以下添付図面を参照して本発明に係る画像処理装置及び画像処理プログラムの実施例を説明する。各図において、同一構成要素には同一符号を付し重複する説明を省略する。 Despite the influence of headlights on face-to-face roads, creation of time-average images by calculating the average of luminance information and extraction of high-luminance areas of time-average images for the purpose of appropriately detecting stopped vehicles The vehicle area is detected by determining the similarity between the extracted high-intensity area and the corresponding area in the background image, and the inter-frame difference and binarization are performed on the processed image for each lane and the vehicle area. This is realized by determining the white pixel ratio in the obtained result. Embodiments of an image processing apparatus and an image processing program according to the present invention will be described below with reference to the accompanying drawings. In each figure, the same components are denoted by the same reference numerals, and redundant description is omitted.
図１に、本発明の実施例に係る画像処理装置１を用いて構成した画像処理システムの構成例を示す。このシステムは、テレビカメラ２により対面通行道路を一定方向から撮像し、経時的に画像信号を得て信号変換手段３へ導き、Ａ／Ｄ変換して画素毎の輝度情報（例えば、０〜２５５階調）として画像処理部４へ送出し、画像処理を行って出力手段５へ出力する構成を採用している。 FIG. 1 shows a configuration example of an image processing system configured using an image processing apparatus 1 according to an embodiment of the present invention. In this system, a two-way road is picked up by a TV camera 2 from a certain direction, an image signal is obtained over time, guided to the signal conversion means 3, and A / D converted to obtain luminance information for each pixel (for example, 0 to 255). (Gradation) is sent to the image processing unit 4, and image processing is performed and output to the output means 5 is adopted.
画像処理部４には、時間平均画像作成手段１１、車両領域検出手段１２、停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６が備えられている。時間平均画像作成手段１１は、経時的に同一カメラ２により同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成するものである。 The image processing unit 4 includes a time average image creation unit 11, a vehicle area detection unit 12, a stopped vehicle detection unit 13, a validity determination unit 14, a hazard blink detection unit 15, and a hazard blink continuation detection unit 16. The time average image creating means 11 creates a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction by the same camera 2 over time.
車両領域検出手段１２は、上記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うものである。停止車両検出手段１３は、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うものである。 The vehicle area detection means 12 extracts a high-luminance area of the time average image, and performs vehicle area detection by determining similarity between the extracted high-luminance area and a corresponding area in the background image. The stop vehicle detection means 13 is based on whether or not the white pixel ratio in the result obtained by performing inter-frame difference and binarization on the processed image for each face-to-face lane and for each vehicle area exceeds a threshold value. The detection is performed.
正当性判定手段１４は、前述の定義に係る第２車線を走行する車両のヘッドライトが同じく前述の定義に係る第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることを原因とした停止車両の誤検出を防止するための構成であり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。 The legitimacy determining means 14 appears as if the headlight of the vehicle traveling in the second lane according to the above definition illuminates the road surface of the first lane according to the above definition, and there is a stopped vehicle in the first lane. If the vehicle area is detected in the first lane on the side where the vehicle travels away from the TV camera 2, the TV camera 2 is Whether or not the vehicle area in the first lane is valid based on the brightness ratio between the enlarged area and the original vehicle area by enlarging the vehicle area toward the second lane on the side where the vehicle travels so as to approach Is determined.
ハザード点滅検出手段１５及びハザード点滅継続検出手段１６は、フレーム間差分の２値化した画像に基づく、車線毎の車両の流れについての有無判定において、ハザードの点滅は明るさの大きな変化が発生するため、単純に２値化した画像の白画素の割合のみに着目すると、車両がハザードランプをつけて停止しているシーンを車両が走行しているものと(別言すれば、車両の流れありと)誤判定してしまう。このような傾向に鑑みハザード点灯の停止車両について未検出とならぬようにすべく設けられた構成であり、ハザード点滅検出手段１５は、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するものであり、また、ハザード点滅継続検出手段１６は、上記ハザード点滅検出手段１５によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するものである。 The hazard blink detection means 15 and the hazard blink continuation detection means 16 have a large change in brightness in the presence or absence of the flow of the vehicle for each lane based on the binarized image of the difference between frames. Therefore, simply focusing on the ratio of white pixels in the binarized image, the vehicle is running in a scene where the vehicle is stopped with a hazard lamp (in other words, there is a flow of the vehicle And) misjudgment. In view of such a tendency, the hazard lighting stop vehicle is provided so as not to be detected, and the hazard blink detection means 15 is configured to detect the difference between frames for each face-to-face lane and each vehicle area. The ratio of white pixels in the binarized image exceeds the threshold, and when the number of times the threshold is exceeded exceeds the predetermined number of times per unit time, the hazard lamp blinking is detected and the hazard blinking continues. When the hazard blink detection means 15 detects that the hazard lamp is blinking, the detection means 16 is a white pixel of the binarized image of the inter-frame difference for each lane of face-to-face traffic and for each vehicle area. The ratio exceeds the threshold value, and it is detected that the average luminance in the time average image exceeds the luminance threshold value, and the continuation of the hazard lamp is detected.
停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６による検出或いは判定結果により、停止車両の有無が得られ、出力制御手段１７により出力手段５へ出力され、表示等がなされる。 The presence / absence of a stopped vehicle is obtained from the detection or determination result by the stopped vehicle detection means 13, the validity determination means 14, the hazard blink detection means 15, and the hazard blink continuation detection means 16, and is output to the output means 5 by the output control means 17. Display.
画像処理装置１は、例えば、図２に示されるような構成に係るワークステーション、パーソナルコンピュータ、その他の計算機として構築することが可能である。すなわち、図２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、インタフェース５７には回線を介してテレビカメラ２から画像信号を取り込み、Ａ／Ｄ変換して多値化ディジタルデータとするための処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置１としては、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、インタフェース５７、処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。 The image processing apparatus 1 can be constructed as, for example, a workstation, personal computer, or other computer having a configuration as shown in FIG. That is, the computer shown in FIG. 2 has a CPU 51 that performs overall control of the apparatus, and a main storage device 52 that stores information such as programs and data used by the CPU 51 is connected to the CPU 51. Further, a keyboard control unit 54, a display control unit 55, a printer control unit 56, an interface 57, a mouse control unit 58, and a magnetic disk control unit 59 are connected to the CPU 51 via a system bus 53. The keyboard control unit 54 is connected to a keyboard input device 60 capable of inputting various information, the display control unit 55 is connected to a CRT display device 61 for displaying information, and the printer control unit 56 prints information. A printer device 62 for output is connected, and a processing unit 63 for receiving an image signal from the TV camera 2 through a line and A / D converting it into multi-value digital data is connected to the interface 57, A mouse 64 that is a pointing device is connected to the mouse control unit 58, and a magnetic disk device 65 that is an auxiliary storage device is connected to the magnetic disk control unit 59. The image processing apparatus 1 includes at least a CPU 51, a main storage device 52, a magnetic disk control unit 59, a magnetic disk device 65, an interface 57, and a processing unit 63. Further, a flexible disk drive, a magnetic card or IC card reader, an MO (magneto-optical disk) drive, etc. are provided as necessary.
画像処理部４に備えられる各手段は、ＣＰＵ５１が図３〜図６に示されるようなフローチャートに対応する画像処理プログラムを実行することにより実現することができる。当該画像処理プログラムは、例えば、磁気ディスク装置６５に記憶されており、主記憶装置５２へ読み出して実行することが可能となっている。なお、処理対象の画像は、テレビカメラ２より取り込んで用いるが、予め取り込み多値化ディジタルデータとして磁気ディスク装置６５などに記憶しておいたものを用いることも可能である。以下、図３〜図６に示されるフローチャートに従って動作を説明する。 Each means provided in the image processing unit 4 can be realized by the CPU 51 executing an image processing program corresponding to the flowcharts shown in FIGS. The image processing program is stored in, for example, the magnetic disk device 65, and can be read out to the main storage device 52 and executed. The image to be processed is captured from the television camera 2 and used, but it is also possible to use an image that has been captured in advance and stored in the magnetic disk device 65 or the like as multi-value digital data. The operation will be described below according to the flowcharts shown in FIGS.
ＣＰＵ５１は、処理部６３から処理対象画像をｎ（例えば、３０）枚取り込む（Ｓ１、Ｓ２）。ｎ枚取り込んだ後にはステップＳ３以降の処理が行われ、更に１枚取り込む毎にステップＳ３以降の処理が行われる。 The CPU 51 captures n (for example, 30) processing target images from the processing unit 63 (S1, S2). After n sheets have been captured, the processing from step S3 is performed. Every time one sheet is captured, the processing from step S3 is performed.
ＣＰＵ５１は、処理部６３から処理対象画像をｎ枚用いて時間平均画像を作成する（Ｓ３）。つまり、画素毎に輝度値の総和を算出し、結果を枚数ｎにより除した画像である時間平均画像を得る。また、ｎ枚の画像から或いはこれとは別に背景画像を作成する（Ｓ４）。次に、ステップＳ３において作成した時間平均画像を予め決められプログラムに配置された輝度閾値により、２値化を行い高輝度領域を検出する（Ｓ５）。 The CPU 51 creates a time average image using n processing target images from the processing unit 63 (S3). That is, the sum of luminance values is calculated for each pixel, and a time average image that is an image obtained by dividing the result by the number n is obtained. Also, a background image is created from n images or separately (S4). Next, the time averaged image created in step S3 is binarized using a luminance threshold value determined in advance and arranged in the program, and a high luminance region is detected (S5).
次に、ステップＳ５により検出された高輝度領域について、時間平均画像と背景画像とを比較し、類似度を計算して停止車両の有無を検出する（Ｓ６、Ｓ７）。このような比較の画像例を図７に示す。図７（ａ）には時間平均画像が示されており、図７（ｂ）には背景画像が示されている。類似度の計算については、ここでは次の（式１）〜（式３）により示される正規化相関関数による演算を用い、画像の明るさの影響を受け難くテクスチャーの類似度を判定可能とするが、マッチング処理を用いるなどその他の演算によることも可能である。 Next, with respect to the high luminance area detected in step S5, the time average image and the background image are compared, and the similarity is calculated to detect the presence or absence of a stopped vehicle (S6, S7). An example of such a comparison image is shown in FIG. FIG. 7A shows a time average image, and FIG. 7B shows a background image. Regarding the calculation of the similarity, here, the calculation based on the normalized correlation function shown by the following (Expression 1) to (Expression 3) is used, so that the texture similarity can be determined without being affected by the brightness of the image. However, other operations such as using a matching process are also possible.
上記の（式１）〜（式３）において、類似度であるSimilarityは、−１〜＋１の間の値をとる。また、類似度であるSimilarityが大きければ、２つの画像が類似することを意味する。Similarityの値が＋１であれば両者は全く同じ画像であり、−１であればネガとポジの関係にある画像であることを意味する。類似度が予め決められプログラムに配置された類似度閾値より小さい場合には、停止車両の可能性ありと判定して出力を行う一方（Ｓ８）、上記類似度閾値より大きい場合には、車両なしと判定して出力を行う（Ｓ９）。 In the above (Expression 1) to (Expression 3), Similarity, which is a similarity, takes a value between −1 and +1. Moreover, if Similarity which is a similarity degree is large, it means that two images are similar. If the value of Similarity is +1, both images are exactly the same image, and if the value is -1, it is an image having a negative and positive relationship. When the similarity is smaller than the similarity threshold determined in advance and set in the program, it is determined that there is a possibility of a stopped vehicle (S8), and when the output is larger than the similarity threshold, there is no vehicle. And output (S9).
車両ありと判定してステップＳ８へ進んだ場合には、車両領域毎に車両領域が第１車線にあるか第２車線にあるかを検出し（Ｓ１０）、第１車線に車両領域がある場合には図４に示すフローチャートの処理へ進み、第２車線に車両領域がある場合には図５に示すフローチャートの処理へ進む。第１車線領域と第２車線領域は、予め例えば４点の座標値によって決定される矩形領域としてプログラムに配置されているものである。 If it is determined that there is a vehicle and the process proceeds to step S8, it is detected for each vehicle region whether the vehicle region is in the first lane or the second lane (S10), and the vehicle region is in the first lane. 4 proceeds to the process of the flowchart shown in FIG. 4, and when the vehicle area is in the second lane, the process proceeds to the process of the flowchart shown in FIG. The first lane area and the second lane area are arranged in the program as rectangular areas determined in advance by, for example, four coordinate values.
第１車線に車両領域がある場合に行われる図４に示すフローチャートの処理は、正当性判定ステップであり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。 The process of the flowchart shown in FIG. 4 performed when the vehicle area is in the first lane is a legitimacy determination step, and the vehicle area is detected in the first lane on the side where the vehicle travels away from the TV camera 2. The vehicle area is enlarged toward the second lane on the side where the vehicle travels so as to approach the TV camera 2, and the first lane in the first lane is based on the luminance ratio between the enlarged area and the original vehicle area. It is determined whether the vehicle area is valid.
例えば、図８に示すように当初の車両領域Ｄａについて、矩形の領域における第２の車線側の２辺を所定の割合だけ長くして拡大領域Ｅａを得る（Ｓ１１）。そして、当初の車両領域Ｄａについての平均輝度Ｄと拡大領域Ｅａについての平均輝度Ｅとの比（Ｅ／Ｄ）を算出し（Ｓ１２）、比（Ｅ／Ｄ）が予め決められプログラムに配置された輝度比閾値以上であるか否かを検出する（Ｓ１３）。比（Ｅ／Ｄ）が輝度比閾値以上である場合には、第２車線を走行する車両のヘッドライトの影響であることから、車両なしとして出力を行う一方（Ｓ１４）、比（Ｅ／Ｄ）が輝度比閾値を超えない場合には、図５に示す処理へ進む。なお、当初の車両領域Ｄａについて、どのように拡大領域Ｅａを形成するかについては、図８は一例であり、原矩形の一辺側へ(第２の車線側へ)矩形を拡大すればよく、当初の車両領域Ｄａの矩形が拡大領域Ｅａの中に入り、当初の車両領域Ｄａの４辺周囲に拡大した領域が存在するようにしても良い。 For example, as shown in FIG. 8, with respect to the initial vehicle area Da, two sides on the second lane side in the rectangular area are lengthened by a predetermined ratio to obtain an enlarged area Ea (S11). Then, a ratio (E / D) between the average brightness D for the initial vehicle area Da and the average brightness E for the enlarged area Ea is calculated (S12), and the ratio (E / D) is determined in advance and arranged in the program. It is detected whether the luminance ratio is equal to or greater than the threshold value (S13). If the ratio (E / D) is equal to or greater than the luminance ratio threshold, it is due to the influence of the headlight of the vehicle traveling in the second lane. ) Does not exceed the luminance ratio threshold value, the process proceeds to the process shown in FIG. Note that FIG. 8 is an example of how to form the enlarged region Ea for the initial vehicle region Da, and the rectangle may be enlarged to one side of the original rectangle (to the second lane). The rectangle of the original vehicle area Da may enter the enlarged area Ea, and an enlarged area may exist around the four sides of the original vehicle area Da.
図５に示すフローチャートの処理は、ステップＳ１０においてＮＯへ分岐し、或いはステップＳ１３においてＮＯへ分岐した場合の処理であり、対面通行の車線毎及び上記車両領域毎に行われる。まず、ｎ枚の画像について１枚目と２枚目、２枚目と３枚目、・・・についてフレーム間差分を行い（Ｓ２１）、結果を所定閾値を用いて２値化し（Ｓ２２）、白画素割合が予め決められプログラムに配置された白画素割合閾値以上の結果が何回であるかを求め（Ｓ２３）、ステップＳ２３にて求めた回数が予め決められプログラムに配置された出現回数閾値以上であるか否かを検出する（Ｓ２４）。 The process of the flowchart shown in FIG. 5 is a process in the case of branching to NO in step S10 or branching to NO in step S13, and is performed for each face-to-face lane and for each vehicle area. First, an inter-frame difference is performed for the first image, the second image, the second image, the third image,... For n images (S21), and the result is binarized using a predetermined threshold (S22). The number of times that the white pixel ratio is determined in advance and which is equal to or larger than the white pixel ratio threshold value arranged in the program is obtained (S23), and the number of times obtained in step S23 is decided in advance and arranged in the program. Whether or not this is the case is detected (S24).
フレーム間差分を行って２値化を行った場合に、車両移動が起こっている画像においては、図９（ａ）に示されるように白画素数が多く、車両が停止している画像においては、図９（ｂ）に示されるように白画素数が少ない。従って、図９（ｂ）に示されるように白画素数が少ない２値化画像が出現回数閾値以上である場合には、停止車両がなく移動車両と判定して出力を行う一方（Ｓ２５）、上記出現回数閾値より小さい場合には、停止車両ありと判定を行う（Ｓ２６）。以上の通りの処理に関し画像をもって示すと、対面通行道路において停止車両があり、また、走行車両がある画像（図１０（ａ）に示された如くの画像）が得られた場合に、図３のフローチャートにおけるステップＳ３の時間平均画像作成に係る処理を行うことによって図１０(ｃ)に示される如くの停止車両候補領域が抽出されることになり、また、図５のフローチャートにおけるステップＳ２１のフレーム間差分とステップＳ２２の２値化を行うことにより図１０(ｂ)に示される如くの走行車両による車両の流れが検出されることになり、対面通行道路において適切に停止車両検出が可能となる。 When binarization is performed by performing inter-frame difference, in an image where the vehicle is moving, in an image where the number of white pixels is large and the vehicle is stopped as shown in FIG. As shown in FIG. 9B, the number of white pixels is small. Therefore, as shown in FIG. 9B, when the binarized image with a small number of white pixels is equal to or greater than the appearance frequency threshold, it is determined that there is no stopped vehicle and the vehicle is moving (S25). If it is smaller than the appearance frequency threshold, it is determined that there is a stopped vehicle (S26). When the processing as described above is shown with an image, when there is a stopped vehicle on the facing road and an image with a traveling vehicle (an image as shown in FIG. 10A) is obtained, FIG. By performing the process related to the time average image creation in step S3 in the flowchart of FIG. 10, a stop vehicle candidate region as shown in FIG. 10C is extracted, and the frame of step S21 in the flowchart of FIG. By performing the binarization of the difference between steps and step S22, the flow of the vehicle by the traveling vehicle as shown in FIG. 10B is detected, and the stopped vehicle can be detected appropriately on the facing road. .
ステップＳ２５へ進んだ場合には、図６に示されるフローチャートの処理が行われる。この処理は、ハザードランプを点滅した停止車両を検出する処理である。ハザードランプ点滅により、或るときには図１１（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１１（ｂ）に示されるような白画素数が少ない画像が得られ、また或るときには図１２（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１２（ｂ）に示されるような白画素数が多い画像が得られる。白画素数の割合の変化を閾値により判定してハザードランプを点滅した停止車両を検出する。この処理では、フレーム間差分及び２値化を行い（Ｓ３１）、対面通行の車線毎及び上記車両領域毎に、白画素割合を求め（Ｓ３２）、対面通行の車線毎及び上記車両領域毎に前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかを検出し（Ｓ３３）、ＮＯであれば、上記白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、当該閾値を超えた回数が単位時間に予め決められプログラムに配置された所定回数を超えたか否かを検出する（Ｓ３４）。 If the process proceeds to step S25, the process of the flowchart shown in FIG. 6 is performed. This process is a process for detecting a stopped vehicle with a hazard lamp blinking. By blinking the hazard lamp, an image as shown in FIG. 11A is obtained at a certain time, and an image with a small number of white pixels as shown in FIG. In some cases, an image as shown in FIG. 12A is obtained, and as the corresponding inter-frame difference binary image, an image having a large number of white pixels as shown in FIG. 12B is obtained. It is done. A change in the ratio of the number of white pixels is determined based on a threshold value, and a stopped vehicle with a blinking hazard lamp is detected. In this process, the difference between frames and binarization are performed (S31), the white pixel ratio is obtained for each facing traffic lane and for each vehicle area (S32), and the previous time for each facing traffic lane and each vehicle area is determined. In the hazard determination, it is detected whether the vehicle has been stopped due to the blinking of the hazard lamp (S33). If NO, the white pixel ratio exceeds the white pixel ratio threshold value determined in advance and arranged in the program. It is detected whether or not the number of times that the threshold value has been exceeded exceeds a predetermined number of times that is predetermined in unit time and arranged in the program (S34).
上記ステップＳ３４においてＹＥＳとなると、ハザードランプ点滅を行った停止車両と判定して出力を行う一方（Ｓ３５）、ＮＯとなると停止車両なしと判定して出力を行う（Ｓ３６）。ハザードランプ点滅を行った停止車両と判定した場合には、当該領域に対応してフラグをセットしておく。 If YES in the above step S34, it is determined that the stopped vehicle blinks the hazard lamp and outputs (S35), while if NO, it is determined that there is no stopped vehicle and output (S36). When it is determined that the stopped vehicle blinks the hazard lamp, a flag is set corresponding to the area.
また、ステップＳ３３における前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかの検出の結果がＹＥＳであれば、フレーム間差分及び２値化を行いったステップＳ３１の処理結果について、対面通行の車線毎及び上記車両領域毎に、白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、時間平均画像における平均輝度が予め決められプログラムに配置された輝度閾値を超えているか否かを検出する（Ｓ３７）。 In addition, if the result of detection of whether or not the vehicle is a stopped vehicle that has blinked the hazard lamp in the previous hazard determination in step S33 is YES, the inter-frame difference and the binarization processing result of step S31 are face-to-face traffic For each lane and each vehicle area, the white pixel ratio exceeds the white pixel ratio threshold value determined in advance and arranged in the program, and the average luminance in the time average image exceeds the luminance threshold value determined in advance and arranged in the program. Is detected (S37).
上記ステップＳ３７においてＹＥＳとなると、ハザードランプ点滅を継続させている停止車両と判定して出力を行う一方（Ｓ３８）、ＮＯとなるとハザードランプ点滅の停止車両がなくなったと判定して出力を行う（Ｓ３９）。ハザードランプ点滅を行った停止車両なしと判定した場合には、当該領域に対応してフラグをリセットしておく。 If YES is determined in step S37, the vehicle is determined to be a stopped vehicle that continues to blink the hazard lamp (S38), and output is performed (S38). ). If it is determined that there is no stopped vehicle blinking the hazard lamp, the flag is reset corresponding to the area.
以上のようにして、フレーム間差分画像の２値化画像における白画素割合の変化に着目した図５に示される処理に基づいて、移動車両の判定を行うことにより停止車両の検出精度を向上させている。また、時系列的に変化の小さい領域が明瞭となる一方、時系列的に動きがある領域が不明瞭に見える（ボケる）ことに鑑み、図３に示される時間平均画像を作成することで、適切に停止車両と移動車両とを峻別できている。更に、図４に示される正当性判定ステップの処理を行うことにより、第２車線を走行する車両のヘッドライトが第１車線の路面を照射することによる停止車両の誤検出を適切に排除している。 As described above, the detection accuracy of the stopped vehicle is improved by performing the determination of the moving vehicle based on the process shown in FIG. 5 focusing on the change in the white pixel ratio in the binarized image of the inter-frame difference image. ing. In addition, in consideration of the fact that a region having a small change in time series becomes clear while a region having movement in time series looks unclear (blurred), the time average image shown in FIG. 3 is created. Thus, the stopped vehicle and the moving vehicle can be properly distinguished. Furthermore, by performing the legitimacy determination step shown in FIG. 4, the erroneous detection of the stopped vehicle due to the headlight of the vehicle traveling in the second lane irradiating the road surface of the first lane is appropriately eliminated. Yes.
また、ハザードランプを点滅させた停止車両が存在する場合には、大きな輝度の変化が周期的に発生することに鑑み、フレーム間差分画像の２値化画像における白画素割合変化に着目し、図６に示される処理及び判定を行ってハザードランプを点滅させた停止車両の有無を適切に検出可能としている。 Further, in the case where there is a stopped vehicle with blinking hazard lamps, focusing on the white pixel ratio change in the binarized image of the inter-frame difference image in view of the fact that a large change in luminance occurs periodically, The presence or absence of a stopped vehicle in which the hazard lamp blinks by performing the processing and determination shown in FIG.
１ 画像処理装置
２ テレビカメラ
３ 信号変換手段
４ 画像処理部
５ 出力手段
１１ 時間平均画像作成手段
１２ 車両領域検出手段
１３ 停止車両検出手段
１４ 正当性判定手段
１５ ハザード点滅検出手段
１６ ハザード点滅継続検出手段
１７ 出力制御手段
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Television camera 3 Signal conversion means 4 Image processing part 5 Output means 11 Time average image creation means 12 Vehicle area detection means 13 Stop vehicle detection means 14 Validity determination means 15 Hazard blink detection means 16 Hazard blink continuation detection means 17 Output control means
Claims (8)
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする画像処理装置。 Time average image creating means for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time;
Vehicle area detection means for extracting a high-luminance area of the time-average image and performing vehicle area detection by determining similarity between the extracted high-luminance area and a corresponding area in the background image;
Stopped vehicle detection means for detecting a stopped vehicle based on whether or not a white pixel ratio in a result obtained by performing inter-frame difference and binarization on the processed image for each lane of face-to-face traffic and for each vehicle region exceeds a threshold value An image processing apparatus comprising:
車両領域の絞り込みを行うことを特徴とする請求項１に記載の画像処理装置。 When the vehicle area is detected in the first lane on the side where the vehicle travels away from the camera, the vehicle area is expanded to the second lane side on the side where the vehicle travels so as to approach the camera. Comprising legitimacy determining means for determining whether or not the vehicle area in the first lane is valid based on a luminance ratio between the area and the original vehicle area;
The image processing apparatus according to claim 1, wherein the vehicle area is narrowed down.
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする請求項１または２に記載の画像処理装置。 Detecting that the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area, and the number of times the threshold value is exceeded exceeds a predetermined number of times per unit time Hazard blink detection means for detecting hazard lamp blinking;
When the hazard blinking detecting unit detects that the hazard lamp is blinking, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area. And a hazard blinking continuation detecting means for detecting that the average luminance in the time average image exceeds the luminance threshold and detecting the continuation of the hazard lamp blinking,
The image processing apparatus according to claim 1, further comprising:
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする画像処理装置。 Time average image creating means for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time;
Vehicle area detection means for extracting a high-luminance area of the time-average image and performing vehicle area detection by determining similarity between the extracted high-luminance area and a corresponding area in the background image;
Detecting that the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area, and the number of times the threshold value is exceeded exceeds a predetermined number of times per unit time Hazard blink detection means for detecting hazard lamp blinking;
When it is detected by the hazard blink detection means that the hazard lamp is blinking, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area. And a hazard blinking continuation detecting means for detecting that the average luminance in the time average image exceeds the luminance threshold and detecting the continuation of the hazard lamp blinking,
An image processing apparatus comprising:
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップと
により構成されることを特徴とする画像処理プログラム。 An image processing program for realizing the following steps by a computer executing the program,
A time average image creating step for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time,
A vehicle area detection step of extracting a high-luminance area of the time-average image and performing vehicle area detection by determining similarity between the extracted high-luminance area and a corresponding area in the background image;
Stopped vehicle detection step of detecting a stopped vehicle based on whether or not a white pixel ratio in a result obtained by performing inter-frame difference and binarization on the processed image for each lane of face-to-face traffic and for each vehicle region exceeds a threshold value An image processing program comprising:
車両領域の絞り込みを行うことを特徴とする請求項５に記載の画像処理プログラム。 Further, when the vehicle area is detected in the first lane on the side where the vehicle travels away from the camera, the vehicle area is enlarged toward the second lane on the side where the vehicle travels so as to approach the camera. A legitimacy determining step for determining whether or not the vehicle area in the first lane is legitimate based on a luminance ratio between the enlarged area and the original vehicle area,
6. The image processing program according to claim 5, wherein the vehicle area is narrowed down.
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする請求項５または６に記載の画像処理装置。 Furthermore, for each lane of face-to-face traffic and for each vehicle area, it is detected that the white pixel ratio of the binarized image of the inter-frame difference exceeds a threshold value, and the number of times the threshold value is exceeded exceeds a predetermined number of times per unit time. And a hazard blink detection step for detecting the hazard lamp blink,
When it is detected in the hazard blink detection step that the hazard lamp is blinking, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area. A hazard blinking continuation detecting step for detecting that the average luminance in the time average image exceeds the luminance threshold and detecting the continuation of the hazard lamp blinking;
The image processing apparatus according to claim 5, further comprising:
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする画像処理プログラム。 An image processing program for realizing the following steps by a computer executing the program,
A time average image creating step for creating a time average image by calculating an average of luminance information for each pixel in a predetermined number of processed images captured in the same direction with the same camera over time,
A vehicle area detection step of extracting a high-luminance area of the time-average image and performing vehicle area detection by determining similarity between the extracted high-luminance area and a corresponding area in the background image;
Detecting that the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area, and the number of times the threshold value is exceeded exceeds a predetermined number of times per unit time A hazard blink detection step for detecting a hazard lamp blink;
When it is detected in the hazard blink detection step that the hazard lamp is blinking, the white pixel ratio of the binarized image of the inter-frame difference exceeds the threshold value for each lane of face-to-face traffic and for each vehicle area. A hazard blinking continuation detecting step for detecting that the average luminance in the time average image exceeds the luminance threshold and detecting the continuation of the hazard lamp blinking;
An image processing program comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004225881A JP4537794B2 (en) | 2004-08-02 | 2004-08-02 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004225881A JP4537794B2 (en) | 2004-08-02 | 2004-08-02 | Image processing apparatus and image processing program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010008196A Division JP4892066B2 (en) | 2010-01-18 | 2010-01-18 | Image processing apparatus and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006048238A true JP2006048238A (en) | 2006-02-16 |
| JP4537794B2 JP4537794B2 (en) | 2010-09-08 |
Family
ID=36026735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004225881A Active JP4537794B2 (en) | 2004-08-02 | 2004-08-02 | Image processing apparatus and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4537794B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009157492A (en) * | 2007-12-25 | 2009-07-16 | Sumitomo Electric Ind Ltd | Vehicle detection device, vehicle detection system, and vehicle detection method |
| ES2330499A1 (en) * | 2007-12-31 | 2009-12-10 | Imagsa Technologies, S.A. | Method and system for detecting moving objects |
| JP2010140371A (en) * | 2008-12-15 | 2010-06-24 | Nippon Telegr & Teleph Corp <Ntt> | System, method and program for monitoring video |
| CN102110366A (en) * | 2011-03-28 | 2011-06-29 | 长安大学 | Block-based accumulated expressway vehicle parking event detecting method |
| CN102637360A (en) * | 2012-04-01 | 2012-08-15 | 长安大学 | Video-based road parking event detection method |
| JP2013025586A (en) * | 2011-07-21 | 2013-02-04 | Sumitomo Electric Ind Ltd | Vehicle detection device, vehicle detection system and computer program |
| CN103136514A (en) * | 2013-02-05 | 2013-06-05 | 长安大学 | Parking event detecting method based on double tracking system |
| CN103680141A (en) * | 2013-12-19 | 2014-03-26 | 华南理工大学 | Method for calculating vehicle detection accuracy rate |
| CN104076363A (en) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | Rapid automatic guided vehicle obstacle detection method based on multiple sensors |
| CN111915898A (en) * | 2020-07-24 | 2020-11-10 | 杭州金通科技集团股份有限公司 | Parking monitoring AI electronic post house |
| CN112907975A (en) * | 2021-01-23 | 2021-06-04 | 四川九通智路科技有限公司 | Detection method for abnormal parking based on millimeter wave radar and video |
| JP7435244B2 (en) | 2019-06-14 | 2024-02-21 | 富士通株式会社 | Image-based parking detection method, device and electronic device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314387A (en) * | 1991-04-08 | 1993-11-26 | Matsushita Electric Ind Co Ltd | Vehicle running state measuring unit |
| JPH06180749A (en) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | Device for monitoring object on road |
| JPH0721488A (en) * | 1993-07-02 | 1995-01-24 | Omron Corp | Traffic flow abnormality monitoring and supporting device |
| JP2001216597A (en) * | 2000-02-04 | 2001-08-10 | Mitsubishi Electric Corp | Method and device for processing picture |
| JP2001273499A (en) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | Method and device for detecting moving object |
| JP2002074368A (en) * | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | Moving object recognizing and tracking device |
| JP2002092600A (en) * | 2000-09-19 | 2002-03-29 | Oki Electric Ind Co Ltd | Road monitor |
| JP2002123820A (en) * | 2000-10-17 | 2002-04-26 | Meidensha Corp | Detecting method and device for obstacle being stationary on road obstacle |
| JP2003288678A (en) * | 2002-03-27 | 2003-10-10 | Natl Inst For Land & Infrastructure Management Mlit | Processor conformable to center line shift |
-
2004
- 2004-08-02 JP JP2004225881A patent/JP4537794B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314387A (en) * | 1991-04-08 | 1993-11-26 | Matsushita Electric Ind Co Ltd | Vehicle running state measuring unit |
| JPH06180749A (en) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | Device for monitoring object on road |
| JPH0721488A (en) * | 1993-07-02 | 1995-01-24 | Omron Corp | Traffic flow abnormality monitoring and supporting device |
| JP2001216597A (en) * | 2000-02-04 | 2001-08-10 | Mitsubishi Electric Corp | Method and device for processing picture |
| JP2001273499A (en) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | Method and device for detecting moving object |
| JP2002074368A (en) * | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | Moving object recognizing and tracking device |
| JP2002092600A (en) * | 2000-09-19 | 2002-03-29 | Oki Electric Ind Co Ltd | Road monitor |
| JP2002123820A (en) * | 2000-10-17 | 2002-04-26 | Meidensha Corp | Detecting method and device for obstacle being stationary on road obstacle |
| JP2003288678A (en) * | 2002-03-27 | 2003-10-10 | Natl Inst For Land & Infrastructure Management Mlit | Processor conformable to center line shift |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009157492A (en) * | 2007-12-25 | 2009-07-16 | Sumitomo Electric Ind Ltd | Vehicle detection device, vehicle detection system, and vehicle detection method |
| ES2330499A1 (en) * | 2007-12-31 | 2009-12-10 | Imagsa Technologies, S.A. | Method and system for detecting moving objects |
| JP2010140371A (en) * | 2008-12-15 | 2010-06-24 | Nippon Telegr & Teleph Corp <Ntt> | System, method and program for monitoring video |
| CN102110366A (en) * | 2011-03-28 | 2011-06-29 | 长安大学 | Block-based accumulated expressway vehicle parking event detecting method |
| JP2013025586A (en) * | 2011-07-21 | 2013-02-04 | Sumitomo Electric Ind Ltd | Vehicle detection device, vehicle detection system and computer program |
| CN102637360B (en) * | 2012-04-01 | 2014-07-16 | 长安大学 | Video-based road parking event detection method |
| CN102637360A (en) * | 2012-04-01 | 2012-08-15 | 长安大学 | Video-based road parking event detection method |
| CN103136514A (en) * | 2013-02-05 | 2013-06-05 | 长安大学 | Parking event detecting method based on double tracking system |
| CN103136514B (en) * | 2013-02-05 | 2016-03-30 | 长安大学 | A kind of parking event detecting method based on bi-directional tracking |
| CN103680141A (en) * | 2013-12-19 | 2014-03-26 | 华南理工大学 | Method for calculating vehicle detection accuracy rate |
| CN103680141B (en) * | 2013-12-19 | 2015-09-16 | 华南理工大学 | A kind of method calculating vehicle detection accuracy rate |
| CN104076363A (en) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | Rapid automatic guided vehicle obstacle detection method based on multiple sensors |
| JP7435244B2 (en) | 2019-06-14 | 2024-02-21 | 富士通株式会社 | Image-based parking detection method, device and electronic device |
| CN111915898A (en) * | 2020-07-24 | 2020-11-10 | 杭州金通科技集团股份有限公司 | Parking monitoring AI electronic post house |
| CN111915898B (en) * | 2020-07-24 | 2022-07-08 | 杭州金通科技集团股份有限公司 | Parking monitoring AI electronic post house |
| CN112907975A (en) * | 2021-01-23 | 2021-06-04 | 四川九通智路科技有限公司 | Detection method for abnormal parking based on millimeter wave radar and video |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4537794B2 (en) | 2010-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4892066B2 (en) | Image processing apparatus and image processing program | |
| US8050456B2 (en) | Vehicle and road sign recognition device | |
| US20080013789A1 (en) | Apparatus and System for Recognizing Environment Surrounding Vehicle | |
| JP4537794B2 (en) | Image processing apparatus and image processing program | |
| JP2006031365A (en) | Traffic lane recognition image processing apparatus | |
| Ten Kate et al. | Mid-range and distant vehicle detection with a mobile camera | |
| US20200084356A1 (en) | Image monitoring device, image monitoring method, and recording medium | |
| JP2006309313A (en) | Road recognition device | |
| JP5301694B2 (en) | Image processing apparatus, image processing method, program, and recording medium therefor | |
| CN102610104A (en) | Onboard front vehicle detection method | |
| JP2012129709A (en) | Information processor, information processing method, and program | |
| JP6657646B2 (en) | Obstacle detection device, obstacle detection method, and obstacle detection program | |
| JP2015207211A (en) | Vehicle detection device and system, and program | |
| JP3914447B2 (en) | Image-type vehicle detection system and image-type vehicle detection method | |
| JP5018652B2 (en) | Object presence determination device | |
| JP4198542B2 (en) | Face presence / absence determination device and face presence / absence determination program | |
| JP6798609B2 (en) | Video analysis device, video analysis method and program | |
| JPWO2004084121A1 (en) | Vehicle identification method and apparatus | |
| JP3455454B2 (en) | Vehicle license plate recognition device | |
| JP2010286995A (en) | Image processing system for vehicle | |
| KR100801989B1 (en) | Recognition system for registration number plate and pre-processor and method therefor | |
| KR101875786B1 (en) | Method for identifying vehicle using back light region in road image | |
| JP3638028B2 (en) | Vehicle number recognition device | |
| JP2002002485A (en) | Track recognition device and railway rolling stock using track recognition device | |
| JP4842301B2 (en) | Pedestrian detection device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4537794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |