JP2007164566A - System and device of vehicle sensing for traffic-actuated control - Google Patents
System and device of vehicle sensing for traffic-actuated control Download PDFInfo
- Publication number
- JP2007164566A JP2007164566A JP2005361395A JP2005361395A JP2007164566A JP 2007164566 A JP2007164566 A JP 2007164566A JP 2005361395 A JP2005361395 A JP 2005361395A JP 2005361395 A JP2005361395 A JP 2005361395A JP 2007164566 A JP2007164566 A JP 2007164566A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sensitive
- area
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、信号交差点における感応式信号制御に用いる感応制御用車両感知システムおよび装置に関する。 The present invention relates to a vehicle control system and apparatus for sensitive control used for sensitive signal control at signalized intersections.
従来、感応式の信号制御方法(以下、「感応制御」と称する。)には、指定された流入車線を走行する車両若しくは二輪車(以下、これを「車両等」と称する。)の存在を検知して信号灯器を赤から青に切り変える制御方法(以下、これを「リコール感応制御」と称する。)や右折車線に存在する車両等を検知して信号灯器の右折矢表示を延長する機能、あるいは車両等が存在しないときは右折矢表示を短縮する機能を持つ制御方法(以下、これを「右折感応制御」と称する。)等、種々の方法が知られている。これら感応式の信号制御方法に用いられるセンサとして超音波式車両感知器が利用されてきた。
また、本明細書では、リコール感応制御や右折感応制御の対象となる領域に存在する車両等を検知したことを示す信号を「感応信号」と称することとし、感応信号を生成するための領域を「感応領域」と称することとする。
Conventionally, a sensitive signal control method (hereinafter referred to as “sensitive control”) detects the presence of a vehicle or a two-wheeled vehicle (hereinafter referred to as “vehicle or the like”) traveling in a specified inflow lane. And a function for extending the right turn arrow display of the signal light device by detecting a vehicle or the like existing in the right turn lane or a control method for switching the signal light device from red to blue (hereinafter referred to as “recall sensitive control”), Alternatively, various methods such as a control method having a function of shortening the right turn arrow display when a vehicle or the like does not exist (hereinafter referred to as “right turn sensitive control”) are known. As a sensor used in these sensitive signal control methods, an ultrasonic vehicle sensor has been used.
Further, in this specification, a signal indicating that a vehicle or the like existing in a region subject to recall sensitive control or right turn sensitive control is referred to as a “sensitive signal”, and a region for generating a sensitive signal is referred to as a “sensitive signal”. It will be referred to as a “sensitive area”.
超音波式車両感知器は停止線付近の車線直上に車両検知部を設置する。車両検知部から道路面に向けて超音波を送信し、路面あるいは該当車線を通過する車両等の検出対象(以下、単に「検出対象」と称する。)に当たって反射される超音波を受信する。超音波の送信から受信までの時間を計測することにより検出対象の存在を検知する。 The ultrasonic vehicle detector has a vehicle detection unit directly above the lane near the stop line. An ultrasonic wave is transmitted from the vehicle detection unit toward the road surface, and an ultrasonic wave reflected upon a detection target (hereinafter simply referred to as “detection target”) such as a vehicle passing the road surface or the corresponding lane is received. The presence of a detection target is detected by measuring the time from transmission to reception of ultrasonic waves.
一方、車両等の検出には画像式車両感知器も使用されている。画像式車両感知器は路側にカメラを設置して道路を撮影する。撮影された画像において、道路面の車線幅と車線方向の任意の距離で定まる矩形領域(以下、これを「計測領域」と称する。)を検出対象の計測範囲とする。この計測領域を含んだ画像を、カメラから一定時刻毎に周期的に取得する。取得された現在時刻の画像に対して予め設定された計測領域内の複数の画素(サンプル点)を抽出し、サンプル点の輝度を決定する。 On the other hand, an image type vehicle sensor is also used for detecting a vehicle or the like. The image-type vehicle detector takes a picture of the road by installing a camera on the roadside. In the photographed image, a rectangular area (hereinafter referred to as “measurement area”) determined by an arbitrary distance in the lane width of the road surface and the lane direction is set as a measurement range of the detection target. An image including the measurement area is periodically acquired from the camera at regular time intervals. A plurality of pixels (sample points) in a measurement region set in advance with respect to the acquired image at the current time are extracted, and the luminance of the sample points is determined.
サンプル点の輝度からなる現在時刻の画像データと、予めメモリに記憶させている比較用の計測領域の画像データ(以下、「背景画像データ」と称する。)を比較し、画像データから検出対象を抽出する。さらに抽出した検出対象の特徴量として二値化したエッジ部分を抽出する。この二値化したエッジ部分を基に検出対象の車両先頭(以下、「車頭」と称する。)位置と車幅を推定する。さらに、車幅に対応付けられた車長情報から車両等が存在する領域(以下、単に「存在領域」と称する。)を推定する。この存在領域に対して現在の時刻より一周期前の時刻に取得された画像データを基に決定された車頭位置及び存在領域と、現在の時刻取得された画像データを基に決定された車頭位置及び存在領域との対応づけを時系列的に行って車両等の追跡をすることにより車両等の検知と交通流の計測を行う。対応づけは、一般に画像処理により抽出された特徴量(例えば、エッジ)のパターン・マッチングにより行われる。 The image data at the current time consisting of the brightness of the sample points is compared with the image data of the measurement area for comparison (hereinafter referred to as “background image data”) stored in advance in the memory, and the detection target is detected from the image data. Extract. Further, a binarized edge portion is extracted as the extracted feature quantity of the detection target. Based on the binarized edge portion, the position and width of the vehicle head (hereinafter referred to as “vehicle head”) to be detected are estimated. Further, a region where a vehicle or the like exists (hereinafter simply referred to as “existing region”) is estimated from vehicle length information associated with the vehicle width. The vehicle head position and the existence area determined based on the image data acquired at the time one cycle before the current time with respect to the existence area, and the vehicle head position determined based on the image data acquired at the current time In addition, the vehicle is detected and the traffic flow is measured by tracking the vehicle or the like by time-sequentially associating with the existence area. The association is generally performed by pattern matching of feature amounts (for example, edges) extracted by image processing.
また、前記の画像式車両感知器を感応制御に利用することも行われている。画像式車両感知器のカメラから取得された画像の計測領域に検出対象が存在している場合は検出対象の存在を検知できるので、この検出対象の存在を検知したことを示す信号(以下、「存在検知信号」と称する。)をそのまま感応信号として利用することが行われている。 In addition, the image type vehicle sensor is also used for sensitive control. Since the presence of the detection target can be detected when the detection target exists in the measurement region of the image acquired from the camera of the image type vehicle sensor, a signal (hereinafter, “ The presence detection signal ") is used as it is as a sensitive signal.
しかし、超音波式車両感知器は車両検知部の検知領域が1.2m程度と狭いため、検出対象の走行位置が検知領域から外れる、あるいは信号待ちの際に車両検知部からの送信波が車両等と車両等の間の路面に当たるなどした時に検出漏れを生じるという問題があった。さらに、検出対象が走行する車線の真上に車両検知部を設置する必要があるため、路側の柱から長いアームを取付け、ここに車両検知部を設置する必要がある。設置場所によっては工事が困難であり、設置後の街の景観を損ねるという問題もあった。 However, since the detection area of the vehicle detection unit is as narrow as about 1.2 m in the ultrasonic vehicle detector, the traveling position of the detection target deviates from the detection region, or a transmission wave from the vehicle detection unit is generated when waiting for a signal. There is a problem that a detection omission occurs when it hits the road surface between the vehicle and the like. Furthermore, since it is necessary to install a vehicle detection unit directly above the lane in which the detection target travels, it is necessary to install a long arm from the roadside pillar and install the vehicle detection unit here. Depending on the installation location, construction is difficult, and there is also a problem that the cityscape after installation is damaged.
また、従来の画像式車両感知器を感応制御に利用した場合は、検知した存在検知信号をそのまま感応信号として利用していた。そのため、例えば夜間などのヘッドライトしかカメラに写らないケースでは、車両等の存在領域を算出することができず、ヘッドライトが感応領域から逸脱している場合には感応領域内に車両等があっても検出できないという問題があった。 Further, when a conventional image type vehicle detector is used for sensitive control, the detected presence detection signal is used as it is as a sensitive signal. For this reason, for example, in the case where only the headlights are captured by the camera at night, the existence area of the vehicle cannot be calculated, and when the headlight deviates from the sensitive area, there is a vehicle in the sensitive area. However, there was a problem that it could not be detected.
本発明の目的は、このような従来方式及び装置の問題点に鑑み、正確な感応制御を行う上で必要な、車両等の存在を正確に検出できる感応制御用車両感知システムおよび装置を提供することにある。
本発明の他の目的は、信号制御機が適切なタイミングで感応制御できるよう高精度な感応信号を生成する感応制御用車両感知システムおよび装置を提供することにある。
An object of the present invention is to provide a vehicle sensing system and device for sensitive control that can accurately detect the presence of a vehicle or the like, which is necessary for accurate sensitive control, in view of the problems of the conventional system and device. There is.
Another object of the present invention is to provide a vehicle sensing system and apparatus for sensitive control that generates a highly accurate sensitive signal so that the signal controller can perform sensitive control at an appropriate timing.
前記の課題を解決するため、停止線近傍の領域を含む画像データを周期的に取得する撮像手段と、画像データに基づいて車両等を検出するデータ処理手段と、車両等の検出に対応して感応信号を出力する出力手段とを含む感応制御用車両感知システムであって、データ処理手段は、夜間は車両等の車幅(車幅が見えない場合は、ヘッドライトの外側から外側の幅)を計測することにより車両等の車種を推定し、推定された車種に対応した車両等の存在領域を推定し、車両等を検出する(請求項1)。 In order to solve the above-mentioned problem, in response to detection of a vehicle or the like, an imaging means for periodically acquiring image data including an area near the stop line, a data processing means for detecting a vehicle or the like based on the image data, and the like A vehicle sensing system for sensitivity control including an output means for outputting a sensitivity signal, wherein the data processing means is a vehicle width of a vehicle or the like at night (if the vehicle width is not visible, the width from the outside of the headlight to the outside) The vehicle type of the vehicle or the like is estimated by measuring the vehicle, the existence region of the vehicle or the like corresponding to the estimated vehicle type is estimated, and the vehicle or the like is detected.
これにより、夜間、映像が暗く車両のヘッドライトしか見えない状態でヘッドライトが感応領域から逸脱している状態であっても、車体の存在領域を推定するので、車両が感知領域内に存在している場合には感応信号を出力することができる。 As a result, the vehicle's presence area is estimated even at night when the headlight deviates from the sensitive area when the image is dark and the vehicle's headlight is only visible. If so, a sensitive signal can be output.
さらにデータ処理手段は、昼間は車両等の車幅および車長を計測することにより車両等の存在領域を算出し、車両等を検出する(請求項2)。これにより、より正確に車両等の存在領域を算出することができる。 Further, the data processing means calculates the existence area of the vehicle or the like by measuring the vehicle width and the vehicle length of the vehicle or the like in the daytime, and detects the vehicle or the like (claim 2). As a result, the existence area of the vehicle or the like can be calculated more accurately.
さらに請求項1または請求項2に記載の感応制御用車両感知システムを一つの筺体内に収納した感応制御用車両感知装置を提供する(請求項3)。
Furthermore, there is provided a vehicle sensing device for sensitivity control in which the vehicle sensing system for sensitivity control according to
これにより、請求項1または請求項2に記載の感応制御用車両感知システムを一つの筺体内に収納することにより、設置の容易な感応制御用車両感知装置を実現できる。
Thus, by accommodating the sensitive control vehicle sensing system according to
本発明によれば、感応制御を正確に動作させる上で必要な車両等の存在を高精度に検出できる。これにより正確な感応信号を生成し、信号制御機に伝達できるので最適な感応制御を行うことができる。 According to the present invention, it is possible to accurately detect the presence of a vehicle or the like necessary for accurately operating the sensitive control. As a result, an accurate sensitive signal can be generated and transmitted to the signal controller, so that optimum sensitive control can be performed.
図1は、右折感応制御用に設置されたズーム式カメラ一体型画像式車両感知器1の設置概念図を示す。交差点流出部の信号灯器の上部付近にズーム式カメラ2を内蔵した画像式車両感知器が備えられている。ズーム式カメラ2はその視野が交差点流入部の停止線15を含む流入車線を見渡すように設置される。ズーム式カメラ2より入力された映像に対して、感応信号を生成するための感応領域13は、停止線15から30mの矩形領域として設定される。
FIG. 1 shows an installation conceptual diagram of a zoom camera-integrated image type vehicle sensor 1 installed for right turn sensitive control. An image type vehicle detector incorporating a
図2は、リコール感応制御用に設置されたズーム式カメラ一体型画像式車両感知器1の設置概念図を示す。図1同様、交差点流出部の信号灯器の上部付近に一体型画像式車両感知器1が設置されている。ズーム式カメラ2の視野は交差点流入部の停止線15を含む流入車線を見渡すように設置される。ズーム式カメラ2より入力された映像において、感応領域13は、停止線15から10m以上の矩形領域として設定される。
FIG. 2 shows an installation conceptual diagram of the zoom type camera-integrated image type vehicle sensor 1 installed for recall sensitive control. As in FIG. 1, an integrated image type vehicle sensor 1 is installed near the upper part of the signal lamp at the intersection outflow part. The field of view of the
前記感応領域13の設定は、保守用コンソール14を一体型画像式車両感知器1に接続してカメラの俯角を調整した後、内蔵されたズームレンズ3の制御パラメータの設定値を変更することによって、画像処理上必要な空間的解像度を確保しつつ、交差点流入部の停止線15から感応制御に必要十分な範囲の矩形領域が設定される。感応領域13は、保守用コンソール14に接続されるマウスなどのポインティング・デバイスを用いて矩形領域として設定される。また感応領域13の設定時に、予め車線の境界と車線毎の車両等の進行方向を設定しておく。
The sensitive area 13 is set by changing the setting value of the control parameter of the built-in
保守用コンソール14を用いれば、交差点の規模やズーム式カメラ一体型画像式車両感知器の設置高さや位置などの条件が異なっていてもズームレンズ3の設定値を調整することにより、容易に感応制御に必要十分な感応領域13を設定できる視野を確保できる。
If the maintenance console 14 is used, even if conditions such as the size of the intersection and the installation height and position of the image-type vehicle sensor integrated with the zoom camera are different, the setting value of the
さらに保守用コンソール14を使用して感応制御に必要十分な感応領域13の位置や大きさを設定できる。このため従来は、感応制御を行うタイミングに遅れまたはズレが生じる場合に対応できるよう、信号制御機側で最小補償青時間という補正用の時間を設けて感応制御を行うタイミングを補正していたが、その必要が無くなる。 Further, the position and size of the sensitive area 13 necessary and sufficient for the sensitive control can be set using the maintenance console 14. For this reason, conventionally, the timing for performing the sensitivity control was corrected by providing a correction time called the minimum compensation blue time on the signal controller side so as to be able to cope with a case where a delay or deviation occurs in the timing for performing the sensitivity control. That need disappears.
さらに保守用コンソール14を使用して非画像処理領域を設定できる。非画像処理領域として設定した領域は画像処理対象外と判断させるため、非画像処理領域内は以下で説明する画像処理を行わない。 Further, the non-image processing area can be set using the maintenance console 14. Since the area set as the non-image processing area is determined not to be subject to image processing, the image processing described below is not performed in the non-image processing area.
非画像処理領域を設定することにより、例えば、感応領域を含む領域内に夜間警告灯などの明るさ変動を生じる物体が存在する場合でもこの物体を障害物として除去できる。さらにカメラの設置後に例えば、道路標識などが新たに設置され感応領域を含む領域内に存在する場合にも、画像処理上の障害物としてこれを回避するように設定できる。 By setting the non-image processing area, for example, even when an object that causes brightness fluctuation such as a night warning lamp exists in an area including the sensitive area, the object can be removed as an obstacle. Further, for example, even when a road sign or the like is newly installed and exists in the area including the sensitive area after the camera is installed, it can be set to avoid this as an obstacle in image processing.
図3は、ズーム式カメラ一体型画像式車両感知器1内のブロック図である。制御部4本体は、保守用コンソールを接続する保守用コンソールI/F3と、ズーム式カメラ2から取得される画像信号を入力する画像入力部5と車両検出部6、車両追跡部7、存在検知部8、感応信号出力指示部9、背景画像更新部10と記憶部16からなる。記憶部16には画像入力部5で処理された画像データ、保守用コンソール15から入力された設定値、車両検出部6、車両追跡部7、存在検知部8、感応信号出力指示部9、背景画像更新部10で処理されたデータが記憶される。
FIG. 3 is a block diagram in the zoom type camera-integrated image type vehicle sensor 1. The main body of the
ズーム式カメラ一体型画像式車両感知器1はさらに感応信号出力指示部9より生成される感応信号の出力指示に基づいて感応信号を信号制御機に出力するための出力部11を有している。この他電源部12も有している。
The zoom type camera-integrated image type vehicle detector 1 further includes an output unit 11 for outputting a sensitivity signal to the signal controller based on a response signal output instruction generated by the response signal
制御部4の行う処理の概要を説明する。図4に制御部4で行われる処理のフローチャートを示す。図4のS1からS9に至る処理は周期的に行われる。記憶部16には、予め初期化時に異なる時刻の複数の画像データをもとに車両等の存在しない背景画像データが記憶されているものとする。
An outline of processing performed by the
画像入力部5で、ズーム式カメラ2から取得された画像の感応領域13を道路の横断方向にM個のサンプル点、車両等の進行方向に沿ってN個のサンプル点から決定されるM×N個の座標データに変換し、各座標データと対応する輝度値をサンプル点画像(以下これを入力画像と称することとする)として記憶部16に記憶する(ステップS1)。サンプル点の間隔は、画像処理上必要となる空間分解能を保持しつつ、処理を高速に行うように決定する。また、サンプル点は道路面上で等間隔となるように配置する。
In the
車両検出部6において、ステップS1で得られた画像に対して、例えば特開平5−307695号公報に開示された二値化処理を行う。つまり、カメラで道路を撮影し、その映像情報に基づいて複数のサンプル点の輝度を決定し、各サンプル点の輝度情報に基づく空間微分処理を行って微分信号の所定の閾値により二値化し、エッジ部分の抽出を行う(ステップS2)。次に、予め記憶部16に保存されている背景画像(車両のいない背景だけの画像)との差分(以下、背景差分と称することとする)を求める(ステップS3)。ステップS2より求めた二値化画像に対して、後述する方法により車両等の先頭位置を確定し、車両等の存在領域を計測或いは推定する処理を行う(ステップS4)。
In the
図5にステップS4の存在領域を推定する処理の詳細をフローチャートに示す。まず、感応領域13内の背景画像の平均輝度値を指標として、処理している時期が昼であるのか夜であるのかの判定を行う(ステップS41)。ステップS2で得られた画像データから、検出対象の車幅を計測する。具体的には、ステップS41で昼間と判定された場合は車幅の計測は例えば、特開平5−307695号公報に開示された方法を用いて行う。図7に車幅の計測方法の概念を示す。以下の説明で用いる「水平方向」および「垂直方向」は図7に定義するように画像面内においての方向をいうものとする。ステップS2で求めた二値化画像に対して車両等の車幅に相当するマスクを掛けて画像に対して水平なエッジ部分を含む線分を抽出する。さらに抽出した水平エッジ部分を含む線分の水平方向の幅を測定する。測定された水平エッジ部分を含む線分の水平方向の幅の中で最大のもの(図7のAの長さ)を車幅とする(ステップS42)。前記の測定された水平エッジ部分はマスクに対して一定以上の長さがあればよく、水平エッジ部分が途中で途切れている箇所があっても良いものとする。 FIG. 5 is a flowchart showing details of the process of estimating the existence area in step S4. First, using the average luminance value of the background image in the sensitive area 13 as an index, it is determined whether the processing time is daytime or nighttime (step S41). The vehicle width to be detected is measured from the image data obtained in step S2. Specifically, when it is determined that it is daytime in step S41, the vehicle width is measured using, for example, the method disclosed in Japanese Patent Laid-Open No. 5-307695. FIG. 7 shows the concept of the vehicle width measurement method. “Horizontal direction” and “vertical direction” used in the following description refer to directions in the image plane as defined in FIG. A line segment including an edge portion horizontal to the image is extracted by applying a mask corresponding to the width of the vehicle or the like to the binarized image obtained in step S2. Further, the horizontal width of the line segment including the extracted horizontal edge portion is measured. Among the measured horizontal widths including the horizontal edge portion, the maximum width (length A in FIG. 7) is set as the vehicle width (step S42). The measured horizontal edge portion only needs to have a certain length or more with respect to the mask, and there may be a portion where the horizontal edge portion is interrupted.
次に車頭の位置を決定する。決定の方法については例えば、特開平5−307695号公報に開示された方法で車頭の位置を決定する。つまり、ステップS2で二値化処理された結果、車両等のエッジ部分及びノイズの部分だけ背景(「符号0」とする)と違った信号(「符号1」とする)が得られる。そこで車両等の車幅に相当するマスクを掛ける。マスク内の「符号1」の個数がある閾値を上回った場合、マスク内の「符号1」の分布の重心を車頭候補点の位置とする。この結果、車頭候補点が複数存在する場合がある。 Next, the position of the vehicle head is determined. As for the determination method, for example, the position of the vehicle head is determined by the method disclosed in JP-A-5-307695. That is, as a result of the binarization process in step S2, a signal (referred to as “reference 1”) different from the background (referred to as “reference 0”) is obtained only in the edge portion and noise portion of the vehicle or the like. Therefore, a mask corresponding to the width of the vehicle or the like is put on. When the number of “symbol 1” in the mask exceeds a certain threshold, the center of gravity of the distribution of “symbol 1” in the mask is set as the position of the vehicle head candidate point. As a result, there may be a plurality of vehicle head candidate points.
車頭候補点が複数存在する場合に対処するために、車両検出部6は車頭候補点を順に調べて行き、ほぼ一台の車両が存在する領域に車頭候補点がn個存在したとする。まず最初(n=1)の車頭候補点を車頭有効点として登録する。次に、n=2以降の車頭候補点に対して車両の進行方向に近い点を新たに車頭有効点とする。そして、車頭有効点とならなかった車頭候補点を削除する(ステップS43)。
In order to cope with the case where there are a plurality of vehicle head candidate points, the
昼間は車体が見えるのでステップS2で二値化処理された二値化データにおいて画素が繋がっている領域を一塊としてこの領域にラベル付けを行う(ラベリング処理と称することとする)。ラベリング処理した領域について、検出された車頭位置から車両の走行方向の長さを計測して見掛けの車長を算出する(ステップS44)。 Since the vehicle body can be seen in the daytime, the area where the pixels are connected in the binarized data binarized in step S2 is labeled as a lump (referred to as labeling process). For the labeled region, the apparent vehicle length is calculated by measuring the length of the vehicle in the traveling direction from the detected vehicle head position (step S44).
ステップS44で得られた見掛けの車長とステップS42で得られた車幅より存在領域を推定する(ステップS47)。ステップS43で得られた車頭位置と、ステップS47で得られた存在領域の組に対してID番号を付与する。このID番号を付与した存在領域を車両等の候補として記憶部16に記憶し登録を行う(ステップS48)。 The existence area is estimated from the apparent vehicle length obtained in step S44 and the vehicle width obtained in step S42 (step S47). An ID number is assigned to the set of the vehicle head position obtained in step S43 and the existence area obtained in step S47. The existence area to which this ID number is assigned is stored in the storage unit 16 as a candidate for a vehicle or the like and registered (step S48).
ステップS41で夜間と判定された場合も、前述のステップS42の処理を行い、車両等の車幅に相当するマスクを掛けて画像に対して水平なエッジ部分を含む線分を抽出する。さらに抽出した水平エッジ部分を含む線分の水平方向の幅を測定する。測定された水平エッジ部分を含む線分の水平方向の幅の中で最大のもの(図7のBの長さ)を車幅とみなす。計測した車幅によって車両等であるか否かを判定する。前述のマスクは普通車用、大型車及び二輪車用が備えられており二輪車のようにヘッドライトが1つの場合であっても、車幅を誤りなく計測することができる。 Even when it is determined at night in step S41, the process of step S42 described above is performed, and a line segment including an edge portion horizontal to the image is extracted by applying a mask corresponding to the vehicle width of the vehicle or the like. Further, the horizontal width of the line segment including the extracted horizontal edge portion is measured. Of the horizontal widths of the line segment including the measured horizontal edge portion, the largest one (the length of B in FIG. 7) is regarded as the vehicle width. It is determined whether the vehicle is a vehicle or the like based on the measured vehicle width. The aforementioned mask is provided for ordinary vehicles, large vehicles, and two-wheeled vehicles, and the vehicle width can be measured without error even when there is one headlight as in a two-wheeled vehicle.
車頭位置はステップS43と同じ処理によって求める。その後、ステップS42で得られた車幅を閾値判別して車種の判別が行われる(ステップS45)。夜間における車幅と車種の対応は一例を言えば、小型車の場合は車幅が2m未満、大型車の場合が2m以上となる(二輪車の場合は車幅が0.6m以下となる)。
夜間は車体が見えないため、ステップS42で得られた車幅で車種を大小に判別した後、ステップS45の判別結果に応じて、記憶部16には予め記憶されている車両等の長さを選定する(ステップS46)。ステップS42で得られた車幅とステップS46で得られた車両等の長さより車両等の存在領域を決定する(ステップS47)。ステップS48の処理が終了すると、図4のステップS5の処理に移る。
The vehicle head position is obtained by the same process as in step S43. Thereafter, the vehicle width obtained in step S42 is discriminated as a threshold, and the vehicle type is discriminated (step S45). The correspondence between the vehicle width and the vehicle type at night is, for example, a vehicle width of less than 2 m for a small vehicle and 2 m or more for a large vehicle (a vehicle width of 0.6 m or less for a motorcycle).
Since the vehicle body cannot be seen at night, the vehicle type is determined based on the vehicle width obtained in step S42, and then the length of the vehicle or the like stored in advance in the storage unit 16 is determined according to the determination result in step S45. Selection is made (step S46). The existence area of the vehicle or the like is determined from the vehicle width obtained in step S42 and the length of the vehicle or the like obtained in step S46 (step S47). When the process of step S48 is completed, the process proceeds to step S5 of FIG.
ここで再び図4に戻って説明する。
車両追跡部7で、ステップS4で得られたデータに基づいて、記憶部16に記憶されている現在の時刻より一周期前の時刻において決定された車頭位置及び存在領域と現在の時刻における車頭位置及び存在領域とをテンプレートマッチング等のマッチング方法を用いて対応づけを行う。テンプレートマッチングは、一周期前の時刻において決定された車頭位置の近傍の一定範囲の画像領域を設定し現在の時刻の画像との一致度を計算する。次に車頭位置の近傍の一定範囲の画像領域を車両の進行方向に走査して順次現在の時刻の画像との一致度を計算する。この結果、最も一致度の高い位置で対応づけを行う。対応づけ手法には、画像の差の絶対値の総和、あるいは正規化相関などの手法がある。画像の対応づけを行うための検索範囲は一周期前までの、後述するステップS5に示す車両等の追跡処理の結果をもとに決定する。
Here, referring back to FIG.
Based on the data obtained in step S4 in the
次に車両追跡部7では、車両等が感応領域に進入してから現在の時刻までに追跡された一周期毎の移動距離を累積して総移動距離を求める。この車頭位置の総移動距離を車両等が感応領域に進入してから現在の時刻までに追跡された一周期毎の周期を累積して算出した総周期の値で除して速度を算出する。この速度を利用することで個々の車両等の検索範囲を決定し追跡を行う(ステップS6)。
Next, the
さらに車両追跡部7では、ステップS5の処理で求めた、移動ベクトルの方向(つまり、感応領域13に進入した車両等の進行方向)が、保守用コンソールI/F3より入力されて記憶部16に記録された車両等の追跡結果から得られる移動ベクトルの軌跡の向きが進行方向と一致しているかが判定される(ステップS6)。ステップS6における判定は進行方向の一致度、すなわち移動ベクトルの軌跡の向きが進行方向か反対方向かという条件と、さらに移動ベクトルの軌跡の長さが車長方向に一定長さ(例えば2m)以上であるという条件で判定される。ステップS6の判定条件を満たした場合、正常に追跡できたとしてこの対象を検出対象と判定する(ステップS7)。
Further, in the
ステップS6からステップS7に示す処理により、感応対象物以外の誤感知を防止することができる。即ち、感応領域13内に横断歩道を横断する歩行者や二輪車等が含まれていてもこれらの移動ベクトルの方向は車両等の進行方向と一致しないため、これらを誤って検出することを防止することができる。 By the processing shown from step S6 to step S7, it is possible to prevent erroneous detection other than the sensitive object. That is, even if a pedestrian or a two-wheeled vehicle crossing a pedestrian crossing is included in the sensitive area 13, the direction of these movement vectors does not coincide with the traveling direction of the vehicle and the like, so that these are prevented from being detected erroneously. be able to.
存在検知部8では、感応領域13内で正しく追跡処理されている全ての検出対象の位置とステップS4で得られる存在領域をもとに、感応領域13内での車両等の存在の有無を判定する。ステップS7に示す車両等認定の過程で、感応領域13内の全ての車両等の車頭位置及び存在領域を特定できるので、存在検知部8では、感応領域13と車両等存在領域との重なりによって感応信号のON/OFFを判定する(ステップS8)。次に感応信号出力指示部9はステップS8の判定結果に応じた感応信号の出力指示を行い、出力部11は感応信号出力指示部9の出力指示に応じて感応信号を出力する(ステップS9)。
The
さらにステップS9において、車両追跡部7では、ステップS5の処理で求められた車両等の速度がゼロの場合、検出対象が停止していると判定して、このときの停止継続時間を計測して保持する。
Further, in step S9, the
図6にステップS8からステップS9までの処理の詳細をフローチャートに示す。ステップS8では、感知領域13内に存在する車両等の走行(停止及び駐車を含む)状態の判定を行い、その状態に応じた感応信号の生成と背景画像の更新処理を順次行なう。 FIG. 6 is a flowchart showing details of the processing from step S8 to step S9. In step S8, a running state (including stop and parking) of a vehicle or the like existing in the sensing area 13 is determined, and a response signal generation and a background image update process corresponding to the state are sequentially performed.
図6において、存在検知部8では個々の車両等の存在領域と感応領域13との重なり状態を判定して(ステップS801)、感応領域13内に存在する車両等の総数Nを求める(ステップS802)。感応領域13内に車両等が1台もいない場合(ステップS803でNOの場合)は、感応信号出力指示部9は感応信号の出力指示をしない(例えば出力指示フラグをOFFにセットする)(ステップS823)、さらに、ステップS824において背景画像を更新する。背景画像の更新方法の詳細については後述する。
In FIG. 6, the
存在検知部8では、ステップS803において、感応領域13内に存在するN台の車両等について各車両等が停止しているか(ステップS805)が判定される。ステップS805の処理において各車両等が停止しているならば、停止継続時間を計測する(ステップS806)。次に停止継続時間が予め設定してある閾値と比較し(ステップS807)、これを超えていれば駐車していると判断し駐車車両等が存在することを示すフラグ(「駐車フラグ」と称することとする)をONにする(ステップS808)。ステップS806で計測した停止継続時間が閾値未満であれば停車していると判断し停車車両等が存在することを示すフラグ(「停車フラグ」と称することとする)をONにする(ステップS809)。車両等が移動している場合は車両等が移動していることを示すフラグ(「移動車両フラグ」と称することとする)をONにする(ステップS810)。
In step S803, the
感応領域13内に存在するN台の車両等についてステップS805からステップS812の一連の処理が実行される。なお、ステップS805の比較処理の前に、予め移動車両フラグ、停車フラグ、および駐車フラグをOFFに初期化しておく。尚、ステップS808、S809、S810の処理においては移動車両フラグ、停車フラグ、および駐車フラグの代わりに移動している車両等の台数を計数する移動車両カウンタ、停車している車両等の台数を計数する停車カウンタ、および駐車している車両等の台数を計数する駐車カウンタを備えても良い。 A series of processing from step S805 to step S812 is executed for N vehicles or the like existing in the sensitive area 13. Note that the moving vehicle flag, the stop flag, and the parking flag are initialized to OFF in advance before the comparison process in step S805. In the processes of steps S808, S809, and S810, a moving vehicle counter that counts the number of moving vehicles, etc. instead of the moving vehicle flag, the stop flag, and the parking flag, and the number of stopped vehicles are counted. There may be provided a parking counter that counts the number of parked vehicles and parked vehicles.
ステップS811の処理において感応領域13内に存在するN台の車両等について、感応領域13内に移動車等、停止車等、駐車等の各々の存在がわかる。これをもとにして3種類の車両等の存在有り/無しの2種類の組み合わせをそれぞれ求めると表1に示すものになる。表1中の「図6の該当ステップ」は図6に示すステップの記号、番号を表している。 Regarding the N vehicles and the like existing in the sensitive area 13 in the process of step S811, the presence of each of the moving vehicle, the stopped car, and the parking in the sensitive area 13 is known. Based on this, two types of combinations of presence / absence of three types of vehicles and the like are respectively obtained as shown in Table 1. The “corresponding step in FIG. 6” in Table 1 represents the symbol and number of the step shown in FIG.
表1のNo.8は、車両がいない状態であるので、ステップS803でNOの場合にあたり、ステップS823、ステップS824の処理つまり感応信号出力指示部9は感応信号の出力指示をせず(例えば出力指示フラグをOFFにセットする)、出力部11は感応信号の出力を行わない(例えば感応信号=OFFとする)。さらに背景画像更新部10で、背景画像の中で車両等の存在領域に対応する領域の更新が行われる。表1のNo.7は、駐車等も停止車等もなく、車両等が移動している場合にあたり、ステップS821、ステップS822の処理つまり感応信号出力指示部9で感応信号の出力指示を行い(例えば出力指示フラグをONにセットする)、出力部11は感応信号の出力を行う(例えば感応信号=ONとする)。さらに背景画像更新部10で背景画像の中で車両等の存在領域を含む背景画像の更新が行われる。表1のNo.4は、駐車等があるが、その他の車両等がいない場合にあたり、ステップS817,S818に示す処理つまり感応信号出力指示部9で感応信号の出力指示を中止する(例えば出力指示フラグをOFFに変更する)。この場合出力部11は感応信号の出力を中止する(例えば感応信号=OFFとする)。
No. in Table 1 8 is a state in which there is no vehicle. Therefore, in the case of NO in step S803, the processing of step S823 and step S824, that is, the sensitive signal
さらに背景画像更新部10では背景画像の中で車両等の存在領域の更新を行わない。理由は、感応信号のONが一定時間以上継続した場合、信号制御機は感知器異常と判断して、その後の感応制御を実行しなくなるからである。表1のその他の場合は、駐車等があってもなくても、その他の車両等が存在するのでステップS819,S820に示す処理つまり感応信号出力指示部9で感応信号の出力を指示し(例えば出力指示フラグをONにセットする)、出力部11は感応信号の出力を行う(例えば感応信号=ONとする)。さらに背景画像更新部10は背景画像の中で車両等の存在領域の更新を行わない。 Further, the background image update unit 10 does not update the existence area of the vehicle or the like in the background image. The reason is that if the sensitive signal is turned on for a certain time or more, the signal controller determines that the sensor is abnormal and does not execute the subsequent sensitive control. In the other cases of Table 1, since there are other vehicles, whether or not there is parking or the like, the processing shown in steps S819 and S820, that is, the output of the sensitive signal is instructed by the sensitive signal output instructing unit 9 (for example, When the output instruction flag is set to ON), the output unit 11 outputs a sensitive signal (for example, the sensitive signal = ON). Further, the background image update unit 10 does not update the existence area of the vehicle or the like in the background image.
車両等が駐車した状態で、新たに感応領域13内に車両等が進入してきた場合は、No.3に該当し、ステップS819,S820に示す処理つまり感応信号出力指示部9で感応信号の出力指示を行う(例えば出力指示フラグをONに変更する)。出力部11では感応信号の出力を再び行う(例えば感応信号=ONとする)。さらに背景画像更新部10では背景画像の中で車両等の存在領域の更新行わない。
If a vehicle or the like newly enters the sensitive area 13 with the vehicle or the like parked, 3, the processing shown in steps S819 and S820, that is, the sensitive signal
また、車両等が路側に停止したため、感応領域13に進入する車両等が反対車線をまたいで走行するような場合でも、図4においてステップS6からステップS9の処理で車両追跡部7が求めた移動ベクトルの方向が、保守用コンソールI/F3を経由して設定された進行方向と閾値以上一致していると判定されれば表1のNo.5に該当するので、感応信号出力指示部9は再び感応信号の出力指示を行い、出力部11は感応信号の出力を行う。この時、停止車両等がいるので、背景画像更新部10においては車両等の存在領域の更新は行われない(S820)。
Further, even when the vehicle or the like entering the sensitive area 13 travels across the opposite lane because the vehicle or the like has stopped on the road side, the movement obtained by the
背景画像更新部10では背景画像の更新を行うが、一般に、道路面との輝度差から車体を抽出する背景差分の処理では日照の時間的変化に適応するため、背景画像を時間経過とともに更新する必要がある。背景画像更新部10では、車両等がいない場合(S824)や、車両等が走行している状態(S822)では、下記の指数平滑方式を用いて背景画像の更新を行う。 The background image update unit 10 updates the background image. Generally, in the background difference processing for extracting the vehicle body from the luminance difference from the road surface, the background image is updated with the passage of time in order to adapt to the temporal change of sunlight. There is a need. The background image update unit 10 updates the background image using the following exponential smoothing method when there is no vehicle or the like (S824) or when the vehicle or the like is traveling (S822).
指数平滑方式とは、感応領域13を含んだ画像をカメラから一定時刻毎に周期的に取得される画像に対して以下の式で示す演算を施す方式である。
(今の周期の背景画像)=(1−α)×(現在より一周期前時刻の背景画像)+α×(現在の時刻の入力画像) (0<α<1)
The exponential smoothing method is a method of performing an operation represented by the following expression on an image obtained by periodically obtaining an image including the sensitive region 13 from the camera at a certain time.
(Background image of the current cycle) = (1−α) × (Background image at a time before the current cycle) + α × (Input image of the current time) (0 <α <1)
車両等が駐車した場合は、背景画像には車両に隠されて見えない領域が生じる。この状態で背景画像を更新することは好ましくない。そこで、背景画像更新部10では駐車等を検出した時、つまりステップS5で車両追跡部7が求めた車両等の速度がゼロの場合で、停止が継続している時間が閾値以上である時は、検出された車両等の存在領域においては背景画像の更新を中断し、車両等が再び発進した時、即ち、ステップS5で車両追跡部7が求めた車両等の速度>0の場合に、該当する存在領域の背景画像の更新を再開する。この場合の車両等の存在領域における背景画像の更新ではステップS42およびステップS45で計測した車幅と、ステップS44で計測した車長の計測誤差を考慮して、ステップS48で求められた車両等の存在領域を含む所定の領域に対するものであっても良い。
When a vehicle or the like is parked, an area that is hidden by the vehicle and cannot be seen is generated in the background image. It is not preferable to update the background image in this state. Therefore, when the background image update unit 10 detects parking or the like, that is, when the speed of the vehicle or the like obtained by the
本発明におけるズーム式カメラ一体型画像式車両感知器1は、本発明の一実施形態である。本発明の実施においてはカメラと制御部が別々に分離された装置であってもよい。 The zoom type camera-integrated image type vehicle sensor 1 according to the present invention is an embodiment of the present invention. In the embodiment of the present invention, a device in which the camera and the control unit are separately separated may be used.
以上に開示された実施の形態および実施例は全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態および実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての修正や変形を含むものと意図される。 It should be considered that the embodiments and examples disclosed above are illustrative and non-restrictive in every respect. The scope of the present invention is shown not by the above embodiments and examples but by the scope of claims, and is intended to include all modifications and variations within the meaning and scope equivalent to the scope of claims. .
1 ズーム式カメラ一体型画像式車両感知器
2 ズーム式カメラ
3 保守用コンソールI/F
4 制御部
5 画像入力部
6 車両検出部
7 車両追跡部
8 存在検知部
9 感応信号出力指示部
10 背景画像生成・更新部
11 出力部
12 電源部
13 感応領域
14 保守用コンソール
15 停止線
1 Zoom-type camera-integrated image-
DESCRIPTION OF
Claims (3)
前記画像データに基づいて車両等を検出するデータ処理手段と、
前記車両等の検出に対応して感応信号を出力する出力手段と
を含む感応制御用車両感知システムであって、
前記データ処理手段は、夜間は前記車両等の車幅を計測することにより前記車両等の車種を推定し、
推定された車種に対応した前記車両等の存在領域を推定し、
前記車両等を検出すること
を特徴とする感応制御用車両感知システム。 Imaging means for periodically acquiring image data including a region in the vicinity of the stop line;
Data processing means for detecting a vehicle or the like based on the image data;
Output sensing means for outputting a sensing signal in response to detection of the vehicle or the like, and a vehicle sensing system for sensing control,
The data processing means estimates a vehicle type such as the vehicle by measuring a vehicle width of the vehicle or the like at night,
Estimate the existence area of the vehicle etc. corresponding to the estimated vehicle type,
A vehicle sensing system for sensitive control, wherein the vehicle or the like is detected.
前記車両等を検出すること
を特徴とする請求項1に記載の感応制御用車両感知システム。 The data processing means calculates an existence area of the vehicle or the like by measuring a vehicle width and a vehicle length of the vehicle or the like during the daytime,
The vehicle sensing system for sensitive control according to claim 1, wherein the vehicle or the like is detected.
を特徴とする感応制御用車両感知装置。 A vehicle sensing device for sensitivity control, wherein the vehicle sensing system for sensitivity control according to claim 1 or 2 is housed in a single casing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005361395A JP2007164566A (en) | 2005-12-15 | 2005-12-15 | System and device of vehicle sensing for traffic-actuated control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005361395A JP2007164566A (en) | 2005-12-15 | 2005-12-15 | System and device of vehicle sensing for traffic-actuated control |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007164566A true JP2007164566A (en) | 2007-06-28 |
Family
ID=38247369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005361395A Pending JP2007164566A (en) | 2005-12-15 | 2005-12-15 | System and device of vehicle sensing for traffic-actuated control |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007164566A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009064228A (en) * | 2007-09-06 | 2009-03-26 | Nec Corp | Image processor, method, and program |
JP2010134821A (en) * | 2008-12-08 | 2010-06-17 | Omron Corp | Vehicle-type discriminating apparatus |
JP2013025489A (en) * | 2011-07-19 | 2013-02-04 | Sumitomo Electric Ind Ltd | Moving body detecting apparatus, moving body detecting system, and computer program |
GB2502687A (en) * | 2012-04-06 | 2013-12-04 | Xerox Corp | Video-based detection for short-term parking violation |
US8682036B2 (en) | 2012-04-06 | 2014-03-25 | Xerox Corporation | System and method for street-parking-vehicle identification through license plate capturing |
US9367966B2 (en) | 2012-04-06 | 2016-06-14 | Xerox Corporation | Smartphone augmented video-based on-street parking management system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203592A (en) * | 1998-01-16 | 1999-07-30 | Nippon Signal Co Ltd:The | Traffic signal controller |
JPH11219493A (en) * | 1992-04-02 | 1999-08-10 | Matsushita Electric Ind Co Ltd | Method for processing traffic information |
JPH11353581A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating vehicle kind in the daytime |
JPH11353580A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating kind of vehicle at night |
JP2002008017A (en) * | 2000-06-16 | 2002-01-11 | Mitsubishi Electric Corp | Movable body detection system |
JP2002042140A (en) * | 2000-07-28 | 2002-02-08 | Mitsubishi Electric Corp | Moving object measuring device and traffic flow measured image processing device |
-
2005
- 2005-12-15 JP JP2005361395A patent/JP2007164566A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219493A (en) * | 1992-04-02 | 1999-08-10 | Matsushita Electric Ind Co Ltd | Method for processing traffic information |
JPH11203592A (en) * | 1998-01-16 | 1999-07-30 | Nippon Signal Co Ltd:The | Traffic signal controller |
JPH11353581A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating vehicle kind in the daytime |
JPH11353580A (en) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | Method and device for discriminating kind of vehicle at night |
JP2002008017A (en) * | 2000-06-16 | 2002-01-11 | Mitsubishi Electric Corp | Movable body detection system |
JP2002042140A (en) * | 2000-07-28 | 2002-02-08 | Mitsubishi Electric Corp | Moving object measuring device and traffic flow measured image processing device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009064228A (en) * | 2007-09-06 | 2009-03-26 | Nec Corp | Image processor, method, and program |
JP2010134821A (en) * | 2008-12-08 | 2010-06-17 | Omron Corp | Vehicle-type discriminating apparatus |
JP2013025489A (en) * | 2011-07-19 | 2013-02-04 | Sumitomo Electric Ind Ltd | Moving body detecting apparatus, moving body detecting system, and computer program |
GB2502687A (en) * | 2012-04-06 | 2013-12-04 | Xerox Corp | Video-based detection for short-term parking violation |
US8682036B2 (en) | 2012-04-06 | 2014-03-25 | Xerox Corporation | System and method for street-parking-vehicle identification through license plate capturing |
US9367966B2 (en) | 2012-04-06 | 2016-06-14 | Xerox Corporation | Smartphone augmented video-based on-street parking management system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3739693B2 (en) | Image recognition device | |
KR101988811B1 (en) | Signaling device and signaling device recognition method | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
JP4615139B2 (en) | Vehicle periphery monitoring device | |
JP5399027B2 (en) | A device having a system capable of capturing a stereoscopic image to assist driving of an automobile | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
JP2011118482A (en) | In-vehicle device and recognition support system | |
JP2003216949A (en) | Infrared image processor | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
JP2005202678A (en) | Traveling support device | |
JP2000059764A (en) | Vehicle position detecting device | |
JP2012098967A (en) | Traffic light detector, traffic light detection method and program | |
JP2007164566A (en) | System and device of vehicle sensing for traffic-actuated control | |
JP6365103B2 (en) | Signal detection device and signal detection method | |
JP2017073008A (en) | Vehicle operation support system and operation support method | |
JP2003329439A (en) | Distance detecting device | |
JP4762830B2 (en) | Perimeter monitoring system | |
JP2011103058A (en) | Erroneous recognition prevention device | |
JP3999088B2 (en) | Obstacle detection device | |
JP3916930B2 (en) | Approach warning device | |
US11679769B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method | |
JP5914791B2 (en) | Collision detection device | |
JP2007164564A (en) | System and device of vehicle sensing for traffic-actuated control | |
JP2007164565A (en) | System and device of vehicle sensing for traffic-actuated control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110322 |