JP2005056186A - Traffic condition observation system - Google Patents

Traffic condition observation system Download PDF

Info

Publication number
JP2005056186A
JP2005056186A JP2003286893A JP2003286893A JP2005056186A JP 2005056186 A JP2005056186 A JP 2005056186A JP 2003286893 A JP2003286893 A JP 2003286893A JP 2003286893 A JP2003286893 A JP 2003286893A JP 2005056186 A JP2005056186 A JP 2005056186A
Authority
JP
Japan
Prior art keywords
image
vehicle
predetermined
time
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003286893A
Other languages
Japanese (ja)
Inventor
Taku Miyata
卓 宮田
Kenichi Itamiya
憲一 板宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ISM KK
Tepco Systems Corp
Original Assignee
ISM KK
Tepco Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ISM KK, Tepco Systems Corp filed Critical ISM KK
Priority to JP2003286893A priority Critical patent/JP2005056186A/en
Publication of JP2005056186A publication Critical patent/JP2005056186A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To grasp traffic conditions in a predetermined area quantitatively and planary in a simple manner. <P>SOLUTION: A traffic flow measurement program 42 executes a first storage step that stores a first image imaged by remotely sensing a scope including the predetermined area at a first time, and a second image imaged by remotely sensing the scope including the predetermined area at a second time after a predetermined time from the first time in a memory 4, a second storage step that stores geographical information including at least traffic control information for a road in the prescribed area in the memory 4, an extraction step that extracts a scope of a vehicle based on the first and second images stored in a memory 4 respectively, a search step that searches the second image for each vehicle in the first image based on the result of extraction in the extraction step, and a presentation step that presents a prescribed observation result regarding the traffic condition based on the search result in the search step. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、交通状況の定量的な測定を支援するための交通状況観測システムに関する。   The present invention relates to a traffic condition observation system for supporting quantitative measurement of traffic conditions.

交通状況の実態を正確に把握することは各方面からの要請である。例えば、交通渋滞が重大な社会問題となっている。交通渋滞を解消するためには、渋滞原因を特定し、それに基づいて交通管制や街路構造を変更するなどの措置が必要になる。そのためには、車両の詳細な挙動解析を行うことが望まれる。また、例えば駐車場需要を推定するためには、路上駐車などの状況を正確に知ることが求められる。このように、交通状況の実態は広域道路ネットワークについて「面的」に把握されることが重要である。   It is a request from each direction to accurately grasp the actual situation of traffic conditions. For example, traffic congestion is a serious social problem. In order to eliminate the traffic jam, it is necessary to take measures such as identifying the cause of the traffic jam and changing the traffic control or street structure based on the cause. For this purpose, it is desired to perform a detailed behavior analysis of the vehicle. For example, in order to estimate the demand for parking lots, it is required to accurately know the situation such as street parking. In this way, it is important that the actual state of traffic conditions be grasped “in a plane” for the wide area road network.

ところで、現在の交通状況調査は、定点観測による交通量調査が一般的であり、これを支援するために、道路上に設置された車両感知器が用いられている。また、監視カメラを道路上に設置し、その監視カメラで撮影した画像に基づいて交通流を測定する装置が多く提案されている(例えば、特許文献1を参照。)。   By the way, the current traffic situation survey is generally a traffic survey by fixed point observation, and a vehicle detector installed on the road is used to support this. Many apparatuses have been proposed in which a monitoring camera is installed on a road and traffic flow is measured based on an image taken by the monitoring camera (see, for example, Patent Document 1).

特開平7−21488号公報Japanese Patent Laid-Open No. 7-21488

しかし、上記のような従来手法はあくまで交通量が「点的」に観測されるに過ぎないものである。このような従来手法で面的な交通状況を把握するためには、多くの地点で同時に定点観測を行うことが必要であり、これを実施するには多大なコストがかかることになる。また、仮にこのような同時観測を行ったとしても、実際には正確に広域における個々の道路の交通特性(例えば、交通密度)を把握することは困難である。   However, the conventional methods as described above are merely “spot” observations of traffic volume. In order to grasp the plane traffic situation by such a conventional method, it is necessary to perform fixed-point observation at many points at the same time, and it is very expensive to implement this. Even if such simultaneous observation is performed, it is actually difficult to accurately grasp traffic characteristics (for example, traffic density) of individual roads in a wide area.

本発明の一側面によれば、所定地域内の交通状況を定量的に観測するための交通状況観測システムであって、第1の時刻に前記所定地域を含む領域をリモートセンシングにより撮影された第1の画像と、前記第1の時刻から所定時間後の第2の時刻に前記所定地域を含む領域をリモートセンシングにより撮影された第2の画像とを記憶する第1の記憶手段と、少なくとも前記所定地域内の道路の交通管制情報を含む地理情報を記憶する第2の記憶手段と、前記第1の記憶手段に記憶された前記第1および第2の画像それぞれに基づいて、車両の領域を抽出する抽出手段と、前記抽出手段による抽出結果に基づいて、前記第1の画像における各車両を、前記第2の画像から探索を行う探索手段と、前記探索手段による探索結果に基づいて、交通状況に係る所定の観測結果を提示する提示手段とを有することを特徴とする交通状況観測システムが提供される。   According to one aspect of the present invention, there is provided a traffic condition observation system for quantitatively observing a traffic condition in a predetermined area, wherein a region including the predetermined area is captured by remote sensing at a first time. First storage means for storing one image and a second image obtained by remote sensing of an area including the predetermined area at a second time after a predetermined time from the first time; Based on second storage means for storing geographical information including traffic control information of roads within a predetermined area, and each of the first and second images stored in the first storage means, a vehicle area is determined. An extraction means for extracting, a search means for searching each vehicle in the first image from the second image based on an extraction result by the extraction means, and a traffic based on a search result by the search means Traffic observation system characterized by having a presentation means for presenting predetermined observations relating to status is provided.

本発明によれば、容易に、所定地域における交通状況を定量的かつ面的に把握することができる。   According to the present invention, the traffic situation in a predetermined area can be easily grasped quantitatively and in a plane.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

図1は、実施形態における交通状況観測システムの構成を示す図である。このシステムは一般的なパーソナルコンピュータやワークステーションで実現することができるもので、図示するように、システム全体の制御を司るCPU1、ブートプログラム等を記憶しているROM2、主記憶装置として機能するRAM3をはじめ、以下の構成を備える。4は各種プログラムやデータを記憶するハードディスク装置(HDD)、5は表示しようとするイメージデータを展開するメモリ(VRAM)であり、ここにイメージデータ等を展開することで6のディスプレイ装置(CRT)に表示させることができる。7および8はそれぞれ、各種設定を行うためのキーボードおよびマウスである。   FIG. 1 is a diagram illustrating a configuration of a traffic condition observation system according to an embodiment. This system can be realized by a general personal computer or workstation. As shown in the figure, a CPU 1 that controls the entire system, a ROM 2 that stores a boot program, etc., and a RAM 3 that functions as a main storage device. In addition, the following configuration is provided. 4 is a hard disk device (HDD) for storing various programs and data, and 5 is a memory (VRAM) for developing image data to be displayed, and 6 is a display device (CRT) by developing image data and the like. Can be displayed. Reference numerals 7 and 8 denote a keyboard and a mouse for performing various settings, respectively.

図2は、HDD4に記憶されるプログラムおよびデータを示す模式図である。図示のように、HDD4には、OS41、調査対象地域における交通状況(交通流)を測定する交通流測定プログラム42、地理情報システム(GIS)を実現するGISソフトウェア43がインストールされている。GISは、電子化された地理情報(地図データ)に基づき他の属性情報を組み合わせて多様な地理情報を提供しようとするものである。GISは具体的には、図示のように、GIS制御プログラム431の他、地理情報として、調査対象地域をカバーする地図データ432および属性データ433を含む。ここで、属性データ433には少なくとも、各道路の交通管制情報(例えば、制限速度、一方通行などの情報)が含まれている。このHDD4にはこの他、例えば人工衛星からのリモートセンシングによって得られた衛星画像データ等を記憶するための領域が確保されている。   FIG. 2 is a schematic diagram showing programs and data stored in the HDD 4. As shown in the figure, the HDD 4 is installed with an OS 41, a traffic flow measurement program 42 for measuring a traffic situation (traffic flow) in a survey target area, and a GIS software 43 for realizing a geographic information system (GIS). GIS intends to provide various geographic information by combining other attribute information based on digitized geographic information (map data). Specifically, as shown in the figure, the GIS includes map data 432 and attribute data 433 covering the survey target area as geographic information in addition to the GIS control program 431. Here, the attribute data 433 includes at least traffic control information of each road (for example, information such as speed limit and one-way traffic). In addition to this, the HDD 4 has an area for storing satellite image data obtained by remote sensing from an artificial satellite, for example.

次に、実施形態における交通状況観測システムの処理の概要を、図3のフローチャートを用いて説明する。図3のフローチャートに示す処理は、交通流測定プログラム42およびGIS43の連係によって実現されるもので、両プログラムがRAM3にロードされてCPU1によって実行される。   Next, the outline of the processing of the traffic condition observation system in the embodiment will be described with reference to the flowchart of FIG. The process shown in the flowchart of FIG. 3 is realized by the linkage of the traffic flow measurement program 42 and the GIS 43. Both programs are loaded into the RAM 3 and executed by the CPU 1.

まず、ステップS1で、例えば人工衛星により撮像された衛星画像データを入力する。好適な人工衛星としては例えばQuickBird衛星が挙げられる。QuickBird衛星などの地球観測衛星は、衛星軌道上を秒速約8kmの速度で移動しながら、ラインセンサにより地表面をリモートセンシングする。衛星に搭載されたラインセンサは、地表面から受信した電磁波をイメージプレーンに投影してデジタルデータとして保存する。そしてこのデジタルデータに対し、放射補正およびセンサ補正を行ったものがステップS1で入力される。QuickBird衛星の場合、リモートセンシングされた画像データの空間分解能は約61cm(直下点) から72cm(25度オフナディア角)であり、一度に約16.5km四方の地表面の画像を取込むことができる。   First, in step S1, satellite image data captured by, for example, an artificial satellite is input. An example of a suitable artificial satellite is the QuickBird satellite. Earth observation satellites such as the QuickBird satellite remotely sense the ground surface with a line sensor while moving at about 8km / s in the satellite orbit. A line sensor mounted on a satellite projects an electromagnetic wave received from the ground surface onto an image plane and stores it as digital data. The digital data subjected to radiation correction and sensor correction is input in step S1. In the case of the QuickBird satellite, the spatial resolution of remotely sensed image data is about 61 cm (directly below) to 72 cm (25 degrees off nadir angle), and it can capture an image of the ground surface of about 16.5 km square at a time. it can.

衛星画像を用いる利点はまさにこのスペックにある。衛星画像の分解能であれば車両の自動認識・追跡が可能になり、そして、一度に約16.5km四方の画像が得られることにより、広域ネットワークにおける同一時刻での車両挙動を解析することが可能になる。通常の航空写真では、1回に撮影される範囲は衛星画像に比べて極めて狭いため、例えば16.5km四方の地理領域を得るには、100枚程度の撮影を行い、それぞれを個別に補正して継ぎ合わせる必要がある。航空写真は一般には銀塩写真であるから、この継ぎ合わせ作業は大変な労力を伴うことになろう。その点、衛星画像はデジタルデータであるから、ソフトウェアでの処理に向いている。加えて、航空写真の場合には、上記のような大量の撮影に数時間を要するため、同時刻の交通状況を把握することはできないという問題もある。このように、衛星画像は交通状況の面的な調査に最適である。   The advantage of using satellite images is exactly this specification. If the resolution of the satellite image, the vehicle can be automatically recognized and tracked, and it is possible to analyze the vehicle behavior at the same time in a wide area network by obtaining an image of about 16.5 km square at a time. become. In normal aerial photography, the area captured at one time is extremely narrow compared to satellite images. For example, to obtain a geographical area of 16.5km square, about 100 photographs are taken and each is corrected individually. Need to be joined together. Since aerial photography is generally silver halide photography, this splicing work will be very labor intensive. On the other hand, since the satellite image is digital data, it is suitable for processing by software. In addition, in the case of aerial photographs, since a large amount of shooting as described above takes several hours, there is a problem that it is impossible to grasp the traffic situation at the same time. As described above, the satellite image is optimal for a traffic condition investigation.

衛星画像は上記のようにして撮像されるが、ステップS1では、調査対象地域を含む領域が所定の時間間隔(Δt)で撮像された複数(例えば2枚)の画像データを入力する。例えばQuickBird衛星は、衛星が1つの軌道を北から南に移動する間にセンサの向きを変更することで、同一の領域を含む2つの領域を2方向から撮像し、これをステレオペア画像として取得する機能があるので、この機能を利用して複数の画像データを取得することができる。あるいは、複数の衛星を連係して利用できる場合には、それら複数の衛星から所定時間間隔で撮像された画像を入力するようにしても良い。この場合には撮像の時間間隔を自由に設定することが可能になるので、最適な撮像時間間隔を設定できる点で有利であろう。   The satellite image is picked up as described above. In step S1, a plurality (for example, two pieces) of image data obtained by picking up an area including the investigation target area at a predetermined time interval (Δt) is input. For example, the QuickBird satellite captures two areas including the same area from two directions by changing the direction of the sensor while the satellite moves from one north to the south in one orbit, and acquires this as a stereo pair image. Therefore, a plurality of image data can be acquired using this function. Alternatively, when a plurality of satellites can be used in cooperation, images captured from the plurality of satellites at predetermined time intervals may be input. In this case, it is possible to freely set the imaging time interval, which is advantageous in that an optimal imaging time interval can be set.

また、このステップS1では、画像データのみならず、画像サポートデータ(ISD)も入力される。画像サポートデータには、少なくともその画像を撮像した衛星の位置および時刻の情報が含まれている。画像サポートデータとしては、例えば、姿勢データ(最初のデータ点の時刻、点数、点間隔と姿勢情報)、衛星軌道暦データ(最初のデータ点の時刻、点数、点間隔と衛星軌道情報)、幾何補正データ(衛星のセンサおよび光学系をモデル化した仮想カメラモデルの写真測量用のパラメータ:焦点距離、中心軸座標など)、画像メタデータ(製品のレベル、画像4隅の座標値(緯度、経度)、地図投影法の情報を含む画像製品などの主要な属性と、画像取得時刻)、RPC(Rapid Positioning Capability Extension Format)データ(空間の4隅の座標値と画像の4隅の座標値とを数学的に対応させるデータ)が挙げられる。   In step S1, not only image data but also image support data (ISD) is input. The image support data includes at least information on the position and time of the satellite that captured the image. Image support data includes, for example, attitude data (first data point time, points, point interval and attitude information), satellite orbital calendar data (first data point time, points, point interval and satellite orbit information), geometric Correction data (parameters for photogrammetry of a virtual camera model that models satellite sensors and optical systems: focal length, central axis coordinates, etc.), image metadata (product level, coordinate values of four corners of the image (latitude, longitude) ), Main attributes such as image products including map projection information, image acquisition time), RPC (Rapid Positioning Capability Extension Format) data (coordinate values of four corners of space and four corners of image) Mathematical data).

なお、本実施形態ではこのように人工衛星からの撮像データを用いることにするが、本発明は人工衛星を用いることに限定するものではない。面的な調査に必要な地理領域を一度に撮像が可能で、得られる画像が車両の自動認識・追跡が可能なだけの分解能を有するかぎり、その他の手段により得られる画像を用いてもよい。例えば、現在計画されている成層圏プラットフォームからの撮像データを用いるようにしてもよいであろう。   In this embodiment, imaging data from an artificial satellite is used in this way, but the present invention is not limited to using an artificial satellite. An image obtained by other means may be used as long as the geographical area necessary for the area survey can be captured at a time and the obtained image has a resolution that allows automatic recognition and tracking of the vehicle. For example, imaging data from a currently planned stratospheric platform may be used.

続くステップS2では、ステップS1で入力された各衛星画像データに対しオルソ変換を行う。オルソ変換とは、中心投影画像を鉛直平行投影画像に変換する処理である。本明細書では、オルソ変換後の衛星画像をオルソ画像といい、時刻t1に撮像された画像のオルソ画像をA0、時刻t1+Δtに撮像された画像のオルソ画像をB0とする。以下、これらオルソ画像A,Bに基づいて車両挙動の観測処理が行われる。 In subsequent step S2, an ortho-transform is performed on each satellite image data input in step S1. The ortho conversion is a process of converting the center projection image into a vertical parallel projection image. In this specification, the satellite image after the ortho-transform is called an ortho image, and the ortho image of the image taken at time t 1 is A 0 , and the ortho image of the image taken at time t 1 + Δt is B 0 . Hereinafter, vehicle behavior observation processing is performed based on these ortho images A and B.

図4に、オルソ画像A0,B0の一例を示す。図中、道路上の長方形が車両を示している。車両挙動の観測処理の精度は主に、道路上の車両をいかに精度良く抽出し追跡できるかにかかっている。その点で、道路以外の領域の構造物等が誤認識の原因になることも考えられる。そこで、本実施形態ではオプションとして、ステップS3で、オルソ画像A0,B0それぞれに地図データを重ね合わせることで道路以外の領域がマスクされた画像A1,B1を作成する。上記したように、画像サポートデータとして画像4隅の座標値も入力されているので、これを利用すれば地図データの重ね合わせは容易に行うことができる。オルソ画像A0,B0の道路以外の領域がマスクされたオルソ画像A1,B1の例を、図5に示す。 FIG. 4 shows an example of the ortho images A 0 and B 0 . In the figure, the rectangle on the road indicates the vehicle. The accuracy of vehicle behavior observation processing depends mainly on how accurately vehicles on the road can be extracted and tracked. In that respect, it is also conceivable that structures in areas other than the road cause misrecognition. Therefore, in this embodiment, as an option, images A 1 and B 1 in which areas other than the road are masked are created by superimposing map data on the ortho images A 0 and B 0 in step S3. As described above, since the coordinate values of the four corners of the image are also input as the image support data, the map data can be easily superimposed by using this. An example of the ortho images A 1 and B 1 in which areas other than the roads of the ortho images A 0 and B 0 are masked is shown in FIG.

次に、ステップS4で、Δtの間に移動した車両のみを抽出する。例えば、両画像からそれぞれ車両を抽出した後、その中からΔtの間停止していた車両を特定し、それらΔtの間停止していた車両を除外することで、Δtの間に移動した車両を抽出することができる。これにより、撮像時間間隔Δtの間停止していた車両を以下のステップで行われる車両追跡処理の対象から外すことができる。   Next, in step S4, only the vehicles that have moved during Δt are extracted. For example, after extracting vehicles from both images, a vehicle that has been stopped for Δt from among them is identified, and vehicles that have been stopped during Δt are excluded, so that Can be extracted. Thereby, the vehicle that has been stopped during the imaging time interval Δt can be excluded from the target of the vehicle tracking process performed in the following steps.

このような手法は公知のものであるが、もう少し具体例を示すとすると、例えばまず、図5に示したオルソ画像A1,B1それぞれから、公知のテンプレートマッチング手法などにより道路上の車両を抽出する。その後、抽出された車両の領域を1、その他の領域を0とする2値画像A’1,B’1を生成する。次に、生成された2値画像A’1とB’1とで同じピクセル位置同士の論理積をとり、その結果得られた2値画像に対し再びテンプレートマッチングにより車両を抽出する。ここで抽出された車両がΔtの間停止していた車両と認められる。 Such a technique is a known technique. If a more specific example is shown, for example, first, a vehicle on the road is detected from each of the ortho images A 1 and B 1 shown in FIG. 5 by a known template matching technique. Extract. Thereafter, binary images A ′ 1 and B ′ 1 are generated in which the extracted vehicle area is 1 and the other areas are 0. Next, the generated binary images A ′ 1 and B ′ 1 are subjected to a logical product of the same pixel positions, and the resulting binary image is extracted again by template matching. It is recognized that the vehicle extracted here has been stopped for Δt.

なお、ここで、道路上の停止位置などからその車両は信号待ちによる停止なのか別の理由による路上駐停車であるのかといった解析を行い、図6に示すような、Δtの間停止していた車両だけを抜き出した画像を別途生成してユーザに提供するようにしてもよい。このような画像は、例えば、信号機制御の検討や路上駐停車の実態把握などに有用であろう。   Here, from the stop position on the road or the like, the vehicle was stopped for Δt as shown in FIG. 6 by analyzing whether the vehicle was stopped due to a signal or whether it was parked on the road for another reason. An image obtained by extracting only the vehicle may be separately generated and provided to the user. Such an image may be useful for, for example, examination of traffic light control and grasping the actual situation of parking and stopping on the road.

そして、オルソ画像A1,B1それぞれから、Δtの間停止していた車両を消去したオルソ画像A2,B2を作成する。図7は、Δtの間停止していた車両が消去されたオルソ画像A2,B2の例を示す図である。 Then, from each of the ortho images A 1 and B 1 , ortho images A 2 and B 2 are created by deleting the vehicle that has been stopped for Δt. FIG. 7 is a diagram illustrating an example of the ortho images A 2 and B 2 from which the vehicle that has been stopped for Δt is deleted.

続くステップS5、S6では、Δtの間停止していた車両が消去されたオルソ画像A2,B2に基づいて、各車両の移動経路の探索処理を行う。 In subsequent steps S5 and S6, a search process for the travel route of each vehicle is performed based on the ortho images A 2 and B 2 from which the vehicles that have been stopped for Δt are deleted.

まず、ステップS5では、オルソ画像A2の各車両について、オルソ画像B2から同一車両の候補を探索する。 First, in step S5, candidates for the same vehicle are searched from the ortho image B 2 for each vehicle of the ortho image A 2 .

図8は、オルソ画像A2において着目する車両a10を、オルソ画像B2から探索する処理について概念的に示した図である。車両a10を見つけ出すためにオルソ画像B2全体を探索するのでは無駄が多い。本実施形態では、GISを利用して交通管制上あり得ない範囲を探索範囲から除外し、なおかつ、Δtの時間内に着目車両が移動可能な現実的な範囲に探索範囲を限定することにする。 Figure 8 is a vehicle a10 of interest in orthorectified image A 2, is a diagram conceptually showing the process of searching from the orthorectified image B 2. By exploring the entire orthoimage B 2 to find the vehicle a10 is wasteful. In the present embodiment, a range that is impossible in traffic control is excluded from the search range using GIS, and the search range is limited to a realistic range in which the vehicle of interest can move within the time Δt. .

例えば、図8のオルソ画像A2における着目車両a10は、図中の矢印が示すように、その経路パターンとして、次のノード(すなわち、交差点)で直進、左折、あるいは右折することが考えられる。ここでGISを参照すると、例えば、左折方向の道路が進入禁止であったとする。そうすると、着目車両a10が次の交差点で左折することは交通管制上あり得ないので、この左方向のリンク(左折した道路)は探索範囲から除外する。また、着目車両a10がΔtの間に移動可能な距離Lは次式で表される。 For example, interest vehicle a10 in orthoimage A 2 in FIG. 8, as indicated by the arrow in the figure, as the route pattern, the next node (i.e., intersection) straight, the left, or it is conceivable to turn right. Here, referring to GIS, for example, it is assumed that a road in a left turn direction is prohibited from entering. Then, since it is impossible in traffic control that the vehicle of interest a10 makes a left turn at the next intersection, this left-hand link (a road turned left) is excluded from the search range. Further, the distance L that the vehicle of interest a10 can move during Δt is expressed by the following equation.

L≦S・Δt             L ≦ S · Δt

ただし、Sはa10の走行可能速度の仮想値を表す。   However, S represents a virtual value of the travelable speed of a10.

これらに基づいて、図8のオルソ画像B2に示されるような探索範囲が設定され、この中から着目車両a10と同一車両の候補が探索される。この探索には公知の追跡アルゴリズムを用いることができる。ただし本実施形態では、この段階では候補を1つに特定せず、例えばマッチング距離に基づいて複数の候補を選定しておく。同図の例では、オルソ画像B2の車両b4、b10が候補として選定される。 Based on these, the search range as shown in orthoimage B 2 in FIG. 8 are set, the candidate of the same vehicle and focused vehicle a10 from this is searched. A known tracking algorithm can be used for this search. However, in this embodiment, one candidate is not specified at this stage, and a plurality of candidates are selected based on the matching distance, for example. In the illustrated example, the vehicle b4, b10 of the orthoimage B 2 is selected as a candidate.

ステップS5ではこのような処理をオルソ画像A2の各車両について行う。図9は、オルソ画像A2において着目する車両a9(a10の手前の車両)を、オルソ画像B2から探索する処理について概念的に示した図である。この場合も、上述の車両a10と同様に、左方向のリンク(左折した道路)が探索範囲から除外されるとともに、着目車両a10がΔtの間に移動可能な距離を推定することにより図9のオルソ画像B2に示されるような探索範囲が設定されることになる。ここでは図8のオルソ画像B2に示された探索範囲と異なっていることに注目されたい。図9の例では、オルソ画像B2の車両b2、b3、およびb5が候補として選定される。 In a step S5 performs such processing for each vehicle in the orthorectified image A 2. FIG. 9 is a diagram conceptually showing processing for searching the ortho image B 2 for the vehicle a 9 (vehicle in front of a 10) focused on in the ortho image A 2 . In this case as well as the vehicle a10 described above, the link in the left direction (left-turned road) is excluded from the search range, and the distance that the vehicle of interest a10 can move during Δt is estimated as shown in FIG. A search range as shown in the ortho image B 2 is set. Note that the search range is different from the search range shown in the ortho image B 2 in FIG. In the example of FIG. 9, the vehicle b2 of orthoimage B 2, b3, and b5 are selected as candidates.

このように、ステップS5では、オルソ画像A2の各車両について、道路のネットワーク構造および車両の移動可能距離を考慮してそれぞれの移動範囲を絞り込み、その範囲内で、同一車両の候補を探索する。 Thus, in step S5, for each vehicle in the ortho-image A 2, refine each moving range in consideration of the network structure and the moving distance of the vehicle of the road within the range to search for a candidate of the same vehicle .

次に、ステップS6で、道路ネットワーク全体で最も確からしい同一車両候補を特定する。ここでは例えば、ステップS5で用いた個々の車両毎のマッチング距離ではなく、道路ネットワーク全体のマッチング距離を最小化するように、各車両の候補を1つに絞り込む。いわゆるディレイド・ディジジョンである。図10は、このディレイド・ディジジョンによる結果の例を示す図で、オルソ画像A2の各車両を一列に並べ、オルソ画像B2における同一車両を対応づけて示した図である。ここで、車両a10のオルソ画像B2における同一車両の候補はb4かb10であったところ(図8を参照)、この例では、車両b4は車両a8と同一であると判断したほうが道路ネットワーク全体のマッチング距離が小さくなるため、それに伴い、車両a10のオルソ画像B2における同一車両はb10と特定される。すなわち、車両a10は右折したと判断される。 Next, in step S6, the most likely identical vehicle candidate in the entire road network is identified. Here, for example, the candidates for each vehicle are narrowed down to one so as to minimize the matching distance of the entire road network, not the matching distance for each individual vehicle used in step S5. This is a so-called delayed decision. FIG. 10 is a diagram showing an example of a result of this delayed decision, in which the vehicles in the ortho image A 2 are arranged in a line and the same vehicles in the ortho image B 2 are associated with each other. Here, (see Figure 8) the same vehicle candidate b4 or where a was the b10 in the orthoimage B 2 of the vehicle a10, in this example, the vehicle b4 is the entire road network better it is judged to be the same as the vehicle a8 since the matching distance is reduced, accordingly, the same vehicle in the orthoimage B 2 of the vehicle a10 is specified as b10. That is, it is determined that the vehicle a10 has made a right turn.

このようにして、ステップS6では、オルソ画像A2とB2との間ですべての同一車両が特定される。 In this way, in step S6, all the same vehicles are specified between the ortho images A 2 and B 2 .

そして、ステップS7では、観測結果として、例えば図11に示すような車両の移動ベクター図を作成し、CRT6に表示する。このような移動ベクター図によれば、所定時間(Δt)における車両挙動が一目瞭然となる。   In step S7, a moving vector diagram of the vehicle as shown in FIG. 11, for example, is created and displayed on the CRT 6 as the observation result. According to such a moving vector diagram, the vehicle behavior at a predetermined time (Δt) becomes clear at a glance.

また、速度V、具体的には例えば、単位時間当たりの車群の移動距離を示す空間平均速度、を計算し、表示するようにしてもよい。   Further, the speed V, specifically, for example, the spatial average speed indicating the movement distance of the vehicle group per unit time may be calculated and displayed.

また、ある瞬間に道路の単位区間上に存在する車両の台数を示す交通密度Kを求め、表示することも可能である。この交通密度は衛星画像から直接求めることができる。これは、交通密度をあくまで推定値としてしか求められない従来の定点観測とは対照的である。   It is also possible to obtain and display the traffic density K indicating the number of vehicles present on a unit section of the road at a certain moment. This traffic density can be determined directly from satellite images. This is in contrast to conventional fixed-point observation, where traffic density can only be obtained as an estimated value.

この他、さまざまな態様の観測結果を任意に作成・表示させることも可能である。例えば、交通量Qを計算し、表示させることができる。交通量は、道路の一断面を単位時間に通過する車両の台数を示す指標で、[台/h]、[台/日]などが単位として用いられる。   In addition, it is also possible to arbitrarily create and display observation results in various modes. For example, the traffic volume Q can be calculated and displayed. The traffic volume is an index indicating the number of vehicles passing through one section of the road per unit time, and [units / h], [units / day], etc. are used as units.

ステップS7では、これらの交通量Q、交通密度K、および速度Vの少なくともいずれかを表示させるようにしてもよいし、これらの情報の相関関係を示すK−V曲線、Q−V曲線、またはK−Q曲線を、他の定点観測データと組み合わせることによって推定し、作成、表示させるようにしてもよいであろう。   In step S7, at least one of the traffic volume Q, the traffic density K, and the speed V may be displayed, or a KV curve, a QV curve, or a correlation between these pieces of information may be displayed. The KQ curve may be estimated, created, and displayed by combining with other fixed point observation data.

また、これらの交通量Q、交通密度K、および速度Vのデータは、同時刻における広域的な整合性を持った交通流の特性を表すデータである。これらを初期値として与え、従来の時間的連続性を持った定点観測データとともに、ネットワーク型交通流シミュレータ、例えばAVENUEやSOUND等に投入すれば、従来手法よりも正確な交通状況の実態を模擬することが可能になる。   The traffic volume Q, traffic density K, and speed V data are data representing the characteristics of traffic flow having a wide area consistency at the same time. If these are given as initial values and input into a network-type traffic flow simulator such as AVENUE or SOUND together with conventional fixed-point observation data having temporal continuity, the actual situation of traffic conditions is simulated more accurately than conventional methods. It becomes possible.

その結果、幹線道路のみならず、地区内道路(コミュニティ道路)の交通管理や駐車管理を含めた、詳細な交通計画に寄与するであろう。   As a result, it will contribute to detailed traffic planning, including traffic management and parking management of not only trunk roads but also district roads (community roads).

このように、コンピュータシステムを利用して、所定地域における交通状況を、容易に定量的かつ面的に把握できる。   In this way, the traffic situation in a predetermined area can be easily grasped quantitatively and in a plane using the computer system.

以上、本発明の実施形態を詳しく説明したが、上述の通り、本発明は一般的なコンピュータシステムで実現できるものであった。したがって、本発明の機能処理をコンピュータで実現するためにそのコンピュータシステムにインストールされるプログラム自体、またはそのプログラムを格納した記録媒体も本発明の範疇にある。   The embodiment of the present invention has been described in detail above. However, as described above, the present invention can be realized by a general computer system. Therefore, the program itself installed in the computer system in order to implement the functional processing of the present invention on a computer, or a recording medium storing the program is also within the scope of the present invention.

プログラムを供給するための記録媒体としては、ハードディスク、光磁気ディスク、メモリカードなどがあるが、その他に、プログラムは、インターネットなどのネットワークを介して供給を受けることも可能である。   The recording medium for supplying the program includes a hard disk, a magneto-optical disk, a memory card, and the like. In addition, the program can be supplied via a network such as the Internet.

実施形態における交通状況観測システムの構成を示す図である。It is a figure which shows the structure of the traffic condition observation system in embodiment. 実施形態における交通状況観測システムのハードディスク装置に記憶されるプログラムおよびデータを示す模式図である。It is a schematic diagram which shows the program and data which are memorize | stored in the hard-disk apparatus of the traffic condition observation system in embodiment. 実施形態における交通状況観測システムの処理の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the process of the traffic condition observation system in embodiment. 入力された衛星画像に対しオルソ変換を行って得たオルソ画像の一例を示す図である。It is a figure which shows an example of the ortho image obtained by performing ortho transformation with respect to the input satellite image. 道路以外の領域がマスクされたオルソ画像の一例を示す図である。It is a figure which shows an example of the ortho image by which areas other than the road were masked. Δtの間停止していた車両だけを抜き出した画像の一例を示す図である。It is a figure which shows an example of the image which extracted only the vehicle stopped during (DELTA) t. Δtの間停止していた車両が消去されたオルソ画像の一例を示す図である。It is a figure which shows an example of the ortho image from which the vehicle stopped during (DELTA) t was deleted. 2つのオルソ画像間における同一車両の探索処理を説明する図である。It is a figure explaining the search process of the same vehicle between two ortho images. 2つのオルソ画像間における同一車両の探索処理を説明する図である。It is a figure explaining the search process of the same vehicle between two ortho images. ディレイド・ディジジョンによる同一車両の探索処理を説明する図である。It is a figure explaining the search process of the same vehicle by a delayed decision. 車両の移動ベクター図の一例を示す図である。It is a figure which shows an example of the movement vector figure of a vehicle.

Claims (11)

所定地域内の交通状況を定量的に観測するための交通状況観測システムであって、
第1の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第1の画像と、前記第1の時刻から所定時間後の第2の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第2の画像とを記憶する第1の記憶手段と、
少なくとも前記所定地域内の道路の交通管制情報を含む地理情報を記憶する第2の記憶手段と、
前記第1の記憶手段に記憶された前記第1および第2の画像それぞれに基づいて、車両の領域を抽出する抽出手段と、
前記抽出手段による抽出結果に基づいて、前記第1の画像における各車両を、前記第2の画像から探索を行う探索手段と、
前記探索手段による探索結果に基づいて、交通状況に係る所定の観測結果を提示する提示手段と、
を有することを特徴とする交通状況観測システム。
A traffic condition observation system for quantitatively observing traffic conditions in a predetermined area,
A first image obtained by imaging a region including the predetermined region at a first time by remote sensing, and a region including the predetermined region by a remote sensing at a second time after a predetermined time from the first time. First storage means for storing the second image that has been recorded;
Second storage means for storing geographical information including at least traffic control information of roads in the predetermined area;
Extraction means for extracting a region of the vehicle based on each of the first and second images stored in the first storage means;
Search means for searching each vehicle in the first image from the second image based on the extraction result by the extraction means;
Presenting means for presenting a predetermined observation result relating to traffic conditions based on a search result by the search means;
A traffic condition observation system characterized by comprising:
前記第1および第2の画像は、衛星からのリモートセンシングにより撮像されたものであることを特徴とする請求項1に記載の交通状況観測システム。   The traffic condition observation system according to claim 1, wherein the first and second images are captured by remote sensing from a satellite. 前記探索手段は、前記所定時間の間に停止していた車両を探索の対象から除外する手段を含むことを特徴とする請求項1または2に記載の交通状況観測システム。   The traffic condition observation system according to claim 1 or 2, wherein the search means includes means for excluding a vehicle that has been stopped during the predetermined time from a search target. 前記探索手段は、前記第1の画像における各車両について、道路のネットワーク構造および車両が前記所定時間内に移動可能な距離に基づいて前記第2の画像における探索範囲を限定し、その探索範囲内から同一車両の候補を探索することを特徴とする請求項1から3までのいずれかに記載の交通状況観測システム。   The search means limits a search range in the second image for each vehicle in the first image based on a road network structure and a distance that the vehicle can move within the predetermined time. The traffic condition observation system according to any one of claims 1 to 3, wherein candidates for the same vehicle are searched from. 前記探索手段は、前記第1の画像における各車両について、前記第2の画像における同一車両の候補を複数個求め、その後に、道路ネットワーク全体で最も確からしい同一車両の候補を特定することを特徴とする請求項1から4までのいずれかに記載の交通状況観測システム。   The search means obtains a plurality of candidates for the same vehicle in the second image for each vehicle in the first image, and then specifies the most likely candidate for the same vehicle in the entire road network. The traffic condition observation system according to any one of claims 1 to 4. 前記地理情報は、前記所定地域を含む地図データを含み、
前記第1の記憶手段に記憶された前記第1および第2の画像それぞれに前記地図データを重ね合わせることで、道路以外の領域がマスクされた第1および第2の画像を作成する手段を更に有し、
前記抽出手段は、前記道路以外の領域がマスクされた第1および第2の画像それぞれに基づいて、車両の領域を抽出する
ことを特徴とする請求項1に記載の交通状況観測システム。
The geographical information includes map data including the predetermined area,
Means for creating first and second images in which areas other than roads are masked by superimposing the map data on each of the first and second images stored in the first storage means; Have
The traffic condition observation system according to claim 1, wherein the extraction unit extracts a region of the vehicle based on each of the first and second images in which regions other than the road are masked.
前記提示手段は、車両の移動ベクター図を前記所定の観測結果として提示することを特徴とする請求項1に記載の交通状況観測システム。   The traffic condition observation system according to claim 1, wherein the presenting means presents a moving vector diagram of a vehicle as the predetermined observation result. 前記提示手段は、交通量、交通密度、および車両の速度の少なくともいずれかの情報を前記所定の観測結果として提示することを特徴とする請求項1に記載の交通状況観測システム。   The traffic condition observation system according to claim 1, wherein the presenting unit presents at least one of traffic volume, traffic density, and vehicle speed as the predetermined observation result. 所定地域内の交通状況を定量的に観測するための、コンピュータシステムを用いたデータ処理方法であって、
第1の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第1の画像と、前記第1の時刻から所定時間後の第2の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第2の画像とをメモリに記憶する第1の記憶ステップと、
少なくとも前記所定地域内の道路の交通管制情報を含む地理情報をメモリに記憶する第2の記憶ステップと、
前記メモリに記憶された前記第1および第2の画像それぞれに基づいて、車両の領域を抽出する抽出ステップと、
前記抽出ステップによる抽出結果に基づいて、前記第1の画像における各車両を、前記第2の画像から探索を行う探索ステップと、
前記探索ステップによる探索結果に基づいて、交通状況に係る所定の観測結果を提示する提示ステップと、
を有することを特徴とするデータ処理方法。
A data processing method using a computer system for quantitatively observing traffic conditions in a predetermined area,
A first image obtained by imaging a region including the predetermined region at a first time by remote sensing, and a region including the predetermined region by a remote sensing at a second time after a predetermined time from the first time. A first storage step for storing the second image thus obtained in a memory;
A second storage step of storing, in a memory, geographical information including at least traffic control information of a road in the predetermined area;
An extraction step of extracting a region of the vehicle based on each of the first and second images stored in the memory;
A search step of searching each vehicle in the first image from the second image based on the extraction result of the extraction step;
Based on the search result of the search step, a presentation step for presenting a predetermined observation result relating to traffic conditions;
A data processing method characterized by comprising:
所定地域内の交通状況を定量的に観測するために、コンピュータに、
第1の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第1の画像と、前記第1の時刻から所定時間後の第2の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第2の画像とをメモリに記憶する第1の記憶ステップ、
少なくとも前記所定地域内の道路の交通管制情報を含む地理情報をメモリに記憶する第2の記憶ステップ、
前記メモリに記憶された前記第1および第2の画像それぞれに基づいて、車両の領域を抽出する抽出ステップ、
前記抽出ステップによる抽出結果に基づいて、前記第1の画像における各車両を、前記第2の画像から探索を行う探索ステップ、
前記探索ステップによる探索結果に基づいて、交通状況に係る所定の観測結果を提示する提示ステップ、
を実行させるためのプログラム。
In order to quantitatively observe traffic conditions within a given area,
A first image obtained by imaging a region including the predetermined region at a first time by remote sensing, and a region including the predetermined region by a remote sensing at a second time after a predetermined time from the first time. A first storage step for storing the second image thus obtained in a memory;
A second storage step of storing, in a memory, geographical information including at least traffic control information of roads in the predetermined area;
An extraction step of extracting a region of the vehicle based on each of the first and second images stored in the memory;
A search step of searching each vehicle in the first image from the second image based on the extraction result of the extraction step;
A presenting step of presenting a predetermined observation result relating to traffic conditions based on the search result of the search step;
A program for running
所定地域内の交通状況を定量的に観測するために、コンピュータに、
第1の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第1の画像と、前記第1の時刻から所定時間後の第2の時刻に前記所定地域を含む領域をリモートセンシングにより撮像された第2の画像とをメモリに記憶する第1の記憶ステップ、
少なくとも前記所定地域内の道路の交通管制情報を含む地理情報をメモリに記憶する第2の記憶ステップ、
前記メモリに記憶された前記第1および第2の画像それぞれに基づいて、車両の領域を抽出する抽出ステップ、
前記抽出ステップによる抽出結果に基づいて、前記第1の画像における各車両を、前記第2の画像から探索を行う探索ステップ、
前記探索ステップによる探索結果に基づいて、交通状況に係る所定の観測結果を提示する提示ステップ、
を実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
In order to quantitatively observe traffic conditions within a given area,
A first image obtained by imaging a region including the predetermined region at a first time by remote sensing, and a region including the predetermined region by a remote sensing at a second time after a predetermined time from the first time. A first storage step for storing the second image thus obtained in a memory;
A second storage step of storing, in a memory, geographical information including at least traffic control information of roads in the predetermined area;
An extraction step of extracting a region of the vehicle based on each of the first and second images stored in the memory;
A search step of searching each vehicle in the first image from the second image based on the extraction result of the extraction step;
A presenting step of presenting a predetermined observation result relating to traffic conditions based on the search result of the search step;
A computer-readable storage medium storing a program for executing the program.
JP2003286893A 2003-08-05 2003-08-05 Traffic condition observation system Pending JP2005056186A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003286893A JP2005056186A (en) 2003-08-05 2003-08-05 Traffic condition observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003286893A JP2005056186A (en) 2003-08-05 2003-08-05 Traffic condition observation system

Publications (1)

Publication Number Publication Date
JP2005056186A true JP2005056186A (en) 2005-03-03

Family

ID=34366056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003286893A Pending JP2005056186A (en) 2003-08-05 2003-08-05 Traffic condition observation system

Country Status (1)

Country Link
JP (1) JP2005056186A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128732A (en) * 2008-11-27 2010-06-10 Japan Traffic Management Technology Association Apparatus for observing density in the number of vehicles and program for the same
JP2011070304A (en) * 2009-09-24 2011-04-07 Mitsubishi Electric Corp Vehicle position detection system
JP2016170722A (en) * 2015-03-13 2016-09-23 株式会社Quick Evaluation system, evaluation method and evaluation program
WO2018083688A1 (en) * 2016-11-03 2018-05-11 El Eglick Dan Displaying of moving objects in navigation system
JP2020018004A (en) * 2019-10-17 2020-01-30 ソニー株式会社 Image processing apparatus, image processing method, and image processing system
JP2022501749A (en) * 2019-05-07 2022-01-06 コンテック カンパニー リミテッドContec Co., Ltd. Equipment and methods for providing utilization services using satellite images
CN114399900A (en) * 2021-12-31 2022-04-26 黑龙江工程学院 Smart city traffic management system and method based on remote sensing technology
JP7495384B2 (en) 2020-10-30 2024-06-04 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー Method and system for improving traffic estimation using top-view sensor data - Patents.com

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128732A (en) * 2008-11-27 2010-06-10 Japan Traffic Management Technology Association Apparatus for observing density in the number of vehicles and program for the same
JP2011070304A (en) * 2009-09-24 2011-04-07 Mitsubishi Electric Corp Vehicle position detection system
JP2016170722A (en) * 2015-03-13 2016-09-23 株式会社Quick Evaluation system, evaluation method and evaluation program
WO2018083688A1 (en) * 2016-11-03 2018-05-11 El Eglick Dan Displaying of moving objects in navigation system
US10609343B2 (en) 2016-11-03 2020-03-31 Dan El Eglick Area display system
JP2022501749A (en) * 2019-05-07 2022-01-06 コンテック カンパニー リミテッドContec Co., Ltd. Equipment and methods for providing utilization services using satellite images
JP2020018004A (en) * 2019-10-17 2020-01-30 ソニー株式会社 Image processing apparatus, image processing method, and image processing system
JP6996538B2 (en) 2019-10-17 2022-01-17 ソニーグループ株式会社 Image processing equipment, image processing methods, and image processing systems
JP7495384B2 (en) 2020-10-30 2024-06-04 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー Method and system for improving traffic estimation using top-view sensor data - Patents.com
CN114399900A (en) * 2021-12-31 2022-04-26 黑龙江工程学院 Smart city traffic management system and method based on remote sensing technology

Similar Documents

Publication Publication Date Title
US20200401617A1 (en) Visual positioning system
CN103377476B (en) Use the image registration of the multimodal data of three-dimensional geographical arc
US8325979B2 (en) Method and apparatus for detecting objects from terrestrial based mobile mapping data
CN107690840B (en) Unmanned plane vision auxiliary navigation method and system
CN108230379A (en) For merging the method and apparatus of point cloud data
CN110617821B (en) Positioning method, positioning device and storage medium
KR20180131932A (en) River topography information generation method using drone and geospatial information
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
JP6950832B2 (en) Position coordinate estimation device, position coordinate estimation method and program
KR102200299B1 (en) A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof
JP2010511212A (en) Method and apparatus for identifying and locating planar objects in an image
JP2017519973A (en) Method and system for determining position relative to a digital map
JP2010541016A (en) How to capture linear features along a reference line across a surface for use in a map database
JP5333860B2 (en) Vehicle position detection system using landscape image recognition
CN113916243A (en) Vehicle positioning method, device, equipment and storage medium for target scene area
JP2008065087A (en) Apparatus for creating stationary object map
KR100948099B1 (en) System and method for calculating vegetation area using airborne laser surveying
CN109596121A (en) A kind of motor-driven station Automatic Targets and space-location method
CN109871739A (en) Motor-driven station Automatic Targets and space-location method based on YOLO-SIOCTL
JP5396585B2 (en) Feature identification method
JP2964402B1 (en) Method and apparatus for creating a three-dimensional map database
US9372081B2 (en) Method and system for geo-referencing at least one sensor image
Maurice et al. A photogrammetric approach for map updating using UAV in Rwanda
CN113284239B (en) Method and device for manufacturing electronic sand table of smart city
JP2005056186A (en) Traffic condition observation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060515

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080804