KR101371065B1 - A System and Method for phtographing the car - Google Patents
A System and Method for phtographing the car Download PDFInfo
- Publication number
- KR101371065B1 KR101371065B1 KR1020070120312A KR20070120312A KR101371065B1 KR 101371065 B1 KR101371065 B1 KR 101371065B1 KR 1020070120312 A KR1020070120312 A KR 1020070120312A KR 20070120312 A KR20070120312 A KR 20070120312A KR 101371065 B1 KR101371065 B1 KR 101371065B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- camera
- image
- information
- image information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/02—Detecting movement of traffic to be counted or controlled using treadles built into the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 차량 촬영 시스템에 관한 것으로, 그 구성은, 정방향과 역방향으로 이동할 수 있는 하나 이상의 차선을 가지는 도로를 따라 이동하는 차량을 촬영할 수 있는 카메라; 상기 카메라가 촬영하는 영역에 진입하는 차량을 감지하여 상기 카메라의 작동을 제어하는 차량감지부; 상기 카메라가 촬영한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판영상정보를 추출하는 영상처리부; 그리고, 상기 영상처리부의 결과를 이용하여 상기 차량의 역주행여부를 판단하고, 상기 영상처리부에서 추출된 정보와, 역주행여부의 판단정보를 데이터화하는 중앙처리부;를 포함하여 구성될 수 있다. The present invention relates to a vehicle photographing system, the configuration comprising: a camera capable of photographing a vehicle moving along a road having one or more lanes that can move forward and backward; A vehicle detecting unit which detects a vehicle entering an area photographed by the camera and controls operation of the camera; An image processor extracting direction mark image information indicating a direction of the vehicle from the image photographed by the camera and license plate image information of the vehicle; And a central processor configured to determine whether the vehicle is reversed by using the result of the image processor, and to convert the information extracted by the image processor and the determination information of the reversed run.
카메라, 차량감지부, 영상처리부 Camera, Vehicle Detection Unit, Image Processing Unit
Description
본 발명은 차량 촬영 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 주행하는 차량의 진행방향을 함께 판단할 수 있는 차량 촬영 시스템 및 그 방법에 관한 것이다. The present invention relates to a vehicle photographing system and a method thereof, and more particularly, to a vehicle photographing system and method that can determine the traveling direction of a vehicle driving.
최근에는 카메라를 이용하여 범법, 위법 차량을 단속 적발하는 시스템은 흔히 볼 수 있다. 특히 차량번호판독장치를 이용한 방법시스템은 농산물 절도와 외곽도로의 뺑소니 사건의 해결에 큰 도움이 되고 있으며, 널리 확대되고 있다. In recent years, a system using a camera to detect and detect illegal and illegal vehicles is common. In particular, the method system using a license plate reading device is a great help in solving the hit cases of agricultural products theft and outlying roads, and has been widely expanded.
기존에는 통행하는 차량의 정면과 적재함을 촬영하여, 특히 차량의 전면영상에서 차량의 번호판을 추출하여, 데이터베이스화하여 검색을 용이하게 하였다. Conventionally, by photographing the front of the vehicle and the loading box of the passing vehicle, in particular, the license plate of the vehicle is extracted from the front image of the vehicle and made into a database to facilitate the search.
그리고, 상술한 과정이 정상적으로 진행되기 위해서는 차량이 정주행해야 되며, 차량이 역주행하는 것을 방지하게 하기 위하여 중앙선에 차량규제봉을 설치하지만, 이는 도로의 폭이 협소하는 등의 이유로 설치할 수 없는 지점에서는 무용지물이 된다. In addition, in order for the above process to proceed normally, the vehicle must be driven in a steady manner, and a vehicle control rod is installed at the center line to prevent the vehicle from traveling in reverse, but this is useless at a point that cannot be installed due to the narrow width of the road. do.
특히, 상기 차량이 역주행이 빈번하게 발생되는 지역은 차량의 통행이 적은 외곽도로 등으로 반대차선의 차량이 없음을 확인하기가 용이하며, 차량의 통행이 적어 역주행을 시도하여 카메라의 촬영을 회피하는 것이 가능하게 되는 문제점이 있었다. In particular, the area where the vehicle is frequently reversed is easy to confirm that there is no vehicle in the opposite lane, such as an outer road where the vehicle is less likely to pass. There was a problem that became possible.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 차량이 도로의 중앙선을 넘어 역주행하는 차량을 촬영할 수 있는 차량 촬영 시스템 및 그 방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a vehicle photographing system and a method for photographing a vehicle in which a vehicle reverses over a center line of a road.
상기한 바와 같은 문제점을 해결하기 위한 본 발명인 차량 촬영 시스템은, 정방향과 역방향으로 이동할 수 있는 하나 이상의 차선을 가지는 도로를 따라 이동하는 차량을 촬영할 수 있는 카메라과, 상기 카메라가 촬영하는 영역에 진입하는 차량을 감지하여 상기 카메라의 작동을 제어하는 차량감지부; 상기 카메라가 촬영한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판영상정보를 추출하는 영상처리부; 그리고, 상기 영상처리부의 결과를 이용하여 상기 차량의 역주행여부를 판단하고, 상기 영상처리부에서 추출된 정보와, 역주행여부의 판단정보를 데이터화하는 중앙처리부;를 포함하여 구성될 수 있다. The vehicle shooting system of the present invention for solving the above problems, a camera that can take a picture of a vehicle moving along a road having one or more lanes that can move in the forward and reverse directions, and the vehicle entering the area to be photographed A vehicle detecting unit which detects and controls the operation of the camera; An image processor extracting direction mark image information indicating a direction of the vehicle from the image photographed by the camera and license plate image information of the vehicle; And a central processor configured to determine whether the vehicle is reversed by using the result of the image processor, and to convert the information extracted by the image processor and the determination information of the reversed run.
상기 카메라는 상기 도로의 정방향 및 역방향 중 어느 방향으로 이동하더라도 촬영할 수 있는 광각카메라를 포함하여 구성되는 것을 특징으로 할 수 있다. The camera may be configured to include a wide-angle camera that can shoot in any direction of the forward and reverse direction of the road.
상기 차량감지부는, 상기 차량이 상기 카메라의 촬영영역으로 진입하는 것을 감지하기 위한 감지부; 그리고, 상기 감지된 신호로 상기 카메라를 제어하기 위한 제어부;를 포함하여 구성되는 것을 특징으로 할 수 있다. The vehicle detection unit may include a detection unit for detecting that the vehicle enters a photographing area of the camera; The controller may be configured to control the camera with the detected signal.
상기 감지부는, 루프센서, 레이져센서, 초음파센서, 모션트래킹(motion tracking) 및 모션 디텍션(motion detection) 중 어느 하나로 구성되는 것을 특징으로 할 수 있다. The detector may be configured as any one of a loop sensor, a laser sensor, an ultrasonic sensor, motion tracking, and motion detection.
상기 방향표식영상정보는, 상기 카메라가 촬영되는 영역에 상기 진행방향을 표시하는 노면표식으로 구성되는 것을 특징으로 할 수 있다. The direction marker image information may be configured as a road marking that displays the traveling direction in a region where the camera is photographed.
상기 방향표식영상정보는, 상기 카메라가 촬영한 영상에서 차량의 전면을 나타내는 특징 중 하나인 것을 특징으로 할 수 있다. The direction mark image information may be one of features representing the front of the vehicle in the image photographed by the camera.
그리고, 본 발명의 다른 실시예인 차량 촬영 방법은, 도로의 차선을 따라 이동하는 차량을 차량감지부에서 감지하는 제 1단계; 상기 차량감지부에서 상기 차량이 감지되면 카메라가 촬영하는 제 2단계; 상기 카메라가 촬영한 영상이 영상처리부로 전달되어, 상기 영상처리부에서 차량의 방향을 나타내는 방향표식영상정보와, 차량의 번호판에 관한 영상정보를 추출하는 제 3단계; 중앙처리부에서 상기 제 3단계에서 추출된 정보와, 상기 제 2단계에서 촬영된 영상을 전달받아 차량의 이동이 정방향인지 역방향인지 판단하는 제 4단계; 그리고, 상기 제 4단계에서 판단된 차량의 이동방향정보와, 상기 차량의 번호에 관한 정보 및 상기 차량의 영상을 함께 하나의 데이터로 만드는 제 5단계;를 포함하여 구성될 수 있다. In addition, the vehicle photographing method according to another embodiment of the present invention includes a first step of detecting a vehicle moving along a lane of a road in a vehicle detecting unit; A second step of photographing by the camera when the vehicle is detected by the vehicle detecting unit; A third step of transmitting the image photographed by the camera to an image processor to extract direction mark image information indicating a direction of the vehicle and image information regarding a license plate of the vehicle; A fourth step of receiving, by the central processing unit, the information extracted in the third step and the image photographed in the second step to determine whether the movement of the vehicle is forward or reverse; And a fifth step of combining the moving direction information of the vehicle determined in the fourth step, the information about the number of the vehicle, and the image of the vehicle into one data.
상기 방향표식영상정보는, 도로의 차선 중 어느 일측에 마련되어 있는 노면표식으로 구성되는 것을 특징으로 할 수 있다. The direction marker image information may be configured as a road marking provided on any one side of a lane of a road.
상기 방향표식영상정보는, 상기 차량의 전면을 나타내는 특징 중 하나인 것을 특징으로 할 수 있다. The direction mark image information may be one of features representing a front surface of the vehicle.
상기 제 4단계에서, 상기 노면표식이 있으면, 정방향으로 상기 차량의 이동 이 정방향이라 판단하고, 상기 노면표식이 없으면, 상기 차량의 이동이 역방향으로 판단하는 것을 특징으로 할 수 있다. In the fourth step, if the road marking is present, it may be determined that the movement of the vehicle in the forward direction is a forward direction, and if there is no road marking, the movement of the vehicle is determined in the reverse direction.
상기 제 4단계에서, 상기 차량을 촬영한 영상에서 중앙선을 중심으로 화면을 분할하고, 분할된 화면 중 상기 방향표식영상정보가 추출된 차량이 왼쪽에 있으면, 상기 차량은 정방향으로 이동하는 것으로 판단하고, 오른쪽에 있으면 상기 차량은 역방향으로 이동하는 것으로 판단하는 것을 특징으로 할 수 있다. In the fourth step, the screen is divided around the center line in the image of the vehicle, and if the vehicle from which the direction marker image information is extracted is divided on the left side, the vehicle is determined to move in the forward direction. If it is on the right side, the vehicle may be determined to move in the reverse direction.
상기 차량감지부는, 상기 카메라가 촬영하는 영상 속에 상기 차선의 진행방향과 직교하는 가상의 선을 수개 형성하고, 상기 가상의 선에 상기 차량이 감지될 때마다 카메라의 촬영이 이루어지도록 하는 것을 특징으로 할 수 있다. The vehicle detecting unit may form a plurality of virtual lines orthogonal to the traveling direction of the lane in an image captured by the camera, and photograph the camera every time the vehicle is detected on the virtual line. can do.
제 4단계에서, 상기 차량감지부에서 가상의 수개의 선에 감지될 때마다 시간순서대로 촬영된 영상에서 중앙선을 중심으로 화면을 분할하고, 분할된 화면 중 상기 차량이 왼쪽에 있으면 상기 차량은 정방향으로 이동하는 것으로 판단하고, 오른쪽에 있으면 상기 차량은 역방향으로 이동하는 것으로 판단하는 것을 특징으로 할 수 있다. In the fourth step, whenever the vehicle detection unit detects a plurality of virtual lines, the screen is divided around the center line in the image taken in time order, and if the vehicle is on the left side of the divided screens, the vehicle is in the forward direction. If it is determined that the movement to the right side, the vehicle may be characterized in that it is determined to move in the reverse direction.
본 발명에 의한 차량 촬영 시스템 및 그 방법에서는 다음과 같은 효과가 있다. The vehicle imaging system and method thereof according to the present invention have the following effects.
차선의 중앙에 광각카메라를 사용하여, 차선을 따라 정주행 및 역주행하는 차량을 모두 촬영할 수 있도록 하여, 차량의 통행이 적은 외곽도로 같은 곳에서 역주행하는 차량을 모두 촬영할 수 있게 되어 교통사고 및 범인도주 등을 미연에 방 지할 수 있는 효과가 있다. By using a wide-angle camera in the center of the lane, it is possible to take pictures of all vehicles traveling forward and backward along the lane, so that all vehicles traveling backwards in the same place on the outskirts road with less traffic can be taken. It is effective to prevent the back in advance.
이하 본 발명에 의한 차량 촬영 시스템 및 방법의 바람직한 실시예가 첨부된 도면을 참고하여 상세하게 설명한다. Hereinafter, exemplary embodiments of a vehicle photographing system and method according to the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1 및 2에 도시된 바와 같이. 차량 촬영 시스템은, 정방향과 역방향으로 이동할 수 있는 하나 이상의 차선을 가지는 도로를 따라 이동하는 차량을 촬영할 수 있는 카메라(10)와, 상기 카메라(10)가 촬영하는 영역에 진입하는 차량을 감지하여 상기 카메라(10)의 작동을 제어하는 차량감지부(20)와, 상기 카메라(10)가 촬영한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판영상정보를 추출하는 영상처리부(30) 그리고, 상기 영상처리부(30)의 결과를 이용하여 역주행여부를 판단하고, 상기 영상처리부(30)에서 추출된 정보와, 역주행여부의 판단정보를 데이터화하는 중앙처리부(40)를 포함하여 구성될 수 있다. First, as shown in FIGS. 1 and 2. The vehicle photographing system includes a
먼저, 상기 도로는 여러가지로 구성될 수 있으나, 본 실시예에서는 간단하게 편도 1차선의 도로라 설정하고 이하 본 발명인 차량 촬영 시스템에 대하여 설명하도록 한다. First, the road may be configured in various ways, but in this embodiment, the road is simply set as a one-way road and the vehicle imaging system of the present invention will be described below.
상기 도로에는 일방향으로 한 대씩의 차량이 이동할 수 있도록 구성되며, 도시된 바와 같이 중앙선(M)을 중심으로 양방향으로 차량이 이동할 수 있도록 구성된다. The road is configured so that one vehicle can move in one direction, and as shown, the vehicle can move in both directions about the center line M. As shown in FIG.
그리고, 상기 도로의 상방에는 카메라(10)가 마련된다. 상기 카메라(10)는 상기 도로를 따라 이동하는 차량을 촬영하기 위한 것으로, 예를 들면, 상기 카메 라(10)는 차량의 번호판 및 차량의 적재함 등 차량에 관계된 영상을 촬영할 수 있도록 할 수 있다. The
상기 카메라(10)는 어떤 종류의 카메라로 구성되더라도 상관없으나, 보다 바람직하게는 광각카메라로 구성될 수 있다. 상기 광각카메라는 도 1에 도시된 바와 같이, 상기 카메라(10)의 촬영범위가 상기 도로의 양 차선을 모두 포함하도록 할 수 있게 한다. The
또한, 상기 카메라(10)에는 야간의 촬영을 위한 조명장치(미도시)가 더 마련될 수 있다. 물론, 상기 카메라(10)는 야간의 촬영시 다른 조명장치를 필요로 하지 않는 적외선 카메라로 구성될 수도 있다. In addition, the
그리고, 상기 카메라(10)는 2대가 마련될 수 있다. 즉, 도 1에 도시된 바와 같이, 상기 카메라(10)는 상기 도로의 양방향을 모두 촬영할 수 있도록 하기 위한 것이다. In addition, two
한편, 본 발명인 차량 촬영 시스템에는, 상기 카메라(10)가 촬영하는 영역으로 진입하는 차량을 감지하여 상기 카메라(10)를 작동하도록 하는 차량감지부(20)가 마련된다. 상기 차량감지부(20)는, 차량이 상기 카메라(10)의 촬영영역으로 진입하는 것을 감지하기 위한 감지부(22)와, 상기 감지된 신호로 상기 카메라(10)를 제어하기 위한 제어부(24)로 구분할 수 있다. On the other hand, the vehicle photographing system of the present invention, the
상기 감지부(22)는, 상기 도로를 따라 이동하는 차량을 감지할 수 있는 수단이라면 어느 것이라도 적용가능하다. 예를 들면, 루프코일센서, 레이저센서, 초음파센서 등 중 어느 하나가 적용될 수 있다. The
상기 루프코일센서, 레이저센서 및 초음파센서는 상기 차량이 상기 카메라(10)의 촬영영역에 진입하게 되면, 상기 루프코일센서, 레이저센서 및 초음파센서가 상기 차량을 감지하여 감지신호를 상기 제어부로 전달하여, 상기 카메라(10)를 작동하도록 한다. The loop coil sensor, the laser sensor, and the ultrasonic sensor, when the vehicle enters the photographing area of the
보다 구체적으로 설명하면, 상기 차량이 상기 루프코일 내부로 진입하게 되거나, 상기 레이저 또는 상기 초음파가 방출되는 영역으로 상기 차량이 진입하게 되는 경우, 상기 제어부(24)는 상기 카메라(10)를 작동하도록 한다. In more detail, when the vehicle enters the roof coil or the vehicle enters an area where the laser or the ultrasonic wave is emitted, the
또한, 상기 차량감지부(20)는 상기 차량을 물리적인 센서가 아닌 영상처리기법을 이용한 차량의 움직임을 감지하는 모션트래킹(motion tracking) 또는 모션디텍션(motion detection) 등의 방법이 적용될 수 있다. 상기 모션트래킹 또는 모션디텍션은 상기 카메라(10)가 촬영하는 영역을 통과하는 차량의 움직임을 감지하여, 상기 카메라(10)가 복수회 촬영하도록 하는 것이다. In addition, the
그리고, 본 발명인 차량 촬영 시스템에는 상기 카메라(10)가 촬영한 영상에서 사용자가 필요로 하는 정보를 추출하는 영상처리부(30)가 마련된다. 상기 영상처리부(30)는, 상기 카메라(10)가 촬영한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판정보를 추출하는 역할을 한다. In addition, the vehicle photographing system of the present invention is provided with an
먼저, 상기 방향표식영상정보에 대해 설명하면, 상기 방향표식영상정보는 상기 도로의 차선을 따라 이동하는 차량이 상기 카메라(10)에 의해 촬영되었을 때, 촬영된 영상에서 상기 차량의 진행방향이 정방향인 역방향인지 판단할 수 있는 정보이다.First, the direction mark image information will be described. When the vehicle moving along the lane of the road is photographed by the
예를 들면, 도 3 및 도 4에 도시된 바와 같이, 상기 방향표식영상정보를 생성하기 위한 방향표식은 상기 카메라(10)에 의해 촬영되는 영역에 도로의 진행방향을 화살표 또는 삼각형 등으로 표시한 노면표식(R)에 의할 수도 있다. For example, as shown in FIGS. 3 and 4, the direction marker for generating the direction marker image information is obtained by displaying an advancing direction of a road in an area photographed by the
즉, 상기 카메라(10)에 의해 촬영된 영상 속에 상기 차량에 관한 영상과, 상기 노면표식(R)이 함께 나타나면, 상기 차량이 정방향으로 이동하고 있는 것을 나타내고, 상기 차량에 관한 영상 속에 상기 노면표식(R)이 나타나지 않으면, 상기 차량은 차선을 역방향으로 이동하는 것을 나타내게 되는 것이다. 다만, 이는 아래에서 설명될 중앙처리부(40)에서 판단하게 된다. That is, when the image of the vehicle and the road marking R appear together in the image photographed by the
그리고, 상기 방향표식영상정보는 도 5 및 도 6에 도시된 바와 같이, 상기 노면표식(R)이 아닌 상기 차량의 전면에 나타나는 특징(C) 중 어느 하나로 설정할 수 있다. 예를 들면, 상기 차량의 전면을 나타내는 특징(C)이 차량의 번호판의 위치, 라디에이터 그릴의 존재여부, 헤드라이터의 존재여부 등 어느 하나 또는 이들을 조합하여 상기 방향표식으로 할 수 있다. 5 and 6, the direction mark image information may be set to any one of the features C appearing on the front surface of the vehicle instead of the road marking R. FIG. For example, the feature C representing the front surface of the vehicle may be any one or a combination of the position plate, the radiator grille, the headlighter, and the like.
즉, 상기 카메라(10)에 의해 촬영된 영상 속에 상기 차량에 관한 영상과, 상기 차량의 전면특징(C)이 함께 나타나게 되면, 상기 영상에서 중앙선(M)을 기준으로 좌우로 나누고, 좌측으로 구획된 부분에 있으면 상기 차량이 정방향으로 이동하고 있는 것을 나타내게 된다.That is, when the image of the vehicle and the front feature (C) of the vehicle appear together in the image photographed by the
그리고, 상기 영상에서 중앙선(M)을 기준으로 좌우로 나눈 후, 우측으로 구획된 부분에 있으면 상기 차량이 역방향으로 이동하고 있는 것을 나타내는 것이다. 물론, 이것도 아래에서 설명될 중앙처리부(40)에서 판단하게 된다. In the image, when the vehicle is divided into left and right sides based on the center line M, the vehicle is moving in the reverse direction if the vehicle is located in the right partition. Of course, this is also determined by the
그리고, 본 발명인 차량 촬영 시스템에는, 상기 영상처리부(30)에서 처리된 정보를 정리하여 데이터화하는 중앙처리부(40)가 마련된다. 상기 중앙처리부(40)는, 상기 영상처리부(30)에서 추출된 정보를 토대로, 상기 차량이 정방향으로 이동하는지 여부를 판단한 정보와, 상기 번호판의 정보와, 차량에 관한 영상을 함께 데이터화하는 역할을 한다. 물론, 다른 저장매체 즉 서버(미도시) 등이 있으면, 상기 중앙처리부(40)는 상기 데이터를 서버로 송신할 수도 있다. The vehicle photographing system of the present invention is provided with a
한편, 도 7에 도시된 바와 달리, 상기 노면표식이 없거나, 상기 차량의 전면특징을 추출할 수 없는 경우에는 상기 중앙처리부(40)는 이하와 같은 방법으로 차량의 주행방향에 관해 정보화할 수 있다. On the other hand, unlike FIG. 7, when there is no road marking or the front feature of the vehicle cannot be extracted, the
도 7에 도시된 바와 같이, 상기 카메라(10)가 촬영되는 영역에 가상의 선(L1, L2) 즉 상기 차량이 진행하는 방향과 직교하는 두개의 평행한 선(L1, L2)을 설정하고, 상기 선(L1, L2)에 인접한 영상을 추출하고 시간 순서를 파악하여, 차량의 진행방향을 판단하도록 할 수 있다. As shown in FIG. 7, virtual lines L1 and L2, that is, two parallel lines L1 and L2 orthogonal to a direction in which the vehicle travels, are set in an area where the
이는 상기 차량감지부(20)에서 모션디텍션 또는 모션트래킹 방식에 의해 상기 차량에 관한 영상을 촬영하는 경우에 적용되는 것이 바람직하다. 즉, 상기 차량감지부(20)에서 모션디텍션 또는 모션트랙킹 방식에 의해 복수개의 영상을 촬영하면, 상기 차량감지부(20)의 가상의 선에 맞물리는 영상을 찾아, 그 영상을 시간순서로 배열하여 차량이 정방향으로 이동하고 있는지 여부를 판단하여, 상기 차량의 진행방향에 관한 정보를 생성할 수 있게 된다. This is preferably applied when the
그리고, 상기 차량감지부(20)의 모션디텍션 또는 모션트래킹 방식에 의해 촬영할 때, 상기 가상의 선(L1, L2)에 차량이 감지될 때, 촬영하도록 하여 각각의 선 에 감지될 때 촬영된 영상의 순서로 파악할 수 있게 된다. When the vehicle is detected by the motion detection or the motion tracking method of the
물론, 이 경우에도 차선을 중앙선(M)을 기준으로 좌우로 구획하여, 좌측에 차량의 영상이 있으면 정방향주행이고, 우측에 차량의 영상이 있으면 역방향주행으로 판단한다. Of course, even in this case, the lane is divided left and right on the basis of the center line M, and if there is an image of the vehicle on the left side, it is determined as a forward driving, and if there is an image of the vehicle on the right side, it is determined as a reverse driving.
이하 본 발명에 의한 차량 촬영 시스템의 방법 및 작용을 상세하게 설명한다. Hereinafter, the method and operation of the vehicle imaging system according to the present invention will be described in detail.
도 1에 도시된 바와 같이, 차량이 차선을 따라 이동하는 예로는 차량이 A방향, B방향, C방향 및 D방향으로 이동하는 것을 들 수 있다. 이 중 A방향 및 B방향으로의 이동은 상기 C방향 및 D방향으로의 이동과 서로 방향만 반대일뿐 같은 개념이므로, A방향 및 B방향으로 이동하는 차량에 대해서만 살펴본다. As shown in FIG. 1, an example in which the vehicle moves along a lane may include a vehicle moving in the A, B, C, and D directions. Since the movement in the A direction and the B direction is the same concept as the direction opposite to the movement in the C direction and the D direction, only the vehicle moving in the A direction and the B direction will be described.
먼저, 도 9에 도시된 순서도에 따라 차량이 A방향으로 이동하는 경우에 대해 설명하면, 차량이 A방향으로 이동하다가, 상기 차량이 먼저 차량감지부(20)에 의해 감지된다(S10). First, a case in which the vehicle moves in the A direction according to the flowchart shown in FIG. 9 will be described. While the vehicle moves in the A direction, the vehicle is first detected by the vehicle detecting unit 20 (S10).
즉, 상기 차량감지부(20)의 감지부(22)에 의해 감지되면 상기 감지부(22)는 감지신호를 발생시키고, 상기 감지부(22)는 상기 감지신호를 상기 차량감지부(20)의 제어부(24)로 전달한다. 상기 감지신호를 전달받은 상기 제어부(24)는 상기 카메라(10)에 전달하고, 상기 카메라(10)는 상기 차량을 촬영하게 된다(S11). That is, when the
상기 카메라(10)가 상기 차량을 촬영한 영상은 영상처리부(30)로 전달된다(S12). 상기 영상처리부(30)에서는 상기 차량에 관한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판에 관한 영상정보를 추출한 다(S13). The image photographed by the
상기 방향표식영상정보는 도 4 및 도 5에 도시된 바와 같이, 노면에 화살표 및 삼각형 모양으로 형성되어 있는 노면표식(R)에 관한 영상정보인데, A방향으로 이동하는 상기 차량을 촬영한 상기 영상에는 상기 노면표식(R)에 관한 정보가 나타나 있지 않으므로 상기 영상처리부(30)는 방향표식 영상정보를 추출할 수 없다. 그리고, 상기 영상처리부(30)는 상기 차량의 번호판에 관한 영상정보만을 추출한다. As shown in FIGS. 4 and 5, the direction marker image information is image information regarding a road marking R formed on the road in an arrow and triangle shape, and the image photographing the vehicle moving in the A direction. Since the information on the road marking (R) is not shown, the
상기 영상처리부(30)에서 추출된 영상정보들 및 상기 촬영된 영상은 중앙처리부(40)로 전달된다. 상기 중앙처리부(40)에서는 먼저 상기 영상처리부(30)로부터 전달받은 상기 정보 중 방향표식영상정보가 있는지 여부를 판단한다(S14). The image information extracted by the
즉, 도 4 및 도 5에 도시된 바와 같이, 상기 중앙처리부(40)는 상기 영상처리부(30)에서 전달받은 정보 중 상기 방향표식영상정보가 있으면 상기 차량이 정방향으로 이동하고 있는 것으로 판단하고, 상기 방향표식영상정보가 없으면 상기 차량이 역방향으로 이동하고 있는 것으로 판단한다.That is, as shown in FIGS. 4 and 5, the
그러나, 상기 영상처리부(30)에서 전달된 영상에는 방향표식영상정보가 없으므로, 상기 영상처리부(30)에서 전달된 영상은 차량이 역방향으로 이동하고 있다는 것으로 판단하고, 차량이 역방향으로 이동하고 있다는 정보를 생성한다. 또한, 상기 중앙처리부(40)에서는 상기 차량의 번호판에 관한 영상정보에서 차량의 번호를 추출한다. However, since the image transmitted from the
상기 중앙처리부(40)는 상기 차량이 역방향으로 이동하고 있다는 정보와, 상기 차량의 번호에 관한 정보와, 상기 차량의 영상을 함께 하나의 데이터화한다. 그 리고, 상기 중앙처리부(40)는 상기 데이터를 저장하거나, 상기 데이터를 다른 서버로 전송하게 된다(S15). The
그리고, 도 1에서 차량이 B방향으로 이동하는 경우에 대해 설명하면, 상기 차량이 B방향으로 이동하다가 상기 차량이 먼저 차량감지부(20)에 의해 감지된다(S10). 1, when the vehicle moves in the B direction, the vehicle moves in the B direction, and the vehicle is first detected by the vehicle detecting unit 20 (S10).
즉, 상기 차량감지부(20)의 감지부(22)에 의해 감지되면, 상기 감지부(22)는 감지신호를 생성하고, 상기 감지부(22)는 상기 감지신호를 상기 차량감지부(20)의 제어부(24)로 전달한다. 상기 감지신호를 전달받은 상기 제어부(24)는 상기 카메라(10)에 전달하고, 상기 카메라(10)는 상기 차량을 촬영하게 된다(S11).That is, when detected by the
상기 카메라(10)가 상기 차량을 촬영하여 촬영된 영상은 영상처리부(30)로 전달된다(S12). 상기 영상처리부(30)에서는 상기 차량에 관한 영상에서 차량의 방향을 나타내는 방향표식영상정보와, 상기 차량의 번호판에 관한 영상정보를 추출한다(S13). The image captured by the
상기 방향표식영상정보는 도 4 및 도 5에 도시된 바와 같이, 노면에 화살표 또는 삼각형 모양으로 형성되어 있는 노면표식(R)에 관한 영상정보인데, B방향으로 이동하는 상기 차량을 촬영한 상기 영상에는 상기 노면표식이 나타나 있으므로 상기 영상처리부는 방향표식영상정보를 추출하게 된다. As shown in FIGS. 4 and 5, the direction marker image information is image information regarding a road marking R formed on the road in an arrow or triangle shape, and the image photographing the vehicle moving in the B direction. Since the road marking is shown, the image processor extracts the direction marking image information.
또한, 상기 영상처리부(30)는 상기 차량의 번호판에 관한 영상정보를 추출한다. 그리고, 상기 영상처리부(30)에서 추출된 영상정보들 및 상기 차량을 촬영한 영상은 중앙처리부(40)로 전달된다. 상기 중앙처리부(40)에서는 상기 영상처리 부(30)로부터 전달받은 상기 정보 중 방향표식영상정보가 있는지 여부를 판단한다. In addition, the
상기 영상처리부(30)에서 전달된 영상에는 방향표식영상정보가 있으므로, 상기 영상처리부(30)에서 전달된 영상은 차량이 정방향으로 이동하고 있는 것으로 판단하고(S14), 차량이 정방향으로 이동하고 있다는 정보를 생성한다. 또한, 상기 중앙처리부(40)에서는 상기 차량의 번호판에 관한 영상정보에서 차량의 번호를 추출한다. Since the image transmitted from the
상기 중앙처리부(40)는 상기 차량이 정방향으로 이동하고 있다는 정보와, 상기 차량의 번호에 관한 정보와, 상기 차량의 영상을 함께 하나의 데이터로 만든다(S15). 그리고, 상기 중앙처리부(40)는 상기 하나로 만들어진 데이터를 저장하거나, 상기 데이터를 다른 서버로 전송하여 데이터베이스로 활용할 수 있게 한다. The
그리고, 이하, 상기 노면표식이 없고 차량의 전면의 특징에 의해 정주행 여부를 판단하는 경우에 대해 도 10의 도면을 참조하여 설명한다. Next, a case in which it is determined whether or not the vehicle is driven in accordance with the characteristics of the front surface of the vehicle without the road marking will be described with reference to the drawings of FIG. 10.
먼저, 도 1에서 차량이 A방향으로 이동하는 경우에 대해 설명하면, 차량이 A방향으로 이동하다가 상기 차량이 먼저 차량감지부(20)에 의해 감지된다(S20). First, a case in which the vehicle moves in the A direction in FIG. 1 will be described. While the vehicle moves in the A direction, the vehicle is first detected by the vehicle detecting unit 20 (S20).
즉, 상기 차량감지부(20)의 감지부(22)에 의해 감지되면, 상기 감지부(22)는 감지신호를 발생시키고, 상기 감지부(22)는 상기 감지신호를 상기 차량감지부(20)의 제어부(24)로 전달한다. 상기 감지신호를 전달받은 상기 제어부(24)는 상기 카메라(10)에 전달하고, 상기 카메라(10)는 상기 차량을 촬영하게 된다(S21). That is, when detected by the
상기 카메라(10)가 상기 차량을 촬영한 영상은 영상처리부(30)로 전달된다(S22). 상기 영상처리부(30)에서는 상기 차량에 관한 영상에서 차량의 방향을 나 타내는 방향표식영상정보와, 상기 차량의 번호판에 관한 영상정보를 추출한다(S23).The image captured by the
상기 방향표식영상정보는 도 1에 도시된 바와 같이, A방향으로 이동하는 상기 차량을 촬영한 상기 영상에서 상기 차량의 전면을 특징할 수 있는 라디에이터 그릴 또는 헤드라이터 등에 관한 영상정보(C)를 추출한다. 그리고, 상기 차량의 번호판에 관한 영상정보를 추출한다. As shown in FIG. 1, the direction mark image information extracts image information C regarding a radiator grill or a head writer, which may characterize the front surface of the vehicle, from the image photographing the vehicle moving in the A direction. do. Then, the video information about the license plate of the vehicle is extracted.
상기 영상처리부(30)에서 추출된 영상정보 및 상기 차량이 촬영된 영상은 중앙처리부로 전달된다. 상기 중앙처리부(40)에서는 상기 영상처리부(30)로부터 전달받은 상기 정보 중 차량을 촬영한 영상에서, 중앙선(M)을 중심으로 화면을 분할하고, 분할된 화면 중 상기 방향표식영상정보가 추출된 차량이 왼쪽에 있으면 상기 차량은 정방향으로 이동하는 것으로 판단하고, 오른쪽에 있으면 상기 차량은 역방향으로 이동하는 것으로 판단한다(S24).The image information extracted by the
여기서, 상기 중앙처리부(40)는 도 5에 도시된 바와 같이 촬영된 영상에서는 상기 차량이 중앙선(M)을 중심으로 좌측에 위치하므로 상기 차량이 정방향으로 이동하고 있다는 정보를 생성한다. 그리고, 상기 중앙처리부(40)는, 상기 차량의 번호정보, 차량의 정방향이동정보, 차량의 영상을 하나의 데이터로 만들어 저장하게 된다(S25). 또한, 상기 데이터는 다른 서버로 전송되어 저장될 수도 있다. Here, the
그리고, 이번에는 차량 촬영 시스템의 차량감지부(20)가 모션디텍션 또는 모션트래킹 방식에 의해 구성되고, 차선을 따라 이동하는 차량이 차량감지부(20)에 의해 감지되어 촬영되는 경우에 대해 도 11의 순서도를 참조하여 설명한다. In this case, the
먼저, 차량이 차선을 따라 이동하다가 차량이 먼저 차량감지부(20)에 감지된다(S31). 즉, 상기 차량이 차량감지부(20)의 감지부(22)에 의해 감지되면, 상기 감지부(22)는 감지신호를 생성하고, 상기 감지부(22)는 상기 감지신호를 상기 차량감지부(20)의 제어부(24)로 전달하고, 상기 카메라(10)는 상기 차량을 촬영하게 된다(S32). First, while the vehicle moves along the lane, the vehicle is first detected by the vehicle detecting unit 20 (S31). That is, when the vehicle is detected by the
상기 카메라(10)가 상기 차량을 촬영하게 되는데, 상기 차량감지부(20)의 감지부(22)에서는 도 7에 도시된 바와 같이, 가상의 선(L1, L2)을 차량이 지나갈 때 감지되도록 하여, 상기 제어부(24)에 감지신호를 보내고, 상기 제어부(24)가 그 때마다 상기 카메라(10)를 작동하게 된다. The
그러면, 상기 카메라(10)는 상기 가상의 선(L1, L2)을 상기 차량이 지나칠 때마다 촬영하게 되며, 그 영상은 소정의 시간간격을 둔 2개의 영상으로 구성된다. 상기 촬영된 영상은 영상처리부(30)로 전달된다. 상기 영상처리부(30)는 상기 가상의 선에 감지되어 촬영된 영상들 중 차량의 전면을 촬영한 영상인지 여부를 판단한다. Then, the
이는, 상기 영상처리부(30)에서 상기 촬영된 영상의 순서가, 상기 가상의 선(L1, L2)을 진행방향의 순서대로 촬영되었는지 여부를 판단하여 방향표식영상정보를 생성하게 된다. 그리고, 상기 영상처리부(30)에서는 상기 영상에서 상기 차량에 관한 영상에서 상기 차량의 번호판에 관한 영상정보를 추출한다(S33). The
상기 영상처리부(30)에서 추출된 영상정보들 및 상기 차량을 촬영한 영상은 중앙처리부(40)로 전달된다. 상기 중앙처리부(40)에서는 상기 영상처리부(30)로부 터 전달받은 영상 중 차량을 촬영한 영상에서 중앙선(M)을 중심으로 화면을 분할하고, 분할된 화면 중 상기 차량이 왼쪽에 있으면 상기 차량은 정방향으로 이동하는 것으로 판단하고, 오른쪽에 있으면 상기 차량은 역방향으로 이동하는 것으로 판단한다(S34). 그리고, 상기 중앙처리부(40)는 상기 차량이 정방향으로 이동하는지 역방향으로 이동하는지에 대한 정보를 생성한다.The image information extracted by the
그리고, 상기 중앙처리부(40)는, 상기 차량의 번호정보, 차량의 정방향이동정보, 차량의 영상을 하나의 데이터로 만들어 저장하게 된다(S35). 또한, 상기 중앙처리부(40)에서 만들어진 데이터는 다른 서버로 전송되어 저장될 수도 있다. The
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 가자 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 점은 자명하다. The rights of the present invention are not limited to the embodiments described above, but are defined by what is stated in the claims, and various modifications and adaptations can be made within the scope of the rights described in the claims having ordinary skill in the art. The point is self-explanatory.
도 1은 본 발명에 의한 차량 촬영 시스템의 구성을 보인 평면도.1 is a plan view showing the configuration of a vehicle imaging system according to the present invention.
도 2는 도 1의 차량 촬영 시스템의 내부 구성을 보인 블럭도.FIG. 2 is a block diagram illustrating an internal configuration of the vehicle photographing system of FIG. 1.
도 3은 도 1에서 노면표식의 제 1실시예를 적용한 차량 촬영 시스템이 촬영한 영상을 보인 도면.FIG. 3 is a view illustrating an image captured by the vehicle photographing system to which the first embodiment of the road marking is applied in FIG. 1.
도 4는 도 1에서 노면표식의 제 2실시예를 적용한 차량 촬영 시스템이 촬영한 영상을 보인 도면.FIG. 4 is a view illustrating an image captured by the vehicle photographing system to which the second embodiment of the road marking is applied in FIG. 1.
도 5는 도 1에서 차량 전면의 특징표식의 제 1실시예를 적용한 차량 촬영 시스템이 촬영한 영상을 보인 도면.FIG. 5 is a view showing an image captured by the vehicle photographing system to which the first embodiment of the feature mark on the front of the vehicle is applied in FIG. 1; FIG.
도 6은 도 1에서 차량 전면의 특징표식의 제 2실시예를 적용한 차량 촬영 시스템이 촬영한 영상을 보인 도면.FIG. 6 is a view illustrating an image captured by the vehicle photographing system to which the second embodiment of the feature mark on the front of the vehicle is applied in FIG. 1; FIG.
도 7은 도 1에서 차량검지부의 다른 실시예를 적용한 차량 촬영 시스템이 촬영한 영상을 보인 도면.FIG. 7 is a view illustrating an image captured by the vehicle photographing system to which another embodiment of the vehicle detecting unit is applied in FIG. 1.
도 8은 도 3에서의 차량 촬영 시스템에서 역주행하는 차량을 촬영한 영상을 보인 도면.FIG. 8 is a view illustrating an image of a vehicle traveling in reverse driving in the vehicle photographing system of FIG. 3; FIG.
도 9는 본 발명에 의한 차량 촬영 방법의 제 1실시예를 나타내는 순서도.9 is a flowchart showing a first embodiment of a vehicle photographing method according to the present invention;
도 10은 본 발명에 의한 차량 촬영 방법의 제 2실시예를 나타내는 순서도.10 is a flowchart showing a second embodiment of a vehicle photographing method according to the present invention;
도 11은 본 발명에 의한 차량 촬영 방법의 제 3실시예를 나타내는 순서도.11 is a flowchart showing a third embodiment of a vehicle photographing method according to the present invention.
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070120312A KR101371065B1 (en) | 2007-11-23 | 2007-11-23 | A System and Method for phtographing the car |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070120312A KR101371065B1 (en) | 2007-11-23 | 2007-11-23 | A System and Method for phtographing the car |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090053459A KR20090053459A (en) | 2009-05-27 |
KR101371065B1 true KR101371065B1 (en) | 2014-03-10 |
Family
ID=40860967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070120312A KR101371065B1 (en) | 2007-11-23 | 2007-11-23 | A System and Method for phtographing the car |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101371065B1 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100918837B1 (en) * | 2009-07-10 | 2009-09-28 | 완전정보통신(주) | System for hybrid detection vehicles and method thereof |
KR100951827B1 (en) * | 2009-10-14 | 2010-04-12 | 주식회사 라인인포 | Detecting system for vehicleinformation and the detecting method using the same |
KR101403936B1 (en) * | 2013-02-20 | 2014-06-27 | (주)인펙비전 | Camera system for vehicles |
KR101285127B1 (en) * | 2013-06-07 | 2013-07-19 | 양경명 | Apparatus for monitoring loading material of vehicle |
CN103456171B (en) * | 2013-09-04 | 2016-04-06 | 北京英泰智软件技术发展有限公司 | A kind of based on fish-eye vehicle flow detection system, method and method for correcting image |
KR101416457B1 (en) * | 2013-11-22 | 2014-08-06 | 주식회사 넥스파시스템 | Road crime prevention system using recognition of opposite direction drive and pedestrian |
KR101877001B1 (en) * | 2016-03-30 | 2018-07-10 | 주식회사 에스원 | Virtual line generation method, system and method for detecting reverse driving of vehicle |
KR101963842B1 (en) * | 2017-02-02 | 2019-04-01 | (주)티앤티테크 | Managing system for reverse drive sensing apparatus |
KR102041734B1 (en) * | 2018-12-13 | 2019-11-27 | 유니셈(주) | System and method for enforcing traffic violation based on deep learning |
KR102613957B1 (en) * | 2021-05-13 | 2023-12-14 | 주식회사 이산기술 | System of peventing suicide using virtulal detection line in image |
KR102569502B1 (en) * | 2021-05-13 | 2023-08-23 | 주식회사 산엔지니어링 | System of peventing reverse running using virtulal detection line in image |
KR102313804B1 (en) * | 2021-06-02 | 2021-10-19 | (주)트루엔 | Electronic device for distinguishing front or rear of vehicle and method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030024314A (en) * | 2001-09-17 | 2003-03-26 | 박상래 | Traffic Regulations System and Control Method by Image Processing |
JP2004178055A (en) | 2002-11-25 | 2004-06-24 | Kunimichi Takada | Device for stopping vehicle traveling in opposite direction |
JP2007172246A (en) | 2005-12-21 | 2007-07-05 | Sumitomo Electric Ind Ltd | Vehicle detector and reversely traveling vehicle detection system |
-
2007
- 2007-11-23 KR KR1020070120312A patent/KR101371065B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030024314A (en) * | 2001-09-17 | 2003-03-26 | 박상래 | Traffic Regulations System and Control Method by Image Processing |
JP2004178055A (en) | 2002-11-25 | 2004-06-24 | Kunimichi Takada | Device for stopping vehicle traveling in opposite direction |
JP2007172246A (en) | 2005-12-21 | 2007-07-05 | Sumitomo Electric Ind Ltd | Vehicle detector and reversely traveling vehicle detection system |
Also Published As
Publication number | Publication date |
---|---|
KR20090053459A (en) | 2009-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101371065B1 (en) | A System and Method for phtographing the car | |
EP1892149B1 (en) | Method for imaging the surrounding of a vehicle and system therefor | |
JP5347257B2 (en) | Vehicle periphery monitoring device and video display method | |
US20100063649A1 (en) | Intelligent driving assistant systems | |
US20110234749A1 (en) | System and method for detecting and recording traffic law violation events | |
KR20190094152A (en) | Camera system and method for capturing the surrounding area of the vehicle in context | |
NZ333823A (en) | Detecting speeding vehicles including means for detecting the transverse position of a vehicle | |
US20060221229A1 (en) | Method and apparatus for photographing moving object | |
CN103139595B (en) | Based on functional diagnosis and the checking of the imaging system of vehicle | |
US20200207268A1 (en) | Vehicular parking assist system using backup camera | |
KR100779039B1 (en) | System and the method for detection, tracking of u-turn violation vehicl | |
JP7102890B2 (en) | Path simulation device | |
US20200364470A1 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
WO2016052837A1 (en) | Traffic monitoring system | |
JP2008100596A (en) | Rear side visual recognition device | |
JP2011513876A (en) | Method and system for characterizing the motion of an object | |
JP2008174028A (en) | Target detection system and method | |
JP4759426B2 (en) | Imaging device | |
JP5057750B2 (en) | Toll collection system | |
JP2006309499A (en) | Vehicle and lane mark recognition device | |
JP6659929B2 (en) | Road surface photographing system | |
JP2013062657A (en) | Image display system, image display device, image display method, and image display program | |
RU2756349C1 (en) | Video surveillance system | |
JP2004258981A (en) | Vehicle monitoring method and device | |
JP2000003438A (en) | Sign recognizing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170120 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180105 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190123 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20200219 Year of fee payment: 7 |