KR102174000B1 - System for Recognizing Information Plate for vehicle and Method thereof - Google Patents
System for Recognizing Information Plate for vehicle and Method thereof Download PDFInfo
- Publication number
- KR102174000B1 KR102174000B1 KR1020140065679A KR20140065679A KR102174000B1 KR 102174000 B1 KR102174000 B1 KR 102174000B1 KR 1020140065679 A KR1020140065679 A KR 1020140065679A KR 20140065679 A KR20140065679 A KR 20140065679A KR 102174000 B1 KR102174000 B1 KR 102174000B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- led sign
- sign
- led
- frames
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000000284 extract Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
Abstract
본 발명은 차량 주행시에 카메라에 의해 촬영되는 ELD 표지판 이미지의 유실을 방지하기 위한 표지판 인식 시스템 및 그 방법에 관한 것이다. The present invention relates to a sign recognition system and method for preventing loss of an ELD sign image photographed by a camera while driving a vehicle.
Description
본 발명은 LED 표지판 인식 기술에 관한 것으로, 보다 상세하게는 주행중인 차량에서 보다 정확하게 LED 표지판을 인식할 수 있는 표지판 인식 시스템 및 그 방법에 관한 것이다. The present invention relates to an LED sign recognition technology, and more particularly, to a sign recognition system and a method capable of more accurately recognizing an LED sign in a driving vehicle.
최근 차량에 장착된 카메라를 이용하여 차량의 전방이나 후방을 촬영하여 운전자에게 다양한 정보를 제공하는 시스템들이 개발되고 있다. 이과 같은 시스템들은 카메라를 통해 촬영된 전방 혹은 후방 주변의 영상들을 운전자에게 그대로 제공하여 주거나, 다양한 기능을 추가하여 제공하고 있다. Recently, systems have been developed to provide various information to a driver by photographing the front or rear of a vehicle using a camera mounted on a vehicle. Such systems provide the driver with images of the front or rear surroundings captured by the camera as it is, or by adding various functions.
예를 들어, 이러한 시스템들 중, 차량 운전자의 안전 및 편의를 위해 제공되는 길안내 화면의 경우, 전방에 장착된 카메라를 이용하여 입력되는 길안내 및 표지판 정보 등의 도로교통정보를 실시간으로 운전자에게 제공해줄 수 있다는 장점이 있었다. For example, among these systems, in the case of a directions screen provided for the safety and convenience of a vehicle driver, road traffic information such as directions and sign information input using a camera mounted in the front is provided to the driver in real time. There was an advantage of being able to provide.
그러나, 주행중인 차량에서 촬영되는 영상의 경우에는 화질이 매우 떨어진다는 문제점이 나타나고 있다. However, in the case of an image captured by a driving vehicle, there is a problem that the image quality is very poor.
또한, LED 표지판의 경우, 매우 빠르게 깜빡이며 점등되는 특성에도 불구하고, 카메라를 통해 촬영되는 영상에서 한 프레임의 정보를 이용하여 LED 표지판을 인식하였다. 따라서, 고속으로 주행중인 차량에서 LED 표지판을 촬영할 경우, 한 프레임의 영상에서는 LED 표지판 이미지가 완벽하게 보이지 않거나, 부분적으로 손실이 발생하여 이를 인식할 수 없다는 문제점이 나타나고 있다.
In addition, in the case of the LED sign, despite the characteristic that it flickers and lights very quickly, the LED sign was recognized using information of one frame from the image captured by the camera. Therefore, when an LED sign is photographed in a vehicle running at high speed, the LED sign image is not completely visible in the image of one frame, or a loss occurs in part, so that it is impossible to recognize it.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 차량 주행시에 카메라에 의해 촬영되는 LED 표지판 이미지의 유실을 방지할 수 있는 표지판 인식 시스템 및 그 방법을 제공하는 데 그 목적이 있다. Accordingly, the present invention was conceived to solve the conventional problems as described above, and an object of the present invention is to provide a sign recognition system and method capable of preventing the loss of an LED sign image captured by a camera while driving a vehicle. It has its purpose.
또한, 본 발명의 다른 목적은 기존에 주행중인 차량에서 촬영되는 각종 표지판 이미지의 화질을 개선할 수 있는 표지판 인식 시스템 및 그 방법을 제공하는 데 그 목적이 있다. In addition, another object of the present invention is to provide a sign recognition system and method capable of improving the quality of various sign images photographed by a vehicle that is currently running.
아울러, 본 발명의 또 다른 목적은 차량 주행중에도 운전자에게 정확하고 개선된 도로 교통정보를 제공할 수 있는 표지판 인식 시스템 및 그 방법을 제공하는 데 그 목적이 있다.
In addition, another object of the present invention is to provide a sign recognition system and method capable of providing accurate and improved road traffic information to a driver while driving a vehicle.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 표지판 인식 시스템은, 주변영상을 수신하는 영상수신부와, 상기 영상수신부를 통해 수신된 주변영상을 분석하여 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하고, 상기 추출된 복수의 영상 프레임에서 상기 LED 표지판 이미지의 사이즈를 동일화하여 상기 LED 표지판 이미지의 사이즈가 동일화된 복수의 영상프레임을 중첩하여 제2이미지를 생성하는 제어부 및 상기 제어부를 통해 생성된 제2이미지를 디스플레이하는 출력부를 포함하여 구성된다. A sign recognition system according to an embodiment of the present invention for achieving the above object includes a plurality of images including an image receiving unit for receiving a surrounding image and an LED sign image by analyzing the surrounding image received through the image receiving unit. Through the control unit and the control unit for generating a second image by overlapping a plurality of image frames having the same size of the LED sign image by extracting a frame and equalizing the size of the LED sign image from the extracted plurality of image frames. And an output unit for displaying the generated second image.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 표지판 인식 방법은, 주변영상을 수신하는 단계와, 상기 수신된 주변영상을 분석하여 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하는 단계와, 상기 추출된 복수의 영상 프레임에서 상기 LED 표지판 이미지의 사이즈를 동일화하는 단계와, 상기 LED 표지판 이미지의 사이즈가 동일화된 복수의 영상프레임을 중첩하여 제2이미지를 생성하는 단계 및 상기 생성된 제2이미지를 디스플레이하는 단계를 포함하여 이루어진다.In addition, a sign recognition method according to an embodiment of the present invention for achieving the above object includes the steps of receiving a surrounding image, and extracting a plurality of image frames including an LED sign image by analyzing the received surrounding image. And the steps of equalizing the size of the LED sign image from the extracted plurality of image frames, and generating a second image by overlapping a plurality of image frames having the same size of the LED sign image, and the generation And displaying the second image.
이상에서 설명한 바와 같이, 본 발명에 따른 표지판 인식 시스템 및 그 방법에 의하면, 카메라를 통해 획득되는 복수 이미지의 중첩을 통해 개선된 화질의 영상 프레임을 제공받을 수 있다는 효과가 있다. As described above, according to the sign recognition system and method according to the present invention, there is an effect that an image frame of improved image quality can be provided through superposition of a plurality of images acquired through a camera.
또한, 본 발명에 따른 표지판 인식 시스템 및 그 방법에 의하면, LED 표지판 촬영시, 다수의 영상을 이용해 기존에 깜빡임에 의해 유실되던 LED 표지판 이미지를 복원하여 완전한 이미지를 제공받을 수 있다는 효과가 있다. In addition, according to the sign recognition system and method according to the present invention, when photographing an LED sign, there is an effect that a complete image can be provided by restoring an image of an LED sign that was previously lost due to blinking using a plurality of images.
아울러, 본 발명에 따른 표지판 인식 시스템 및 그 방법에 의하면, 운전자에게 화질이 개선되고 유실된 데이터가 보정된 표지판 이미지를 제공하여 운전자의 표지판 인식을 위한 가독성을 증가시킴으로써, 안전운전에 기여할 수 있다는 효과가 있다.
In addition, according to the sign recognition system and method according to the present invention, it is possible to contribute to safe driving by providing a sign image with improved image quality and corrected loss of data to the driver to increase readability for sign recognition by the driver. There is.
도 1은 본 발명의 일 실시예에 따른 표지판 인식 시스템의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 표지판 인식 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 4a 및 도 4b는 종래기술에 따른 표지판 인식 방법에 의해 표지판 이미지가 유실되는 과정을 설명하기 위한 예시도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법을 설명하기 위한 예시도이다. 1 is a block diagram schematically showing the configuration of a sign recognition system according to an embodiment of the present invention.
2 is a flowchart schematically illustrating a flow of a method for recognizing a sign according to an embodiment of the present invention.
3 is a flowchart schematically illustrating a flow of a method for improving image quality of a sign image according to an embodiment of the present invention.
4A and 4B are exemplary diagrams for explaining a process in which a sign image is lost by a method for recognizing a sign according to the prior art.
5A and 5B are exemplary diagrams for explaining a method of improving image quality of a sign image according to an exemplary embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 '장치' 및 '부'는 명세서 작성의 용이함만이 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사항이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar elements are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted. 'Devices' and'units' for components used in the following description are given only for ease of specification or are used interchangeably, and do not themselves have distinct meanings or roles. In addition, in describing the embodiments disclosed in the present specification, when it is determined that detailed descriptions of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, detailed descriptions thereof will be omitted. In addition, the accompanying drawings are only for making it easier to understand the embodiments disclosed in the present specification, and only for making it easier to understand the embodiments disclosed in the present specification by the accompanying drawings. It should be noted that the technical matters disclosed in should not be construed as limiting.
도 1은 본 발명의 일 실시예에 따른 표지판 인식 시스템의 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 표지판 인식 방법의 흐름을 개략적으로 도시한 흐름도이다. 1 is a block diagram schematically showing the configuration of a sign recognition system according to an embodiment of the present invention, and FIG. 2 is a flowchart schematically showing a flow of a sign recognition method according to an embodiment of the present invention.
이하에서는, 도 1에 도시된 표지판 인식 시스템의 구성을 참조하여 도 2에 도시된 본 발명에 따른 표지판 인식 방법에 대해 설명하기로 한다. Hereinafter, a method for recognizing a sign according to the present invention illustrated in FIG. 2 will be described with reference to the configuration of the sign recognition system illustrated in FIG. 1.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 표지판 인식 시스템은 영상수신부(110), 제어부(120), 저장부(130) 및 출력부(140)를 포함하여 구성될 수 있다. 도 1에 도시된 구성요소들이 고정된 명칭을 사용하고 있는 것은 아니므로, 보다 많은 구성요소들 혹은 보다 적은 구성요소들로 이루어지도록 시스템이 구현될 수도 있다. As shown in FIG. 1, a sign recognition system according to an embodiment of the present invention may include an
우선, 상기 영상수신부(110)를 통해 주변 영상이 수신되면, 상기 제어부(120)가 상기 수신된 주변영상을 분석할 수 있다[S210, S220]. 상기 영상수신부(110)는 외부로부터 입력되는 자차 주변의 이미지를 수신할 수 있다. 상기 영상수신부(110)는 상기 차량의 전방, 후방 혹은 측방에 설치된 카메라를 포함할 수 있으며, 상기 영상수신부(110)를 통해 수신되는 영상은 동영상 및 정지영상을 포함할 수 있다. 상기 제어부(120)는 상기 영상수신부(110)를 통해 수신된 주변영상을 분석할 수 있다. 그리고, 상기 제어부(120)는 상기 주변영상을 분석하여 상기 주변영상에 특정 표지판 이미지가 포함되어 있는지를 판단할 수 있다. 즉, 상기 제어부(120)는 상기 영상수신부(110)를 통해 수신된 주변영상에 특정 이미지 프로세싱(image processing) 과정을 거쳐, 상기 LED 표지판의 테두리를 추적(tracking)할 수 있다. 이때, 상기 LED 표지판의 테두리는 원형, 사각, 마름모 및 타원형 등의 형태로 구성될 수 있으며, 상기 제어부(120)는 상기 주변영상의 휘도, 채도 또는 컬러 등이 급격하게 변화되는 구간을 추출하는 이미지 프로세싱 방식으로 상기 LED 표지판의 테두리를 추적할 수 있다. First, when a surrounding image is received through the
그런 다음, 상기 제어부(120)는 상기 분석 결과에 따라, 상기 LED 표지판 이미지가 포함되어 있는 복수의 영상 프레임을 추출할 수 있다[S230, S240]. 상기 제어부(120)는 특정 이미지 프로세싱 과정을 거쳐 상기 LED 표지판 테두리가 추적되는 복수의 영상 프레임을 추출할 수 있다. 이때, 상기 영상수신부(110)를 통해 수신되는 영상이 동영상일 경우, 상기 동영상을 일정시간 간격으로 캡쳐(capture)하여 복수의 정지영상 프레임을 추출할 수 있다. Then, the control unit 120 may extract a plurality of image frames including the LED sign image according to the analysis result [S230, S240]. The controller 120 may extract a plurality of image frames in which the edge of the LED sign is tracked through a specific image processing process. In this case, when the image received through the
그리고, 상기 추출된 복수의 영상 프레임을 중첩하여 새로운 이미지를 획득할 수 있다[S250]. 즉, 상기 제어부(120)는 상기 추적된 LED 표지판 테두리를 기준으로 복수의 영상 프레임 사이즈를 동일화할 수 있다. 그런 다음, 상기 제어부(120)는 상기 LED 표지판 테두리를 기준으로 상기 동일화된 사이즈의 복수 영상을 중첩하여 새로운 제2영상을 생성할 수 있다. In addition, a new image may be obtained by overlapping the extracted image frames [S250]. That is, the controller 120 may equalize the size of a plurality of image frames based on the tracked edge of the LED sign. Then, the controller 120 may generate a new second image by overlapping the plurality of images of the same size based on the edge of the LED sign.
이때, 상기 생성된 제2영상은 상기 노이즈제거부(130)를 통해 노이즈가 제거된 영상일 수 있다. 상기 노이즈제거부(130)는 상기 영상수신부(110)를 통해 수신된 주변영상에 대해 노이즈 제거를 수행하거나, 상기 제어부(120)를 통해 이미지 프로세싱 과정중에 해당 영상에 대한 노이즈 제거를 수행할 수 있다. 또한, 상기 노이즈 제거부(130)는 특정 영상 프레임으로 부터 추출된 픽셀을 기준으로 노이즈 제거를 수행할 수 있다. In this case, the generated second image may be an image from which noise has been removed through the
상기와 같이, 본 발명에 따른 표지판 인식 시스템은 영상수신부(110)를 통해 수신된 영상의 화질을 개선하고 유실된 이미지를 복원 및 가공하여 운전자에게 제공함으로써, 운전자의 차량 운행시에 제공되는 도로교통정보의 가독성을 증가시켜 안전운전을 유도하는데 기여할 수 있다는 장점이 있다.
As described above, the sign recognition system according to the present invention improves the image quality of the image received through the
도 3은 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법의 흐름을 개략적으로 도시한 흐름도이다. 3 is a flowchart schematically illustrating a flow of a method for improving image quality of a sign image according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법은, 외부로부터 영상을 수신하여 상기 수신된 영상으로부터 LED 표지판의 테두리를 검출할 수 있다[S310, S320]. 즉, 영상수신부(110)를 통해 주변 영상이 수신되면, 제어부(120)가 상기 수신된 주변영상을 분석하여 상기 주변영상에 LED 표지판 이미지가 포함되어 있는지 여부를 판단할 수 있다. 그리고, 상기 주변영상에 LED 표지판 이미지가 포함되어 있는 경우, 상기 제어부(120)는 특정 이미지 프로세싱(image processing) 과정을 거쳐, 상기 LED 표지판의 테두리를 추적(tracking)할 수 있다. 이때, 상기 LED 표지판의 테두리는 원형, 사각, 마름모 및 타원형 등의 다양한 형태로 구현될 수 있으므로, 상기 제어부(120)는 주변영상의 휘도, 채도 또는 컬러 등이 급격하게 변화되는 구간을 추출하는 특정 이미지 프로세싱 과정을 거쳐 상기 LED 표지판의 테두리를 추적하여 검출할 수 있다.As shown in FIG. 3, in the method for improving the image quality of a sign image according to an exemplary embodiment of the present invention, an image may be received from the outside and the edge of the LED sign may be detected from the received image [S310, S320]. That is, when a surrounding image is received through the
그리고, LED 표지판을 추적(tracking)하여 LED 표지판 이미지 패치(patch) 검출할 수 있다[S330]. 즉, 상기 제어부(120)는 상기 영상수신부(110)를 통해 수신된 영상을 분석하고 이미지 프로세싱 과정을 통해 상기 LED 표지판 이미지가 포함되어 있는 복수의 영상 프레임을 추출할 수 있다. 상기 제어부(120)는 상기 특정 이미지 프로세싱 과정을 반복하여 LED 표지판 테두리가 추적되는 복수의 영상 프레임을 추출하고, 상기 LED 표지판 테두리가 검출된 복수의 영상 프레임들로부터 LED 표지판 이미지를 추적하여 LED 표지판 이미지 패치를 검출할 수 있다. 이때, 상기 영상수신부(110)를 통해 수신되는 영상이 동영상일 경우, 상기 동영상을 일정시간 간격으로 캡쳐(capture)하여 복수의 정지영상 프레임을 추출할 수 있다. In addition, an LED sign image patch may be detected by tracking the LED sign [S330]. That is, the controller 120 may analyze the image received through the
그런 다음, LED 표지판 이미지 패치의 사이즈를 동일한 사이즈로 노말라이징할 수 있다[S340]. 즉, 상기 제어부(120)는 상기 검출된 복수의 LED 표지판 이미지 패치들를 동일한 사이즈로 리사이징(resizing)하는 노말라이징 과정을 수행할 수 있다. 이때, 상기 제어부(120)는 상 LED 표지판 이미지 패치를 리사이징하기 위한 기준으로 테두리를 적용할 수 있다. 즉, 상기 제어부(120)는 상기 LED 표지판 테두리를 기준으로 상기 복수의 LED 표지판 이미지 패치들을 리사이징(resizing)할 수 있다.Then, the size of the LED sign image patch may be normalized to the same size [S340]. That is, the controller 120 may perform a normalizing process of resizing the detected plurality of LED sign image patches to the same size. In this case, the control unit 120 may apply a border as a reference for resizing the image patch of the upper LED sign. That is, the control unit 120 may resizing the plurality of LED sign image patches based on the edge of the LED sign.
이후, LED 표지판 이미지 패치를 중첩하여 새로운 이미지를 생성할 수 있다[S350]. 즉, 상기 제어부(120)는 상기 LED 표지판 테두리를 기준으로 리사이징된 복수의 LED 표지판 이미지 패치들을 중첩하여 새로운 제2영상을 생성할 수 있다. 이때, 상기 복수의 LED 표지판 이미지 패치들 또한 LED 표지판 테두리를 기준으로 중첩될 수 있다. Thereafter, a new image may be generated by overlapping the LED sign image patch [S350]. That is, the controller 120 may generate a new second image by overlapping a plurality of LED sign image patches resized based on the edge of the LED sign. In this case, the plurality of LED sign image patches may also be overlapped based on the edge of the LED sign.
상기와 같이, 본 발명에 따른 LED 표지판 인식 방법은 다수의 이미지를 동일한 사이즈로 리사이징하고, 이를 중첩시켜 생성된 영상을 운전자에게 제공함으로써, 화질 및 성능이 향상된 LED 표지판 인식 시스템을 제공할 수 있다는 장점이 있다.
As described above, the LED sign recognition method according to the present invention is advantageous in that it is possible to provide an LED sign recognition system with improved image quality and performance by resizing a plurality of images to the same size and providing an image generated by overlapping them to the driver. There is this.
도 4a 및 도 4b는 종래기술에 따른 표지판 인식 방법에 의해 표지판 이미지가 유실되는 과정을 설명하기 위한 예시도이다. 4A and 4B are exemplary diagrams for explaining a process in which a sign image is lost by a method for recognizing a sign according to the prior art.
도 4a는 종래기술에 따라 주행중인 차량의 카메라를 통해 촬영되는 LED 표지판의 프레임 단위 영상을 나타내는 예시도이다.4A is an exemplary view showing a frame-by-frame image of an LED sign photographed by a camera of a vehicle running according to the prior art.
도 4a에 도시된 바와 같이, LED 표지판의 경우에는 매우 빠르게 깜빡이며 점등되는 특성이 있다. 그러나, 이와 같은 특성이 존재함에도 불구하고, 카메라를 통해 촬영되는 영상에서 한 프레임의 정보를 이용하여 LED 표지판을 인식하였다. 따라서, 고속으로 주행중인 차량에서 LED 표지판을 촬영할 경우, 한 프레임의 영상에서는 LED 표지판 이미지가 완벽하게 보이지 않거나, 부분적으로 손실이 발생하여 이를 인식할 수 없다는 문제점이 발생하였다. As shown in FIG. 4A, in the case of an LED sign, there is a characteristic that it blinks very quickly and lights up. However, despite the existence of such a characteristic, an LED sign was recognized using information of one frame in an image captured through a camera. Accordingly, when an LED sign is photographed in a vehicle driving at high speed, the LED sign image is not completely visible in the image of one frame, or a loss occurs in part, so that it is impossible to recognize it.
도 4b는 종래기술의 일반적인 기술에 따라 운전자에게 제공되는 LED 표지판 영상을 나타내는 예시도이다. 4B is an exemplary view showing an LED sign image provided to a driver according to a general technique of the prior art.
도 4b에 도시된 바와 같이, 종래기술에 따라 운전자에게 제공되는 LED 표지판 영상의 경우에도 이미지가 일부 유실된 상태로 운전자에게 제공될 수 있다. 따라서, 정확하지 않은 정보를 제공받는 운전자의 경우, LED 표지판 인식을 위한 가독성이 현저히 저하되어 운전에 필요한 필수 정보를 제대로 제공받지 못하므로, 운전에 많은 위험을 초래한다는 문제점이 있었다.
As shown in FIG. 4B, even in the case of the LED sign image provided to the driver according to the prior art, the image may be provided to the driver in a partially lost state. Therefore, in the case of a driver who is provided with inaccurate information, the readability for recognizing the LED sign is significantly deteriorated and essential information necessary for driving is not properly provided, and thus, there is a problem that it causes a lot of danger to driving.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법을 설명하기 위한 예시도이다. 5A and 5B are exemplary diagrams for explaining a method of improving image quality of a sign image according to an exemplary embodiment of the present invention.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 표지판 이미지의 화질 개선 방법을 설명하기 위한 예시도이다. 5A and 5B are exemplary diagrams for explaining a method of improving image quality of a sign image according to an exemplary embodiment of the present invention.
도 5a는 본 발명의 일 실시예에 따라 추출된 복수의 LED 표지판 이미지 패치를 나타내는 예시도이다. 5A is an exemplary view showing a plurality of LED sign image patches extracted according to an embodiment of the present invention.
도 5a에 도시된 바와 같이, 외부로부터 수신되는 영상에서 LED 표지판 이미지가 포함된 여러 개의 프레임을 추출할 수 있다. 즉, 외부로부터 주변에 대한 영상이 수신되면, 상기 수신된 영상을 분석하여 LED 표지판 이미지가 포함된 복수의 영상을 추출할 수 있다. 이때, 상기 LED 표지판 이미지가 포함되었는지 여부는 LED 표지판의 테두리를 근거로 판단될 수 있으며, 상기 LED 표지판의 테두리는 영상의 휘도, 채도 또는 컬러 등이 급격하게 변화되는 구간을 추출하는 특정 이미지 프로세싱 과정을 거쳐 추적될 수 있다. As shown in FIG. 5A, several frames including an LED sign image may be extracted from an image received from the outside. That is, when an image of the surrounding area is received from the outside, a plurality of images including the LED sign image may be extracted by analyzing the received image. At this time, whether or not the LED sign image is included may be determined based on the edge of the LED sign, and the edge of the LED sign is a specific image processing process for extracting a section in which the brightness, saturation, or color of the image rapidly changes. Can be traced through.
그런 다음, 상기 LED 표지판 이미지의 사이즈를 동일화할 수 있는데, 역시 LED 표지판 테두리를 기준으로 특정 이미지 과정을 통해 이루어질 수 있다. Then, the size of the LED sign image may be the same, which may also be achieved through a specific image process based on the border of the LED sign.
도 5b는 본 발명의 일 실시예에 따라 복수의 LED 표지판 이미지 패치를 중첩하여 생성된 제2영상을 나타내는 예시도이다. 5B is an exemplary view showing a second image generated by overlapping a plurality of LED sign image patches according to an embodiment of the present invention.
도 5b에 도시된 바와 같이, LED 표지판 이미지 패치를 중첩하여 새로운 이미지를 생성하여 운전자에게 제공할 수 있다. 즉, 상기 LED 표지판 테두리를 기준으로 리사이징된 복수의 LED 표지판 이미지들을 상기 LED 표지판 테두리를 기준으로 중첩하여 새로운 제2영상을 생성하고, 상기 생성된 이미지를 운전자에게 실시간으로 제공할 수 있다. As shown in FIG. 5B, a new image may be generated by overlapping the LED sign image patch and provided to the driver. That is, a new second image may be generated by overlapping a plurality of LED sign images resized based on the LED sign frame based on the LED sign frame, and the generated image may be provided to the driver in real time.
따라서, 상기와 같은 본 발명의 일 실시예에 따른 LED 표지판 인식 방법은 여러 개의 영상 프레임 사이즈를 동일화하여 정확하게 매칭 및 중첩하여 화질이 개선된 새로운 이미지를 운전자에게 제공함으로써, 운전자의 안전운전을 위한 도로교통정보 가독성을 증가시키는 등의 큰 기여할 수 있다는 장점이 있다. Accordingly, the LED sign recognition method according to an embodiment of the present invention as described above provides a new image with improved image quality to the driver by accurately matching and overlapping several image frame sizes, thereby providing the driver with a road for safe driving. It has the advantage that it can make a big contribution, such as increasing the readability of traffic information.
또한, LED 표지판 인식 방법은 카메라를 통해 획득되는 복수 이미지의 중첩을 통해 개선된 화질의 영상 프레임을 제공받을 수 있다는 장점이 있다.
In addition, the LED sign recognition method has the advantage of being able to receive an image frame of improved quality through superposition of a plurality of images acquired through a camera.
110 : 영상수신부 120 : 제어부
130 : 노이즈 제거부 140 : 출력부110: image receiving unit 120: control unit
130: noise removing unit 140: output unit
Claims (12)
상기 영상수신부를 통해 수신된 주변영상을 분석하여 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하고, 상기 추출된 복수의 영상 프레임에서 상기 LED 표지판 이미지의 사이즈를 리사이징(resizing)하여 동일화하며, 이를 기반으로 상기 LED 표지판 이미지의 사이즈가 동일화된 복수의 영상프레임을 중첩하여 제2이미지를 생성하는 제어부를 포함하되,
상기 제어부는, 상기 영상수신부를 통해 수신된 주변영상을 분석하여 LED 표지판의 테두리를 검출하고, 상기 LED 표지판의 테두리가 검출된 복수의 영상프레임들로부터 LED 표지판 이미지를 추적하여 복수의 LED 표지판 이미지 패치를 검출하며, 상기 LED 표지판의 테두리를 기준으로 상기 복수의 LED 표지판 이미지 패치들을 동일한 사이즈로 리사이징(resizing)하며, 상기 동일한 사이즈로 리사이징된 복수의 LED 표지판 이미지 패치들을 중첩하여 제2이미지를 생성하는 표지판 인식 시스템.
An image receiving unit for receiving surrounding images; And
By analyzing the surrounding image received through the image receiving unit, a plurality of image frames including an LED sign image are extracted, and the size of the LED sign image is resized from the extracted plurality of image frames to be identical. It includes a control unit for generating a second image by overlapping a plurality of image frames of the same size of the LED sign image based on,
The control unit analyzes the surrounding image received through the image receiving unit to detect the edge of the LED sign, and tracks the LED sign image from the plurality of image frames in which the edge of the LED sign is detected to patch a plurality of LED sign images And resizing the plurality of LED sign image patches to the same size based on the edge of the LED sign, and generating a second image by overlapping the plurality of LED sign image patches resized to the same size. Sign recognition system.
상기 영상수신부는 주변영상을 동영상 혹은 정지영상 중 적어도 하나의 형태로 수신하는 것을 특징으로 하는 표지판 인식 시스템.
The method of claim 1,
The sign recognition system, characterized in that the image receiving unit receives the surrounding image in the form of at least one of a moving image or a still image.
상기 제어부는 상기 추출된 영상 프레임에서 휘도 혹은 채도 중 적어도 어느 하나가 급격히 변하는 구간을 상기 LED 표지판의 테두리로 판단하여 LED 표지판 이미지를 포함하는 영상 프레임을 추출하는 것을 특징으로 하는 표지판 인식 시스템.
The method of claim 1,
The control unit determines a section in which at least one of luminance or saturation rapidly changes in the extracted image frame as an edge of the LED sign, and extracts an image frame including an LED sign image.
상기 추출된 복수의 영상프레임은, 적어도 셋 이상의 영상프레임을 포함하고,
상기 제어부는 상기 LED 표지판 이미지의 사이즈가 동일화된 적어도 셋 이상의 영상프레임을 중첩하여 제2이미지를 생성하는 것을 특징으로 하는 표지판 인식 시스템.
The method of claim 1,
The extracted plurality of image frames include at least three or more image frames,
The control unit generates a second image by overlapping at least three or more image frames having the same size of the LED sign image.
상기 표지판 인식 시스템은
상기 영상수신부를 통해 수신된 주변영상의 노이즈를 제거하는 노이즈제거부; 및
상기 제어부를 통해 생성된 제2이미지를 디스플레이하는 출력부 중 적어도 하나를 더 포함하는 것을 특징으로 하는 표지판 인식 시스템.
The method of claim 1,
The sign recognition system
A noise removal unit for removing noise from surrounding images received through the image receiving unit; And
A sign recognition system, further comprising at least one of an output unit that displays a second image generated by the control unit.
상기 수신된 주변영상을 분석하여 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하는 단계;
상기 추출된 복수의 영상 프레임에서 상기 LED 표지판 이미지의 사이즈를 리사이징(resizing)하여 동일화하는 단계; 및
상기 LED 표지판 이미지의 사이즈가 동일화된 복수의 영상프레임을 중첩하여 제2이미지를 생성하는 단계를 포함하되,
상기 수신된 주변영상을 분석하여 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하는 단계는,
상기 수신된 주변영상을 분석하여 LED 표지판의 테두리를 검출하고, 상기 LED 표지판의 테두리가 검출된 복수의 영상프레임들로부터 LED 표지판 이미지를 추적하여 복수의 LED 표지판 이미지 패치를 검출하는 단계를 포함하고,
상기 추출된 복수의 영상 프레임에서 상기 LED 표지판 이미지의 사이즈를 리사이징(resizing)하여 동일화하는 단계는,
상기 LED 표지판의 테두리를 기준으로 상기 복수의 LED 표지판 이미지 패치들을 동일한 사이즈로 리사이징(resizing)하는 단계를 포함하고,
상기 제2이미지를 생성하는 단계는,
상기 동일한 사이즈로 리사이징된 복수의 LED 표지판 이미지 패치들을 중첩하여 제2이미지를 생성하는 단계를 포함하는 표지판 인식 방법.
Receiving an ambient image;
Analyzing the received surrounding image to extract a plurality of image frames including an LED sign image;
Resizing and equalizing the size of the LED sign image from the extracted plurality of image frames; And
Including the step of generating a second image by overlapping a plurality of image frames of the same size of the LED sign image,
Analyzing the received surrounding image and extracting a plurality of image frames including an LED sign image,
Analyzing the received surrounding image to detect an edge of the LED sign, and detecting a plurality of LED sign image patches by tracking the LED sign image from the plurality of image frames in which the edge of the LED sign is detected,
The step of resizing and equalizing the size of the LED sign image from the extracted plurality of image frames,
Resizing the plurality of LED sign image patches to the same size based on the edge of the LED sign,
The step of generating the second image,
And generating a second image by overlapping the plurality of LED sign image patches resized to the same size.
상기 주변영상은 동영상 혹은 정지영상 중 적어도 어느 하나의 형태로 수신되는 것을 특징으로 하는 표지판 인식 방법.
The method of claim 7,
The sign recognition method, characterized in that the peripheral image is received in the form of at least one of a moving image or a still image.
상기 LED 표지판 이미지를 포함하는 복수의 영상프레임을 추출하는 단계는
상기 추출된 영상 프레임에서 휘도 혹은 채도 중 적어도 어느 하나가 급격히 변하는 구간을 상기 LED 표지판의 테두리로 판단하여 LED 표지판 이미지를 포함하는 영상 프레임을 추출하는 것을 특징으로 하는 표지판 인식 방법.
The method of claim 7,
Extracting a plurality of image frames including the LED sign image
A sign recognition method comprising extracting an image frame including an LED sign image by determining a section in which at least one of luminance or saturation rapidly changes in the extracted image frame as an edge of the LED sign.
상기 추출된 복수의 영상프레임은, 적어도 셋 이상의 영상프레임을 포함하고,
상기 제2이미지를 생성하는 단계는,
상기 LED 표지판 이미지의 사이즈가 동일화된 적어도 셋 이상의 영상프레임을 중첩하여 상기 제2이미지를 생성하는 것을 특징으로 하는 표지판 인식 방법.
The method of claim 7,
The extracted plurality of image frames include at least three or more image frames,
The step of generating the second image,
A sign recognition method, characterized in that the second image is generated by overlapping at least three or more image frames having the same size of the LED sign image.
상기 표지판 인식 방법은,
상기 수신된 주변영상의 노이즈를 제거하는 단계; 및
상기 생성된 제2이미지를 디스플레이하는 단계 중 적어도 하나의 단계를 더 포함하는 것을 특징으로 하는 표지판 인식 방법.
The method of claim 7,
The sign recognition method,
Removing noise from the received surrounding image; And
And at least one step of displaying the generated second image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140065679A KR102174000B1 (en) | 2014-05-30 | 2014-05-30 | System for Recognizing Information Plate for vehicle and Method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140065679A KR102174000B1 (en) | 2014-05-30 | 2014-05-30 | System for Recognizing Information Plate for vehicle and Method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150137584A KR20150137584A (en) | 2015-12-09 |
| KR102174000B1 true KR102174000B1 (en) | 2020-11-04 |
Family
ID=54873497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140065679A KR102174000B1 (en) | 2014-05-30 | 2014-05-30 | System for Recognizing Information Plate for vehicle and Method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102174000B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101874352B1 (en) * | 2017-12-14 | 2018-07-06 | 최현수 | VMS, In-vehicle terminal and intelligent transport system including the same for efficient transmission of traffic information on the road |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350571A (en) | 2005-06-14 | 2006-12-28 | Toyota Motor Corp | Lane detection device |
| JP2012119788A (en) * | 2010-11-29 | 2012-06-21 | Fujifilm Corp | Imaging device, image processing device, imaging method and image processing method |
| JP2013530460A (en) * | 2010-05-14 | 2013-07-25 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | Traffic sign recognition method |
| KR101353052B1 (en) | 2013-07-31 | 2014-01-20 | 주식회사 피엘케이 테크놀로지 | Image recognition system for vehicle for recognizing traffic signs |
-
2014
- 2014-05-30 KR KR1020140065679A patent/KR102174000B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350571A (en) | 2005-06-14 | 2006-12-28 | Toyota Motor Corp | Lane detection device |
| JP2013530460A (en) * | 2010-05-14 | 2013-07-25 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | Traffic sign recognition method |
| JP2012119788A (en) * | 2010-11-29 | 2012-06-21 | Fujifilm Corp | Imaging device, image processing device, imaging method and image processing method |
| KR101353052B1 (en) | 2013-07-31 | 2014-01-20 | 주식회사 피엘케이 테크놀로지 | Image recognition system for vehicle for recognizing traffic signs |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150137584A (en) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10025998B1 (en) | Object detection using candidate object alignment | |
| US8902053B2 (en) | Method and system for lane departure warning | |
| CN109409186B (en) | Driver assistance system and method for object detection and notification | |
| KR102227843B1 (en) | Operating method of lane departure warning system | |
| US10068146B2 (en) | Method and system for detection-based segmentation-free license plate recognition | |
| US20130279758A1 (en) | Method and system for robust tilt adjustment and cropping of license plate images | |
| JP6569385B2 (en) | Vehicle detection device, vehicle detection system, vehicle detection method, and vehicle detection program | |
| EP3376431B1 (en) | Method and apparatus for identifying pupil in image | |
| US9367747B2 (en) | Image processing apparatus, image processing method, and program | |
| US20160232415A1 (en) | Detection detection of cell phone or mobile device use in motor vehicle | |
| EP3051461A1 (en) | A computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs | |
| CN104573680A (en) | Image detection method, image detection device and traffic violation detection system | |
| KR101236223B1 (en) | Method for detecting traffic lane | |
| CN103065133A (en) | Method and device for detecting pedestrian in foggy weather | |
| US10115028B2 (en) | Method and device for classifying an object in an image | |
| US9727780B2 (en) | Pedestrian detecting system | |
| JP2015061163A (en) | Shielding detector | |
| KR102174000B1 (en) | System for Recognizing Information Plate for vehicle and Method thereof | |
| US20200394802A1 (en) | Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool | |
| US9183448B2 (en) | Approaching-object detector, approaching object detecting method, and recording medium storing its program | |
| TWI630818B (en) | Dynamic image feature enhancement method and system | |
| JP2007026400A (en) | Object detection/recognition system at place with sharp difference in illuminance using visible light and computer program | |
| KR102188162B1 (en) | Method and Apparatus for Detecting Vehicle in Foggy Atmosphere | |
| KR101625158B1 (en) | Apparatus and Method for Processing photographed image of Blackbox in vehicle | |
| KR101865958B1 (en) | Method and apparatus for recognizing speed limit signs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |