KR102281891B1 - Vehicle control system for providing road icing phenomenon nitification and control method thereof - Google Patents
Vehicle control system for providing road icing phenomenon nitification and control method thereof Download PDFInfo
- Publication number
- KR102281891B1 KR102281891B1 KR1020200128874A KR20200128874A KR102281891B1 KR 102281891 B1 KR102281891 B1 KR 102281891B1 KR 1020200128874 A KR1020200128874 A KR 1020200128874A KR 20200128874 A KR20200128874 A KR 20200128874A KR 102281891 B1 KR102281891 B1 KR 102281891B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- icing phenomenon
- road icing
- edge server
- road
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000005283 ground state Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010060904 Freezing phenomenon Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Atmospheric Sciences (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량 제어 시스템 및 그것의 제어방법에 관한 것으로, 보다 구체적으로, 인공신경망 엣지 서버 환경에서 도로 결빙 현상을 분류하고 알리는 것이 가능한 차량 제어 시스템 및 그것의 제어방법에 관한 것이다.The present invention relates to a vehicle control system and a control method thereof, and more particularly, to a vehicle control system capable of classifying and notifying a road icing phenomenon in an artificial neural network edge server environment, and a control method thereof.
블랙아이스는 낮 동안 내린 눈이나 비가 아스팔트 도로의 틈새에 스며들었다가 밤사이에 도로의 기름, 먼지 등과 섞여 도로 위에 얇게 얼어붙는 것을 칭하고 '도로 결빙 현상'이라고도 한다.Black ice refers to the thin layer of snow or rain that seeps into the cracks of asphalt roads during the day and mixes with road oil and dust during the night to freeze thinly on the road, also called 'road icing phenomenon'.
운전자는 도로 주행 시 눈에 잘 띄지 않고 단순히 도로가 조금 젖은 것으로 생각하기 쉽기 때문에 매년 블랙아이스로 인한 사고가 증가하고 있는 추세이고 이를 방지하고자 기술 개발도 많이 추진 중이지만 설계상 시간과 비용이 너무 많이 발생하는 문제점이 있다.Because the driver is not conspicuous when driving on the road and it is easy to think that the road is simply a little wet, the number of accidents caused by black ice is increasing every year. To prevent this, many technologies are being developed, but the design takes too much time and money. There is a problem that
이와 관련된 기술로서 대한민국등록특허공보 제10-1041022호인 '운전자를 위한 도로 결빙 예보 관리 시스템 및 방법'은 정보 리드 신호 수신 시 임의의 도로의 구간에 설치되어 노면의 날씨 환경을 센싱하여 날씨 환경 정보를 무선으로 송신하는 적어도 하나의 결빙 데이터 수집 센서 모듈과, 카메라를 구비하고, 정보 수집 이벤트 발생 시 상기 정보 리드 신호를 상기 결빙 데이터 수집 센서 모듈로 송신하고, 상기 정보 리드 신호에 응답하여 상기 날씨 환경 정보를 수신받아 미리 저장되어 있는 결빙 예측 조건 정보들과 비교하여 결빙 예측 조건을 만족하면 도로 결빙 예측을 통지한 후, 상기 카메라를 구동하여 상기 결빙데이터 수집 센서 모듈에 의해 결빙 가능성이 있는 것으로 예측된 도로 구간을 촬영하고 촬영된 영상데이터를 분석하여 빛의 반사도에 따라 도로의 결빙여부를 판단하여 통보하는 결빙 예측 장치를 포함한다.As a related technology, Korean Patent Publication No. 10-1041022, 'Road icing forecasting management system and method for drivers', is installed in any section of a road when an information lead signal is received and senses the weather environment of the road surface to provide weather environment information. at least one icing data collection sensor module for wirelessly transmitting, and a camera, and when an information collection event occurs, transmits the information lead signal to the icing data collection sensor module, and in response to the information lead signal, the weather environment information After receiving and comparing with pre-stored icing prediction condition information, if the icing prediction condition is satisfied, the road icing prediction is notified, and then the camera is driven to drive the camera to predict the possibility of icing by the icing data collection sensor module. It includes an icing prediction device that shoots a section and analyzes the captured image data to determine whether the road is icy according to the reflectivity of light and notify it.
상기 종래 기술 또한 도로의 노면 날씨 환경을 센싱하기 위한 센서모듈을 다수개 설치해야 함으로 설계 시간이 오래 걸리고 그 비용도 많이 소요되는 문제점이 있고 빛의 반사도에 따라 결빙 여부를 판단하지만 외부 조건에 의해서 반사도가 오탐될 문제점이 있으며 결빙 예측 조건에 만족하지 않는 특수한 환경 발생시 결빙을 판단할 수 없는 문제점이 있었다.The prior art also has a problem in that it takes a long time to design and requires a lot of cost because a plurality of sensor modules for sensing the road surface weather environment must be installed. There is a problem in that the ice is falsely detected, and when a special environment that does not satisfy the freezing prediction condition occurs, there is a problem that ice cannot be determined.
상술한 바와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 엣지 서버를 활용하여, 도로 결빙 현상을 최적화된 방법으로 분류하고, 주변 차량들에게 도로 결빙 현상에 대해 경고하는 것이 가능한 차량 제어 시스템 및 그것의 제어방법을 제공하는 것이다.An object of the present invention for solving the above-described problems is a vehicle control system capable of classifying a road icing phenomenon in an optimized method and warning surrounding vehicles about a road icing phenomenon using an edge server, and It provides a way to control it.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 차량 제어 시스템은, 도로 주변에 설치되어, 차량과 클라우드 서버 사이의 통신을 중계하도록 형성되는 엣지 서버, 상기 엣지 서버와 통신을 수행하며, 상기 엣지 서버를 통해 차량과 데이터를 송수신하는 클라우드 서버 및 카메라를 통해 수신되는 영상을 분석하여 도로 상에 존재하는 도로 결빙 현상을 감지하고, 감지 결과를 엣지 서버로 전송하는 차량을 포함한다.A vehicle control system according to an embodiment of the present invention for solving the above-described problems is an edge server installed around a road and formed to relay communication between a vehicle and a cloud server, and performs communication with the edge server, A cloud server that transmits and receives data to and from the vehicle through the edge server, and a vehicle that analyzes an image received through a camera to detect a road icing phenomenon existing on the road, and transmits the detection result to the edge server.
실시 예에 있어서, 상기 차량은, 온보드 처리장치를 포함하고, 상기 온보드 처리장치는, 상기 카메라를 통해 수신된 영상을 소정 개수의 이미지로 분할하는 것을 특징으로 한다.In an embodiment, the vehicle includes an on-board processing device, and the on-board processing device divides the image received through the camera into a predetermined number of images.
실시 예에 있어서, 상기 온보드 처리장치는, 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 분류하고, 분류된 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 한다.In an embodiment, the onboard processing device classifies an image including a road icing phenomenon among the divided images, and transmits the classified image to the edge server.
실시 예에 있어서, 상기 온보드 처리장치는, 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지가 존재하는 경우, 상기 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치에 출력하는 것을 특징으로 하는 한다.In an embodiment, the on-board processing device is characterized in that when an image including a road icing phenomenon exists among the divided images, the image including the road icing phenomenon is output to a vehicle display device.
실시 예에 있어서, 상기 온보드 처리장치는, 기 학습된 인공신경망을 이용하여, 분할된 이미지 중 도로 결빙 현상이 포함된 이미지를 분류하는 것을 특징으로 한다.In an embodiment, the onboard processing device classifies an image including a road icing phenomenon among the divided images by using a pre-learned artificial neural network.
실시 예에 있어서, 상기 온보드 처리장치는, 상기 카메라를 통해 수신된 영상의 시간을 확인하도록 타임 스탬프를 설정하는 것을 특징으로 한다.In an embodiment, the on-board processing device sets a time stamp to check the time of the image received through the camera.
실시 예에 있어서, 상기 온보드 처리장치는, 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 촬영한 시간과 GPS 데이터를 상기 도로 결빙 현상을 포함하는 이미지에 연계하고, 상기 연계된 도로 결빙 현상을 포함하는 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 한다.In an embodiment, the on-board processing device links the time at which the image including the road icing phenomenon among the divided images and the GPS data is captured to the image including the road icing phenomenon, and includes the linked road icing phenomenon It is characterized in that the image is transmitted to the edge server.
실시 예에 있어서, 상기 엣지 서버는, 상기 차량으로부터 도로 결빙 현상을 포함하는 이미지를 수신하면, 해당 도로 결빙 현상이 발견된 위치 정보를, 상기 도로 결빙 현상을 포함하는 이미지에 연계된 GPS 데이터에 근거하여 결정하는 것을 특징으로 한다.In an embodiment, when the edge server receives an image including a road icing phenomenon from the vehicle, the location information at which the corresponding road icing phenomenon is found is based on GPS data linked to the image including the road icing phenomenon to be determined.
실시 예에 있어서, 상기 엣지 서버는, 상기 도로 결빙 현상이 발견된 위치 정보를 다른 차량으로 전송하는 것을 특징으로 한다.In an embodiment, the edge server is characterized in that it transmits the location information in which the road icing phenomenon is found to another vehicle.
실시 예에 있어서, 상기 엣지 서버는, 상기 도로 결빙 현상이 발견된 위치 정보를, 상기 클라우드 서버로 전송하고, 상기 클라우드 서버는, 상기 수신된 위치 정보에 근거하여, 도로 결빙 현상에 대한 데이터를 업데이트하는 것을 특징으로 한다.In an embodiment, the edge server transmits the location information where the road icing phenomenon is found to the cloud server, and the cloud server updates data on the road icing phenomenon based on the received location information characterized in that
실시 예에 있어서, 상기 클라우드 서버는, 상기 엣지 서버로부터 도로 결빙 현상이 발견된 위치 정보를 수신하고, 상기 위치 정보에 근거하여, 상기 도로 결빙 현상이 발견된 위치를 경유하는 차량들로 경고 메시지를 전송하도록 상기 엣지 서버를 제어하는 것을 특징으로 한다.In an embodiment, the cloud server receives the location information where the road ice phenomenon is found from the edge server, and sends a warning message to vehicles passing through the location where the road ice phenomenon is found based on the location information. It is characterized in that the edge server is controlled to transmit.
실시 예에 있어서, 상기 클라우드 서버는, 상기 도로 결빙 현상에 대한 경고 메시지를 생성하고, 상기 생성된 경고 메시지를 상기 도로 결빙 현상이 발견된 지점을 할당하는 엣지 서버로 전송하며, 상기 엣지 서버는, 상기 경고 메시지를 상기 도로 결빙 현상이 발견된 지점을 경유하는 차량으로 전송하는 것을 특징으로 한다.In an embodiment, the cloud server generates a warning message for the road icing phenomenon, and transmits the generated warning message to an edge server that allocates a point where the road icing phenomenon is found, wherein the edge server comprises: The warning message may be transmitted to a vehicle passing through a point where the road icing phenomenon is detected.
본 발명의 일 실시 예에 따른 엣지 서버, 클라우드 서버 및 차량을 포함하는 차량 제어 시스템의 제어방법은, 상기 차량이 카메라를 통해 수신되는 영상을 분석하는 단계, 상기 차량이 상기 영상에서 도로 상에 존재하는 도로 결빙 현상을 감지하는 단계, 상기 차량이 감지 결과를 상기 엣지 서버로 전송하는 단계, 상기 엣지 서버가 도로 결빙 현상이 발견된 위치 정보를 상기 클라우드 서버로 전송하는 단계 및 상기 클라우드 서버가 도로 결빙 현상에 대한 데이터를 업데이트하는 단계를 포함 한다.A control method of a vehicle control system including an edge server, a cloud server, and a vehicle according to an embodiment of the present invention includes the steps of analyzing an image received by the vehicle through a camera, wherein the vehicle is present on a road in the image detecting a road icing phenomenon, the vehicle transmitting the detection result to the edge server, the edge server transmitting location information where the road icing phenomenon is found to the cloud server, and the cloud server icing the road It involves updating data about the phenomenon.
실시 예에 있어서, 상기 감지하는 단계는, 상기 차량이 상기 영상을 소정 개수의 이미지로 분할하는 것을 특징으로 한다.In an embodiment, in the detecting, the vehicle divides the image into a predetermined number of images.
실시 예에 있어서, 상기 감지하는 단계는, 상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 분류하고, 상기 분류된 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 한다.In an embodiment, the detecting comprises classifying an image including a road icing phenomenon among the divided images of the vehicle, and transmitting the classified image to the edge server.
실시 예에 있어서, 상기 감지하는 단계는, 상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지가 존재하는 경우, 상기 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치에 출력하는 것을 특징으로 한다.In an embodiment, the detecting includes outputting the image including the road icing phenomenon to the vehicle display device when an image including the road icing phenomenon exists among the images in which the vehicle is divided.
실시 예에 있어서, 상기 감지하는 단계는, 상기 차량이 기 학습된 인공신경망을 이용하여, 분할된 이미지 중 도로 결빙 현상이 포함된 이미지를 분류하는 것을 특징으로 한다.In an embodiment, the detecting comprises classifying an image including a road icing phenomenon among the divided images by using an artificial neural network previously learned by the vehicle.
실시 예에 있어서, 상기 감지하는 단계는, 상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 촬영한 시간과 GPS 데이터를 상기 도로 결빙 현상을 포함하는 이미지에 연계하고, 상기 연계된 도로 결빙 현상을 포함하는 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 한다.In an embodiment, the detecting comprises linking a time at which the vehicle captures an image including a road icing phenomenon among the divided images and GPS data to the image including the road icing phenomenon, and the associated road icing It is characterized in that the image including the development is transmitted to the edge server.
실시 예에 있어서, 상기 클라우드 서버로 전송하는 단계는, 상기 엣지 서버가 상기 차량으로부터 도로 결빙 현상을 포함하는 이미지를 수신하면, 해당 도로 결빙 현상이 발견된 위치 정보를, 상기 도로 결빙 현상을 포함하는 이미지에 연계된 GPS 데이터에 근거하여 결정하는 것을 특징으로 한다.In an embodiment, the step of transmitting to the cloud server includes, when the edge server receives an image including a road icing phenomenon from the vehicle, location information in which the corresponding road icing phenomenon is found, including the road icing phenomenon It is characterized in that the determination is made based on GPS data associated with the image.
상술한 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 차량 제어 시스템의 제어방법을 제공하는 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상술한 방법 중 어느 하나의 방법을 수행하기 위해 매체에 저장된다. A computer program for providing a control method of a vehicle control system according to another embodiment of the present invention for solving the above-described problems is combined with a computer that is hardware and is stored in a medium to perform any one of the methods described above. .
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method may be further provided.
상기와 같은 본 발명에 따르면, 인공신경망을 이용하여 도로 결빙 현상을 정확하게 분류하고, 이를 엣지 서버를 통해 주변 차량으로 알려, 사고 위험성을 현저히 줄일 수 있는 효과가 있다.According to the present invention as described above, there is an effect of remarkably reducing the risk of an accident by accurately classifying the road icing phenomenon using an artificial neural network and notifying the surrounding vehicle through the edge server.
또한, 본 발명에 따르면, 엣지 서버를 통해 클라우드 서버의 도로 결빙 현상에 대한 업데이트를 유지하고, 엣지 서버를 통해 차량간 통신을 원할하게 수행하여, 도로 결빙 현상에 대한 관리와 사고 방지를 위한 최적화된 제어방법을 제공할 수 있다.In addition, according to the present invention, the cloud server maintains an update on the road icing phenomenon through the edge server and smoothly performs inter-vehicle communication through the edge server, so as to manage the road icing phenomenon and prevent accidents. A control method can be provided.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 차량 제어 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 차량을 설명하기 위한 블록도이다.
도 3은 본 발명의 차량 제어 시스템의 제어방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 차량에 포함된 온보드 처리장치의 처리방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 엣지 서버의 제어방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 차량에 구비된 온보드 처리장치의 구성을 설명하기 위한 블록도이다. 1 is a conceptual diagram for explaining a vehicle control system of the present invention.
2 is a block diagram illustrating a vehicle of the present invention.
3 is a flowchart illustrating a control method of a vehicle control system according to the present invention.
4 is a flowchart for explaining a processing method of an on-board processing device included in a vehicle of the present invention.
5 is a flowchart illustrating a method of controlling an edge server according to the present invention.
6 is a block diagram for explaining the configuration of an on-board processing device provided in a vehicle of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.Before the description, the meaning of the terms used herein will be briefly described. However, it should be noted that the description of terms is for the purpose of helping the understanding of the present specification, and is not used in the meaning of limiting the technical idea of the present invention unless explicitly described as limiting the present invention.
도 1은 본 발명의 차량 제어 시스템을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining a vehicle control system of the present invention.
본 발명은 인공신경망을 이용하며, 엣지 서버를 구비하는 인공신경망 엣지 서버 환경에서, 차량 카메라 영상 속 도로 결빙 현상 분할, 분류 및 알림 방안을 제공할 수 있다.The present invention uses an artificial neural network, and in an artificial neural network edge server environment having an edge server, it is possible to provide a method for dividing, classifying, and notifying the freezing phenomenon at the speed of a vehicle camera image.
구체적으로, 본 발명은, 겨울철 도로 환경에서 차량에 구비된 카메라로 도로 결빙 현상(예를 들어, 블랙 아이스)을 감지하기 위해 차량 내 카메라로 도로 환경을 촬영하고 차량 내 온보드 처리장치를 통해 이미지 프레임을 해독(decoding)할 수 있다. Specifically, in the present invention, a road environment is photographed with an in-vehicle camera in order to detect a road icing phenomenon (eg, black ice) with a camera provided in the vehicle in a winter road environment, and an image frame is provided through an on-board processing device in the vehicle. can be decoded.
또한, 차량의 온보드 처리장치는 카메라를 통해 수신된 영상을 그룹별로 자동 분할하고, 인공신경망을 이용하여 도로 결빙 현상을 분류할 수 있다.In addition, the on-board processing device of the vehicle may automatically divide the image received through the camera into groups, and classify the road icing phenomenon using an artificial neural network.
이후, 온보드 처리장치는, 차량 내 디스플레이에 주변 위험 지역 정보(예를 들어, 감지된 도로 결빙 현상)를 출력(제공)할 수 있다. Thereafter, the on-board processing device may output (provide) information about the surrounding dangerous area (eg, a detected road icing phenomenon) on a display in the vehicle.
또한, 온보드 처리장치는, 해당 차량의 가속도 정보와 GPS의 위치정보를 도로 결빙 현상이 포함된 이미지에 연계시키고, 해당 차량에서 제공하는 경고 메시지 정보로 활용하도록, 가장 가까운 인공신경망 엣지 서버로 전송할 수 있다.In addition, the on-board processing device links the acceleration information of the vehicle and the GPS location information to the image containing the road icing phenomenon and transmits it to the nearest artificial neural network edge server to be used as warning message information provided by the vehicle. there is.
인공신경망 엣지 서버에서는 수신한 주변의 모든 도로 결빙 정보가 저리되어 있으며, 엣지 서버는, 도로 결빙 정보에 근거하여 해당 지역에 대한 경고 메시지를 생성한 후 클라우드 서버 및 해당 엣지 서버가 관할하는 지역을 통과하는 차량으로 전송할 수 있다. 클러우드 서버에 전송된 경고 메시지는 문서화될 수 있다.The artificial neural network edge server stores all the road icing information it receives, and the edge server generates a warning message for the area based on the road icing information and then passes through the cloud server and the area under the jurisdiction of the edge server. can be transferred to a vehicle that Alert messages sent to the cloud server can be documented.
또한 인공신경망 엣지 서버는 도로 결빙 현상이 감지된 해당 지역에 존재하는 주변 차량에게 위험 정보를 전송할 수 있다. In addition, the artificial neural network edge server can transmit risk information to nearby vehicles in the area where road icing is detected.
이를 통해, 본 발명은, 도로 환경에서의 지반 상태를 눈, 얼음, 물 등으로 분류한 후 해빙점(눈 덮인 지역)을 보다 정확하게 감지하고, 국내 겨울철 교통사고의 주요 원인인 도로 결빙 현상을 검출 및 예측하며, 주변 모든 차량에 위험 정보를 전송할 수 있다는 점에서 가까운 미래에 다가올 인적, 재산적 손실을 예방할 수 있다.Through this, the present invention more accurately detects the thawing point (snow-covered area) after classifying the ground conditions in the road environment into snow, ice, water, etc., and detects the road icing phenomenon, which is the main cause of domestic winter traffic accidents. And it is possible to prevent human and property losses in the near future in that it can transmit risk information to all nearby vehicles.
이를 위해, 본 발명의 차량 제어 시스템은, 도 1을 참조하면, 도로 주변에 설치되어, 차량(200)과 클라우드 서버(600) 사이의 통신을 중계하도록 형성되는 엣지(Edge) 서버(400), 상기 엣지 서버(400)와 통신을 수행하며, 상기 엣지 서버(400)를 통해 차량(200)과 데이터(또는 정보)를 송수신하는 클라우드 서버(600) 및 카메라(300)를 통해 수신되는 영상을 분석하여 도로 상에 존재하는 도로 결빙 현상(500)을 감지하고, 감지 결과를 엣지 서버(400)로 전송하는 차량(200)을 포함할 수 있다.To this end, the vehicle control system of the present invention, with reference to FIG. 1, is installed around the road, the edge (Edge)
도로 주변은, 도로로부터 소정 거리 떨어진 영역 또는 도로 위 상공을 포함할 수 있으며, 도로의 소정 영역에서 주행중인 차량과 통신 가능한 임의의 지점을 의미할 수 있다.The periphery of the road may include an area separated from the road by a predetermined distance or the sky above the road, and may mean any point capable of communicating with a vehicle traveling in a predetermined area of the road.
도 2는 본 발명의 차량을 설명하기 위한 블록도이다.2 is a block diagram illustrating a vehicle of the present invention.
도 2를 참조하면, 본 발명의 차량(200)은, 온보드(On-board) 처리장치(205)를 포함할 수 있다.Referring to FIG. 2 , the
상기 온보드 처리장치(205)는, 차량의 전반적인 제어를 수행할 수 있다.The
예를 들어, 온보드 처리장치(205)는, 차량의 GPS 데이터(201), 차량에 구비된 카메라의 비디오 데이터(또는, 영상, 비디오 스트림)(301), 외부 온도(202), 차량 가속기 데이터(203) 등을 차량에 구비된 전장품(구성품)으로부터 수신할 수 있다. For example, the
또한, 온보드 처리장치(205)는, 엣지 서버로부터 전송되는 데이터를 데이터 수신부(101)를 통해 수신할 수 있다.Also, the
온보드 처리장치(205)는, 수신된 데이터 및 정보를 분할 및 분류하고, 처리된 정보를 차량 디스플레이(204)에 표시하거나, 엣지 서버(400)로 전송할 수 있다.The
본 발명의 차량 제어 시스템은, 차량에 구비된 카메라를 통해 수신되는 영상을 분석하여 도로 결빙 현상을 감지 및 분류하고, 엣지 서버를 통해 주변 차량들에게 경고 메시지를 전송할 수 있는 제어방법을 제공할 수 있다.The vehicle control system of the present invention may provide a control method capable of detecting and classifying road icing by analyzing an image received through a camera provided in the vehicle, and transmitting a warning message to surrounding vehicles through an edge server. there is.
도 3은 본 발명의 차량 제어 시스템의 제어방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a control method of a vehicle control system according to the present invention.
한편, 차량(200)에 구비된 온보드 처리장치(205)는, 차량에 구비된 카메라(300)를 통해 수신된 영상(또는 비디오 스트림)을 입력받을 수 있다(S801).Meanwhile, the
차량의 온보드 처리장치(205)는, 타임스탬프가 있는 이미지 프레임을 생성할 수 있다(S802). The on-
즉, 차량의 온보드 처리장치(205)는, 카메라(300)를 통해 수신된 영상의 시간을 확인할 수 있도록 타임 스탬프(time stamp)를 설정할 수 있다.That is, the on-
차량의 온보드 처리장치(205)는, 카메라를 통해 수신된 영상을 소정 개수의 이미지로 분할할 수 있다.The on-
이 때, 온보드 처리장치(205)는, 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 분류(선택, 감지)하고, 분류된 이미지를 엣지 서버(400)로 전송할 수 있다.In this case, the
온보드 처리장치(205)는, 인공신경망을 이용하여 분할된 이미지 중 도로 결빙 현상이 감지된(포함된) 이미지를 분류할 수 있다(S804). The
구체적으로, 온보드 처리장치(205)는, 기 학습된 인공신경망을 이용하여, 분할된 이미지 중 도로 결빙 현상이 포함된 이미지를 분류할 수 있다.Specifically, the
상기 인공신경망은, 영상을 도로인 부분과 아닌 부분으로 분할하고, 도로인 부분 중에서도 도로 결빙 현상을 감지하도록 기 학슴된 인공신경망일 수 있다.The artificial neural network may be an artificial neural network previously learned to divide an image into a road-in part and a non-road part part, and detect a road icing phenomenon among the road-in parts.
상기 인공신경망은, 매번 새로운 영상이 입력되면, 입력된 영상을 입력값으로 설정하고, 기 학습된 알고리즘에 따라 새로운 영상을 복수의 이미지로 분할하며, 분할된 이미지에서 도로 결빙 현상이 포함된 이미지를 출력값으로 출력하도록 형성될 수 있다.The artificial neural network, when a new image is input every time, sets the input image as an input value, divides the new image into a plurality of images according to a pre-learned algorithm, and selects an image including road icing from the divided image. It may be configured to output as an output value.
차량의 온보드 처리장치(205)는, 분할된 이미지 중 도로 결빙 현상이 발견된(포함된) 이미지가 존재하는 경우, 상기 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치(204)에 출력할 수 있다.The on-
한편, 온보드 처리장치(205)는, 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 촬영한 시간과 GPS 데이터를 도로 결빙 현상을 포함하는 이미지에 연계할 수 있다(S805).Meanwhile, the on-
이후, 온보드 처리장치(205)는, 상기 촬영한 시간과 GPS 데이터가 연계된 도로 결빙 현상을 포함하는 이미지를 엣지 서버(400)로 전송할 수 있다(S806).Thereafter, the
엣지 서버(400)는, 차량(200)으로부터 도로 결빙 현상을 포함하는 이미지(도로 결빙 현상이 발견된 이미지)를 수신하면, 해당 도로 결빙 현상이 발견된 위치 정보를, 상기 도로 결빙 현상을 포함하는 이미지에 연계된 GPS 데이터에 근거하여 결정할 수 있다.When the
구체적으로, 엣지 서버는, 이미지에 연계된 GPS 데이터와, 도로 결빙 현상을 포함하는 이미지의 분석을 통해 추출된 도로 결빙 현상과 차량 사이의 거리 정보에 근거하여, 도로 결빙 현상이 발견된 위치 정보를 결정할 수 있다.Specifically, the edge server retrieves the location information where the road icing phenomenon was found based on the GPS data linked to the image and the distance information between the road icing phenomenon and the vehicle extracted through the analysis of the image including the road icing phenomenon. can decide
이후, 엣지 서버는, 도로 결빙 현상이 발견된 위치 정보를 다른 차량으로 전송할 수 있다.Thereafter, the edge server may transmit location information in which the road icing phenomenon is detected to another vehicle.
구체적으로, 엣지 서버는, 소정 영역을 할당받고, 할당받은 영역 내에 존재하는 차량과 통신을 수행할 수 있다. Specifically, the edge server may be allocated a predetermined area and communicate with a vehicle existing in the allocated area.
엣지 서버(400)는, 소정 영역 내에서 주행중인 차량(즉, 상기 다른 차량)으로, 도로 결빙 현상이 발견된 위치 정보를 전송할 수 있다. 이 경우, 위치 정보를 수신한 차량들은, 상기 위치 정보에 근거하여, 위험 표시를 하거나, 해당 위치 정보에 해당하는 지점을 회피 주행하도록 자율주행할 수 있다.The
또한, 엣지 서버(400)는, 도로 결빙 현상이 발견된 위치 정보를, 클라우드 서버(600)로 전송할 수 있다.Also, the
클라우드 서버(600)는, 수신된 위치 정보에 근거하여, 도로 결빙 현상에 대한 데이터를 업데이트할 수 있다.The
도 4는 본 발명의 차량에 포함된 온보드 처리장치의 처리방법을 설명하기 위한 흐름도이다.4 is a flowchart for explaining a processing method of an on-board processing device included in a vehicle of the present invention.
앞서 설명한 것과 같이, 본 발명의 차량에 구비된 온보드 처리장치는, 차량 내에 구비된 카메라로부터 비디오 스트림(즉, 영상)을 입력(수신)하고, 타임 스탬프를 설정할 수 있다(S701, S702).As described above, the onboard processing device provided in the vehicle of the present invention may input (receive) a video stream (ie, image) from a camera provided in the vehicle and set a time stamp (S701, S702).
또한, 본 발명의 온보드 처리장치는, 인공신경망 기반으로 소정 개수의 이미지로 영상을 분할하고, 분할된 이미지에서 도로 결빙 현상을 분류(추출, 감지)할 수 있다(S703, S704).In addition, the on-board processing apparatus of the present invention may segment an image into a predetermined number of images based on an artificial neural network, and classify (extract, detect) road icing from the divided images (S703, S704).
이후, 온보드 처리장치는, 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치에 출력하거나, 엣지 서버로부터 수신된 타차량에 의해 감지된 도로 결빙 현상에 대한 이미지를 차량 디스플레이 장치에 출력할 수 있다(S705).Thereafter, the onboard processing device may output an image including the road icing phenomenon to the vehicle display device or output an image of the road icing phenomenon detected by another vehicle received from the edge server to the vehicle display device (S705). ).
도 5는 본 발명의 엣지 서버의 제어방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of controlling an edge server according to the present invention.
엣지 서버(400)는, 할당된 영역에서 주행중인 적어도 하나의 차량과 통신 연결을 설정할 수 있다(S601).The
이후, 엣지 서버(400)는, 차량으로부터 수신되는 도로 결빙 현상을 포함하는 이미지를 수신하면, 수신된 이미지에 연계된 시간 및 GPS 데이터에 근거하여, 도로 결빙 현상이 발견된 위치 정보를 결정(산출)할 수 있다.Then, when the
상기 도로 결빙 현상이 발견된 위치 정보는, 엣지 서버(400)뿐만 아니라, 차량(온보드 처리장치) 또는 클라우드 서버(600)에서 수행될 수도 있다.The location information where the road icing phenomenon is found may be performed not only in the
엣지 서버(400)는, 도로 결빙 현상에 대한 경고 메시지를 할당 영역에서 주행중인 차량으로 전송할 수 있다(S602).The
또한, 엣지 서버(400)는, 도로 결빙 현상이 발견된 위치 정보에 근거하여, 데이터베이스를 업데이트하고, 클라우드 서버로 업데이트된 데이터를 전송할 수도 있다(S603, S604).Also, the
이후, 엣지 서버(400)는, 새로운 차량 정보가 수신(수집)되는 것을 대기할 수 있다(S605)Thereafter, the
즉, 엣지 서버(400)는, 새로운 차량 정보(즉, 새로운 차량으로부터 수신되는 영상)가 수신되면, 앞서 설명한 과정을 통해 영상을 분할하고, 도로 결빙 현상을 감지하며, 도로 결빙 현상에 대한 위치 정보를 산출할 수 있다.That is, when new vehicle information (ie, an image received from a new vehicle) is received, the
클라우드 서버(600)는, 엣지 서버(400)로부터 도로 결빙 현상이 발견된 위치 정보를 수신하고, 상기 위치 정보에 근거하여, 도로 결빙 현상이 발견된 위치를 경유하는 차량들로 경고 메시지를 전송하도록 엣지 서버(400)를 제어할 수 있다.The
구체적으로, 클라우드 서버(600)는, 도로 결빙 현상에 대한 경고 메시지를 생성하고, 상기 생성된 경고 메시지를 도로 결빙 현상이 발견된 지점을 할당하는 엣지 서버로 전송할 수 있다.Specifically, the
이후, 엣지 서버(400)는, 상기 경고 메시지를 도로 결빙 현상이 발견된 지점을 경유하는 차량으로 전송할 수 있다.Thereafter, the
클라우드 서버(또는, 메인 네트워크부)(600)는, 엣지 서버에서 처리 및 업데이트된 모든 데이터를 백업할 수 있다. 또한, 클라우드 서버(600)는, 복수의 엣지 서버를 제어하며, 각 엣지 서버가 할당하는 영역(지역) 내 모든 차량과 통신하기 위해 네트워크 연결을 설정할 수 있다. The cloud server (or main network unit) 600 may back up all data processed and updated in the edge server. In addition, the
이후, 클라우드 서버(600)는, 엣지 서버(400)로부터 수신된 도로 결빙 현상을 포함하는 이미지에 근거하여, 도로 결빙 현상 경고 메시지를 생성 및 엣지 서버로 전송할 수 있다.Thereafter, the
클라우드 서버(600)는, 엣지 서버(400)를 통해 새로운 차량 정보의 수집을 대기할 수 있으며, 데이터 베이스의 최신성을 유지할 수 있다.The
한편, 도 3에서 설명한 온보드 처리장치의 제어방법은, 엣지 서버(400) 또는 클라우드 서버(600)에 의해 수행될 수도 있다. Meanwhile, the control method of the on-board processing device described in FIG. 3 may be performed by the
즉, 온보드 처리 장치의 제어방법이 엣지 서버 또는 클라우드 서버에서 수행되기 위해서는, 차량의 카메라를 통해 수신되는 영상(비디오 스트림)을 수신하는 단계가 추가로 수행될 수 있다.That is, in order for the control method of the on-board processing device to be performed by the edge server or the cloud server, the step of receiving an image (video stream) received through a camera of the vehicle may be additionally performed.
도 6은 본 발명의 차량에 구비된 온보드 처리장치의 구성을 설명하기 위한 블록도이다.6 is a block diagram for explaining the configuration of an on-board processing device provided in a vehicle of the present invention.
온보드 처리장치(205)는, 데이터 분할 및 분류를 위해 데이터를 처리할 수 있는 여러 하드웨어 부품과 데이터를 엣지 서버로 전송할 네트워킹 부품을 갖춘 통합 컴퓨팅 시스템일 수 있다.The
온보드 처리장치(250) 중 보드의 주요 부분은 중앙처리장치(902)이며 모든 명령을 내리고 전체 시스템을 통제한다. 빠른 계산에 도움이 되는 휘발성 메모리(903), 저장해야 하는 데이터는 SSD(904)의 비휘발성 메모리에 저장된다. The main part of the board of the onboard processing unit 250 is the
온보드 처리장치(250)는 많은 비디오와 이미지를 처리해야 하기 때문에 보드에는 그래픽 처리 장치(906);와 비디오 휘발성 메모리(907);가 내장될 수 있다.Since the on-board processing unit 250 has to process many videos and images, a
비디오 버퍼 프로세스(908)는, 카메라 I/O 입력(910) 영상을 실시간으로 저장해 그래픽 처리 장치(906)로 전송한 후 처리하도록 설계된 휘발성 메모리이다. The
네트워크 컨트롤러(909)는 무선 전송과 데이터 수신을 무선 모듈(911)로 제어하여 차량의 데이터를 엣지 서버로 전송할 수 있다.The
위에서 설명한 차량 제어 시스템의 기능/동작은, 차량 제어 시스템의 제어방법으로 동일/유사하게 유추적용될 수 있다.The functions/operations of the vehicle control system described above may be analogously/similarly applied to the control method of the vehicle control system.
예를 들어, 엣지 서버, 클라우드 서버 및 차량을 포함하는 차량 제어 시스템의 제어방법은, 상기 차량이 카메라를 통해 수신되는 영상을 분석하는 단계, 상기 차량이 상기 영상에서 도로 상에 존재하는 도로 결빙 현상을 감지하는 단계, 상기 차량이 감지 결과를 상기 엣지 서버로 전송하는 단계, 상기 엣지 서버가 도로 결빙 현상이 발견된 위치 정보를 상기 클라우드 서버로 전송하는 단계 및 상기 클라우드 서버가 도로 결빙 현상에 대한 데이터를 업데이트하는 단계를 포함할 수 있다.For example, a control method of a vehicle control system including an edge server, a cloud server, and a vehicle may include: analyzing an image received by the vehicle through a camera; a road icing phenomenon in which the vehicle is present on a road in the image detecting, the vehicle transmitting the detection result to the edge server, the edge server transmitting location information where the road icing phenomenon is found to the cloud server, and the cloud server transmitting data on the road icing phenomenon may include updating the
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a server, which is hardware, and stored in a medium.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. there is. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and a computer readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
200: 차량 300: 카메라
400: 엣지 서버 500: 도로 결빙 현상
600: 클라우드 서버200: vehicle 300: camera
400: Edge Server 500: Road icing
600: cloud server
Claims (20)
도로 주변에 설치되어 상기 차량과 클라우드 서버 사이의 통신을 중계하도록 형성되되, 상기 차량으로부터 도로 결빙 현상을 포함하는 이미지를 수신하면, 해당 도로 결빙 현상이 발견된 위치 정보를 다른 차량 및 상기 클라우드 서버로 전송하는 엣지 서버; 및
상기 엣지 서버와 통신을 수행하며, 상기 엣지 서버를 통해 차량과 데이터를 송수신하되, 상기 엣지 서버로부터 도로 결빙 현상이 발견된 위치 정보를 수신하면, 상기 위치 정보에 근거하여 상기 도로 결빙 현상이 발견된 위치를 경유하는 차량들로 경고 메시지를 전송하는 클라우드 서버를 포함하며,
상기 엣지 서버는 상기 도로 결빙 현상을 포함하는 이미지에 연계된 GPS 데이터와 해당 도로 결빙 현상과 차량 사이의 거리 정보에 근거하여 해당 도로 결빙 현상이 발견된 위치 정보를 결정하는 것을 특징으로 하는 차량 제어 시스템.The image received through the camera is divided into a predetermined number of images, and among the divided images, images including road icing are classified using a pre-trained artificial neural network, but the ground state is classified into any one of snow, ice, and water. a vehicle that classifies and transmits the classified image to an edge server;
It is installed around the road and is formed to relay communication between the vehicle and the cloud server. When an image including a road icing phenomenon is received from the vehicle, the location information in which the corresponding road icing phenomenon is found is transmitted to another vehicle and the cloud server. sending edge server; and
communicates with the edge server, transmits and receives data to and from the vehicle through the edge server, and receives location information where the road icing phenomenon is detected from the edge server, based on the location information, the road icing phenomenon is detected It includes a cloud server that transmits a warning message to vehicles passing through the location,
The edge server is a vehicle control system, characterized in that, based on GPS data linked to the image including the road icing phenomenon and distance information between the corresponding road icing phenomenon and the vehicle, the edge server determines location information where the corresponding road icing phenomenon is found. .
상기 차량은,
분할된 이미지 중 도로 결빙 현상을 포함하는 이미지가 존재하는 경우, 상기 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치에 출력하는 것을 특징으로 하는 차량 제어 시스템.The method of claim 1,
The vehicle is
The vehicle control system, characterized in that, when an image including a road icing phenomenon exists among the divided images, the image including the road icing phenomenon is output to a vehicle display device.
상기 차량은,
상기 카메라를 통해 수신된 영상의 시간을 확인하도록 타임 스탬프를 설정하는 것을 특징으로 하는 차량 제어 시스템.The method of claim 1,
The vehicle is
The vehicle control system, characterized in that setting a time stamp to check the time of the image received through the camera.
상기 차량은,
분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 촬영한 시간과 GPS 데이터를 상기 도로 결빙 현상을 포함하는 이미지에 연계하고,
상기 연계된 도로 결빙 현상을 포함하는 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 하는 차량 제어 시스템.7. The method of claim 6,
The vehicle is
Linking the time at which the image including the road icing phenomenon among the divided images was taken and the GPS data to the image including the road icing phenomenon,
The vehicle control system, characterized in that for transmitting the image including the associated road icing phenomenon to the edge server.
상기 엣지 서버는,
상기 도로 결빙 현상이 발견된 위치 정보를, 상기 클라우드 서버로 전송하고,
상기 클라우드 서버는, 상기 수신된 위치 정보에 근거하여, 도로 결빙 현상에 대한 데이터를 업데이트하는 것을 특징으로 하는 차량 제어 시스템.The method of claim 1,
The edge server is
Transmitting the location information where the road icing phenomenon is found to the cloud server,
The cloud server, based on the received location information, the vehicle control system, characterized in that for updating data on the road icing phenomenon.
상기 클라우드 서버는,
상기 도로 결빙 현상에 대한 경고 메시지를 생성하고,
상기 생성된 경고 메시지를 상기 도로 결빙 현상이 발견된 지점을 할당하는 엣지 서버로 전송하며,
상기 엣지 서버는,
상기 경고 메시지를 상기 도로 결빙 현상이 발견된 지점을 경유하는 차량으로 전송하는 것을 특징으로 하는 차량 제어 시스템.The method of claim 1,
The cloud server,
generating a warning message for the road icing phenomenon,
Transmitting the generated warning message to an edge server that allocates a point where the road icing phenomenon is detected,
The edge server is
and transmitting the warning message to a vehicle passing through a point where the road icing phenomenon is detected.
상기 차량이 카메라를 통해 수신되는 영상을 소정 개수의 이미지로 분할하는 단계;
상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 기 학습된 인공신경망을 이용하여 분류하되 지반 상태를 눈, 얼음, 물 중 어느 하나로 구분하여 분류하는 단계;
상기 차량이 분류된 이미지를 상기 엣지 서버로 전송하는 단계;
상기 엣지 서버가 상기 차량으로부터 도로 결빙 현상을 포함하는 이미지를 수신하면, 해당 도로 결빙 현상이 발견된 위치 정보를 다른 차량 및 상기 클라우드 서버로 전송하는 단계; 및
상기 클라우드 서버가 상기 엣지 서버로부터 도로 결빙 현상이 발견된 위치 정보를 수신하면, 도로 결빙 현상에 대한 데이터를 업데이트하고, 상기 위치 정보에 근거하여 상기 도로 결빙 현상이 발견된 위치를 경유하는 차량들로 경고 메시지를 전송하는 단계를 포함하며,
상기 클라우드 서버로 전송하는 단계는,
상기 엣지 서버가 상기 차량으로부터 도로 결빙 현상을 포함하는 이미지를 수신하면, 상기 도로 결빙 현상을 포함하는 이미지에 연계된 GPS 데이터와 해당 도로 결빙 현상과 차량 사이의 거리 정보에 근거하여 해당 도로 결빙 현상이 발견된 위치 정보를 결정하는 것을 특징으로 하는 차량 제어 시스템의 제어방법.In the control method of a vehicle control system including an edge server, a cloud server, and a vehicle,
dividing, by the vehicle, an image received through a camera into a predetermined number of images;
classifying an image including a road icing phenomenon among the divided images of the vehicle using a pre-trained artificial neural network, but classifying the ground state into any one of snow, ice, and water;
transmitting, by the vehicle, the classified image to the edge server;
when the edge server receives an image including a road icing phenomenon from the vehicle, transmitting location information in which the corresponding road icing phenomenon is found to another vehicle and the cloud server; and
When the cloud server receives the location information where the road icing phenomenon is found from the edge server, it updates the data on the road icing phenomenon, and based on the location information, it is sent to vehicles passing through the location where the road icing phenomenon is found. sending a warning message;
The step of transmitting to the cloud server,
When the edge server receives an image including a road icing phenomenon from the vehicle, the corresponding road icing phenomenon is detected based on GPS data linked to the image including the road icing phenomenon and distance information between the road icing phenomenon and the vehicle. A control method of a vehicle control system, characterized in that determining the discovered location information.
상기 분류하는 단계는,
상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지가 존재하는 경우, 상기 도로 결빙 현상을 포함하는 이미지를 차량 디스플레이 장치에 출력하는 것을 특징으로 하는 차량 제어 시스템의 제어방법.14. The method of claim 13,
The classification step is
When an image including a road icing phenomenon exists among the images in which the vehicle is divided, the image including the road icing phenomenon is output to a vehicle display device.
상기 분류하는 단계는,
상기 차량이 분할된 이미지 중 도로 결빙 현상을 포함하는 이미지를 촬영한 시간과 GPS 데이터를 상기 도로 결빙 현상을 포함하는 이미지에 연계하고,
상기 연계된 도로 결빙 현상을 포함하는 이미지를 상기 엣지 서버로 전송하는 것을 특징으로 하는 차량 제어 시스템의 제어방법.14. The method of claim 13,
The classification step is
Linking the time and GPS data at which an image including the road icing phenomenon among the divided images of the vehicle was captured to the image including the road icing phenomenon,
The control method of a vehicle control system, characterized in that transmitting the image including the associated road icing phenomenon to the edge server.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200128874A KR102281891B1 (en) | 2020-10-06 | 2020-10-06 | Vehicle control system for providing road icing phenomenon nitification and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200128874A KR102281891B1 (en) | 2020-10-06 | 2020-10-06 | Vehicle control system for providing road icing phenomenon nitification and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102281891B1 true KR102281891B1 (en) | 2021-07-23 |
Family
ID=77155426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200128874A KR102281891B1 (en) | 2020-10-06 | 2020-10-06 | Vehicle control system for providing road icing phenomenon nitification and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102281891B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100818398B1 (en) * | 2001-05-26 | 2008-04-01 | 엘지전자 주식회사 | Method and system for road surface state and traffic information supply |
| KR101041022B1 (en) | 2010-11-19 | 2011-06-13 | (주)금성보안 | Forecast for the driver, the road management system and method for freezing |
| KR20150033810A (en) * | 2013-09-24 | 2015-04-02 | 삼성에스디에스 주식회사 | Traffic information collection effectiveness of WAVE base and suitability processing method of traffic information offer |
| KR20160004118A (en) * | 2014-07-02 | 2016-01-12 | 엘지전자 주식회사 | Driver assistance apparatus and Vehicle including the same |
| KR20190031951A (en) * | 2017-09-19 | 2019-03-27 | 삼성전자주식회사 | An electronic device and Method for controlling the electronic device thereof |
| KR101972005B1 (en) * | 2018-12-27 | 2019-04-24 | 디토닉 주식회사 | Road Emergency Warning Message Dynamic Service System and Method |
-
2020
- 2020-10-06 KR KR1020200128874A patent/KR102281891B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100818398B1 (en) * | 2001-05-26 | 2008-04-01 | 엘지전자 주식회사 | Method and system for road surface state and traffic information supply |
| KR101041022B1 (en) | 2010-11-19 | 2011-06-13 | (주)금성보안 | Forecast for the driver, the road management system and method for freezing |
| KR20150033810A (en) * | 2013-09-24 | 2015-04-02 | 삼성에스디에스 주식회사 | Traffic information collection effectiveness of WAVE base and suitability processing method of traffic information offer |
| KR20160004118A (en) * | 2014-07-02 | 2016-01-12 | 엘지전자 주식회사 | Driver assistance apparatus and Vehicle including the same |
| KR20190031951A (en) * | 2017-09-19 | 2019-03-27 | 삼성전자주식회사 | An electronic device and Method for controlling the electronic device thereof |
| KR101972005B1 (en) * | 2018-12-27 | 2019-04-24 | 디토닉 주식회사 | Road Emergency Warning Message Dynamic Service System and Method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107430591B (en) | Vehicle driver assistance system | |
| CN112673407B (en) | System and method for predictive vehicle accident warning and avoidance | |
| US9335178B2 (en) | Method for using street level images to enhance automated driving mode for vehicle | |
| JP4935795B2 (en) | Pedestrian pop-out prediction device and program | |
| US20200062249A1 (en) | Connected and Autonomous Vehicle (CAV) Behavioral Adaptive Driving | |
| US20200074326A1 (en) | Systems and methods for classifying driver behavior | |
| CN112712717A (en) | Information fusion method and system | |
| JP6418574B2 (en) | Risk estimation device, risk estimation method, and computer program for risk estimation | |
| KR102517546B1 (en) | System and method for predicting danger during driving of vehicle | |
| CN113247014B (en) | Confidence identification method and system for automatic driving system | |
| US11904854B2 (en) | Systems and methods for modeling pedestrian activity | |
| US11804133B2 (en) | Highly localized weather data recorded by vehicles in a fleet | |
| US11181924B2 (en) | System and method for performing differential analysis of vehicles | |
| US11209830B2 (en) | Safety aware automated governance of vehicles | |
| CN111427063B (en) | Mobile device traffic control method, device, equipment, system and medium | |
| KR102281891B1 (en) | Vehicle control system for providing road icing phenomenon nitification and control method thereof | |
| KR102363760B1 (en) | Electronic device to monitor load surface in real time and operating method thereof, and system comprising the same | |
| CN115214682A (en) | Method and system for providing data, method and device for operating vehicle, and storage medium | |
| CN115344763A (en) | Generating an icing hazard map based on weather data transmitted by a vehicle | |
| KR102498538B1 (en) | Image analysis system, method, computer program and computer readable recording medium that analyzes image based on segmentation | |
| EP3989031B1 (en) | Systems and methods for fusing road friction data to enhance vehicle maneuvering | |
| JP2023050804A (en) | Road surface determination device and road surface determination method | |
| US20240144820A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis | |
| US20240140459A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis | |
| US20240144695A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |