KR102294165B1 - Device for optical communication and communication method using the same - Google Patents
Device for optical communication and communication method using the same Download PDFInfo
- Publication number
- KR102294165B1 KR102294165B1 KR1020200166574A KR20200166574A KR102294165B1 KR 102294165 B1 KR102294165 B1 KR 102294165B1 KR 1020200166574 A KR1020200166574 A KR 1020200166574A KR 20200166574 A KR20200166574 A KR 20200166574A KR 102294165 B1 KR102294165 B1 KR 102294165B1
- Authority
- KR
- South Korea
- Prior art keywords
- optical signal
- image
- information
- camera
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/501—Structural aspects
- H04B10/502—LED transmitters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/516—Details of coding or modulation
- H04B10/548—Phase or frequency modulation
- H04B10/556—Digital modulation, e.g. differential phase shift keying [DPSK] or frequency shift keying [FSK]
- H04B10/5561—Digital phase modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/60—Receivers
- H04B10/66—Non-coherent receivers, e.g. using direct detection
- H04B10/67—Optical arrangements in the receiver
- H04B10/676—Optical arrangements in the receiver for all-optical demodulation of the input optical signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H04N5/23212—
-
- H04N5/23299—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/22—Adaptations for optical transmission
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Optical Communication System (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 광통신 장치 및 이를 이용한 광통신 방법에 관한 것으로, 보다 상세하게는 차량의 카메라를 통해 획득한 이미지를 기초로 결정한 관심 영역에서 광신호가 발송되는 광원의 위치를 확인할 수 있도록 하는 기술에 관한 것이다. The present invention relates to an optical communication device and an optical communication method using the same, and more particularly, to a technology for confirming the location of a light source from which an optical signal is transmitted in a region of interest determined based on an image acquired through a vehicle camera.
이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다. The content to be described below is only provided for the purpose of providing background information related to the embodiment of the present invention, and the content to be described does not naturally constitute the prior art.
최근 백열전구와 형광등과 같은 조명이 반도체 LED(Light Emitting Diode) 조명으로 교체되는 인프라를 이용하여 가시광 파장에 통신기능을 부가한 무선 통신 기술인 가시광 통신(Visible Light Communication; VLC) 기술이 활발히 연구되고 있다. Recently, Visible Light Communication (VLC) technology, a wireless communication technology that adds communication functions to visible light wavelengths using infrastructure in which lighting such as incandescent bulbs and fluorescent lamps is replaced with semiconductor LED (Light Emitting Diode) lighting, is being actively researched.
한편, 차량에는 전방 및 후방에 4개의 광원이 설치되어 있으며, 2개의 광원을 이용하여 데이터를 송, 수신하는 방식이 연구되어 왔다. 이미지 프로세싱 기술의 발달과 함께 광원을 이용하여 데이터를 송, 수신하는 방식은 차량간 통신을 위한 유용한 기술로 발전해왔다. 이와 관련하여, 한국특허등록공보 제10-1807511호에서는 가시광원을 수신하는 카메라로 자율주행을 지원하는 도로의 차량 및 시설물을 촬영하고, 촬영한 이미지를 이용하여 차량과 차량 또는 차량과 주변 장치와 통신이 수행될 수 있는 기술에 대해 개시하고 있다. Meanwhile, four light sources are installed in the front and rear of the vehicle, and a method of transmitting and receiving data using two light sources has been studied. With the development of image processing technology, a method of transmitting and receiving data using a light source has been developed as a useful technology for vehicle-to-vehicle communication. In this regard, in Korea Patent Registration No. 10-1807511, a camera that receives a visible light source is used to photograph a vehicle and facility on a road that supports autonomous driving, and the captured image is used to communicate with a vehicle and a vehicle or a vehicle and a peripheral device. A technology in which communication can be performed is disclosed.
일반적으로 차량에 설치된 카메라는 광통신을 위해 저속 프레임 레이트의 카메라와 고속 프레임 레이트의 카메라를 포함할 수 있다. 이때, 저속 프레임 레이트의 카메라는 보다 긴 셔터 스피드를 가질 수 있고 조도도 높아 주변 영역에 대한 더 많은 정보를 포함할 수 있고, 이에 따라 전체적인 영상 내의 다른 정보를 이용해서 광신호를 보다 정확하게 판단할 수 있다. 예를 들어, 고속 프레임 레이트 카메라는 셔터 스피드가 짧고 그에 따라 조도가 낮아, 고속 프레임 레이트 카메라에 의한 이미지에서는 빛이 강한 부분만 식별되고, 차량 형상과 같은 정보는 포함되기 어려울 수 있다.In general, a camera installed in a vehicle may include a low-speed frame rate camera and a high-speed frame rate camera for optical communication. In this case, a camera with a low frame rate can have a longer shutter speed and high illumination level, so it can include more information about the surrounding area. have. For example, since a high-speed frame-rate camera has a short shutter speed and, accordingly, low illuminance, only a portion with strong light is identified in an image by the high-speed frame-rate camera, and information such as a vehicle shape may be difficult to include.
이에 차량 간 통신(예: V2V(Vehicle to Vehicle))과 같은 통신 주체들 사이의 가시광 통신에 있어서 광통신을 위해 광신호가 발송하는 위치를 명확하게 확인할 수 있는 기술이 요구되는 실정이다. Accordingly, in visible light communication between communication entities such as vehicle-to-vehicle communication (eg, V2V (Vehicle to Vehicle)), there is a need for a technology capable of clearly confirming a location where an optical signal is transmitted for optical communication.
한편, 전술한 선행기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned prior art is technical information possessed by the inventor for the derivation of the present invention or acquired in the derivation process of the present invention, and it cannot be said that it is necessarily a known technique disclosed to the general public before the filing of the present invention. .
본 발명의 일 과제는, 가시광 통신에 있어서, 광통신을 위한 광신호가 발송하는 위치를 확인할 수 있도록 하는 것이다. SUMMARY OF THE INVENTION One object of the present invention is to make it possible to check a position where an optical signal for optical communication is transmitted in visible light communication.
본 발명의 다른 과제는, 카메라를 통해 획득한 이미지에서 광신호를 발송하는 디바이스의 전체 형태를 판단하여 광신호를 발송하는 광원의 위치를 보다 정확하게 검출할 수 있도록 하는 것이다. Another object of the present invention is to determine the overall shape of a device that transmits an optical signal from an image acquired through a camera to more accurately detect the position of a light source that sends an optical signal.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned tasks, and other objects and advantages of the present invention that are not mentioned may be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations thereof indicated in the claims.
본 발명의 일 실시 예에 따른 광통신 방법은, 제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하고, 상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출한 후, 탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 과정으로 수행될 수 있다. In an optical communication method according to an embodiment of the present invention, a first image is acquired with a first camera of a first frame rate, and a region of interest detection algorithm is applied to the first image acquired by the first camera. After detecting the first optical signal region in the first image, demodulating the optical signal from the first optical signal region to extract the first type of information, and then using the second camera based on the detected first optical signal region. The process of estimating a second optical signal region in the obtained second image and demodulating the optical signal from the second optical signal region estimated in the second image to extract the second type of information may be performed. .
구체적으로, 상기 광통신 방법은 제1 디바이스로부터의 광신호를 제2 디바이스가 수신하는 경우에 상기 제2 디바이스의 프로세서에 의해 수행될 수 있다. Specifically, the optical communication method may be performed by the processor of the second device when the second device receives the optical signal from the first device.
특히, 상기 관심 영역 검출 알고리즘은 제1 디바이스의 형상을 검출하도록 미리 훈련된 학습 모델일 수 있다. In particular, the region of interest detection algorithm may be a pre-trained learning model to detect the shape of the first device.
한편, 제1 디바이스는 차량이고, 상기 제1 타입의 정보를 추출 시, 상기 관심 영역 검출 알고리즘이 상기 제1 영상 내에서 차량의 이미지를 검출하고, 상기 차량에 배치된 한 쌍의 라이트 부분을 검출하는 과정으로 수행될 수 있다. Meanwhile, the first device is a vehicle, and when extracting the first type of information, the ROI detection algorithm detects an image of the vehicle within the first image, and detects a pair of light portions disposed in the vehicle. It can be carried out in the process of
또한, 상기 제2 타입의 정보를 추출 시, 상기 제1 영상과 상기 제2 영상을 비교하고, 상기 비교에 기초하여 상기 제1 영상 내의 제1 광신호 영역에 대응하는 상기 제2 영상 내의 제2 광신호 영역을 결정하는 과정으로 수행될 수 있다. In addition, when the second type of information is extracted, the first image and the second image are compared, and based on the comparison, a second image in the second image corresponding to the first optical signal region in the first image is compared. This may be performed as a process of determining the optical signal region.
더욱이, 상기 제2 타입의 정보를 추출 시, 상기 제1 영상 내에서의 상기 제1 광신호 영역의 좌표를 결정하고, 상기 제1 영상과 상기 제2 영상을 비교하고, 상기 비교에 기초하여 상기 제1 영상을 상기 제2 영상에 맵핑시키기 위한 변환 함수를 연산한 후, 상기 변환 함수 및 상기 제1 광신호 영역의 좌표에 기초하여 상기 제2 광신호 영역의 좌표를 결정하는 과정으로 수행될 수 있다. Moreover, when extracting the second type of information, the coordinates of the first optical signal region in the first image are determined, the first image and the second image are compared, and based on the comparison, the After calculating a transform function for mapping the first image to the second image, the process of determining the coordinates of the second optical signal region based on the transform function and the coordinates of the first optical signal region may be performed. have.
특히, 상기 제1 영상과 상기 제2 영상을 비교 시, 객체 검출 알고리즘을 통해 상기 제1 영상에서 제1 객체를 검출하고, 상기 제1 영상 내에서 제1 객체의 위치를 판단하고, 상기 객체 검출 알고리즘을 통해 상기 제2 영상에서 상기 제1 객체를 검출하고, 상기 제2 영상 내에서 상기 제1 객체의 위치를 판단하는 과정을 통해 이루어질 수 있다. In particular, when the first image and the second image are compared, the first object is detected in the first image through an object detection algorithm, the position of the first object is determined in the first image, and the object is detected. It may be accomplished through a process of detecting the first object in the second image through an algorithm and determining the position of the first object in the second image.
한편, 제1 프레임 레이트는 제2 프레임 레이트보다 작고, 상기 제1 카메라의 셔터 스피드는 상기 제2 카메라의 셔터 스피드보다 느리며, 상기 제1 카메라에 의해 획득된 영상의 조도는 상기 제2 카메라에 의해 획득된 영상의 조도보다 높은 것을 특징으로 한다. Meanwhile, the first frame rate is smaller than the second frame rate, the shutter speed of the first camera is slower than the shutter speed of the second camera, and the illuminance of the image acquired by the first camera is adjusted by the second camera. It is characterized in that it is higher than the illuminance of the acquired image.
구체적으로, 상기 제1 타입의 정보를 추출 시, 상기 제1 광신호 영역으로부터의 광신호를 S2-PSK 방식에 따라 복조할 수 있다. Specifically, when the first type of information is extracted, the optical signal from the first optical signal region may be demodulated according to the S2-PSK method.
또한, 상기 제2 타입의 정보를 추출하는 단계는, 상기 제2 광신호 영역으로부터의 광신호를 OFDM 신호 복조 방식에 따라 복조할 수 있다. In addition, in the step of extracting the second type of information, the optical signal from the second optical signal region may be demodulated according to an OFDM signal demodulation method.
한편, 추출된 상기 제1 타입의 정보 및 상기 제2 타입의 정보를 사용자에게 출력하고, 사용자로부터 정보의 정확성에 대한 피드백을 수신하고, 상기 제1 타입의 정보가 정확한 경우, 상기 제1 영상 및 상기 제1 영상 내의 상기 제1 광신호 영역을 매칭시켜 제1 훈련 데이터를 생성하면, 상기 제2 타입의 정보가 정확한 경우, 상기 제2 영상 및 상기 제2 영상 내의 상기 제2 광신호 영역을 매칭시켜 제2 훈련 데이터를 생성한 후, 상기 제1 훈련 데이터 또는 상기 제2 훈련 데이터 중 적어도 하나에 기초하여 상기 관심 영역 알고리즘을 재 훈련하는 과정을 수행할 수 있다. On the other hand, the extracted information of the first type and the information of the second type are output to the user, and feedback on the accuracy of the information is received from the user, and when the information of the first type is correct, the first image and When the first training data is generated by matching the first optical signal region in the first image, if the second type of information is correct, the second image and the second optical signal region in the second image are matched to generate the second training data, the process of retraining the ROI algorithm based on at least one of the first training data and the second training data may be performed.
또한, 상기 제1 타입의 정보를 추출 시, 추출되는 상기 제1 타입의 정보에 대한 오류 검사를 수행하고, 상기 오류 검사에 따라 상기 제1 광신호 영역의 정확성을 판단하고, 상기 정확성에 기초하여 상기 제1 광신호 영역을 변화시킨 후, 상기 정확성이 임계값을 넘을 때까지 상기 수행하는 단계, 상기 판단하는 단계 및 상기 변화시키는 단계를 반복하는 과정으로 이루어질 수 있다. In addition, when the first type of information is extracted, an error check is performed on the extracted first type of information, the accuracy of the first optical signal region is determined according to the error check, and based on the accuracy After changing the first optical signal region, the performing, determining, and changing steps may be repeated until the accuracy exceeds a threshold value.
이때, 상기 제2 타입의 정보를 추출 시, 상기 제1 영상 내의 상기 제1 광신호 영역에 기초하여 상기 제2 카메라의 각도 및 초점을 조절하는 단계를 포함할 수 있다. In this case, when the second type of information is extracted, the method may include adjusting the angle and focus of the second camera based on the first optical signal region in the first image.
한편 본 발명의 실시 예에 따른 광통신 장치는, 제1 영상을 획득하는 제1 프레임 레이트의 제1 카메라, 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터 광신호를 복조하여 제1 타입의 정보를 추출하는 제1 정보 추출부 및 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 제2 정보 추출부를 포함할 수 있다. 한편, 광신호 영역이란 촬영된 영상 내에서 광통신을 위한 광신호가 발송되는 영역을 의미할 수 있다.Meanwhile, in the optical communication device according to an embodiment of the present invention, a first camera of a first frame rate for acquiring a first image, and a first optical signal region in the first image by applying a region of interest detection algorithm to the first image a first information extractor for extracting a first type of information by demodulating an optical signal from the first optical signal region by detecting and a second information extracting unit estimating a second optical signal region and extracting second type of information by demodulating an optical signal from the second optical signal region estimated in the second image. On the other hand, the optical signal area may mean an area in which an optical signal for optical communication is transmitted in a photographed image.
특히, 상기 광통신 장치는 제1 디바이스로부터의 광신호를 수신하는 제2 디바이스에 포함되고, 상기 관심 영역 검출 알고리즘은 제1 디바이스의 형상을 검출하도록 미리 훈련된 학습 모델일 수 있다. In particular, the optical communication apparatus may be included in a second device that receives an optical signal from the first device, and the ROI detection algorithm may be a learning model trained in advance to detect a shape of the first device.
또한, 본 발명의 실시예에 따른 광통신 장치는, 적어도 하나의 프로세서 및 상기 프로세서와 동작 가능하게 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함할 수 있다.In addition, the optical communication device according to an embodiment of the present invention may include at least one processor and a memory operatively connected to the processor and storing at least one code executed by the processor.
구체적으로, 상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서로 하여금, 제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하고, 상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하고, 탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하도록 야기하는 코드가 저장될 수 있다. Specifically, the memory, when executed by the processor, causes the processor to acquire a first image with a first camera of a first frame rate, and to obtain a region of interest for the first image acquired by the first camera A detection algorithm is applied to detect a first optical signal region in the first image, demodulates an optical signal from the first optical signal region to extract a first type of information, and based on the detected first optical signal region to estimate the second optical signal region in the second image acquired by the second camera, and demodulate the optical signal from the estimated second optical signal region in the second image to extract the second type of information. The causing code may be stored.
전술한 것 외의 다른 측면, 특징, 및 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시 예는 차량에 설치된 카메라 중 저속 프레임 레이트의 카메라는 보다 긴 셔터 스피드를 가질 수 있고, 조도도 높아 주변 영역에 대한 더 많은 정보를 포함할 수 있다. 이로 인해, 전체적인 영상 내의 다른 정보를 이용해서 광신호를 보다 정확하게 판단할 수 있다. According to an embodiment of the present invention, a camera having a low frame rate among cameras installed in a vehicle may have a longer shutter speed and may include more information about a surrounding area due to high illumination. Accordingly, it is possible to more accurately determine the optical signal by using other information in the overall image.
구체적으로, 고속 프레임 레이트의 카메라는 셔터 스피드가 짧고 그에 따라 조도가 낮아, 고속 프레임 레이트 카메라에 의한 이미지에서는 빛이 강한 부분만 식별되고, 차량 형상과 같은 정보는 포함되기 어려울 수 있다.Specifically, a high-speed frame rate camera has a short shutter speed and thus low illumination, so that only a portion with strong light is identified in an image by the high-speed frame rate camera, and information such as a vehicle shape may be difficult to include.
이와 반대로, 저속 프레임 레이트 카메라에 의해 획득된 이미지에서는 차량 또는 신호등과 같이 광신호를 발송하는 디바이스의 전체 형태를 판단할 수 있으며, 이에 따라 광신호를 발송하는 광원의 위치를 보다 정확하게 검출할 수 있게 된다. Conversely, from the image acquired by the low-speed frame rate camera, it is possible to determine the overall shape of a device that transmits an optical signal, such as a vehicle or a traffic light, so that the position of the light source that sends the optical signal can be more accurately detected. do.
결과적으로, 저속 프레임 레이트 카메라에 의해 획득한 이미지를 통해 광신호를 발송하는 디바이스 및 디바이스의 위치 등의 정보를 추출하기 때문에 고속 프레임 레이트에 의해 획득된 이미지는 광량이 강한 부분만을 검출할 수 있어, 실제 광통신 신호를 보내는 부분이 아닌 일반적 조명기구의 광을 광신호 영역으로 잘못 판단하는 오류를 최소화할 수 있다. As a result, since information such as a device transmitting an optical signal and the location of the device are extracted through the image acquired by the low frame rate camera, the image acquired by the high frame rate can detect only a portion with a strong light intensity, It is possible to minimize the error of erroneously judging the light of a general lighting fixture, which is not a part that actually transmits an optical communication signal, as an optical signal area.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시 예에 따른 차량과 서로 다른 차량 사이의 통신(V2V)을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 광통신 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 광통신 장치를 이용한 광통신 수신 예를 도시한 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 광통신 장치를 이용한 관통신 송신 예를 도시한 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따라 광통신 장치를 이용하여 통신하는 과정을 도시한 흐름도이다.
도 6은 본 발명의 실시 예에 따라 광통신 장치를 이용하여 차량 사이의 통신 예를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 인공지능을 통해 광신호 발송 위치 검출을 위한 신경망 구조를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 광통신 장치를 이용한 광통신 방법의 흐름도이다. 1 is a diagram schematically illustrating communication (V2V) between a vehicle and another vehicle according to an embodiment of the present invention.
2 is a diagram schematically illustrating a configuration of an optical communication device according to an embodiment of the present invention.
3 is a diagram for explaining an example of optical communication reception using an optical communication device according to an embodiment of the present invention.
4 is a diagram for explaining an example of transmitting a through signal using an optical communication device according to an embodiment of the present invention.
5 is a flowchart illustrating a process of communicating using an optical communication device according to an embodiment of the present invention.
6 is a diagram illustrating an example of communication between vehicles using an optical communication device according to an embodiment of the present invention.
7 is a diagram illustrating a structure of a neural network for detecting an optical signal transmission position through artificial intelligence according to an embodiment of the present invention.
8 is a flowchart of an optical communication method using an optical communication device according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예들에 한정되지 않는다. 이하 실시 예에서는 본 발명을 명확하게 설명하기 위해서 설명과 직접적인 관계가 없는 부분을 생략하지만, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 생략된 구성이 불필요함을 의미하는 것은 아니다. 아울러, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조번호를 사용한다.Hereinafter, the present invention will be described in more detail with reference to the drawings. The present invention may be embodied in several different forms, and is not limited to the embodiments described herein. In the following embodiments, parts not directly related to the description are omitted in order to clearly explain the present invention. . In addition, the same reference numerals are used for the same or similar elements throughout the specification.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 되며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 이하의 설명에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following description, terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms, and the terms refer to one component from another. It is used only for distinguishing purposes. Also, in the following description, the singular expression includes the plural expression unless the context clearly dictates otherwise.
이하의 설명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the following description, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification is present, but one or more other It is to be understood that this does not preclude the possibility of the presence or addition of features or numbers, steps, operations, components, parts, or combinations thereof.
이하 도면을 참고하여 본 발명을 상세히 설명하기로 한다. Hereinafter, the present invention will be described in detail with reference to the drawings.
한편, 이하의 설명 및 도면에서는 본 개시의 실시 예가 차량에서 구현되는 것으로 설명하였으나, 본 개시의 기술들이 차량 이외에도 광신호 통신을 수행하는 장치들에 널리 이용될 수 있음은 당연하다.Meanwhile, in the following description and drawings, the embodiment of the present disclosure has been described as being implemented in a vehicle, but it is natural that the techniques of the present disclosure may be widely used in devices for performing optical signal communication other than the vehicle.
도 1은 본 발명의 실시 예에 따른 차량과 서로 다른 차량 사이의 통신(V2V)을 개략적으로 도시한 도면이다. 1 is a diagram schematically illustrating communication (V2V) between a vehicle and another vehicle according to an embodiment of the present invention.
도 1을 참조하면, 서로 다른 차량들 간의 통신을 위해서 각각의 차량(10, 20)은 송신 및 수신을 위한 통신장치를 포함한다. 구체적으로 통신장치는 서로 다른 차량 각각의 헤드 라이트 및 백 라이트 중 적어도 2개의 라이트를 이용하여 차량의 정보(예: 차량 식별번호, 차량의 위치 정보, 차량의 운전 정보, 차량의 안전 정보, 영상 또는 음성 정보 등)를 송신 및 수신하는 장치를 포함하여 구성될 수 있다. Referring to FIG. 1 , for communication between different vehicles, each of the
이러한 수신 장치 및 송신 장치에서 차량의 정보, 차량ID 등의 정보(제1 타입의 정보)는 저속 데이터이다. 저속 데이터는 S2-PSK 방식으로 구현된 펄스파 신호일 수 있다. 이와 다르게, 차량의 안전 정보, 영상 또는 음성 정보 등(제2 타입의 정보)은 고속 데이터이다. 고속 데이터는 OFDM 파형의 신호일 수 있으며, S2-PSK 방식으로 구현된 펄스파 신호에 OFDM 신호가 합성되어 제1 타입과 제2 타입의 정보가 차량의 라이트에 의해 동시에 전송될 수 있다. In such a receiving device and a transmitting device, information such as vehicle information and vehicle ID (first type of information) is low-speed data. The low-speed data may be a pulse wave signal implemented in the S2-PSK scheme. Alternatively, vehicle safety information, video or audio information, etc. (the second type of information) is high-speed data. The high-speed data may be a signal of an OFDM waveform, and the OFDM signal is synthesized with a pulse wave signal implemented in the S2-PSK method, so that the first type and the second type of information may be simultaneously transmitted by the light of the vehicle.
이러한 차량 정보를 송, 수신하는 광통신 장치는 광신호를 발송시키는 영역을 결정하고, 결정된 영역을 촬영한 이미지의 부분에서 광신호가 발송되는 위치를 검출하도록 한다. The optical communication device for transmitting and receiving such vehicle information determines an area to which an optical signal is transmitted, and detects a position where the optical signal is transmitted from a portion of an image photographed of the determined area.
구체적으로, 차량(10)의 카메라 중 저속 프레임 카메라에 의해 획득한 이미지에서 관심 영역을 결정한다. 카메라는 광신호가 발송되는 영역 뿐만 아니라, 그 주변의 대상물도 모두 포함하여 이미지로서 획득하게 되므로, 실제 광통신 신호를 디코딩하기 위해서는 촬영된 이미지 중 어느 부분이 광신호가 발송되는 영역, 즉 관심 영역일지가 효과적으로 결정되어야 한다. 여기서 관심 영역이란 신호를 수신하는 차량을 기준으로 차량 앞의 다른 차량(20)으로부터 신호를 수신하는 경우 다른 차량의 백라이트 세트가 관심 영역이라 할 수 있고, 이와 다르게, 신호를 수신하는 차량을 기준으로 차량 뒤의 다른 차량(20)으로부터 신호를 수신하는 경우 다른 차량의 헤드라이트 세트가 관심 영역이라고 할 수 있다. 관심 영역이 결정되면, 결정된 관심 영역에 기초하여 차량(10)의 고속 프레임 카메라에 의해 획득된 이미지에서 광신호가 발송된 영역을 찾아 광신호 발송 디바이스 및 디바이스의 위치 등의 정보, 디바이스의 운영 정보, 디바이스의 안전 정보 등을 추출할 수 있다. Specifically, a region of interest is determined in an image acquired by a low-speed frame camera among cameras of the
이때, 광신호가 발송된 디바이스, 디바이스의 위치 정보 등을 검출하기 위해 발광 영역 이외의 대상에 대한 이미지가 보다 정확한 저속 프레임 카메라에서 촬영한 이미지를 통해 관심 영역을 검출하므로 광신호 발생 영역을 잘못 판단하는 오류를 최소화할 수 있게 된다. 즉, 광신호를 송신하는 위치를 주변 정보를 활용하여 더 잘 판단할 수 있다는 것이다. 예를 들어, V2V(Vehicle to Vehicle) 통신이라면 차량의 형상을 검출하는 것은 광신호를 송신하는 헤드라이트의 영역을 특정하기 위해 좋은 기준점을 제공할 수 있다. 또한, 저속 프레임 레이트 카메라로 촬영된 영상에서는 주변 정보가 풍부하므로 실제 광통신을 하기 위한 대상 디바이스가 어디에 있는지 더 정확하게 확인할 수 있어 여러 디바이스들이 광신호를 보내고 있는 경우, 실제 통신 대상이 되는 디바이스로부터의 광신호 영역을 정확하게 포착할 수 있다.At this time, in order to detect the device from which the optical signal is sent, location information of the device, etc., the image of the target other than the light emitting region is more accurate and the region of interest is detected through the image taken by the low-speed frame camera, so it is possible to incorrectly judge the region of the optical signal. errors can be minimized. That is, the position at which the optical signal is transmitted can be better determined by using the surrounding information. For example, in the case of V2V (Vehicle to Vehicle) communication, detecting the shape of a vehicle may provide a good reference point for specifying an area of a headlight that transmits an optical signal. In addition, since the surrounding information is abundant in the image taken with the low-speed frame rate camera, it is possible to more accurately check where the target device for actual optical communication is located. The signal area can be accurately captured.
도 2는 본 발명의 실시 예에 따른 광통신 장치의 구성을 개략적으로 도시한 도면이고, 도 3은 본 발명의 실시 예에 따른 광통신 장치를 이용한 광통신 수신 예를 도시한 설명하기 위한 도면이며, 도 4는 본 발명의 실시 예에 따른 광통신 장치를 이용한 관통신 송신 예를 도시한 설명하기 위한 도면이다. 2 is a diagram schematically showing the configuration of an optical communication device according to an embodiment of the present invention, FIG. 3 is a diagram for explaining an example of optical communication reception using an optical communication device according to an embodiment of the present invention, FIG. 4 is a diagram for explaining an example of transmitting a through signal using an optical communication device according to an embodiment of the present invention.
도 2를 참고하면, 광통신 장치(100)는 제1 정보 추출부(110), 제2 정보 추출부(120), 메모리(130), 카메라(140), 연산부(150) 및 프로세서(170) 등을 포함하여 구성될 수 있다. Referring to FIG. 2 , the
카메라(140)는, 차량(10) 전방 또는 후방의 다른 차량(20)의 라이트(헤드라이트 또는 백 라이트)에서 발생한 광신호를 촬영하는 장치이다. 구체적으로, 카메라(140)는 제1 프레임 레이트의 제1 카메라(140A)와 제2 프레임 레이트의 제2 카메라(140B)로 구성될 수 있다. The
여기서 제1 카메라(140A)는 저속 프레임 카메라로, 저속 셔터 스피드를 가질 수 있고 촬영되는 이미지의 조도도 높아 주변 영역에 대한 더 많은 정보를 포함하는 제1 영상을 촬영할 수 있다. 이와 반대로 제2 카메라(140B)는 고속 프레임 카메라로, 셔터 스피드가 빠르고 그에 따라 획득되는 이미지의 조도가 낮아, 제2 카메라(140B)가 촬영한 이미지에서는 빛이 강한 부분만 식별되고, 차량 형상과 같은 정보를 포함되지 않을 수 있다. Here, the first camera 140A is a low-speed frame camera, may have a low shutter speed, and have high illuminance of a photographed image, so that a first image including more information about a surrounding area may be photographed. On the contrary, the second camera 140B is a high-speed frame camera, the shutter speed is fast and the illuminance of the image obtained is low accordingly, so that only the portion with strong light is identified in the image taken by the second camera 140B, and the shape of the vehicle and the It may not contain the same information.
제1 정보 추출부(110)는 제1 카메라(140A)에 의해 획득한 제1 영상에 관심 영역 검출 알고리즘을 적용하여 제1 영상 내의 제1 광신호 영역을 탐지하면, 탐지된 제1 광신호 영역으로부터 광신호를 복조하여 제1 타입의 정보(I₁)를 추출하는 구성이다. When the first
구체적으로, 제1 정보 추출부(110)는 제1 카메라(140A)의 제1 프레임 레이트(저속)로 수신된 제1 영상에 포함되는 광신호를 S2-PSK 방식에 따라 복조한다(110). 제1 영상 내에 포함된 광신호가 복조됨에 따라 제1 타입의 정보(I₁)가 생성될 수 있다. 여기서 제1 프레임 레이트는 제2 프레임 레이트보다 낮은 값으로 제1 카메라(140)는 상대적으로 저속의 프레임 레이트를 가지는 카메라이고, 제1 프레임 레이트는 예를 들어, 10~60fps이며, 제2 프레임 레이트는 1,000~10,000fps일 수 있다. 이때, S2-PSK 방식으로 변조된 신호는 1kHz의 주파수를 가지는 펄스파이면서 60bps의 데이터 전송율을 가질 수 있다.Specifically, the first
이때, 제1 프레임 레이트의 카메라에서 수신하는 광신호를 복조하는 S2-PSK 방식은 차량의 두 개의 라이트(220, 240)에서 동일한 위상의 펄스파가 존재하는 경우에는 데이터 비트를 1로 해석하고, 제1 LED와 제2 LED에서 서로 반대 위상의 펄스파가 존재하는 경우에는 데이터 비트를 0으로 해석할 수 있다. At this time, in the S2-PSK method of demodulating the optical signal received from the camera of the first frame rate, when pulse waves of the same phase exist in the two
설명한 바와 같이, 복조된 제1 프레임 레이트의 제1 카메라(140A)에서 수신하는 광신호로부터 제1 타입의 정보(I₁)를 출력할 수 있다. 이때, 제1 타입의 정보(I₁)는, 저속 프레임 레이트를 가지는 제1 카메라(140A)에 의해 획득된 제 제1 사이즈 이하의 데이터이며, LED에 의한 펄스파 신호에 기초하여 생성될 수 있다. 예를 들어 변조된 제1 타입의 정보(I₁)는 광신호를 송신한 차량 또는 디바이스의 식별번호나 디바이스나 차량의 위치 정보(예: 주행 차로 정보)등과 같이 용량이 작은 데이터가 될 수 있다.As described above, the first type of information I₁ may be output from the optical signal received by the first camera 140A of the demodulated first frame rate. In this case, the first type of information I₁ is data of a first size or smaller obtained by the first camera 140A having a low frame rate, and may be generated based on a pulse wave signal by the LED. For example, the modulated first type of information (I₁) may be data having a small capacity, such as an identification number of a vehicle or device that has transmitted an optical signal, or location information of a device or vehicle (eg, driving lane information).
제2 정보 추출부(120)는 제1 정보 추출부(110)에서 탐지한 제1 광신호 영역에 기초하여 제2 카메라(140B)에 의해 획득한 제2 영상 내의 제2 광신호 영역을 추정하고, 제2 영상 내에서 추정된 제2 광신호 영역으로부터 광신호를 복조하여 제2 타입의 정보(I₂)를 추출하는 구성이다. The second
구체적으로, 제2 정보 추출부(120)는 제2 카메라(140B)의 제2 프레임 레이트(고속) 의 제2 카메라가 활성화되도록 하여 제2 프레임 레이트의 제2 카메라로 수신된 이미지로부터 광신호를 제2 주파수 대역의 OFDM 신호 복조 방식으로 복조할 수 있다(120). 여기서 제2 프레임 레이트는 1,000~10,000fps일 수 있으며, OFDM 신호의 기준 주파수는 10kHz~100kHz일 수 있다. 고속의 프레임을 가지는 제2 카메라로 수신되도록 OFDM 방식을 통해 신호를 변조하여 광학 카메라 통신을 수행하는 방식을 고속 OCC 또는 OFDM OCC라고 할 수 있다.Specifically, the second
구체적으로, 제2 프레임 레이트의 카메라는 OFDM 신호를 복조하는 장치이며, 이를 위해 제2 카메라(140B)는 프레임 레이트가 높은 카메라로 구성될 수 있다. 이로써 제2 복조 방식으로 고속 데이터가 해석될 수 있다. 또한, 제2 프레임 레이트의 카메라로부터 수신된 광신호는 MIMO-OFDM 신호로서 OFDM 신호를 복조하는 방식에 따라 복조할 수 있다. MIMO-OFDM 은 다중 반송파 주파수에서 디지털 데이터를 인코딩하는 변조 방법을 이용한 신호로서, 복조될 때에도 OFDM 신호를 복조하는 방식에 따라 복조될 수 있다.Specifically, the camera of the second frame rate is a device for demodulating the OFDM signal, and for this purpose, the second camera 140B may be configured as a camera having a high frame rate. As a result, high-speed data can be interpreted by the second demodulation method. In addition, the optical signal received from the camera of the second frame rate may be demodulated according to a method of demodulating the OFDM signal as a MIMO-OFDM signal. MIMO-OFDM is a signal using a modulation method for encoding digital data at a multi-carrier frequency. Even when demodulated, it can be demodulated according to a method for demodulating an OFDM signal.
이와 같은 방식으로 획득한 제2 타입의 정보(I₂)는 OFDM 신호의 형태로 전달될 수 있으며, 제2 타입의 정보(I₂)는 광신호가 발생한 차량(20), 엔진 상태, 브레이크 상태, 조향각 등과 같은 차량의 운행 정보이거나, 주행 경로의 사고 정보, 교통 상황 정보, 도로 상태 정보 등과 같은 차량의 안전과 관련된 상대적으로 용량이 큰 정보일 수 있다. The second type of information (I2) obtained in this way may be transmitted in the form of an OFDM signal, and the second type of information (I2) is the
보다 구체적으로 제1 프레임 레이트는 제2 프레임 레이트보다 작고, 제1 카메라(140A)의 셔터 스피드는 제2 카메라(140B)의 셔터 스피드보다 느리다. 더불어, 제1 카메라(140A)에 의해 획득된 영상의 조도는 제2 카메라(140B)에 의해 획득된 영상의 조도보다 높다. More specifically, the first frame rate is smaller than the second frame rate, and the shutter speed of the first camera 140A is slower than the shutter speed of the second camera 140B. In addition, the illuminance of the image acquired by the first camera 140A is higher than the illuminance of the image acquired by the second camera 140B.
이로써, 제2 프레임 레이트의 카메라(140B)에 의해 촬영된 제2 영상은 빛이 강한 부분만 식별될 수 있으며, 차량 형상과 같은 정보는 포함되기 어려울 수 있다. 이와 다르게, 제1 프레임 레이트의 카메라(140A)에 의해 촬영된 제1 영상에는 차량, 주변 디바이스(예: 신호등, 가로등 등)과 같이 실제 광신호를 발송하는 대상과 발광을 하지만 광신호를 발송하지는 않는 대상을 구분할 수 있도록 하는 전체 형상에 대한 정보가 추가적으로 주어질 수 있다.Accordingly, in the second image captured by the camera 140B of the second frame rate, only a portion with strong light may be identified, and it may be difficult to include information such as a vehicle shape. On the other hand, in the first image captured by the camera 140A of the first frame rate, light is emitted with a target that actually transmits an optical signal, such as a vehicle or a peripheral device (eg, a traffic light, a street lamp, etc.), but does not transmit an optical signal. Information about the overall shape that can distinguish non-existent objects may be additionally provided.
이러한 광통신 장치를 이용하는 광통신 방법은 제1 디바이스(다른차량(20))으로부터 발생한 광신호를 제2 디바이스(차량(10))가 수신하는 경우, 제2 디바이스의 프로세서(170)에 의해 수행될 수 있다. 이때, 관심 영역 알고리즘은 제1 디바이스의 형상을 검출하도록 미리 훈련된 학습 모델일 수 있다. The optical communication method using such an optical communication device may be performed by the processor 170 of the second device when the second device (vehicle 10) receives an optical signal generated from the first device (another vehicle 20). have. In this case, the region of interest algorithm may be a learning model trained in advance to detect the shape of the first device.
즉, 차량(10)의 제1 카메라(140A)로 다른 차량(20)의 라이트(헤드라이트 또는 백라이트)에서 발생한 신호를 받을 수 있다. 이때 제1 카메라(140A)는 다른 차량(20)을 촬영하여 획득한 제1 영상에서 관심 영역을 결정할 수 있다. 여기서 관심 영역이란, 광신호가 발생된 영역을 의미하고, 예를 들어 광신호가 발생한 다른 차량(20)의 라이트 세트를 의미할 수 있다. 이러한 관심 영역은 차량(10)의 메모리(130)에 기 설정된 관심 영역 검출 알고리즘을 통해 결정될 수 있다. 관심 영역 검출 알고리즘은 종래에 알려진 객체 검출 알고리즘 기반의 프로그램일 수 있으며, 발광하는 부분을 검출하기 위해 훈련된 심층 신경망 등이 활용될 수도 있다. That is, the first camera 140A of the
구체적으로, 관심 영역 검출 알고리즘은 제1 영상 내에서 차량 이미지를 검출할 수 있고, 차량에 배치된 한 쌍의 라이트 부분을 검출하여 광신호를 판독해야하는 영역을 결정할 수 있고, 이에 따라 제1 타입의 정보(I₁)가 추출될 수 있도록 한다. Specifically, the region-of-interest detection algorithm may detect a vehicle image within the first image, detect a pair of light portions disposed in the vehicle, and determine an area from which an optical signal should be read, and thus the first type of Allow information (I₁) to be extracted.
한편, 제2 타입의 정보(I₂)를 추출할 때, 제1 영상과 제2 영상을 비교한다. 제2 영상은 제2 카메라(140B)를 통해 촬영된 정보이다. 이렇게 촬영된 제2 영상을 제1 영상과 비교함에 따라 제2 영상 내의 제2 광신호 영역을 제1 영상에서 추출하는 제1 광신호 영역에 기초하여 결정하게 된다.Meanwhile, when extracting the second type of information I2, the first image and the second image are compared. The second image is information captured by the second camera 140B. By comparing the captured second image with the first image, the second optical signal region in the second image is determined based on the first optical signal region extracted from the first image.
구체적으로, 제1 영상 내에서 제1 광신호 영역의 좌표를 결정할 수 있다(도 6의 (b) 참고). 제1 광신호 영역의 좌표는 다른 차량(20)의 한 쌍의 라이트 각각의 위치 정보(Xn, Yn)가 될 수 있다. Specifically, the coordinates of the first optical signal region in the first image may be determined (refer to FIG. 6(b) ). The coordinates of the first optical signal region may be position information (Xn, Yn) of each of the pair of lights of the
제1 광신호 영역의 좌표를 결정하면 제1 영상과 제2 영상을 비교할 수 있다. 이러한 순서는 서로 바뀔 수도 있다. 이때, 연산부(150)는 제1 영상을 제2 영상에 맵핑하는 변환 함수를 연산할 수 있고, 변환 함수와 제1 광신호 영역 좌표에 기초하여 제2 광신호 영역의 좌표를 결정할 수 있다. When the coordinates of the first optical signal region are determined, the first image and the second image can be compared. These orders may be interchanged. In this case, the
즉, 객체 검출 알고리즘을 통해 제1 영상에서 제1 객체(제1 디바이스-다른 차량(20))를 검출하고, 제1 영상에서 제1 객체의 위치를 판단한다. 또한, 객체 검출 알고리즘을 통해 제2 영상에서 제1 객체를 검출하고, 제2 영상에서 제1 객체의 위치를 판단한 후, 제1 영상 및 제2 영상에서 추출한 제1 객체의 위치를 비교하여 실제 제1 객체의 위치를 추출하는 것이다. That is, the first object (the first device - another vehicle 20) is detected in the first image through the object detection algorithm, and the position of the first object is determined in the first image. In addition, the first object is detected in the second image through the object detection algorithm, the position of the first object is determined in the second image, and the position of the first object extracted from the first image and the second image is compared to the actual second image. 1 to extract the position of an object.
또한, 제2 타입의 정보(I₂) 추출 시, 제1 영상 내의 제1 광신호 영역에 기초하여 제2 카메라(140B)의 각도 및 초점을 조절할 수 있다. 앞서 설명한 바와 같이 제2 카메라(140B)는 빛이 강한 부분만 식별하고, 빛을 발생시킨 광원이 배치된 디바이스의 형태, 광원의 다른 디바이스와의 상대적 위치 등은 식별하기 어려운 프레임의 카메라이다. 따라서, 제2 카메라(140B)는 빛이 발생한 영역만을 추출하되 제1 카메라(140A)에서 추출한 광신호가 발송되는 디바이스의 형태나 위치 등을 기초로 제2 타입의 정보(I₂)를 추출하는 것이다. 이때, 제2 카메라(140B)의 초점, 각도 등을 조절하여 보다 정확하게 광신호가 발송된 디바이스에서 발생한 광신호를 검출하도록 제2 카메라를 조정할 수 있도록 한다. Also, when the second type of information I2 is extracted, the angle and focus of the second camera 140B may be adjusted based on the first optical signal region in the first image. As described above, the second camera 140B is a camera of a frame in which it is difficult to identify only a portion with strong light, and the shape of the device in which the light source that generates the light is disposed, and the relative position of the light source with other devices. Accordingly, the second camera 140B extracts only the region where the light is generated, but extracts the second type of information I2 based on the shape or location of the device to which the optical signal extracted from the first camera 140A is transmitted. At this time, by adjusting the focus, angle, etc. of the second camera 140B, the second camera can be adjusted to more accurately detect the optical signal generated by the device from which the optical signal is transmitted.
앞서 설명한 바와 같이 제2 카메라(140B)에서 촬영한 제2 영상에 포함된 이미지는 빛이 강한 부분만 식별되기 때문에 제2 영상에 포함된 이미지만으로는 광신호를 발송하는 제1 객체의 위치를 추출하는데 어려움이 있을 수 있다. 이를 위해 제1 영상에 포함된 이미지를 이용하여 제1 객체의 형태, 위치 등을 추출하고, 이를 제2 영상에서 빛이 강한 부분의 위치와 대조하여 빛을 발생시킨 제1 객체의 위치를 검출하는 것이다. As described above, in the image included in the second image captured by the second camera 140B, only the portion with strong light is identified, so only the image included in the second image is used to extract the position of the first object that transmits the optical signal. There may be difficulties. To this end, the shape and position of the first object are extracted using the image included in the first image, and the position of the first object that generated the light is detected by comparing it with the position of the portion where the light is strong in the second image. will be.
한편 제2 타입의 정보를 추출하는 단계에서는 제1 카메라의 위치 및 지향각과 제2 카메라의 위치 및 지향각을 비교하는 단계와 이러한 비교에 기초하여 제1 영상 내의 제1 광신호 영역에 대응하는 제2 영상 내의 제2 광신호 영역을 결정하는 단계를 포함할 수 있다. 제1 카메라의 위치 및 지향각과 제2 카메라의 위치 및 지향각에 대한 정보는 디바이스 내에 설치될 때 입력된 정보와 카메라들에 연결된 센서들 또는 카메라를 조정하는 구동부의 구동값에 따라 연산될 수 있다. 제1 카메라의 위치 및 지향각과 제2 카메라의 위치 및 지향각을 비교하면 제1 카메라에 의해 촬영되는 제1 영상과 제2 카메라에 의해 촬영되는 제2 영상 사이의 촬영 대상의 좌표 차이가 추정될 수 있다. 이러한 추정에 기초하여 제1 영상 내의 제1 광신호 영역이 제2 영상 내에서 어느 위치가 될지 연산될 수 있고 이에 따라 제2 영상 내의 제2 광신호 영역을 결정할 수 있다.Meanwhile, in the step of extracting the second type of information, the step of comparing the position and orientation angle of the first camera with the location and orientation angle of the second camera and the second type of information corresponding to the first optical signal region in the first image based on the comparison The method may include determining a second optical signal region in the two images. Information on the position and orientation angle of the first camera and the position and orientation angle of the second camera may be calculated according to information input when installed in the device and a driving value of sensors connected to the cameras or a driving unit for controlling the camera . When the position and orientation angle of the first camera are compared with the position and orientation angle of the second camera, the coordinate difference of the object to be photographed between the first image photographed by the first camera and the second image photographed by the second camera can be estimated. can Based on this estimation, a position of the first optical signal region in the first image may be calculated in the second image, and accordingly, the second optical signal region in the second image may be determined.
메모리(130)는 앞서 설명된 광신호 발송 위치를 추출하기 위해 프로세서가 실행되기 위한 실행 코드를 저장할 수 있다.The memory 130 may store an executable code for executing the processor to extract the optical signal transmission position described above.
프로세서(170)는 메모리(130)에 저장된 실행 코드가 동작하도록 결정하는 구성요소이다. 이를 프로세서(170)는 메모리(130)에 저장된 실행코드를 제어하는 데이터를 요청, 검색, 수신 또는 활용할 수 있으며, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나 바람직한 것으로 판단되는 동작을 실행할 수 있다. The processor 170 is a component that determines the execution code stored in the memory 130 to operate. The processor 170 may request, search, receive, or utilize data for controlling the executable code stored in the memory 130 , and may execute a predicted operation or an operation determined to be desirable among at least one executable operation.
도 5는 본 발명의 실시 예에 따라 광통신 장치를 이용하여 통신하는 과정을 도시한 흐름도이고, 도 6은 본 발명의 실시 예에 따라 광통신 장치를 이용하여 차량 사이의 통신 예를 도시한 도면이며, 도 7은 본 발명의 실시예에 따른 인공지능을 통해 광신호 발송 위치 검출을 위한 신경망 구조를 도시한 도면이고, 도 8은 본 발명의 실시예에 따른 광통신 장치를 이용한 광통신 방법의 흐름도이다. 5 is a flowchart illustrating a process of communicating using an optical communication device according to an embodiment of the present invention, and FIG. 6 is a diagram showing an example of communication between vehicles using an optical communication device according to an embodiment of the present invention; 7 is a diagram illustrating a neural network structure for detecting an optical signal transmission position through artificial intelligence according to an embodiment of the present invention, and FIG. 8 is a flowchart of an optical communication method using an optical communication device according to an embodiment of the present invention.
앞서 설명된 바와 같이, 차량(10)의 제1 카메라(140A)로 다른 차량(20)의 라이트 영역이 포함된 공간을 촬영하여 제1 영상을 획득한다(단계 S110). 획득한 제1 영상에 관심 영역 검출 알고리즘을 적용하여 제1 영상 내에 포함된 제1 광신호 영역을 탐지하고, 탐지된 제1 광신호 영역으로부터 수신되는 광신호를 디코딩하여 차량(10)의 위치, 차량 종류 등에 해당하는 제1 타입의 정보(I₁)를 추출할 수 있다(단계 S120). As described above, a first image is obtained by photographing a space including a light area of another
제1 영상에 포함된 제1 광신호 영역에 기초하여 제2 카메라(140B)에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 추정한 제2 광신호 영역으로부터의 광신호를 디코딩하여 제2 타입의 정보(I₂)를 추출할 수 있다(단계 S130, 단계 S140).Estimate a second optical signal region in the second image acquired by the second camera 140B based on the first optical signal region included in the first image, and decode the optical signal from the estimated second optical signal region Thus, the second type of information I2 may be extracted (steps S130 and S140).
여기서 제2 타입의 정보(I₂) 추출 시, 제1 영상과 제2 영상을 비교하여 광신호가 발송된 차량의 위치, 정보와 광신호가 발송된 차량이 일치하는지를 판단할 수도 있다. Here, when extracting the second type of information (I2), the location of the vehicle to which the optical signal is transmitted and whether the information and the vehicle to which the optical signal is transmitted match may be determined by comparing the first image and the second image.
구체적으로, 광통신 장치를 이용하여 광신호가 발송한 위치, 광신호 발송 디바이스를 검출하는 과정에서 제1 타입의 정보(I₁)와 제2 타입의 정보(I₂)를 추출하면, 추출한 제1 타입의 정보(I₁)와 제2 타입의 정보(I₂)를 사용자(예: 운전자)에게 출력하고, 사용자로부터 정보의 정확성에 대한 피드백을 수신 받을 수 있다. Specifically, when the first type of information (I₁) and the second type of information (I₂) are extracted in the process of detecting the position where the optical signal is transmitted and the optical signal sending device using the optical communication device, the extracted first type of information (I₁) and the second type of information (I₂) are output to the user (eg, the driver), and feedback on the accuracy of the information can be received from the user.
구체적으로, 제1 타입의 정보(I₁)가 정확한 경우, 제1 영상과 제1 광신호 영역을 매칭시켜 제1 훈련 데이터를 생성한다. 이러한 훈련 데이터들은 누적되어 저장될 수 있고 이렇게 누적된 훈련 데이터는 제1 디바이스(제1 객체_다른 차량(20))의 위치 정보가 정확한 경우, 광신호 영역을 추출하는 학습 모델을 훈련하는데 사용될 수 있다. Specifically, when the first type of information I₁ is correct, the first training data is generated by matching the first image with the first optical signal region. These training data can be accumulated and stored, and the accumulated training data can be used to train a learning model for extracting an optical signal region when the location information of the first device (first object_other vehicle 20) is accurate. have.
이와 유사하게, 제2 타입의 정보(I₂)가 정확한 경우, 제2 영상과 제2 광신호 영역을 매칭시켜 제2 훈련 데이터를 생성하게 된다. 이러한 훈련 데이터들은 누적되어 저장될 수 있고 이렇게 누적된 훈련 데이터는 제1 디바이스(제1 객체_다른차량(20))에서 발송한 광신호의 발송 정보가 정확한 경우, 광신호 영역을 추출하는 학습 모델을 훈련하는데 사용될 수 있다. Similarly, when the second type of information I2 is correct, the second training data is generated by matching the second image with the second optical signal region. Such training data may be accumulated and stored, and the accumulated training data is a learning model for extracting an optical signal region when transmission information of an optical signal transmitted from the first device (first object_other vehicle 20) is correct. can be used to train
이러한 훈련 데이터를 기초로 관심 영역 알고리즘을 재 훈련하도록 하여 광신호를 발송한 차량의 위치를 보다 정확하게 추출할 수 있도록 하는 것이다(도 5의 영역 A 참고). Based on such training data, the ROI algorithm is retrained to more accurately extract the position of the vehicle that has sent the optical signal (refer to region A in FIG. 5 ).
한편, 제1 카메라(140A)로부터의 광신호를 통해 제1 타입의 정보(I₁)를 추출할 때, 추출되는 제1 타입의 정보(I₁)에 대한 오류 검사를 수행할 수 있다. 오류 검사를 통해 제1 광신호 영역의 정확성을 판단하게 된다. Meanwhile, when the first type of information I₁ is extracted through the optical signal from the first camera 140A, an error check may be performed on the extracted first type of information I₁. The accuracy of the first optical signal region is determined through the error check.
오류 검사 시, 제1 광신호 영역의 정확성이 임계값 이하인 경우, 제1 광신호 영역을 변화시킨 후, 오류 검사를 재 실시 할 수 있다. When the error check is performed, if the accuracy of the first optical signal area is less than or equal to the threshold value, the error check may be performed again after changing the first optical signal area.
한편, 오류 검사는 제1 광신호 영역의 정확성이 임계값 이상인 경우까지 실시할 수 있으며, 제1 광신호 영역의 정확성이 임계값 이상이 될때까지 반복적으로 제1 광신호 영역을 변화시키고, 정확성을 판단하는 과정을 수행할 수 있다. On the other hand, the error check can be performed until the accuracy of the first optical signal region is equal to or greater than the threshold value, and the first optical signal region is repeatedly changed until the accuracy of the first optical signal region is greater than or equal to the threshold value, and the accuracy is improved. judgment process can be carried out.
이를 통해 광신호가 발송되는 디바이스의 위치, 디바이스의 형태 등의 정보가 보다 정확하게 추출될 수 있다. Through this, information such as the location of the device to which the optical signal is transmitted and the shape of the device can be more accurately extracted.
차량에 설치된 카메라 중 저속 프레임 레이트의 카메라는 보다 느린 셔터 스피드를 가질 수 있고, 획득되는 이미지의 조도도 높아 주변 영역에 대한 더 많은 정보를 포함할 수 있다. 이로 인해, 전체적인 영상 내의 다른 정보를 이용해서 광신호를 보다 정확하게 판단할 수 있다. Among the cameras installed in the vehicle, a camera having a low frame rate may have a slower shutter speed and may include more information about a surrounding area because the obtained image has a higher illuminance. Accordingly, it is possible to more accurately determine the optical signal by using other information in the overall image.
구체적으로, 고속 프레임 레이트의 카메라는 셔터 스피드가 빠르고 그에 따라 획득되는 이미지의 조도가 낮아, 고속 프레임 레이트 카메라에 의한 이미지에서는 빛이 강한 부분만 식별되고, 차량 형상과 같은 정보는 포함되기 어려울 수 있다.Specifically, the high-speed frame-rate camera has a high shutter speed and the resulting image is low in illuminance, so only the strong light is identified in the image by the high-speed frame-rate camera, and it may be difficult to include information such as vehicle shape. .
이와 반대로, 저속 프레임 레이트 카메라에 의해 획득된 이미지에서는 차량 또는 신호등과 같이 광신호를 발송하는 디바이스의 전체 형태를 판단할 수 있으며, 이에 따라 광신호를 발송하는 광원의 위치를 보다 정확하게 검출할 수 있게 된다. Conversely, from the image acquired by the low-speed frame rate camera, it is possible to determine the overall shape of a device that transmits an optical signal, such as a vehicle or a traffic light, so that the position of the light source that sends the optical signal can be more accurately detected. do.
결과적으로, 저속 프레임 레이트 카메라에 의해 획득한 이미지를 통해 광신호를 발송하는 디바이스 및 디바이스의 위치 등의 정보를 추출하기 때문에 고속 프레임 레이트에 의해 획득된 이미지는 광량이 강한 부분만을 검출할 수 있어, 실제 광통신 신호를 보내는 부분이 아닌 일반적 조명기구의 광을 광신호 영역으로 잘못 판단하는 오류를 최소화할 수 있다. As a result, since information such as a device transmitting an optical signal and the location of the device is extracted through the image acquired by the low-speed frame rate camera, the image acquired by the high-speed frame rate can detect only a portion with a strong light intensity, It is possible to minimize the error of erroneously judging the light of a general lighting fixture, which is not a part that actually transmits an optical communication signal, as an optical signal area.
이상 설명된 본 발명의 실시 예에 대한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the embodiment of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can easily transform into other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand that Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention.
Claims (16)
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하는 단계;
상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하는 단계; 및
탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 단계를 포함하고,
상기 제2 타입의 정보를 추출하는 단계는,
상기 제1 영상과 상기 제2 영상을 비교하는 단계; 및
상기 비교에 기초하여 상기 제1 영상 내의 제1 광신호 영역에 대응하는 상기 제2 영상 내의 제2 광신호 영역을 결정하는 단계를 포함하는, 광통신 방법.
An optical communication method comprising:
acquiring a first image with a first camera of a first frame rate;
A region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image, and demodulates an optical signal from the first optical signal region to obtain a first type extracting information of and
A second optical signal region in a second image acquired by a second camera is estimated based on the detected first optical signal region, and an optical signal from the estimated second optical signal region in the second image is obtained. Demodulating to extract the second type of information,
The step of extracting the second type of information,
comparing the first image with the second image; and
and determining a second optical signal region in the second image corresponding to the first optical signal region in the first image based on the comparison.
상기 광통신 방법은 제1 디바이스로부터의 광신호를 제2 디바이스가 수신하는 경우에 상기 제2 디바이스의 프로세서에 의해 수행되는 것이고,
상기 관심 영역 검출 알고리즘은 제1 디바이스의 형상을 검출하도록 미리 훈련된 학습 모델인,
광통신 방법.
According to claim 1,
The optical communication method is performed by the processor of the second device when the second device receives the optical signal from the first device,
The region-of-interest detection algorithm is a pre-trained learning model to detect the shape of the first device,
optical communication method.
상기 제1 디바이스는 차량이고,
상기 제1 타입의 정보를 추출하는 단계는,
상기 관심 영역 검출 알고리즘이 상기 제1 영상 내에서 차량의 이미지를 검출하는 단계; 및
상기 차량에 배치된 한 쌍의 라이트 부분을 검출하는 단계를 포함하는,
광통신 방법.
3. The method of claim 2,
The first device is a vehicle,
The step of extracting the first type of information,
detecting, by the region of interest detection algorithm, an image of a vehicle within the first image; and
detecting a pair of light portions disposed in the vehicle;
optical communication method.
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하는 단계;
상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하는 단계; 및
탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 단계를 포함하고,
상기 제2 타입의 정보를 추출하는 단계는,
상기 제1 영상 내에서의 상기 제1 광신호 영역의 좌표를 결정하는 단계;
상기 제1 영상과 상기 제2 영상을 비교하는 단계;
상기 비교에 기초하여 상기 제1 영상을 상기 제2 영상에 맵핑시키기 위한 변환 함수를 연산하는 단계; 및
상기 변환 함수 및 상기 제1 광신호 영역의 좌표에 기초하여 상기 제2 광신호 영역의 좌표를 결정하는 단계를 포함하는,
광통신 방법.
An optical communication method comprising:
acquiring a first image with a first camera of a first frame rate;
A region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image, and demodulates an optical signal from the first optical signal region to obtain a first type extracting information of and
A second optical signal region in a second image acquired by a second camera is estimated based on the detected first optical signal region, and an optical signal from the estimated second optical signal region in the second image is obtained. Demodulating to extract the second type of information,
The step of extracting the second type of information,
determining coordinates of the first optical signal region in the first image;
comparing the first image with the second image;
calculating a transform function for mapping the first image to the second image based on the comparison; and
determining the coordinates of the second optical signal region based on the transform function and the coordinates of the first optical signal region;
optical communication method.
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하는 단계;
상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하는 단계; 및
탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 단계를 포함하고,
상기 제1 영상과 상기 제2 영상을 비교하는 단계는,
객체 검출 알고리즘을 통해 상기 제1 영상에서 제1 객체를 검출하고, 상기 제1 영상 내에서 제1 객체의 위치를 판단하는 단계; 및
상기 객체 검출 알고리즘을 통해 상기 제2 영상에서 상기 제1 객체를 검출하고, 상기 제2 영상 내에서 상기 제1 객체의 위치를 판단하는 단계를 포함하는,
광통신 방법.
An optical communication method comprising:
acquiring a first image with a first camera of a first frame rate;
A region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image, and demodulates an optical signal from the first optical signal region to obtain a first type extracting information of and
A second optical signal region in a second image acquired by a second camera is estimated based on the detected first optical signal region, and an optical signal from the estimated second optical signal region in the second image is obtained. Demodulating to extract the second type of information,
Comparing the first image and the second image comprises:
detecting a first object in the first image through an object detection algorithm and determining a position of the first object in the first image; and
detecting the first object in the second image through the object detection algorithm, and determining the position of the first object in the second image,
optical communication method.
제1 프레임 레이트는 제2 프레임 레이트보다 작고,
상기 제1 카메라의 셔터 스피드는 상기 제2 카메라의 셔터 스피드보다 느리며,
상기 제1 카메라에 의해 획득된 영상의 조도는 상기 제2 카메라에 의해 획득된 영상의 조도보다 높은,
광통신 방법.
7. The method of any one of claims 1, 5 and 6,
the first frame rate is less than the second frame rate;
The shutter speed of the first camera is slower than the shutter speed of the second camera,
The illuminance of the image acquired by the first camera is higher than the illuminance of the image acquired by the second camera,
optical communication method.
상기 제1 타입의 정보를 추출하는 단계는, 상기 제1 광신호 영역으로부터의 광신호를 S2-PSK 방식에 따라 복조하는 단계를 포함하는,
광통신 방법.
7. The method of any one of claims 1, 5 and 6,
The step of extracting the first type of information includes demodulating the optical signal from the first optical signal region according to the S2-PSK scheme,
optical communication method.
상기 제2 타입의 정보를 추출하는 단계는, 상기 제2 광신호 영역으로부터의 광신호를 OFDM 신호 복조 방식에 따라 복조하는 단계를 포함하는,
광통신 방법.
7. The method of claim 6,
The step of extracting the second type of information includes demodulating an optical signal from the second optical signal region according to an OFDM signal demodulation scheme.
optical communication method.
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하는 단계;
상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하는 단계;
탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 단계;
추출된 상기 제1 타입의 정보 및 상기 제2 타입의 정보를 사용자에게 출력하고, 사용자로부터 정보의 정확성에 대한 피드백을 수신하는 단계;
상기 제1 타입의 정보가 정확한 경우, 상기 제1 영상 및 상기 제1 영상 내의 상기 제1 광신호 영역을 매칭시켜 제1 훈련 데이터를 생성하는 단계;
상기 제2 타입의 정보가 정확한 경우, 상기 제2 영상 및 상기 제2 영상 내의 상기 제2 광신호 영역을 매칭시켜 제2 훈련 데이터를 생성하는 단계; 및
상기 제1 훈련 데이터 또는 상기 제2 훈련 데이터 중 적어도 하나에 기초하여 상기 관심 영역 검출 알고리즘을 재 훈련시키는 단계를 더 포함하는,
광통신 방법.
An optical communication method comprising:
acquiring a first image with a first camera of a first frame rate;
A region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image, and demodulates an optical signal from the first optical signal region to obtain a first type extracting information of
A second optical signal region in a second image acquired by a second camera is estimated based on the detected first optical signal region, and an optical signal from the estimated second optical signal region in the second image is obtained. extracting the second type of information by demodulating;
outputting the extracted information of the first type and the information of the second type to a user, and receiving feedback on the accuracy of the information from the user;
generating first training data by matching the first image with the first optical signal region in the first image when the first type of information is correct;
generating second training data by matching the second image with the second optical signal region in the second image when the second type of information is correct; and
Retraining the region-of-interest detection algorithm based on at least one of the first training data or the second training data;
optical communication method.
상기 제1 타입의 정보를 추출하는 단계는,
추출되는 상기 제1 타입의 정보에 대한 오류 검사를 수행하는 단계;
상기 오류 검사에 따라 상기 제1 광신호 영역의 정확성을 판단하는 단계;
상기 정확성에 기초하여 상기 제1 광신호 영역을 변화시키는 단계; 및
상기 정확성이 임계값을 넘을 때까지 상기 수행하는 단계, 상기 판단하는 단계 및 상기 변화시키는 단계를 반복하는 단계를 포함하는,
광통신 방법.
11. The method of any one of claims 1, 5, 6 and 10,
The step of extracting the first type of information,
performing error checking on the extracted first type of information;
determining the accuracy of the first optical signal region according to the error check;
changing the first optical signal region based on the accuracy; and
repeating the performing, determining and changing steps until the accuracy exceeds a threshold.
optical communication method.
상기 제2 타입의 정보를 추출하는 단계는,
상기 제1 영상 내의 상기 제1 광신호 영역에 기초하여 상기 제2 카메라의 각도 및 초점을 조절하는 단계를 포함하는,
광통신 방법.
11. The method of claim 6 or 10,
The step of extracting the second type of information,
Comprising the step of adjusting the angle and focus of the second camera based on the first optical signal region in the first image,
optical communication method.
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하는 단계;
상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하는 단계; 및
탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 단계를 포함하고,
상기 제2 타입의 정보를 추출하는 단계는,
상기 제1 카메라의 위치 및 지향각과 상기 제2 카메라의 위치 및 지향각을 비교하는 단계; 및
상기 비교에 기초하여 상기 제1 영상 내의 제1 광신호 영역에 대응하는 상기 제2 영상 내의 제2 광신호 영역을 결정하는 단계를 포함하는,
광통신 방법.
An optical communication method comprising:
acquiring a first image with a first camera of a first frame rate;
A region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image, and demodulates an optical signal from the first optical signal region to obtain a first type extracting information of and
A second optical signal region in a second image acquired by a second camera is estimated based on the detected first optical signal region, and an optical signal from the estimated second optical signal region in the second image is obtained. Demodulating to extract the second type of information,
The step of extracting the second type of information,
comparing the position and directivity angle of the first camera with the position and directivity angle of the second camera; and
determining a second optical signal region in the second image corresponding to a first optical signal region in the first image based on the comparison;
optical communication method.
제1 영상을 획득하는 제1 프레임 레이트의 제1 카메라;
상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하고 상기 제1 광신호 영역으로부터 광신호를 복조하여 제1 타입의 정보를 추출하는 제1 정보 추출부; 및
상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하는 제2 정보 추출부를 포함하고,
상기 제2 정보 추출부는,
상기 제1 영상과 상기 제2 영상을 비교하고, 상기 비교를 기초로 상기 제1 영상 내의 제1 광신호 영역에 대응하는 상기 제2 영상 내의 제2 광신호 영역을 결정하도록 추가로 구성되는,
광통신 장치.
An optical communication device comprising:
a first camera of a first frame rate for acquiring a first image;
Extracting first information for detecting a first optical signal region in the first image by applying a region-of-interest detection algorithm to the first image, and extracting the first type of information by demodulating the optical signal from the first optical signal region wealth; and
estimating a second optical signal region in a second image acquired by a second camera based on the first optical signal region, and demodulating the optical signal from the estimated second optical signal region in the second image A second information extraction unit for extracting the second type of information,
The second information extraction unit,
further configured to compare the first image and the second image, and to determine a second optical signal region in the second image corresponding to a first optical signal region in the first image based on the comparison;
optical communication device.
상기 광통신 장치는 제1 디바이스로부터의 광신호를 수신하는 제2 디바이스에 포함되고,
상기 관심 영역 검출 알고리즘은 제1 디바이스의 형상을 검출하도록 미리 훈련된 학습 모델인,
광통신 장치.
15. The method of claim 14,
The optical communication apparatus is included in a second device for receiving the optical signal from the first device,
The region-of-interest detection algorithm is a pre-trained learning model to detect the shape of the first device,
optical communication device.
적어도 하나의 프로세서; 및
상기 프로세서와 동작 가능하게 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서로 하여금,
제1 프레임 레이트의 제1 카메라로 제1 영상을 획득하고, 상기 제1 카메라에 의해 획득된 상기 제1 영상에 대해 관심 영역 검출 알고리즘을 적용하여 상기 제1 영상 내의 제1 광신호 영역을 탐지하여 상기 제1 광신호 영역으로부터의 광신호를 복조하여 제1 타입의 정보를 추출하고, 탐지된 상기 제1 광신호 영역에 기초하여 제2 카메라에 의해 획득된 제2 영상 내의 제2 광신호 영역을 추정하고, 상기 제2 영상 내에서 추정된 상기 제2 광신호 영역으로부터의 광신호를 복조하여 제2 타입의 정보를 추출하되, 상기 제1 영상과 상기 제2 영상을 비교하고, 상기 비교를 기초로 상기 제1 영상 내의 제1 광신호 영역에 대응하는 상기 제2 영상 내의 제2 광신호 영역을 결정함으로써 상기 제2 타입의 정보를 추출하도록 야기하는 코드를 저장하는,
광통신 장치.
An optical communication device comprising:
at least one processor; and
a memory operatively coupled to the processor and storing at least one code executed by the processor;
The memory, when executed by the processor, causes the processor to:
A first image is acquired with a first camera of a first frame rate, and a region of interest detection algorithm is applied to the first image acquired by the first camera to detect a first optical signal region in the first image. The first type of information is extracted by demodulating the optical signal from the first optical signal region, and the second optical signal region in the second image acquired by the second camera based on the detected first optical signal region. estimation, and demodulating the optical signal from the second optical signal region estimated in the second image to extract second type of information, comparing the first image with the second image, and based on the comparison storing a code causing to extract the second type of information by determining a second optical signal region in the second image corresponding to the first optical signal region in the first image,
optical communication device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166574A KR102294165B1 (en) | 2020-12-02 | 2020-12-02 | Device for optical communication and communication method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166574A KR102294165B1 (en) | 2020-12-02 | 2020-12-02 | Device for optical communication and communication method using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102294165B1 true KR102294165B1 (en) | 2021-08-25 |
Family
ID=77495030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200166574A KR102294165B1 (en) | 2020-12-02 | 2020-12-02 | Device for optical communication and communication method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102294165B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102612593B1 (en) * | 2022-09-14 | 2023-12-08 | 인천대학교 산학협력단 | Vehicle signal transmission apparatus capable of transmitting a directional optical signal according to the position of the vehicle in front and the operating method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190123785A (en) * | 2017-03-16 | 2019-11-01 | 국민대학교산학협력단 | RoI-based optical wireless communication method and apparatus |
-
2020
- 2020-12-02 KR KR1020200166574A patent/KR102294165B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190123785A (en) * | 2017-03-16 | 2019-11-01 | 국민대학교산학협력단 | RoI-based optical wireless communication method and apparatus |
Non-Patent Citations (1)
| Title |
|---|
| Amirul Islam et al., "Convolutional neural network scheme.based optical camera communication system for intelligent Internet of vehicles," Itn'l J. Distributed Sensor Networks, Vol. 14(4), (2018)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102612593B1 (en) * | 2022-09-14 | 2023-12-08 | 인천대학교 산학협력단 | Vehicle signal transmission apparatus capable of transmitting a directional optical signal according to the position of the vehicle in front and the operating method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7764194B2 (en) | Vehicle-use communication apparatus for receiving information transmitted by modulated light from signal lamp of traffic signal apparatus | |
| JP4544233B2 (en) | Vehicle detection device and headlamp control device | |
| US9224055B2 (en) | Exterior environment recognition device | |
| Hossan et al. | A new vehicle localization scheme based on combined optical camera communication and photogrammetry | |
| JPWO2015098325A1 (en) | In-vehicle image recognition device | |
| JP5065172B2 (en) | Vehicle lighting determination device and program | |
| JP2013131065A (en) | Communication device and vehicle | |
| WO2016159142A1 (en) | Image pickup device | |
| JP2008165743A (en) | Day and night image discriminating method, and device | |
| KR102294165B1 (en) | Device for optical communication and communication method using the same | |
| KR102345777B1 (en) | Method and apparatus for determining location of a vehicle based on optical camera communication | |
| CN107864013A (en) | Towards the self adaptive imaging Position Fixing Navigation System and method of automatic driving vehicle | |
| JP2018160049A (en) | Image recognition device | |
| CN114746321A (en) | Information processing device, information processing system, information processing method, and program | |
| JP2008015970A (en) | Optical communication system | |
| JP6791645B2 (en) | Optical communication equipment, optical communication system, and optical communication method | |
| JP2012054689A (en) | Visible light data processing device, visible light communication system, visible light data processing method, and program thereof | |
| US11496224B2 (en) | Communication device for adjusting communication channel depending on optical communication environment and communication method using the same | |
| US20100074625A1 (en) | Apparatus for voice communication using an incoherent light source | |
| KR102389176B1 (en) | Communication control device for adjusting communication channel according to optical communication environment and communication control method using the same | |
| KR101707978B1 (en) | An apparatus and method for detecting vehicles | |
| KR102294161B1 (en) | Communication device for adjusting communication channel according to optical communication environment and communication method using the same | |
| JP2020162081A (en) | Optical transmitter and optical transmission method | |
| JPWO2020129517A1 (en) | Image processing device | |
| CN108449138A (en) | A kind of M sequence visible detection method and its system for visible light communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |