KR101880437B1 - Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image - Google Patents

Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image Download PDF

Info

Publication number
KR101880437B1
KR101880437B1 KR1020160142424A KR20160142424A KR101880437B1 KR 101880437 B1 KR101880437 B1 KR 101880437B1 KR 1020160142424 A KR1020160142424 A KR 1020160142424A KR 20160142424 A KR20160142424 A KR 20160142424A KR 101880437 B1 KR101880437 B1 KR 101880437B1
Authority
KR
South Korea
Prior art keywords
image
information
camera image
virtual camera
ship
Prior art date
Application number
KR1020160142424A
Other languages
Korean (ko)
Other versions
KR20180046803A (en
Inventor
박세길
오재용
김선영
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020160142424A priority Critical patent/KR101880437B1/en
Publication of KR20180046803A publication Critical patent/KR20180046803A/en
Application granted granted Critical
Publication of KR101880437B1 publication Critical patent/KR101880437B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006—Unmanned surface vessels, e.g. remotely controlled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
    • B63B2213/02—Navigational aids and use thereof, not otherwise provided for in this class using satellite radio beacon positioning systems, e.g. the Global Positioning System GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 데이터 전송을 최소로 하기 위하여 실제카메라 영상의 확장된 영역에 대한 영상을 가상 현실로 구현하여 무인선 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템에 관한 것이다.
상기 무인선 관제시스템은, 무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부; 상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부; 상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버; 상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버; 가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB); 및 상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;를 포함하여 구성된다.The present invention provides a wide viewing angle by utilizing an actual camera image and a virtual camera image that can realize an unmanned line control by implementing an image of an extended region of an actual camera image as a virtual reality in order to minimize data transmission. To an unmanned line control system.
The unmanned line control system includes: an actual camera unit installed on an unmanned line and photographing and transmitting a surrounding image; A sensor unit installed on the unmanned line for sensing and transmitting operation information and surrounding vessel information including a position, a traveling direction, and a speed of the unmanned line; An actual camera server for controlling an actual camera image output after receiving an actual camera image transmitted from the actual camera unit; After receiving the sensed data of the sensor unit, a background image of the extended region of the actual camera image is generated, an object included in the sensed data of the received sensor unit is extracted, and the synthesized image is combined with the background image to generate a virtual camera image A virtual camera server for controlling output of a virtual camera image; A space database (space DB) for storing three-dimensional shape model data for generating a virtual camera image, operation support information, and ship information; And a display unit for outputting images of the actual camera server and the virtual camera server.

Description

실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템{UNMANNED SURFACE VEHICLE CONTROL SYSTEM FOR PROVIDING WIDE VIEWING ANGLE USING REAL CAMERA IMAGE AND VIRTUAL CAMERA IMAGE}TECHNICAL FIELD [0001] The present invention relates to an unmanned line control system for providing a wide viewing angle by utilizing an actual camera image and a virtual camera image,

본 발명은 무인선 관제 시스템에 관한 것으로서, 더욱 상세하게는, 데이터 전송을 최소로 하기 위하여 실제카메라 영상의 확장된 영역에 대한 영상을 센서정보를 이용하여 생성한 가상카메라영상으로 구현하여 무인선 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템에 관한 것이다.The present invention relates to an unmanned line control system, and more particularly, to an unmanned line control system, in which an image of an extended area of an actual camera image is implemented as a virtual camera image generated using sensor information, The present invention relates to an unmanned line control system that provides a wide viewing angle by utilizing an actual camera image and a virtual camera image,

무인선은 사람이 승선하지 않는 선박으로 임무 달성을 위한 감시 및 제어가 원격의 무인선 관제센터에서 이루어지며, 무인선 관제센터의 무인선 운용자는 무인선에 탑재된 열 센서 정보를 바탕으로 현 상황을 파악하고 운용하게 된다. 이때 무인선 운용자에게 가장 직관적인 상황 파악 수단은 카메라 영상이다.The unmanned ship is a ship on which people are not boarding, and the monitoring and control for accomplishing the mission is carried out at the remote unmanned ship control center. The unmanned ship operator of the unmanned ship control center, based on the information of the thermal sensors mounted on the unmanned ship, And the like. At this time, the most intuitive situation detection method for the unmanned line operator is the camera image.

그러나 무인선 관제센터에서 무인선의 카메라 영상을 전송받는 작업은 매우 큰 통신 대역폭을 요구하기 때문에 여러 대의 카메라를 장착하여 운용하기가 어려운 것이 현실이다. 따라서 관제소의 운용자는 1대 또는 2대의 카메라로부터 제공 받은 매우 제한적인 시야각의 영상을 통해 무인선의 현 상황을 파악하며 무인선을 원격제어 해야 하므로 무인선 운항 시 안전성과 제어 효율이 저하되는 문제점을 가진다.However, since it takes a very large communication bandwidth to transmit camera images of unmanned lines in the unmanned line control center, it is a reality that it is difficult to install several cameras. Accordingly, the operator of the control station has to view the current situation of the unmanned line through a very limited view angle image provided from one or two cameras and to control the unmanned line remotely, so that the safety and the control efficiency are lowered in the unmanned line operation .

한국공개특허 10-2010-0008652Korean Patent Publication No. 10-2010-0008652 한국등록특허 10-0734814Korean Patent No. 10-0734814

따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 무인선으로부터 실제 카메라 영상과 센서 수집 데이터를 수신한 후, 실제 카메라 영상을 디스플레이함과 동시에 센서 수집 데이터를 이용하여 실제 카메라 영상의 확장된 영역에 대한 가상카메라 영상을 생성하여 실제카메라 영상과 함께 다수의 디스플레이 장치에 표시하여 줌으로써, 원격의 무인선 관제센터의 운영자가 넓은 시야각으로 무인선에 대한 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템을 제공하는 것을 목적으로 한다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a method and apparatus for receiving real camera images and sensor collection data from an unmanned line, A virtual camera image is generated for the area where the unmanned line control center is installed and is displayed on a plurality of display devices together with the actual camera image so that the operator of the remote unmanned line control center can perform the control of the unmanned line with a wide viewing angle And an unmanned line control system that provides a wide viewing angle by utilizing a virtual camera image.

상술한 목적을 달성하기 위한 본 발명의 무인선 관제시스템은,In order to achieve the above object, the present invention provides an unmanned line control system,

무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부;An actual camera unit installed on the unmanned line for photographing and transmitting a surrounding image;

상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부;A sensor unit installed on the unmanned line for sensing and transmitting operation information and surrounding vessel information including a position, a traveling direction, and a speed of the unmanned line;

상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버;An actual camera server for controlling an actual camera image output after receiving an actual camera image transmitted from the actual camera unit;

상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버;After receiving the sensed data of the sensor unit, a background image of the extended region of the actual camera image is generated, an object included in the sensed data of the received sensor unit is extracted, and the synthesized image is combined with the background image to generate a virtual camera image A virtual camera server for controlling output of a virtual camera image;

가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB); 및A space database (space DB) for storing three-dimensional shape model data for generating a virtual camera image, operation support information, and ship information; And

상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;를 포함하여 구성된다.And a display unit for outputting images of the actual camera server and the virtual camera server.

상기 센서부는,The sensor unit includes:

무인선의 위치 정보를 검출하는 GPS;A GPS for detecting position information of an unmanned line;

무인선의 이동 방향을 검출하는 자이로센서;A gyro sensor for detecting a moving direction of the unmanned line;

무인선 자세 보정을 위한 가속도센서;An acceleration sensor for unmanned posture correction;

무인선의 주변 물체의 탐지를 위한 레이터(RADAR);RADAR for detection of objects in the vicinity of unmanned lines;

무인선의 주변 물체의 탐지를 위한 LIDAR; 및LIDAR for the detection of objects in the vicinity of unmanned lines; And

무인선의 주변 선박 정보를 수신하는 AIS;를 포함하여 구성될 수 있다.And an AIS for receiving peripheral ship information of the unmanned ship.

상기 실제카메라서버는,Wherein the actual camera server comprises:

상기 무인선의 실제카메라부에서 촬영되어 전송된 실제카메라영상을 상기 디스플레이부로 출력하는 실제카메라영상생성부; 및An actual camera image generating unit for outputting an actual camera image captured by the actual camera unit of the unmanned line and transmitted to the display unit; And

외부와 통신을 수행하는 실제카메라서버통신부;를 포함하여 구성될 수 있다.And an actual camera server communication unit performing communication with the outside.

상기 가상카메라서버는,Wherein the virtual camera server comprises:

상기 무인선으로부터 수신된 상기 무인선의 위치정보, 상기 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB로부터 추출하여 생성하는 배경영상생성부;A background image of an area in which the photographed image of the actual camera is extended is extracted from the space DB by using the position information of the unmanned line, the traveling direction information of the unmanned line, and the photographed image information of the actual camera, A background image generation unit;

상기 센서부로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부;An object generation unit for extracting and generating a structure and a ship object included in the background image using the peripheral structure and the ship information transmitted from the sensor unit;

상기 배경영상에 상기 객체를 정합하여 가상카메라영상을 생성한 후 상기 디스플레이부로 출력하는 가상카메라영상생성부; 및A virtual camera image generation unit for generating a virtual camera image by matching the object with the background image and outputting the virtual camera image to the display unit; And

외부와 통신을 수행하는 가상카메라서버통신부;를 포함하여 구성될 수 있다.And a virtual camera server communication unit for communicating with the outside.

상기 가상카메라영상생성부는, 상기 객체 대상의 선박정보가 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 포함하는 경우, AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성하도록 구성될 수도 있다.When the ship information of the object object is grouped according to the ship type and then includes the representative three-dimensional shape model for each ship type group, the virtual camera image generation unit identifies the ship specification using sensor information such as AIS and camera meditation, The representative three-dimensional shape model of the ship corresponding to the type of ship may be identified and scaled to the size of the inferred line to generate an object corresponding to the ship to be synthesized in the background image.

상기 가상카메라영상생성부는, 상기 AIS의 정보가 불확실한 경우에는 실제카메라의 영상을 분석한 후 선박의 종류 및 크기를 식별하고 유추하고, 식별 또는 유추된 타선의 정보를 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하며, 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하도록 구성될 수도 있다.If the information of the AIS is uncertain, the virtual camera image generating unit analyzes the image of the actual camera, and then identifies and infer the type and size of the ship. If the information of the identified or estimated other line is within a certain time and within a predetermined navigation distance If the identified or derived line enters the field of view of the virtual camera image out of the field of view of the actual camera image, the representative three-dimensional shape model of the ship corresponding to the stored line information is scaled May be configured to be combined with the background image.

상기 3차원형상모델데이터는, 선박, 항로표지, 대상 공간 내의 지형, 구조물 정보를 포함한다.The three-dimensional shape model data includes a ship, a route mark, a topography in a target space, and structure information.

상기 운항지원정보는, 지명, 수심, 조류, 안전정보을 포함한다.The navigation support information includes name, depth, algae, and safety information.

상기 공간DB에 저장되는 선박정보는,The ship information stored in the space DB includes:

가상카메라영상의 생성 시 AIS 및 카메라 촬영 정보를 기준으로 하여 유추하고 스케일링하여 전시될 선박을 선종별로 그룹화한 선박들의 정보를 포함한다. 이때, 상기 선박정보는 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 더 포함할 수 있다.It includes information of vessels grouped by ship type to be displayed by inferring and scaling based on AIS and camera shooting information when generating virtual camera images. At this time, the ship information may further include a representative three-dimensional shape model for each ship type group after the vessels are grouped by ship type.

상기 디스플레이부는,The display unit includes:

상기 실제카메라서버에서 제공되는 실제카메라영상을 출력하는 실제 카메라 영상 디스플레이; 및An actual camera image display for outputting an actual camera image provided by the actual camera server; And

상기 가상카메라서버에서 제공되는 하나 이상의 가상카메라영상을 출력하도록 상기 실제 카메라 영상 디스플레이의 인접 영역에 배치되는 하나 이상의 가사카메라영상디스플레이;를 포함하여 구성될 수 있다.And one or more housekeeping camera image displays disposed in adjacent areas of the actual camera image display to output one or more virtual camera images provided by the virtual camera server.

상기 가상카메라영상은,The virtual camera image includes:

상기 실제카메라의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성되는 것을 특징으로 한다.The virtual camera image and the virtual camera image are generated in synchronism with the operation signal of the PTZ of the actual camera so that the actual camera image and the virtual camera image are displayed as one image.

상술한 구성의 본 발명은, 무인선의 원격 관제를 수행하는 때에, 센서부의 측정 정보를 이용하여 가상카메라 영상을 생성하여 실제 카메라 촬영 영상을 확장할 수 있도록 하는 것에 의해, 적은 전송 데이터를 이용하여 넓은 시야각을 가지는 무인선 관제를 위한 카메라 영상을 생성할 수 있도록 함으로써, 무인선의 관제의 안전성 및 효율성을 현저히 향상시키는 효과를 제공한다.The present invention having the above-described configuration enables a virtual camera image to be generated by using the measurement information of the sensor unit when the remote control of the unmanned line is performed so that the actual camera image can be expanded, It is possible to generate a camera image for an unmanned line control having a viewing angle, thereby providing an effect of remarkably improving the safety and efficiency of the control of the unmanned line.

도 1은 본 발명의 실시예에 따르는 무인선 관제시스템의 구성도.
도 2는 도 1의 무인선 관제시스템의 구성 중 실제카메라서버(100)의 기능 블록 구성도.
도 3은 도 1의 무인선 관제시스템의 구성 중 가상카메라서버(200)의 기능 블록 구성도.
도 4는 도 1의 무인선 관제시스템의 구성 중 공간DB(300)의 구성도.1 is a configuration diagram of an unmanned line control system according to an embodiment of the present invention;
2 is a functional block diagram of an actual camera server 100 in the configuration of the unmanned line control system of FIG.
3 is a functional block diagram of the virtual camera server 200 in the configuration of the unmanned line control system of FIG.
4 is a configuration diagram of the space DB 300 in the configuration of the unmanned line control system of FIG.

하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한, 본 명세서에서 단어 "예시적인" 은 "예로서, 일례로서, 또는 예증으로서 역할을 한다."라는 것을 의미하기 위해 이용된다. "예시적"으로서 본 명세서에서 설명된 임의의 양태들은 다른 양태들에 비해 반드시 선호되거나 또는 유리하다는 것으로서 해석되어야 하는 것만은 아니다.The embodiments according to the concept of the present invention can be variously modified and can take various forms, so that specific embodiments are illustrated in the drawings and described in detail in the specification or the application. It is to be understood, however, that the intention is not to limit the embodiments according to the concepts of the invention to the specific forms of disclosure, and that the invention includes all modifications, equivalents and alternatives falling within the spirit and scope of the invention. Also, the word "exemplary" is used herein to mean "serving as an example, instance, or illustration." Any aspect described herein as "exemplary " is not necessarily to be construed as preferred or advantageous over other aspects.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

도 1은 본 발명의 실시예에 따르는 무인선 관제시스템의 구성도이다.1 is a configuration diagram of an unmanned line control system according to an embodiment of the present invention.

도 1과 같이, 본 발명의 무인선 관제시스템은 무인선(1)에 설치되는 실제카메라부(10)와 센서부(20), 실제카메라서버(100)와 가상카메라서버(200)와 공간DB(300) 및 디스플레이부(400)를 구비한 무인선 관제 센터(2)를 포함하여 구성된다.1, the unmanned line control system of the present invention includes an actual camera unit 10 and a sensor unit 20 installed in the unmanned line 1, an actual camera server 100, a virtual camera server 200, a space DB And an unmanned line control center (2) having a display unit (300) and a display unit (400).

상기 무인선(1)에 설치되는 실제카메라부(10)는 EO/IR 카메라 등의 카메라를 가진다. 상기 카메라는 팬틸트줌(PTZ) 기능을 가진다. 또한 상기 실제카메라부(10)는 GPS와 GYRO 센서 등과 연동하여 팬틸트줌(PTZ)에 따라 촬영되는 촬영 영상의 시야각을 도출하여 출력할 수 있도록 구성된다. 이와 같이 도출된 촬영 영상의 시야각은 실제카메라(10)에 의해 촬영된 영역의 확장된 영역에 대한 가상카메라영상의 생성을 위한 배경영상의 추출 시에 사용된다.The actual camera unit 10 installed on the unmanned line 1 has a camera such as an EO / IR camera. The camera has a pan / tilt zoom (PTZ) function. The actual camera unit 10 is configured to be able to derive and output a viewing angle of a photographed image photographed according to a PTZ in conjunction with a GPS and a GYRO sensor. The viewing angle of the photographed image thus derived is used for extracting the background image for generating the virtual camera image for the extended area of the area photographed by the actual camera 10.

상기 무인선(1)에 설치되는 센서부(20)는 GPS센서, GYRO센서, 가속도센서, 레이더(RADAR), LIDAR, AIS통신부를 포함하여 구성된다. 상기 구성의 센서부(20)는 GPS센서를 이용하여 무인선의 위치정보를 획득하고, GYRO센서와 가속도센서를 이용하여 무인선(1)의 이동 방향 및 이동 속도 정보를 획득하며, 레이더와 LIDAR를 이용하여 주변 구조물에 대한 정보를 획득하고, AIS를 이용하여 주변에서 항해하는 선박 정보를 획득하고, 획득된 정보를 실제카메라서버(100)와 가상카메라서버(200)로 전송하도록 구성된다.The sensor unit 20 installed on the unmanned line 1 includes a GPS sensor, a GYRO sensor, an acceleration sensor, a RADAR, an LIDAR, and an AIS communication unit. The sensor unit 20 having the above-described configuration acquires the position information of the unmanned line using the GPS sensor, acquires the moving direction and the moving speed information of the unmanned line 1 using the GYRO sensor and the acceleration sensor, Acquires information on the surrounding structure using the AIS, acquires vessel information to be sailed in the vicinity using the AIS, and transmits the acquired information to the actual camera server 100 and the virtual camera server 200.

상기 무인선 관제센터(2)에 설치되는 상기 실제카메라서버(100)는, 무인선(1)의 실제카메라(10)에서 촬영된 영상을 전송받은 후 저장하고 디스플레이부(400)에 출력하는 것을 제어하도록 구성되는 서버이다.The actual camera server 100 installed in the unmanned line control center 2 receives an image photographed by the actual camera 10 of the unmanned line 1 and then stores the captured image and outputs the stored image to the display unit 400 Lt; / RTI >

도 2는 도 1의 무인선 관제시스템의 구성 중 실제카메라서버(100)의 기능 블록 구성도이다. 상술한 기능의 수행을 위해 상기 실제카메라서버(100)는 도 2와 같이, 무인선(1)의 실제카메라부(10)에서 촬영되어 전송된 실제카메라영상을 디스플레이부(400)로 출력하여 실제카메라영상이 출력되도록 하는 실제카메라영상생성부(210)와 외부와 통신을 수행하는 실제카메라서버통신부(220)를 포함하여 구성될 수 있다.2 is a functional block diagram of an actual camera server 100 in the configuration of the unmanned line control system of FIG. 2, the actual camera server 100 outputs the actual camera image photographed and transmitted by the actual camera unit 10 of the unmanned line 1 to the display unit 400, An actual camera image generation unit 210 for outputting a camera image and an actual camera server communication unit 220 for performing communication with the outside.

상기 가상카메라서버(200)는 무인선(1)의 센서부(20)에서 획득된 데이터와 실제카메라부(10)에 의해 촬영된 실제카메라 영상을 이용하여 실제카메라영상을 확장할 수 있도록 하는 가상카메라영상을 생성하고 출력을 제어하도록 구성된다.The virtual camera server 200 is a virtual camera server that can expand the actual camera image by using the data obtained by the sensor unit 20 of the unmanned line 1 and the actual camera image captured by the actual camera unit 10. [ To generate a camera image and to control the output.

도 3은 도 1의 무인선 관제시스템의 구성 중 가상카메라서버(200)의 기능 블록 구성도이다.3 is a functional block diagram of the virtual camera server 200 in the configuration of the unmanned line control system of FIG.

도 3과 같이, 상술한 가상카메라영상을 생성하고 출력을 제어하기 위하여 상기 가상카메라서버(200)는, 무인선(1)으로부터 수신된 무인선(1)의 위치정보, 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB(400)로부터 추출하여 생성하는 배경영상생성부(210), 센서부(20)로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부(220), 생성된 배경영상에 생성된 객체들을 정합하여 가상카메라영상을 생성한 후 상기 디스플레이부(400)로 출력하는 가상카메라영상생성부(230) 및 외부와 통신을 수행하는 가상카메라서버통신부(240)를 포함하여 구성될 수 있다.As shown in FIG. 3, in order to generate the virtual camera image and to control the output, the virtual camera server 200 transmits position information of the unmanned line 1 received from the unmanned line 1, A background image generation unit 210 for extracting a background image of an area in which an actual image of the camera is expanded using the captured image information of the actual camera from the space DB 400 and generating the background image, An object generation unit 220 for extracting and generating a structure and a ship object included in the background image using the surrounding structure and the ship information, a virtual camera image generated by matching the generated objects with the generated background image, A virtual camera image generating unit 230 for outputting the virtual camera image data to the virtual camera server 400 and a virtual camera server communication unit 240 for communicating with the outside.

상기 배경영상생성부(210)는 무인선(1)의 GPS정보를 이용하여 무인선(1)의 위치를 식별하고, GYRO 센서와 가속도센서 정보를 이용하여 무인선(1)의 진행 방향을 식별하며, 실제카메라부(10)에서 전송되는 팬틸트줌(PTZ)정보를 적용하여 실제카메라영상의 시야각을 산출한 후, 실제카메라영상의 좌우 또는 상하부의 확장된 영역에 대한 동일한 시야각의 배경영상을 공간DB(300)에서 추출하여 가상현실영상과 같이 생성하도록 구성된다. 이때, 상기 가상카메라영상은, 실제카메라(10)의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성될 수 있다.The background image generation unit 210 identifies the position of the unmanned line 1 using the GPS information of the unmanned line 1 and identifies the traveling direction of the unmanned line 1 using the GYRO sensor and the acceleration sensor information And calculates a viewing angle of the actual camera image by applying the PTZ information transmitted from the actual camera unit 10 to the background image of the same viewing angle with respect to the left and right or upper and lower extended regions of the actual camera image Extracted from the spatial DB 300 and generated as a virtual reality image. At this time, the virtual camera image is generated in synchronization with the operation signal of the PTZ of the real camera 10, so that the actual camera image and the virtual camera image can be generated to be displayed as one image.

상기 객체생성부(220)는 상기 레이더 감지 정보, LIDAR 감지 정보 및 AIS 정보를 이용하여 주변의 구조물들과 선박들을 식별한 후 식별된 구조물과 선박들의 객체를 공간DB(300)에서 추출하고, 감지 거리 및 이동 방향에 따라 선박 이미지의 스케일링을 수행하고, 진행 방향정보로 3차원 회전시킨 객체들을 생성하도록 구성된다.The object generating unit 220 identifies structures and vessels in the vicinity using the radar sensing information, the LIDAR sensing information, and the AIS information, extracts the objects of the identified structure and the ship from the spatial DB 300, Scales the ship image according to the distance and the moving direction, and generates the objects rotated three-dimensionally by the traveling direction information.

상기 구성의 실제카메라서버(100)와 가상카메라서버(200)는 입력부, 출력부, 중앙처리장치, 저장부 및 통신부를 구비하는 서버컴퓨터로 구성될 수 있으며 그 하드웨어적 구성의 상세한 설명은 생략한다.The actual camera server 100 and the virtual camera server 200 having the above-described configuration may be configured as a server computer having an input unit, an output unit, a central processing unit, a storage unit, and a communication unit, and a detailed description of its hardware configuration is omitted .

도 4는 도 1의 무인선 관제시스템의 구성 중 공간DB(300)의 구성도이다.4 is a configuration diagram of the space DB 300 in the configuration of the unmanned line control system of FIG.

도 4와 같이, 상기 공간DB(300)는 가상카메라영상의 생성을 위한 데이터를 저장하는 것으로서, 3차원 형상 모델링DB(310), 운항지원정보DB(320) 및 선박DB(330)를 포함하여 구성된다.4, the space DB 300 stores data for generating a virtual camera image. The space DB 300 includes a three-dimensional shape modeling DB 310, a navigation support information DB 320, and a ship DB 330 .

상기 3차원 형상모델링DB(310)는 전자해도정보, GIS정보, 지명, 항로표지, 선박, 대상 공간 내의 지형 및 구조물을 포함하는 3차원 형상모델 데이터를 저장한다.The three-dimensional shape modeling DB 310 stores three-dimensional shape model data including the electronic chart information, the GIS information, the place name, the route mark, the vessel, and the terrain and structure in the object space.

상기 운항지원정보DB(320)는 전자해도 정보, 지명, 항로표지, 수심, 조류, 기타 안전 정보 등의 운항지원정보데이터를 저장한다.The navigation support information DB 320 stores navigation support information data such as electronic chart information, place names, navigation marks, water depths, algae, and other safety information.

상기 선박DB(330)는 선박들을 선종별로 그룹화한 선박정보데이터를 저장하여, 가상카메라영상의 생성 시 RADAR, LIDAR 또는 AIS에 의해 식별된 선박의 객체를 생성할 수 있도록 한다. 이때, 가상 카메라 영상에 타선(자선을 제외한 모든 선박)을 전시하려면 미리 타선에 대한 3차원 형상 모델을 준비해 두어야 한다. 그러나 모든 선박들에 대해 모델을 미리 준비해 두는 것은 매우 어렵고 비효율적일 수 있다. 이러한 비효율성의 개선을 위해 본 발명의 선박DB(330)는 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델만 저장하도록 구성될 수도 있다.The ship DB 330 stores vessel information data in which vessels are grouped according to vessel type, and can create an object of a vessel identified by RADAR, LIDAR or AIS when creating a virtual camera image. At this time, in order to display the line (all the vessels except the charity) in the virtual camera image, a three-dimensional shape model for the leader line should be prepared. However, it may be very difficult and inefficient to have models ready for all ships. In order to improve the inefficiency, the ship DB 330 of the present invention may be configured to group the vessels by ship type and store only the representative three-dimensional shape model for each ship type group.

다시, 도 1을 참조하여 설명하면, 상기 디스플레이부(400)는 실제카메라서버(100)에서 출력되는 실제카메라부(10)의 촬영 영상을 출력하는 실제카메라영상디스플레이(410)와 가상카메라서버(200)에서 생성된 가상카메라영상들을 출력하기 위한 제 1 가상카메라영상디스플레이(420) 및 제 2 가상카메라영상디스플레이(430)를 포함하여 구성된다. 이때 상기 가상카메라영상디스플레이(420, 430)는 필요에 따라 그 개수가 조절될 수 있다.1, the display unit 400 includes an actual camera image display 410 for outputting an image of an actual camera unit 10 output from the actual camera server 100, A first virtual camera image display 420 and a second virtual camera image display 430 for outputting the virtual camera images generated by the first virtual camera image display unit 200. At this time, the number of the virtual camera image displays 420 and 430 can be adjusted as needed.

상술한 구성의 무인선 관제 시스템은 무인선(1)에서 실제카메라부(10)가 팬틸트줌(PTZ) 정보를 가지는 실제카메라영상과 센서부(20)에서 측정된 무인선의 위치정보, 방향 및 속도 정보, 주변 구조물 및 선박 정보를 무인 관제센터(2)의 실제카메라서버(100)와 가상카메라서버(200)가 수신한다.In the unmanned line control system having the above-described configuration, in the unmanned line 1, the actual camera image having the PTZ information and the position information and direction of the unmanned line measured by the sensor unit 20, The actual camera server 100 and the virtual camera server 200 of the unmanned control center 2 receive the speed information, the peripheral structure, and the ship information.

실제카메라서버(100)는 수신된 실제카메라영상을 저장한 후 가상카메라서버(200)에서 가상카메라영상이 출력되는 때에 동기되어 디스플레이부(400)이 실제카메라영상을 출력한다.The actual camera server 100 stores the received actual camera image, and synchronizes with the output of the virtual camera image at the virtual camera server 200, so that the display unit 400 outputs the actual camera image.

가상카메라서버(200)는 실제카메라촬영방향정보 및 팬틸트줌(PTZ) 정보와 무인선(1)의 위치정보, 이동방향정보, 이동속도 정보를 수신하고, 수신된 센서데이터에 포함된 노이즈를 제거하고, 노이즈가 제거된 센서 데이터를 이용하여 실제카메라영상에 인접되는 확장영역을 확정짓는다. 이 후, 공간DB(300)의 가상현실데이터 정보 또는 GIS정보, 기 촬영된 촬영영상 정보에서 확장된 영역에 대응되는 영역의 영상을 추출하여 배경이미지를 생성한다.The virtual camera server 200 receives the actual camera photographing direction information and the PTZ information and the position information, the moving direction information, and the moving speed information of the unmanned line 1, and detects the noise included in the received sensor data And the extended region adjacent to the actual camera image is determined using the noise-removed sensor data. Thereafter, the image of the region corresponding to the extended region from the virtual reality data information, the GIS information, and the photographed image information of the spatial DB 300 is extracted to generate a background image.

상술한 바와 달리, 상기 가상카메라서버(200)는 상기 실제카메라촬영방향정보, 팬틸트줌(PTZ) 정보 및 카메라의 떨림 방지 등을 위한 자세안정화정보 등을 상기 실제카메라서버(100)로부터 전송받아 가상카메라영상을 생성하도록 구성될 수도 있다.Unlike the above, the virtual camera server 200 receives the actual camera photographing direction information, PTZ information, and posture stabilization information for camera shake prevention etc. from the actual camera server 100 And may be configured to generate a virtual camera image.

또한, 수신된 센서부(20)의 정보 중 주변의 구조물 또는 선박 정보를 이용하여 배경이미지에 합성될 구조물이나 선박에 대응하는 객체를 추출하고, 감지된 방향 및 거리에 따라 스케일링을 수행하여 배경 이미지에 합성하여 가상카메라영상을 생성한다. 이때, 상술한 바와 같이, 선박DB(330)가 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델만 저장하도록 구성되는 경우에는, 상기 가상카메라서버(200)는 AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성할 수도 있다. 이 과정에서 AIS의 정보가 불확실한 경우에는 실제카메라(10)의 영상을 기계학습 방법 등을 통해 자동 분석한 후 선박의 종류 및 크기를 식별하고 유추한다. 이때 한 번 식별 또는 유추된 타선의 정보는 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하도록 하며, 이에 의해 실제카메라(10)의 영상을 통해 종류 및 크기가 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하는 것에 의해 타선을 전시할 수도 있다.The structure or the object corresponding to the ship to be combined with the background image or the object to be combined with the background image is extracted from the information of the received sensor unit 20 and scaled according to the detected direction and distance, And generates a virtual camera image. In this case, as described above, when the ship DB 330 is configured to group the vessels by ship type and then store only the representative three-dimensional shape model for each ship type group, the virtual camera server 200 transmits the AIS, And then the representative three-dimensional shape model of the ship corresponding to the type of the ship is identified and scaled to the size of the inferred line to obtain an object corresponding to the ship to be composited into the background image . If the AIS information is uncertain during this process, the image of the actual camera 10 is automatically analyzed through a machine learning method, etc., and the type and size of the ship are identified and inferred. At this time, the information of the once-identified or inferred line is continuously maintained as the line-of-sight list and the information within the predetermined time and the predetermined nautical distance, whereby the type and size of the actual line- When entering the field of view of the virtual camera image out of the field of view of the actual camera image, the representative three-dimensional shape model of the ship corresponding to the stored other line information may be scaled and combined with the background image to display the other line.

이러한 처리과정은 실제카메라영상과 동기되어 실시간으로 수행되어 연속적인 가상카메라영상프레임으로 생성된 후 디스플레이부(400)의 해당 가상카메라영상디스플레이에 출력된다.This process is performed in real time in synchronism with the actual camera image to be generated as a continuous virtual camera image frame, and then output to the corresponding virtual camera image display of the display unit 400.

이와 같은, 처리 과정에 의해, 실제카메라영상만을 전송받는 것에 의해 무인선 제어를 위해 전송될 영상데이터의 량을 감소시킬 수 있으며, 용량이 작은 센서부(20)의 감지 데이터를 이용하여 실제카메라영상에서 확장된 영역을 가지는 가상카메라영상을 생성하여 표시함으로써 무인선 제어를 위한 시야각이 확장된 카메라영상을 생성하여 출력할 수 있게 된다. By receiving only the actual camera image, the amount of image data to be transmitted for unmanned line control can be reduced, and the actual camera image It is possible to generate and output a camera image having an expanded viewing angle for unmanned line control.

1: 무인선 2: 무인선 관제센터
10: 실제카메라 20: 센서부
100: 실제카메라서버 200: 가상카메라서버
300: 공간DB 400: 디스플레이부
410: 실제카메라 영상디스플레이
420: 제 1 가상 카메라 영상 디스플레이
430: 제 2 가상 카메라 영상 디스플레이1: unmanned line 2: unmanned line control center
10: Actual camera 20: Sensor unit
100: Actual camera server 200: Virtual camera server
300: Space DB 400: Display unit
410: Actual camera image display
420: First virtual camera image display
430: Second virtual camera image display

Claims (12)

무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부;
상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부;
상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버;
상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버;
가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB);
상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;
상기 센서부는,
무인선의 위치 정보를 검출하는 GPS;
무인선의 이동 방향을 검출하는 자이로센서;
무인선 자세 보정을 위한 가속도센서;
무인선의 주변 물체의 탐지를 위한 레이터(RADAR);
무인선의 주변 물체의 탐지를 위한 LIDAR;
무인선의 주변 선박 정보를 수신하는 AIS;
상기 실제카메라서버는,
상기 무인선의 실제카메라부에서 촬영되어 전송된 실제카메라영상을 상기 디스플레이부로 출력하는 실제카메라영상생성부;
외부와 통신을 수행하는 실제카메라서버통신부;
상기 3차원형상모델데이터는,
선박, 항로표지, 대상 공간 내의 지형, 구조물 정보를 포함하고,
상기 운항지원정보는,
지명, 수심, 조류, 안전정보를 포함하는 무인선 관제시스템.An actual camera unit installed on the unmanned line for photographing and transmitting a surrounding image;
A sensor unit installed on the unmanned line for sensing and transmitting operation information and surrounding vessel information including a position, a traveling direction, and a speed of the unmanned line;
An actual camera server for controlling an actual camera image output after receiving an actual camera image transmitted from the actual camera unit;
After receiving the sensed data of the sensor unit, a background image of the extended region of the actual camera image is generated, an object included in the sensed data of the received sensor unit is extracted, and the synthesized image is combined with the background image to generate a virtual camera image A virtual camera server for controlling output of a virtual camera image;
A space database (space DB) for storing three-dimensional shape model data for generating a virtual camera image, operation support information, and ship information;
A display unit for outputting images of the actual camera server and the virtual camera server;
The sensor unit includes:
A GPS for detecting position information of an unmanned line;
A gyro sensor for detecting a moving direction of the unmanned line;
An acceleration sensor for unmanned posture correction;
RADAR for detection of objects in the vicinity of unmanned lines;
LIDAR for the detection of objects in the vicinity of unmanned lines;
An AIS that receives surrounding ship information of an unmanned ship;
Wherein the actual camera server comprises:
An actual camera image generating unit for outputting an actual camera image captured by the actual camera unit of the unmanned line and transmitted to the display unit;
An actual camera server communication unit performing communication with the outside;
The three-dimensional shape model data includes:
Ship, route mark, terrain in the target space, and structure information,
The navigation support information includes:
An unmanned line control system that includes location, depth, algae, and safety information. 삭제delete 삭제delete 청구항 1에 있어서, 상기 가상카메라서버는,
상기 무인선으로부터 수신된 상기 무인선의 위치정보, 상기 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB로부터 추출하여 생성하는 배경영상생성부;
상기 센서부로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부;
상기 배경 영상에 객체를 정합하여 가상카메라 영상을 생성한 후 상기 디스플레이부로 출력하는 가상카메라 영상생성부;
외부와 통신을 수행하는 가상카메라서버통신부;
상기 가상카메라영상생성부는,
객체 대상의 선박정보가 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 포함하는 경우, AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성하고,
상기 가상카메라영상생성부는,
상기 AIS의 정보가 불확실한 경우에는 실제카메라의 영상을 분석한 후 선박의 종류 및 크기를 식별하고 유추하고, 식별 또는 유추된 타선의 정보를 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하며, 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하는 무인선 관제시스템.The system according to claim 1,
A background image of an area in which the photographed image of the actual camera is extended is extracted from the space DB by using the position information of the unmanned line, the traveling direction information of the unmanned line, and the photographed image information of the actual camera, A background image generation unit;
An object generation unit for extracting and generating a structure and a ship object included in the background image using the peripheral structure and the ship information transmitted from the sensor unit;
A virtual camera image generation unit for generating a virtual camera image by matching an object with the background image and outputting the virtual camera image to the display unit;
A virtual camera server communication unit for communicating with the outside;
Wherein the virtual camera image generating unit comprises:
If the vessel information of the object is grouped by ship type and then includes the representative three-dimensional shape model for each vessel group, it is possible to identify and infer the vessel specification using sensor information such as AIS and camera meditation, Dimensional model of the ship is scaled to the size of the identified line to generate an object corresponding to the ship to be synthesized in the background image,
Wherein the virtual camera image generating unit comprises:
If the information of the AIS is uncertain, it is necessary to analyze the image of the actual camera, to identify and infer the type and size of the ship, to continuously identify the information of the identified or inferred line within the predetermined time and the predetermined navigation distance, And when the identified or inferred line enters the field of view of the virtual camera image out of the field of view of the actual camera image, the representative three-dimensional model of the ship corresponding to the stored line information is scaled and synthesized to the background image. Control system. 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서, 상기 공간DB에 저장되는 선박정보는,
가상카메라영상의 생성 시 AIS 및 카메라 촬영 정보를 기준으로 하여 유추하고 스케일링하여 전시될 선박을 선종별로 그룹화한 선박들의 정보를 포함하고,
상기 선박정보는,
선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 더 포함하고,
상기 디스플레이부는,
상기 실제카메라서버에서 제공되는 실제카메라영상을 출력하는 실제 카메라 영상 디스플레이; 및
상기 가상카메라서버에서 제공되는 하나 이상의 가상카메라영상을 출력하도록 상기 실제 카메라 영상 디스플레이의 인접 영역에 배치되는 하나 이상의 가상카메라영상디스플레이;
상기 가상카메라영상은,
상기 실제카메라의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성되는 무인선 관제시스템.The navigation system according to claim 1, wherein the vessel information stored in the space DB includes:
It includes the information of vessels grouped by ship type to be displayed by inferring and scaling based on AIS and camera shooting information when generating virtual camera images,
The ship information includes:
The ship is grouped by the ship type and further includes the representative three-dimensional shape model for each ship type group,
The display unit includes:
An actual camera image display for outputting an actual camera image provided by the actual camera server; And
One or more virtual camera image displays disposed in adjacent areas of the real camera image display to output one or more virtual camera images provided by the virtual camera server;
The virtual camera image includes:
Wherein the virtual camera image is generated in synchronization with an operation signal of a PTZ of the real camera so that an actual camera image and a virtual camera image are displayed as a single image. 삭제delete 삭제delete 삭제delete
KR1020160142424A 2016-10-28 2016-10-28 Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image KR101880437B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160142424A KR101880437B1 (en) 2016-10-28 2016-10-28 Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160142424A KR101880437B1 (en) 2016-10-28 2016-10-28 Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image

Publications (2)

Publication Number Publication Date
KR20180046803A KR20180046803A (en) 2018-05-09
KR101880437B1 true KR101880437B1 (en) 2018-08-17

Family

ID=62200884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160142424A KR101880437B1 (en) 2016-10-28 2016-10-28 Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image

Country Status (1)

Country Link
KR (1) KR101880437B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007767A (en) * 2019-07-12 2021-01-20 수상에스티(주) Autonomous navigation ship system for removing sea waste based on deep learning-vision recognition

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346436B2 (en) * 2018-10-09 2023-09-19 古野電気株式会社 Surrounding monitoring device and surrounding monitoring method
KR102508549B1 (en) * 2019-09-05 2023-03-09 한국전자통신연구원 Apparatus and method for identifying ships based on video
KR102156338B1 (en) * 2019-12-31 2020-09-15 마린웍스 주식회사 Method for monitoring ships and apparatus therefor
TWI793477B (en) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 Assistance system for correcting vessel path and operation method thereof
CN112693568A (en) * 2020-12-28 2021-04-23 广东海纳农业有限公司 Visual survey method for paddy rice insect pests in paddy field and unmanned ship for survey
KR102603578B1 (en) * 2023-05-15 2023-11-17 주식회사 오버더핸드 Video rendering system that utilizes a virtual camera using 3D characters and 3D backgrounds, applies editing of shooting and music genres, and selects video effects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176053A (en) * 2013-03-13 2014-09-22 Panasonic Corp Image signal processor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140137233A (en) * 2013-05-22 2014-12-02 (주)에디넷 System and Method for Shipping lookout using the 3Ｄ spatial
KR101736899B1 (en) * 2014-10-16 2017-05-17 한국해양과학기술원 Method for ship classification and identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176053A (en) * 2013-03-13 2014-09-22 Panasonic Corp Image signal processor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007767A (en) * 2019-07-12 2021-01-20 수상에스티(주) Autonomous navigation ship system for removing sea waste based on deep learning-vision recognition
KR102339465B1 (en) * 2019-07-12 2021-12-15 수상에스티(주) Autonomous navigation ship system for removing sea waste based on deep learning-vision recognition

Also Published As

Publication number Publication date
KR20180046803A (en) 2018-05-09

Similar Documents

Publication Publication Date Title
KR101880437B1 (en) Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image
KR102001728B1 (en) Method and system for acquiring three dimentional position coordinates in non-control points using stereo camera drone
JP5473304B2 (en) Remote location image display device, remote control device, vehicle control device, remote control system, remote control method, remote control program, vehicle control program, remote location image display method, remote location image display program
EP3096290B1 (en) Method and system for determining camera pose
WO2017131838A2 (en) Sonar sensor fusion and model based virtual and augmented reality systems and methods
KR101575954B1 (en) Apparatus for augmented reality using 3d reconstruction and mehhod thereof
JP2005268847A (en) Image generating apparatus, image generating method, and image generating program
WO2019230604A1 (en) Inspection system
KR102004455B1 (en) Augmented reality used navigation control system and method
JP6482855B2 (en) Monitoring system
JP2023100642A (en) inspection system
JP2005091298A (en) Global coordinate acquisition device using image processing
JP2011169658A (en) Device and method for pinpointing photographed position
KR20120108256A (en) Robot fish localization system using artificial markers and method of the same
US8666655B2 (en) Systems and methods for navigation
JP6482856B2 (en) Monitoring system
KR20160099336A (en) Mobile mapping system
KR20140137233A (en) System and Method for Shipping lookout using the 3Ｄ spatial
JP2020016663A (en) Inspection system
JP7437930B2 (en) Mobile objects and imaging systems
JP4742695B2 (en) Gaze recognition apparatus and gaze recognition method
KR20200124899A (en) Apparatus and method for checking facility
JP7307927B2 (en) drone control system
JP7317684B2 (en) Mobile object, information processing device, and imaging system
JP7492059B2 (en) Periphery monitoring device and surroundings monitoring method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant