KR20180060403A - Control apparatus for drone based on image - Google Patents
Control apparatus for drone based on image Download PDFInfo
- Publication number
- KR20180060403A KR20180060403A KR1020160159851A KR20160159851A KR20180060403A KR 20180060403 A KR20180060403 A KR 20180060403A KR 1020160159851 A KR1020160159851 A KR 1020160159851A KR 20160159851 A KR20160159851 A KR 20160159851A KR 20180060403 A KR20180060403 A KR 20180060403A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- drones
- controlled
- control
- joystick
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
- G05G9/00—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
- G05G9/02—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
- G05G9/04—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
- G05G9/047—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
-
- B64C2201/127—
-
- B64C2201/146—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 드론 제어장치에 관련된 것으로, 더욱 구체적으로는 영상 기반의 드론 제어장치에 관련된다.The present invention relates to a dron control device, and more particularly to an image based dron control device.
[과제정보][Task information]
과제고유번호: 10025956Assignment number: 10025956
부처명: 중소기업청Department: Small and Medium Business Administration
연구관리전문기관: 창업진흥원Research Management Agency: Business Development Agency
연구사업명: 2015년 글로벌 창업활성화 사업해외 창업 진출 지원Research Project Name: 2015 Global Business Startup Business Overseas Business Support
연구과제명: 30kg 비행중량급 상업용 드론Project Title: 30kg flying heavyweight commercial drones
주관기관: 중소기업청 산하 창업진흥원Organized by: Small and Medium Business Administration
연구기간: 2015년 11월 13일 ~ 2016년 11월 30일Research period: November 13, 2015 - November 30, 2016
종래의 드론 제어는 드론을 육안으로 관찰하면서 수행되어 왔다. 그러나 이러한 드론이 실제 육안에서 사라져 관찰이 어려운 경우, 조종자는 드론을 제어함에 어려움을 겪게되었다.Conventional drones control has been performed while observing the drones with the naked eye. However, when these drones actually disappeared from the naked eye and were difficult to observe, the pilot had difficulty controlling the drones.
또한 종래의 드론 컨트롤러는 양손을 모두 이용해야 했다. 이에 따라서 드론 제어 중 조종자는 다른 행위를 전혀 할 수 없는 문제점이 있다.Also, the conventional dron controller had to use both hands. Therefore, there is a problem that the operator can not perform other actions at all during the drone control.
위와 같은 문제점을 해결하기 위해서, 영상을 통해 드론을 보고 제어하고, 이 영상내에서 드론이 사라지는 경우, 드론이 촬영하는 영상을 대안적으로 또는 함께 디스플레이상에 표시함으로써, 드론 제어에 영향을 받지 않고 연속적으로 제어를 수행할 수 있는 방안이 요구된다. 또한 한 손 제어가 가능한 컨트롤러를 이용하여, 드론 제어 중 드론 제어 외에 다른 동작도 할 수 있는 방안이 요구된다.In order to solve the above problems, when a dron is viewed and controlled through an image, and the dron is disappeared in the image, the image taken by the dron is displayed alternatively or together on the display, There is a need for a scheme that can continuously perform control. It is also required to use a controller capable of one-hand control to perform other operations besides drones control during drone control.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem which is not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치는 제1 카메라에의해 촬영된 제1 영상을 제1영역에 표시하는 디스플레이 및 상기 제1 영상 내 제어대상드론을 식별하는 처리장치를 포함하되, 상기 처리장치는, 소정의 이벤트가 발생하면 상기 제어대상드론에 설치된 제2 카메라에의해 획득된 제2 영상을 상기 디스플레이 내 제2 영역에 표시하게 할 수 있다.The image-based dron control device according to an embodiment of the present invention includes a display for displaying a first image photographed by a first camera in a first area and a processing device for identifying a controlled drones in the first image , The processing device may display a second image acquired by a second camera installed on the controlled subject drones in the second area in the display when a predetermined event occurs.
일 실시예에 있어서, 상기 소정의 이벤트는, 상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것, 상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것, 상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함할 수 있다.In one embodiment, the predetermined event may be one in which the control target drones in the first image are not identified, the distance between the control target drones and the drones control device exceeds a predetermined range, And the image-based drone control device receiving user input for display.
일 실시예에 있어서, 상기 처리장치는, 사용자가 지정한 상기 제1 영상 내 일 지점을 기초로 상기 제어대상드론을 식별하거나, 상기 영상 기반의 드론 제어장치로부터의 이동명령과 상기 제1 영상 내 드론의 이동상태를 기초로 상기 제어대상드론을 식별할 수 있다.In one embodiment, the processing apparatus may further include a control unit that identifies the control target drones based on a point in the first image designated by the user, The drones to be controlled can be identified based on the moving state of the drones.
일 실시예에 있어서, GPS 센서를 더 포함할 수 있고, 상기 처리장치는, 상기 제어대상드론으로부터 수신한 제1 GPS 정보와 상기 영상 기반의 드론 제어장치의 제2 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정할 수 있다.In one embodiment, the processing apparatus may further include a GPS sensor, wherein the processing apparatus is configured to perform a differential search based on the first GPS information received from the controlled drones and the second GPS information of the image- ) GPS correction may be performed to determine the location of the controlled drones.
일 실시예에 있어서, 상기 제어대상드론을 무선 제어하기위한 컨트롤러를 더 포함하고, 상기 컨트롤러는, 스틱형의 바디, 상기 바디의 제1 위치에 설치된, 제1 조이스틱, 상기 제1 조이스틱과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디의 제2 위치에 설치된 제2 조이스틱, 및 상기 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱을 포함하고, 상기 제1 조이스틱은 상기 제어대상드론의 X축 및 Y축 회전 제어에 관련되고, 상기 제2 조이스틱은 상기 제어대상드론의 Z축 회전 제어에 관련될 수 있다.In one embodiment, the controller further comprises a controller for wirelessly controlling the drones to be controlled, the controller comprising: a stick-shaped body; a first joystick disposed at a first position of the body; A second joystick provided at a second position of the body so as to have an angle between 180 degrees and 180 degrees and a third joystick for height control at a third position different from the first and second positions, The joystick is related to the X-axis and Y-axis rotation control of the controlled drones, and the second joystick may be related to the Z-axis rotation control of the controlled drones.
일 실시예에 있어서, 상기 디스플레이는, 헤드마운티드 디스플레이 장치일 수 있다.In one embodiment, the display may be a head-mounted display device.
일 실시예에 있어서, 상기 제2영상은 상기 제1영상을 대체하거나, 상기 제1영상과 함께 표시될 수 있다.In one embodiment, the second image may replace the first image or be displayed together with the first image.
본 발명의 일 실시예에 따르면, 영상 기반으로 드론을 제어할 시, 드론이 영상에서 식별되지 않더라도, 드론에 대한 제어를 연속적으로 수행할 수 있다.According to an embodiment of the present invention, when controlling the drone on an image basis, control of the drone can be continuously performed even if the drone is not identified in the image.
또한 본 발명의 일 실시예에 따른 컨트롤러를 사용하면 한 손으로 효과적으로 드론의 3축 및 상하고도를 제어할 수 있어 다른 한 손의 자유도가 높아질 수 있다.Further, by using the controller according to an embodiment of the present invention, the three axes and the upper and lower axes of the drone can be effectively controlled by one hand, and the degree of freedom of the other hand can be increased.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치(100)의 구성 및 동작 상태를 나타내는 개념도이다.
도 2는 본 발명의 일 실시이예에 따른 영상 기반의 드론 제어장치(100)와 제어대상드론(200) 사이에서 교환되는 정보를 나타내기 위한 도이다.
도 3은 본 발명의 일 실시예에 따른 제어대상드론(200)의 블록도이다.
도 4는 본 발명의 일 실시예에 따라서, 제1카메라(150)가 촬영한 제1 영상이 디스플레이(120) 상에 표시된 것을 나타내고, 도 5는 제어대상드론(200)이 촬영한 제2 영상이 추가적으로 제1 영상과 함께 표시되는 것을 나타낸다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서, 제1영상에서 제어대상드론(200)을 식별하는 과정을 설명하기 위한 도이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따라, 이벤트가 발생되는 예시를 나타낸다.
도 8a 내지 도8c는 본 발명의 일 실시예에 따른 컨트롤러(160)를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 드론 제어장치(100)의 예시적인 형태이다.FIG. 1 is a conceptual diagram illustrating the configuration and operation of an image-based
FIG. 2 illustrates information exchanged between the image-based
3 is a block diagram of a controlled
FIG. 4 illustrates a first image captured by the
FIGS. 6A and 6B are views for explaining the process of identifying the controlled
Figures 7A-7C illustrate an example in which an event is generated, in accordance with one embodiment of the present invention.
8A-8C illustrate a
Figure 9 is an exemplary form of the
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.Embodiments described herein may be wholly hardware, partially hardware, partially software, or entirely software. A "unit," "module," "device," or "system" or the like in this specification refers to a computer-related entity such as a hardware, a combination of hardware and software, or software. A processor, an object, an executable, a thread of execution, a program, and / or a computer, for example, a computer, but is not limited to, a computer. For example, both an application running on a computer and a computer may correspond to a part, module, device or system of the present specification.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치(100)의 구성 및 동작 상태를 나타내는 개념도이다. 도 1을 참조하면, 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 촬영하고, 제어할 수 있다. 특히 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 촬영한 영상을 기초로 제어대상드론(200)을 제어하는 사용자에게 편리한 사용자 인터페이스를 제공할 수 있다.FIG. 1 is a conceptual diagram illustrating the configuration and operation of an image-based
제어대상드론(200)은 비행 가능하고 무선 통신이 가능한 임의의 비행체를 포함할 수 있다.The controlled drones 200 may include any aviation body capable of flying and radio communication.
영상 기반의 드론 제어장치(100)는 처리장치(110)를 포함할 수 있다. 처리장치(110)는 제어대상드론(200)을 촬영한 영상을 처리하여 해당 영상 내에서 제어대상드론을 식별하거나, 촬영한 영상을 디스플레이장치(120)상에 표시할 수 있다. 이 외에도 처리장치(110)는 영상 기반의 드론 제어장치(100)에 포함되는 구성요소들과 통신하고 이들을 제어할 수 있다. The image-based drones control
일 실시예에서 상기 처리장치와 디스플레이는 스마트폰의 일 부분일 수도 있다. 이 경우 영상 기반의 드론 제어장치(100)는 스마트폰을 장착할 수 있는 장착부를 포함할 수 있다.In one embodiment, the processing device and the display may be part of a smart phone. In this case, the image-based drones control
또한 영상 기반의 드론 제어장치(100)는 영상 촬영을 위한 제1 카메라(150)를 더 포함할 수 있다. 여기서 제1 카메라(150)는 깊이 카메라, 깊이 컬러 카메라, CCD 카메라, 적외선 카메라 중 하나 이상을 포함할 수 있다. The image-based
도 2는 본 발명의 일 실시이예에 따른 영상 기반의 드론 제어장치(100)와 제어대상드론(200) 사이에서 교환되는 정보를 나타내기 위한 도이다. 도 2를 참조하면, 영상 기반의 드론 제어장치(100)와 제어대상드론(200)은 무선 네트워크를 통해 통신할 수 있다. 무선 통신 방식은, 블루투스, NFC, 3G, 4G, 5G 등 임의의 통신 방식이 채용될 수 있다.FIG. 2 illustrates information exchanged between the image-based drones control
영상 기반의 드론 제어장치(100)는 제어대상드론(200)에 대하여 다양한 동작 명령(22)을 제공할 수 있다. 동작 명령은, 요, 피치, 롤, 상승, 하강과 같은 이동명령을 포함하며, 필요에 따라서, 영상 촬영, 물건 이동, 타 드론과의 결합 등을 포함할 수 있다. 또한 본 발명이 위 열거한 예시에 제한되는 것은 아니다.The image-based
제어대상드론(200)은 영상 기반의 드론 제어장치(100)에 위치 및 센싱정보(21)를 전달할 수 있다. 위치정보는, 해당 제어대상드론(200)이 위치한 현재 위치 또는 이동한/이동할 이동경로에 대한 정보를 포함할 수 있다. 센싱정보는 제어대상드론(200)에 설치된 센서로 획득한 영상정보, 자세정보(기울기), 온도 정보 등을 포함할 수 있다.The control target drones 200 may transmit the position and sensing
도 3은 본 발명의 일 실시예에 따른 제어대상드론(200)의 블록도이다. 도 3을 참조하면 제어대상드론(200)은 비행을 위한 구동부(210) 및 제2 카메라(220)를 포함할 수 있다. 3 is a block diagram of a controlled
구동부(210)는 프로펠러, 배터리(또는 연료통), 모터(또는 엔진) 등 제어대상드론(200)의 이동을 위한 임의의 장비를 모두 포함할 수 있다. The driving
제2 카메라(220)는 제어대상드론(200)에 장착되어 영상 기반의 드론 제어장치(100)의 명령에 따라서 영상을 촬영할 수 있다. 제2 카메라(220)는 앞서 설명한 제1 카메라(150)의 종류 중 하나 이상일 수 있다.The
제어대상드론(200)은 위치센서(230)를 더 포함할 수 있다. 위치 센서(230)는 GPS 센서일 수 있다. 또한 제어대상드론(220)는 자이로센서를 더 포함할 수 있다. 자이로센서(240)는 제어대상드론(200)의 수평 자세를 유지하는데 이용될 수 있다. The
본 설명에 있어서, 영상 기반의 드론 제어장치(100) 및 제어대상드론(200)은 다양한 통신표준에 따라 상호간에 통신할 수 있도록 통신부(미도시)를 포함할 수 있다.In the present description, the image-based
일 실시예에 있어서, 영상 기반의 드론 제어장치(100)는 처리장치(110) 및 디스플레이(120)를 포함할 수 있다. 디스플레이(120)는 평면 또는 곡면 디스플레이를 포함할 수 있으며, 바람직하게는 헤드마운티드 디스플레이일 수 있다. 이 경우 영상 기반의 드론 제어장치(100)는 사용자가 착용 가능한 웨어러블 장비일 수 있다.In one embodiment, the image-based
도 4는 본 발명의 일 실시예에 따라서, 제1카메라(150)가 촬영한 제1 영상이 디스플레이(120) 상에 표시된 것을 나타내고, 도 5는 제어대상드론(200)이 촬영한 제2 영상이 추가적으로 제1 영상과 함께 표시되는 것을 나타낸다. 본 명세서에 있어서, 영상 기반의 드론 제어장치(100)가 촬영한 영상을 제1 영상이라고 하고, 제어대상드론(200)이 촬영한 영상은 제2 영상이라고 언급한다.FIG. 4 illustrates a first image captured by the
도 4에 나타난 바와 같이, 실제로 시계탑(B2)은 사용자로부터(즉 카메라)로부터 3km 정도 떨어져 있고, 제어대상드론(200)은 10m, 집(B1)은 1km 정도 떨어져 있는 상황인 것으로 가정한다. 따라서 사용자는 현재 시계탑(B2)이 가리키는 현재 시간 또는 시계탑의 시계의 구체적인 모양을 확인할 수 없는 상황이다.As shown in FIG. 4, it is assumed that the clock tower B2 is actually 3 km away from the user (that is, the camera), the controlled
처리장치(110)는 디스플레이(120) 상에 제1 카메라(150)에의해 촬영된 제1 영상을 제1영역(10)에 표시하게 할 수 있다. 제1 영역(10)은 디스플레이(120)의 전체 스크린을 포함하거나, 일 부분일 수 있다. 도 4를 참조하면, 사용자는 디스플레이(120)를 통해서, 들판에 위치한 제어대상드론(200), 사물1(B1; 집)과 사물2(B2; 시계탑)을 볼 수 있다.The
헤드마운티드 디스플레이가 이용되는 경우, 사용자는 실제 사물을 보는 것이 아니라, 제1카메라에의해 촬영된 제1영상을 디스플레이를 통해 볼 수 있다. 그리고 디스플레이에 표시되는 제1영상을 보면서 제어대상드론을 제어할 수 있다. 눈으로 직접 보는 것보다, 제1 카메라를 통한 영상을 보고 제어대상드론을 제어하는 경우, 직접 보는 것보다 더 넓은 화각을 가지는 점, 다른 정보들을 오법랩하여 표현시킴으로써 여러 정보를 함께 확인할 수 있는 점, 야간에 사물을 더 자세히 볼 수 있는 점등의 이점이 있을 수 있다.When the head-mounted display is used, the user can view the first image photographed by the first camera through the display, instead of viewing the actual object. The control target drones can be controlled while viewing the first image displayed on the display. When controlling the target drones by watching the image through the first camera rather than directly by the eyes, points that have a wider angle of view than those seen directly, and other information can be displayed by misrepresentation, , And the ability to see things in more detail at night.
일 실시예에 있어서, 처리장치(110)는 제1 영상 내 제어대상드론(110)을 식별할 수 있다. 제1 영상 내에서 특정 객체를 식별하는 사항은 아래에서 구체적으로 설명한다.In one embodiment, the
처리장치(110)는, 소정의 이벤트가 발생하면 상기 제어대상드론(200)에 설치된 제2 카메라(220)에의해 획득된 제2 영상을 디스플레이(120) 내 제2 영역(20)에 표시하게할 수 있다. 도 5에서 제어대상드론(200)은 도 4에서와 달리 시계탑(B2) 근처로 이동한 상태이다. 도 5를 참조하면, 제2 영상이 제2영역(20)에 제1영상과 함께 표시된다. The
다른 일 실시예에서 제2 영상은 제1 영상을 대체하여 표시될 수도 있다. 또한 도 5에서 표시된 제1영역(10)과 제2영역(20)의 크기 및 위치는 예시적인 것으로 제2영역(20)이 제1영역(10)보다 더 크거나 서로 동일한 크기일 수도 있다. 도 5에서, 제어대상드론(200)은 시계탑(B2) 근처에서 시계탑(B2)을 촬영하고 있으므로, 제2영역에 표시되는 제2 영상은 시계탑(B2)은 더욱 명확하게 표시될 수 있다. 도 5의 제2영역(20)을 참고하면 시계탑의 시계의 각 시각 표시 및 현재 시간을 확인할 수 있다.In another embodiment, the second image may be displayed by replacing the first image. Also, the sizes and positions of the
제1영상 내 식별되어 이동이 추적되던 제어대상드론(200)이 어느 순간 식별되지 않게되면, 처리장치(110)는 제2영상을 표시하게 할 수 있다. 제1영상에서 제어대상드론(200)을 식별하기위해서, 처리장치(110)는 영상처리기법 또는 사용자 입력 정보를 이용할 수 있다.When the
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서, 제1영상에서 제어대상드론(200)을 식별하는 과정을 설명하기 위한 도이다. FIGS. 6A and 6B are views for explaining the process of identifying the controlled
도 6a를 참조하면 처리장치(110)는 사용자가 지정한 제1 영상 내 일 지점을 기초로 제어대상드론(200)을 식별할 수 있다. 예컨대 사용자는 제1영상 내 제어대상드론(200)을 선택함으로써, 처리장치(110)는 제1 영상 내 해당 객체를 제어대상드론(200)으로 결정할 수 있다. 이를 위해서, 디스플레이장치(120)가 터치입력이 가능한 디스플레이이거나, 사용자 입력을 수신하기 위한 수단이 마련될 수 있다. 터치입력이 가능한 디스플레이인 경우 사용자는 제1영역(10) 상에 해당 제어대상드론(200)을 터치함으로써 드론을 선택할 수 있다. 영상 내에서 특정 드론을 식별하기 위해서, 종래 이용되는 영상 내 객체인식 기술이 이용될 수 있다. Referring to FIG. 6A, the
한편 사용자 입력 수단을 이용하는 경우, 도 6a에 도시된 바와 같이 표시자(P)가 제1영상 내 표시되고, 사용자는 표시자를 이동시켜 제어대상드론(200)을 결정할 수 있다. 도 6a에서 사용자가 제어대상드론(200)이 아닌 나무(B3)에 표시자를 가져다 놓고 선택하는 경우, 처리장치(110)는 나무(B3)를 제어대상드론으로 식별할 수 있다. 그러나 일 예에서 처리장치(100)는 선택된 객체의 외형이 일반적인 드론의 외형과 소정 확률 이상 다른 경우, 사용자에게 재선택을 요청할 수도 있다. On the other hand, when the user input means is used, the indicator P is displayed in the first image as shown in FIG. 6A, and the user can determine the controlled
이를 위해서 제어대상드론의 외형에 대한 참고 이미지가 데이터베이스(140)에 구비될 수 있다. 처리장치(110)는 데이터베이스(140)에 저장된 이미지와 제1영상 내 선택된 객체의 이미지를 비교하여 그것이 드론에 해당되는지 여부등을 판단할 수 있다. 이러한 판단을 위해 기계학습법이 이용될 수도 있다.For this purpose, a reference image of the external shape of the controlled drones may be provided in the
또한 사용자 입력 수단은, 상술한 터치 스크린 외에, 물리버튼, 또는 3차원 동작인식을 포함할 수 있다. 예컨대 사용자 신체에 부착된 자이로 또는 가속도 센서를 이용하여 사용자의 모션에 대응되도록 표시자(P)를 이동시키고, 선택 입력을 수신할 수도 있다.The user input means may include physical buttons, or three-dimensional motion recognition, in addition to the above-described touch screen. For example, a gyro or an acceleration sensor attached to the user's body may be used to move the indicator P to correspond to the motion of the user and receive the selection input.
도 6b는 본 발명의 일 실시예에서 이동명령과 제어대상드론의 실제 이동을 기초로 제어대상드론을 식별하는 과정을 설명하기 위한 도이다. 제1영상이 입력되어 디스플레이에 표시되는 동안, 사용자는 제어대상드론 식별모드를 실행할 수 있다. 제어대상드론 식별모드가 실행되는 동안, 처리장치(110)는 영상 기반의 드론 제어장치(100)가 발생시키는 이동명령과 제1 영상 내 드론의 이동상태를 비교하여 제1영상 내에서 제어대상드론을 식별할 수 있다. 여기서 이동상태는 이동경로 또는 이동 시간 정보를 포함할 수 있다.FIG. 6B is a diagram for explaining a process of identifying a dron to be controlled based on a movement instruction and an actual movement of the controlled dron according to an embodiment of the present invention. While the first image is input and displayed on the display, the user can execute the controlled drones identification mode. While the control target drones identification mode is being executed, the
예컨대 제1영상 내 다수의 드론이 존재하는 경우, 이러한 방식이 매우 유용할 수 있다. 도 6b를 참조하면, 사용자가 제어대상드론에 대하여 상승명령 후 약 1초 후 전진을 2회 명령한 경우, 제1영상 내 제어대상드론(200)이 상승 후 약 1초 후 2회 전진하는 경우, 처리장치(110)는 제1영상 내에서 해당 드론을 제어대상드론으로 결정할 수 있다. For example, if there are multiple drones in the first image, this approach can be very useful. Referring to FIG. 6B, when the user instructs the control target dron to advance about one second after the up command, twice, and when the
또한 다른 일 실시예에 있어서, 처리장치(110)는 도 6a 및 도 6b에서 설명한 방식을 조합하여 제어대상드론(200)을 식별할 수도 있다. 예컨대 제1영상 내 특정 객체를 사용자로부터 선택받고, 영상 기반의 드론 제어장치의 이동명령과 선택받은 객체의 이동 경로 또는 이동 시간을 비교하여 제어대상드론(200)을 결정할 수 있다.In yet another embodiment, the
처리장치(110)는 소정의 이벤트가 발생한 경우에 제2 영상이 디스플레이상에 나타나게 할 수 있다. 여기서, 소정의 이벤트는, 상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것 상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것, 상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함할 수 있다. 여기서 사용자 입력은 영상 기반의 드론 제어장치(100)에 장착된 물리버튼 또는 디스플레이 상의 터치 입력 또는 임의의 사용자 입력 방식을 포함할 수 있다. The
도 7a 내지 도 7c는 본 발명의 일 실시예에 따라, 이벤트가 발생되는 예시를 나타낸다. 제1 영상 내 제어대상드론(200)이 식별되지 않는 경우는 제1 카메라의 방향이 제어대상드론(200)을 비추지 않는 쪽으로 이동하거나, 제어대상드론(200)이 제1 카메라의 화각을 벗어난 곳으로 이동하는 경우를 포함할 수 있다(도 7a). 도 7a를 참조하면 영상 기반의 드론 제어장치(100)의 제1카메라에의해 영상을 취득할 수 있는 범위(R)가 나타난다. 제어대상드론(200)은 이러한 영상취득범위(R)를 벗어난 곳(OR)에 위치하기 때문에, 이 경우 제1 영상 내 제어대상드론(200)은 나타나지 않고 그 결과 처리장치(110)는 제어대상드론(200)을 제1영상 내에서 식별할 수 없게된다.Figures 7A-7C illustrate an example in which an event is generated, in accordance with one embodiment of the present invention. When the control target drones 200 in the first image are not identified, the direction of the first camera is shifted to the side not shining the controlled
또한 다른 일 예로 도 7b에 도시된 바와 같이, 영상취득범위(R) 내 장애물(B1)이 존재하고, 제어대상드론(200)이 이 장애물(B1) 뒤 막힌 영역(BR)에 위치하는 경우, 제1영상 내에서 제어대상드론(200)은 나타나지 않는다. 7B, when the obstacle B1 in the image acquisition range R exists and the controlled
도 7c를 참조하면, 영상 기반의 드론 제어장치(100)에서 제어대상드론(200)까지의 거리D가 소정범위를 초과하는 경우도 상기 소정의 이벤트로 볼 수 있다. 이와 같이 제어대상드론(200)이 멀리 떨어져 있는 경우 제1영상 내 제어대상드론(200)의 크기가 매우 작기 때문에 사용자는 제어대상드론(200)을 확인하기 어려울 수 있기 때문이다. Referring to FIG. 7C, a case where the distance D from the image-based drones control
이상과 같이 소정의 이벤트가 발생되는 경우, 특히 제1영상 내에서 제어대상드론(200)이 나타나게 되지 않는 경우 처리장치(110)는 제어대상드론(200)이 촬영하고 있는 제2영상을 디스플레이(120) 상에 표시할 수 있다. 그 결과 사용자는 디스플레이(120) 상에 나타나는 제2 영상을 보면서 제어대상드론(200)에 대한 제어를 계속해 나갈 수 있다.In the case where a predetermined event is generated as described above and the
제어대상드론(200)의 이동을 제어하거나, 정확한 위치를 확인하거나, 제어대상드론(200)에서 영상 기반의 드론 제어장치(100)까지의 거리를 계산하기 위해서, 처리장치(110)는 제어대상드론(200)에 포함된 위치센서(230, GPS센서) 정보와 영상 기반의 드론 제어장치(100)에 포함된 위치센서(130, GPS 센서) 정보를 함께 이용할 수 있다. 이를 위해서, 드론 제어장치(130)는 위치센서(130)를 더 포함할 수 있다. 한편 일 실시예에서 위치센서(130)는 컨트롤러(160) 내에 내장될 수도 있다.In order to control the movement of the
일 실시예에서 처리장치(110)는, 제어대상드론(200)으로부터 수신한 GPS 정보와 드론 제어장치의 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정할 수 있다. 제어대상드론(200)의 GPS 정보만으로는 실제로 정확한 제어대상드론의 위치를 확인하기 어렵다. 따라서 본 발명에서는 영상 기반의 드론 제어장치(100)에 부착된 GPS 센서의 정보를 활용하여, 차등 GPS 보정을 수행할 수 있고, 그 결과 제어대상드론이 보내는 GPS값을 보정하여 정확한 드론의 위치를 추정할 수 있다.In one embodiment, the
도 1을 다시 참조하면, 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 무선 제어하기위한 컨트롤러(160)를 더 포함할 수 있다. 컨트롤러(160)는 처리장치(110)와 하나의 케이스에 내장될 수도 있고 또는 독립적인 케이스에 내장될 수 있다. 컨트롤러(160)는 디스플레이(120)가 내장된 회로와 유선 또는 무선으로 연결될 수 있다. Referring back to FIG. 1, the image-based
도 8a 내지 도8c는 본 발명의 일 실시예에 따른 컨트롤러(160)를 나타낸다. 도8a 내지 도 8c 를 참조하면 컨트롤러(160)는, 스틱형의 바디(161), 바디(161)의 제1 위치에 설치된 제1 조이스틱(162), 제1 조이스틱(162)과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디(161)의 제2 위치에 설치된 제2 조이스틱(163)을 포함할 수 있다. 여기서 제1 조이스틱은 2축 제어를 위해 2방향 이상 이동이 가능한 스틱 또는 버튼으로 구성될 수 있다. 또한 제2 조이스틱(163)은 바디(161)의 중심의 길이방향을 축으로 제1 조이스틱(162)의 방향에서 90도 이상 180 이하의 위치에 배치될 수 있다. 즉, 사용자가 한 손으로 컨트롤러(160)를 잡았을 때, 제1 조이스틱(162)에 엄지가 위치하고, 검지(또는 중지)가, 제2 조이스틱(163)에 위치할 수 있도록 제2 조이스틱(163)의 위치가 결정될 수 있다. 8A-8C illustrate a
또한 컨트롤러(160)는 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱(164)을 더 포함할 수 있다. 여기서 제1 조이스틱은 제어대상드론의 X축, Y축 제어에 관련되고, 제2 조이스틱은 제어대상드론의 Z축 제어에 관련된다. XYZ 축 제어에 비하여 고도제어는 상대적으로 적은 회수의 제어를 필요로 한다. 따라서 제3 조이스틱은 사용자가 컨트롤러를 한 손으로 잡았을 때, 손가락으로부터의 거리가 제1 조이스틱과 제2 조이스틱에 비하여 더 먼 곳에 위치할 수 있다. 도 8c에 도시된 바와 같이 제2 조이스틱(162)의 위쪽에 제3 조이스틱이 설치되는 경우, 사용자는 제2조이스틱에 놓인 검지를 제3 조이스틱으로 옮겨 제어대상드론의 고도제어를 수행할 수 있다. 일 실시예에서 제3 조이스틱은 조그셔틀일 수 있다.In addition, the
한편 다른 일실시예에 있어서, 제어대상드론의 상하 고도 제어는, 컨트롤러 상의 물리버튼 또는 가속도 센서를 이용한 모션 컨트롤에 의해 수행될 수도 있다. On the other hand, in another embodiment, the up-and-down elevation control of the controlled drones may be performed by motion control using a physical button on the controller or an acceleration sensor.
도 9는 본 발명의 일 실시예에 따른 드론 제어장치(100)의 예시적인 형태이다. 도 9는 드론 제어장치(100)의 컨트롤러가 생략된 도이다. 도 9를 참조하면 사용자는 드론 제어장치(100)를 안면부에 부착할 수 있다. 전면에 위치한 제1카메라(150)를 통해 전면의 영상을 획득하고, 후면에 위치한 디스플레이를 통해 제1카메라의 제1영상을 출력할 수 있다. 제2 영상을 디스플레이상에 출력하거나, 출력 형태를 제어하기 위해 물리버튼이 구비될 수 있다. 상술한 출력 형태는 제1영상과 제2영상의 디스플레이 내 위치 및 비율을 포함할 수 있다.Figure 9 is an exemplary form of the
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. However, it should be understood that such modifications are within the technical scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
Claims (7)
상기 제1 영상 내 제어대상드론을 식별하는 처리장치를 포함하되,
상기 처리장치는, 소정의 이벤트가 발생하면 상기 제어대상드론에 설치된 제2 카메라에의해 획득된 제2 영상을 상기 디스플레이 내 제2 영역에 표시하게 하는, 영상 기반의 드론 제어장치.
A display for displaying a first image photographed by the first camera in a first area; And
And a processing device for identifying the controlled object drones in the first image,
Wherein the processing device displays a second image acquired by a second camera installed on the controlled subject drones in a second area in the display when a predetermined event occurs.
상기 소정의 이벤트는,
상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것
상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것,
상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
The predetermined event may be,
The control target drones in the first image are not identified
The distance between the control target drones and the drones control device exceeds a predetermined range,
And wherein the image-based drones control device receives user input for the second image display.
상기 처리장치는,
사용자가 지정한 상기 제1 영상 내 일 지점을 기초로 상기 제어대상드론을 식별하거나,
상기 영상 기반의 드론 제어장치로부터의 이동명령과 상기 제1 영상 내 드론의 이동상태를 기초로 상기 제어대상드론을 식별하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
3. The method of claim 2,
The processing apparatus includes:
The control target drones may be identified based on the one point in the first image designated by the user,
Wherein the control unit identifies the control target drones based on a movement command from the image-based dron controller and a movement state of the first image dronon.
GPS 센서를 더 포함할 수 있고,
상기 처리장치는,
상기 제어대상드론으로부터 수신한 제1 GPS 정보와 상기 영상 기반의 드론 제어장치의 제2 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
3. The method of claim 2,
A GPS sensor,
The processing apparatus includes:
Wherein the position of the controlled drones is determined by performing differential GPS correction based on the first GPS information received from the controlled drones and the second GPS information of the image-based dron controller. Based drones.
상기 제어대상드론을 무선 제어하기위한 컨트롤러를 더 포함하고,
상기 컨트롤러는,
스틱형의 바디,
상기 바디의 제1 위치에 설치된, 제1 조이스틱,
상기 제1 조이스틱과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디의 제2 위치에 설치된 제2 조이스틱, 및
상기 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱을 포함하고,
상기 제1 조이스틱은 상기 제어대상드론의 X축 및 Y축 회전 제어에 관련되고,
상기 제2 조이스틱은 상기 제어대상드론의 Z축 회전 제어에 관련되는 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
Further comprising a controller for wirelessly controlling the drones to be controlled,
The controller comprising:
Stick type body,
A first joystick disposed at a first position of the body,
A second joystick provided at a second position of the body so as to have an angle of 90 degrees or more and 180 degrees or less with respect to the first joystick,
And a third joystick for altitude control provided in a third position different from the first and second positions,
The first joystick is related to the X-axis and Y-axis rotation control of the controlled drones,
Wherein the second joystick is related to Z-axis rotation control of the controlled drones.
상기 디스플레이는, 헤드마운티드 디스플레이 장치인 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
Wherein the display is a head-mounted display device.
상기 제2영상은 상기 제1영상을 대체하거나,
상기 제1영상과 함께 표시되는 것을 특징으로 하는 영상 기반의 드론 제어장치.The method according to claim 1,
The second image may replace the first image,
And the second image is displayed together with the first image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160159851A KR20180060403A (en) | 2016-11-29 | 2016-11-29 | Control apparatus for drone based on image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160159851A KR20180060403A (en) | 2016-11-29 | 2016-11-29 | Control apparatus for drone based on image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20180060403A true KR20180060403A (en) | 2018-06-07 |
Family
ID=62622053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160159851A KR20180060403A (en) | 2016-11-29 | 2016-11-29 | Control apparatus for drone based on image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20180060403A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11883761B2 (en) | 2020-11-12 | 2024-01-30 | Universal City Studios Llc | System and method for interactive drone experience |
KR102638951B1 (en) | 2023-08-09 | 2024-02-21 | (주)모빌리티원 | Heterogeneous drone/robot Unified Remote-Control system and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9075136B1 (en) | 1998-03-04 | 2015-07-07 | Gtj Ventures, Llc | Vehicle operator and/or occupant information apparatus and method |
KR101617411B1 (en) * | 2015-08-17 | 2016-05-18 | 박시몽 | Method and system for controlling a drone |
KR101652192B1 (en) | 2015-01-30 | 2016-08-30 | 주식회사 드론오렌지 | Livestocks tracking and management system using individual identification apparatus and drone |
-
2016
- 2016-11-29 KR KR1020160159851A patent/KR20180060403A/en not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9075136B1 (en) | 1998-03-04 | 2015-07-07 | Gtj Ventures, Llc | Vehicle operator and/or occupant information apparatus and method |
KR101652192B1 (en) | 2015-01-30 | 2016-08-30 | 주식회사 드론오렌지 | Livestocks tracking and management system using individual identification apparatus and drone |
KR101617411B1 (en) * | 2015-08-17 | 2016-05-18 | 박시몽 | Method and system for controlling a drone |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11883761B2 (en) | 2020-11-12 | 2024-01-30 | Universal City Studios Llc | System and method for interactive drone experience |
KR102638951B1 (en) | 2023-08-09 | 2024-02-21 | (주)모빌리티원 | Heterogeneous drone/robot Unified Remote-Control system and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10551834B2 (en) | Method and electronic device for controlling unmanned aerial vehicle | |
CN107402000B (en) | Method and system for correlating a display device with respect to a measurement instrument | |
US11557134B2 (en) | Methods and systems for training an object detection algorithm using synthetic images | |
US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
US9086724B2 (en) | Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus | |
JP6611501B2 (en) | Information processing apparatus, virtual object operation method, computer program, and storage medium | |
US10438411B2 (en) | Display control method for displaying a virtual reality menu and system for executing the display control method | |
JP2016167688A (en) | Image generation method, system, device, and terminal | |
JP2013258614A (en) | Image generation device and image generation method | |
JP6399692B2 (en) | Head mounted display, image display method and program | |
US11960635B2 (en) | Virtual object display device and virtual object display method | |
JP2003267295A (en) | Remote operation system | |
CN113508351A (en) | Control method, intelligent glasses, movable platform, holder, control system and computer-readable storage medium | |
CN113448343B (en) | Method, system and readable medium for setting a target flight path of an aircraft | |
US20210042513A1 (en) | Information processing apparatus, information processing method, and program | |
JP2017183852A (en) | Display device and display control method | |
KR20180060403A (en) | Control apparatus for drone based on image | |
CN113677412B (en) | Information processing device, information processing method, and program | |
WO2022176450A1 (en) | Information processing device, information processing method, and program | |
US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
JP2019066196A (en) | Inclination measuring device and inclination measuring method | |
JP6890759B2 (en) | Flight route guidance system, flight route guidance device and flight route guidance method | |
US10845603B2 (en) | Imaging assisting device and program | |
US20230245397A1 (en) | Information processing method, program, and system | |
JPWO2020110293A1 (en) | Display control system, display control device and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |