KR102480986B1 - Multi-User Operation System and the method using Mixed Reality Device - Google Patents

Multi-User Operation System and the method using Mixed Reality Device Download PDF

Info

Publication number
KR102480986B1
KR102480986B1 KR1020180031192A KR20180031192A KR102480986B1 KR 102480986 B1 KR102480986 B1 KR 102480986B1 KR 1020180031192 A KR1020180031192 A KR 1020180031192A KR 20180031192 A KR20180031192 A KR 20180031192A KR 102480986 B1 KR102480986 B1 KR 102480986B1
Authority
KR
South Korea
Prior art keywords
information
image
image information
remote
user
Prior art date
Application number
KR1020180031192A
Other languages
Korean (ko)
Other versions
KR20190109168A (en
Inventor
임진국
조세훈
Original Assignee
임진국
조세훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임진국, 조세훈 filed Critical 임진국
Priority to KR1020180031192A priority Critical patent/KR102480986B1/en
Publication of KR20190109168A publication Critical patent/KR20190109168A/en
Application granted granted Critical
Publication of KR102480986B1 publication Critical patent/KR102480986B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23051—Remote control, enter program remote, detachable programmer

Abstract

원격지에 있는 시스템에 대하여 적어도 서로 다른 시야각을 가지는 영상정보입력장치들과 적어도 2명이상이 사용하는 영상정보출력장치들을 통해서 실시간 작업상태와 환경정보를 입력 받아 동시에 다중 사용자들이 환경의 변화에 따른 상황정보와 작업상태를 파악하고 선택적으로 정보들을 공유하고 원격지의 시스템을 효과적으로 제어하는 시스템을 개시한다.Real-time work status and environmental information are received through image information input devices having at least different viewing angles and image information output devices used by at least two people with respect to a system in a remote location, and multiple users simultaneously receive the situation according to environmental changes. A system that grasps information and work status, selectively shares information, and effectively controls remote systems is disclosed.

Description

복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법{Multi-User Operation System and the method using Mixed Reality Device}Multi-User Operation System and the method using Mixed Reality Device

본 발명은 적어도 두 개의 영상입력장치, 영상정보처리장치, 원격시스템 및 하나 이상의 영상정보출력장치 등을 이용하여 원격지에서 실시간으로 입력된 영상정보 및 입력된 영상정보의 분석정보를 이용하여 상기 원격시스템을 제어하는 방법에 관한 것으로, 상기 영상정보 및 분석정보를 서로 다른 영상정보출력장치를 이용하여 원격지의 시스템이나 상황정보를 공유하여 제어하거나 활용하는 방법과 시스템 구성에 관한 것이다.The present invention uses at least two image input devices, an image information processing device, a remote system, and one or more image information output devices, etc. to obtain image information input in real time from a remote location and analysis information of the input image information to the remote system. It relates to a method for controlling, and relates to a method and system configuration for controlling or utilizing the image information and analysis information by sharing a remote system or situation information using different image information output devices.

일반적으로 특정 건물이나 시설에 설치되어 감시 및 탐지용으로 운용되는 카메라는 고정형태와 카메라의 방향이나 화각, 초점거리를 변화시킬 수 있는 이른바 Pan-Tilt-Zoom(이하 PTZ)카메라가 있고, 자동차나 특수장비 등에 고정 설치되어 운영되는 단 초점 카메라 등이 있다. 특히 위험한 지역이나 실시간 주변의 환경이 변화되는 곳에서 작업하는 굴삭기나 건물을 해체하기 위한 브레이커, 원격 진료용 의료기기, 원격제어용 작업로봇이나 무장장치, 무인비행체, 소방용 장비나 헬멧 등에 카메라가 설치 운영되는 경우에는 실시간 환경변화를 감시하거나 탐지 및 추적 등을 해야 하는 상황에서는 많은 영상정보의 확보가 필요하게 된다. 이런 경우 대부분 다수의 카메라를 사용하여 동시에 많은 영상정보를 획득하게 된다. In general, cameras installed in a specific building or facility and operated for monitoring and detection include a fixed type and a so-called Pan-Tilt-Zoom (hereinafter referred to as PTZ) camera that can change the direction, angle of view, and focal length of the camera. There are short-focus cameras that are fixedly installed and operated in special equipment. In particular, cameras are installed and operated in excavators working in dangerous areas or where the surrounding environment changes in real time, breakers for dismantling buildings, medical devices for remote medical treatment, remote control robots or armed devices, unmanned aerial vehicles, firefighting equipment or helmets. In this case, it is necessary to secure a lot of image information in situations where real-time environmental changes must be monitored or detected and tracked. In this case, a lot of image information is obtained at the same time using a plurality of cameras.

통상적으로 영상정보를 포함하는 시스템들의 필요한 영상정보는 장착된 카메라의 성능에 따라 특성이 달라지고 입력된 영상정보는 유무선 통신으로 모니터 장치나 기타 다양한 시각표시 장치로 송출한다. 또한 로봇 팔이나 유압, 모터 등을 제어하는 수술용 로봇이나 작업용 로봇장치 등에서는 실시간의 작업상황과 주변환경 및 작업 대상객체 등의 정보와 작업용 도구, 제어장치 등에 대하여 더욱 많은 정보들이 요구된다. Typically, the characteristics of required image information of systems including image information vary depending on the performance of the installed camera, and the input image information is transmitted to a monitor device or other various visual display devices through wired/wireless communication. In addition, in a surgical robot or work robot device that controls a robot arm, hydraulic pressure, motor, etc., more information about real-time work situation, surrounding environment, work target object, work tool, control device, etc. is required.

일반적인 관측 및 탐지용 카메라는 내장된 렌즈 방향의 특정 각도 범위에서의 영상만을 제공한다. 보다 넓은 시야를 확보하기 위해서는 카메라의 렌즈 방향을 회전 및 상하각도를 변화시키는 이른바 PTZ제어를 통해 보다 넓은 범위에 대한 많은 영상정보를 얻게 된다. 각기 다른 카메라에서 입력된 영상을 연결하여 여러 개의 화면에 길게 표현하는 파노라마 영상을 제공하는 경우도 있다. 최근에는 360도 관측용 어안 렌즈나 특수렌즈를 채용한 카메라는 1개의 렌즈 또는 다수의 렌즈를 배열시켜 동시에 다양한 방향의 영상정보를 획득할 수 있다. 대부분의 경우 입력된 영상을 사용자 중심으로 대형 스크린으로 영상정보를 제공하게 된다. 또한 최근에는 가상현실(Virtual Reality, 이하 VR), 증강현실(Augmented Reality, 이하 AR) 또는 복합현실(Mixed Reality, 이하 MR)등을 사용하여 입력된 영상이나 만들어진 3차원의 영상정보를 활용하거나 실시간으로 360도 카메라를 연계하여 사용자에게 카메라를 중심으로 주변환경을 사용자의 의도된 방향에 대한 영상을 볼 수 있게 구현이 되고 있다. 상기한 영상정보출력장치는 예시적으로 한국공개특허 2017-0136057호와 같이 웨어러블 형태로 제공될 수 있는바, Head-mounted display(이하 HMD)를 사용하는 사례들이 많다. A general observation and detection camera provides only images in a specific angular range in the direction of the built-in lens. In order to secure a wider field of view, a lot of image information for a wider range is obtained through so-called PTZ control that rotates the lens direction of the camera and changes the vertical angle. In some cases, images input from different cameras are connected to provide long panoramic images on several screens. Recently, a camera employing a fisheye lens or a special lens for 360-degree observation can obtain image information in various directions at the same time by arranging one lens or a plurality of lenses. In most cases, image information is provided on a large screen centering on the input image. Also, in recent years, virtual reality (VR), augmented reality (AR) or mixed reality (MR) is used to utilize input images or generated 3D image information, or real-time As a result, a 360-degree camera is linked so that the user can see the image of the user's intended direction of the surrounding environment centered on the camera. The above image information output device may be provided in a wearable form , such as illustratively in Korean Patent Publication No. 2017-0136057, and there are many cases in which a head-mounted display (hereinafter referred to as HMD) is used.

실시간 환경변화를 감시하거나 탐지 및 추적 등을 해야 하는 상황에서는 많은 영상정보의 확보가 필요하지만 단순히 영상정보의 양적 증가나 제공만으로는 원격지에서 시스템 주위환경 파악이나 작업 및 시스템을 제어하는 데에는 다양한 한계점들이 존재한다. It is necessary to secure a lot of video information in situations where real-time environmental changes must be monitored or detected and tracked. However, there are various limitations in identifying the environment around the system or controlling the operation and system from a remote location simply by providing or increasing the amount of video information. do.

또한 원격으로 수술용 로봇이나 작업용 시스템, 특수차량이나 장치 등을 제어하는 경우, 제어대상 시스템과 사용자 간의 물리적으로 떨어진 상태로 제어해야 한다. 이 경우에는 상황에 따라 정밀도 수준이나 각 도구나 대상과의 상대적인 움직임과 특정 기준에서 방향과 속도 등의 움직임도 함께 고려해야 한다. 국부적인 움직임에 한정되고 몰입되는 경우 주변의 상황인식이 되지 않아서 주변 영향에 대한 대응이 원활하지 않게 될 수 있다.In addition, when controlling a surgical robot, work system, special vehicle or device remotely, it must be controlled in a physically separated state between the controlled system and the user. In this case, depending on the situation, the level of precision, relative movement with each tool or object, and movement such as direction and speed in a specific standard must be considered together. If you are limited and immersed in local movements, you may not be aware of the surrounding situation, so that your response to the surrounding influences may not be smooth.

주변상황 인식을 위해서 보다 넓은 시야를 확보하기 위해서는 PTZ카메라를 이용하거나 여러 대의 카메라를 각각 다른 방향으로 설치하고 이를 파노라마 영상을 만들어 주변정보를 제공할 수 있다. 360도 관측용 어안 렌즈나 특수렌즈 한 개 또는 다수를 채용하여 동시에 다양한 방향의 영상정보를 획득할 수 있다. 이를 통해 사용자에게 카메라를 중심으로 주변환경을 사용자의 의도된 방향에 대한 영상을 볼 수 있게 구현이 되고 있다. 그러나 사용자 관점에서 단순히 넓은 범위의 영상정보를 제공할 수 있다는 것의 실제적인 효과가 높지 않다. 즉, 특정 영역에 대한 상세한 영상정보를 선택적으로 얻거나 원격지에서 카메라에 의한 현장감을 구현하는 데는 기술적으로 한계를 가지고 있다. 원격지의 주변환경이 복잡하거나 다양한 상황이 발생하는 경우에는 단순히 영상정보를 제공하는 것으로는 원격지의 시스템이나 상황에 대처하는데 한계가 발생하게 된다. 실시간으로 사용자가 인식할 수 있는 영상정보는 지향하는 방향이나 관심영역 또는 관심 대상에 머물게 된다. 또한 하나의 시스템에 대하여 실질적으로 1인이 조작을 하거나 대응을 하기 때문에 다양한 채널을 통해 확보된 영상정보 중에서 실제 활용되는 것은 실시간 관점으로 볼 때에 일부의 정보만을 활용하는 상황이 된다.In order to secure a wider field of view for recognizing the surrounding situation, a PTZ camera can be used or multiple cameras can be installed in different directions to create a panoramic image and provide surrounding information. It is possible to acquire image information in various directions at the same time by employing one or more fisheye lenses or special lenses for 360-degree observation. Through this, it is implemented so that the user can see the image of the user's intended direction of the surrounding environment centered on the camera. However, from the user's point of view, the practical effect of simply providing a wide range of image information is not high. That is, there are technical limitations in selectively obtaining detailed image information on a specific area or implementing a sense of realism by a camera at a remote location. When the surrounding environment of a remote place is complex or various situations occur, there is a limit in coping with a system or situation at a remote place simply by providing image information. Image information that can be recognized by the user in real time stays in the direction, area of interest, or object of interest. In addition, since one person actually operates or responds to one system, the actual utilization among image information secured through various channels becomes a situation in which only some information is utilized from a real-time perspective.

또한 사용자가 디스플레이나 다양한 영상장치를 통해서 상황정보를 인지한 후에는 후속적으로 제어하고자 하는 시스템을 조종하거나 제어해야 하기 위해서는 지속적으로 영상정보에 대한 인식과 장치제어를 위한 조작이 동시적으로 이루어져 효율적으로 시스템을 제어하거나 운영하는데 한계를 가지게 된다.In addition, after the user recognizes the situation information through the display or various video devices, in order to manipulate or control the system to be subsequently controlled, the recognition of the video information and the operation for device control are continuously performed simultaneously to efficiently As a result, it has limitations in controlling or operating the system.

본 발명은 상기와 같은 문제점들을 포함하여 여러 문제점들을 해결하기 위한 것으로, 원격지의 다양하고 복잡한 환경과 상황변화에 용이하게 대응하기 위하여 멀티 유지에 의한 원격지의 시스템 제어방법과 시스템을 제공하는 것을 목적으로 한다. The present invention is to solve various problems, including the above problems, and to provide a remote system control method and system by multi-maintenance in order to easily respond to various and complex environments and situation changes in remote areas. do.

그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위나 그 효과가 한정되는 것은 아니다.However, these tasks are illustrative, and thereby the scope or effect of the present invention is not limited.

상술한 본 발명의 목적은 적어도 하나를 달성하기 위하여 본 발명의 일 실시 예에 따르면, 원격으로 제어되는 원격시스템, 상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치, 상기 영상입력장치의 영상정보를 분석 처리하는 정보처리장치와 상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보출력장치와 상기한 영상정보 또는 분석정보를 송수신하는 데이터송수신장치를 포함하는 멀티 유저 원격 운영시스템을 개시한다.According to an embodiment of the present invention to achieve at least one of the above-described objects, a remote system controlled remotely, and at least two image input devices having different viewing angles disposed on one side or close to the remote system. An information processing device for analyzing and processing the image information of the image input device, at least two image information output devices for outputting analysis information generated by the information processing device, and a data transmission/reception device for transmitting and receiving the image information or analysis information. Discloses a multi-user remote operating system that includes

일 실시 예에 있어서, 상기 영상정보출력장치는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치일 수 있다.In one embodiment, the image information output device may be a device having at least one function among AR, VR, and MR in the form of an HMD.

일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 영상입력장치들의 영상정보들 중에서 적어도 하나를 선택적으로 표시할 수 있다. In one embodiment, the image information output devices may selectively display at least one of the image information of the image input devices.

일 실시 예에 있어서, 상기 영상입력장치들은 가시광, 열화상, 적외선영상, 라이다, 레이더 중의 적어도 하나 이상을 선택하여 배치할 수 있다.In one embodiment, the image input devices may select and arrange at least one of visible light, thermal image, infrared image, LIDAR, and radar.

일 실시 예에 있어서, 상기 영상입력장치들은 줌 카메라, 스테레오 카메라, PTZ 카메라, 360도 카메라 중의 적어도 어느 하나이상을 선택하여 배치할 수 있다.In one embodiment, the video input devices may select and arrange at least one of a zoom camera, a stereo camera, a PTZ camera, and a 360-degree camera.

일 실시 예에 있어서, 상기 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나일 수 있다.In one embodiment, the remote system may be any one of a special vehicle, a surgical robot, a drone, a firefighting robot, a firefighting helmet, a remote armed device, and heavy construction equipment.

일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스를 포함할 수 있다.In one embodiment, the image information output devices may include a user interface for generating a control signal for controlling the remote system.

일 실시 예에 있어서, 상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스는 VR, AR, MR 중의 적어도 하나의 기능을 가지는 HMD장치에 포함될 수 있다.In one embodiment, a user interface for generating a control signal for controlling the remote system of the image information output devices may be included in an HMD device having at least one function among VR, AR, and MR.

일 실시 예에 있어서, 상기 영상입력장치들 중의 적어도 하나는 상기 원격시스템에 배치되고 상기 원격시스템을 구성하는 본체의 움직임에 연동될 수 있다. In one embodiment, at least one of the image input devices may be disposed in the remote system and interlocked with the movement of a body constituting the remote system.

일 실시 예에 있어서, 상기 영상입력장치들은 서로 다른 시야각을 가지고 적어도 하나는 줌 기능을 더 구비할 수 있다.In one embodiment, the image input devices may have different viewing angles and at least one may further include a zoom function.

일 실시 예에 있어서, 상기 영상입력장치들은 상기 원격시스템에 적어도 하나 배치가 되고 배치된 영상입력장치는 사용자의 조작에 의하여 방향과 시야각을 변화시킬 수 있는 제어장치를 더 포함 할 수 있다.In one embodiment, at least one of the image input devices may be disposed in the remote system, and the disposed image input devices may further include a control device capable of changing a direction and viewing angle by a user's manipulation.

일 실시 예에 있어서, 상기 정보처리장치는 상기 영상입력장치로부터 입력된 영상정보를 사용하여 설정된 기준정보와 비교하여 분석정보를 생성할 수 있다.In one embodiment, the information processing device may generate analysis information by comparing the image information input from the image input device with set reference information.

일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 영상정보 또는 상기 정보처리장치의 분석정보가 표시되고 상기 분석정보의 영상출력에 대하여 선택적으로 사용자의 조작에 의하여 추가분석정보를 생성할 수 있다.In one embodiment, the video output devices display image information of the image input devices or analysis information of the information processing device, and selectively generate additional analysis information with respect to the image output of the analysis information by a user's manipulation. can

일 실시 예에 있어서, 상기 영상정보, 분석정보 및 추가분석정보는 상기 영상출력장치들이 실시간으로 선택적으로 공유가 될 수 있다.In one embodiment, the image information, analysis information, and additional analysis information may be selectively shared by the video output devices in real time.

일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 각각의 영상정보를 선택적으로 중첩하여 출력할 수 있다.In one embodiment, the image output devices may selectively overlap and output image information of each of the image input devices.

일 실시 예에 있어서, 상기 영상출력장치들은 상기 영상입력장치들의 각각의 영상정보를 선택적으로 중첩하여 출력하는 경우, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력 할 수 있다.In one embodiment, when the image output devices selectively overlap and output each image information of the image input devices, image information having a narrower viewing angle may be overlapped and outputted against a background of image information having a wider viewing angle. there is.

일 실시 예에 있어서, 상기 정보처리장치는 상기 영상입력장치들 중에서 시야각이 더 넓은 장치로부터 입력된 영상정보를 분석하여 설정된 시간 동안 실질적인 변화의 유무 영역을 분리하여 상대적 및 절대적인 위치, 거리, 크기, 방향 등에 대하여 관심영역을 분석정보로 추출할 수 있다. In one embodiment, the information processing device analyzes image information input from a device having a wider viewing angle among the image input devices and separates an area having a substantial change during a set time to determine relative and absolute position, distance, size, A region of interest, such as a direction, may be extracted as analysis information.

일 실시 예에 있어서, 상기 영상정보출력장치는 상기 정보처리장치에서 생성될 수 있는 관심영역을 출력할 수 있고, 사용자는 출력된 관심영역에 대하여 사용자 조작으로 추가분석정보를 생성할 수 있다.In one embodiment, the image information output device may output a region of interest that can be generated by the information processing device, and a user may generate additional analysis information with respect to the output region of interest by user manipulation.

일 실시 예에 있어서, 상기 영상입력장치들은 상기 영상출력장치로부터 생성된 추가분석정보에 대하여 선택적으로 시야각이 더 좁은 영상입력장치를 통해서 상세영상정보를 입력할 수 있다.In one embodiment, the image input devices may selectively input detailed image information through an image input device having a narrower viewing angle with respect to the additional analysis information generated from the image output device.

상기한 과제해결의 일 실시예 이외의 다른 측면, 특징, 이점들은 이하의 발명을 실시하기 위한 구체적인 내용, 특허청구범위 및 도면 등으로부터 보다 명확해질 것이다. Other aspects, features, and advantages other than one embodiment of the above-described problem solving will become clearer from the specific contents, claims, and drawings for carrying out the invention below.

상기와 같이 구성되거나 방법을 적용하고 활용 및 응용을 하게 되면 종래의 기술적인 한계나 문제점들이 해결되고 또한 요구되는 새로운 기능들이 구현되는 효과를 얻을 수 있다.When the structure or method is applied and utilized and applied as described above, the conventional technical limitations or problems are solved, and the effect of implementing new functions required can be obtained.

본 발명에 의하여 원격지의 시스템 환경과 변화되는 상황정보를 전체와 부분 영상 및 상세영상을 선택적으로 적어도 두 명의 작업자가 공유함으로써 주작업자와 보조작업자로 나누어 실시간 제어를 가능하게 하여 작업과 상황정보의 변화를 상호 인지하고 역할을 실시간 변화시키며 효율적인 작업을 가능하게 한다. 또한 작업자의 시선과 인지의 한계에 의한 상황변화에 부적합한 조작의 발생을 방지하고 실시간으로 대응과 문제발생을 예방하여 원격시스템을 보다 용이하게 원격지에서 조작 가능하거나 활용 가능하게 하는 시스템과 그 방법을 제공할 수 있다.According to the present invention, at least two workers selectively share whole and partial images and detailed images of the remote system environment and changing situation information, thereby enabling real-time control by dividing the main worker and the auxiliary worker, thereby enabling changes in work and situation information. mutually recognize each other, change roles in real time, and enable efficient work. In addition, it provides a system and method for preventing the occurrence of inappropriate operation due to the operator's line of sight and cognitive limitations, and preventing the occurrence of problems and responding in real time so that the remote system can be operated or utilized remotely more easily. can do.

도 1은 일반적인 원격지 시스템 제어 및 활용시스템 예시도
도 2는 본 발명의 일 실시 예에 따른 시스템 개략도
도 3은 본 발명의 일 실시 예에 따른 영상정보 및 입출력 시스템 구성
도 4는 본 발명의 일 실시 예에 따른 제어신호입력 장치 예시도
도 5는 본 발명의 일 실시 예에 따른 시스템의 구성도1 is an exemplary view of a general remote system control and utilization system
Figure 2 is a system schematic diagram according to an embodiment of the present invention
3 is a configuration of image information and input/output system according to an embodiment of the present invention
4 is an exemplary view of a control signal input device according to an embodiment of the present invention
5 is a configuration diagram of a system according to an embodiment of the present invention

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Since the present invention can apply various transformations and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when describing with reference to the drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof will be omitted. . Terms used in the following examples are only used to describe specific examples, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

이하의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the following embodiments, terms such as “include” or “have” are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more It should be understood that the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof is not precluded.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of components may be exaggerated or reduced for convenience of explanation. For example, since the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, the present invention is not necessarily limited to the illustrated bar.

본 실시예는 VR, MR, AR 등을 구현하는 HMD장치를 예시적으로 사용하는 바 HTC사의 VIVE장치를 가상 현실 헤드셋의 하나로 사용을 한다. 이 제품은 2016년 4월 5일 출시되었고 룸 스케일 기술을 활용하여 센서를 통해 방을 3차원 공간으로 변화시켜 주도록 설계되어 있다. 가상 현실을 통해 사용자가 자연스럽게 탐험할 수 있고 걸을 수도 있으며 입체카메라를 탑재하고 모션 추적 핸드헬드 컨트롤러를 사용하여 생생하게 물체를 조작할 수 있다. Since this embodiment uses an HMD device implementing VR, MR, AR, etc. as an example, HTC's VIVE device is used as one of the virtual reality headsets. This product was released on April 5, 2016 and is designed to transform a room into a three-dimensional space through sensors using room scale technology. Virtual reality allows users to explore naturally, walk, and manipulate objects vividly with stereoscopic cameras and motion-tracking handheld controllers.

이하의 일 실시 예에서, 본 발명의 사상을 보다 용이하게 이해 될 수 있다.In the following embodiment, the spirit of the present invention can be more easily understood.

도 1은 종래기술의 통상적인 원격제어 시스템의 일반적인 구성도이다. 1 is a general configuration diagram of a conventional remote control system in the prior art.

원격지에 있는 제어 대상의 로봇에 대하여 상호 이격된 장소에서 클라이언트 측에서 다양한 제어 패널이나 모니터링 장비를 통해서 원격지의 로봇의 상태나 움직임을 제어할 수 있다. 초고속 유무선 망에 의하여 정교한 로봇의 제어나 영상정보들을 송수신 할 수 있다. 근거리에서 조종하는 경우는 유선으로 연결되어 원격제어 시스템을 통해서 원격지의 장치를 제어할 수 있다. 또한 로봇이나 시스템의 움직임을 센싱하는 다차원 센서나 카메라를 통해서 다양한 정보를 수신 받을 수 있다. 또한 로봇이나 장치에 설치 가능한 카메라를 통해서 통해서 원격지에서 First Person View(이하 FPV)를 구현하여 현장감이 높은 제어를 시도할 수 있다.With respect to the robot of the control target in the remote place, the state or movement of the robot in the remote place can be controlled through various control panels or monitoring equipment on the client side at a space separated from each other. Sophisticated robot control and image information can be transmitted and received through high-speed wired/wireless networks. In the case of remote control, it is connected by wire and can control remote devices through a remote control system. In addition, various information can be received through a multi-dimensional sensor or camera that senses the movement of the robot or system. In addition, through a camera that can be installed on a robot or device, First Person View (hereinafter referred to as FPV) can be implemented from a remote location to achieve control with high realism.

도 2는 본 발명에 따른 일 실시 예로써 원격으로 제어되는 원격시스템(100,150), 상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치(210,220,230,240), 상기 영상입력장치의 영상정보를 분석처리하는 정보처리장치(300)와 상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보 출력장치(410,420)와 상기한 영상정보 또는 분석정보를 송수신하는 데이터 송수신장치(510,520)를 포함하는 멀티 유저 원격 운영시스템을 개시한다. 예시적으로 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나일 수 있다. 하기 상세한 설명은 굴삭기를 예시적으로 상세하게 설명한다. 상기 영상정보 출력장치(410,420)는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치일 수 있다. 상기 영상정보 출력장치(410,420)들은 상기 영상입력장치(210,220)들의 영상정보들 중에서 적어도 하나를 선택적으로 표시할 수 있다. 상기 영상입력장치들은 영상정보의 형태에 따라서 가시광, 열화상, 적외선영상, 라이다, 레이더 중의 적어도 하나 이상을 선택하여 배치할 수 있다. 또한 장치의 성능이나 기능적으로는 상기 영상입력장치들은 줌 카메라, 스테레오 카메라, PTZ 카메라, 360도 카메라 중의 적어도 어느 하나이상을 선택하여 배치할 수 있다.2 shows a remotely controlled remote system (100, 150), at least two image input devices (210, 220, 230, 240) having different viewing angles disposed on one side or close to the remote system as an embodiment according to the present invention, and the image input device. An information processing device 300 that analyzes and processes image information of the information processing device, at least two image information output devices 410 and 420 that output analysis information generated by the information processing device, and a data transmission/reception device that transmits and receives the image information or analysis information. Discloses a multi-user remote operating system including (510,520). For example, the remote system may be any one of a special vehicle, a surgical robot, a drone, a firefighting robot, a firefighting helmet, a remote armed device, and heavy construction equipment. The following detailed description describes an excavator in detail by way of example. The image information output devices 410 and 420 may be devices having at least one function among AR, VR, and MR in the form of an HMD. The image information output devices 410 and 420 may selectively display at least one of the image information of the image input devices 210 and 220 . The image input devices may select and arrange at least one of visible light, thermal image, infrared image, LIDAR, and radar according to the type of image information. Also, in terms of device performance or functionality, at least one of a zoom camera, a stereo camera, a PTZ camera, and a 360-degree camera may be selected and disposed as the video input devices.

상기 영상입력장치들 중의 적어도 하나인 제1 카메라시스템(220)은 메인 작업 도구나 방향을 향하여 배치되고 선택적으로 상세한 영상정보를 입력 받기 위해서 줌 기능이나 해상도를 변화시킬 수 있는 성능을 구비하는 것이 바람직하다. 실제 작업자가 원격시스템에 탐승한 상태 또는 작업 현장에서 제어를 하는 관점에서 필요한 정보를 입력받기 위해서 상기와 같은 예시적 구성을 할 수 있다. 통상적으로는 작업도구나 작업방향과 연동된 영상정보를 입력하기 위하여 카메라의 방향이 작업도구나 방향에 따라 동시적으로 움직일 수 있도록 배치 된다. 그러나 시스템의 구현시 선택적으로 연동형태와 사용자에 의하여 방향이나 촛점거리, 줌, 상하좌우로 카메라를 제어할 수 있는 구동부를 더 구비할 수 있다. 입력된 작업도구 또는 작업방향의 영상정보와 선택적으로 원격시스템의 일측에 배치 되고 상기 제1 카메라시스템(220)과 이격되고 제1 카메라시스템보다 넓은 시야각을 가지는 제2 카메라시스템(210)을 배치 한다. 통상 원격시스템 최상단에 배치되거나 분산배치되어 원격 시스템의 가장자리에 다수의 카메라로 구성될 수 있다. 통상 제2 카메라시스템은 원격시스템(100,150)을 중심으로 전후좌우 상하 등 360 방향으로 영상정보를 입력받을 수 있도록 설치되는 것이 바람직하다. 또한 원격시스템의 본체 방향 또는 기본 방향을 설정하여 주변 환경이나 지형지물에 대하여 상대적인 움직임이나 위치를 인식할 수 있도록 배치 될 수 있다. 상기한 시야각이 상대적으로 넓은 카메라는 원격시스템의 본체의 방향과 통상적으로 연동이 되도록 배치 된다. 예시적으로 굴삭기의 상부 회전부는 하부의 이동수단들과 그 방향이 다르게 조종이 될 수 있다. 원격지에서는 현재 굴삭기가 전진을 하고자 할 때에 이동수단부의 방향과 카메라의 방향이 일치가 되어 있어야 원격지에서 시스템을 전진시키고자 할 때에 실제 방향이 맞게 제어가 될 수 있다. 물론 선택적으로 이동을 멈추고 작업 중에는 상부 회전부의 방향과 일치 시킴으로써 작업 중심으로 운영할 수 있다. Preferably, the first camera system 220, which is at least one of the image input devices, is disposed toward the main work tool or direction and has a zoom function or ability to change resolution in order to selectively receive detailed image information. Do. In order to receive necessary information from the point of view of an actual worker boarding a remote system or controlling a work site, the above exemplary configuration can be made. In general, the direction of the camera is arranged so that it can move simultaneously according to the working tool or direction in order to input image information linked to the working tool or working direction. However, when the system is implemented, a driving unit capable of selectively controlling the camera in direction, focal length, zoom, up, down, left and right may be further provided by an interlocking type and a user. A second camera system 210 is disposed on one side of the input work tool or work direction and optionally on one side of the remote system, is spaced apart from the first camera system 220, and has a wider viewing angle than the first camera system. . Usually, a plurality of cameras may be configured at the top of the remote system or distributed at the edge of the remote system. In general, it is preferable that the second camera system be installed so as to be able to receive image information in 360 directions, such as front, back, left, right, up and down, with the remote systems 100 and 150 at the center. In addition, by setting the main body direction or basic direction of the remote system, it can be arranged to recognize the relative movement or position with respect to the surrounding environment or landmark. The camera having a relatively wide field of view is arranged to normally interlock with the direction of the main body of the remote system. For example, the upper rotary part of the excavator may be controlled in a direction different from that of the lower moving means. In a remote place, when the current excavator is moving forward, the direction of the moving unit must match the direction of the camera so that the actual direction can be controlled when the system is to be moved forward in a remote place. Of course, it can be operated centering on work by selectively stopping the movement and matching the direction of the upper rotating part during work.

상기한 제1,2 카메라시스템을 통해서 입력된 영상정보들은 상기한 영상정보출력장치들(410,420)을 통하여 출력될 수 있다. 또한 분석된 정보가 복합적으로 표시 가능하게 정보처리장치(300)에서 사전에 다양한 작업환경이나 작업도구의 상태정보를 가지고 설정된 기준정보와 비교하여 분석정보를 생성하는데 활용 될 수 있다. 예시적으로 정보처리장치는 원격시스템과 이격된 장소나 외부 시스템에 배치 된다. 통상 원격제어 시스템은 작업환경이 거칠거나 진동 및 온도 습도 및 먼지 등의 환경이 양호하지 않는 상황에서 운영이 된다. 빠른 컴퓨티 시스템으로 소형화 모바일화가 되고 있어서 이동성이 용이해 지고 있다. 사용자는 상황에 따라서 상세정보를 확인하기 위하여 선택적으로 줌기능이나 해상도를 변화시킬 수 있는 PTZ 제어 시스템(250)을 통해서 상세정보를 원격지에서 확인이 가능하게 된다.Image information input through the first and second camera systems may be output through the image information output devices 410 and 420 . In addition, the information processing device 300 can be used to generate analysis information by comparing the status information of various work environments or work tools with reference information set in advance in the information processing device 300 so that the analyzed information can be displayed in a complex manner. For example, the information processing device is disposed in a place remote from the remote system or in an external system. In general, the remote control system is operated in a situation where the working environment is rough or the environment such as vibration, temperature, humidity, and dust is not good. As fast computing systems are being miniaturized and mobilized, mobility is becoming easier. The user can check detailed information remotely through the PTZ control system 250 that can selectively change the zoom function or resolution to check detailed information according to circumstances.

상기한 영상입력장치들로부터의 영상정보들은 송수신장치(510,520)를 통해서 영상정보출력장치(410,420)로 송수신 될 수 있다. 근거리에서는 예시적으로 유선에 의하여 정보처리장치(300)를 통해서 유무선으로 영상정보나 분석정보들이 송수신될 수 있다. 이러한 송수신장치는 시스템의 요구사양이나 환경에 따라서 무선, 유선 및 유무선 복합형태로 시스템이 설치 될 수 있다. 전달된 영상정보 또는 분석정보들은 상기 영상정보출력장치(410,420)에서 선택적으로 중첩하여 표시가 될 수 있다. 이로써 하나의 원격시스템의 효율적이고 효과적인 원격지에서의 제어 및 활용을 하기 위해서 적어도 2개의 영상정보출력장치를 이용함으로써 작업 및 도구 중심의 제어와 원격시스템의 환경정보 및 주변변화 상황정보를 선택적으로 활용할 수 있는 시스템이 구성될 수 있다.Image information from the above-described image input devices may be transmitted and received to the image information output devices 410 and 420 through the transmission and reception devices 510 and 520. In a short distance, image information or analysis information may be transmitted and received illustratively by wire or wirelessly through the information processing device 300 by wire. These transceivers can be installed in a wireless, wired, or wired/wireless combination system according to the requirements of the system or the environment. The transmitted image information or analysis information may be selectively overlapped and displayed in the image information output devices 410 and 420 . In this way, in order to efficiently and effectively control and utilize one remote system at a remote location, at least two video information output devices can be used to selectively utilize work and tool-oriented control and environment information and surrounding change situation information of the remote system. system can be configured.

도 3은 영상정보출력장치들과 영상입력장치의 구성에 대한 예시적 구성이다.3 is an exemplary configuration of the configuration of the image information output devices and the image input device.

상기 영상정보 출력장치(410,420)들은 상기 원격시스템(100,150)을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스를 포함할 수 있다. 통상적으로 시스템을 제어하기 위한 인터페이스는 원격제어시스템과 동일한 조종장치를 대상으로 하거나 부분적으로 최소한의 제어장치를 기반으로 제어를 하게 된다. 본 발명에서는 발명의 일 실시 예로써 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 사용자 인터페이스는 VR, AR, MR 중의 적어도 하나의 기능을 가지는 HMD장치에 포함될 수 있다. 가상의 장치와 실제 장치를 가상 공간에서 연동 및 통합하여 표시함으로써 실제 입력된 영상과 함께 원격시스템을 제어하기 위한 조종장치들이 가상공간에 작업도구나 작업방향과 연동하여 표시함으로써 보다 효율적으로 제어 및 시스템을 활용하게 된다. 즉, 가상현실 기반에 증강현실을 복합적으로 표시할 수 있고, 입력된 영상기반에 증강현실을 적용하여 나타낼 수 있고, 실제 입력영상기반에 가상현실과 증강현실이 복합적으로 표시되도록 구현이 될 수 있다. 예시적으로 작업자는 원격지의 입력영상기반에 증강현실에 의한 작업지시 또는 유도표시를 확인하고 가상현실을 기반으로 하는 조종간에 대하여 작업자의 실제 손이나 상체의 움직임들을 통해 제어가 이루어질 수 있다. 이 경우는 최소 모형기반의 장치에 증강현실에 의한 가상 공간의 조종간과 일체 시키기 위해서 제어정보입력장치로써 글러브(610)나 상체의 특정위치에 센서(650)를 이용하여 구현이 될 수 있고 이러한 경우 보다 용이하게 원격시스템을 제어할 수 있게 된다. The image information output devices 410 and 420 may include user interfaces for generating control signals for controlling the remote systems 100 and 150 . Typically, the interface for controlling the system targets the same control device as the remote control system or partially controls based on the minimum control device. In the present invention, as an embodiment of the invention, a user interface for generating a control signal for controlling the remote system may be included in an HMD device having at least one of VR, AR, and MR functions. By interlocking and displaying virtual devices and real devices in virtual space, control devices for controlling the remote system together with actual input images are displayed in conjunction with work tools or work directions in virtual space for more efficient control and system will make use of That is, augmented reality can be displayed compositely on the basis of virtual reality, augmented reality can be applied to the input image base, and virtual reality and augmented reality can be displayed in a complex manner on the basis of the actual input image. . For example, the operator checks a work instruction or guidance display based on augmented reality based on an input image from a remote place, and control can be performed through actual hand or upper body movements of the operator with respect to a control rod based on virtual reality. In this case, it can be implemented using the glove 610 or the sensor 650 at a specific position of the upper body as a control information input device to integrate the minimum model-based device with the control stick of the virtual space by augmented reality. In this case You can control the remote system more easily.

부가적으로 무선송수신장치(530)를 통해서 정보처리장치(300)로 정보들이 송수신 될 수 있다. 또한 도 4와 같은 대략적인 기본 모형장치를 통해서 상기의 설명과 같이 종래의 고가의 복사된 장치나 모형장치를 사용하지 않고, 일반적인 조종장치의 모형에 증강현실을 부가하여 구현될 수 있다. 예시적으로 3명의 시스템 운영자들이 원격지에서 원격시스템에 대하여 작업 및 상황정보를 공유하면서 제어하는 상황을 나타낸 것이다. Additionally, information may be transmitted and received to the information processing device 300 through the wireless transmission/reception device 530. In addition, through a rough basic model device as shown in FIG. 4, it can be implemented by adding augmented reality to a model of a general control device without using a conventional expensive copied device or model device as described above. Illustratively, it shows a situation in which three system operators share and control tasks and situation information about a remote system from a remote location.

일 실시 예에 있어서, 상기 영상정보 출력장치들은 상기 영상입력장치들의 영상정보 또는 상기 정보처리장치의 분석정보가 표시되고 상기 분석정보의 영상출력에 대하여 선택적으로 사용자의 조작이나 제어정보입력장치(610,620)에 의하여 추가분석정보를 생성할 수 있다.In one embodiment, the image information output devices display image information of the image input devices or analysis information of the information processing device, and selectively operate or control information input devices (610, 620) of the user with respect to the image output of the analysis information. ), additional analysis information can be created.

또한 정보처리장치에 의하여 사전에 설정되거나 입력된 작업도를 영상정보출력장치에 증강현실로 표시하여 작업의 진척도를 안내하는 설정이 가능하다. 또한 작업의 형태나 주변환경에서 발생한 이벤트를 표시하고 해당 이벤트의 형태에 따라 가중치를 설정하여, 예를 들면 작업이후의 변화된 주변환경의 변화나, 예상하지 못한 주변환경의 변화를 사용자로 하여금 인식하게 하기 위하여 영상정보 출력장치에 표시되게 할 수 있다. 예시적으로 굴삭기 작업에 의하여 공사장의 지형지물의 변화, 낙석이나 지반의 이상상태 등은 작업방향이나 작업도구의 방향의 카메라에서 상황정보를 얻기 곤란하다. 이러한 상황정보는 상기한 360도 카메라 시스템을 통해서 입력된 정보를 바탕으로 사용자 또는 상기 정보처리장치(300)에 의하여 영상의 전후 프레임을 비교 분석하면 변화된 위치나 수준을 용이하게 영상정보로 입력된 영상을 기반으로 증강현실로 표시가 될 수 있다. 다른 예시로써 무장장치에서 타격을 하고 있는 대상 이외의 보다 넓은 지역에서 원격무장장치로 공격이 이루어지는 경우, 통상의 시야가 좁은 카메라로 상황 인지가 용이하지 않지만, 360도 카메라를 통해서 영상정보에서 움직임 정보를 추출하여 표시함으로써 변화된 상황정보를 인식할 수 있게 된다. 상황에 따라서 현재의 타격대상을 이동시키거나 타격방법을 변화시킬 수 있는 상황정보를 제공할 수 있게 된다. 상기한 영상정보, 분석정보 및 추가분석정보는 상기 영상정보 출력장치들(410,420)에서 서로 다른 정보들이 선택적으로 실시간으로 출력이나 공유 될 수 있다. 또한 상기 영상입력장치를 각각 선택하여 기본 영상정보로 출력을 할 수 있고 각각의 영상정보, 분석정보, 추가분석정보를 선택적으로 기본 영상정보에 중첩하거나 배치하여 출력할 수 있다. 상기한 상황은 적어도 2개의 영상정보 출력장치를 통해서 다양한 정보들이 공유되고 용이하게 역할이 교환이 될 수 있는 시스템 구성의 특징이 구현됨으로써 달성이 된다. In addition, it is possible to set a work chart previously set or input by the information processing device to be displayed in augmented reality on the image information output device to guide the progress of the work. In addition, by displaying the event that occurred in the form of work or the surrounding environment, and setting weights according to the form of the event, for example, the change in the surrounding environment after the work or the unexpected change in the surrounding environment can be recognized by the user. To do this, it can be displayed on the image information output device. Illustratively, it is difficult to obtain situation information from a camera in the direction of work or the direction of a work tool, such as a change in a feature of a construction site due to an excavator operation, a falling rock or an abnormal state of the ground. This situational information is an image inputted as image information to easily determine the changed position or level when the user or the information processing device 300 compares and analyzes the front and back frames of the image based on the information input through the 360-degree camera system. Based on this, it can be displayed in augmented reality. As another example, when an attack is made with a remote armed device in a wider area than the target being hit by the armed device, it is not easy to recognize the situation with a camera with a narrow field of view, but motion information is obtained from video information through a 360-degree camera. By extracting and displaying, it is possible to recognize the changed situation information. Depending on the situation, it is possible to provide situational information capable of moving the current hitting target or changing the hitting method. The image information, analysis information, and additional analysis information may be selectively output or shared in real time by the image information output devices 410 and 420. In addition, each of the video input devices can be selected and output as basic video information, and each video information, analysis information, and additional analysis information can be selectively overlapped or arranged on the basic video information to be output. The above situation is achieved by implementing a feature of a system configuration in which various information is shared through at least two video information output devices and roles can be easily exchanged.

상기 영상정보 출력장치들(410,420)이 상기 영상입력장치들(210,220)의 각각의 영상정보를 선택적으로 중첩하여 출력하는 경우, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력 할 수 있다. 통상적으로 좁은 시야각을 갖는 카메라 시스템은 본 실시 예에서는 작업도구나 작업방향과 연동되는 카메라에 해당한다. 본 실시 예에 있어서, 상기 정보처리장치(300)는 상기 영상입력장치들 중에서 시야각이 더 넓은 장치로부터 입력된 영상정보를 분석하여 설정된 시간 동안 실질적인 변화의 유무 영역을 분리하여 사전에 설정 가능한 상대적 및 절대적인 위치, 거리, 크기, 방향 등에 대하여 관심영역을 분석정보로 추출할 수 있다. When the image information output devices 410 and 420 selectively overlap and output the image information of each of the image input devices 210 and 220, image information having a narrower viewing angle is overlapped with image information having a wider viewing angle as a background. can output In this embodiment, a camera system having a typically narrow viewing angle corresponds to a camera interlocking with a working tool or a working direction. In the present embodiment, the information processing device 300 analyzes image information input from a device having a wider viewing angle among the image input devices, separates regions having substantial changes during a set time, and sets relative and A region of interest can be extracted as analysis information for absolute position, distance, size, direction, and the like.

본 실시 예에 있어서, 상기 영상정보 출력장치는 상기 정보처리장치에서 생성될 수 있는 관심영역을 출력할 수 있고, 사용자는 출력된 관심영역에 대하여 사용자 조작으로 추가분석정보를 생성할 수 있다. 상기한 추가분석정보는 상기한 제어입력장치(610)를 통해서 상기 정보처리장치(300)에서 생성한 분석정보에 부가적인 정보를 추가함으로써 얻어질 수 있다. In this embodiment, the image information output device can output the region of interest that can be generated by the information processing device, and the user can generate additional analysis information with respect to the output region of interest by user manipulation. The additional analysis information may be obtained by adding additional information to the analysis information generated by the information processing device 300 through the control input device 610.

예시적으로 4곳의 이상적인 상황정보를 분석정보가 영상정보출력장치를 통해서 표시가 되는 경우, 작업도구나 시스템을 제어하지 않는 다른 사용자가 분석정보에 대하여 후속작업 순위, 불필요한 관심영역, 오류에 의한 표시 등을 상기한 제어입력장치를 통해서 입력영상 기반의 증강현실 상태에서 추가적으로 표기할 수 있다. 또한 상기 영상입력장치들에 의한 영상정보는 상기 영상정보출력장치들을 통해서 FPV정보화 되어 원격지의 다양한 영상정보를 인지할 수 있다.Exemplarily, when the analysis information of four ideal situations is displayed through the image information output device, another user who does not control the work tool or system may determine the order of follow-up work, unnecessary areas of interest, and errors in the analysis information. The indicator light can be additionally indicated in the augmented reality state based on the input image through the control input device described above. In addition, the video information by the video input devices is converted into FPV information through the video information output devices, so that various video information in a remote place can be recognized.

도 5는 본 발명의 일 실시 예에 따른 시스템의 구성도이다. 앞서 설명된 도 2에 대한 시스템에서 각 구성요소들간의 정보의 송수신 관계를 나타낸다. 5 is a configuration diagram of a system according to an embodiment of the present invention. In the system of FIG. 2 described above, a transmission/reception relationship of information between components is shown.

본 발명의 구성요소인 무선에 의한 송수신의 경우는 그 추가적인 구성과 방법 및 신호전달, 영상정보의 일반적인 처리 등은 당업자 수준에서 용이하게 이해되고 구현될 수 있는바 본 발명의 상세한 설명에서는 배제하였다.In the case of wireless transmission/reception, which is a component of the present invention, its additional configuration, method, signal transmission, and general processing of image information can be easily understood and implemented at the level of those skilled in the art, so they are excluded from the detailed description of the present invention.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical scope of protection of the present invention should be determined by the technical spirit of the appended claims.

100, 150: 원격 시스템
210, 230: 제1영상입력장치
220, 240: 제2영상입력장치
250: 카메라 PTZ제어장치
300: 정보출력장치
410, 420: 영상정보 출력장치
510, 520, 530: 송수신장치
610, 620, 650: 제어정보입력장치
700: 제어정보입력 모형기반 장치
750: 제어입력장치100, 150: remote system
210, 230: first image input device
220, 240: second image input device
250: Camera PTZ control device
300: information output device
410, 420: image information output device
510, 520, 530: transceiver
610, 620, 650: control information input device
700: control information input model-based device
750: control input device

Claims (8)

원격으로 제어되는 원격시스템;
상기 원격시스템의 일측 또는 근접하여 배치되는 서로 다른 시야각을 갖는 적어도 두 개의 영상입력장치;
상기 영상입력장치들의 영상정보를 분석 처리하는 정보처리장치;
상기 정보처리장치에서 생성된 분석정보를 출력하는 적어도 두 개의 영상정보출력장치;
상기한 영상정보 또는 분석정보를 송수신하는 데이터 송수신장치;
상기 영상정보출력장치는 상기한 영상정보 또는 분석정보를 적어도 하나이상을 선택적으로 출력되도록 구성되고,
상기 영상정보출력장치의 적어도 하나는 HMD형태의 AR, VR 또는 MR 중에서 적어도 어느 하나의 기능을 갖는 장치를 포함하는 멀티 유저 원격 운영시스템
Remote system controlled remotely;
at least two image input devices having different viewing angles disposed on one side or close to the remote system;
an information processing device that analyzes and processes image information of the image input devices;
at least two image information output devices outputting analysis information generated by the information processing device;
a data transmission/reception device for transmitting/receiving the image information or analysis information;
The image information output device is configured to selectively output at least one of the image information or analysis information,
At least one of the video information output devices is a multi-user remote operating system including a device having at least one function among AR, VR or MR in the form of an HMD
삭제delete 제1항에 있어서,
상기 영상입력장치들 중의 적어도 하나는 상기 원격시스템에 배치되고 상기 원격시스템을 구성하는 본체의 움직임에 선택적으로 연동될 수 있도록 배치되는 멀티 유저 원격 운영시스템
According to claim 1,
At least one of the image input devices is a multi-user remote operating system arranged in the remote system and selectively interlocked with the movement of the main body constituting the remote system.
 제1항에 있어서,
상기 원격시스템은 특수차량, 수술용 로봇, 드론, 소방용 로봇, 소방용 헬멧, 원격무장장치, 건설용 중장비 중의 어느 하나인 멀티 유저 원격 운영시스템
According to claim 1,
The remote system is a multi-user remote operating system that is any one of a special vehicle, a surgical robot, a drone, a firefighting robot, a firefighting helmet, a remote armament device, and heavy construction equipment.
 제1항에 있어서,
상기 영상정보출력장치들은 상기 원격시스템을 제어하기 위한 제어신호를 발생시키기 위한 제어정보입력장치를 더 구비하여 구성되는 멀티 유저 원격 운영시스템
According to claim 1,
The video information output devices are a multi-user remote operating system configured by further comprising a control information input device for generating a control signal for controlling the remote system.
 제5항에 있어서,
상기 제어정보입력장치는 상기 정보처리장치가 상기 영상입력장치로부터 입력된 영상정보를 사용하여 생성한 분석정보와, 상기 영상입력장치들의 영상정보에 대하여 사용자의 조작에 의하여 추가분석정보를 생성하도록 설정되는 멀티 유저 원격 운영시스템According to claim 5,
The control information input device is set to generate analysis information generated by the information processing device using the image information input from the image input device and additional analysis information by a user's manipulation with respect to the image information of the image input devices. multi-user remote operating system 제6항에 있어서,
상기 영상정보출력장치들은 영상정보, 분석정보 및 추가분석정보 중의 적어도 하나이상을 선택적으로 표시가 될 수 있도록 설정되는 멀티 유저 원격 운영시스템 According to claim 6,
The image information output devices are a multi-user remote operating system configured to selectively display at least one of image information, analysis information, and additional analysis information. 제7항에 있어서,
상기 영상정보출력장치들은 상기 영상입력장치들에서 표시되는 하나 이상의 정보에 대하여 중첩하여 출력되며, 시야각이 더 넓은 영상정보를 배경으로 시야각이 더 좁은 영상정보를 중첩하여 출력되도록 설정되는 멀티 유저 원격 운영시스템

According to claim 7,
The video information output devices are output by overlapping one or more pieces of information displayed by the video input devices, and multi-user remote operation is set to overlap and output image information with a narrower viewing angle against a background of image information with a wider viewing angle. system
KR1020180031192A 2018-03-17 2018-03-17 Multi-User Operation System and the method using Mixed Reality Device KR102480986B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180031192A KR102480986B1 (en) 2018-03-17 2018-03-17 Multi-User Operation System and the method using Mixed Reality Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031192A KR102480986B1 (en) 2018-03-17 2018-03-17 Multi-User Operation System and the method using Mixed Reality Device

Publications (2)

Publication Number Publication Date
KR20190109168A KR20190109168A (en) 2019-09-25
KR102480986B1 true KR102480986B1 (en) 2022-12-22

Family

ID=68068548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031192A KR102480986B1 (en) 2018-03-17 2018-03-17 Multi-User Operation System and the method using Mixed Reality Device

Country Status (1)

Country Link
KR (1) KR102480986B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220064184A (en) 2020-11-11 2022-05-18 농업회사법인 한국도시농업 주식회사 Multi-convergence online and offline interlocking digital service universal platform system using Experience Virtual Reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113858A (en) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd Method and system for supporting remote operation for mobile object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792842B2 (en) * 1996-02-07 1998-09-03 川崎重工業株式会社 Robot work teaching method and device
KR20090028968A (en) * 2007-09-17 2009-03-20 전자부품연구원 Remote control system of construction machinery
KR101760881B1 (en) * 2010-10-22 2017-07-24 삼성전자주식회사 Remote apparatus and teaching method of robot thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113858A (en) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd Method and system for supporting remote operation for mobile object

Also Published As

Publication number Publication date
KR20190109168A (en) 2019-09-25

Similar Documents

Publication Publication Date Title
CN107402000B (en) Method and system for correlating a display device with respect to a measurement instrument
US10269132B2 (en) Displaying images according to head posture and camera posture
US6148100A (en) 3-dimensional telepresence system for a robotic environment
US7920071B2 (en) Augmented reality-based system and method providing status and control of unmanned vehicles
Teixeira et al. Teleoperation using google glass and ar, drone for structural inspection
RU2018138301A (en) REMOTE CONTROL DEVICE FOR CRANE, CONSTRUCTION MACHINE AND / OR AUTO LOADER
EP3629309A2 (en) Drone real-time interactive communications system
WO2012153805A1 (en) Monitoring system and monitoring method
NO334183B1 (en) Method and apparatus for controlling and monitoring the surrounding area of an unmanned aircraft
US20180247463A1 (en) Information processing apparatus, information processing method, and program
JP7023492B2 (en) Follow-up image presentation system for moving objects
US20190299412A1 (en) Augmented Reality System
CN111716365B (en) Immersive remote interaction system and method based on natural walking
WO2017169841A1 (en) Display device and display control method
JP2015043488A (en) Remote controller and remote construction method using the same
EP3264380B1 (en) System and method for immersive and collaborative video surveillance
KR20170090888A (en) Apparatus for unmanned aerial vehicle controlling using head mounted display
CN115238018A (en) Method for managing 3D flight path and related system
EP3822923A1 (en) Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
KR102480986B1 (en) Multi-User Operation System and the method using Mixed Reality Device
EP2648406B1 (en) Method for switching viewing modes in a camera
US10429834B2 (en) Control interface for UxV
JP7024997B2 (en) Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System
CN111010543B (en) Robot remote-viewing video monitoring method and device, electronic equipment and storage medium
JP2004291186A (en) Robot control method, robot control system, and suitable robot and controller used for them

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
E701 Decision to grant or registration of patent right