KR20220079112A - Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot - Google Patents
Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot Download PDFInfo
- Publication number
- KR20220079112A KR20220079112A KR1020200168557A KR20200168557A KR20220079112A KR 20220079112 A KR20220079112 A KR 20220079112A KR 1020200168557 A KR1020200168557 A KR 1020200168557A KR 20200168557 A KR20200168557 A KR 20200168557A KR 20220079112 A KR20220079112 A KR 20220079112A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- environment
- platform
- real
- marine
- Prior art date
Links
- 230000009466 transformation Effects 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000013480 data collection Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000011160 research Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
Abstract
본 발명에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템은, 운용자가 해양 환경의 현장에 투입된 로봇에 대한 현실 물리 환경을 제공하는 현실 운용 플랫폼, 운용자가 해양 환경의 현장에 투입된 로봇에 대한 가상 물리 환경을 제공하는 가상 운용 플랫폼, 운용자가 상기 현실 운용 플랫폼을 통해 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 데이터를 수집하여 분석하고, 현장의 가상 물리 환경 모델을 구축하는 가상환경 구축모듈, 운용자가 상기 현실 운용 플랫폼 또는 상기 가상 운용 플랫폼 중 어느 하나를 운용하는 것을 감지하여 물리 환경 모드를 전환하는 플랫폼 감지부 및 상기 플랫폼 감지부에 의해 감지된 플랫폼 측에 대응되는 물리 환경을 제공하는 물리환경 제공모듈을 포함한다.The virtual physical operation system for real-time operation mode conversion of marine robots according to the present invention is a real operation platform that provides a real physical environment for a robot that an operator puts into a field in a marine environment, and a robot that an operator puts into a field in a marine environment. A virtual operation platform that provides a virtual physical environment for Environment construction module, a platform sensing unit for switching the physical environment mode by detecting that the operator operates any one of the real operating platform or the virtual operating platform, and a physical environment corresponding to the platform side sensed by the platform sensing unit It includes a module for providing a physical environment.
Description
본 발명은 해양로봇의 가상 물리 운용 시스템에 관한 것으로서, 보다 상세하게는 실제 로봇 운용과 사이버 로봇 운용의 모드 전환이 실시간으로 이루어지도록 하여 운용자에게 실제 로봇 구동 과정 및 이와 연동된 사이버 로봇 구동 환경을 제공할 수 있도록 하는 해양로봇의 가상 물리 운용 시스템에 관한 것이다.The present invention relates to a virtual physics operating system for a marine robot, and more particularly, to provide an operator with a real robot driving process and a cyber robot driving environment linked thereto by allowing real robot operation and mode switching between cyber robot operation to be performed in real time It relates to a virtual physics operating system for marine robots that can do this.
최근에는 수중 자율 무인로봇(AUV)이 해양의 광역 탐사와 감시 등의 목적에 주로 활용되고 있으나, 아직까지도 다양한 분야의 해양 개발 작업은 은 선상의 운용자가 조작하는 수중 원격 무인로봇(ROV)의 작업에 의해 구현되고 있다.Recently, underwater autonomous unmanned robots (AUVs) have been mainly used for the purpose of wide-area exploration and monitoring of the ocean, but ocean development work in various fields is still the work of underwater remote unmanned robots (ROVs) operated by operators on a hidden ship. is being implemented by
그리고 이와 같은 수중 원격 무인로봇은 조작자(Operator)의 숙련도에 절대적으로 의존하게 된다.And such an underwater remote unmanned robot is absolutely dependent on the skill level of the operator.
다만, 수중 원격 무인로봇은 해양에서 작업이 이루어지는 특성 상 불규칙 해저지형 및 불량시계(視界) 등 극도로 열악한 환경에 따른 작업상 안전 및 효율의 근본적 한계가 상존하므로 작업에 많은 로스가 발생하게 되는 문제가 있다.However, due to the nature of underwater remote unmanned robots working in the sea, there are fundamental limits in safety and efficiency in operation due to extremely poor environments such as irregular seabed terrain and poor visibility. there is
따라서 조작자가 수중 원격 무인로봇과 같은 해양로봇에 마치 직접 탑승하여 작업현장의 상황과 환경조건을 체감하고 인지하면서 원격 조작하도록 지원하는 동시에, 상기와 같은 열악한 환경에서도 작업을 수행할 수 있도록 하는 환경을 지원할 필요가 있으나, 현재까지는 이와 같은 방안을 제공하는 방법은 제시되고 있지 않은 상황이다.Therefore, the operator supports remote operation while feeling and recognizing the situation and environmental conditions of the work site by directly boarding a marine robot, such as an underwater remote unmanned robot, while at the same time creating an environment that allows work to be performed even in the harsh environment as described above. There is a need for support, but there is no way to provide such a method so far.
따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구되었고, 본 출원의 발명자는 아래와 같은 연구과제를 통해 본 발명을 발명하게 되었다.Therefore, a method for solving these problems was required, and the inventor of the present application came to invent the present invention through the following research tasks.
[과제고유번호]PES3610[task identification number]PES3610
[부처명]해양수산부[Business name] Ministry of Oceans and Fisheries
[연구관리전문기관]한국해양과학기술원 부설 선박해양플랜트연구소[Research and Management Specialized Institution] Korea Institute of Ocean Science and Technology Affiliated Ship and Offshore Plant Research Institute
[연구사업명]주요사업[Research project name] Main project
[과제명]해양로봇 가상물리운용시스템(CPOS) 핵심기술 개발[Task name] Development of core technology for marine robot virtual physics operating system (CPOS)
[연구기관]한국해양과학기술원 부설 선박해양플랜트연구소[Research institute] Ship and Offshore Plant Research Institute affiliated with Korea Institute of Ocean Science and Technology
[연구기간]2020.01.01~2020.12.31[Research period] 2020.01.01~2020.12.31
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서, 운용자가 해양로봇을 운용하는 과정에서 실제 로봇 구동 과정 및 이와 연동된 사이버 로봇 구동 환경을 선택할 수 있도록 함에 따라, 다양한 현장 상황에 대응하여 작업을 원활하게 수행할 수 있도록 하는 환경을 지원하기 위한 해양로봇의 가상 물리 운용 시스템을 제공하기 위한 목적을 가진다.The present invention is an invention devised to solve the problems of the prior art, and as an operator can select an actual robot driving process and a cyber robot driving environment linked thereto in the process of operating a marine robot, it is suitable for various field situations. An object of the present invention is to provide a virtual physics operating system for marine robots to support an environment that enables smooth operation in response.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기한 목적을 달성하기 위한 본 발명의 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템은, 운용자가 해양 환경의 현장에 투입된 로봇에 대한 현실 물리 환경을 제공하는 현실 운용 플랫폼, 운용자가 해양 환경의 현장에 투입된 로봇에 대한 가상 물리 환경을 제공하는 가상 운용 플랫폼, 운용자가 상기 현실 운용 플랫폼을 통해 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 데이터를 수집하여 분석하고, 현장의 가상 물리 환경 모델을 구축하는 가상환경 구축모듈, 운용자가 상기 현실 운용 플랫폼 또는 상기 가상 운용 플랫폼 중 어느 하나를 운용하는 것을 감지하여 물리 환경 모드를 전환하는 플랫폼 감지부 및 상기 플랫폼 감지부에 의해 감지된 플랫폼 측에 대응되는 물리 환경을 제공하는 물리환경 제공모듈을 포함한다.The virtual physical operation system for real-time operation mode conversion of a marine robot of the present invention for achieving the above object is a real operation platform that provides a real physical environment for a robot put into the field of the marine environment by the operator, and the operator is the marine environment A virtual operation platform that provides a virtual physical environment for robots put into the field of A virtual environment building module that builds an environment model, a platform sensing unit that switches a physical environment mode by detecting that an operator operates any one of the real operating platform or the virtual operating platform, and the platform side detected by the platform sensing unit and a physical environment providing module that provides a physical environment corresponding to the .
이때 상기 플랫폼 감지부는, 상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼에 각각 구비되어 운용자의 조작 동작을 감지하는 센서 어셈블리를 포함할 수 있다.In this case, the platform sensing unit may include a sensor assembly provided in each of the real operating platform and the virtual operating platform to detect an operator's manipulation operation.
또한 상기 플랫폼 감지부는 수동으로 물리 환경 모드를 전환하도록 형성될 수 있다.In addition, the platform sensing unit may be configured to manually switch the physical environment mode.
이때 상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼은 하나의 조작계로 통합된 형태로 구현될 수 있다.In this case, the real operation platform and the virtual operation platform may be implemented in an integrated form into one operation system.
그리고 상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼은, 어느 하나가 구동되고 있는 상태에서 다른 하나가 백그라운드에서 구동 상태를 유지하도록 운용되어 실시간 스위칭이 가능하도록 형성될 수 있다.In addition, the real operating platform and the virtual operating platform may be operated to maintain a driving state in the background while the other one is being driven to enable real-time switching.
한편 상기 가상환경 구축모듈은, 운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 입력데이터와, 운용자가 해양 환경의 현장에 투입된 로봇을 구동시키는 과정에서 로봇의 주변 환경에 대한 환경데이터를 수집하는 데이터 수집부, 상기 데이터 수집부를 통해 수집된 상기 입력데이터 및 상기 환경데이터를 분석하는 데이터 분석부 및 상기 데이터 분석부에 의해 분석된 상기 입력데이터 및 상기 환경데이터를 통해 현장의 가상 물리 환경 모델을 구축하는 가상환경 구축부를 포함할 수 있다.On the other hand, the virtual environment construction module includes input data generated in the process of the operator operating the robot put in the field of the marine environment, and environmental data about the environment around the robot in the process of the operator driving the robot put in the field of the marine environment. A data collection unit that collects a data collection unit, a data analysis unit that analyzes the input data and the environment data collected through the data collection unit, and the virtual physical environment of the field through the input data and the environment data analyzed by the data analysis unit It may include a virtual environment building unit that builds the model.
이때 실제 로봇운용 모드와 가상 로봇운용 모드는 동일한 데이터 셋을 이용한 동일한 프로토콜로 개발되어 즉각적인 전환이 가능하도록 할 수 있다. 그리고 이를 위해 가상운용 모드에는 고정밀, 고효율의 실시간 물리엔진이 탑재되어 가상 센싱 기술을 이용함에 따라 실제 센서와 동일한 물리량을 계측할 수 있도록 한다.At this time, the real robot operation mode and the virtual robot operation mode can be developed with the same protocol using the same data set to enable immediate conversion. And for this, a high-precision, high-efficiency real-time physics engine is mounted in the virtual operation mode to measure the same physical quantity as a real sensor by using virtual sensing technology.
상기한 과제를 해결하기 위한 본 발명의 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템은, 운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 입력데이터와, 운용자가 해양 환경의 현장에 투입된 로봇을 구동시키는 과정에서 로봇의 주변 환경에 대한 환경데이터를 수집하고, 이를 분석하여 가상 물리 환경 모델을 구축함에 따라, 운용자가 해양로봇을 운용하는 과정에서 실제 로봇 구동 과정 및 이와 연동된 사이버 로봇 구동 환경을 선택할 수 있도록 하여, 다양한 현장 상황에 대응하여 작업을 원활하게 수행할 수 있는 장점을 가진다.The virtual physics operating system for real-time operation mode conversion of a marine robot of the present invention for solving the above-described problems includes input data generated in the process of an operator operating a robot put into a field in a marine environment, and an operator of the marine environment In the process of driving the robot put into the field, environmental data about the robot's surrounding environment is collected and analyzed to build a virtual physical environment model. By allowing the selection of the cyber robot driving environment, it has the advantage of smoothly performing tasks in response to various on-site situations.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템의 구성을 나타낸 도면;
도 2는 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템에 있어서, 가상환경 구축모듈의 세부 구성을 나타낸 도면;
도 3은 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템에 있어서, 데이터 분석 과정을 나타낸 도면; 및
도 4는 본 발명의 일 실시예에 따른 가상 물리 환경 모델을 이용한 해양로봇의 운용 시스템의 전체 알고리즘을 나타낸 도면이다.1 is a diagram showing the configuration of a virtual physical operation system for real-time operation mode conversion of a marine robot according to an embodiment of the present invention;
2 is a view showing a detailed configuration of a virtual environment building module in a virtual physical operating system for real-time operation mode conversion of a marine robot according to an embodiment of the present invention;
3 is a diagram illustrating a data analysis process in a virtual physical operating system for real-time operation mode conversion of a marine robot according to an embodiment of the present invention; and
4 is a diagram illustrating an overall algorithm of a marine robot operating system using a virtual physical environment model according to an embodiment of the present invention.
이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention in which the object of the present invention can be specifically realized will be described with reference to the accompanying drawings. In describing the present embodiment, the same names and the same reference numerals are used for the same components, and an additional description thereof will be omitted.
본 발명에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템은 선박 등과 같은 해양 구조물에 구축될 수 있으며, 이와 같은 해양 구조물로부터 운용되는 해양로봇을 원격으로 조종할 수 있도록 구현된다.The virtual physical operating system for real-time operation mode conversion of a marine robot according to the present invention may be built in a marine structure such as a ship, and is implemented to remotely control a marine robot operated from such a marine structure.
도 1은 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a virtual physical operation system for real-time operation mode conversion of a marine robot according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템은 현실 운용 플랫폼(20) 및 가상 운용 플랫폼(30)을 포함하는 운용 플랫폼(10)과, 가상환경 구축모듈(100)과, 플랫폼 감지부(40)와, 물리환경 제공모듈(50)을 포함한다.As shown in FIG. 1 , the virtual physical operation system for real-time operation mode conversion of the marine robot according to an embodiment of the present invention is an
구체적으로 운용 플랫폼(10)은 운용자가 해양로봇을 운용하기 위한 조작을 수행할 수 있도록 구비되며, 해양 환경의 현장에 투입된 로봇에 대한 현실 물리 환경을 제공하는 현실 운용 플랫폼(20), 그리고 운용자가 해양 환경의 현장에 투입된 로봇에 대한 가상 물리 환경을 제공하는 가상 운용 플랫폼(30)을 포함한다.Specifically, the
이와 같은 현실 운용 플랫폼(20) 및 가상 운용 플랫폼(30)은 서로 다른 조작계로서 분리된 상태로 구현될 수도 있으나, 이와 달리 하나의 조작계로 통합된 형태로 구현될 수도 있다.The
그리고 이와 같이 현실 운용 플랫폼(20) 및 가상 운용 플랫폼(30)이 하나의 조작계로 통합된 형태일 경우, 현실 운용 플랫폼(20) 및 가상 운용 플랫폼(30)은 어느 하나가 구동되고 있는 상태에서 다른 하나가 백그라운드에서 구동 상태를 유지하도록 운용되어 실시간 스위칭이 가능하도록 형성될 수 있다.And in this way, when the
가상환경 구축모듈(100)은 운용자가 현실 운용 플랫폼(20)을 통해 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 데이터를 수집하여 분석하고, 현장의 가상 물리 환경 모델을 구축하는 구성요소이다.The virtual
이와 같은 가상환경 구축모듈(100)에 대해서는 후술하도록 한다.Such a virtual
그리고 플랫폼 감지부(40)는 운용자가 현실 운용 플랫폼(20) 또는 가상 운용 플랫폼(30) 중 어느 하나를 운용하는 것을 감지하여 물리 환경 모드를 전환하도록 한다.And the
또한 물리환경 제공모듈(50)은 플랫폼 감지부(40)에 의해 감지된 플랫폼 측에 대응되는 물리 환경을 제공하게 된다.In addition, the physical
즉 플랫폼 감지부(40)에 의해 운용자가 현실 운용 플랫폼(20)을 운용하는 것으로 판단된 경우, 물리환경 제공모듈(50)은 현실 운용 플랫폼(20)을 위한 현실 물리 환경을 제공하며, 플랫폼 감지부(40)에 의해 운용자가 가상 운용 플랫폼(20)을 운용하는 것으로 판단된 경우, 물리환경 제공모듈(50)은 가상 운용 플랫폼(20)을 위한 가상 물리 환경을 제공하게 된다.That is, when it is determined by the
이를 위해 플랫폼 감지부(40)는 현실 운용 플랫폼(20) 및 가상 운용 플랫폼(30)에 각각 구비되어 운용자의 조작 동작을 감지하는 센서 어셈블리를 포함할 수 있다.To this end, the
이때 플랫폼 감지부(40)는 감지 결과에 따라 자동으로 물리 환경 모드를 전환하도록 할 수도 있으나, 이와 달리 운용자가 수동으로 물리 환경 모드를 전환하도록 형성될 수도 있다.In this case, the
도 2는 본 발명의 일 실시예에 따른 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템에 있어서, 가상환경 구축모듈(100)의 세부 구성을 나타낸 도면이다.2 is a view showing the detailed configuration of the virtual
도 2에 도시된 바와 같이, 본 발명의 일 실시예에서 가상환경 구축모듈(100)은, 데이터 수집부(110)와, 데이터 분석부(120)와, 가상환경 구축부(130)와, 가상환경 제공부(140)와, 가시도 분석부(150)를 포함할 수 있다.As shown in FIG. 2 , in an embodiment of the present invention, the virtual
데이터 수집부(110)는 운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 다양한 데이터를 수집한다.The
구체적으로 데이터 수집부(110)는 운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 입력데이터와, 운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 로봇의 주변 환경에 대한 환경데이터를 수집하게 된다.Specifically, the
이때 데이터 수집부(110)는 기 설정된 시간 단위로 분할하여 입력데이터 및 환경데이터를 수집할 수 있으며, 이에 따라 요구되는 시점의 입력데이터 및 환경데이터를 용이하게 추출하여 사용이 가능하다.In this case, the
특히 데이터 수집부(100)는 해양로봇의 작업을 위한 매니퓰레이터와 같은 기계 어셈블리에 구비된 다양한 물리량을 측정하기 위한 센서들과, 영상정보를 획득하기 위한 촬상모듈 등을 포함할 수 있다.In particular, the
또한 데이터 수집부(110)는 소나(Sonar) 또는 카메라를 통해 주변 환경을 스캔하여 환경데이터를 수집할 수 있으며, 이를 통해 해저 지형을 사전에 파악하고, 하천 및 연안 구조물, 수중 유물, 침몰선 등의 여부를 파악할 수 있다.In addition, the
데이터 분석부(120)에서는 데이터 수집부(110)를 통해 수집된 입력데이터 및 환경데이터를 분석하게 된다.The
구체적으로 데이터 분석부(120)는 데이터 수집부(110)를 통해 수집된 입력데이터, 즉 각종 센서와 촬상모듈 등을 통해 획득한 데이터들을 통해 로봇의 각 모션에 따른 물리량을 계산하고, 이와 같은 로봇의 각 모션이 환경데이터에 미칠 영향을 분석한다.Specifically, the
또한 데이터 분석부(120)는 데이터 수집부(110)를 통해 수집된 환경데이터를 통해 주변 환경의 토질을 분석하여 입력데이터에 포함된 로봇의 물리량과의 관계를 분석할 수 있다.In addition, the
즉 본 발명은 데이터 분석부(120)를 통해 해양로봇의 동작 및 해양로봇에 구비된 매니퓰레이터의 동작 등을 가상으로 정밀하게 구현할 수 있음은 물론, 주변 환경과의 상호 작용을 예측하여 시뮬레이션할 수 있도록 한다.That is, according to the present invention, the operation of the marine robot and the operation of the manipulator provided in the marine robot can be accurately implemented virtually through the
가상환경 구축부(130)는 데이터 분석부(120)에 의해 분석된 입력데이터 및 환경데이터를 통해 현장의 가상 물리 환경 모델을 구축한다.The virtual
구체적으로 가상환경 구축부(130)는 도 3에 도시된 바와 같이, 데이터 분석부(120)에 의해 분석된 입력데이터를 기반으로 로봇의 가상 운용 모델을 생성하고, 또한 데이터 분석부(120)에 의해 분석된 환경데이터를 기반으로 주변 환경의 가상 3D 모델을 생성하게 된다.Specifically, as shown in FIG. 3 , the virtual
그리고 가상환경 제공부(140)는, 가상환경 구축부(130)에 의해 구축된 가상 물리 환경 모델, 즉 로봇의 가상 운용 모델 및 주변 환경의 가상 3D 모델을 합성하여 운용자에게 제공한다.In addition, the virtual
이에 따라 운용자는 사이버 환경에서 디스플레이 등을 통해 제공되는 가상의 환경을 주시하며 해양로봇의 조작을 수행할 수 있게 되며, 운용자의 조작과 연동된 가상의 매니퓰레이터의 움직임을 구현할 수 있다.Accordingly, the operator can operate the marine robot while watching the virtual environment provided through a display in the cyber environment, and can implement the movement of the virtual manipulator linked with the operator's operation.
한편 이상과 같은 가상 물리 환경 모델 구축 과정은 운용자가 실제 해양로봇을 운용하는 과정에서 실시간으로 처리될 수 있으며, 구축된 가상 물리 환경 모델은 가상 물리 환경으로의 모드 전환이 이루어질 경우 운용자에게 제공될 수 있다.Meanwhile, the virtual physical environment model construction process as described above can be processed in real time while the operator operates the actual marine robot, and the built virtual physical environment model can be provided to the operator when the mode conversion to the virtual physical environment is made. have.
도 4는 본 발명의 일 실시예에 따른 가상 물리 환경 모델을 이용한 해양로봇의 운용 시스템의 전체 알고리즘을 나타낸 도면이다.4 is a diagram illustrating an overall algorithm of a marine robot operating system using a virtual physical environment model according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 운용자는 먼저 입력수단, 즉 조이스틱 또는 입력버튼, 터치패널 등을 통해 모드를 선택하게 된다.As shown in FIG. 4 , the operator first selects a mode through an input means, ie, a joystick or an input button, a touch panel, or the like.
이때 본 실시예는 MODE1 값에 현실 물리 환경 모드를 할당하였으며, MODE2 값에는 가상 물리 환경 모드를 할당하였으나, 이는 하나의 실시예로서 예시된 것에 불과하며 설정값은 다양하게 할당될 수 있다.In this embodiment, the real physical environment mode is assigned to the MODE1 value, and the virtual physical environment mode is assigned to the MODE2 value, but this is merely an example and setting values may be variously assigned.
이에 따라 시스템에 구비된 프로세서는 이와 같은 모드의 값을 구분하여, 각 모드를 구현할 수 있는 프로그램을 실시간 스위칭하여 제공하게 된다.Accordingly, the processor provided in the system classifies the values of these modes, and provides a program capable of implementing each mode by switching in real time.
현실 물리 환경 모드를 수행하는 과정은, 먼저 현재 해양로봇에 구비된 다양한 센서로부터 센싱되고 있는 다양한 센서값을 읽어와서 로봇의 상태를 분석한 뒤, 운용자에 의해 입력된 입력수단의 신호(주행신호/작업신호)를 읽어 온다.The process of performing the real physical environment mode first reads various sensor values sensed from various sensors currently provided in the marine robot, analyzes the state of the robot, and then the signal of the input means input by the operator (driving signal / work signal) is read.
이후 입력된 신호를 바탕으로 로봇의 주행 속도 또는 매니퓰레이터의 작동 데이터로 인터페이싱된 값을 바탕으로 역기구학/역동역학을 계산하여 실제 유압모터의 제어신호를 생성한다.Then, based on the input signal, the inverse kinematics/dynamics are calculated based on the robot's traveling speed or the value interfaced with the operation data of the manipulator to generate the control signal of the actual hydraulic motor.
이어 로봇의 주행 제어 또는 매니퓰레이터 제어를 위해 제어기에 입력/출력하고, 유압의 힘 또는 바퀴의 추력을 계산하여 제어한다. 또한 센서에서 계측된 값을 저장하고, 이와 같은 과정을 반복 수행할 수 있다.Then, it inputs/outputs to the controller for driving control of the robot or manipulator control, and calculates and controls hydraulic force or wheel thrust. Also, it is possible to store the value measured by the sensor and repeat this process.
이때 현실 물리 환경 모드 수행 중 백그라운드에서 동시에 수행 중인가상 물리 환경 모드의 위치/속도값 등은 실제 계측된 센서로부터 자동 조정될 수 있다.In this case, the position/velocity value of the virtual physical environment mode that is being simultaneously performed in the background while performing the real physical environment mode may be automatically adjusted from the actually measured sensor.
그리고 가상 물리 환경 모드를 수행하는 과정은, 먼저 해석에 필요한 상태 변수들을 입력받은 뒤, 초기 상태인지 또는 상태 변수들을 해석 중인지를 확인하게 된다. 이와 같은 확인 과정에서 Ts는 적분기의 시간(초기 값=0)을 의미한다.And, in the process of performing the virtual physical environment mode, state variables necessary for analysis are first input, and then it is checked whether the state variables are in the initial state or the state variables are being analyzed. In this verification process, Ts means the time of the integrator (initial value = 0).
이후 Ts=0일 경우에는, 수치적 안정성을 위해서 평형상태 해석을 수행하게 되며, 이외의 경우에는 운용자에 의해 입력된 입력수단의 신호(주행신호/작업신호)를 읽어 온다.Then, when Ts = 0, equilibrium state analysis is performed for numerical stability, and in other cases, the signal of the input means input by the operator (driving signal/work signal) is read.
그리고 초기 값에서 입력된 입력수단의 신호로 현재 로봇의 위치/속도를 해석하고, 다물체 동역학에 따른 구속조건식 해석을 수행한다. 또한 이와 더불어 외력을 인가하고, 가속도를 해석한다.Then, the current robot position/velocity is analyzed with the input signal input from the initial value, and the constraint expression analysis is performed according to the multi-body dynamics. In addition, an external force is applied and the acceleration is analyzed.
이후 수치적분기를 통하여 다음 스텝의 상태변수를 계산한 뒤, 가상센서 모델을 통해 실제 센서와 같이 해석한 결과를 통해서 주요 점들의 위치/속도/가속도를 출력하고, 이와 같은 과정을 반복 수행할 수 있다.After calculating the state variable of the next step through a numerical integrator, the position/velocity/acceleration of the main points is output through the result of analysis like a real sensor through a virtual sensor model, and this process can be repeated. .
이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.As described above, preferred embodiments according to the present invention have been reviewed, and the fact that the present invention can be embodied in other specific forms without departing from the spirit or scope of the present invention other than the above-described embodiments is a fact having ordinary skill in the art. It is obvious to them. Therefore, the above-described embodiments are to be regarded as illustrative rather than restrictive, and accordingly, the present invention is not limited to the above description, but may be modified within the scope of the appended claims and their equivalents.
10: 운용 플랫폼
20: 현실 운용 플랫폼
30: 가상 운용 플랫폼
40: 플랫폼 감지부
50: 물리환경 제공모듈
100: 가상환경 구축모듈
110: 데이터 수집부
120: 데이터 분석부
130: 가상환경 구축부
140: 가상환경 제공부
150: 가시도 분석부10: Operating Platform
20: Reality Operating Platform
30: Virtual Operating Platform
40: platform detection unit
50: physical environment providing module
100: virtual environment building module
110: data collection unit
120: data analysis unit
130: virtual environment construction unit
140: virtual environment providing unit
150: visibility analysis unit
Claims (6)
운용자가 해양 환경의 현장에 투입된 로봇에 대한 가상 물리 환경을 제공하는 가상 운용 플랫폼;
운용자가 상기 현실 운용 플랫폼을 통해 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 데이터를 수집하여 분석하고, 현장의 가상 물리 환경 모델을 구축하는 가상환경 구축모듈;
운용자가 상기 현실 운용 플랫폼 또는 상기 가상 운용 플랫폼 중 어느 하나를 운용하는 것을 감지하여 물리 환경 모드를 전환하는 플랫폼 감지부; 및
상기 플랫폼 감지부에 의해 감지된 플랫폼 측에 대응되는 물리 환경을 제공하는 물리환경 제공모듈;
을 포함하는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.a reality operation platform in which an operator provides a real physical environment for a robot put into a field in a marine environment;
a virtual operation platform in which an operator provides a virtual physical environment for a robot put into a field in a marine environment;
a virtual environment construction module that collects and analyzes data generated in a process in which an operator operates a robot input to a field in a marine environment through the reality operation platform, and builds a virtual physical environment model of the field;
a platform sensing unit that detects that an operator operates any one of the real operating platform or the virtual operating platform and switches a physical environment mode; and
a physical environment providing module for providing a physical environment corresponding to the platform side sensed by the platform sensing unit;
containing,
A virtual physics operating system for real-time operation mode conversion of marine robots.
상기 플랫폼 감지부는,
상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼에 각각 구비되어 운용자의 조작 동작을 감지하는 센서 어셈블리를 포함하는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.According to claim 1,
The platform sensing unit,
Comprising a sensor assembly provided in each of the real operation platform and the virtual operation platform to detect an operator's operation operation,
A virtual physics operating system for real-time operation mode conversion of marine robots.
상기 플랫폼 감지부는 수동으로 물리 환경 모드를 전환하도록 형성되는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.According to claim 1,
The platform sensing unit is formed to manually switch the physical environment mode,
A virtual physics operating system for real-time operation mode conversion of marine robots.
상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼은 하나의 조작계로 통합된 형태로 구현되는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.According to claim 1,
The real operation platform and the virtual operation platform are implemented in an integrated form into one operation system,
A virtual physics operating system for real-time operation mode conversion of marine robots.
상기 현실 운용 플랫폼 및 상기 가상 운용 플랫폼은,
어느 하나가 구동되고 있는 상태에서 다른 하나가 백그라운드에서 구동 상태를 유지하도록 운용되어 실시간 스위칭이 가능하도록 형성되는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.5. The method of claim 4,
The reality operating platform and the virtual operating platform,
In a state in which one is driven, the other is operated to maintain a driving state in the background, and is formed to enable real-time switching,
A virtual physics operating system for real-time operation mode conversion of marine robots.
상기 가상환경 구축모듈은,
운용자가 해양 환경의 현장에 투입된 로봇을 운용하는 과정에서 발생하는 입력데이터와, 운용자가 해양 환경의 현장에 투입된 로봇을 구동시키는 과정에서 로봇의 주변 환경에 대한 환경데이터를 수집하는 데이터 수집부;
상기 데이터 수집부를 통해 수집된 상기 입력데이터 및 상기 환경데이터를 분석하는 데이터 분석부; 및
상기 데이터 분석부에 의해 분석된 상기 입력데이터 및 상기 환경데이터를 통해 현장의 가상 물리 환경 모델을 구축하는 가상환경 구축부;
를 포함하는,
해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템.According to claim 1,
The virtual environment building module,
A data collection unit that collects input data generated in the process of the operator operating the robot put in the field of the marine environment, and the environmental data about the environment around the robot while the operator drives the robot put in the field of the marine environment;
a data analysis unit for analyzing the input data and the environment data collected through the data collection unit; and
a virtual environment construction unit for building a virtual physical environment model of the field through the input data and the environment data analyzed by the data analysis unit;
containing,
A virtual physics operating system for real-time operation mode conversion of marine robots.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168557A KR102409380B1 (en) | 2020-12-04 | 2020-12-04 | Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168557A KR102409380B1 (en) | 2020-12-04 | 2020-12-04 | Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220079112A true KR20220079112A (en) | 2022-06-13 |
| KR102409380B1 KR102409380B1 (en) | 2022-06-14 |
Family
ID=81980497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200168557A KR102409380B1 (en) | 2020-12-04 | 2020-12-04 | Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102409380B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497545B1 (en) * | 2022-10-18 | 2023-02-10 | (주)비알이디 | Apparatus, system, method, and program for 3d modeling of seabed topography using big data |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100106834A (en) * | 2009-03-24 | 2010-10-04 | 주식회사 이턴 | Surgical robot system using augmented reality and control method thereof |
| KR101026369B1 (en) * | 2009-08-05 | 2011-04-05 | (주)시뮬레이션연구소 | Integrated control system for real and virtual robot |
| KR20150087454A (en) * | 2014-01-20 | 2015-07-30 | 한국로봇융합연구원 | System of analysis using surrounding information for tidal current effect of underwater vehicle and analysis method thereof |
| KR20160055609A (en) * | 2014-11-10 | 2016-05-18 | 대우조선해양 주식회사 | Underwater IMR (Installation, Maintenance, and Repair) Task Management System and Its Method |
| KR20190134513A (en) * | 2018-05-24 | 2019-12-04 | 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 | Two-way real-time 3d interactive operations of real-time 3d virtual objects within a real-time 3d virtual world representing the real world |
-
2020
- 2020-12-04 KR KR1020200168557A patent/KR102409380B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100106834A (en) * | 2009-03-24 | 2010-10-04 | 주식회사 이턴 | Surgical robot system using augmented reality and control method thereof |
| KR101026369B1 (en) * | 2009-08-05 | 2011-04-05 | (주)시뮬레이션연구소 | Integrated control system for real and virtual robot |
| KR20150087454A (en) * | 2014-01-20 | 2015-07-30 | 한국로봇융합연구원 | System of analysis using surrounding information for tidal current effect of underwater vehicle and analysis method thereof |
| KR20160055609A (en) * | 2014-11-10 | 2016-05-18 | 대우조선해양 주식회사 | Underwater IMR (Installation, Maintenance, and Repair) Task Management System and Its Method |
| KR20190134513A (en) * | 2018-05-24 | 2019-12-04 | 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 | Two-way real-time 3d interactive operations of real-time 3d virtual objects within a real-time 3d virtual world representing the real world |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497545B1 (en) * | 2022-10-18 | 2023-02-10 | (주)비알이디 | Apparatus, system, method, and program for 3d modeling of seabed topography using big data |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102409380B1 (en) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| El-Fakdi et al. | Two-step gradient-based reinforcement learning for underwater robotics behavior learning | |
| Choi et al. | Development of the omni directional intelligent navigator | |
| KR102409380B1 (en) | Cyber Physical Operation System for Real Time Mode Transformation of Marine Robot | |
| Ridao et al. | NEPTUNE: A HIL simulator for multiple UUVs | |
| Kimura et al. | Task-model based human robot cooperation using vision | |
| CN108439221B (en) | The overhead crane automatic control system of view-based access control model | |
| Leabourne et al. | Station keeping of an ROV using vision technology | |
| De Novi et al. | A new approach for a reconfigurable autonomous underwater vehicle for intervention | |
| Di Gesù et al. | A distributed architecture for autonomous navigation of robots | |
| Jin et al. | A real-time vision-based stationkeeping system for underwater robotics applications | |
| KR102471477B1 (en) | Cyber Physical Operating System for Operation of Marine Robot | |
| Boehm et al. | Characterization, modeling, and simulation of an ROV thruster using a six degree-of-freedom load cell | |
| Dimitrov et al. | Model identification of a small fully-actuated aquatic surface vehicle using a long short-term memory neural network | |
| My et al. | An Artificial Neural Networks (ANN) Approach for 3 Degrees of Freedom Motion Controlling | |
| Althoefer et al. | Hybrid soil parameter measurement and estimation scheme for excavation automation | |
| Hidalgo | ORBSLAM2 and point cloud processing towards autonomous underwater robot navigation | |
| Gomes et al. | Integrated maneuver and control design for ROV operations | |
| Lin et al. | Assisting the teleoperation of an unmanned underwater vehicle using a synthetic subsea scenario | |
| Ridao et al. | Graphical simulators for AUV development | |
| Scaradozzi et al. | Underwater position estimation for an underwater vehicle using unscented Kalman filter | |
| KR102399884B1 (en) | Multi Degree-of-Freedom Motion Platform Apparatus for Operating Marine Robot | |
| Conte et al. | Guide and control of an unmanned underwater vehicle by visual-feedback techniques | |
| Tian et al. | Behavior-based control of an autonomous underwater vehicle for adaptive plume mapping | |
| Yeu et al. | Preliminary Study on DEVELOPMENT of CPOS (cyber physical operation system) for underwater robots | |
| Conte et al. | An automatic guidance system for a small work-class ROV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |