KR102420462B1 - Collaborative learning method using digital twin - Google Patents

Collaborative learning method using digital twin Download PDF

Info

Publication number
KR102420462B1
KR102420462B1 KR1020210177410A KR20210177410A KR102420462B1 KR 102420462 B1 KR102420462 B1 KR 102420462B1 KR 1020210177410 A KR1020210177410 A KR 1020210177410A KR 20210177410 A KR20210177410 A KR 20210177410A KR 102420462 B1 KR102420462 B1 KR 102420462B1
Authority
KR
South Korea
Prior art keywords
physical
twin
virtual
robot
space
Prior art date
Application number
KR1020210177410A
Other languages
Korean (ko)
Inventor
김재호
양수림
조중호
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210177410A priority Critical patent/KR102420462B1/en
Application granted granted Critical
Publication of KR102420462B1 publication Critical patent/KR102420462B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

A collaborative learning method using a digital twin is disclosed. The cooperative learning method performed in a physical robot comprises steps of: classifying a physical object detected in a physical space using a pre-learned classification model; requesting class information on the physical object to a virtual robot twin that exists in a virtual space corresponding to the physical space and corresponds to the physical robot if the classification fails; and re-learning the classification model by receiving class information about a virtual object twin that exists in the virtual space and corresponds to the physical object from the virtual robot twin. The present invention is to provide the cooperative learning method using a digital twin that can receive training data from a virtual space.

Description

디지털 트윈을 이용하는 협력 학습 방법{COLLABORATIVE LEARNING METHOD USING DIGITAL TWIN}A collaborative learning method using digital twins {COLLABORATIVE LEARNING METHOD USING DIGITAL TWIN}

본 발명은 디지털 트윈을 이용하는 협력 학습 방법에 관한 것이다. The present invention relates to a collaborative learning method using digital twins.

메타버스(metaverse)란 가공·초월을 의미하는 메타(Meta)와 세계를 의미하는 유니버스(Universe)의 합성어로서, 가상과 현실이 융복합 된 디지털 세계, 초월 세계를 의미한다. 그리고 최근 메타버스와 함께 디지털 트윈(digital twin) 또한 주목받고 있다. Metaverse is a compound word of meta, meaning fictitious transcendence, and universe, meaning world. And recently, along with the metaverse, digital twins are also attracting attention.

디지털 트윈이란, 현실 세계의 사물에 대한 디지털 쌍둥이를 가상 세계에 생성하고, 현실에서 발생할 수 있는 상황을 가상 세계에서 시뮬레이션함으로써 결과를 미리 예측하는 기술을 의미한다. 디지털 트윈에 의해 생성된 가상 세계는 현실 세계와 동기화되며, 현실 세계와 가상 세계는 서로 상호작용하게 된다. 이러한 동기화에 의해 현실 세계에서의 모습이 그대로 가상 세계에 투영되며, 가상 세계에서의 시뮬레이션을 통해 현실 시계의 문제점 등을 해결할 수 있다.A digital twin refers to a technology that generates digital twins of objects in the real world in the virtual world, and predicts results in advance by simulating situations that may occur in the real world in the virtual world. The virtual world created by the digital twin is synchronized with the real world, and the real and virtual worlds interact with each other. Through this synchronization, the image in the real world is projected onto the virtual world as it is, and the problem of the real clock can be solved through simulation in the virtual world.

관련 선행문헌으로 대한민국 등록특허 제10-2237449호, 제10-2127655호, 대한민국 공개특허 제2021-0108044호, 제2021-0134133호가 있다.As related prior documents, there are Korean Patent Registration Nos. 10-2237449, 10-2127655, and Korean Patent Publication Nos. 2021-0108044 and 2021-0134133.

본 발명은 가상 공간으로부터 훈련 데이터를 제공받을 수 있는, 디지털 트윈을 이용하는 협력 학습 방법을 제공하기 위한 것이다.An object of the present invention is to provide a cooperative learning method using a digital twin that can receive training data from a virtual space.

또한 본 발명은 물리 로봇의 자원이 부족한 상황에서 효율적으로 학습이 수행될 수 있는, 디지털 트윈을 이용하는 협력 학습 방법을 제공하기 위한 것이다.Another object of the present invention is to provide a cooperative learning method using a digital twin, in which learning can be efficiently performed in a situation where the resources of the physical robot are insufficient.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 물리 로봇에서 수행되는 디지털 트윈을 이용하는 협력 학습 방법에 있어서, 미리 학습된 분류 모델을 이용하여, 물리 공간에서 검출된 물리 객체를 분류하는 단계; 상기 분류에 실패할 경우, 상기 물리 객체에 대한 클래스 정보를, 상기 물리 공간에 대응되는 가상 공간에 존재하며, 상기 물리 로봇에 대응되는 가상 로봇 트윈으로 요청하는 단계; 및 상기 가상 공간에 존재하며, 상기 물리 객체에 대응되는 가상 객체 트윈에 대한 클래스 정보를 상기 가상 로봇 트윈으로부터 수신하여, 상기 분류 모델에 대한 재학습을 수행하는 단계를 포함하는 디지털 트윈을 이용하는 협력 학습 방법이 제공된다. According to an embodiment of the present invention for achieving the above object, in a cooperative learning method using a digital twin performed in a physical robot, classifying a physical object detected in a physical space using a pre-learned classification model step; when the classification fails, requesting class information about the physical object to a virtual robot twin that exists in a virtual space corresponding to the physical space and corresponds to the physical robot; and receiving class information about a virtual object twin existing in the virtual space and corresponding to the physical object from the virtual robot twin, and performing re-learning on the classification model. A method is provided.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 물리 로봇에서 수행되는 디지털 트윈을 이용하는 협력 학습 방법에 있어서, 물리 공간에서 물리 객체를 검출하는 단계; 상기 물리 공간에 대응되는 가상 공간에 존재하며, 상기 물리 객체에 대응되는 가상 객체 트윈에 대한 학습을, 상기 가상 공간에 존재하며, 상기 물리 로봇에 대응되는 가상 로봇 트윈으로 요청하는 단계; 및 상기 가상 객체 트윈을 이용하여, 분류 모델에 대한 학습을 수행하는 상기 가상 로봇 트윈으로부터, 상기 분류 모델을 수신하는 단계를 포함하는 디지털 트윈을 이용하는 협력 학습 방법이 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, there is provided a cooperative learning method using a digital twin performed in a physical robot, the method comprising: detecting a physical object in a physical space; requesting learning of a virtual object twin existing in a virtual space corresponding to the physical space and corresponding to the physical object to a virtual robot twin existing in the virtual space and corresponding to the physical robot; and receiving the classification model from the virtual robot twin that performs learning on the classification model by using the virtual object twin.

본 발명의 일실시예에 따르면, 가상 로봇 트윈으로부터 추가적인 훈련 데이터를 제공받아 물리 로봇이 분류 모델에 대한 학습을 수행함으로써, 학습 효율이 향상될 수 있다.According to an embodiment of the present invention, by receiving additional training data from the virtual robot twin and performing learning on the classification model by the physical robot, learning efficiency may be improved.

또한 본 발명의 일실시예에 따르면, 물리 로봇보다 많은 컴퓨팅 자원이 제공되는 환경에서 구동되는 가상 로봇 트윈에서 학습이 수행됨으로써, 물리 로봇의 한정된 자원과 무관하게 원할한 학습이 수행될 수 있다. In addition, according to an embodiment of the present invention, since learning is performed in a virtual robot twin driven in an environment in which more computing resources than a physical robot are provided, smooth learning can be performed regardless of the limited resources of the physical robot.

도 1은 본 발명의 일실시예에 따른 디지털 트윈을 이용하는 협력 학습 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 디지털 트윈을 이용하는 협력 학습 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 물리 공간과 가상 공간을 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 디지털 트윈을 이용하는 협력 학습 방법을 설명하기 위한 흐름도이다.1 is a diagram for explaining a cooperative learning system using a digital twin according to an embodiment of the present invention.
2 is a flowchart illustrating a cooperative learning method using a digital twin according to an embodiment of the present invention.
3 is a diagram illustrating a physical space and a virtual space according to an embodiment of the present invention.
4 is a flowchart illustrating a cooperative learning method using a digital twin according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

현실 세계의 공간인 물리 공간에서는 학습을 위한 훈련 데이터 획득에, 많은 제약 사항이 있다. 예컨대, 학습이 이루어지는 공간에서부터 학습에 필요한 인력 등이, 그것이다. 하지만 가상 세계의 공간인 가상 공간에서는 물리 공간의 제약 사항이 적용되지 않기 때문에, 보다 효율적으로 대량의 훈련 데이터를 획득할 수 있다. 특히, 디지털 트윈을 통해 구축된 가상 공간은 물리 공간과 동기화되기 때문에, 디지털 트윈 환경에서의 가상 공간을 통해 획득된 훈련 데이터는, 물리 공간에서 획득된 훈련 데이터를 대체할 수 있다.In the physical space, which is the space of the real world, there are many restrictions in acquiring training data for learning. For example, it is the space where learning takes place, manpower necessary for learning, and the like. However, in the virtual space, which is the space of the virtual world, the limitations of the physical space do not apply, so a large amount of training data can be acquired more efficiently. In particular, since the virtual space built through the digital twin is synchronized with the physical space, training data acquired through the virtual space in the digital twin environment may replace the training data acquired in the physical space.

본 발명은 전술된 점에 착안하여, 디지털 트윈을 이용하여, 현실 공간인 물리 공간과 가상 공간이 협력하여 학습을 수행하는 방법을 제안한다.The present invention proposes a method of performing learning in cooperation with a physical space, which is a real space, and a virtual space, using a digital twin, focusing on the above points.

본 발명의 일실시예는, 가상 공간에서 획득된 훈련 데이터를 이용하여 물리 공간에서 학습을 수행하거나 또는 가상 공간에서 획득된 훈련 데이터를 이용하여 가상 공간에서 학습을 수행하는 협력 학습 방법을 제안한다.An embodiment of the present invention proposes a cooperative learning method in which learning is performed in a physical space using training data acquired in a virtual space or learning is performed in a virtual space using training data acquired in a virtual space.

본 발명의 일실시예에 따른 협력 학습 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 물리 로봇에서 수행되는 협력 학습 방법이 일실시예로서 설명된다.The cooperative learning method according to an embodiment of the present invention may be performed in a computing device including a processor and a memory. Hereinafter, a cooperative learning method performed in a physical robot will be described as an embodiment.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 디지털 트윈을 이용하는 협력 학습 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a cooperative learning system using a digital twin according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일실시예에 따른 협력 학습 시스템은 물리 로봇(110), 디지털 트윈 서버(120) 및 가상 공간(130)을 포함한다.Referring to FIG. 1 , the cooperative learning system according to an embodiment of the present invention includes a physical robot 110 , a digital twin server 120 , and a virtual space 130 .

물리 로봇(110)은 미리 학습된 분류 모델을 포함하며, 현실 세계의 물리 객체를 검출하기 위해 이미지 센서, 레이더 센서, 라이다 센서, 초음파 센서, GPS 센서, 관성 센서 등의 센서를 포함할 수 있다. 물리 로봇(110)은 물리 공간을 이동하면서 물리 공간에 존재하는 물리 객체를 검출하고, 분류 모델을 이용하여, 검출된 물리 객체를 분류한다. 그리고 분류된 물리 객체를 이용하여, 분류 모델을 재학습한다. 분류 모델은 일실시예로서 인공 신경망 기반의 분류 모델일 수 있으며, 물리 로봇(110)은 일실시예로서, 드론, 서비스 로봇, 자율 주행 차량 등 이동하면서 주변 객체를 인식하는 모든 로봇을 포함할 수 있다.The physical robot 110 includes a pre-trained classification model, and may include sensors such as an image sensor, a radar sensor, a lidar sensor, an ultrasonic sensor, a GPS sensor, and an inertial sensor to detect a physical object in the real world. . The physical robot 110 detects a physical object existing in the physical space while moving in the physical space, and classifies the detected physical object using a classification model. Then, the classification model is retrained using the classified physical object. The classification model may be an artificial neural network-based classification model as an embodiment, and the physical robot 110 may include, as an embodiment, all robots that recognize surrounding objects while moving, such as drones, service robots, and autonomous vehicles. have.

디지털 트윈 서버(120)는 물리 공간과 동기화된 가상 공간(130)을 제공한다. 디지털 트윈 서버(120)는 물리 공간에 대해 수집된 데이터에 기반하여 가상 공간을 생성한다. 예컨대 타겟 물리 공간이 식당이라면, 식당에 존재하는 다양한 물리 객체 등에 대한 센싱 데이터를 통해, 식당에 대한 가상 공간이 생성될 수 있다. 물리 공간에는 물리 공간 및 물리 객체에 대한 데이터를 수집하기 위한, 이미지 센서, 레이더 센서, 초음파 센서 등 다양한 센서가 설치될 수 있으며, 디지털 트윈 서버(120)는 가상 공간(130)에 대한 모든 정보 예컨대, 가상 공간(130)에 존재하는 가상 객체의 클래스, 위치 정보, 특징 정보 등을 저장한다. 가상 공간(130)에 대한 모든 정보는 물리 공간에 대한 정보에 대응된다.The digital twin server 120 provides a virtual space 130 synchronized with the physical space. The digital twin server 120 creates a virtual space based on data collected about the physical space. For example, if the target physical space is a restaurant, a virtual space for the restaurant may be generated through sensing data of various physical objects existing in the restaurant. Various sensors, such as an image sensor, a radar sensor, and an ultrasonic sensor, for collecting data on the physical space and physical objects may be installed in the physical space, and the digital twin server 120 provides all information about the virtual space 130, for example. , a class of a virtual object existing in the virtual space 130 , location information, characteristic information, and the like are stored. All information on the virtual space 130 corresponds to information on the physical space.

디지털 트윈 서버(120)에 의해 생성된 가상 공간(130)에는 가상 객체가 존재하며, 가상 객체는 물리 공간에 존재하는 물리 객체에 대한 가상 트윈으로서, 물리 객체의 움직임과 동기화되어 움직인다. 가상 공간(130)에는 물리 객체에 대응되는 가상 객체 트윈과 물리 로봇(110)에 대응되는 가상 로봇 트윈(131)이 포함된다.A virtual object exists in the virtual space 130 generated by the digital twin server 120, and the virtual object is a virtual twin of a physical object existing in the physical space, and moves in synchronization with the movement of the physical object. The virtual space 130 includes a virtual object twin corresponding to a physical object and a virtual robot twin 131 corresponding to the physical robot 110 .

물리 로봇(110)은 가상 로봇 트윈(131)으로 훈련 데이터를 요청하고, 요청된 훈련 데이터를 수신하여 분류 모델을 학습한다. 또는 물리 로봇(110)은 가상 로봇 트윈(131)으로 학습을 요청하고, 요청된 학습을 수행한 가상 로봇 트윈(131)으로부터, 학습된 분류 모델을 수신한다.The physical robot 110 requests training data from the virtual robot twin 131 and receives the requested training data to learn a classification model. Alternatively, the physical robot 110 requests learning from the virtual robot twin 131 and receives the learned classification model from the virtual robot twin 131 that has performed the requested learning.

본 발명의 일실시예에 따르면, 가상 로봇 트윈으로부터 추가적인 훈련 데이터를 제공받아 물리 로봇이 분류 모델에 대한 학습을 수행함으로써, 학습 효율이 향상될 수 있다.According to an embodiment of the present invention, by receiving additional training data from the virtual robot twin and performing learning on the classification model by the physical robot, learning efficiency may be improved.

또한 본 발명의 일실시예에 따르면, 물리 로봇보다 많은 컴퓨팅 자원을 제공하는 디지털 트윈 서버에 의해 구동되는 가상 로봇 트윈에서 학습이 수행됨으로써, 물리 로봇의 한정된 자원과 무관하게 원할한 학습이 수행될 수 있다. In addition, according to an embodiment of the present invention, learning is performed in a virtual robot twin driven by a digital twin server that provides more computing resources than a physical robot, so that smooth learning can be performed regardless of the limited resources of the physical robot. have.

도 2는 본 발명의 일실시예에 따른 디지털 트윈을 이용하는 협력 학습 방법을 설명하기 위한 흐름도이며, 도 3은 본 발명의 일실시예에 따른 물리 공간과 가상 공간을 도시한 도면이다. 도 2에서는 물리 로봇에서 수행되는 협력 학습 방법이 일실시예로 설명된다.2 is a flowchart illustrating a cooperative learning method using a digital twin according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a physical space and a virtual space according to an embodiment of the present invention. In FIG. 2 , a cooperative learning method performed in a physical robot is described as an embodiment.

도 2 및 도 3을 참조하면, 본 발명의 일실시예에 따른 물리 로봇(311)은 미리 학습된 분류 모델을 이용하여, 물리 공간(310)에서 검출된 물리 객체(312)를 분류(S210)한다. 분류가 성공할 경우, 물리 로봇(311)은 물리 객체(312)에 대한 클래스를 이용하여, 분류 모델에 대한 재학습을 수행한다. 2 and 3 , a physical robot 311 according to an embodiment of the present invention classifies a physical object 312 detected in a physical space 310 using a pre-learned classification model (S210) do. When the classification is successful, the physical robot 311 performs re-learning on the classification model using the class for the physical object 312 .

예컨대 물리 로봇(311)이 축구공인 물리 객체(312)에 대한 이미지를 획득하고, 이미지를 분류 모델에 입력하여, 분류 모델이 물리 객체(312)를 축구공 클래스로 분류한 경우, 물리 로봇(311)은 축구공 클래스가 레이블링된 물리 객체(312)에 대한 이미지를 이용하여, 분류 모델을 재학습할 수 있다.For example, when the physical robot 311 obtains an image of the physical object 312 that is a soccer ball, inputs the image to the classification model, and the classification model classifies the physical object 312 into a soccer ball class, the physical robot 311 ) may retrain the classification model using the image of the physical object 312 labeled with the soccer ball class.

분류에 실패할 경우, 물리 로봇(311)은 물리 객체(312)에 대한 클래스 정보를, 가상 로봇 트윈(321)으로 요청(S220)한다. 가상 객체 트윈(322)과 함께 가상 로봇 트윈(321)은 가상 공간(320)에 존재하며, 물리 객체(312) 및 물리 로봇(311) 각각에 대응된다. 그리고 가상 객체 트윈(322) 및 가상 로봇 트윈(321)은 물리 객체(312) 및 물리 로봇(311)의 움직임과 동기화되어, 가상 공간(320)에서 움직인다.When the classification fails, the physical robot 311 requests class information on the physical object 312 to the virtual robot twin 321 ( S220 ). The virtual robot twin 321 together with the virtual object twin 322 exists in the virtual space 320 and corresponds to the physical object 312 and the physical robot 311, respectively. In addition, the virtual object twin 322 and the virtual robot twin 321 are synchronized with the movements of the physical object 312 and the physical robot 311 to move in the virtual space 320 .

분류에 실패한다는 것은 물리 객체(312)에 대한 클래스 정보가 획득되지 않았다는 것이므로, 물리 로봇(311)은 물리 객체(312)에 대한 클래스 정보를 확보하기 위해, 가상 로봇 트윈(321)에게 물리 객체(312)에 대한 클래스 정보를 요청한다. 예컨대, 분류 모델이 출력한 분류 결과에 대한 컨피던스 값이 임계값보다 작다면, 분류가 실패한 것으로 판단될 수 있으며, 이 경우 물리 로봇(311)은 가상 로봇 트윈(312)에게 물리 객체(312)에 대한 클래스 정보를 요청한다.Failure to classify means that class information on the physical object 312 has not been obtained, so the physical robot 311 sends the virtual robot twin 321 to the physical object ( 312) for class information. For example, if the confidence value for the classification result output by the classification model is smaller than the threshold value, it may be determined that the classification has failed. In this case, the physical robot 311 sends the virtual robot twin 312 to the physical object 312 . Request class information for

단계 S220에서 물리 로봇(311)은 물리 객체(312)에 대한 위치 정보 및 특징 정보 중 적어도 하나를 이용하여 클래스 정보를 요청할 수 있으며, 위치 정보는 일실시예로서 물리 로봇(311)과 물리 객체(312) 사이의 이격 거리 및 이격 방향에 대한 정보이거나 또는 물리 객체(312)의 좌표값일 수 있다. 물리 로봇(311)은 레이더 센서 등을 이용해 물리 로봇 기준으로, 물리 로봇(311)과 물리 객체(312) 사이의 이격 거리 및 이격 방향에 대한 정보를 생성할 수 있으며, 이를 통해 물리 객체(312)의 좌표값 역시 계산할 수 있다.In step S220, the physical robot 311 may request class information by using at least one of location information and characteristic information about the physical object 312, and the location information is, as an embodiment, the physical robot 311 and the physical object ( 312 ) may be information on the separation distance and separation direction or coordinate values of the physical object 312 . The physical robot 311 may generate information on the separation distance and separation direction between the physical robot 311 and the physical object 312 on the basis of the physical robot using a radar sensor or the like, and through this, the physical object 312 . The coordinate values of can also be calculated.

전술된 바와 같이, 디지털 트윈 환경에서는 가상 공간이 물리 공간과 동기화되기 때문에, 물리 로봇(311)과 물리 객체(312) 사이의 상대적 위치는, 가상 로봇 트윈(321)과 가상 객체 트윈(322) 사이의 상대적 위치와 동일하며, 따라서, 가상 로봇 트윈(321)은 물리 로봇(311)으로부터 전송된 위치 정보로부터, 가상 객체 트윈(322)을 확인할 수 있다. 또한 가상 공간에 대한 모든 정보는 디지털 트윈 서버에 저장되기 때문에, 가상 로봇 트윈(321)은 검출된 물리 객체(312)에 대한 위치 정보 또는 특징 정보를 이용하여 확인된 가상 객체 트윈(322)에 대한 클래스 또한 인식할 수 있다.As described above, since the virtual space is synchronized with the physical space in the digital twin environment, the relative position between the physical robot 311 and the physical object 312 is between the virtual robot twin 321 and the virtual object twin 322 . is the same as the relative position of , and therefore, the virtual robot twin 321 may identify the virtual object twin 322 from the position information transmitted from the physical robot 311 . In addition, since all information about the virtual space is stored in the digital twin server, the virtual robot twin 321 provides information about the virtual object twin 322 identified using the location information or feature information about the detected physical object 312 . Classes are also recognizable.

단계 S220에서 물리 로봇(311)은 가상 로봇 트윈(321)이 보다 정확하게, 물리 객체(312)에 대응되는 가상 객체 트윈(322)을 확인할 수 있도록, 물리 객체(312)에 대한 위치 정보와 함께, 또는 별도로 물리 객체(312)에 대한 센싱 데이터로부터 획득된 특징 정보를 함께 가상 로봇 트윈(322)으로 전송할 수 있다. 예컨대, 센싱 데이터는 물리 객체(312)에 대한 이미지나 레이더 신호, 라이더 신호, 초음파 신호 등일 수 있으며, 특징 정보는 센싱 데이터로부터 획득된 특징 벡터일 수 있다. 가상 객체 트윈(322)은 물리 객체(312)에 대한 가상 트윈으로서, 가상 객체 트윈(322)의 특징 정보는 물리 객체(312)와 동일하기 때문에, 가상 로봇 트윈(321)은 물리 객체(312)의 특징 정보에 대응되는 특징 정보를 가지는 가상 객체 트윈(322)을 가상 공간(320)에서 확인할 수 있다.In step S220, the physical robot 311 allows the virtual robot twin 321 to more accurately identify the virtual object twin 322 corresponding to the physical object 312 together with the location information on the physical object 312, Alternatively, feature information obtained from sensing data of the physical object 312 may be separately transmitted to the virtual robot twin 322 . For example, the sensing data may be an image of the physical object 312 , a radar signal, a lidar signal, an ultrasound signal, or the like, and the feature information may be a feature vector obtained from the sensing data. The virtual object twin 322 is a virtual twin for the physical object 312 , and since the characteristic information of the virtual object twin 322 is the same as that of the physical object 312 , the virtual robot twin 321 is a physical object 312 . A virtual object twin 322 having characteristic information corresponding to the characteristic information of may be identified in the virtual space 320 .

가상 객체 트윈(322)은 물리 객체(312)에 대한 트윈이기 때문에 서로 클래스가 동일하며, 따라서 가상 로봇 트윈(321)은 물리 객체(312)에 대응되는 가상 객체 트윈(322)에 대한 클래스 정보를 물리 로봇(311)으로 전송한다. Since the virtual object twin 322 is a twin for the physical object 312, the classes are the same, so the virtual robot twin 321 provides class information about the virtual object twin 322 corresponding to the physical object 312. It is transmitted to the physical robot 311 .

물리 로봇(311)은 가상 객체 트윈(322)에 대한 클래스 정보를 가상 로봇 트윈(321)으로부터 수신하여, 분류 모델에 대한 재학습을 수행(S230)한다.The physical robot 311 receives class information on the virtual object twin 322 from the virtual robot twin 321, and performs re-learning on the classification model (S230).

본 발명의 일실시예에 따르면, 물리 로봇이 분류하지 못한 물리 객체에 대한 클래스 정보를 가상 로봇 트윈으로부터 제공받을 수 있기 때문에, 분류 모델에 대한 훈련 데이터를 추가적으로 확보할 수 있다.According to an embodiment of the present invention, since class information on a physical object that the physical robot cannot classify can be provided from the virtual robot twin, training data for the classification model can be additionally secured.

도 4는 본 발명의 다른 실시예에 따른 디지털 트윈을 이용하는 협력 학습 방법을 설명하기 위한 흐름도이다. 도 4에서는 물리 로봇에서 수행되는 협력 학습 방법이 일실시예로 설명된다.4 is a flowchart illustrating a cooperative learning method using a digital twin according to another embodiment of the present invention. In FIG. 4 , a cooperative learning method performed in a physical robot is described as an embodiment.

도 3 및 도 4를 참조하면, 본 발명의 일실시예에 따른 물리 로봇(311)은 물리 공간(310)에서 물리 객체(312)를 검출(S410)하고, 물리 객체(312)에 대응되는 가상 객체 트윈(322)에 대한 학습을 가상 로봇 트윈(321)으로 요청(S420)한다. 3 and 4 , a physical robot 311 according to an embodiment of the present invention detects a physical object 312 in a physical space 310 ( S410 ), and a virtual corresponding to the physical object 312 . Learning of the object twin 322 is requested to the virtual robot twin 321 (S420).

단계 S420에서 물리 로봇(311)은 물리 객체(312)에 대한 위치 정보 또는 특징 정보 중 적어도 하나를 이용하여, 학습을 요청할 수 있다. 전술된 실시예와 같이, 위치 정보는 물리 로봇(311)과 물리 객체(312) 사이의 이격 거리 및 이격 방향에 대한 정보이거나 또는 물리 객체(312)의 좌표값일 수 있으며, 가상 로봇 트윈(321)은 물리 객체(312)에 대한 위치 정보를 이용하여, 물리 객체(312)에 대응되는 가상 객체 트윈(322)을 확인하고, 가상 객체 트윈(322)에 대한 클래스를 인식할 수 있다. 그리고 특징 정보는 물리 객체(312)에 대한 센싱 데이터로부터 획득된 특징 정보일 수 있다.In step S420 , the physical robot 311 may request learning by using at least one of location information and characteristic information about the physical object 312 . As in the above-described embodiment, the location information may be information about the separation distance and separation direction between the physical robot 311 and the physical object 312 or may be a coordinate value of the physical object 312, and the virtual robot twin 321. may identify a virtual object twin 322 corresponding to the physical object 312 using the location information on the physical object 312 and recognize a class for the virtual object twin 322 . In addition, the characteristic information may be characteristic information obtained from sensing data of the physical object 312 .

또한 단계 S420에서 물리 로봇(311)은 분류 모델을 이용한, 검출된 물리 객체(312)의 분류에 실패한 경우, 가상 객체 트윈(322)에 대한 학습을 가상 로봇 트윈(321)으로 요청할 수 있으며, 물리 객체(312)에 대한 센싱값을 위치 정보와 함께 가상 로봇 트윈(321)으로 전송할 수 있다. In addition, when the classification of the detected physical object 312 using the classification model fails in step S420, the physical robot 311 may request the virtual robot twin 321 to learn about the virtual object twin 322, The sensed value of the object 312 may be transmitted to the virtual robot twin 321 together with location information.

또 다른 실시예로서, 물리 로봇(311)은, 물리 로봇(311)의 가용 자원이 임계 자원 이하인 경우, 가상 객체 트윈(322)에 대한 학습을 가상 로봇 트윈(321)으로 요청할 수 있다. 가상 객체 트윈(322)은 강력한 컴퓨팅 자원을 지원하는 디지털 트윈 서버 상에서 구동되기 때문에, 디지털 트윈 서버의 자원을 이용하여 학습을 수행할 수 있다.As another embodiment, when the available resources of the physical robot 311 are less than or equal to a threshold resource, the physical robot 311 may request the virtual robot twin 321 to learn about the virtual object twin 322 . Since the virtual object twin 322 is driven on a digital twin server supporting powerful computing resources, learning may be performed using the resources of the digital twin server.

가상 로봇 트윈(321)은 가상 객체 트윈(322)에 대한 클래스를 이용하여, 분류 모델에 대한 학습을 수행하고, 학습된 분류 모델을 물리 로봇(311)으로 전송한다. 가상 로봇 트윈(321)은 일실시예로서, 가상 객체 트윈(322)에 대한 이미지와 가상 객체 트윈(322)에 대한 클래스를 이용하여, 분류 모델에 대한 학습을 수행할 수 있으며, 가상 객체 트윈(322)에 대한 이미지는 디지털 트윈 서버로부터 제공될 수 있다.The virtual robot twin 321 uses the class for the virtual object twin 322 to learn the classification model, and transmits the learned classification model to the physical robot 311 . The virtual robot twin 321 is an embodiment, and by using the image for the virtual object twin 322 and the class for the virtual object twin 322, learning for the classification model can be performed, and the virtual object twin ( 322) may be provided from a digital twin server.

물리 로봇(311)은 가상 로봇 트윈(321)으로부터 학습된 분류 모델을 수신(S430)하고, 수신된 분류 모델을 이용하여, 물리 객체(312)에 대한 분류를 수행할 수 있다. 물리 로봇(311)이 별도의 분류 모델을 포함하고 있는 경우, 물리 로봇(311)은 가상 로봇 트윈(321)으로부터 수신된 학습 모델을 이용하여, 별도의 분류 모델을 업데이트할 수 있다.The physical robot 311 may receive the classification model learned from the virtual robot twin 321 ( S430 ), and classify the physical object 312 using the received classification model. When the physical robot 311 includes a separate classification model, the physical robot 311 may update the separate classification model by using the learning model received from the virtual robot twin 321 .

본 발명의 일실시예에 따르면, 물리 로봇의 자원이 아닌, 가상 트윈 로봇이 구현되는 디지털 트윈 서버의 자원을 이용하여 분류 모델을 학습함으로써, 물리 로봇의 자원이 부족한 환경에서도 분류 모델을 효율적으로 학습할 수 있다.According to an embodiment of the present invention, by learning the classification model using the resources of the digital twin server in which the virtual twin robot is implemented, rather than the resources of the physical robot, the classification model is efficiently learned even in an environment where the resources of the physical robot are insufficient. can do.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains. Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .

Claims (13)

물리 로봇에서 수행되는 디지털 트윈을 이용하는 협력 학습 방법에 있어서,
미리 학습된 분류 모델을 이용하여, 물리 공간에서 검출된 물리 객체를 분류하는 단계;
상기 분류에 실패할 경우, 상기 물리 객체에 대한 클래스 정보를, 상기 물리 공간에 대응되는 가상 공간에 존재하며, 상기 물리 로봇에 대응되는 가상 로봇 트윈으로 요청하는 단계; 및
상기 가상 공간에 존재하며, 상기 물리 객체에 대응되는 가상 객체 트윈에 대한 클래스 정보를 상기 가상 로봇 트윈으로부터 수신하여, 상기 분류 모델에 대한 재학습을 수행하는 단계를 포함하며,
상기 클래스 정보를 상기 가상 로봇 트윈으로 요청하는 단계는
상기 물리 객체에 대한 위치 정보 및 특징 정보 중 적어도 하나를 이용하여, 상기 클래스 정보를 요청하며,
상기 가상 로봇 트윈은
상기 위치 정보 및 특징 정보 중 적어도 하나를 이용하여 확인된, 상기 가상 객체 트윈에 대한 클래스를 인식하는
디지털 트윈을 이용하는 협력 학습 방법.
In a cooperative learning method using a digital twin performed in a physical robot,
classifying a physical object detected in a physical space using a pre-trained classification model;
when the classification fails, requesting class information on the physical object to a virtual robot twin that exists in a virtual space corresponding to the physical space and corresponds to the physical robot; and
Receiving class information about a virtual object twin existing in the virtual space and corresponding to the physical object from the virtual robot twin, and performing re-learning on the classification model,
The step of requesting the class information to the virtual robot twin
Requesting the class information by using at least one of location information and characteristic information about the physical object,
The virtual robot twin
Recognizing a class for the virtual object twin, identified using at least one of the location information and the feature information
A collaborative learning method using digital twins.
 삭제delete 제 1항에 있어서,
상기 위치 정보는
상기 물리 로봇과 상기 물리 객체 사이의 이격 거리 및 이격 방향에 대한 정보 또는 상기 물리 객체의 좌표값
을 포함하는 디지털 트윈을 이용하는 협력 학습 방법.
The method of claim 1,
The location information is
Information on the separation distance and separation direction between the physical robot and the physical object or a coordinate value of the physical object
A collaborative learning method using a digital twin that includes
 제 1항에 있어서,
상기 특징 정보는
상기 물리 객체에 대한 센싱 데이터로부터 획득된 특징 정보인
디지털 트윈을 이용하는 협력 학습 방법.
The method of claim 1,
The characteristic information is
Characteristic information obtained from sensing data for the physical object
A collaborative learning method using digital twins.
 삭제delete 제 1항에 있어서,
상기 가상 객체 트윈 및 가상 로봇 트윈은
상기 물리 객체 및 물리 로봇의 움직임과 동기화되어, 상기 가상 공간에서 움직이는
디지털 트윈을 이용하는 협력 학습 방법.
The method of claim 1,
The virtual object twin and the virtual robot twin are
Synchronized with the movement of the physical object and the physical robot, moving in the virtual space
A collaborative learning method using digital twins.
 물리 로봇에서 수행되는 디지털 트윈을 이용하는 협력 학습 방법에 있어서,
물리 공간에서 물리 객체를 검출하는 단계;
상기 물리 공간에 대응되는 가상 공간에 존재하며, 상기 물리 객체에 대응되는 가상 객체 트윈에 대한 학습을, 상기 가상 공간에 존재하며, 상기 물리 로봇에 대응되는 가상 로봇 트윈으로 요청하는 단계; 및
상기 가상 객체 트윈을 이용하여, 분류 모델에 대한 학습을 수행하는 상기 가상 로봇 트윈으로부터, 상기 분류 모델을 수신하는 단계를 포함하며,
상기 가상 객체 트윈에 대한 학습을 가상 로봇 트윈으로 요청하는 단계는
상기 물리 로봇의 가용 자원이 임계 자원 이하인 경우, 학습을 요청하는
디지털 트윈을 이용하는 협력 학습 방법.
In a cooperative learning method using a digital twin performed in a physical robot,
detecting a physical object in physical space;
requesting learning of a virtual object twin existing in a virtual space corresponding to the physical space and corresponding to the physical object to a virtual robot twin existing in the virtual space and corresponding to the physical robot; and
Receiving the classification model from the virtual robot twin that performs learning on the classification model by using the virtual object twin,
The step of requesting learning of the virtual object twin as a virtual robot twin
When the available resources of the physical robot are less than or equal to a threshold resource,
A collaborative learning method using digital twins.
 제 7항에 있어서,
상기 가상 객체 트윈에 대한 학습을 가상 로봇 트윈으로 요청하는 단계는
상기 물리 객체에 대한 위치 정보 및 특징 정보 중 적어도 하나를 이용하여, 학습을 요청하는
디지털 트윈을 이용하는 협력 학습 방법.
8. The method of claim 7,
The step of requesting learning of the virtual object twin as a virtual robot twin
requesting learning by using at least one of location information and characteristic information about the physical object
A collaborative learning method using digital twins.
 제 8항에 있어서,
상기 위치 정보는
상기 물리 로봇과 상기 물리 객체 사이의 이격 거리 및 이격 방향에 대한 정보 또는 상기 물리 객체의 좌표값
을 포함하는 디지털 트윈을 이용하는 협력 학습 방법.
9. The method of claim 8,
The location information is
Information on the separation distance and separation direction between the physical robot and the physical object or a coordinate value of the physical object
A collaborative learning method using a digital twin that includes
 제 8항에 있어서,
상기 특징 정보는
상기 물리 객체에 대한 센싱 데이터로부터 획득된 특징 정보인
디지털 트윈을 이용하는 협력 학습 방법.
9. The method of claim 8,
The characteristic information is
Characteristic information obtained from sensing data for the physical object
A collaborative learning method using digital twins.
 제 8항에 있어서,
상기 가상 로봇 트윈은
상기 위치 정보 및 특징 정보 중 적어도 하나를 이용하여, 상기 가상 객체 트윈에 대한 클래스를 인식하고, 상기 분류 모델에 대한 학습을 수행하는
디지털 트윈을 이용하는 협력 학습 방법.
9. The method of claim 8,
The virtual robot twin
Recognizing a class for the virtual object twin by using at least one of the location information and the feature information, and learning the classification model
A collaborative learning method using digital twins.
 삭제delete 제 7항에 있어서,
상기 가상 객체 트윈 및 가상 로봇 트윈은
상기 물리 객체 및 물리 로봇의 움직임과 동기화되어, 상기 가상 공간에서 움직이는
디지털 트윈을 이용하는 협력 학습 방법.
8. The method of claim 7,
The virtual object twin and the virtual robot twin are
Synchronized with the movement of the physical object and the physical robot, moving in the virtual space
A collaborative learning method using digital twins.
KR1020210177410A 2021-12-13 2021-12-13 Collaborative learning method using digital twin KR102420462B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210177410A KR102420462B1 (en) 2021-12-13 2021-12-13 Collaborative learning method using digital twin

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210177410A KR102420462B1 (en) 2021-12-13 2021-12-13 Collaborative learning method using digital twin

Publications (1)

Publication Number Publication Date
KR102420462B1 true KR102420462B1 (en) 2022-07-13

Family

ID=82401294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210177410A KR102420462B1 (en) 2021-12-13 2021-12-13 Collaborative learning method using digital twin

Country Status (1)

Country Link
KR (1) KR102420462B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340897A (en) * 2023-12-05 2024-01-05 山东建筑大学 Dynamic response prediction-oriented robot digital twin model modeling method and system
KR102659118B1 (en) * 2023-12-29 2024-04-19 한국전자기술연구원 Digital twin-based robot programming method using asset administration shell

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811074B1 (en) * 2016-06-21 2017-11-07 TruPhysics GmbH Optimization of robot control programs in physics-based simulated environment
KR20180023303A (en) * 2016-08-25 2018-03-07 엘지전자 주식회사 Moving robot and control method thereof
KR20210108044A (en) * 2020-02-25 2021-09-02 제주한라대학교산학협력단 Video analysis system for digital twin technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811074B1 (en) * 2016-06-21 2017-11-07 TruPhysics GmbH Optimization of robot control programs in physics-based simulated environment
KR20180023303A (en) * 2016-08-25 2018-03-07 엘지전자 주식회사 Moving robot and control method thereof
KR20210108044A (en) * 2020-02-25 2021-09-02 제주한라대학교산학협력단 Video analysis system for digital twin technology

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340897A (en) * 2023-12-05 2024-01-05 山东建筑大学 Dynamic response prediction-oriented robot digital twin model modeling method and system
CN117340897B (en) * 2023-12-05 2024-03-12 山东建筑大学 Dynamic response prediction-oriented robot digital twin model modeling method and system
KR102659118B1 (en) * 2023-12-29 2024-04-19 한국전자기술연구원 Digital twin-based robot programming method using asset administration shell

Similar Documents

Publication Publication Date Title
US10740654B2 (en) Failure detection for a neural network object tracker
KR102420462B1 (en) Collaborative learning method using digital twin
US11783568B2 (en) Object classification using extra-regional context
US10964033B2 (en) Decoupled motion models for object tracking
CN111754625A (en) Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
CN111507160B (en) Method and apparatus for integrating travel images acquired from vehicles performing cooperative driving
CN113892112A (en) Action classification using deep-nested clustering
JP2014137815A (en) System and method for correcting camera image with distortion
JP7031685B2 (en) Model learning device, model learning method and computer program
KR20230026130A (en) Single stage 3-Dimension multi-object detecting apparatus and method for autonomous driving
US11875680B2 (en) Systems and methods for augmenting perception data with supplemental information
KR102138681B1 (en) Apparatus and method for detecting object based on heterogeneous sensor
RU2767831C1 (en) Methods and electronic devices for detecting objects in the environment of an unmanned vehicle
US20210357763A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
JP7321983B2 (en) Information processing system, information processing method, program and vehicle control system
KR102405767B1 (en) Apparatus and method for tracking object based on semantic point cloud
Aditya et al. Collision Detection: An Improved Deep Learning Approach Using SENet and ResNext
JP2024019629A (en) Prediction device, prediction method, program and vehicle control system
KR102394024B1 (en) Method for semi-supervised learning for object detection on autonomous vehicle and apparatus for performing the method
KR20200049277A (en) Method and Apparatus for Real-time Target Recognition Type Tracking
EP4050510A1 (en) Object information calculation method and system
KR102431425B1 (en) Scene classification method for mobile robot and object classification method
US20240135705A1 (en) Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time
Gopalakrishnan Application of Neural Networks for Pedestrian Path Prediction in a Low-Cost Autonomous Vehicle
Mehrabi A probabilistic framework for dynamic object recognition in 3d environment with a novel continuous ground estimation method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant