KR100855657B1 - System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor - Google Patents

System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor Download PDF

Info

Publication number
KR100855657B1
KR100855657B1 KR1020060094607A KR20060094607A KR100855657B1 KR 100855657 B1 KR100855657 B1 KR 100855657B1 KR 1020060094607 A KR1020060094607 A KR 1020060094607A KR 20060094607 A KR20060094607 A KR 20060094607A KR 100855657 B1 KR100855657 B1 KR 100855657B1
Authority
KR
South Korea
Prior art keywords
zoom
mobile robot
image
camera
feature points
Prior art date
Application number
KR1020060094607A
Other languages
Korean (ko)
Other versions
KR20080029080A (en
Inventor
유제군
이응혁
신동범
심현민
장문석
권오상
심재홍
정대섭
길세기
Original Assignee
부천산업진흥재단
한국산업기술대학교산학협력단
유제군
이응혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부천산업진흥재단, 한국산업기술대학교산학협력단, 유제군, 이응혁 filed Critical 부천산업진흥재단
Priority to KR1020060094607A priority Critical patent/KR100855657B1/en
Publication of KR20080029080A publication Critical patent/KR20080029080A/en
Application granted granted Critical
Publication of KR100855657B1 publication Critical patent/KR100855657B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템 및 방법에 관한 것으로서, 이동로봇의 위치 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상 및 줌인 영상을 획득하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하며, 상기 매칭된 특징점들을 3차원으로 재구성함으로써 이동로봇의 상대위치를 추정하여 특징점 지도(Feature Map)를 구축하고 추후 로봇이 자기 위치를 추정하는 기술이다.The present invention relates to a system and method for estimating a magnetic position of a mobile robot using a monocular zoom camera, and to obtain a zoom-out (original) image and a zoom-in image obtained by the monocular zoom camera according to the position movement of the mobile robot, respectively. Determining scale invariant feature points and performing matching between the feature points, constructing a feature map by estimating the relative position of the mobile robot by reconstructing the matched feature points in three dimensions, and then estimating its own position. It is a technique to do.

이동로봇, 자기위치 추정, 특징점, 지도작성, 맵 데이터베이스 Mobile Robot, Self Location Estimation, Feature Point, Mapping, Map Database

Description

단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템 및 방법{SYSTEM FOR ESTIMATING SELF-POSITION OF THE MOBILE ROBOT USING MONOCULAR ZOOM-CAMARA AND METHOD THEREFOR}System and method for magnetic position estimation of mobile robot using monocular zoom camera {SYSTEM FOR ESTIMATING SELF-POSITION OF THE MOBILE ROBOT USING MONOCULAR ZOOM-CAMARA AND METHOD THEREFOR}

도 1은 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템의 전체 구성도.1 is an overall configuration diagram of a magnetic position estimation system of a mobile robot using a monocular zoom camera according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법의 흐름을 나타낸 흐름도.2 is a flowchart illustrating a method of estimating a magnetic position of a mobile robot using a monocular zoom camera according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법의 줌인/줌아웃 영상에서 각 특짐점들의 매칭을 나타낸 영상 예시도.Figure 3 is an exemplary view showing the matching of the feature points in the zoom-in / zoom-out image of the method for estimating the magnetic position of the mobile robot using a monocular zoom camera according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 이동로봇의 자기위치 추정 방법에서 맵구축과정의 상세단계를 나타낸 흐름도.Figure 4 is a flow chart showing the detailed steps of the map construction process in the magnetic position estimation method of the mobile robot according to an embodiment of the present invention.

도 5는 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템에 사용된 카메라 모델의 예시도.5 is an exemplary diagram of a camera model used in a magnetic position estimation system of a mobile robot using a monocular zoom camera according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 이동로봇의 자기위치 추정 방법에서 절대위치검출과정의 상세단계를 나타낸 흐름도.6 is a flow chart showing the detailed steps of the absolute position detection process in the magnetic position estimation method of the mobile robot according to an embodiment of the present invention.

본 발명은 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법에 관한 것으로서, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하며, 상기 매칭된 특징점들을 3차원으로 재구성함으로써 로봇의 상대위치를 추정하여 특징점 지도(Feature Map)를 구축하고 추후 로봇이 자기 위치를 추정하는 기술이다.The present invention relates to an apparatus and method for estimating a magnetic position of a mobile robot using a monocular zoom camera, wherein each image is obtained by using a zoom-out (original) image and a zoom-in image obtained by the monocular zoom camera according to the movement of the robot. It is a technology that detects scale invariant feature points, performs matching between feature points, constructs a feature map by estimating the relative position of the robot by reconstructing the matched feature points in three dimensions, and then estimates the position of the robot later. .

본 발명과 관련한 종래 기술로는 로봇에 부착된 스테레오 카메라를 이용하여 로봇의 두 장의 정면영상에 대하여 특징점을 추출하거나 거리정보를 획득하는 방법이 제안되었는데, 스테레오 카메라의 파라미터 설정 문제 등에 의하여 거리정보의 오차가 누적되어 로봇 시스템에 적용시 자기위치 추정에 오차의 범위가 늘어나는 문제점이 있으며, 상기 스테레오 카메라의 경우, 영상의 동기화를 맞추거나 영상 획득을 위하여 고가의 영상획득 장치가 부가적으로 필요한 문제점이 있고, 두 개의 카메라 렌즈 중심점을 맞추기 위한 설정도 까다로운 문제점이 있다.In the prior art related to the present invention, a method of extracting feature points or obtaining distance information for two front images of a robot using a stereo camera attached to a robot has been proposed. The error accumulates and the range of the error increases in magnetic position estimation when applied to a robotic system. In the case of the stereo camera, an expensive image acquisition device additionally needs to be added to synchronize images or acquire images. In addition, the setting for matching two camera lens center points has a difficult problem.

또한, 최근에는 단안 카메라를 이용하여, 로봇의 이동에 따른 거리차에 의한 두 개의 영상으로 특징점의 매칭을 통해 상대위치를 추정하는 방법도 제안되었으나, 이 경우는 두 개의 영상을 획득하기 위해 로봇이 이동하면서 중첩된 다른 영상을 획득해야 하기 때문에 획득 시간이 지연되며, 이에 따라 로봇 움직임에 따른 자세의 뒤틀림이나 지형의 불균형에 의해 영상 획득시 많은 오차요인이 발생하게 되 는 문제점이 있다.In addition, recently, a method of estimating a relative position by matching feature points with two images based on a distance difference according to the movement of the robot using a monocular camera has been proposed, but in this case, the robot needs to obtain two images. Acquisition time is delayed because other images are superimposed while moving, and accordingly, there is a problem that many error factors occur when acquiring images due to posture distortion or terrain imbalance due to robot movement.

상술한 문제점을 해결하기 위해 창안된 본 발명의 목적은, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하고, 상기 매칭된 특징점들의 실세계좌표점을 도출하여 3차원으로 재구성함으로써 이동로봇과 상기 특징점 사이의 실제 거리를 구할 수 있는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.An object of the present invention, which was devised to solve the above-described problem, is to detect a scale invariant feature point for each image by using a zoom-out (original) image and a zoom-in image obtained by a monocular zoom camera according to the movement of a robot. An apparatus for estimating a magnetic position of a mobile robot using a monocular zoom camera capable of obtaining a real distance between the mobile robot and the feature point by performing matching between feature points and deriving the real world coordinate points of the matched feature points in three dimensions. To provide a way.

본 발명의 다른 목적은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특정배율을 도출함으로써, 상기 두 영상 획득 시 이동로봇의 움직임에 따라 발생할 수 있는 오차요인에 영향을 받지 않게 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.Another object of the present invention, by deriving a specific magnification for the zoom-out (original) image and the zoom-in image obtained by the monocular zoom camera, it is not affected by the error factors that may occur due to the movement of the mobile robot when the two images are acquired. The present invention provides an apparatus and method for estimating a magnetic position of a mobile robot using a monocular zoom camera.

본 발명의 또다른 목적은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특징점들을 이용하여 특징점 지도(Feature Map)를 구축하고, 상기 특징점들에 대한 회전 및 이동 파라미터를 이용하여 로봇이 자기 절대위치를 추정하게 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.It is still another object of the present invention to construct a feature map using feature points for zoom-out (original) and zoom-in images acquired through a monocular zoom camera, and use rotation and movement parameters for the feature points. The present invention provides an apparatus and method for estimating a magnetic position of a mobile robot using a monocular zoom camera that allows the robot to estimate its absolute position.

본 발명에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치의 구성은,이동로봇 작업환경에 대한 영상 정보를 획득하는 카메라장치와, 카메라장치 를 통해 획득된 영상 정보를 이용하여 특징점들을 검출하며 특징점들 간의 거리 정보를 이용하여 상기 이동로봇의 위치를 도출하는 주처리장치, 및 시리얼통신장치 를 포함한다.According to an aspect of the present invention, there is provided an apparatus for estimating a magnetic position of a mobile robot using a monocular zoom camera, wherein the camera apparatus obtains image information about a mobile robot working environment, and detects feature points by using image information acquired through the camera apparatus. And a main processing device for deriving the position of the mobile robot using distance information between feature points, and a serial communication device.

첨부한 도 1을 참조하여 상술한 구성요소를 상세하게 설명하면 다음과 같다.Referring to the above-described components in detail with reference to Figure 1 as follows.

상기 카메라장치(또는 단안 줌 카메라,100)는, 상기 이동로봇의 작업영역에 대한 영상들을 획득하는 기능을 수행하고, 상기 시리얼통신장치(200)는, 상기 카메라장치(100)와 주처리장치(300) 간의 정보 전송 통로로서의 기능을 수행하며, 본 발명의 다른 실시예로, 상기 시리얼통신장치는 USB 인터페이스장치를 사용할 수 있다.The camera device (or monocular zoom camera 100) performs a function of acquiring images of the work area of the mobile robot, and the serial communication device 200 includes the camera device 100 and the main processing device ( It performs a function as an information transmission path between 300, in another embodiment of the present invention, the serial communication device may use a USB interface device.

상기 주처리장치(300)는, 상기 카메라장치로부터 초기에 수신하는 영상들을 참조영상으로 저장하고, 상기 참조영상의 특징점, 매칭점 및 상기 이동로봇의 상대위치와 자세 정보를 도출하여 맵 데이터베이스를 구축하고, 상기 이동로봇 주행 중 상기 카메라장치로부터 수신하는 영상을 상기 구축된 맵 데이터베이스 내의 참조 영상과 비교하여 상기 주행 중인 이동로봇의 상대위치, 절대위치 및 자세 정보를 도출하는 기능을 수행한다.The main processing apparatus 300 stores the images initially received from the camera apparatus as a reference image, and constructs a map database by deriving feature points, matching points, and relative position and attitude information of the mobile robot. And comparing the image received from the camera device with the reference image in the constructed map database while driving the mobile robot to derive the relative position, the absolute position, and the attitude information of the mobile robot.

부연하여, 주처리장치(300)는 이동로봇 주행에 따른 위치 및 자세를 도출하기 위한 초기 셋팅 작업으로 맵 데이터베이스를 구축하는데, 이동로봇을 주행시키면서 상기 카메라장치를 통해 획득되는 줌아웃/줌인 영상들을 참조영상 데이터로 저장하고, 각 영상들의 특징점과 상기 특징점의 상대좌표 데이터 및 각 영상들이 획득된 시점의 이동로봇 자세 정보를 저장하여 이동로봇의 작업영역에 대한 맵 데 이터베이스를 구축한다.In other words, the main processing unit 300 constructs a map database as an initial setting operation for deriving a position and attitude according to the movement of the mobile robot. The image is zoomed out / zoomed through the camera device while driving the mobile robot. It stores the image data, the feature point of each image, the relative coordinate data of the feature point and the mobile robot posture information of the time point at which each image is obtained to build a map database for the work area of the mobile robot.

상술한 기능을 수행하기 위한 주처리장치(300)는, 카메라장치(100)로부터 줌아웃/줌인 영상을 수신하는 영상수신부(302)와, 상기 수신된 영상들로부터 카메라장치의 줌인 특정배율을 검출하는 특정배율검출부(304)와, 카메라장치로부터 수신한 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 내부파라미터산출부(306)와, 가우시안 차분 연산자를 이용하여 상기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합 Fi과 Fi +1을 생성하는 특징점검출부(308)와, 특징점에 대하여 실세계 좌표계와 카메라 좌표계의 회전 및 이동변환을 나타내는 외부 파라미터를 산출하는 외부파라미터산출부(310)와, 상기 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 상기 특징점의 투영좌표와 실세계좌표를 도출하고, 상기 도출된 실세계좌표를 이용하여 상기 특징점의 상대좌표를 계산하는 특징점상대좌표검출부(312)와, 상기 산출된 상대좌표를 이용하여 검출된 물체와 이동로봇과의 거리를 산출하는 거리산출부(314)와, 상기 구성들로부터 출력되는 데이터들과 상기 이동로봇의 위치 및 자세에 대한 데이터를 저장하는 맵 데이터베이스(316)와, 상기 맵 데이터베이스에 저장된 데이터들을 이용하여 상기 이동로봇의 절대 위치를 도출하는 절대위치도출부(318), 및 상기 이동로봇과 카메라장치 및 상기 각 구성들을 제어하는 제어부(320)를 포함한다.The main processing apparatus 300 for performing the above-described function includes an image receiver 302 for receiving a zoom-out / zoom-in image from the camera apparatus 100 and a specific magnification of the camera apparatus from the received images. A specific magnification detector 304, an internal parameter calculator 306 for calculating internal parameters for camera calibration using a zoom-out / zoom-in image received from a camera apparatus, and a zoom-out / zoom-in image using a Gaussian difference operator A feature point detector 308 that detects the scale invariant feature points of the frame and generates a feature point set F i and F i +1 , and an external parameter calculator that calculates an external parameter representing the rotation and translation of the real world coordinate and the camera coordinate system. And the feature point from the four linear system of equations generated using the calculated external and internal parameters. A feature point relative coordinate detector 312 which derives coordinates and real world coordinates, calculates relative coordinates of the feature points using the derived real world coordinates, and the distance between the detected object and the mobile robot using the calculated relative coordinates. Using a distance calculator 314 for calculating a value, a map database 316 for storing data outputted from the components, and data on the position and attitude of the mobile robot, and using the data stored in the map database. An absolute position deriving unit 318 for deriving the absolute position of the mobile robot, and the control unit 320 for controlling the mobile robot and the camera device and the respective components.

여기서, 제어부(320)의 기능을 더욱 상세하게 설명하면, 영상수신부(302)로 수신되는 이동로봇 작업영역에 대한 초기 줌아웃/줌인 영상을 특정배율검출부(304)로 전달하여 특정배율을 검출하고, 특징점검출부(308)로 전달하여 상기 각 영상에서 스케일 불변 특징점들을 검출하고, 상기 두 영상에서 매칭되는 특징점에 대하여 상기 특징점상대좌표검출부(312)를 이용하여 이동로봇의 위치를 기준으로 한 상대좌표를 검출하며, 상기 검출된 특징점들 및 특징점들의 상대좌표 데이터와, 상기 이동로봇의 작업영역 내에서 상기 초기 줌아웃/줌인 영상이 획득된 위치 및 영상 획득시의 자세에 대한 데이터를 상기 맵 데이터베이스(316)에 저장하는 기능을 포함하여 주처리장치(300)의 각 구성을 제어하는 기능을 수행한다.Here, when the function of the control unit 320 is described in more detail, the initial zoom out / zoom-in image for the mobile robot work area received by the image receiver 302 is transferred to the specific magnification detector 304 to detect a specific magnification. The invariant feature points are detected from each image by passing to the feature point detector 308, and the relative coordinates based on the position of the mobile robot are determined using the feature point relative coordinate detector 312 with respect to the matching feature points in the two images. The map database 316 detects the detected feature points and the relative coordinate data of the feature points, and the position at which the initial zoom-out / zoom-in image is acquired and the posture at the time of image acquisition in the working area of the mobile robot. It performs a function of controlling each configuration of the main processing device 300, including the function to store in.

상술한 구성요소로 이루어지는 본 발명에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법은, 첨부한 도 2에 나타낸 바와 같이, 주처리장치가 상기 이동로봇 작업공간에 대한 줌아웃/줌인 영상들을 획득하고, 상기 각 영상의 특징점들을 검출 및 상기 검출된 각 특징점에 대하여 상기 이동로봇 위치를 기준으로 한 상대좌표를 검출하여 맵 데이터베이스를 구축하는 맵구축과정(A)과, 주처리장치가 상기 이동로봇 주행 중 획득되는 영상의 특징점을 검출하여 상기 맵 데이터베이스 내의 특징점들과 매칭되는 특징점에 대하여 회전 및 이동 파라미터를 산출하고, 상기 회전 및 이동 파라미터를 이용한 로봇의 절대위치를 검출하는 절대위치검출과정(B)으로 이루어진다.In the method of estimating the magnetic position of the mobile robot using the monocular zoom camera according to the present invention, which is composed of the above-described elements, as shown in FIG. 2, the main processing apparatus acquires images that are zoomed out / zoomed into the mobile robot workspace. And a map construction process (A) for constructing a map database by detecting feature points of each image and detecting relative coordinates based on the position of the mobile robot with respect to each of the detected feature points. Absolute position detection process for detecting a feature point of an image acquired while driving, calculating a rotation and movement parameter for a feature point matching the feature points in the map database, and detecting the absolute position of the robot using the rotation and movement parameter (B )

도 3은 본 발명의 일실시예에 따른 줌아웃/줌인 영상의 특징점 매칭을 나타내는 실사도로서, 도 3a는 줌아웃(원본) 영상, 도 3b는 상기 줌아웃 영상의 특징점, 도 3c는 줌인 영상, 도 3d는 상기 줌인 영상의 특징점과 상기 도 3b의 줌아웃 영상 특징점의 매칭을 나타낸 것이다.3 is a realistic view showing feature point matching of a zoom-out / zoom-in image according to an embodiment of the present invention, FIG. 3A is a zoom-out (original) image, FIG. 3B is a feature point of the zoom-out image, FIG. 3C is a zoom-in image, and FIG. 3D Denotes matching between the feature point of the zoomed-in image and the zoom-out image feature point of FIG. 3B.

맵구축과정(A)을 도 4를 참조하여 단계별로 설명하면 다음과 같다(제 S2 단계 내지 제 S14 단계).The map building process A will be described step by step with reference to FIG. 4 (steps S2 to S14).

주처리장치가, 카메라장치를 이용하여 초기 줌아웃/줌인 영상을 획득하고 카메라장치의 줌인 특정배율을 검출한다(S2).The main processing apparatus acquires the initial zoom out / zoom in image using the camera apparatus and detects the specific magnification of the zoom of the camera apparatus (S2).

제 S2 단계를 상세하게 설명하면, 주처리장치가 카메라장치를 이용하여 이동로봇의 위치A에서 초기 줌아웃상태의 영상을 획득하고, 이동로봇을 특정 이동거리만큼 이동시켜 위치B에서 줌아웃상태의 영상을 획득한 후, 이동로봇을 다시 위치A로 이동시켜 상기 위치B에서 획득한 영상과 동일한 영상인 영상을 획득하고, 영상획득시의 줌인 배율을 특정배율 값으로 결정한다. 상기 특정배율에 의하여 이동로봇이 주행 중에 일정한 거리차를 갖는 두 영상을 계속 획득할 수 있게 된다. 부연하면, 제S2 단계에서 획득된 영상들은 맵 데이터베이스에 참조영상으로 저장되는 것은 아니며, 상기 제 2단계의 영상을 이용하여 일정한 거리를 갖게 하기 위한 특정 배율을 도출하기 위한 것이다.Referring to step S2 in detail, the main processing apparatus acquires the image of the initial zoom-out state at the position A of the mobile robot using the camera apparatus, and moves the mobile robot by a specific moving distance to obtain the image of the zoom-out state at the position B. After the acquisition, the mobile robot is moved to position A again to obtain an image that is the same image as that obtained at position B, and the zoom-in ratio at the time of image acquisition is determined as a specific magnification value. By the specific magnification, the mobile robot can continuously acquire two images having a certain distance difference while driving. In other words, the images acquired in step S2 are not stored as a reference image in the map database, but are for deriving a specific magnification to have a certain distance by using the image of the second step.

주처리장치가, 카메라장치를 이용하여 획득한 초기 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출한다(S4).The main processing apparatus calculates an internal parameter for calibrating the camera using the initial zoom-out / zoom-in image acquired using the camera apparatus (S4).

제 S4 단계를 상세하게 설명하면, 주처리장치가 초기 줌아웃상태의 카메라장치와 특정배율로 줌인 된 카메라장치에 대하여 각각 보정을 수행하는데, 여기서, 카메라장치의 보정 과정은 컴퓨터 영상의 점과 실세계 점의 상관관계를 결정하는 과정으로, 정확한 보정이 이루어져야 컴퓨터 영상좌표로부터 정확한 3차원 상의 실 제 위치를 구할 수 있으며, 또한 역으로 3차원 상의 실제 위치로부터 2차원의 컴퓨터 영상좌표를 정확히 추정할 수 있게 된다.Referring to step S4 in detail, the main processing unit performs corrections for the camera device in the initial zoom-out state and the camera device zoomed in at a specific magnification, respectively, wherein the correction process of the camera device is performed by a computer image point and a real world point. In order to determine the correlation, the correct correction must be made to obtain the exact position of the three-dimensional image from the computer image coordinates, and conversely, to accurately estimate the two-dimensional computer image coordinates from the actual position of the three-dimensional image. do.

주처리장치가, 카메라장치의 보정과정 수행을 위하여 우선, 카메라장치의 렌즈가 이상적인 형태라는 가정 하에 카메라 모델을 도 5에 나타낸 바와 같이 설정한다.In order to perform the calibration process of the camera apparatus, the main processing apparatus first sets a camera model as shown in FIG. 5 on the assumption that the lens of the camera apparatus is an ideal shape.

도 5는 핀홀 카메라 모델에서 물체의 실세계 좌표와 렌즈에 의한 영상좌표(3차원에서 2차원으로 투영된 좌표를 말함)의 변환과정을 나타낸 것으로, 도면에 표시된 점들을 설명하면 다음과 같다.FIG. 5 illustrates a process of converting real world coordinates of an object and image coordinates (referred to coordinates projected from two dimensions to two dimensions) by a lens in a pinhole camera model.

- M(X, Y, Z) : 3차원 실세계 좌표상 물체 위치-M (X, Y, Z): object position in 3D real world coordinates

- m(u, v) : 영상 좌표상의 물체 위치m ( u, v ): object position in image coordinates

- C : 카메라 좌표계의 광학적 중심C: optical center of camera coordinate system

- (x, y) : p중심을 가진 영상 좌표계-(x, y): image coordinate system with p center

- C와 p사이의 거리 : 초점 거리 f-Distance between C and p: focal length f

도 5의 m과 M을 벡터로 표시하면,

Figure 112006070759626-pat00001
이며, 각 벡터에 스케일벡터를 추가하여 표시하면,
Figure 112006070759626-pat00002
이 된다. 실세계 좌표의 M을 영상좌표의 m으로 투영한 관계를 식으로 나타내면 다음의 [수학식1]과 같다.If m and M in Fig. 5 is represented as a vector,
Figure 112006070759626-pat00001
If we add scale vector to each vector,
Figure 112006070759626-pat00002
Becomes The relation of projecting M of real world coordinates to m of image coordinates is expressed by Equation 1 below.

[수학식1][Equation 1]

Figure 112006070759626-pat00003
Figure 112006070759626-pat00003

R, t : ‘외부 파라미터‘, 실세계 좌표계와 카메라 좌표계 사이의 회전 및 변환을 의미R, t: ‘external parameter’, means rotation and transformation between real world and camera coordinate system

A : 카메라의 ‘내부 파라미터 행렬’A: Camera's 'internal parameter matrix'

u0, v0 : ‘주점(principal point)‘, 주평면(principal plane)이 광축에 교차하는 점u 0 , v 0 : 'Principal point', the point where the principal plane intersects the optical axis

α, β : 영상 좌표계상의 스케일 값들을 의미α, β: mean scale values in the image coordinate system

c : 영상축(image axis)간의 뒤틀림 값을 의미c: The distortion value between the image axes

주처리장치가 [수학식1]로부터 내부 파라미터 행렬 A를 산출하는 과정을 설명하면 다음과 같다.The process of calculating the internal parameter matrix A from the Equation 1 is described as follows.

[수학식1]에서

Figure 112006070759626-pat00004
의 스케일 값 T를 단위항인 1로 하고, Z를 0으로 가정하며, 회전행렬 R의 i번째 열벡터를 ri로 설정하여, [수학식1]로부터 다음의 [수학식2]를 도출한다.In [Equation 1]
Figure 112006070759626-pat00004
The scale value T of is assumed to be 1 as a unit term, Z is assumed to be 0, and the i th column vector of the rotation matrix R is set to r i to derive the following [Equation 2] from [Equation 1]: .

[수학식2][Equation 2]

Figure 112006070759626-pat00005
Figure 112006070759626-pat00005

[수학식2]를 [수학식1]과 같은 형태로 정리하면 다음의 [수학식3]과 같이 되 고,When [Equation 2] is arranged in the form of [Equation 1], it becomes as [Equation 3] below.

[수학식3][Equation 3]

Figure 112006070759626-pat00006
Figure 112006070759626-pat00006

H의 i번째 열벡터를 hi라고 하면, [수학식3]은 다음의 [수학식4]가 된다.If the i-th column vector of H is referred to as h i , Equation 3 becomes Equation 4 below.

[수학식4][Equation 4]

Figure 112006070759626-pat00007
Figure 112006070759626-pat00007

[수학식4]에서 λ는 임의의 스칼라 값이며, r1과 r2는 직교성을 만족하므로 다음의 [수학식5], [수학식6]을 만족한다.Λ in [Equation 4] is an arbitrary scalar value, and since r 1 and r 2 satisfy orthogonality, the following Equations 5 and 6 are satisfied.

[수학식5][Equation 5]

Figure 112006070759626-pat00008
Figure 112006070759626-pat00008

[수학식6][Equation 6]

Figure 112006070759626-pat00009
Figure 112006070759626-pat00009

여기서,

Figure 112006070759626-pat00010
이라 하면, B는 다음의 [수학식7]과 같다.here,
Figure 112006070759626-pat00010
In this case, B is represented by Equation 7 below.

[수학식7][Equation 7]

Figure 112006070759626-pat00011
Figure 112006070759626-pat00011

[수학식7]에서 B는 대칭이므로 다음의 [수학식8]과 같이 b로 정의할 수 있다.In Equation 7, since B is symmetric, it can be defined as b as shown in Equation 8 below.

[수학식8][Equation 8]

Figure 112006070759626-pat00012
Figure 112006070759626-pat00012

H의 i번째 열벡터를

Figure 112006070759626-pat00013
라 하면, 다음과 같은 [수학식9], [수학식10]가 도출되며,I-th column vector of H
Figure 112006070759626-pat00013
Then, the following [Equation 9], [Equation 10] is derived,

[수학식9][Equation 9]

Figure 112006070759626-pat00014
Figure 112006070759626-pat00014

[수학식10][Equation 10]

Figure 112006070759626-pat00015
Figure 112006070759626-pat00015

[수학식9], [수학식10]은 다음의 [수학식11]로 정리된다.[Equation 9], [Equation 10] is summarized as the following [Equation 11].

[수학식11][Equation 11]

Figure 112006070759626-pat00016
Figure 112006070759626-pat00016

카메라 보정을 위해 n개의 영상이 사용되므로, [수학식11]은 다음의 [수학식12]가 된다.Since n images are used for camera correction, Equation 11 becomes Equation 12 below.

[수학식12][Equation 12]

Figure 112006070759626-pat00017
Figure 112006070759626-pat00017

본 발명의 실시예로, [수학식12]의 V는 2n×6 행렬이며, b값이 추정되면 내부 파라미터 행렬 A를 구할 수 있다.In an embodiment of the present invention, V in Equation 12 is a 2n × 6 matrix, and when the b value is estimated, the internal parameter matrix A can be obtained.

주처리장치가 행렬 B에 대하여

Figure 112006070759626-pat00018
를 만족할 때까지 추정하며, B값을 정한 후에는 상기 [수학식7]을 이용하여 다음의 [수학식13]의 내부 파라미터 (u0, v0), (α, β), c를 산출한다.The main processing unit for matrix B
Figure 112006070759626-pat00018
Equation (7) is calculated until B is satisfied, and after determining the B value, the internal parameters (u 0 , v 0 ), (α, β), and c of Equation 13 are calculated using Equation 7 above. .

[수학식13][Equation 13]

Figure 112006070759626-pat00019
Figure 112006070759626-pat00019

[수학식13]에서 산출된 값들은 최적의 해가 제공되지 않으므로, 주처리장치 가 최대우도(maximum likelihood) 추정법을 이용하여 값들을 정교화한다. 여기서, m개의 점이 있는 n개의 영상에서 최대우도 추정은 다음의 [수학식14]를 최소화함으로써 도출하는 것이다.Since the values calculated in Equation 13 do not provide an optimal solution, the main processor refines the values using the maximum likelihood estimation method. Here, the maximum likelihood estimation in n images with m points is derived by minimizing Equation 14 below.

[수학식14][Equation 14]

Figure 112006070759626-pat00020
Figure 112006070759626-pat00020

[수학식14]에서

Figure 112006070759626-pat00021
는 영상 i에 대한 점 Mj의 사영(projection)이다.In [Equation 14]
Figure 112006070759626-pat00021
Is the projection of point M j for image i.

제 S4 단계에서 내부 파라미터를 산출 후, 주처리장치가 가우시안 차분 방법을 이용하여 초기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출함으로써 특징점집합 Fi과 Fi +1을 생성한다(S6).After calculating the internal parameters in step S4, the main processing apparatus generates the feature point set F i and F i +1 by detecting scale invariant feature points of the image which is the initial zoom out / zoom using the Gaussian difference method (S6).

제 S6 단계를 상세하게 설명하면 다음과 같다.The sixth step is described in detail as follows.

본 발명은 부동한 거리 및 시점에서 특징점(랜드마크)을 검출하기 때문에 스케일 공간(scale space)에서 불변하는 특징을 갖도록 하기 위하여 가우시안 필터를 사용하였으며, 한 영상의 스케일 스페이스

Figure 112006070759626-pat00022
는 다음의 [수학식15]와 같이 입력 영상
Figure 112006070759626-pat00023
와 가우시안 함수
Figure 112006070759626-pat00024
의 컨볼루션으로 표시된다.Since the present invention detects feature points (landmarks) at different distances and viewpoints, a Gaussian filter is used to have a feature that is invariant in scale space.
Figure 112006070759626-pat00022
Is the input image as shown in [Equation 15] below.
Figure 112006070759626-pat00023
And Gaussian functions
Figure 112006070759626-pat00024
It is represented by the convolution of.

[수학식15][Equation 15]

Figure 112006070759626-pat00025
Figure 112006070759626-pat00025

여기서, 가우시안 차분 방법은 영상과 컨볼루션된 가우시안 함수들의 차분에서의 극점들을 이용하여 특징점들의 안정적인 위치를 효율적으로 검출하는 방법으로, 다음의 [수학식16]을 이용하여 검출한다.Here, the Gaussian difference method is a method of efficiently detecting stable positions of feature points using poles in difference between Gaussian functions convolved with an image, and is detected using Equation 16 below.

[수학식16][Equation 16]

Figure 112006070759626-pat00026
Figure 112006070759626-pat00026

상수 k는 일반적으로 21/2의 승수를 사용하며,

Figure 112006070759626-pat00027
는 [수학식17]로 정의된다.The constant k usually uses a multiplier of 2 1/2 ,
Figure 112006070759626-pat00027
Is defined by [Equation 17].

[수학식17][Equation 17]

Figure 112006070759626-pat00028
Figure 112006070759626-pat00028

본 발명에서, 주처리장치가 상기 생성된 가우시안 차분 영상으로부터 국부적인 극대, 극소점의 위치를 스케일 불변 특징점들의 후보로 선택하는데, 국부적인 극대, 극소점은 모든 레벨의 가우시안 차분 영상의 각 화소를 주변 8개 화소, 인접한 상위, 하위 레벨에서 대응하는 9개 화소, 총 26개 화소와 비교하여 판단한다.In the present invention, the main processing apparatus selects local local and local points from the generated Gaussian difference image as candidates of scale invariant feature points, and local local and local points each pixel of the Gaussian difference image of all levels. Determination is made by comparing with eight pixels in the vicinity, nine pixels corresponding to the adjacent upper and lower levels, and a total of 26 pixels.

주처리장치가, 가우시안 차분 영상에서 찾아진 후보점들(candidate points)의 조명에 대한 안정도 보정을 위해 각 특징점 위치에서 반경이 9픽셀인 국부 영상의 영상(Lx ,y)에 대하여, 다음의 [수학식18] 및 [수학식19]를 이용하여 크기(m)와 방위(θ)를 산출한다.For the image processing of the local image (L x , y ) having a radius of 9 pixels at each feature point position, the main processor can correct the illumination of the candidate points found in the Gaussian difference image. Using the equations (18) and (19), the magnitude (m) and azimuth (θ) are calculated.

[수학식18]Equation 18

Figure 112006070759626-pat00029
Figure 112006070759626-pat00029

[수학식19][Equation 19]

Figure 112006070759626-pat00030
Figure 112006070759626-pat00030

주처리장치가, 스케일 불변 특징점 검출 방법에 의해 검출된 특징점의 주변 영역에 대하여, [수학식19]에 따른 방위각 산출 방법으로 특징점의 기준 방위를 산출하고, 주변 영역 픽셀들의 방위에서 상기 산출된 기준 방위를 감산하여 새로운 방위를 산출하여, 산출된 새로운 방위를 영상의 회전 변환에 불변인 기준 방위(canonical orientation) 값으로 설정한다. 회전 변화에 불변인 기준 방위를 8개의 각도로 양자화하여 방위히스토그램을 만들어 특징점에 대한 특징벡터를 생성하며, 본 발명의 실시예로, 4×4 영역에 대해 8개의 각도로 양자화된 히스토그램을 사용하였으므로 각각의 특징점은 4×4×8=128차원의 특징 벡터를 생성하고, 스케일 불변 특징점의 기술자는 생성된 128개의 특징벡터와 원 영상에서의 좌표, 스케일 및 기준방위로 구성한다.The main processing unit calculates a reference orientation of the feature point with respect to the peripheral region of the feature point detected by the scale invariant feature point detection method by the azimuth calculation method according to Equation 19, and calculates the reference orientation calculated from the orientation of the pixels of the peripheral region. The new orientation is calculated by subtracting the orientation, and the calculated new orientation is set to a canonical orientation value that is invariant to the rotational transformation of the image. Azimuth histogram is generated by quantizing the reference orientation invariant to the rotation change to eight angles to generate a feature vector for the feature point.In the embodiment of the present invention, since the histogram quantized at eight angles for the 4x4 region is used. Each feature point generates a feature vector of 4 × 4 × 8 = 128 dimensions, and the descriptor of the scale invariant feature points consists of the generated 128 feature vectors and coordinates, scales, and reference directions in the original image.

주처리장치가, 상기 제 S6 단계에서 산출한 내부 파라미터를 [수학식1]에 적용하여 상기 특징점의 회전 및 변환에 대한 외부 파라미터를 산출하고, 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 실세계의 투영좌표를 도출한다(S8).The main processor applies the internal parameters calculated in step S6 to [Equation 1] to calculate external parameters for the rotation and transformation of the feature point, and generates the generated 4 parameters using the calculated external and internal parameters. Projection coordinates of the real world are derived from the linear system of equations (S8).

제 S8 단계를 상세하게 설명하면 다음과 같다.A detailed description of the step S8 is as follows.

주처리장치가 실세계 좌표의 M을 영상좌표의 m으로 투영한 관계에 대한 상기 [수학식1]에 상기 과정에서 산출한 내부 파라미터를 적용하여 외부 파라미터를 산출한다. 본 발명에서 계산과 설치의 편리성을 위하여 한대의 카메라를 사용하였으므로 R과 t는 상수 값을 가지게 되며, 본 발명의 실시예에 따른 외부 파라미터는 다음의 [수학식20]으로 정의한다. [수학식20]에서 ‘d’는 특정배율만큼 줌인을 하였을 때의 거리상수이며, R과 t는 카메라의 외부파라미터로서 실세계 좌표계와 카메라 좌표계 사이의 회전 및 이동변환을 나타낸다.The main processor calculates an external parameter by applying the internal parameter calculated in the above process to Equation 1 for the relationship of projecting M of real world coordinates to m of image coordinates. Since one camera is used for the convenience of calculation and installation in the present invention, R and t have constant values, and external parameters according to the embodiment of the present invention are defined by Equation 20 below. In Equation 20, 'd' is a distance constant when zoomed in by a specific magnification, and R and t are external parameters of the camera and represent rotation and translation between the real world coordinate system and the camera coordinate system.

[수학식20][Equation 20]

Figure 112006070759626-pat00031
Figure 112006070759626-pat00031

주처리장치가, 상기 과정에서 생성된 특징점집합 Fi, Fi +1의 특징점간의 매칭을 통하여 실세계의 동일한 점 M에 대한 외부 파라미터가 다른 두 개의 영상좌표

Figure 112006070759626-pat00032
Figure 112006070759626-pat00033
을 생성하고, 생성된 두 영상좌표를 [수학식20]에 대입하여 [수학식21]과 같은 4개의 1차 선형연립방정식을 도출한다.Two image coordinates with different external parameters for the same point M in the real world through matching between the feature points of the feature set F i and F i +1
Figure 112006070759626-pat00032
and
Figure 112006070759626-pat00033
Then, four linear linear equations such as Equation 21 are derived by substituting the two image coordinates into Equation 20.

[수학식21][Equation 21]

Figure 112006070759626-pat00034
Figure 112006070759626-pat00034

(A1 : 카메라 보정에 의해 산출된 카메라의 줌아웃 상태의 내부 파라미터)(A 1 : Internal parameters of the camera's zoom out state calculated by camera calibration)

(A2 : 카메라 보정에 의해 산출된 카메라의 줌인 상태의 내부 파라미터)(A 2 : internal parameter of the zoom-in state of the camera calculated by camera calibration)

주처리장치가, 특이값 분해 연산 방법(SVD)을 이용하여 [수학식21]로부터 4개의 미지수인 실세계의 투영좌표(X,Y,Z,T)를 도출하고, 카메라 중심을 원점으로 하는 실세계 좌표M(U, V, W)를 U=X/T, V=Y/T, W=W/T의 관계식에 의해 도출한다. 본 발명의 실시예로, 'T=1'이다.The main processing unit derives the projection coordinates (X, Y, Z, T) of the four unknowns from the real world using the singular value decomposition calculation method (SVD), and uses the camera center as the origin. The coordinates M (U, V, W) are derived by the relational expression of U = X / T, V = Y / T, and W = W / T. In an embodiment of the invention, 'T = 1'.

주처리장치가, 투영좌표

Figure 112006070759626-pat00035
,
Figure 112006070759626-pat00036
및 실세계좌표
Figure 112006070759626-pat00037
의 관계를 나타내는 [수학식21]을 이용하여 상기 검출된 특징점들과 카메라사이의 실제거리 d를 도출한다(S10).The main processing unit has projection coordinates
Figure 112006070759626-pat00035
,
Figure 112006070759626-pat00036
And real world coordinates
Figure 112006070759626-pat00037
The actual distance d between the detected feature points and the camera is derived by using Equation 21 representing the relationship (S10).

제 S10 단계를 상세하게 설명하면, [수학식21]의 연립방정식에서 미지항은

Figure 112006070759626-pat00038
항뿐이므로 [수학식21]의 연립방정식을 풀면
Figure 112006070759626-pat00039
항의 (X, Y, Z) 값, 즉 실세계좌표점이 검출되며, 이 점은 로봇을 기준으로 한 특징점들의 상대좌표점을 나타낸다. 상기 검출된 특징점의 실세계좌표점은 카메라의 중심점을 원점으로 하는 좌표계이므로, 카메라 원점을 이동로봇의 중심으로 가정하면, 이동로봇의 중심에서 특징점까지의 실제 거리(d)는
Figure 112006070759626-pat00040
로 산출된다. 여기서, xi, yi, zi는 i번째 특징점의 실세계 좌표(3D좌표)를 나타낸다.Referring to step S10 in detail, the unknown term in the system of equations [21]
Figure 112006070759626-pat00038
Since it is only a term, solving the system of equations [21]
Figure 112006070759626-pat00039
The (X, Y, Z) value of the term, i.e., the real world coordinate point, is detected, which represents the relative coordinate point of the feature points based on the robot. Since the real world coordinate point of the detected feature point is a coordinate system using the center point of the camera as an origin, assuming that the camera origin is the center of the mobile robot, the actual distance d from the center of the mobile robot to the feature point is
Figure 112006070759626-pat00040
Is calculated. Here, x i , y i , z i represent real world coordinates (3D coordinates) of the i-th feature point.

상술한 바와 같은 방법으로, 특징점의 실세계좌표점을 도출하면, 이동로봇과 특징점의 실제 거리를 구하게 되는 것이다.As described above, when the real world coordinate point of the feature point is derived, the actual distance between the mobile robot and the feature point is obtained.

주처리장치가, 이동로봇의 작업공간을 주행하면서 획득되는 줌아웃/줌인 영 상에 대하여, 제 S4 단계 내지 제 S10 단계에서 출력되는 데이터들을 저장하여 맵 데이터베이스를 구축한다(S12).The main processing apparatus stores the data output in steps S4 to S10 with respect to the zoom-out / zoom-in image obtained while driving the workspace of the mobile robot to build a map database (S12).

여기서, 맵 데이터베이스를 위한 데이터로는 참조영상(Reference Image : 이동로봇의 작업공간에 대한 맵 데이터베이스 구축을 위해 획득한 줌아웃/줌인 영상), 특징점(특징점에 대한 기술자, 상대좌표 정보포함) 및 영상이 획득된 시점의 이동로봇의 자세(이동로봇의 x, y좌표값 및 방위) 정보이다.Here, the data for the map database includes a reference image (zoom out / zoom-in image acquired for constructing a map database of a mobile robot's workspace), feature points (including descriptors of feature points and relative coordinate information), and images. It is information about the posture (x, y coordinate values and azimuth of the mobile robot) of the acquired mobile robot.

상술한 바와 같은 제 S2 단계 내지 제 S12 단계를 수행하여 맵구축과정을 마친후, 주처리장치의 절대위치검출과정(B)을 도 6을 참조하여 단계별로 설명하면 다음과 같다(제 S14 단계 내지 제 S24 단계).After completing the map construction process by performing the steps S2 to S12 as described above, the absolute position detection process (B) of the main processing apparatus will be described step by step with reference to FIG. Step S24).

주처리장치가, 상기 이동로봇의 주행 중 카메라장치를 이용하여 줌아웃/줌인 영상을 획득하고, 획득된 줌아웃/줌인 영상으로부터 스케일 불변 특징점들을 검출한다(S14, S16).The main processing apparatus obtains the zoomed out / zoom-in image by using the camera device while the mobile robot is driving, and detects scale invariant feature points from the obtained zoomed-out / zoom-in image (S14 and S16).

주처리장치가, 상기 줌아웃/줌인 영상에서 서로 매칭되는 특징점 중 상기 맵 데이터베이스의 특징점들과 매칭되는 특징점을 검출한다(S18).The main processing apparatus detects a feature point that matches the feature points of the map database among the feature points that match each other in the zoom-out / zoom-in image (S18).

주처리장치가, 상기 제 S18 단계에서 검출된 특징점들에 대하여, 상기 이동로봇의 위치를 기준으로 한 상대좌표(Ni)를 검출하고(S20), 검출된 상대좌표와 상기 맵 데이터베이스의 해당 특징점들의 상대좌표(Mk)를 비교하여, 제 S20 단계에서 검출된 상대좌표의 회전 및 이동 파라미터를 산출한다(S22).The main processing device, a relative coordinate (N i) is detected, and (S20), the detected relative coordinates and the feature points of the map database based on the location of the mobile robot relative to the detected feature point in the first S18 step The relative coordinates M k are compared to calculate rotation and movement parameters of the relative coordinates detected in step S20 (S22).

주처리장치가, 상기 제 S22 단계에서 산출된 회전 및 이동 파라미터와 맵 데 이터베이스에 저장된 로봇의 자세정보를 이용하여, 상기 이동로봇의 절대위치를 검출한다(S24).The main processing apparatus detects the absolute position of the mobile robot using the rotation and movement parameters calculated in the step S22 and the attitude information of the robot stored in the map database (S24).

부연하여, 참조영상(상기 맵구축과정에서 입력된 영상을 말함, 제 S2 단계 설명참조)에서 특징점의 상대위치를

Figure 112006070759626-pat00041
라 하고, 이동로봇 주행중 획득되는 영상에서 상기 참조영상과 매칭된 특징점의 상대위치를
Figure 112006070759626-pat00042
라고 할 때, 두 특징점은 다음의 [수학식22]를 만족한다.In detail, the relative position of the feature point in the reference image (referring to the image input during the map construction process, see step S2).
Figure 112006070759626-pat00041
The relative position of the feature point matched with the reference image in the image acquired while driving the mobile robot
Figure 112006070759626-pat00042
In this case, the two feature points satisfy the following Equation 22.

[수학식22][Equation 22]

Figure 112006070759626-pat00043
Figure 112006070759626-pat00043

주처리장치에서 [수학식22]의 tx, tz, θ를 산출하면, 각각 맵 데이터베이스에서의 이동로봇의 상대위치에 대응하는 주행 중의 이동로봇 상대위치와 자세가 검출되며, 참조영상과 입력영상이 매칭된 시점에서 맵 데이터베이스에 저장되는 로봇의 자세(Pk) 정보에 상기 산출된 tx, tz, θ를 적용하면 이동로봇의 절대 위치가 검출된다. 즉, 주행중에 입력되는 영상에서의 특징점들과 맵 데이터베이스에 저장된 참조영상에서의 특징점들로부터, 상기 주행중의 영상이 입력된 위치에서 2개 이상의 매칭점이 도출되면 이동로봇의 위치 및 자세 검출이 가능하다.When the main processor calculates t x , t z , and θ in [Equation 22], the relative position and attitude of the mobile robot during driving corresponding to the relative position of the mobile robot in the map database are respectively detected. When the image is matched and the calculated t x , t z , θ is applied to the attitude P k information of the robot stored in the map database, the absolute position of the mobile robot is detected. That is, when two or more matching points are derived from the feature points in the image input while driving and the reference points stored in the map database, the position and attitude of the mobile robot can be detected. .

본 발명은, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검 출하고 특징점들 간의 매칭을 수행하고, 상기 매칭된 특징점들의 실세계좌표점을 도출하여 3차원으로 재구성함으로써 이동로봇과 상기 특징점 사이의 실제 거리를 구할 수 있어, 상기 특징점으로부터의 이동로봇 상대위치를 정확하게 측정할 수 있는 효과가 있다.The present invention detects scale invariant feature points for each image, performs matching between the feature points, using a zoom-out (original) image and a zoom-in image obtained by a monocular zoom camera as the robot moves. The actual distance between the mobile robot and the feature point can be obtained by deriving the real world coordinate points of the feature points and reconstructing them in three dimensions, thereby accurately measuring the relative position of the mobile robot from the feature point.

본 발명은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특정배율을 도출함으로써, 상기 특정배율을 이용하여 상기 두 영상 획득 과정을 용이하게 하고, 상기 두 영상 획득 시 이동로봇의 움직임에 따라 발생할 수 있는 오차요인에 영향을 받지 않는 효과가 있다.The present invention facilitates the process of acquiring the two images using the specific magnification by deriving a specific magnification for the zoom-out (original) image and the zoom-in image acquired through the monocular zoom camera, and the mobile robot when the two images are acquired. There is an effect that is not affected by the error factors that may occur due to the movement of the.

본 발명은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상으로부터 검출한 특징점들을 이용하여 맵 데이터베이스(또는 특징점 지도)를 구축하고, 상기 특징점들에 대한 회전 및 이동 파라미터를 산출하여 거리정보 오차를 줄일 수 있으며, 상기 산출된 파라미터와 맵 데이터베이스의 데이터를 이용하여 로봇의 자기 절대위치를 추정할 수 있는 효과가 있다.The present invention constructs a map database (or feature point map) by using feature points detected from a zoom-out (original) image and a zoom-in image acquired through a monocular zoom camera, calculates rotation and movement parameters for the feature points, and calculates distance. The information error can be reduced, and the magnetic absolute position of the robot can be estimated using the calculated parameters and the data of the map database.

상기한 바와 같이 본 발명에 따른 바람직한 특정 실시 예를 설명하였지만, 본 발명은 상기한 실시 예에 한정되지 않으며 당해 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되는 실시 예들은 이하에 청구하는 본 발명의 특허 청구범위 안에 속한다고 해야 할 것이다.As described above, specific preferred embodiments of the present invention have been described, but the present invention is not limited to the above-described embodiments, and various modifications by those skilled in the art to which the present invention pertains are described below. It should be said that they fall within the claims of the present invention as claimed.

Claims (8)

이동로봇의 자기위치 추정 시스템에 있어서,In the magnetic position estimation system of a mobile robot, 상기 이동로봇의 작업영역에 대한 영상들을 획득하는 카메라장치;A camera device for obtaining images of a work area of the mobile robot; 상기 카메라장치로부터 초기에 수신하는 영상들을 참조영상으로 저장하고, 상기 참조영상의 특징점, 매칭점 및 상기 이동로봇의 상대위치와 자세 정보를 도출하여 맵 데이터베이스를 구축하고, 상기 이동로봇 주행 중 상기 카메라장치로부터 수신하는 영상을 상기 구축된 맵 데이터베이스 내의 참조 영상과 비교하여 상기 주행 중인 이동로봇의 상대위치, 절대위치 및 자세 정보를 도출하는 주처리장치; 및Store the images initially received from the camera apparatus as a reference image, construct a map database by deriving feature points, matching points and relative position and attitude information of the mobile robot, and running the camera while driving the mobile robot. A main processor for deriving relative position, absolute position, and attitude information of the mobile robot running while comparing the image received from the apparatus with a reference image in the constructed map database; And 상기 카메라장치와 주처리장치 간의 정보 전송 통로인 시리얼통신장치;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.And a serial communication device, which is an information transmission path between the camera device and the main processing device. 제 1 항에 있어서, 상기 주처리장치는,According to claim 1, wherein the main processing unit, 상기 이동로봇을 주행시키면서 상기 카메라장치를 통해 획득되는 줌아웃/줌인 영상들을 참조영상 데이터로 저장하고, 상기 각 영상들의 특징점과 상기 특징점의 상대좌표 데이터 및 상기 각 영상들이 획득된 시점의 이동로봇 자세 정보를 저장하여 상기 이동로봇의 작업영역 맵 데이터베이스를 구축하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.The zoom-out / zoom-in images acquired through the camera apparatus while driving the mobile robot are stored as reference image data, and feature coordinates of the respective images, relative coordinate data of the feature points, and mobile robot posture information of the point in time at which the images are acquired. Magnetic location estimation system of a mobile robot using a monocular zoom camera, characterized in that to build a database of the work area map of the mobile robot by storing a. 제 1 항에 있어서, 상기 주처리장치는,According to claim 1, wherein the main processing unit, 상기 카메라장치로부터 줌아웃/줌인 영상을 수신하는 영상수신부;An image receiving unit which receives a zoom out / zoom in image from the camera device; 상기 수신된 영상들로부터 카메라장치의 줌인 특정배율을 검출하는 특정배율검출부;A specific magnification detector for detecting a specific magnification of a zoom of the camera device from the received images; 상기 카메라장치로부터 수신한 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 내부파라미터산출부;An internal parameter calculator configured to calculate an internal parameter for calibrating the camera by using the zoom-out / zoom-in image received from the camera device; 가우시안 차분 연산자를 이용하여 상기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합 Fi과 Fi+1을 생성하는 특징점검출부;A feature point detection unit for generating feature point sets F i and F i + 1 by detecting scale invariant feature points of the zoom-out / zoom-in image using a Gaussian difference operator; 상기 특징점에 대하여 실세계 좌표계와 카메라 좌표계의 회전 및 이동변환을 나타내는 외부 파라미터를 산출하는 외부파라미터산출부;An external parameter calculation unit for calculating an external parameter representing rotation and movement transformation of a real world coordinate system and a camera coordinate system with respect to the feature point; 상기 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 상기 특징점의 투영좌표와 실세계좌표를 도출하고, 상기 도출된 실세계좌표를 이용하여 상기 특징점의 상대좌표를 계산하는 특징점상대좌표검출부;A feature point relative coordinate which derives the projection coordinates and the real world coordinates of the feature points from the four linear system equations generated using the calculated external and internal parameters, and calculates the relative coordinates of the feature points using the derived real world coordinates. Detection unit; 상기 산출된 상대좌표를 이용하여 검출된 물체와 이동로봇과의 거리를 산출하는 거리산출부;A distance calculator configured to calculate a distance between the detected object and the mobile robot using the calculated relative coordinates; 상기 이동로봇의 위치 및 자세에 대한 데이터를 저장하는 맵 데이터베이스;A map database for storing data on the position and attitude of the mobile robot; 상기 맵 데이터베이스에 저장된 데이터들을 이용하여 상기 이동로봇의 절대 위치를 도출하는 절대위치도출부; 및An absolute position deriving unit for deriving an absolute position of the mobile robot using data stored in the map database; And 상기 이동로봇과 카메라장치 및 상기 각 구성들을 제어하는 제어부;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.And a control unit for controlling the mobile robot and the camera device and the respective components. A system for estimating a magnetic position of a mobile robot using a monocular zoom camera. 제 3 항에 있어서, 상기 제어부는,The method of claim 3, wherein the control unit, 상기 영상수신부로 수신되는 이동로봇의 작업영역에 대한 초기 줌아웃 및 줌인 영상을 상기 특징점검출부로 전달하여 각 영상에서 스케일 불변 특징점들을 검출하고, 상기 초기 줌아웃 및 줌인 영상 간에 매칭되는 특징점에 대하여 상기 특징점상대좌표검출부를 이용하여 이동로봇의 위치를 기준으로 한 상대좌표를 검출하며, 상기 검출된 특징점들 및 특징점들의 상대좌표 데이터와, 상기 이동로봇의 작업영역 내에서 상기 초기 줌아웃 및 줌인 영상이 획득된 위치와 영상 획득시의 자세에 대한 데이터를 상기 맵 데이터베이스에 저장하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.The initial zoom-out and zoom-in image of the mobile robot's work area received by the image receiver are transmitted to the feature point detector to detect scale invariant feature points in each image, and the feature point relative to the feature point matched between the initial zoom-out and zoom-in image. A relative coordinate is detected based on the position of the mobile robot using a coordinate detector, and the coordinate data of the detected feature points and the feature points, and the position where the initial zoom-out and zoom-in image are acquired in the working area of the mobile robot are obtained. And a position data of the posture at the time of image acquisition in the map database. 제 3 항에 있어서, 상기 제어부는,The method of claim 3, wherein the control unit, 상기 이동로봇의 주행에 따라 입력되는 영상 특징점들의 상대좌표 데이터에 대하여, 상기 외부파라미터산출부를 이용하여 상기 맵 데이터베이스에 저장된 특징점들의 상대좌표 데이터를 기준으로 회전 및 이동 변환된 외부 파라미터를 추출하고, 상기 절대위치도출부를 이용하여 상기 추출된 외부 파라미터를 상기 맵 데이터 베이스에 저장된 데이터에 대응시켜 상기 이동로봇의 절대위치를 도출하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.With respect to the relative coordinate data of the image feature points input as the mobile robot travels, the external parameter rotated and moved based on the relative coordinate data of the feature points stored in the map database is extracted using the external parameter calculator, and And an absolute position of the mobile robot by deriving an absolute position of the mobile robot by mapping the extracted external parameter to data stored in the map database. 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법에 있어서,In the magnetic position estimation method of a mobile robot using a monocular zoom camera, 주처리장치가, 이동로봇 작업공간에 대한 줌아웃/줌인 영상들을 획득하고, 상기 각 영상의 특징점들을 검출 및 상기 검출된 각 특징점에 대하여 상기 이동로봇 위치를 기준으로 한 상대좌표를 검출하여 맵 데이터베이스를 구축하는 맵구축과정; 및The main processing apparatus obtains zoomed out / zoomed images for the mobile robot workspace, detects feature points of each image, and detects relative coordinates based on the position of the mobile robot with respect to each detected feature point. Map construction process; And 주처리장치가, 상기 이동로봇의 주행 중 획득되는 영상의 특징점을 검출하여 상기 맵 데이터베이스 내의 특징점들과 매칭되는 특징점에 대하여 회전 및 이동 파라미터를 산출하고, 상기 회전 및 이동 파라미터를 이용한 로봇의 절대위치를 검출하는 절대위치검출과정;을 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.The main processing apparatus detects a feature point of an image acquired while the mobile robot is driving, calculates a rotation and movement parameter with respect to a feature point matching the feature points in the map database, and uses the rotation and movement parameter to determine an absolute position of the robot. Absolute position detection process for detecting the; magnetic position estimation method of a mobile robot using a monocular zoom camera comprising a. 제 6 항에 있어서, 상기 맵구축과정은,The method of claim 6, wherein the map construction process, (a1) 주처리장치가, 카메라장치를 이용하여 초기 줌아웃/줌인 영상을 획득하고 카메라장치의 줌인 특정배율을 검출하는 단계;(a1) acquiring, by the main processing apparatus, an initial zoom-out / zoom-in image using the camera apparatus and detecting a zoom-in specific magnification of the camera apparatus; (a2) 주처리장치가, 카메라장치를 이용하여 획득한 초기 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 단계;(a2) calculating, by the main processing apparatus, an internal parameter for calibrating the camera by using an initial zoom-out / zoom-in image obtained by using the camera apparatus; (a3) 주처리장치가, 가우시안 차분 방법을 이용하여 초기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합을 생성하는 단계;(a3) generating, by the main processing apparatus, a feature point set by detecting scale invariant feature points of an initial zoom-out / zoom-in image using a Gaussian difference method; (a4) 주처리장치가, 상기 (a2) 단계에서 산출한 내부 파라미터를 이용하여 상기 특징점의 회전 및 변환에 대한 외부 파라미터를 산출하고, 산출된 상기 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 실세계의 투영좌표를 도출하는 단계;(a4) The main processing apparatus calculates the external parameters for the rotation and transformation of the feature point using the internal parameters calculated in the step (a2), and generates four using the calculated external and internal parameters. Deriving the projection coordinates of the real world from the linear system of equations; (a5) 주처리장치가, 투영좌표 및 실세계좌표의 관계식을 이용하여 상기 검출된 특징점들과 카메라사이의 실제거리를 도출하는 단계; 및(a5) deriving, by the main processing apparatus, the actual distance between the detected feature points and the camera using a relational expression between the projection coordinates and the real world coordinates; And (a6) 주처리장치가, 이동로봇의 작업공간을 주행하면서 획득되는 줌아웃/줌인 영상에 대하여, 상기 (a2) 단계 내지 (a5) 단계에서 출력되는 데이터들을 저장하는 단계;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.(a6) storing, by the main processing apparatus, data output in steps (a2) to (a5) with respect to the zoom-out / zoom-in image obtained while driving the work space of the mobile robot; A method for estimating the magnetic position of a mobile robot using a monocular zoom camera. 제 6 항에 있어서, 상기 절대위치검출과정은,The method of claim 6, wherein the absolute position detection process, (b1) 주처리장치가, 상기 이동로봇의 주행 중 카메라장치를 이용하여 줌아웃/줌인 영상을 획득하는 단계;(b1) acquiring, by the main processing apparatus, an image zoomed out / zoom in using the camera device while the mobile robot is traveling; (b2) 주처리장치가, 상기 줌아웃/줌인 영상으로부터 스케일 불변 특징점들을 검출하는 단계;(b2) detecting, by the main processing apparatus, scale invariant feature points from the zoom-out / zoom-in image; (b3) 주처리장치가, 상기 줌아웃/줌인 영상에서 서로 매칭되는 특징점 중 상기 맵 데이터베이스의 특징점들과 매칭되는 특징점을 검출하는 단계;(b3) detecting, by the main processing apparatus, feature points that match feature points of the map database among feature points matched with each other in the zoom-out / zoom-in image; (b4) 주처리장치가, 상기 (b3) 단계에서 검출된 특징점들에 대하여, 상기 이동로봇의 위치를 기준으로 한 상대좌표를 검출하는 단계;(b4) detecting, by the main processing apparatus, relative coordinates based on the position of the mobile robot with respect to the feature points detected in the step (b3); (b5) 주처리장치가, 상기 (b4) 단계에서 검출된 상대좌표와 상기 맵 데이터베이스의 해당 특징점들의 상대좌표를 비교하여, 상기 (b4) 단계에서 검출된 상대좌표의 회전 및 이동 파라미터를 산출하는 단계; 및(b5) the main processor compares the relative coordinates detected in the step (b4) with the relative coordinates of the corresponding feature points of the map database, and calculates the rotation and movement parameters of the relative coordinates detected in the step (b4). step; And (b6) 주처리장치가, 상기 산출된 회전 및 이동 파라미터와 맵 데이터베이스에 저장된 로봇의 자세정보를 이용하여, 상기 이동로봇의 절대위치를 검출하는 단계;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.(b6) detecting, by the main processing apparatus, the absolute position of the mobile robot using the calculated rotation and movement parameters and attitude information of the robot stored in a map database. A method for estimating the magnetic position of a mobile robot using
KR1020060094607A 2006-09-28 2006-09-28 System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor KR100855657B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094607A KR100855657B1 (en) 2006-09-28 2006-09-28 System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094607A KR100855657B1 (en) 2006-09-28 2006-09-28 System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor

Publications (2)

Publication Number Publication Date
KR20080029080A KR20080029080A (en) 2008-04-03
KR100855657B1 true KR100855657B1 (en) 2008-09-08

Family

ID=39531704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094607A KR100855657B1 (en) 2006-09-28 2006-09-28 System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor

Country Status (1)

Country Link
KR (1) KR100855657B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138431A (en) 2013-05-23 2014-12-04 현대중공업 주식회사 Camera installing body structure
KR20170136054A (en) * 2016-05-30 2017-12-11 전자부품연구원 Sensor Test Bed, Object Sensing Device, Object Sensing Method for Sensing the 3D Shape of The Object
KR20230085499A (en) 2021-12-07 2023-06-14 한성대학교 산학협력단 Apparatus and method to estimate camera position

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912874B1 (en) * 2007-06-28 2009-08-19 삼성전자주식회사 Method and apparatus for relocating a mobile robot
KR20110021191A (en) 2009-08-25 2011-03-04 삼성전자주식회사 Apparatus and method for detecting slip of robot
CN103968846B (en) * 2014-03-31 2017-02-08 小米科技有限责任公司 Positioning and navigation method and device
US9818196B2 (en) 2014-03-31 2017-11-14 Xiaomi Inc. Method and device for positioning and navigating
CN104699842B (en) 2015-03-31 2019-03-26 百度在线网络技术(北京)有限公司 Picture display method and device
KR102091180B1 (en) 2017-12-19 2020-04-29 전자부품연구원 A global map synthesis system and method using multiple maps and synthetic reference device thereof
KR102420476B1 (en) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 Apparatus and method for estimating location of vehicle and computer recordable medium storing computer program thereof
CN110955237A (en) * 2018-09-27 2020-04-03 台湾塔奇恩科技股份有限公司 Teaching path module of mobile carrier
KR102634443B1 (en) * 2019-03-07 2024-02-05 에스케이텔레콤 주식회사 Apparatus and method for determining correction information of vehicle-sensor
CN109727269B (en) * 2019-03-29 2019-07-09 中国人民解放军国防科技大学 Monocular vision and road map based matching positioning method
KR102262930B1 (en) * 2020-12-01 2021-06-09 주식회사 딥노이드 Apparatus and method for extracting relative coordinates
KR102431122B1 (en) 2021-12-30 2022-08-10 주식회사 버넥트 Method and system for map tartet tracking
CN115401689B (en) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 Distance measuring method and device based on monocular camera and computer storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635826A (en) * 1992-07-21 1994-02-10 Mitsubishi Electric Corp Communication controller
JP2008005001A (en) * 2006-06-20 2008-01-10 Sanyo Electric Co Ltd Chopper comparator and successive comparison a/d converter employing the same
JP2008005002A (en) * 2006-06-20 2008-01-10 Onkyo Corp Damper for speaker and speaker using the same
JP2008006002A (en) * 2006-06-28 2008-01-17 Tiger Vacuum Bottle Co Ltd Electric pot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635826A (en) * 1992-07-21 1994-02-10 Mitsubishi Electric Corp Communication controller
JP2008005001A (en) * 2006-06-20 2008-01-10 Sanyo Electric Co Ltd Chopper comparator and successive comparison a/d converter employing the same
JP2008005002A (en) * 2006-06-20 2008-01-10 Onkyo Corp Damper for speaker and speaker using the same
JP2008006002A (en) * 2006-06-28 2008-01-17 Tiger Vacuum Bottle Co Ltd Electric pot

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
공개특허 제2000-0002481호
공개특허 제2005-0011053호
공개특허 제2005-0027858호
공개특허 제2006-0024804호
등록특허 제0635826호

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138431A (en) 2013-05-23 2014-12-04 현대중공업 주식회사 Camera installing body structure
KR20170136054A (en) * 2016-05-30 2017-12-11 전자부품연구원 Sensor Test Bed, Object Sensing Device, Object Sensing Method for Sensing the 3D Shape of The Object
KR101888363B1 (en) * 2016-05-30 2018-08-16 전자부품연구원 Sensor Test Bed, Object Sensing Device, Object Sensing Method for Sensing the 3D Shape of The Object
KR20230085499A (en) 2021-12-07 2023-06-14 한성대학교 산학협력단 Apparatus and method to estimate camera position

Also Published As

Publication number Publication date
KR20080029080A (en) 2008-04-03

Similar Documents

Publication Publication Date Title
KR100855657B1 (en) System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US10109104B2 (en) Generation of 3D models of an environment
KR101791590B1 (en) Object pose recognition apparatus and method using the same
CN101294793B (en) Measurement apparatus and control method
US9841271B2 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
KR101901586B1 (en) Apparatus for estimating the robot pose and method thereof
JP5012615B2 (en) Information processing apparatus, image processing method, and computer program
WO2005043466A1 (en) Estimation system, estimation method, and estimation program for estimating object state
CN111862299A (en) Human body three-dimensional model construction method and device, robot and storage medium
CN111144349A (en) Indoor visual relocation method and system
JP2008309595A (en) Object recognizing device and program used for it
JP2016148649A (en) Information processing apparatus, control method therefor, and program
JP6228239B2 (en) A method for registering data using a set of primitives
JP5267100B2 (en) Motion estimation apparatus and program
JP2009186287A (en) Plane parameter estimating device, plane parameter estimating method, and plane parameter estimating program
JPH07103715A (en) Method and apparatus for recognizing three-dimensional position and attitude based on visual sense
Jaramillo et al. 6-DoF pose localization in 3D point-cloud dense maps using a monocular camera
US9245343B1 (en) Real-time image geo-registration processing
Nguyen et al. Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras
CN113048985B (en) Camera relative motion estimation method under known relative rotation angle condition
JP6843552B2 (en) Image processing equipment, image processing methods and programs.
KR100871149B1 (en) Apparatus and method for estimating camera focal length
US11282280B2 (en) Method and system for node vectorisation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150901

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee