JP6199000B2 - Information processing device - Google Patents

Information processing device Download PDF

Info

Publication number
JP6199000B2
JP6199000B2 JP2017519001A JP2017519001A JP6199000B2 JP 6199000 B2 JP6199000 B2 JP 6199000B2 JP 2017519001 A JP2017519001 A JP 2017519001A JP 2017519001 A JP2017519001 A JP 2017519001A JP 6199000 B2 JP6199000 B2 JP 6199000B2
Authority
JP
Japan
Prior art keywords
coordinate correspondence
moving body
calibration
correspondence
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017519001A
Other languages
Japanese (ja)
Other versions
JPWO2016194078A1 (en
Inventor
勇一郎 村地
勇一郎 村地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016194078A1 publication Critical patent/JPWO2016194078A1/en
Application granted granted Critical
Publication of JP6199000B2 publication Critical patent/JP6199000B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、カメラキャリブレーションに関する。   The present invention relates to camera calibration.

加工機カメラ応用技術は、加工機にカメラを設置し、カメラが加工機のヘッド近辺を撮影し、撮影した画像を、加工機のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示、加工機の内部処理などに利用する技術である。
加工機カメラ応用技術には、カメラで撮影して得られた撮影画像の画素座標と加工機の物理座標との間の対応関係（以下では、カメラ画像の画素座標と加工機の物理座標の関係を「座標対応関係」という）を求め、求めた座標対応関係から撮影画像を変換して表示したり、撮影画像の認識結果を加工機の内部演算に反映したり、加工機の加工設計図を撮影画像に重畳したりする技術がある。
座標対応関係を求めることを、一般的にカメラの外部キャリブレーションと呼ぶ。
外部キャリブレーションでは、１つ以上の特徴点を持つキャリブレーションパタンを規定の位置において撮影を行い、撮影画像からキャリブレーションパタン内の特徴点の画素座標を検出し、その特徴点の物理座標と画素座標とを対応付けることで座標対応関係が得られる。
キャリブレーションパタンには市松模様が広く用いられている。
キャリブレーションパタンに市松模様を用いる場合は、各正方形の角（市松模様の正方形を構成する直線同士が交わる点）を特徴点として外部キャリブレーションが行われることが一般的である。
特許文献１では、市松模様によりキャリブレーションを行う手法（従来手法１という）が開示されている。
撮影画像から市松模様の交点を検出するプログラムは広く普及しており、計算機を用いることで自動的に交点を検出することができる。
特許文献２では、移動体（加工機の加工ヘッドに当たる部分）にキャリブレーションパタンを装着し、移動体（＝キャリブレーションパタン）を移動させながら移動体の撮影を繰り返すことで、キャリブレーションパタンの作成コストを低減しながら外部キャリブレーションの精度を向上する手法（従来手法２という）が開示されている。The processing machine camera application technology installs a camera in the processing machine, the camera takes a picture of the vicinity of the head of the processing machine, and uses the taken image for a GUI (Graphical User Interface) display of the processing machine, internal processing of the processing machine, etc. Technology.
In processing machine camera application technology, there is a correspondence relationship between the pixel coordinates of the captured image obtained by the camera and the physical coordinates of the processing machine (hereinafter, the relationship between the pixel coordinates of the camera image and the physical coordinates of the processing machine). (Referred to as “coordinate correspondence”), and the captured image is converted and displayed from the obtained coordinate correspondence, the recognition result of the photographed image is reflected in the internal calculation of the processing machine, and the processing design drawing of the processing machine There is a technique of superimposing on a photographed image.
Obtaining the coordinate correspondence is generally called external calibration of the camera.
In external calibration, a calibration pattern having one or more feature points is photographed at a specified position, pixel coordinates of the feature points in the calibration pattern are detected from the photographed image, and physical coordinates and pixels of the feature points are detected. Coordinate correspondence can be obtained by associating coordinates.
A checkerboard pattern is widely used for the calibration pattern.
When a checkered pattern is used for the calibration pattern, external calibration is generally performed using corners of each square (points where straight lines constituting the checkered square intersect) as feature points.
Patent Document 1 discloses a method of performing calibration using a checkered pattern (referred to as Conventional Method 1).
A program for detecting an intersection of checkered patterns from a captured image is widely used, and an intersection can be automatically detected by using a computer.
In Patent Document 2, a calibration pattern is created by attaching a calibration pattern to a moving body (a portion corresponding to a processing head of a processing machine) and repeatedly photographing the moving body while moving the moving body (= calibration pattern). A technique for improving the accuracy of external calibration while reducing costs (conventional technique 2) is disclosed.

特開２００５−２５０６２８号公報JP 2005-250628 A 特開２０１０−２７６６０３号公報JP 2010-276603 A

外部キャリブレーションを実施した後にカメラと加工機の間で細かな相対位置ずれ（以下では、カメラと加工機の相対位置ずれを単純に「カメラ位置ずれ」という）が起こると、座標対応関係が変化してしまうため、外部キャリブレーションを再実行しなければならない。
従来手法１及び従来手法２のいずれでも、外部キャリブレーションにはキャリブレーションパタンの着脱が必要であり、特に従来手法２の外部キャリブレーションでは、移動体を複数の既定の位置に移動させながら撮影を繰り返す、という一連の作業を行う必要がある。
このように、従来手法１及び従来手法２では、カメラ位置ずれが起こる度に、加工機を用いた加工作業を止めて、座標対応関係の再取得のための外部キャリブレーションを実行しなければならないという課題がある。
特にカメラの取り付け位置と加工機が構造的に固定されていない環境、カメラの定期的な取り付け／取り外しが必要な環境といった、カメラ位置ずれが生じやすい環境では、外部キャリブレーションを頻繁に実行しなければならず、メンテナンスコストが大きい。Coordinate correspondence changes when a small relative positional deviation occurs between the camera and the processing machine after external calibration (hereinafter, the relative positional deviation between the camera and the processing machine is simply referred to as “camera positional deviation”). Therefore, external calibration must be performed again.
In both the conventional method 1 and the conventional method 2, the external calibration requires the attachment and detachment of the calibration pattern. In particular, in the external calibration of the conventional method 2, shooting is performed while moving the moving body to a plurality of predetermined positions. It is necessary to perform a series of operations of repeating.
As described above, in the conventional method 1 and the conventional method 2, every time the camera position shift occurs, the processing work using the processing machine must be stopped and the external calibration for reacquiring the coordinate correspondence must be executed. There is a problem.
External calibration must be performed frequently, especially in environments where camera position is prone to occur, such as environments where the camera mounting position and processing machine are not structurally fixed, or environments where periodic camera mounting / removal is required. The maintenance cost is high.

本発明は、上記の課題を解決することを主な目的としており、外部キャリブレーションを行わずに、座標対応関係を補正することを主な目的とする。   The main object of the present invention is to solve the above-described problems, and the main object is to correct the coordinate correspondence without performing external calibration.

本発明に係る情報処理装置は、
移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する。An information processing apparatus according to the present invention includes:
Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A storage unit for storing a correspondence relationship with coordinates as a reference coordinate correspondence relationship;
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship;
And a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit.

本発明では、移動体が移動空間内で停止した際に撮影された撮影画像における特徴点の画素座標と特徴点の物理座標との対応関係である特徴点座標対応関係を抽出し、特徴点座標対応関係を用いて基準座標対応関係を補正する。
このため、外部キャリブレーションを行わずに、座標対応関係を補正することができる。In the present invention, the feature point coordinate correspondence, which is the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points in the captured image taken when the moving body stops in the movement space, is extracted. The reference coordinate correspondence is corrected using the correspondence.
For this reason, the coordinate correspondence can be corrected without performing external calibration.

実施の形態１に係るシステム構成例を示す図。FIG. 3 is a diagram illustrating an example of a system configuration according to the first embodiment. 実施の形態１に係る情報処理装置の機能モジュール構成例を示す図。FIG. 3 is a diagram illustrating a functional module configuration example of the information processing apparatus according to the first embodiment. 実施の形態１に係る情報処理装置のハードウェア構成例を示す図。FIG. 3 is a diagram illustrating a hardware configuration example of the information processing apparatus according to the first embodiment. 実施の形態１に係るキャリブレーションの手順例を示すフローチャート図。FIG. 6 is a flowchart showing an example of calibration procedure according to the first embodiment. 実施の形態１に係る情報処理装置におけるデータフロー例を示す図。FIG. 3 is a diagram illustrating an example of a data flow in the information processing apparatus according to the first embodiment. 実施の形態１に係るキャリブレーションパタンの例を示す図。FIG. 4 is a diagram illustrating an example of a calibration pattern according to the first embodiment. 実施の形態１に係る第二の座標対応関係の例を示す図。FIG. 6 is a diagram illustrating an example of a second coordinate correspondence relationship according to the first embodiment. 実施の形態１に係る第三の座標対応関係の例を示す図。FIG. 6 is a diagram showing an example of a third coordinate correspondence relationship according to the first embodiment. 実施の形態１に係る座標対応関係差分の例を示す図。FIG. 6 is a diagram illustrating an example of a coordinate correspondence difference according to the first embodiment. 実施の形態２に係る情報処理装置の構成例を示す図。FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment. 実施の形態２に係る情報処理装置の構成例を示す図。FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment. 実施の形態２に係る情報処理装置の構成例を示す図。FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment. 実施の形態１に係る撮影画像の例を示す図。FIG. 3 is a diagram illustrating an example of a captured image according to the first embodiment. 実施の形態１に係る撮影画像の変換画像の例を示す図。FIG. 6 is a diagram illustrating an example of a converted image of a captured image according to the first embodiment.

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係るシステム構成例を示す。Embodiment 1 FIG.
*** Explanation of configuration ***
FIG. 1 shows a system configuration example according to the present embodiment.

図１において、情報処理装置１００は、撮影装置２００で撮影された撮影画像を用いた外部キャリブレーション、外部キャリブレーションにより得られた座標対応関係の補正等を行う。
また、情報処理装置１００は、駆動装置４００に制御信号を送信して、駆動装置４００を制御する。
情報処理装置１００の詳細は後述する。In FIG. 1, the information processing apparatus 100 performs external calibration using a photographed image photographed by the photographing apparatus 200, correction of a coordinate correspondence obtained by the external calibration, and the like.
In addition, the information processing apparatus 100 transmits a control signal to the driving apparatus 400 to control the driving apparatus 400.
Details of the information processing apparatus 100 will be described later.

撮影装置２００は、例えばカメラである。
撮影装置２００は、既定の設置位置に固定されて設置されている。
矢印Ｂに示されるように、撮影装置２００の撮影方向は、移動空間６００に向けて固定されている。
移動空間６００は、移動体３００が移動する空間である。
撮影装置２００で撮影された撮影画像は、外部キャリブレーションに用いられる。
また、撮影装置２００で撮影された撮影画像は画像変換されて、移動体３００の位置制御に用いられる。The imaging device 200 is a camera, for example.
The photographing apparatus 200 is fixedly installed at a predetermined installation position.
As indicated by an arrow B, the shooting direction of the shooting device 200 is fixed toward the moving space 600.
The moving space 600 is a space in which the moving body 300 moves.
A photographed image photographed by the photographing apparatus 200 is used for external calibration.
The captured image captured by the image capturing apparatus 200 is converted into an image and used for position control of the moving body 300.

移動体３００は、本実施の形態では、材料を加工する加工機のヘッド（可動部分）である。
移動体３００は、駆動装置４００の制御により、加工テーブル５００上をＸ軸方向、Ｙ軸方向及びＺ軸方向に移動する。
加工テーブル５００は、移動体３００により加工される材料が配置される板状の台である。
移動体３００は、加工テーブル５００上を移動し、例えば、加工テーブル５００に配置されている材料にレーザを照射して材料の切断、削孔等の加工を行う。
移動体３００が移動する空間を移動空間６００という。
移動空間６００のＸ軸方向の寸法は、例えば、加工テーブル５００のＸ軸方向の寸法（横幅）に一致し、Ｙ軸方向の寸法は、加工テーブル５００のＹ軸方向の寸法（奥行）に一致する。
Ｚ軸方向の寸法は、５ｃｍ程度である。
図１では作図上の理由より、Ｚ軸方向の寸法が大きく描画されているが、実際の寸法は５ｃｍ程度である。In the present embodiment, the moving body 300 is a head (movable part) of a processing machine that processes a material.
The moving body 300 moves on the processing table 500 in the X-axis direction, the Y-axis direction, and the Z-axis direction under the control of the driving device 400.
The processing table 500 is a plate-like table on which a material processed by the moving body 300 is arranged.
The moving body 300 moves on the processing table 500 and, for example, irradiates the material disposed on the processing table 500 with a laser to perform processing such as material cutting and drilling.
A space in which the moving body 300 moves is referred to as a moving space 600.
The dimension of the moving space 600 in the X-axis direction matches, for example, the dimension (horizontal width) of the machining table 500 in the X-axis direction, and the dimension of the Y-axis direction matches the dimension of the machining table 500 in the Y-axis direction (depth). To do.
The dimension in the Z-axis direction is about 5 cm.
In FIG. 1, the dimension in the Z-axis direction is drawn large for reasons of drawing, but the actual dimension is about 5 cm.

駆動装置４００は、情報処理装置１００からの制御信号に基づいて、移動体３００を駆動する。   The driving device 400 drives the moving body 300 based on a control signal from the information processing device 100.

図１３は、撮影装置２００が加工テーブル５００を撮影して得られた撮影画像の例を示す。
つまり、図１３の撮影画像は、図１の矢印Ｂを視点方向とする撮影画像である。
図１３では、加工テーブル５００上に材料７００が置かれている。
情報処理装置１００では、図１３の撮影画像の画像変換を行って、図１の矢印Ａを視点方向とする図１４の撮影画像を取得する。
そして、情報処理装置１００は、駆動装置４００を制御して、図１４の撮影画像の所望の画素座標（例えば、材料７００の左上の角）に対応する物理座標（三次元座標ともいう）に移動体３００を移動させて、材料７００に対する加工を行わせる。
このような作業は、外部キャリブレーションにより得られた、撮影画像（図１３）内の画素座標と物理座標との座標対応関係を用いて行われる。FIG. 13 shows an example of a photographed image obtained by photographing the processing table 500 by the photographing apparatus 200.
That is, the photographed image in FIG. 13 is a photographed image with the arrow B in FIG. 1 as the viewpoint direction.
In FIG. 13, the material 700 is placed on the processing table 500.
The information processing apparatus 100 performs image conversion of the captured image in FIG. 13 to obtain the captured image in FIG. 14 with the arrow A in FIG. 1 as the viewpoint direction.
Then, the information processing apparatus 100 controls the driving device 400 to move to physical coordinates (also referred to as three-dimensional coordinates) corresponding to desired pixel coordinates (for example, the upper left corner of the material 700) of the captured image in FIG. The body 300 is moved, and the material 700 is processed.
Such an operation is performed using the coordinate correspondence relationship between the pixel coordinates and physical coordinates in the captured image (FIG. 13) obtained by external calibration.

駆動装置４００による振動等によって撮影装置２００と移動空間６００との間に相対的な位置ずれ（カメラ位置ずれ）が発生した場合には、座標対応関係を修正する必要がある。
本実施の形態に係る情報処理装置１００は、カメラ位置ずれが生じた場合でも、移動体３００を用いた加工を継続しながら、座標対応関係の修正を行うことができる。When a relative position shift (camera position shift) occurs between the image capturing apparatus 200 and the moving space 600 due to vibration or the like by the driving device 400, it is necessary to correct the coordinate correspondence.
The information processing apparatus 100 according to the present embodiment can correct the coordinate correspondence while continuing the processing using the moving body 300 even when the camera position shift occurs.

図２は、本実施の形態に係る情報処理装置１００の機能モジュール構成例を示す。
なお、図２は、外部キャリブレーション処理、座標対応関係の補正処理に関する機能モジュール構成のみを示している。
上述したように、本実施の形態に係る情報処理装置１００は、図１３及び図１４を用いて説明した撮影画像の画像変換処理、駆動装置４００の制御処理等も実施するが、これら画像変換処理、制御処理に関する機能モジュール構成は図２には示していない。FIG. 2 shows a functional module configuration example of the information processing apparatus 100 according to the present embodiment.
FIG. 2 shows only the functional module configuration related to external calibration processing and coordinate correspondence correction processing.
As described above, the information processing apparatus 100 according to the present embodiment also performs the image conversion process of the captured image described with reference to FIGS. 13 and 14, the control process of the driving device 400, and the like. The functional module configuration related to the control processing is not shown in FIG.

画像取得部１０１は、撮影装置２００で撮影された撮影画像を取得する。   The image acquisition unit 101 acquires a captured image captured by the imaging apparatus 200.

第一のキャリブレーション処理部１０２は、外部キャリブレーションを行う。
第一のキャリブレーション処理部１０２は、例えば、従来手法１及び従来手法２の外部キャリブレーションを行う。
第一のキャリブレーション処理部１０２による外部キャリブレーション（第一のキャリブレーションという）により得られた物理座標と画素座標との座標対応関係を第一の座標対応関係という。
第一の座標対応関係は、移動空間６００内の物理座標と撮影装置２００が移動空間６００を撮影して得られる撮影画像における画素座標との対応関係であり、基準座標対応関係の例に相当する。The first calibration processing unit 102 performs external calibration.
The first calibration processing unit 102 performs external calibration of the conventional method 1 and the conventional method 2, for example.
The coordinate correspondence between physical coordinates and pixel coordinates obtained by external calibration (referred to as first calibration) by the first calibration processing unit 102 is referred to as a first coordinate correspondence.
The first coordinate correspondence is a correspondence between physical coordinates in the moving space 600 and pixel coordinates in a captured image obtained by the photographing apparatus 200 photographing the moving space 600, and corresponds to an example of a reference coordinate correspondence. .

第二のキャリブレーション処理部１０３は、第一の座標対応関係を補正するためのキャリブレーション（第二のキャリブレーションという）を行う。
第二のキャリブレーション処理部１０３は、特徴点検出部１０４、差分算出部１０５、補正部１０６を含む。The second calibration processing unit 103 performs calibration for correcting the first coordinate correspondence (referred to as second calibration).
The second calibration processing unit 103 includes a feature point detection unit 104, a difference calculation unit 105, and a correction unit 106.

特徴点検出部１０４は、移動体３００が移動空間６００内で停止した際に撮影装置２００が移動体３００を撮影して得られた撮影画像における移動体３００内の特徴点の画素座標と、撮影装置２００が移動体３００を撮影した際の特徴点の物理座標との対応関係を抽出する。
特徴点は、移動体３００に設けられたキャリブレーションパタンの特徴点である。
特徴点検出部１０４は、撮影画像においてキャリブレーションパタンの特徴点を抽出し、抽出した特徴点の画素座標と、特徴点の物理座標との対応関係を抽出する。
特徴点検出部１０４は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に、特徴点の画素座標と特徴点の物理座標との対応関係を抽出する。
このように、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された特徴点の画素座標と特徴点の物理座標との対応関係を、第二の座標対応関係という。
第二の座標対応関係は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された対応関係であるため、第一の座標対応関係と整合している。
つまり、第一の座標対応関係と第二の座標対応関係との間には相対的な位置ずれはない。
なお、第二の座標対応関係は、照合座標対応関係の例に相当する。
また、特徴点検出部１０４は、第二の座標対応関係が得られた後に、随時、移動体３００が移動空間６００内で停止した際に撮影装置２００が移動体３００を撮影して得られた撮影画像における移動体３００内の特徴点の画素座標と、撮影装置２００が移動体３００を撮影した際の特徴点の物理座標との対応関係を抽出する。
第二の座標対応関係が得られた後に得られた、特徴点の画素座標と特徴点の物理座標との対応関係を、第三の座標対応関係という。
第三の座標対応関係は、第二の座標対応関係と整合していない可能性がある。
第三の座標対応関係は、特徴点座標対応関係の例に相当する。
また、特徴点検出部１０４は、抽出部の例に相当する。The feature point detection unit 104 detects the pixel coordinates of the feature points in the moving body 300 in the captured image obtained by the imaging apparatus 200 capturing the moving body 300 when the moving body 300 stops in the moving space 600, and the imaging. The correspondence relationship between the physical coordinates of the feature points when the apparatus 200 captures the moving body 300 is extracted.
The feature point is a feature point of a calibration pattern provided in the moving body 300.
The feature point detection unit 104 extracts the feature points of the calibration pattern from the captured image, and extracts the correspondence between the pixel coordinates of the extracted feature points and the physical coordinates of the feature points.
The feature point detection unit 104 extracts the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points immediately before or after the first calibration or simultaneously with the first calibration.
Thus, the correspondence between the pixel coordinates of the feature points extracted immediately before or immediately after the first calibration or simultaneously with the first calibration and the physical coordinates of the feature points is referred to as a second coordinate correspondence. .
Since the second coordinate correspondence is a correspondence extracted immediately before or immediately after the first calibration or simultaneously with the first calibration, the second coordinate correspondence is consistent with the first coordinate correspondence.
That is, there is no relative displacement between the first coordinate correspondence and the second coordinate correspondence.
Note that the second coordinate correspondence relationship corresponds to an example of a matching coordinate correspondence relationship.
In addition, the feature point detection unit 104 is obtained by the imaging apparatus 200 imaging the moving body 300 when the moving body 300 stops in the moving space 600 as needed after the second coordinate correspondence is obtained. A correspondence relationship between the pixel coordinates of the feature points in the moving body 300 in the captured image and the physical coordinates of the feature points when the imaging apparatus 200 captures the moving body 300 is extracted.
The correspondence between the pixel coordinates of the feature point and the physical coordinates of the feature point obtained after the second coordinate correspondence is obtained is referred to as a third coordinate correspondence.
The third coordinate correspondence may not be consistent with the second coordinate correspondence.
The third coordinate correspondence corresponds to an example of the feature point coordinate correspondence.
The feature point detection unit 104 corresponds to an example of an extraction unit.

差分算出部１０５は、第二の座標対応関係と第三の座標対応関係との差分を算出する。   The difference calculation unit 105 calculates a difference between the second coordinate correspondence and the third coordinate correspondence.

補正部１０６は、第三の座標対応関係を用いて第一の座標対応関係を補正する。
より具体的には、補正部１０６は、差分算出部１０５により算出された第二の座標対応関係と第三の座標対応関係との差分を用いて、第一の座標対応関係を補正する。The correcting unit 106 corrects the first coordinate correspondence using the third coordinate correspondence.
More specifically, the correction unit 106 corrects the first coordinate correspondence using the difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.

記憶部１０７は、画像取得部１０１により取得された撮影画像を記憶する。
また、記憶部１０７は、第一の座標対応関係が示される第一の座標対応関係情報を記憶する。
また、記憶部１０７は、第二の座標対応関係が示される第二の座標対応関係情報を記憶する。
また、記憶部１０７は、第三の座標対応関係が示される第三の座標対応関係情報を記憶する。
また、記憶部１０７は、差分算出部１０５により算出された第二の座標対応関係と第三の座標対応関係との差分が示される座標対応関係差分情報を記憶する。The storage unit 107 stores the captured image acquired by the image acquisition unit 101.
The storage unit 107 stores first coordinate correspondence information indicating the first coordinate correspondence.
The storage unit 107 stores second coordinate correspondence information indicating the second coordinate correspondence.
The storage unit 107 stores third coordinate correspondence information indicating the third coordinate correspondence.
In addition, the storage unit 107 stores coordinate correspondence relationship difference information indicating a difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.

図３は、本実施の形態に係る情報処理装置１００のハードウェア構成例を示す。
情報処理装置１００は、コンピュータであり、演算装置１１と記憶装置１２を備える。
演算装置１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
記憶装置１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。
記憶装置１２は、図２の記憶部１０７に対応する。
記憶装置１２には、プログラムが記憶されている。
具体的には、記憶装置１２には、画像取得部１０１の機能を実現する画像取得プログラム１０１０が記憶されている。
また、記憶装置１２には、第一のキャリブレーション処理部１０２の機能を実現する第一のキャリブレーションプログラム１０２０が記憶されている。
また、記憶装置１２には、第二のキャリブレーション処理部１０３の機能を実現する第二のキャリブレーションプログラム１０３０が記憶されている。
第二のキャリブレーションプログラム１０３０には、特徴点検出部１０４の機能を実現する特徴点抽出プログラム１０４０と、差分算出部１０５の機能を実現する差分算出プログラム１０５０と、補正部１０６の機能を実現する補正プログラム１０６０が含まれる。
また、図３には図示していないが、記憶装置１２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
演算装置１１がＯＳを実行しながら、図３に示すプログラムを実行することで、第一のキャリブレーション処理部１０２、第二のキャリブレーション処理部１０３、特徴点検出部１０４、差分算出部１０５、補正部１０６の機能が実行される。
なお、第二のキャリブレーションプログラム１０３０が、キャリブレーション処理プログラムの例に相当する。
また、記憶装置１２には、第一の座標対応関係情報１１１１、第二の座標対応関係情報１１１２、第三の座標対応関係情報１１１３、座標対応関係差分情報１１１４、撮影画像１１２０、１１２１も記憶されている。
なお、情報処理装置１００は、演算装置１１、記憶装置１２以外に、マウス、キーボード、タッチパネル等の入力装置、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイ、通信チップ、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置を備えていてもよい。FIG. 3 shows a hardware configuration example of the information processing apparatus 100 according to the present embodiment.
The information processing apparatus 100 is a computer and includes an arithmetic device 11 and a storage device 12.
The arithmetic device 11 is a processor such as a CPU (Central Processing Unit) and is an IC (Integrated Circuit) that performs processing.
The storage device 12 is a memory such as a RAM (Random Access Memory).
The storage device 12 corresponds to the storage unit 107 in FIG.
The storage device 12 stores a program.
Specifically, the storage device 12 stores an image acquisition program 1010 that realizes the function of the image acquisition unit 101.
Further, the storage device 12 stores a first calibration program 1020 that realizes the function of the first calibration processing unit 102.
The storage device 12 stores a second calibration program 1030 that realizes the function of the second calibration processing unit 103.
In the second calibration program 1030, the feature point extraction program 1040 that realizes the function of the feature point detection unit 104, the difference calculation program 1050 that realizes the function of the difference calculation unit 105, and the function of the correction unit 106 are realized. A correction program 1060 is included.
Although not shown in FIG. 3, the storage device 12 also stores an OS (Operating System).
By executing the program shown in FIG. 3 while the computing device 11 executes the OS, the first calibration processing unit 102, the second calibration processing unit 103, the feature point detection unit 104, the difference calculation unit 105, The function of the correction unit 106 is executed.
Note that the second calibration program 1030 corresponds to an example of a calibration processing program.
The storage device 12 also stores first coordinate correspondence information 1111, second coordinate correspondence information 1112, third coordinate correspondence information 1113, coordinate correspondence difference information 1114, and captured images 1120 and 1121. ing.
In addition to the arithmetic device 11 and the storage device 12, the information processing device 100 includes an input device such as a mouse, a keyboard, and a touch panel, a display such as an LCD (Liquid Crystal Display), a communication chip, and a communication such as a NIC (Network Interface Card). An apparatus may be provided.

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る動作例を説明する。*** Explanation of operation ***
Next, an operation example according to the present embodiment will be described.

移動体３００を用いた加工を行う者（以下、オペレータという）が、情報処理装置１００に対して移動体３００の移動経路を表す任意の制御命令を与える。
情報処理装置１００では、図２に図示していない制御手段が、制御命令で指定された位置に移動体３００を移動させるための制御信号を駆動装置４００に出力する。
駆動装置４００は制御信号に従って移動体３００を移動させる。
移動体３００は複数の制御命令の組み合わせにより移動空間６００内の任意の位置に異動させることができる。
制御命令を制御手段に事前に記録しておき、オペレータが任意の制御命令を呼び出すことができる。
また、オペレータは、呼び出した制御命令を複数のステップに分け、ステップごとに実行タイミングを指定することができる。
また、制御命令を制御手段に事前に記録せずに、オペレータが、情報処理装置１００の外部から制御命令を入力することも可能である。A person who performs processing using the moving body 300 (hereinafter referred to as an operator) gives an arbitrary control command representing the moving path of the moving body 300 to the information processing apparatus 100.
In the information processing apparatus 100, a control unit (not shown in FIG. 2) outputs a control signal for moving the moving body 300 to the position specified by the control command to the driving apparatus 400.
The driving device 400 moves the moving body 300 according to the control signal.
The moving body 300 can be moved to an arbitrary position in the moving space 600 by a combination of a plurality of control commands.
The control command is recorded in advance in the control means, and the operator can call any control command.
In addition, the operator can divide the called control command into a plurality of steps and specify the execution timing for each step.
It is also possible for an operator to input a control command from outside the information processing apparatus 100 without recording the control command in advance in the control means.

撮影装置２００は、オペレータの意図する任意のタイミングで移動体３００を撮影できる。
撮影画像は情報処理装置１００で保持される。
情報処理装置１００が撮影のタイミングを指示してもよいし、オペレータが制御命令を用いて撮影タイミングを指示してもよい。The photographing apparatus 200 can photograph the moving body 300 at an arbitrary timing intended by the operator.
The captured image is held by the information processing apparatus 100.
The information processing apparatus 100 may instruct the shooting timing, or the operator may instruct the shooting timing using a control command.

図４は、本実施の形態に係る情報処理装置１００の動作例を示す。
また、図５は、本実施の形態に係る情報処理装置１００におけるデータフロー例を示す。
以下、図４及び図５を用いて、本実施の形態に係る情報処理装置１００の動作例を説明する。
なお、以下にて説明する手順は、キャリブレーション方法の例に相当する。FIG. 4 shows an operation example of the information processing apparatus 100 according to the present embodiment.
FIG. 5 shows a data flow example in the information processing apparatus 100 according to the present embodiment.
Hereinafter, an operation example of the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. 4 and 5.
Note that the procedure described below corresponds to an example of a calibration method.

まず、第一のキャリブレーション処理部１０２が、第一のキャリブレーションを行う（図４のＳ４０１）。
第一のキャリブレーション処理部１０２は、撮影装置２００の撮影画像を画像取得部１０１から取得し、移動体３００の物理座標を制御手段から取得し、撮影画像と移動体の物理座標とに基づき、第一のキャリブレーションを行う。
本明細書では、第一のキャリブレーションの実現方法は特に指定しない。
第一のキャリブレーション処理部１０２は、従来手法１のように、市松模様のキャリブレーションパタンを用いて座標対応関係を取得してもよいし、従来手法２のように、移動体にキャリブレーションパタンを装着して座標対応関係を取得してもよい。
また、第一のキャリブレーション処理部１０２は、他の手法により、座標対応関係を取得してもよい。
第一のキャリブレーション処理部１０２により得られた画素座標と三次元物理座標との対応関係である第一の座標対応関係は、記憶部１０７に記憶される。First, the first calibration processing unit 102 performs first calibration (S401 in FIG. 4).
The first calibration processing unit 102 acquires a captured image of the imaging device 200 from the image acquisition unit 101, acquires physical coordinates of the moving body 300 from the control unit, and based on the captured image and the physical coordinates of the moving body, Perform the first calibration.
In this specification, the method for realizing the first calibration is not particularly specified.
The first calibration processing unit 102 may acquire the coordinate correspondence using a checkered pattern calibration pattern as in the conventional method 1, or the moving pattern may be calibrated to the moving body as in the conventional method 2. May be attached to obtain the coordinate correspondence.
In addition, the first calibration processing unit 102 may acquire the coordinate correspondence by another method.
The first coordinate correspondence that is the correspondence between the pixel coordinates and the three-dimensional physical coordinates obtained by the first calibration processing unit 102 is stored in the storage unit 107.

次に、準備段階として、第二のキャリブレーション処理部１０３が第二の座標対応関係を取得する（Ｓ４０２〜Ｓ４０５）。
第二の座標対応関係は、移動体３００に設けられたキャリブレーションパタンの特徴点を抽出することで取得される。
キャリブレーションパタンは移動体３００に常設された、１個以上の特徴点を持つ撮像対象である。
キャリブレーションパタンの最も簡単な例は、図６に示すような１個の特徴点を持つ市松模様である。
キャリブレーションパタンは、移動体３００に部品として装着してもよい。
また、塗装、貼付、削り出し、刻印のいずれかによりキャリブレーションパタンを移動体３００に設けてもよい。
また、移動体３００の一部を変形させて、キャリブレーションパタンを移動体３００に設けてもよい。
キャリブレーションパタンは、撮影装置２００から撮影可能な位置に設けられる。
キャリブレーションパタンは、移動体３００の一方向、例えば前面にのみ設けてもよいし、移動体３００の全ての面に設けてもよい。
また、移動体３００にキャリブレーションパタンを取り付けるに当たって、あらかじめ制御手段で管理している移動体３００の三次元座標（ｘ，ｙ，ｚ）と、キャリブレーションパタンの特徴点の三次元座標（ｘ’，ｙ’，ｚ’）の関係を測定しておく。
なお、前述したキャリブレーションパタンの形状、実装方法、取り付け位置は一例である。Next, as a preparation stage, the second calibration processing unit 103 acquires the second coordinate correspondence (S402 to S405).
The second coordinate correspondence is acquired by extracting feature points of calibration patterns provided on the moving body 300.
The calibration pattern is an imaging target having one or more feature points that is permanently installed in the moving body 300.
The simplest example of the calibration pattern is a checkered pattern having one feature point as shown in FIG.
The calibration pattern may be mounted on the moving body 300 as a part.
Further, the calibration pattern may be provided on the moving body 300 by any one of painting, sticking, cutting, and engraving.
Further, a part of the moving body 300 may be deformed and the calibration pattern may be provided in the moving body 300.
The calibration pattern is provided at a position where photographing can be performed from the photographing apparatus 200.
The calibration pattern may be provided only in one direction of the moving body 300, for example, the front surface, or may be provided on all surfaces of the moving body 300.
Further, when the calibration pattern is attached to the moving body 300, the three-dimensional coordinates (x, y, z) of the moving body 300 managed in advance by the control means, and the three-dimensional coordinates (x ′) of the feature points of the calibration pattern. , Y ′, z ′) is measured in advance.
The shape, mounting method, and mounting position of the calibration pattern described above are examples.

図４のＳ４０２〜Ｓ４０５は、第一のキャリブレーション処理部１０２による第一のキャリブレーション（Ｓ４０１）と同時（もしくは直前又は直後でもよい）に行われる。
制御手段が移動体３００を移動空間６００内で移動させ（Ｓ４０２）、移動体３００を特定の位置で停止させた場合に、撮影装置２００が移動体３００を撮影する。
画像取得部１０１が撮影画像を取得する（Ｓ４０３）。
次に、特徴点検出部１０４が、画像取得部１０１から撮影画像を取得し、制御手段から移動体３００の停止位置の物理座標を取得し、撮影画像と移動体３００の停止位置の物理座標から、第二の座標対応関係を抽出する（Ｓ４０４）。
制御手段が移動体３００を停止させる度に、以上の動作が行われ、複数の停止位置について第二の座標対応関係が得られる（Ｓ４０５）。
以下、Ｓ４０２、Ｓ４０３、Ｓ４０４の処理の詳細を説明する。S402 to S405 in FIG. 4 are performed simultaneously with the first calibration (S401) by the first calibration processing unit 102 (or immediately before or after).
When the control unit moves the moving body 300 in the moving space 600 (S402) and stops the moving body 300 at a specific position, the imaging apparatus 200 captures the moving body 300.
The image acquisition unit 101 acquires a captured image (S403).
Next, the feature point detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300. Then, the second coordinate correspondence is extracted (S404).
Each time the control unit stops the moving body 300, the above operation is performed, and the second coordinate correspondence is obtained for a plurality of stop positions (S405).
Details of the processes in S402, S403, and S404 will be described below.

ここでは、移動体３００が物理座標（ｘｂ１，ｙｂ１，ｚｂ１）、（ｘｂ２，ｙｂ２，ｚｂ２）．．．．（ｘｂｎ，ｙｂｎ，ｚｂｎ）の位置で停止し、それぞれの停止位置で撮影された撮影画像１〜撮影画像ｎが取得されたとする。
なお、移動体３００の移動経路及び撮影画像の取得の方法は任意である。
例えば、移動体３００を物理座標（ｘｂ１，ｙｂ１，ｚｂ１）、（ｘｂ２，ｙｂ２，ｚｂ２）．．．．（ｘｂｎ，ｙｂｎ，ｚｂｎ）の位置で順に停止させ、各停止位置で撮影装置２００に撮影を行わせる複数の制御命令をあらかじめ用意しておけば、オペレータは当該複数の制御命令の実行を指示するだけで複数の停止位置における撮影画像１〜撮影画像ｎを情報処理装置１００に取り込むことができる。
オペレータが逐一、制御手段に移動指示を出し、また、撮影装置２００に撮影指示を出すようにしてもよい。
また、第一のキャリブレーション（Ｓ４０１）が従来手法２で実現される場合は、第一のキャリブレーションの実行時に移動体３００の移動と撮影が行われているので、特徴点検出部１０４が、第一のキャリブレーションで撮影された撮影画像を用いて第二の座標対応関係を抽出してもよい。Here, the moving body 300 has physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . It is assumed that the camera stops at the position (x bn , y bn , z bn ), and the captured images 1 to n captured at the respective stop positions are acquired.
Note that the moving path of the moving body 300 and the method of acquiring the captured image are arbitrary.
For example, the moving object 300 is represented by physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . If a plurality of control commands for stopping in order at the positions of (x bn , y bn , z bn ) and causing the photographing apparatus 200 to perform photographing at each stop position are prepared in advance, the operator executes the plurality of control commands. The captured image 1 to captured image n at a plurality of stop positions can be taken into the information processing apparatus 100 simply by instructing.
The operator may issue a movement instruction to the control means one by one, or may issue a photographing instruction to the photographing apparatus 200.
Further, when the first calibration (S401) is realized by the conventional method 2, since the moving body 300 is moved and photographed when the first calibration is performed, the feature point detection unit 104 is The second coordinate correspondence may be extracted using the captured image captured by the first calibration.

特徴点検出部１０４は、撮影画像からキャリブレーションパタンの特徴点の画素座標を検出する。
なお、特徴点検出部１０４は、どのような方法で特徴点の画素座標を検出してもよい。
特徴点検出部１０４は、移動体３００の三次元座標（ｘ，ｙ，ｚ）とキャリブレーションパタンの三次元座標（ｘ’，ｙ’，ｚ’）との関係は取得済みである。
このため、特徴点検出部１０４は、特徴点の画素座標と特徴点の物理座標との対応関係を抽出することができる。
特徴点検出部１０４は、撮影画像１〜撮影画像ｎに対して、キャリブレーションパタンの特徴点の画素座標（ａｂ１，ｂｂ１）、（ａｂ２，ｂｂ２）．．．（ａｂｎ，ｂｂｎ）を検出し、撮影画像１〜撮影画像ｎの撮影の際のキャリブレーションパタンの特徴点の三次元座標（ｘ’ｂ１，ｙ’ｂ１，ｚ’ｂ１）、（ｘ’ｂ２，ｙ’ｂ２，ｚ’ｂ２）．．．（ｘ’ｂｎ，ｙ’ｂｎ，ｚ’ｂｎ）と対応付けて、図７に示す第二の座標対応関係を得る。
そして、特徴点検出部１０４により得られた第二の座標対応関係は、記憶部１０７に記憶される。
以上で事前準備は完了である。
以降、運用段階において、特徴点検出部１０４と差分算出部１０５が、第二の座標対応関係を用いて、撮影装置２００の位置ずれを補正する。
運用段階とは、移動体３００が加工テーブル５００上の材料に対する加工を行う段階である。
つまり、情報処理装置１００は、運用段階において、移動体３００が材料の加工のために停止すると撮影装置２００が移動体３００を撮影し、第三の座標対応関係を抽出し、第三の座標対応関係と第二の座標対応関係との差分を用いて第一の座標対応関係を補正する。The feature point detection unit 104 detects the pixel coordinates of the feature points of the calibration pattern from the captured image.
Note that the feature point detection unit 104 may detect the pixel coordinates of the feature points by any method.
The feature point detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern.
Therefore, the feature point detection unit 104 can extract the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points.
The feature point detection unit 104 performs pixel coordinates (a b1 , b b1 ), (a b2 , b b2 ). . . (A bn , b bn ) is detected, and the three-dimensional coordinates (x ′ b1 , y ′ b1 , z ′ b1 ) and (x ′ b1 ) of the feature points of the calibration pattern when the captured images 1 to n are captured. b2 , y'b2 , z'b2 ). . . In association with (x ′ bn , y ′ bn , z ′ bn ), the second coordinate correspondence shown in FIG. 7 is obtained.
Then, the second coordinate correspondence obtained by the feature point detection unit 104 is stored in the storage unit 107.
The advance preparation is complete.
Thereafter, in the operation stage, the feature point detection unit 104 and the difference calculation unit 105 correct the positional deviation of the photographing apparatus 200 using the second coordinate correspondence.
The operation stage is a stage in which the moving body 300 processes the material on the processing table 500.
That is, in the information processing apparatus 100, when the moving body 300 stops for material processing in the operation stage, the imaging apparatus 200 captures the moving body 300, extracts the third coordinate correspondence, and the third coordinate correspondence. The first coordinate correspondence is corrected using the difference between the relationship and the second coordinate correspondence.

具体的には、制御手段が移動体３００を移動空間６００内で移動させ（Ｓ４０６）、移動体３００を特定の位置（例えば、材料のある位置）で停止させた場合に、撮影装置２００が移動体３００を撮影する。
そして、画像取得部１０１が撮影画像を取得する（Ｓ４０７）。
次に、特徴点検出部１０４が、画像取得部１０１から撮影画像を取得し、制御手段から移動体３００の停止位置の物理座標を取得し、撮影画像と移動体３００の停止位置の物理座標から、第三の座標対応関係を抽出する（Ｓ４０８）（抽出処理）。
制御手段が移動体３００を停止させる度に、以上の動作が行われ、複数の停止位置について第三の座標対応関係が得られる（Ｓ４０９）。
なお、Ｓ４０６ではＳ４０２と同じ動作が行われ、Ｓ４０７ではＳ４０３と同じ動作が行われ、Ｓ４０８ではＳ４０４と同じ動作が行われる。Specifically, when the control unit moves the moving body 300 in the moving space 600 (S406) and stops the moving body 300 at a specific position (for example, a position where material is present), the photographing apparatus 200 moves. The body 300 is photographed.
Then, the image acquisition unit 101 acquires a captured image (S407).
Next, the feature point detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300. Then, the third coordinate correspondence is extracted (S408) (extraction process).
Each time the control unit stops the moving body 300, the above operation is performed, and a third coordinate correspondence is obtained for a plurality of stop positions (S409).
Note that the same operation as S402 is performed in S406, the same operation as S403 is performed in S407, and the same operation as S404 is performed in S408.

運用段階では、移動体３００が撮影に十分な期間停止した際に、撮影装置２００が移動体３００の撮影を行い、画像取得部１０１を介して、特徴点検出部１０４が、撮影画像ｍを取得し、更に、制御手段から、移動体３００の停止位置の物理座標（ｘｃ，ｙｃ，ｚｃ）を取得する。
特徴点検出部１０４は、撮影画像からキャリブレーションパタンの特徴点の画素座標（ａｃ，ｂｃ）を検出する。
前述のように、特徴点検出部１０４は、移動体３００の三次元座標（ｘ，ｙ，ｚ）とキャリブレーションパタンの三次元座標（ｘ’，ｙ’，ｚ’）との関係は取得済みである。
このため、特徴点検出部１０４は、特徴点の画素座標（ａｃ，ｂｃ）と特徴点の物理座標（ｘ’ｃ，ｙ’ｃ，ｚ’ｃ）との対応関係を抽出することができる。
移動体３００が停止するたびに撮影と特徴点の検出を繰り返すことで、現在の撮影装置２００と移動体３００の位置関係を反映した第三の座標対応関係が得られる。In the operation stage, when the moving body 300 is stopped for a period sufficient for photographing, the photographing apparatus 200 photographs the moving body 300, and the feature point detecting unit 104 obtains the photographed image m via the image obtaining unit 101. Further, the physical coordinates (x c , y c , z c ) of the stop position of the moving body 300 are acquired from the control means.
The feature point detection unit 104 detects the pixel coordinates (a c , b c ) of the feature point of the calibration pattern from the captured image.
As described above, the feature point detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern. It is.
Therefore, the feature point detection unit 104 can extract the correspondence between the pixel coordinates (a c , b c ) of the feature points and the physical coordinates (x ′ c , y ′ c , z ′ c ) of the feature points. it can.
By repeating imaging and feature point detection each time the moving body 300 stops, a third coordinate correspondence that reflects the current positional relationship between the imaging apparatus 200 and the moving body 300 is obtained.

特徴点検出部１０４は、更に、第三の座標対応関係に対する補間処理を行って、第二の座標対応関係の複数の物理座標に対する複数の画素座標を導出して、補間された第三の座標対応関係を得る（Ｓ４１０）。
この結果、図８に示すような三次元座標（ｘｂ１，ｙｂ１，ｚｂ１）、（ｘｂ２，ｙｂ２，ｚｂ２）．．．．（ｘｂｎ，ｙｂｎ，ｚｂｎ）に対応する画素座標（ａｃ１，ｂｃ１）、（ａｃ２，ｂｃ２）．．．（ａｃｎ，ｂｃｎ）を、補間された第三の座標対応関係として得る。
なお、補間処理はどのような補間方法により実現されてもよい。The feature point detection unit 104 further performs an interpolation process for the third coordinate correspondence to derive a plurality of pixel coordinates for a plurality of physical coordinates of the second coordinate correspondence, and the interpolated third coordinates A correspondence relationship is obtained (S410).
As a result, the three-dimensional coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . Pixel coordinates (a c1 , b c1 ), (a c2 , b c2 ), corresponding to (x bn , y bn , z bn ). . . (A cn , b cn ) is obtained as the interpolated third coordinate correspondence.
The interpolation process may be realized by any interpolation method.

次に、差分算出部１０５が、図９に示すように、補間された第三の座標対応関係と、第二の座標対応関係との差分を算出する（Ｓ４１１）。
また、差分算出部１０５は、算出した差分を座標対応関係差分として補正部１０６に出力する。
この座標対応関係差分が、撮影装置２００の位置ずれによって発生する座標上の誤差を表す。
補正部１０６は、この座標対応関係差分を用いて第一の座標対応関係を補正し（Ｓ４１２）（補正処理）、運用段階で発生した撮影装置２００の位置ずれを吸収するための新たな第一の座標対応関係を得る。
なお、座標対応関係差分を用いた第一の座標対応関係の補正は、最も簡単には第一の座標対応関係に座標対応関係差分を足し込むことにより実現される。Next, as shown in FIG. 9, the difference calculation unit 105 calculates the difference between the interpolated third coordinate correspondence and the second coordinate correspondence (S411).
Further, the difference calculation unit 105 outputs the calculated difference to the correction unit 106 as a coordinate correspondence difference.
This coordinate correspondence difference represents a coordinate error caused by a positional shift of the image capturing apparatus 200.
The correction unit 106 corrects the first coordinate correspondence using the coordinate correspondence difference (S412) (correction process), and a new first for absorbing the positional deviation of the imaging apparatus 200 that occurs in the operation stage. Get the coordinate correspondence of.
The correction of the first coordinate correspondence using the coordinate correspondence difference is most easily realized by adding the coordinate correspondence difference to the first coordinate correspondence.

＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態によれば、撮影装置２００の位置がずれた場合でも、移動体３００を加工に用いながら位置ずれの検出及び座標対応関係の補正が可能である。
従来手法１及び従来手法２では、移動体３００を用いた加工を停止して再度外部キャリブレーションを行う必要があるが、本実施の形態では、移動体３００を用いた加工を停止することなく、撮影装置２００の位置ずれに対応させた適正な座標対応座関係を得ることができる。*** Effect of the embodiment ***
As described above, according to the present embodiment, even when the position of the photographing apparatus 200 is displaced, it is possible to detect the displacement and correct the coordinate correspondence while using the moving body 300 for processing.
In the conventional method 1 and the conventional method 2, it is necessary to stop the processing using the moving body 300 and perform external calibration again, but in this embodiment, without stopping the processing using the moving body 300, An appropriate coordinate correspondence relationship corresponding to the positional deviation of the photographing apparatus 200 can be obtained.

実施の形態２．
実施の形態１では、図２に示す画像取得部１０１、第一のキャリブレーション処理部１０２、特徴点検出部１０４、差分算出部１０５、補正部１０６を、図３に示すようにプログラムによって実現している。
実施の形態２では、図２に示す画像取得部１０１、第一のキャリブレーション処理部１０２、特徴点検出部１０４、差分算出部１０５、補正部１０６を専用演算装置によって実現する。
また、実施の形態１では、図３に示すように、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報を記憶装置１２に格納している。
実施の形態２では、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報をそれぞれ個別の記憶装置に格納する。Embodiment 2. FIG.
In the first embodiment, the image acquisition unit 101, the first calibration processing unit 102, the feature point detection unit 104, the difference calculation unit 105, and the correction unit 106 illustrated in FIG. 2 are realized by a program as illustrated in FIG. ing.
In the second embodiment, the image acquisition unit 101, the first calibration processing unit 102, the feature point detection unit 104, the difference calculation unit 105, and the correction unit 106 illustrated in FIG.
In the first embodiment, as shown in FIG. 3, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in the storage device. 12.
In the second embodiment, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in individual storage devices.

図１０は、本実施の形態に係る情報処理装置１００の構成例を示す。
画像取得演算装置１１０１は、図２に示す画像取得部１０１を実現する演算装置である。
画像取得演算装置１１０１の動作は、画像取得部１０１と同じであるので、説明は省略する。
第一のキャリブレーション演算装置１１０２は、図２に示す第一のキャリブレーション処理部１０２を実現する。
第一のキャリブレーション演算装置１１０２の動作は、第一のキャリブレーション処理部１０２と同じであるので、説明は省略する。
特徴点検出演算装置１１０３は、図２に示す特徴点検出部１０４を実現する。
特徴点検出演算装置１１０３の動作は、特徴点検出部１０４と同じであるので、説明は省略する。
差分算出演算装置１１０４は、図２に示す差分算出部１０５を実現する。
差分算出演算装置１１０４の動作は、差分算出部１０５と同じであるので、説明は省略する。
補正演算装置１１０５は、図２に示す補正部１０６を実現する。
補正演算装置１１０５の動作は、補正部１０６と同じであるので、説明は省略する。FIG. 10 shows a configuration example of the information processing apparatus 100 according to the present embodiment.
The image acquisition arithmetic device 1101 is an arithmetic device that implements the image acquisition unit 101 shown in FIG.
Since the operation of the image acquisition arithmetic device 1101 is the same as that of the image acquisition unit 101, description thereof is omitted.
The first calibration calculation device 1102 implements the first calibration processing unit 102 shown in FIG.
Since the operation of the first calibration calculation device 1102 is the same as that of the first calibration processing unit 102, the description thereof is omitted.
The feature point detection calculation device 1103 implements the feature point detection unit 104 shown in FIG.
Since the operation of the feature point detection calculation device 1103 is the same as that of the feature point detection unit 104, description thereof is omitted.
The difference calculation calculation device 1104 implements the difference calculation unit 105 shown in FIG.
Since the operation of the difference calculation calculation device 1104 is the same as that of the difference calculation unit 105, description thereof is omitted.
The correction calculation device 1105 implements the correction unit 106 shown in FIG.
Since the operation of the correction calculation device 1105 is the same as that of the correction unit 106, description thereof is omitted.

また、図１０において、撮影画像記憶装置１２００は、撮影画像の専用記憶装置である。
また、第一の座標対応関係情報記憶装置１２０１は、第一の座標対応関係情報の専用記憶装置である。
また、第二の座標対応関係情報記憶装置１２０２は、第二の座標対応関係情報の専用記憶装置である。
第三の座標対応関係情報記憶装置１２０３は、第三の座標対応関係情報の専用記憶装置である。
座標対応関係差分情報記憶装置１２０４は、座標対応関係差分情報の専用記憶装置である。In FIG. 10, a captured image storage device 1200 is a dedicated storage device for captured images.
The first coordinate correspondence information storage device 1201 is a dedicated storage device for first coordinate correspondence information.
The second coordinate correspondence information storage device 1202 is a dedicated storage device for second coordinate correspondence information.
The third coordinate correspondence information storage device 1203 is a dedicated storage device for third coordinate correspondence information.
The coordinate correspondence difference information storage device 1204 is a dedicated storage device for coordinate correspondence difference information.

また、図１１に示すように、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報を座標対応関係情報記憶装置１２０５でまとめて記憶することも可能である。
１つの記憶装置でまとめて記憶する情報の組合せは任意であり、図１１に示す組み合わせ以外の組み合わせを適用してもよい。
また、図１２に示すように、画像取得部１０１を画像取得プログラム１０１０で実現し、差分算出部１０５を差分算出プログラム１０５０で実現し、補正部１０６を補正プログラム１０６０で実現し、第一のキャリブレーション処理部１０２を第一のキャリブレーション演算装置１１０２で実現し、特徴点検出部１０４を特徴点検出演算装置１１０３で実現するようにしてもよい。
いずれの機能モジュールをプログラムで実現し、いずれの機能モジュールを演算装置で実現するかは任意であり、図１２に示す組み合わせ以外の組み合わせを適用してもよい。In addition, as shown in FIG. 11, the first coordinate correspondence information, the second coordinate correspondence information, and the third coordinate correspondence information can be stored together in the coordinate correspondence information storage device 1205. .
The combination of information stored together in one storage device is arbitrary, and combinations other than the combinations shown in FIG. 11 may be applied.
As shown in FIG. 12, the image acquisition unit 101 is realized by the image acquisition program 1010, the difference calculation unit 105 is realized by the difference calculation program 1050, the correction unit 106 is realized by the correction program 1060, and the first calibration is performed. The processing unit 102 may be realized by the first calibration calculation device 1102 and the feature point detection unit 104 may be realized by the feature point detection calculation device 1103.
Which functional module is realized by a program and which functional module is realized by an arithmetic unit is arbitrary, and combinations other than the combinations shown in FIG. 12 may be applied.

以上、本発明の実施の形態について説明したが、これら２つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。Although the embodiments of the present invention have been described above, these two embodiments may be combined and implemented.
Alternatively, one of these two embodiments may be partially implemented.
Alternatively, these two embodiments may be partially combined.
In addition, this invention is not limited to these embodiment, A various change is possible as needed.

１００ 情報処理装置、１０１ 画像取得部、１０２ 第一のキャリブレーション処理部、１０３ 第二のキャリブレーション処理部、１０４ 特徴点検出部、１０５ 差分算出部、１０６ 補正部、１０７ 記憶部、２００ 撮影装置、３００ 移動体、４００ 駆動装置、５００ 加工テーブル、６００ 移動空間、７００ 材料。   DESCRIPTION OF SYMBOLS 100 Information processing apparatus, 101 Image acquisition part, 102 1st calibration process part, 103 2nd calibration process part, 104 feature point detection part, 105 difference calculation part, 106 correction | amendment part, 107 memory | storage part, 200 imaging device , 300 moving body, 400 driving device, 500 processing table, 600 moving space, 700 material.

Claims (3)

移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する情報処理装置。 Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A storage unit for storing a correspondence relationship with coordinates as a reference coordinate correspondence relationship;
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship;
An information processing apparatus comprising: a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit. 前記記憶部は、
前記抽出部による前記特徴点座標対応関係の抽出に先立って、
前記特徴点の画素座標と物理座標との対応関係であって、前記基準座標対応関係と整合している対応関係を、照合座標対応関係として記憶しており、
前記情報処理装置は、更に、
前記抽出部により抽出された前記特徴点座標対応関係と前記照合座標対応関係との差分を算出する差分算出部を有し、
前記補正部は、
前記差分算出部により算出された前記特徴点座標対応関係と前記照合座標対応関係との差分を用いて、前記基準座標対応関係を補正する請求項１に記載の情報処理装置。 The storage unit
Prior to extraction of the feature point coordinate correspondence by the extraction unit,
A correspondence relationship between the pixel coordinates and physical coordinates of the feature points, and a correspondence relationship that matches the reference coordinate correspondence relationship is stored as a matching coordinate correspondence relationship,
The information processing apparatus further includes:
A difference calculation unit that calculates a difference between the feature point coordinate correspondence extracted by the extraction unit and the matching coordinate correspondence;
The correction unit is
The information processing apparatus according to claim 1, wherein the reference coordinate correspondence is corrected using a difference between the feature point coordinate correspondence calculated by the difference calculation unit and the collation coordinate correspondence. 前記記憶部は、
前記照合座標対応関係として、複数の画素座標と複数の物理座標との対応関係を記憶しており、
前記抽出部は、
前記撮影装置が前記移動体を撮影して得られた撮影画像における前記特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標とに対する補間処理により、前記照合座標対応関係の前記複数の物理座標に対する複数の画素座標を導出して前記特徴点座標対応関係を抽出する請求項２に記載の情報処理装置。 The storage unit
As the collation coordinate correspondence, a correspondence relationship between a plurality of pixel coordinates and a plurality of physical coordinates is stored,
The extraction unit includes:
The interpolation processing for the pixel coordinates of the feature points in the captured image obtained by imaging the moving body by the imaging device and the physical coordinates of the feature points when the imaging device images the moving body, The information processing apparatus according to claim 2, wherein a plurality of pixel coordinates with respect to the plurality of physical coordinates in the matching coordinate correspondence are derived to extract the feature point coordinate correspondence.
JP2017519001A 2015-05-29 2015-05-29 Information processing device Expired - Fee Related JP6199000B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/065664 WO2016194078A1 (en) 2015-05-29 2015-05-29 Information processing apparatus, calibration method, and calibration processing program

Publications (2)

Publication Number Publication Date
JPWO2016194078A1 JPWO2016194078A1 (en) 2017-09-14
JP6199000B2 true JP6199000B2 (en) 2017-09-20

Family

ID=57441879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017519001A Expired - Fee Related JP6199000B2 (en) 2015-05-29 2015-05-29 Information processing device

Country Status (2)

Country Link
JP (1) JP6199000B2 (en)
WO (1) WO2016194078A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6697503B2 (en) * 2018-03-29 2020-05-20 ファナック株式会社 Imaging system
JP7273618B2 (en) * 2019-05-30 2023-05-15 株式会社ディスコ processing equipment
CN113014816B (en) * 2021-03-03 2022-05-27 常州微亿智造科技有限公司 Method and device for determining trigger point of flying shooting
JP7015949B1 (en) 2021-03-15 2022-02-14 Dmg森精機株式会社 Sticking position measuring device and machine tool equipped with it

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03111911A (en) * 1989-09-27 1991-05-13 Fanuc Ltd Method for correcting camera position in vision system
JP3531674B2 (en) * 2001-08-07 2004-05-31 株式会社ファースト Calibration method, positioning method, positioning device, calibration program, and positioning program
JP5418490B2 (en) * 2010-12-27 2014-02-19 三菱電機株式会社 POSITIONING CONTROL DEVICE AND POSITIONING DEVICE HAVING THE SAME

Also Published As

Publication number Publication date
WO2016194078A1 (en) 2016-12-08
JPWO2016194078A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US10647001B2 (en) Calibration device, calibration method, and computer readable medium for visual sensor
KR101636605B1 (en) System and method for calibration of machine vision cameras along at least three discrete planes
CN107428009B (en) Method for commissioning an industrial robot, industrial robot system and control system using the method
US10191470B2 (en) Welding machine and control method therefor
KR20200093464A (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP5923824B2 (en) Image processing device
KR20180120647A (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6199000B2 (en) Information processing device
JP6703812B2 (en) 3D object inspection device
CN109556510B (en) Position detection device and computer-readable storage medium
CN111152243B (en) Control system
WO2017115620A1 (en) Deformation work assist system and deformation work assist method
JP2011155412A (en) Projection system and distortion correction method in the same
JP6599698B2 (en) Image measuring apparatus and control program therefor
KR102235999B1 (en) Deformation processing support system and deformation processing support method
JP2008211009A (en) Method of preparing component library data
JP2013234976A (en) External appearance inspection device and external appearance inspection method
JP6588270B2 (en) Work position detection apparatus and work position detection method
KR20140113449A (en) Drawing data generating method, drawing method, drawing data generating apparatus and drawing apparatus
JP6253847B1 (en) Laser processing apparatus, laser processing method, and laser processing program
WO2021075090A1 (en) Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device
JP5587021B2 (en) Component image processing apparatus and component image processing method
CN114902281A (en) Image processing system
JP2019022149A5 (en)
JP7482268B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170406

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170822

R150 Certificate of patent or registration of utility model

Ref document number: 6199000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees