JP2020041802A - Image processing device, projector control system, and camera control system - Google Patents
Image processing device, projector control system, and camera control system Download PDFInfo
- Publication number
- JP2020041802A JP2020041802A JP2018166703A JP2018166703A JP2020041802A JP 2020041802 A JP2020041802 A JP 2020041802A JP 2018166703 A JP2018166703 A JP 2018166703A JP 2018166703 A JP2018166703 A JP 2018166703A JP 2020041802 A JP2020041802 A JP 2020041802A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- unit
- base region
- depth map
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003550 marker Substances 0.000 claims abstract description 160
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 abstract description 22
- 238000005259 measurement Methods 0.000 description 41
- 238000009434 installation Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、３次元計測に用いられる多眼カメラの位置姿勢の推定に関する。 The present invention relates to estimating the position and orientation of a multi-lens camera used for three-dimensional measurement.
特許文献１には、複数種類のパターンを計測対象物体に投影して撮影し、投影したパターンと計測対象物体の形状モデルと計測対象物体の概略位置姿勢を示す情報とに基づいて、撮像画像上のパターンの座標値を算出することが記載されている（要約書）。また、特許文献１には、算出された座標値を利用して、撮像画像上の撮影されたパターンと投影されたパターンとを対応づけし、計測対象物体に投影されたパターンと撮像部との距離を求めることも記載されている（要約書）。さらに、特許文献１には、求めた距離と計測対象物体の形状モデルとを用いて計測対象物体の位置姿勢を推定することも記載されている（要約書）。ただし、特許文献１では、パターン投影部のレンズの座標系と撮像部の座標系が固定されているとしており（［００３１］）、撮像部の移動および／または回転によりその座標系が変化した場合に、いかにして変化後の座標系、すなわち撮像部の位置姿勢を求めるのかについては明らかにしていない。 Patent Document 1 discloses that a plurality of types of patterns are projected and photographed on a measurement target object, and a captured image is formed based on the projected pattern, the shape model of the measurement target object, and information indicating the approximate position and orientation of the measurement target object. (Abstract). Further, in Patent Literature 1, using a calculated coordinate value, a captured pattern on a captured image and a projected pattern are associated with each other, and a pattern projected on a measurement target object and an imaging unit are associated with each other. It also states that the distance is determined (abstract). Further, Patent Literature 1 also describes that the position and orientation of the measurement target object are estimated using the obtained distance and the shape model of the measurement target object (abstract). However, in Patent Document 1, the coordinate system of the lens of the pattern projection unit and the coordinate system of the imaging unit are fixed ([0031]), and when the coordinate system changes due to movement and / or rotation of the imaging unit. However, it is not clear how to obtain the changed coordinate system, that is, the position and orientation of the imaging unit.
特許文献２には、３つの指標の撮影結果に基づいて、ロボットアームを制御することにより、ロボットハンドを目標撮影点に移動させること、および目標撮影点でさらにマーカーを撮影して、目標撮影点が正確であることを確認できることが記載されている（［００６８］）。 Patent Literature 2 discloses that a robot hand is moved to a target imaging point by controlling a robot arm based on the imaging results of three indices, and a marker is further imaged at the target imaging point to obtain a target imaging point. Can be confirmed to be accurate ([0068]).
特許文献２によれば、指標は、インク印刷により、黒地の板に白円を施して形成される（［００２３］）。すなわち、特許文献２において、指標の位置は固定的であり、ロボットハンドが移動可能な目標撮影点を変更することは容易でない。また、特許文献２によれば、マーカーは、実作業でワークが載置される作業台上に直接設置されるので（［００２５］）、ワークの形状および位置姿勢と、ロボットハンドによって把持されるステレオカメラの位置姿勢次第で、ステレオカメラがマーカーを見失うことがあり得る。かかる場合に、ロボットハンドの移動量を推定することは困難である。 According to Patent Literature 2, the index is formed by applying a white circle to a black background plate by ink printing ([0023]). That is, in Patent Literature 2, the position of the index is fixed, and it is not easy to change the target shooting point at which the robot hand can move. Further, according to Patent Document 2, the marker is directly installed on the workbench on which the work is placed in actual work ([0025]), so that the shape, position and orientation of the work, and the robot hand are gripped. Depending on the position and orientation of the stereo camera, the stereo camera can lose track of the marker. In such a case, it is difficult to estimate the movement amount of the robot hand.
本発明は、多眼カメラの位置姿勢の推定を支援することを目的とする。 An object of the present invention is to support estimation of the position and orientation of a multi-view camera.
本発明の一態様によれば、画像処理装置は、記憶部と、デプスマップ生成部と、ベース領域抽出部と、マーカー検出部と、投影位置判定部とを含む。記憶部は、予め定められた初期位置姿勢を取った状態の多眼カメラの撮影範囲内に目標物体が設置されていない時に、初期位置姿勢を取る多眼カメラによって撮影された第１の画像群に基づいて生成された基準デプスマップを記憶する。デプスマップ生成部は、撮影範囲内に目標物体が設置されていて、かつプロジェクタによってマーカーが投影されている時に、初期位置姿勢を取る多眼カメラによって撮影された第２の画像群に基づいて対象デプスマップを生成する。ベース領域抽出部は、少なくとも基準デプスマップと対象デプスマップとで同一のデプスを持つ第１の領域をベース領域として抽出する。マーカー検出部は、マーカーの位置を第２の画像群から検出する。投影位置判定部は、マーカーの位置がベース領域にあるか否かを判定する。 According to one aspect of the present invention, an image processing device includes a storage unit, a depth map generation unit, a base region extraction unit, a marker detection unit, and a projection position determination unit. The storage unit is configured to store a first image group captured by the multi-lens camera having the initial position and orientation when the target object is not set within the imaging range of the multi-lens camera in the state having the predetermined initial position and orientation. Is stored based on the reference depth map. When the target object is set within the shooting range and the marker is projected by the projector, the depth map generation unit performs the target processing based on the second image group taken by the multi-lens camera taking the initial position and orientation. Generate a depth map. The base region extraction unit extracts, as a base region, a first region having the same depth at least in the reference depth map and the target depth map. The marker detection unit detects the position of the marker from the second image group. The projection position determination unit determines whether the position of the marker is in the base region.
本発明の別の態様によれば、画像処理装置は、記憶部と、デプスマップ生成部と、ベース領域抽出部と、投影位置決定部とを含む。記憶部は、予め定められた初期位置姿勢を取った状態の多眼カメラの撮影範囲内に目標物体が設置されていない時に、初期位置姿勢を取る多眼カメラによって撮影された第１の画像群に基づいて生成された基準デプスマップを記憶する。デプスマップ生成部は、撮影範囲内に目標物体が設置されている時に、初期位置姿勢を取る多眼カメラによって撮影された第２の画像群に基づいて対象デプスマップを生成する。ベース領域抽出部は、少なくとも基準デプスマップと対象デプスマップとで同一のデプスを持つ第１の領域をベース領域として抽出する。投影位置決定部は、プロジェクタによってマーカーが投影される投影位置をベース領域から決定する。 According to another aspect of the present invention, an image processing device includes a storage unit, a depth map generation unit, a base region extraction unit, and a projection position determination unit. The storage unit is configured to store a first image group captured by the multi-lens camera having the initial position and orientation when the target object is not set within the imaging range of the multi-lens camera in the state having the predetermined initial position and orientation. Is stored based on the reference depth map. The depth map generation unit generates a target depth map based on the second image group captured by the multi-lens camera taking the initial position and orientation when the target object is set within the capturing range. The base region extraction unit extracts, as a base region, a first region having the same depth at least in the reference depth map and the target depth map. The projection position determination unit determines a projection position where the marker is projected by the projector from the base region.
本発明によれば、多眼カメラの位置姿勢の推定を支援することができる。 According to the present invention, it is possible to support estimation of the position and orientation of a multi-lens camera.
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。 Hereinafter, an embodiment will be described with reference to the drawings. In the following, the same or similar elements as those already described are denoted by the same or similar reference numerals, and redundant description is basically omitted.
（第１の実施形態）
第１の実施形態に係る画像処理装置は、例えば図２に示す３次元計測システムに組み込むことができる。この３次元計測システムは、多眼カメラ１０と、プロジェクタ２０と、プロジェクタ／カメラ制御装置３０と、本実施形態に係る画像処理装置１００とを含む。なお、画像処理装置１００およびプロジェクタ／カメラ制御装置３０の組み合わせを、プロジェクタ制御システム、カメラ制御システム、またはプロジェクタ／カメラ制御システムと呼ぶこともできる。
(First embodiment)
The image processing apparatus according to the first embodiment can be incorporated in, for example, the three-dimensional measurement system shown in FIG. This three-dimensional measurement system includes a multi-lens camera 10, a projector 20, a projector / camera control device 30, and an image processing device 100 according to the present embodiment. Note that the combination of the image processing device 100 and the projector / camera control device 30 can also be called a projector control system, a camera control system, or a projector / camera control system.
多眼カメラ１０は、例えばロボットハンドに取り付けられ、被写体６０が設置された台７０を見下ろす形で当該被写体６０を撮影することになる。なお、図２によれば、多眼カメラ１０は２つのカメラを備えているが、３つ以上のカメラを備えていてもよい。 The multi-lens camera 10 is attached to, for example, a robot hand and captures an image of the subject 60 while looking down on a table 70 on which the subject 60 is installed. In addition, according to FIG. 2, the multi-lens camera 10 includes two cameras, but may include three or more cameras.
プロジェクタ／カメラ制御装置３０は、多眼カメラ１０およびプロジェクタ２０を制御する。具体的には、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０に、後述されるマーカーの投影、または後述される３次元計測を行うための既定の計測用パターンの投影を命令する。プロジェクタ／カメラ制御装置３０は、プロジェクタ２０によるマーカーの投影位置を制御することもできる。例えば、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０に指定位置へマーカーを投影させるためのプロジェクタ制御信号を生成し、当該プロジェクタ制御信号をプロジェクタ２０へ供給し得る。 The projector / camera control device 30 controls the multi-lens camera 10 and the projector 20. Specifically, the projector / camera control device 30 instructs the projector 20 to project a marker described later or a predetermined measurement pattern for performing three-dimensional measurement described later. The projector / camera control device 30 can also control the projection position of the marker by the projector 20. For example, the projector / camera control device 30 can generate a projector control signal for causing the projector 20 to project a marker at a specified position, and supply the projector control signal to the projector 20.
また、プロジェクタ／カメラ制御装置３０は、多眼カメラ１０を移動（平行移動）させたり、多眼カメラ１０の姿勢または輻輳角を変更したり、多眼カメラ１０に撮影を命令したりする。ここで、多眼カメラ１０の位置姿勢とは、多眼カメラ１０の位置および姿勢の少なくとも一方を指す。多眼カメラ１０の位置は、例えば予め定められた初期位置姿勢を基準とした、多眼カメラ１０の３次元位置により表現され得る。また、多眼カメラ１０の姿勢は、例えば予め定められた初期位置姿勢を基準とした、多眼カメラ１０のロール、ピッチおよび／またはヨー方向の回転量により表現され得る。プロジェクタ／カメラ制御装置３０は、例えば、多眼カメラ１０の位置および／または姿勢を変更するためのカメラ制御信号を生成し、図示されない多眼カメラ１０の駆動機構へ供給してもよい。駆動機構は、このカメラ制御信号に従って、多眼カメラ１０を駆動することによりその位置および／または姿勢を変更する。 Further, the projector / camera control device 30 moves (translates) the multi-view camera 10, changes the attitude or the convergence angle of the multi-view camera 10, and instructs the multi-view camera 10 to shoot. Here, the position and orientation of the multi-view camera 10 refers to at least one of the position and orientation of the multi-view camera 10. The position of the multi-view camera 10 can be represented by, for example, a three-dimensional position of the multi-view camera 10 based on a predetermined initial position and orientation. In addition, the attitude of the multi-lens camera 10 can be represented by, for example, the amount of rotation of the multi-lens camera 10 in the roll, pitch, and / or yaw directions based on a predetermined initial position and attitude. The projector / camera control device 30 may generate, for example, a camera control signal for changing the position and / or orientation of the multi-lens camera 10 and supply the generated signal to a driving mechanism (not shown) of the multi-lens camera 10. The drive mechanism changes the position and / or orientation by driving the multi-lens camera 10 according to the camera control signal.
なお、多眼カメラ１０の位置姿勢は、プロジェクタ２０とは独立に変更可能である。すなわち、プロジェクタ／カメラ制御装置３０は、マーカーの投影位置を固定したまま、多眼カメラ１０の位置姿勢を変更することが可能である。 Note that the position and orientation of the multi-lens camera 10 can be changed independently of the projector 20. That is, the projector / camera control device 30 can change the position and orientation of the multi-lens camera 10 while keeping the projection position of the marker fixed.
プロジェクタ２０は、プロジェクタ／カメラ制御装置３０からの命令に従って、マーカーおよび／または計測用パターンを投影する。そして、多眼カメラ１０に含まれる（右）カメラ１１および（左）カメラ１２は、プロジェクタ／カメラ制御装置３０からの命令に従って撮影を行い、それぞれ撮影画像を生成する。 The projector 20 projects a marker and / or a measurement pattern according to an instruction from the projector / camera control device 30. Then, the (right) camera 11 and the (left) camera 12 included in the multi-lens camera 10 perform photographing in accordance with an instruction from the projector / camera control device 30, and generate photographed images.
画像処理装置１００は、多眼カメラ１０から複数枚の撮影画像を取得し、これら画像に対して後述される種々の処理を行う。例えば、画像処理装置１００は、画像に基づいて、マーカーが適切な位置に投影されているかどうかを判定したり、多眼カメラ１０の位置姿勢を推定したり、多眼カメラ１０における視差、多眼カメラ１０から被写体６０までの距離、被写体６０の３次元形状などを計測したりする。以降、これら視差、距離および／または３次元形状の計測を３次元計測と称する。 The image processing apparatus 100 acquires a plurality of captured images from the multi-lens camera 10 and performs various processes described later on these images. For example, the image processing apparatus 100 determines whether or not the marker is projected at an appropriate position based on the image, estimates the position and orientation of the multi-view camera 10, disparity in the multi-view camera 10, multi-view The distance from the camera 10 to the subject 60, the three-dimensional shape of the subject 60, and the like are measured. Hereinafter, the measurement of the parallax, the distance, and / or the three-dimensional shape is referred to as three-dimensional measurement.
画像処理装置１００は、入出力制御、通信制御、読み書き制御、および種々の画像処理（例えば、デプスマップの生成、後述されるベース領域の抽出、マーカーの検出、マーカーの投影位置の判定、マーカーの再投影位置の決定、多眼カメラ１０の位置姿勢の推定、３次元計測など）を行うプロセッサを含む。画像処理装置１００は、さらに、かかる処理を実現するためにプロセッサによって実行されるプログラムおよび当該プログラムによって使用されるデータなどを一時的に格納するメモリを含んでいる。 The image processing apparatus 100 performs input / output control, communication control, read / write control, and various image processing (for example, generation of a depth map, extraction of a base region described later, detection of a marker, determination of a projection position of a marker, determination of a marker, A processor for determining the reprojection position, estimating the position and orientation of the multi-lens camera 10, and three-dimensional measurement. The image processing apparatus 100 further includes a memory for temporarily storing a program executed by the processor to realize such processing, data used by the program, and the like.
ここで、プロセッサは、典型的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ(Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)であるが、マイコン、ＦＰＧＡ(Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ)、またはＤＳＰ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)、などであってもよい。 Here, the processor is typically a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), but is a microcomputer, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), or the like. You may.
画像処理装置１００は、さらに、例えば多眼カメラ１０などの外部装置に接続するためのインタフェース（Ｉ／Ｆ）を利用可能である。Ｉ／Ｆは、画像処理装置１００に内蔵されていてもよいし、画像処理装置１００に外付けされていてもよい。 The image processing apparatus 100 can further use an interface (I / F) for connecting to an external device such as the multi-lens camera 10. The I / F may be built in the image processing device 100, or may be external to the image processing device 100.
Ｉ／Ｆは、例えば、多眼カメラ１０から画像を受け取る。Ｉ／Ｆは、例えば光ファイバケーブル、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル、などの有線通信Ｉ／Ｆであってもよいし、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの無線通信技術を利用する無線通信Ｉ／Ｆであってもよい。 The I / F receives an image from the multi-lens camera 10, for example. The I / F may be a wired communication I / F such as, for example, an optical fiber cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like, for example, Bluetooth (registered trademark), Wi-Fi (registered trademark). A wireless communication I / F using a wireless communication technology such as a trademark may be used.
以下、図１を用いて画像処理装置１００の構成例の説明を続ける。
図１に例示されるように、画像処理装置１００は、画像取得部１０１と、デプスマップ生成部１０２と、ベース領域抽出部１０３と、基準マップ記憶部１０４と、マーカー検出部１０５と、投影位置判定部１０６と、再投影位置決定部１０７と、出力部１０８と、入力部１０９と、位置姿勢推定部１１０と、３次元計測部１１１とを含む。
Hereinafter, the description of the configuration example of the image processing apparatus 100 will be continued with reference to FIG.
As illustrated in FIG. 1, the image processing apparatus 100 includes an image acquisition unit 101, a depth map generation unit 102, a base region extraction unit 103, a reference map storage unit 104, a marker detection unit 105, a projection position It includes a determination unit 106, a reprojection position determination unit 107, an output unit 108, an input unit 109, a position and orientation estimation unit 110, and a three-dimensional measurement unit 111.
画像取得部１０１は、多眼カメラ１０に含まれるカメラ１１およびカメラ１２から２枚の画像（以降、単に画像群と称する）を取得する。画像取得部１０１は、取得した画像群を、デプスマップ生成部１０２、マーカー検出部１０５、または３次元計測部１１１へ送る。具体的には、マーカーの投影位置を決定する段階では、画像取得部１０１は、画像群をデプスマップ生成部１０２およびマーカー検出部１０５へ送る。多眼カメラ１０の位置姿勢を推定する段階では、画像取得部１０１は、画像群をマーカー検出部１０５へ送る。３次元計測を行う段階では、画像取得部１０１は、画像群を３次元計測部１１１へ送る。画像取得部１０１は、例えば前述のプロセッサおよびＩ／Ｆに相当し得る。 The image acquisition unit 101 acquires two images (hereinafter, simply referred to as an image group) from the cameras 11 and 12 included in the multi-lens camera 10. The image acquisition unit 101 sends the acquired image group to the depth map generation unit 102, the marker detection unit 105, or the three-dimensional measurement unit 111. Specifically, at the stage of determining the marker projection position, the image acquisition unit 101 sends the image group to the depth map generation unit 102 and the marker detection unit 105. At the stage of estimating the position and orientation of the multi-view camera 10, the image acquisition unit 101 sends an image group to the marker detection unit 105. At the stage of performing three-dimensional measurement, the image acquisition unit 101 sends the image group to the three-dimensional measurement unit 111. The image acquisition unit 101 may correspond to, for example, the above-described processor and I / F.
デプスマップ生成部１０２は、画像取得部１０１から画像群を受け取り、当該画像群に基づいてデプスマップを生成する。具体的には、デプスマップ生成部１０２は、多眼カメラ１０が初期位置姿勢を取った状態で、さらにその撮影範囲内に目標物体としての被写体６０が設置され、かつプロジェクタ２０によってマーカーが投影されている時に、当該多眼カメラ１０によって撮影された画像群に基づいてデプスマップ（以降、対象デプスマップと称する）を生成する。デプスマップ生成部１０２は、生成した対象デプスマップをベース領域抽出部１０３へ送る。デプスマップ生成部１０２は、例えば前述のプロセッサに相当し得る。 The depth map generation unit 102 receives an image group from the image acquisition unit 101, and generates a depth map based on the image group. Specifically, the depth map generation unit 102 sets the subject 60 as a target object within the shooting range in a state where the multi-lens camera 10 has taken the initial position and orientation, and projects the marker by the projector 20. During the operation, a depth map (hereinafter, referred to as a target depth map) is generated based on a group of images captured by the multi-view camera 10. The depth map generation unit 102 sends the generated target depth map to the base region extraction unit 103. The depth map generation unit 102 may correspond to, for example, the above-described processor.
ベース領域抽出部１０３は、デプスマップ生成部１０２から対象デプスマップを受け取り、基準マップ記憶部１０４から後述される基準デプスマップを読み出す。ベース領域抽出部１０３は、両者の間で略同一のデプスを持つベース領域を抽出する。ベース領域抽出部１０３は、抽出したベース領域を示すデータを投影位置判定部１０６へ送る。ベース領域抽出部１０３は、例えば前述のプロセッサに相当し得る。 The base region extraction unit 103 receives the target depth map from the depth map generation unit 102, and reads out a reference depth map described later from the reference map storage unit 104. The base region extracting unit 103 extracts a base region having substantially the same depth between the two. The base region extraction unit 103 sends data indicating the extracted base region to the projection position determination unit 106. The base region extraction unit 103 can correspond to, for example, the above-described processor.
ここで、基準デプスマップは、多眼カメラ１０が初期位置姿勢を取った状態で、さらにその撮影範囲内に目標物体としての被写体６０が設置されていない時に、当該多眼カメラ１０によって撮影された画像群に基づいて生成されたデプスマップである。 Here, the reference depth map is photographed by the multi-lens camera 10 in a state where the multi-lens camera 10 has taken the initial position and orientation, and when the subject 60 as a target object is not set within the photographing range. It is a depth map generated based on an image group.
すなわち、図２の例であれば、台７０における被写体６０の設置面のうち被写体６０によって遮蔽された部分では、基準デプスマップのデプスよりも対象デプスマップのデプスは小さくなる。他方、台７０における被写体６０の設置面のうち被写体６０によって遮蔽されていない部分では、基準デプスマップのデプスは、誤差を考慮しなければ対象デプスマップのデプスと同一となる。 That is, in the example of FIG. 2, the depth of the target depth map is smaller than the depth of the reference depth map in a portion of the installation surface of the table 70 where the subject 60 is shielded by the subject 60. On the other hand, the depth of the reference depth map is the same as the depth of the target depth map unless errors are taken into account in a portion of the mounting surface of the table 70 where the subject 60 is not shielded by the subject 60.
ベース領域とは、ここで説明した台７０における被写体６０の設置面のように、初期位置姿勢を取った状態の多眼カメラ１０の撮影範囲のうち目標物体としての被写体６０によって遮蔽されない領域を意味する。そして、多眼カメラ１０が初期位置姿勢を取った状態で、さらにその撮影範囲内に目標物体としての被写体６０が設置されていない時に、当該多眼カメラ１０が撮影を行った場合に得られる画像群における各画素に対応する現実空間における３次元位置、例えば台７０における被写体６０の設置面を表す各画素に対応する現実空間における３次元位置、は予め導出され、画像処理装置１００によって参照可能であるとする。故に、マーカーをベース領域に投影し、このマーカーを、初期位置姿勢を取った状態の多眼カメラ１０に撮影させることで、マーカーの画像内位置から当該マーカーの現実空間における３次元位置を高精度に計測することが可能となる。 The base region refers to a region that is not covered by the subject 60 as a target object in the shooting range of the multi-lens camera 10 in the initial position and orientation, such as the installation surface of the subject 60 on the table 70 described here. I do. Then, in a state where the multi-lens camera 10 has taken the initial position and orientation, and further when the subject 60 as a target object is not set within the photographing range, an image obtained when the multi-lens camera 10 performs photographing A three-dimensional position in the real space corresponding to each pixel in the group, for example, a three-dimensional position in the real space corresponding to each pixel representing the installation surface of the subject 60 on the table 70 is derived in advance and can be referred to by the image processing device 100. Suppose there is. Therefore, by projecting the marker onto the base region and causing the multi-lens camera 10 to take an image of the marker in the initial position and orientation, the three-dimensional position of the marker in the real space from the position in the image of the marker can be determined with high accuracy. It becomes possible to measure at once.
なお、ベース領域は、初期位置姿勢を取った状態の多眼カメラ１０の撮影範囲のうち目標物体としての被写体６０によって遮蔽されない領域に加えて、この被写体６０の表面の一部が加わってもよい。例えば、目標物体が、任意の３次元形状を有する第１の被写体と、当該第１の被写体が置かれる好ましくは略平面状の設置面を有する箱、板、などの第２の被写体とを含むとする。かかる場合に、この第２の被写体における第１の被写体の設置面のうち第１の被写体によって遮蔽されない領域のように、台７０と略平行でおおよそ平らな面で、マーカーが検出可能な広さを有する部分も追加的なベース領域として抽出され得る。 The base region may include a part of the surface of the subject 60 in addition to a region of the shooting range of the multi-lens camera 10 in the initial position and orientation, which is not covered by the subject 60 as a target object. . For example, the target object includes a first subject having an arbitrary three-dimensional shape, and a second subject such as a box or a plate having a preferably substantially flat installation surface on which the first subject is placed. And In such a case, the area on which the marker can be detected is a plane that is substantially parallel to and substantially parallel to the table 70, such as an area of the second object on which the first object is placed, which is not covered by the first object. May also be extracted as additional base regions.
かかる追加的なベース領域を得るために、ベース領域抽出部１０３は、対象デプスマップのうち基準デプスマップの同一位置におけるデプスとの差が略一定であって、マーカーよりも広い領域を抽出し得る。このように基準デプスマップとのデプス差が略一定でマーカーよりも広い領域を追加的なベース領域として抽出することで、例えば被写体６０が台７０における設置面の大半を遮蔽してしまい当該設置面においてマーカーを投影する十分な広さが確保できない場合であっても、被写体６０の表面にマーカーを投影することができる。ただし、かかる追加的なベース領域にマーカーを投影すると、後述されるマーカーの３次元位置（の例えばＺ値）を第２の被写体のデプスに基づいて再計算する必要があるが、かかる再計算においてデプスの計測誤差もマーカーの３次元位置に付加され得る。 In order to obtain such an additional base region, the base region extracting unit 103 may extract a region of the target depth map that has a substantially constant difference from the depth at the same position of the reference depth map and is wider than the marker. . As described above, by extracting, as an additional base region, a region having a depth difference from the reference depth map that is substantially constant and wider than the marker, for example, the subject 60 blocks most of the installation surface on the base 70, and In the case where it is not possible to secure a sufficient area for projecting the marker in the above, the marker can be projected on the surface of the subject 60. However, when a marker is projected on such an additional base region, it is necessary to recalculate a three-dimensional position (for example, a Z value) of the marker described later based on the depth of the second subject. Depth measurement errors can also be added to the three-dimensional position of the marker.
基準マップ記憶部１０４は、基準デプスマップを保存する。基準デプスマップは、ベース領域抽出部１０３によって読み出される。基準マップ記憶部１０４は、例えば前述のメモリに相当し得る。 The reference map storage unit 104 stores the reference depth map. The reference depth map is read by the base area extraction unit 103. The reference map storage unit 104 can correspond to, for example, the aforementioned memory.
マーカー検出部１０５は、画像取得部１０１から画像群を受け取り、当該画像群に含まれる各画像からプロジェクタ２０によって投影されているマーカーの位置を検出する。マーカーは、例えば十字形などの既定の形状を有しており、マーカー検出部１０５は、画像群に含まれる各画像においてこの既定の形状にマッチする画素を探索する。マーカー検出部１０５は、検出したマーカーの画像内位置を示す位置データを投影位置判定部１０６または位置姿勢推定部１１０へ送る。具体的には、マーカーの投影位置を決定する段階では、マーカー検出部１０５は、位置データを投影位置判定部１０６へ送る。他方、多眼カメラ１０の位置姿勢を推定する段階では、マーカー検出部１０５は、位置データを位置姿勢推定部１１０へ送る。マーカー検出部１０５は、例えば前述のプロセッサに相当し得る。 The marker detection unit 105 receives the image group from the image acquisition unit 101, and detects the position of the marker projected by the projector 20 from each image included in the image group. The marker has a predetermined shape such as a cross, for example, and the marker detection unit 105 searches for a pixel that matches the predetermined shape in each image included in the image group. The marker detection unit 105 sends position data indicating the position of the detected marker in the image to the projection position determination unit 106 or the position / posture estimation unit 110. Specifically, at the stage of determining the projection position of the marker, the marker detection unit 105 sends the position data to the projection position determination unit 106. On the other hand, at the stage of estimating the position and orientation of the multi-lens camera 10, the marker detection unit 105 sends the position data to the position and orientation estimation unit 110. The marker detection unit 105 can correspond to, for example, the processor described above.
投影位置判定部１０６は、ベース領域抽出部１０３からベース領域を示すデータを受け取り、マーカー検出部１０５から画像群に含まれる各画像におけるマーカーの位置を示す位置データを受け取る。投影位置判定部１０６は、マーカーがベース領域に投影されているか否かを判定する。マーカーがベース領域に投影されている場合には、当該マーカーの現実空間における３次元位置を高精度に計測することが可能となるので、後述されるように多眼カメラ１０の位置姿勢を変更したとしても、当該マーカーの現実空間における３次元位置を手がかりに多眼カメラ１０の位置姿勢を推定することができる。他方、マーカーがベース領域に投影されていない場合には、マーカーがベース領域に投影されるように再投影位置を決定する必要がある。 The projection position determination unit 106 receives data indicating the base region from the base region extraction unit 103, and receives position data indicating the position of a marker in each image included in the image group from the marker detection unit 105. The projection position determination unit 106 determines whether the marker is projected on the base area. When the marker is projected on the base area, the three-dimensional position of the marker in the real space can be measured with high accuracy. Therefore, the position and orientation of the multi-lens camera 10 are changed as described later. Also, the position and orientation of the multi-lens camera 10 can be estimated based on the three-dimensional position of the marker in the real space. On the other hand, when the marker is not projected on the base region, it is necessary to determine the reprojection position so that the marker is projected on the base region.
投影位置判定部１０６は、マーカーがベース領域に投影されていると判定した場合に、マーカーの投影位置が決定したことを通知するデータをプロジェクタ／カメラ制御装置３０へ出力する。プロジェクタ／カメラ制御装置３０は、かかるデータを受け取ると、多眼カメラ１０の位置姿勢を変更、例えば多眼カメラ１０を被写体６０に接近させてその細部の計測を支援する。他方、投影位置判定部１０６は、マーカーがベース領域に投影されていないと判定した場合に、再投影位置決定部１０７にマーカーの再投影位置を決定するように指示する。なお、後述されるように、マーカーの再投影位置をユーザに決定させる場合には、投影位置判定部１０６は、ベース領域、マーカーの投影位置などをユーザに視覚的に知覚させるために、例えば対象デプスマップにおいてベース領域およびマーカーの投影位置が強調された画像データなどを出力部１０８へ送ってもよい。投影位置判定部１０６は、例えば前述のプロセッサに相当し得る。 When judging that the marker is projected on the base region, the projection position judging section 106 outputs data notifying that the projection position of the marker has been determined to the projector / camera control device 30. Upon receiving such data, the projector / camera control device 30 changes the position and orientation of the multi-lens camera 10, for example, by bringing the multi-lens camera 10 close to the subject 60 and supporting the measurement of the details. On the other hand, when determining that the marker is not projected on the base region, the projection position determination unit 106 instructs the reprojection position determination unit 107 to determine the reprojection position of the marker. In addition, as described later, when the user determines the reprojection position of the marker, the projection position determination unit 106 may use, for example, an object to visually perceive the base region, the projection position of the marker, and the like. Image data or the like in which the projection position of the base region and the marker is enhanced in the depth map may be sent to the output unit 108. The projection position determination unit 106 may correspond to, for example, the processor described above.
再投影位置決定部１０７は、投影位置判定部１０６からの指示に応じて、マーカーの再投影位置を決定する。具体的には、再投影位置決定部１０７は、マーカーの再投影位置を自動的に決定してもよいし、ユーザ入力に基づいて決定してもよい。前者の例では、再投影位置決定部１０７は、ベース領域中のいずれかの位置をマーカーの再投影位置として決定し得る。なお、初期位置姿勢を取った状態の多眼カメラ１０の撮影範囲内で目標物体としての被写体６０が設置されない保護領域が予め定義されていてもよく、かかる場合に再投影位置決定部１０７はこの保護領域から再投影位置を決定してもよい。保護領域は、例えば、台７０における被写体６０の設置面を囲む枠体上に定められ得る。また、後者の例として、再投影位置決定部１０７は、ユーザ入力データを入力部１０９から受け取り、このユーザ入力データの示す位置をマーカーの再投影位置として決定し得る。再投影位置決定部１０７は、決定した再投影位置を示すデータをプロジェクタ／カメラ制御装置３０へ出力する。プロジェクタ／カメラ制御装置３０は、かかるデータを受け取ると、決定された位置にマーカーを再投影するようプロジェクタ２０を制御する。再投影位置決定部１０７は、例えば前述のプロセッサに相当し得る。 The reprojection position determination unit 107 determines a marker reprojection position according to an instruction from the projection position determination unit 106. Specifically, the reprojection position determination unit 107 may automatically determine the marker reprojection position or may determine the reprojection position based on a user input. In the former example, the reprojection position determination unit 107 can determine any position in the base region as the marker reprojection position. Note that a protection area in which the subject 60 as a target object is not set may be defined in advance in the shooting range of the multi-lens camera 10 in the initial position and orientation, and in such a case, the reprojection position determination unit 107 The reprojection position may be determined from the protection area. The protection area may be defined, for example, on a frame surrounding the installation surface of the subject 60 on the table 70. Further, as an example of the latter, the reprojection position determination unit 107 can receive user input data from the input unit 109 and determine the position indicated by the user input data as the marker reprojection position. Reprojection position determination section 107 outputs data indicating the determined reprojection position to projector / camera control device 30. Upon receiving such data, the projector / camera control device 30 controls the projector 20 to re-project the marker at the determined position. The reprojection position determination unit 107 can correspond to, for example, the processor described above.
出力部１０８は、投影位置判定部１０６から、例えば、ユーザがマーカーの再投影位置を決定するのを支援するための画像データ、例えばベース領域およびマーカーの現在の投影位置を表す画像データ、を受け取り、これを出力装置４０を介して出力する。出力部１０８は、例えば前述のプロセッサおよびＩ／Ｆに相当し得る。そして、出力装置４０は、例えばディスプレイなどの表示装置を含み得る。出力装置４０は、出力部１０８によって与えられた画像データを出力（表示）する。なお、再投影位置決定部１０７が再投影位置を自動的に決定可能である場合に、出力装置４０および出力部１０８は取り除かれ得る。 The output unit 108 receives, for example, image data for assisting the user in determining the reprojection position of the marker, for example, image data representing the base region and the current projection position of the marker, from the projection position determination unit 106. Are output via the output device 40. The output unit 108 may correspond to, for example, the above-described processor and I / F. The output device 40 may include a display device such as a display. The output device 40 outputs (displays) the image data provided by the output unit 108. Note that when the reprojection position determination unit 107 can automatically determine the reprojection position, the output device 40 and the output unit 108 can be omitted.
入力装置５０は、例えばタッチスクリーン、キーボード、マウスなどのユーザ入力を受け付けるための装置を含んでもよい。そして、入力部１０９は、入力装置５０を介してユーザ入力を受け付け、ユーザ入力データを得る。入力部１０９は、ユーザ入力データを再投影位置決定部１０７へ送る。入力部１０９は、例えば前述のプロセッサおよびＩ／Ｆに相当し得る。なお、再投影位置決定部１０７が再投影位置を自動的に決定可能である場合に、入力装置５０および入力部１０９は取り除かれ得る。 The input device 50 may include a device for receiving a user input, such as a touch screen, a keyboard, and a mouse. Then, the input unit 109 receives a user input via the input device 50 and obtains user input data. The input unit 109 sends the user input data to the reprojection position determination unit 107. The input unit 109 can correspond to, for example, the above-described processor and I / F. When the reprojection position determination unit 107 can automatically determine the reprojection position, the input device 50 and the input unit 109 can be omitted.
位置姿勢推定部１１０は、マーカー検出部１０５から画像群に含まれる各画像におけるマーカーの位置を示す位置データを受け取り、当該位置データに基づいて多眼カメラ１０の位置姿勢を推定する。位置姿勢推定部１１０は、多眼カメラ１０の推定位置姿勢を示すデータを３次元計測部１１１へ送る。位置姿勢推定部１１０は、例えば前述のプロセッサに相当し得る。 The position / posture estimation unit 110 receives position data indicating the position of the marker in each image included in the image group from the marker detection unit 105, and estimates the position / posture of the multi-lens camera 10 based on the position data. The position and orientation estimation unit 110 sends data indicating the estimated position and orientation of the multi-lens camera 10 to the three-dimensional measurement unit 111. The position and orientation estimating unit 110 may correspond to, for example, the processor described above.
ここで、多眼カメラ１０が初期位置姿勢を取っている時のカメラ１１およびカメラ１２の撮影画像を図３に、多眼カメラ１０が初期位置姿勢とは異なる位置姿勢を取っている時のカメラ１１およびカメラ１２の撮影画像を図４に例示する。図４の各画像におけるマーカー８１およびマーカー８２の位置は、図３の各画像におけるマーカー８１およびマーカー８２の位置とそれぞれ異なっている。しかしながら、図３および図４とで、マーカー８１およびマーカー８２の現実空間における３次元位置は不変であり、しかもその３次元位置は既知である。故に、以下に説明するように、図４の各画像におけるマーカー８１およびマーカー８２の位置と、マーカー８１およびマーカー８２の現実空間における３次元位置とを手がかりに、多眼カメラ１０が位置姿勢を推定することが可能となる。なお、図３および図４の例では、マーカーの数は２つであるが、マーカーの数は最低１つ以上あればよい。 Here, images taken by the cameras 11 and 12 when the multi-lens camera 10 is in the initial position / posture are shown in FIG. 3, and the camera when the multi-lens camera 10 is in a position / posture different from the initial position / posture. FIG. 4 shows an example of images captured by the camera 11 and the camera 12. The positions of the markers 81 and 82 in each image in FIG. 4 are different from the positions of the markers 81 and 82 in each image in FIG. However, in FIGS. 3 and 4, the three-dimensional positions of the markers 81 and 82 in the real space are unchanged, and the three-dimensional positions are known. Therefore, as described below, the multi-lens camera 10 estimates the position and orientation based on the positions of the markers 81 and 82 in each image of FIG. 4 and the three-dimensional positions of the markers 81 and 82 in the real space. It is possible to do. In the examples of FIGS. 3 and 4, the number of markers is two, but the number of markers may be at least one or more.
この例では、説明の簡単化のため、図５に示すように、多眼カメラ１０（の中心）は、初期位置であるＯ（０，０，０）から、現在位置Ｏｃｕ（ｔｘ，ｔｙ，ｔｚ）へ移動しており、姿勢は初期姿勢と同じであるとし、また輻輳角θは十分に小さいこととする。 In this example, for simplicity of explanation, as shown in FIG. 5, (the center of) the multi-lens camera 10 moves from the initial position O (0,0,0) to the current position Ocu (t x , t). y , t z ), the posture is the same as the initial posture, and the convergence angle θ is sufficiently small.
カメラ１１は、多眼カメラ１０の中心から見てｙ軸方向に＋Ｌの位置にあり、カメラ１２は多眼カメラ１０の中心から見てｙ軸方向に−Ｌの位置にある。すなわち、多眼カメラ１０の中心が現在位置Ｏｃｕに移動しているならば、カメラ１１およびカメラ１２はそれぞれ（ｔｘ，ｔｙ＋Ｌ，ｔｚ）および（ｔｘ，ｔｙ−Ｌ，ｔｚ）に移動していることになる。カメラ１１の撮影画像におけるマーカー８１（またはマーカー８２であってもよい。以下同様）の位置を（ｘｒ，ｙｒ）とし、カメラ１２の撮影画像におけるマーカー８１の位置を（ｘｌ，ｙｌ）とする。また、マーカー８１の現実空間における３次元位置を（Ｘ，Ｙ，Ｚ）とする。すなわち、マーカー８１の現実空間における３次元位置から、各画像への射影変換について以下の数式（１）および数式（２）が導出可能である。
上記数式（１）より、ｘｌおよびｙｌを以下の数式（３）および数式（４）に示すように導出可能である。
同様に、上記数式（２）より、ｘｒおよびｙｒを以下の数式（５）および数式（６）に示すように導出可能である。
数式（３）および数式（５）からｔｘの項を消去すると、以下の数式（７）が導かれる。
故に、ｘｌ≠ｘｒの場合には、ｔｚは以下の通りである。
他方、ｘｌ＝ｘｒの場合には、ｔｚは以下の通りである。
ｘｌおよびｘｒの関係に従って場合分けをして、数式（８）または数式（９）のいずれかのｔｚを上記数式（３）および数式（４）にそれぞれ代入することで、ｔｘおよびｔｙを算出することができる。すなわち、マーカー８１の画像内位置である（ｘｌ、ｙｌ）、（ｘｒ，ｙｒ）および当該マーカー８１の現実空間における３次元位置である（Ｘ，Ｙ，Ｚ）から、多眼カメラ１０の現在位置Ｏｃｕ（ｔｘ，ｔｙ，ｔｚ）を推定することができる。 by case analysis according to the relationship of x l and x r, by substituting each one of the t z of equation (8) or formula (9) above Equation (3) and Equation (4), t x and it is possible to calculate the t y. That is, from an image in the position of the marker 81 (x l, y l) , (x r, y r) is a three-dimensional position in the real space and the marker 81 (X, Y, Z) , a multi-lens camera 10 of the current position Ocu (t x, t y, t z) can be estimated.
なお、マーカーがベース領域に投影されていたとしても、多眼カメラ１０の位置姿勢を変更すると、マーカーが被写体６０などに遮蔽され検出できなくなるおそれがある。そこで、多眼カメラ１０の位置姿勢を変更する度に、マーカー検出部１０５がその位置姿勢での撮影された画像群からマーカーの検出を試みてもよい。そして、プロジェクタ／カメラ制御装置３０は、マーカー検出部１０５がマーカーを検出できるようになるまで、カメラ制御信号を更新し得る。これにより、多眼カメラ１０の位置姿勢を適切に制御することができる。或いは、多眼カメラ１０の所望の位置姿勢が既に定められており、その位置姿勢が設定された状態でマーカーが検出不能である場合には、マーカーの投影位置の決定をやり直すようにしてもよい。 Even if the marker is projected on the base area, if the position and orientation of the multi-lens camera 10 is changed, the marker may be shielded by the subject 60 or the like and may not be detected. Therefore, each time the position and orientation of the multi-lens camera 10 is changed, the marker detection unit 105 may attempt to detect a marker from a group of images captured at that position and orientation. Then, the projector / camera control device 30 can update the camera control signal until the marker detection unit 105 can detect the marker. Thereby, the position and orientation of the multi-lens camera 10 can be appropriately controlled. Alternatively, if the desired position and orientation of the multi-lens camera 10 has already been determined and the marker cannot be detected in a state where the position and orientation have been set, the marker projection position may be determined again. .
３次元計測部１１１は、位置姿勢推定部１１０から、多眼カメラ１０の推定位置姿勢を示すデータを受け取る。さらに、３次元計測部１１１は、プロジェクタ２０が３次元計測を行うための既定の計測用パターンを被写体６０に投影している時に、推定時の位置姿勢を保った状態の多眼カメラ１０によって撮影された画像群を受け取る。３次元計測部１１１は、画像群に含まれる複数の画像間で、例えば画素毎に画素ブロックレベルでのマッチングを行う。そして、３次元計測部１１１は、かかるマッチング結果と多眼カメラ１０の推定位置姿勢とに基づいて各画素におけるカメラ１１およびカメラ１２の視差、カメラ１１およびカメラ１２から被写体６０における各画素に対応する点までの距離、および／または被写体６０の３次元形状を推定する。３次元計測部１１１は、例えば、図示されない後段の外部装置へ推定結果を示すデータを出力し得る。３次元計測部１１１は、例えば前述のプロセッサに相当し得る。 The three-dimensional measurement unit 111 receives data indicating the estimated position and orientation of the multi-lens camera 10 from the position and orientation estimation unit 110. Furthermore, when the projector 20 projects a predetermined measurement pattern for performing three-dimensional measurement onto the subject 60, the three-dimensional measurement unit 111 captures an image using the multi-lens camera 10 in a state where the position and orientation at the time of estimation are maintained. Received image group. The three-dimensional measuring unit 111 performs matching at a pixel block level, for example, for each pixel among a plurality of images included in the image group. Then, the three-dimensional measuring unit 111 corresponds to the parallax between the camera 11 and the camera 12 at each pixel and each pixel of the subject 60 from the camera 11 and the camera 12 based on the matching result and the estimated position and orientation of the multi-lens camera 10. The distance to the point and / or the three-dimensional shape of the subject 60 is estimated. The three-dimensional measurement unit 111 can output, for example, data indicating an estimation result to an external device (not shown) at a subsequent stage. The three-dimensional measurement unit 111 can correspond to, for example, the above-described processor.
以下、図６および図７を用いて、図２の３次元計測システムの動作を説明する。
まず、被写体６０が台７０に設置される（ステップＳ２０１）。人間が被写体６０を台７０に設置してもよいし、図示されない、ロボット、コンベア、またはその他の機械が被写体６０を台７０に設置してもよい。
Hereinafter, the operation of the three-dimensional measurement system in FIG. 2 will be described with reference to FIGS.
First, the subject 60 is set on the table 70 (Step S201). A human may place the subject 60 on the platform 70, or a robot, conveyor, or other machine (not shown) may place the subject 60 on the platform 70.
他方、プロジェクタ／カメラ制御装置３０は、カメラ制御信号を生成し、図示されない駆動機構に供給することで、多眼カメラ１０を初期位置姿勢に設定する（ステップＳ２０２）。 On the other hand, the projector / camera control device 30 sets the multi-lens camera 10 to the initial position and orientation by generating a camera control signal and supplying it to a drive mechanism (not shown) (step S202).
また、プロジェクタ／カメラ制御装置３０は、プロジェクタ制御信号を生成し、プロジェクタ２０に供給することで、プロジェクタ２０に指定位置へマーカーを投影させる（ステップＳ２０３）。 Further, the projector / camera control device 30 generates a projector control signal and supplies the generated signal to the projector 20, thereby causing the projector 20 to project the marker at the designated position (step S203).
ステップＳ２０１、ステップＳ２０２およびステップＳ２０３は、図６とは異なる順序で行われてもよいし、並列的に行われてもよい。また、ステップＳ２０１の実行前に、基準デプスマップが生成され、画像処理装置１００の基準マップ記憶部１０４に保存されていることとする。 Step S201, step S202, and step S203 may be performed in a different order from FIG. 6, or may be performed in parallel. It is also assumed that a reference depth map is generated before execution of step S201 and stored in the reference map storage unit 104 of the image processing apparatus 100.
ステップＳ２０１、ステップＳ２０２およびステップＳ２０３の後に、多眼カメラ１０は、プロジェクタ／カメラ制御装置３０からの命令に従って撮影を行い、画像群を生成する（ステップＳ２０４）。 After step S201, step S202, and step S203, the multi-lens camera 10 performs photographing according to a command from the projector / camera control device 30, and generates an image group (step S204).
次に、ステップＳ２０４において得られた画像群に基づいて、ステップＳ２０３において投影されたマーカーについて投影位置判定が行われる（ステップＳ２１０）。この処理の詳細は、図７を用いて後述する。 Next, based on the image group obtained in step S204, the projection position of the marker projected in step S203 is determined (step S210). Details of this processing will be described later with reference to FIG.
ステップＳ２１０においてマーカーがベース領域に投影されていることを意味する判定結果が得られたならば処理はステップＳ２２３へ進み、そうでなければ処理はステップＳ２２２へ進む。 If a determination result indicating that the marker is projected on the base region is obtained in step S210, the process proceeds to step S223; otherwise, the process proceeds to step S222.
ステップＳ２２２において、画像処理装置１００の再投影位置決定部１０７は、ステップＳ２０３において投影されたマーカーの再投影位置を決定する。そして、処理はステップＳ２２３へ進む。 In step S222, the reprojection position determination unit 107 of the image processing device 100 determines the reprojection position of the marker projected in step S203. Then, the process proceeds to step S223.
ステップＳ２２３において、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０によるマーカーの投影位置を維持したまま、カメラ制御信号を生成し、図示されない駆動機構に供給することで、多眼カメラ１０の位置姿勢を変更する。そして、多眼カメラ１０は、変更後の位置姿勢を維持しながら再び撮影を行い、画像群を生成する。画像処理装置１００のマーカー検出部１０５はこの画像群に含まれる各画像からマーカーの位置を検出し、画像処理装置１００の位置姿勢推定部１１０は各画像におけるマーカーの位置と、当該マーカーの現実空間における３次元位置とに基づいて、多眼カメラ１０の位置姿勢を推定する（ステップＳ２２４）。 In step S223, the projector / camera control device 30 changes the position and orientation of the multi-lens camera 10 by generating a camera control signal and supplying it to a drive mechanism (not shown) while maintaining the marker projection position by the projector 20. I do. Then, the multiview camera 10 performs shooting again while maintaining the changed position and orientation, and generates an image group. The marker detection unit 105 of the image processing device 100 detects the position of the marker from each image included in the image group, and the position and orientation estimation unit 110 of the image processing device 100 determines the position of the marker in each image and the real space of the marker. The position and orientation of the multi-lens camera 10 are estimated based on the three-dimensional position in (Step S224).
そして、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０に計測用パターンを投影させるとともに、多眼カメラ１０の位置姿勢を維持しながら撮影を行わせる。画像処理装置１００の３次元計測部１１１は、撮影された画像群とステップＳ２２４において得られた多眼カメラ１０の推定位置姿勢とに基づいて３次元計測を行う（ステップＳ２２５）。 Then, the projector / camera control device 30 causes the projector 20 to project the measurement pattern, and causes the multi-lens camera 10 to perform shooting while maintaining the position and orientation. The three-dimensional measurement unit 111 of the image processing apparatus 100 performs three-dimensional measurement based on the captured image group and the estimated position and orientation of the multi-lens camera 10 obtained in step S224 (step S225).
以下、図７を用いて、上記ステップＳ２１０の詳細を説明する。
ステップＳ２１０の処理が開始すると、マーカー検出部１０５は、ステップＳ２０４において撮影された画像群に含まれる各画像からマーカーの位置を検出する（ステップＳ２１１）。
Hereinafter, the details of step S210 will be described with reference to FIG.
When the process of step S210 starts, the marker detection unit 105 detects the position of the marker from each image included in the group of images captured in step S204 (step S211).
他方、画像処理装置１００のデプスマップ生成部１０２は、ステップＳ２０４において撮影された画像群に基づいて対象デプスマップを生成する（ステップＳ２１２）。また、画像処理装置１００のベース領域抽出部１０３は、同じく画像処理装置１００の基準マップ記憶部１０４から基準デプスマップを読み出す（ステップＳ２１３）。なお、ステップＳ２１２およびステップＳ２１３は、図７とは異なる順序で行われてもよいし、並列的に行われてもよい。 On the other hand, the depth map generation unit 102 of the image processing device 100 generates a target depth map based on the group of images captured in step S204 (step S212). Further, the base area extraction unit 103 of the image processing apparatus 100 reads the reference depth map from the reference map storage unit 104 of the image processing apparatus 100 (step S213). Steps S212 and S213 may be performed in an order different from that in FIG. 7 or may be performed in parallel.
それから、ベース領域抽出部１０３は、ステップＳ２１２において生成された対象デプスマップと、ステップＳ２１３において得られた基準デプスマップと間で略同一のデプスを持つベース領域を抽出する（ステップＳ２１４）。 Then, the base region extraction unit 103 extracts a base region having substantially the same depth between the target depth map generated in step S212 and the reference depth map obtained in step S213 (step S214).
なお、ステップＳ２１１と、ステップＳ２１２〜ステップＳ２１４とは、図７とは異なる順序で行われてもよいし、並列的に行われてもよい。 Note that step S211 and steps S212 to S214 may be performed in an order different from that in FIG. 7 or may be performed in parallel.
画像処理装置１００の投影位置判定部１０６は、ステップＳ２１１において検出されたマーカーの位置が、ステップＳ２１４において抽出されたベース領域にあるか否かを判定し、判定結果を生成する（ステップＳ２１５）。 The projection position determination unit 106 of the image processing device 100 determines whether the position of the marker detected in step S211 is in the base region extracted in step S214, and generates a determination result (step S215).
以上説明したように、第１の実施形態に係る画像処理装置は、前述の基準デプスマップと目標物体としての被写体が設置されている時に生成された対象デプスマップとの間で略同一のデプスを持つベース領域を抽出し、多眼カメラの位置姿勢推定のためのマーカーがこのベース領域に投影されているか否かを判定する。故に、この画像処理装置によれば、ベース領域に投影されたマーカー、すなわちその現実空間における３次元位置が高精度に計測可能なマーカーを利用して、多眼カメラが初期位置姿勢とは異なる位置姿勢を取ったとしてもその位置姿勢を推定することができる。さらに、このマーカーが撮影可能な限りは多眼カメラの位置姿勢を任意に変更したとしても、その変更後の位置姿勢を推定することが可能である。 As described above, the image processing apparatus according to the first embodiment generates substantially the same depth between the aforementioned reference depth map and the target depth map generated when the subject as the target object is installed. A base region having the marker is extracted, and it is determined whether or not a marker for estimating the position and orientation of the multi-lens camera is projected on the base region. Therefore, according to this image processing apparatus, the multi-lens camera uses a marker projected on the base area, that is, a marker whose three-dimensional position in the real space can be measured with high accuracy, and uses a marker different from the initial position and posture. Even if the posture is taken, the position and posture can be estimated. Further, even if the position and orientation of the multi-lens camera are arbitrarily changed as long as this marker can be photographed, the position and orientation after the change can be estimated.
（第２の実施形態）
前述の第１の実施形態に係る画像処理装置は、マーカーの仮決めされた投影位置が前述のベース領域にあるか否かを検証し、マーカーがベース領域に投影されていない場合にはマーカーの再投影位置を決定することで、ベース領域にマーカーを投影することを可能とする。他方、第２の実施形態に係る画像処理装置は、これとは異なり、まずはベース領域を抽出し、そのベース領域からマーカーの投影位置を決定する。故に、この画像処理装置によれば、マーカーの投影位置がベース領域にあるか否かを検証せずとも、確実にベース領域にマーカーを投影することができる。
(Second embodiment)
The image processing apparatus according to the first embodiment described above verifies whether the provisionally determined projection position of the marker is in the above-described base region, and when the marker is not projected on the base region, By determining the reprojection position, it is possible to project the marker on the base area. On the other hand, the image processing apparatus according to the second embodiment is different from the first embodiment in that a base region is first extracted, and a projection position of a marker is determined from the base region. Therefore, according to this image processing apparatus, it is possible to reliably project the marker on the base area without verifying whether the projection position of the marker is on the base area.
図８に例示されるように、画像処理装置３００は、画像取得部１０１と、デプスマップ生成部１０２と、ベース領域抽出部１０３と、基準マップ記憶部１０４と、マーカー検出部３０５と、出力部３０８と、入力部３０９と、位置姿勢推定部１１０と、３次元計測部１１１、投影位置決定部３１２と、とを含む。 As illustrated in FIG. 8, the image processing apparatus 300 includes an image acquisition unit 101, a depth map generation unit 102, a base region extraction unit 103, a reference map storage unit 104, a marker detection unit 305, and an output unit. 308, an input unit 309, a position and orientation estimating unit 110, a three-dimensional measuring unit 111, and a projection position determining unit 312.
図８の画像取得部１０１は、図１の画像取得部１０１と基本的に類似であるが、マーカーの投影位置を決定する段階において画像群をマーカー検出部３０５へ送る必要がない。また、図８のベース領域抽出部１０３は、図１のベース領域抽出部１０３と基本的に類似であるが、抽出したベース領域を示すデータを投影位置決定部３１２へ送る。 The image acquisition unit 101 in FIG. 8 is basically similar to the image acquisition unit 101 in FIG. 1, but does not need to send an image group to the marker detection unit 305 at the stage of determining the marker projection position. The base region extraction unit 103 in FIG. 8 is basically similar to the base region extraction unit 103 in FIG. 1, but sends data indicating the extracted base region to the projection position determination unit 312.
マーカー検出部３０５は、多眼カメラ１０の位置姿勢を推定する段階において、画像取得部１０１から画像群を受け取り、当該画像群からプロジェクタ２０によって投影されているマーカーの位置を検出する。マーカー検出部３０５は、検出したマーカーの画像内位置を示す位置データを位置姿勢推定部１１０へ送る。マーカー検出部３０５は、例えば前述のプロセッサに相当し得る。 At the stage of estimating the position and orientation of the multi-lens camera 10, the marker detection unit 305 receives an image group from the image acquisition unit 101 and detects the position of a marker projected by the projector 20 from the image group. The marker detection unit 305 sends position data indicating the position of the detected marker in the image to the position / posture estimation unit 110. The marker detection unit 305 may correspond to, for example, the processor described above.
投影位置決定部３１２は、ベース領域抽出部１０３からベース領域を示すデータを受け取る。投影位置決定部３１２は、ベース領域からマーカーの投影位置を決定する。具体的には、投影位置決定部３１２は、マーカーの投影位置を自動的に決定してもよいし、ユーザ入力に基づいて決定してもよい。前者の例では、投影位置決定部３１２は、ベース領域中のいずれかの位置をマーカーの投影位置として決定し得る。なお、本実施形態においても前述の保護領域が予め定義されていてもよく、かかる場合に投影位置決定部３１２はこの保護領域から投影位置を決定してもよい。また、後者の例として、投影位置決定部３１２は、ユーザ入力データを入力部３０９から受け取り、このユーザ入力データの示す位置をマーカーの投影位置として決定し得る。なお、投影位置決定部３１２は、ベース領域などをユーザに視覚的に知覚させるために、例えば対象デプスマップにおいてベース領域が強調された画像データなどを出力部３０８へ送ってもよい。 The projection position determination unit 312 receives data indicating a base region from the base region extraction unit 103. The projection position determination unit 312 determines the projection position of the marker from the base area. Specifically, the projection position determination unit 312 may automatically determine the projection position of the marker, or may determine the projection position based on a user input. In the former example, the projection position determination unit 312 may determine any position in the base region as the projection position of the marker. In the present embodiment, the above-described protection area may be defined in advance, and in such a case, the projection position determination unit 312 may determine the projection position from this protection area. Further, as an example of the latter, the projection position determination unit 312 may receive user input data from the input unit 309, and determine the position indicated by the user input data as the projection position of the marker. The projection position determination unit 312 may send, for example, image data in which the base region is emphasized in the target depth map to the output unit 308 in order to visually perceive the base region and the like to the user.
投影位置決定部３１２は、決定した投影位置を示すデータをプロジェクタ／カメラ制御装置３０へ出力する。プロジェクタ／カメラ制御装置３０は、かかるデータを受け取ると、決定された位置にマーカーを投影するようプロジェクタ２０を制御する。さらに、プロジェクタ／カメラ制御装置３０は、多眼カメラ１０の位置姿勢を変更、例えば多眼カメラ１０を被写体６０に接近させてその細部の計測を支援する。投影位置決定部３１２は、例えば前述のプロセッサに相当し得る。 The projection position determination unit 312 outputs data indicating the determined projection position to the projector / camera control device 30. Upon receiving such data, the projector / camera control device 30 controls the projector 20 to project the marker at the determined position. Further, the projector / camera control device 30 changes the position and orientation of the multi-lens camera 10, for example, by bringing the multi-lens camera 10 close to the subject 60 and supporting the measurement of the details. The projection position determination unit 312 may correspond to, for example, the processor described above.
出力部３０８は、投影位置決定部３１２から、例えば、ユーザがマーカーの投影位置を決定するのを支援するための画像データ、例えばベース領域を表す画像データ、を受け取り、これを出力装置４０を介して出力する。出力部３０８は、例えば前述のプロセッサおよびＩ／Ｆに相当し得る。なお、投影位置決定部３１２が投影位置を自動的に決定可能である場合に、出力装置４０および出力部３０８は取り除かれ得る。 The output unit 308 receives, for example, image data for assisting the user in determining the projection position of the marker, for example, image data representing a base region, from the projection position determination unit 312, and outputs this via the output device 40. Output. The output unit 308 may correspond to, for example, the above-described processor and I / F. When the projection position determination unit 312 can automatically determine the projection position, the output device 40 and the output unit 308 can be omitted.
入力部３０９は、入力装置５０を介してユーザ入力を受け付け、ユーザ入力データを得る。入力部３０９は、ユーザ入力データを投影位置決定部３１２へ送る。入力部３０９は、例えば前述のプロセッサおよびＩ／Ｆに相当し得る。なお、投影位置決定部３１２が投影位置を自動的に決定可能である場合に、入力装置５０および入力部３０９は取り除かれ得る。 The input unit 309 receives user input via the input device 50 and obtains user input data. The input unit 309 sends user input data to the projection position determination unit 312. The input unit 309 may correspond to, for example, the above-described processor and I / F. When the projection position determining unit 312 can automatically determine the projection position, the input device 50 and the input unit 309 can be omitted.
以下、図９を用いて、画像処理装置３００を含む３次元計測システムの動作を説明する。
まず、被写体６０が台７０に設置される（ステップＳ４０１）。人間が被写体６０を台７０に設置してもよいし、図示されない、ロボット、コンベア、またはその他の機械が被写体６０を台７０に設置してもよい。
Hereinafter, the operation of the three-dimensional measurement system including the image processing device 300 will be described with reference to FIG.
First, the subject 60 is set on the table 70 (step S401). A human may place the subject 60 on the platform 70, or a robot, conveyor, or other machine (not shown) may place the subject 60 on the platform 70.
他方、プロジェクタ／カメラ制御装置３０は、カメラ制御信号を生成し、図示されない駆動機構に供給することで、多眼カメラ１０を初期位置姿勢に設定する（ステップＳ４０２）。 On the other hand, the projector / camera control device 30 sets the multi-lens camera 10 to the initial position and orientation by generating a camera control signal and supplying it to a drive mechanism (not shown) (step S402).
また、プロジェクタ／カメラ制御装置３０は、プロジェクタ制御信号を生成し、プロジェクタ２０に供給することで、プロジェクタ２０に指定位置へマーカーを投影させる（ステップＳ４０２）。ステップＳ４０１およびステップＳ４０２は、図９とは異なる順序で行われてもよいし、並列的に行われてもよい。また、ステップＳ４０１の実行前に、基準デプスマップが生成され、画像処理装置３００の基準マップ記憶部１０４に保存されていることとする。 Further, the projector / camera control device 30 generates a projector control signal and supplies the generated signal to the projector 20, thereby causing the projector 20 to project a marker at a designated position (step S402). Steps S401 and S402 may be performed in an order different from that in FIG. 9 or may be performed in parallel. It is also assumed that a reference depth map is generated before execution of step S401 and stored in the reference map storage unit 104 of the image processing apparatus 300.
ステップＳ４０１およびステップＳ４０２の後に、多眼カメラ１０は、プロジェクタ／カメラ制御装置３０からの命令に従って撮影を行い、画像群を生成する（ステップＳ４０３）。 After step S401 and step S402, the multi-lens camera 10 performs photographing according to a command from the projector / camera control device 30, and generates an image group (step S403).
他方、画像処理装置３００のデプスマップ生成部１０２は、ステップＳ４０３において撮影された画像群に基づいて対象デプスマップを生成する（ステップＳ４０４）。また、画像処理装置３００のベース領域抽出部１０３は、同じく画像処理装置３００の基準マップ記憶部１０４から基準デプスマップを読み出す（ステップＳ４０５）。なお、ステップＳ４０４およびステップＳ４０５は、図９とは異なる順序で行われてもよいし、並列的に行われてもよい。 On the other hand, the depth map generation unit 102 of the image processing device 300 generates a target depth map based on the group of images captured in step S403 (step S404). Further, the base region extracting unit 103 of the image processing device 300 reads out the reference depth map from the reference map storage unit 104 of the image processing device 300 (step S405). Steps S404 and S405 may be performed in an order different from that in FIG. 9 or may be performed in parallel.
それから、ベース領域抽出部１０３は、ステップＳ４０４において生成された対象デプスマップと、ステップＳ４０５において得られた基準デプスマップと間で略同一のデプスを持つベース領域を抽出する（ステップＳ４０６）。そして、画像処理装置３００の投影位置決定部３１２は、ステップＳ４０６において抽出されたベース領域から、マーカーの投影位置を決定する（ステップＳ４０７）。 Then, the base region extraction unit 103 extracts a base region having substantially the same depth between the target depth map generated in step S404 and the reference depth map obtained in step S405 (step S406). Then, the projection position determination unit 312 of the image processing device 300 determines the projection position of the marker from the base region extracted in step S406 (step S407).
プロジェクタ／カメラ制御装置３０は、プロジェクタ制御信号を生成し、プロジェクタ２０に供給することで、プロジェクタ２０に、ステップＳ４０７において決定された位置へマーカーを投影させる（ステップＳ４０８）。 The projector / camera control device 30 generates a projector control signal and supplies the generated signal to the projector 20, thereby causing the projector 20 to project the marker at the position determined in step S407 (step S408).
ステップＳ４０９において、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０によるマーカーの投影位置を維持したまま、カメラ制御信号を生成し、図示されない駆動機構に供給することで、多眼カメラ１０の位置姿勢を変更する。そして、多眼カメラ１０は、変更後の位置姿勢を維持しながら再び撮影を行い、画像群を生成する。画像処理装置３００のマーカー検出部３０５はこの画像群に含まれる各画像からマーカーの位置を検出し、画像処理装置３００の位置姿勢推定部１１０は各画像におけるマーカーの位置と、当該マーカーの現実空間における３次元位置とに基づいて、多眼カメラ１０の位置姿勢を推定する（ステップＳ４１０）。 In step S409, the projector / camera control device 30 changes the position and orientation of the multi-lens camera 10 by generating a camera control signal and supplying it to a drive mechanism (not shown) while maintaining the marker projection position by the projector 20. I do. Then, the multiview camera 10 performs shooting again while maintaining the changed position and orientation, and generates an image group. The marker detection unit 305 of the image processing device 300 detects the position of the marker from each image included in the image group, and the position and orientation estimation unit 110 of the image processing device 300 determines the position of the marker in each image and the real space of the marker. The position and orientation of the multi-lens camera 10 are estimated based on the three-dimensional position in (Step S410).
そして、プロジェクタ／カメラ制御装置３０は、プロジェクタ２０に計測用パターンを投影させるとともに、多眼カメラ１０の位置姿勢を維持しながら撮影を行わせる。画像処理装置３００の３次元計測部１１１は、撮影された画像群とステップＳ４１０において得られた多眼カメラ１０の推定位置姿勢とに基づいて３次元計測を行う（ステップＳ４１１）。 Then, the projector / camera control device 30 causes the projector 20 to project the measurement pattern, and causes the multi-lens camera 10 to perform shooting while maintaining the position and orientation. The three-dimensional measurement unit 111 of the image processing device 300 performs three-dimensional measurement based on the captured image group and the estimated position and orientation of the multi-lens camera 10 obtained in step S410 (step S411).
以上説明したように、第２の実施形態に係る画像処理装置は、前述の基準デプスマップと目標物体としての被写体が設置されている時に生成された対象デプスマップとの間で略同一のデプスを持つベース領域を抽出し、このベース領域から多眼カメラの位置姿勢推定のためのマーカーの投影位置を決定する。故に、この画像処理装置によれば、マーカーの投影位置を仮決めせずとも確実にベース領域にマーカーを投影するとともに、このマーカー、すなわちその現実空間における３次元位置が高精度に計測可能なマーカーを利用して、多眼カメラが初期位置姿勢とは異なる位置姿勢を取ったとしてもその位置姿勢を推定することができる。さらに、このマーカーが撮影可能な限りは多眼カメラの位置姿勢を任意に変更したとしても、その変更後の位置姿勢を推定することが可能である。 As described above, the image processing apparatus according to the second embodiment performs substantially the same depth between the above-described reference depth map and the target depth map generated when the subject as the target object is installed. A base area having the marker is extracted, and a projection position of a marker for estimating the position and orientation of the multi-view camera is determined from the base area. Therefore, according to this image processing apparatus, the marker can be reliably projected onto the base region without provisionally determining the projection position of the marker, and the marker, that is, the marker whose three-dimensional position in the real space can be measured with high accuracy , It is possible to estimate the position and orientation even if the multi-lens camera takes a position and orientation different from the initial position and orientation. Further, even if the position and orientation of the multi-lens camera are arbitrarily changed as long as this marker can be photographed, the position and orientation after the change can be estimated.
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。 The above-described embodiments merely show specific examples to help understand the concept of the present invention, and are not intended to limit the scope of the present invention. In the embodiment, various components can be added, deleted, or changed without departing from the spirit of the present invention.
上述の実施形態では、いくつかの機能部を説明したが、これらは各機能部の実装の一例に過ぎない。例えば、１つの装置に実装されると説明された複数の機能部が複数の別々の装置に亘って実装されることもあり得るし、逆に複数の別々の装置に亘って実装されると説明された機能部が１つの装置に実装されることもあり得る。 In the above embodiments, some functional units have been described, but these are merely examples of implementation of each functional unit. For example, a plurality of functional units described as being mounted on one device may be mounted on a plurality of separate devices, and conversely, a description may be made on a plurality of separate devices. The function unit may be mounted on one device.
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。 The various functional units described in each of the above embodiments may be realized by using a circuit. The circuit may be a dedicated circuit for realizing a specific function or a general-purpose circuit such as a processor.
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。 At least a part of the processing of each of the above embodiments can also be realized by using, for example, a processor mounted on a general-purpose computer as basic hardware. A program for implementing the above processing may be provided by being stored in a computer-readable recording medium. The program is stored in a recording medium as a file in an installable format or a file in an executable format. The recording medium is a magnetic disk, an optical disk (CD-ROM, CD-R, DVD, etc.), a magneto-optical disk (MO, etc.), a semiconductor memory, or the like. The recording medium may be any as long as it can store a program and can be read by a computer. Further, a program for realizing the above processing may be stored on a computer (server) connected to a network such as the Internet, and downloaded to a computer (client) via the network.
１０・・・多眼カメラ
１１，１２・・・カメラ
２０・・・プロジェクタ
３０・・・プロジェクタ／カメラ制御装置
４０・・・出力装置
５０・・・入力装置
６０・・・被写体
７０・・・台
８１，８２・・・マーカー
１００，３００・・・画像処理装置
１０１・・・画像取得部
１０２・・・デプスマップ生成部
１０３・・・ベース領域抽出部
１０５，３０５・・・マーカー検出部
１０６・・・投影位置判定部
１０７・・・再投影位置決定部
１０８，３０８・・・出力部
１０９，３０９・・・入力部
１１０・・・位置姿勢推定部
１１１・・・３次元計測部
３１２・・・投影位置決定部
DESCRIPTION OF SYMBOLS 10 ... Multi-lens camera 11, 12 ... Camera 20 ... Projector 30 ... Projector / camera control device 40 ... Output device 50 ... Input device 60 ... Subject 70 ... Table 81, 82: Marker 100, 300: Image processing device 101: Image acquisition unit 102: Depth map generation unit 103: Base region extraction unit 105, 305: Marker detection unit 106 .. Projection position determination unit 107 reprojection position determination unit 108, 308 output unit 109, 309 input unit 110 position and orientation estimation unit 111 three-dimensional measurement unit 312・ Projection position determination unit
Claims (10)
前記撮影範囲内に前記目標物体が設置されていて、かつプロジェクタによってマーカーが投影されている時に、前記初期位置姿勢を取る前記多眼カメラによって撮影された第２の画像群に基づいて対象デプスマップを生成するデプスマップ生成部と、
少なくとも前記基準デプスマップと前記対象デプスマップとで同一のデプスを持つ第１の領域をベース領域として抽出するベース領域抽出部と、
前記マーカーの位置を前記第２の画像群から検出するマーカー検出部と、
前記マーカーの位置が前記ベース領域にあるか否かを判定する投影位置判定部と
を具備する、画像処理装置。 When the target object is not set within the photographing range of the multi-lens camera in a state where the predetermined initial position and posture is taken, based on a first image group photographed by the multi-eye camera taking the initial position and posture. A storage unit that stores the generated reference depth map,
A target depth map based on a second image group taken by the multi-lens camera taking the initial position and orientation when the target object is set in the shooting range and a marker is projected by a projector. A depth map generation unit that generates
A base region extracting unit that extracts a first region having the same depth as at least the base depth map and the target depth map as a base region;
A marker detection unit that detects the position of the marker from the second image group;
An image processing device comprising: a projection position determination unit configured to determine whether the position of the marker is in the base region.
ユーザ入力を受け付ける入力部と
をさらに具備し、
前記再投影位置決定部は、前記マーカーの位置が前記ベース領域にないと判定された場合に、前記ユーザ入力に基づいて前記再投影位置を決定する、
請求項２に記載の画像処理装置。 An output unit that outputs image data representing the base region and the projection position of the marker,
And an input unit for receiving a user input.
The reprojection position determination unit, when it is determined that the position of the marker is not in the base region, determines the reprojection position based on the user input,
The image processing device according to claim 2.
前記プロジェクタに前記マーカーを前記再投影位置に投影させるためのプロジェクタ制御信号を生成する制御装置と
を具備する、プロジェクタ制御システム。 An image processing apparatus according to any one of claims 2 to 4,
A control device for generating a projector control signal for causing the projector to project the marker at the reprojection position.
前記多眼カメラの位置および姿勢の少なくとも一方を変更するためのカメラ制御信号を生成する制御装置と
を具備する、カメラ制御システム。 An image processing apparatus according to any one of claims 1 to 6,
A control device for generating a camera control signal for changing at least one of a position and a posture of the multi-lens camera.
前記制御装置は、前記第４の画像群から前記マーカーの位置が検出されるまで、前記カメラ制御信号を更新する、
請求項８に記載のカメラ制御システム。 The marker detection unit attempts to detect the position of the marker from a fourth image group captured by the multi-lens camera driven based on the camera control signal,
The control device updates the camera control signal until the position of the marker is detected from the fourth image group,
A camera control system according to claim 8.
前記撮影範囲内に前記目標物体が設置されている時に、前記初期位置姿勢を取る前記多眼カメラによって撮影された第２の画像群に基づいて対象デプスマップを生成するデプスマップ生成部と、
少なくとも前記基準デプスマップと前記対象デプスマップとで同一のデプスを持つ第１の領域をベース領域として抽出するベース領域抽出部と、
プロジェクタによってマーカーが投影される投影位置を前記ベース領域から決定する投影位置決定部と
を具備する、画像処理装置。 When the target object is not set within the photographing range of the multi-lens camera in a state where the predetermined initial position and posture is taken, based on a first image group photographed by the multi-eye camera taking the initial position and posture. A storage unit that stores the generated reference depth map,
When the target object is installed in the imaging range, a depth map generation unit that generates a target depth map based on a second image group captured by the multi-lens camera that takes the initial position and orientation,
A base region extracting unit that extracts a first region having the same depth as at least the base depth map and the target depth map as a base region;
And a projection position determination unit that determines a projection position at which the marker is projected by the projector from the base region.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018166703A JP2020041802A (en) | 2018-09-06 | 2018-09-06 | Image processing device, projector control system, and camera control system |
| PCT/JP2019/033964 WO2020050135A1 (en) | 2018-09-06 | 2019-08-29 | Image processing device, projector control system, and camera control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018166703A JP2020041802A (en) | 2018-09-06 | 2018-09-06 | Image processing device, projector control system, and camera control system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020041802A true JP2020041802A (en) | 2020-03-19 |
Family
ID=69721616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018166703A Pending JP2020041802A (en) | 2018-09-06 | 2018-09-06 | Image processing device, projector control system, and camera control system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020041802A (en) |
| WO (1) | WO2020050135A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05149730A (en) * | 1991-11-27 | 1993-06-15 | Mitsubishi Electric Corp | Image input device for robot |
| JP2001252883A (en) * | 2000-03-09 | 2001-09-18 | Denso Corp | Movable robot system |
| EP2075096A1 (en) * | 2007-12-27 | 2009-07-01 | Leica Geosystems AG | Method and system for extremely precise positioning of at least one object in the end position of a space |
| TWI408486B (en) * | 2008-12-30 | 2013-09-11 | Ind Tech Res Inst | Camera with dynamic calibration and method thereof |
| JP6582405B2 (en) * | 2014-12-19 | 2019-10-02 | 富士通株式会社 | Assembly apparatus, robot hand position correcting method, and robot hand position correcting program |
-
2018
- 2018-09-06 JP JP2018166703A patent/JP2020041802A/en active Pending
-
2019
- 2019-08-29 WO PCT/JP2019/033964 patent/WO2020050135A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020050135A1 (en) | 2020-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6338021B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN110140347B (en) | Depth image supply device and method | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| EP3067861A2 (en) | Determination of a coordinate conversion parameter | |
| KR101973917B1 (en) | Three-dimensional measuring device and its supporting method of measurement | |
| JP2013033206A (en) | Projection display device, information processing device, projection display system, and program | |
| JP5070435B1 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
| JP2004004043A (en) | Camera corrector | |
| JP5111447B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| JP5710752B2 (en) | Detection apparatus, method and program | |
| JP2004235934A (en) | Calibration processor, calibration processing method, and computer program | |
| CN111260793B (en) | Remote virtual-real high-precision matching positioning method for augmented and mixed reality | |
| JP2017033429A (en) | Three-dimensional object inspection device | |
| JP2010181919A (en) | Three-dimensional shape specifying device, three-dimensional shape specifying method, three-dimensional shape specifying program | |
| JPWO2015068470A1 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
| JP2021106025A5 (en) | ||
| US20200242806A1 (en) | Stereo camera calibration method and image processing device for stereo camera | |
| JP2008309595A (en) | Object recognizing device and program used for it | |
| CN113196165A (en) | Information projection system, control device, and information projection method | |
| JP2007033087A (en) | Calibration device and method | |
| JP5648159B2 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
| JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
| WO2020050135A1 (en) | Image processing device, projector control system, and camera control system | |
| KR101837269B1 (en) | Coordination guide method and system based on multiple marker | |
| JP4565171B2 (en) | Distance measuring apparatus and method |