JP2015201707A - Display pattern generation apparatus, and program for the same - Google Patents
Display pattern generation apparatus, and program for the same Download PDFInfo
- Publication number
- JP2015201707A JP2015201707A JP2014078334A JP2014078334A JP2015201707A JP 2015201707 A JP2015201707 A JP 2015201707A JP 2014078334 A JP2014078334 A JP 2014078334A JP 2014078334 A JP2014078334 A JP 2014078334A JP 2015201707 A JP2015201707 A JP 2015201707A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- display
- image
- distance
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 230000008859 change Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000014509 gene expression Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本願発明は、カメラキャリブレーション用のディスプレイ表示パターンを生成するディスプレイ表示パターン生成装置及びそのプログラムに関する。 The present invention relates to a display display pattern generation apparatus that generates a display display pattern for camera calibration and a program thereof.
カメラキャリブレーションとは、撮影した画像(撮影画像)から撮影カメラのカメラパラメータ(外部パラメータ、内部パラメータ)を推定することである。従来手法の一つとして、既知のパターン図形を配置したキャリブレーションパターンを撮影してカメラキャリブレーションを行う技術が提案されている(例えば、非特許文献1)。ここで、従来手法では、紙面上に印刷したキャリブレーションパターンを使用している。 Camera calibration is to estimate camera parameters (external parameters, internal parameters) of a photographing camera from a photographed image (captured image). As one of the conventional methods, a technique for performing camera calibration by photographing a calibration pattern in which a known pattern figure is arranged has been proposed (for example, Non-Patent Document 1). Here, in the conventional method, a calibration pattern printed on a paper surface is used.
しかし、前記した従来手法では、キャリブレーションパターンが紙面上に印刷されているため、キャリブレーションパターンを変化させることができない。このため、従来手法では、撮影カメラの位置、姿勢や撮影画角によっては、カメラキャリブレーションに適切なキャリブレーションパターンを撮影できないことがある。例えば、従来手法では、撮影カメラがズームアウトした際又はキャリブレーションパターンから離れた際、パターン図形が撮影画像上で潰れて検出できないことがある。この結果、従来手法では、安定したカメラキャリブレーションを行うことができず、カメラキャリブレーションの精度を向上させることができない。 However, in the conventional method described above, the calibration pattern cannot be changed because the calibration pattern is printed on the paper. For this reason, according to the conventional method, a calibration pattern suitable for camera calibration may not be photographed depending on the position, orientation, and photographing angle of view of the photographing camera. For example, in the conventional method, when the photographing camera is zoomed out or separated from the calibration pattern, the pattern figure may be crushed on the photographed image and cannot be detected. As a result, the conventional method cannot perform stable camera calibration and cannot improve the accuracy of camera calibration.
本願発明は、前記した問題を解決し、安定的に高精度なカメラキャリブレーションを可能とするディスプレイ表示パターン生成装置及びそのプログラムを提供することを課題とする。 It is an object of the present invention to provide a display display pattern generation apparatus and program for solving the above-described problems and enabling stable and highly accurate camera calibration.
前記した課題に鑑みて、本願発明に係るディスプレイ表示パターン生成装置は、パターン図形が所定の規則で配置されたディスプレイ表示パターンからなるカメラキャリブレーション用の表示画像を生成して、生成した表示画像をディスプレイに表示するディスプレイ表示パターン生成装置であって、パターン検出部と、カメラキャリブレーション部と、パターン図形位置決定部と、表示画像生成部と、を備えることを特徴とする。 In view of the above problems, the display display pattern generation device according to the present invention generates a display image for camera calibration including a display display pattern in which pattern figures are arranged according to a predetermined rule, and generates the generated display image. A display display pattern generation device for displaying on a display, comprising a pattern detection unit, a camera calibration unit, a pattern figure position determination unit, and a display image generation unit.
かかる構成によれば、ディスプレイ表示パターン生成装置は、パターン検出部によって、ディスプレイに表示された表示画像を撮影カメラで撮影した撮影画像に対してパターン検出処理を施すことで、撮影画像からパターン図形のパターン中心位置を検出する。また、ディスプレイ表示パターン生成装置は、カメラキャリブレーション部によって、撮影画像を撮影したときの撮影カメラのカメラパラメータをカメラキャリブレーションで求める。 According to such a configuration, the display display pattern generation device performs pattern detection processing on the captured image obtained by capturing the display image displayed on the display with the capturing camera by the pattern detection unit, so that the pattern graphic is detected from the captured image. The pattern center position is detected. In addition, the display display pattern generation apparatus obtains camera parameters of the photographing camera when the photographed image is photographed by camera calibration by the camera calibration unit.
また、ディスプレイ表示パターン生成装置は、パターン図形位置決定部によって、撮影画像で隣接するパターン中心位置の距離である中心間距離を算出し、算出した中心間距離の最小値が予め設定された距離基準値となるように撮影画像のパターン中心位置を修正する。そして、ディスプレイ表示パターン生成装置は、パターン図形位置決定部によって、カメラパラメータにより定まる表示画像と撮影画像との座標系の対応関係に基づいて、修正された撮影画像のパターン中心位置から、ディスプレイに表示する新たな表示画像のパターン中心位置を決定する。 Further, the display display pattern generation device calculates a center-to-center distance, which is a distance between adjacent pattern center positions in the captured image, by the pattern figure position determining unit, and a distance reference in which a minimum value of the calculated center-to-center distance is set in advance. The pattern center position of the captured image is corrected so as to be a value. Then, the display display pattern generation device displays, on the display, the pattern center position of the corrected captured image based on the coordinate system correspondence between the display image determined by the camera parameter and the captured image by the pattern figure position determining unit. The pattern center position of the new display image to be determined is determined.
また、ディスプレイ表示パターン生成装置は、表示画像生成部によって、新たな表示画像で隣接するパターン中心位置の距離である中心間距離を算出し、算出した中心間距離に基づいて、新たな表示画像を生成する。
このようにして、ディスプレイ表示パターン生成装置は、撮影カメラの位置、姿勢及び撮影画角に応じて、ディスプレイ表示パターンを適切に変更することができる。
Further, the display display pattern generation device calculates a center-to-center distance that is a distance between adjacent pattern center positions in the new display image by the display image generation unit, and creates a new display image based on the calculated center-to-center distance. Generate.
In this way, the display display pattern generation apparatus can appropriately change the display display pattern according to the position, orientation, and shooting angle of view of the shooting camera.
また、前記した課題に鑑みて、本願発明に係るディスプレイ表示パターン生成装置は、パターン図形が所定の規則で配置されたディスプレイ表示パターンからなるカメラキャリブレーション用の表示画像を生成して、生成した表示画像をディスプレイに表示するディスプレイ表示パターン生成装置であって、パターン検出部と、距離総和値算出部と、パターン図形サイズ決定部と、表示画像生成部と、を備えることを特徴とする。 In view of the above-described problems, the display display pattern generation device according to the present invention generates a display image for camera calibration that includes a display display pattern in which pattern figures are arranged according to a predetermined rule, and generates the generated display. A display display pattern generation device that displays an image on a display, comprising a pattern detection unit, a distance sum value calculation unit, a pattern figure size determination unit, and a display image generation unit.
かかる構成によれば、ディスプレイ表示パターン生成装置は、パターン検出部によって、
ディスプレイに表示された表示画像を撮影カメラで撮影した撮影画像に対してパターン検出処理を施すことで、撮影画像からパターン図形のパターン中心位置を検出する。また、ディスプレイ表示パターン生成装置は、距離総和値算出部によって、撮影画像で隣接するパターン中心位置の距離総和値と、表示画像で隣接するパターン中心位置の距離総和値とを算出する。
According to such a configuration, the display display pattern generation device is configured such that the pattern detection unit
The pattern center position of the pattern figure is detected from the photographed image by performing pattern detection processing on the photographed image obtained by photographing the display image displayed on the display with the photographing camera. In addition, the display display pattern generation device calculates the distance sum value of the pattern center positions adjacent to each other in the captured image and the distance sum value of the pattern center positions adjacent to each other in the display image by the distance sum value calculation unit.
また、ディスプレイ表示パターン生成装置は、パターン図形サイズ決定部によって、表示画像と撮影画像との距離総和値の比に、撮影画像で中央に位置するパターン図形のサイズに基づいて予め設定したサイズ基準値を乗じることで、ディスプレイに表示する新たな表示画像におけるパターン図形のサイズを算出する。そして、ディスプレイ表示パターン生成装置は、表示画像生成部によって、新たな表示画像におけるパターン図形のサイズに基づいて、新たな表示画像を生成する。
このようにして、ディスプレイ表示パターン生成装置は、撮影カメラの位置、姿勢及び撮影画角に応じて、ディスプレイ表示パターンを適切に変更することができる。
In addition, the display display pattern generation device uses a pattern figure size determination unit to set a size reference value that is set in advance based on the size of the pattern figure located in the center of the photographed image in the ratio of the total distance value between the display image and the photographed image. By multiplying by, the size of the pattern figure in the new display image displayed on the display is calculated. And a display display pattern production | generation apparatus produces | generates a new display image by the display image generation part based on the size of the pattern figure in a new display image.
In this way, the display display pattern generation apparatus can appropriately change the display display pattern according to the position, orientation, and shooting angle of view of the shooting camera.
本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るディスプレイ表示パターン生成装置は、撮影カメラの位置、姿勢及び撮影画角に応じて、ディスプレイ表示パターンを適切に変更することができる。これによって、ディスプレイ表示パターン生成装置は、撮影画像において、パターンの図形が潰れて検出できない事態が減少し、安定的に高精度なカメラキャリブレーションを行うことができる。
According to the present invention, the following excellent effects can be obtained.
The display display pattern generation apparatus according to the present invention can appropriately change the display display pattern in accordance with the position, orientation, and shooting angle of view of the shooting camera. As a result, the display display pattern generation device can reduce the situation in which the figure of the pattern is crushed and cannot be detected in the captured image, and can perform highly accurate camera calibration stably.
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means having the same function are denoted by the same reference numerals and description thereof is omitted.
(第1実施形態)
[カメラキャリブレーションシステムの概略]
図1〜図4を参照し、第1実施形態に係るカメラキャリブレーションシステム1の概略について説明する。
(First embodiment)
[Outline of camera calibration system]
The outline of the camera calibration system 1 according to the first embodiment will be described with reference to FIGS.
図1のように、カメラキャリブレーションシステム1は、撮影カメラ3のカメラキャリブレーションを行うものであり、ディスプレイ表示パターン生成装置2と、撮影カメラ3と、ディスプレイ4とを備える。
また、カメラキャリブレーションシステム1では、カメラキャリブレーションが行える位置に撮影カメラ3及びディスプレイ4が設置され、撮影カメラ3がディスプレイ4の全体を撮影することとする。
As shown in FIG. 1, the camera calibration system 1 performs camera calibration of the photographing
In the camera calibration system 1, the photographing
ディスプレイ表示パターン生成装置2は、ディスプレイ表示パターンptからなる表示画像90を生成して、生成した表示画像90をディスプレイ4に表示するものである。このとき、ディスプレイ表示パターン生成装置2は、撮影画像91を用いて、撮影カメラ3のカメラパラメータを求めて、ディスプレイ表示パターンptを適切に変更する。
The display display
表示画像90は、ディスプレイ表示パターンptが含まれるカメラキャリブレーション用の画像である。
撮影画像91は、ディスプレイ4に表示された表示画像90を撮影カメラ3が撮影した画像である。このように、撮影画像91は、ディスプレイ4に表示中の表示画像90に対応した画像である。
The
The photographed
また、ディスプレイ4に表示する予定の表示画像90を「新たな表示画像90」と呼ぶ。つまり、新たな表示画像90は、表示画像90よりも1フレーム以上後の画像であり、表示画像90と比べて、ディスプレイ表示パターンptが異なることがある。
The
<ディスプレイ表示パターン>
ここで、ディスプレイ表示パターンptについて説明する。
図2のように、ディスプレイ表示パターンptは、パターン図形が所定の規則で配置されたキャリブレーションパターンである。本実施形態では、ディスプレイ表示パターンptは、丸状のパターン図形が等間隔で縦横に3個ずつ配置された、正方形状のドットパターンである。例えば、ディスプレイ表示パターンptは、パターン図形が黒色であり、背景部分が白色となっている。
<Display pattern>
Here, the display display pattern pt will be described.
As shown in FIG. 2, the display display pattern pt is a calibration pattern in which pattern figures are arranged according to a predetermined rule. In the present embodiment, the display display pattern pt is a square dot pattern in which three circular pattern figures are arranged at equal intervals in the vertical and horizontal directions. For example, in the display display pattern pt, the pattern figure is black and the background portion is white.
図2では、パターン図形の半径をrx,ry、パターン図形の中心間距離をdx,dy、パターン図形の外縁間距離をlx,ly、ディスプレイ表示パターンptの枠内側の長さをwx,wyで図示した。パターン図形の半径rx,ryは、パターン図形のサイズを表す。中心間距離dx,dyは、あるパターン図形の中心位置から隣接するパターン図形の中心位置までの距離である。外縁間距離lx,lyは、あるパターン図形の外縁から隣接するパターン図形の外縁までの距離である。 In Figure 2, the radius r x of the pattern shapes, r y, the distance between the centers d x pattern shapes, d y, the outer edge distance l x pattern shapes, l y, the frame inner display the display pattern pt length This is indicated by w x and w y . Radius r x, r y of the pattern figure represents the size of the pattern features. The center distances d x and dy are distances from the center position of a certain pattern figure to the center position of an adjacent pattern figure. The distances l x and l y between the outer edges are distances from the outer edge of a certain pattern graphic to the outer edge of the adjacent pattern graphic.
パターン図形の個数をnx,nyとして記す。図2の例では、パターン図形の個数nx,nyは‘3’である。また、下付きの添字x,yは、それぞれ、表示画像90の横軸(x軸)、縦軸(y軸)を表す。また、図2では、右上に位置するパターン図形に符号α、パターン図形αの左に位置するパターン図形に符号β、パターン図形αの下に位置するパターン図形に符号γを付した。
It marks the number of pattern shapes n x, as n y. In the example of FIG. 2, the number of pattern figures n x and n y is “3”. The subscripts x and y represent the horizontal axis (x axis) and the vertical axis (y axis) of the
図2のディスプレイ表示パターンptでは、下記の式(1)〜式(6)で定義されるパターン生成規則が成立する。このパターン生成規則は、ディスプレイ表示パターンptを生成するときの規則であり、中心間距離dx,dyと、外縁間距離lx,lyと、パターン図形の半径rx,ryとの関係を表す。 In the display display pattern pt of FIG. 2, the pattern generation rules defined by the following formulas (1) to (6) are established. The pattern generation rule is a rule when generating a display representation pattern pt, center-to-center distance d x, and d y, the outer edge distance l x, and l y, the pattern shape radius r x, and r y Represents a relationship.
式(1)は、ディスプレイ表示パターンptの枠内側の長さwxが、nx個のパターン図形の直径合計値2rx・nxと、パターン図形が描かれていない背景部分の長さ合計値lx(nx+1)との和以上であることを示す。つまり、式(1)は、パターン図形の個数nxと、パターン図形の半径rxと、外縁間距離lxと、ディスプレイ表示パターンptの枠内側の長さwxとを関係付けている(式(2)も同様)。
ここで、パターン図形の個数nx,nyはそれぞれ、カメラキャリブレーションの精度を向上させるため、式(1)、式(2)を満たす中で最大値とすることが好ましい。
Equation (1), the length w x of the frame inside the display the display pattern pt is a n x number of pattern shapes of diameter sum 2r x · n x, the total length of the background part not drawn pattern feature It indicates that the sum is greater than or equal to the value l x (n x +1). That is, the expression (1) relates the number n x of pattern figures, the radius r x of the pattern figures, the distance l x between the outer edges, and the length w x inside the frame of the display display pattern pt ( The same applies to equation (2)).
Here, each of the number n x, n y of pattern features, to improve the accuracy of the camera calibration, equation (1), it is preferable that the maximum value among satisfying the equation (2).
式(3)は、外縁間距離lxとパターン図形の直径2rxとの和が、中心間距離dxに等しいことを示す。つまり、式(3)は、外縁間距離lxと、パターン図形の半径rxと、中心間距離dxとを関係付けている(式(4)も同様)。 Expression (3) indicates that the sum of the distance between the outer edges l x and the diameter 2r x of the pattern figure is equal to the center distance d x . In other words, Expression (3) relates the distance l x between the outer edges, the radius r x of the pattern figure, and the center distance d x (the same applies to Expression (4)).
式(5)は、外縁間距離lxがパターン図形の半径rxのax倍であることを示す。つまり、式(5)は、外縁間距離lxと、パターン図形の半径rxとを関係付けている(式(6)も同様)。 Equation (5) indicates that the distance l x between the outer edges is a x times the radius r x of the pattern figure. In other words, the expression (5) relates the distance l x between the outer edges and the radius r x of the pattern figure (the same applies to the expression (6)).
そして、図2のディスプレイ表示パターンptが正方形のため、wx=wyとなり、それぞれ定数となる。また、式(5)及び式(6)のax,ayは正の実数で任意に設定できる。以上の式(1)〜式(6)のパターン生成規則によれば、中心間距離dx,dy、外縁間距離lx,ly、又は、パターン図形の半径rx,ryの何れかが定まれば、ディスプレイ表示パターンptも定まることになる。 Since the display display pattern pt in FIG. 2 is a square, w x = w y , which are constants. Further, a x and a y in the equations (5) and (6) can be arbitrarily set as positive real numbers. According to the pattern generation rules of the above formulas (1) to (6), any of the center-to-center distances d x and d y , the outer edge distances l x and l y , or the pattern figure radii r x and r y If it is determined, the display display pattern pt is also determined.
図3(a)の撮影画像91は、パターン図形の間隔(中心間距離)が短いのでパターン図形が潰れてしまい、パターン図形の検出が困難である。また、図3(b)の撮影画像91は、図3(a)の撮影画像91に比べて、パターン図形の個数nx,nyを減らし、パターン図形の間隔を長くしたことで、パターン図形の検出が可能となっている。しかし、図3(b)の撮影画像91は、撮影カメラ3とディスプレイ4とが離れているため、撮影画像91の中でディスプレイ表示パターンptが小さくなり、カメラパラメータの精度が低くなってしまう。
In the photographed
図4(a)の撮影画像91は、撮影カメラ3とディスプレイ4とを近づけたため、図3(b)の撮影画像91に比べて、ディスプレイ表示パターンptが大きくなっている。しかし、図4(a)の撮影画像91は、パターン図形の個数が少ないため、カメラキャリブレーションを行っても、カメラパラメータの精度がさほど向上しない。図4(b)の撮影画像91は、パターン図形の個数を多くしたため、図4(a)の撮影画像91に比べて、より高い精度のカメラパラメータを求めることができる。
The captured
すなわち、カメラキャリブレーションを可能とするには、パターン図形の個数が一定以上であればよい。さらに、カメラキャリブレーションの精度を向上させるには、パターン図形が正確に検出できる範囲内でパターン図形を多くすればよい。 That is, in order to enable camera calibration, the number of pattern figures only needs to be a certain number or more. Furthermore, in order to improve the accuracy of camera calibration, it is only necessary to increase the number of pattern figures within a range where the pattern figures can be detected accurately.
図1に戻り、カメラキャリブレーションシステム1の概略について、説明を続ける。
撮影カメラ3は、CCD(Charge Coupled Device)やCMOS(Complementary MOS)を備える一般的なデジタルビデオカメラである。撮影カメラ3は、ディスプレイ表示パターンptが表示されたディスプレイ4を撮影して、撮影画像91をディスプレイ表示パターン生成装置2に出力する。
Returning to FIG. 1, the outline of the camera calibration system 1 will be described.
The photographing
ディスプレイ4は、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ等の一般的な表示装置である。ディスプレイ4は、ディスプレイ表示パターン生成装置2から入力された表示画像90を表示する。
The
以下、カメラキャリブレーションシステム1での処理の概略を説明する。まず、ディスプレイ表示パターン生成装置2は、初期設定されたディスプレイ表示パターンptの表示画像90をディスプレイ4に表示する。次に、撮影カメラ3は、このディスプレイ表示パターンptが表示されたディスプレイ4を撮影し、撮影画像91をディスプレイ表示パターン生成装置2に出力する。続いて、ディスプレイ表示パターン生成装置2は、この撮影画像91を用いて、撮影カメラ3のカメラキャリブレーションを行う。
Hereinafter, an outline of processing in the camera calibration system 1 will be described. First, the display display
このとき、ディスプレイ表示パターン生成装置2は、より高い精度のカメラパラメータを求められるように、ディスプレイ表示パターンptを適切に変化させて、新たな表示画像90を生成する。そして、ディスプレイ表示パターン生成装置2は、適切なディスプレイ表示パターンptが含まれる、新たな表示画像90をディスプレイ4に表示する。
以後、カメラキャリブレーションシステム1では、前記した手順を繰り返す。
At this time, the display display
Thereafter, the camera calibration system 1 repeats the above-described procedure.
[ディスプレイ表示パターン生成装置の構成]
図5を参照し、ディスプレイ表示パターン生成装置2の構成について説明する。
図5のように、ディスプレイ表示パターン生成装置2は、記憶部21と、パターン検出部22と、カメラキャリブレーション部23と、パターン生成部24とを備える。
[Configuration of Display Display Pattern Generation Device]
With reference to FIG. 5, the structure of the display display
As shown in FIG. 5, the display display
記憶部21は、ディスプレイ情報を予め記憶するメモリ、ハードディスク等の記憶装置である。
ディスプレイ情報とは、ディスプレイ4の画面サイズ、画素数、画素間隔等といったディスプレイ4に関する情報である。
The
The display information is information related to the
パターン検出部22は、撮影カメラ3から撮影画像91が入力され、入力された撮影画像91に対してパターン検出処理を施すことで、撮影画像91からパターン図形の中心位置の画像座標を検出するものである。このとき、パターン検出部22は、パターン生成部24(表示画像生成部26)から入力されたパターン情報と、記憶部21のディスプレイ情報とを利用する。
The
パターン情報とは、表示画像90におけるパターン図形の個数nx,ny、パターン図形の半径rx,ry、中心間距離dx,dy、外縁間距離lx,ly、ディスプレイ表示パターンptの枠内側の長さwx,wy等といったディスプレイ表示パターンptに関する情報である。さらに、パターン情報には、後記する回転検出基準パターン図形εの中心位置が含まれる。
The pattern information, the number n x of pattern features in the
具体的には、パターン検出部22は、パターン検出処理として、撮影画像91に含まれるパターン図形と同一色の領域(例えば、黒色領域)を検出する処理を施す。パターン図形が複数の画素により構成されるため、中心にある1画素を画像座標とする。パターン検出部22は、このパターン図形領域の重心点をパターン中心位置として検出すると、正確なパターン中心位置を素早く求められるので好ましい。
この他、パターン検出部22は、検出したパターン図形領域に外接する四角形を求め、求めた四角形の対角線交点をパターン中心座標として求めてもよい。
Specifically, the
In addition, the
ここで、ディスプレイ表示パターン生成装置2がパターン情報とディスプレイ情報とを有しているため、パターン図形の中心位置の世界座標が既知となる。例えば、ディスプレイ表示パターンptで中央に位置する基準パターン図形の中心位置を原点(0,0,0)とする世界座標系を考える。また、ディスプレイ情報では、画素間隔が実世界のスケール(単位系)で設定されていることとする。
Here, since the display display
この場合、パターン図形の中心間距離は、パターン図形同士の間隔(画素数)dと、ディスプレイ4の画素間隔Δとを乗じて算出できる。また、ディスプレイ情報の画素間隔が実世界のスケールで規定されているので、パターン図形の中心間距離を、基準パターン図形の中心位置を原点とした世界座標系(0,dΔ,0)に変換できる。
In this case, the center distance between the pattern figures can be calculated by multiplying the distance (number of pixels) d between the pattern figures and the pixel interval Δ of the
パターン検出部22は、撮影画像91でパターン図形の中心位置を表す画像座標と、表示画像90でパターン図形の中心位置を表す世界座標とを、座標情報として生成する。さらに、パターン検出部22は、生成した座標情報をカメラキャリブレーション部23及びパターン生成部24に出力する。
The
<ディスプレイ表示パターンの回転検出>
さらに、パターン検出部22は、図6のように、撮影画像91に含まれる回転検出基準パターン図形εの位置変化に基づいて、ディスプレイ表示パターンptの回転を検出することが好ましい。
<Display pattern rotation detection>
Furthermore, it is preferable that the
回転検出基準パターン図形εとは、ディスプレイ表示パターンptで非対称となる位置のパターン図形(例えば、右下のパターン図形)のことである。また、非対称となる位置のパターン図形とは、ディスプレイ表示パターンptが回転した際に位置が変化しないパターン図形以外のことである。従って、ディスプレイ表示パターンptの中央に位置するパターン図形は、回転した際に位置が変化しないので、回転検出基準パターン図形εとして設定されない。
なお、回転検出基準パターン図形εは、後記する表示画像生成部26によってディスプレイ表示パターンptに設定される。
The rotation detection reference pattern graphic ε is a pattern graphic (for example, a lower right pattern graphic) at a position that is asymmetric in the display display pattern pt. Moreover, the pattern figure of the position which becomes asymmetric is other than the pattern figure whose position does not change when the display display pattern pt is rotated. Accordingly, the pattern figure located at the center of the display display pattern pt is not set as the rotation detection reference pattern figure ε because the position does not change when it is rotated.
The rotation detection reference pattern graphic ε is set to the display display pattern pt by the display
回転検出基準パターン図形εの設定手法としては、表示画像90のディスプレイ表示パターンptから回転検出基準パターン図形εを抜く手法があげられる。言い換えるなら、表示画像90のディスプレイ表示パターンptでは、回転検出基準パターン図形εが描かれていない。パターン図形が縦横に3個ずつ配置されたディスプレイ表示パターンptから、回転検出基準パターン図形εとして、右下に位置するパターン図形が抜かれている。
なお、図6では、説明のために、回転検出基準パターン図形εを破線で図示した。
An example of a method for setting the rotation detection reference pattern graphic ε is a method of removing the rotation detection reference pattern graphic ε from the display display pattern pt of the
In FIG. 6, the rotation detection reference pattern graphic ε is illustrated by a broken line for the sake of explanation.
前記したように、パターン検出部22は、パターン情報から、表示画像90のディスプレイ表示パターンptに設定された回転検出基準パターン図形εの中心位置がわかる。また、パターン検出部22は、パターン中心位置の検出結果から、撮影画像91のディスプレイ表示パターンptで抜けていたパターン図形の中心位置を、回転検出基準パターン図形εとして特定できる。
As described above, the
そして、パターン検出部22は、表示画像90及び撮影画像91における回転検出基準パターン図形εの中心位置の変化を検出する。例えば、パターン検出部22は、表示画像90で右下に位置する回転検出基準パターン図形εが、撮影画像91で左下に移動したとき、ディスプレイ表示パターンptが時計回りに90°又は撮影カメラ3が反時計回りに90°回転したと検出する。
The
このように、パターン検出部22がディスプレイ表示パターンptの回転を検出することで、表示画像90と撮影画像91との縦軸及び横軸を対応付けて、2軸方向で最適なディスプレイ表示パターンptを求めることができる。
As described above, the
なお、回転検出基準パターン図形εは、ディスプレイ表示パターンptから抜く以外、他のパターン図形と異なる回転検出色(例えば、赤色)で描いてもよい。この場合、パターン検出部22は、撮影画像91に対し、回転検出基準パターン図形εと同一色の領域を検出する処理を施す。そして、パターン検出部22は、回転検出基準パターン図形εの領域における重心点を、回転検出基準パターン図形εの中心位置として検出する。
Note that the rotation detection reference pattern graphic ε may be drawn with a rotation detection color (for example, red) different from other pattern graphics, other than removing from the display display pattern pt. In this case, the
図5に戻り、ディスプレイ表示パターン生成装置2の構成について説明する。
カメラキャリブレーション部23は、パターン検出部22から座標情報が入力され、入力された座標情報を用いたカメラキャリブレーションによって、撮影画像91を撮影したときの撮影カメラ3のカメラパラメータを求めるものである。
Returning to FIG. 5, the configuration of the display display
The
例えば、カメラキャリブレーション部23は、下記参考文献1に記載のTsaiの手法を用いて、撮影カメラ3のカメラパラメータを求めることができる。
参考文献1:“A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”, R. Y. Tsai, IEEE J. Robotics & Automation, RA-3, No. 4, August 1987, pp. 323-344
For example, the
Reference 1: “A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”, RY Tsai, IEEE J. Robotics & Automation, RA-3, No. 4, August 1987 , pp. 323-344
そして、カメラキャリブレーション部23は、求めたカメラパラメータをパターン生成部24に出力する。
なお、カメラキャリブレーション部23は、求めたカメラパラメータを他の装置やアプリケーションで利用するため、このカメラパラメータを外部に出力してもよい。
Then, the
The
パターン生成部24は、ディスプレイ表示パターンptが含まれる撮影画像91を生成するものであり、パターン図形位置決定部25と、表示画像生成部26とを備える。ここで、パターン生成部24は、パターン検出部22から座標情報が入力され、カメラキャリブレーション部23からカメラパラメータが入力される。
The
パターン図形位置決定部25は、撮影画像91で隣接するパターン中心位置の距離である中心間距離を算出し、算出した中心間距離の最小値が予め設定された距離基準値となるように、撮影画像91のパターン中心位置を修正するものである。
The pattern figure
<撮影画像におけるパターン中心位置の決定>
図7,図8を参照し、パターン中心位置の決定について説明する(適宜図5参照)。
パターン図形位置決定部25は、パターン検出部22から入力された座標情報を参照して、撮影画像91に含まれる全てのパターン図形について、隣接するパターン図形との中心間距離を算出する。
<Determination of pattern center position in photographed image>
The determination of the pattern center position will be described with reference to FIGS. 7 and 8 (see FIG. 5 as appropriate).
The pattern figure
ここで、撮影カメラ3がディスプレイ4の左下側から撮影を行ったこととする。この場合、図7のように、撮影画像91では、左下側が撮影カメラ3に最も近く、右上側が撮影カメラ3から最も遠くなる。このため、隣接するパターン図形の間隔(中心間距離)は、撮影画像91の左下側から右上側になるにつれて短くなる。以下、図8のように、図7のパターン図形α〜γに着目して説明する。
Here, it is assumed that the photographing
例えば、パターン図形位置決定部25は、パターン図形αの中心位置(uα,vα)Tと、パターン図形βの中心位置(uβ,vβ)Tとの中心間距離を求める。また、パターン図形位置決定部25は、パターン図形αの中心位置(uα,vα)Tと、パターン図形γの中心位置(uγ,vγ)Tとの中心間距離を求める。
For example, the pattern figure
なお、下付きの添字u,vは、それぞれ、撮影画像91における横軸(u軸)、縦軸(v軸)を表す。つまり、撮影画像91のu軸が表示画像90のx軸に対応し、撮影画像91のv軸が表示画像90のy軸に対応する。
また、上付きの添字Tは、転置行列を表す。
また、図8では、説明のために、パターン図形を白抜きで図示し、パターン図形の中心位置を黒色で図示した(図9,図12,図13も同様)。
The subscripts u and v represent the horizontal axis (u axis) and the vertical axis (v axis) in the captured
A superscript T represents a transposed matrix.
Further, in FIG. 8, for the sake of explanation, the pattern figure is shown in white and the center position of the pattern figure is shown in black (the same applies to FIGS. 9, 12, and 13).
次に、パターン図形位置決定部25は、全てのパターン図形における中心間距離のうち、最小となる中心間距離を求める。図8の例では、u軸方向でパターン図形α,βの中心間距離duが最小となり、v軸方向でパターン図形α,γの中心間距離dvが最小となる。ここで、最小となる中心間距離du,dvは、下記の式(7)及び式(8)で表すことができる。
Next, the pattern figure
そして、パターン図形位置決定部25は、最小の中心間距離du,dvが予め設定された距離基準値Du,Dvとなるように、撮影画像91のパターン中心位置を修正する。パターン図形βで修正後のパターン中心位置を(u´β,v´β)T、パターン図形γで修正後のパターン中心位置(u´γ,v´γ)Tとする。この場合、距離基準値Du,Dvと、修正後のパターン中心位置(u´β,v´β)T,(u´γ,v´γ)Tとの間には、下記の式(9)及び式(10)の関係が成立する。
Then, the pattern figure
ここで、修正後のパターン中心位置(u´β,v´β)Tは、パターン図形α,βの中心位置を結んだ直線上にある。また、修正後のパターン中心位置(u´γ,v´γ)Tは、パターン図形α,γの中心位置を結んだ直線上にある。このため、相似等の関数によって、u座標とv座標との関係が求められる。これにより、式(9)及び式(10)が1つの数式に対して1つの変数となるので、パターン図形位置決定部25は、修正後のパターン中心位置(u´β,v´β)T,(u´γ,v´γ)Tを求めることができる。
Here, the corrected pattern center position (u ′ β , v ′ β ) T is on a straight line connecting the center positions of the pattern figures α and β. The corrected pattern center position (u ′ γ , v ′ γ ) T is on a straight line connecting the center positions of the pattern figures α and γ. For this reason, the relationship between the u coordinate and the v coordinate is obtained by a function such as similarity. As a result, since the equations (9) and (10) become one variable for one equation, the pattern figure
<新たな表示画像におけるパターン中心位置の決定>
図8,図9を参照し、新たな表示画像90におけるパターン中心位置の決定について説明する(適宜図5参照)。
パターン図形位置決定部25は、カメラパラメータにより定まる表示画像90と撮影画像91との座標系の対応関係に基づいて、修正された撮影画像91のパターン中心位置から、ディスプレイ4に表示する新たな表示画像90のパターン中心位置を決定する。
<Determination of pattern center position in new display image>
The determination of the pattern center position in the
The pattern figure
パターン図形位置決定部25に入力されたカメラパラメータは、ディスプレイ4に表示予定の新たな表示画像90に対して、1フレーム以上前のカメラパラメータである。このカメラパラメータを利用して、下記の式(11)のように、表示画像90の座標系(世界座標系)と撮影画像91の画像座標系とを関係付けることができる。
The camera parameters input to the pattern figure
式(11)では、撮影画像91の画像座標を(u,v)T、表示画像90の世界座標を(xw,yw,zw)T、撮影カメラ3の座標系(カメラ座標系)における奥行き値をzで表す。また、式(11)では、カメラパラメータに含まれる内部パラメータをA、回転行列をR、平行移動ベクトルをTで表す。
式(11)において、P=A(R|T)とすれば、下記の式(12)が成立する。この式(12)は、式(13)のように変形できる。
In Expression (11), the image coordinates of the photographed
In the equation (11), if P = A (R | T), the following equation (12) is established. This equation (12) can be transformed into equation (13).
そして、パターン図形位置決定部25は、下記の式(14)及び式(15)のように、修正後のパターン中心位置(u´β,v´β)T,(u´γ,v´γ)Tを式(13)に代入して、世界座標系で新たな表示画像90のパターン中心位置を求める。
The pattern figure
図9のように、世界座標系では、パターン図形αの中心位置を(xα,yα,zα)T、パターン図形βの中心位置を(xβ,yβ,zβ)T、パターン図形γの中心位置を(xγ,yγ,zγ)Tで表す。このとき、式(14)より、パターン図形βの中心位置(xβ,yβ,zβ)T=(xα+d´x,yα,0)Tとなる。さらに、式(15)より、パターン図形γの中心位置(xγ,yγ,zγ)T=(xα,yα+d´y,0)Tとなる。 As shown in FIG. 9, in the world coordinate system, the center position of the pattern figure α is (x α , y α , z α ) T , the center position of the pattern figure β is (x β , y β , z β ) T , and the pattern The center position of the figure γ is represented by (x γ , y γ , z γ ) T. At this time, the center position (x β , y β , z β ) T = (x α + d ′ x , y α , 0) T of the pattern figure β is obtained from the equation (14). Further, from the expression (15), the center position (x γ , y γ , z γ ) T = (x α , y α + d ′ y , 0) T of the pattern graphic γ is obtained.
図5に戻り、ディスプレイ表示パターン生成装置2の構成について説明する。
表示画像生成部26は、パターン図形位置決定部25で求めた、新たな表示画像90のパターン中心位置(xα+d´x,yα,0)T,(xα,yα+d´y,0)Tから、新たな表示画像90の中心間距離dx,dyを算出し、算出した中心間距離dx,dyに基づいて、新たな表示画像90を生成するものである。
Returning to FIG. 5, the configuration of the display display
The display
式(14)及び式(15)のd´x,d´yが新たな表示画像90の中心間距離dx,dyとなる。また、前記した式(1)〜式(6)のパターン生成規則により、中心間距離dx,dyが定まれば、新たな表示画像90のディスプレイ表示パターンptが定まる。このとき、パターン図形の個数nx,nyは、整数とする。
Equation (14) and d'x, d'y is the distance between the centers d x of the
つまり、表示画像生成部26は、前記した式(1)〜式(6)のパターン生成規則に基づいて、新たな表示画像90の中心間距離dx,dyから、新たな表示画像90の外縁間距離lx,ly及びパターン図形の半径rx,ryを算出する。そして、表示画像生成部26は、算出した中心間距離dx,dyと、外縁間距離lx,lyと、パターン図形の半径rx,ryとに従ってパターン図形が配置されたディスプレイ表示パターンptを求める。さらに、表示画像生成部26は、求めたディスプレイ表示パターンptからなる、新たな表示画像90を生成する。
That is, the display
なお、表示画像生成部26は、新たな表示画像90のディスプレイ表示パターンptに回転検出基準パターン図形εを設定することが好ましい(図6)。
また、表示画像生成部26は、新たな表示画像90に含まれるディスプレイ表示パターンptのパターン情報をパターン検出部22に出力する。
Note that the display
Further, the display
[ディスプレイ表示パターン生成装置の動作]
図10を参照し、ディスプレイ表示パターン生成装置2の動作について説明する(適宜図5参照)。
[Operation of display display pattern generator]
The operation of the display display
ディスプレイ表示パターン生成装置2は、パターン検出部22によって、撮影画像91からパターン図形の中心位置の画像座標を検出する。また、ディスプレイ表示パターン生成装置2は、パターン検出部22によって、ディスプレイ表示パターンptの回転を検出する(ステップS1)。
In the display display
ディスプレイ表示パターン生成装置2は、カメラキャリブレーション部23によって、撮影カメラ3のカメラパラメータをカメラキャリブレーションで求める(ステップS2)。
The display display
ディスプレイ表示パターン生成装置2は、パターン図形位置決定部25によって、撮影画像91の中心間距離を算出し、算出した中心間距離の最小値が距離基準値となるように、撮影画像91のパターン中心位置を修正する。また、ディスプレイ表示パターン生成装置2は、パターン図形位置決定部25によって、撮影画像91のパターン中心位置から、新たな表示画像90のパターン中心位置を決定する(ステップS3)。
The display display
ディスプレイ表示パターン生成装置2は、表示画像生成部26によって、新たな表示画像90のパターン中心位置から中心間距離を算出する(ステップS4)。
ディスプレイ表示パターン生成装置2は、表示画像生成部26によって、パターン生成規則に基づいて外縁間距離及びパターン図形の半径を算出し、新たな表示画像90を生成する(ステップS5)。
In the display display
In the display display
[作用・効果]
ディスプレイ表示パターン生成装置2は、撮影カメラ3の位置、姿勢及び撮影画角に応じて、ディスプレイ表示パターンptを適切に変更することができる。これによって、ディスプレイ表示パターン生成装置2は、撮影画像91において、パターン図形が潰れて検出できない事態が減少し、安定的に高精度なカメラキャリブレーションを行うことができる。
[Action / Effect]
The display display
さらに、ディスプレイ表示パターン生成装置2は、カメラパラメータを用いて表示画像90を生成するので、撮影カメラ3の位置、姿勢及び撮影画角の推定精度が向上し、カメラキャリブレーションの精度をより向上させることができる。
Furthermore, since the display display
(第2実施形態)
図11を参照し、本願発明の第2実施形態に係るディスプレイ表示パターン生成装置2Bについて、第1実施形態と異なる点を説明する。
ディスプレイ表示パターン生成装置2Bは、新たな表示画像90を生成する際、カメラパラメータではなく、撮影画像91と表示画像90との比による近似演算を行う点が、第1実施形態と異なる。
(Second Embodiment)
With reference to FIG. 11, a display display
The display display
図11のように、ディスプレイ表示パターン生成装置2Bは、記憶部21と、パターン検出部22と、カメラキャリブレーション部23と、パターン生成部24Bとを備える。
パターン生成部24Bは、表示画像生成部26Bと、距離総和値算出部27と、パターン図形サイズ決定部28とを備える。
なお、表示画像生成部26B、距離総和値算出部27及びパターン図形サイズ決定部28以外の各手段は、第1実施形態と同様のため、説明を省略する。
As shown in FIG. 11, the display display
The
The means other than the display
距離総和値算出部27は、パターン検出部22から入力された座標情報を用いて、撮影画像91で隣接するパターン中心位置の距離総和値と、表示画像90で隣接するパターン中心位置の距離総和値とを算出するものである。
The distance sum
まず、距離総和値算出部27は、表示画像90に含まれる全てのパターン図形について、隣接するパターン図形との中心間距離dx,dyを算出する。そして、距離総和値算出部27は、下記の式(16)及び式(17)のように、中心間距離dx,dyの総和である距離総和値sx,syを算出する。このとき、距離総和値算出部27は、x軸及びy軸に分けて、距離総和値sx,syを算出する。
First, the distance
また、距離総和値算出部27は、撮影画像91に含まれる全てのパターン図形について、隣接するパターン図形との中心間距離du,dvを算出する。そして、距離総和値算出部27は、下記の式(18)及び式(19)のように、中心間距離du,dvの総和である距離総和値su,svを算出する。このとき、距離総和値算出部27は、u軸及びv軸に分けて、距離総和値su,svを算出する。
The distance
パターン図形サイズ決定部28は、距離総和値算出部27が算出した距離総和値sx,sy,su,svから、ディスプレイ4に表示する新たな表示画像90におけるパターン図形の半径rx,ryを算出するものである。
The pattern figure
図12及び図13のように、撮影画像91及び表示画像90でディスプレイ表示パターンptの中央に位置するパターン図形ηの半径ru,rxの比と、撮影画像91及び表示画像90の中心間距離du,dxの総和である距離総和値su,sxの比とが等しくなる。また、撮影画像91及び表示画像90でディスプレイ表示パターンptの中央に位置するパターン図形ηの半径rv,ryの比と、撮影画像91及び表示画像90の中心間距離dv,dyの総和である距離総和値sv,syの比とが等しくなる。
なお、ディスプレイ表示パターンptの中央にパターン図形ηが存在しない場合(パターン図形の個数が偶数の場合)は、中央に最も近いパターン図形を利用する。
As shown in FIGS. 12 and 13, the ratio of the radii r u and r x of the pattern figure η located in the center of the display display pattern pt in the captured
When the pattern figure η does not exist at the center of the display display pattern pt (when the number of pattern figures is an even number), the pattern figure closest to the center is used.
すなわち、下記の式(20)及び式(21)が成立する。そして、式(20)及び式(21)は、式(22)及び式(23)のように変形できる。 That is, the following equations (20) and (21) are established. And Formula (20) and Formula (21) can be transformed like Formula (22) and Formula (23).
この式(22)及び式(23)において、表示画像90でパターン図形ηの半径ru,rvが予め設定された半径基準値(サイズ基準値)Ru,Rvとなるようにすると、表示画像90におけるパターン図形の半径rx,ryが求められる。
In the equations (22) and (23), if the radii r u and r v of the pattern figure η in the
すなわち、パターン図形サイズ決定部28は、下記の式(24)のように、表示画像90の距離総和値sxと撮影画像91の距離総和値suとの比に半径基準値Ruを乗じることで、新たな表示画像90におけるパターン図形の半径rxを算出できる。また、パターン図形サイズ決定部28は、下記の式(25)のように、表示画像90の距離総和値syと撮影画像91の距離総和値svとの比に半径基準値Rvを乗じることで、新たな表示画像90におけるパターン図形の半径ryを算出できる。
That is, the pattern figure
表示画像生成部26Bは、新たな表示画像90におけるパターン図形の半径rx,ryに基づいて、新たな表示画像90を生成するものである。具体的には、表示画像生成部26Bは、前記した式(1)〜式(6)のパターン生成規則に基づいて、新たな表示画像90の半径rx,ryから、新たな表示画像90の中心間距離dx,dy及び外縁間距離lx,lyを算出する。そして、表示画像生成部26Bは、算出した中心間距離dx,dyと、外縁間距離lx,lyと、パターン図形の半径rx,ryとに従ってパターン図形が配置されたディスプレイ表示パターンptを求める。さらに、表示画像生成部26Bは、求めたディスプレイ表示パターンptからなる、新たな表示画像90を生成する。
Display
[ディスプレイ表示パターン生成装置の動作]
図14を参照し、ディスプレイ表示パターン生成装置2Bの動作について説明する(適宜図11参照)。
ステップS1,S2の処理は、図10と同様のため、説明を省略する。
[Operation of display display pattern generator]
The operation of the display display
Since the process of step S1, S2 is the same as that of FIG. 10, description is abbreviate | omitted.
ディスプレイ表示パターン生成装置2Bは、距離総和値算出部27によって、表示画像で隣接するパターン図形の中心間距離を算出し、算出した中心間距離の距離総和値を求める(ステップS11)。
The display display
ディスプレイ表示パターン生成装置2Bは、パターン図形サイズ決定部28によって、表示画像90と撮影画像91との距離総和値の比に半径基準値を乗じることで、新たな表示画像90におけるパターン図形の半径を算出する(ステップS12)。
The display display
ディスプレイ表示パターン生成装置2Bは、表示画像生成部26Bによって、パターン生成規則に基づいて中心間距離及び外縁間距離を算出し、新たな表示画像90を生成する(ステップS13)。
In the display display
[作用・効果]
ディスプレイ表示パターン生成装置2Bは、第1実施形態と同様、安定的に高精度なカメラキャリブレーションを行うことができる。さらに、ディスプレイ表示パターン生成装置2Bは、簡易な演算処理により、カメラキャリブレーションの実行速度を向上させることができる。
[Action / Effect]
As in the first embodiment, the display display
(変形例)
本願発明に係るディスプレイ表示パターン生成装置2,2Bは、前記した各実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
(Modification)
The display display
前記した実施形態では、ディスプレイ表示パターン生成装置2,2Bがディスプレイ表示パターンptの回転を検出することとしたが、ディスプレイ表示パターンptの回転を検出せずともよい。この場合、ディスプレイ表示パターン生成装置2,2Bは、表示画像90と撮影画像91との縦軸及び横軸を対応付けることができないので、1軸方向でパターン図形の半径、中心間距離及び外縁間距離を算出する。
In the above-described embodiment, the display display
前記した実施形態では、ディスプレイ表示パターンptがドットパターンであることとしたが、これに限定されない。
図15のように、ディスプレイ表示パターンptは、正方形状のパターン図形が等間隔で縦横に3個ずつ配置された、正方形状のスクエアパターンであってもよい。ここで、パターン図形で端点から中点までの長さをrx,ryと定義する。これにより、図15のディスプレイ表示パターンptでは、式(1)〜式(6)のパターン生成規則をそのまま利用することができる。
さらに、図16のように、ディスプレイ表示パターンptは、市松模様状のパターンであってもよい。
In the above-described embodiment, the display display pattern pt is a dot pattern, but is not limited thereto.
As shown in FIG. 15, the display display pattern pt may be a square square pattern in which three square pattern figures are arranged at equal intervals in the vertical and horizontal directions. We define the length from the end point in the pattern feature to the midpoint r x, and r y. Thereby, in the display display pattern pt of FIG. 15, the pattern generation rule of Formula (1)-Formula (6) can be utilized as it is.
Further, as shown in FIG. 16, the display display pattern pt may be a checkered pattern.
前記した実施形態では、ディスプレイ表示パターン生成装置2,2Bを独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、ディスプレイ表示パターン生成装置2,2Bは、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるディスプレイ表示パターン生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
In the above-described embodiment, the display display
1 カメラキャリブレーションシステム
2,2B ディスプレイ表示パターン生成装置
3 撮影カメラ
4 ディスプレイ
21 記憶部
22 パターン検出部
23 カメラキャリブレーション部
24,24B パターン生成部
25 パターン図形位置決定部
26,26B 表示画像生成部
27 距離総和値算出部
28 パターン図形サイズ決定部
DESCRIPTION OF SYMBOLS 1
Claims (7)
前記ディスプレイに表示された表示画像を撮影カメラで撮影した撮影画像に対してパターン検出処理を施すことで、前記撮影画像から前記パターン図形のパターン中心位置を検出するパターン検出部と、
カメラキャリブレーションによって、前記撮影画像を撮影したときの撮影カメラのカメラパラメータを求めるカメラキャリブレーション部と、
前記撮影画像で隣接するパターン中心位置の距離である中心間距離を算出し、算出した当該中心間距離の最小値が予め設定された距離基準値となるように前記撮影画像のパターン中心位置を修正し、前記カメラパラメータにより定まる前記表示画像と前記撮影画像との座標系の対応関係に基づいて、修正された前記撮影画像のパターン中心位置から、前記ディスプレイに表示する新たな表示画像のパターン中心位置を決定するパターン図形位置決定部と、
前記新たな表示画像で隣接するパターン中心位置の距離である中心間距離を算出し、算出した当該中心間距離に基づいて、前記新たな表示画像を生成する表示画像生成部と、
を備えることを特徴とするディスプレイ表示パターン生成装置。 A display display pattern generation device that generates a display image for camera calibration including a display display pattern in which pattern figures are arranged according to a predetermined rule, and displays the generated display image on a display.
A pattern detection unit that detects a pattern center position of the pattern figure from the photographed image by performing pattern detection processing on the photographed image obtained by photographing the display image displayed on the display with a photographing camera;
A camera calibration unit that obtains camera parameters of the photographing camera when the photographed image is photographed by camera calibration;
A center-to-center distance that is a distance between adjacent pattern center positions in the captured image is calculated, and the pattern center position of the captured image is corrected so that the calculated minimum value of the center-to-center distance becomes a preset distance reference value. Then, based on the correspondence relationship of the coordinate system between the display image and the captured image determined by the camera parameter, the pattern center position of a new display image to be displayed on the display from the corrected pattern center position of the captured image A pattern figure position determining unit for determining
A display image generation unit that calculates a center-to-center distance that is a distance between adjacent pattern center positions in the new display image, and generates the new display image based on the calculated center-to-center distance;
A display display pattern generation device comprising:
前記中心間距離と、隣接する前記パターン図形の外縁の距離である外縁間距離と、前記パターン図形のサイズとの関係を表すパターン生成規則が予め設定され、
前記パターン生成規則に基づいて、前記新たな表示画像の中心間距離から、前記新たな表示画像の外縁間距離及びパターン図形のサイズを算出し、
算出した前記中心間距離と、前記外縁間距離と、前記パターン図形のサイズとに従って前記パターン図形を配置することで、前記新たな表示画像を生成することを特徴とする請求項1に記載のディスプレイ表示パターン生成装置。 The display image generation unit
A pattern generation rule representing a relationship between the distance between the centers, the distance between the outer edges that is the distance between the outer edges of the adjacent pattern figures, and the size of the pattern figure is set in advance,
Based on the pattern generation rule, the distance between the outer edges of the new display image and the size of the pattern figure are calculated from the center-to-center distance of the new display image.
The display according to claim 1, wherein the new display image is generated by arranging the pattern graphic in accordance with the calculated distance between the centers, the distance between the outer edges, and the size of the pattern graphic. Display pattern generation device.
前記ディスプレイに表示された表示画像を撮影カメラで撮影した撮影画像に対してパターン検出処理を施すことで、前記撮影画像から前記パターン図形のパターン中心位置を検出するパターン検出部と、
前記撮影画像で隣接するパターン中心位置の距離総和値と、前記表示画像で隣接するパターン中心位置の距離総和値とを算出する距離総和値算出部と、
前記表示画像と前記撮影画像との距離総和値の比に、前記撮影画像で中央に位置するパターン図形のサイズに基づいて予め設定したサイズ基準値を乗じることで、前記ディスプレイに表示する新たな表示画像におけるパターン図形のサイズを算出するパターン図形サイズ決定部と、
前記新たな表示画像におけるパターン図形のサイズに基づいて、前記新たな表示画像を生成する表示画像生成部と、
を備えることを特徴とするディスプレイ表示パターン生成装置。 A display display pattern generation device that generates a display image for camera calibration including a display display pattern in which pattern figures are arranged according to a predetermined rule, and displays the generated display image on a display.
A pattern detection unit that detects a pattern center position of the pattern figure from the photographed image by performing pattern detection processing on the photographed image obtained by photographing the display image displayed on the display with a photographing camera;
A distance sum value calculating unit for calculating a distance sum value of adjacent pattern center positions in the captured image and a distance sum value of adjacent pattern center positions in the display image;
A new display to be displayed on the display is obtained by multiplying the ratio of the total distance value between the display image and the captured image by a size reference value set in advance based on the size of the pattern figure located in the center of the captured image. A pattern figure size determining unit for calculating the size of the pattern figure in the image;
A display image generation unit that generates the new display image based on the size of the pattern graphic in the new display image;
A display display pattern generation device comprising:
前記中心間距離と、隣接する前記パターン図形の外縁の距離である外縁間距離と、前記パターン図形のサイズとの関係を表すパターン生成規則が予め設定され、
前記パターン生成規則に基づいて、前記新たな表示画像におけるパターン図形のサイズから、前記新たな表示画像の中心間距離及び外縁間距離を算出し、
算出した前記中心間距離と、前記外縁間距離と、前記パターン図形のサイズとに従って前記パターン図形を配置することで、前記新たな表示画像を生成することを特徴とする請求項3に記載のディスプレイ表示パターン生成装置。 The display image generation unit
A pattern generation rule representing a relationship between the distance between the centers, the distance between the outer edges that is the distance between the outer edges of the adjacent pattern figures, and the size of the pattern figure is set in advance,
Based on the pattern generation rules, from the size of the pattern figure in the new display image, calculate the center distance and the outer edge distance of the new display image,
The display according to claim 3, wherein the new display image is generated by arranging the pattern graphic according to the calculated distance between the centers, the distance between the outer edges, and the size of the pattern graphic. Display pattern generation device.
前記パターン検出部は、前記撮影画像に含まれる回転検出基準パターン図形の位置変化に基づいて、前記ディスプレイ表示パターンの回転を検出することを特徴とする請求項1から請求項5の何れか一項に記載のディスプレイ表示パターン生成装置。 The display image generation unit presets a pattern figure at a position that is asymmetric in the display display pattern of the display image as a rotation detection reference pattern figure,
The said pattern detection part detects the rotation of the said display display pattern based on the positional change of the rotation detection reference pattern figure contained in the said picked-up image, The any one of Claims 1-5 characterized by the above-mentioned. The display display pattern production | generation apparatus of description.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078334A JP6317611B2 (en) | 2014-04-07 | 2014-04-07 | Display display pattern generating apparatus and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078334A JP6317611B2 (en) | 2014-04-07 | 2014-04-07 | Display display pattern generating apparatus and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015201707A true JP2015201707A (en) | 2015-11-12 |
JP6317611B2 JP6317611B2 (en) | 2018-04-25 |
Family
ID=54552653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014078334A Active JP6317611B2 (en) | 2014-04-07 | 2014-04-07 | Display display pattern generating apparatus and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6317611B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545592A (en) * | 2016-06-28 | 2018-01-05 | 达索系统公司 | Dynamic camera is calibrated |
JPWO2020017327A1 (en) * | 2018-07-17 | 2021-08-02 | ソニーグループ株式会社 | Head-mounted display, control method of head-mounted display, information processing device, display device, and program |
CN115457144A (en) * | 2022-09-07 | 2022-12-09 | 梅卡曼德(北京)机器人科技有限公司 | Calibration pattern recognition method, calibration device and electronic equipment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177742A (en) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
JP2010102423A (en) * | 2008-10-22 | 2010-05-06 | Nippon Seiki Co Ltd | Wide angle image display method and wide angle image display system |
-
2014
- 2014-04-07 JP JP2014078334A patent/JP6317611B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177742A (en) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
JP2010102423A (en) * | 2008-10-22 | 2010-05-06 | Nippon Seiki Co Ltd | Wide angle image display method and wide angle image display system |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545592A (en) * | 2016-06-28 | 2018-01-05 | 达索系统公司 | Dynamic camera is calibrated |
JP2018007254A (en) * | 2016-06-28 | 2018-01-11 | ダッソー システムズDassault Systemes | Dynamical camera calibration |
US11238613B2 (en) | 2016-06-28 | 2022-02-01 | Dassault Systemes | Dynamical camera calibration |
JP7292000B2 (en) | 2016-06-28 | 2023-06-16 | ダッソー システムズ | dynamic camera calibration |
CN107545592B (en) * | 2016-06-28 | 2024-01-02 | 达索系统公司 | Dynamic camera calibration |
JPWO2020017327A1 (en) * | 2018-07-17 | 2021-08-02 | ソニーグループ株式会社 | Head-mounted display, control method of head-mounted display, information processing device, display device, and program |
JP7409307B2 (en) | 2018-07-17 | 2024-01-09 | ソニーグループ株式会社 | Head-mounted display, head-mounted display control method, information processing device, display device, and program |
CN115457144A (en) * | 2022-09-07 | 2022-12-09 | 梅卡曼德(北京)机器人科技有限公司 | Calibration pattern recognition method, calibration device and electronic equipment |
CN115457144B (en) * | 2022-09-07 | 2023-08-15 | 梅卡曼德(北京)机器人科技有限公司 | Calibration pattern recognition method, calibration device and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP6317611B2 (en) | 2018-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014131257A (en) | Image correction system, image correction method, and program | |
US11282232B2 (en) | Camera calibration using depth data | |
JP6594170B2 (en) | Image processing apparatus, image processing method, image projection system, and program | |
JP2007129709A (en) | Method for calibrating imaging device, method for calibrating imaging system including arrangement of imaging devices, and imaging system | |
US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
JP5886242B2 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2016155110A1 (en) | Method and system for correcting image perspective distortion | |
WO2021027927A1 (en) | Camera assembly and monitoring camera | |
JP5644461B2 (en) | Image processing apparatus and program | |
JP5068732B2 (en) | 3D shape generator | |
CN113538587A (en) | Camera coordinate transformation method, terminal and storage medium | |
JP6317611B2 (en) | Display display pattern generating apparatus and program thereof | |
CN109661815A (en) | There are the robust disparity estimations in the case where the significant Strength Changes of camera array | |
TWI615808B (en) | Image processing method for immediately producing panoramic images | |
JP2008216127A (en) | Distance image generation device, distance image generation method, and program | |
CN111131801A (en) | Projector correction system and method and projector | |
JP7192526B2 (en) | Image processing device, image processing method and program | |
CN116912331A (en) | Calibration data generation method and device, electronic equipment and storage medium | |
JP4871315B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
JP5927265B2 (en) | Image processing apparatus and program | |
JP2014041074A (en) | Image processing apparatus and inspection apparatus | |
JP2022117666A5 (en) | Chart generation method, resolution measurement method, resolution measurement system, and program | |
JP2018032991A (en) | Image display unit, image display method and computer program for image display | |
JP2018041201A (en) | Display control program, display control method and information processing device | |
JPWO2017057426A1 (en) | Projection device, content determination device, projection method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6317611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |