JP2010198554A - Device and method for correcting image - Google Patents
Device and method for correcting image Download PDFInfo
- Publication number
- JP2010198554A JP2010198554A JP2009045684A JP2009045684A JP2010198554A JP 2010198554 A JP2010198554 A JP 2010198554A JP 2009045684 A JP2009045684 A JP 2009045684A JP 2009045684 A JP2009045684 A JP 2009045684A JP 2010198554 A JP2010198554 A JP 2010198554A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- calculating
- coordinates
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 47
- 238000003702 image correction Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影された文字や図形の歪補正に係る画像補正装置及び画像補正方法に関する。 The present invention relates to an image correction apparatus and an image correction method related to distortion correction of photographed characters and figures.
従来、デジタルカメラは、広く普及し、風景や人物に限らず時刻表やポスターなどの文字を含む画像を撮影する際にも用いられるようになってきた。さらには、手書き文字や印刷された文字を、デジタルカメラを用いて光学的に読み取り、前もって記憶されたパターンとのマッチングにより文字を特定する光学式文字読み取り装置（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｄｅｒ）にも用いられている。しかしながら、撮影された文字画像は、撮影する位置により撮影対象に対する「アオリ」や「回転ズレ」が生じて歪むので、その文字の特定が困難であって読みづらく、そのまま使用するには最適なものではなかった。 2. Description of the Related Art Conventionally, digital cameras have become widespread and have been used not only for landscapes and people but also for shooting images including characters such as timetables and posters. Furthermore, it is also used in an optical character reader (OCR) that optically reads handwritten characters and printed characters using a digital camera and identifies the characters by matching with a previously stored pattern. It has been. However, the photographed character image is distorted due to the “tilt” or “rotation shift” of the object to be photographed depending on the photographing position. It wasn't.
例えば、書画カメラによる手書き文字や印刷物の撮影、デジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、認識度を向上させるためには、カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する必要がある。 For example, in order to improve recognition in shooting of handwritten characters and printed matter by a document camera, shooting of graphics and characters described on a white board by a digital camera, the horizontal line of the camera and the shooting target are aligned, and It is necessary to set shooting conditions so that the viewpoint of the camera can be seen from the vertical direction of the center position of the object.
書画カメラを用いる際には、撮影位置や被写体の位置を調整することによって、前述の「カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように設置する」という撮影条件を比較的容易に設定できるが、撮影したい原稿が大きくて書画カメラに載置できない場合には、この撮影条件を設定することが困難であった。また、ホワイトボードに記述された図形や文字を撮影する際には、手持ちカメラを用いることが多く、前述の撮影条件を設定することが困難であった。 When using a document camera, adjust the shooting position and the position of the subject so that the horizontal line between the camera and the subject is aligned and the camera viewpoint can be seen from the vertical direction of the center position of the subject. However, it is difficult to set the photographing condition when the original to be photographed is large and cannot be placed on the document camera. Further, when photographing figures and characters described on a whiteboard, a hand-held camera is often used, and it has been difficult to set the above-described photographing conditions.
「アオリ」は、例えば被写体が矩形であるのに対し、撮影される画像が撮影する位置によって台形に歪む現象である。そこで、文字画像をデジタルカメラで撮影する際には、あたかも被写体に正対した位置から撮影したように、「アオリ」を補正する（所謂、画像変換を行う）技術が知られている。 The “tilt” is a phenomenon in which, for example, the subject is rectangular, but the captured image is distorted into a trapezoid depending on the shooting position. Therefore, when a character image is photographed with a digital camera, a technique for correcting “tilt” (so-called image conversion) is known as if it was photographed from a position facing a subject.
例えば、ホワイドボードの外形が長方形であるという前提に立ち、ホワイトボードの各辺を撮影し、撮影されたホワイドボードの長方形の変形度合いから、撮影の視点のズレを検出し、このズレを打ち消すように歪みを補正する。 For example, on the premise that the outside of the wide board is rectangular, each side of the white board is photographed, and the deviation of the photographing viewpoint is detected from the degree of deformation of the photographed rectangular wide board. Correct distortion to cancel.
図５（ａ）が横書きの文字列が印刷された元画像、図５（ｂ）が図５（ａ）の文字列が撮影方向からみて仰角方向及び回転方向に傾いて撮影された画像である。この際、図５（ｂ）の撮影状態でＯＣＲに入力すると、文字が傾いて歪んでおり、文字の回転補正やパターンマッチングによる文字の特定が有効に働かず、文字を認識することができない。即ち、一般に、ＯＣＲは、文字列の回転補正の機能を備え、回転補正された水平及び垂直方向、上下反転（天地反転）の文字列を認識することが出来るが、回転補正しても歪んでいる（例えば、台形に歪んでいる）文字を認識することが困難であった。 FIG. 5A is an original image in which a horizontally written character string is printed, and FIG. 5B is an image in which the character string in FIG. 5A is photographed while being inclined in the elevation angle direction and the rotation direction as viewed from the photographing direction. . At this time, if the image is input to the OCR in the shooting state of FIG. 5B, the character is tilted and distorted, the character rotation correction and the character matching by pattern matching do not work effectively, and the character cannot be recognized. That is, in general, the OCR has a function of correcting the rotation of the character string, and can recognize the character string that has been rotated and corrected in the horizontal and vertical directions and upside down (upside down), but is distorted even if the rotation is corrected. It is difficult to recognize a character (for example, distorted into a trapezoid).
そこで、このような「アオリ」を伴う画像を補正する際に、射影変換が用いられている。射影変換は、視点（ビューポイント）を変えて、既知の対応点（例えば、長方形領域だった部分）を抽出し、変形された対応点の座標を決定することにより変換行列を求め、この変換行列を用いて文字列等の撮影対象の画像を補正する（例えば、特許文献１参照）。 Therefore, projective transformation is used when correcting an image with such “tilt”. In the projective transformation, a viewpoint (viewpoint) is changed, a known corresponding point (for example, a portion that was a rectangular region) is extracted, and a transformation matrix is obtained by determining coordinates of the transformed corresponding point. Is used to correct an image to be photographed such as a character string (see, for example, Patent Document 1).
そして、平面に配置されている物体（例えば、文字が印刷された用紙である）をデジタルカメラで撮影した際には、２次元射影変換が用いられる。２次元射影変換は、撮影された画像における座標を（ｕ，ｖ）、撮影された実空間における座標を（ｘ，ｙ）、変換行列における係数をａ１〜ａ８とすると、式１で表すことができる。
しかしながら、従来の画像補正の技術によれば、予め既知の対応点や基準線（例えばホワイドボード外形線である）を備える必要があって、さらに改善の余地があった。 However, according to the conventional image correction technique, it is necessary to provide a known corresponding point and a reference line (for example, the outline of the wide-width board) in advance, and there is room for further improvement.
例えば、ホワイトボードの外形に基づいて補正する際には、ホワイトボードが大きすぎて所望の文字や図形と一体に撮影することが困難になったり、ホワイトボードの外形が撮影範囲からはみ出して補正が困難になったりする虞があった。 For example, when correcting based on the outline of the whiteboard, the whiteboard is too large, making it difficult to shoot with the desired character or figure, or the outline of the whiteboard protrudes from the shooting range. There was a risk of difficulty.
また、被写体内の既知の対応点に基づいて補正する際には、撮影前にこの対応点の座標を取得又は計測する必要があると共にこの座標取得の精度も要求されるので、操作性を損なう虞があった。 Further, when correcting based on known corresponding points in the subject, it is necessary to acquire or measure the coordinates of the corresponding points before photographing, and accuracy of the coordinate acquisition is required, so that operability is impaired. There was a fear.
そこで、本発明は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の基準線や対応点を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる画像補正装置及び画像補正方法を提供することを目的とする。 Therefore, the present invention corrects an image obtained by distorting an original image that is photographed while being tilted with respect to the subject to be photographed (particularly, the subject to be photographed is a flat body on which characters and figures are formed). In addition, there is provided an image correction apparatus and an image correction method capable of correcting the tilt and distortion of a photographed image with high quality without requiring a known reference line and corresponding points before photographing between the original image and the photographed image. For the purpose.
かかる目的を達成するためになされた請求項１に記載の発明は、画像補正装置において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置と、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、を備えたことを特徴とする。 The invention according to claim 1, which has been made to achieve such an object, is an image correction device, wherein the image correction device is arranged to face a subject, and a pair of first and second imaging devices that stereo-shoots the subject, Corresponding point extracting means for extracting corresponding points between a pair of images obtained by stereo shooting, and three-dimensional coordinates for calculating three-dimensional coordinates corresponding to the corresponding points of the subject based on the image coordinates of the corresponding points A projecting conversion coefficient calculating means for calculating a conversion coefficient when projectively converting the three-dimensional coordinates of the subject to two-dimensional coordinates based on the three-dimensional coordinates calculated by the calculating means; Based on the conversion coefficient, for each coordinate of the captured image, a second three-dimensional coordinate calculation unit that calculates the three-dimensional coordinate, and a three-dimensional coordinate calculated by the second three-dimensional coordinate calculation unit On the basis of the, An inclination angle calculating means for calculating an inclination angle of the imaging device with respect to a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane, and an inclination angle calculated by the inclination angle calculating means. On the basis of the three-dimensional coordinate correction means for correcting the three-dimensional coordinates so as to cancel the inclination angle, and correcting the image in correspondence with the tertiary coordinates corrected by the three-dimensional coordinate correction means, And image tilt correction means for generating an image obtained by photographing the subject from the front.
請求項１に記載の画像補正装置によれば、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて、被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項１に記載の画像補正装置は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、撮影前に元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。 According to the image correction apparatus of claim 1, based on a pair of images obtained by stereo shooting, the coordinates of the captured image are associated with the three-dimensional coordinates of the subject, and the inclination of the imaging device with respect to the subject An angle can be calculated and an image taken so as to cancel the tilt angle can be corrected. As a result, the image correction apparatus according to claim 1 is photographed while being tilted with respect to the photographing target (in particular, the photographing target is a plane body on which characters and figures are formed) and is distorted from the original image. When correcting the obtained image, there is no need for known corresponding points or reference lines before photographing between the original image and the photographed image, and the tilt and distortion of the photographed image are improved in quality. Can be corrected.
次に、請求項２に記載の発明は、画像補正方法において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置を用い、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、を備えたことを特徴とする。 Next, the invention according to claim 2 is obtained by the stereo photographing using the first and second pair of image pickup devices that are arranged to face the subject and photograph the subject in stereo in the image correction method. A corresponding point extracting step for extracting corresponding points between the pair of images, a three-dimensional coordinate calculating step for calculating three-dimensional coordinates corresponding to the corresponding points of the subject based on the image coordinates of the corresponding points, Based on the three-dimensional coordinates calculated in the three-dimensional coordinate calculation step, a projection conversion coefficient calculation step for calculating a conversion coefficient when projecting the three-dimensional coordinates of the subject into two-dimensional coordinates, and based on the conversion coefficient Then, for each coordinate of the captured image, based on the second three-dimensional coordinate calculation step for calculating the three-dimensional coordinate, and the three-dimensional coordinate calculated in the second three-dimensional coordinate calculation step, An inclination angle calculating step for calculating an inclination angle of the imaging device with respect to a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane, and an inclination angle calculated in the inclination angle calculating step. Based on the three-dimensional coordinate correction step for correcting the three-dimensional coordinate so as to cancel the inclination angle, the image is corrected in association with the tertiary coordinate corrected in the three-dimensional coordinate correction step, and And an image inclination correction step for generating an image obtained by photographing the subject from the front.
請求項２に記載の画像補正方法によれば、請求項１に記載の発明と同様に、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項２に記載の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。 According to the image correction method of the second aspect, similar to the first aspect of the invention, based on a pair of images obtained by stereo shooting, the coordinates of the captured image and the three-dimensional coordinates of the subject are obtained. Can be associated with each other to calculate the tilt angle of the imaging apparatus with respect to the subject, and the captured image can be corrected so as to cancel the tilt angle. As a result, the image correction method according to claim 2 is distorted from the original image that is photographed while being tilted with respect to the photographing target (in particular, the photographing target is a flat body on which characters and figures are formed). When correcting the obtained image, it is possible to correct the tilt and distortion of the photographed image with high quality without requiring known corresponding points and reference lines before photographing between the original image and the photographed image.
本発明の画像補正装置及び画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。 The image correction apparatus and the image correction method according to the present invention are obtained by distorting an original image after being imaged with respect to an imaging target (in particular, the imaging target is a plane body on which characters and figures are formed). When correcting the captured image, it is possible to correct the tilt and distortion of the captured image with high quality without requiring known corresponding points and reference lines before capturing between the original image and the captured image.
次に、本発明の画像補正装置及び画像補正方法の一実施例を図面に基づいて説明する。
図１に表したように、本実施例の画像補正装置１００は、被写体Ｐに対向して配置されて被写体Ｐをステレオ撮影する第１撮像装置１及び第２撮像装置２、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像を所定領域毎に走査して相関度を検出するパターンマッチング処理部３、パターンマッチング処理部３で得られた相関度に基づいての一対の画像間の対応点を抽出する対応点抽出部４、対応点抽出部４で抽出された対応点に対応する被写体Ｐの３次元座標を算出する空間座標算出部５、空間座標算出部５の座標平面に対する撮像装置１、２の傾斜角を算出して、傾斜角を打ち消すように３次元座標を補正する空間座標補正部６、空間座標補正部６で補正された３次座標に対応付けて撮像装置１、２で撮影された画像を補正する正面画像生成部７、図示しないＣＰＵ、ＲＯＭ等を備え、ＣＰＵがＲＯＭと協働して当該画像補正装置１００の動作を制御する。
Next, an embodiment of an image correction apparatus and an image correction method according to the present invention will be described with reference to the drawings.
As illustrated in FIG. 1, the image correction apparatus 100 according to the present exemplary embodiment is arranged to face the subject P, and the first imaging device 1, the second imaging device 2, and the first imaging device 1 that capture the subject P in stereo. And a pair of images based on the degree of correlation obtained by the pattern matching processing unit 3 that detects the degree of correlation by scanning each image captured by the second imaging device 2 for each predetermined region. A corresponding point extracting unit 4 for extracting corresponding points between them, a spatial coordinate calculating unit 5 for calculating three-dimensional coordinates of the subject P corresponding to the corresponding points extracted by the corresponding point extracting unit 4, and a coordinate plane of the spatial coordinate calculating unit 5 Are calculated in association with the spatial coordinate correction unit 6 that corrects the three-dimensional coordinates so as to cancel the inclination angle, and the tertiary coordinate corrected by the spatial coordinate correction unit 6. Correcting images taken in steps 1 and 2 Surface image generating unit 7, CPU, not shown, provided with a ROM, CPU controls the operation of the image correction apparatus 100 in cooperation with the ROM.
撮像装置１、２は、被写体Ｐの光学像をイメージセンサ２ｂ、２ｂに導く撮像光学系１ａ、２ａ、撮像光学系１ａ、２ａを介して結像した光学像を受光量に対応付けて電気信号に変換するイメージセンサ１ｂ、２ｂ、イメージセンサ１ｂ、２ｂから出力した電気信号を記憶する画像メモリ１ｃ、２ｃ等によって構成されている。 The image pickup apparatuses 1 and 2 associate an optical image formed through the image pickup optical systems 1a and 2a and the image pickup optical systems 1a and 2a that guide the optical image of the subject P to the image sensors 2b and 2b with an amount of received light. Image sensors 1b and 2b to be converted into image sensors, image memories 1c and 2c for storing electric signals output from the image sensors 1b and 2b, and the like.
また、イメージセンサ１ｂ及び２ｂは、複数の光電変換素子がマトリクス状に配置されて、個々の光電変換素子毎に被写体光を光電変換してアナログ電気信号に変換すると共に、このアナログ電気信号をデジタル値に変換し、画像メモリ１ｃ、２ｃに出力する。 In the image sensors 1b and 2b, a plurality of photoelectric conversion elements are arranged in a matrix, and subject light is photoelectrically converted into an analog electric signal for each photoelectric conversion element, and the analog electric signal is converted into a digital signal. Converted into a value and output to the image memories 1c and 2c.
また、画像メモリ１ｃ、２ｃは、イメージセンサ１ｂ、２ｂから出力されたデジタル信号を、光電変換素子の配置に対応付けて記憶する。 The image memories 1c and 2c store the digital signals output from the image sensors 1b and 2b in association with the arrangement of the photoelectric conversion elements.
次に、対応点抽出部４は、パターンマッチング処理部３で検出された相関度に基づいて画素分布が最も近似している少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点とする。この際、抽出する対応点の組数は、少なくとも４組であって更に多数であることが好ましい。また、複数の対応点は、撮影画面の大きさに応じて適度に離間していることが好ましい。 Next, the corresponding point extraction unit 4 extracts at least four sets of regions whose pixel distributions are closest to each other based on the degree of correlation detected by the pattern matching processing unit 3, and sets the center point of this region as a pair of points. Corresponding points between images. At this time, the number of pairs of corresponding points to be extracted is preferably at least four and more. Further, it is preferable that the plurality of corresponding points are appropriately spaced according to the size of the shooting screen.
次に、空間座標算出部５は、対応点抽出部４で抽出された複数の対応点の、実空間における３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出部５ｂ、撮像装置１、２の画像座標毎に空間座標（実空間における３次元座標）を算出する画素毎空間座標算出部５ｃ等によって構成されている。 Next, the spatial coordinate calculation unit 5 includes a corresponding point space coordinate calculation unit 5a and a corresponding point space coordinate calculation unit 5a that calculate three-dimensional coordinates in the real space of a plurality of corresponding points extracted by the corresponding point extraction unit 4. Based on the calculated three-dimensional coordinates, a projective conversion coefficient calculation unit 5b that calculates a conversion coefficient when projecting the three-dimensional coordinates of the subject P into two-dimensional coordinates, and spatial coordinates for each image coordinate of the imaging devices 1 and 2 It is configured by a pixel-by-pixel spatial coordinate calculation unit 5c that calculates (three-dimensional coordinates in real space).
本実施例の画像補正装置１００では、前述のように４組以上の対応点を得るためにステレオ撮影し、撮影された画像における座標（ｕ，ｖ）と空間座標（ｘ，ｙ，ｚ）の組を求める。 In the image correction apparatus 100 according to the present embodiment, as described above, stereo shooting is performed in order to obtain four or more sets of corresponding points, and the coordinates (u, v) and spatial coordinates (x, y, z) in the captured image are obtained. Ask for a pair.
ステレオ撮影による画像計測は、図２に表したように、被写体Ｐの実空間座標をＰ（ｘ，ｙ，ｚ）、第１撮像装置１で撮影された被写体Ｐの画像座標をＰ１（ｘ１，ｙ１）、第２撮像装置２で撮像された被写体Ｐの画像座標をＰ２（ｘ２，ｙ２）、撮像装置１における結像位置をＯ１、撮像装置２における結像位置をＯ２、撮像装置１及び撮像装置２の焦点距離をｃ、基線長（撮像装置１と撮像装置２との光軸間距離である）をＢとすると、（式２）〜（式４）の関係がある。
ｘ１＝ｃ・ｘ／ｚ…（式２）
ｙ１＝ｙ２＝ｃ・ｙ／ｚ …（式３）
ｘ２−ｘ１＝ｃ・Ｂ／ｚ …（式４）
そこで、（式４）によりｚを求め、この求めたｚを（式２）、（式３）に代入することにより、ｘ、ｙを求め、被写体Ｐの三次元座標Ｐ（ｘ，ｙ，ｚ）を得ることができる。
As shown in FIG. 2, the image measurement by stereo shooting is performed by using P (x, y, z) as the real space coordinates of the subject P, and P 1 (x as the image coordinates of the subject P taken by the first imaging device 1. 1 , y 1 ), the image coordinates of the subject P imaged by the second imaging device 2 are P 2 (x 2 , y 2 ), the imaging position in the imaging device 1 is O 1 , and the imaging position in the imaging device 2 is If O 2 , the focal length of the imaging device 1 and the imaging device 2 is c, and the base length (the distance between the optical axes of the imaging device 1 and the imaging device 2) is B, (Equation 2) to (Equation 4) There is a relationship.
x 1 = c · x / z (Formula 2)
y 1 = y 2 = c · y / z (Formula 3)
x 2 −x 1 = c · B / z (Formula 4)
Therefore, z is obtained from (Equation 4), and x and y are obtained by substituting the obtained z into (Equation 2) and (Equation 3), and the three-dimensional coordinates P (x, y, z of the subject P) ) Can be obtained.
この際、平面方向（撮像装置１、２から計測対象に向かう光軸方向に直交する平面）の分解能をΔＸＹ、奥行方向（撮像装置１、２から計測対象に向かう光軸方向）の分解能をΔＺ、撮像装置１及び撮像装置２の画像分解能（１ピクセルの大きさ）をΔｐ、撮影距離をＬとすると、（式５）、（式６）を用いて、夫々の分解能を求めることができる。
ΔＸＹ＝（Ｌ／Ｃ）×Δｐ … （式５）
ΔＺ＝（Ｌ／Ｂ）×ΔＸＹ … （式６）
At this time, the resolution in the plane direction (plane orthogonal to the optical axis direction from the imaging devices 1 and 2 toward the measurement target) is ΔXY, and the resolution in the depth direction (the optical axis direction from the imaging devices 1 and 2 toward the measurement target) is ΔZ. When the image resolution (size of one pixel) of the imaging device 1 and the imaging device 2 is Δp and the shooting distance is L, the respective resolutions can be obtained using (Equation 5) and (Equation 6).
ΔXY = (L / C) × Δp (Formula 5)
ΔZ = (L / B) × ΔXY (Formula 6)
例えば、焦点距離ｃを１０ｍｍ、撮影距離Ｌを１ｍ、基線長Ｂを１０ｃｍ、画像分解能Δｐを５μｍとしたとき、これらの数値を（式５）、（式６）に代入することにより、平面分解能が０．５ｍｍ、奥行分解能が５ｍｍになる。 For example, when the focal length c is 10 mm, the shooting distance L is 1 m, the base length B is 10 cm, and the image resolution Δp is 5 μm, these numerical values are substituted into (Equation 5) and (Equation 6) to obtain the plane resolution. Is 0.5 mm and depth resolution is 5 mm.
また、対応点空間座標算出部５ａは、対応点抽出部４を介してえられた４組の対応点に対となる画像座標毎に、（式２）〜（式４）を用いて、４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）を算出する。 The corresponding point space coordinate calculation unit 5a uses (Expression 2) to (Expression 4) for each of the image coordinates that are paired with the four sets of corresponding points obtained via the corresponding point extraction unit 4. Real space coordinates (x, y, z) corresponding to the set of corresponding points are calculated.
次に、射影変換係数算出部５ｂは、（式１）に４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）と画像座標（ｕ，ｖ）を代入して、（式１）の条件を満足する変換係数（ａ１〜ａ８）を算出する。 Next, the projective transformation coefficient calculation unit 5b substitutes the real space coordinates (x, y, z) and the image coordinates (u, v) corresponding to the four sets of corresponding points in (Expression 1), and (Expression 1). ) to calculate the transform coefficients satisfying the condition of (a 1 ~a 8).
次に画素毎空間座標算出部５ｃは、（式１）から画像座標ｘｙを求める算式（式７）に変換し、（式７）を用いて、撮影された全ての画像座標に対応する空間座標（ｘ，ｙ,ｚ）を算出する。また、この際、（式２）を用いてｚ座標を算出する。
次に、空間座標補正部６は、認識したい文字や図形が含まれた被写体Ｐの空間的配置が判明したので、図３（ａ）、図３（ｂ）に表したように、この画像データを正面からみた画像データに変換する。 Next, since the spatial arrangement of the subject P including the character or figure to be recognized has been found, the spatial coordinate correction unit 6 determines this image data as shown in FIGS. 3 (a) and 3 (b). Is converted into image data viewed from the front.
空間座標補正部６は、空間座標算出部５で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出する法線ベクトル算出部６ａ、法線ベクトル算出部６ａで算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正する空間座標回転補正部６ｃ、等によって構成されている。 The spatial coordinate correction unit 6 calculates a normal vector for a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane based on the three-dimensional coordinates calculated by the spatial coordinate calculation unit 5. An inclination angle calculation unit 6b that calculates an inclination angle (Φ, θ) of the imaging devices 1 and 2 with respect to a plane in a three-dimensional space based on the normal vector calculated by the vector calculation unit 6a and the normal vector calculation unit 6a. A spatial coordinate rotation correction unit that corrects the three-dimensional coordinates (x, y, z) so as to cancel the inclination angles (Φ, θ) based on the inclination angles (Φ, θ) calculated by the inclination angle calculation unit 6b. 6c, etc.
詳しくは、法線ベクトル算出部６ａは、画素毎空間座標算出部５ｃで算出された３点以上の空間座標（ｘ、ｙ、ｚ）を夫々（式８）に代入し、（式８）を満足するベクトル（ａ，ｂ，ｃ）を求める。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ … （式８）
Specifically, the normal vector calculation unit 6a substitutes three or more spatial coordinates (x, y, z) calculated by the pixel-by-pixel spatial coordinate calculation unit 5c into (Equation 8), and (Equation 8). Find a satisfied vector (a, b, c).
ax + by + cz + d = 0 (Expression 8)
次に、傾斜角算出部６ｂは、図３（ｂ）に表したように、法線ベクトルを極座標に表示して、ｘ軸、ｚ軸となす角度を夫々Φ、θとすると（式９）の関係式があるので、この関係式におけるｘ、ｙ、ｚにａ、ｂ、ｃを代入して、傾斜角Φ、θを算出する。
次に、空間座標回転補正部６ｃは、三次元空間座標に対してΦ、θの傾斜角分を補正して正面から視た座標に変換する。この際、正面から視た座標を（Ｘｆ，Ｙｆ，Ｚｆ）と表し傾斜した平面座標を（Ｘｓ，Ｙｓ，Ｚｓ）と表すと、（式１０）を用いて、正面から視た座標（Ｘｆ，Ｙｆ，Ｚｆ）を得ることができる。
次に、正面画像生成部７は、空間座標回転補正部６ｃで得られた正面画像の画素座標（Ｘｆ，Ｙｆ，Ｚｆ）に対応付けて、撮影された画像を補正する。この際、空間座標（Ｘｆ，Ｙｆ，Ｚｆ）は、必ずしも撮像装置１、２の画像座標に一致するとは限らないので、その際には、共１次内挿法を用いて、空間座標の画素に対応付けて画像座標の画素を補間生成する。 Next, the front image generation unit 7 corrects the captured image in association with the pixel coordinates (X f , Y f , Z f ) of the front image obtained by the spatial coordinate rotation correction unit 6c. At this time, the spatial coordinates (X f , Y f , Z f ) do not necessarily match the image coordinates of the imaging devices 1 and 2, and in that case, using the bilinear interpolation method, An image coordinate pixel is generated by interpolation in association with the coordinate pixel.
以上のように、本実施例に記載の画像補正装置１００は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出部４、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出する射影変換係数算出部５ｂ、変換係数に基づいて、撮影された画像の座標毎に３次元座標を算出する画素毎空間座標算部５ｃ、画素毎空間座標算部５ｃで算出された３次元座標に基づいて、３次元座標が構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標を補正する空間座標回転補正部６ｃ、空間座標回転補正部６ｃで補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する正面画像生成部７、等を備えている。 As described above, the image correction apparatus 100 described in the present embodiment includes a pair of imaging devices 1 and 2 that shoot a subject P in stereo, and a corresponding point extraction that extracts corresponding points between a pair of images obtained by stereo shooting. Based on the three-dimensional coordinates calculated by the corresponding point space coordinate calculating unit 5a, the corresponding point space coordinate calculating unit 5a that calculates the three-dimensional coordinates of the subject P corresponding to the corresponding point based on the image coordinates of the corresponding point Then, a projection conversion coefficient calculation unit 5b that calculates conversion coefficients (a 1 to a 8 ) for projective conversion of the three-dimensional coordinates of the subject P into two-dimensional coordinates, for each coordinate of the captured image based on the conversion coefficients The pixel-by-pixel spatial coordinate calculation unit 5c for calculating the three-dimensional coordinates, and the imaging device 1 for the plane in the three-dimensional space in which the three-dimensional coordinates are configured based on the three-dimensional coordinates calculated by the pixel-by-pixel spatial coordinate calculation unit 5c. 2 tilt angles (Φ, θ) Based on the tilt angle (Φ, θ) calculated by the tilt angle calculation unit 6b and the tilt angle calculation unit 6b, a spatial coordinate rotation correction unit that corrects the three-dimensional coordinates so as to cancel the tilt angles (Φ, θ). 6c, a front image generation unit 7 that corrects the captured image and generates an image of the subject P taken from the front in association with the tertiary coordinates corrected by the spatial coordinate rotation correction unit 6c. .
これにより、本実施例の画像補正装置１００は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。 As a result, the image correction apparatus 100 according to the present exemplary embodiment is obtained by distorting the original image by being photographed while being tilted with respect to the photographing target (in particular, the photographing target is a flat body on which characters and figures are formed). When correcting the captured image, it is possible to correct the tilt and distortion of the captured image with high quality without requiring known corresponding points and reference lines before capturing between the original image and the captured image.
次に、図３を用いて、本発明の一実施例の画像補正方法の手順を説明する。この手順は、図示されないＣＰＵが図示されないＲＯＭに格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図３におけるＳは、ステップを表している。 Next, the procedure of the image correction method according to the embodiment of the present invention will be described with reference to FIG. This procedure is executed by giving a command signal to each functional unit based on a program stored in a ROM (not shown) by a CPU (not shown). Further, S in FIG. 3 represents a step.
先ず、この手順は、オペレータによって画像補正装置１００に起動信号が入力された際にスタートする。 First, this procedure starts when an activation signal is input to the image correction apparatus 100 by the operator.
次いで、Ｓ１００において、以前の画像処理で算出されたデータを初期化し、その後、Ｓ１１０に移る。 Next, in S100, the data calculated in the previous image processing is initialized, and then the process proceeds to S110.
次いで、Ｓ１１０において、撮像装置１、２を用いて被写体Ｐをステレオ撮影して画像データを取得し、その後、Ｓ１２０に移る。 Next, in S110, the subject P is captured in stereo using the imaging devices 1 and 2 to acquire image data, and then the process proceeds to S120.
次いで、Ｓ１２０において、パターンマッチング処理部３を用いて、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像データを所定領域毎に走査して相関度を検出し、その後、Ｓ１３０に移る。 Next, in S120, the pattern matching processing unit 3 is used to scan the respective image data photographed by the first imaging device 1 and the second imaging device 2 for each predetermined area to detect the correlation, and thereafter, S130. Move on.
次いで、Ｓ１３０において、対応点抽出部４を用いて、Ｓ１２０で検出された相関度に基づいて画素分布が最も近似している（所謂、相関度が高い）少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点として検出し、その後、Ｓ１４０に移る。 Next, in S130, the corresponding point extraction unit 4 is used to extract at least four sets of regions in which the pixel distribution is most approximated based on the correlation degree detected in S120 (so-called high correlation degree), The center point of this area is detected as a corresponding point between the pair of images, and then the process proceeds to S140.
次いで、Ｓ１４０において、対応点空間座標算出部５ａを用いて、Ｓ１３０で算出された対応点毎に空間座標（ｘ，ｙ，ｚ）を算出し、その後、Ｓ１５０に移る。 Next, in S140, the corresponding point space coordinate calculation unit 5a is used to calculate the spatial coordinates (x, y, z) for each corresponding point calculated in S130, and then the process proceeds to S150.
次いで、Ｓ１５０において、射影変換係数算出部５ｂを用いて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出し、その後、Ｓ１６０に移る。 Next, in S150, using the projective transformation coefficient calculation unit 5b, the transformation coefficients (a 1 to a 8 ) for projective transformation of the three-dimensional coordinates of the subject P to the two-dimensional coordinates are calculated, and then the process proceeds to S160.
次いで、Ｓ１６０において、画素毎空間座標算出部５ｃを用いて、撮影された画像の画素毎の空間座標を算出し、その後、Ｓ１７０に移る。 Next, in S160, the pixel-by-pixel spatial coordinate calculation unit 5c is used to calculate the spatial coordinates for each pixel of the captured image, and then the process proceeds to S170.
次いで、Ｓ１７０において、法線ベクトル算出部６ａを用いて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出し、その後、Ｓ１８０に移る。 Next, in S170, the normal vector calculation unit 6a is used to calculate a normal vector for a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane, and then the process proceeds to S180.
次いで、Ｓ１８０において、傾斜角算出部６ｂを用いて、Ｓ１７０で算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出し、その後、Ｓ１９０に移る。 Next, in S180, the inclination angle calculation unit 6b is used to calculate the inclination angles (Φ, θ) of the imaging devices 1 and 2 with respect to the plane in the three-dimensional space, based on the normal vector calculated in S170. Thereafter, the process proceeds to S190.
次いで、Ｓ１９０において、空間座標回転補正部６ｃを用いて、Ｓ１８０で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正し、その後、Ｓ２００に移る。 Next, in S190, using the spatial coordinate rotation correction unit 6c, based on the tilt angles (Φ, θ) calculated in S180, the three-dimensional coordinates (x, y, z) is corrected, and then the process proceeds to S200.
次いで、Ｓ２００において、正面画像生成部７を用いて、Ｓ１９０で補正された３次元座標に対応付けて、撮影された画像を補正して正面から視た画像を生成し、本画像補正方法の処理を終了する。 Next, in step S200, the front image generation unit 7 is used to generate an image viewed from the front by correcting the captured image in association with the three-dimensional coordinates corrected in step S190. Exit.
以上のように、本実施例に記載の画像補正方法は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップ（Ｓ１３０）、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する３次元座標算出ステップ（Ｓ１４０）、対応点算出ステップ（Ｓ１４０）で算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出ステップ（Ｓ１５０）、変換係数に基づいて。撮影された画像の座標毎に３次元座標を算出する第２の３次元座標算出ステップ（Ｓ１６０）、第２の３次元座標算出ステップ（Ｓ１６０）で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出ステップ（Ｓ１８０）、傾斜角算出ステップ（Ｓ１８０）で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように、３次元座標を補正する３次元座標補正ステップ（Ｓ１９０）、３次元座標補正ステップ（Ｓ１９０）で補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する画像傾き補正ステップ（Ｓ２００）、等を備えている。 As described above, in the image correction method described in the present embodiment, the pair of imaging devices 1 and 2 that shoot the subject P in stereo, and the corresponding point extraction step that extracts the corresponding points between the pair of images obtained by stereo shooting. (S130), a three-dimensional coordinate calculation step (S140) for calculating the three-dimensional coordinates of the subject P corresponding to the corresponding point based on the image coordinates of the corresponding point, and the three-dimensional coordinate calculated in the corresponding point calculation step (S140) A projection conversion coefficient calculating step (S150) for calculating a conversion coefficient when projectively converting the three-dimensional coordinates of the subject P to the two-dimensional coordinates, based on the conversion coefficients. Based on the three-dimensional coordinates calculated in the second three-dimensional coordinate calculation step (S160) and the second three-dimensional coordinate calculation step (S160) for calculating the three-dimensional coordinates for each coordinate of the photographed image, three-dimensional Calculated in an inclination angle calculating step (S180) and an inclination angle calculating step (S180) for calculating the inclination angles (Φ, θ) of the imaging devices 1 and 2 with respect to a plane in a three-dimensional space configured on the same coordinate plane. Based on the tilt angle (Φ, θ), the three-dimensional coordinate correction step (S190) for correcting the three-dimensional coordinate so as to cancel the tilt angle (Φ, θ) is corrected in the three-dimensional coordinate correction step (S190). An image tilt correction step (S200) for correcting the captured image and generating an image of the subject P from the front is generated in association with the tertiary coordinates.
これにより、本実施例の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。 As a result, the image correction method according to the present embodiment is obtained by distorting the original image while being imaged with respect to the object to be imaged (in particular, the object to be imaged is a flat body on which characters and figures are formed). When correcting the captured image, it is possible to correct the tilt and distortion of the captured image with high quality without requiring known corresponding points and reference lines before capturing between the original image and the captured image.
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。 As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, Various aspects can be taken.
本発明に係る画像補正装置及び画像補正方法は、書画カメラによる手書き文字や印刷物の撮影やデジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する際に適用できる。 The image correction apparatus and the image correction method according to the present invention are arranged such that the camera viewpoint is set to the center position of an object in shooting a handwritten character or printed matter by a document camera or shooting a figure or a character described on a white board by a digital camera. It can be applied when setting the shooting conditions so that it can be seen from the vertical direction.
１…第１撮像装置、１ａ…第１撮像光学系、１ｂ…第１イメージセンサ、１ｃ…第１画像メモリ、２…第２撮像装置、２ａ…第２撮像光学系、２ｂ…第２イメージセンサ、２ｃ…第２画像メモリ、３…パターンマッチング処理部、４…対応点抽出部、５…空間座標算出部、５ａ…対応点空間座標算出部、５ｂ…射影変換係数算出部、５ｃ…画素毎空間座標算出部、６…空間座標補正部、６ａ…法線ベクトル算出部、６ｂ…傾斜角算出部、６ｃ…空間座標回転補正部、７…正面画像生成部、１００…画像補正装置。 DESCRIPTION OF SYMBOLS 1 ... 1st imaging device, 1a ... 1st imaging optical system, 1b ... 1st image sensor, 1c ... 1st image memory, 2 ... 2nd imaging device, 2a ... 2nd imaging optical system, 2b ... 2nd image sensor 2c ... second image memory, 3 ... pattern matching processing unit, 4 ... corresponding point extraction unit, 5 ... spatial coordinate calculation unit, 5a ... corresponding point space coordinate calculation unit, 5b ... projection transformation coefficient calculation unit, 5c ... per pixel Spatial coordinate calculation unit, 6 ... spatial coordinate correction unit, 6a ... normal vector calculation unit, 6b ... tilt angle calculation unit, 6c ... spatial coordinate rotation correction unit, 7 ... front image generation unit, 100 ... image correction device.
Claims (2)
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、
前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、
前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、
前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、
前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、
を備えた画像補正装置。 A first and a second pair of imaging devices that are disposed opposite to a subject and shoot the subject in stereo;
Corresponding point extraction means for extracting corresponding points between a pair of images obtained by the stereo photographing;
3D coordinate calculation means for calculating 3D coordinates corresponding to the corresponding point of the subject based on the image coordinates of the corresponding point;
A projective conversion coefficient calculating means for calculating a conversion coefficient when projectively converting the three-dimensional coordinates of the subject into two-dimensional coordinates based on the three-dimensional coordinates calculated by the three-dimensional coordinate calculating means;
Second three-dimensional coordinate calculating means for calculating the three-dimensional coordinates for each coordinate of the photographed image based on the conversion coefficient;
Based on the three-dimensional coordinates calculated by the second three-dimensional coordinate calculation means, the inclination angle of the imaging device is set with respect to a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane. An inclination angle calculating means for calculating;
Three-dimensional coordinate correction means for correcting the three-dimensional coordinates so as to cancel the inclination angle based on the inclination angle calculated by the inclination angle calculation means;
Image inclination correction means for correcting the image in association with the tertiary coordinates corrected by the three-dimensional coordinate correction means and generating an image obtained by photographing the subject from the front;
An image correction apparatus comprising:
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、
前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、
前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、
前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、
前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、
を備えた画像補正方法。 Using a first and a second pair of imaging devices that are arranged opposite to a subject and shoot the subject in stereo,
A corresponding point extracting step of extracting corresponding points between a pair of images obtained by the stereo shooting;
A three-dimensional coordinate calculation step for calculating a three-dimensional coordinate corresponding to the corresponding point of the subject based on the image coordinates of the corresponding point;
A projective transformation coefficient calculating step for calculating a transformation coefficient when projectively transforming the three-dimensional coordinate of the subject into a two-dimensional coordinate based on the three-dimensional coordinate calculated in the three-dimensional coordinate calculating step;
A second three-dimensional coordinate calculating step for calculating the three-dimensional coordinates for each coordinate of the photographed image based on the conversion coefficient;
Based on the three-dimensional coordinates calculated in the second three-dimensional coordinate calculation step, the inclination angle of the imaging device is set with respect to a plane in a three-dimensional space in which the three-dimensional coordinates are configured on the same plane. An inclination angle calculating step to calculate,
A three-dimensional coordinate correction step for correcting the three-dimensional coordinates so as to cancel the inclination angle based on the inclination angle calculated in the inclination angle calculation step;
An image inclination correction step for correcting the image in association with the tertiary coordinates corrected in the three-dimensional coordinate correction step and generating an image obtained by photographing the subject from the front;
An image correction method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009045684A JP2010198554A (en) | 2009-02-27 | 2009-02-27 | Device and method for correcting image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009045684A JP2010198554A (en) | 2009-02-27 | 2009-02-27 | Device and method for correcting image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010198554A true JP2010198554A (en) | 2010-09-09 |
| JP2010198554A5 JP2010198554A5 (en) | 2011-08-18 |
Family
ID=42823184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009045684A Pending JP2010198554A (en) | 2009-02-27 | 2009-02-27 | Device and method for correcting image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010198554A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818180B2 (en) | 2014-03-20 | 2017-11-14 | Fujifilm Corporation | Image processing device, method, and program |
| JP2020115284A (en) * | 2019-01-17 | 2020-07-30 | 株式会社日立製作所 | Data creation system and data creation method |
| CN117853382A (en) * | 2024-03-04 | 2024-04-09 | 武汉人工智能研究院 | Sparse marker-based image correction method, device and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02247781A (en) * | 1989-03-20 | 1990-10-03 | Fujitsu Ltd | Device for forming image-structured segment |
| JPH10122819A (en) * | 1996-10-21 | 1998-05-15 | Omron Corp | Method and device for calibration |
| JPH11328414A (en) * | 1998-05-19 | 1999-11-30 | Hitachi Ltd | Stereo calculating method |
| JP2000099740A (en) * | 1998-09-25 | 2000-04-07 | Hideyoshi Tominaga | Image composing method, image input device and recording medium recording image compositing program |
-
2009
- 2009-02-27 JP JP2009045684A patent/JP2010198554A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02247781A (en) * | 1989-03-20 | 1990-10-03 | Fujitsu Ltd | Device for forming image-structured segment |
| JPH10122819A (en) * | 1996-10-21 | 1998-05-15 | Omron Corp | Method and device for calibration |
| JPH11328414A (en) * | 1998-05-19 | 1999-11-30 | Hitachi Ltd | Stereo calculating method |
| JP2000099740A (en) * | 1998-09-25 | 2000-04-07 | Hideyoshi Tominaga | Image composing method, image input device and recording medium recording image compositing program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818180B2 (en) | 2014-03-20 | 2017-11-14 | Fujifilm Corporation | Image processing device, method, and program |
| JP2020115284A (en) * | 2019-01-17 | 2020-07-30 | 株式会社日立製作所 | Data creation system and data creation method |
| JP7065795B2 (en) | 2019-01-17 | 2022-05-12 | 株式会社日立製作所 | Data creation system and data creation method |
| CN117853382A (en) * | 2024-03-04 | 2024-04-09 | 武汉人工智能研究院 | Sparse marker-based image correction method, device and storage medium |
| CN117853382B (en) * | 2024-03-04 | 2024-05-28 | 武汉人工智能研究院 | Sparse marker-based image correction method, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112689135B (en) | Projection correction method, projection correction device, storage medium and electronic equipment | |
| EP1343332A2 (en) | Stereoscopic image characteristics examination system | |
| CN110580718B (en) | Correction method for image device, related image device and computing device | |
| WO2018235163A1 (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
| JP2014131257A (en) | Image correction system, image correction method, and program | |
| WO2016155110A1 (en) | Method and system for correcting image perspective distortion | |
| CN101697105A (en) | Camera type touch detection positioning method and camera type touch detection system | |
| JP2008205811A (en) | Camera attitude calculation target device and camera attitude calculation method using it, and image display method | |
| JP2009284188A (en) | Color imaging apparatus | |
| JPH10307352A (en) | Adjustment device for stereoscopic camera | |
| JP2002236918A (en) | Image pickup system, program used in image data control, distortion correcting method for picked up image in the image pickup system and storage medium storing the procedure | |
| JPWO2018189880A1 (en) | Information processing apparatus, information processing system, and image processing method | |
| JPWO2018154634A1 (en) | Projection display device, control method of projection display device, and program | |
| JP2020191624A (en) | Electronic apparatus and control method for the same | |
| US10621694B2 (en) | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium | |
| JP6529360B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| JP2010198554A (en) | Device and method for correcting image | |
| CN110136203B (en) | Calibration method and calibration system of TOF equipment | |
| JP4871315B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP5958082B2 (en) | Image processing apparatus and image processing method | |
| CN112995641B (en) | 3D module imaging device and method and electronic equipment | |
| JP4833304B2 (en) | Imaging device | |
| JP4324271B2 (en) | Image processing apparatus and method | |
| CN108242044A (en) | Image processing apparatus and image processing method | |
| JP2009069114A (en) | Stereo image adjusting method, stereo image adjusting system, and stereo image adjusting program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110628 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110630 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20110630 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20110722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120508 |