JP2019207456A - 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム - Google Patents

Abstract

【課題】参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができるようにする。【解決手段】第１線分群抽出部１２０が、画像の線分群のうち、画像に含まれる長方形の辺に対する平行方向及び垂直方向の何れかに対応する線分を長方形内部から抽出して第１線分群とし、第１線分群とは異なる複数の線分を線分群から抽出し、端点検出部１５０が、当該異なる複数の線分を、第１線分群の画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、長方形の辺に対する平行方向及び垂直方向の何れかに対応する線分を抽出した線分から選択される２つの線分と、画像端との４交点を検出し、ホモグラフィ行列推定部１６０が、当該４交点と参照画像の長方形の４頂点との対応から算出したホモグラフィ行列とアフィン変換行列とに基づいて幾何変換行列を算出する。【選択図】図１

Description

本発明は、幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムに係り、特に、空間中の平面領域を表す長方形を含む参照画像と入力画像との間の幾何変換行列を推定する幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムに関する。

従来より、空間中に存在する平面を撮影した１枚の画像から、画像中に写像された当該平面を別の平面に射影する幾何変換行列を推定し出力する技術があった（非特許文献１）。この技術は、例えば透視投影歪みの無い合成画像の生成や、複数画像の合成（スティッチング）などを可能としている。

非特許文献１記載の方法では、透視投影歪みを伴って撮影された実空間中の長方形のフィールド領域から、その４隅を指定し、当該４隅をフィールド座標系で表現される参照画像の４隅と対応付けることによって幾何変換行列を推定し、真正面から観測した合成画像の生成を実現している。

上述の幾何変換行列は、ホモグラフィと呼ばれ、３×３の行列で表現される。ホモグラフィは、入力画像内の認識対象と参照画像で、４つ以上の対応する点もしくは線があれば求められることが知られている（非特許文献２参照）。

徳永 徹郎，外村 喜秀，島村 潤，"カーリング競技におけるストーン位置検出システムの構築と評価,"ITE年次大会, no. 14D-3, Aug. 2017. R. Hartley and A. Zisserman, " Multiple View Geometry in Computer Vision Second Edition", Cambridge University Press, March 2004.

従来の方法では、４つ以上の対応点を用いて幾何変換行列であるホモグラフィの算出を実現している。

しかしながら、入力画像と参照画像との間で４つ以上の対応点を特定できないケースが存在し、ホモグラフィを算出できない、という問題があった。

例えば、図２に示すように、実空間に存在する長方形である平面（図２の（Ａ））をカメラで撮影して入力画像（図２の（Ｂ））が得られたケースを用いて具体的に説明する。ここでは入力画像を参照画像（図２の（Ｃ））に対応するように幾何変換するホモグラフィを算出したいものとする。また、実空間中の平面はｘ’−ｙ’−ｚ’座標系で表現され、その４隅点は（ｘ’１，ｙ’１，０），（ｘ’２，ｙ’２，０），（ｘ’３，ｙ’３，０），（ｘ’４，ｙ’４，０）であるものとする。

カメラを平面に近づけて撮影した場合や望遠撮影した場合、もしくは平面が大きいような場合では、図２のように、入力画像中で長方形の４隅点（ｘ’１，ｙ’１，０），（ｘ’２，ｙ’２，０），（ｘ’３，ｙ’３，０），（ｘ’４，ｙ’４，０）もしくは長方形を構成する４辺（ｘ’１，ｙ’１，０）−（ｘ’２，ｙ’２，０），（ｘ’２，ｙ’２，０）−（ｘ’３，ｙ’３，０），（ｘ’３，ｙ’３，０）−（ｘ’４，ｙ’４，０），（ｘ’４，ｙ’４，０）−（ｘ’１，ｙ’１，０）の全てが映らないことがある。

このため、当該４隅を用いてホモグラフィを算出できないといった問題がある。

なお、図２の例では、入力画像と参照画像との間で、平面内の模様上の特徴点について、少なくとも４点以上の対応点を求めて、これからホモグラフィを算出する方法も考えられる。

しかしながら、入力画像内に存在する模様に対応するものが参照画像内に存在しない場合には、ホモグラフィを算出できない、といった問題があった。

本発明は上記の点に鑑みてなされたものであり、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムを提供することを目的とする。

本発明に係る幾何変換行列推定装置は、空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定装置であって、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とする線分検出部と、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第１線分群とすると共に、前記第１線分群とは異なる複数の線分を、前記線分群から抽出する第１線分群抽出部と、前記第１線分群抽出部により抽出された前記第１線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出するアフィン変換行列算出部と、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する第２線分群抽出部と、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上下端及び左右端の何れか一方との４つの交点を検出する端点検出部と、前記端点検出部により検出された前記４つの交点と、前記参照画像における前記長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出するホモグラフィ行列推定部と、を備えて構成される。

また、本発明に係る幾何変換行列推定方法は、空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定方法であって、線分検出部が、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とし、第１線分群抽出部が、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第１線分群とすると共に、前記第１線分群とは異なる複数の線分を、前記線分群から抽出し、アフィン変換行列算出部が、前記第１線分群抽出部により抽出された前記第１線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出し、第２線分群抽出部が、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、端点検出部が、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出し、ホモグラフィ行列推定部が、前記端点検出部により検出された前記４つの交点と、前記参照画像における前記長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出する。

本発明に係る幾何変換行列推定装置及び幾何変換行列推定方法によれば、線分検出部が、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、第１線分群抽出部が、当該線分群のうち、当該入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を当該長方形の内部から複数抽出して、第１線分群とすると共に、当該第１線分群とは異なる複数の線分を、当該線分群から抽出し、アフィン変換行列算出部が、第１線分群抽出部により抽出された第１線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。

そして、第２線分群抽出部が、第１線分群抽出部により抽出された第１線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、端点検出部が、第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、入力画像の上端及び下端との４つの交点を検出し、ホモグラフィ行列推定部が、端点検出部により検出された４つの交点と、参照画像における長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、当該ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。

このように、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を長方形の内部から抽出し、当該線分群から抽出された線分とは異なる複数の線分を、抽出した線分の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を複数抽出した複数の線分から選択される２つの線分と、入力画像の上端及び下端との４つの交点を検出し、当該４つの交点と、参照画像における長方形の４つの頂点との対応から算出したホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出することにより、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。

また、本発明に係る幾何変換行列推定装置の前記アフィン変換行列算出部は、前記第１線分群抽出部により抽出された前記第１線分群の各線分の、前記入力画像の基準方向に対する角度の中央値を前記回転角として前記アフィン変換行列を算出することができる。

また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の水平方向の２辺が含まれ、前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の左端及び右端との４つの交点を検出することができる。

また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の鉛直方向の２辺が含まれ、前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出することができる。

また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の水平方向の２辺が含まれ、前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の左端及び右端との４つの交点を検出することができる。

また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の鉛直方向の２辺が含まれ、前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出することができる。

本発明に係るプログラムは、上記の幾何変換行列推定装置の各部として機能させるためのプログラムである。

本発明の幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムによれば、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。

幾何変換行列推定装置の構成を示す概略ブロック図である。 本発明の実施形態に係る入力画像と参照画像の一例を示す図である。 本発明の実施形態に係る線分検出器によって抽出された複数の線分の一例を示す図である。 本発明の実施形態に係る長い線分の一例を示す図である。 本発明の実施形態に係る第１線分群と入力画像の基準方向に対する角度の一例を示す図である。 本発明の実施形態に係る第１線分群が複数の場合の入力画像の基準方向に対する角度の一例を示す図である。 発明の実施形態に係る入力画像をアフィン変換行列により回転させた例を示す図である。 本発明の実施の形態に係る端点検出部により算出された４つの交点の一例を示す図である。 本発明の実施の形態に係る入力画像をアフィン変換行列Ａにより回転させた図形を、ホモグラフィ行列Ｈ_ｔｍｐにより幾何変換した例を示す図である。 本発明の実施の形態に係る幾何変換行列を算出する処理を表すイメージ図である。 本発明の実施の形態に係る幾何変換行列推定装置の幾何変換行列推定処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る幾何変換行列推定装置の線分検出処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る幾何変換行列推定装置の第２線分群抽出処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る幾何変換行列推定装置の端点検出処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る入力画像のパターンを表す図である。

以下、本発明の実施の形態について図面を用いて説明する。

＜本発明の実施の形態に係る幾何変換行列推定装置の構成＞
図１を参照して、本発明の実施の形態に係る幾何変換行列推定装置１０の構成について説明する。図１は、本発明の実施の形態に係る幾何変換行列推定装置１０の構成を示すブロック図である。

本実施形態に係る幾何変換行列推定装置１０は、図２に示すような画像（図２の（Ｂ））を参照画像（図２の（Ｃ））に対応するように幾何変換する幾何変換行列（以下、ホモグラフィ）を算出したいものとする。

幾何変換行列推定装置１０は、ＣＰＵと、ＲＡＭと、後述する幾何変換行列推定処理ルーチン、第１線分群抽出処理ルーチン、第２線分群抽出処理ルーチン、及び端点検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図１に示すように、本実施形態に係る幾何変換行列推定装置１０は、入力部１００と、線分検出部１１０と、第１線分群抽出部１２０と、アフィン変換行列算出部１３０と、第２線分群抽出部１４０と、端点検出部１５０と、ホモグラフィ行列推定部１６０と、記憶部１７０と、出力部１８０とを備えて構成される。

入力部１００は、空間中に存在する長方形（正方形を含む）である平面を撮影した画像の入力を受け付ける。

具体的には、入力部１００は、図２に示すようなｘ’−ｙ’−ｚ’座標系からなる実空間中に存在する長方形である平面（図２の（Ａ））領域を、ｚ’軸と光軸が合致しないカメラで撮影して得られた画像（図２の（Ｂ））の入力を受け付ける。以下、入力部１００が受け付けた画像を入力画像と呼ぶ。

そして、入力部１００は、入力画像を線分検出部１１０に渡す。

線分検出部１１０は、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、当該複数の線分を線分群とする。

具体的には、線分検出部１１０は、直線検出器（図示しない）を用いて、入力画像内に存在する線分を含む直線を検出する。直線検出器としては、確率的ハフ変換アルゴリズム（参考文献１）やＬＳＤ（参考文献２）等を用いることができる。
［参考文献１］J. Matas, C. Galambos, and J. Kittler, “Progressive Probabilistic Hough Transform,” BMVC, British Machine Vision Association, 1998.
［参考文献２］Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, Gregory Randall, “LSD: a Line Segment Detector”, Image Processing On Line, vol.2, 2012, pp.35-55.

入力画像に線分検出器を適用すると、入力画像中の複数の線分が検出され、当該複数の線分の各々について、当該線分の両端点情報が得られる。この両端点情報は、線分の始点、終点のペアであり、例えば線分ｌ１が検出されたとすると、（ｘ１_ｌ１，ｙ１_ｌ１）と（ｘ２_ｌ１，ｙ２_ｌ１）等のように入力画像のｘｙ座標系で表現される２点のペアである。なお、直線検出器では、入力画像中に曲線が存在する場合、当該曲線は複数の線分として検出される。

線分検出部１１０は、直線検出器により検出された複数の線分を線分群とし、線分群の線分の各々について、当該線分の当該両端点情報を線分の情報として検出する。

そして、線分検出部１１０は、線分群と、線分群に含まれる線分の情報とを記憶部１７０に格納する。

本実施形態では、入力画像に線分検出器を適用することによって、図３に示す複数の線分が検出されたものとし、線分検出部１１０は、当該複数の線分を線分群とし、当該線分群に含まれる線分の情報を記憶部１７０に格納するものとする。

第１線分群抽出部１２０は、線分群のうち、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を長方形の内部から複数抽出して、第１線分群とすると共に、第１線分群とは異なる複数の線分を、線分群から抽出する。

本実施の形態では、入力画像に、長方形の鉛直方向の２辺が含まれ、第１線分群抽出部１２０が、鉛直方向の２辺に対する垂直方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出する場合を例に説明する。

具体的には、第１線分群抽出部１２０は、まず、記憶部１７０から線分群と、当該線分群に含まれる線分の情報を取得する。

次に、第１線分群抽出部１２０は、線分群に含まれる線分の各々について、当該線分の情報から、当該線分の線分長及び基準方向（例えば、水平方向）に対する角度を算出する。例えば、両端点が（ｘ_１，ｙ_１），（ｘ_２，ｙ_２）から構成される線分の線分長Ｌは、下記式（１）により算出することができる。

同様に、当該線分の角度θは、下記式（２）により算出することができる。

第１線分群抽出部１２０は、線分群に含まれる線分のうち、所定の長さ以上の線分を『長い線分』として抽出する。この抽出処理は、例えば、線分長Ｌに対する閾値処理によって行う。具体的には、線分長Ｌが、予め定められた閾値Ｌ_ｔｈ以上となる線分を長い線分とする。

第１線分群抽出部１２０は、長い線分として抽出された線分のうち、平行方向に対応する線分、すなわち、水平線に近い線分を抽出する。

この抽出処理は、例えば、線分の角度θに対する閾値処理によって行う。具体的には、長い線分として抽出された線分のうち、所定の閾値θ_Ｈｌ及びθ_Ｈｈを用い、θ_Ｈｌ＜θ＜θ_Ｈｈとなる線分を選択する。

そして、第１線分群抽出部１２０は、選択された１以上の線分を第１線分群とし、第１線分群の線分の各々について、当該線分と、当該線分の角度とを対応付けて記憶部１７０に格納する。

また、第１線分群抽出部１２０は、第１線分群以外の長い線分の各々についても、当該線分と、当該線分の角度とを対応付けて記憶部１７０に格納する。

本実施例では、長い線分として図４に示す複数の線分が抽出されたものとし、そのうち、第１線分群として図５に示す線分が抽出され、当該線分を角度θと共に記憶部１７０に格納するものとする。併せて、第１線分群以外の２本の線分（図４内の縦線２本）についても、その角度と共に記憶部１７０に格納するものとする。

アフィン変換行列算出部１３０は、第１線分群抽出部１２０により抽出された第１線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。

具体的には、アフィン変換行列算出部１３０は、まず、記憶部１７０から第１線分群の角度を取得し、入力画像を回転させる回転角を算出する。

図５の例では、第１線分群が１本の線分のみから構成されるので、その角度θを用いて、回転角を−θとする。

また、第１線分群が複数の線分から構成される場合、アフィン変換行列算出部１３０は、第１線分群抽出部１２０により抽出された第１線分群の各線分の、入力画像の基準方向に対する角度の中央値を回転角として前記アフィン変換行列を算出する。

具体的には、アフィン変換行列算出部１３０は、図６に示すように、第１線分群の各線分の角度である角度群（θ_１〜θ_３）から回転角の算出する際に、角度群の全ての角度の平均θ_ａｖｅを算出して、回転角を−θ_ａｖｅとしても良いし、角度群の全ての角度の中央値θ_ｍｅｄを算出して、回転角を−θ_ｍｅｄとしても良い。中央値を算出して回転角とした場合、外れ値に頑健となる、という効果がある。

次に、アフィン変換行列算出部１３０は、算出した回転角からアフィン変換行列を算出する。アフィン変換行列は画像の線形変換（拡大や縮小，回転など）と平行移動を組み合わせた幾何変換を表現する２×３の行列であり、回転角を−θ、入力画像の中心座標をＣ_ｘ，Ｃ_ｙとした場合、アフィン変換行列Ａは下記式（３）により算出することができる。

このようにして算出されるアフィン変換行列Ａは、図７に示すように、画像を回転角−θ分回転させることを表現する行列となる。

そして、アフィン変換行列算出部１３０は、算出したアフィン変換行列Ａを記憶部１７０に格納する。

第２線分群抽出部１４０は、第１線分群抽出部１２０により抽出された第１線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する。本実施の形態では、入力画像に含まれる長方形の鉛直方向の２辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出する。

具体的には、第２線分群抽出部１４０は、まず、記憶部１７０から第１線分群以外の長い線分の情報と、アフィン変換行列Ａとを取得する。

第２線分群抽出部１４０は、取得した全ての線分の各々について、当該線分がアフィン変換行列Ａにより入力画像が回転されることを考慮した、当該線分の端点情報を算出して更新する。

この更新処理は、端点（ｘ，ｙ）の更新後の座標（Ｘ，Ｙ）を、下記式（４）及び式（５）を用いることにより算出することができる。

ここで、Ａ_ｍｎはアフィン変換行列Ａのｍ行ｎ列目の要素を意味する。

第２線分群抽出部１４０は、更新した全ての線分の各々について、上記式（２）を用いて当該線分の入力画像の基準方向に対する角度を算出する。

第２線分群抽出部１４０は、更新した全ての線分のうち、鉛直方向に対応する線分を抽出する。

この抽出処理は、例えば、線分の角度θに対する閾値処理によって行う。具体的には、所定の閾値θ_Ｖｌ及びθ_Ｖｈを用い、更新した全ての線分のうち、θ_Ｖｌ＜θ＜θ_Ｖｈとなる線分を選択する。

そして、第２線分群抽出部１４０は、選択された線分全てを第２線分群として、当該第２線分群を更新した端点座標及び角度と対応付けて記憶部１７０に格納する。

例えば、第２線分群抽出部１４０は、長い線分として図７に示す縦線２本（水平線以外の線分）を、第２線分群として記憶部１７０に格納する。

端点検出部１５０は、第２線分群抽出部１４０により抽出された複数の線分から選択される２つの線分と、入力画像の上下端及び左右端の何れか一方との４つの交点を検出する。本実施の形態では、第２線分群抽出部１４０により抽出された複数の線分から選択される２つの線分と、入力画像の上下端との４つの交点を検出する場合を例に説明する。

具体的には、端点検出部１５０は、まず、第２線分群の情報を記憶部１７０から取得し、取得した第２線分群から、予め定められたルールに従って２本の線分を選択する。

本実施形態では、記憶部１７０に格納された第２線分群が２本しか存在しないため、その２本が選択されることになる。

なお、第２線分群が３本以上存在する場合、予め定められたルールに従う。当該ルールが、入力画像の横方向の両端に近い線分を選択するものである場合は、まず全ての線分について入力画像の中心から各線分への垂線の長さ（以下、垂線長）を求める。

次に、当該垂線と線分との交点のｘ座標が画像中心のｘ座標より大きい場合は垂線長の符号としてプラスを、小さい場合はマイナスを付与する。そして、垂線長が最大の線分と最小の線分を選択することによって、画像の横方向の両端に近い線分２本を選択することができる。

端点検出部１５０は、選択された２本の線分について入力画像の上端、下端と交差する４点の座標を算出する。まず、２本のうち一方の線分について直線方程式を算出し、次に画像の上端辺を示すｙ＝０の直線との交点を算出することで上端と交差する点を、画像の下端辺を示すｙ＝Ｈｅｉｇｈｔの直線との交点を算出することで下端との交差する点をそれぞれ算出する。ここでＨｅｉｇｈｔは入力画像の高さを示す。

また、この処理を他方の線分についても行うことで、選択した２本の線分について画像上端、下端と交差する４つの交点の座標を算出することができる。

そして、端点検出部１５０は、算出した４つの交点の座標を記憶部１７０に格納する。本実施形態では、図８の×印で示す４点が算出されたものとする。

ホモグラフィ行列推定部１６０は、端点検出部１５０により検出された４つの交点と、参照画像における長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。

具体的には、ホモグラフィ行列推定部１６０は、端点検出部１５０により算出された４つの交点の座標を、記憶部１７０から取得する。

ここで、この４つの交点の座標が（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），（ｘ_３，ｙ_３），（ｘ_４，ｙ_４）であったものとする。また、対応する参照画像の４隅の座標は（ｘ’_１，ｙ’_１），（ｘ’_２，ｙ’_２），（ｘ’_３，ｙ’_３），（ｘ’_４，ｙ’_４）であったものとする。

この対応から、ホモグラフィ行列推定部１６０は、ホモグラフィ行列Ｈ_ｔｍｐを算出する。ホモグラフィ行列Ｈ_ｔｍｐは、４点の対応点を用いて、例えば非特許文献２に記載の方法によって算出することができる。図９は、入力画像をアフィン変換行列Ａにより回転させた図形を、ホモグラフィ行列Ｈ_ｔｍｐにより幾何変換した例である。

なお、端点検出部１５０により算出される端点は、鉛直方向に近い線分を延伸して画像の端と交わった点であり、空間中に存在する長方形を構成する４隅とは必ずしも一致しない。また、入力画像中に映っていないため長方形の４隅もしくは４辺の検出は困難である。そのため、本実施形態では、端点検出部１５０により算出された画像の端との交差点を４隅に対応する点とみなして、参照画像の４隅との対応からホモグラフィ行列を求める。

このホモグラフィ行列は厳密には正確ではないため実寸計測などの用途に用いることはできないものの、透視投影歪みを軽減した可視化用途での合成画像の生成や、画像認識手段への入力としての合成画像生成といった用途等に利用することができる。

次に、ホモグラフィ行列推定部１６０は、入力画像から参照画像への幾何変換行列Ｈを算出する。

図１０を参照して、幾何変換行列Ｈの算出する処理について説明する。アフィン変換行列算出部１３０で算出したアフィン変換行列Ａは、入力画像から回転画像への幾何変換行列である。また、ホモグラフィ行列Ｈ_ｔｍｐは、回転画像から参照画像への幾何変換行列である。

したがって、入力画像から参照画像への幾何変換行列Ｈは、アフィン変換行列Ａとホモグラフィ行列Ｈ_ｔｍｐとを用いて、下記式（６）により算出することができる。

このようにして求めた幾何変換行列Ｈは、アフィン変換行列Ａとホモグラフィ行列Ｈ_ｔｍｐとを結合したものであるため、入力画像から参照画像へのホモグラフィ行列と厳密には異なるものの、当該ホモグラフィ行列を近似したものとみなすことができる。

特に、入力画像と参照画像との間で、空間中に存在する長方形を構成する４隅点もしくは４辺が入力画像中で映っていない場合や、それ以外の特徴点について参照画像との対応が得られないような場合でも、幾何変換行列Ｈを求めることができ、透視投影歪みを軽減した合成画像の生成や、画像認識手段への入力としての合成画像生成には有効なものである。

そして、ホモグラフィ行列推定部１６０は、算出した幾何変換行列Ｈを記憶部１７０に格納する。

記憶部１７０は、線分検出部１１０と、第１線分群抽出部１２０と、アフィン変換行列算出部１３０と、第２線分群抽出部１４０と、端点検出部１５０と、ホモグラフィ行列推定部１６０との各々により得られた、線分群などのデータを格納する。また、記憶部１７０は、第１線分群抽出部１２０と、アフィン変換行列算出部１３０と、第２線分群抽出部１４０と、端点検出部１５０と、ホモグラフィ行列推定部１６０と、出力部１８０とからの要求に応じたデータを、各部に渡す。

出力部１８０は、記憶部１７０に格納された幾何変換行列を出力する。

入力画像と参照画像との間で、空間中に存在する正方形もしくは長方形を構成する４隅点もしくは４辺が入力画像中で映っていない場合や、それ以外の特徴点について参照画像との対応が得られないような場合でも、幾何変換行列Ｈの算出が可能であるため、例えば透視投影歪みを軽減した合成画像の生成や、画像認識手段への入力としての合成画像生成を実現することできる。

＜本発明の実施の形態に係る幾何変換行列推定装置の作用＞
図１１は、本発明の実施の形態に係る幾何変換行列推定処理ルーチンを示すフローチャートである。

入力部１００に画像が入力されると、幾何変換行列推定装置１０において、図１１に示す幾何変換行列推定処理ルーチンが実行される。

まず、ステップＳ１００において、入力部１００は、空間中に存在する長方形（正方形を含む）である平面を撮影した画像（入力画像）の入力を受け付ける。

ステップＳ１１０において、線分検出部１１０は、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、当該複数の線分を線分群とする。

ステップＳ１２０において、第１線分群抽出部１２０は、線分群のうち、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を長方形の内部から複数抽出して、第１線分群とすると共に、第１線分群とは異なる複数の線分を、線分群から抽出する。

ステップＳ１３０において、アフィン変換行列算出部１３０は、上記ステップＳ１２０により抽出された第１線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。

ステップＳ１４０において、第２線分群抽出部１４０は、上記ステップＳ１２０により抽出された第１線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する。

ステップＳ１５０において、端点検出部１５０は、上記ステップＳ１４０により抽出された複数の線分から選択される２つの線分と、入力画像の上下端及び左右端の何れか一方との４つの交点を検出する。

ステップＳ１６０において、ホモグラフィ行列推定部１６０は、端点検出部１５０により検出された４つの交点と、参照画像における長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。

ステップＳ１７０において、出力部１８０は、記憶部１７０に格納された幾何変換行列を出力する。

ここで、上記ステップＳ１１０における線分検出処理について説明する。図１２は、線分検出処理ルーチンを示すフローチャートである。なお、入力画像に、長方形の鉛直方向の２辺が含まれ、鉛直方向の２辺に対する垂直方向に対応する線分を長方形の内部から複数抽出する場合を例に説明する。

ステップＳ２００において、第１線分群抽出部１２０は、記憶部１７０から線分群と、当該線分群に含まれる線分の情報を取得する。

ステップＳ２１０において、第１線分群抽出部１２０は、線分群に含まれる線分の各々について、当該線分の情報から、当該線分の線分長及び基準方向（例えば、水平方向）に対する角度を算出する。

ステップＳ２２０において、第１線分群抽出部１２０は、線分群に含まれる線分のうち、所定の長さ以上の線分を長い線分として抽出する。

ステップＳ２３０において、第１線分群抽出部１２０は、長い線分として抽出された線分のうち、鉛直方向の２辺に対する垂直方向に対応する線分、すなわち、水平線に近い線分を抽出する。

ステップＳ２４０において、第１線分群抽出部１２０は、抽出された１以上の線分を第１線分群とし、第１線分群の線分の各々について、当該線分と、当該線分の角度とを対応付けて記憶部１７０に格納する。

ステップＳ２５０において、第１線分群抽出部１２０は、第１線分群以外の長い線分の各々についても、当該線分と、当該線分の角度とを対応付けて記憶部１７０に格納する。

上記ステップＳ１２０における第２線分群抽出処理について説明する。図１３は、第２線分群抽出処理ルーチンを示すフローチャートである。なお、入力画像に、長方形の鉛直方向の２辺が含まれ、鉛直方向に対応する線分を複数抽出する場合を例に説明する。

ステップＳ３００において、第２線分群抽出部１４０は、記憶部１７０から第１線分群以外の長い線分の情報と、アフィン変換行列とを取得する。

ステップＳ３１０において、第２線分群抽出部１４０は、取得した全ての線分の各々について、当該線分がアフィン変換行列Ａにより入力画像が回転されることを考慮した、当該線分の端点情報を算出して更新する。

ステップＳ３２０において、第２線分群抽出部１４０は、更新した全ての線分の各々について、当該線分の入力画像の基準方向に対する角度を算出する。

ステップＳ３３０において、第２線分群抽出部１４０は、更新した全ての線分のうち、鉛直方向に対応する線分を抽出する。

ステップＳ３４０において、第２線分群抽出部１４０は、選択された線分全てを第２線分群として、当該第２線分群を更新した端点座標及び角度と対応付けて記憶部１７０に格納する。

上記ステップＳ１５０における端点検出処理について説明する。図１４は、端点検出処理ルーチンを示すフローチャートである。なお、第２線分群から選択された２つの線分と、入力画像の上下端との４つの交点を検出する場合を例に説明する。

ステップＳ４００において、端点検出部１５０は、第２線分群の情報を記憶部１７０から取得する。

ステップＳ４１０において、端点検出部１５０は、第２線分群から、予め定められたルールに従って２本の線分を選択する。

ステップＳ４２０において、端点検出部１５０は、選択された２本の線分について入力画像の上端、下端と交差する４点の座標を算出する。

ステップＳ４３０において、端点検出部１５０は、算出した４つの交点の座標を記憶部１７０に格納する。

以上説明したように、本発明の実施形態に係る幾何変換行列推定装置によれば、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を長方形の内部から抽出し、当該線分群から抽出された線分とは異なる複数の線分を、抽出した線分の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を複数抽出した複数の線分から選択される２つの線分と、入力画像の左右端または上下端との４つの交点を検出し、当該４つの交点と、参照画像における長方形の４つの頂点との対応から算出したホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出することにより、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

上述の実施形態では図２（Ｂ）が入力画像である場合を例として説明したことにより、入力画像に、長方形の鉛直方向の２辺が含まれ、第１線分群抽出部１２０が、鉛直方向の２辺に対する垂直方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出し、第２線分群抽出部１４０が、入力画像に含まれる長方形の鉛直方向の２辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出し、端点検出部１５０が、選択された２つの線分と、入力画像の上下端との４つの交点を検出する場合を例に説明した（図１５のＡ−ａ参照）。しかし、これに限定されるものではない。

例えば、図１５のＢ−ａのケースのように、入力画像に、長方形の水平方向の２辺が含まれ、長方形の内部に、鉛直方向に対応する線分が含まれていてもよい。この場合には、第１線分群抽出部１２０が、水平方向の２辺に対する垂直方向に対応する線分、すなわち、鉛直線に対応する線分を長方形の内部から複数抽出し、第２線分群抽出部１４０が、長方形の水平方向の辺に対する平行方向に対応する線分、すなわち、水平方向に対応する線分を複数抽出し、端点検出部１５０は、第２線分群抽出部１４０により抽出された複数の線分から選択される２つの線分と、入力画像の左右端との４つの交点を検出することにより、幾何変換行列を推定することができる。

また、図１５のＡ−ｂのケースのように、入力画像に、長方形の鉛直方向の２辺が含まれ、長方形の内部に、鉛直方向に対応する線分が含まれていてもよい。この場合には、第１線分群抽出部１２０が、鉛直方向の２辺に対する平行方向に対応する線分、すなわち、鉛直線に対応する線分を長方形の内部から複数抽出し、第２線分群抽出部１４０が、長方形の鉛直方向の辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出し、端点検出部１５０は、第２線分群抽出部１４０により抽出された複数の線分から選択される２つの線分と、入力画像の上下端との４つの交点を検出することにより、幾何変換行列を推定することができる。

また、図１５のＢ−ｂのケースのように、入力画像に、長方形の水平方向の２辺が含まれ、長方形の内部に、水平方向に対応する線分が含まれていてもよい。この場合には、第１線分群抽出部１２０が、水平方向の２辺に対する平行方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出し、第２線分群抽出部１４０が、長方形の水平方向の辺に対する平行方向に対応する線分、すなわち、水平方向に対応する線分を複数抽出し、端点検出部１５０は、第２線分群抽出部１４０により抽出された複数の線分から選択される２つの線分と、入力画像の左右端との４つの交点を検出することにより、幾何変換行列を推定することができる。

なお、入力画像が、上記図１５のどのケースに該当するかは予め求められているものとする。あるいは、入力画像を分析して自動的にどのケースに該当するか判別するようにしてもよい。また、この場合、判別されたケースに応じた処理が適用されることとなる。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 幾何変換行列推定装置
１００ 入力部
１１０ 線分検出部
１２０ 第１線分群抽出部
１３０ アフィン変換行列算出部
１４０ 第２線分群抽出部
１５０ 端点検出部
１６０ ホモグラフィ行列推定部
１７０ 記憶部
１８０ 出力部

Claims (8)

1. 空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定装置であって、
   前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とする線分検出部と、
   前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第１線分群とすると共に、前記第１線分群とは異なる複数の線分を、前記線分群から抽出する第１線分群抽出部と、
   前記第１線分群抽出部により抽出された前記第１線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出するアフィン変換行列算出部と、
   前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する第２線分群抽出部と、
   前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上下端及び左右端の何れか一方との４つの交点を検出する端点検出部と、
   前記端点検出部により検出された前記４つの交点と、前記参照画像における前記長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出するホモグラフィ行列推定部と、
   を含む幾何変換行列推定装置。
2. 前記アフィン変換行列算出部は、
   前記第１線分群抽出部により抽出された前記第１線分群の各線分の、前記入力画像の基準方向に対する角度の中央値を前記回転角として前記アフィン変換行列を算出する
   請求項１記載の幾何変換行列推定装置。
3. 前記入力画像に前記長方形の水平方向の２辺が含まれ、
   前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、
   前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
   前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の左端及び右端との４つの交点を検出する
   請求項１又は２記載の幾何変換行列推定装置。
4. 前記入力画像に前記長方形の鉛直方向の２辺が含まれ、
   前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、
   前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を複数抽出し、
   前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出する
   請求項１又は２記載の幾何変換行列推定装置。
5. 前記入力画像に前記長方形の水平方向の２辺が含まれ、
   前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、
   前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
   前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の左端及び右端との４つの交点を検出する
   請求項１又は２記載の幾何変換行列推定装置。
6. 前記入力画像に前記長方形の鉛直方向の２辺が含まれ、
   前記第１線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、
   前記第２線分群抽出部は、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
   前記端点検出部は、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出する
   請求項１又は２記載の幾何変換行列推定装置。
7. 空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定方法であって、
   線分検出部が、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とし、
   第１線分群抽出部が、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第１線分群とすると共に、前記第１線分群とは異なる複数の線分を、前記線分群から抽出し、
   アフィン変換行列算出部が、前記第１線分群抽出部により抽出された前記第１線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出し、
   第２線分群抽出部が、前記第１線分群抽出部により抽出された前記第１線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、
   端点検出部が、前記第２線分群抽出部により抽出された複数の線分から選択される２つの線分と、前記入力画像の上端及び下端との４つの交点を検出し、
   ホモグラフィ行列推定部が、前記端点検出部により検出された前記４つの交点と、前記参照画像における前記長方形の４つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出する
   幾何変換行列推定方法。
8. コンピュータを、請求項１乃至６の何れか１項記載の幾何変換行列推定装置の各部として機能させるためのプログラム。