JP2018004554A

JP2018004554A - 対象物の特徴点の三次元座標を算出するための装置及び方法

Info

Publication number: JP2018004554A
Application number: JP2016134852A
Authority: JP
Inventors: 正彦平田; Masahiko Hirata; 隆幸後藤; Takayuki Goto; 元渉韓; Yuan She Won
Original assignee: APEKKUSU ENERGY KK; TLC CO Ltd
Current assignee: APEKKUSU ENERGY KK; TLC CO Ltd
Priority date: 2016-07-07
Filing date: 2016-07-07
Publication date: 2018-01-11

Abstract

【課題】対象物の特徴点の三次元座標を高い精度で算出することができる小型の装置を提供する。【解決手段】本発明の実施形態の装置は、単眼カメラと、対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に単眼カメラを移動し、複数の格子点の各々において、単眼カメラにより対象物を撮影して、複数の画像を取得し、複数の画像から同一の特徴点を含む２つの画像を選択し、２つの画像の各々における同一の特徴点の位置及び２つの画像の各々を撮影したときの単眼カメラの位置に基づいて、同一の特徴点の三次元座標を算出するように構成される制御部とを備える。【選択図】図４

Description

本発明は、対象物の特徴点の三次元座標を算出するための装置及び方法に関する。

カメラを用いて画像をコンピューターにより解析して加工する技術として、コンピュータ・ビジョン（ＣＶ）が一般的になってきている。ＣＶにおいて三次元座標を得るために、通常、ステレオカメラを用いてその視差から特徴点の座標を算出することが行われている。

図１は、複数のカメラを使用したステレオカメラの例示的な構成を概略的に示す。この例では、２つのカメラ（Ｃ１、Ｃ２）が距離Ｂだけ間隔を空けて配置される。それぞれのカメラの映像はイメージプレーン１及び２に映し出される。座標を求めるべき点ｐに関してイメージプレーン１及び２のそれぞれの上に見られる座標の差（視差ｄ）に基づいて、ベースラインから点ｐまでの距離（奥行きＺ）を求めることができる。奥行きＺの値並びにカメラＣ１及びＣ２の位置から点ｐの三次元座標が算出される。

しかしながら、このような従来の技術においては、ステレオカメラの大きさや重量により用途が限定されるという問題があった。ステレオカメラを構成するカメラＣ１及びＣ２を小型化することができたとしても、カメラＣ１及びＣ２の間の距離Ｂが小さい場合には、視差が小さくなるため、点ｐに関して算出される座標の誤差が大きくなる。算出される座標の精度を高めるためには、カメラＣ１とカメラＣ２との間の距離をある程度大きくとらなければならず、且つこれらのカメラを理想的な位置及び姿勢で歪みなく固定しなければならない。このため、ステレオカメラ全体を小型化することは困難であり、その設置場所や用途は制限されていた。

上記に鑑み、本発明は、対象物の特徴点の三次元座標を高い精度で算出することができる小型の装置を提供することを目的とする。

上記の課題を解決するために、本発明の実施形態は、単眼カメラと、対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に前記単眼カメラを移動し、前記複数の格子点の各々において、前記単眼カメラにより前記対象物を撮影して、複数の画像を取得し、前記複数の画像から、同一の特徴点を含む２つの画像を選択し、前記２つの画像の各々における前記同一の特徴点の位置及び前記２つの画像の各々を撮影したときの前記単眼カメラの位置に基づいて、前記同一の特徴点の三次元座標を算出するように構成される制御部とを備える、装置を提供する。

本発明によれば、対象物の特徴点の三次元座標を高い精度で算出することができる小型の装置を提供することができる。

本発明のその他の特徴及び利点は、後述する実施形態の説明、添付の図面及び特許請求の範囲の記載から明らかなものとなる。

複数のカメラを使用したステレオカメラの例示的な構成を概略的に示す図である。本発明の一実施形態による三次元座標算出装置の基本構成のブロック図である。本発明の一実施形態による三次元座標算出装置の例示的な構成を示す図である。本発明の一実施形態の装置により実行される処理のフローチャートである。三次元マトリクス状の移動範囲を予め決定するための例示的な方法を示すフローチャートである。予め決定された三次元マトリクス状の移動範囲の一例を示す図である。単眼カメラからの距離と撮影範囲との間の関係を説明する図である。本発明の一実施形態による装置を使用して対象物を撮影する場合における、単眼カメラが移動する例示的な位置を示す図である。隣接する２つの格子点の各々に移動した単眼カメラによる対象物の撮影範囲を概略的に示す図である。図９に示す撮影範囲を真上から見た平面図である。隣接する２つの格子点の各々において単眼カメラによって撮影された、対象物を含む画像を概略的に示す図である。三角法による特徴点の三次元座標の算出方法を概略的に表す図である。

最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態による装置及び方法は、以下のような構成を備える。

（項目１）
単眼カメラと、
対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に前記単眼カメラを移動し、
前記複数の格子点の各々において、前記単眼カメラにより前記対象物を撮影して、複数の画像を取得し、
前記複数の画像から、同一の特徴点を含む２つの画像を選択し、
前記２つの画像の各々における前記同一の特徴点の位置及び前記２つの画像の各々を撮影したときの前記単眼カメラの位置に基づいて、前記同一の特徴点の三次元座標を算出する
ように構成される制御部と
を備える、装置。

（項目２）
前記制御部は、
前記複数の画像に含まれるすべての特徴点の三次元座標を算出するまで、前記２つの画像を選択すること及び前記同一の特徴点の三次元座標を算出することを繰り返し、
各特徴点について、該特徴点の算出された三次元座標を平均化し、
平均化された前記三次元座標を前記同一の特徴点の三次元座標として決定する
ようにさらに構成される、項目１に記載の装置。

（項目３）
前記移動範囲は、
前記単眼カメラにより前記対象物を撮影して、前記対象物の１つ又は複数の画像を取得し、
前記対象物の１つ又は複数の画像に含まれる特徴点を検出し、
該特徴点の三次元座標を算出して第１の三次元座標群を取得し、
前記第１の三次元座標群に基づいて、前記単眼カメラが前記対象物に接触せず且つ前記単眼カメラがすべての特徴点を撮影できるように、前記移動範囲を決定する
ことにより決定される、項目１又は２に記載の装置。
（項目４）
前記複数の格子点は、前記単眼カメラを移動させることにより前記対象物のすべての特徴点を撮影することができるように選択された、前記三次元マトリクス状の移動範囲に含まれる複数の格子点である、項目１から３のいずれか１項に記載の装置。
（項目５）
前記複数の格子点のうち隣接する２つの格子点において前記単眼カメラにより撮影された画像が、前記２つの画像として選択される、項目１から４のいずれか１項に記載の装置。
（項目６）
前記制御部は、前記三次元マトリクス状の移動範囲内の格子点同士の間隔を任意に設定できるように構成される、項目１から５のいずれか１項に記載の装置。
（項目７）
対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に単眼カメラを移動するステップと、
前記複数の格子点の各々において、前記単眼カメラにより前記対象物を撮影して、複数の画像を取得するステップと、
前記複数の画像から、同一の特徴点を含む２つの画像を選択するステップと、
前記２つの画像の各々における前記同一の特徴点の位置及び前記２つの画像の各々を撮影したときの前記単眼カメラの位置に基づいて、前記同一の特徴点の三次元座標を算出するステップと
を含む、方法。
（項目８）
前記複数の画像に含まれるすべての特徴点の三次元座標を算出するまで、前記２つの画像を選択すること及び前記同一の特徴点の三次元座標を算出することを繰り返すステップと、
各特徴点について、該特徴点の算出された三次元座標を平均化するステップと、
平均化された前記三次元座標を前記同一の特徴点の三次元座標として決定するステップと
をさらに含む、項目７に記載の方法。
（項目９）
前記移動範囲は、
前記単眼カメラにより前記対象物を撮影して、前記対象物の１つ又は複数の画像を取得し、
前記対象物の１つ又は複数の画像に含まれる特徴点を検出し、
該特徴点の三次元座標を算出して第１の三次元座標群を取得し、
前記第１の三次元座標群に基づいて、前記単眼カメラが前記対象物に接触せず且つ前記単眼カメラがすべての特徴点を撮影できるように、前記移動範囲を決定する
ことにより決定される、項目７又は８に記載の方法。
（項目１０）
前記複数の格子点は、前記単眼カメラを移動させることにより前記対象物のすべての特徴点を撮影することができるように選択された、前記三次元マトリクス状の移動範囲に含まれる複数の格子点である、項目７から９のいずれか１項に記載の方法。
（項目１１）
前記複数の格子点のうち隣接する２つの格子点において前記単眼カメラにより撮影された画像が、前記２つの画像として選択される、項目７から１０のいずれか１項に記載の方法。
（項目１２）
前記三次元マトリクス状の移動範囲内の格子点同士の間隔は任意に設定可能である、項目７から１１のいずれか１項に記載の方法。

以下、図面を参照して、本発明の実施形態について説明する。

図２は、本発明の一実施形態による三次元座標算出装置２００の基本構成のブロック図である。図示されるように、装置２００は、単眼カメラ２０２及び制御部２０６を備える。装置２００は、さらに、単眼カメラ２０２を取り付けることができ、制御部２０６による制御によって単眼カメラ２０２を移動することができる、移動機構２０４を備えてもよい。

図３は、本発明の一実施形態による三次元座標算出装置２００の例示的な構成を示す図である。図３に示す装置３００は、単眼カメラ２０２（例えば、マイクロソフト社製ＬｉｆｅＣａｍカメラ）、移動機構２０４（例えば、ＢＡＮＳＥＯＫ社製三軸ＦＡロボット（ＥｃｏＹｅｓ、３３１タイプ））及び制御部２０６（例えば、ＶＡＩＯ社製ノートパソコンＶＰＣＥＨ）を備える。

図３に示すように、単眼カメラ２０２は移動機構２０４に取り付けることができる。移動機構２０４は、取り付けられた単眼カメラ２０２を、Ｘ軸３０８、Ｙ軸３１０及びＺ軸３１２の方向に移動させることができる。単眼カメラ２０２は、対象物３１４を撮影して画像を取得する。取得された画像は、対象物３１４に含まれる特徴点の三次元座標を算出するために使用することができる。ここで「特徴点」とは、対象物３１４に関して三次元座標を算出すべき点である。特徴点の例は、多角形の頂点、色彩の変化する点などを含む。画像に含まれる特徴点は、Ｈａｒｒｉｓｃｏｒｎｅｒｒｅｓｐｏｎｓｅｆｕｎｃｔｉｏｎなどの手法を用いて検出することができる。制御部２０６は、単眼カメラ２０２に接続されてもよく、単眼カメラ２０２を制御して撮影を行い、取得した画像を格納し、当該画像を解析して特徴点の三次元画像を算出することができる。制御部２０６はまた、移動機構２０４に接続されてもよく、移動機構２０４を制御して、移動機構２０４に取り付けられた単眼カメラ２０２を適切に移動させることができる。

図４及び図５は、本発明の一実施形態の装置により実現される、対象物の特徴点の三次元座標の算出を実行するための処理のフローチャートである。本発明の一実施形態は、図４及び図５に示す各ステップを実行するように構成される装置である。また、別の実施形態において、本発明は、図４及び図５に示す処理を実行する方法として実施することができる。

図６から図１２は、図４及び図５に示す処理の説明を補足する図である。

以下、図２から図１２を参照しながら、本発明の実施形態について具体的に説明する。なお、以下では、具体例として、図３に示すように単眼カメラ２０２が三軸ＦＡロボット３０４に取り付けられる場合を想定する。しかし、本発明の実施形態はこのような構成に限定されない。本発明の実施形態は、単眼カメラ２０２を対象物３１４に対して三次元で移動させることが可能な任意の構成を含み得る。

図４は、本発明の一実施形態の装置により実行される処理のフローチャートである。以下、図４に示す各ステップが制御部２０６によって実行されるものとして説明する。しかし、これは一例にすぎず、図４に示す処理の一部は、制御部２０６に接続されたコンピュータ等の別の装置によって実行されてもよいし、単眼カメラ２０２や移動機構２０４に接続されたコンピュータ等の別の装置によって実行されてもよい。

ステップ４０２において、制御部２０６は、対象物３１４に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点のうちの１つに単眼カメラ２０２を移動する。本発明の実施形態において、単眼カメラ２０２は、必ずしも、移動範囲内に含まれるすべての格子点に移動される必要はない。単眼カメラ２０２の撮影範囲や単眼カメラ２０２と対象物３１４との間の距離などに関連して、単眼カメラ２０２は移動範囲内の格子点の一部のみに移動されてもよい。

図６は、予め決定された三次元マトリクス状の移動範囲の一例を示す図である。一例として、対象物３１４に含まれる平面３１４Ａに対して、単眼カメラ２０２の移動範囲６００が予め決定されてもよい。移動範囲６００の決定方法の例については図５に関連して後述する。移動範囲６００は三次元マトリクス状の形状を有する。ここでは、対象物３１４に含まれる平面３１４Ａに対して、Ｘ軸、Ｙ軸及びＺ軸が図示されるように設定される。他の実施形態において、Ｘ軸、Ｙ軸及びＺ軸は別の態様で設定されてもよい。三次元マトリクス状の移動範囲６００に含まれる格子点を実線丸印及び点線丸印で図６に示す。これらの格子点のうち単眼カメラ２０２の移動先として指定される複数の格子点は、単眼カメラ２０２を移動させることにより対象物３１４のすべての特徴点を撮影することができるように選択されてもよい。

制御部２０６は、単眼カメラ２０２を三次元マトリクスの各格子点へ移動させるように構成することができる。図６の例では、移動範囲６００は、それぞれ４×４の格子（５×５の格子点）を有する、最上段の平面及び中段の平面を備えている。図を明瞭にするため、図６においては、移動機構２０４は省略されており、単眼カメラ２０２のみが示されている。単眼カメラ２０２は中段中央の格子点に配置されているが、制御部２０６及び移動機構２０４により、最上段の格子点に移動させることができる。例えば、ステップ４０２において、単眼カメラ２０２は、移動範囲６００に含まれるある格子点から別の格子点へと移動されてもよい。三次元マトリクス状の移動範囲６００内の格子点同士の間隔は、固定の値として設定されてもよいし、対象物３１４と単眼カメラ２０２との間の距離、単眼カメラ２０２の撮影範囲等に基づいて、任意に設定可能であってもよい。

図７は、単眼カメラ２０２からの距離と撮影範囲との間の関係を説明する図である。図示されるように、単眼カメラ２０２からの距離がＬの場合における撮影範囲と比較して、距離が２Ｌの場合における撮影範囲は大きくなる。一例として、距離Ｌ＝１００ｍｍの場合の単眼カメラ２０２の撮影範囲が１００ｍｍ×１００ｍｍの正方形である場合、距離２Ｌ＝２００ｍｍの場合の撮影範囲は２００ｍｍ×２００ｍｍの正方形となってもよい。

図８は、図７に示すような撮影範囲を有する単眼カメラ２０２を備える本発明の実施形態の装置を使用して、２００ｍｍ×２００ｍｍの平面３１４Ａを有する対象物３１４を撮影する場合における、単眼カメラ２０２の撮影位置（単眼カメラ２０２が移動される格子点）を概略的に示す図である。対象物からＺ軸方向に２００ｍｍ離れているとき、対象物３１４における単眼カメラ２０２の撮影範囲は２００ｍｍ×２００ｍｍの正方形である。したがって、三次元マトリクス状の移動範囲６００の最上段中央の格子点（図８における「Ｅ」）に単眼カメラ２０２を配置して撮影すれば、対象物３１４全体の画像を取得することができる。しかしながら、対象物３１４は、平面３１４Ａだけでなく、何らかの大きさの高さ、幅、奥行き等を有する物体等を含み得る。このような対象物３１４が有するすべての特徴点の三次元座標を算出するためには、複数の格子点から撮影した画像が必要となる。ここで、「特徴点」とは、対象物３１４に関して三次元座標を算出すべき点を意味する。特徴点の例は、多角形の頂点、色彩の変化する点などを含む。

一例として、図８に示すような、隣接する格子点から１００ｍｍだけ離れた９個の格子点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ及びＩの各々へと単眼カメラ２０２を移動させ、各格子点において対象物３１４を撮影することにより、対象物３１４に含まれるすべての特徴点について、複数の方向から撮影された画像が得られることとなる。

そこで、以下においては、移動範囲６００内で単眼カメラ２０２を移動すべき格子点として、上記の９個の格子点が予め決定されると仮定したうえで、図４の処理について説明する。

なお、対象物３１４の平面３１４Ａから１００ｍｍ離れた、移動範囲６００内の中段の格子点（図６において点線丸印で表される）に単眼カメラ２０２を移動させて対象物３１４を撮影する場合には、対象物３１４における単眼カメラ２０２の撮影範囲は１００ｍｍ×１００ｍｍの正方形となる。したがって、この場合には、例えば、隣接する格子点から５０ｍｍだけ離れた２５個の格子点（点線丸印で表されるすべての格子点）の各々へと単眼カメラ２０２を移動させて、各格子点において対象物３１４を撮影することが望ましい。

図９は、格子点Ａ及びＢに移動した単眼カメラ２０２による対象物３１４の撮影範囲を概略的に示す図である。図１０は、図９に示す撮影範囲を真上から見た平面図を示す。ここでは、対象物３１４が、平面３１４Ａのほか、立方体３１４Ｂ及び四角錐３１４Ｃを含むものとする。

図４に戻り、処理はステップ４０４に進む。制御部２０６は、格子点Ａにおいて、単眼カメラ２０２を用いて対象物３１４を撮影し、画像を取得する。図８に示すように、格子点Ａは、移動範囲６００の最上段の左上隅の格子点である。したがって、このときの撮影範囲は図９及び図１０に示すようになり、対象物３１４の左上４分の１のみが撮影される。制御部２０６は、取得した画像を、格子点Ａの座標（すなわち、撮影時の単眼カメラ２０２の位置）に関するデータとともに格納してもよい。

処理はステップ４０６に進み、制御部２０６は、必要な枚数の画像が取得されたか否かを判定する。必要な画像の枚数は、対象物３１４が有するすべての特徴点がそれらの画像に含まれるように予め設定される。この例では、必要な画像の枚数は、単眼カメラ２０２を移動させるべき格子点として予め定められた格子点の数と同数であり、９枚となる。なお、ステップ４０６において、画像の枚数を判定することに代えて、単眼カメラ２０２が、予め定められたすべての格子点において撮影を行ったか否かを判定してもよい。

必要な枚数の画像が取得されていないと判定すると（ステップ４０６の「Ｎ」）、処理はステップ４０２に戻る。ステップ４０２において、制御部２０６は、単眼カメラ２０２を別の格子点（例えば、格子点Ｂ）へ移動させる。さらに、ステップ４０４において、制御部２０６は、その格子点において対象物３１４を撮影して、画像を取得する。図８に示すように、格子点Ｂは、格子点ＡからＹ軸方向に１００ｍｍだけ離れた格子点である。したがって、このときの撮影範囲は図９及び図１０に示すようになり、対象物３１４の上半分のみが撮影される。制御部２０６は、取得した画像を、格子点Ｂの座標に関する画像とともに格納してもよい。

図１１は、各格子点において単眼カメラ２０２によって撮影された、対象物３１４を含む画像を概略的に示す図である。ここでは、上述の例における格子点Ａ及びＢにおいてそれぞれ撮影された、画像１１１８Ａ及び１１１８Ｂを示している。図９及び図１０に関して既に説明したように、画像１１１８Ａにおいては、右下に立方体３１４Ｂ及び四角錐３１４Ｃが写っている。一方、画像１１１８Ｂにおいては、左下に立方体３１４Ｂ及び３１４Ｃが写っている。格子点Ａから撮影した場合と格子点Ｂから撮影した場合とでは、単眼カメラ２０２から対象物３１４を見る角度が異なる（視差が存在する）。このため、画像１１１８Ａにおいては、対象物３１４の特徴点（例えば、立方体３１４Ｂ及び四角錐３１４Ｃの頂点）は右に寄っており、画像１１１８Ｂにおいては、特徴点は左に寄っている。

図４に戻り、必要な枚数の画像が取得されたと判定すると（ステップ４０６の「Ｙ」）、処理はステップ４０８に進む。ステップ４０８において、制御部２０６は、取得された複数の画像から、同一の特徴点を含む２つの画像を選択する。制御部２０６は、単眼カメラが移動した格子点ＡからＩの位置、各格子点における単眼カメラ２０２の撮影範囲などの情報を予め有していてもよい。したがって、一例として、制御部２０６は、ステップ４０８において、隣接する格子点（例えば、格子点Ａ及びＢ）において単眼カメラ２０２によって撮影された画像（例えば、画像１１１８Ａ及び１１１８Ｂ）を選択してもよい。

処理はステップ４１０に進み、制御部２０６は、同一の特徴点の三次元座標を算出する。上述の例では、制御部２０６は、画像１１１８Ａ及び１１１８Ｂの両方に写っている特徴点の三次元座標を算出する。特徴点の三次元座標を算出するに際し、画像から特徴点を検出（又は、抽出）する必要がある。特徴点の検出に用いられる様々な方法が知られている。例えば、画像に含まれる特徴点は、Ｈａｒｒｉｓｃｏｒｎｅｒｒｅｓｐｏｎｓｅｆｕｎｃｔｉｏｎなどの手法を用いて検出することができる。

図１２は、三角法による特徴点の三次元座標の算出方法を概略的に表す図である。格子点Ａにおいて単眼カメラ２０２によって撮影された画像１１１８Ａ、格子点Ｂにおいて単眼カメラ２０２によって撮影された画像１１１８Ｂ、各々の撮影時の単眼カメラ２０２の位置（格子点Ａ及びＢの座標）に基づいて、三角法により、特徴点Ｐの三次元座標を算出することができる。このとき、画像１１１８Ａ及び１１１８Ｂの各々に見られる特徴点Ｐの座標の差（視差）、当該視差に基づいて求められる、格子点Ａ及びＢを結ぶ線から特徴点ＰまでのＺ軸方向の距離、単眼カメラ２０２の焦点距離、単眼カメラ２０２の移動距離（格子点Ａと格子点Ｂとの間の間隔）などの情報が用いられてもよい。三角法による座標の算出は当業者に知られた技術であるから、当業者にとって、本明細書に開示した本発明の実施形態の説明に基づいて図４のステップ４１０の処理を実施することができることは明白であろう。

以下、特徴点の三次元座標の算出方法の一例を具体的に説明する。画像１１１８Ａ及び画像１１１８Ｂにおいて示される特徴点のＸ座標及びＹ座標に基づいて、Ｚ座標が算出される。画像１１１８Ａに含まれる特徴点のうちの１つをＰ１、画像１１１８Ｂに含まれるＰ１と同じ特徴点をＰ２とすると、以下の式が成り立つ。

ここでＴ_ｘは格子点Ａと格子点Ｂとの間の距離、ｆは単眼カメラ２０２の焦点距離、ｃｘ_１は画像１１１８ＡにおけるＸ座標、ｃｘ_２は画像１１１８ＢにおけるＸ座標、ｃｙは画像１１１８Ａ及び１１１８Ｂにおけるｙ座標（ここでは、単眼カメラ２０２は格子点Ａから格子点ＢへＹ軸方向に移動するため、ｙ座標は変化しない）である。

三次元の実座標を（Ｘ，Ｙ，Ｚ）、単眼カメラ２０２から得られる座標を（ｘ，ｙ，ｚ）とすると、以下の関係式が成立する。したがって、三角法に基づいて実座標（Ｘ，Ｙ，Ｚ）を算出することができる。

ここでｔは単眼カメラ固有の歪み定数である。

図４に戻り、処理はステップ４１２に進む。ステップ４１２において、制御部２０６は、ステップ４０２から４０６において取得されたすべての画像に含まれるすべての特徴点について三次元座標を算出したか否かを判定する。すべての特徴点の三次元座標がまだ算出されていないと判定される場合（ステップ４１２の「Ｎ」）、処理はステップ４０８に戻り、ステップ４０８から４１０が繰り返される。すべての特徴点の三次元座標が算出されたと判定される場合（ステップ４１２の「Ｙ」）、処理はステップ４１４に進む。

ステップ４１４において、制御部２０６は、それぞれの同一の特徴点について、その特徴点に関して算出された複数の三次元座標に基づいて、補正された三次元座標を算出する。一例として、制御部２０６は、ステップ４０８から４１２の処理によりある特徴点に関して算出された複数（例えば、２つ、４つなど）の三次元座標の値を平均化して、平均化された三次元座標をその特徴点の三次元座標として決定してもよい。これは一例にすぎず、当業者であれば、様々な方法を用いて、同一の特徴点に関して算出された複数の三次元座標に基づいて、三次元座標の補正を行うことができることを理解すべきである。

図５は、三次元マトリクス状の移動範囲６００を予め決定するための例示的な方法を示すフローチャートである。一実施形態において、図５に示す処理は、以下に説明するように、制御部２０６によって実行される。しかしながら、別の実施形態において、図５に示す処理の一部又は全部が他の方法で実施することができることは当業者にとって明らかであろう。

処理はステップ５０２において開始し、制御部２０６は、単眼カメラ２０２により対象物３１４を撮影して、対象物３１４の１つ又は複数の画像を取得する。

処理はステップ５０４に進み、制御部２０６は、取得された対象物３１４の１つ又は複数の画像に含まれる特徴点を検出する。

処理はステップ５０６に進み、制御部２０６は、検出された特徴点の三次元座標を算出して、第１の三次元座標群を取得する。

処理はステップ５０８に進み、制御部２０６は、取得された第１の三次元座標群に基づいて、単眼カメラ２０２が対象物３１４に接触せず且つ単眼カメラ２０２がすべての特徴点を撮影できるように、移動範囲６００を決定する。移動範囲６００を構成する三次元マトリクスに含まれる格子点の数、格子点間の距離などのパラメータは、上記の条件を満たす範囲で任意に設定することができる。

上述の実施形態によれば、対象物の特徴点の三次元座標を高い精度で算出することが可能な小型の装置を提供することができる。

以上、本発明の実施形態による装置及び方法について具体的に説明したが、上述の実施形態は例示に過ぎず、本発明の範囲を限定するものではない。本発明の技術的思想は、装置及び方法のほか、説明した実施形態の方法をコンピュータに実行させるプログラムなどの様々な態様で実施することが可能であることが理解されよう。また、本発明の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良などを適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。

１００…ステレオカメラ、２００…装置、２０２…単眼カメラ、２０４…移動機構、２０６…制御部、３００…装置、３０８…Ｘ軸、３１０…Ｙ軸、３１２…Ｚ軸、３１４…対象物、３１４Ａ…平面、３１４Ｂ…立方体、３１４Ｃ…四角錐、６００…移動範囲、１１１８Ａ、１１１８Ｂ…画像

Claims

単眼カメラと、
対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に前記単眼カメラを移動し、
前記複数の格子点の各々において、前記単眼カメラにより前記対象物を撮影して、複数の画像を取得し、
前記複数の画像から、同一の特徴点を含む２つの画像を選択し、
前記２つの画像の各々における前記同一の特徴点の位置及び前記２つの画像の各々を撮影したときの前記単眼カメラの位置に基づいて、前記同一の特徴点の三次元座標を算出する
ように構成される制御部と
を備える、装置。
前記制御部は、
前記複数の画像に含まれるすべての特徴点の三次元座標を算出するまで、前記２つの画像を選択すること及び前記同一の特徴点の三次元座標を算出することを繰り返し、
各特徴点について、該特徴点の算出された三次元座標を平均化し、
平均化された前記三次元座標を前記同一の特徴点の三次元座標として決定する
ようにさらに構成される、請求項１に記載の装置。
前記移動範囲は、
前記単眼カメラにより前記対象物を撮影して、前記対象物の１つ又は複数の画像を取得し、
前記対象物の１つ又は複数の画像に含まれる特徴点を検出し、
該特徴点の三次元座標を算出して第１の三次元座標群を取得し、
前記第１の三次元座標群に基づいて、前記単眼カメラが前記対象物に接触せず且つ前記単眼カメラがすべての特徴点を撮影できるように、前記移動範囲を決定する
ことにより決定される、請求項１又は２に記載の装置。
前記複数の格子点は、前記単眼カメラを移動させることにより前記対象物のすべての特徴点を撮影することができるように選択された、前記三次元マトリクス状の移動範囲に含まれる複数の格子点である、請求項１から３のいずれか１項に記載の装置。
前記複数の格子点のうち隣接する２つの格子点において前記単眼カメラにより撮影された画像が、前記２つの画像として選択される、請求項１から４のいずれか１項に記載の装置。
前記制御部は、前記三次元マトリクス状の移動範囲内の格子点同士の間隔を任意に設定できるように構成される、請求項１から５のいずれか１項に記載の装置。
対象物に対して予め決定された三次元マトリクス状の移動範囲内の複数の格子点に単眼カメラを移動するステップと、
前記複数の格子点の各々において、前記単眼カメラにより前記対象物を撮影して、複数の画像を取得するステップと、
前記複数の画像から、同一の特徴点を含む２つの画像を選択するステップと、
前記２つの画像の各々における前記同一の特徴点の位置及び前記２つの画像の各々を撮影したときの前記単眼カメラの位置に基づいて、前記同一の特徴点の三次元座標を算出するステップと
を含む、方法。
前記複数の画像に含まれるすべての特徴点の三次元座標を算出するまで、前記２つの画像を選択すること及び前記同一の特徴点の三次元座標を算出することを繰り返すステップと、
各特徴点について、該特徴点の算出された三次元座標を平均化するステップと、
平均化された前記三次元座標を前記同一の特徴点の三次元座標として決定するステップと
をさらに含む、請求項７に記載の方法。
前記移動範囲は、
前記単眼カメラにより前記対象物を撮影して、前記対象物の１つ又は複数の画像を取得し、
前記対象物の１つ又は複数の画像に含まれる特徴点を検出し、
該特徴点の三次元座標を算出して第１の三次元座標群を取得し、
前記第１の三次元座標群に基づいて、前記単眼カメラが前記対象物に接触せず且つ前記単眼カメラがすべての特徴点を撮影できるように、前記移動範囲を決定する
ことにより決定される、請求項７又は８に記載の方法。
前記複数の格子点は、前記単眼カメラを移動させることにより前記対象物のすべての特徴点を撮影することができるように選択された、前記三次元マトリクス状の移動範囲に含まれる複数の格子点である、請求項７から９のいずれか１項に記載の方法。
前記複数の格子点のうち隣接する２つの格子点において前記単眼カメラにより撮影された画像が、前記２つの画像として選択される、請求項７から１０のいずれか１項に記載の方法。
前記三次元マトリクス状の移動範囲内の格子点同士の間隔は任意に設定可能である、請求項７から１１のいずれか１項に記載の方法。