JP2019148926A - 情報処理装置、移動体システム、撮像システム及び情報処理方法 - Google Patents

Abstract

【課題】 撮像装置がどのような動き方であっても、相対スケールを算出できる。【解決手段】 本発明による情報処理装置が、それぞれ異なる方向を撮像する複数の撮像装置から、順次撮像された複数の画像を取得する取得部と、前記取得した複数の画像に三次元復元処理を適用して、前記複数の画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定部と、前記複数の画像が撮像された位置・姿勢の推定値に基づき、前記複数の撮像装置の位置の相対スケールを推定する相対スケール算出部とを備える。【選択図】図１

Description

本発明は、情報処理装置、移動体システム、撮像システム及び情報処理方法に関する。

複数の撮像装置を有する移動体等において、撮像装置の位置・姿勢を推定する方法が知られている。

例えば、まず、移動体に設置された各カメラが、直進時における移動前後のそれぞれの画像を撮像する。そして、撮像された画像に基づいて、移動方向ベクトル等が推定される。さらに、撮像された画像に基づいて、路面法線ベクトル及び移動体の移動量等が推定される。これらを用いて、カメラの姿勢を推定する方法が知られている（例えば、特許文献１参照）。

しかしながら、従来の方法では、撮像装置の動き方によっては、相対スケールを算出できない場合がある。

本発明の１つの側面は、撮像装置がどのような動き方であっても、相対スケールを算出できることを目的とする。

本発明の一実施形態による情報処理装置は、
それぞれ異なる方向を撮像する複数の撮像装置から、順次撮像された複数の画像を取得する取得部と、
前記取得した複数の画像に三次元復元処理を適用して、前記複数の画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定部と、
前記複数の画像が撮像された位置・姿勢の推定値に基づき、前記複数の撮像装置の位置の相対スケールを推定する相対スケール算出部と
を備えることを特徴とする。

撮像装置がどのような動き方であっても、相対スケールを算出できる。

本発明の一実施形態に係る移動体システムの全体構成例を示す全体構成図である。 本発明の一実施形態に係る複数の撮像装置の姿勢を変更する例を示す模式図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る移動体システムによる全体処理例を示すフローチャートである。 本発明の一実施形態に係る撮像装置の移動例を示す模式図である。 本発明の一実施形態に係る撮像装置の並進例を示す模式図である。 本発明の一実施形態に係る撮像装置の回転例を示す模式図である。 本発明の一実施形態に係る情報処理装置による統合化例を示す模式図である。 本発明の一実施形態に係る情報処理装置による処理結果例を示す模式図である。 比較例における処理結果例を示す模式図である。 本発明の一実施形態に係る移動体システムの機能構成例を示す機能ブロック図である。 本発明の一実施形態に係る移動体システムが用いる画像を説明する模式図である。 本発明の第２実施形態に係る光学部材による撮像装置の視野の変更例を示す模式図である。

以下、本発明の実施の形態について説明する。

（第１実施形態）
（全体構成例）
以下、移動体をいわゆるドローン（ｄｒｏｎｅ）とする例で説明する。なお、移動体は、ドローンに限られず、車両又はロボット等でもよいし、人でもよい。例えば、移動体は、構造物等を点検するのに、点検の対象となる構造物の周辺を飛び、構造物を示す画像を撮像する。

また、以下の説明では、移動体の進行方向、いわゆる奥行き方向を「Ｚ軸」とする。さらに、進行方向に対して上下方向、いわゆる垂直方向又は重力方向を「Ｙ軸」とする。そして、垂直方向に対して直交する方向、いわゆる水平方向を「Ｘ軸」とする。なお、軸の設定及び名称は、図示する形式に限られない。

また、以下の説明では、撮像装置の位置・姿勢で撮像がされ、画像が撮像された位置・姿勢となる。

図１は、本発明の一実施形態に係る移動体システムの全体構成例を示す全体構成図である。例えば、移動体システム１は、図示するように、ドローン１０と、複数の撮像装置と、情報処理装置の例であるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１１とを有する構成である。

また、この例では、複数の撮像装置は、第１カメラＣ１及び第２カメラＣ２の２台であるとする。なお、撮像装置は、複数であればよく、３台以上であってもよい。図示するように、この例では、第１カメラＣ１及び第２カメラＣ２は、ドローン１０に設置される。また、第１カメラＣ１の光軸が第１光軸ＡＸ１であるとすると、第２カメラＣ２の光軸は、第２光軸ＡＸ２等のように、第１光軸ＡＸ１と異なる方向となるように設置される。このように、第１光軸ＡＸ１及び第２光軸ＡＸ２が異なると、第１カメラＣ１及び第２カメラＣ２は、異なる方向を撮像する視野となる。なお、視野の方向は、図示する方向に限られない。例えば、ドローン１０が架橋等を点検するための移動体である場合には、視野は、上向き及び横向きの組み合わせ等と設定される。このように、視野は、目的又は撮像する対象等によって設定されてもよい。

また、第１カメラＣ１及び第２カメラＣ２によるそれぞれの撮像範囲は、重複する範囲を少なくして広い視野を撮像するようにしてもよい。一方で、第１カメラＣ１及び第２カメラＣ２によるそれぞれの撮像範囲は、重複する範囲があってもよい。

さらに、第１カメラＣ１及び第２カメラＣ２は、例えば、図示するように、リグ（ｒｉｇ）等を有する可動装置の上に設置される。具体的には、この例では、第１カメラＣ１は、第１リグＲ１の上に設置され、第２カメラＣ２は、第２リグＲ２の上に設置されるとする。したがって、第１カメラＣ１の位置・姿勢は、第１リグＲ１を制御すると変更できる。同様に、第２カメラＣ２の位置・姿勢は、第２リグＲ２を制御すると変更できる。つまり、ドローン１０は、撮像装置の位置・姿勢を変更できるアクチュエータ及び機構部品等を有する。すなわち、撮像装置の位置・姿勢は、可動装置により、例えば、以下のように制御できる。

図２は、本発明の一実施形態に係る複数の撮像装置の姿勢を変更する例を示す模式図である。撮像装置は、例えば、可動装置等によって、角度を変更するように回転させられたり、位置を変更するように並行に移動させられたりする。このように、位置・姿勢は、回転運動、並進運動又はこれらの組み合わせにより変更される。

図示するように、移動体システム１は、複数の撮像装置を１自由度で回転又は移動させてもよく、それぞれの撮像装置を別個独立に回転又は移動させてもよい。すなわち、可動装置のアクチュエータ数（すなわち、自由度となる。）及び可動装置による回転の中心となる回転軸等は、自由に設計できてよい。

なお、可動装置は、リグを設置した雲台等で実現されてもよい。このような構成であると、移動体システム１は、リグ等を動かす人又は移動体の制御を考慮せずに、撮像装置の姿勢の制御を実現できる。一方で、可動装置は、リグ等をあらかじめ有する移動体等で実現されてもよい。このような構成であると、移動体システム１は、可動装置を制御するための制御装置等を追加しなくともよい構成にできる。

また、可動装置がない構成であってもよい。この場合には、移動体に撮像装置が固定される。そして、移動体が姿勢を変更すると、一緒に撮像装置が姿勢を変更する。このように、移動体の位置・姿勢の制御によって、撮像装置の位置・姿勢が制御されてもよい。

（位置・姿勢について）
以下の説明では、撮像装置の位置及び姿勢を下記（１）式で示す。

上記（１）式によって、撮像装置における位置・姿勢の変化は、カメラ座標の座標変換Ｔによって示せる。なお、上記（１）式における「Ｒ」は、回転行列であり、「ｔ」は、並進ベクトルである。したがって、三次元上では、「Ｒ」は、３×３の行列となり、「ｔ」は、３×１の行列となる。

（情報処理装置のハードウェア構成例）
図３は、本発明の一実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。例えば、ＰＣ１１は、図示するように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１Ｈ１、記憶装置１１Ｈ２、インタフェース（ｉｎｔｅｒｆａｃｅ）１１Ｈ３、入力装置１１Ｈ４及び出力装置１１Ｈ５を有するハードウェア構成である。すなわち、ＰＣ１１は、ＰＣ、サーバ、ワークステーション又はこれらの組み合わせ等であって、プログラムにより、演算装置、制御装置及び記憶装置等を動作させて処理を実行する装置である。

ＣＰＵ１１Ｈ１は、プログラム等に基づいて演算及び制御を行う演算装置及び制御装置の例である。

記憶装置１１Ｈ２は、メモリ等の主記憶装置である。また、記憶装置１１Ｈ２は、ハードディスク等の補助記憶装置を有してもよい。

インタフェース１１Ｈ３は、有線又は無線で外部装置とデータを送受信する。例えば、インタフェース１１Ｈ３は、コネクタ又はアンテナ等である。

入力装置１１Ｈ４は、ユーザによる操作を受け付ける装置である。例えば、入力装置１１Ｈ４は、マウス、キーボード又はこれらの組み合わせ等である。

出力装置１１Ｈ５は、ユーザに処理結果等を出力する装置である。例えば、出力装置１１Ｈ５は、ディスプレイ等である。

なお、情報処理装置は、図示するハードウェア構成に限られない。例えば、情報処理装置は、演算装置、制御装置又は記憶装置等のハードウェア資源を外部又は内部に更に有してもよい。

（全体処理例）
図４は、本発明の一実施形態に係る移動体システムによる全体処理例を示すフローチャートである。

（第１画像の撮像例）（ステップＳ０１）
ステップＳ０１では、撮像装置は、位置・姿勢を変更する前に、画像を撮像する。具体的には、上記の全体構成例では、まず、第１カメラＣ１及び第２カメラＣ２が、撮像することで第１画像を生成する。以下、ステップＳ０１で撮像される画像、すなわち、後段のステップＳ０２が行われ、位置・姿勢が変更される前に撮像される画像を「第１画像」という。

（位置・姿勢の変更例）（ステップＳ０２）
ステップＳ０２では、撮像装置は、可動装置等によって、位置・姿勢を変更する。具体的には、可動装置がある構成では、例えば、可動装置は、図２等のように撮像装置の位置・姿勢を変更する。また、特に可動装置がない構成等では、移動体が位置・姿勢を変更することで、撮像装置の位置・姿勢を変更してもよい。

例えば、可動装置がある場合には、一定の周期で位置・姿勢を変更するようにプログラム等によって、移動体に変更量又はタイミング等があらかじめ設定される。このような場合には、所定の周期ごとに、撮像装置の位置・姿勢が所定の量、変更される。なお、位置・姿勢の変更は、移動体の外部から変更量等が命令される構成でもよい。このような場合には、命令されたタイミング等に、撮像装置の姿勢等が所定の量、変更される。

なお、移動体が十分に回転する運動を行う場合等では、撮像装置の位置・姿勢は、移動体の運動によって十分に変更される場合が多い。このような場合には、移動体の運動によって、撮像装置の位置・姿勢が変更されることになる。

位置・姿勢の変更は、後段に行われる相対スケールの算出等において問題となる運動を回避するために行う。具体的には、例えば、撮像装置がほぼ直線上に位置を変更する運動、いわゆる並進運動が行われたり、又は、いずれかの撮像装置を中心とした純粋な回転が行われたりすると、相対スケールが算出できない場合がある。これらの運動は、相対スケールの算出することに対して問題のある運動であり、Ｃｒｉｔｉｃａｌ Ｍｏｔｉｏｎ Ｓｅｑｕｅｎｃｅ（ＣＭＳ）等と呼ばれる場合がある。

したがって、撮像装置が運動の前後でほぼ直線上を並進した状態だけ等とならないように、ステップＳ０２では、撮像装置は、回転が加えられるのが望ましい。なお、ステップＳ０２では、回転と並進の組み合わせとなる位置・姿勢の変更であってもよい。

（第２画像の撮像例）（ステップＳ０３）
ステップＳ０３では、撮像装置は、位置・姿勢を変更した後に、画像を撮像する。具体的には、上記の全体構成例では、第１カメラＣ１及び第２カメラＣ２が、撮像することで第２画像を生成する。以下、位置・姿勢の変更後に、ステップＳ０３によって撮像される画像を「第２画像」という。

なお、第１画像及び第２画像は、図１に示すように、無線等によって、撮像されるごとに、ＰＣ１１に送信されて取得されてもよい。一方で、第１画像及び第２画像は、移動体が運動している間、記録媒体に記憶され、ドローン１０が停止した場合等に、まとめて取得されてもよい。

（三次元復元処理による撮像装置の位置・姿勢を推定例）（ステップＳ０４）
ステップＳ０４では、情報処理装置は、三次元復元処理によって、撮像装置の位置・姿勢を推定する。

（相対スケールの算出例）（ステップＳ０５）
ステップＳ０５では、情報処理装置は、相対スケールを算出する。なお、相対スケールは、以下のようなものであるとする。また、相対スケールの算出方法の詳細は後述する。

（相対スケールについて）
相対スケールは、例えば、任意の三次元座標系（世界座標系と呼ばれる場合もある。）と別の任意の三次元座標系の相対的なスケールを示す。一方で、相対スケールに対して、絶対スケールは、例えば、長さを示し、絶対スケールの単位系は、「ｍｍ」（ミリメートル）、「ｍ」（メートル）又は「ｃｍ」（センチメートル）等となる。

相対スケールが分かると、三次元座標上における長さ（これは、座標値のポイント数等で表現される。）は、相対スケールに基づいて、別の三次元座標における長さ（例えば、絶対スケールの単位系等である。）に変換できる。すなわち、相対スケールは、三次元座標系における長さと、実測値とを対応付けできるデータである。したがって、相対スケールが分かると、画像から変換することで、画像に写る被写体の長さ等を絶対スケールの単位系で特定できる。

例えば、まず、視野を共有しない複数の撮像装置間において、各撮像装置の運動軌跡を用いて撮像装置間の相対的な位置・姿勢を推定するキャリブレーションが行われる。次に、情報処理装置は、取得する第１画像及び第２画像に基づいて、単眼Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ（以下「単眼ＳｆＭ」という。）等を行う。具体的には、単眼ＳｆＭは、「http://www.newbooks-services.de/MediaFiles/Texts/3/9780521540513_Intro_001.pdf」に記載される方法等が行われる。そして、相対スケールは、例えば、（Andreff, N., Horaud, R., & Espiau, B. (2001). Robot hand-eye calibration using structure-from-motion. The International Journal of Robotics Research, 20(3), 228-248.）等に記載されている方法で算出される。また、具体的な処理結果等は、後述する。

（統合化例）（ステップＳ０６）
ステップＳ０６では、情報処理装置は、単眼ＳｆＭの処理結果等を統合化する。統合化の処理結果については、詳細は後述する。

（最適化例）（ステップＳ０７）
ステップＳ０７では、情報処理装置は、最適化を行う。最適化の処理結果については、詳細は後述する。

（処理結果例）
まず、上記（１）式に示すカメラ座標の座標変換Ｔを用いて、撮像装置が以下のように位置・姿勢を変更する場合を例に説明する。

図５は、本発明の一実施形態に係る撮像装置の移動例を示す模式図である。例えば、図示するように、単眼の撮像装置である、カメラ「ａ」ＣＡ及びカメラ「ｂ」ＣＢが、リジット等に固定されるカメラリグの場合を例に以下説明する。この例では、カメラ「ｂ」ＣＢから、カメラ「ａ」ＣＡへの座標変換Ｔ（以下「Ｔｘ」とする。）は、下記（２）式のように示せる。

上記（２）式では、カメラリグの運動による、カメラ「ａ」ＣＡの運動は、「Ｔａ」と示し、カメラ「ｂ」ＣＢの運動は、「Ｔｂ」と示す。そして、カメラリグの運動によらず、各カメラの運動は、上記（２）式のような関係が成り立つ。

具体的には、１台のカメラを搭載したロボットマニュピュレータがあるとする。すなわち、カメラを上記（２）式におけるカメラ「ａ」ＣＡとし、ロボットマニュピュレータを上記（２）式におけるカメラ「ｂ」ＣＢとする。この例における相対姿勢を上記（２）式における「Ｔｘ」とすると、「Ｔｘ」は、上記（２）式に示す関係に基づいて、何通りかの位置・姿勢の変更を行うことで「Ｔａ」及び「Ｔｂ」のペアが複数得られると、推定する問題は、ハンドアイキャリブレーションとして捉えられる。

この場合において、一般性のある位置・姿勢、すなわち、「Ｔａ」及び「Ｔｂ」のペアが「ｎ」個あれば、「Ｔｘ」は、上記の通り、算出できる。一方で、特定の問題ある位置・姿勢が取られると、問題が縮退し、「Ｔｘ」の算出が難しくなる。

上記の通り、撮像装置が２台の場合には、既知の複数のランドマークを２台の撮像装置で撮像し、例えば、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ−Ｐｏｉｎｔｓ）を解くことで「Ｔａ」及び「Ｔｂ」を特定すると、「Ｔｘ」が算出できる。

次に、このようなカメラリグを用いて、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）を行う場合を考える。単眼のＳＬＡＭの場合、各時点における復元のそれぞれの絶対スケールが定まらず、前の時点までに復元した結果のスケールと基準としたスケールが得られる場合が多い。一方で、撮像装置が２台であり、かつ、視野を共有する構成、すなわち、ステレオカメラ等では、１つの位置・姿勢であっても、直接、絶対スケールを特定することができる。例えば、ステレオカメラを構成する２台の撮像装置間が「１０ｃｍ」である等のように、既知であれば、復元の結果における実スケールが決定できる。

視野を共有しない２台の撮像装置の場合は、例えば、以下のような方法で絶対スケール等が算出される。まず、それぞれの撮像装置について単眼のＳＬＡＭが実行される。この実行の結果、独立して２つのシーンの復元結果「Ｘａ」及び「Ｘｂ」が得られるとする。また、それぞれのスケールを「λａ」及び「λｂ」とし、上記（２）式の関係に基づいて、「λａ」及び「λｂ」を算出する。なお、以下の説明は、「Ｘａ」及び「Ｘｂ」による復元シーンのそれぞれの形状は、重複がない場合を例に説明する。すなわち、それぞれの復元結果に基づいて、復元される表面は、同じでないとする。又は、重複がある場合であっても、２つの復元結果において対応結果を求めないとする。また、この例において、復元されるシーンのそれぞれの形状は、点群であるとする。

復元されるシーンにおいて、重複する部分があると、スケール比、すなわち、「λａ／λｂ」等が得られる。一方で、重複する部分がないと、スケール比が特定されにくい場合が多い。したがって、重複がない場合、スケール比を用いないで以下のように計算する。

まず、「λａ」及び「λｂ」は、座標変化の並進成分にのみ影響されるため、上記（２）式は、下記（３）式及び下記（４）式のように示せる。

なお、上記（３）及び（４）式における「Ｒｘ」及び「ｔｘ」は、あらかじめ行われるキャリブレーションによって既知となる値である。次に、上記（３）式及び上記（４）式において、未知数である「λａ」及び「λｂ」に注目すると、下記（５）式のように示せる。

したがって、上記（５）式に基づいて、それぞれの撮像装置におけるＳＬＡＭの推定値に対する絶対スケールは、Ｌｉｎｅａｒ Ｌｅａｓｔ Ｓｑｕａｒｅｓ（ＬＳ）法により算出できる。すなわち、複数のフレーム間において、スケールがほとんど変化しないと仮定すると、複数のフレーム間における拘束を用いて、下記（６）式に示すような拡大ＬＳ問題を解くことで、スケール、すなわち、「λａ」及び「λｂ」は、ロバストに算出できる。

一方で、カメラリグが問題となる運動を行う場合には、上記（５）式において縮退が生じる。そのため、「λａ」及び「λｂ」の算出が難しくなる。なお、問題となる運動は、例えば、下記（７）式、下記（８）式及び下記（９）式が示す条件に該当する。

上記（７）式は、例えば、カメラリグを搭載した移動体が、回転をほとんどせず、理論上、撮像装置が並進のみを行い、撮像した場合等である。例えば、上記（７）式は、以下のような場合である。

図６は、本発明の一実施形態に係る撮像装置の並進例を示す模式図である。例えば、上記（７）式は、図示するように、カメラＣＡ、カメラＣＢ及びカメラＣＣが並進した場合等である。図では、カメラＣＡ、カメラＣＢ及びカメラＣＣは、図における左側の状態から右側の状態となるように移動する。図示するような運動では、カメラＣＡ、カメラＣＢ及びカメラＣＣは、ほとんど回転がない。ゆえに、カメラＣＡ、カメラＣＢ及びカメラＣＣは、並進した運動（図示する例では、右上方向に向かって並進運動が行われている。）を行ったと言える。

また、上記（９）式は、例えば、カメラリグを搭載した移動体が、円軌道を描く運動をして撮像した場合等である。例えば、上記（９）式は、以下のような場合である。

図７は、本発明の一実施形態に係る撮像装置の回転例を示す模式図である。例えば、上記（９）式は、図示するように、カメラＣＡ、カメラＣＢ及びカメラＣＣが回転した場合等である。図は、カメラＣＡを中心として、カメラＣＡ、カメラＣＢ及びカメラＣＣが回転した場合の例である。すなわち、この例は、理論上、撮像装置が回転のみを行い、撮像した場合等である。

上記のような運動は、例えば、ドローン等によって構造物を点検するために撮像を行う場合等において、移動体に安定した移動をさせようとする場合等に多い。したがって、このような運動が行われると、相対スケールが算出できない等の問題が生じやすい。そこで、ステップＳ０２によって、位置・姿勢を変更させて、この問題を回避する。

まず、複数の撮像装置の相対的な配置を示す「Ｒｘ」及び「ｔｘ」は、固定であり、既知と言える。そして、位置・姿勢を制御する制御値は、上記の問題が発生しにくいように、カメラリグの運動と、制御値との組み合わせで「Ｔａ」及び「Ｔｂ」を計算することで定まる。すなわち、カメラリグの運動と、制御値との組み合わせによる運動が、上記（７）式乃至上記（９）式に該当する運動にならないかを評価すると、上記のような問題が起きにくい制御値が、特定できる。

なお、上記（７）式乃至上記（９）式に代えて、評価は、上記（５）式の左辺における定数行列の固有値比によって、「λａ」及び「λｂ」による推定の精度を評価してもよい。この場合には、固有値比は、「最小固有値／最大固有値」である。また、評価において、固有値比が「１」に近い値になるほど、精度は、高くなる。このような手順によって、適正な位置・姿勢が決定されてもよい。なお、この場合には、例えば、移動体の運動について、あらかじめ頻度が高い運動又は直前の運動等が分かると、計算量が少なくできる。

ほかにも、制御値は、事前に網羅的に計算され、この計算結果から決定されてもよい。また、制御値は、各時点の運動に基づいて決定してもよい。例えば、運動のレパートリーが少なく、適切な位置・姿勢が事前に決定できると、位置・姿勢を変更するための雲台等の回転軸を少なくすることができる。

位置・姿勢の変更が大きいと、「λａ」及び「λｂ」を推定する精度は、高くできる場合が多い。一方で、ＳＬＡＭ等において画像の視野が共有できる範囲が狭くなる。したがって、位置・姿勢の変更による「λａ」及び「λｂ」の推定精度と、撮像装置間の共有する視野の広さとには、トレードオフの関係がある。したがって、位置・姿勢の最適な変更量は、シミュレーション等によって特定するのが望ましい。

例えば、変更量は、２０ °等のように特定される。位置・姿勢の変更による視野の変更が複雑になると、画像を利用しづらくなる場合がある。このような場合には、例えば、連続する撮像のタイミングごとに、例えば、＋１０ °、−１０ °、＋１０ °、−１０ °、・・・等のように、あらかじめ特定された変更量となるように、周期的に位置・姿勢を変更するのが望ましい。このような設定がされると、撮像装置は、例えば、周期的に揺れるような状態等になる。そして、このような周期的な変更であると、安定した撮像が可能となる。また、運動速度が速い場合には、回転の周期を速くすると、回転の効果を高めることができる。

なお、変更量は、例えば、視野が共有できる範囲に基づいて定まってもよい。具体的には、過去に撮像した連続する２フレームにおいて、共有する視野が狭い場合には、変更量は、小さくするように設定されてもよい。このようにすると、共有する視野が狭くなるのを防ぐことができる。

なお、変更量は、画角、解像度、被写体までの距離、撮像装置間の距離、フレームレート又は移動体の移動速度等の条件に基づいて特定されるのが望ましい。

また、図４に示すように、統合化及び最適化となる処理が行われてもよい。まず、統合化、すなわち、ステップＳ０６が行われると、例えば、以下のような処理結果となる。

図８は、本発明の一実施形態に係る情報処理装置による統合化例を示す模式図である。ステップＳ０４、すなわち、単眼ＳｆＭ等によって位置・姿勢が推定されると、例えば、図８（Ａ）に示すような結果となる。すなわち、図示する例では、第１カメラＣ１及び第２カメラＣ２の位置・姿勢が各時点で推定された結果である。この推定の結果、すなわち、撮像装置運動推定値と、ステップＳ０５で算出される相対スケールとを用いる座標変換を行う統合化が行われると、例えば、図８（Ｂ）に示すような結果となる。

図８（Ｂ）に示すように、統合化されると、撮像装置運動推定値は、単一のカメラリグで運動していくように示せる（図は、左から順に右に、時間が経過していく様子を示す）。なお、この例では、例えば、カメラリグの中心を時点ごとに座標変換していくと、図８（Ｂ）のような結果が得られる。

また、以上のように統合化が行われると、図８（Ｂ）に示すように、単一のカメラリグの運動と推定されるため、情報処理装置は、まとめて最適化することができる。

なお、最適化では、例えば、バンドル調整（「バンドルアジャストメント」という場合もある。）等の処理が行われる。バンドル調整は、単眼ＳｆＭで使用される最適化の一例である。

まず、単眼ＳｆＭによって、２つの時点における撮像装置の位置・姿勢が推定される。次に、それぞれの撮像装置で撮像された特徴点が、三角測量の原理等に基づいて三次元の点に変換される。そして、情報処理装置は、三次元の点を再び画像上に投影する。すなわち、投影される三次元の点は、いわゆる再投影点と呼ばれる。

理想的には、再投影点は、特徴点と一致する。しかし、実際にはノイズ等によって誤差が生じ、いわゆる再投影誤差が生じる。再投影誤差は、特徴点を撮像する他の撮像装置等と複雑に関係する場合が多い。そこで、最適化では、情報処理装置は、例えば、すべての撮像装置が撮像する画像に撮像される特徴点を集めて、再投影誤差が最小化するように、それぞれの推定値を調整していく等を行う。このような最適化が、例えば、図８（Ｂ）に示すように統合化された結果に対して行われる。

具体的には、最適化は、例えば、「https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=0ahUKEwi__7y00fzYAhWKurwKHVwwDegQFgg4MAI&url=https%3A%2F%2Fipsj.ixsq.nii.ac.jp%2Fej%2F%3Faction%3Drepository_action_common_download%26item_id%3D62864%26item_no%3D1%26attribute_id%3D1%26file_no%3D1&usg=AOvVaw1ZoABet4_ZZtwtp2bwyJ2t」に記載される方法等によって実現される。

（まとめ）
まず、複数の撮像装置を「カメラＡ」と、「カメラＢ」とすると、それぞれの撮像装置の運動系列は、例えば、下記（１０）式のように示せる。

そして、上記（１０）式に示す運動系列は、それぞれの撮像装置が撮像する画像に基づいて、ＳｆＭ等を行うことで推定できる。次に、「カメラＡ」及び「カメラＢ」の相対位置・姿勢である「Ｘ」が時間によって変化しないとすると、相対位置・姿勢「Ｘ」と、スケール「λ」とが、下記（１１）式を解くことで特定できる。

例えば、上記（１１）式は、（Andreff, N., Horaud, R., & Espiau, B. (2001). Robot hand-eye calibration using structure-from-motion. The International Journal of Robotics Research, 20(3), 228-248.）に記載される方法等で解くことができる。

上記の方法で上記（１１）式等を解くには、並進運動等が行われると、上記（１１）式が解けない問題が生じやすい。そこで、上記（１１）式が解けない問題を回避するため、ステップＳ０２では、撮像装置が異なる視野で撮像できるように、位置・姿勢等を変更する制御等が行われる。具体的には、撮像装置は、微小に回転させる等の変更を行う。このような変更があると、上記（１０）式に示す運動系列のうち、任意の区間「ｔ＝ｔ_１，・・・，ｔ_２」に撮像された画像を用いて、撮像装置間の相対位置・姿勢等が、推定できる。すなわち、任意の区間における運動系列は、撮像装置間の相対位置・姿勢等を拘束条件として最適化することができる。

したがって、撮像装置を微小に回転させる等の変更があると、並進運動等の問題ある動き方がされても、情報処理装置は、安定して相対スケールを算出することができる。

図９は、本発明の一実施形態に係る情報処理装置による処理結果例を示す模式図である。図示する例では、第１カメラＣ１及び第２カメラＣ２が、図示するような３時点で撮像したとする例である。また、この例では、第１カメラＣ１及び第２カメラＣ２の距離ＤＩＳは、固定であるとする。以下、第１カメラＣ１及び第２カメラＣ２の距離ＤＩＳは、「１」であるとする。すなわち、第１カメラＣ１及び第２カメラＣ２の距離ＤＩＳは、時間の経過があっても変化せず、一定である。したがって、撮像装置間の距離ＤＩＳが、各時点において、基準に用いられるのが望ましい。このように、撮像装置間の距離ＤＩＳをスケーリングの対象とすると、情報処理装置は、精度の良い推定等が可能となる。

なお、情報処理装置は、キャリブレーションデータ等によって、撮像装置間の距離ＤＩＳ以外のデータを持つ構成でもよい。

例えば、運動Ｖ１を推定する場合には、図における右側の２つの状態Ｐ１に基づいて、運動Ｖ１等が推定される。この例では、三次元上における座標を推定する上で、図示するような誤差Ｐ２等が生じる場合が多い。

初期値に対して、各時点での推定結果を積み重ねて位置・姿勢を計算していく場合には、各時点の推定値に誤差等があると、時間が経つごとに誤差等が蓄積されて大きくなっていく場合が多い。このような誤差等によって、いわゆるスケールドリフトと呼ばれる現象が生じる。一方で、本実施形態であれば、各時点において、相対スケールが安定して算出され、各時点において基準とできる。また、撮像装置間のスケールは、時間によって変化しないため、基準として利用できる。これにより、情報処理装置は、相対スケールを含む撮像装置間の相対位置・姿勢を拘束条件とし、全体を最適化することができる。

（比較例）
図１０は、比較例における処理結果例を示す模式図である。例えば、図示するように、カメラ１が並進運動等を行う場合を例とする。そして、図９と同様に、状態Ｐ１に基づいて、運動Ｖ２等が推定されるとする。このような場合には、誤差Ｐ２等が生じる場合が多い。これは、各時点において、基準となるスケールが存在しない場合である。つまり、画像だけの情報であると、被写体が「１ｃｍ」なのか「１ｍ」なのかは、決定するのが難しい。そのため、比較例では、最初に基準となるスケールを設定する。例えば、最初の運動を「１」とする等のように、決定がされる。その後、比較例では、前の時点までの推定値のスケールを基準として、次の時点における推定値のスケールが決定される。そのため、比較例では、時間が経つごとに誤差が蓄積されやすい。すなわち、スケールドリフトが生じやすい。ゆえに、位置・姿勢等の精度が悪化する場合が多い。

なお、スケールドリフトは、例えば、「https://www.doc.ic.ac.uk/~ajd/Publications/strasdat_etal_rss2010.pdf」等に記載される現象である。

（機能構成例）
図１１は、本発明の一実施形態に係る移動体システムの機能構成例を示す機能ブロック図である。例えば、移動体システム１は、姿勢制御部１０Ｆ１、取得部１１Ｆ１、画像撮像位置・姿勢推定部１１Ｆ２及び相対スケール算出部１１Ｆ３を備える機能構成である。また、移動体システム１は、図示するように、統合部１１Ｆ４及び最適化部１１Ｆ５を更に備える機能構成であるのが望ましい。

なお、図示する機能構成は、ドローン１０が撮像システムとなる例を示す。

姿勢制御部１０Ｆ１は、第１カメラＣ１及び第２カメラＣ２等のような複数の撮像装置の位置・姿勢等を変更する姿勢制御手順を行う。又は、姿勢制御部１０Ｆ１は、移動体の位置・姿勢を変更する。このように、撮像装置又は移動体の位置・姿勢が変更されると、撮像装置は、異なる方向の視野で画像を撮像することができる。したがって、姿勢制御部１０Ｆ１は、例えば、移動体が有する制御装置等によって実現される。

また、姿勢制御部１０Ｆ１は、図示するように、例えば、移動量算出部１０Ｆ１１と、周期関数記憶部１０Ｆ１２と、回転角度算出部１０Ｆ１３と、回転軸決定部１０Ｆ１４と、回転制御部１０Ｆ１５とを備える機能構成である。

移動量算出部１０Ｆ１１は、制御情報に基づいて移動体の移動量等を算出する。なお、移動量等は、センサ情報を制御情報とし、取得されてもよい。このように、センサ等で移動量等が取得されると、移動体が静止の状態で位置・姿勢の変更を停止できる。一方で、移動量等は、移動する速度が一定であると仮定して、経過した時間を示す制御情報とし、時間経過に比例して移動量等が算出されてもよい。このように、移動量等が算出されると、センサ等が不要な構成にできる。

なお、移動量等を算出する装置が移動体にある場合には、制御情報は、移動体から取得されてもよい。

周期関数記憶部１０Ｆ１２は、例えば、正弦波（ｓｉｎ波）関数又は三角波等の周期関数を記憶する。なお、周期関数記憶部１０Ｆ１２は、周期関数を記憶してもよいし、入力値と出力値とを「１：１」に対応させたテーブル等で記憶してもよい。

回転角度算出部１０Ｆ１３は、周期関数記憶部１０Ｆ１２が記憶する関数等に、移動量算出部１０Ｆ１１が算出する移動量等を入力して回転角度を算出する。このようにして、算出された回転角度となるように、移動体は、制御される。

回転軸決定部１０Ｆ１４は、複数の軸のうち、いずれかで回転させるように制御が可能な場合には、制御情報等に基づいて回転軸を決定する。

又は、回転させる軸をあらかじめ決められている場合には、回転軸決定部１０Ｆ１４は、あらかじめ決めた軸で回転させるように回転軸を決定する。ほかにも、軸が１つの場合には、その軸に決められる。この場合には、回転角度だけ回転制御部１０Ｆ１５に伝達されてもよい。

回転制御部１０Ｆ１５は、回転角度算出部１０Ｆ１３が算出した回転角度及び回転軸決定部１０Ｆ１４が決めた回転軸となるように、移動体又は撮像装置の位置・姿勢を制御する。なお、移動体が有する制御装置等によって位置・姿勢が変更される場合には、回転制御部１０Ｆ１５は、回転角度算出部１０Ｆ１３が算出した回転角度及び回転軸決定部１０Ｆ１４が決めた回転軸を示すデータを制御信号に変換する。そして、制御信号は、移動体が有する制御装置等に送信され、回転を行うように伝達する。

例えば、周期関数を「ｓｉｎ（ｔ）」とすると、移動体は、時間経過に応じて周期的に角度が変化するように制御される。また、回転軸は、例えば、１軸である。この場合には、制御情報として経過時間「ｔ」が取得され、周期関数記憶部１０Ｆ１２及び回転角度算出部１０Ｆ１３によって回転角度が決定する。

又は、周期関数を「ｓｉｎ（ｘ）」とすると、移動体は、姿勢制御部１０Ｆ１の制御による移動量「ｘ」に応じて周期的に角度が変化するように制御される。また、回転軸は、例えば、移動する方向を軸（すなわち、Ｚ軸である。）とする１軸である（この場合には、Ｒｏｌｌ回転となる）。この場合には、移動量算出部１０Ｆ１１によって制御情報として移動量「ｘ」が算出され、周期関数記憶部１０Ｆ１２及び回転角度算出部１０Ｆ１３によって回転角度が決定する。 取得部１１Ｆ１は、複数の撮像装置が撮像した画像ＩＭＧを取得する取得手順を行う。例えば、取得部１１Ｆ１は、インタフェース１１Ｈ３等によって実現される。

画像撮像位置・姿勢推定部１１Ｆ２は、取得部１１Ｆ１が取得する画像ＩＭＧに基づいて、三次元復元処理を適用して、それぞれの画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定手順を行う。例えば、画像撮像位置・姿勢推定部１１Ｆ２は、ＣＰＵ１１Ｈ１等によって実現される。

相対スケール算出部１１Ｆ３は、画像撮像位置・姿勢推定部１１Ｆ２によって推定される複数の撮像装置の位置・姿勢の推定値に基づいて、複数の撮像装置の位置の推定値における相対スケールを算出する相対スケール算出手順を行う。例えば、相対スケール算出部１１Ｆ３は、ＣＰＵ１１Ｈ１等によって実現される。

図示するような機能構成であると、姿勢制御部１０Ｆ１による位置・姿勢の変更等によって、取得部１１Ｆ１は、異なる方向を示す画像を取得できる。このような画像があると、ＰＣ１１は、画像撮像位置・姿勢推定部１１Ｆ２及び相対スケール算出部１１Ｆ３によって相対スケールを算出することができる。並進運動等が行われると、上記（１１）式等が解けず、相対スケール等を算出できない場合がある。一方で、姿勢制御部１０Ｆ１がある機能構成とすると、撮像装置がどのような動き方であっても、ＰＣ１１は、相対スケールを算出できる。具体的には、姿勢制御部１０Ｆ１及び取得部１１Ｆ１によって、例えば、以下のような画像が取得される。

図１２は、本発明の一実施形態に係る移動体システムが用いる画像を説明する模式図である。以下、図示するように、第１カメラＣ１及び第２カメラＣ２が、姿勢制御部１０Ｆ１によって、「位置・姿勢（１）」、「位置・姿勢（２）」及び「位置・姿勢（３）」の順に変更される場合を例に説明する。

図示するように、第１カメラＣ１及び第２カメラＣ２は、異なる方向を撮像するため、「位置・姿勢（１）」では、第１カメラＣ１によって、第１１画像ＩＭＧ１Ｃ１が撮像される。一方で、「位置・姿勢（１）」では、第２カメラＣ２によって、第１２画像ＩＭＧ１Ｃ２が撮像される。つまり、第１１画像ＩＭＧ１Ｃ１及び第１２画像ＩＭＧ１Ｃ２は、同じタイミングで撮像される画像である。

次に、「位置・姿勢（１）」とは異なるタイミングとなると、位置・姿勢は、図示するように、「位置・姿勢（１）」から「位置・姿勢（２）」に変更される。そして、「位置・姿勢（２）」では、第１カメラＣ１によって、第２１画像ＩＭＧ２Ｃ１が撮像される。一方で、「位置・姿勢（２）」では、第２カメラＣ２によって、第２２画像ＩＭＧ２Ｃ２が撮像される。つまり、第２１画像ＩＭＧ２Ｃ１及び第２２画像ＩＭＧ２Ｃ２は、同じタイミングで撮像される画像である。一方で、第１１画像ＩＭＧ１Ｃ１と、第２１画像ＩＭＧ２Ｃ１とは異なるタイミング及び位置・姿勢で撮像される画像となる。

取得部１１Ｆ１は、例えば、「位置・姿勢（１）」及び「位置・姿勢（２）」の２姿勢分の画像ＩＭＧを取得する。具体的には、図示する例では、第１１画像ＩＭＧ１Ｃ１、第１２画像ＩＭＧ１Ｃ２、第２１画像ＩＭＧ２Ｃ１及び第２２画像ＩＭＧ２Ｃ２の４つの画像ＩＭＧが２姿勢分の画像として取得される。

また、この例では、位置・姿勢の前後を示す画像は、第１１画像ＩＭＧ１Ｃ１及び第２１画像ＩＭＧ２Ｃ１となる。一方で、同じ位置・姿勢における異なる撮像装置のそれぞれの画像は、第１１画像ＩＭＧ１Ｃ１及び第１２画像ＩＭＧ１Ｃ２となる。

なお、画像ＩＭＧは、３姿勢分以上が取得されてもよい。例えば、ＳＤ（登録商標）カード等の記録媒体で一定期間分の画像が記憶され、後にまとめて画像ＩＭＧが取得されてもよい。

（第２実施形態）
移動体システムは、異なる方向の視野で画像を撮像するため、例えば、以下のような光学部材のある構成等でもよい。

図１３は、本発明の第２実施形態に係る光学部材による撮像装置の視野の変更例を示す模式図である。図示する構成は、光学部材の例であるミラーＭＲを備える光学系の例である。なお、その他の構成は、例えば、第１実施形態と同様の構成等で実現できる。したがって、重複する説明は省略し、以下、第１実施形態と異なる点を中心に説明する。

図示するように、第１カメラＣ１の視野ＳＧ１は、ミラーＭＲによって、図示するような方向となる。一方で、第２カメラＣ２の視野ＳＧ２は、ミラーＭＲによって、図示するような方向となる。すなわち、図示する例では、第１カメラＣ１及び第２カメラＣ２は、ミラーＭＲによって反射する光を撮像する構成である。

例えば、図示するように、ミラーＭＲを回転させると（図は、Ｙ軸回りの回転、いわゆるＰａｎ回転が行われる例を示す。）、視野ＳＧ１及び視野ＳＧ２は、変更される。このように、ミラーＭＲ等の光学部材によって、視野は変更されてもよい。

図示するように、ミラーＭＲ等は、移動体又は撮像装置等と比較して軽量である場合が多い。そのため、ミラーＭＲを回転させる等の方が、移動体又は撮像装置等の位置・姿勢を変更するよりも容易である場合が多い。すなわち、光学部材を動かす構成の方が、アクチュエータ等の機構を小型化できたり、安価な構成とできたりする。

（他の実施形態）
なお、情報処理装置等は、１台の装置で構成されなくともよい。すなわち、本発明に係る実施形態において、各情報処理装置は、複数の装置で構成されるシステムでもよい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ等の低水準言語又はオブジェクト指向言語等の高水準言語で記述され、コンピュータに情報処理方法を実行させるためのプログラムによって実現されてもよい。したがって、プログラムに基づいて情報処理方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

さらに、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

以上、実施形態における一例について説明したが、本発明は、上記実施形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。

１ 移動体システム
１０ ドローン
１１ ＰＣ
Ｃ１ 第１カメラ
Ｃ２ 第２カメラ
１０Ｆ１ 姿勢制御部
１１Ｆ１ 取得部
１１Ｆ２ 画像撮像位置・姿勢推定部
１１Ｆ３ 相対スケール算出部
１１Ｆ４ 統合部
１１Ｆ５ 最適化部
ＩＭＧ 画像

特開２０１４‐１０１０７５号公報

Claims (8)

1. 情報処理装置であって、
   それぞれ異なる方向を撮像する複数の撮像装置から、順次撮像された複数の画像を取得する取得部と、
   前記取得した複数の画像に三次元復元処理を適用して、前記複数の画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定部と、
   前記複数の画像が撮像された位置・姿勢の推定値に基づき、前記複数の撮像装置の位置の相対スケールを推定する相対スケール算出部と
   を備えることを特徴とする情報処理装置。
2. 前記複数の撮像装置は、
   光学部材を介して、撮像する方向を異なるようにしたことを特徴とする、
   請求項１に記載の情報処理装置。
3. 前記取得部は、
   順次撮像するごとに、異なる方向で撮像された画像を取得することを特徴とする、
   請求項１又は２に記載の情報処理装置。
4. 前記複数の撮像装置は、回転によって前記複数の画像を順次撮像する請求項１から３に記載のいずれか１項に記載の情報処理装置。
5. 移動体と、
   それぞれ異なる方向を撮像する複数の撮像装置と、
   前記複数の撮像装置から、順次撮像された複数の画像を取得する取得部と、
   前記取得した複数の画像に三次元復元処理を適用して、前記複数の画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定部と、
   前記複数の画像が撮像された位置・姿勢の推定値に基づき、前記複数の撮像装置の位置の相対スケールを推定する相対スケール算出部とを有する情報処理装置と、
   前記移動体又は前記複数の撮像装置の姿勢を制御する姿勢制御部と、
   を備えることを特徴とする移動体システム。
6. それぞれ異なる方向を撮像する複数の撮像装置と、
   前記複数の撮像装置の姿勢を制御する姿勢制御部と、
   前記姿勢制御部は、
   時間経過又はセンサ情報による移動体の制御情報に基づいて、移動量を算出する移動量算出部と、
   周期関数を記憶する周期関数記憶部と、
   前記周期関数に前記移動量を入力して回転角度を算出する回転角度算出部と、
   あらかじめ決められた回転軸又は前記制御情報に基づいて回転軸を決定する回転軸決定部と、
   前記回転角度算出部と前記回転軸決定部により決定された回転を、前記移動体又は前記撮像装置の姿勢を制御する装置の制御信号に変換する回転制御部と
   を備えることを特徴とする撮像システム。
7. 相対スケールを算出する情報処理装置に前記複数の撮像装置が撮像した順次撮像された複数の画像を出力する出力部を更に備える請求項６に記載の撮像システム。
8. 情報処理方法であって、
   情報処理装置が、それぞれ異なる方向を撮像する複数の撮像装置から、順次撮像された複数の画像を取得する取得手順と、
   情報処理装置が、前記取得した複数の画像に三次元復元処理を適用して、前記複数の画像が撮像された位置・姿勢を推定する画像撮像位置・姿勢推定手順と、
   情報処理装置が、前記複数の画像が撮像された位置・姿勢の推定値に基づき、前記複数の撮像装置の位置の相対スケールを推定する相対スケール算出手順と
   を含む情報処理方法。

Images