JP2014229274A - マーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法。 - Google Patents

Abstract

【課題】曲面を有する物体に付された場合であっても精度よく検出することのできるマーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法を提供する。
【解決手段】一列に配列される複数の点からなり略平行に配置される一対の第一の点群と、第一の点群の列に対し略垂直方向な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備える。物体１は、一列に配列される複数の点からなる第一の点群と、第一の点群に対し略垂直方向に配置された複数の点からなる第二の点群と、を備えたマーカー２が付される。マーカー解析方法は、画像データに基づき第一の点群データ及び第二の点群データを取得し、方向データを求める。画像作成方法は、方向データを求め、挿入画像データに曲面変換処理を行い、さらに曲面挿入画像データを作成し合成する。
【選択図】図１

Description

本発明は、マーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法。
に関し、より具体的には、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカー、ＡＲマーカーが付された物体、ＡＲマーカー解析方法、及び画像作成方法に好適なものである。

現実世界に計算機で生成した仮想情報を付与するための拡張現実感技術において、ＡＲマーカーを用いた手法が提案されてきている。この技術では、カメラ等の撮像装置でＡＲマーカーが付された物体を写して画像を取得し、この画像からマーカーの位置を認識し、この取得した画像と、予め作成した画像等の情報とを組み合わせて新たな画像として表示し、使用者にあたかもこの情報が現実世界に存在するかのように画像として表示する技術である。

ＡＲマーカーの公知の技術としては、例えば非特許文献１に記載がある。本文献１には、四角形の各頂点を含め各辺に４点ずつを配置したマーカーを提案しており、点間の距離の比率を用いて情報を埋め込み、かつ、４つの頂点のうち３つ以上が観測された場合、正しく認識できるものとなっている。

Ｂｅｒｇａｍａｓｃｏ，Ａｌｂａｒｅｌｌｉ，Ｔｏｒｓｅｌｌｏ："Ｉｍａｇｅ−Ｓｐａｃｅ Ｍａｒｋｅｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｐｒｏｊｅｃｔｉｖｅ Ｉｎｖａｒｉａｎｔｓ"，３ＤＩＭＰＶＴ ２０１１，ｐｐ．３８１−３８８

しかしながら、上記技術で提案されるようなＡＲマーカーは、マーカーが平面に置かれていることを前提としているため、円柱面などに張り付けられた場合、マーカーの姿勢推定が不安定になるといった課題がある。また、マーカーの一部が隠れてしまった場合、マーカーの検出が困難になるといった課題も残る。

以上、本発明は、上記課題に鑑み、曲面を有する物体に付された場合であっても精度よく検出することのできるマーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法を提供することを目的とする。

上記課題を解決する本発明の第一の観点に係るマーカーは、一列に配列される複数の点からなり略平行に配置される一対の第一の点群と、第一の点群の列に対し略垂直方向な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備えている。

また、本発明の他の一観点に係る物体は、一列に配列される複数の点からなり略平行に配置される一対の第一の点群と、第一の点群の列に対し略垂直方向な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備えたマーカーが付されている。

また、本発明の他の一観点に係るマーカー解析方法は、画像データに基づき一対の第一の点群データ及び第二の点群データを取得し、一対の第一の点群データに基づき方向データを求める。

また、本発明の他の一観点に係る画像作成方法は、画像データに基づき一対の第一の点群データ及び第二の点群データを取得し、一対の第一の点群データに基づき方向データを求め、方向データに基づき挿入画像データに曲面変換処理を行い、曲面挿入画像データを作成し、曲面挿入画像データを前記画像データと合成する。

以上、本発明によって、曲面を有する物体に付された場合であっても精度よく検出することのできるマーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法を提供することができる。

実施形態に係る物体の概略図である。 実施形態に係るマーカーの概略図である。 実施形態に係るマーカーの他の例の概略図である。 実施形態に係るマーカーの解析方法のフローの概略図である。 見る方向によってマーカーの形状が異なる場合のイメージ図である。 物体の軸の傾きやマーカーの回転を推定するに当たり採用する座標系の一例を示す図である。 平面を用いてマーカーの傾き等を推定するに当たり採用する座標系の一例を示す図である。 方向データに基づき挿入画像データに曲面変換処理を行い曲面挿入画像データを作成する場合の例を示す図である。 実際に作成したマーカーの第一の例を示す図である。 実際に作成したマーカーの第一の例を示す図である。 実際に作成したマーカーの第一の例を示す図である。 実際に作成したマーカーの第二の例を示す図である。 実際に作成したマーカーの第二の例を示す図である。 実際に作成したマーカーの第三の例を示す図である。 実際に作成したマーカーの第三の例を示す図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例の例示に限定されるものではない。

図１は、本実施形態に係る物体（以下「本物体」という。）１についての概略図であり、図２は、本実施形態に係るマーカー（以下「本マーカー」という。）２の概略を示す図である。本図で示す通り、本物体１は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、一対の第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなりかつ略平行に配置される一対の第二の点群４と、を備えたマーカー２が付されている。

本物体は、本マーカー２を付することができる限りにおいて限定されないが、曲面を有する柱状の物体表面、好ましくは円柱形状の物体の表面に付することが本マーカー２の効果を最大限に発揮するために好ましい。ここで「曲面を有する柱状の物体」とは、一方向の直線軸に沿って伸びる柱状の部分を有し、かつ、その軸方向に沿って切断した場合における断面形状の少なくとも一部が曲線を有するものをいい、その断面形状が略円形状となっているものを「円柱形状」という。なお本実施形態においては、表面に本マーカー２を付するものであるため、その物体が中空であるものも、「曲面を有する柱状の物体」に含まれるものとする。

曲面を有する柱状の物体の具体的な例については、限定されるわけではないが、例えば建築物における円柱、電柱、飲料を入れておくためのマグカップ等、大きさを問わず多種多様な対象を挙げることができる。

上記のとおり、本マーカー２は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４と、を備えている。

本マーカー２は、まず、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３を備えている。ここで「略平行」とは、完全な平行を含むことはもちろんであるが、実質的に平行とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略平行」の用語については、本明細書の他の要素において用いられる場合も同様である。

また本マーカー２において「点」とは、解析段階において認識できるものであることが必要であり、そのため所定の面積を有しているものであることが好ましい。また、その「点」の形状は円、楕円、三角形状、四角形状、その他の形状どのような形状も採用することができるが、その中心位置を定めやすくするためには円であることは好ましい一例である。また、後述の例でも示しているが、点は認識できる限りにおいて内部まで同一色で塗られている必要はなく、内部が異なる色となっていてもよい。

本マーカー２では、後述の記載から明らかとなるが、第一の点群３が略平行で一対となっていることにより、一方の第一の点群３における点と他方の第一の点群３における点との関係を精度よく把握することが可能となり、本マーカーが付される物体の傾きや曲率を容易に推測できるようになる。

また本実施形態において、第一の点群３の各点間距離は、添付された面（曲面に付された場合は当該曲面）に沿って測定した距離が略等しくなっていることが好ましく、更には、一対の第一の点群双方においても等しいことが好ましく、特に、一対の第一の点群の同様な位置にある点同士を結んだ場合に、当該直線が物体の軸に略並行となっていることが好ましい。なお上記のとおり本マーカー２の点が所定の面積を有している場合、「点間距離」は、各点内の中心位置の一座標を基準点３１１として定め、その基準点間の距離を意味することになる。

このようにしておくことで、本マーカーが付される物体の傾きや曲率等の方向に関する情報の計算をより容易に行うことができるようになる。ここで「略等しく」とは、完全に等しい状態を含むことはもちろんであるが、実質的に等しいとみなすことができる程度の誤差を含むことを意味する。より具体的には、例えば５％程度の誤差は許容できることを意味する。

また本実施形態において、本マーカー２の第一の点群３が円柱形状の物体に付される場合、第一の点群３は曲面に沿って配置されていること、より具体的には、円柱形状の物体の軸方向に対して垂直な面上に配置されていることが好ましい。このようにすることで、本マーカーの解析処理がより精度よくなるといった効果がある。

また本マーカー２では、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４を備えている。ここで「略垂直」とは、完全な垂直を含むことはもちろんであるが、実質的に垂直とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略垂直」の用語については、本明細書の他の要素において用いられる場合も同様である。

本マーカー２は、後述の記載から明らかとなるが、第一の点群３の列に対し略垂直方向な方向に一列に配置される複数の点４１を設けることで、本マーカー２に対する認識をより精度よく行うことができるようになる。

また本マーカー２の第二の点群４は、第一の点群３の列に対し略垂直方向な方向であれば位置は特に限定されるわけではないが、第一の点群３の両端を共有していることが好ましい。このようにすることで、本マーカー２に対する認識をより精度よく行うことができるようになるだけでなく、第一の点群３及び第二の点群４により囲まれた領域、より具体的には四角形状とすることができ、本マーカー２の領域を明確にすることができるようになる。

また、本マーカーの第二の点群における複数の点４１間の距離は、マーカーとして認識できるよう特定の関係を保つことができ、必要に応じて情報を含ませることができる範囲において配置適宜調整可能である。

また、限定されるわけではないが、本マーカーの第一の点群及び第二の点群は、本図で示すように枠内５に設けられていることが好ましい。このようにすることで、枠をマーカーの認識基準とすることができ、より認識精度が高くなる。この構成について、より具体的には四角形状の太枠内に枠と異なる色の点を設けておくことが好ましい。なお、枠のないマーカーについては、例えば図３で示すようなマーカーを例示することができる。なおこのような場合においては、各点の周囲はマーカーの点であることを背景と区別するためにマーカーの色と明確に区別することができる色となっていることが好ましい。また、各点の内部は点であることが認識できる限りにおいて限定されず、輪郭だけ明確にし、内部を異なる色で塗っていてもよい。

次にここで、本実施形態に係るマーカー解析方法（以下「本解析方法」という。）及び画像作成方法（以下「本画像作成方法」という。）について具体的に説明する。図４は、本解析方法のフローを示す図である。本解析方法は、（１）画像データに基づき一対の第一の点群データ及び第二の点群データを取得し、（２）一対の第一の点群データに基づき方向データを求めることを特徴とする。

本解析方法は、実現できる限りにおいて限定されるわけではないが、例えば、デジタルカメラ等の撮像装置と、この撮像装置に接続されるコンピュータ等の情報処理装置を用いて行うことができる。

この場合において、情報処理装置は、撮像装置によって作成される画像データに対しマーカー解析及び画像作成を実現できる限りにおいて限定されるわけではないが、例えば、いわゆるＣＰＵ、ハードディスク、メモリ等の記録媒体等を備え、ハードディスク等にマーカー解析、画像作成を行うためのプログラムを格納し、使用者の要求に応じてメモリに一時的に読み込ませ、当該プログラムを実行して上記各処理を実現させるようにすることが好ましい。

まず、本解析方法は、（１）画像データに基づき一対の第一の点群及び第二の点群データを取得する。

画像データに基づき第一の点群及び第二の点群データを取得するに際し、まず、画像データから点群中の点を抽出する。画像データから点を抽出する方法としては限定されることなく様々な手法を採用することができるが、マーカーの点とその背景との色の境界を検出する手法等公知の手法を採用すること好適である。

なお、この場合において、枠内に点群を備えるマーカーである場合は、マーカーとその背景をより明確に区別することが可能となり、また、第二の点群を特定した後、その点群が存在する枠内で第一の点群の抽出を行うこともできるようになり、より精度よく点群の抽出が可能となる。

また、枠を用いる場合、限定されるわけではないが、この枠の輪郭を楕円近似することは、点群の抽出をより容易になるため好ましい。具体的には、枠の輪郭を認識した後、当該輪郭を覆うよう楕円近似を行い、この楕円近似内に存在する点を上記方法等を用いて抽出すれば、この点が点群を構成する点であると確実に認識できるため、後述の点群認識の手順の少なくとも一部を省略することができる。

次に、点を抽出した後、計算のため各点の基準点の座標を特定する。基準点については、点の位置との所定の関係があれば特に限定されるわけではないが、例えば、点が丸形状である場合は中心を、三角形状である場合は重心を、四角形状である場合は対角線の交点等を例示することができる。

次に、各基準点の座標を特定した後、第一の点群及び第二の点群をそれぞれ特定する。より具体的には、抽出した各基準点の座標間の距離や直線関係を求め、その距離の関係、直線関係が、あらかじめ定めてある第一の点群及び第二の点群の距離関係のいずれかに対応したと判断した場合、当該基準点の集合は点群を形成していると判断する。

具体的に説明すると、本実施形態においては、第一の点群は均等な点間距離で曲面に沿って配置される一方、第二の点群は一方から他方に至るまで物体の軸に沿って所定の間隔で点間距離が離れて配置されているため、第二の点群は常時直線関係にあると考えることができ、更に、この直線関係にある複数の点の間の距離があらかじめ定めてある第二の点群の距離の関係と相当の関係にあると判断されれば、第二の点群であると特定できる。ここで「相当の関係」とは、その点間距離があらかじめ定めてある点間距離と一致することを含むのはもちろんであるが、物体自体の回転や傾きによって点間距離が変調されている場合でも、直線であって、その点間距離が上記回転や傾きによって変調された範囲であると把握できる場合を含む関係をいう。もちろん、第二の点群の点間距離を調整することにより情報を含ませている場合は、取得した点の直線関係に基づいて第二の点群であると認識し、更に点間距離を読み取ることで含まれた情報を取得することも好ましい。

またこの場合において、限定されるわけではないが、本マーカー２の第二の点群の距離（点間距離の合計）は予め求めておき、実際に特定した第二の点群の距離と比較し、縮尺比を求めておくことは好ましい。

なお、本実施形態では、第二の点群は一対、より具体的には略平行に二本設けているが、本マーカーが付される物体は曲面上に配置されるものであって、撮影の角度によっては第二の点群のうちの一方だけしか見えない場合も多い。このため、第二の点群は一方のみ検出できれば十分であるようにするため、そのため第二の点群は同一の構成となっていることが好ましい。このようにすることで、本マーカーの半分程度が隠れていてもマーカーとして認識できるようになる。

次に、本解析方法では、各基準点の座標を特定し、第二の点群を特定した後、残りの点群から一対の第一の点群を把握し、（２）一対の第一の点群データに基づき方向データを求める。第一の点群は、第二の点群の近傍に配置しているため、第二の点群を特定できれば容易に推測することができる。具体的には、第二の点群の端点から所定の方向、範囲にある点を第一の点群と認識することで特定できる。また、枠５を用いて点を認識している場合は、第二の点群と認識されなかった点を第一の点群として認識できる。

ここで「方向データ」とは、添付された物体の傾きや向き（回転方向）がどの方向にどの程度となっているかといった、物体の軸の傾き量や回転量等を示すデータを含む。本マーカーが添付される物体は、一定の曲率を有しているものであるが、撮影する角度や距離によって見える曲面上のマーカーの形状は異なってくる（例えば本マーカーを正面から見た場合は四角形状に近く、本マーカーを斜めから見ると第一の点群は曲がって見える）。この場合のイメージ図を図５に示しておく。したがって、第一の点群がどの程度直線から曲がっているのかを把握することで、どの程度物体に対して傾いて撮影したものであるのかを特定することができる。

本実施形態において、第一の点群は、平面状態においては直線的に配置されている一方、本マーカーが物体に添付されたとなっている状態においては、この円筒上に配置されている。すなわち、第一の点群の各点は、本来曲面上において円の一部（円弧）となってはずである。したがって、実際に取得される画像データから特定された第一の点群の各点は、円弧が撮像面に対して射影された結果の形状となっているはずである。従って、予め求めてある第一の点群における点間距離、本マーカーが添付される物体の径、第二の点群において求めた本マーカーの縮尺比、物体の軸方向等を考慮し、物体の曲率、傾き等の方向データを求めることができる。この場合に考慮する物体の軸の傾きやマーカーの回転を推定するに当たり採用する座標系の一例を図６に示しておく。

なお、本実施形態においては、第一の点群のうち一方だけで算出することもできるが、一対の第一の点群の各点が対応するように等しい距離で配置されている場合、これらを結んで複数の直線、更には隣接する直線と仮想の長方形の平面を考えることも好ましい一例である。このようにすると、上記長方形は軸方向に沿った円筒の表面に近似することができ、この平面をなす直線の傾きを求めることで、この平面がどの程度傾いて撮影されたかを特定することができるようになる。そしてこのような平面を複数考慮し、それぞれにおいてどの程度傾いて撮影されたかを特定する。この結果、この傾きからそれぞれの平面の相対的な傾きを求めることができる。特に、第一の点群が等間隔に配置されている場合、この平面の相対的な傾きから物体の径、物体の曲率を求めることが容易となる。この場合のイメージ図を図７に示しておく。

また、上記説明においては、説明の観点から、物体の径が確実にわかっている場合の例を示しているが、仮にわからない場合であっても、本マーカーの第一の点群の距離、第二の点群の距離、及びそれぞれの点間距離を定めておけば、円弧として推定し、物体の径、曲率、傾き等を求めることもできる。例えば本図の例で言えば、隣接する平面に対する垂線同士のなす相対的な角はθであって、角θを求めれば、第一の点群の点間距離Ｍとの関係でｒθ＝Ｍの関係があるため、容易にｒを求めることができる。

以上、これら手順によって、本マーカーは解析を行うことができる。

更に、本実施形態では、上記マーカーの解析結果に基づき、挿入画像を作成する。より具体的には、（３）方向データに基づき挿入画像データに曲面変換処理を行い、曲面挿入画像データを作成する。この場合のイメージ図を図８に示しておく。図中（ａ）は、変換前の挿入画像のイメージ図であって、同図（ｂ）は変換後の挿入画像のイメージ図、同図（ｃ）は画像データと合成した場合のイメージ図である。

上記のとおり、本マーカーにより、物体の曲面の状態を把握することが可能となった後は、挿入画像データに対し上記マーカーの表面に添付できるよう変換処理を行い、曲面挿入画像データを作成する。ここで「挿入画像」とは、上述の撮像装置によって作成された画像に対し挿入処理を行う画像であって、特に限定されるものではなく、疑似的な三次元的な形状を表示する画像であっても、二次元画像であってもよい。また、この挿入画像に対して行う変換処理は、公知の拡大縮小の処理、曲面化処理、回転処理を行うことができ、特に限定されず、公知の画像処理技術があればそれを適用することが可能である。

次に、本実施形態では、上記曲面挿入画像データを作成した後、（４）画像データと合成処理を行う。これにより、使用者は、あたかも撮影した画像データに挿入画像が存在しているかのように認識することができる。

以上、本実施形態により、曲面を有する物体に付された場合であっても精度よく検出することのできるマーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法を提供することができる。特に、本実施形態によると、本マーカーは曲面に添付されたとしても、第二の点群の一方が認識できればマーカーと認識できるため、曲面にも十分に対応することができる。また、第一の点群を設けておくことで、マーカーがどのような曲面状態にあるのか、撮影状態はどの程度の傾きを持って行われたのかを推定することができ、曲面状態を正確に認識することができると言った極めて優れた効果を有する。

ここで、実際に上記実施形態にかかるマーカーについて作成を行い、その効果を確認した。以下具体的に示しておく。

（第一の例）
まず、図９乃至１１に、第一の例として作成したマーカーの例を示しておく。この例では、半径３３ｍｍの円筒（飲料缶）に対してマーカーを印刷した紙を添付し、その曲率も確認したところ、非常に精度よく画像を得ることができていることを確認した。特に図１１で示すように、マーカーの半分程度が隠れてしまっている場合であっても、立体図形を正確に表示させることが可能であることが確認でき、非常に高精度に曲面状態を認識していることを確認した。

（第二の例）
また、図１２、図１３に、第二のとして作成したマーカーの例を示しておく。この例では、半径２．５ｍｍ程度の円筒（筒型証書入）に対してマーカーを印刷した紙を添付し、回転させた。この場合でも、これらの図が示すように、回転しても高い精度でマーカーに対応した位置に立体的形状を表示させることができるのを確認した。

（第三の例）
また、図１４、１５に、第三の例として作成したマーカーの例を示しておく。この例は、上記第一の例の飲料缶と同様の円筒に対してマーカーを印刷した紙を添付した例であり、このマーカーに表示させる対象を立体的形状から映像（画像を時系列的に複数並べたもの）に変えた点のみが異なる。この場合も、上記第二の例と同様、画像を回転させたとしても、マーカーの位置に精度よく映像を配置させることができることを確認した。

この結果、本実施形態によると、例えばマグカップや電柱、建築物の円柱などに弧のマーカーを付し、このマーカーをデジタルカメラ機能付きの携帯電話などの情報処理端末で撮影する一方、この情報処理端末に上記処理を行うプログラムを格納しておくことで、このマーカー内に様々な形状や、広告などの画像をはめ込むことが可能となる。

Claims (6)

1. 一列に配列される複数の点からなり略平行に配置される一対の第一の点群と、
   前記第一の点群の列に対し略垂直方向な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備えたマーカー。
2. 一列に配列される複数の点からなり略平行に配置される一対の第一の点群と、
   前記第一の点群の列に対し略垂直方向な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備えたマーカーが付された物体。
3. 前記物体は円柱形状であって、前記第一の点群に沿った曲面を有する請求項２記載の物体。
4. 前記第一の点群の各点間距離は、前記曲面に沿って測定した距離が略等しい請求項２記載の物体。
5. 画像データに基づき一対の第一の点群データ及び第二の点群データを取得し、
   前記一対の第一の点群データに基づき方向データを求めるマーカー解析方法。
6. 画像データに基づき一対の第一の点群データ及び第二の点群データを取得し、
   前記一対の第一の点群データに基づき方向データを求め、
   前記方向データに基づき挿入画像データに曲面変換処理を行い、曲面挿入画像データを作成し、
   前記曲面挿入画像データを前記画像データと合成する画像作成方法。