JP2021140526A - ３次元モデル作成装置、及び３次元モデル作成方法 - Google Patents

Abstract

【課題】本願発明の課題は、従来の問題を解決することであり、すなわち、明確な特徴点を持たない対象物に対しても、高価な計測機器を用いることなく写真測量によって容易に３次元モデルを作成することができる３次元モデル作成装置と、これを用いた３次元モデル作成方法を提供することである。【解決手段】本願発明の３次元モデル作成装置は、対象物の画像に基づいて３次元モデルを作成する装置であり、画像記憶手段とモデル作成手段を備えたものである。このうちモデル作成手段は、異なる方向から撮影された複数の文字表示画像を用いた空間演算処理を行うことによって対象物の３次元モデルを作成する手段である。またモデル作成手段は、文字表示画像に収められた文字を特徴点として空間演算処理を行う。【選択図】図１

Description

本願発明は、複数の画像から対象物の３次元モデルを作成する技術であり、より具体的には、複数の文字が表示された対象物を撮影した画像を利用することによってその対象物の３次元モデルを作成する３次元モデル作成装置と、これを用いた３次元モデル作成方法に関するものである。

モデルは、実物を模式的に表したものであり、一般的には実物の代用品として利用される。モデルルームや模型（プラモデルなど）などは、典型的な「モデル」といえる。このモデルは、６面図など２次元で表現されることもあるが、やはり３次元で表されるモデル（３次元モデル）の方が多用されている。

３次元モデルは、通常、平面位置と高さからなる３次元座標を基礎とし、すなわち直交３軸（例えば、Ｘ軸―Ｙ軸―Ｚ軸）で構成される座標系の中で表現され、換言すれば３次元座標を有する点や線、面で構成されるものである。そのため３次元モデルを作成するには、対象となる実物（以下、単に「対象物」という。）を形成する点や線、面の３次元座標が必要となる。

対象物の３次元座標を取得するには、設計図等があればこれを利用することができるが、このような直接的な情報がない場合は実際に計測することとなる。例えば、特許文献１では空中写真測量によって取得した３次元座標に基づいて地形の３次元モデル（数値表層モデル）を作成する技術について提案しており、特許文献２ではレーザー計測によって取得した３次元座標に基づいて移動体（列車や自動車など）の３次元モデルを作成する技術について提案している。

特許第６２３８１０１号公報 特許第６１６８３８０号公報

特許文献１でも開示される写真測量は、同一箇所を写した異なる２枚の写真を一組とするステレオペア写真を用意し、双方の写真に写された同一対象物を同定するとともに、その対象物の写真上の位置の相違（視差）を利用して対象物の座標を求める手法である。写真に写された対象物の座標は、カメラ中心点（主点）を基準とする前方交会法によって求められることから、ステレオペア写真それぞれを撮影した時のカメラ主点座標と撮影方向、カメラの焦点距離や、主点位置のずれ、各種ひずみ（放射性ひずみ、非対称性ひずみ等）といったカメラ諸元（標定要素）を把握する必要がある。なお、写真撮影時のカメラ主点座標と撮影方向は「外部標定要素」と呼ばれ、またカメラの焦点距離や、主点位置のずれ、各種ひずみ等は「内部標定要素」と呼ばれており、そして外部標定要素と内部標定要素の総称が「標定要素」である。

写真測量においては標定要素を把握する必要があると説明したが、この標定要素（特に外部標定要素）があらかじめ既知となっているとは限らない。そこで外部標定要素が未知の場合は、全球測位衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）やＩＭＵ（Ｉｎｅｒｔｉａ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの計測結果を用いたＰＯＳ（Ｐｏｓｉｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ） 解析を行って外部標定要素を求めることがある。あるいは、このような計測機器を用いることなく空中三角測量の技術によって外部標定要素を求めることもある。空中三角測量は、地上座標が既知である対空標識を写した複数枚の空中写真を用い、バンドル調整法といった調整計算を行うことで外部標定要素を求める手法である。

さらに近年では、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）という手法が用いられることもある。このＳｆＭは、対象物を撮影した複数枚の写真を用いていわば対象物の形状を復元する（つまり、３次元モデルを作成する）手法である。様々な方向から撮影された写真内に収められた対象物の特徴点（例えば、建物の角など）は、当然ながらそれぞれ写真ごとに特徴点の画像内位置は異なるものの、実際には同じ位置（座標）にあるという条件を利用し、すべての写真に対してバンドル調整法などの調整計算を行うことによって外部標定要素を求めるとともに特徴点の３次元座標を求める。すなわちＳｆＭは、ＧＮＳＳやＩＭＵといった高価な計測機器を使用することなく、しかも空中三角測量のように対空標識を設置することなく、写真測量によって３次元モデルを作成することができるわけである。

ところで、ＳｆＭを利用して３次元モデルを作成する場合、異なる写真に収められた特徴点をいかにして同定（マッチング）するかが、３次元モデルの精度（いわば再現性）に大きく影響する。換言すれば、写真に収められた特徴点の特徴度合によって、３次元モデルの完成度は大きく異なる。例えば異なる写真に似て非なる特徴点が収められているケースでは、誤った特徴点のマッチング処理が行われる結果、その３次元モデルの精度が劣ることとなり、あるいは対象物に明確な特徴点が求められないケースでは、正しい特徴点のマッチング処理が行われない結果、完成度の低い３次元モデルが作成されることとなる。

すなわち、明確な特徴点を持たない対象物の３次元モデルを作成する場合、従来のＳｆＭによる手法では高精度の要求を満たすことができない。しかしながら、高精度の３次元モデルを作成するため、特許文献２に示すレーザー計測器や、ＧＮＳＳ、ＩＭＵといった計測機器を使用するのでは、その作成にコストがかかるため手軽に対象物の３次元モデルを作成することはできない。

本願発明の課題は、従来の問題を解決することであり、すなわち、明確な特徴点を持たない対象物に対しても、高価な計測機器を用いることなく写真測量によって容易に３次元モデルを作成することができる３次元モデル作成装置と、これを用いた３次元モデル作成方法を提供することである。

本願発明は、表面に複数の文字が表示された対象物を撮影した文字表示画像を用い、文字を特徴点とする写真測量技術によって３次元モデルを作成する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

本願発明の３次元モデル作成装置は、対象物の画像に基づいて３次元モデルを作成する装置であり、画像記憶手段とモデル作成手段を備えたものである。このうち画像記憶手段は、文字表示画像（表面に複数の文字が表示された対象物を撮影した画像）を記憶する手段であり、モデル作成手段は、異なる方向から撮影した複数の文字表示画像を画像記憶手段から読み出すとともにこれらの文字表示画像を用いた空間演算処理を行うことによって対象物の３次元モデルを作成する手段である。なお、モデル作成手段が用いる複数の文字表示画像のうちのいずれかには、寸法が既知であるスケールが収められる。またモデル作成手段は、文字表示画像に収められた文字を特徴点として空間演算処理を行う。

本願発明の３次元モデル作成装置は、画像取得手段と映写手段をさらに備えたものとすることもできる。この画像取得手段は、文字表示画像を撮影する手段であり、映写手段は、対象物の表面に複数の文字を映写する手段である。この場合、モデル作成手段が用いる文字表示画像は、映写手段によって複数の文字が映写された対象物を画像取得手段で取得した画像とされる。

本願発明の３次元モデル作成装置は、印字シート（複数の文字が表示されたシート状のもの）が表面に密着した状態の対象物を撮影した文字表示画像を用いて、空間演算処理を行うものとすることもできる。

本願発明の３次元モデル作成方法は、対象物の画像に基づいて３次元モデルを作成する方法であり、撮影工程とモデル作成工程を備えている。このうち撮影工程では、表面に複数の文字が表示された対象物を、異なる方向から撮影することによって複数の文字表示画像を取得し、モデル作成工程では、撮影工程で取得された文字表示画像を用いた空間演算を行うことによって対象物の３次元モデルを作成する。なお画像取得工程では、取得する複数の文字表示画像のうちいずれかに、寸法が既知であるスケールが収められるように撮影する。またモデル作成工程では、文字表示画像に収められた文字を特徴点として空間演算を行う。

本願発明の３次元モデル作成方法は、対象物の表面に複数の文字を映写する映写工程をさらに備えた方法とすることもできる。この場合、撮影工程では、映写工程で複数の文字が映写された状態の対象物を撮影する。

本願発明の３次元モデル作成方法は、対象物の表面に印字シートを密着させる密着工程をさらに備えた方法とすることもできる。この場合、撮影工程では、密着工程で印字シートが密着された状態の対象物を撮影する。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法には、次のような効果がある。
（１）明確な特徴点を持たない対象物を含め様々な対象物に対して、写真測量によって容易に３次元モデルを作成することができる。
（２）ＧＮＳＳやＩＭＵ、レーザー計測器といった高価な計測機器を使用することなく、いわば手軽に対象物の３次元モデルを作成することができる。
（３）文字表示画像に収められた文字を特徴点として利用することから、従来に比して高い精度で３次元モデルを作成することができる。

本願発明の３次元モデル作成装置の主な構成を示すブロック図。 本願発明の３次元モデル作成装置の主な処理の流れを示すフロー図。 多数の文字が記載された英字新聞を示す写真図。 （ａ）は頭部を文字表示対象物とするための帽子型の印字シートを示す写真図、（ｂ）は帽子型の印字シートを被った頭部を示す写真図。 （ａ）はスケールを含む文字表示画像を示す写真図、（ｂ）はスケールの一例を示すモデル図。 不十分なラップで撮影しようとするときに警告を出力する仕様の手順を説明するフロー図。 水平撮影方向と方向較差の関係を模式的に示すモデル図。 本願発明の３次元モデル作成方法の主な工程を示すフロー図。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法の一例を、図に基づいて説明する。

１．全体概要
本願発明は、表面に複数の文字が付された対象物（以下、「文字表示対象物」という。）を、スマートフォンなどの画像取得手段で撮影した画像（以下、「文字表示画像」という。）に基づいて、その対象物の３次元モデル（以下、「対象物３Ｄモデル」という。）を作成することをひとつの特徴としている。なお文字表示画像は、３次元モデルを作成するため、隣接する画像どうしが一部重複（ラップ）するように複数方向から撮影されたもの、つまり複数の文字表示画像が用いられる。

２．３次元モデル作成装置
本願発明の３次元モデル作成装置について、図を参照しながら詳しく説明する。なお、本願発明の３次元モデル作成方法は、本願発明の３次元モデル作成装置を用いて対象物３Ｄモデルを作成する方法であり、したがってまずは本願発明の３次元モデル作成装置について説明し、その後に本願発明の３次元モデル作成方法について説明することとする。

図１は、本願発明の３次元モデル作成装置１００の主な構成を示すブロック図である。この図に示すように３次元モデル作成装置１００は、モデル作成手段１０１と画像記憶手段１０７を含んで構成され、さらに画像取得手段１０２や映写手段１０３、姿勢計測手段１０４、警告手段１０５、ディスプレイやプリンタといった出力手段１０６などを含んで構成することもできる。

３次元モデル作成装置１００を構成する画像取得手段１０２と警告手段１０５は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型コンピュータ、スマートフォンを含む携帯端末などによって構成することができる。コンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリを具備しており、さらにマウスやキーボード等の入力手段や液晶ディスプレイ（出力手段１０６）を含むものもある。画像取得手段１０２は、デジタルカメラやデジタルビデオカメラなどを利用することができ、特にスマートフォンやタブレット型コンピュータなどに搭載されたカメラ等を利用するとよい。また、姿勢計測手段１０４は、画像取得手段１０２の撮影姿勢を計測するセンサであり、角速度センサや地磁気センサなどを利用することができる。なお、スマートフォンやタブレット型コンピュータなどを利用すれば、３次元モデル作成装置１００を構成するモデル作成手段１０１と画像取得手段１０２、姿勢計測手段１０４、警告手段１０５、出力手段１０６、画像記憶手段１０７を１つの機器（スマートフォン等）に備えることができて好適となる。もちろん、スマートフォン等には画像取得手段１０２と姿勢計測手段１０４、警告手段１０５、出力手段１０６を備え、モデル作成手段１０１と画像記憶手段１０７はそれぞれ別のコンピュータ装置に備えるなど、種々の構成で設計することができる。

画像記憶手段１０７は、汎用的コンピュータ（例えば、パーソナルコンピュータ）の記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバとすることもできる。

以下、図２を参照しながら３次元モデル作成装置１００の主な処理について詳しく説明する。図２は、本願発明の３次元モデル作成装置１００の主な処理の流れを示すフロー図である。なおこれらのフロー図では、中央の列に実施する行為を示し、左列にはその行為に必要なものを、右列にはその行為から生ずるものを示している。

３次元モデル作成装置１００は、既述したとおり「文字表示対象物」を撮影した「文字表示画像」を用いて「対象物３Ｄモデル」を作成する。文字表示対象物は、対象物の表面に多数の文字が表示されたものが望ましく、例えば図３に示すような新聞紙面ＮＰに記載された程度の文字が表示されるとよい。もちろん表示される文字は、図３に示す英字新聞のようなアルファベットに限らず、漢字や仮名、数字などあらゆる種類の文字を選択することができる。

例えば、その表面に複数の文字が印字されていたり、刻まれていたり、ペイントされているような対象物は、そのまま文字表示対象物として利用できる。一方、その表面に文字が表示されていない対象物に対しては、複数の文字を映写するか（図２のＳｔｅｐ１１０）、印字シートを密着させる（図２のＳｔｅｐ１２０）とよい。複数の文字を映写するケースでは、映写機やプロジェクタなどを用いて対象物の表面に複数の文字を映写することで文字表示対象物とすることができる。

また印字シートを密着させるケースでは、対象物の表面に印字シートを密着させることで文字表示対象物とすることができる。ここで印字シート２００とは、表面に多数の文字（例えば、新聞紙面ＮＰや雑誌記事など）が印字されたシート状のものであり、タオルや紙に印字したものを印字シート２００として利用したり、テープや包帯に印字したものを印字シート２００として利用したりすることができる。そして対象物の表面に印字シート２００を密着させて文字表示対象物とするわけである。このとき、少なくとも対象物３Ｄモデルを作成したい領域を網羅するように、印字シート２００を密着させる。

図４（ａ）は、頭部（この場合の対象物）を文字表示対象物とするための印字シート２００を例示している。この図に示す印字シート２００は、頭部に密着させるために帽子を利用している。なお帽子を利用する場合、密着性を高めるためいわゆるニット帽やメッシュ帽のように弾力性かつ伸縮性を有するものを利用するとよい。図４（ｂ）では、実際に図４（ａ）に示す印字シート２００を被っており、印字シート２００が頭部に密着され、すなわち頭部が文字表示対象物とされていることが分かる。

対象物３Ｄモデルを作成するために用いられる複数の文字表示画像の中には、図５（ｂ）に示すようにスケール３００が収められた（撮影された）文字表示画像を含める必要がある。このスケール３００は、あらかじめ主要な寸法が既知とされているものであり、たとえば図５（ｂ）に示すように四隅にそれぞれ異なるマークを配置したカード状のものを利用することができる。この図に示すスケール３００の場合、長辺の長さと短辺の長さ（あるいはいずれか一方）や、対角線の長さなどを既知とするとよい。

複数の文字を映写したり印字シートを密着させたりするなど文字表示対象物が用意でき、適当な位置にスケール３００が配置されると、画像取得手段１０２で文字表示対象物を撮影して文字表示画像を取得する（図２のＳｔｅｐ２００）。このとき、少なくとも対象物３Ｄモデルを作成したい領域を網羅するように、しかも隣接する文字表示画像どうしが一部重複（ラップ）するように、撮影角度を変えながら撮影していく。そして、必要な領域を網羅するように撮影できると（図２のＳｔｅｐ３００のＹｅｓ）次のステップに進み、そうでない場合は撮影角度を変えて再度撮影する（図２のＳｔｅｐ３００のＮｏ）。ここで取得された文字表示画像は、画像記憶手段１０７に記憶される。

ところで、後述するようにモデル作成手段１０１が対象物３Ｄモデルを作成するためには、特徴点（つまり、複数の文字）を手掛かりとしながら文字表示画像を接続していく。そのためには、隣接する文字表示画像どうしがある程度重複（ラップ）している必要があるが、適切にラップしながら撮影することは撮影者にとってそれほど容易なことではない。そこで、姿勢計測手段１０４で画像取得手段１０２の姿勢を計測しながら撮影し、不十分なラップで撮影しようとするときに警告を出力する仕様（以下、便宜上「撮影ガイド仕様」という。）にするとよい。

図６は、撮影ガイド仕様の手順を説明するフロー図である。この図に示すように、文字表示対象物とスケール３００の用意ができると、撮影者が撮影のために画像取得手段１０２を配置した（構えた）ときの姿勢を姿勢計測手段１０４が計測し、「水平撮影方向」を求める（図６のＳｔｅｐ２０１）。ここで水平撮影方向とは、画像取得手段１０２の撮影方向（光軸方向）を水平面に投影した方向である。そして、前回撮影時の水平撮影方向と今回撮影時の水平撮影方向との差、すなわち連続する２回の撮影時の水平撮影方向の挟角である「方向較差」を求める。図７は、水平撮影方向と方向較差の関係を模式的に示すモデル図である。この方向較差があらかじめ定めた「角度閾値」を上回るとき（図６のＳｔｅｐ２０３のＹｅｓ）、隣接する文字表示画像と適切にラップしていないとして警告手段１０５が文字や音等によって警告を通知する。つまり、撮影者に適切な水平撮影方向に修正するよう促すわけである。なお、角度閾値の大きさは、例えば１５°や２２．５°など状況に応じて適宜設定することができる。

文字表示対象物の必要領域の文字表示画像が取得できると、モデル作成手段１０１が対象物３Ｄモデルを作成する（図２のＳｔｅｐ４００）。具体的には、モデル作成手段１０１が画像記憶手段１０７から必要な文字表示画像を読み出し、写真測量技術を利用したバンドル調整やＳｆＭといった空間演算処理を実行することによって対象物３Ｄモデルを作成する。このとき、適当な方向較差を保ちつつ撮影したことから隣接する文字表示画像どうしは適切にラップしており、そしてそのラップ部分に表示された「文字（あるいは文字群）」が特徴点として好適に利用されながら文字表示画像を接続していく。その結果、対象物表面の点群座標が得られ、文字表示画像の色情報と合わせて、モデル作成手段１０１が対象物３Ｄモデルを作成する。

対象者の対象物３Ｄモデルが作成されると、ディスプレイやプリンタといった出力手段１０６によって対象物３Ｄモデルが出力される。

３．３次元モデル作成方法
次に、本願発明の３次元モデル作成方法ついて図を参照しながら説明する。なお、本願発明の３次元モデル作成方法は、ここまで説明した３次元モデル作成装置１００を使用して対象物３Ｄモデルを作成する方法であり、したがって３次元モデル作成装置１００で説明した内容と重複する説明は避け、本願発明の３次元モデル作成方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「２．３次元モデル作成装置」で説明したものと同様である。

図８は、本願発明の３次元モデル作成方法の主な工程を示すフロー図である。この図に示すように、まず複数の文字を映写するか（図８のＳｔｅｐ１１）、印字シートを密着させる（図８のＳｔｅｐ１２）ことによって、文字表示対象物を用意する。もちろん、その表面に複数の文字が印字されていたり、刻まれていたり、ペイントされているような対象物は、Ｓｔｅｐ１１やＳｔｅｐ１２は省略することができる。

文字表示対象物が用意でき、適当な位置にスケール３００を配置すると、画像取得手段１０２で文字表示対象物を撮影して文字表示画像を取得していく（図８のＳｔｅｐ２０）。そして、モデル作成手段１０１を用い、画像記憶手段１０７から読み出した必要な文字表示画像に基づいて対象物３Ｄモデルを作成する（図８のＳｔｅｐ３０）。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法は、橋梁やオフィスビルといった大型構造物や、自動車や航空機、あるいは人体や動物など、様々な物を対象として利用することができる。

１００ 本願発明の３次元モデル作成装置
１０１ （３次元モデル作成装置の）モデル作成手段
１０２ （３次元モデル作成装置の）画像取得手段
１０３ （３次元モデル作成装置の）映写手段
１０４ （３次元モデル作成装置の）姿勢計測手段
１０５ （３次元モデル作成装置の）警告手段
１０６ （３次元モデル作成装置の）出力手段
１０７ （３次元モデル作成装置の）画像記憶手段
ＮＰ 新聞紙面

Claims (6)

1. 対象物の画像に基づいて、該対象物の３次元モデルを作成する装置であって、
   表面に複数の文字が表示された前記対象物を撮影した文字表示画像を記憶する画像記憶手段と、
   異なる方向から撮影された複数の前記文字表示画像を前記画像記憶手段から読み出すとともに、該文字表示画像を用いた空間演算処理を行うことによって前記対象物の３次元モデルを作成するモデル作成手段と、を備え、
   前記モデル作成手段が用いる複数の前記文字表示画像のうちのいずれかには、寸法が既知であるスケールが収められ、
   前記モデル作成手段は、前記文字表示画像に収められた文字を特徴点として空間演算処理を行う、
   ことを特徴とする３次元モデル作成装置。
2. 前記文字表示画像を撮影する画像取得手段と、
   前記対象物の表面に複数の文字を映写する映写手段と、をさらに備え、
   前記モデル作成手段が用いる前記文字表示画像は、前記映写手段によって複数の文字が映写された前記対象物を、前記画像取得手段で取得した画像である、
   ことを特徴とする請求項１記載の３次元モデル作成装置。
3. 前記モデル作成手段が用いる前記文字表示画像は、印字シートが表面に密着した状態の前記対象物を撮影した画像であり、
   前記印字シートには、複数の文字が表示された、
   ことを特徴とする請求項１記載の３次元モデル作成装置。
4. 対象物の画像に基づいて、該対象物の３次元モデルを作成する方法であって、
   表面に複数の文字が表示された前記対象物を、異なる方向から撮影することによって複数の文字表示画像を取得する撮影工程と、
   前記撮影工程で取得された前記文字表示画像を用いた空間演算を行うことによって、前記対象物の３次元モデルを作成するモデル作成工程と、を備え、
   前記画像取得工程では、取得する複数の前記文字表示画像のうちいずれかに、寸法が既知であるスケールが収められるように撮影し、
   前記モデル作成工程では、前記文字表示画像に収められた文字を特徴点として空間演算を行う、
   ことを特徴とする３次元モデル作成方法。
5. 前記対象物の表面に複数の文字を映写する映写工程を、さらに備え、
   前記撮影工程では、前記映写工程で複数の文字が映写された状態の前記対象物を撮影する、
   ことを特徴とする請求項４記載の３次元モデル作成方法。
6. 前記対象物の表面に、複数の文字が表示された印字シートを密着させる密着工程を、さらに備え、
   前記撮影工程では、前記密着工程で前記印字シートが密着された状態の前記対象物を撮影する、
   ことを特徴とする請求項４記載の３次元モデル作成方法。

Images