JP2010218173A - 三次元計測用画像撮影装置 - Google Patents

Abstract

【課題】単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供する。
【解決手段】本発明による三次元計測用画像撮影装置１は、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置１において、識別コードを有するマークを測定対象物２と共に撮影し、撮影画像からマークを抽出し、マークの識別コードを識別し、撮影画像について測定対象物２の領域をマークで囲まれた撮影領域に区分し、各撮影領域について異なる撮影画像に含まれる数を計数し、撮影回数に応じて撮影領域をグループ分けし、測定対象物２の撮影範囲画像の座標空間にマークの位置を入力し、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークの符号が合致するように結線して撮影範囲画像に撮影領域を当てはめ、撮影範囲画像において当てはめられた撮影領域をグループ分けして表示する。
【選択図】図１

Description

本発明は三次元計測用画像撮影装置に関する。詳しくは、測定対象物各部の撮影回数を提示する三次元計測用画像撮影装置に関する。

測定対象物の全体像を把握し、三次元モデル画像に再現するには、複数の撮影位置から撮影した撮影画像を連結していく必要がある。このように撮影者が移動しながら撮影した複数の撮影画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各撮影画像上で相互に対応する特徴点（対象物上の同一点を表す）を求め、これを追跡する必要がある。この場合、三次元計測に不適切な特徴点が撮影画像に混入し得るので、撮影画像における特徴点の適否を判定しながら、その撮影装置の撮影位置、姿勢又は対象物の位置座標を精度良く計測できる画像処理装置が提案されている。（特許文献１参照）

特開２００７−１８３２５６号公報（図１〜図１１、段落００２１〜００６５）

単カメラを用いて移動しながら撮影を行い、測定対象物の三次元計測を行う場合に、多数の方向からかつ画像を重複させながら撮影を行い、画像を連続的に接続して行く必要がある。しかしながら、測定対象物の全周撮影を行う場合や、測定対象物が大きい場合・広い場合、形状が複雑な場合等には、撮影枚数が多数になり、三次元計測に必要な画像の重複状態が不明になったり、撮りこぼしが生じたりして、結果的に撮影画像に不足が生じ、解析ができない、再度現場に行き撮り直しする必要が生じる等、効率が悪くなるという問題があった。他方、撮影不足を補うために予め撮影枚数を多目にすると、解析時の画像処理や作業の手間が多くなり、やはり結果的に効率が悪くなるという問題があった。

図２５に測定対象物が大きい場合・広い場合の例を示す。これは幅数１０ｍの土量の例である。土量の随所に識別コードを有するマークが配置されているが、測定対象物が大きいので、広い範囲をカバーしようとして遠くから撮影すると識別コードを判別できないという問題が生じており、これは結果的に撮影画像が不足する場合に該当する。

本発明は、上記問題点に鑑みてなされたものであり、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供することを目的とする。すなわち、マークの識別コードを特に意識しなくても、撮影時にマークの撮影回数が分れば撮りこぼしを未然に防止できる。１回撮影すれば外観を捉えることができるが、三次元計測には２つの撮影画像に重複して撮影された特徴点を使用するため２回以上の撮影が必要である。また、撮影画像をパノラマ画像のように接続するためには、接続に使用される特徴点又はマークは３回以上撮影される必要がある。また、特徴点の撮影回数が多い程、当該特徴点の三次元計測の精度が向上する。

上記目的を達成するため、本発明の第１の態様の三次元計測用画像撮影装置１は、例えば図１に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置１において、自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物２を撮影する撮影部３と、撮影部３で撮影された撮影画像からマークを抽出するマーク抽出部７１と、マーク抽出部７１で抽出されたマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付けるコード識別部７２と、撮影画像の画面の各位置で抽出されたマークについて、識別された識別コードによりマーク符号を特定し、撮影画像における測定対象物２の領域をマーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分する撮影領域区分部８１と、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数部８３と、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする撮影領域グループ化部８４と、測定対象物２の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に測定対象物２に貼付されたマークの位置をマーク符号と対応付けて入力するマークデータ入力部６１と、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめる撮影範囲画像形成部８６と、撮影範囲画像において、当てはめられた撮影領域を２以上のグループにグループ分けして表示する表示部４とを備える。

ここにおいて、自他識別可能な識別コードを有するマークには、数字列、文字列、記号のように識別可能な符号を用いたコード、バーコード、２次元バーコード、カラーコードのようにパターン配置に識別性を持たせたコードが含まれる。このうち、実施例では主にカラーコードを使用する例を説明する。また、マーク符号は、例えば「Ｍ２０」のように、数字、文字、記号及びその組み合わせで表示される。また、所定の条件はマークの配置に関するものでも良い。例えば、測定対象物２の全容を把握できるように測定対象物２の表面にほぼ均等な間隔で配置することが好ましい。また、形状が複雑な部分や変化の大きい部分には詳細を把握しやすいように高密度に配置することが好ましい。また、所定の条件は、マークの位置座標は予め指定されているという条件でも良く、自他識別可能な識別コードを有するマークの数が予め定められているという条件でも良い。また、撮影領域の撮影回数は、例えば撮影画面内に撮影領域を囲む全てのマークが存在する場合に撮影領域があるとして計数しても良い。また、マークデータ入力部６１は予め指定された位置を入力する場合は、キーボード等の入力機器を使用するが、計測された三次元位置を入力する場合は、記憶部５に記憶された位置座標を読み出し自動的に入力する。このため、マークデータ入力部６は一部パーソナルコンピュータ（ＰＣ）内に設けられる。また、撮影領域は、ここではマーク符号が特定された３以上のマークに囲まれた領域である。必ずしも撮影画像の範囲（実際に撮影された範囲）に一致しなくても良く、例えば、この領域に焦点を当てて撮影したいというように、撮影の目標と成り得る領域であっても良い。撮影領域を撮影画像内のマークに囲まれた最大の多角形領域としても良いが、この場合は他の撮影画像と一部重複することが見出されたら、重複部分と非重複部分で撮影回数に差異が生じるので、重複部分と非重複部分に分割するのが良い。また、３つのマークに囲まれた小領域としても良いが、撮影領域数が多くなり、コンピュータの処理量が多くなるので、撮影回数が等しい複数の小領域を統合するのが良い。撮影画像の重複を見るためであれば、撮影画像全体の１／２〜１／１０程度が好適、１／３〜１／５程度がより好適である。また、撮影画像における全ての撮影領域でカバーされる範囲が実際に撮影された範囲より狭くなり、これらの撮影領域外の部分が撮影されなかったとみなしても、確実に撮影された領域で撮影回数を計数していけば、重複を確実にする意味で安全サイドなので、必要な重複撮影を実行する上で問題はない。また、撮影範囲画像に撮影領域を当てはめるとは、撮影領域を囲むマークを撮影範囲画像の座標位置に配置して結線し撮影範囲画像における測定対象物２の表面を撮影領域毎に区分することをいう。また、撮影範囲画像において、第８の態様のように撮影画像自体を貼り付けても良いが、本態様では区分し、グループ分けするだけで良い。また、表示部４は画像表示することに加えて、グループ表示の位置や色を決める等の画像データ編集機能を有するので、この機能を有する部分がＰＣ内に設けられても良い。

本態様のように構成すると、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。すなわち、各撮影領域の撮影回数を明示するので過不足なく効率的に撮影ができる。なお、自他識別可能な識別コードを有するマークを用いるので、撮影画像の接続、マーク位置の三次元計測、三次元モデル画像の形成等の画像処理の自動化に有利である。

本発明の第２の態様の三次元計測用画像撮影装置は、第１の態様の三次元計測用画像撮影装置において、２以上のグループを重複撮影領域グループと未重複撮影領域グループとする。
このように構成すると、三次元計測が可能である重複撮影領域とそれ以外の未重複撮影領域を容易に見分けられる。

本発明の第３の態様の三次元計測用画像撮影装置は、第１の態様の三次元計測用画像撮影装置において、所定の条件は、自他識別可能な識別コードを有するマークの数が予め定められているという条件であり、各マークについて、異なる撮影画像に含まれる撮影回数を計数するマーク撮影回数計数部８２を備え、撮影領域グループ化部８５は、１以上の撮影回数０のマークで囲まれた撮影領域を未撮影領域グループにグループ分けする。
ここにおいて、マークの位置座標が予め指定されている場合には全ての撮影領域の位置も定まるので未撮影領域の表示が可能である。位置座標が未知の場合には未だ撮影されていない未撮影領域の位置が定まらないので、このような場合には例えば、未撮影領域全体を黒色表示する等により、未撮影領域をグループ分け表示する。このように構成すると、既撮影領域と未撮影領域を容易に見分けられる。

本発明の第４の態様の三次元計測用画像撮影装置は、第３の態様の三次元計測用画像撮影装置において、２以上のグループを既撮影領域グループと未撮影領域グループとする、又は３枚以上撮影領域グループ、２枚撮影領域グループ、単一撮影領域グループと未撮影領域グループとする。
このように構成すると、各撮影領域の撮影回数を容易に見分けられ、過不足なく効率的な撮影を行なうのに有益である。

本発明の第５の態様の三次元計測用画像撮影装置１は、第１ないし第４のいずれかの態様の三次元計測用画像撮影装置において、例えば図１１に示すように、表示部４は、撮影範囲画像における各撮影領域をグループに対応して色分けして表示する。
ここにおいて、色分けには、明度、彩度、色相のいずれを用いても良く、点滅のように明度を変化させるものでも良い。本態様のように構成すると、グループを一見して識別できる。

本発明の第６の態様の三次元計測用画像撮影装置１は、第１ないし第５のいずれかの態様の三次元計測用画像撮影装置において、所定の条件は、前記マークの位置座標は予め指定されているという条件であり、撮影範囲画像に入力されるマークの位置は、予め指定された位置座標である。
このように構成すると、三次元計測をしなくても撮影範囲画像を作成でき、撮影範囲画像から各撮影領域の撮影回数をビジュアルに把握できる。

本発明の第７の態様の三次元計測用画像撮影装置１Ａは、第１ないし第５のいずれかの態様の三次元計測用画像撮影装置において、例えば図１５に示すように、マーク抽出部７１で抽出されたマークの撮影画像における画面位置から、マークの位置の三次元座標を求める三次元位置測定部９を備え、撮影範囲画像に入力されるマークの位置は、三次元位置測定部９で求められた三次元座標である。

ここにおいて、撮影位置の二次元座標又は三次元座標を求めるには、例えば、ＴＩＮ（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌｅｒ Ｎｅｔｗｏｒｋ：三角形内挿処理）法または相互標定が用いられる。また、多くの撮影画像、多くの特徴点を用いる程、位置座標の精度を高くできる。
本態様のように構成すると、撮影対象物の三次元座標を求めて入力するので、三次元モデル画像を正確に再現できる。また、撮影範囲画像から各撮影領域の撮影回数をビジュアルに把握できる。

本発明の第８の態様の三次元計測用画像撮影装置は、第１ないし第７のいずれかの態様の三次元計測用画像撮影装置において、撮影画像から各撮影領域の画像を抽出して記憶する撮影領域部分記憶部５４を備え、撮影範囲画像形成部８６は、撮影領域部分記憶部５４から各撮影領域の画像を抽出し、撮影範囲画像に入力されたマーク位置に、撮影領域を囲む３以上のマークの位置が合致するように各撮影領域の画像を伸縮させて貼り付ける。
ここにおいて、撮影領域部分記憶部５４に記憶する撮影領域の画像は、その撮影領域が撮影されたいずれかの撮影画像から取得できるが、できるだけ当該撮影領域に垂直方向から撮影した撮影領域の画像を取得するのが、撮影範囲画像に貼り付ける際の変形を少なくできるので好適である。本態様のように構成すると、撮影範囲画像に撮影画像を貼り付けるので、実物ライクの三次元モデル画像を形成でき、撮影の過不足をビジュアルに判定できる。

本発明の第９の態様の三次元計測用画像撮影装置は、第１ないし第８のいずれかの態様の三次元計測用画像撮影装置において、撮影画像から各撮影領域の画像を抽出して記憶する撮影領域部分記憶部５４と、撮影画像の境界付近にある複数の特徴点を抽出し、複数の特徴点を用いて特徴点を含む各撮影領域に境界線を引いて撮影領域部分記憶部５４に記憶する境界線作成部を備え、撮影範囲画像形成部８６は、撮影領域部分記憶部５４に記憶された各撮影領域に引かれた境界線を用いて、各撮影画像の範囲を示すためのカメラ撮影範囲を撮影範囲画像に形成し、表示部４は、各撮影画像におけるカメラ撮影範囲を撮影範囲画像に表示する。
ここにおいて、カメラ撮影範囲は、いずれかの撮影画像（第１の撮影画像とする）の範囲を示すために形成される。特徴点を含む撮影領域は第１の撮影画像と重複撮影領域を有する第２の撮影画像から抽出される。第２の撮影画像として当該撮影領域をできるだけ垂直方向から撮影した撮影画像を選択することが好ましい。本態様のように構成すると、実際のカメラでの撮影範囲を把握できるので、撮影領域とカメラの撮影範囲の関係を把握し易い。

本発明の第１０の態様の三次元計測用画像撮影装置１は、第１ないし第９のいずれかの態様の三次元計測用画像撮影装置において、撮影領域区分部８１は、１つの撮影画像の撮影領域の一部に他の撮影画像の撮影領域が重複する場合には、１つの撮影画像の撮影領域を重複する部分と重複しない部分に区分して新たな撮影領域とし、新たな撮影領域番号を付与する。
ここにおいて、例えば、撮影領域を撮影画像内のマークに囲まれた最大の多角形領域としても良い。この場合は他の撮影画像と一部重複することが見出されたら、重複部分と非重複部分で撮影回数に差異が生じるので、重複部分と非重複部分に分割して適切な大きさに縮小していくことが好ましい。本態様のように構成すると、最初大きく形成した撮影領域を適切な大きさに縮小できるので、撮影範囲画像に撮影領域を形成した撮影範囲画像が見易くなる。

本発明の第１１の態様の三次元計測用画像撮影装置１は、第１ないし第９のいずれかの態様の三次元計測用画像撮影装置において、撮影領域区分部８１は、同じ撮影回数の複数の撮影領域が連続して存在する場合には、複数の撮影領域を１つの撮影領域に統合して新たな撮影領域とし、新たな撮影領域番号を付与する。
ここにおいて、例えば撮影領域を３つのマークに囲まれた小領域としても良い。撮影領域数が多くなり、コンピュータの処理量が多くなるので、撮影回数が等しい複数の小領域を統合して適切な大きさに拡大していくことが好ましい。本態様のように構成すると、最初小さく形成した撮影領域を適切な大きさに拡大できるので、撮影範囲画像に撮影領域を形成した撮影範囲画像が見易くなる。

本発明の第１２の態様の三次元計測用画像撮影装置１は、例えば図１に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物２を撮影する撮影部３と、撮影部３で撮影された撮影画像からマークを抽出するマーク抽出部７１と、マーク抽出部７１で抽出されたマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付けるコード識別部７２と、各マークについて、異なる撮影画像に含まれる撮影回数を計数するマーク撮影回数計数部８２と、マークの撮影回数に応じて、マークを２以上のグループにグループ分けするマークグループ化部８４と、測定対象物２の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に測定対象物２に貼付されたマークの位置をマーク符号と対応付けて入力するマークデータ入力部６１と、撮影範囲画像に入力されたマークの位置にマーク符号を付して、マークを２以上のグループにグループ分けして表示する表示部４とを備える。

ここにおいて、マークの表示は、マーク位置とマーク符号を示すものであり、どちらをグループ分けして表示しても良い。また、マーク位置とマーク符号が一体化されている場合には、一体化されたものをグループ分けして表示する。
本態様のように構成すると、マークの位置及び撮影回数を表示するので、今後、どのマークを含むように撮影すべきか、計画し易い。

本発明の第１３の態様の三次元計測用画像撮影装置は、第１２の態様の三次元計測用画像撮影装置において、２以上のマークグループを３枚以上撮影マークグループ、２枚撮影マークグループ、１枚以下撮影マークグループとし、表示部４は、撮影範囲画像におけるマークの位置にマーク符号を付して、マークをグループに対応して異なる態様で表示する。
本態様のように構成すると、マークの撮影回数が一見して分かる。

本発明の第１４の態様の三次元計測用画像撮影装置は、第１２の態様の三次元計測用画像撮影装置において、所定の条件は、自他識別可能な識別コードを有するマークの数が予め定められているという条件であり、マークグループ化部８４は、撮影回数１以上のマークを既撮影マークグループに、撮影回数０のマークを未撮影マークグループにグループ分けし、表示部４は、撮影範囲画像におけるマークの位置にマーク符号を付して、マークをグループに対応して異なる態様で表示する。
ここにおいて、マークの数が予め定められている場合にはマークが未撮影の場合には、未撮影マークグループに属することがわかる。また、マークの位置座標が予め指定されている場合には全てのマークの位置も定まるので未撮影マークの位置表示が可能である。位置座標が未知の場合には未だ撮影されていない未撮影マークの位置が定まらないので、このような場合には例えば、未撮影マークを列挙表示する等により、未撮影マークをグループ分け表示する。本態様のように構成すると、未撮影マークの位置がわかり易い。

本発明の第１５の態様の三次元計測用画像撮影装置は、第１ないし第１４のいずれかの態様の三次元計測用画像撮影装置において、自他識別可能なコードは、数字列、文字列、記号、バーコード、２次元バーコード、カラーコードのいずれか一つである。
本態様のように構成すると、コードの識別を容易にできる。

本発明の第１６の態様の三次元計測用画像撮影装置は、第１ないし第１５のいずれかの態様の三次元計測用画像撮影装置において、例えば図１９に示すように、撮影部３は、移動中の撮影者が現在位置で測定対象物２を撮影することによりライブ画像を取得し、表示部４は、既撮影画像とライブ画像とを同じ画面に表示する。
ここにおいて、ライブ画像とは、移動中の撮影者が現在位置でビデオカメラやデジタルカメラ等で測定対象物２を撮影した画像をいう。通常は、ビデオカメラやデジタルカメラを用いて撮影者が移動しながらファインダーやディスプレイ等に測定対象物をライブ画像として表示する。本態様のように構成すると、既撮影画像とライブ画像とを比較することにより、次に撮影する位置に到着したかを判断し易い。また、撮影後のマーク撮影回数を示すことにより、次に撮影する位置をより一層判断し易くなる。

本発明の第１７の態様の三次元計測用画像撮影装置は、第１２の態様の三次元計測用画像撮影装置において、例えば図２２に示すように、撮影部３は、移動中の撮影者が現在位置で測定対象物２を撮影することによりライブ画像を取得し、マーク撮影回数計数部８２は、撮影回数として現在位置で撮影した場合を含めた撮影回数を計数し、マークグループ化部８４は、マークをマークの撮影回数毎にグループ分けし、表示部４は、撮影範囲画像とライブ画像とを同じ画面に表示し、マークをマークの撮影回数毎にグループ分けして表示する。
このように構成すると、現在位置で撮影すべきか否かを容易に判断できる。

本発明の第１８の態様の三次元計測用画像撮影装置は、例えば図２４に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置１において、自他識別可能な識別コードを有するマーク、及び当該マーク自体では識別性がない非コードマークが所定の条件で貼付された測定対象物を撮影する撮影部３と、撮影部３で撮影された撮影画像からマークを抽出するマーク抽出部７１と、マーク抽出部７１で抽出されたマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付けるコード識別部７２と、マーク抽出部７１で抽出された非コードマークについて他の自他識別可能なコードを有するマークとの配置関係から非コードマークを識別し、非コードマークにマーク符号を付与する非コードマーク識別部と、撮影画像の画面の各位置で抽出されたマークについて、識別された識別コードにより又は他の自他識別可能なコードを有するマークとの配置関係によりマーク符号を特定し、撮影画像における測定対象物２の領域をマーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分する撮影領域区分部８１と、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数部８３と、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする撮影領域グループ化部８５と、測定対象物２の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に測定対象物２に貼付されたマークの位置をマーク符号と対応付けて入力するマークデータ入力部６１と、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめる撮影範囲画像形成部８６と、撮影範囲画像において、当てはめられた撮影領域を２以上のグループにグループ分けして表示する表示部４とを備える。

ここにおいて、非コードマークとして、例えばレトロターゲットが挙げられる。また、配置関係は例えば、特定のコードを有するマークからの方向と距離、特定のコードを有する３つのマークが形成する三角形への投影点（垂線の交点）との距離等により特定可能である。又は、この配置関係を三次元空間上に投影し、配置関係の合致性から非コードマークを識別してもよい。このような配置関係を有する非コードマークは唯一となるので識別性を生じる。本態様のように構成すると、非コードマークを大量に、かつ有効に利用して、詳細な三次元モデル画像の再現、三次元計測ができる。

本発明の第１９の態様の三次元計測用画像撮影方法は、例えば図１４に示すように、測定対象物２を単カメラにより重複させながら順次撮影する三次元計測用画像撮影方法において、自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物２を撮影する撮影工程（Ｓ３２０）と、撮影工程（Ｓ３２０）で撮影された撮影画像からマークを抽出するマーク抽出工程と、マーク抽出工程で抽出されたマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付けるコード識別工程（Ｓ３３０）と、撮影画像の画面の各位置で抽出されたマークについて、識別された識別コードによりマーク符号を特定し、撮影画像における測定対象物２の領域をマーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分して撮影領域区分工程と、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数工程と、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする撮影領域グループ化工程（Ｓ３４０）と、測定対象物２の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に測定対象物２に貼付されたマークの位置をマーク符号と対応付けて入力するマークデータ入力工程と、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめる撮影範囲画像形成工程（Ｓ３４５）と、撮影範囲画像において、当てはめられた撮影領域を２以上のグループにグループ分けして表示する表示工程（Ｓ３５０）とを備える。
請求項１の三次元計測用画像撮影装置に対応する方法の発明である。

本発明によれば、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。

実施例１に係る三次元計測用画像撮影装置の構成例を示すブロック図である。 二次元撮影範囲画像の座標空間に入力されたマークの位置の例を示す図（その１）である。 撮影対象物である土器にマークが貼付された撮影画像の例を示す図である。 三次元撮影範囲画像の座標空間に入力されたマークの位置の例を示す図である。 カラーコードターゲットの例を示す図である。 レトロターゲットを用いた重心位置検出の説明図である。 二次元撮影範囲画像における撮影領域の形成例を示す図である。 三次元撮影範囲画像における撮影領域の形成例を示す図である。 二次元撮影範囲画像におけるマークのグループ分け表示例を示す図である。 三次元撮影範囲画像におけるマークのグループ分け表示例を示す図である。 三次元撮影範囲画像における撮影領域のグループ分け表示例を示す図である。 二次元撮影範囲画像に撮影画像を貼付表示した例を示す図である。 三次元撮影範囲画像に撮影画像を貼付表示した例を示す図である。 画像撮影の処理フロー例を示す図である。 実施例４に係る三次元計測用画像撮影装置の構成例を示すブロック図である。 対応点探索を説明するための図である。 相互標定を説明するための図である。 ステレオ法を説明するため図である。 既撮影画像とライブ画像を同一画面に表示する例を示す図（その１）である。 既撮影画像とライブ画像を同一画面に表示する例を示す図（その２）である。 既撮影画像を表示する例を示す図（その１）である。 既撮影画像とライブ画像を同一画面に表示する例を示す図（その３）である。 既撮影画像とライブ画像を同一画面に表示する例を示す図（その４）である。 カラーコードターゲットとレトロターゲットとを共に識別性マークとして用いる例を示す図である。 測定対象物が大きい場合・広い場合の例を示す図である。

以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し，重複した説明は省略する。

実施例１では、マーク及び撮影領域をグループ分けして表示する例で、撮影範囲画像に入力されるマークの位置は予め指定された位置である例を説明する。

［三次元計測用画像撮影装置の構成］
図１は本発明の実施例１に係る三次元計測用画像撮影装置１の構成例を示すブロック図である。三次元計測用画像撮影装置１は、測定対象物２を撮影する撮影部３、撮影画像及び画像処理した画像、マークや撮影領域の位置や撮影回数等を表示する表示部４、撮影画像及び画像処理した画像、マークや撮影領域の位置や撮影回数等を記憶する記憶部５、マークの位置データ等を入力する入力部６、撮影画像から特徴点及びマークを抽出する特徴抽出部７、撮影画像を撮影領域に区分する、マークや撮影領域の撮影回数を計数する、マークや撮影領域をグループ分けする、撮影範囲画像を形成する等の画像処理を行う画像処理部８、三次元計測用画像撮影装置１及びそれを構成する各部を制御する制御部１０を備える。記憶部５は、撮影画像記憶部５１、マーク撮影回数記憶部５２、領域撮影回数記憶部５３、撮影領域部分記憶部５４を有する。入力部６はマークデータ入力部６１を有する。特徴抽出部７は、マーク抽出部７１、コード識別部７２を有する。画像処理部８は、撮影領域区分部８１、マーク撮影回数計数部８２、領域撮影回数計数部８３、マークグループ化部８４、撮影領域グループ化部８５、撮影範囲画像形成部８６を有する。

本実施例に係る三次元計測用画像撮影装置１は、測定対象物２の全周撮影を行う場合や、測定対象物２が大きい場合・広い場合、形状が複雑な場合等の撮影に適している。撮影者は、撮影部３としての単カメラを用いて、測定対象物２の周りを移動しながら、重複撮影領域を設けて順次撮影する。三次元計測するには、重複撮影領域を共有する２つの撮影画像をステレオ画像として、その重複撮影領域から特徴点を抽出し、これらの特徴点の三次元座標を求めるため、重複して撮影することが必要である。測定対象物２には、予め定められた箇所（座標が予め指定されている）に自他識別可能な識別コードを有するマークが貼付されており、特徴点として用いられる。マークは識別性を有するので、ステレオ画像において対応点を探索する手間を要せず、三次元計測が効率的になる。さらに、マークを目印にして撮影範囲を定められるので、撮影の効率が向上する。

撮影部３は、単カメラ、例えばビデオカメラやデジタルカメラで構成される。移動中の撮影者が現在位置でビデオカメラやデジタルカメラで測定対象物２を撮影することによりライブ画像を取得し、ファインダーやディスプレイ等に表示する。また、シャッター操作などにより静止画像である撮影画像を撮影して取得する。ビデオカメラではシャッター操作により通常は撮影画像を外部のメモリに記憶するが、内部メモリがあればそこに記憶される。デジタルカメラではシャッター操作により撮影画像を内部メモリに記憶する。撮影の際に、撮影領域を得るために、少なくとも３個以上のマークを含むように測定対象物２を撮影する。ここで、撮影領域とは、測定対象物の領域を３以上のマークで囲まれた領域（当該マークを含む）に区分したものである。

表示部４は、例えば、液晶ディスプレイ等のディスプレイを有する。少なくとも、測定対象物２の撮影範囲画像を表示し、その中にマークや撮影領域の位置や撮影回数等を表示する。その際に、測定対象物２の撮影領域を２以上のグループにグループ分けして表示する。その他、撮影画像、画像処理した画像、オルソ画像、パノラマ画像等を表示しても良い。また、音声表示する場合にはスピーカを有する。また、表示部４は画像表示することに加えて、グループ表示の位置や色を決める等の画像データ編集機能を有するので、この機能を有する部分がＰＣ内に設けられても良い。

記憶部５は、例えばハードディスクで構成されデータベースとして使用される。撮影画像及び画像処理した画像を記憶する撮影画像記憶部５１、各マークについて、撮影回数をマーク符号と対応付けて記憶するマーク撮影回数記憶部５２、各撮影領域について、撮影回数を当該撮影領域を囲むマークのマーク符号と対応付けて記憶する領域撮影回数記憶部５３、撮影画像から各撮影領域の画像を抽出して記憶する撮影領域部分記憶部５４を有する。記憶部５としてカメラの内部メモリを用いても良いが、ＰＣ１５のハードディスクを用いる方が高速、多様な処理に適しているので好ましい。本実施例では、外部メモリを用いるカメラでは撮影画像を記憶部５に直接記憶し、内部メモリを用いるカメラでは撮影画像を記憶部５に転送するものとする。

入力部６は、例えばマウスやキーボードを有し、操作者がデータ及び指示を入力するために使用される。測定対象物２の二次元又は三次元の撮影範囲画像の座標空間に測定対象物に貼付されたマークの位置をマーク符号と対応付けて入力するマークデータ入力部６１を有する。撮影範囲画像のマークの位置は、本実施例では予め指定された位置座標を入力する。

図２に二次元撮影範囲画像の座標空間に入力されたマークの位置の例を示す。例えば、測定対象物２を周囲から重複撮影し連結できるように多方向から撮影し、展開図にしてマッピングする例である。平面図の座標空間にマークの位置に対応するマーク符号（○内に１〜○内に１５）が表示されている。これは、マーク位置とマーク符号が一体化している例である。

図３に撮影対象物２である土器にマーク（カラーコードターゲット）が貼付された撮影画像の例を、図４に三次元撮影範囲画像の座標空間に入力されたマークの位置を示す。図４のマークの位置は図３のマークの位置を三次元撮影範囲画像の座標空間に表示したものである。撮影範囲画像の透視図の座標空間にマークの位置が正方形□で表示され、それぞれに対応するマーク符号（１〜２４）が表示されている。これは、マーク位置とマーク符号を分けて表示している例である。

特徴抽出部７は、撮影画像から特徴点及びマークを抽出する。撮影部で撮影された撮影画像からマークを抽出するマーク抽出部７１、マーク抽出部７１で抽出されたマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付けるコード識別部７２を有する。
マーク抽出部７１は、撮影部２で取得された複数の撮影画像におけるマークを含む特徴点を抽出する。本実施例では測定対象物である自動車や土器に自他識別可能な識別コードを有するマークとしてのカラーコードターゲットが貼り付けられており、カラーコードターゲットを特徴点として使用できる。

［カラーコードターゲット］
図５にカラーコードターゲットＣＴの例を示す。図５（ａ）はカラーコードの単位領域が３個、図５（ｂ）は６個、図５（ｃ）は９個のカラーコードターゲットである。図５（ａ）〜（ｃ）のカラーコードターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。

レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの向き検出用、ターゲット領域検出用として使用する。

基準色部Ｐ２は、照明やカメラ等の撮影条件による色のずれに対応するために、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。

カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。

白色部Ｐ４は、カラーコードターゲットＣＴの向き検出用と色ずれのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。

コード識別部７２はカラーコードターゲットＣＴの識別コードを識別する。パターン配置とコード番号の対応関係を記録するカラーコードターゲット対応表を用いて、カラーコードターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、カラーコードターゲットＣＴに番号を付与する。

カラーコードターゲットＣＴの位置はレトロターゲットＰ１を検出することにより求められる。カラーコードターゲットＣＴ以外にレトロターゲットが貼付される場合、カラーコードターゲットＣＴに代えてレトロターゲットが貼付される場合も、マークの位置はレトロターゲットを検出することにより求められる。

図６はレトロターゲットを用いた重心位置検出の説明図である。本実施例ではレトロターゲットは２つの同心円で形成されている。図６（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図６（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図６（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図６（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図６（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図６（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。本実施例では、（Ａ１）の場合、正方形の位置検出用パターンＰ１の中心部に小円に相当する円が一つ形成されていればよく、大円の外側は明るくても暗くてもよいが、暗くするのが良い。暗い場合は、実質的に一つの円（小円）が形成されているだけである。（Ｂ１）の場合は、大円の外側は明るくても暗くてもよいが、大円の外側が明るい場合は、実質的に明るい下地に暗い１つの円（小円）が形成されているだけである。

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図６（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、閾値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の光量
なお、図６（Ｂ１）に表記されたレトロターゲット２００の場合は、明度が閾値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。

カラーコードターゲット、レトロターゲットが用いられない場合、マーク抽出部７１は複数の撮影画像から特徴点を抽出する。特徴点には、例えば測定対象物２の中心位置、重心位置、コーナー位置、他と異なる特徴を有する位置、測定対象物２に貼付された又は投影された標識などがある。特徴点抽出には特徴抽出オペレータが使用される。ここではモラベック（ＭＯＲＡＶＥＣ）オペレータを用いる例を説明する。

ＭＯＲＡＶＥＣオペレータは、汎用の特徴抽出器として古くから使用されている。ＭＯＲＡＶＥＣオペレータは、例えば、ある注目画素の周囲３×３画素をマスクとし、マスクが注目画素の周囲４方向に各１画素移動した際の濃度差分（方向濃度差分）の最小値をその注目画素の特徴量とする。処理が単純で高速であること、比較的容易にハード化が可能なことなどが特徴である。なお、高速処理を行うためには、画像の数倍のメモリが必要となる。ここではモラベックオペレータによる特徴点抽出を説明したが、他のオペレータ、例えばハリスオペレータやその他のもの、特徴点を検出できるものならなんでもよい。

図１に戻り、画像処理部８は、撮影画像について、測定対象物２の領域を３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分して撮影領域番号を付与する撮影領域区分部８１、各マークについて、異なる撮影画像に含まれる撮影回数を計数するマーク撮影回数計数部８２、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数部８３、マークの撮影回数に応じて、マークを２以上のグループにグループ分けするマークグループ化部８４、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする撮影領域グループ化部８５、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめる撮影範囲画像形成部８６を有する。

撮影領域区分部８１は、撮影画像において、測定対象物２の領域を撮影領域に区分する。３以上のマークを頂点とする多角形で測定対象物２の領域を多数の領域に区分することができる。本実施例では、撮影領域の重複状況を把握するのが目標なので、撮影画像の範囲に応じた大きさの撮影領域に区分するのが好ましい。撮影領域を細かく多数にすると画像処理に時間がかかり、撮影領域をあまり大きくすると撮影画像からはみだして撮影回数を計数できなくなるので、撮影画像の範囲に応じて適切な大きさの撮影領域に区分するのが好ましい。例えば、ほぼ一平面内にあり焦点が合う範囲を、面積に応じて１〜４分割する等である。撮影領域を撮影画像内（実際に撮影された範囲）のマークに囲まれた最大の多角形領域としても良いが、この場合は他の撮影画像と一部重複することが見出されたら、重複部分と非重複部分で撮影回数に差異が生じるので、重複部分と非重複部分に分割していく。また、３つのマークに囲まれた小領域としても良いが、撮影領域数が多くなり、コンピュータの処理量が多くなるので、撮影回数が等しい複数の小領域を統合していく。撮影画像の重複を見るためであれば、撮影画像全体の１／２〜１／１０程度が好適、１／３〜１／５がより好適である。

図７に二次元撮影範囲画像における撮影領域の形成例を示す。この例では、マーク符号（○内に１）〜（○内に６）の６つマークを含む領域、すなわちマーク符号（○内に１）〜（○内に６）の６つのマークで囲まれた領域が１つの撮影領域として区分される。また、マーク符号（○内に４）〜（○内に９）の６つマークを含む領域、すなわちマーク符号（○内に４）〜（○内に９）の６つのマークで囲まれた領域が１つの撮影領域として区分されている。以下同様にして、・・・マーク符号（○内に１３）〜（○内に１８）の６つマークを含む領域が１つの撮影領域として区分される。

図８に三次元撮影範囲画像における撮影領域の形成例を示す。透視図の座標空間に自動車の領域が複数の撮影領域に区分されている例である。これらの領域の多くは四角形であり、少なくとも３つのマークで囲まれた領域が１つの撮影領域として区分されている。

マーク撮影回数計数部８２は、各マークについて、異なる撮影画像に含まれる撮影回数を計数する。すなわち、記憶部に記憶された各撮影画像から当該マークを抽出し、抽出できた回数を当該マークの撮影回数とする。計数された撮影回数は、当該マークのマーク符号と対応付けてマーク撮影回数記憶部５２に記憶する。
領域撮影回数計数部８３は、各撮影領域について、異なる撮影画像に含まれる撮影回数を計数する。すなわち、記憶部５に記憶された各撮影画像から当該撮影領域を囲むマークを抽出し、当該撮影領域を囲む全てのマークが抽出できた回数を当該撮影領域の撮影回数とする。これらのマークの１つでも欠けていれば、撮影領域全体が撮影されたことにならないので、計数されない。計数された撮影回数は、当該撮影領域を囲むマークのマーク符号と対応付けて領域撮影回数記憶部５３に記憶する。また、撮影画像における全ての撮影領域でカバーされる範囲が実際に撮影された範囲より狭くなり、これらの撮影領域外の部分が撮影されなかったとみなしても、確実に撮影された領域で撮影回数を計数していけば、重複を確実にする意味で安全サイドなので、必要な重複撮影を実行する上で問題はない。

マークグループ化部８４は、マークの撮影回数に応じて、マークを２以上のグループにグループ分けする。例えば、３枚以上撮影マークグループ、２枚撮影マークグループ、１枚撮影マークグループと未撮影マークグループにグループ分けする。また、重複撮影マークグループと未重複撮影マークグループ、既撮影マーグループと未撮影マークグループにグループ分けすることも可能である。グループ分けされたグループは、例えば当該マークのマーク符号と対応付けてマーク撮影回数記憶部５２に記憶する。
撮影領域グループ化部８５は、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする。例えば、３枚以上撮影領域グループ、２枚撮影領域グループ、単一撮影領域グループと未撮影領域グループにグループ分けする。また、重複撮影領域グループと未重複撮影領域グループ、既撮影領域グループと未撮影領域グループにグループ分けすることも可能である。グループ分けされたグループは、例えば当該撮影領域を囲むマークのマーク符号と対応付けて領域撮影回数記憶部５３に記憶する。

撮影範囲画像形成部８６は、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめる。撮影範囲画像に入力されたマーク位置にはマーク符号が対応付けられている。従って、撮影領域を囲むマーク符号が特定された３以上のマークを結線することにより多角形が形成され、それが撮影範囲画像における当該撮影領域に該当することになる。このようにして、撮影対象物２の領域について区分された全ての撮影領域（車底等の見えない部分を除く）について、撮影領域を囲む３以上のマークを結線して撮影領域を当てはめることにより、撮影範囲画像における撮影対象物２の領域を撮影領域に区分した撮影範囲画像を形成することができる。なお、撮影範囲画像に入力されたマーク及び形成された撮影領域は表示部４にて、それぞれ、２以上のグループにグループ分けされて表示される。

図９に二次元撮影範囲画像におけるマークのグループ分け表示例を示す。図２のマークがグループ分け表示された例である。ただし、マーク数が１５から１８に増加している。図９（ａ）はマークのグループ分けの表示例を、図９（ｂ）は撮影画像の重なりの様子を示す。図９（ａ），（ｂ）にはマークの位置に対応するマーク符号（○内に１〜○内に１８）が付与されている。マーク符号は色分け表示されている。赤（Ｒを付記）は１枚撮影マーク、緑（Ｇを付記）は２枚撮影マーク、青（Ｂを付記）は３枚撮影マークを示している。図９（ｃ）は、撮影画像において本来３枚重複すべき箇所にありながら、本来の重複がされずに２枚撮影マークとなっているマーク（○内に１０，１１）本来の重複がされずに１枚撮影マークとなっているマーク（○内に１２）と、撮影されていないマーク（○内に１９）（０を付記）が生じている例を示している。

図１０に三次元撮影範囲画像におけるマークのグループ分け表示例を示す。図３及び図４のマークがグループ分け表示された例である。透視図の座標空間にマークの位置が正方形□で表示され、それぞれに対応するマーク符号（１〜２４）が表示されている。このうち未重複撮影グループ（１枚以下撮影マークグループ）のマーク（マーク符号１〜６）では正方形□が大きく表示されている。

図１１に三次元撮影範囲画像における撮影領域のグループ分け表示例を示す。透視図の座標空間に自動車の領域が複数の撮影領域に区分され、色分け表示されている例である。カラー（図１１では模様有り）で表示された領域が重複撮影領域、白色で表示された領域が単一撮影領域、黒色で表示された領域が未撮影領域である。このように、撮影領域を色分けすることにより、撮影不足領域をビジュアルに把握でき、撮影の効率化が促進される。

また、例えば、撮影領域部分記憶部５４に、撮影画像から撮影領域の画像を抽出して記憶しておき、撮影範囲画像形成部８６にて、撮影領域部分記憶部５４から各撮影領域の画像を抽出し、撮影範囲画像に入力されたマーク位置に、撮影領域を囲む３以上のマークの位置が合致するように各撮影領域の画像を伸縮させて貼り付けることによって、撮影範囲画像をビジュアルに表現できる。

図１２に二次元撮影範囲画像に撮影画像を貼付表示した例を示す。マークの位置に対応するマーク符号（○内に１〜○内に１８）が付与されている。マーク符号は色分け表示されている。赤（Ｒを付記）は１枚撮影マーク、黒（無付記）は重複撮影マークを示している。マーク符号（○内に１〜○内に６）で囲まれた領域は空白のままで未撮影領域となっており、マーク符号（○内に４〜○内に６）・・・（○内に１６〜○内に１８）で囲まれた領域は撮影画像が貼り付けられ既撮影領域となっている。また、撮影範囲画像に貼り付けた撮影画像は、各領域において左側の３つのマークを中央ラインとして正面から撮影した撮影画像の右半分である。

図１３に三次元撮影範囲画像に撮影画像を貼付表示した例を示す。透視図の座標空間にカラーコードターゲットのレトロターゲット部の位置が正方形□で表示され、カラーコードターゲットに対応するマーク符号（Ａ１〜Ａ８）が表示されている。レトロターゲット部の位置を示す正方形□が各３個ずつある。また、単体のレトロターゲットの位置が丸○で表示され、単体のレトロターゲットに対応するマーク符号（Ｔ１〜Ｔ８）が表示されている。既撮影領域には撮影画像が貼り付けられ、未撮影領域には撮影画像がなく、空間のまま表示されている。

図１に戻り、制御部１０は、内臓メモリに制御プログラムを有し、三次元計測用画像撮影装置１及びこれを構成する各部を制御し、信号及びデータの流れを制御し、三次元計測用画像撮影装置としての機能を実行させる。特に、マーク抽出部７１に撮影画像からマークを抽出させ、コード識別部７２に抽出されたマークの識別コードを識別させ、撮影領域区分部８１に撮影画像について測定対象物２の領域を撮影領域に区分させ、マーク撮影回数計数部８２に各マークについて撮影回数を計数させ、領域撮影回数計数部８３に各撮影領域について撮影回数を計数させ、マークグループ化部８３に撮影回数に応じてマークを２以上のグループにグループ分けさせ、撮影領域グループ化部８４に撮影回数に応じて撮影領域を２以上のグループにグループ分けさせ、撮影範囲画像形成部８６に、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して撮影範囲画像に撮影領域を当てはめさせ、表示部４に、撮影範囲画像において、マーク又は／及び撮影領域を２以上のグループにグループ分けして表示させる。
なお、特徴抽出部７、画像処理部８、制御部１０はＰＣ１５内に構成される。

［処理フロー］
図１４に画像撮影の処理フロー例を示す。図１４（ａ）に撮影領域をグループ分けして表示する例を示す。
まず、マークの配置関係を入力する（マークデータ入力工程：Ｓ３００）。所定の条件として、自他識別可能な識別コードの数、コード番号を入力して、撮影された識別コードの識別を行えるようにする。マークが識別できれば、実施例４，５で説明するようにマークの三次元位置が計測可能である。したがって、撮影範囲画像の座標に計測された位置座標を入力すれば良く、マーク位置を予め指定する必要はないのであるが、本実施例では、三次元位置の計測を行なわない例を説明するので、撮影範囲画像の座標に入力するマーク位置を予め指定するものとする。なお、指定座標と貼り付けされたマークの位置は正確に一致しなくても、後にテクスチャマッピングや三次元位置計測により正確な座標が求められるので、それでも充分である。ここでは、測定対象物２の予め指定された箇所にマークを貼付し、マークデータ入力部６１にて、自他識別可能な識別コードの数、コード番号と共に、貼付されたマークの位置をマーク符号と対応付けて入力する。マークの位置として予め指定された位置座標を入力する。マークとして自他識別可能な識別コードを有するマーク、ここではカラーコードターゲットを使用する。

次に、撮影部２により、マークが貼付された測定対象物２を撮影する（撮影工程：Ｓ３２０）。次に、マークのコードを抽出する（Ｓ３３０）。すなわち、撮影された撮影画像から、マーク抽出部７１にてマークを抽出し（マーク抽出工程）、コード識別部７２にてマークの識別コードを識別し、識別コードをマークに付与されるマーク符号と対応付ける（コード識別工程）。次に、未重複の撮影領域を抽出する（Ｓ３４０）。すなわち、撮影領域区分部８１にて、撮影画像における測定対象物２の領域を３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分して、撮影領域番号を付与する（撮影領域区分工程）。そして、領域撮影回数計数部８３にて、各撮影領域について異なる撮影画像に含まれる撮影回数を計数する（領域撮影回数計数工程）。例えば、各撮影領域を囲む全てのマークが撮影されている場合に当該撮影領域が撮影されているとして撮影回数を計数する。さらに、領域撮影回数記憶部５３にて、計数された各撮影領域の撮影回数を、当該撮影領域を囲むマークのマーク符号と対応付けて記憶する（領域撮影回数記憶工程）。さらに、撮影領域グループ化部８５にて、撮影領域の撮影回数に応じて、撮影領域を２以上のグループにグループ分けする（撮影領域グループ化工程）。これにより、例えば、未重複撮影の撮影領域と重複撮影の撮影領域とをグループ分けすることにより、未重複撮影領域を抽出できる。また、入力された識別コードの数やコード番号がすべて撮影されているかどうかを判断することにより、未撮影領域の有無の判断が行える。

次に撮影範囲画像を形成する（Ｓ３４５）。すなわち、撮影範囲画像形成部８６にて、撮影範囲画像に入力されたマークの位置を、撮影領域を囲むマークのマーク符号が合致するように結線して、撮影範囲画像に撮影領域を当てはめることにより、撮影範囲画像を形成する（撮影範囲画像形成工程）。撮影範囲画像に入力されたマークにはマーク符号と位置が定められており、撮影領域を囲むマークにはマーク符号が特定されている。したがって、マーク符号が合致するように、撮影範囲画像において撮影領域を囲む３以上のマークの位置座標を結線することにより撮影領域を当てはめられる。撮影対象物２の領域について区分された全ての撮影領域（見えない部分を除く）について、撮影領域を当てはめることにより、撮影範囲画像における撮影対象物２の領域を撮影領域に区分した撮影範囲画像を形成できる。さらに、撮影画像から各撮影領域の画像を抽出して撮影領域部分記憶部５４に記憶し、撮影範囲画像形成部８６にて、撮影領域部分記憶部５４から核撮影領域の画像を抽出し、撮影範囲画像に入力されたマーク位置に、撮影領域を囲む３以上のマークの位置が合致するように各撮影領域の画像を伸縮させて貼り付けるようにすれば、撮影領域に撮影画像を貼り付けた撮影範囲画像が形成され、臨場感が生じる。このように、撮影範囲画像に、撮影領域の輪郭を示すだけでなく、撮影された実際の画像を含めても良い。次に、表示部４にて、撮影範囲画像に画成された撮影領域を２以上のグループにグループ分けして表示する（表示工程：Ｓ３５０）。例えば重複撮影領域と未重複撮影領域とをグループ分けして表示する。次に、制御部１０にて、未重複撮影領域が存在するか否かを判断し（Ｓ３６０）、存在すれば（Ｓ３６０でＹｅｓ）、撮影工程（Ｓ３２０）に戻って、撮影から表示まで繰り返し、存在しなければ（Ｓ３６０でＮｏ）、撮影処理を終了する。なお、マークのグループ分けについては後述するが、グループ分けされたマークをここでの撮影範囲画像に含めて表示しても良いのは勿論である。

図１４（ｂ）にマークをグループ分けして表示する例を示す。
マークデータ入力工程（Ｓ３００）からコード識別工程までは図１４（ａ）の場合と同じである。次に、未重複のマークを抽出する（Ｓ３４０Ａ）。すなわち、マーク撮影回数計数部８２にて、各マークについて異なる撮影画像に含まれる撮影回数を計数する（マーク撮影回数計数工程）。さらに、マーク撮影回数記憶部５２にて、計数された各マークの撮影回数をマーク符号と対応付けて記憶する（マーク撮影回数記憶工程）。さらに、マークグループ化部８４にて、マークの撮影回数に応じて、マークを２以上のグループにグループ分けする（マークグループ化工程）。これにより、例えば、未重複撮影のマークと重複撮影のマークとをグループ分けすることにより、未重複のマークを抽出できる。次に撮影画像における自他識別可能な識別コードを有するマークの位置に基づいて、撮影範囲画像が形成される（Ｓ３４５Ａ）。マークの位置は三次元計測された座標を用いることも可能であるが、本実施例では予め指定されたマーク位置を入力するものとする。すなわち、撮影範囲画像に入力されたマーク位置をマッピングする。次に、表示部４にて、撮影範囲画像におけるマークの位置にマーク符号を付して、マークを２以上のグループにグループ分けして表示する（表示工程：Ｓ３５０Ａ）。例えば重複撮影マークと未重複撮影マーク域とをグループ分けして表示する。その後の未重複撮影マークが存在するか否かの判断（Ｓ３６０）と繰り返しループは、図１４（ａ）の場合と同じである。ここでいう撮影範囲画像には、少なくとも自他識別可能な識別コードを有するマークの位置が示される。さらに、撮影された実際の画像を加えても良く、撮影範囲に含まれる撮影領域の輪郭を加えても良い。

本実施例によれば、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。すなわち、各撮影領域の撮影回数を明示するので過不足なく効率的に撮影ができる。なお、自他識別可能な識別コードを有するマークを用いるので、撮影画像の接続、マークデータの三次元計測、テクスチャ画像の形成等の画像処理の自動化に有利である。

実施例１では、マーク及び撮影領域の両者について、撮影回数によりグループ分けする例を説明したが、本実施例では、撮影領域について撮影回数によりグループ分けする例を説明する。
装置構成において、記憶部５及び画像処理部８に関し、マーク撮影回数記憶部５２の機能は領域撮影回数記憶部５３に包含され、マーク撮影回数計数部８２の機能は領域撮影回数計数部８３に包含されるものとして扱えば良く、マーク撮影回数記憶部５２及びマーク撮影回数計数部８２を省略できる。グループ分けは撮影領域について撮影領域グループ化部８５で行なうので、マークグループ化部８４は省略できる。画像撮影の処理フローは図１４（ａ）による。この場合でも、図１１のような撮影領域をグループ分けした撮影範囲画像を表示できる。
撮影領域について重複撮影領域、未重複撮影領域等、ビジュアルに表示でき、実施例１と同様に、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。

実施例１では、マーク及び撮影領域の両者について、撮影回数によりグループ分けする例を説明したが、本実施例では、マークについて撮影回数によりグループ分けする例を説明する。
装置構成において、記憶部５及び画像処理部８に関し、撮影画像記憶部５１、マーク撮影回数記憶部５２、マーク撮影回数計数部８２、マークグループ化部８４があれば良く、撮影領域への区分けは行なわなくても良いので、領域撮影回数記憶部５３、撮影領域部分記憶部５４、撮影領域区分部８１、領域撮影回数計数部８３、撮影領域グループ化部８５、撮影範囲画像形成部８６を省略できる。画像撮影の処理フローは図１４（ｂ）による。この場合でも、図１０のようなマークをグループ分けした撮影範囲画像を表示できる。
マークについて重複撮影領域、未重複撮影領域等、ビジュアルに表示でき、実施例１と同様に、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。

実施例１では、自他識別可能な識別コードの数、コード番号を入力すると共に、撮影範囲画像に入力されるマークの位置は、予め指定された位置である例を説明したが、本実施例では、三次元位置測定部を備え、撮影範囲画像に入力されるマークの位置は、三次元位置測定部で求められた三次元座標である例を説明する。この場合、マークデータ入力部６１は求められた三次元位置座標を撮影範囲画像に自動入力する。マークだけでも三次元計測が可能であるが、多数の特徴点を含む方が高精度の位置計測ができるので、ここではマーク抽出部７１で抽出された特徴点（マークを含む）を用いる例を説明する。

図１５に本実施例に係る三次元計測用画像撮影装置１Ａの構成例のブロック図を示す。実施例１の構成に三次元位置計測部９が追加され、画像撮影処理に利用される。三次元位置測定部９は、マーク抽出部７１で抽出されたマークを含む特徴点の撮影画像における画面位置から、撮影対象物２のマークを含む特徴点の三次元位置座標を求める。マーク抽出部７１は撮影画像からマークを含む特徴点を抽出する。三次元位置計測部９は、マーク抽出部７１で抽出された特徴点について、ステレオ画像で対応点を求める対応点探索部９１、対応点探索部９１で求められた対応点に基づいて、撮影部３におけるカメラの傾きを求める標定を行なう標定部９２、標定部９２で求められたカメラの位置を用いて特徴点の三次元位置座標を求める三次元座標計測部９３を有する。マークデータ入力部６１は、三次元計測されたマークを含む特徴点の位置座標を取得し、撮影範囲画像に自動入力する。

三次元計測では、２枚以上の撮影画像における重複部分の特徴点を用いて、相互標定により測定対象物２の特徴点の三次元座標を求める。まず、２枚の撮影画像をステレオ画像（一方を基準画像、他方を探索画像とする）とし、対応点探索部９１にて特徴点の対応付け（対応点探索）を行なう。相互相関処理により対応点探索を行なう。

［相互相関処理］
相互相関係数による方法

図１６は対応点探索を説明するための図である。図１６に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、上式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。左右画像の場合には、例えば左画像上にＮ_１×Ｎ_１画素のテンプレート画像を設定し、右画像上にＭ_１×Ｍ_１画素の探索領域を設定し、この操作を各画像上での位置について行えばよい。
ここでは、対応点探索に関し、正規化相互相関処理について説明したが、他の手法、例えば、残差逐次検定法（ＳＳＤＡ）などを用いてもよい。

［外部標定要素の算出：相互標定］
次に、左右画像の対応付けられた点から、撮影部２での撮影位置や、特徴点の三次元座標を求める。まず、相互標定法によってカメラの位置、傾きを求める方法について説明する。相互標定は標定部９２にて行なう。
モデル画像とは、２枚以上の立体写真から被写体が撮影されたときの状態に再現されたとき得られる立体像のことをいう。相対的に相似なモデル画像を形成することを、相互標定という。すなわち、相互標定とは、立体写真の対応する２本の光束が交会するように、左右それぞれのカメラの投影中心の位置および傾きを定めるものである。

図１７は相互標定を説明するための図である。次に，各モデル画像の標定計算の詳細について説明する。この計算により、左右それぞれのカメラの位置（三次元座標と三軸の傾き）が求められる。
以下の共面条件式によりこれらのカメラの位置に係るパラメータを求める。

モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要ない。

このような条件にすると、（式３）の共面条件式は（式４）のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式５）、（式６）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ａ）未知パラメータの初期近似値は通常０とする。
（ｂ）共面条件式（式４）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式５）、（式６）により求め、観測方程式をたてる。
（ｃ）最小二乗法をあてはめ、近似値に対する補正量を求める。
（ｄ）近似値を補正する。
（ｅ）補正された近似値を用いて、（ｂ）〜（ｅ）までの操作を収束するまで繰り返す。
未知パラメータ（κ_１，φ_１，κ_２，φ_２，ω_２）を求めることにより、カメラの位置と傾きが求まる。
相互標定法によってカメラの位置が求まれば、ステレオ法によって対象空間点上の三次元座標を求めることが可能となる。

〔ステレオ法〕
図１８はステレオ法を説明するための図である。
簡単のために、同じカメラを２台（Ｃ１，Ｃ２）使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２つの光軸間距離（基線長）をＢとする。

物体上の点Ｐ（ｘ、ｙ、ｚ）とカメラＣ１，Ｃ２の撮影画面上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。

ｘ１＝ｃｘ／ｚ −−−（式７）
ｙ１＝ｙ２＝ｃｙ／ｚ −−−（式８）
ｘ２−ｘ１＝ｃＢ／ｚ −−−（式９）

但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。

（式９）よりｚを求め、これを用いて（式７）、（式８）よりｘ、ｙが求められる。
求められたマークの位置座標を三次元撮影範囲画像にマッピングできれば、マッピングされたマークを結線することにより、撮影領域を当てはめることができ、図１１のような撮影範囲画像を形成できる。また、各撮影領域の画像を貼り付けることにより、図１３のようなビジュアル画像を形成できる。

また、各特徴点の三次元座標が求まれば、三次元モデル画像、オルソ画像、パノラマ画像を形成できる。求められた三次元座標から三次元撮影範囲画像空間に特徴点を配置し構築すれば三次元モデル画像、平面図に並行投影にて投影すればオルソ画像、中心投影のまま平面上に投影し各モデル画像を投影していけばパノラマ画像となる。また、三次元座標を用いることにより撮影範囲画像の精度を向上できる。撮影領域について重複撮影領域、未重複撮影領域等をビジュアルに判別でき、撮影を効率化できる。

実施例４では、撮影範囲画像に入力されるマークの位置は、三次元位置測定部９で求められた位置座標である例を説明したが、本実施例では撮影画像から三次元座標を求める例を説明する。この場合もマークデータ入力部６１は求められた三次元位置座標を撮影範囲画像に自動入力する。

［テクスチャマッピング］
マークデータ入力部６１は、撮影範囲画像に入力されるマークの位置として、テクスチャマッピングで求められた三次元座標を使用できる。このようにすると、撮影範囲画像の精度を向上できる。次に、写真に撮影した画像を空間座標（Ｘ、Ｙ、Ｚ）上に形成されるモデル画像上にテクスチャマッピングする方法について説明する。 画像上の各画素（ピクセル）の空間座標を計算する。この処理では、写真上の画像座標（ｘ、ｙ）を空間座標（Ｘ、Ｙ、Ｚ）に変換する。空間座標（Ｘ、Ｙ、Ｚ）は、三次元計測によって計算された値である。写真の画像座標（ｘ、ｙ）に対応する空間座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、画像上の各ピクセルの濃度取得位置を求め、画像を三次元空間上にマッピングする。

ここで、
（Ｘ_０、Ｙ_０）：空間座標系での写真画像の左上の位置、
（ΔＸ、ΔＹ）：空間座標系での１画素の大きさ、
（ｘ、ｙ） ：写真画像の画像座標、
（Ｘ、Ｙ、Ｚ）：空間画像座標、
ａ，ｂ，ｃ，ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。

この係数は、例えば、三角形内挿処理（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌｅｒ Ｎｅｔｗｏｒｋ，ＴＩＮ）の平面の方程式の係数である。ＴＩＮは、３次元座標を内挿する方法として三角形を構成単位とするメッシュを生成するもので、三角網とも呼ばれる。（ＴＩＮについての詳細は、「伊理正夫、腰塚武志：計算幾何学と地理情報処理、ｐｐ１２７」、「Ｆｒａｎｚ Ａｕｒｅｎｈａｍｍｅｒ，杉原厚吉訳：Ｖｏｒｏｎｏｉ図、一つの基本的な幾何データ構造に関する概論、ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ， Ｖｏｌ．２３，ｐｐ３４５−４０５」等を参照。）
撮影画像のマークを三次元撮影範囲画像にマッピングできれば、撮影領域を当てはめた撮影範囲画像を形成できる。また、各撮影領域の画素を貼り付けることにより、図１３のようなビジュアル画像を形成できる。また、オルソ画像やパノラマ画像を形成できる。撮影領域について重複撮影領域、未重複撮影領域等をビジュアルに判別でき、撮影を効率化できる。

本実施例では、撮影範囲画像に、さらにカメラで撮影した領域を示すカメラ撮影範囲を表示する例を説明する。カメラ撮影範囲は、いずれかの撮影画像（第１の撮影画像とする）の範囲を示すために形成される。画像処理部は図示しない境界線作成部を有し、境界線作成部は、第１の撮影画像の境界付近にある複数の特徴点を抽出し、撮影領域部分記憶部５４に記憶した撮影領域のうち、これらの特徴点を含む撮影領域にプロットする。これらの特徴点を含む撮影領域は第１の撮影画像と重複撮影領域を有する第２の撮影画像から抽出されたものである。第２の撮影画像として当該撮影領域をできるだけ垂直方向から撮影した撮影画像を選択することが好ましい。さらに、これらの特徴点を含む撮影領域に、これらの特徴点からの距離の二乗和が最小となる直線を引いて境界線とし、これらの撮影領域にこの境界線を引いて撮影領域部分記憶部５４に記憶する。そして、撮影画像領域形成部８６は、これらの撮影領域を用いて撮影範囲画像に撮影画像を形成する時に、同時にこれらの境界線を入力することにより、カメラ撮影範囲を形成する。境界線は、第１の撮影画像の特徴点を基に作成されるので、カメラ撮影範囲は結果的に実際に撮影された範囲に比して少し小さくなるが、重複状態を見るためには安全サイドなので問題ない。これにより、表示部４は撮影範囲画像にカメラ撮影範囲を表示できる。さらに、これらの特徴点の三次元座標を求めておけば、さらに高精度にカメラ撮影領域を表示できる。
このようにカメラ撮影範囲を表示することにより、実際のカメラでの撮影範囲を把握できるので、撮影領域とカメラの撮影範囲の関係を把握し易い。

本実施例に係る三次元計測用画像撮影装置は、実施例１に加えて、表示部４はさらにライブ画像１１と既撮影画像１２を同一画面に表示し、現在位置で撮影した場合のマークの撮影回数を表示する例を説明する。ライブ画像とは、移動中の撮影者が現在位置で撮影部３としてのビデオカメラやデジタルカメラを用い、測定対象物８を撮影した画像をいう。通常は、ビデオカメラやデジタルカメラを用いて撮影者が移動しながら表示部４としてのファインダーやディスプレイ等に測定対象物をライブ画像として表示する。通常、ライブ画像１１は記憶部５の図示しないテンポラリメモリに上書きされ、表示部４に転送されて表示される。このため通常モードでは、画像処理できないが、例えばシャッター操作により比較モードとなり、ライブ画像が静止画像として取得され、画像処理部８によりマーク符号を付する等の処理が可能になる。比較モード時にはこの画像処理された静止画像が表示される。撮影者がこの静止画像の位置で撮影して良いと判断し「ＯＫ」信号を例えば入力キーから入力すれば、静止画像が撮影画像として撮影画像記憶部５１に記憶され、比較モードから通常モードに戻る。また、撮影者が「Ｎｏ」信号を例えば入力キーから入力すれば、静止画像が消去され、比較モードから通常モードに戻る。図１９〜図２３は比較モードにおける図である。

図１９に既撮影画像１２とライブ画像１１とを同一画面に表示する例（その１）を示す。図１９（ａ）は撮影前の表示画面、図１９（ｂ）は撮影後の表示画面であり、両者とも、左側に既撮影画像、右側にライブ画像を示す。図１９（ａ）では既撮影画像は無く、ライブ画像にはマーク（カラーコードターゲット）が表示され、対応付けられたマーク符号（○内に１〜６）がその上に表示されている。マーク符号は撮影回数により色分け表示され、赤（Ｒを付記）は１枚撮影マーク、緑（Ｇを付記）は２枚撮影マーク、青（Ｂを付記）は３枚撮影マークを示す。ただし、本実施例ではライブ画像を取得した現在位置での撮影後の撮影回数を示す。ライブ画像でのマーク符号（○内に１〜６）はいずれも赤（Ｒを付記）であり、この位置で撮影すると、１枚撮影マークとなることを示している。この位置で撮影すると、ライブ画像が撮影画像として取得され、図１９（ｂ）のように、既撮影画像に取得された撮影画像が表示される。その後、撮影者は移動し、ライブ画像にはマーク符号（○内に３〜８）のマークが表示されている。また、既撮影画像とライブ画像が重複する範囲にあるマークのマーク符号（○内に３〜６）は緑（Ｇを付記）であり、この位置で撮影すると、２枚撮影マークとなることを示している。その他のマークのマーク符号（○内に１〜２，７〜８）は赤（Ｒを付記）であり、この位置で撮影すると、１枚撮影マークとなることを示している。

図２０に既撮影画像１２とライブ画像１１とを同一画面に表示する例（その２）を示す。図１９（ｂ）の位置で撮影すると、ライブ画像が撮影画像として取得され、図２０のように、既撮影画像に取得された撮影画像が表示される。左側の既撮影画像として図１９（ｂ）の既撮影画像が表示され、中央の既撮影画像として１９（ｂ）のライブ画像から取得された撮影画像が表示される。その後、撮影者は移動し、右側のライブ画像にはマーク符号（○内に５〜１０）のマークが表示されている。２つの既撮影画像とライブ画像が重複する範囲にあるマークのマーク符号（○内に５〜６）は青（Ｂを付記）であり、この位置で撮影すると、３枚撮影マークとなることを示している。また、３つの画像中２つの画像で重複する範囲にあるマークのマーク符号（○内に３〜４，７〜８）は緑（Ｇを付記）であり、この位置で撮影すると、２枚撮影マークとなることを示している。また、３つの画像中１つの画像にしかないマークのマーク符号（○内に１〜２，９〜１０）は赤（Ｒを付記）であり、この位置で撮影すると、１枚撮影マークとなることを示している。

図２１に既撮影画像１２を表示する例を示す。図２０の位置で撮影し、ライブ画像が撮影画像として取得されたときの例である。図２１の左側、中央の既撮影画像は図２０の左側、中央の既撮影画像と同じである。図２１の右側の既撮影画像は、図２０のライブ画像から取得された既撮影画像である。

図２２に既撮影画像１２とライブ画像１１とを同一画面に表示する例（その３）を示す。図２２（ａ）は撮影前の表示画面、図２２（ｂ）は撮影後の表示画面であり、両者とも、左側に既撮影画像、右側にライブ画像を示す。図２２（ａ）では既撮影画像は無く、ライブ画像にはマーク（カラーコードターゲット）が表示され、撮影回数（１）がその上に表示されている。撮影回数はさらに色分け表示され、赤（Ｒを付記）は１回撮影、緑（Ｇを付記）は２回撮影、青（Ｂを付記）は３回撮影に対応している。ただし、本実施例ではライブ画像を取得した現在位置での撮影後の撮影回数を示す。ライブ画像での撮影回数はいずれも１であり、この位置で撮影すると、１枚撮影マークとなることを示している。この位置で撮影すると、ライブ画像が撮影画像として取得され、図２２（ｂ）のように、既撮影画像に取得された撮影画像が表示される。その後、撮影者は移動し、ライブ画像には別のマーク配置が表示されている。また、既撮影画像とライブ画像が重複する範囲にあるマークの撮影回数は２であり、この位置で撮影すると、２枚撮影マークとなることを示している。その他のマークの撮影回数は１であり、この位置で撮影すると、１枚撮影マークとなることを示している。

図２３に既撮影画像１２とライブ画像１１とを同一画面に表示する例（その４）を示す。図２２（ｂ）の位置で撮影すると、ライブ画像が撮影画像として取得され、図２３（ａ）のように、既撮影画像に取得された撮影画像が表示される。左側の既撮影画像として図２２（ｂ）の既撮影画像が表示され、中央の既撮影画像として図２２（ｂ）のライブ画像から取得された撮影画像が表示される。その後、撮影者は移動し、右側のライブ画像にはさらに別のマーク配置が表示されている。２つの既撮影画像とライブ画像が重複する範囲にあるマークの撮影回数は３であり、この位置で撮影すると、３枚撮影マークとなることを示している。また、３つの画像中２つの画像で重複する範囲にあるマークの撮影回数は２であり、この位置で撮影すると、２枚撮影マークとなることを示している。また、３つの画像中１つの画像にしかないマークの撮影回数は１であり、この位置で撮影すると、１枚撮影マークとなることを示している。図２３（ｂ）に既撮影画像を表示する例を示す。図２３（ａ）の位置で撮影し、ライブ画像が撮影画像として取得されたときの例である。図２３（ｂ）の左側、中央の既撮影画像は図２３（ａ）の左側、中央の既撮影画像と同じである。図２３（ｂ）の右側の既撮影画像は、図２３（ａ）のライブ画像から取得された既撮影画像である。
本実施例によれば、このように、ライブ画像を既撮影画像と比較しながら撮影ができ、さらに、マークの撮影回数が表示されるので、未重複画像をなくすのに好適である。

本実施例における三次元計測用画像撮影装置は、当該マーク自体では識別性がない非コードマークを、識別性マークとして利用する例を説明する。
すなわち、それ自体識別性を持たないレトロターゲットでも、自他識別可能なコードを有するマークカラーコードターゲットとの配置関係により識別性を持たせることができる。
図２４は、カラーコードターゲットとレトロターゲットとを共に識別性マークとして用いる例を示す図である。測定対象物２としての土器にカラーコードターゲット（Ａ１０〜Ａ１３）とレトロターゲット（Ｔ１０，Ｔ１１等）が貼付されている。例えば、レトロターゲットＴ１０は、カラーコードターゲット（Ａ１０〜Ａ１２）が形成する三角形の中にあり、カラーコードターゲット（Ａ１０〜Ａ１２）に対してその位置関係が特定されれば、識別性が生じる。また、レトロターゲットＴ１１は、カラーコードターゲット（Ａ１１〜Ａ１３）が形成する三角形の中にあり、カラーコードターゲット（Ａ１１〜Ａ１３）に対してその位置関係が特定されれば、識別性が生じる。例えば、特定のコードを有するマークからの方向と距離、特定のコードを有する３つのマークが形成する三角形への投影点（垂線の交点）と距離等により特定可能である。これを利用すると、非コードマークであるレトロターゲット（Ｔ１０，Ｔ１１等）を識別性マークとして利用できる。又は、この配置関係を三次元空間上に投影し、配置関係の合致性から非コードマークを識別してもよい。図示しない非コードマーク識別部は、マーク抽出部７１で抽出された非コードマークについて他の自他識別可能なコードを有するマークとの配置関係から非コードマークを識別し、配置関係により識別性が生じた非コードマークにマーク符号を付与する。これにより、多数のレトロターゲットを識別性マークとして利用できるので、少ないカラーコードターゲットでも、高精度の三次元計測が可能になる。

また、本発明は、以上の実施の形態のフローチャート等に記載の三次元計測用画像撮影方法の発明、当該方法の発明を三次元計測用画像撮影装置に実行させるためのプログラムとしても実現可能である。プログラムは三次元計測用画像撮影装置の内蔵記憶部に蓄積して使用してもよく、外付けの記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上説明したように、本発明によれば、単カメラを用いて移動しながら撮影を行う場合に、撮影を過不足なく効率的に行なえる三次元計測用画像撮影装置を提供できる。

以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。

例えば、以上の実施例では、マーク又は撮影領域の撮影回数を表示する、撮影範囲画像を二次元又は三次元表示にする、撮影範囲画像へ入力するマークデータを予め指定された値又は計測された三次元座標にする、表示画像を撮影範囲画像又はライブ画像にする、撮影回数を既撮影回数又は撮影後回数にする等の例を説明したが、これらの選択肢を自由に選択可能である。また、撮影範囲画像をライブ画像と比較できるように表示しても良く、撮影範囲画像をライブ画像と連携させて、撮影範囲画像のライブ画像に相当する領域のマーク又は撮影領域を撮影後回数で示しても良い。また、撮影領域の大きさはそれを囲むマークの組み合わせを変えることで自由に変更可能である。例えば、撮影回数を３回に統一したい場合には、撮影画像全体の約１／３になるように選択し、撮影画像が約１／３ずつ変化するように移動しながら撮影する等である。また、任意の撮影位置で一歩ずらした一対の位置で撮影するようにすれば常にステレオ画像に近い画像を得ることができ、標定や三次元計測に利用し易い。また、ライブ画像と既撮影画像の比較時に撮影前の表示と撮影後の表示を切り替え可能にしても良い。また、撮影範囲画像は透視図の他に、オルソ画像、パノラマ画像（測定対象物の周囲から撮影し連結した画像を含む）、テクスチャ画像、ワイヤフレーム画像、鳥瞰図などで表現しても良い。その他、撮影回数の表示、グループ分けの仕方、貼付マーク数等は適宜変更可能である。

本発明は、測定対象物の全周撮影を行う場合や、測定対象物が大きい場合や表面形状が複雑な場合等の三次元計測のための撮影に利用できる。

１，１Ａ 三次元計測用画像撮影装置
２ 測定対象物
３ 撮影部
４ 表示部
５ 記憶部
６ 入力部
７ 特徴抽出部
８ 画像処理部
９ 三次元位置測定部
１０ 制御部
１１ ライブ画像
１２ 既撮影画像
１５ パーソナルコンピュータ（ＰＣ）
５１ 撮影画像記憶部
５２ マーク撮影回数記憶部
５３ 領域撮影回数記憶部
５４ 撮影領域部分記憶部
６１ マークデータ入力部
７１ マーク抽出部
７２ コード識別部
８１ 撮影領域区分部
８２ マーク撮影回数計数部
８３ 領域撮影回数計数部
８４ マークグループ化部
８５ 撮影領域グループ化部
８６ 撮影範囲画像形成部
２００ レトロターゲット
２０４ 内円部
２０６ 外円部
Ａ１〜Ａ８，Ａ１０〜Ａ１３ カラーコードターゲット
ＣＴ カラーコードターゲット
Ｐ１ レトロターゲット部
Ｐ２ 基準色部
Ｐ３ カラーコード部
Ｐ４ 白色部
Ｔ１〜Ｔ８，Ｔ１０〜Ｔ１１ レトロターゲット
Ｔｏ 閾値

Claims (19)

1. 測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
   自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物を撮影する撮影部と；
   前記撮影部で撮影された撮影画像から前記マークを抽出するマーク抽出部と；
   前記マーク抽出部で抽出されたマークの識別コードを識別し、前記識別コードを前記マークに付与されるマーク符号と対応付けるコード識別部と；
   前記撮影画像の画面の各位置で抽出されたマークについて、前記識別された識別コードにより前記マーク符号を特定し、前記撮影画像における前記測定対象物の領域を前記マーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分する撮影領域区分部と；
   各前記撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数部と；
   前記撮影領域の撮影回数に応じて、前記撮影領域を２以上のグループにグループ分けする撮影領域グループ化部と；
   前記測定対象物の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に前記測定対象物に貼付されたマークの位置を前記マーク符号と対応付けて入力するマークデータ入力部と；
   前記撮影範囲画像に入力されたマークの位置を、前記撮影領域を囲むマークのマーク符号が合致するように結線して前記撮影範囲画像に前記撮影領域を当てはめる撮影範囲画像形成部と；
   前記撮影範囲画像において、前記当てはめられた撮影領域を前記２以上のグループにグループ分けして表示する表示部とを備える；
   三次元計測用画像撮影装置。
2. 前記２以上のグループを重複撮影領域グループと未重複撮影領域グループとする；
   請求項１に記載の三次元計測用画像撮影装置。
3. 前記所定の条件は、前記自他識別可能な識別コードを有するマークの数が予め定められているという条件であり；
   各前記マークについて、異なる撮影画像に含まれる撮影回数を計数するマーク撮影回数計数部を備え；
   前記撮影領域グループ化部は、１以上の撮影回数０のマークで囲まれた撮影領域を未撮影領域グループにグループ分けする；
   請求項１に記載の三次元計測用画像撮影装置。
4. 前記２以上のグループを既撮影領域グループと未撮影領域グループとする、又は３枚以上撮影領域グループ、２枚撮影領域グループ、単一撮影領域グループと未撮影領域グループとする；
   請求項３に記載の三次元計測用画像撮影装置。
5. 前記表示部は、前記撮影範囲画像における各撮影領域を前記グループに対応して色分けして表示する；
   請求項１ないし請求項４のいずれか１項に記載の三次元計測用画像撮影装置。
6. 前記所定の条件は、前記マークの位置座標は予め指定されているという条件であり、前記撮影範囲画像に入力されるマークの位置は、前記予め指定された位置座標である；
   請求項１ないし請求項５のいずれか１項に記載の三次元計測用画像撮影装置。
7. 前記マーク抽出部で抽出されたマークの前記撮影画像における画面位置から、前記マークの位置の三次元座標を求める三次元位置測定部を備え；
   前記撮影範囲画像に入力されるマークの位置は、前記三次元位置測定部で求められた三次元座標である；
   請求項１ないし請求項５のいずれか１項に記載の三次元計測用画像撮影装置。
8. 前記撮影画像から各前記撮影領域の画像を抽出して記憶する撮影領域部分記憶部を備え；
   前記撮影範囲画像形成部は、前記撮影領域部分記憶部から各前記撮影領域の画像を抽出し、前記撮影範囲画像に入力されたマーク位置に、前記撮影領域を囲む３以上のマークの位置が合致するように各前記撮影領域の画像を伸縮させて貼り付ける；
   請求項１ないし請求項７のいずれか１項に記載の三次元計測用画像撮影装置。
9. 前記撮影画像から各前記撮影領域の画像を抽出して記憶する撮影領域部分記憶部と；
   前記撮影画像の境界付近にある複数の特徴点を抽出し、前記複数の特徴点を用いて前記特徴点を含む各前記撮影領域に境界線を引いて前記撮影領域部分記憶部に記憶する境界線作成部を備え；
   前記撮影範囲画像形成部は、前記撮影領域部分記憶部に記憶された各前記撮影領域に引かれた境界線を用いて、各撮影画像の範囲を示すためのカメラ撮影範囲を前記撮影範囲画像に形成し；
   前記表示部は、各撮影画像におけるカメラ撮影範囲を前記撮影範囲画像に表示する；
   請求項１ないし請求項８のいずれか１項に記載の三次元計測用画像撮影装置。
10. 撮影領域区分部は、１つの撮影画像の撮影領域の一部に他の撮影画像の撮影領域が重複する場合には、前記１つの撮影画像の撮影領域を前記重複する部分と重複しない部分に区分して新たな撮影領域とし、新たな撮影領域番号を付与する；
    請求項１ないし請求項９のいずれか１項に記載の三次元計測用画像撮影装置。
11. 撮影領域区分部は、同じ撮影回数の複数の撮影領域が連続して存在する場合には、前記複数の撮影領域を１つの撮影領域に統合して新たな撮影領域とし、新たな撮影領域番号を付与する；
    請求項１ないし請求項９のいずれか１項に記載の三次元計測用画像撮影装置。
12. 測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
    自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物を撮影する撮影部と；
    前記撮影部で撮影された撮影画像から前記マークを抽出するマーク抽出部と；
    前記マーク抽出部で抽出されたマークの識別コードを識別し、前記識別コードを前記マークに付与されるマーク符号と対応付けるコード識別部と；
    各前記マークについて、異なる撮影画像に含まれる撮影回数を計数するマーク撮影回数計数部と；
    前記マークの撮影回数に応じて、前記マークを２以上のグループにグループ分けするマークグループ化部と；
    前記測定対象物の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に前記測定対象物に貼付されたマークの位置を前記マーク符号と対応付けて入力するマークデータ入力部と；
    前記撮影範囲画像に入力されたマークの位置に前記マーク符号を付して、前記マークを前記２以上のグループにグループ分けして表示する表示部とを備える；
    三次元計測用画像撮影装置。
13. 前記２以上のグループを３枚以上撮影マークグループ、２枚撮影マークグループ、１枚以下撮影マークグループとし；
    前記表示部は、前記撮影範囲画像における前記マークの位置に前記マーク符号を付して、前記マークを前記グループに対応して異なる態様で表示する；
    請求項１２に記載の三次元計測用画像撮影装置。
14. 前記所定の条件は、前記自他識別可能な識別コードを有するマークの数が予め定められているという条件であり；
    前記マークグループ化部は、撮影回数１以上のマークを既撮影マークグループに、撮影回数０のマークを未撮影マークグループにグループ分けし；
    前記表示部は、前記撮影範囲画像における前記マークの位置に前記マーク符号を付して、前記マークを前記グループに対応して異なる態様で表示する；
    請求項１２に記載の三次元計測用画像撮影装置。
15. 前記自他識別可能なコードは、数字列、文字列、記号、バーコード、２次元バーコード、カラーコードのいずれか一つである；
    請求項１ないし請求項１４のいずれか１項に記載の三次元計測用画像撮影装置。
16. 前記撮影部は、移動中の撮影者が現在位置で測定対象物を撮影することによりライブ画像を取得し；
    前記表示部は、前記撮影範囲画像と前記ライブ画像とを同じ画面に表示する；
    請求項１ないし請求項１５のいずれか１項に記載の三次元計測用画像撮影装置。
17. 前記撮影部は、移動中の撮影者が現在位置で測定対象物を撮影することによりライブ画像を取得し；
    前記マーク撮影回数計数部は、前記撮影回数として前記現在位置で撮影した場合を含めた撮影回数を計数し；
    前記マークグループ化部は、前記マークを前記マークの撮影回数毎にグループ分けし；
    前記表示部は、前記撮影範囲画像と前記ライブ画像とを同じ画面に表示し、前記マークを前記マークの撮影回数毎にグループ分けして表示する；
    請求項１２に記載の三次元計測用画像撮影装置。
18. 測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
    自他識別可能な識別コードを有するマーク、及び当該マーク自体では識別性がない非コードマークが所定の条件で貼付された測定対象物を撮影する撮影部と；
    前記撮影部で撮影された撮影画像から前記マークを抽出するマーク抽出部と；
    前記マーク抽出部で抽出されたマークの識別コードを識別し、前記識別コードを前記マークに付与されるマーク符号と対応付けるコード識別部と；
    前記マーク抽出部で抽出された非コードマークについて他の自他識別可能なコードを有するマークとの配置関係から前記非コードマークを識別し、前記非コードマークにマーク符号を付与する非コードマーク識別部と；
    前記撮影画像の画面の各位置で抽出されたマークについて、前記識別された識別コードにより又は他の自他識別可能なコードを有するマークとの配置関係により前記マーク符号を特定し、前記撮影画像における前記測定対象物の領域を前記マーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分する撮影領域区分部と；
    各前記撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数部と；
    前記撮影領域の撮影回数に応じて、前記撮影領域を２以上のグループにグループ分けする撮影領域グループ化部と；
    前記測定対象物の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に前記測定対象物に貼付されたマークの位置を前記マーク符号と対応付けて入力するマークデータ入力部と；
    前記撮影範囲画像に入力されたマークの位置を、前記撮影領域を囲むマークのマーク符号が合致するように結線して前記撮影範囲画像に前記撮影領域を当てはめる撮影範囲画像形成部と；
    前記撮影範囲画像において、前記当てはめられた撮影領域を前記２以上のグループにグループ分けして表示する表示部とを備える；
    三次元計測用画像撮影装置。
19. 測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影方法において；
    自他識別可能な識別コードを有するマークが所定の条件で貼付された測定対象物を撮影する撮影工程と；
    前記撮影工程で撮影された撮影画像から前記マークを抽出するマーク抽出工程と；
    前記マーク抽出工程で抽出されたマークの識別コードを識別し、前記識別コードを前記マークに付与されるマーク符号と対応付けるコード識別工程と；
    前記撮影画像の画面の各位置で抽出されたマークについて、前記識別された識別コードにより前記マーク符号を特定し、前記撮影画像における前記測定対象物の領域を前記マーク符号が特定された３以上のマークで囲まれた領域（当該マークを含む）からなる撮影領域に区分する撮影領域区分工程と；
    各前記撮影領域について、異なる撮影画像に含まれる撮影回数を計数する領域撮影回数計数工程と；
    前記撮影領域の撮影回数に応じて、前記撮影領域を２以上のグループにグループ分けする撮影領域グループ化工程と；
    前記測定対象物の撮影範囲を二次元又は三次元空間に表現するための撮影範囲画像の座標空間に前記測定対象物に貼付されたマークの位置を前記マーク符号と対応付けて入力するマークデータ入力工程と；
    前記撮影範囲画像に入力されたマークの位置を、前記撮影領域を囲むマークのマーク符号が合致するように結線して前記撮影範囲画像に前記撮影領域を当てはめる撮影範囲画像形成工程と；
    前記撮影範囲画像において、前記当てはめられた撮影領域を前記２以上のグループにグループ分けして表示する表示工程とを備える；
    三次元計測用画像撮影方法。