JP2017034576A

JP2017034576A - 画像撮影システム、撮影装置、および画像処理装置

Info

Publication number: JP2017034576A
Application number: JP2015154692A
Authority: JP
Inventors: 伸治坂野; Shinji Sakano
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-08-05
Filing date: 2015-08-05
Publication date: 2017-02-09

Abstract

【課題】傾斜した被写体の撮影画像からの正対化画像への変換の簡便化を図ること。【解決手段】撮影装置は、被写体を撮影するカメラと、撮影領域に少なくとも４地点にマーカを付与し、そのマーカの３次元座標を導出するための距離あるいはマーカ付与のパン角度あるいはチルト角度などの物理パラメータが計測可能なマーカ付与部と、を有し、マーカ付与地点の画像位置にマーカが付与されたマーカ画像とマーカが付与されていないマーカ無し画像を撮影し、画像処理装置では、マーカ画像のマーカ像座標と３次元座標から正対化画像のマーカ座標を求め、これらから正対化画像への投影変換補正値導出し、これをマーカ無し画像に適用し、正対化画像を生成する。【選択図】図１

Description

本発明は、カメラで撮影した被写体の１箇所または連続的な複数個所の撮影画像を正面から見た正対化画像に変換する撮影システム、撮影装置および画像処理装置に関する。

近年、高度成長期に建築されたビルや橋梁、トンネル、ダムなどのコンクリート構造物が耐用年数に達し始めたため、これら構造物の損傷状態を点検し、修復や補修の必要性を判定する必要性が増大している。従来の構造物の損傷状態の点検において、点検作業員が地上や路上から容易には構造物を点検できない場合には、足場を組んだり、橋梁点検車などのクレーンの先にあるデッキに乗り込んだりして、点検作業員が高所や橋の下などの点検対象の近接目視で観察していた。しかし、近年では、足場構築や点検車輌利用の費用や時間の削減と点検作業員の安全性確保のため、カメラ撮影による観察技術が導入されてきている。

構造物の損傷状態の点検では、点検範囲は、例えば数［ｍ］〜数十［ｍ］と広く、点検すべき亀裂幅は、例えば髪の毛よりも細い０．２［ｍｍ］幅などのように細かい。単一の撮影画像では、広範囲を撮影すると解像度が不足する、一方、解像度を高くすると狭い範囲しか撮影できない。そこで、カメラ撮影による観察技術としては、カメラを構造物から離れた見通しの効く安定した地点に設置して遠隔から撮影した複数の高解像度の画像を使って観察することにより、近接目視を代替することが進められている。

遠隔からカメラで撮影するときには、必ずしも被写体表面に正対した位置で撮影できるとは限らず、傾斜した撮影角度で撮影する場面が多々ある。傾斜して撮影した画像では遠近効果により画像の寸法が歪むために正しいひび割れの長さや幅を画面から測ることができなくなる。特に、遠隔から広い範囲に亘り高精細な画像を得るためにマルチ画像撮影すると、必ずこの傾斜撮影が付きまとう。

遠隔地点から撮影した画像を被写体に正対化した画像に合成する方法としては、特許文献１にカメラの光軸方向での被写体までの距離、方位角、仰角を計測しならが、隣接する互いの撮影領域の一部が重複するように最低３箇所の撮影領域を撮影して、重複領域の画像情報を使って合成した画像について得られる３つのカメラの光軸上の被写体点の座標位置から、三角関数処理を行い、正対画像化することが記載されている。特許文献１の［０００９］には、カメラの光軸（１）に対する測定点（Ｓ２），（Ｓ２），（Ｓ３）までの距離と水平角、垂直角を計算して被調査面（Ａ）の傾斜角を求め、演算処理により被調査面（Ａ）を正面から正対して見た画像となるように表示するとある。また、装置構成は、特許文献１の図３に見るように垂直ロータリーインデックス、ロータリエンコーダや水平ロータリーインデックスやロータリエンコーダ、光学距離計に連動させるようにカメラを載せて一体化した光軸を基準にした構成である。また、遠隔撮影ではないが、傾斜した撮影画像の正対化技法にとしては特許文献２に、被写体に照射した光の被写体からの反射光の向きに基づいて照射点の３次元位置を特定、具体的にはカメラ光軸と光照射方向とカメラと光源の間隔から三角測量し、その３点の三次元座標に基づいて基準画像の座標変換処理を行い正対画像化することが示されている。

詳しい斜め撮影による歪みの補正に関して、特許文献２に示されている。特許文献２の［００４８］〜［００５９］に記載された手法について特許文献２の図５および図６を参照して説明する。撮影カメラの視点を原点Ｏとする画像処理装置基準で取得した被写体面上の３点の反射点の３次元座標を算出して、平面方程式の係数パラメータ（ａ，ｂ，ｃ）を求める。具体的には、撮影画像の画像座標（ｘ，ｙ）に対応する視線の向き（カメラの光軸：ｚ軸）として撮影原点Ｏと光学中心の距離ｆとする中心射影モデルとし、装置座標のｚ軸を被投影面（被写体面）の単位法線ベクトル（ａ，ｂ，ｃ）に変換するための行列Ｒを求め、パラメータ（ａ，ｂ，ｃ）を用いて、画像座標中の画像の１点ｐへの３次元ベクトルを延長して被投影面との交差する点Ｐを座標変換後の画像座標として、光学中心Ｏから被投影面までの距離を表す拡大係数ｋを用いて特許文献２の式（９）で表し、さらに、回転行列Ｒを用いて、被写体面に正対させたときの３次元ベクトルＰ’に変換することで、補正変換後の（Ｘ，Ｙ）を特許文献２の式（１１）として求めている。

撮影カメラの撮影画像座標に対して被投影面への投射を行うために撮影方向（カメラの光軸）を基準として、被写体面の平面方程式を求め、被写体面上で法線上の視点から法線と逆方向に見た投射画像の座標に変換する基本的な手法を述べている。さらに、特許文献２の［００６４］〜［００６７］には互いに重複した領域を持つ２つの隣接画像の合成方法について示されている。ここでは重複した領域の被写体像からブロックマッチングにより両画像の共通の特徴点を４点検出して隣接画像に基準画像で求めた正対化の補正値を特許文献２の式（１３）における８つのパラメータを求めて貼り合わせることで、最初に撮影した被写体面に正対する画像へ射影変換されることが記載されている。

両者の文献で共通していることは、カメラの撮影方向を基準とする座標系を使っている点である。実際には、カメラ自身に距離計や角度計を直接置くことができないために、カメラの周囲や光源との三角法などの間接的な構成を使って座標系を間接的に構成するしかない。カメラ自体が座標を求める機械系の中心として計測系を含む必要あるために、大きな望遠カメラを使う場合には全体の装置が大掛かりになる。また、特許文献１では、一部の隣接する撮影領域において重複する共通領域を持たせた３つの別アングルの撮影画像を組み合わせて正対画像化するため、最低３回撮影しないと正対化画像を得ることができない。このため、被写体上の適切な位置に目印がない撮影ではカメラ自身を動かす必要があるため前の撮影領域との重複部分が分からなくなる。これを回避するためにはカメラの撮影方向を正確に制御する仕組みが必要であった。特許文献２では、基準画像に隣接する参照画像の貼り合わせにおいて重複した狭い画像領域の４つ以上の特徴点を得て、基準画像で得た平面上に貼り合わせる手法が示しされているが、この手法において適した特徴点が被写体にあるとは限らないし、狭い領域の４点では合わせ誤差が大きくなる危険性があり、また、原理上に基本画像と参照画像の撮影領域において被写体が全て平坦な同一平面上であれば使えるが、湾曲した構造物表面の合成に適用できない。

特開平１０−７８３０５号公報特開２０００−３０７９４７号公報

構造物の表面を遠隔地点から撮影した画像を正面から実寸の分かる被写体自体の表面画像とした正対化画像を得ること、さらに複数の連続して撮影した隣接画像の正対化した接合画像を容易に、確実に得ることを目的とする。

本願において開示される発明の一側面となる画像撮影システムは、撮影装置と画像処理装置を有する画像撮影システムであって、
前記撮影装置は、被写体の一部の撮影領域を撮影する少なくとも一つのカメラを有するカメラ装置と、前記撮影領域内の少なくとも４つの地点にレーザビームを照射してマーカを付与する少なくとも一つのマーカレーザと、前記付与されたマーカまでのマーカレーザの基準位置からの距離、あるいは、隣接する前記マーカレーザの照射方向の相互のパン角度またはチルト角度、を含む、各付与マーカの３次元座標を得るための物理パラメータを計測する計測部とからなるマーカ付与部と、を有し、前記マーカ付与部により、前記撮影領域の少なくとも４つの前記マーカ付与地点に対して同時または順次にマーカを付与した撮影画像と、同時または順次にマーカを付与しない撮影画像を前記カメラで撮影すると共に前記マーカ付与地点へのマーカの付与毎に前記物理パラメータの計測を実行し、
前記画像処理装置は、前記撮影装置から、前記撮影画像群と前記物理パラメータの計測値を取得する取得部と、前記マーカを付与した撮影画像のマーカ像を構成する画素集合に基づいて、前記撮影画像から前記マーカ像座標を抽出する撮影画像マーカ座標抽出部と、前記物理パラメータの計測値から、前記マーカ像に対応するマーカの３次元座標を導出し、前記３次元座標から前記マーカが構成する被写体表面の平面の座標に変換し、さらに前記被写体表面の平面に正対する特定の視点位置からの透視画像として前記マーカを見たときの正対化画像のマーカ座標を算出する正対化画像マーカ座標算出部、少なくとも４つの前記撮影画像のマーカ像座標と対応する前記正対化画像のマーカ座標から、撮影画像を正対化画像に投影変換するための正対化補正値を算出する正対化補正値算出部、前記正対化補正値を前記マーカ付与地点にマーカを付与しない画像に適用して、マーカ像の写り込みのない前記撮影領域の正対化画像を生成する正対化画像変換部、を有することを特徴とする。

本発明の代表的な実施の形態によれば、構造物の表面を遠隔地点から撮影した画像を正面から実寸の分かる被写体自体の表面画像とした正対化画像を得ること、さらに複数の連続して撮影した隣接画像の正対化した接合画像を容易に、確実に得ることができる。これにより、被写体から離れた遠隔地点からの撮影により構造物表面のひび割れなどの寸法が容易に正確に計測できる画像が得られ、安全かつ簡単に目視点検ができるようになる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１における画像撮影・画像処理システムの外観を示す説明図である。実施例１におけるマーカ付与部の構成例を示す説明図である。実施例１における撮影装置部の機能ブロック図である。実施例１における撮影装置部のタイミングチャートである。実施例１における撮影装置部のフローチャートである。実施例１における撮影概要と撮影画像群である。実施例１における画像処理装置部の機能ブロック図である。実施例１の画像処理における座標の関係を示す説明図である。実施例１における正対化画像群である。実施例１における正対化画像の接合処理の説明図である。実施例１における正対化画像接合のフローチャートである。実施例１における撮影画像処理のフローチャートである。実施例１における正対化画像マーカ座標設定のフローチャートである。実施例１における正対化画像形成と接合合成フローチャートである。実施例２における画像撮影・画像処理システムの外観を示す説明図である。実施例２における平行４マーカ一括マーカ付与部の構成例を示す説明図である。実施例２における２平行マーカチルト角可変一括マーカ付与部の構成例を示す説明図である。実施例２における撮影装置部のタイミングチャートである。

以降、本発明の実施例を、各図を参照して詳細に説明する。実施例として、被写体構造物としてのコンクリート構造物の表面を、三脚上の雲台に載せたカメラの撮影の方向やズームによる倍率を変えて撮影する撮影装置と画像処理装置からなる画像撮影・画像処理システムを示す。各実施例では、カメラ装置部とマーカ付与部からなる撮影装置と画像処理装置とを含んだシステムを例に挙げて説明するが、撮影装置と画像処理装置とは独立した構成であってもよい。すなわち、画像処理装置と有線通信または無線通信で接続して、撮影装置による撮影後に撮影装置で撮影された画像を撮影現場から離れた地点の画像処理装置に送信してもよい。また、撮影装置にＵＳＢメモリなどの可搬型記憶媒体を接続して撮影画像を可搬型記憶媒体に格納させ、撮影画像を格納した可搬型記憶媒体を画像処理装置に接続することで、画像処理装置が撮影画像を取得することとしてもよい。

また、以下の説明において、同一構成要素が複数存在する場合には、その符号に枝番がつけられる。マーカｐを例に挙げると、マーカｐが２個ある場合は、マーカｐ１、マーカｐ２のように分けて表記する。なお、説明上、複数の同一構成要素を区別しない場合は枝番を省略して、たとえば、マーカｐと表記する。

また、時系列な同一構成要素にもその符号に枝番がつけられる。この場合の枝番において「０」は初期位置を示す。マーカｐ１を例に挙げると、時系列順に、マーカｐ１−０、ｐ１−１、…、ｐ１−ｎ、ｐ１−（ｎ＋１）、…と表記する。なお、ｎは、移動の時系列を示す値で、０以上の整数である。

図１は、実施例１における画像撮影・画像処理システムの外観を示す説明図である。
基本的な構成は、撮影装置部５と画像処理部６からなる。撮影装置部５は、被写体表面４を撮影するカメラ２とカメラ２を搭載して撮影方向を安定に変えるカメラ雲台１５とからなるカメラ装置部７、被写体表面４上にマーカｐ１〜ｐ４を付与しながらその照射点までの距離を計測する機能を有する２つの距離計測機能付きマーカレーザ３−１と３−２、その２つのマーカレーザ３をセットでその照射方向のパン方向角度を変えて、パン角度を計測するロータリーエンコーダ１１と取り付け台１８を含むパン方向回転ステージ１９、ロータリーエンコーダ１１の値をＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）データとして変換するアダプタ１３とからなるマーカ付与部８、カメラ装置部７とマーカ付与部８の動作のタイミングを制御したり、取得された計測情報をＰＣに取り込んだりする制御部９、からなる。

また、画像処理部６は、計測情報と撮影画像を加工して正対化画像を生成するが、制御部９と画像処理部６は本実施例ではＰＣで実施している。ＰＣの機能、ＰＣによる処理については別の制御回路や処理回路で実現してもよい。本構成図のマーカ付与部６は縦に平行に並んだマーカレーザ３−１と３−２をパン角度方向に回転させることにより、撮影領域１０−０の４つのマーカｐ１〜ｐ４を形成する形態をとる。カメラ雲台１５の角度を操作してカメラ２による撮影領域１０の位置を変える。例えば、最初にカメラ２の撮影領域１０−０を設定しておき、この撮影領域１０−０に対して最初にマーカレーザ３−１，３−２のパン角度を調整して、マーカｐ１，ｐ２を撮影領域１０−０の左端に付与して画像を撮影し、次に撮影領域１０−０にカメラ２を調整した状態のままで、カメラ２のモニタ画像を見ながらマーカレーザ３−１，３−２のパン角度を移動して、撮影領域１０−０の右端にマーカｐ３，ｐ４としてマーカが付与されるように角度を決めた状態で次の画像を撮影する。同じ撮影領域１０−０を撮影した２つのマーカｐ１〜ｐ４の撮影画像におけるマーカ像座標を得ることができる。

次に、マーカｐ３，ｐ４を付与した状態でカメラ２のモニタ画像を見ながらカメラ２の雲台１５を動かしてマーカｐ３，ｐ４が次の撮影領域１０−１の左端にくるように撮影方向を調整し、次の撮影領域１０−１の最初の画像を撮影する。このときのマーカｐ３，ｐ４は次の撮影領域１０−１のマーカｐ１，ｐ２に対応する。このように、隣接撮影領域１０の設定おいてカメラ２の撮影方向の移動前後の共通のマーカｐ１，ｐ２をモニタ画像で目視確認しながら画像接合のための共通画像領域を確保する。合わせてマーカｐ１〜ｐ４の付与毎にマーカレーザ３の距離計測機能を使ってマーカｐ１、ｐ２までの距離を計測すると共にロータリーエンコーダ１１によりパン角度を計測し、制御部６に通知する。画像処理部６ではマーカｐ１〜ｐ４の距離とパン角度からなる３次元座標に関連する物理パラメータの計測値情報とカメラ２で撮影した撮影画像情報を処理して正対化画像を得る。

画像処理装置の詳細については図７以降に説明する。ここでは、基本的な動作例を示すためにモニタ画像を目視確認しながらマーカｐ付与位置の調整やカメラ２の撮影方向の調整を行う例を示すが、パン方向移動機構に位置制御機構と画像処理ソフトを組み合わせて自動的にパン方向の移動角度の調整することも可能である。

図２に実施例１におけるマーカ付与部８の構成例を示す。
図１にはパン角度回転ステージ１９の回転軸に２つのマーカレーザ３−１と３−２を平行に並べた構成の概要を示したが、その他の構成でも同様の機能を実現できるのでそれらの構成例も合わせて示す。（ａ）に２マーカレーザ平行配置でパン方向に回転させる構成、（ｂ）に２マーカレーザのチルト角度を固定してパン方向に回転させる構成、（ｃ）にマーカレーザ３−２のみのチルト角度が可動でパン方向に回転させる構成を示している。（ａ）の構成は図１に用いたマーカ付与部８の構成である。最初にこれについて説明する。２マーカレーザ３−１と３−２をパン回転方向に対して垂直な方向であるｙ軸方向（便宜上、下方向をｙ軸とする）に間隔Ｌ１２離して平行にレーザビームを照射するように配置され、レーザ雲台１６上に搭載されたパン方向回転ステージ１９のロータリーエンコーダ１１上の取り付け台１８を介して固定されている。マーカレーザ３−１と３−２によるマーカ付与点ｐ１とｐ２までの距離計測情報はローカル無線１７により制御部９に、また、ロータリーエンコーダ１１のパン角度計測情報はアダプタ１３を介して制御部９に送信される。

画像処理部６における画像処理では各付与マーカｐの３次元座標を求める必要があり、その座標系と撮影装置部５の各部の構成の関係について説明する。マーカレーザ３−１のレーザビームの照射方向をｚ軸とする。ｚ軸はパン方向の回転毎に変わるのでｎ回目の回転時のマーカレーザ３−１方向をｚ−ｎ軸とする。マーカレーザ３−２の照射方向はｙ軸方向にＬ１２移動させた方向で、ｚ−ｎ軸に平行となる。また、パン方向の回転中心がｙ軸であることから、ｙ軸とｚ−ｎ軸の交点を３次元座標系の原点Ｏとしてｘ−ｎ軸はパン方向の回転面内でｙ軸とｚ−ｎに垂直な方向となる。

マーカレーザ３−１，３−２からレーザビームの照射点であるマーカｐ１、ｐ２までの距離ｄ１−ｎ、ｄ２−ｎは夫々のマーカレーザ３の距離計測の基準点と被写体表面４との交点であるマーカｐ１、ｐ２までの距離となる。図中、夫々のマーカレーザ３の距離計測の基準点はｙ軸に接している。また、パン角度はロータリーエンコーダ１１の回転角度φｙ−ｎとなる。φｙ−ｎは画像処理では相対的な値を利用するので基点は任意位置でもよい。ここでは、上記のようにレーザビームの方向をｚ−ｎ軸として基準にしているが、例えば別の座標軸系として、パン雲台を水平してｘ軸が常に水平になるようにして、上記ｙ軸の水平面からのチルト角度の傾きφｘ−ｎを加えてｚ−ｎ軸を水平面からの座標系に変換して表現できるようにしてもよい。

図１中（ｂ）の構成例について説明する。２マーカレーザ３−１と３−２のチルト角度を固定してパン方向に回転させる構成である。マーカレーザ３−２はマーカレーザ３−１のレーザビームの照射方向（ｚ−ｎ軸）に対してｙ軸方向への傾斜角度（チルト角度）が角度φｘ１２に固定されている。マーカレーザ３−２のレーザビームの照射方向の線状の延長戦が原点Ｏを通るように設定されている。

この構成の特徴は、（ａ）の構成では被写体表面４に付与するマーカｐの間隔を大きくしたいときにはマーカレーザ３−１と３−２の間隔Ｌ１２を広げる必要があり、マーカ付与部８の構成寸法が大きくなるが、（ｂ）構成ではその寸法を大きくすることなく、マーカｐの間隔について、チルト角度φｘ１２を設定することで被写体表面４までの距離に合わせて設定することができる。図１中（ｃ）の構成例について説明する。（ｂ）のチルト角度φｘ１２の設定に自由度を持たせて、マーカレーザ３−２のチルト角度φｘ１２が可動である構成である。この構成ではマーカレーザ３−２のチルト角度を可変角度φｘ１２−ｎとすることで、被写体表面４までの距離に依らず任意にマーカレーザ３−１と３−２の照射位置であるマーカｐ１とｐ２の付与位置を設定することができる。

具体的な構成として、チルト角度回転ステージ２０をパン角度回転ステージ１９の取り付け台に装着して、チルト角度はチルト方向のロータリーエンコーダ１２により計測し、ロータリエンコーダアダプタ（記載省略）を介して制御部８に傾き角度φｘ−ｎ情報を提供する。各部品の配置と座標系との関係は、パン角度回転ステージ１９の回転軸をｙ軸、チルト角度の回転ステージ２０の回転軸をｘ−ｎ軸その交点を座標原点Ｏとし、マーカレーザ３−１の照射方向がｚ−ｎ軸とする。なお、ｚ軸の基準となるレーザビームを照射するマーカレーザ３−１はパン方向回転ステージ１９に固定されている。
上記構成において、パン角度の調整やチルト角度の調整方法について便宜上示具体的な手法はしていないが、手動による回転ステージの調整でもよいし、モータを使った自動回転ステージの遠隔制御による調整でもよい。

図３に撮影装置部５の機能ブロックを示す。
撮影装置部５は、カメラ装置部７、マーカ付与部８、制御部９を含む。カメラ装置部７は、カメラ２とパンとチルト方向カメラ２の撮影方向が調整可能なカメラ雲台１５からなり、カメラ２の撮影方向は、例えば、カメラ２のＩ１５モニタ画像情報を見ながら、Ｉ１７手動操作によりカメラ雲台１５を調整する。マーカ付与部８は距離測定機能付きのマーカレーザ３（ここではマーカレーザ部３）で詳細な機能としてレーザ光源２５−１、２５−２と距離計測部２６−１、２６−２よりなる。マーカレーザ部３−１と３−２を回転するためのパン回転角度計測部２８を含むパン回転ステージ１９やチルト回転ステージ２０を代表的に表したマーカレーザ回転部２７からなり、本実施例ではマーカレーザ回転部２７は図１のシステム構成に沿ってパン角度回転構成を対象にパン回転角度計測部２８を記載しているが、図２の（ｃ）のようにチルト角度回転構成も存在する場合には、チルト回転角度計測部２９がこのマーカレーザ回転部２７に含まれることになる。Ｉ１９モニタ観察による手動操作によりマーカレーザ回転部２７の調整やマーカレーザ雲台１６の調整が行われる。

パン角度回転角度計測部２８はロータリーエンコーダ１１とそのアダプタ１３よりなる。制御部９は少なくともマーカ３の移動やレーザ光源２５の点灯・消灯、カメラ２の移動や撮影、各種計測の実行などの動作のタイミングを制御するタイミング制御部２２と計測データ収集部２４からなる。動作タイミングについては、Ｉ１８モニタ観察からの手動操作入力による場合もあるが、自動的に図４の撮影装置部タイミングチャートに見るようなシーケンスによる動作を行う場合もありえる。計測したデータは、Ｉ１６マーカ位置関連情報として必要に応じて計測データ収集部２４から提供される。タイミング制御部２２からはＩ１１撮影制御信号がカメラ２に送られて、カメラ２では撮影動作をして、Ｉ１４撮影画像情報やＩ１５モニタ画像情報を出力する。また、マーカレーザ３には、Ｉ１２マーカレーザ点灯・消灯信号がレーザ光源２５に送信される。距離計測部２６の距離計測値とパン回転角度計測部２８でのパン角度計測値のＩ１３計測結果は計測データ収集部２４に送付され、必要に応じてＩ１６マーカ位置関連情報として提供される。

図４に図３に示した撮影装置機能ブロックの制御部８を中心とした撮影装置部のタイミングチャートを示す。
（１）はＩ１７モニタ観察からの手動操作によるカメラ雲台１５の設定で、マーカ付与方向に連動させるパン角度設定を示している。（２）はマーカレーザ３のパン方向回転ステージ１９のパン角度設定で、初期がφｙ−０、次がφｙ−１と移動する。（３）はマーカレーザ３の点灯・消灯で、最初の撮影のときのみ、消灯で、後は点灯状態となる。（４）はマーカ距離ｄ１、ｄ２の計測で、マーカレーザ３のパン角度を移動して設定した後に計測する。（５）はマーカレーザ３のパン角度φｙの計測で、（４）と同様にマーカレーザ３のパン角度を移動して設定した後に計測する。（６）はマーカ位置関連情報の発信で図３の機能ブロックの計測データ収集部２４からＩ１６マーカ位置情報として収集した距離情報やパン角度情報を発信する。（７）は静止画像撮影のタイミングであり、カメラ２のパン角度設定とマーカレーザ３のパン角度設定が安定した状態で撮影する。（８）は撮影画像情報発信で図３の機能ブロックのＩ１４撮影画像情報の発信である。（９）は撮影画像のＩＤで（１）のカメラ２のパン角度、（２）のマーカレーザ３のパン角度の組み合わせに対応して最初のカメラ２の撮影領域のマーカ像のない画像が（５１−０−ｏ）、以降、マーカｐが撮影領域１０の後方に位置する画像が（５１−ｎ−ｂ）、前方に位置する画像が（５１−ｎ−ｆ）として順次パン角度の回転にあわせてＩＤが与えられる。

図５に撮影装置部５のフローチャートを示す。
このフローチャートは、図４のタイミングチャートの初期の撮影からの流れを示す。ユーザは、手動操作により、撮影装置５を初期化し（ステップＳ１）、カメラ雲台１５を動かしてカメラ２の撮影領域１０を初期位置に設定する（ステップＳ２）。撮影装置５は、レーザマーカ３を消灯した状態で初期画像（５１−０−ｏ）を撮影する（ステップＳ３）。制御部８のタイミング制御部２２からのＩ１２制御信号によりマーカレーザ３のレーザ光源２５を点灯して撮影領域の片端に２つのマーカレーザ３のレーザビームの照射点（マーカ）が入るようにマーカレーザ雲台１６とパン方向の回転ステージ１９の角度を設定する（ステップＳ４）。マーカｐまでの距離とマーカレーザ３のパン角度を計測する（ステップＳ５）。２つのマーカを含む画像（１５−０−ｂ）を撮影する（ステップＳ６）。

ステップＳ７以降ステップ１２までの手順をステップ１０で最終撮影か否かを操作者が判断して終了とするまで繰り返す。２つのマーカが撮影領域１０の反対端に入るようにマーカレーザのパン角度を調整して設定する（ステップ７）。２つのマーカを撮影領域１０の前部に含む画像（１５−ｎ−ｆ）を撮影する（ステップ８）。ここでｎはカメラのパン方向の回転移動の反復の繰り返し番号で最初ｎは０である。マーカまでの距離とレーザのパン方向回転角度を計測する（ステップＳ９）。次に、最終撮影か否かの判断をして、最終ならステップ１３へ進み、継続ならば次のステップ１１へ進んで繰り返しループとして２マーカが次の撮影領域の片端に入るようにカメラのパン角度を調整（ステップＳ１１）し、２つのマーカを含む画像（ｂ）の撮影（ステップ１２）を経て、ステップ７に戻る。最終の場合には、初期のレーザマーカを付与していない画像（５１−０−ｏ）と、同じ撮影領域について撮影毎の片端と反対端に２づつ付与された合計４つのマーカｐの距離とパン角度の計測値情報およびマーカ像を含んだ２つの（５１−ｎ−ｂ），（５１−ｎ−ｆ）画像を出力して（ステップ１３）、終了する。
図６に、実施例１における撮影概要と撮影画像群を示す。
図６は図１でマーカレーザ３とカメラ２を図４のタイミングチャートと図５のフローチャートに沿ってパン方向に交互に回転、停止させたり、マーカレーザ３を点灯・消灯させたりしながら撮影した画像群を示している。図６中（ａ）は撮影画像群を得た撮影風景を上から見た撮影概要（平面図）を示している。ここでは、撮影対象の被写体表面４は左端が奥に傾斜し、正面から右寄りはひとつの平面を形成した被写体形状の例を示している。また被写体表面４は、簡単のためにカメラの２の撮影方向でパン回転方向に垂直な面としている。カメラ２を被写体表面４の左から右に角度を変えて左寄りから撮影領域ｎが（０）〜（３）まで撮影する。

図６の（ｂ）には（ａ）に示した撮影概要により得られる撮影画像群を示している。最初の撮影領域１０−０の設定では左奥に傾斜した面と正面の境界に後にマーカｐ１−１、ｐ２−１が付与できるように撮影領域１０−０を設定する。最初のマーカレーザ３−１，３−２のレーザビームの照射方向は撮影領域１０−０の左端に寄せた位置にマーカｐ１，ｐ２が来るように設定する。この状態で、まずは、図５のフローチャートのステップＳ１からステップＳ６までの一連撮影フローを進める。マーカレーザ３を消灯して撮影領域１０−０を撮影したのが撮影画像５１−０−ｏである。撮影画像群５１−０−ｏから５１−０−ｆでは左側が奥に傾斜した被写体面４であるために透視の遠近効果により左側が小さく写る。

マーカレーザ３を点灯して、マーカｐ１−０，ｐ２−０を被写体表面４上に付与して撮影したのが、マーカ像Ｐｏ１−０−ｂ，ｐｏ２−０−ｂを含んだ撮影画像５１−０−ｂである。撮影に合わせて、図４のタイミングチャートにあるように合わせて、マーカまでの距離情報ｄ１−０，ｄ２−０とマーカマーカレーザ３のパン角度の回転角度φｙ−０からなるマーカ位置情報を得る。

次からは、図５のフローチャートのステップＳ７からステップＳ１１をカメラ２の回転移動番号ｎ＝３になるまで繰り返した手順を実施して撮影した画像群になる。マーカレーザ３を右方向に回転して、撮影領域１０−０の中で被写体表面４が左奥に傾斜した面と正面から右寄りの面の境界線状にマーカｐ１−１，ｐ２−１を付与して撮影した、マーカ像Ｐｏ１−１−ｆ，Ｐｏ２−１−ｆを含んだ画像が撮影画像５１−０−ｆである。マーカｐを移動させる毎にそのマーカ位置関連情報を取得する。マーカｐの位置を保持した状態でカメラ２を右に回転し、境界線状に付与したマーカｐ１−１，ｐ２−１が撮影領域１０−１の左端に配置されるように角度を設定して、マーカ像Ｐｏ−１−ｂ，Ｐｏ２−１−ｂを含む撮影をしたのが撮影画像５１−１−ｂである。

次に、カメラ２の撮影領域１０−１を保持した状態で、マーカレーザ３を右方向に回転させてマーカｐ１−２，ｐ２−２を付与して撮影して、マーカ像Ｐ１−２−ｆ，Ｐ２−２−ｆを含む撮影をしたのが撮影画像１５−１−ｆである。同様にそのマーカ位置関連情報を取得する。次に、マーカ付与位置を固定した状態で、カメラ２を右に回転して、マーカ像Ｐ１，Ｐ２が撮影領域１０−２の左端に位置するように設定し、被写体表面４にあるひび割れ像４１とマーカ像Ｐｏ１−２−ｂ，Ｐ２−２−ｂを含む画像を撮影したのが撮影画像５１−２−ｂである。以下マーカレーザ３の角度の移動、カメラ２の回転移動を交互に繰り返し、マーカレーザ３の移動毎にマーカ位置関連情報を取得しながら、撮影したのが撮影画像５１−２−ｆ〜撮影画像５１−３−ｆである。

撮影全般において、撮影画像毎の被写体表面４の寸法と画像解像度の関係がほぼ同じになるようにするために被写体表面４とカメラ２の距離が大きくなるとカメラ２のズーム倍率を調節して撮影した結果、撮影画像５１−０〜５１−３で被写体表面４上の格子模様４２の近距離側の縦寸法が同じような撮影画像寸法となっている。撮影画像５１−１はほぼ被写体表面４の正面に正対する位置からの撮影なので被写体の格子模様４２は傾きのない十字に交差して写っている。撮影画像５１−２、５１−３と撮影方向が傾斜するにつれて、透視の遠近効果により遠い被写体表面４が小さくなる効果により、距離が離れる側の格子模様４２の間隔が狭くなる。傾斜した撮影画像では、遠近効果により被写体表面４の寸法が画像内で小さくなるように歪んでいる。

図７に、実施例１における画像処理装置部の機能ブロックを示す。
画像処理装置部６は、撮影画像群から必要な情報を取り出す撮影画像処理部３１、マーカ位置関連情報から正対化に必要なマーカ座標を算出正対化マーカ座標処理部３６、撮影画像マーカ像の座標値と算出した正対化画像のマーカ座標を使って撮影画像を正対化画像への変換処理や正対化画像の接合処理を行う画像合成処理部４１、からなる。

撮影画像処理部３１では、画像関連情報取得部３２が撮影装置部５からＩ１４画像関連情報を受け、一旦撮影画像保持部３３で保持し、撮影画像保持部３３はマーカ像含む撮影画像をマーカ座標抽出のためにマーカ座標抽出部３４に送出し、マーカを隠蔽した正対化画像や接合画像処理にするときに画像合成処理部４１にマーカ隠蔽用の撮影画像を提供する。撮影画像処理部３１のマーカ座標抽出部３４では、撮影画像群から、同じ撮影領域１０−ｎに対応するマーカ像を含む画像５１−ｎ−ｂ、５１−ｎ−ｆから、４つのマーカ像Ｐｏ１−ｎ〜Ｐｏ４−ｎの座標を抽出する。４つのマーカ像Ｐｏ１−ｎ〜Ｐｏ４−ｎは撮影領域１０−ｎに対応する処理において、Ｐｏ１−ｎとＰｏ２−ｎにＰｏ１−ｎ−ｂ、Ｐｏ２−ｎ−ｂ、Ｐｏ３−ｎとＰｏ４−ｎに、Ｐｏ１−（ｎ＋１）−ｆ、Ｐｏ２−（ｎ＋１）−ｆを用いる。

マーカ像の座標の抽出方法は、具体的には、例えば、マーカ像を含む画像を分割画像域で多くても１つのマーカ像が含まるように上下左右に４分割して、マーカ像が含まれる分割画像内で輝度分布を調べて、マーカ像が高輝度であることから、輝度ピーク座標を検知する。あるいは、高輝度領域であるマーカ像を識別するように所定の輝度閾値の上下で０，１に分けた二値化画像にしてその高輝度部の重心座標を求めるなど、それぞれのマーカについて共通の座標検出方法を適用してマーカ像の座標を抽出する。これを、５１−ｎ−ｂ、５１−ｎ−ｆの同じ撮影領域１０−ｎの２画像に適用することで、４つのマーカ像Ｐｏ１〜Ｐｏ４の座標を抽出する。仮に、被写体表面４自体が明るく、高輝度なマーカレーザ３の照射点が分かりづらいようなときには、５１−ｎ−ｂと５１−ｎ−ｆとの差分画像を使うことでマーカ像のない箇所の被写体表面４の画像が打ち消されマーカ像がＰｏ１−ｎ−ｂとＰｏ２−ｎ−ｂが浮き立ち、逆に５１−ｎ−ｆと５１−ｎ−ｂの差分画像を使うことでＰｏ１−（ｎ＋１）−ｆとＰｏ２−（ｎ＋１）−ｆであるＰｏ３−ｎとＰｏ４−ｎを浮き出させ、マーカ像座標を抽出することができる。

正対化マーカ座標処理部３６は、位置関連情報取得部３７とマーカ３次元座標算出３８と正対化画像マーカ座標算出部３９からなる。位置関連情報取得部３７は撮影装置部５からＩ１６マーカ位置関連情報を受け、マーカ３次元座標算出部３８では、マーカ位置関連情報である各マーカｐ１−ｎ〜ｐ４−ｎまでの距離情報ｄ１−ｎ、ｄ２−ｎやｄ１−（ｎ＋１）、ｄ２−（ｎ＋１）パン角度情報φｙ−ｎ、φｙ−（ｎ＋１）、平行配置のマーカレーザ間隔Ｌ１２などの物理パラメータから、撮影時の座標原点Ｏを基準にした３次元座標（ｘ−ｎ，ｙ−ｎ，ｚ−ｎ）を算出する。ここで４つのマーカｐ１−ｎ〜ｐ４−ｎは後の画像処理での流れの定義であり、ｐ１−ｎ、ｐ２−ｎの距離と角度情報はｄ１−ｎ、ｄ２−ｎ、φｙ−ｎでｐ３−ｎ、ｐ４−ｎの距離と角度情報はｄ１−（ｎ＋１）、ｄ２−（ｎ+１）、φｙ−（ｎ＋１）になる。正対化画像マーカ座標部３９ではマーカ３次元座標算出３８で得たマーカｐ１−ｎ〜ｐ４−ｎを座標変換により、正対化画像に対応するマーカ像の座標Ｐｔ１−ｎ〜Ｐｔ４−ｎを設定する。この処理の詳細については図８の画像処理における座標の関係を用いて後に説明する。

画像合成処理部４１は、撮影画像処理部３１で抽出したマーカ像の座標Ｐｏ１−ｎ〜Ｐｏ４−ｎの座標値と正対化マーカ座標処理部３６で設定した正対化画像のマーカ座標Ｐｔ１−ｎ〜Ｐｔ４−ｎを用いて、正対化補正値算出部４２で正対化画像への変換補正値を求め、正対化画像変換部４３でこの補正値を撮影画像保持部３３からの画像に適用することで画像毎の正対化画像を得る。また、隣接画像接合補正値算出部４４では正対化画像に対応するマーカ像の座標Ｐｔ３−ｎと〜Ｐｔ４−ｎが次の隣接画像のマーカ像座標Ｐｔ１−（ｎ+１）とＰｔ２−（ｎ＋１）が同じマーカｐ１−（ｎ＋１）とｐ２−（ｎ＋１）のマーカの画像であることを利用して、隣接画像の座標を統一するアフィン変換行列を求め、最終的には、その行列の行列積を導出することで、例えば、一つ目の画像に統一的に接合する補正値を算出する。マーカ隠蔽正対化画像合成部４５では、例えば、撮影画像保持部３３からの後部にマーカ像がある５１−ｎ−ｂの画像群を正対化画像変換した画像に隣接画像接合補正値を適用して統一座標化し、時系列で遅い画像に時系列で早い画像を重ねてマーカ像隠蔽するように上書きし、最後に最初マーカを付与せずに撮影した５１−０−ｏの画像を重ねることでマーカ像の写り込みのない正対化画像の接合合成画像を形成する。処理の詳細については図８を用いて後に説明する。正対化合成画像出力/保持部４６では、合成した画像を保持し、Ｉ２５表示指示に対応して、Ｉ２６出力情報を出す。

図８に実施例１の画像処理における座標の関係を示す。
画像処理部６では、撮影した図６の（ｂ）の画像群を、図１のマーカレーザ３で付与したマーカｐ１〜ｐ４の画像と３次元座標値を用いて正対化画像に変換する座標変換を行う。この手法について図８の座標系の関係を用いて説明する。図８中、３次元座標系を小文字、画像座標系を大文字の変数とする。図１の撮影系では図２中（ａ）のマーカレーザ３の配置構成を用いている。この構成では、ｙ軸の値はマーカレーザ３のパン方向の回転移動に依らず一定で０かＬ１２なのでｎ（枝番）を省略する。座標原点Ｏとする３次元座標系（ｘ−ｎ，ｙ−ｎ，ｚ−ｎ）を（ｘ，ｙ，ｚ）として、このときの各マーカｐ１-ｎ〜ｐ４−ｎの座標値を求める。撮影画像の位置については、実際にはカメラのレンズを介してピンホール像のように反転画像を用いる場合もあるが、被写体と座標関係を同じ方向に設定できることから、ここでは便宜上、図８に示すように直接被写体側に撮影画像を置く形態のモデルを示す。なお。３次元座標の単位は実寸である。マーカｐ１−ｎ〜ｐ４−ｎまでの距離は計測値ｄ１−ｎ，ｄ２−ｎとｄ１−（ｎ＋１），ｄ２−（ｎ＋１）より、ｎ番目の撮影領域毎に、
ｄ１＝ｄ１−ｎ・・・（１）
ｄ２＝ｄ２−ｎ・・・（２）
ｄ３＝ｄ１−（ｎ＋１）・・・（３）
ｄ４＝ｄ２−（ｎ＋１）・・・（４）
である。ｘ−ｎ軸の定義より、ｐ１とｐ２はｚ−ｎ軸とｙ軸のなす面内に定義されるためにｘ１−ｎ、ｘ２−ｎの値は０となり、ｘ３−ｎ、ｘ４−ｎはパン角度φｙは任意のパン角度基準からのφｙでよく、ただｚ−ｎ軸基準からの角度ΔφｙはΔφｙ＝φｙ−（ｎ＋１）−φｙ−ｎで与えられ、各マーカのｘ値は、
ｘ１＝０・・・（５）
ｘ２＝０・・・（６）
ｘ３＝ｄ３×ｓｉｎ（Δφｙ）・・・（７）
ｘ４＝ｄ４×ｓｉｎ（Δφｙ）・・・（８）
となる。ｙの値は、ｙ軸上でマーカレーザ３−１と３−２が間隔Ｌ１２で平行に配置されていることより、
ｙ１＝０・・・（９）
ｙ２＝Ｌ１２・・・（１０）
ｙ３＝０・・・（１１）
ｙ４＝Ｌ１２・・・（１２）
ｚの値は
ｚ１＝ｄ１・・・（１３）
ｚ２＝ｄ２・・・（１４）
ｚ３＝ｄ３×ｃｏｓ（Δφｙ）・・・（１５）
ｚ４＝ｄ４×ｃｏｓ（Δφｙ）・・・（１６）
と求まる。

４つのマーカｐ１〜ｐ４が位置する被写体平面４の単位法線ベクトルをρ（ａ，ｂ，ｃ）とすると、４点の中から３点、例えばｐ１、ｐ２、ｐ３を選択し、これら３点が形成する平面の法線ベクトルρは、ｐ１（ｘ１，ｙ１，ｚ１）からｐ２（ｘ２，ｙ２，ｚ２）へ向かうベクトルをＳ、ｐ１からｐ３（ｘ３，ｙ３，ｚ３）へ向かうベクトルをＴとおくと、
Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）＝（（ｘ２−ｘ１），（ｙ２−ｙ１），（ｚ２−ｚ１））・・・（１７）
Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）＝（（ｘ３−ｘ１），（ｙ３−ｙ１），（ｚ３−ｚ１））・・・（１８）
で、法線ベクトルρ（ａ，ｂ，ｃ）と平面上の任意のベクトル外積の成分が法線ベクトルと平行となることより、まず各ベクトルの外積値（Ａ，Ｂ，Ｃ）として、
Ａ＝Ｓｙ×Ｔｚ−Ｓｚ×Ｔｙ・・・（１９）
Ｂ＝Ｓｚ×Ｔｘ−Ｓｘ×Ｔｚ・・・（２０）
Ｃ＝Ｓｘ×Ｔｙ−Ｓｙ×Ｔｘ・・・（２１）
となる。

法線ベクトルは単長さで定義されるため、（Ａ，Ｂ，Ｃ）の長さ

を使って正規化することにより、
ａ＝Ａ／ｒ・・・（２３）
ｂ＝Ｂ／ｒ・・・（２４）
ｃ＝Ｃ／ｒ・・・（２５）
と単位法線ベクトル成分（ａ，ｂ，ｃ）を求めることができる。

上記は３つのマーカｐ１〜ｐ３の３次元空間座標から単位法線べクトル成分（ａ，ｂ，ｃ）を求めたが、ｐ１〜ｐ４の４つ座標精度あるいは平面そのものがばらつき、同一平面として、例えば、ｐ４のずれが大きくなるような場合には、平面内のマーカ間ベクトルＳ，Ｔの組み合わせについて他の組み合わせ、ｐ４からｐ２に向かうベクトルをＵ、ｐ４からｐ２に向かうベクトルをＶとして、
Ｕ（Ｕｘ，Ｕｙ，Ｕｚ）＝（（ｘ２−ｘ４），（ｙ２−ｙ４），（ｚ２−ｚ４））・・・（２６）
Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）＝（（ｘ３−ｘ４），（ｙ３−ｙ４），（ｚ３−ｚ４））・・・（２７）
を使い、ｐ１の対角のｐ４と、ｐ２、ｐ３により形成する法線ベクトルρ４（ａ４，ｂ４，ｃ４）を同様に求めて、先にｐ１を基準に求めたρ（ａ，ｂ，ｃ）との各成分毎に平均値化を行いさらに単位長化してもよい。これを、さらに他のマーカｐ２、ｐ３について求め、全マーカについての法線ベクトルの平均値化を行い、これを法線ベクトルρ（ａ，ｂ，ｃ）としてもよい。また、これまでは４つのマーカについての処理を示したが、より複数のマーカを付与した場合には（ａ，ｂ，ｃ）を（ｘ，ｙ，ｚ）の係数とする平面方程式の最小二乗法により算出できることが知られている。

マーカｐ１〜ｐ４が成す平面の座標系を（ｘｗ，ｙｗ）とするとき、原点Ｏを通りマーカ平面に平行な平面上の座標系（ｘｗ’，ｙｗ’）は、法線ベクトルρ方向とは逆方向のベクトル−ρを視点方向に設定した画像となるので、ｚｗ’軸を（−ａ，−ｂ，−ｃ）として、マーカ平面に平行な座標系（ｘｗ’，ｙｗ’,ｚｗ’）ヘの座標変換を行えばよい。この座標系への変換行列を[Ｒ]とおくと、
（０，０，１）＝[Ｒ]（−ａ，−ｂ，−ｃ）・・・（２８）
の関係が成り立つ。この[Ｒ]を用いて、マーカ平面に平行な平面の座標は
（ｘｗ’，ｙｗ’,０）＝[Ｒ]（ｘ，ｙ，ｚ）・・・（２９）
と表すことができる。この変換行列[Ｒ]は原点Ｏを基準とする二つの軸の回転の合成により表される。最初にｙ軸を回転軸とする（ｘ，ｚ）面の回転角をαとすると、
[Ｒy]＝[（ｃｏｓα，０，ｓｉｎα ）,（０，１，０）, （−ｓｉｎα,０，ｃｏｓα）] ・・・（３０）
となる。このαは（ｘ，ｚ）面内への−ρの射影とｘ軸が成す角で、
α=ｔａｎ^−１（−ａ／−ｃ）・・・（３１）
である。この変換ではｙ軸を基準に回転するためにｙ値は保持されて、ｘ軸とｚ軸の値が座標変換されるのでその値をｘ’、ｚ’とすると、
（ｘ’，ｙ，ｚ’）＝[Ｒy]（ｘ，ｙ，ｚ）・・・（３２）
で表される。

次に、ｘ’軸を回転軸として（ｙ，ｚ’）面の回転よりに、ｚ’軸が逆法線ベクトル−ρの方向に一致するようにβほど回転させる変換を[Ｒx’]とすると、
[Ｒx’]＝[（１，０，０）, （０，ｃｏｓβ，ｓｉｎβ）, （０，−ｓｉｎβ，ｃｏｓβ）] ・・・（３３）
となる。このβは逆法線ベクトル−ρが（ｘ,ｚ）面内への−ρの射影と成す角度で、

である。この２回の軸回転操作による座標変換により（ｘｗ’，ｙｗ’，０）への変換Ｒは、前記２つの軸回転[Ｒy]と[Ｒx’]の合成により、
[Ｒ]＝[Ｒx’][Ｒy] ・・・・（３５）
で表される。

原点Ｏを通るマーカｐ１〜ｐ４の形成する２次元平面に平行な座標（ｘｗ’，ｙｗ’）と実際の被写体表面４上のマーカｐ１〜ｐ４の形成する２次元平面座標（ｘｗ，ｙｗ）の関係について説明する。平面座標（ｘｗ’，ｙｗ’）と２次元平面座標（ｘｗ，ｙｗ）は、共通の法線ベクトルρ方向をもち、これをｚｗ’、ｚｗ軸方向と定義すると両平面への３次元座標値（ｘ、ｙ、ｚ）の射影（ｘｗ‘，ｙｗ’）と（ｘｗ，ｙｗ）とは同じ値を持ち、原点が（ｚｗ’−ｚｗ）移動した関係になる。よって、マーカｐ１〜ｐ４が形成する平面の３次元座標寸法での２次元平面座標（ｘｗ，ｙｗ）への変換行列は（ｘｗ’，ｙｗ’）の値がそのまま適用されて、Ｒの行列の上位２×３成分を（ｘ１，ｙ１）〜（ｘ４，ｙ４）に作用させることで求めることができる。
正対化画像の座標系を（Ｘｔ，Ｙｔ）とし、４つのマーカ像をＰｔ１〜Ｐｔ４とするとき、一例として、正対化画像の中心を４つのマーカ像の２次元平面座標（ｘｗ，ｙｗ）の重心におくとして、（ｘｗｇ，ｙｗｇ）すると、
ｘｗｇ＝Σ（ｉ＝１→４）ｘｗｉ／４・・・（３６）
ｙｗｇ＝Σ（ｉ＝１→４）ｙｗｉ／４・・・（３７）
となる。

正対化画像として４つのマーカ像ｐ１〜ｐ４の重心位置の法線ベクトル方向上の所定距離離れ他視点から見た画像とするとき、正対化画像と２次元平面座標系の値の射影比をｋ、平面座標系の寸法と正対化画像の画素座標系の寸法の変換値をｊとする被写体平面のマーカ座標値と正対化画像の座標値Ｐｔ（ｘｔ，ｙｔ）との関係は、重心座標をｐｇ（ｘｇ，ｙｇ）を用いて
（Ｘｔ，Ｙｔ）＝ｋｊ（ｘｗ−ｘｇ、ｙｗ−ｙｇ）・・・（３８）
と表される。この関係を４つのマーカの正対化画像の座標に適用することで、正対化画像のマーカの座標として（Ｘｔ１，Ｙｔ１）〜（Ｘｔ４，Ｙｔ４）を算出する。

つぎに、撮影画像の正対化画像への変換について説明する。まず、撮影画像の座標Ｐｏ（Ｘｏ，Ｙｏ）と被写体表面４上の２次元平面上の座標（ｘｗ，ｙｗ）の間の関係について、ホモグラフィ変換[Ｈｗ]を用いるとき、[Ｈｗ]の成分を
[Ｈｗ]＝[（ｈ１１，ｈ１２，ｈ１３），(ｈ２１，ｈ２２、ｈ２３)、（ｈ３１，ｈ３２，１）] ・・・（３９）
とするとき、この[Ｈｗ]が、
ｈ１１*Ｘｏ+ｈ１２*Ｙｏ+ｈ１３＝（ｈ３１*Ｘｏ+ｈ３２*Ｙｏ+１）*ｘｗ・・・（４０）
ｈ２１*Ｘｏ+ｈ２２*Ｙｏ+ｈ２３＝（ｈ３１*Ｘｏ+ｈ３２*Ｙｏ+１）*ｙｗ・・・（４１）
で表される。この（Ｘｏ，Ｙｏ）と先に求めた（ｘｗ，ｙｗ）に対応する４つのマーカ座標（Ｘｏ１，Ｙｏ１）〜（Ｘｏ４，Ｙｏ４）と（ｘｗ１，ｙｗ１）〜（ｘｗ４，ｙｗ４）を入れた連立方程式から、投影変換（ホモグラフィ変換）[Ｈｗ]の８つのパラメータを求めることができ、
（ｘｗ，ｙｗ）＝[Ｈｗ]（Ｘｏ，Ｙｏ）・・・（４２）
を得る。

次に２次元平面座標と正対化画像への投影変換（ホモグラフィ変換）を[Ｈｔ]とすると、正対化画像の座標Ｐｔ（Ｘｔ，Ｙｔ）と被写体２次元平面上の座標（ｘｗ，ｙｗ）の間の関係について、ホモグラフィ変換[Ｈｔ]を用いるとき、上記、（３９）式から（４２）式の（ｘｗ，ｙｗ）を（Ｘｔ，Ｙｔ）に、（（Ｘｏ，Ｙｏ）を（ｘｗ，ｙｗ）に置き換えることで、同様に［Ｈｔ］が求まり、
（Ｘｔ，Ｙｔ）＝［Ｈｔ］（ｘｗ，ｙｗ）・・・（４３）
の関係を得る。この[Ｈｔ]と先の[Ｈｗ]を組み合わせた[Ｈｏｔ]＝[Ｈｔ]・[Ｈｗ]では、撮影画像の４マーカ像の座標（Ｘｏ１，Ｙｏ１）〜（Ｘｏ４，Ｙｏ４）と正対化画像の４マーカの算出座標（Ｘｔ１，Ｙｔ１）〜（Ｘｔ４，Ｙｔ４）を上記の投影変換[Ｈｗ]を求める８つのパラメータと同様に投影変換のパラメータの算出に適用することで、[Ｈｏｔ]を求めることができる。その結果、
（Ｘｔ，Ｙｔ）＝[Ｈｏｔ]（Ｘｏ，Ｙｏ）・・・（４４）
となる。撮影画像のマーカ座標値と正対化画像のマーカ座標値を用いることで撮影画像から正対化画像への投影変換の補正値が求まる。以上のように、撮影画像の４つマーカ像の座標と４つのマーカの３次元座標を使うことにより、をカメラの撮影の光軸方向を求めることなく、容易に正対化画像を得ることができる。

図９に実施例１における正対化画像群を示す。
図８に示した投影変換により、図６の（ｂ）に示した撮影画像群について正対化処理した画像群である。正対化画像６１−０−ｂ、６１−０−ｆは図５の（ｂ）で左側奥まって傾斜した被写体表面４の撮影画像５１−０−ｂ、５１−０−ｆを正対化した画像ある。正対化に伴い、被写体の格子模様４２は２平行線が直交するようになり、撮影画枠は逆に左端が広がる。但し、被写体表面４の傾斜の境界線をより右側では水平方向の格子線が透視の遠近効果により傾いている。同様に撮影画像５１−１−ｂ〜５１−３−ｆの正対化変換した画像が正対化画像６１−１−ｂ〜６１−３−ｆである。いずれも、撮影画像の４つのマーカ像の重心点を基準とする平面に正対した画像となり、被写体の格子模様４２の２平行線が直交する画像となっている。

なお、正対化画像の中心は４つのマーカ像位置の重心座標からの法線上の視点からの撮影像としたが、図９では正対化画像の枠域を大きくして図６の撮影画像の枠の領域を有効範囲として撮影画像全域が現されるように表現している。図９の正対化画像６１−０や６１−２、６１−３の撮影角度が傾斜した画像の正対化画像で、画像の格子模様４２の縦線の間隔が横方向に伸びるように拡大されていることは、撮影画像座標系（Ｘｏ，Ｙｏ）での画素密度が等方であることから、広がり分程画像の解像度が低下していることを意味している。なお、傾斜した撮影の正対化画像の解像度については、予め、必要な解像度を基に正対化画像での解像度の劣化を考慮してカメラ２の画像の画素数と最大傾斜角度からから撮影領域１０を設定し、撮影倍率を合わせることにより、正対化画像で必要な解像度を得ることができる。

図１０に実施例１における正対化画像の接合処理の過程における画像群を示す。

接合画像を得るための補正値の導出である隣接画像接合のためのアフィン変換について説明する。ｎ番目の正対化画像のマーカ像Ｐｔ３−ｎとＰｔ４−ｎの座標（Ｘｔ３−ｎ，Ｙｔ３−ｎ）、（Ｘｔ４−ｎ，Ｙｔ４−ｎ）とｎ＋１番目の正対化画像のマーカ像Ｐｔ１−（ｎ＋１）とＰｔ２−（ｎ＋１）の座標（Ｘｔ１−（ｎ＋１），Ｙｔ１−（ｎ＋１））、（Ｘｔ２−（ｎ＋１），Ｙｔ２−（ｎ＋１））は同じマーカｐ１−（ｎ＋１）とｐ２−（ｎ＋１）のマーカ像の座標値である。ｎ番目の正対化画像の座標系（Ｘｔ−ｎ，Ｙｔ−ｎ）のマーカｐ１−（ｎ＋１）とｐ２−（ｎ＋１）とｎ＋１番目の正対化画像の座標系（Ｘｔ−（ｎ＋１）、Ｙｔ−（ｎ＋１））のマーカｐ１−（ｎ＋１）とｐ２−（ｎ＋１）の座標が同じになるようにｎ＋１番目の正対化座標の座標を変換するとｎ＋１番目の正対化画像とｎ番目の正対化画像を同じ座標系で繋げて接合させることができる。この接合のための座標変換のためのアフィン変換行列［γ］とすると、以下のように式（４５）で表される。
（Ｘｔ-ｎ，Ｙｔ−ｎ，１）＝［γ］（Ｘｔ−（ｎ＋１），Ｙｙ−（ｎ＋１），１）・・・（４５）
変換行列［γ］は、座標軸の回転と倍率変換と平行移動だけであるときには、下記式（４６）で表される。
［γ］＝［（Ａ,−Ｂ，ｔｘ）（Ｂ，Ａ，ｔｙ）（０，０，１）］・・・（４６）
ここで、Ａ，Ｂは回転と倍率変換の係数、ｔｘ，ｔｙは座標移動の係数である。この４つの未知数は、隣接画像６１−ｎと６１−（ｎ＋１）画像間で共通のマーカｐ１−（ｎ+１）とｐ２−（ｎ＋１）の各画像での（Ｘｔ，Ｙｔ）の座標値を入れた４つの方程式を解くことにより求めることができる。この算出値は、図７の機能ブロックの隣接画像接合補正値算出部４４で処理して得る。

図１０中（ａ）は、正対化した撮影画像を全てを一つの画像に接合合成するときのマーカ像の関係を示したものである。最初の撮影画像の正対化画像６１−０の座標（Ｘｔ−０，Ｙｔ−０）からｎ番目までのすべての画像について順次隣接画像間のアフィン変換行列の行列積の演算を行うことで、基準画像にｎ番目の座標系を統一座標化するための補正値を得て、（ａ）に示すように一つに統一された画像に接合した画像とすることができる。

図１０中（ｂ）は、正対化画像の中から、後部にマーカ像を有する正対化画像６１−ｎ−ｂ画像群のみを選択して、撮影の順番、時系列で遅い画像の上に順番の若い、早い画像を重ねて、ｎ＞０のマーカ像Ｐｔ１−ｎ−ｂ、Ｐｔ２−ｎ−ｂを隠蔽するように画像合成した接合画像である。

図１０中（ｃ）は、全正対化画像マーカ隠蔽接合合成画像として正対化画像６１−０−ｂに対応する画像にマーカを付与しない状態で最初に撮影した画像の正対化画像６１−０−ｏを適用し、さらに、被写体表面４の傾斜の境界に付与したマーカｐ１−１、ｐ２−１の正対化画像Ｐｔ１−１，Ｐｔ２−１を基準にして、画像接合に際しては正対化画像６１−０−ｏと６１−１−ｂと６１−１−ｆの一部同士でマーカ像の写り込みのない画像部分を組み合わせて合成した全正対化画像マーカを隠蔽接合合成した画像である。画像間の接合補正の基準であるマーカ像部分を基準に画像を組み合わせることで、撮影画像の収差の影響などによる画像接合部分のずれを最小限に抑えることができる。これらの一連の接合画像は、図７の機能ブロックのマーカ隠正対化画像合成部４５で行われる画像処理により得られる。

図１１Ａに実施例１における正対化画像接合のフローチャートを示す。
このフローチャートは図１の画像処理装置部６でとしてＰＣ内で行われる処理であり、また、図７の機能ブロックに基づき進められる処理である。まず、撮影装置部５から画像情報取得部３２でＩ１４撮影画像情報を取得し（ステップＳ２１）、その撮影画像情報を使って撮影画像処理部３１で撮影画像マーカ座標抽出する（ステップＳ２２）。また、平行して撮影装置部５からマーカ位置関連情報取得部３７でＩ１６マーカ位置関連情報を取得し（ステップＳ２３）、正対化マーカ座標処理部３６で正対化画像マーカ座標を導出する（ステップＳ２４）。画像合成処理部４１では、上記撮影画像マーカ座標と正対化画像マーカ座標を使って、正対化画像連結合成処理の実施を行う（ステップＳ２５）。
図１１Ｂに実施例１における撮影画像処理のフローチャートを示す。
図１１Ａに示した撮影画像マーカ座標の抽出（ステップＳ２２）の詳細なフローチャートであり、図７の画像処理部の機能ブロックの撮影画像処理部３１に関連する処理手順である。撮影画像情報からマーカ付与画像の撮影枚数情報とマーカ付与画像ＩＤを取得し（ステップＳ３１）、図６の（ｂ）に示される撮影画像群の撮影画像毎に４つのマーカ位置が区分けされるように画像に分割して撮影画像保持部３３で画像情報を保持する（ステップＳ３２）。マーカ座標抽出部３４において、画像ＩＤの枝番が“ｂ”ならば画像の後部の２つの分割域から、“ｆ”ならば画像の前部の２つの分割域から、分割画像毎に画像の輝度情報から高輝度なマーカの座標位置を特定したり、高輝度なマーカ領域を所定の輝度閾値で１と０の２値化して１のマーカ領域の重心座標を求めたりして、夫々のマーカ像の撮影画像の座標を抽出する（ステップＳ３３）し、得られたマーカ像の座標値を画像ＩＤと組み合わせて４マーカ像座標値として保持する（ステップＳ３４）。

図１１Ｃに実施例１における正対化画像マーカ座標設定のフローチャートを示す。
図１１Ａに示した正対化画像マーカ座標導出（ステップＳ２４）の詳細なフローチャートで、図７の画像処理部の機能ブロックの正対化マーカ座標処理部３６に関する処理手順である。マーカ位置座標関連情報取得部３７で各撮影領域１０に対応して撮影した画像毎に付与した２つのマーカ位置関連情報を取得して、これを撮影領域１０毎のマーカｐ１〜ｐ４に対応する４つのマーカ位置関連情報とする（ステップＳ４１）。次にマーカ３次元座標算出部３８で撮影領域１０での４つのマーカ位置関連情報から、例えば、マーカまでの距離情報ｄ１〜ｄ４、パン角度差Δφｙからマーカ付与に伴う基準位置Ｏに沿って３次元座標系値を算出する（ステップＳ４２）。

次に、正対化画像マーカ座標算出部３９で４つのマーカの座標から、マーカが構成する平面内の２つのベクトルの外積が平面に垂直な法線方向となることからこれを少なくとも３つのマーカに適用して３つのマーカが構成する平面の法線ベクトルの算出する（ステップＳ４３）し、逆法線ベクトルに対して垂直な平面の座標系に座標変換し、残りの一つのマーカを含めた４つのマーカの被写体表面４の平面上の２次元座標値を算出し（ステップＳ４４）、そして、被写体平面に正対する視点から、例えば、４つのマーカの重心位置の法線ベクトル方向上の視点からの正対化画像への座標への倍率と座標と正対化画像の画素座標への変換係数を与えることにより、４つのマーカの正対化画像の座標値を算出する（ステップＳ４５）。

図１１Ｄに実施例１における正対化画像形成と接合合成フローチャートを示す。
図１１Ａに示した正対化画像接合処理（ステップＳ２５）の詳細なフローチャートで、図７の画像処理部の機能ブロックの画像接合処理部４１に関する処理手順である。図１１Ｂに示した撮影画像処理のフローチャートにより算出された撮影画像の４マーカ座標値と図１１Ｃに示した正対化画像座標設定フローチャートにより示された正対化画像の４マーカ座標値とから投影（モノグラフィ）変換行列を正対化画像変換補正値として導出し（ステップ５１）、図７の画像処理装置部の撮影画像保持部３３から同じ撮影域の画像からマーカを隠蔽するための撮影画像や、分割画像からマーカ像の写り込みのない分割部を組み合わせて合成した画像に、ステップＳ５１で求めた投影変換用の補正値を適用し、マーカ無し正対化画像を形成する（ステップＳ５２）。

さらに、正対化画像の４マーカ座標値で正対化画像の隣接画像間で同じ被写体表面４に付与された共通の２マーカの夫々の画像でのマーカ座標値の値から正対化画像同士の接合合成用アフィン変換行列を接合用補正値として導出し（ステップＳ５３）、図７の画像処理装置部の撮影画像保持部３３からマーカ像が後部に存在する（ｂ）の画像群を撮影番号あるいは撮影時間を遡るように重ねて接合合成し、マーカを隠蔽するように接合画像を合成し（ステップＳ５４）、最終画像かを判断して最終画像でない場合にはステップ５１に戻って次の画像の処理を繰り返し、最終画像の場合には次のステップＳ５６に移行する（ステップＳ５５）。最終段階では最初にマーカ無し画像の正対化画像を重ねることにより全画像でマーカ像を隠蔽した正対化画像接合合成する（ステップＳ５６）。最終的にステップＳ５２で形成した撮影領域毎でマーカ像の写り込みのない画像やステップＳ５２の正対化画像やステップ５６の接合合成画像を保持し、出力指示に応じて出力する（ステップＳ５７）。ここでは、マーカ像の位置が移動方向の後ろ端にある画像群で時系列的に遡るように上書きし、最後に最初の撮影位置でマーカを付与しない画像で上書きする方法を述べたが、マーカ像の位置が移動方向の前端にある画像群で時系列的に下るように上書きする方法で、前者の最初のマーカを付与しない画像に代わって、最後にマーカ付与しない画像を撮影しておき、これで上書きすることでマーカ像を隠蔽した接合合成画像を構成することもありえる。

本実施例では、マーカレーザ３を２つ用いて両者がｙ座標軸上に平行に並べられてｙ軸に垂直な方向にレーザ光を出射する構成としたが、マーカレーザ３のレーザビームの出射角度と座標軸との傾斜角度が明確ならば、傾斜角度とマーカまでの距離計測値を用いて３次元座標を規定できる。
また、本発明では３次元座標の導出に実寸の計測値を適用しているために正対化画像におけるマーカ像の間隔に実寸を当てはめることができる。正対化画像を求めるマーカ座標の２次元座標での２つのマーカの間隔値は実寸を表すので、正対化画像の同じ２つのマーカの画像座標の間隔との比率を適用することで画面から被写体上の実寸法をに求めることができる。

また、正対化画像処理には４つのマーカｐ１〜ｐ４が必要で、隣接画像の接合処理には２つのマーカが必要があるが、４つよりも多いマーカを付与して被写体面の位置の計測値の精度を高めて、その内の高い輝度や間隔の広い位置関係や等法的な形状などの検知に適した４つのマーカを撮影画像の正対化に適用したり、隣接画像との共通領域の２つ以上のマーカから高い輝度や間隔の広い位置関係や等方的な形状などの検知に適した２マーカを選択して画像接合に適用したりすることもありえる。
＜実施例１の効果＞
以上説明した実施例１では、次の（Ａ）〜（Ｇ）のような効果がある。
（Ａ）撮影画像を正対化画像に変換するための作業は被写体表面上の撮影領域への４つの地点へのレーザ照射とその照射点の空間座標の導出と、任意位置から撮影した４つの地点のマーカ画像との組み合わせのみで、撮影画像から直接正対化画像に変換できるため、カメラの光軸を基準にした正対化のための３次元座標の計測するためのカメラに平行あるいは三角に所定角度に計測系を配置する必要がなく、カメラのみの独立した撮影を任意の場所から行えるので、望遠レンズなどカメラ自体が大きくなったり、重くなっても、また、撮影場所の空間が限られていても、被写体が見える幅広い場所から容易に撮影できる。

（Ｂ）被写体に付与するマーカレーザに距離計測レーザを使い、直接的に被写体上の特定点であるマーカ位置までの計測することから、正対化処理に必要な被写体上の特定点までの距離計測が簡単に行えて、しかも精度の高くなり、より正確な正対化画像が得られる。

（Ｃ）隣接画像接合には隣接画像間で重複する共通撮影領域が必要になるが、正対化処理に利用する高輝度なマーカレーザ照射点（マーカ）をそのまま重複領域の目印として利用することができるので、被写体表面の状態に依存することなく安定してかつ簡単に目視により隣接画像撮影領域の設定ができ、また、同時に正対化画像の補正値算出用マーカとして利用すると共に高精度で確実な隣接画像間の接合合成用の基準マーカとして利用できる。

（Ｄ）１箇所の撮影領域の正対化画像の取得において、別の２箇所撮影領域の撮影を行うことなく、１箇所の撮影領域のみの撮影で撮影領域に付与した４つのマーカ座標を使って正対化した画像を確認することができる。

（Ｅ）傾斜が異なる平面からなる被写体表面の観察において、付与するマーカが見えるために、少なくとも２つのマーカを異なる傾斜平面の境界に付与して異なる平面毎に別に４つのマーカを付与することでそれぞれの傾斜平面の正対化画像がえられるので、複数の傾斜からなる被写体表面においても一連の連続的な撮影作業で正対化画像が得られ、それぞれの表面でのひび割れ寸法などが画像から計測できる。

（Ｆ）２つのマーカレーザの照射位置を同じカメラ撮影領域内で移動して撮影する工程と、同じ２つのマーカレーザの照射位置を保持した状態でカメラを移動して隣接する撮影領域を撮影する工程を交互繰り返すことで、各撮影領域のマーカ像写り込みのない正対化画像同士を接合した広い範囲の合成画像を得ることができ、被写体表面自体の広い範囲のひび割れ分布状態を一括して１枚の接合画像として扱うことができ、全体の中の損傷位置の特定から、ひび割れなどの詳細な状態までをみることができる。

（Ｇ）４つのマーカ像を写すだけで、実寸比率まで分かる正対化画像に変換できるので、カメラの倍率を把握する必要がなく、倍率値が表示されない一般的なカメラを使っても、ひび割れなどの実寸法を求めることができる。

実施例１では、複数の隣接する撮影画像を正対化画像に変換してさらに接合させる撮影装置部５と画像処理装置６からなる画像撮影・画像処理システム１について説明した。実施例２では、１箇所の撮影領域の撮影で正対化画像を取得する４マーカレーザを同時付与する形態について説明する。
図１２Ａに実施例２における画像撮影・画像処理システムの外観を示す。被写体表面４上の撮影領域１０−０にカメラ雲台１５を調整してカメラ２を向けて倍率（ズーム）も調整する。マーカ付与部８は距離計測機能を有する４つのマーカレーザ３−１〜３−４を長方形の頂点に配置し、その長方形の面垂直な方向に平行にレーザビームが放射されるように配置されている。マーカｐ１〜ｐ４が撮影領域１０−０に収まるようにマーカレーザ雲台１６で照射角度を調整して、カメラ２で撮影する。このとき、マーカレーザ３−１〜３−４を一括して同時に消灯した状態と点灯した状態の２枚の画像を撮影する。

図１２Ｂに実施例２における平行４マーカ一括マーカ付与部の構成例を示す。
４平行マーカ一括マーカ付与構造と合わせて座標系の関係を示す。マーカレーザ３−１と３−２、マーカレーザ３−３と３−４は平行でかつ間隔Ｌ１２あけて固定配置される。また、マーカレーザ３−１と３−３、マーカレーザ３−２と３−４も平行でかつ間隔Ｌ１３あけた関係にある。長方形の頂点に配置されたマーカレーザ３−１〜３−４はマーカレーザ雲台１６に取り付け台１８により固定される。このときのマーカレーザ３−１〜３−４の距離計測基準とマーカ付与部８の座標系の関係は、座標原点Ｏをマーカレーザ３−１の距離計測基準として、マーカレーザ３−１のレーザビームの放射方向をｚ軸とするときに、直交するｘ軸上にマーカレーザ３−３の距離計測基準、ｙ軸上にマーカレーザ３−２の距離計測基準が来るように、また、マーカレーザ３−２からｘ軸に平行にマーカレーザ３−３からｙ軸に平行にマーカレーザ３−４の距離計測基準が来るように配置する。そして、各マーカレーザ３−１〜３−４により夫々のマーカｐ１〜ｐ４までの距離ｄ１〜ｄ４を計測すると共に、カメラ２でマーカレーザ３の消灯したときのマーカ無し画像と点灯したときのマーカ有り画像を撮影する。４つのマーカレーザ３の関係が長方形の頂点でなく、平行四辺形の頂点に配置される場合に、２つの平行な辺の間隔とい隣接する辺の傾斜角度情報を取得し、三角関数で４つのレーザマーカの座標移動に変換することで３次元座標系に反映させることができる。さらに、レービームの放射方向が平行四辺形の面と傾斜する場合にはその傾斜角度を取得し、マーカ距離計測値にその傾斜角度を反映させることで、マーカの３次元座標を導出させることができる。

図１２Ｃに実施例２における２平行マーカチルト角可変一括マーカ付与部の構成例を示す。２平行チルト角可変４マーカ一括マーカ付与構造と合わせて座標系を示す。図１２Ｂでは４つのマーカレーザ３の位置と方向が全部固定されていたが、図１２Ｃの構成では、マーカレーザ３−２と３−４のレーザビームの放射角度がチルト角度上でマーカレーザ３−１と３−３のレーザビームの放射角度に対して可変な構造とする。マーカレーザ３−１と３−３は、チルト方向回転ステージ２０の回転軸に平行な方向でＬ１３離れた平行な関係で取り付け台１８に固定され、マーカレーザ３−２と３−４は、Ｌ１３離れてチルト回転ステージ２０に固定される。マーカレーザ３−１のレーザビームの放射方向をｚ軸、チルト回転の回転軸方向をｘ軸方向とするとき、マーカレーザ３−２の距離計測基準はチルト回転ステージ２０の回転軸上にあり、マーカレーザ３−１とマーカレーザ３−２の関係はマーカレーザ３−２の距離計測基準がマーカ３−１の距離計測基準のｙ軸方向で直上にＬ１２離れるように配置される。座標原点Ｏは、３次元座標系での定義が行い易いように、マーカレーザ３−１とマーカレーザ３−２のレーザビーム放射方向の逆方向の延長線上の交点とする。このため、ｘ軸自体はチルト回転ステージ２０の回転中心軸ではなくなる。図１２Ａのカメラ２の撮影領域１０−０を設定すると、その撮影領域にマーカｐ１とｐ３が付与されるようにマーカレーザ雲台１６で調整した後、図１２Ｃのチルト回転ステージ２０の角度φｘ１２を調整して適切な位置にｐ２とｐ４が配置されるようにする。その後、チルト角度をロータリーエンコーダ１２（図２Ｃ参照）で計測し、さらに、各マーカレーザ３−１〜３−４によりマーカｐ１〜ｐ４までの距離ｄ１〜ｄ４を計測すると共に、カメラ２でマーカレーザ３の消灯したときのマーカ無し画像と点灯したときのマーカ有り画像を撮影する。実施例２の撮影装置部５の機能ブロックについて、実施例１の機能ブロックを示した図３との違いを中心に図３を用いて説明する。図１２Ｂに示した平行４マーカ一括マーカ付与部構成では、マーカ付与部８は４つのマーカレーザ３−１〜３−４のみであるのでマーカレーザ回転部２７が省かれ、マーカレーザ部に３−３と３−４を追加した構成になる。また、図１２Ｃに示した２平行マーカチルト角可変一括マーカ付与部構成ではマーカレーザ部が３−１〜３−４になると共にマーカレーザ回転部２７のパン回転角度計測部２８がチルト回転角度計測部２９に置き換わる。

図１３に実施例２における撮影装置部のタイミングチャートを示す。（１）はカメラ雲台１５によるカメラ撮影方向の設定で、例えば、カメラ２のモニタ画像を見ながら手動で撮影領域１０を適切に配置する。（２）はマーカレーザ雲台１６によるマーカレーザ３の照射方向の設定で、（１）で設定した撮影領域１０内の適切な位置に４つのマーカｐ１〜ｐ４が配置されるように、例えばカメラ２のモニタ画像を見ながら手動で設定する。図１２Ｃに示した２平行チルト角度可変マーカ一括マーカ付与部構成の形態では、最初にｐ１とｐ３の位置を決めた後、チルト方向回転ステージ２０を調整して撮影領域１０内の適切な位置にマーカｐ２とｐ４が配置されるようにする。（３）はマーカレーザ３の点灯・消灯で、カメラ２による同じ撮影領域１０の撮影において、全マーカｐ１〜ｐ４を消灯した画像と点灯したマーカ付与画像の撮影に連動させるように動作させる。（４）はマーカ距離ｄ１〜ｄ４の計測のタイミングで４つマーカｐ１〜ｐ４を付与している間に計測する。（５）はマーカ位置関連情報の発信で計測データ収集部２４からＩ１６マーカ位置情報として収集した距離情報やチルト角度情報を発信する。（６）は静止画像撮影のタイミングで、同じ撮影領域１０にマーカｐ１〜ｐ４を付与した状態のマーカ有り画像と付与しない状態のマーカ無し画像をカメラ２で撮影する。（７）は撮影画像情報発信で図３の機能ブロックのＩ１４撮影画像情報の発信である。（８）は撮影画像のＩＤで、ここでは（１）のカメラ２の設定による撮影領域１０とマーカ付与の有り（ｗ）と無し（ｏ）の画像が識別できるように画像ＩＤを得る。

撮影装置部５の動作処理手順のフローは、図１３に示したタイミングチャートに従う流れで、各機能ブロックを動作させる。基本的には、カメラ２で撮影領域１０を設定して、その撮影領域１０内の適切な位置に４つのマーカｐ１〜ｐ４を付与する。適切な位置とは、例えば、画面を４分割してその分割画像の中央近辺など、夫々のマーカｐが明確に識別場所できる位置である。４つのマーカｐ１〜ｐ４を付与した画像と付与しない画像をカメラ２で撮影して、合わせて４つのマーカｐ１〜ｐ４の３次元座標のための物理パラメータ値である位置関係情報として、距離ｄ１〜ｄ４を計測する。４つのマーカレーザ３のレーザビームの放射方向が傾斜した関係にある場合にはチルト角度上の傾斜角度も３次元座標用物理パラメータ値である位置関係情報として取得する。撮影した画像情報とマーカ位置関係情報を画像処置装置部６に発信するものである。このとき、撮影領域１０の識別のために、撮影番号や撮影時刻などに関連付けて画像ＩＤを設定して、マーカ位置関係情報もそのＩＤに関連づけて発信する。

次に実施例２の画像処理装置部６について説明する。実施例２における画像処理部６の機能ブロック構成は実施例１の図７の画像処理装置の機能ブッロクにおいて、隣接画像接合補正値算出４４とマーカ隠蔽正対化画像合成部４５を省いた構成となる。各機能ブロックの詳細ついて実施例１との差分を中心に説明する。画像関連情報取得部３２では、４つのマーカ付与された画像と同じ撮影領域でマーカの付与されていないＩ１４撮影画像情報を取得し、撮影画像保持部３３で保持する。マーカ座標抽出部３４では、４つのマーカの付与された例えばマーカ画像５１−０−ｗを４分割をして夫々のマーカ座標（Ｘｏ１，Ｙｏ１）〜（Ｘｏ４，Ｙｏ４）を導出する。マーカ位置関連情報取得部３７では、４つのＩ１６マーカの位置関連情報を取得して、マーカ３次元座標算出部３８ではマーカ付与時の原点Ｏと計測値から被写体表面４上のマーカの３次元座標を算出し、正対化画像マーカ座標算出部３９では実施例１と同様に被写体表面４上のマーカｐ１〜ｐ４の２次元座標を算出した後、正対化画像の視点位置を設定してマーカ座標（Ｘｔ１，Ｙｔ１）〜（Ｘｔ４、Ｙｔ４）を算出する。正対化補正値算出部４２において投影変換の補正値を４つのマーカ像座標値と正対化画像でのマーカ座標設定値から求めて、正対化画像変換部４３ではその補正値を撮影画像保持部３３のマーカ無し撮影画像５１−０−ｏに適用して、マーカ像の写り込みのない正対化画像を得る。その正対化画像を正対化合成画像保持／出力部４６に保持して、Ｉ２５表示指示に応じてＩ２６出力情報を提供する。

実施例２の正対化マーカ座標処理部３６の処理について、図１２Ｂと図１２Ｃに４平行マーカ一括マーカ付与部と２平行チルト角度可変４マーカ一括マーカ付与部構造を用いた２つ形態での３次元座標系について説明する。
図１２Ｂの４平行マーカ一括マーカ付与部構造では縦横に直交する軸に平行に配置された、すなわち長方形の頂点上に配置された４つのマーカレーザ３−１〜３−４の距離計測の基準点を原点Ｏとするときの３次元座標系でのマーカ座標を示す。３次元座標系のｘの値は、マーカレーザ３−１と３−３がｘ軸上でＬ１３離れて配置され、また３−２と３−４が‐ｙ方向に間隔Ｌ１２移動して平行に配置されていることより、
ｘ１＝０・・・（４７）
ｘ２＝０・・・（４８）
ｘ３＝Ｌ１３・・・（４９）
ｘ４＝Ｌ１３・・・（５０）
ｙ１＝０・・・（５１）
ｙ２＝Ｌ１２・・・（５２）
ｙ３＝０・・・（５３）
ｙ４＝Ｌ１２・・・（５４）
となる。ｚの値は、各マーカｐ１〜ｐ４に対して被写体表面４までの距離がそのままｚの値となるので、
ｚ１＝ｄ１・・・（５５）
ｚ２＝ｄ２・・・（５６）
ｚ３＝ｄ３・・・（５７）
ｚ４＝ｄ４・・・（５８）
となる。ここでは平行系として直交する軸に平行に配置した長方形の頂点への配置を示したが、直交した軸に沿わずに傾斜した角度で交わる平行四辺形のの頂点に配置する場合には平行な辺の間隔と隣接する辺の傾斜角度から、マーカレーザ３の基準点の座標を求めて補正することにより、同様に直交系の座標値として扱う。

図１２Ｃに示した２平行チルト角度可変４マーカ一括マーカ付与部構造では、各マーカレーザ３の距離計測の基準点とマーカレーザ３−１とマーカレーザ３−２のレーザビームの光軸の交点を原点Ｏとするときマーカレーザ３の距離計測の基準と原点Ｏの距離補正値をｄ０１とｄ０２するとき、平行な関係にあるｄ０３とｄ０４はそれぞれ同じ値となり、Ｌ１２とチルト角度φｘ１２を用いて、
ｄ０１＝Ｌ１２×ｔａｎφｘ１２・・・（５９）
ｄ０２＝Ｌ１２／ｓｉｎφｘ１２・・・（６０）
ｄ０３＝Ｌ１２×ｔａｎφｘ１２・・・（６１）
ｄ０４＝Ｌ１２／ｓｉｎφｘ１２・・・（６２）
となる。
ｘ１＝０・・・（６３）
ｘ２＝０・・・（６４）
ｘ３＝Ｌ１３・・・（６５）
ｘ４＝Ｌ１３・・・（６６）
となる。上記距離補正値を用いてｙの値は、
ｙ１＝０・・・（６７）
ｙ２＝（ｄ２+ｄ０２）×ｓｉｎφｘ１２・・・（６８）
ｙ３＝０・・・（６９）
ｙ４＝（ｄ４+ｄ０４）×ｓｉｎφｘ１２・・・（７０）
ｚの値は、
ｚ１＝（ｄ１＋ｄ０１）・・・（７１）
ｚ２＝（ｄ２＋ｄ０２）×ｃｏｓφｘ１２・・・（７２）
ｚ３＝（ｄ３＋ｄ０３）・・・（７３）
ｚ４＝（ｄ４＋ｄ０４）×ｃｏｓφｘ１２・・・（７４）
と求まる。以上のように、φｘ１２の調節により、図１２Ａ中ｙ方向のマーカの間隔を自在に調整することができ、カメラ２のズームを使い撮影倍率を変えて撮影するときに、適切なマーカ付与間隔を与えることができる。

なお、図１２Ｂや図１２Ｃに示した構成において、ｘ軸を水平方向に設定して、水平方向からのマーカレーザ３のチルト角が分かれば、上記ｙ軸とｚ軸に傾斜角情報を加味することで、ｘ軸を水平にｙ軸を鉛直軸である水平基準の座標系に設定することができる。この水平基準の座標系を用いて、被写体平面の逆法線ベクトルをｚｗ軸とする正対化に際してｘｗ軸が水平面内にあるように、式（２８）〜（３５）の座標変換を実行することで２次元座標系（ｘｗ，ｙｗ）のｘｗを水平基準に設定することができるので上下方向が通常の方位となり、正対化画像が見やすできる。

上記３次元座標の設定は図７の画像処理装置部６ではマーカ３次元座標算出部３８で処理する。正対化画像マーカ座標算出３９では、算出した４つの３次元座標値を用いて、実施例１の図８と図９に示した正対化画像座標への変換処理を行い、４つのマーカ像の座標に対応する正対化画像のマーカ座標（Ｘｔ１，Ｙｔ１）〜（Ｘｔ４，Ｙｔ４）を設定する。他方、４つのマーカｐ１〜ｐ４を含んだ画像情報は図７の画像処理装置部６の撮影画像保持部３３で４つの画像分割された後、マーカ座標抽出部３４で撮影画像のマーカ座標（Ｘｏ１，Ｙｏ１）〜（Ｘｏ４，Ｙｏ４）を抽出する。最終的には、画像合成処理部４１の正対化補正値算出部４２に上記の正対化画像での４つのマーカ座標値と撮影画像の４つのマーカ像の座標値から正対化画像補正値を算出し、正対化画像変換部４３でその補正値を撮影画像保持部３３のマーカ像のない撮影画像に補正値を適用して射影変換を行い、正対化画像を得て、正対化合成画像保持/出力部４６に保持され、必要に応じて指示に従い出力される。

＜実施例２の効果＞
以上説明した実施例２では、次の（Ｈ）〜（Ｊ）のような効果がある。

（Ｈ）４つのマーカレーザを同時に被写体表面に照射してその照射点（マーカ）までの距離や傾斜角度からの座標処理と、４つのマーカを撮影した画像を組み合わせることで、任意の位置から任意の倍率で撮影した画像をその撮影位置で容易に実寸が分かる正対化画像の変換できる。

（Ｉ）４つのマーカレーザを平行四辺形の頂点に配置し、平行なレーザビームを同時に被写体表面に照射してその照射点（マーカ）までの距離とマーカレーザの間隔情報および必要に応じて隣接マーカレーザ間の傾斜角度(固定値)や平行四辺形とレーザビームの放射角度（固定値）を用いることで、パン方向やチルト方向の回転角を計測することなく、簡単に正対化画像を得ることができる。

（Ｊ）２つのマーカレーザが平行に配置されたマーカレーザセットを雲台に固定し、別の２つのマーカレーザが平行に配置されたマーカレーザセットをチルト方向の回転ステージに設定することにより、２つのマーカレーザセット間の角度が任意に変えることができ、被写体の距離に応じたマーカ付与間隔が調整できるようになり、撮影領域の解像度と範囲が任意に設定できるようになる。
＜変形例＞
本実施例１、２の変形例を挙げる。
（ａ）実施例１および実施例２において、マーカレーザを平行に並べる構成を示したがマーカレーザが平行でなく夫々、パン角度方向とチルト角度方向で４つのレーザビームの照射方向の延長線が１点で交差するように傾斜させた構成としても、この交点を座標原点Ｏとして３次元座標値が一意に規定されるので、同様に正対化画像を得ることができる。

（ｂ）実施例１では２つのマーカ、実施例２では４つのマーカを同時に付与するマーカ付与部の構成でマーカ有りの画像とマーカ無しの画像を撮影する形態について示したが、１つのマーカレーザの構成でパン角度回転移動およびチルト角度回転移動または平行移動が可能でその移動量とマーカまでの距離のマーカの３次元座標を規定する物理パラメータ値が可能となり、同じ撮影領域内で例えば４つのマーカ地点に付与する毎に撮影した撮影画像とマーカの３次元座標を特定する物理パラメータ値があれば、同時に４つのマーカを付与したのと同様に正対化画像を得ることができる。

（ｃ）実施例１と実施例２では、撮影用カメラが１台の場合の構成を示したが、撮影画像においてカメラの位置依存性がないことから、カメラの台数や移動に依存せず、被写体に対するカメラの撮影傾斜角度が大きくなるために生じる解像度の低下を改善するために、カメラの撮影場所を撮影毎に正対位置に近い位置に寄せたり、複数のカメラで正対位置に近い撮影画像を適用したりしても、同じ撮影領域の異なる撮影画像においても撮影画像内に３次元座標の算出のための物理パラメータ値が分かる少なくとも４つマーカ像が含んだ撮影画像が得られれば、正対化画像を得て、さらに隣接撮影領域の重複域に２つのマーカ像を含ませることで正対化画像の接合画像を得ることができる。

(ｄ) 実施例１では、マーカ像の位置が撮影画像内で同じ方向の端にある画像群を組み合わせることでマーカを隠蔽する方法ついて示したが、同じ領域のマーカ像が後ろ端にある画像の前半分とマーカ像が前端にある画像の後ろ半分を組み合わせるなど、マーカ像部分を排除するように２つの画像部分を組み合わせてマーカを排除（隠蔽）した画像を構成してもよい。

以上のように、本実施例によれば、４つの正対化画像処理の高輝度なマーカを安定的に付与して、被写体表面のひび割れなどの実寸法が画像で測れるようにした正対化画像とし、さらに、マーカの写りこみのない被写体自体の画像を、一連の接合した画像として得ることができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。
また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１マルチ画像撮影・画像処理システム
２カメラ
３マーカレーザ（距離計測機能付き）
４被写体表面
５撮影装置部
６画像処理部
７カメラ装置部
８マーカ付与部
９制御部
１０撮影領域

Claims

撮影装置と画像処理装置を有する画像撮影システムであって、
前記撮影装置は、被写体の一部の撮影領域を撮影する少なくとも一つのカメラを有するカメラ装置と、
前記撮影領域内の少なくとも４つの地点にレーザビームを照射してマーカを付与する少なくとも一つのマーカレーザと、前記付与されたマーカまでのマーカレーザの基準位置からの距離、あるいは、隣接する前記マーカレーザの照射方向の相互のパン角度またはチルト角度、を含む、各付与マーカの３次元座標を得るための物理パラメータを計測する計測部とからなるマーカ付与部と、を有し、
前記マーカ付与部により、前記撮影領域の少なくとも４つの前記マーカ付与地点に対して同時または順次にマーカを付与した撮影画像と、同時または順次にマーカを付与しない撮影画像を前記カメラで撮影すると、共に前記マーカ付与地点へのマーカの付与毎に前記物理パラメータの計測を実行し、
前記画像処理装置は、
前記撮影装置から、前記撮影画像群と前記物理パラメータの計測値を取得する取得部と、
前記マーカを付与した撮影画像のマーカ像を構成する画素集合に基づいて、前記撮影画像から前記マーカ像座標を抽出する撮影画像マーカ座標抽出部と、
前記物理パラメータの計測値から、前記マーカ像に対応するマーカの３次元座標を導出し、前記３次元座標から前記マーカが構成する被写体表面の平面の座標に変換し、さらに前記被写体表面の平面に正対する特定の視点位置からの透視画像として前記マーカを見たときの正対化画像のマーカ座標を算出する正対化画像マーカ座標算出部、
少なくとも４つの前記撮影画像のマーカ像座標と対応する前記正対化画像のマーカ座標から、撮影画像を正対化画像に投影変換するための正対化補正値を算出する正対化補正値算出部、
前記正対化補正値を前記マーカ付与地点にマーカを付与していない画像に適用して、マーカ像の写り込みのない前記撮影領域の正対化画像を生成する正対化画像変換部、
を有することを特徴とする画像撮影システム。
請求項１に記載の画像撮影システムにおいて、
前記撮影装置は、
同じ回転方向に向きが変えられる第一と第二の機構上に前記カメラと前記マーカレーザが夫々設置され、前記カメラ装置の前記カメラの撮影方向および前記マーカ付与部の前記マーカレーザの照射方向が、所定の移動方向内でそれぞれ独立して断続的に移動または停止でき、
マーカ付与部は、前記マーカレーザの回転移動により、前記カメラの回転移動に伴う複数の隣接撮影領域の撮影に対して、隣接する第１の撮影領域と第２の撮影領域が重複する共通領域に少なくとも２つの共通マーカを付与できる構造を有し、
前記第１の撮影領域における前記移動方向の最前部に前記共通マーカが配置されるように、前記マーカレーザの照射方向を移動して停止させ、前記カメラにより前記第１の撮影領域を撮影した第１の撮影画像と、
前記第１撮影領域の前記移動方向に隣接し、かつ、前記第１の撮影領域との共通領域に前記共通マーカが含まれる第２の撮影領域が撮影可能となるように前記カメラの撮影方向を前記第１の撮影領域の撮影位置から前記移動方向に移動して停止させ、前記カメラにより前記第２の撮影領域を撮影した第２の撮影画像と、を交互に取得すると共に、
前記マーカ付与装置は前記共通マーカの付与位置が変わる毎に前記共通マーカの３次元座標を特定するための前記物理パラメータを計測し、
前記画像処理装置は、
前記正対化画像マーカ座標算出部により、前記２つの共通マーカの第１撮影画像の第１の正対化画像の座標と前記第２の撮影画像の第２の正対化画像の座標に基づいて、前記第１の正対化画像と前記第２の正対化画像とを接合するための接合補正値を算出する接合補正値算出部と、
前記第１の正対化画像から少なくとも前記共通領域のマーカ像を含む画像部分を除き、前記第２の正対化画像から少なくとも前記共通領域のマーカ像を含む画像部分を除き、マーカ像を含む画像部分を除いた画像部分にマーカ像の存在しない他方の画像部分がはまる様に、前記第１の正対化画像および前記第２の正対化画像のうちいずれか一方の撮影画像部分を組み合わせて、マーカの写り込みのない隣接画像の接合画像を合成する接合画像合成部と、
を有することを特徴とする画像撮影システム。
請求項１に記載の画像撮影システムの、
前記撮影装置において、少なくとも４つのマーカレーザを有し、前記撮影領域に同時にマーカ群を付与する前記マーカ付与部があり、
前記カメラにより、前記少なくとも４つのマーカレーザによりマーカが付与される前記撮影領域のマーカ付与地点に対して、同時にマーカを付与したマーカ有り画像と、前記マーカレーザを消灯して前記マーカが付与されていないマーカ無し撮影画像を撮影すると共に前記マーカの３次元座標を特定する前記物理パラメータを計測し、
前記画像処理装置において、
前記撮影画像マーカ座標抽出部は前記マーカ有り撮影画像から少なくとも前記４つの撮影画像マーカ像座標を抽出し、前記正対化画像マーカ座標算出部は前記マーカ像に対応するマーカの前記物理パラメータの計測値から正対化画像のマーカ座標を算出し、前記正対化補正値算出部は前記撮影画像マーカ座標と前記正対化画像のマーカ座標を用いて投影変換を行うための正対化補正値を算出し、前記正対化画像変換部は前記正対化補正値を前記マーカ無し撮影画像に適用して撮影領域の正対化画像を生成する、ことを特徴とする画像撮影システム。
被写体の一部の撮影領域を撮影する少なくとも一つのカメラを有するカメラ装置と、
前記撮影領域内の少なくとも４つの地点にレーザビームを照射してマーカを付与する少なくとも一つのマーカレーザと、前記付与されたマーカまでのマーカを付与するマーカレーザの基準位置からの距離、あるいは、隣接する前記マーカレーザの照射方向の相互のパン角度またはチルト角度、を含む、各付与マーカの３次元座標を得るための物理パラメータを計測する計測部とからなるマーカ付与部と、を有し、
前記マーカ付与部により、前記撮影領域の少なくとも４つのマーカ付与地点に対して同時または順次マーカを付与した撮影画像と同時または順次マーカを付与しない撮影画像を前記カメラで撮影すると共に前記マーカ付与地点へのマーカの付与毎に前記物理パラメータの計測を実行することを特徴とする撮影装置。
前記請求項４に記載の撮影装置において、
同じ回転方向に向きが変えられる第一と第二の機構上に夫々前記カメラと前記マーカレーザが設置され、前記カメラ装置の前記カメラの撮影方向および前記マーカ付与部の前記マーカレーザの照射方向が、所定の移動方向内でそれぞれ独立して断続的に移動または停止でき、
マーカ付与部は、前記マーカレーザの回転移動により、前記カメラの回転移動に伴う複数の隣接撮影領域の撮影に対して、隣接する第１の撮影領域と第２の撮影領域が重複する共通領域に少なくとも２つの共通マーカを付与できる構造を有し、
前記第１の撮影領域における前記移動方向の最前部に前記共通マーカが配置されるように、前記マーカレーザの照射方向を移動して停止させ、前記カメラにより前記第１の撮影領域を撮影した第１の撮影画像と、
前記第１撮影領域の前記移動方向に隣接し、かつ、前記第１の撮影領域との共通領域に前記共通マーカが含まれる第２の撮影領域が撮影可能となるように前記カメラの撮影方向を前記第１の撮影領域の撮影位置から前記移動方向に移動して停止させ、前記カメラにより前記第２の撮影領域を撮影した第２の撮影画像と、を交互に取得すると共に、
前記マーカ付与装置は前記共通マーカの付与位置が変わる毎に前記共通マーカの３次元座標を特定するための前記物理パラメータを計測すること特徴とする撮影装置。
請求項４に記載の画像撮影装置において
少なくとも４つのマーカレーザを有し、前記撮影領域に同時にマーカ群を付与する前記マーカ付与部があり、
前記カメラにより、前記少なくとも４つのマーカレーザによりマーカが付与される前記撮影領域マーカ付与地点に対して、同時にマーカを付与したマーカ有り画像と、前記マーカレーザを消灯して前記マーカが付与されていないマーカ無し撮影画像を撮影すると共に前記マーカの３次元座標を特定する前記物理パラメータを計測することを特徴とする撮影装置。
請求項６に記載の撮影装置において、
前記マーカ付与装置の４つのマーカレーザは所定の平行な辺の間隔と所定の隣接する辺の傾斜角度からなる平行四辺形の頂点に配置されると共にレーザビームの放射方向が平行となるように設定され、前記平行なレーザビームと前記マーカレーザの平行四辺形が成す平面と所定の傾き角度となるようにし、前記４つのマーカレーザにより付与されるマーカ群の３次元座標を特定する物理パラメータとして前記マーカレーザの基準位置から各付与マーカまでの距離を計測することを特徴とする撮影装置。
請求項４に記載の撮影装置において
前記マーカ付与装置のマーカレーザの配置に関して、４つのマーカレーザは、２つのマーカレーザが所定の間隔で平行に配置された第一のマーカレーザセットと、別の２つのマーカレーザが所定の間隔で平行に配置された第二のマーカレーザセットからなり、前記第一と第二のマーカレーザセットは、マーカレーザセット内のマーカレーザの並びの方向が同じ方向となるように配置されると共に、各マーカレーザセット内の同じ側のマーカレーザのレーザビーム放射方向の逆方向への延長線上同士が所定角度で交差するように、レーザビームの放射方向と前記マーカレーザの並び方向が成す面に垂直な方向で所定の間隔と所定の角度を持って配置されることを特徴とする撮影装置。
撮影装置と連携する画像処理装置であって、
前記撮影装置は、被写体の一部の撮影領域を撮影する少なくとも一つのカメラを有するカメラ装置と、
前記撮影領域内の少なくとも４つの地点にレーザビームを照射してマーカを付与する少なくとも一つのマーカレーザと、前記付与されたマーカまでのマーカレーザの基準位置からの距離、あるいは、隣接する前記マーカを付与する前記マーカレーザの照射方向の相互のパン角度またはチルト角度、を含む、各付与マーカの３次元座標を得るための物理パラメータを計測する計測部とからなるマーカ付与部と、を有し、
前記マーカ付与部により、前記撮影領域の少なくとも４つの前記マーカ付与地点に対して同時または順次にマーカを付与した撮影画像と、同時または順次にマーカを付与しない撮影画像を前記カメラで撮影すると、共に前記マーカ付与地点へのマーカの付与毎に前記物理パラメータの計測を実行し、
前記画像処理装置において、
前記撮影装置から、前記撮影画像群と前記物理パラメータの計測値を取得する取得部と、
前記マーカ付与画像または部分マーカ付与画像のマーカ像を構成する画素集合に基づいて、前記撮影画像から前記マーカ像座標を抽出する撮影画像マーカ座標抽出部と、
前記物理パラメータの計測値から、前記マーカ像に対応するマーカの３次元座標を導出し、前記３次元座標から前記マーカが構成する被写体表面の平面の座標に変換し、さらに前記被写体表面の平面に正対する特定の視点位置からの透視画像として前記マーカを見たときの正対化画像のマーカ座標を算出する正対化画像マーカ座標算出部、
少なくとも４つの前記撮影画像のマーカ像座標と対応する前記正対化画像のマーカ座標から、撮影画像を正対化画像に投影変換するための正対化補正値を算出する正対化補正値算出部、
前記正対化補正値を前記マーカ付与地点にマーカを付与していない画像部分に適用して、マーカ像の前記撮影領域の正対化画像を生成する正対化画像変換部、
を有することを特徴とする画像処理装置。
請求項９に記載の撮影装置と連携する画像処理装置であって、
前記撮影装置は、
同じ回転方向に向きが変えられる第一と第二の機構上に夫々前記カメラと前記マーカレーザが設置され、前記カメラ装置の前記カメラの撮影方向および前記マーカ付与部の前記マーカレーザの照射方向が、所定の移動方向内でそれぞれ独立して断続的に移動または停止でき、
マーカ付与部は、前記マーカレーザの回転移動により、前記カメラの回転移動に伴う複数の隣接撮影領域の撮影に対して、隣接する第１の撮影領域と第２の撮影領域が重複する共通領域に少なくとも２つの共通マーカを付与できる構造を有し、
前記第１の撮影領域における前記移動方向の最前部に前記共通マーカが配置されるように、前記マーカレーザの照射方向を移動して停止させ、前記カメラにより前記第１の撮影領域を撮影した第１の撮影画像と、
前記第１撮影領域の前記移動方向に隣接し、かつ、前記第１の撮影領域との共通領域に前記共通マーカが含まれる第２の撮影領域が撮影可能となるように前記カメラの撮影方向を前記第１の撮影領域の撮影位置から前記移動方向に移動して停止させ、前記カメラにより前記第２の撮影領域を撮影した第２の撮影画像と、を交互に取得すると共に、
前記マーカ付与装置は前記共通マーカの付与位置が変わる毎に前記共通マーカの３次元座標を特定するための前記物理パラメータを計測し、
前記画像処理装置において、
前記正対化画像マーカ座標算出部により、前記２つの共通マーカの第１撮影画像の第１の正対化画像の座標と前記第２の撮影画像の第２の正対化画像の座標に基づいて、前記第１の正対化画像と前記第２の正対化画像とを接合するための接合補正値を算出する接合補正値算出部と、
前記第１の正対化画像から少なくとも前記共通領域のマーカ像を含む画像部分を除き、前記第２の正対化画像から少なくとも前記共通領域のマーカ像を含む画像部分を除き、マーカ像を含む画像部分を除いた画像部分にマーカ像の存在しない他方の画像部分がはまる様に、前記第１の正対化画像および前記第２の正対化画像のうちいずれか一方の撮影画像部分を組み合わせて、マーカの写り込みのない隣接画像の接合画像を合成する接合画像合成部と、
を有することを特徴とする画像処理装置。
請求項９に記載の撮影装置に連携する画像処理装置であって、
前記撮影装置は、
少なくとも４つのマーカレーザを有し、前記撮影領域に同時にマーカ群を付与する前記マーカ付与部があり、
前記カメラにより、前記少なくとも４つのマーカレーザによりマーカが付与される前記撮影領域のマーカ付与地点に対して、同時にマーカを付与したマーカ有り画像と、前記マーカレーザを消灯して前記マーカが付与されていないマーカ無し撮影画像を撮影すると共に前記マーカの３次元座標を特定する前記物理パラメータを計測し、
前記画像処理装置において、
前記撮影画像マーカ座標抽出部は前記マーカ有り撮影画像から少なくとも前記４つの撮影画像マーカ像座標を抽出し、前記正対化画像マーカ座標算出部は前記マーカ像に対応するマーカの前記物理パラメータの計測値から正対化画像のマーカ座標を算出し、前記正対化補正値算出部は前記撮影画像マーカ座標と前記正対化画像のマーカ座標を用いて投影変換を行うための正対化補正値を算出し、前記正対化画像変換部は前記正対化補正値を前記マーカ無し撮影画像に適用して撮影領域の正対化画像を生成する、ことを特徴とする画像処理装置。
請求項１１に記載の撮影装置に連携する画像処理装置であって、
前記撮影装置は、
前記マーカ付与装置の４つのマーカレーザは所定の平行な辺の間隔と所定の隣接する辺の傾斜角度からなる平行四辺形の頂点に配置されると共にレーザビームの放射方向が平行となるように設定され、前記平行なレーザビームと前記マーカレーザの平行四辺形が成す平面と所定の傾き角度となるようにし、前記４つのマーカレーザにより付与されるマーカ群の３次元座標を特定する物理パラメータとして前記マーカレーザの基準位置から各付与マーカまでの距離を計測し、
前記画像処理装置において、
前記正対化画像マーカ座標算出部は前記マーカ像に対応するマーカの前記物理パラメータである前記マーカレーザから各付与マーカまでの距離の計測値と前記隣接マーカレーザのレーザビームの間隔と前記レーザビーム方向とマーカレーザが配置される前記平行四辺形との傾斜角度と、前記平行四辺形の平行な辺の間隔と隣接する辺の傾斜角度値とから夫々のマーカレーザの基準位置の直交３次元軸系における座標を算出して、正対化画像で対応する各マーカの正対化画像マーカ座標を算出し、前記正対化補正値算出部は前記撮影画像マーカ座標と前記正対化画像マーカ座標を用いて投影変換を行うための正対化補正値を算出し、前記正対化画像変換部は前記正対化補正値を前記マーカ無し撮影画像に適用して撮影領域の正対化画像を生成する、ことを特徴とする画像処理装置。