JP2016024516A - 移動式マルチ画像撮影装置 - Google Patents
移動式マルチ画像撮影装置 Download PDFInfo
- Publication number
- JP2016024516A JP2016024516A JP2014146389A JP2014146389A JP2016024516A JP 2016024516 A JP2016024516 A JP 2016024516A JP 2014146389 A JP2014146389 A JP 2014146389A JP 2014146389 A JP2014146389 A JP 2014146389A JP 2016024516 A JP2016024516 A JP 2016024516A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- photographing
- mobile multi
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】移動しながら撮影する複数の撮影画像において、マーカで高精度に位置合わせを行い、さらにマーカが支障にならない合成画像を生成する。
【解決手段】移動式マルチ画像撮影装置は、隣接して重なり合う複数の撮影領域を撮影する手段と、移動前後の撮影領域重なり合う共通撮影にマーカを付与する手段において、撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段を有し、撮影手段の前進に合わせて前後する撮影について、前の撮影位置では撮影範囲に含まれるように被写体上に固定される少なくとも一つのマーカを付与し、後の撮影ではマーカが含まれるようにそのマーカ付与位置に対して特定の位置関係で撮影するように、マーカ付与と撮影のタイミングを制御して、マーカ付与画像群から各撮影領域間を繋ぎ合わせる補正パラメータを算出し、補正パラメータに基づいて、撮影した画像群を合成する。
【選択図】図1
【解決手段】移動式マルチ画像撮影装置は、隣接して重なり合う複数の撮影領域を撮影する手段と、移動前後の撮影領域重なり合う共通撮影にマーカを付与する手段において、撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段を有し、撮影手段の前進に合わせて前後する撮影について、前の撮影位置では撮影範囲に含まれるように被写体上に固定される少なくとも一つのマーカを付与し、後の撮影ではマーカが含まれるようにそのマーカ付与位置に対して特定の位置関係で撮影するように、マーカ付与と撮影のタイミングを制御して、マーカ付与画像群から各撮影領域間を繋ぎ合わせる補正パラメータを算出し、補正パラメータに基づいて、撮影した画像群を合成する。
【選択図】図1
Description
本発明は、連続的に移動しながら撮影する一連の高解像度な画像郡を安定して高精度に合成する移動式マルチ画像撮影装置に関する。
近年、高度成長期に建築された橋梁やトンネルなどの構造物が耐用年数に達し始めたため、これら構造物の損傷状態を点検して修復や補修の必要性を判定する必要性が増大している。従来の構造物の損傷状態の点検に於いて、路上から構造物を点検できない場合には、点検作業員が足場を組んで目視観察していた。しかし、近年では、足場を組む費用の削減と点検作業員の安全性確保のため、カメラ撮影による観察技術が導入されてきている。構造物の損傷状態点検では、その点検範囲の面積は広く、また点検すべき亀裂は細かい。そのため、点検範囲全体の単一の撮影画像では、解像度が不足する虞がある。また、これまで広大な構造物の小さなひび割れを確認する場合の必要性について述べたが、他に、大型製品や大型の芸術品の微細な表面状態を広大な面積にわたり撮影する場合にも同類のニーズがある。
カメラ撮影による観察技術としては、複数のカメラ(マルチカメラ)あるいは一つのカメラの撮影範囲を変えて撮影した複数(マルチ)画像を合成して、広い範囲の画像を生成するものがある。撮影した複数(マルチ)画像を合成する一手法としては、隣接する撮影画像から共通の対象物を検索し、これを基準に繋ぎ合わせる方法がある。また、複数撮影画像を1枚の高解像度画像に合成する他の手法として、例えば、特許文献1に記載の方法がある。特許文献1の段落(0004)には「CCDカメラ1の撮影視野内の対象物2にレーザビームを照射して、同CCDカメラ1により対象物2を撮影すること」と記載され、段落(0005)には「2台以上のCCDカメラ1の各撮影視野内の少なくとも共通撮影部分を含む対象物2にレーザビームを照射して、これらCCDカメラ1により対象物2を撮影すること」と記載されている。段落(0018)には、「レーザ装置3から出射されるレーザビームが複数のスポットビームであること」と記載され、段落(0019)には、「レーザ装置3から出射されるレーザビームが2以上のラインビームを交差させたものであること」と記載されている。
1つのカメラを移動しながら撮影する隣接画像間では、隣接する画像の撮影時間が異なるため、特許文献1のように撮影する画像間で同時に共通撮影部分を構成することはできないという課題があった。また、先の一手法として述べたような撮影した隣接画像間で共通の撮影部分に存在する共通の被写体を検索する方法では、共通特徴点を輝度分布の相関から導きだす方法が用いられる。しかしながら、この方法では、輝度分布を2次元的に合わせるために輝度軸も含めると3次元的に相関を取る処理を行う必要があり、微細な画像でかつ画面寸法が大きくなると非常に処理が重くなるという課題があった。さらには、被写体には必ずしも識別可能な共通の特徴が存在するとも限らず、また、逆に類似した特徴が多数存在して共通の特徴が特定できないという課題もあった。
これらの課題を解決する手法として本発明者等によりなされた特許出願(特願2013−032713)がある。この先の特許出願においては、移動して撮影する画像合わせについて、請求項7にて「前記撮影制御手段は、前記撮影領域の移動方向前部にマーカが付与されていない第1画像群を取得したならば、前記マーカ付与手段によって前記撮影領域の移動方向前部に付着性のマーカを付与して第2画像群を取得し、前記付着性のマーカが移動方向後部になるように前記撮影領域が移動したならば、次の第1画像群を取得し、」とあるように、カメラの移動を停止して同じ場所で撮影領域の前方向にマーカを付与する前と付与した後の画像を撮影して、撮影終了後に移動して次の撮影期間に入ることとしていた。すなわち、この先の特許出願では、マーカ付与前後の2度の撮影を同じ撮影場所の撮影行うために停止する必要があり、連続的あるいは任意に断続的にカメラを移動させながら撮影することへの配慮がなされていなかった。本発明の課題は、連続的あるいは任意に断続的にカメラ移動しながら、移動方向の合成画像を得ることができる移動式マルチ画像撮影装置及び移動式マルチ画像撮影方法を提供することにある。また、先の特許出願においては、段落(0056)にて、「・・・付着液滴マーカ3Dは、マーカ吐出部31と、2個のノズル32a,32bとを備えている。付着液滴マーカ3Dは、マーカ吐出部31からノズル32a,32bを介してマーカ液を噴出し、撮影領域6Dの移動方向の前半部分に、2個の付着性マーカである液滴マーカ51D,52Dを付着させる。」とあり、画像合わせのマーカは液滴などの粘着性の材料を利用する形態であり、被写体よりも高輝度なマーカを付与して、二値化処理などの処理の軽量化への配慮がなされていなかった。本発明の課題は、画像合わせ処理が容易となるように高輝度なマーカを付与する手法を提供することにある。
前記した課題を解決するため、請求項1に記載の発明では、
連続的あるいは任意に断続的に移動しながら、隣接して重なり合う撮影領域を撮影する少なくとも一つのカメラからなる撮影手段と、
各前記撮影領域が重なり合う共通撮影領域の被写体上に、所定時間固定的に、マーカを付与する1または複数のマーカ付与手段を有し、
前記撮影手段および前記マーカ付与手段において、
撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段を有し、
前記撮影手段の前進に合わせて前後する撮影について、前の撮影位置では撮影範囲に含まれるように被写体上に固定される少なくとも一つのマーカを付与し、後の撮影では前記マーカが含まれるようにそのマーカ付与位置に対して特定の位置関係で撮影するように、マーカ付与と撮影のタイミングを制御する手段を有し、
前記マーカ付与画像群から各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と前記補正パラメータに基づいて、撮影した画像群を合成した合成画像を生成する画像合成手段と、
を備えることを特徴とする。
連続的あるいは任意に断続的に移動しながら、隣接して重なり合う撮影領域を撮影する少なくとも一つのカメラからなる撮影手段と、
各前記撮影領域が重なり合う共通撮影領域の被写体上に、所定時間固定的に、マーカを付与する1または複数のマーカ付与手段を有し、
前記撮影手段および前記マーカ付与手段において、
撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段を有し、
前記撮影手段の前進に合わせて前後する撮影について、前の撮影位置では撮影範囲に含まれるように被写体上に固定される少なくとも一つのマーカを付与し、後の撮影では前記マーカが含まれるようにそのマーカ付与位置に対して特定の位置関係で撮影するように、マーカ付与と撮影のタイミングを制御する手段を有し、
前記マーカ付与画像群から各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と前記補正パラメータに基づいて、撮影した画像群を合成した合成画像を生成する画像合成手段と、
を備えることを特徴とする。
ここで補正パラメータとは、両撮影領域間の傾き、サイズ、および、位置を合わせる情報のことをいう。
その他の手段については、発明を実施するための形態のなかで説明する。
本発明によれば、広い被写体表面を連続的にあるいは任意に断続的に移動するカメラ装置による複数の画像撮影において、高精度に画像合わせを行い、さらにマーカが支障にならない合成画像が、簡易に安定して生成することができる。
以下、本発明を実施するための形態を、各図を参照して詳細に説明する。
各実施形態では、例として、コンクリート構造物の表面の亀裂などを、カメラを移動しながら表面観察する場合を示している。
(第1の実施形態)
隣接する画像間の画像合わせに利用するマーカを再利用する形態について移動式マルチ画像撮影装置の外観と動作を図1に示す。図1の(a)に移動式マルチ画像撮影装置1−1の側面図と動作、(b)に上面図を示す。
(第1の実施形態)
隣接する画像間の画像合わせに利用するマーカを再利用する形態について移動式マルチ画像撮影装置の外観と動作を図1に示す。図1の(a)に移動式マルチ画像撮影装置1−1の側面図と動作、(b)に上面図を示す。
移動式マルチ画像撮影装置1−1は、被写体構造物4の表面を撮影するカメラ2と、被写体構造物4の表面上にマーカ3を付与するマーカ付与部7と、マーカ付与とカメラによる撮影等を制御する制御部8と、画像処理部9と、移動のための車輪61を駆動する車輪駆動部6とにより構成される。
マーカ3は、実際には、アフィン変換など座標変換により隣接する画像間の傾き,倍率,位置のパラメータを取得するために、少なくとも2つ以上のパタンを同時に付与するが、構成の便宜上の表現として一つのマーカで表している。
移動式マルチ画像撮影装置1−1は、車輪61の回転により前方へ移動する間に、以下のシーケンスでマーカを付与しながら被写体構造物4上の亀裂41などの撮影を行う。
マーカ3の付与は、左右のAとBの二つの付与機構により、Aのマーカ3−AとBのマーカ3−Bにより、順次交互に付与される(3−A−1,3−B−1,3−A−2,3−B−2,・・・)。ここで、AとBのマーカ3−Aと3−Bは、図1(b)に示すように、それぞれ少なくとも二つ以上のマーカから構成される。 移動式マルチ画像撮影装置1−1の移動中、マーカ付与部7が二つのマーカ3−Aと3−Bを交互に被写体構造物4に付与する。最初の移動後の撮影領域10−1には、マーカ3−A−1が付与された状態で、次のマーカ3−B−1を付与する位置を含むように、マーカ3−B−1を付与する前の画像を撮影12−1する。次に、移動式マルチ画像撮影装置1−1が前方に移動すると共にカメラ2が移動して第二の撮影領域10−2では固定されたマーカ3−A−1と、新たに付与したマーカ3−B−1を含むように第二の画像の撮影12−2を行う。次には、さらに移動式マルチ画像撮影装置1−1が前方に移動する中で、カメラ2の撮影範囲にマーカ3−B−1が含まれて、次のマーカ付与位置3−A−2にマーカ3−Aが付与される前に第三の画像を撮影12−3する。第三の画像を撮影した後、マーカ3−Aはマーカ付与地点3−A−1から上昇して、次の撮影の前に、次のマーカ位置に移動して付与される。この行程を繰り返し、Mを自然数として、第4M−3の領域の撮影12−4M−3では、3−A−Mのマーカ地点にマーカ3−Aが付与されており、次の第4M−2の撮影12−4M−2では3−A−Mのマーカ地点と3−B−Mのマーカ地点に付与されたマーカ3−A、3−Bを含む。その後3−A−M+1のマーカ地点にマーカ3−Aを付与する前に、3−B−M地点のマーカ3−Bのみを含む状態で第4M−1の撮影12−4M−1をして、次に、3−A−Mのマーカ地点のマーカ3−Aの浮上、移動、3−A−M+1の地点への付与することを繰り返して、移動しながら、画像郡を取得する。浮上したマーカが撮影範囲に含まれないように配置・制御する。仮に含まれる場合でもマーカ付与前に撮影した撮影範囲であれば、接地されたマーカと同様に隠蔽されるので問題ない。また、自発光型の高輝度マーカであれば、浮上時に消灯することで、マーカとして誤認識されることもない。
図2に移動式マルチ画像撮影装置1−1の機能ブロック図を示す。制御部8は、車輪駆動部6,カメラ2,画像処理9,マーカ付与部7の各種情報を収集したり、各々へ制御信号を発して動作指示したりする。移動式マルチ画像撮影装置1−1は、マーカ付与部7にて被写体構造物4の表面上にマーカ3を付与して、マーカ3を含む画像をカメラ2で撮影する。カメラ2で撮影した画像情報I9は画像処理部9の画像取込・保持部90に伝えられ、マーカ・本体相対位置検出部72から得られた情報I7を元にタイミング制御部82が情報I10を発し、それを受けた画像取込・保持部90はそれぞれの処理方法に適した画像情報をマーカ像抽出画像間補正値導出部91や合成処理部92に流す。初期の静止状態から、動作制御部81の指示I15により車輪駆動部6が動き出し、その駆動力I6が車輪61に伝えられて、移動式マルチ画像撮影装置1−1が前進する。移動に伴い、相対的なマーカ付与位置と移動式マルチ画像撮影装置1−1を検知するマーカ・本体相対位置検出部72で適切な位置を検出するとタイミング制御部82にその位置情報I7が伝えられ、そこから、撮影タイミング指示I2がカメラ2に、反対側のマーカの接地や浮上指示I14がマーカ接地動作部71に夫々伝えられ、撮影やマーカの付与を行う。画像取込・保持部90からのマーカ隠蔽用の画像情報I11が合成処理部92に入力されて、マーカ像抽出画像間補正値導出部91からの画像補正情報I12に基づき、マーカを隠蔽した画像が合成される。その画像合成情報I13は合成画像情報蓄積出力部93に送られて様々な画像特定情報と共に蓄積され、必要に応じて外部表示/処理部11に出力され、画像を表示したり、画像情報を通信で送信したりする。さて、移動式マルチ画像撮影装置1−1が被写体構造物4の表面を走行する場合、表面に激しい凹凸があると移動式マルチ画像撮影装置1−1が傾き、カメラ2の撮影範囲とマーカ3の付与位置の関係がマーカ3と装置本体との距離による望ましい関係からずれてマーカ3を撮影範囲に含められなくなる。このようなケースに対応するために、カメラ2のチルト角(撮影傾き角)が変えられるカメラ機構部66に置き換える。タイミング制御部82からマーカ3の付与情報に基づく制御信号I16を画像処理のマーカ・撮影範囲相関位置検出部94や制御部8のチルト角制御部 84に送る。マーカ3の位置と望ましい撮影位置の関係を得るために、状態監視用の撮影をして画像取込・保持部90からマーカ・撮影範囲相関位置検出部94に状態監視信号I17が送付され、その画像から、マーカ3と撮影範囲の関係を求め、望ましい撮影位置からのずれ情報I18をチルト角制御部 84に送る。チルト角制御部 84はその情報に基づき、チルト角補正制御情報I19をチルト角駆動部67に送付して望ましい撮影角度を得る。
図3に第1の実施形態のタイミングチャートを示す。図1で示したマーカを再利用する移動式マルチ画像撮影装置1−1のタイミング制御部82の信号に基づく、関連機能部の動作を示す。図中、最上位(1)は移動式マルチ画像撮影装置1−1の移動を表し、上から、(2)はマーカ3−Aの点灯、(3)はマーカ3−Bの点灯、(4)はマーカ3−Aの浮上と移動、(5)はマーカ3−Bの浮上と移動、(6)はマーカ3−A-1地点での接地、(7)はマーカ3−B−1地点での接地、(8)はマーカ3−A−2地点での接地、(9)はマーカ3−Aの接地/浮上信号、(10)はマーカ3−Bの接地/浮上信号、(11)はカメラの撮影のトリガ信号、(12)は撮影、(13)はマーカ画像処理、(14)はマーカ隠蔽画像処理のタイミングの関係を、夫々示している。ここでのタイミングとは、厳密な時間の推移を意味するものではなく、動作の前後関係を意味するものであり、例えば最上位(1)の装置の移動のシーケンスは必ずしも連続的な移動である必然性はなく、任意に断続的な移動を含む。また、(6)〜(8)で上下の地点を含む実線の枠は、撮影12−0−A〜12−4時の撮影範囲に含まれるマーカ3−A−1〜3−A−2の関係を示し、破線は一連の撮影動作の関連を示している。マーカA,マーカBの点灯については、図1の説明中、浮上したマーカが撮影範囲に入る場合には、マーカの浮上/移動に連動して消灯/点灯を制御することが望ましい。ここでは、簡単のため、連続点灯とする。初期の静止状態で、(11)の撮影トリガにより、マーカが付与されていない画像を撮影12−0−Aし、(14)ではマーカのない画像を保持15−0する。次に、(9)のマーカ3−A接地信号でマーカ3−Aが(6)第1地点3−A−1に接地して、(11)撮影トリガにより、撮影12−0−Bし、静止地点で付与したマーカ3−Aを含む画像から、マーカ画像処理14−0を行う。(1)移動式マルチ画像撮影装置1−1の移動が開始して、その移動に伴い、撮影地点が移動し、(11)の撮影トリガにより、次の撮影12−1が実行されて、マーカ画像処理14−1,マーカ隠蔽画像処理15−1が行われる。さらに移動するに当たり、マーカ3−Bの付与信号(10)により、第2地点3−B−1にマーカ3−Bが移動接地して付与される。(6)のマーカ3−A−1地点のマーカ3−Aと(7)のマーカ3−B−1地点のマーカ3−Bを含んだ撮影12−2が実行されて、マーカ画像処理14−2が実行される。以降、この装置の移動に伴い、マーカ3−A,3−Bの浮上と接地、撮影が順次繰り返され、マーカ画像処理とマーカ隠蔽画像処理が進められる。
図4は、第1の実施形態における移動して撮影したマルチ画像の処理の図である。図4(a)は、最初の撮影画像13−0−Aを周囲の被写体構造物4の表面状態に重ねて示した図である。画像13−0−Aは移動式マルチ画像撮影装置1−1が静止状態において、マーカ地点3−A−1にマーカ3−Aを付与させる前にカメラ2によって撮影した画像である。この画像から、合成用画像15−0を得る。図4(b)は、移動式マルチ画像撮影装置1−1が静止状態でマーカ地点3−A−1にマーカ3−Aを付与し、マーカ3−Aの画像と共にマーカ支持部5−Aも含む撮影画像13−0−Bと、高輝度マーカ画像から二値化処理に取得したマーカ画像14−0である。撮影画像13−0−Bの画素座標系を(ax,ay)とする。図4(c)は、マーカ地点3−A−1にマーカ3−Aを接地固定状態で移動式マルチ画像撮影装置1−1が移動開始して、撮影した画像13−1と、二値化処理したマーカ画像14−1と、合成用画像15−1を示す。ここで、撮影画像13−1の座標系を(bx,by)とする。先のマーカ画像14−0と本マーカ画像14−1の共通のマーカ3−A−1の画素座標の比較からアフィン変換係数[A1]を得ることにより、両者の画像の共通座標化、すなわち、次式(1)とする合成用の補正値パラメータ[A1]からマーカ画像合成16−1を得る。
合成用画像15−1の上に最初に撮影した画像15−0を、合成用画像15−1のマーカ地点3−A−1のマーカ3−A像とそれに付随したマーカ支持部5−A像が隠蔽されるように重ねることで、マーカおよびマーカ支持部が写っていない合成画像17−1を得ることができる。
図4(d)はさらに移動式マルチ画像撮影装置1−1が移動して、新たにマーカ地点3−B−1にマーカ3−Bを被写体構造物4の表面に付与し、マーカ3−Bと共にマーカ支持部5−Bも含み、合わせて既に付与されているマーカ3−Aと共にマーカ支持部5−Aを含むように撮影した撮影画像13−2である。この画像13−2から、二値化して得たマーカ画像が14−2である。
図4(e)はさらに移動式マルチ画像撮影装置1−1が移動して、次のマーカ地点3−A−2にマーカ3−Aを付与する前に既に接地固定したマーカ地点3−B−1のマーカ3−Bが含まれる状態で撮影した撮影画像13−3と、二値化して得たマーカ画像14−3である。撮影画像13−3の画素座標系を(cx,cy)とする。先のマーカ画像14−2とマーカ画像14−3の共通のマーカ3−Bの画素座標の比較からアフィン変換係数[A2]を得ることにより、両者の画像の共通座標化、すなわち、次式(2)の合成用補正値パラメータ[A2]を得てマーカ画像合成16−3を得る。
先のマーカ画像合成図16−1でマーカ3−A像から得た座標補正値を適用すると、アフィン変換行列により、次式(3)の座標共通化を得る。
これにより、これまで撮影してきた一連の画像郡のマーカ画像合成17−3を得る。この補正値を、画像合成用画像15−0〜15−3に適用することで合成画像17−3を得ることができる。
上記移動状態での撮影画像取得13−1,13−2,13−3やマーカ画像14−1〜14−3からの補正値の導出や画像15−1,15−3への補正値の適用による画像合成を、図1の動作の流れに適用して、Mを自然数として、4M−3番目の撮影では、マーカAのM回目の付与の画像13−4M−3を取得し、4M−2番目の撮影では、マーカBのM回目を付与してM回目のマーカAとマーカBの画像13−4M−2を取得し、同様の補正値の導出と画像合成を行うことで、静止時の画像から一連のマーカを基準にした補正値によりながら、マーカ像のない画像合成郡を得ることができる。
図5は、図1に示した移動式マルチ画像撮影装置1−1の具体的な構成例示した概要図である。本体63には4つの車輪61が着いており、装置移動モータ62の駆動力により、装置全体が前進する。本体63にはカメラ固定フレーム55を介して撮影用のカメラ2を装置上部に固定している。マーカ3−Aとマーカ3−B(図中見えず)はマーカ接地用アーム75−Aと75−Bの先端に固定されている。マーカ接地用アーム75−A,75−Bは、被写体に対してほぼ垂直に設定されて、夫々マーカ浮上・接地動作部71−A,71−Bに接続され、マーカ浮上・接地用モータ75−A,75−Bで上下されるようになっている。夫々のマーカ浮上接地機構部76−A,76−Bはマーカ3−Aあるいはマーカ3−Bが接地して被写体構造物4の表面に固定された状態では、水平スライダー77−A,77−B(図中見えず)にフリーな状態で搭載されて、移動式マルチ画像撮影装置1−1の前進に伴い、相対的に移動式マルチ画像撮影装置1−1内を後方に移動することになる。スライダー77−A,77−Bには、所定位置として、マーカ3−A接地後の最初の撮影位置に位置センサ83−A−1をマーカ3−Bの接地起動位置に位置センサ83−A−2をそして、二回目の撮影位置に位置センサ83−A−3が配置されている。マーカ浮上接地機構部76−Aが夫々の位置検出器の位置に来ると、検知信号をマーカ・本体相対位置検出部72に発して、そこから制御部8に入力される。マーカ3−B側のスライダー77−Bにも同様に位置センサ83-B-1〜83−B−3が設置されている(図中では見えず)。移動式マルチ画像撮影装置1−1の前進に伴い、接地したマーカ3−Aまたは3−Bを保持するマーカ浮上接地機構部76−A,76−Bが反対側の位置センサ83−B−2,83−A−2の検知信号をきっかけに、制御部8からマーカ浮上接地機構部76−A,76−Bはマーカ浮上接地用モータ75−A,75−Bを駆動してマーカ3−A,3−Bを浮上して、水平移動モータ78−A,78−Bを駆動して、水平駆動連結ケーブル79−A,79−Bにより引張られてマーカ浮上接地機構部76−A,76−Bを前方向のスライダー77−A,77−B上を先端まで移動し、さらに、マーカ浮上接地用モータ75−A,75−Bを駆動してマーカ3−A,3−Bを接地するものである。尚、マーカ3−A,3−Bが接地して、マーカ浮上接地機構部76−A,76−Bがスライダー77−A,77−B上をフリーに移動する状態では、マーカ浮上接地用モータ75−A,75−Bは停止状態で、フリーに回転できる状態にある。収集された情報あるいは、外部からの電源供給や制御信号は外部接続ケーブル64を介して交信、あるいは、供給される。図中において、各モータや位置センサ83やマーカ3の信号線や電源線は省いている。
上記はスライダー77−A,77−Bが比較的水平になる、例えば、構造物の屋根や橋梁などの底面など水平な構造物表面の撮影用で、マーカ浮上接地機構部76−A,76−Bがフリーな状態で移動する構成を示したが、建築物の壁や橋脚など垂直となる面では、マーカ浮上接地機構部76−A,76−Bの重量を補償するように、滑車機構とケーブルとバランス用の荷重をマーカ浮上接地機構部76−A,76−Bに付加して、エレベータやケーブルカーのように重力バランスをとることにより、本実施形態の機構が適用できる。
図6(a),(b)は第1の実施形態における撮影と画像処理を示すフローチャートである。図6(a)は、移動式マルチ画像撮影を示すフローチャートである。
ステップS10において、制御部8は撮影処理の初期化と、画像処理の初期化を行う。
ステップS11において、移動式マルチ画像撮影装置1−1は初期位置に移動して停止する。
ステップS12において、制御部8のタイミング制御部82からの信号をカメラ2が受けて初回の撮影をする。
ステップS13において、タイミング制御部82からの信号をマーカ付与部7のマーカ浮上接地機構部76−Aが受けてマーカ浮上接地用モータ75−Aを駆動して、マーカ3を最初の接地地点3−A−1にマーカ3−Aを接地する。
ステップS14において、タイミング制御部82からの信号をカメラ2が受けてマーカ3−A−1地点のマーカ3−Aを含む画像を撮影する。
ステップS15において、タイミング制御部82からの信号を動作制御部81が受けて、車輪駆動部6に伝えて、車輪61を駆動して、本体63を前進させる。
ステップS16において、次のマーカを付与するかどうかを制御部8で判断する。マーカを付与する場合には、ステップS17のマーカの種別判断へ行き、付与しない場合には、撮影の終了に行く。
ステップS17において、付与した一つ前のマーカがB側かA側かを判断し、A側の場合にはステップS18に進み、B側の場合にはステップS23に進む。
ステップS18において、次のマーカ地点3−B−1にマーカ3−Bの付与を指示に従い水平移動モータ78−Bを駆動して水平駆動連結ケーブル 79−Bを介して接続されたマーカ浮上接地機構部76−Bが水平移動用スライダー77−B上を所定位置まで前進して停止し、マーカ浮上接地用モータ75−Bを駆動して、接地地点マーカ3−B−1にマーカ3−Bを接地する。
ステップS19において、スライダー77Bには、接地固定したマーカ3−Bと移動する本体63の相対位置センサ83−B−1からの検知信号を受けたタイミング制御部82からの信号をカメラ2が受けて、マーカ3−Aとマーカ3−Bを含む画像を撮影する。
ステップS20において、ステップS19の撮影が終了し、スライダー77Aの位置センサ83−A−3からの検知信号を受けたタイミング制御部82からの信号をマーカ浮上接地機構部76−Aが受けてマーカ浮上接地用モータ75−Aを駆動して、マーカ3−Aを浮上させて待機する。
ステップS21において、スライダー77−B上の位置センサ83−B−2から信号を受けたタイミング制御部82からの信号をカメラ2が受けて、マーカ3−Bを含む画像を撮影する。
ステップS22において、次の撮影を実行するか否かを制御部8で決定して、実行する場合には、ステップS17に戻る。
ステップ23〜ステップ26は、前マーカがB側であると判断した場合に、ステップS18〜ステップS20のフローをマーカBとマーカAを置き換えて繰り返す。
ステップS17〜ステップS26のフローは次の撮影を実行するか否かのステップS22の判断が“No”となるまで繰り返され、一連の撮影を行い、画像データを取得して、終了する。
図6の(b)は図2のブロック図において、画像処理部9における画像処理のフローを示した図である。
画像処理部9の画像取込・保持部90が撮影画像を取込むタイミングで画像処理が開始される。
ステップS30において、その画像情報がマーカ像抽出画像間補正値導出91に送られる。
ステップS31において、図3あるいは図4におけるマーカ画像14が、輝度に一定の閾値をつけた二値化処理により得られる。
ステップS32において、一つのマーカ地点のマーカを含む画像から遡り、連続して取得したマーカ画像が3つあるか否を判断して、“No”の場合には次の撮影マーカ撮影による画像データの取得に行き、3つ以上あれば次の処理に進む。
ステップS33において、今回撮影した画像と前回撮影したマーカ画像の共通の地点付与したマーカ像の座標、例えば、図4のマーカ画像14−3と14−2における3−B−1地点に付与したマーカ3−Bの画像の座標、からアフィン変換係数を求めて、これを補正値1として導出する。
ステップS34において、ステップS33の処理と同様の処理を前回マーカ画像および前々回のマーカ画像の座標、上記例に対応すると、マーカ画像14−2とマーカ画像14−1におけるマーカ3−A−1地点に付与したマーカ3−Aの画像の座標、からアフィン変換係数を求めて、これを補正値2として導出する。
ステップS35において、上記二つの補正値1と2を、今回の合成用画像と前々回の合成用画像、上記例にそくするならば合成用画像15−3と15−1、の画像合わせに適用して、今回の画像、例では15−3のマーカ3−B画像とマーカ支持部5−B、を隠蔽するように前々回の画像、例では15−1、あるいは、これまでのマーカ隠蔽した合成画像、例では17−1で隠蔽するように合成することで今回の撮影した画像までのマーカを隠蔽した合成画像、例では17−3を得る。
尚、初期の合成画像は、マーカ画像14−0と14−1から得たマーカ3−Aの画像座標からアフィン変換係数を求めて、合成用画像15−0と15−1に補正値として適用して、合成画像17−1を求める。
以上の一連の画像処理を実行することで、終了する。
(第1の実施形態の効果)
以上説明した第1の実施形態では、次の(A)〜(H)のような効果がある。
(第1の実施形態の効果)
以上説明した第1の実施形態では、次の(A)〜(H)のような効果がある。
(A)連続、あるいは任意に断続的に移動しながら、長い距離の被写体表面の高精細な画像から容易に画像合成が容易に得られる。
(B)連続、あるいは任意に断続的に移動しながら、長い距離の被写体表面の高精細な画像から容易に画像合成がを得るためのマーカとして可視光や非可視光などの制限なく、マーカを隠蔽した合成画像が得られる。
(C)マーカを付与するマーカ機構とカメラを搭載した機構の相対的な位置関係を得る位置センサを実装することで、容易に撮影タイミングや次のマーカ付与のタイミングを得ることができる。
(D)付与するマーカが再利用できるので、準備するマーカ数を減らして、システムとしてコンパクトな構成が得られると共にマーカを付着物として被写体上に残さないことから、付与するマーカを取り除く作業を行うことなく、被写体や周囲がそのまま保たれる。
(E)移動式マルチ画像撮影による隣接画像間の合成用共通マーカ処理において、高輝度なマーカが使えることから画像合わせ処理で二値化画像が使えるために処理が軽くなる。
(F)マーカを被写体表面に対してほぼ垂直に降下、昇降させるマーカアーム浮上接地機構により、被写体表面の凹凸が激しい場合でも、昇降範囲を拡大することで装置が移動するときの表面の凹凸への衝突を回避することができる。
(G)固体のマーカを被写体表面に直接付与するので、レーザ光照射のような被写体の表面状態に依存することなく、安定したマーカが得られる。
(H)撮影範囲とマーカ付与位置の位置関係を、撮影画像を見ながら、カメラのチルト角の調整により、最適な撮影位置に調整することができるので微細な撮影範囲とマーカ像の位置関係を得ることができる。
(第2の実施形態)
図7は、第2の実施形態に於ける移動式マルチ画像撮影装置の外観と動作を示す図である。図7の(a)に移動式マルチ画像撮影装置1−2の側面図と動作、(b)に上面図を示す。第1の実施形態と第2の実施形態の違いを図7と図1を比較して示し、第2の実施形態の特徴をあら表す内容に重点を置いて説明する。第2の実施形態では移動式マルチ画像撮影装置1−2でのマーカ3付与は、第1の実施形態の移動式マルチ画像装置の左右A,Bの二つの構成に対してマーカ付与機構が一つしかなく、一連のマーカ3が被写体構造物4表面に使い捨てのイメージで付着されて、即座には再利用しないことにある。移動式マルチ画像撮影装置1−2が前進するに伴い、マーカ3−1,3−2を付着しながら、マーカ画像を撮影する。その動作を第2N番目の撮影22−2Nから第2(N+1)の流れで一般化して示したのが図7である。撮影22−2Nでは、マーカ3−Nが被写体構造物4の表面に付与された状態で、マーカ3−N+1が付与される予定の領域を含みながら、第マーカ3−N+1が付与される前撮影範囲10−2Nの撮影を行う。次に、移動式マルチ画像撮影装置1−2が前進する中で、マーカ付与部7の動作により、マーカ3−N+1が付与され、マーカ3−Nとマーカ3−N+1を含むような撮影範囲10−2N+1の撮影22−2N+1が実行される。さらに、移動式マルチ画像撮影装置1−2が前進する中で、撮影22−2(N+1)では、マーカ3−N+1が被写体構造物4の表面に付与された状態で、マーカ3−N+2が付与される予定の領域を含みながら、マーカ3−N+2が付与される前の撮影を行う。
(第2の実施形態)
図7は、第2の実施形態に於ける移動式マルチ画像撮影装置の外観と動作を示す図である。図7の(a)に移動式マルチ画像撮影装置1−2の側面図と動作、(b)に上面図を示す。第1の実施形態と第2の実施形態の違いを図7と図1を比較して示し、第2の実施形態の特徴をあら表す内容に重点を置いて説明する。第2の実施形態では移動式マルチ画像撮影装置1−2でのマーカ3付与は、第1の実施形態の移動式マルチ画像装置の左右A,Bの二つの構成に対してマーカ付与機構が一つしかなく、一連のマーカ3が被写体構造物4表面に使い捨てのイメージで付着されて、即座には再利用しないことにある。移動式マルチ画像撮影装置1−2が前進するに伴い、マーカ3−1,3−2を付着しながら、マーカ画像を撮影する。その動作を第2N番目の撮影22−2Nから第2(N+1)の流れで一般化して示したのが図7である。撮影22−2Nでは、マーカ3−Nが被写体構造物4の表面に付与された状態で、マーカ3−N+1が付与される予定の領域を含みながら、第マーカ3−N+1が付与される前撮影範囲10−2Nの撮影を行う。次に、移動式マルチ画像撮影装置1−2が前進する中で、マーカ付与部7の動作により、マーカ3−N+1が付与され、マーカ3−Nとマーカ3−N+1を含むような撮影範囲10−2N+1の撮影22−2N+1が実行される。さらに、移動式マルチ画像撮影装置1−2が前進する中で、撮影22−2(N+1)では、マーカ3−N+1が被写体構造物4の表面に付与された状態で、マーカ3−N+2が付与される予定の領域を含みながら、マーカ3−N+2が付与される前の撮影を行う。
図8に第2の実施形態のタイミングチャートを示す。静止状態は第1の実施形態のマーカ地点3−A−1を3−1に置き換えたものとなる。図中、最上位(1)は移動式マルチ画像撮影装置1−2の静止,移動を表す。上から、(2)はマーカ3−1の接地、(2)はマーカ3−Nの接地、(3)はマーカ3−N+1の接地、(4)はマーカ3−N+2の接地、(6)はカメラの撮影トリガ信号、(7)は撮影、(8)はマーカ画像処理、(9)はマーカ隠蔽画像処理のタイミングの関係を、夫々示している。ここで、NはN番目に付与したマーカ3を表し、タイミングとは、時間の推移を意味するものではなく、動作の前後関係や位置関係を意味するものである。また、(2)〜(5)で上下の地点を含む実線の枠は、撮影動作22−0,22−1,22−2N〜22−2(N+1)に含まれるマーカ3−1,3−N〜3−N+2を示し、破線は一連の撮影動作を示している。撮影22−2Nでは第Nのマーカ3−Nが付与された状態で、マーカ3−N+1が付与される予定の領域も含みながら、(6)の撮影トリガにより、マーカが付与されていない画像を(7)撮影し(22−2N)、マーカ画像処理24−2Nと、画像合成処理15−2Nが行われる。さらに移動して、マーカ3−N+1が付与された後に、撮影22−2N+1ではマーカ3−Nと3−N+1を含んだ撮影を行う。マーカ画像処理24−2N+1を行い、マーカを抽出する。次に撮影22−2(N+1)では、マーカ3−Nは撮影範囲から外れて、次のマーカ3−N+1の付与位置を含む領域をマーカ3−N+1が付与予定地点に付与されていない状態で撮影する。マーカ画像処理24−2(N+1)と、画像合成処理15−2(N+1)が行われる。
図9は、第2の実施形態におけるカメラ2を移動して撮影した画像郡の処理の図である。最初の静止から移動時の撮影と処理は第1の実施形態と同様であるので、図9には処理を一般化した撮影画像23−2Nから撮影画像23−2(N+1)の処理を表している。図9(a)は、2N番目に撮影した画像23−2N、(b)は画像23−2N+1、(c)は画像23−2(N+1)についての処理過程を示す図である。撮影画像23−2Nから、撮影画像23−2(N+1)の処理方法について説明する。図9(a)の撮影画像23−2Nから、二値化により、マーカ画像24−2Nを取得する。図9(b)の撮影画像23−2N−1から、二値化によりマーカ画像24−2N+1を得る。図9(c)の撮影画像23−2(N+1)から、二値化によりマーカ画像24−2(N+1)を得て、これとその前に得ているマーカ画像24−2N+1の共通のマーカ3−Nの画素座標情報からアフィン変換係数を得て、マーカ画像合成26−2(N+1)の合成用補正値を得る。合成用画像25−2(N+1)は、先の合成用画像25−2Nとの画像合成に際して、マーカ画像24−2Nとマーカ画像24−2N+1のマーカ3−Nの画素座標から撮影画像23−2Nと撮影画像23−2N+1間のアフィン変換係数を求め、マーカ画像24−2N+1とマーカ画像24−2(N+1)のマーカ3−N+1の画素座標から画像間のアフィン変換係数を求め、これらのアフィン変換に示される画像合成用補正値を合成用画像25−2Nと合成用画像25−2(N+1)について合成用画像25−2(N+1)に上書きする形で合成することにより、マーカ3−N+1に付随し付与したものの画像が隠蔽されて、マーカ像や付与した物が含まれない合成画像27−2(N+1)を取得することができる。この処理を、マーカ合成26−2Nまでに得た補正値と先の図9(c)の処理で得た補正値を用いて、マーカ合成27−2(N+1)の合成に適用するようにマーカ付与順に補正処理を遡ることにより、移動式マルチ画像撮影装置1−2で撮影した一連の画像について、マーカを隠蔽した合成画像として27−2(N+1)として、最初撮影した画像までの合成画像を取得することができる。
図10は、図7に示した移動式マルチ画像撮影装置1−2を実現する具体的な構造の概要図である。第1の実施形態の図6に示した構成との違いを主に説明する。マーカ付与のために、付着マーカ173は、ガラスビーズ180が粘着シート181の上に付着しており、マーカ付着機構部176の回転式のベルト186を介しマーカ収納部182から供給される。図中、回転式ベルトと186の駆動系については、ここでは省く。ここでは、ガラスビーズとしたが、受動的な点状の高い反射率を有するものとして小径の金属球のようなものでもよい。
マーカの付与と撮影のタイミングについては、マーカ付着機構部176の先端に設置された圧力センサ183からのマーカ付与時の接地情報と、装置の前進を行う回転角目盛り付車輪68を使い、車輪回転状態を計測する回転角目盛りから得た回転情報を距離換算して、予めカメラの撮影範囲と撮影位置から設定していた、マーカ3付与位置とカメラの撮影位置に対応した移動距離に対応するタイミングでマーカを付与や撮影を行う。
所定の移動距離に対応して、マーカ付着部浮上接地モータ172が駆動して、マーカ付着機構部176が接地し、付着マーカ173を付着する。車輪の回転量から換算した処理の移動距離に達すると図8のタイミングチャートで(6)カメラ撮影トリガとして撮影22−2Nの信号を発して、それに応じて(7)撮影する。さらに所定距離移動し、次のマーカ付与位置に達するとマーカ付着部浮上設置用モータ172が駆動してマーカ付着機構部176を接地し、付着マーカ173を被写体構造物4の表面に付着する。ガラスビーズ180の特性として来た方向に光を強く反射する特性を有するので、カメラ2の近傍に設置した光源の照明184の光をカメラ2方向に強く反射する。マーカ付着機構部176にある、付着前のマーカ183からの反射光が戻らないように、蓋い185をかぶせている。
図11は、第2の実施形態のフローチャートである。
ステップS40〜ステップS45までは、図6(a)のステップS10〜ステップS15のフローにおいて、再利用型のマーカ3−A−1を使い捨て型のマーカ3−1に置き換えたものである。
ステップS46において、次のマーカを付与するかどうかを制御部8で判断する。マーカを付与する場合には、ステップS47のマーカの付与へ行き、付与しない場合には、撮影の終了に行く。
ステップS47において、制御部8から次のマーカ3の付与を指示されると、次のマーカを付与するために、タイミング制御部82からの信号によりマーカ付着部浮上接地用モータ172を駆動して、マーカ付着機構部176を接地し、付着マーカ173を被写体構造物4表面に付着する。
ステップS48において、付着マーカと装置の相対的な位置情報に基づいたタイミング制御部82からの信号をカメラ2が受けて、前回付着したマーカ3−Nと今回付着したマーカ3−N+1の二つのマーカを含む画像を撮影する。
ステップS49において、マーカと装置の相対位置情報に基づいたタイミング制御部82からの信号をカメラ2が受けて、マーカ3−N+1を含む画像を撮影する。
ステップS50において、マーカと装置の相対位置情報基づいたタイミング制御部82からの信号をマーカ付着機構部176が受けてマーカ付着部浮上接地用モータ172がマーカ付着機構部176を浮上させて待機する。
ステップS51において、次の撮影を実行するか否かを制御部8で決定して、実行する場合には、ステップS47に戻り、次のマーカを付与する。“No”の場合には一連の撮影と画像データを終了する。
画像処理については、図6(b)に基づくものと同様になる。
(第2の実施形態の効果)
以上説明した第2の実施形態では、次の(I)〜(L)のような効果がある。
(第2の実施形態の効果)
以上説明した第2の実施形態では、次の(I)〜(L)のような効果がある。
(I)一連のマーカを付与する機構が1式でよいので、再利用型に比べて構造制御が簡単になる。
(J)マーカ自体はガラスビーズや小径の金属球など受動的で高い反射率を有するものを適用することができるので、自発光のマーカと利用するシステムに比べると、安価なシステムの提供ができる。
(K)移動式マルチ画像撮影による隣接画像間の合成用共通マーカ処理において、高い反射率を有する廉価なガラスビーズや小径の金属球など受動体とカメラ側からの光源照射を組み合わせにより、高輝度なマーカに発光体そのものを適用することなく簡単に得ることができる。
(L)車輪に付けた回転位置目盛りの読み取りと、マーカの接地センサを組み合わせた構成で、簡単に被写体に付与したマーカとカメラを搭載した装置の相対位置関係を得ることができる。
(第3の実施形態)
図12A〜図12Cは、第3の実施形態に於ける移動式マルチ画像撮影装置1−3の構成の概略を示した図である。移動式マルチ画像撮影装置1−3は、チェビシェフクランク機構270と非可視光レーザ284と非可視光/可視光カメラ202に特徴がある。図12Aは上面図、図12Bは側面図、図12Cは正面図である。移動式マルチ画像撮影装置1−3はチェビチェフクランク機構270を右(A)、左(B)に両者の動きが反対位相で同期を取るように組み合わせた二足歩行的な動作をする。チェビチェフクランク機構270−A,270−Bのフレームの先端に、支柱276−A,276−Bを接続して、その支柱上部先端に非可視光レーザ284−A,284−Bを配置して、チェビチェフクランク機構270−A,270−Bの動きに合わせて、タイミングを連携させながら非可視光/可視光カメラ202で撮影を行う。基本的な機能ブロック構成については、第1の実施形態の図2に示したブロック図に準じる。図中、車輪は姿勢を保つ補助的なもので、移動式マルチ画像撮影装置1−3の前進は、支柱276−Aが接地しているときには、クランク機構の回転中心であるO−1,O−2を移動式マルチ画像撮影装置1−3の前進への力点として移動式マルチ画像撮影装置1−3が持ち上がり前進する。このため、支柱276−Aと276−Bを2足歩行の脚とした動作になる。
(第3の実施形態)
図12A〜図12Cは、第3の実施形態に於ける移動式マルチ画像撮影装置1−3の構成の概略を示した図である。移動式マルチ画像撮影装置1−3は、チェビシェフクランク機構270と非可視光レーザ284と非可視光/可視光カメラ202に特徴がある。図12Aは上面図、図12Bは側面図、図12Cは正面図である。移動式マルチ画像撮影装置1−3はチェビチェフクランク機構270を右(A)、左(B)に両者の動きが反対位相で同期を取るように組み合わせた二足歩行的な動作をする。チェビチェフクランク機構270−A,270−Bのフレームの先端に、支柱276−A,276−Bを接続して、その支柱上部先端に非可視光レーザ284−A,284−Bを配置して、チェビチェフクランク機構270−A,270−Bの動きに合わせて、タイミングを連携させながら非可視光/可視光カメラ202で撮影を行う。基本的な機能ブロック構成については、第1の実施形態の図2に示したブロック図に準じる。図中、車輪は姿勢を保つ補助的なもので、移動式マルチ画像撮影装置1−3の前進は、支柱276−Aが接地しているときには、クランク機構の回転中心であるO−1,O−2を移動式マルチ画像撮影装置1−3の前進への力点として移動式マルチ画像撮影装置1−3が持ち上がり前進する。このため、支柱276−Aと276−Bを2足歩行の脚とした動作になる。
マーカ付与のタイミングと撮影のタイミングについては、図には示していないが、移動式マルチ画像撮影装置1−3の移動に伴いFa−Aの回転角度の特定な位置に位置センサ183−1,183−2を接地して、撮影のタイミングを得る。また、正確なマーカの接地を確認するために、支柱276−Aや276−Bの接地部に圧力センサ183−Aや183−Bを設置して、接地情報を得て、撮影のタイミング信号の発生に使うことも可能である。
図13は、チェビチェフクランク機構270−Aの動作を表す図である。図13(a)には基本構成と、クランク機構の動きを、(b)には各フレームの構成とその軌道を示す。チェビシェフクランク機構270は、フレームの長さの比が1:2.5:5のフレームFa 271,フレームFb 272,フレームFc 273からなる。フレームFa 271は点O−1を中心に回転し、そこからフレームFa長に対して2倍離れた点O−2を中心支点として回転するフレームFbがあり、フレームFaの他端はフレームFcの一端に接続して、フレームFbの他端はフレームFcの中心点に接続している。このときのフレームFaとフレームFcの接続点をPa、フレームFbとフレームFcの接続点をPb、フレームFcの先端をPcとおき、フレームFaの長さをR、位相角θを図13の(b)のθのようにおくとその座標の関係は、次式(4) の関係で表される。
この運動の様子を示したのが図13(b)であり、フレームFaとフレームFcの接続点が円運動をする間に、フレームFbが扇状の往復運動をして、それらの動きが組み合わさり、フレームFcの他端Pcはほぼ水平な移動と上方に円弧状に戻る軌道を描く。チェビシェフクランク機構270を左右270−A,270−Bを対に並べて、右のフレームFa−Aの回転運動に対して丁度180度位置が異なるように左のフレームFa−BがFa−Aの共通の回転軸O−1を介して接続する。そのときに、フレームFc−A,Fc−Bの先端の軌道P−A,P−Bは反対の位相点になり、平坦に移動する部分と、円弧状に戻る部分があたかも二足歩行の運動を空中で空回りさせたように動く。このとき、平坦な移動部分の占める割合は浮上して戻る割合よりも大きく、左右で同時に平坦な部分が重なる領域275−A−1と275−B−2を生じる。この両者の関係は対象であり、同じ関係は反対の位相時に、左右が入れ替わる関係を持って生じる。
図12A〜図12Cに示した左右セットにしたチェビシェフクランク機構270−A,270−BのフレームFc−A,Fc−Bの先端Pc−A,Pc−Bの動きが平坦になるときに接地するような支柱276−A,276−Bの高さを設定して接続して、接地時には支柱が被写体構造物4に接地する形で固定されるように移動体マルチ画像撮影装置1−3を移動させる。例えば、チェビシェフクランク機構270のフレームFa−A,Fa−Bの回転軸O−1に回転駆動系(図示せず)を接続してフレームFa−A,Fa−Bを回転させて、移動式マルチ画像撮影装置1−3が支柱276−A,276−Bの交互の接地時にその接地を支点して、回転中心のO−1とO−2を本体への力点として本体を浮上させて前に動かすことで実現できる。以上のようにして、支柱276−A,276−Bの先端に非可視光レーザ284−A,284-Bを取り付けて、非可視光レーザ284−A,284−Bから被写体構造物4上に非可視光レーザ光を照射してその反射により得られる高輝度なマーカを再利用可能なマーカとして、第1の実施形態における左右のマーカ3−A,3−Bの付与に変わり用いるものである。
図14に第3の実施形態のタイミングチャートを示す。図中、最上位(1)は移動式マルチ画像撮影装置1−3の動きを表し、上から、(2)は非可視光レーザマーカA273−Aの点灯、(3)は非可視光レーザマーカB273−Bの点灯、(4)は支柱276−Aの浮上と移動、(5)は支柱276−Bの浮上と移動、(6)は支柱Aの第1地点への接地277−A-1での接地、(7)は支柱Bの第2地点への接地277−B−1、(8)は支柱Aの第3地点への接地277−A−2、(9)は支柱Aの接地・浮上信号、(10)は支柱Bの接地・浮上信号、(11)はカメラ撮影トリガ信号、(12)は撮影、(13)は非可視光マーカ処理、(14)は可視光画像合成処理のタイミングの関係を、夫々示している。ここでのタイミングとは、時間の推移を意味するものではなく、動作の前後関係や位置関係を意味するものであり、例えば最上位(1)の装置の移動のシーケンスは必ずしも連続的な移動である必然性はなく、任意に断続的な移動でもよい。また、(6)〜(12)で上下の地点を含む実線の枠は、撮影動作32−0〜32−2に含まれる支柱の接地状態の関係を示し、破線は各地点間の移動を表している。(2),(3)に見るマーカA,マーカBの点灯/消灯は、(9),(10)の支柱A,支柱Bの接地・浮上信号に同期しており、接地しているときに点灯するものである。初期の静止状態では(6)支柱Aが接地277−A−1して非可視光レーザマーカが被写体構造物4の表面上の第1地点203−A−1に非可視光レーザ284−Aからレーザ光照射してマーカを形成している状態で撮影32−0を行い、(13)の非可視光マーカ画像を非可視光/可視光カメラの画像情報の中から、非可視光分を使って処理して画素情報34−0を得る。さらに、(14)の可視光画像情報から画像合成に利用する合成用可視光画像情報35−0を得る。
次に、移動式マルチ画像撮影装置1−3が始動し、(7)の支柱Bが第2の接地地点277−B−1に接地すると、(10)の支柱Bの接地・浮上信号を受けて、(3)でレーザBを点灯して被写体構造物4の表面の第2の地点にレーザ光を照射してマーカを形成している状態203−B−1で撮影32−1を行い、(3)非可視光レーザマーカ203−A−1と203−B−1が含まれる状態撮影する。(13)の非可視光マーカ画像を非可視光/可視光カメラの画像情報の中から、非可視光分を使って処理して画素情報34−1を得る、(14)の合成用可視光画像情報35−1を得て必要に応じてマーカ座標からの合成用補正値の導出と画像合成処理を行う。その後、(6)の第1の地点から支柱276−Aが浮上すると(9)で浮上信号を受けて、(2)でレーザA284−Aを消灯する。
さらに、移動式マルチ画像撮影装置1−3が動き(8)の支柱Aが第3の接地地点277−A−2に接地すると、(10)の支柱Aの接地・浮上信号を受けて、(2)でレーザAを点灯して被写体構造物4の表面の第3の地点にレーザ光を照射してマーカを形成している状態203−A−2で撮影32−2を行い、(3)非可視光レーザマーカ203−B−1と203−A−2が含まれる状態撮影する。(13)の非可視光マーカ画像を非可視光/可視光カメラの画像情報の中から、非可視光分を使って処理して画素情報34−2を得る、(14)の合成用可視光画像情報35−2を得て必要に応じて補正値の導出や画像合成処理を行う。
図15は、第3の実施形態における撮影で取得したマルチ画像の処理の図である。図15(a)は、最初の撮影画像33−0を示す図である。画像33−0は移動式マルチ画像撮影装置1−3の静止状態において、マーカ203−A−1を付与させて非可視光/可視光カメラ202によって撮影した画像である。この画像から、非可視光信号を抽出して二値化したマーカ画像34−0と可視光を抽出した合成用画像35−0を得る。図15(b)は、移動式マルチ画像撮影装置1−1が移動開始して、非可視光レーザマーカ203−A−1と203−B−1が付与された状態で最初に撮影した画像33−1と、非可視光画像から二値化処理したマーカ画像34−1と、可視光合成用画像35−1を示す。
ここで、撮影画像33−0の画素座標系を(ax,ay)として、撮影画像33−1の画素座標系を(bx,by)とする。マーカ画像34−0とマーカ画像34−1の共通のマーカ203−A−1の画素座標の比較からアフィン変換係数[A1]を得ることにより、両者の画像の共通座標化、すなわち、次式(5)の合成用の補正値パラメータ[A1]得る。
この補正値を合成用画像35−0と35−1に適用することで可視光合成用画像37−1を得る。この第3の実施形態では、非可視光のマーカを使うため、可視光画像合成で第1の実施形態や第2の実施形態で行ったような隠蔽の手順は不要である。図15(c)は、さらに移動式マルチ画像撮影装置1−3が移動して、新たな付与マーカ203−B−1を被写体構造物4の表面に付与し、既に付与されているマーカ203−A−1を含むように撮影した撮影画像33−2である。この画像33−2から、(b)における撮影画像33−1と同様の処理を行うことで、非可視光マーカ画像34−2と可視光合成用画像35−2を取得して、これらから、マーカ203−A−2を基準にしてもとまる補正値を、可視光合成画像35−2に適用して、次式(6)の補正値パラメータ[A2]を得る。
この補正値を前の補正値を用いることで、全体の画像合成37−2を次式(7)で得ることができる。
図16(a),(b)は、第3の実施形態の撮影,画像処理のフローチャートである。
図16(a)は、第3の実施形態の撮影の全体を示すフローチャートである。
ステップS60〜ステップS65までは、図6(a)のステップS10〜ステップS15のフローにおいて、再利用型のマーカ3−A−1をレーザ照射のマーカ203−A−1に置き換えたものである。
ステップS66において、チェビシェフクランク機構のフレームFaの回転に伴い、支柱276−B(または、支柱276−A)が接地して非可視光レーザ284−B(または、284−A)を発光させることにより、非可視光マーカ203−B−1(または、203−A−1)が被写体上に形成される。
ステップS67において、チェビシェフクランク機能のフレームFaの角度θを第2の実施形態の目盛りつき車輪68のようにして、読み取ることにより、フレームFc−AとフレームFc−BのPc−AとPc−Bの関係から、同時に支柱276−Aと276−Bが接地している状態が特定できるので、この情報をマーカ・本体相対位置検出部72に通知することにより、タイミング制御部82を介して、カメラ202に撮影指示が発せられて、二つのマーカを含む画像を撮影する。
ステップS68において、次の撮影を実行するか否かを制御部8で決定して、実行する場合には、ステップS66に戻り、次のマーカを付与する。“No”の場合には一連の撮影と画像データを終了する。
図16(b)は第3の実施形態の画像処理のフローチャートである。
図16(b)は図2のブロック図において、画像処理部9における、また、図14のタイミングチャートに示した(13)マーカ画像処理、(14)の画像合成処理における、あるいは、図15の画像処理のフローを示した図である。
画像処理部9の画像取込・保持部90が撮影画像を取込むタイミングで画像処理が開始する。
ステップS70において、その画像情報がマーカ像抽出画像間補正値導出91に送られる。
ステップS71において、図14あるいは図15における非可視光マーカ画像34が、輝度に一定の閾値をつけた二値化処理により得られる。
ステップS72において、二値化により得られた、今回のマーカ画像と前回のマーカ画像から二値化により得られた画像、例えば、図15のマーカ画像34−1と34−2のような隣接したマーカ画像から、両者の画像で共通のマーカ、例えば、マーカ203−B−1の少なくとも2つからなるマーカ像の画素座標を比較することにより、アフィン変換係数を求めて、これを補正値として導出する。
ステップS73において、今回の合成用画像と前回の合成用画像、上記例にそくする合成用画像35−1と35−2、の画像合わせに適用して、合成画像37−2を得る。
尚、初期の合成画像は、マーカ画像14−0と14−1から得た、少なくとも2つ以上から構成されるマーカ3−A−1についてのアフィン変換係数を合成用画像15−0と15−1に補正値として適用して、合成画像17−1を求める。
以上の一連の画像処理を実行することで、終了する。
(第3の実施形態の効果)
以上説明した第3の実施形態では、次の(M)〜(Q)のような効果がある。
(第3の実施形態の効果)
以上説明した第3の実施形態では、次の(M)〜(Q)のような効果がある。
(M)第1,第2の実施形態では車輪移動に伴う位置検出機構が別途必要になったが、チェビシェフクランク機構のような2足歩行構成では、接地固定点を基準に装置が移動するため、機構の特定の状態、例えば回転するフレームの角度位置を読み取り値、に撮影タイミングを連動すればよく、タイミング制御が簡単になる。
(N)チェビシェフクランク機構を適用することにより、左右の接地点が機構の動きに組み込まれているためにマーカ付与機構部スライドのような重力の影響を受ることがないので再生利用可能なマーカを追加機構を付与することなく提供できるので、装置の向きが水平面上だけでなく、垂直な壁の表面などの移動撮影が同じ構造でそのまま可能となる。
(O)チェビシェフクランク機構を適用することにより、受動的なマーカ付与機構で、左右のマーカ付与においてオーバーラップ領域を有するために、2地点のマーカの同時撮影が提供されるので、制御が簡単になる。
(P)移動式マルチ画像撮影での画像合成においても非可視光/可視光カメラと非可視光マーカの組み合わせを適用することで、非可視光レーザマーカにより、被写体撮影範囲にマーカ付与のための機構を入れることなく遠隔でマーカを付与することができるため、同時に2つのマーカ地点のマーカを撮影するだけで画像合わせ用の補正値を取得して画像が合成でき、可視光のみのマーカに比べて、マーカの隠蔽手順が不要で単純な処理となり、処理を軽減できると共に撮影回数が減らせる。
(Q)被写体から離れた位置からレーザ照射による被写体表面へのマーカ付与では、物理的なマーカ付与と異なり、直接被写体表面自身にマーカが付与できるために、移動に伴いマーカに対するカメラ撮影角度が変わっても被写体表面での視差角が生じないなので、完全に固定された共通マーカ座標を得ることができる。
(第4の実施形態)
第4の実施形態では、撮影に際して、被写体42に一切接触をすることなく、マルチ画像を撮影して合成する形態について示す。
(第4の実施形態)
第4の実施形態では、撮影に際して、被写体42に一切接触をすることなく、マルチ画像を撮影して合成する形態について示す。
図17A〜図17Cは、第4の実施形態に於ける移動式マルチ画像撮影装置1−4の構成を示した図である。移動式マルチ画像装置1−4は基本的には、移動式の並列カメラ撮影部321とカメラ部分離した二つの移動式マルチ画像マーカ用レーザ機構部330−A,330−Bからなる。並列カメラ撮影部321は複数の非可視光/可視光カメラ320−1〜320−3を所定間隔で並列マルチカメラ支柱・フレーム324上に固定されている。そのカメラ320−1〜320−3の撮影範囲350−1〜350−3で隣接する撮影範囲で重なる領域に、撮影画像350−1と350−2では少なくとも2つ(ここでは2つ)の並列撮影用マーカパタン323−12−1,323−12−2、撮影画像350−2,350−3では並列用マーカパタン323−23−1,323−23−2を付与するために、並列撮影マーカ用レーザ322−12−1,322−12−2をカメラ320−1と320−2の間に、また、並列撮影マーカ用レーザ322−23−1,322−23−2をカメラ320−2と320−3の間に配置する。並列マルチカメラ支持・フレーム324は、被写体42の両脇に設定されたレール360-Bと360−Cに移動のための設定された並列マルチカメラ移動部326−Bと326−Cに跨るように配置された並列マルチカメラ支持アーム325上に接地され、被写体42に接触することなく、移動しながら撮影できる構造となっている。他方、マーカ付与に関しては、カメラ320−1の撮影範囲350−1に、移動しながら撮影しても、移動前後での撮影画像の合成ができるように画像合わせの基準となるマーカパタン303−A−1,303−A−2と、マーカパタン303−B−1,303−B−2を同時に撮影範囲350−1に入れながら交互に前後関係が変わる形で被写体42上に構成する。このために、並列マルチカメラ機構部321を支えるレール360−Bとさらに並行するようにレール360−Aを配置して、360−A上を移動する移動マルチ画像レーザマーカ移動336−Aがあり、その中にレーザマーカを照射するための、移動マルチ画像レーザマーカ機構部330−Aがあり、これは、移動式マルチ画像マーカレーザ331−A−1,33−A−2とそれを支える移動マルチ画像マーカレーザ用支柱322−Aからなる。同様に、並列マルチカメラ機構部321を支えるレール360−B上には、360−B上を移動する移動マルチ画像レーザマーカ移動336−Bがあり、その中にレーザマーカを照射するための移動マルチ画像レーザマーカ機構部330−Bがあり、これは、移動式マルチ画像マーカレーザ331−B−1,33−B−2とそれを支える移動マルチ画像マーカレーザ用支柱322−Bからなる。これらの構成要素は分離構成制御部380に信号線が接続ざれて制御を行う。図中、カメラ320−1は並列マルチカメラ支持・フレーム324に固定されている形態を示しているが、第1の実施形態で適用したチルト角制御部84を適用して、撮影範囲を制御してもよい。
図18は、移動式マルチ画像撮影装置1−4の機能ブロック図である。
大きくは二つの移動マルチ画像レーザマーカ機構部330−A,330−Bと分離構成制御部380と並列マルチカメラ機構部321からなる。
分離構成制御部380はシーケンス制御部 383とマーカ/撮影タイミング制御部382と移動タイミング制御部 381からなり、移動マルチ画像レーザマーカ機構部330−A,330−Bと並列マルチカメラ機構部321から情報を得て、指示を与える。シーケンス制御部383からタイミング制御部382に始動関連の指示I301が例えばマーカAの機構330−Aの移動マルチ画像レーザマーカ移動部335−Aに送られ、移動マルチ画像レーザマーカ機構位置検知器部334−A、例えば、レール360−Aに刻まれた距離マーカを読み取るなど、の位置情報I302を確認しながら、所定位置に移動して静止した後に、マーカ320−A−1,320−A−2を所定の位置に照射する指示I303が出される。このときに、マーカ320−A−1,320−A−2を移したカメラ320−1の画像情報からマーカ像を検出して、例えば、図20に示されるようなマーカと撮影位置の適正な関係が得られるように、移動マルチ画像レーザマーカ移動部335−Aあるいは335−Bに帰還制御をかけて移動方向の位置の微調整を行う。次に、タイミング制御部382から他方のマーカ、例えばマーカBの機構330−Bの移動マルチ画像レーザマーカ移動部335−Bに移動指示I304が送られ、移動マルチ画像レーザマーカ機構位置検知器部334−Bの位置情報I305を確認しながら、所定位置に移動して静止した後に、タイミング制御部382からマーカ320−A-1,320−A−2を所定に位置に照射する指示I306が出される。移動マルチ画像レーザマーカ機構部330-A,330−Bの設定が終了すると、次に、シーケンス制御部383からタイミング制御部382に並列マルチカメラ機構部321に、並列撮影マーカ用レーザ322の発光指示I321が出される。これに従い、並列撮影マーカ用レーザは所定位置に並列撮影用マーカ323を形成する。 その後、タイミング制御部382から並列に配置された非可視光/可視光カメラ320−1〜320−3に撮影指示I322が発せられる。一連の撮影が終了すると、移動マルチ画像マーカ333−B−1,333−B−1が撮影範囲350−1に残る範囲で移動する指示I323が、シーケンス制御部383に従うタイミング制御部382から並列マルチカメラ移動部326に指示される。これらの情報のやり取りを各機能ブロックが行う。
分離構成制御部380はシーケンス制御部 383とマーカ/撮影タイミング制御部382と移動タイミング制御部 381からなり、移動マルチ画像レーザマーカ機構部330−A,330−Bと並列マルチカメラ機構部321から情報を得て、指示を与える。シーケンス制御部383からタイミング制御部382に始動関連の指示I301が例えばマーカAの機構330−Aの移動マルチ画像レーザマーカ移動部335−Aに送られ、移動マルチ画像レーザマーカ機構位置検知器部334−A、例えば、レール360−Aに刻まれた距離マーカを読み取るなど、の位置情報I302を確認しながら、所定位置に移動して静止した後に、マーカ320−A−1,320−A−2を所定の位置に照射する指示I303が出される。このときに、マーカ320−A−1,320−A−2を移したカメラ320−1の画像情報からマーカ像を検出して、例えば、図20に示されるようなマーカと撮影位置の適正な関係が得られるように、移動マルチ画像レーザマーカ移動部335−Aあるいは335−Bに帰還制御をかけて移動方向の位置の微調整を行う。次に、タイミング制御部382から他方のマーカ、例えばマーカBの機構330−Bの移動マルチ画像レーザマーカ移動部335−Bに移動指示I304が送られ、移動マルチ画像レーザマーカ機構位置検知器部334−Bの位置情報I305を確認しながら、所定位置に移動して静止した後に、タイミング制御部382からマーカ320−A-1,320−A−2を所定に位置に照射する指示I306が出される。移動マルチ画像レーザマーカ機構部330-A,330−Bの設定が終了すると、次に、シーケンス制御部383からタイミング制御部382に並列マルチカメラ機構部321に、並列撮影マーカ用レーザ322の発光指示I321が出される。これに従い、並列撮影マーカ用レーザは所定位置に並列撮影用マーカ323を形成する。 その後、タイミング制御部382から並列に配置された非可視光/可視光カメラ320−1〜320−3に撮影指示I322が発せられる。一連の撮影が終了すると、移動マルチ画像マーカ333−B−1,333−B−1が撮影範囲350−1に残る範囲で移動する指示I323が、シーケンス制御部383に従うタイミング制御部382から並列マルチカメラ移動部326に指示される。これらの情報のやり取りを各機能ブロックが行う。
図19に第4の実施形態のタイミングチャートを示す。図中、最上位(1)は並列マルチカメラ機構部321の動きを表し、上から、(2)は支柱(A)レール上第1地点停止移動マルチ画像用マーカ付与333−A−1,333−A−2、(3)は支柱(B)レール上第1地点停止移動マルチ画像用マーカ付与333−B−1,333−B−2、(4)は支柱(A)レール上第2地点停止移動マルチ画像用マーカ付与333−A−1,333−A−2、(5)は支柱(B)レール上第2地点停止移動マルチ画像用マーカ付与333−B−1,333−B−2、(6)はカメラ撮影トリガ信号、(7)は並列マルチカメラ(320−1〜320−3)撮影、(8)は非可視光マーカ処理、(9)は可視光画像合成処理のタイミングの関係を、夫々示している。ここでのタイミングとは、他の実施形態と同様に時間の推移を意味するものではなく、動作の前後関係や位置関係を意味するものである。また、(2)〜(7)で上下の地点を含む実線の枠は、撮影動作32−0〜32−2に含まれる支柱の接地状態の関係を示し、破線は各地点間の移動を表している。
最初に(1)のカメラ部が静止いる間に最初位置に(2)の移動マルチ画像レーザマーカ機構部330−Aを所定位置に移動停止して、マーカAとして第1の地点に非可視光レーザマーカパタン303−A−1,303−A−2を付与する。最初の撮影42−0を行い、非可視光マーカ画像44−0と可視光画像45−0を得る。次に、(3)としての移動マルチ画像レーザマーカ機構部330−Bを所定位置移動停止して、マーカBとして第1の非可視光レーザマーカパタン303−B−1,3030−B−2を付与する。最初の撮影42−1を行い、非可視光マーカ画像44−1と可視光画像45−1を得る。(4),(5)では(2),(3)の撮影42−1や42−2で行ったことを同じシーケンスを繰り返し、必要な画像郡を取得し、(8),(9)の非可視光マーカ処理によりマーカ画像郡から移動方向ならび、並列方向の画像合成用の補正値を導出し、(9)可視光画像合成処理で、可視光画像郡を合成する。
図20には、第4の実施形態での移動マルチ画像撮影用の非可視光/可視光カメラ320−1の一連の撮影範囲350−1と、移動マルチ画像用マーカ333−A−1,333−A−2ならびに333−B−1,333−B−2の配置の関係を示す。 図中、(a)は撮影のタイミング1、(b)は次の撮影タイミング、(c)はさらにその次の撮影タイミングでのマーカ配置と撮影範囲の関係である。最初は移動マルチ画像用マーカ333−A−1,333−A−2と333−A−1,333−A−2とが撮影範囲350−1の前後半に配置され、第1の撮影が行われる。次に、後方のマーカ333−A−1,333−A−2を既に付与されているマーカ333−B−1,333−B−2よりも撮影範囲350−1の前方に位置するように移動マルチ画像レーザマーカ機構部330−Aを移動させて停止し、マーカAの第2の地点として333−A−1−2,333−A−2−2を付与する。以下これを繰り返す。このとき、撮影範囲350−1は被写体42との距離と画角から求まるので、その値を例えばレール360−Aに付与した目盛りと照合することで所定の付与位置を規定することができる。例えば、2Kのカメラでコンクリート表面の0.2mmのひび割れを最小解像度として撮影するときの撮影範囲は21cm×38cmとなる。移動方向を21cmの方向とすると、マーカ付与の間隔は10.5cmで、カメラが10.5cm移動する毎に、ほぼマーカ位置が前方半分の撮影領域と後方半分の中央近辺に配置されることを確認しながら撮影することになる。
図21は、並列マルチカメラ画像と移動マルチ画像を撮影した画像郡を合成する様子を示したものである。図中、(a)はカメラ 320−1の撮影画像郡、(b)はカメラ320−2の撮影画像郡、(c)はカメラ320−3の撮影画像郡である。それぞれ、撮影タイミングで同期させて撮影した画像を縦一列に並べ、横軸には撮影タイミング順に画像を並べている。ここでは、非可視光画像を二値化したマーカ画像郡を示しているが、これらのマーカ画像郡から一連の補正値を各隣接する可視光画像に適用することで、全体の合成画像を得ることができる。図21中、縦方向は上から並列に並んだマルチカメラ320−1,320−2,320−3の画像郡で隣接する画像間では共通の並列マルチカメラ画像マーカ、例えば、323−23−1が写っている。横方向は移動方向に移動しながら撮影した画像郡で、カメラ320−1の撮影画像で隣接する画像間では共通の移動マルチ画像マーカ像、例えば、333−B−1,333−B−2などが写っている。これらの隣接した画像の共通マーカの画素座標からアフィン変換係数を求めることで、任意の画像間の合成用、補正パラメータ得られ、第3の実施形態の図15と同様に、これを可視光画像に適用することで広い面積でも画素レベルで合成されるマーカ像のない合成画像を得ることができる。
図22の(a),(b)は、第4の実施形態の撮影と画像処理のフローチャートである。図22(a)は撮影のフローチャートである。
始動後、ステップS80において、最初に撮影・画像処理の初期化を行う。
ステップS81において、全ての非可視光マーカ用レーザをオンして、マーカが付与できるようにする。
ステップS82において、並列に複数のカメラを搭載した並列マルチカメラ機構部321を所定の位置に移動する。
ステップS83において、移動マルチ画像撮影レーザマーカ機構部330−Aまたは330−Bを所定に位置に移動して、所定の位置に移動マルチ画像用マーカ333−A−1,333−A−2,333−B−1,333−B−2を照射して並列マルチカメラ機構321のカメラ320−1〜320−3で非可視光/可視光画像を撮影する。
ステップS84において、次の撮影を実行するか否かを制御部380で決定して、実行する場合には、ステップS82に戻り、次のマーカを付与する。“No”の場合には一連の撮影と画像データを終了する。
ステップS84において、次の撮影を実行するか否かを制御部380で決定して、実行する場合には、ステップS82に戻り、次のマーカを付与する。“No”の場合には一連の撮影と画像データを終了する。
図22(b)は画像処理のフローチャートである。
図22(b)は基本的には図2のブロック図において、画像処理部9における、また、図19のタイミングチャートに示した(8)非可視光マーカ画像処理、(9)の可視光画像合成処理における画像処理のフローを示した図である。但し、今回の画像情報は移動マルチ画像の一つに変わって、並列マルチカメラ画像を使うことになる。
図22(b)は基本的には図2のブロック図において、画像処理部9における、また、図19のタイミングチャートに示した(8)非可視光マーカ画像処理、(9)の可視光画像合成処理における画像処理のフローを示した図である。但し、今回の画像情報は移動マルチ画像の一つに変わって、並列マルチカメラ画像を使うことになる。
画像処理部9の画像取込・保持部90が撮影画像を取込むタイミングで画像処理が開始する。
ステップS90において、その画像情報がマーカ像抽出画像間補正値導出91に送られる。
ステップS91において、図19における非可視光マーカ画像44が、輝度に一定の閾値をつけた二値化処理により得られる。
ステップ92において、二値化により得られた今回のマーカ画像と前回のマーカ画像から二値化により得られた画像で隣接したマーカ画像から、両者の画像で共通のマーカの座標からアフィン変換係数を求めて、これを補正値として導出する。
ステップ93において、今回の合成用画像と前回の合成用画像に補正値を適用して、最終的には図21に示したような全体補正値を用いて全体可視光合成画像を合成する。
以上の一連の画像処理を実行することで、終了する。
本実施形態においては、並列マルチカメラ撮影と移動マルチ画像撮影を同時に使う場合について示したが、並列マルチカメラ撮影でなく、一つのカメラからなる場合でも可能である。本実施形態では、被写体の周囲にレールを配置してその上をカメラ機構やマーカ付与機構を動かす構成としたが、レールでなく、カメラ機構,マーカ機構を走らせる走行面であってもよいし、機械的な機構に連結されていても基本的な機能な実現される。
本実施の形態では、非可視光/可視光カメラを用いて、非可視光マーカを用いるケースについて言及したが、可視光のレーザを用いてマーカを用いて第1の実施形態のようなマーカ付与と撮影のタイミングと処理方法を適用することで、同様な移動マルチ画像の合成画像を得ることができる。
(第4の実施形態の効果)
以上説明した第4の実施形態では、次の(R)〜(V)のような効果がある。
(第4の実施形態の効果)
以上説明した第4の実施形態では、次の(R)〜(V)のような効果がある。
(R)撮影カメラ部分と移動マルチ撮影用マーカを被写体から浮かせた状態で被写体に接することなく、マーカを付与して、撮影することで、被写体を汚したり、傷を付けたりすることなく、大面積に亘り詳細な画像を得ることができると共に、マーカ付与機能部自身も損傷することなく、安定して利用できる。
(S)撮影カメラ部分と移動マルチ撮影用マーカ付与機構を別体とすることで、一体型に付きまとうカメラ移動により生じる被写体上への特定地点へのマーカ付与への動きの干渉が排除できるので、安定したマーカ付与が可能となる。
(T)撮影カメラ部分と移動マルチ撮影用マーカ付与機構を別体とすることで、一体型に比べてカメラ撮影部分を大掛かりにできるので、より大きな被写体の撮影が可能となる。
(U)移動マルチ撮影用マーカによる移動方向の撮影画像合成と並列マルチカメラによる画像合成を組み合わせることで、高分解能な画像を広範囲にわたりに得ることができる。
(V)撮影範囲とマーカ付与位置の位置関係について、マーカ像の撮影画像の情報から所望な位置のずれのマーカ付与位置での調整による補正を行うことで、より微細な位置関係を得ることができる。
(第5の実施形態)
図23A〜図23Cは、第5の実施形態に於ける移動式マルチ画像撮影装置の概略を示す図である。図23Aは上面図、図23Bは側面図、図23Cは正面図である。第5の実施形態では、第1の実施形態の移動式マルチ画像撮影装置1−1に準じる本体およびマーカ付与部401に第4の実施形態の移動式マルチ画像撮影装置1−4に準じる並列マルチカメラ撮影機構部421を組み合わせて、3台の並列に並べたカメラによる撮影範囲を広げた状態で、移動撮影した画像を合成するための移動式マルチ画像撮影装置1−5である。3台のカメラ420−1,420−2,420−3は非可視光/可視光カメラを用いている。並列マルチカメラ機構部421には、第4の実施形態の図17の構成と同じように、並列撮影マーカレーザ422−12,422−23がカメラの間に配置され、隣接する撮影範囲の共通領域夫々に、並列撮影用マーカ423−12,423−23として照射される。マーカ用レーザは少なくとも2つ以上がセットとなり、アフィン変換に必要な最低限必要な2つの共通マーカ像を確保する。第1の実施形態の本体およびマーカ付与部401と並列マルチカメラ機構部421は並列マルチカメラ支柱・フレーム424で結合されて、第1に実形態および、第4に実施形態における両者の種々の制御を制御部8で行い、図24に示すような画像郡を撮影する。
(第5の実施形態)
図23A〜図23Cは、第5の実施形態に於ける移動式マルチ画像撮影装置の概略を示す図である。図23Aは上面図、図23Bは側面図、図23Cは正面図である。第5の実施形態では、第1の実施形態の移動式マルチ画像撮影装置1−1に準じる本体およびマーカ付与部401に第4の実施形態の移動式マルチ画像撮影装置1−4に準じる並列マルチカメラ撮影機構部421を組み合わせて、3台の並列に並べたカメラによる撮影範囲を広げた状態で、移動撮影した画像を合成するための移動式マルチ画像撮影装置1−5である。3台のカメラ420−1,420−2,420−3は非可視光/可視光カメラを用いている。並列マルチカメラ機構部421には、第4の実施形態の図17の構成と同じように、並列撮影マーカレーザ422−12,422−23がカメラの間に配置され、隣接する撮影範囲の共通領域夫々に、並列撮影用マーカ423−12,423−23として照射される。マーカ用レーザは少なくとも2つ以上がセットとなり、アフィン変換に必要な最低限必要な2つの共通マーカ像を確保する。第1の実施形態の本体およびマーカ付与部401と並列マルチカメラ機構部421は並列マルチカメラ支柱・フレーム424で結合されて、第1に実形態および、第4に実施形態における両者の種々の制御を制御部8で行い、図24に示すような画像郡を撮影する。
図24は第5の実施形態に於けるマルチ画像郡構成構図である。図24は第4の実施形態の図21と同様に、図中(a)はカメラ 420−1の撮影画像郡、(b)はカメラ420−2の撮影画像郡、(c)はカメラ420−3の撮影画像郡で、それぞれの撮影タイミングで同期させて撮影した画像を縦一列に並べ、横軸には撮影タイミング順に画像を並べている。第4の実施形態では、非可視光レーザ光を遠隔で照射したが、第1の実施形態では、マーカを被写体構造物4の表面に接地するために、周辺の機構部が撮影範囲に入るために、第1の実施形態の画像撮影と画像の処理をカメラ420−2について行うことになる。これらの隣接した画像の共通マーカの画素座標からアフィン変換係数を求めることで、任意の画像間の合成用、補正パラメータ得られ、これを可視光画像に適用することで広い面積でも画素レベルで合成されるマーカ像のない合成画像を得ることができる。
(第5の実施形態の効果)
以上説明した第5の実施形態では、次の(W)のような効果がある。
(第5の実施形態の効果)
以上説明した第5の実施形態では、次の(W)のような効果がある。
(W)移動マルチ撮影用マーカによる移動方向の撮影画像合成と、並列マルチカメラによる画像合成を組み合わせ撮影において、両機能を一体型とした装置とすることで全体的構成コンパクトになり、屋外の現場ように頻繁に持ち運び易く、容易に活用できる。
(変形例)
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
(変形例)
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の(a)〜(f)のようなものがある。
(a)第3,第4の実施形態において、非可視光/可視光カメラと非可視光レーザによるマーカ付与について記述したが、非可視光と可視光の組み合わせについては、特定波長域の画像の合成画像の取得に当たり、任意のフィルタなどにより識別できる特定波長外の波長域と特定波長域の光の組み合わせであってもよい。
(b)ここでは、移動しながらマルチ画像を撮影から合成処理まで一連する行程を分り易く示すために、一つの装置の中で行う形態を示したが、移動装置ではマーカの付与と画像撮影までを行い、得た画像郡や関連した情報を通信手段により、別の処理設備に送り、一連の画像処理を行うことで移動装置の機能を軽量化する形態であってもよい。
(c)第2と第3の実施形態では、カメラ1台を移動させながらマルチ画像を撮影し、処理する形態について記述したが、第4や第5の実施形態のようにカメラを並列に並べてマルチカメラで同期を取りながら撮影する形態であってもよい。
(d)第4の実施形態でのみ、カメラ部分とマーカ付与部分を分離した構成としたが、第1〜第3の実施形態においても、カメラ部分とマーカ部分の移動を分離して、マーカ接地情報と移動距離情報や、画像内のマーカ像からの位置調整などを利用して相対的な位置関係を制御しながら、マルチ画像を取得する形態であってもよい。
(f)第1,第4および第5の実施形態では移動撮影用のマーカを左右に並べる配置での構成を示したが、例えばスライダーやレールを上下に並べて、異なる長さのアームが上下ですれ違うように配置したり、支柱の配置を上下にして同様にすれ違う配置にしたりすることで交互に付与するマーカが内側と外側に並べられる形態であってもよい。
1−1…第1の実施形態の移動式マルチ画像撮影装置、1−2…第2の実施形態の移動式マルチ画像撮影装置、1−3…第3の実施形態の移動式マルチ画像撮影装置、1−4…第4の実施形態の移動式マルチ画像撮影装置、1−5…第5の実施形態の移動式マルチ画像撮影装置、2,2−1,2−2,2−3…カメラ、3,3−A−1,3−A−2,3−B−1,3−A−M,3−B−M,3−1,3−2,3−N,3−N+1,3−N+2…マーカ、4…被写体構造物、41…亀裂、42…被写体 、5−A,5−B…マーカ支持部、6…車輪駆動部、61…車輪、63…本体、64…外部接続ケーブル、66…カメラ機構部、67…チルト角駆動部、68…回転角目盛り付車輪、7…マーカ付与部、71−A,71−B…マーカ接地動作部、72…マーカ・本体相対位置検出部、75−A,75−B…マーカ浮上接地用モータ、76−A,76−B…マーカ浮上接地機構部、77−A,77−B…水平移動用スライダー、78−A,78−B…水平移動モータ、79−A,79−B…水平駆動連結ケーブル 、8…制御部、81…動作制御部、82…タイミング制御部、83−A−1、83−A−2、83−A−3,83−1,83−2,83−3…位置センサ、84…チルト角制御部、9…画像処理部、90…画像取込・保持部、91…マーカ像抽出画像間補正値導出、92…マーカ隠蔽画像合成処理部、93…合成画像情報蓄積・出力部、94…マーカ・撮影範囲相関位置検出 、10−1,10−2,10−4M−3,10−4M−2,10−2N,10−2N+1…撮影領域、11…外部表示/処理、12−0−A,12−0−B,12−1〜12−5…実施形態1での撮影動作、13−0−A,13−0−B,13−1〜13−6…実施形態1での撮影画像、14−0〜14−5…実施形態1でのマーカ画像、15−0,15−1,15−3,15−5…実施形態1での合成用画像、16−2,16−4,16−6…実施形態1でのマーカ合成、17−2,17−4,17−6…実施形態1での画像合成、22−0,22-1,22−2N〜22−2(N+2)…実施形態2での撮影動作、23−2N,23−2N+1…実施形態2での撮影画像、24−1,24−2N,24−2N+1〜24−2(N+2)…実施形態2でのマーカ画像、25-0,25−2N,25−2(N+1),25−2(N+2)…実施形態2での合成用画像、26−2N,26−2(N+1)…実施形態2でのマーカ合成、27−2N,27−2(N+1)…実施形態2での画像合成、32−0,32-1,32−2…実施形態3での撮影動作、33−0,33−1,33−2…実施形態3での撮影範囲、34−0,34−1,34−2…実施形態3での非可視光マーカ画像、35−0, 35−1,35−2…実施形態3での合成用可視光画像、36−1,36−2…実施形態3でのマーカ合成、37−1,37−2…実施形態3での画像合成、172…マーカ付着部浮上接地用モータ、173…付着マーカ、176…マーカ付着機構部、180…ガラスビーズ、181…粘着シート、182…マーカ収納部、183,183−A,183−B…圧力センサ、184…照明、185…蓋い、202…非可視光/可視光カメラ、203−A,203−B…非可視光マーカ、204…撮影領域、270,270−A,270−B…チェビシェフクランク機構、Fa,Fa−A,Fa−B…フレームA、Fb,Fb−A,Fb−B…フレームB、Fc,Fc−A,Fc−B…フレームC、Pc,Pc−A,Pc−B…フレームCの先端、275−A−1,275−B−2…平坦オーバーラップ部、276−A,276−B…支柱、277−A−1,277−A−2,277−B−1…支柱接地点、284−A,284−B…非可視光レーザ、303−A−1,303−A−2,303−B−1,303−B−2…マーカパタン、320−1,320−2,320−3…非可視光/可視光カメラ、321…並列マルチカメラ機構部 、322−12−1,322−12−2,322−23−1,322−23−2…並列撮影マーカ用レーザ、323−12−1,323−12−2,323−23−1,323−23−2…並列撮影用マーカ、324…並列マルチカメラ支柱・フレーム、325…並列マルチカメラ支持アーム、326−B,326−C…並列マルチカメラ移動部、330−A,330−B…移動マルチ画像レーザマーカ機構部、331−A−1,331−A−2,331−B−1,331−B−2…移動マルチ画像マーカ用レーザ、332−A,332−B…移動マルチ画像マーカレーザ用支柱、333−A−1,333−B−1,333−A−2,333−B−2…移動マルチ画像用マーカ、334−A,334−B…移動マルチ画像レーザマーカ機構位置検知器部、336−A,336−B…移動マルチ画像レーザマーカ移動部、350−1,350−2,350−3…撮影範囲、360−A,360−B,360−C…レール、380…分離構成制御部、381…移動タイミング制御部、382…マーカ/撮影タイミング制御部、383…シーケンス制御部、401…第1の実施形態の本体およびマーカ付与部、420−1,420−2,420−3…非可視光/可視光カメラ、421…並列マルチカメラ機構部、422−12,422−23…並列撮影マーカ用レーザ、423−12,423−23…並列撮影用マーカ、424…並列マルチカメラ支柱・フレーム、480…制御部、4…被写体構造物
Claims (16)
- 連続的あるいは任意に断続的に移動しながら、隣接して重なり合う撮影領域を撮影する少なくとも一つのカメラからなる撮影手段と、
各前記撮影領域が重なり合う共通撮影領域の被写体上に、所定時間固定的に、マーカを付与する1または複数のマーカ付与手段を有し、
前記撮影手段および前記マーカ付与手段において、
前記撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段を有し、
前記撮影手段の前進に合わせて前後する撮影について、前の撮影位置では撮影範囲に含まれるように被写体上に固定される少なくとも一つのマーカを付与し、後の撮影では前記マーカが含まれるようにそのマーカ付与位置に対して特定の位置関係で撮影するように、マーカ付与と撮影のタイミングを制御する手段を有し、
前記マーカ付与画像群から各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と前記補正パラメータに基づいて、撮影した画像群を合成した合成画像を生成する画像合成手段と、
を備えることを特徴とする移動式マルチ画像撮影装置。 - 請求項1記載の移動式マルチ画像撮影装置において、
前記撮影手段および前記マーカ付与手段が、
前記撮影手段が前進する行程の中で、
第1のマーカを付与して、
最初に撮影範囲に前記第1のマーカが含まれながら、次の第2のマーカまたはマーカ付与に関連する被撮影物を付与する被写体領域を付与する前に撮影した第1の画像と、
次に前記第1のマーカと付与した前記第2のマーカまたはマーカ付与に関連する被撮影物を含むように撮影した第2の画像と、
その次に、撮影範囲に前記第2のマーカが含まれながら、次の第3のマーカまたはマーカ付与に関連する被撮影物を付与する被写体領域を付与する前に撮影した第3の画像とを撮影するシーケンスを有し、
さらに、それ以降の撮影において順次付与した前記第3のマーカを次のシーケンスの前記第1のマーカに置き換える形で、前記シーケンスを繰り返して撮影する制御手段を有し、
取得した前記第1の画像,前記第2の画像,前記第3の画像の郡から、
前記第2のマーカ像の前記第3及び第2の画像の座標情報から両者を合成する補正値と、
前記第1のマーカ像の前記第2及び第1の画像の座標情報から両者を合成する補正値を導出して、
上記両補正値から、前記第3の画像のマーカまたはマーカ付与に関連する被撮影物の画像部を前記第1の画像で隠蔽するように画像合成することを特徴とする移動式マルチ画像撮影装置。 - 請求項1記載の移動式マルチ画像撮影装置において、
前記撮影手段および前記マーカ付与手段において、前記撮影手段は非可視光/可視光カメラのような異なる第1と第2の二つの波長域に感度を有するカメラと、非可視光のような第1の波長からなり、第2の波長域ではフィルタでカットされる光からなるマーカ付与手段があり、
前記撮影手段が移動する中で少なくとも、
前記第1のマーカと前記第2のマーカを含む前記第1の画像と、
前記第2のマーカと前記第3のマーカを含む前記第2の画像を取得するシーケンスがあり、
それ以降の撮影において、順次付与した前記第3のマーカを次のシーケンスでの前記第1のマーカに置き換える形で前記シーケンスを繰り返して撮影する制御手段を有し、
取得した前記第1及び第2の画像の郡から、第1の波長域の画像からなる前記第1及び第2のマーカ画像から前記第2のマーカ像から前記第1及び第2の画像を合成するための補正値を導出して、第1と第2の可視光に準じる第2の波長域からなる画像郡に補正値を適用することで前記第2の波長域の画像を合成することを特徴とする移動式マルチ画像撮影装置。 - 請求項1記載の移動式マルチ画像撮影装置において、
前記撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段として、
前記マーカ付与位置と前記撮影位置に関して、カメラが実装された装置と被写体への前記マーカ付与位置の相対的な関係を、
前記移動式マルチ画像撮影装置の前進に伴い前記移動式マルチ画像撮影装置内を移動するマーカ支持部の相対位置導出する手法、
あるいは、前記移動式マルチ画像撮影装置またはマーカ付与機能部が異なる軌道を走行するときにマーカ付与機能部の走行位置を読み取り両者の位置関係から相対位置導出する手法、
により求めることを特徴とする移動式マルチ画像撮影装置。 - 請求項4記載の移動式マルチ画像撮影装置において、
前記撮影手段が移動する中で撮影位置とマーカ付与位置の関係を導出する手段として、
前記マーカ付与位置と前記撮影位置に関して、カメラが実装された装置と被写体への前記マーカ付与位置の相対的な関係を、
前記移動式マルチ画像撮影装置の前進に伴い前記移動式マルチ画像撮影装置内を移動するマーカ支持部の位置を検知する装置内位置センサからなる相対位置導出する手法、
あるいは、マーカ付与部の接地センサからの信号発生時と前記移動式マルチ画像撮影装置の車輪の回転状態を表す回転角目盛り値が表す走行距離から相対位置導出する手法、
または、前記移動式マルチ画像撮影装置またはマーカ付与機能部が走行する軌道に刻まれた目盛りを読み取り、前記マーカ付与位置と装置の走行位置の関係から相対位置導出する手法、
により求めることを特徴とする移動式マルチ画像撮影装置。 - 請求項2又は3の何れかに記載の移動式マルチ画像撮影装置において、
順次繰り返される撮影とマーカ付与のシーケンスにおいて、請求項2の前記第3の画像取得後に、または、請求項3の前記第2の画像取得後に、前記第1のマーカを浮上させて、前記第3のマーカ以降に再度、被写体に付与して利用することを特徴とする移動式マルチ画像撮影装置。 - 請求項6記載の移動式マルチ画像撮影装置において、
前記マーカ付与手段として、前記移動式マルチ画像撮影装置中において左右あるいは内側外側の関係に並ぶ前記第1及び第2のマーカを付与する2つのマーカ付与機構があり、
夫々の前記マーカ付与機構は、
第1の駆動部に接続した昇降機構を有するフレームの下部先端に、点状のマーカを設置したマーカ昇降・被写体接地手段があり、
前記マーカ昇降・被写体接地手段を、マーカの接地時には前記移動式マルチ画像撮影装置内を後方にスライドさせるスライド部があり、浮上前進時には前記移動式マルチ画像撮影装置内を進行方向移動させる第2の駆動部を有し、
マーカ付与と撮影のシーケンス制御からの信号のタイミングに従い、左右あるいは内側外側の関係で並ぶマーカを前記移動式マルチ画像撮影装置内で前後に移動させながら、再利用するマーカを付与することを特徴とする移動式マルチ画像撮影装置。 - 請求項7記載の移動式マルチ画像撮影装置において、
前記フレームの下部先端に設置する点状のマーカとして、LEDなどの自発光体、あるいは、高い点上の反射構造を有してカメラ近傍に配置された光源の光を高い反射する受動体からなる、高輝度なマーカを適用したことを特徴とする移動式マルチ画像撮影装置。 - 請求項6記載の移動式マルチ画像撮影装置において、
前記マーカ付与手段として、前記移動式マルチ画像撮影装置中において左右あるいは内側外側の関係に並ぶ第1と第2のマーカを付与する2つのマーカ付与機構があり、
夫々の前記マーカ付与機構は、
第1の駆動部に接続した支柱上部に、少なくとも2つのマーカパターンを支柱位置から所定の方向の所定距離の被写体表面に照射するレーザを配置したマーカ付与機構があり、
マーカ付与と撮影のシーケンス制御からの信号のタイミングに従い、左右あるいは内側外側の関係に並ぶマーカ付与機構を順次、停止して被写体の特定点に固定的にマーカを形成したり、所定距離前進させたりして、再利用するマーカを付与することを特徴とする移動式マルチ画像撮影装置。 - 請求項7又は9の何れかに記載の移動式マルチ画像撮影装置において、
左右あるいは内側外側の関係に並ぶ第1と第2のマーカ付与するマーカ付与機構において、順次停止して被写体の特定点に固定的にマーカを形成したり、所定距離前進させたりする機構として、
左右または内側外側の関係に配置したマーカを付与するためにマーカ付与機能が付けられた支柱またはアームが接地、前進するに際して、
支柱またはアームの接地点を支点として、前記移動式マルチ画像撮影装置全体を持上げ前進させる力点に接続して、
左右あるいは内側外側のマーカが交互に接地、浮上を繰り返すように連動させて、
マーカ付与ならびに撮影手段を前進させる機能を有することを特徴とする移動式マルチ画像撮影装置。 - 請求項10記載の移動式マルチ画像撮影装置において、
左右に並ぶ第1と第2のマーカを付与するマーカ付与機構において、順次停止して被写体の特定点に固定的にマーカを形成したり、所定距離前進させたりする機構として、
左右に配置したチェビシェフクランク機構の最短のフレームの回転中心を連結して、回転位置を反対の位相関係に配置して、最長のフレームの先端部の動きに連動するようにマーカ付与のために最下部に点状マーカを付したアームもしくはレーザを接続した支柱を接続したとマーカ付与ならびに撮影手段を前進させる機能を特徴とする移動式マルチ画像撮影装置。 - 請求項2又は3の何れかに記載の移動式マルチ画像撮影装置において、
前記マーカ付与手段と前記撮影手段における各マーカの撮影範囲内位置を適確な位置関係とする手段として、
カメラ画像からマーカ画像を抽出して、マーカ位置と撮影画像の位置を比較、撮影画像内の所定の位置にマーカ画像位置が配置されるように、カメラが接続されたチルト機構部のチルト角を制御する手段、もしくは、マーカ付与位置移動機構部の位置を制御する手段により、適正なマーカと撮影範囲の関係を得る手段を有することを特徴とする移動式マルチ画像撮影装置。 - 請求項2記載の移動式マルチ画像撮影装置において、
順次繰り返される撮影とマーカ付与のシーケンスにおいて、
前記第1のマーカから、順次、粘着性の材料をつけた点状の高反射の受動体を所定の間隔で被写体に付着して、撮影時にはカメラの近傍に配置した光源から光を照射して、高輝度マーカとして撮影することを特徴とする移動式マルチ画像撮影装置。 - 請求項1,2,3又は13の何れかに記載の移動式マルチ画像撮影装置において、
前記撮影手段として、連続的あるいは任意に断続的に移動しながら、隣接して重なり合う撮影領域を撮影する第1のカメラと並列に進行方向に垂直で被写体に並行な方向に少なくとも一つの並列配置カメラを有し、
第1のカメラと並列配置カメラとで隣接して配置されるカメラの撮影範囲は隣接して重なり合う撮影領域を有するように配置され、
第1のカメラで撮影した画像郡と並列配置カメラで撮影した画像郡が一枚の合成画像を構成することを特徴とする移動式マルチ画像撮影装置。 - 請求項1,3又は14の何れかに記載の移動式マルチ画像撮影装置において、
連続的あるいは任意に断続的に移動しながら、隣接して重なり合う撮影領域を撮影する少なくとも一つのカメラからなる撮影手段と、
各前記撮影領域が重なり合う共通撮影領域の被写体上に、少なくとも所定時間固定的に、同時に少なくとも二つ以上パタンを有するマーカを付与する1または複数のマーカ付与手段において、
前記撮影手段,前記マーカ付与手段およびその手段を支える構造が移動する機構が被写体の周囲に配置され、被写体に接することなく、被写体上の特定位置にマーカを付与しながら、撮影することを特徴とする移動式マルチ画像撮影装置。 - 請求項1,2,3,13又は15の何れかに記載の移動式マルチ画像撮影装置において、
前記撮影手段ならびにその手段を支える構造とマーカ付与する構造が分離して移動方向に連続手もしくは任意に断続的に停止しながら移動することを特徴とする移動式マルチ画像撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014146389A JP2016024516A (ja) | 2014-07-17 | 2014-07-17 | 移動式マルチ画像撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014146389A JP2016024516A (ja) | 2014-07-17 | 2014-07-17 | 移動式マルチ画像撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016024516A true JP2016024516A (ja) | 2016-02-08 |
Family
ID=55271251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014146389A Pending JP2016024516A (ja) | 2014-07-17 | 2014-07-17 | 移動式マルチ画像撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016024516A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354454A (zh) * | 2016-08-11 | 2017-01-25 | 广东威创视讯科技股份有限公司 | 拼接墙图像显示方法和系统 |
CN110225230A (zh) * | 2019-05-29 | 2019-09-10 | 河海大学 | 一种堆石坝水下面板裂缝电控巡回监测装置及其使用方法 |
CN110998655A (zh) * | 2017-07-25 | 2020-04-10 | 富士胶片株式会社 | 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质 |
WO2023017929A1 (ko) * | 2021-08-12 | 2023-02-16 | 네이버랩스 주식회사 | 로봇이 인식 가능한 패턴을 생성하는 패턴 조사 장치 및 이를 포함하는 건물 |
CN117571720A (zh) * | 2024-01-12 | 2024-02-20 | 贵州科筑创品建筑技术有限公司 | 一种混凝土外观气泡的检测方法、装置、系统及存储介质 |
JP7462187B2 (ja) | 2020-06-10 | 2024-04-05 | 株式会社イクシス | 撮影方法および移動体 |
-
2014
- 2014-07-17 JP JP2014146389A patent/JP2016024516A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354454A (zh) * | 2016-08-11 | 2017-01-25 | 广东威创视讯科技股份有限公司 | 拼接墙图像显示方法和系统 |
CN106354454B (zh) * | 2016-08-11 | 2019-07-12 | 广东威创视讯科技股份有限公司 | 拼接墙图像显示方法和系统 |
CN110998655A (zh) * | 2017-07-25 | 2020-04-10 | 富士胶片株式会社 | 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质 |
CN110998655B (zh) * | 2017-07-25 | 2023-10-20 | 富士胶片株式会社 | 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质 |
US11948291B2 (en) | 2017-07-25 | 2024-04-02 | Fujifilm Corporation | Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium |
CN110225230A (zh) * | 2019-05-29 | 2019-09-10 | 河海大学 | 一种堆石坝水下面板裂缝电控巡回监测装置及其使用方法 |
CN110225230B (zh) * | 2019-05-29 | 2020-10-27 | 河海大学 | 一种堆石坝水下面板裂缝电控巡回监测装置及其使用方法 |
JP7462187B2 (ja) | 2020-06-10 | 2024-04-05 | 株式会社イクシス | 撮影方法および移動体 |
WO2023017929A1 (ko) * | 2021-08-12 | 2023-02-16 | 네이버랩스 주식회사 | 로봇이 인식 가능한 패턴을 생성하는 패턴 조사 장치 및 이를 포함하는 건물 |
CN117571720A (zh) * | 2024-01-12 | 2024-02-20 | 贵州科筑创品建筑技术有限公司 | 一种混凝土外观气泡的检测方法、装置、系统及存储介质 |
CN117571720B (zh) * | 2024-01-12 | 2024-03-22 | 贵州科筑创品建筑技术有限公司 | 一种混凝土外观气泡的检测方法、装置、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016024516A (ja) | 移動式マルチ画像撮影装置 | |
KR101794690B1 (ko) | 개별구동 자주식 대차 및 관성항법장치를 구비한 터널 검사 시스템 | |
JP6636778B2 (ja) | 浮上式点検装置およびそれを具える点検システム | |
JP4980606B2 (ja) | 移動型自動監視装置 | |
CN106697326A (zh) | 带有预测性表面扫描的飞行器的机翼‑主体接合的先进自动化过程 | |
JP2016111414A (ja) | 飛行体の位置検出システム及び飛行体 | |
JP6355518B2 (ja) | 橋梁検査ロボットシステム | |
WO2017169516A1 (ja) | 無人飛行装置制御システム、無人飛行装置制御方法および検査装置 | |
JP6355517B2 (ja) | 橋梁検査ロボットシステム | |
KR102014425B1 (ko) | 드론을 이용한 터널벽면 손상 검사시스템 및 검사방법 | |
JP6898433B2 (ja) | 作業領域画像検出装置を有する曲げ機械 | |
JP2011133508A (ja) | 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置 | |
CN108027515A (zh) | 投影型显示装置及投影控制方法 | |
JP2018036094A (ja) | 立体物の外観検査装置 | |
KR102138126B1 (ko) | 하수관로 탐사 시스템 및 방법 | |
CN111398950A (zh) | 一种隧道病害综合检测车的雷达探测规避系统 | |
CN106794852A (zh) | 用于检测有轨车辆的车辆环境的设备和方法以及有轨车辆 | |
CN107449786B (zh) | 一种对物体表面精细观测的装置 | |
WO2017057356A1 (ja) | 構造物撮像装置、構造物検査装置および構造物検査システム | |
JP2004187220A (ja) | ひび割れ検査装置のカメラ画角調整方法 | |
JP6602624B2 (ja) | 構造物検査システム | |
KR20220128411A (ko) | 이미지 캡처링 모듈을 보정하기 위한 시스템 및 방법 | |
WO2016103492A1 (ja) | 形状計測方法およびその装置 | |
JP6514891B2 (ja) | 生産エリア撮影システム | |
JP2009198329A (ja) | 位置計測システムおよび位置計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170110 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170112 |