JP2023124570A - 撮像システムおよび撮像方法 - Google Patents

撮像システムおよび撮像方法 Download PDF

Info

Publication number
JP2023124570A
JP2023124570A JP2022028403A JP2022028403A JP2023124570A JP 2023124570 A JP2023124570 A JP 2023124570A JP 2022028403 A JP2022028403 A JP 2022028403A JP 2022028403 A JP2022028403 A JP 2022028403A JP 2023124570 A JP2023124570 A JP 2023124570A
Authority
JP
Japan
Prior art keywords
image
camera
imaging
unit
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022028403A
Other languages
English (en)
Inventor
孝男 倉田
Takao Kurata
亮介 塩永
Ryosuke Shionaga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2022028403A priority Critical patent/JP2023124570A/ja
Publication of JP2023124570A publication Critical patent/JP2023124570A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Exposure Control For Cameras (AREA)
  • Accessories Of Cameras (AREA)

Abstract

【課題】検査対象物の劣化状態を高精度に検出する。【解決手段】撮像システム100は、第1画像を生成する第1カメラ120と、撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる複数の第1仮想点が、第1画像上の検査範囲内に含まれるように指標情報を変換して第1画像と合成する指標合成部と、レーザー照射部142と、指標情報が合成された第1画像上において、1の撮像範囲を規定する複数の第1仮想点に、各レーザー照射部による照射点それぞれが一致するように、各レーザー照射部を変位させる照射変位部(移動装置110、照射部変位機構144)と、第2カメラ132によって生成される第2画像上において予め設定された、撮像範囲を規定する複数の第2仮想点が、照射点それぞれに一致するように、第2カメラを変位または回転させるカメラ位置変更部(移動装置110、カメラ位置変更機構134)と、を備える。【選択図】図1

Description

本開示は、撮像システムおよび撮像方法に関する。
橋梁、高速道路、トンネル、ダム、ビル等の構造物の表面を撮像し、得られた画像を解析することで、構造物の劣化状態を検査する技術が開発されている。
例えば、特許文献1には、構造物の表面を撮像して得られた画像に対し、画像処理を施して画像を正対化した正対化画像を生成し、正対化画像を解析して構造物のひび割れを検出する技術が開示されている。
特開2017-34576号公報
しかし、上記特許文献1に記載された従来技術では、画像を正対化することにより、画像の一部が拡大または縮小される。このため、正対化画像には、大きさが変更されない領域、拡大された領域、縮小された領域が含まれることになる。そうすると、大きさが変更されない領域、拡大された領域、縮小された領域において、それぞれ解像度(単位領域あたりに含まれる画素数)が異なってしまう。このため、従来技術では、正対化画像の各領域において劣化状態の検出精度にバラツキが生じる。したがって、従来技術では、検査対象物の劣化状態の検出精度が低いという問題がある。
本開示は、このような課題に鑑み、検査対象物の劣化状態を高精度に検出することが可能な撮像システムおよび撮像方法を提供することを目的としている。
上記課題を解決するために、本開示の一態様に係る撮像システムは、検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる複数の第1仮想点が、第1画像上の検査範囲内に含まれるように、指標情報を変換して第1画像と合成する指標合成部と、検査面に対してレーザー光を照射するレーザー照射部と、指標情報が合成された第1画像上において、1の撮像範囲を規定する複数の第1仮想点に、各レーザー照射部によるレーザー光の照射点それぞれが一致するように、各レーザー照射部を変位させる照射変位部と、検査範囲を撮像して第2画像を生成する第2カメラと、第2画像上において予め設定された、撮像範囲を規定する複数の第2仮想点が、照射点それぞれに一致するように、第2カメラを変位または回転させるカメラ位置変更部と、を備える。
上記課題を解決するために、本開示の一態様に係る他の撮像システムは、検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる複数の第1仮想点が、第1画像上の検査範囲内に含まれるように、指標情報を変換して第1画像と合成する指標合成部と、検査面に対してレーザー光を照射するレーザー照射部と、検査範囲を撮像して第2画像を生成する第2カメラと、レーザー照射部および第2カメラを一体的に保持する保持部と、指標情報が合成された第1画像上において、1の撮像範囲を規定する複数の第1仮想点に、各レーザー照射部によるレーザー光の照射点それぞれが一致し、かつ、第2画像上において予め設定された、撮像範囲を規定する複数の第2仮想点が、照射点それぞれに一致するように、保持部を変位または回転させる撮像位置変更部と、を備える。
また、第2カメラは、近赤外線カメラ、または、赤外線カメラであってもよい。
上記課題を解決するために、本開示の一態様に係る撮像方法は、検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、検査面に対してレーザー光を照射するレーザー照射部と、検査範囲を撮像して第2画像を生成する第2カメラと、を用いた撮像方法であって、1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる複数の第1仮想点が、第1画像上の検査範囲内に含まれるように、指標情報を変換して第1画像と合成する処理と、指標情報が合成された第1画像上において、1の撮像範囲を規定する複数の第1仮想点に、各レーザー照射部によるレーザー光の照射点それぞれが一致するように、各レーザー照射部を変位させる処理と、第2画像上において予め設定された、撮像範囲を規定する複数の第2仮想点が、照射点それぞれに一致するように、第2カメラを変位または回転させる処理と、を含む。
上記課題を解決するために、本開示の一態様に係る他の撮像方法は、検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、検査面に対してレーザー光を照射するレーザー照射部と、検査範囲を撮像して第2画像を生成する第2カメラと、レーザー照射部および第2カメラを一体的に保持する保持部と、を用いた撮像方法であって、1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる複数の第1仮想点が、第1画像上の検査範囲内に含まれるように、指標情報を変換して第1画像と合成する処理と、指標情報が合成された第1画像上において、1の撮像範囲を規定する複数の第1仮想点に、各レーザー照射部によるレーザー光の照射点それぞれが一致し、かつ、第2画像上において予め設定された、撮像範囲を規定する複数の第2仮想点が、照射点それぞれに一致するように、保持部を変位または回転させる処理と、を含む。
本開示によれば、検査対象物の劣化状態を高精度に検出することが可能となる。
図1は、本実施形態に係る撮像システムの概略を説明する図である。 図2は、第1カメラ、第2カメラ、レーザー照射部の相対的な位置関係のイメージを説明する図である。 図3は、第1画像のイメージを説明する図である。 図4は、制御装置の機能ブロック図である。 図5は、指標情報を説明する図である。 図6は、撮像範囲設定部による処理を説明する図である。 図7は、指標合成部による処理を説明する図である。 図8は、照射位置制御部による処理を説明する図である。 図9は、カメラ位置制御部による処理を説明する図である。 図10は、画像統合部の処理を説明する図である。 図11は、本実施形態に係る撮像方法の処理の流れを示すフローチャートである。 図12は、変形例に係る撮像システムの概略を説明する図である。 図13は、保持部を説明する図である。 図14は、変形例に係る制御装置の機能ブロック図である。
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、理解を容易とするための例示にすぎず、特に断る場合を除き、本開示を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本開示に直接関係のない要素は図示を省略する。
[撮像システム100]
図1は、本実施形態に係る撮像システム100の概略を説明する図である。図2は、第1カメラ120、第2カメラ132、レーザー照射部142の相対的な位置関係のイメージを説明する図である。
図1に示すように、撮像システム100は、検査対象物10の検査面12を撮像し、検査面12を点検する。本実施形態では、検査対象物10として、橋梁を例に挙げるが、検査対象物10に限定はない。検査対象物10は、例えば、高速道路、トンネル、ダム、ビル等の橋梁以外の構造物であってもよい。また、検査面12が検査対象物10の下面である場合を例に挙げる。
撮像システム100は、移動装置110と、第1カメラ120と、第2カメラユニット130と、複数の照射ユニット140と、制御装置150とを含む。
移動装置110(照射変位部、カメラ位置変更部)は、ベース部112と、昇降部114と、移動部116と、設置板118とを含む。
ベース部112は、検査対象物10の下方に配される。
昇降部114は、検査対象物10の上方から検査対象物10の下方に亘って設けられる。昇降部114は、ベース部112を上下方向に昇降させる。
移動部116は、ベース部112に設けられる。移動部116の先端には、設置板118が設けられる。移動部116は、設置板118を水平方向に移動させる。
第1カメラ120は、ベース部112に設けられる。第1カメラ120は、第1画像210を生成する。第1カメラ120は、検査面12における検査範囲20を撮像する。例えば、第1カメラ120は、検査範囲20全域を撮像する。検査範囲20は、検査面12の一部の範囲である。検査範囲20は、撮像システム100を利用する検査員によって予め設定される。図1中、破線は、第1カメラ120によって撮像される検査面12の範囲を示す。第1カメラ120は、例えば、可視光カメラである。
図3は、第1画像210のイメージを説明する図である。図3に示すように、第1画像210には、検査範囲20全域(図3中、ハッチングで示す)が含まれる。
図1に戻って説明すると、第2カメラユニット130は、設置板118上に設けられる。第2カメラユニット130は、第2カメラ132と、カメラ位置変更機構134とを含む。
第2カメラ132は、第2画像220を生成する。第2カメラ132は、検査面12における検査範囲20を撮像する。本実施形態において、第2カメラ132は、検査範囲20の一部を撮像する。例えば、第2カメラ132によって撮像される検査面12の範囲は、第1カメラ120よりも狭い。図1中、一点鎖線は、第2カメラ132によって撮像される検査面12の範囲を示す。第2カメラ132は、例えば、可視光カメラである。
本実施形態に係る撮像システム100では、第2カメラ132が検査範囲20の一部を撮像することによって生成された第2画像220に基づいて、検査範囲20の劣化状態を検査する。劣化状態は、ひび割れ、塗膜割れ、塩分濃度等である。例えば、撮像システム100では、検査範囲20の一部を含む第2画像220と、複数の検量画像とを比較する。検量画像は、劣化状態を示す特徴点が含まれる画像である。複数の検量画像は、度合いが異なる劣化状態の試験体を撮像することで予め取得される。
カメラ位置変更機構134(カメラ位置変更部)は、第2カメラ132の上下方向の位置および角度を変更する。
複数の照射ユニット140は、設置板118上に設けられる。本実施形態において、照射ユニット140は、後述する、1の撮像範囲を規定する第1仮想点と同数(本実施形態では4個)設けられる。照射ユニット140は、レーザー照射部142と、照射部変位機構144とを含む。
レーザー照射部142は、検査面12に対してレーザー光を照射する。レーザー照射部142は、例えば、レーザーポインタで構成される。
照射部変位機構144(照射変位部)は、レーザー照射部142の角度を変更する。
図4は、制御装置150の機能ブロック図である。制御装置150は、中央制御部152と、表示部154と、メモリ156とを備える。
中央制御部152は、CPU(中央処理装置)を含む半導体集積回路で構成される。中央制御部152は、ROMからCPUを動作させるためのプログラムやパラメータ等を読み出す。中央制御部152は、プログラムやパラメータ等に基づき、ワークエリアとしてのRAMや他の電子回路と協働して制御装置150全体を管理および制御する。
表示部154は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成される。本実施形態において、表示部154は、第1画像210、第2画像220、後述する指標情報230等を表示する。
メモリ156は、ROM、RAM、フラッシュメモリ、HDD等で構成される。メモリ156は、中央制御部152に用いられるプログラムや各種データを記憶する。例えば、メモリ156は、後述する指標情報230、仮想点情報、識別情報、検量画像等を保持する。
本実施形態において、中央制御部152は、指標生成部170、撮像範囲設定部172、第1撮像制御部174、位置決定部176、指標合成部178、照射位置制御部180、第2撮像制御部182、カメラ位置制御部184、画像統合部186、比較部188として機能する。
指標生成部170は、指標情報を生成する。指標情報は、1または複数の撮像範囲を規定する複数の第1仮想点を示す情報である。指標情報は、例えば、検査対象物10の設計図面に基づいて生成される。
図5は、指標情報230を説明する図である。図5に示すように、指標情報230は、外縁情報232と、複数の第1仮想点PAとを含む。外縁情報232は、検査範囲20の外縁を示す情報である。第1仮想点PAは、検査範囲20に割り当てられる複数の撮像範囲Rを規定する情報である。ここでは、4個の第1仮想点PAによって1個の撮像範囲Rが規定される。
本実施形態において、撮像範囲Rの大きさは、検量画像を取得した際の撮像範囲に含まれる試験体の面積と、撮像範囲Rに含まれる検査範囲20の面積とが略一致するように設定される。
図5に示す例では、18個の第1仮想点PAによって、10個の撮像範囲Rが規定される。つまり、図5に示す指標情報230は、10個の撮像範囲Rを規定する18個の第1仮想点PAを示す。
指標生成部170によって生成された指標情報230は、メモリ156に保持される。
撮像範囲設定部172は、第2カメラ132によって生成される第2画像220上において、撮像範囲Rを規定する複数の第2仮想点を設定する。
図6は、撮像範囲設定部172による処理を説明する図である。図6に示すように、本実施形態において、撮像範囲設定部172は、第2画像220上に4つの第2仮想点PBを設定する。4つの第2仮想点PBは、例えば、第2画像220の四隅に対応する位置に設定される。4つの第2仮想点PBによって、1の撮像範囲Rが仮想的に設定される。
撮像範囲設定部172によって生成された、複数の第2仮想点PBを示す仮想点情報は、メモリ156に保持される。
第1撮像制御部174は、第1カメラ120を制御して、第1画像210を生成させる。
位置決定部176は、検査範囲20全域が、第1カメラ120によって撮像されるように、移動装置110を制御する。具体的に説明すると、位置決定部176は、昇降部114を制御して、検査範囲20全域が第1カメラ120によって撮像されるようにベース部112(第1カメラ120)の位置を移動させる。そして、位置決定部176は、検査範囲20全域が第1カメラ120によって撮像される位置となったら、昇降部114の駆動を停止する。これにより、第1カメラ120が所定位置に固定される。
指標合成部178は、第1画像210上の検査範囲20内に、複数の第1仮想点PAが含まれるように指標情報230を変換して第1画像210と合成する(スーパーインポーズ)。
図7は、指標合成部178による処理を説明する図である。図7に示すように、指標合成部178は、第1画像210上の検査範囲20内に、指標情報230に含まれるすべての第1仮想点PAが含まれるように、指標情報230を変換する。例えば、指標合成部178は、第1画像210上の検査範囲20の外縁の位置と、指標情報230に含まれる外縁情報232の位置とを一致させるように、指標情報230を変換する。
照射位置制御部180(照射変位部)は、移動装置110および照射部変位機構144を制御して、レーザー照射部142によるレーザー光の照射点を変位させる。
図8は、照射位置制御部180による処理を説明する図である。図8の矢印で示すように、照射位置制御部180は、指標情報230が合成された第1画像210上において、1つの撮像範囲Rを形成する4つの第1仮想点PAに、各レーザー照射部142による照射点PLそれぞれが一致するように、各レーザー照射部142を変位させる。
第2撮像制御部182は、第2カメラ132を制御して、第2画像220を生成させる。
カメラ位置制御部184(カメラ位置変更部)は、移動装置110およびカメラ位置変更機構134を制御して、第2カメラ132を変位させたり、回転させたりする。
図9は、カメラ位置制御部184による処理を説明する図である。カメラ位置制御部184は、まず、第2カメラ132による第2画像220の中心Cが、仮想図形SL内に含まれるように、第2カメラ132を変位させる。仮想図形SLは、複数の照射点PLによって形成される仮想的な図形である。そして、図9の矢印で示すように、カメラ位置制御部184は、メモリ156に保持された仮想点情報によって予め設定された、第2画像220上の複数の第2仮想点PBが、照射点PLそれぞれに一致するように、第2カメラ132を変位させたり、回転させたりする。
そして、第2画像220上における複数の第2仮想点PBが、照射点PLそれぞれに一致したら、第2撮像制御部182は、第2カメラ132を制御して第2画像220を生成させる。また、第2撮像制御部182は、生成された第2画像220に、識別情報を関連付けてメモリ156に保持させる。識別情報は、指標情報230における、生成された第2画像220に対応する位置を示す。
画像統合部186は、識別情報を参照し、検査範囲20の一部を含む複数の第2画像220を統合して統合画像を生成する。図10は、画像統合部186の処理を説明する図である。図10に示すように、画像統合部186は、指標情報230および識別情報を参照して、第2画像220を統合する。
比較部188は、統合画像と検量画像とを比較して、検査範囲20の劣化状態の度合いを判定する。
[撮像方法]
続いて、上記撮像システム100を用いた撮像方法について説明する。図11は、本実施形態に係る撮像方法の処理の流れを示すフローチャートである。図11に示すように、本実施形態に係る撮像方法は、位置決め処理S110、第1画像生成処理S112、指標情報合成処理S114、初期設定処理S116、終了判定処理S118、照射部変位処理S120、第2カメラ位置制御処理S122、第2画像生成処理S124、インクリメント処理S126、第2画像統合処理S128、比較処理S130を含む。以下、各処理について説明する。
[位置決め処理S110]
位置決定部176は、検査面12のうち、予め設定された検査範囲20全域が、第1カメラ120によって撮像されるように、移動装置110を制御する。そして、位置決定部176は、検査範囲20全域が第1カメラ120によって撮像される位置となったら、当該位置に第1カメラ120を固定する。
[第1画像生成処理S112]
第1撮像制御部174は、第1カメラ120を制御して、第1画像210を生成させる。
[指標情報合成処理S114]
指標合成部178は、第1画像生成処理S112で生成された第1画像210と、メモリ156に保持された指標情報230とを合成する。本実施形態において、指標合成部178は、第1画像210上の検査範囲20内に、指標情報230に含まれるすべての第1仮想点PAが含まれるように、指標情報230を変換して、第1画像210と合成する。
[初期設定処理S116]
中央制御部152は、第2画像220の枚数をカウントするカウンタのカウンタ値nに1をセットする。
[終了判定処理S118]
中央制御部152は、カウンタ値nがNであるか否かを判定する。Nは、指標情報230に含まれる撮像範囲Rの総数である。図5に示す例において、Nは10となる。中央制御部152は、カウンタ値nがNであると判定した場合(S118におけるYES)、第2画像統合処理S128に処理を移す。一方、カウンタ値nがNではないと判定した場合(S118におけるNO)、中央制御部152は、照射部変位処理S120に処理を移す。
[照射部変位処理S120]
照射位置制御部180は、移動装置110および照射部変位機構144を制御して、各レーザー照射部142を変位させる。本実施形態において、照射位置制御部180は、指標情報230が合成された第1画像210上において、1の撮像範囲Rを規定する複数の第1仮想点PAに、各レーザー照射部142による照射点PLそれぞれが一致するように、各レーザー照射部142を変位させる。
また、中央制御部152は、照射点PLと一致させる複数の第1仮想点PAによって規定される撮像範囲Rの、指標情報230上の位置を示す情報を識別情報として生成する。
[第2カメラ位置制御処理S122]
カメラ位置制御部184は、移動装置110およびカメラ位置変更機構134を制御して、第2カメラ132を変位させたり、回転させたりする。本実施形態において、カメラ位置制御部184は、第2画像220上において予め設定された複数の第2仮想点PBが、照射点PLそれぞれに一致するように、第2カメラ132を変位させたり、回転させたりする。
[第2画像生成処理S124]
第2撮像制御部182は、第2カメラ132を制御して、第2カメラ位置制御処理S122において決定された位置において第2画像220を生成させる。そして、第2撮像制御部182は、生成された第2画像220に、照射部変位処理S120で生成された識別情報を関連付けて、メモリ156に保持させる。
[インクリメント処理S126]
中央制御部152は、カウンタ値nをインクリメントする。
[第2画像統合処理S128]
中央制御部152が、カウンタ値nがNであると判定した場合(S118におけるYES)、画像統合部186は、識別情報を参照し、複数の第2画像220を統合して統合画像を生成する。
[比較処理S130]
比較部188は、統合画像に含まれる複数の第2画像220それぞれと検量画像とを比較する。その結果、劣化状態の度合いが所定の閾値を超えている箇所が含まれる第2画像220がある場合、比較部188は、統合画像における当該第2画像220の位置を特定する。
以上説明したように、本実施形態に係る撮像システム100およびこれを用いた撮像方法は、指標合成部178を備える。上記したように、指標情報230は、1または複数の撮像範囲Rを規定する複数の第1仮想点PAを示す。そして、指標合成部178は、第1画像210上の検査範囲20内に、指標情報230に含まれるすべての第1仮想点PAが含まれるように、指標情報230を変換して、第1画像210と合成する。これにより、撮像システム100は、指標情報230に含まれる1または複数の撮像範囲Rを、第1画像210上の検査範囲20に適切に割り当てることができる。
また、撮像システム100は、照射変位部(移動装置110、照射部変位機構144、照射位置制御部180)およびカメラ位置変更部(移動装置110、カメラ位置変更機構134、カメラ位置制御部184)を備える。上記したように、照射変位部は、第1画像210上の検査範囲20に割り当てられた、撮像範囲Rを規定する複数の第1仮想点PAにレーザー照射部142の照射点を一致させる。そして、カメラ位置変更部は、第2画像220上において予め設定された、撮像範囲Rを規定する複数の第2仮想点PBが、照射点PLそれぞれに一致するように、第2カメラ132を変位または回転させる。これにより、撮像システム100は、第2カメラ132を検査範囲20(検査面12)に正対させることができる。したがって、第2カメラ132は、検査範囲20と正対した状態で第2画像220を生成することが可能となる。
画像を正対化した正対化画像によって劣化状態を検査する従来技術では、画像の一部が拡大または縮小される。このため、正対化画像には、大きさが変更されない領域、拡大された領域、縮小された領域が含まれることになる。正対化画像では、各領域において、それぞれ解像度が異なってしまう。このため、従来技術では、正対化画像の各領域において劣化状態の検出精度にバラツキが生じてしまう。したがって、従来技術では、劣化状態の検出精度が低いという問題がある。
これに対し、撮像システム100は、検査範囲20と正対した状態で第2画像220を生成することができる。このため、撮像システム100では、第2画像220に対して、正対化処理を施す必要がない。したがって、撮像システム100では、第2画像220全体において解像度を実質的に等しくすることができる。これにより、撮像システム100は、従来技術と比較して、検査対象物10の劣化状態を高精度に検出することが可能となる。
[変形例:撮像システム300]
上記実施形態において、第2カメラ132とレーザー照射部142とが独立して変位される場合を例に挙げた。しかし、第2カメラ132とレーザー照射部142とは、一体的に変位されてもよい。
図12は、変形例に係る撮像システム300の概略を説明する図である。図12に示すように、撮像システム300は、移動装置110(撮像位置変更部)と、第1カメラ120と、撮像ユニット310と、制御装置350とを含む。なお、上記撮像システム100と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
撮像ユニット310は、第2カメラ132と、複数のレーザー照射部142と、保持部320と、変位機構330(撮像位置変更部)とを含む。
保持部320は、第2カメラ132および複数のレーザー照射部142を一体的に保持する。図13は、保持部320を説明する図である。図13に示すように、保持部320は、枠体322と、支持体324とを含む。枠体322は、矩形形状の枠である。枠体322には、複数のレーザー照射部142が固定される。枠体322は、複数のレーザー照射部142の位置関係が、例えば、撮像範囲Rを規定する複数の第1仮想点PAの位置関係と略等しくなるように、複数のレーザー照射部142を保持する。支持体324は、枠体322に第2カメラ132を固定する。変形例において、支持体324は、枠体322の略中央に第2カメラ132を固定する。
図14は、変形例に係る制御装置350の機能ブロック図である。図14に示すように、制御装置350は、中央制御部352と、表示部154と、メモリ156とを備える。変形例において、中央制御部352は、指標生成部170、撮像範囲設定部172、第1撮像制御部174、位置決定部176、指標合成部178、位置制御部380、第2撮像制御部182、画像統合部186、比較部188として機能する。
位置制御部380(撮像位置変更部)は、移動装置110および変位機構330を制御して、保持部320を変位させる。位置制御部380は、指標情報230が合成された第1画像210上において、1の撮像範囲Rを規定する複数の第1仮想点PAに、各レーザー照射部142による照射点PLそれぞれが一致し、かつ、第2画像220上において予め設定された複数の第2仮想点PBが、照射点PLそれぞれに一致するように、保持部320を変位させたり、回転させたりする。
以上説明したように、変形例に係る撮像システム300は、第2カメラ132を検査範囲20(検査面12)に正対させることができる。
以上、添付図面を参照しながら実施形態について説明したが、本開示は上記実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した実施形態において、照射ユニット140が設置板118に設けられる場合を例に挙げた。しかし、照射ユニット140は、ベース部112に設けられてもよい。また、一部の照射ユニット140が設置板118に設けられ、他の照射ユニット140がベース部112に設けられてもよい。
また、上記実施形態および変形例において、中央制御部152、352が、第1撮像制御部174として機能する場合を例に挙げた。しかし、中央制御部152、352は、第1撮像制御部174として機能せずともよい。この場合、第1カメラ120は、検査員による操作入力に応じて第1画像210を生成してもよい。
同様に、中央制御部152、352が、第2撮像制御部182として機能する場合を例に挙げた。しかし、中央制御部152、352は、第2撮像制御部182として機能せずともよい。この場合、第2カメラ132は、検査員による操作入力に応じて第2画像220を生成してもよい。
また、指標生成部170は、検査員による操作入力に応じて、指標情報230を生成してもよい。同様に、撮像範囲設定部172は、検査員による操作入力に応じて、第2画像220上において、撮像範囲Rを規定する複数の第2仮想点PBを設定してもよい。また、位置決定部176は、検査員による操作入力に応じて、検査範囲20全域が、第1カメラ120によって撮像されるように、移動装置110を制御してもよい。また、指標合成部178は、検査員による操作入力に応じて、指標情報230を変換させ、第1画像210と合成してもよい。また、照射位置制御部180は、検査員による操作入力に応じて、移動装置110および照射部変位機構144を制御し、指標情報230が合成された第1画像210上において、1の撮像範囲Rを規定する4つの第1仮想点PAに、各レーザー照射部142による照射点PLそれぞれが一致するように、各レーザー照射部142を変位させてもよい。また、カメラ位置制御部184は、検査員による操作入力に応じて、移動装置110およびカメラ位置変更機構134を制御し、第2画像220上において予め設定された複数の第2仮想点PBが、照射点PLそれぞれに一致するように、第2カメラ132を変位または回転させてもよい。また、位置制御部380は、検査員による操作入力に応じて、移動装置110および変位機構330を制御し、保持部320を変位または回転させてもよい。
また、上記実施形態および変形例において、撮像範囲Rが矩形形状であり、第1仮想点PAが4つである場合を例に挙げた。しかし、撮像範囲Rの形状に限定はない。また、第1仮想点PAの数は3以上であれば限定はない。
また、上記実施形態において、レーザー照射部142が、1の撮像範囲Rを規定する第1仮想点PAと同数設けられる場合を例に挙げた。しかし、レーザー照射部142の数に限定はない。
また、上記実施形態および変形例において、指標情報230が、外縁情報232と、複数の第1仮想点PAとを含む場合を例に挙げた。しかし、指標情報230は、外縁情報232を含まずともよい。
また、上記実施形態および変形例において、第2カメラ132が可視光カメラである場合を例に挙げた。しかし、第2カメラ132は、近赤外線カメラ、赤外線カメラ、紫外線カメラ、分光カメラ、または、ハイパースペクトルカメラであってもよい。
近赤外線カメラ、または、赤外線カメラによって得られる画像に対し、正対化する処理を施す比較例では、劣化状態を示す特徴点がバックグラウンドに埋もれてしまい、劣化状態の検出精度が低いという問題がある。これに対し、撮像システム100、300は、第2カメラ132を検査範囲20(検査面12)に正対させることができる。このため、撮像システム100、300は、第2画像220に対し、正対化処理を施すことなく、劣化状態を検査することができる。したがって、第2カメラ132が、近赤外線カメラ、または、赤外線カメラである場合、撮像システム100、300は、比較例と比較して、特に、検査対象物10の劣化状態を高精度に検出することが可能となる。
本開示は、例えば、持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することができる。
100 撮像システム
110 移動装置(照射変位部、カメラ位置変更部)
120 第1カメラ
132 第2カメラ
134 カメラ位置変更機構(カメラ位置変更部)
142 レーザー照射部
144 照射部変位機構(照射変位部)
156 メモリ
178 指標合成部
180 照射位置制御部(照射変位部)
184 カメラ位置制御部(カメラ位置変更部)
300 撮像システム
320 保持部
330 変位機構(撮像位置変更部)
382 位置制御部(撮像位置変更部)

Claims (5)

  1. 検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、
    1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる前記複数の第1仮想点が、前記第1画像上の前記検査範囲内に含まれるように、前記指標情報を変換して前記第1画像と合成する指標合成部と、
    前記検査面に対してレーザー光を照射するレーザー照射部と、
    前記指標情報が合成された前記第1画像上において、1の前記撮像範囲を規定する複数の前記第1仮想点に、各前記レーザー照射部による前記レーザー光の照射点それぞれが一致するように、前記各レーザー照射部を変位させる照射変位部と、
    前記検査範囲を撮像して第2画像を生成する第2カメラと、
    前記第2画像上において予め設定された、前記撮像範囲を規定する複数の第2仮想点が、前記照射点それぞれに一致するように、前記第2カメラを変位または回転させるカメラ位置変更部と、
    を備える、撮像システム。
  2. 検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、
    1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる前記複数の第1仮想点が、前記第1画像上の前記検査範囲内に含まれるように、前記指標情報を変換して前記第1画像と合成する指標合成部と、
    前記検査面に対してレーザー光を照射するレーザー照射部と、
    前記検査範囲を撮像して第2画像を生成する第2カメラと、
    前記レーザー照射部および前記第2カメラを一体的に保持する保持部と、
    前記指標情報が合成された前記第1画像上において、1の前記撮像範囲を規定する複数の前記第1仮想点に、各前記レーザー照射部による前記レーザー光の照射点それぞれが一致し、かつ、前記第2画像上において予め設定された、前記撮像範囲を規定する複数の第2仮想点が、前記照射点それぞれに一致するように、前記保持部を変位または回転させる撮像位置変更部と、
    を備える、撮像システム。
  3. 前記第2カメラは、近赤外線カメラ、または、赤外線カメラである、請求項1または2に記載の撮像システム。
  4. 検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、前記検査面に対してレーザー光を照射するレーザー照射部と、前記検査範囲を撮像して第2画像を生成する第2カメラと、を用いた撮像方法であって、
    1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる前記複数の第1仮想点が、前記第1画像上の前記検査範囲内に含まれるように、前記指標情報を変換して前記第1画像と合成する処理と、
    前記指標情報が合成された前記第1画像上において、1の前記撮像範囲を規定する複数の前記第1仮想点に、各前記レーザー照射部による前記レーザー光の照射点それぞれが一致するように、前記各レーザー照射部を変位させる処理と、
    前記第2画像上において予め設定された、前記撮像範囲を規定する複数の第2仮想点が、前記照射点それぞれに一致するように、前記第2カメラを変位または回転させる処理と、
    を含む、撮像方法。
  5. 検査対象物の検査面における検査範囲を撮像して第1画像を生成する第1カメラと、前記検査面に対してレーザー光を照射するレーザー照射部と、前記検査範囲を撮像して第2画像を生成する第2カメラと、前記レーザー照射部および前記第2カメラを一体的に保持する保持部と、を用いた撮像方法であって、
    1または複数の撮像範囲を規定する複数の第1仮想点を示す指標情報に含まれる前記複数の第1仮想点が、前記第1画像上の前記検査範囲内に含まれるように、前記指標情報を変換して前記第1画像と合成する処理と、
    前記指標情報が合成された前記第1画像上において、1の前記撮像範囲を規定する複数の前記第1仮想点に、各前記レーザー照射部による前記レーザー光の照射点それぞれが一致し、かつ、前記第2画像上において予め設定された、前記撮像範囲を規定する複数の第2仮想点が、前記照射点それぞれに一致するように、前記保持部を変位または回転させる処理と、
    を含む、撮像方法。
JP2022028403A 2022-02-25 2022-02-25 撮像システムおよび撮像方法 Pending JP2023124570A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022028403A JP2023124570A (ja) 2022-02-25 2022-02-25 撮像システムおよび撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022028403A JP2023124570A (ja) 2022-02-25 2022-02-25 撮像システムおよび撮像方法

Publications (1)

Publication Number Publication Date
JP2023124570A true JP2023124570A (ja) 2023-09-06

Family

ID=87886190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022028403A Pending JP2023124570A (ja) 2022-02-25 2022-02-25 撮像システムおよび撮像方法

Country Status (1)

Country Link
JP (1) JP2023124570A (ja)

Similar Documents

Publication Publication Date Title
US10359370B2 (en) Template substrate for use in adjusting focus offset for defect detection
JP5843241B2 (ja) 検査装置、及び検査方法
KR101547649B1 (ko) 검사 장치
US20130250095A1 (en) Inspection system and method
US9797846B2 (en) Inspection method and template
JP6732858B2 (ja) 基板検査装置及び基板検査方法
US20070071308A1 (en) Workpiece inspection apparatus, workpiece inspection method and computer-readable recording medium storing program
JP2002310929A (ja) 欠陥検査装置
KR20190037112A (ko) 검사 방법 및 검사 장치
KR20190100616A (ko) 표면 결함 검사 장치
JP2007192652A (ja) パターン検査装置、パターン検査方法、及び検査対象試料
US10852125B2 (en) Apparatus for inspecting film on substrate by using optical interference and method thereof
US7551296B2 (en) Method for determining the focal position of at least two edges of structures on a substrate
JP2014062940A (ja) 検査装置
KR100926019B1 (ko) 결함 입자 측정 장치 및 결함 입자 측정 방법
JP2023124570A (ja) 撮像システムおよび撮像方法
JP2010141189A (ja) 半導体ウェハ検査装置
KR101436572B1 (ko) 광삼각법을 이용한 3차원형상 측정장치
US11543238B2 (en) Apparatus for inspecting substrate and method thereof
US10269105B2 (en) Mask inspection device and method thereof
KR20090053274A (ko) 웨이퍼 디펙트 검사장치 및 그 방법
JP2013224961A (ja) 半導体ウェハ検査装置
KR101886685B1 (ko) 패턴 검사 장치, 패턴 촬상 장치 및 패턴 촬상 방법
KR20240053958A (ko) 주사전자현미경의 이미지 생성장치 및 이를 이용한 이미지 생성 방법
JP2004335611A (ja) 半導体検査装置及び検査方法、半導体装置