JP2023037333A - 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム - Google Patents

被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム Download PDF

Info

Publication number
JP2023037333A
JP2023037333A JP2021144006A JP2021144006A JP2023037333A JP 2023037333 A JP2023037333 A JP 2023037333A JP 2021144006 A JP2021144006 A JP 2021144006A JP 2021144006 A JP2021144006 A JP 2021144006A JP 2023037333 A JP2023037333 A JP 2023037333A
Authority
JP
Japan
Prior art keywords
subject
imaging
points
unit
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021144006A
Other languages
English (en)
Inventor
暢克 杉山
Nobukatsu Sugiyama
淳一郎 大賀
Junichiro Oga
義之 石原
Yoshiyuki Ishihara
準治 大明
Junji Oaki
博司 大野
Hiroshi Ono
英明 岡野
Hideaki Okano
宏弥 加納
Hiroya Kano
卓大 神川
Takahiro Kamikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2021144006A priority Critical patent/JP2023037333A/ja
Priority to EP22156293.7A priority patent/EP4145115A1/en
Priority to US17/675,851 priority patent/US20230071341A1/en
Priority to CN202210174971.2A priority patent/CN115753781A/zh
Publication of JP2023037333A publication Critical patent/JP2023037333A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37449—Inspection path planner
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37451—Plan sensor placement for optimal inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】被検体の表面において検査対象となる範囲を迅速に検査可能にする処理装置を提供すること。【解決手段】実施形態によれば、撮影部を用いた被検体の検査に関連する処理装置が提供される。処理装置のプロセッサは、被検体の表面の形状が点群によって示され、かつ、被検体の表面における位置及び法線ベクトルに関する情報が点群を用いて規定される形状データに基づいて、被検体を撮影する位置として複数の撮影点を算出する。プロセッサは、算出した複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、撮影部を移動させる経路として算出する。【選択図】図１０

Description

本発明の実施形態は、被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラムに関する。
被検体の表面における傷等の欠陥の検査では、目視による検査の代わりに、結像によって撮影を行う撮影装置（光学装置）を用いて検査を行うことがある。撮影装置を用いた検査では、カメラ等の撮影装置（撮影部）にロボットアーム等の可動体を接続することにより、撮影装置の位置及び姿勢を可動体の動作に対応させて変化可能にする。そして、可動体の動作によって複数の撮影点の間で撮影装置を移動させるとともに、複数の撮影点のそれぞれで被検体の表面を撮影する。また、複数の撮影点のそれぞれでは、被検体の表面に対する結像光学系の光軸の角度が直角又は略直角になる姿勢等の被検体の表面に対する結像光学系の光軸の角度が所定の角度範囲になる姿勢に、撮影装置の姿勢が調整され、調整された姿勢で撮影装置は被検体を撮影する。
前述のように撮影装置及び可動体を用いた被検体の表面における欠陥の検査では、複数の撮影点の間での撮影装置の移動時間を短縮したり、複数の撮影点のそれぞれでの撮影装置の姿勢の調整時間を短縮したりして、被検体の表面において検査対象となる範囲を検査する検査時間を短縮することが、求められている。すなわち、被検体の表面において検査対象となる範囲を迅速に検査することが、求められている。
特開２０２０－１９０５０９号公報 特開２０１９－１２４５４２号公報
本発明が解決しようとする課題は、被検体の表面において検査対象となる範囲を迅速に検査可能にする処理装置、検査システム、処理方法、及び、処理プログラムを提供することにある。
実施形態によれば、撮影部を用いた被検体の検査に関連する処理装置が提供される。処理装置は、プロセッサを備え、プロセッサは、被検体の表面の形状が点群によって示され、かつ、被検体の表面における位置及び法線ベクトルに関する情報が点群を用いて規定される形状データに基づいて、撮影部によって被検体を撮影する位置として複数の撮影点を算出する。プロセッサは、算出した複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、複数の撮影点の間で撮影部を移動させる経路として算出する。
図１は、第１の実施形態に係る検査システムを示す概略図である。 図２は、第１の実施形態に係る検査システムの制御系統等を概略的に示すブロック図である。 図３は、第１の実施形態に係る検査システムにおいて、撮影部の構成の一例を示す概略図である。 図４は、第１の実施形態に係る処理装置において、データ記憶部に記憶される被検体の表面の形状データの一例を示す概略図である。 図５は、第１の実施形態に係る処理装置の撮影点算出部によって行われる、複数の撮影点を設定（算出）する処理の一例について説明する概略図である。 図６は、第１の実施形態に係る処理装置の撮影点算出部によって行われる、角度差微小部分に配置される複数の三角形から形成される１つの多角形に基づいて複数の撮影点の１つ以上を設定（算出）する処理の一例について説明する概略図である。 図７は、第１の実施形態に係る処理装置の撮影点算出部が、図４の一例の形状データを用いて算出した複数の撮影の一例を示す概略図である。 図８は、第１の実施形態に係る処理装置の経路算出部による撮影部の移動経路の算出に用いられる、撮影点を通過する順番に関連するパラメータと移動コストの総和に関連するパラメータとの関係の一例を示す概略図である。 図９は、第１の実施形態に係る処理装置の経路算出部が、図７の一例の複数の撮影点に基づいて算出した撮影部を移動させる経路の一例を示す概略図である。 図１０は、第１の実施形態に係る処理装置の処理実行部によって実行される、処理の一例を概略的に示すフローチャートである。 図１１は、ある変形例に係る処理装置において、ユーザインタフェースの表示画面に表示される画像の一例を示す概略図である。
以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、検査システムの一例として、第１の実施形態の検査システム１を概略的に示す。図２は、本実施形態の検査システム１の制御系統等を概略的に示す。図１及び図２に示すように、本実施形態の検査システム１は、検査対象のなる被検体Ｄの検査に用いられる。１回の検査では、検査システム１を用いて、被検体Ｄの表面について検査される。ある一例では、被検体Ｄの表面の全体が１回の検査で検査されてもよく、別のある一例では、被検体の表面において所定の範囲（一部）のみが１回の検査で検査されてもよい。検査システム１は、撮影部（撮影装置）２、可動体３及び処理装置５を備える。処理装置５は、処理実行部６、データ記憶部７及びユーザインタフェース８を備え、処理実行部６は、撮影点算出部１１、経路算出部１２、画像処理部１３及び動作制御部１５を備える。
処理装置５は、例えば、コンピュータ等から構成され、プロセッサ（処理回路）及び記憶媒体を備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、マイコン、ＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）等のいずれかを含む。記憶媒体には、メモリ等の主記憶装置に加え、補助記憶装置が含まれ得る。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、及び、半導体メモリ等が挙げられる。
処理装置５では、プロセッサ及び記憶媒体のそれぞれは、１つのみ設けられてもよく、複数設けられてもよい。処理装置５では、プロセッサは、記憶媒体等に記憶されるプログラム等を実行することにより、処理を行う。また、処理装置５のプロセッサによって実行されるプログラムは、インターネット等のネットワークを介して処理装置５に接続されたコンピュータ（サーバ）、又は、クラウド環境のサーバ等に格納されてもよい。この場合、プロセッサは、ネットワーク経由でプログラムをダウンロードする。処理装置５では、撮影点算出部１１、経路算出部１２、画像処理部１３及び動作制御部１５を含む処理実行部６による後述の処理は、プロセッサ等によって実行され、記憶媒体が、データ記憶部７として機能する。
なお、検査システム１に、互いに対して別体の複数の処理装置（コンピュータ）が設けられてもよい。この場合、複数の処理装置のそれぞれは、プロセッサ及び記憶媒体を備える。そして、処理実行部６による後述の処理は、複数の処理装置のプロセッサによって実行される。ある一例では、撮影点算出部１１及び経路算出部１２による後述の処理が、ある１つの処理装置のプロセッサによって、実行される。そして、画像処理部１３及び動作制御部１５による後述の処理が、撮影点算出部１１及び経路算出部１２による処理を実行する処理装置とは別体の処理装置のプロセッサによって、実行される。
また、処理実行部６による処理の少なくとも一部が、クラウド環境に構成されるクラウドサーバによって実行されてもよい。クラウド環境のインフラは、仮想ＣＰＵ等の仮想プロセッサ及びクラウドメモリによって、構成される。ある一例では、撮影点算出部１１及び経路算出部１２による処理が、仮想プロセッサによって実行され、クラウドメモリが、データ記憶部７として機能する。そして、画像処理部１３及び動作制御部１５による処理が、コンピュータ等の処理装置のプロセッサによって実行される。また、データ記憶部７は、処理実行部６が設けられる処理装置５とは別体のコンピュータに設けられてもよい。この場合、処理装置５は、データ記憶部７等が設けられるコンピュータに、ネットワークを介して接続される。
また、ユーザインタフェース８は、検査システムを用いた検査において作業者等によって操作指令が入力される操作部、及び、作業者等に検査に関連する情報を告知する告知部を備える。告知部では、例えば、画面表示及び音声等のいずれかによって、情報が告知される。なお、ユーザインタフェース８は、処理装置５とは別体で設けられてもよい。
撮影部２は、カメラ等の撮影装置である。可動体３は、例えば、１つ以上の関節を備えるロボットアーム、及び、直動機構等のいずれかである。可動体３は、撮影部２に機械的に接続され、図１等の一例では、可動体３の一端に、撮影部２への接続部分が形成される。可動体３が動作することにより、撮影部２の位置及び姿勢が変化する。したがって、撮影部２の位置及び姿勢は、可動体３の動作に対応して、変化する。ここで、可動体３の位置は、例えば、３次元における位置で示される。
図３は、撮影部２の構成の一例を示す。図３等に示すように、撮影部２は、結像光学系２１を備える光学装置であり、結像光学系２１による結像によって、撮影を行う。結像光学系２１は、光軸Ｏを有し、例えば、１つ又は複数のレンズから形成される。そして、撮影部２では、結像光学系の光軸Ｏに沿う光軸方向が規定される。また、撮影部２は、撮像素子２２を備える。被検体Ｄの検査では、撮像素子２２は、光軸方向について、結像光学系２１に対して、被検体Ｄが位置する側とは反対側に配置される。撮像素子２２は、結像光学系２１の結像面２３を形成し、撮像素子２２の結像面２３には、被検体Ｄの表面の像等が結像光学系２１によって結像される。また、撮像素子２２は、結像光学系２１の焦点位置に比べて、結像光学系２１から離れて配置され、撮像素子２２までの結像光学系２１からの距離Ｌは、結像光学系２１の焦点距離ｆに比べて、大きい。
結像光学系２１は、被検体Ｄからの光を撮像素子２２に入射させる。結像光学系２１は、レンズ、組レンズ、導光レンズ、屈折率勾配レンズ、反射ミラー等でよく、光を結像するものであればよい。したがって、被検体Ｄの検査では、被検体Ｄから結像光学系２１を通して、撮像素子２２の結像面２３に光が入射される。撮像素子２２は、結像面２３に入射された光を撮像する。これにより、撮像素子２２において、結像された像に関する情報を示す電気信号が生成され、被検体Ｄが撮影される。
図３等の一例では、撮影部２は、光源２５及びミラー２６を備え、光源２５からの光が、ミラー２６を介して被検体Ｄに入射される。ただし、ミラー２６のサイズに特に制限はなく、あくまでも図３は一例である。そして、被検体Ｄで反射した光が、結像光学系２１によって撮像素子２２に入射される。また、ある一例では、光源からの光を、１つ以上のレンズから形成される照明光学系を用いて、被検体に入射させ、被検体を透過した光を、結像光学系によって撮像素子に入射させてもよい。被検体を透過した光の撮像素子への入射は、例えば、特許文献２（特開２０１９－１２４５４２号公報）と同様にして実現される。
また、撮影部２では、カラーフィルタ２７が、光軸方向について、結像光学系２１と撮像素子２２との間に配置される。したがって、カラーフィルタ２７は、結像光学系２１を通して撮像素子２２に入射される光の光路上に、配置される。カラーフィルタ２７は、光軸方向について、結像光学系２１の焦点位置からずれることなく又はほとんどずれることなく配置され、結像光学系２１からカラーフィルタ２７までの距離は、結像光学系２１の焦点距離ｆと同一又は略同一の大きさになる。
カラーフィルタ２７は、１つ以上の波長選択領域を備え、図３の一例では、３つの波長選択領域Ｕ１～Ｕ３を備える。図３の一例では、カラーフィルタ２７は、光軸Ｏを中心として回転対称又は略回転対称に形成される。そして、カラーフィルタ２７では、光軸Ｏが通過する中心領域に波長選択領域（第１の波長選択領域）Ｕ１が形成され、波長選択領域Ｕ１の外周側に隣接して波長選択領域（第２の波長選択領域）Ｕ２が形成され、波長選択領域Ｕ２の外周側に隣接して波長選択領域（第３の波長選択領域）Ｕ３が形成される。図３の一例では、波長選択領域Ｕ３によって、カラーフィルタ２７の最外周が形成される。
波長選択領域Ｕ１は、第１の波長範囲（所定の波長範囲）の光のみを透過させる。波長選択領域Ｕ２は、第１の波長範囲とは異なる第２の波長範囲の光を透過させる。また、波長選択領域Ｕ３は、第１の波長範囲及び第２の波長範囲とは異なる第３の波長範囲の光を透過させる。ある一例では、第１の波長範囲は、赤色光の波長範囲と一致又は略一致し、第２の波長範囲は、緑色光の波長範囲と一致又は略一致し、第３の波長範囲は、青色光の波長範囲と一致又は略一致する。
撮像素子２２には、カラーフィルタ２７の波長選択領域Ｕ１～Ｕ３のそれぞれを透過した光が、入射する。また、撮像素子２２で生成される電気信号では、結像された像に関する情報として、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報、すなわち、第１の波長範囲乃至第３の波長範囲のそれぞれの光についての撮像素子２２への入射強度に関する情報が、示される。したがって、本実施形態では、撮像素子２２で生成される電気信号において、１つ以上の波長範囲のそれぞれの光についての撮像素子２２への入射強度に関する情報が、示される。
また、被検体を透過した光を撮像素子に入射する構成では、前述したように被検体と撮像素子との間に第１のカラーフィルタを設けるとともに、光源と被検体との間に第２のカラーフィルタが設けられてもよい。この場合、特許文献２と同様にして、第１のカラーフィルタ及び第２のカラーフィルタが配置されるとともに、特許文献２と同様にして、２つのカラーフィルタのそれぞれに波長選択領域が形成される。ある一例では、２つのカラーフィルタのそれぞれにおいて、少なくとも中心領域に、波長選択領域が形成される。そして、第１のカラーフィルタの中心領域を透過可能な光は第２のカラーフィルタの中心領域を透過不可能であり、かつ、第２のカラーフィルタの中心領域を透過可能な光は第１のカラーフィルタの中心領域を透過不可能な状態に、２つのカラーフィルタの波長選択領域のそれぞれを透過させる光の波長が、規定される。
前述のように、本実施形態では、カラーフィルタ２７又は前述の第１のカラーフィルタを設ける等して、被検体Ｄから撮像素子２２へ入射させる光の光路上に、カラーフィルタが配置される。また、前述の第２のカラーフィルタを設ける等して、光源から被検体に入射させる光の光路上に、カラーフィルタを設けてもよい。そして、本実施形態では、カラーフィルタのそれぞれに、所定の波長範囲の光のみを透過させる波長選択領域が形成される。また、カラーフィルタのいずれか１つ以上では、複数の波長選択領域が形成されてもよい。この場合、複数の波長選択領域では、透過させる光の波長範囲が、互いに対して異なる。ただし、これら複数の波長範囲において、一部互いに重なる部分があってもよい。また、カラーフィルタのいずれか１つ以上では、１つ以上の波長選択領域に加えて、全ての波長の光を透過させる領域、及び、全ての波長の光を透過させない領域の少なくとも一方が形成されてもよい。
可動体３は、アクチュエータが作動することにより、動作する。動作制御部１５は、可動体３を動作させるアクチュエータの作動を制御することにより、可動体３の動作を制御する。動作制御部１５によって可動体３の動作が制御されることにより、撮影部２への可動体３の接続部分の位置及び姿勢が調整される。また、撮影部２への可動体３の接続部分の位置及び姿勢が調整されることにより、撮影部２の位置及び姿勢が調整される。撮影部２によって被検体Ｄを撮影している状態では、動作制御部１５は、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度が所定の角度範囲になる状態に、撮影部２の姿勢を制御する。図３等の一例では、被検体Ｄの撮影において、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度が直角又は略直角になる姿勢に、撮影部２の姿勢が調整される。
画像処理部１３には、撮像素子２２で生成された電気信号が入力される。このため、撮影部２によって撮影が実行されている状態では、画像処理部１３は、撮像素子２２に結像された像に関する情報を取得し、例えば、被検体Ｄからカラーフィルタ２７の１つ以上の波長選択領域Ｕ１～Ｕ３のそれぞれを通って撮像素子２２に入射した光の強度に関する情報を取得する。また、画像処理部１３は、撮像素子２２からの電気信号に基づいて、撮影部２の撮影範囲の画像として、撮影部２による撮影画像を生成する。そして、画像処理部１３は、撮影部２の撮影した画像を画像処理することにより、撮影画像に基づいた演算及び判定等を実行する。
図３等の一例では、画像処理部１３は、電気信号が入力されることにより、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報を取得する。そして、画像処理部１３は、波長選択領域Ｕ１～Ｕ３のそれぞれから撮像素子２２に入射した光の強度に関する情報に基づいて、被検体Ｄの表面での拡散反射に関する情報を算出する。そして、画像処理部１３は、被検体Ｄの表面での拡散反射に関する情報に基づいて、被検体Ｄの表面の凸凹状態を含む被検体Ｄの表面の形状に関する情報を算出する。また、被検体Ｄの表面での拡散反射に関する情報に基づいて、被検体Ｄにおける光の散乱に関する情報を算出してもよい。図３等の一例では、画像処理部１３は、被検体Ｄの表面の形状に関する情報に基づいて、被検体Ｄの表面の状態を判定する。画像処理部１３は、被検体Ｄの表面の状態の判定において、例えば、被検体Ｄの表面における傷等の欠陥について判定する。これにより、被検体Ｄの表面における欠陥の有無等について、判定される。
また、ある一例では、前述したように、第２のカラーフィルタを通して光が被検体に入射され、被検体を透過した光が、第１のカラーフィルタを通して撮像素子２２に入射される。そして、画像処理部１３は、電気信号が入力されることにより、第１のカラーフィルタの１つ以上の波長選択領域のそれぞれから撮像素子２２に入射した光の強度に関する情報を取得する。そして、画像処理部１３は、１つ以上の波長選択領域のそれぞれから撮像素子２２に入射した光の強度に関する情報に基づいて、被検体での光の偏角に関する情報を算出する。被検体での光の偏角に関する情報は、特許文献２と同様にして算出される。そして、画像処理部１３は、被検体での光の偏角に関する情報に基づいて、被検体の表面の形状に関する情報を算出し、被検体の表面における欠陥について判定等を実行する。
検査システム１を用いた検査では、被検体Ｄの表面の検査範囲において、互いに対して異なる複数の撮影点（撮影位置）で、撮影部２が撮影を行う。そして、複数の撮影点において撮影した画像を画像処理する等して、画像処理部１３は、被検体Ｄの表面の欠陥等について判定する。また、動作制御部１５は、可動体３の動作を前述のように制御することにより、撮影部２の位置及び姿勢を変化させ、複数の撮影点の間で撮影部２を移動させる。
撮影点算出部１１は、検査において撮影部２によって被検体Ｄを撮影する位置として、前述の複数の撮影点を算出する。撮影点算出部１１は、データ記憶部７等に記憶される被検体Ｄの表面の形状データに基づいて、複数の撮影点を算出する。形状データでは、被検体Ｄの表面の３次元形状等の形状が、多数の点から構成される点群によって示される。また、形状データでは、被検体Ｄの表面における位置及び法線ベクトルに関する情報が、点群を用いて規定される。撮影点算出部１１は、例えば、撮影部２によって全ての撮影点で撮影が行われた場合に、被検体Ｄの表面の検査範囲のいずれの部分も撮影点のいずれかで撮影される状態に、複数の撮影点を算出する。また、撮影部２の撮影範囲（画角）は、全ての撮影点で一定でもよく、撮影点ごとに変化させてもよい。
図４は、被検体Ｄの表面の形状データの一例を示す。図４の一例では、形状データは、ＳＴＬ（standard triangulated language）形式で示される。図４の一例の形状データでは、被検体Ｄの表面の形状が、多数の点Ｐから構成される点群によって示される。また、図４の一例の形状データでは、点群に基づいて、被検体Ｄの表面が、多数の三角形Ｔに分割される。多数の三角形Ｔのそれぞれでは、点群を構成する点Ｐの対応する３つが、頂点となる。図４の一例の形状データでは、被検体Ｄの表面における位置に関する情報として、点群を構成する点Ｐのそれぞれの３次元位置等の位置が、示される。そして、形状データでは、被検体Ｄの表面における位置に関する情報として、多数の三角形Ｔのそれぞれの法線ベクトルが、示される。
ここで、法線ベクトルとは、被検体Ｄの表面に対して直交し、かつ、被検体Ｄの外側を向く。図４では、法線ベクトルは、省略して示す。また、形状データでは、例えば、被検体Ｄの表面が多数の四角形に分割される等、被検体Ｄの表面が三角形以外の複数（多数）の多角形に分割されてもよい。この場合も、多角形のそれぞれの頂点は、点群を構成する点Ｐの対応する４つ以上から形成され、形状データでは、被検体Ｄの表面における位置に関する情報として、複数の多角形のそれぞれの法線ベクトルが、示される。
撮影点算出部１１は、データ記憶部７から前述の形状データを読出す。そして、撮影点算出部１１は、形状データに基づいて、検査範囲における被検体Ｄの表面の形状に関する情報を取得する。また、撮影点算出部１１は、データ記憶部７に記憶された情報、及び、ユーザインタフェース８で設定された情報等に基づいて、撮影部２が撮影可能な面積、撮影部２と被検体Ｄとの間の距離、撮影部２の解像度、及び、撮影部２及び可動体３を配置可能な位置等を含む、撮影部２及び可動体３に関する情報を取得する。撮影点算出部１１は、形状データ、及び、撮影部２及び可動体３に関する情報に基づいて、検査範囲において撮影を行う複数の撮影点を算出する。
例えば、前述のように、形状データにおいて被検体Ｄの表面が、点群に基づいて複数の三角形Ｔ等の複数の多角形に分割されているものとする。この場合、被検体Ｄの表面の検査範囲に配置される多角形（三角形Ｔ）のそれぞれにおいて、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上での撮影範囲に含まれる状態に、複数の撮影点が算出される。すなわち、被検体Ｄの表面の検査範囲に配置される多角形（三角形Ｔ）のそれぞれにおいて、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上で撮影される状態に、複数の撮影点が算出される。なお、複数の撮影点のそれぞれでの撮影範囲の一部は、他の撮影点での撮影範囲の一部と重なってもよい。
図５では、複数の撮影点を設定（算出）する処理の一例について、説明する。図５の一例では、予め設定される検査範囲から複数の撮影点Ｆとして、３つの撮影点Ｆａ～Ｆｃが少なくとも算出される。そして、撮影点Ｆａでの撮影範囲Ｒａ、撮影点Ｆｂでの撮影範囲Ｒｂ、及び、撮影点Ｆｃでの撮影範囲Ｒｃが、規定される。また、図５の一例では、検査範囲に配置される三角形Ｔの１つである三角形Ｔａが示され、三角形Ｔａでは、いずれの部分も、撮影範囲Ｒａ～Ｒｃのいずれか１つ以上に含まれる。このため、三角形Ｔａのいずれの部分も撮影点Ｆａ～Ｆｃのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。また、検査範囲に配置される三角形Ｔａ以外の三角形Ｔのそれぞれについても、その三角形Ｔのいずれの部分も複数の撮影点Ｆのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。
また、図５の一例では、撮影点Ｆａ～Ｆｃの算出において、三角形Ｔａを３つの多角形に分割する。そして、３つの多角形のそれぞれに撮影点Ｆａ～Ｆｃの対応する１つが含まれる状態に、三角形Ｔａが分割される。また、３つの多角形のそれぞれの重心が撮影点Ｆａ～Ｆｃの対応する１つと一致又は略一致する状態に、三角形Ｔａが分割される。これにより、撮影点Ｆａ～Ｆｃのそれぞれとして、三角形Ｔａから分割された３つの多角形の対応する１つの重心が、算出される。分割された多角形のそれぞれの重心を撮影点の対応する１つとして算出する場合、重心ボロノイ分割（centroidal Voronoi tessellation）法又は周知の長方形分割（rectangle partition）法等を用いて、撮影点のそれぞれが算出される。
また、被検体Ｄの検査範囲では、互いに対して隣接する複数の三角形Ｔの間での被検体Ｄの表面の角度差が微小又はゼロになる角度差微小部分が、存在することがある。ここで、撮影部２によって被検体Ｄを撮影している状態では、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度は、前述のように所定の角度範囲において調整される。角度差微小部分での隣接する複数の三角形Ｔの間の角度差は、前述の所定の角度範囲の角度幅以下となる。角度差微小部分では、隣接する複数の三角形Ｔの間の角度差は、ゼロでない場合でも、例えば、数度程度である。このような場合、角度差微小部分では、例えば、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度についての前述の所定の角度範囲の大きさに比べて、隣接する三角形Ｔの間での被検体Ｄの表面の角度差が小さい。また、検査範囲に角度差微小部分が存在する場合は、角度差微小部分に配置される複数の三角形Ｔ（多角形）が互いに対して同一の平面上に位置するものとして、複数の算出点を算出される。ある一例では、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形に基づいて、複数の撮影点の１つ以上が算出及び設定される。そして、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形において、その多角形のいずれの部分も複数の撮影点のいずれか１つ以上での撮影範囲に含まれる状態に、複数の撮影点が算出される。
図６では、角度差微小部分に配置される複数の三角形Ｔから形成される１つの多角形に基づいて複数の撮影点の１つ以上を設定（算出）する処理の一例について、説明する。図６の一例では、４つの三角形Ｔｂ～Ｔｅが角度差微小部分に配置され、三角形Ｔｂ～Ｔｅの間での互いに対する被検体Ｄの表面の角度差は、微小又はゼロである。そして、角度差微小部分に配置される三角形Ｔｂ～Ｔｅから、多角形αが形成される。また、図６の一例では、複数の撮影点Ｆとして、２つの撮影点Ｆｄ，Ｆｅが少なくとも算出され、撮影点算出部１１は、多角形αに基づいて、撮影点Ｆｄ，Ｆｅを設定する。そして、撮影点Ｆｄでの撮影範囲Ｒｄ、及び、撮影点Ｆｅでの撮影範囲Ｒｅが、規定される。
図６の一例では、三角形Ｔｂ～Ｔｅから形成される多角形αのいずれの部分も、撮影範囲Ｒｄ，Ｒｅのいずれか１つ以上に含まれる。このため、多角形αのいずれの部分も撮影点Ｆｄ，Ｆｅのいずれか１つ以上で撮影される状態に、複数の撮影点Ｆが算出される。また、図６の一例では、撮影点Ｆｄ，Ｆｅの算出において、多角形αを２つの多角形に分割する。そして、２つの多角形のそれぞれに撮影点Ｆｄ，Ｆｅの対応する１つが含まれる状態に、多角形αが分割される。そして、前述した撮影点Ｆａ～Ｆｃの算出と同様にして、撮影点Ｆｄ，Ｆｅのそれぞれとして、多角形αから分割された２つの多角形の対応する１つの重心が、算出される。
撮影点算出部１１は、複数の撮影点のそれぞれについて、被検体Ｄの表面における位置を算出する。また、撮影点算出部１１は、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向を算出する。複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向（結像光学系２１の光軸Ｏの姿勢）は、被検体Ｄの表面の角度、及び、被検体Ｄの表面に対する結像光学系２１の光軸Ｏの角度についての所定の角度範囲に基づいて、算出される。
図７は、図４の一例の形状データを用いて算出した複数の撮影点Ｆの一例を示す。図７の一例では、被検体Ｄの表面が多数の三角形Ｔに分割された形状データを用いて、前述のようにして、複数の撮影点Ｆが算出される。そして、撮影点Ｆのそれぞれについて、被検体Ｄの表面における位置、及び、被検体Ｄを撮影する方向が、算出される。
経路算出部１２は、撮影点算出部１１によって算出された複数の撮影点Ｆに関する情報を取得する。経路算出部１２は、複数の撮影点Ｆのそれぞれについて、被検体Ｄの表面における位置、及び、被検体Ｄを撮影する方向に基づいて、撮影部２の位置及び姿勢を算出する。また、経路算出部１２は、複数の撮影点Ｆのそれぞれについて、算出した撮影部２の位置及び姿勢等に基づいて、撮影部２への可動体３の接続部分の位置及び姿勢、及び、可動体３の制御量を算出する。ここで、１つ以上関節を備えるロボットアームが可動体３となる場合は、可動体３の制御量として、関節のそれぞれの角度等が挙げられる。また、直動機構が可動体３となる場合は、可動体３の制御量として直動機構の動作による移動量が挙げられる。
経路算出部１２は、検査範囲での被検体Ｄの検査において複数の撮影点Ｆの間で撮影部２を移動させる経路を、算出する。撮影部２の移動経路の算出では、検査範囲の撮影点Ｆの全てを通過する経路が算出される。そして、複数の撮影点Ｆを１つずつ順次に通過し、かつ、複数の撮影点Ｆのそれぞれを１回のみ通過する経路が、撮影部２の移動経路として算出される。また、経路算出部１２は、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃに基づいて、撮影部２の移動経路を算出する。なお、算出される撮影部２の移動経路は、始点となる撮影点と終点となる撮影点とが同一の巡回路（閉路）であってもよく、始点となる撮影点と終点となる撮影点とが異なる経路であってもよい。
撮影部２の移動経路の算出では、経路算出部１２は、複数の撮影点Ｆの全てを通過し、かつ、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃの総和を最小化する経路について、解析する。すなわち、経路算出部１２は、複数の撮影点Ｆの全てを通過し、かつ、移動コストｃの総和を最小化する経路についての最適化問題を、解析する。そして、経路算出部１２は、最適化問題の解析結果に対応する経路を、複数の撮影点Ｆの間で撮影部２を移動させる経路として算出する。
また、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃは、撮影部２の位置、撮影部２の姿勢、撮影部２への可動体３の接続部分の位置、撮影部２への可動体３の接続部分の姿勢、及び、可動体３の制御量のいずれか１つ以上の対象となる２つの撮影点Ｆの間での変化に基づいて、算出される。移動コストｃの算出では、前述したパラメータの全ての対象となる２つの撮影点Ｆの間での変化を用いてもよく、前述したパラメータの一部の対象となる２つの撮影点Ｆの間での変化を用いてもよい。また、前述したパラメータごとに重要度に対応する重み付けをして、移動コストｃを算出してもよい。
ある一例では、経路算出部１２は、算出されたｎ個の撮影点Ｆ１～Ｆｎの全てを通る撮影部２の経路を算出する。そして、経路算出部１２は、撮影部２の経路の算出において、式（１）で示されるパラメータＨを最小化させる最適化問題（最小化問題）を解析する。そして、最適化問題では、式（２）で示される条件、及び、式（３）で示される条件が、制約条件となる。そして、最適化問題の解析結果に対応する経路が、複数の撮影点Ｆ１～Ｆｎの間で撮影部２を移動させる経路として、算出される。
Figure 2023037333000002
ここで、式（１）～（３）において、ｃijは、撮影点Ｆｉ，Ｆｊの間での移動コストを示す。また、ｎｋ，iは、経路の順番を示すパラメータであり、全ての撮影点Ｆ１～Ｆｎの中でｋ番目に撮影点Ｆｉを通る場合は１となり、それ以外の場合は０となる。また、式（２）で示される条件では、ｋが１～ｎのそれぞれになる場合において、パラメータｎｋ，iが１となる撮影点が１つのみであることが、制約される。すなわち、撮影部２の移動経路においてｋ番目に通過する撮影点は１つのみであることが、制約され、撮影部２は複数の撮影点Ｆ１～Ｆｎを１つずつ順次に通過することが、制約される。
また、式（３）で示される条件では、ｉが１～ｎのそれぞれになる場合において、パラメータｎｋ，iが１となる順番は１つのみであることが、制約される。すなわち、複数の撮影点Ｆ１～Ｆｎのそれぞれを１回のみ通過することが、制約される。なお、始点となる撮影点と終点となる撮影点が同一の巡回路が撮影部２の移動経路として算出される場合は、ｎ０，ｉ＝ｎｎ，ｉを満たすとともに、ｎ１，ｉ＝ｎｎ＋１，ｉを満たす。また、始点となる撮影点と終点となる撮影点とが異なる経路が撮影部２の移動経路として算出される場合は、ｎ０，ｉ＝０を満たすとともに、ｎｎ＋１，ｉ＝０を満たす。
また、ある一例では、撮影部２の経路の算出において、式（１）で示されるパラメータＨの代わりに、パラメータＨに式（２）及び式（３）で示される制約条件の要素を含めたパラメータＨａを用いてもよい。この場合、パラメータＨａは、式（４）のようにして算出される。式（４）で示されるパラメータＨａを算出する評価関数では、式（２）及び式（３）で示す制約条件が、ペナルティ関数として含まれる。また、式（４）では、Ａ１，Ａ２は、重みを示すパラメータである。本一例では、経路算出部１２は、撮影部２の経路の算出において、式（４）で示されるパラメータＨａを最小化させる最適化問題（最小化問題）を解析する。そして、最適化問題の解析結果に対応する経路が、複数の撮影点Ｆ１～Ｆｎの間で撮影部２を移動させる経路として、算出される。
Figure 2023037333000003
また、ある一例では、撮影点Ｆｉ，Ｆｊの間での移動コストcｉｊは、式（５）のようにして算出される。式（５）では、撮影点Ｆｉについてパラメータには、ｉの添え字が付され、撮影点Ｆｊについてのパラメータには、ｊの添え字が付される。そして、式（５）では、撮影点Ｆｉ，Ｆｊのそれぞれについて、撮影部２の位置を示すベクトル（位置ベクトル）がｐ、撮影部２の姿勢（光軸Ｏの姿勢）を示すベクトルがａ、撮影部２への可動体３の接続部分の位置を示すベクトル（位置ベクトル）がｙ、撮影部２への可動体３の接続部分の姿勢を示すベクトルがｂ、可動体３の制御量を示すベクトルがｑとなる。
Figure 2023037333000004
また、式（５）では、ｚ１～ｚ５のそれぞれは、重みを示すパラメータであり、０以上の実数である。２つの撮影点Ｆｉ，Ｆｊの間でのベクトルｐ，ａ，ｖ，ｂ，ｑのそれぞれの差分量は、パラメータｚ１～ｚ５の対応する１つによって重み付けされる。また、パラメータｚ１～ｚ５の一部が０である場合は、０となるパラメータ（ｚ１～ｚ５のいずれか）に対応するベクトル（ｐ，ａ，ｖ，ｂ，ｑのいずれか）については、撮影点Ｆｉ，Ｆｊの間での差分量を無視して、移動コストｃｉｊが算出される。
また、ある一例では、移動コストの総和を最小化させる前述した最適化問題（最小化問題）の解析において、撮影点を通過する順番に関連するパラメータβが設定され、前述したパラメータＨ，Ｈａのいずれかがパラメータβの関数として示される。この場合、最適化問題の解析では、例えば、関数Ｈ（β）を最小化させるパラメータβの値について解析される。
また、撮影部２の移動において通過する撮影点Ｆの数が多くなると、すなわち、式（１）等で示されるｎが大きくなると、移動コストの総和を最小化させる前述した最適化問題の最適解を、多項式時間（polynomial time）では導出できない可能性がある。このため、複数の撮影点の間で撮影部２を移動させる経路としては、移動コストの総和を最小化させる前述した最適化問題の最適解を必ずしも算出する必要はなく、最適化問題の局所最適解及び近似解のいずれかが算出されてもよい。
図８は、撮影点を通過する順番に関連するパラメータβと移動コストの総和に関連する前述のパラメータＨとの関係の一例を示す。図８の一例では、パラメータＨは、パラメータβを変数とする関数Ｈ（β）として示される。また、図８では、横軸にパラメータβを示し、縦軸にパラメータＨを示す。図８の一例では、移動コストの総和を最小化させる前述の最適化問題として、関数Ｈ（β）を最小化させる最適化問題が解析される。そして、値βａが、最適化問題の最適解となる。また、値βｂが、最適化問題の局所最適化となる。そして、値βａから僅かにずれた値が、最適化問題の近似解となり、例えば、値βｃ，βｄのそれぞれが、最適化問題の近似解となる。図８の一例では、撮影部２を移動させる経路として、値βａに対応する経路が算出されてもよく、値βｂ，βｃ，βｄのいずれかに対応する経路が算出されてもよい。
また、移動コストの総和を最小化させる経路についての最適化問題をイジングモデルに変換して、撮影部２を移動させる経路についての解析及び算出が行われてもよい。この場合、イジングモデルでは、スピン系のエネルギーを最小化させるスピンのそれぞれの向きについて、解析される。また、移動コストの総和を最小化させる経路についての最適化問題の解析では、遺伝的アルゴリズム（ＧＡ：genetic algorithm）及びシミュレーテッドアニーリング（ＳＡ：simulated annealing）等のヒューリスティックなアルゴリズムが用いられてもよい。
図９は、図７の一例の複数の撮影点Ｆに基づいて算出した撮影部２を移動させる経路γの一例を示す。図９の一例では、全ての撮影点Ｆを１つずつ順次に通過し、かつ、全ての撮影点Ｆのそれぞれを１回のみ通過する経路として、経路γが算出される。また、図９の一例でも、移動コストの総和を最小化させる経路について前述のように解析され、解析結果に対応する経路として、経路γが算出される。
動作制御部１６は、撮影部２を移動させる経路として経路算出部１２によって算出された経路を取得する。そして、動作制御部１６は、算出された経路に基づいて可動体３の動作を制御し、算出された経路に沿って撮影部を移動させる。また、動作制御部１６は、可動体３の動作を制御することにより、撮影点のそれぞれにおいて、撮影点算出部１１によって算出された姿勢に撮影部２を調整する。そして、撮影部２は、撮影点のそれぞれにおいて、調整された姿勢で被検体Ｄの表面を撮影する。そして、画像処理部１３は、複数の撮影点のそれぞれで撮影された画像を画像処理するとともに、撮影された画像に基づいて、前述した被検体Ｄの表面の欠陥についての判定等を実行する。
ある一例では、画像処理部１３によって被検体Ｄの表面に欠陥が存在すると判定された場合、画像処理部１３を含む処理実行部６は、被検体Ｄの表面に存在すると判定した欠陥を示す画像を、ユーザインタフェース８に設けられる表示画面等に表示させる。また、ある一例では、画像処理部１３等は、被検体Ｄの表面の欠陥についての判定結果を形状データに反映させ、欠陥についての判定結果を形状データに反映させた画像が、ユーザインタフェース８の表示画面等に表示させる。この場合、被検体Ｄの表面に存在すると判定された欠陥が形状データの対応する位置に示された状態で、欠陥を形状データに反映した画像が表示される。
図１０は、本実施形態において処理装置５の処理実行部６によって実行される処理の一例を示す。図１０の処理は、被検体Ｄ等について検査を１回実行するたびに、実行される。図１０の処理を開始すると、撮影点算出部１１は、被検体Ｄの形状データに基づいて、前述のようにして複数の撮影点Ｆを算出する（Ｓ１０１）。そして、経路算出部１２は、算出した複数の撮影点Ｆの全てを通過し、かつ、複数の撮影点Ｆのそれぞれから次の移動先となる撮影点Ｆまでの移動コストｃの総和を最小化する経路について、前述のようにして解析する（Ｓ１０２）。そして、経路算出部１２は、移動コストｃの総和を最小化する経路についての解析結果に対応する経路を、複数の撮影点Ｆの間で撮影部２を移動させる経路として算出する（Ｓ１０３）。
そして、動作制御部１５は、複数の撮影点Ｆ及び撮影部２を移動させる経路についての算出結果に基づいて、可動体３の動作を制御する（Ｓ１０４）。これにより、算出した経路に沿って撮影部２が移動するとともに、撮影点Ｆのそれぞれにおいて、撮影部２の姿勢等が調整される。また、画像処理部１３等を含む処理実行部６は、撮影部２が算出した経路に沿って移動している状態において、複数の撮影点Ｆのそれぞれで、撮影部２によって被検体Ｄの表面を撮影させる（Ｓ１０４）。そして、画像処理部１３は、複数の撮影点Ｆのそれぞれで撮影された画像を画像処理する（Ｓ１０５）。そして、画像処理部１３は、撮影点Ｆのそれぞれで撮影された画像等に基づいて、被検体Ｄの表面の欠陥等について、前述のようにして判定する（Ｓ１０６）。
ある一例では、Ｓ１０４～Ｓ１０６の処理は、１つの撮影点Ｆでの撮影の度に、繰返し実行される。また、別のある一例では、全ての撮影点Ｆで撮影が行われた後、Ｓ１０５の画像処理、及び、Ｓ１０６の判定処理が実行される。
前述のように本実施形態では、複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストｃの総和を最小化する経路について、解析が実行される。そして、経路についての解析結果に対応する経路が、複数の撮影点の間で撮影部２を移動させる経路として算出される。このため、複数の撮影点で撮影された画像に基づいて被検体Ｄの表面の欠陥等を検査する検査では、前述のように算出された経路に沿って撮影部２を移動させることにより、被検体Ｄの表面において検査対象となる範囲を迅速に検査可能になる。
また、前述のように撮影部２を移動させる経路が算出されるため、検査において、撮影部２の移動についての指令を作業者等がユーザインタフェース８等で入力する必要がない。また、本実施形態では、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向が算出される。そして、複数の撮影点のそれぞれについて、被検体Ｄを撮影する方向に基づいて、撮影部２の姿勢が算出される。被検体Ｄの検査では、撮影点のそれぞれにおいて、算出された姿勢に撮影部２が調整された状態で、被検体Ｄの表面が撮影される。したがって、被検体Ｄの表面が平面状の場合に加えて被検体Ｄの表面が曲面状の場合も、撮影点のそれぞれで適切に撮影が行われ、適切に検査が行われる。
また、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストｃは、撮影部２の位置、撮影部２の姿勢、撮影部２への可動体３の接続部分の位置、撮影部２への可動体３の接続部分の姿勢、及び、可動体の制御量のいずれか１つ以上の変化に基づいて、算出される。このため、移動コストｃの総和に基づいて撮影部２を移動させる経路が算出されることにより、撮影部２の移動経路は、複数の撮影点の間での撮影部２の移動時間に加えて、複数の撮影点のそれぞれでの撮影部２の姿勢の調整時間も考慮して、算出される。したがって、検査において、算出された経路に沿って撮影部２を移動させることにより、撮影点の間での撮影部２の移動時間を短縮可能となるとともに、撮影点のそれぞれでの撮影部２の姿勢の調整時間も短縮可能となる。
また、移動コストｃの総和を最小化する経路について前述の解析では、複数の撮影点を１つずつ順次に通過し、かつ、複数の撮影点のそれぞれを１回のみ通過することが、制約条件となる。このため、１つの撮影点を複数回通過する経路等が撮影部２の移動経路として算出されることが、有効に防止され、撮影部２を移動させる経路として適切な経路が算出される。
また、本実施形態では、撮影部２を移動させる経路として、複数の撮影点の全てを通過し、かつ、移動コストｃの総和を最小化する経路についての前述の最適化問題の最適解、局所最適解及び近似解のいずれかが、算出される。したがって、最適化問題の解析（移動経路の算出）に必要な処理時間の間に最適解が導出できない場合でも、最適化問題の局所最適解又は近似解が、撮影部２を移動させる経路として算出される。したがって、検査する検査時間を適切に短縮させる撮影部２の移動経路が、演算処理に要する時間を増大させることなく、算出される。
（変形例）
ある変形例では、前述のようにして算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態において、画像処理部１３は、ユーザインタフェース８の表示画面３０に、図１１の一例に示す画像を表示させる。画像処理部１３は、図１１に示す画像を表示画面３０に表示させることにより、算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態を、表示画面３０において再現する。
本変形例では、表示画面３０の表示領域ε１において、撮影部２のリアルタイムの位置及び姿勢を再現した画像が表示される。また、表示領域ε１では、可動体３のリアルタイムの状態が再現され、撮影部２への可動体３の接続部分のリアルタイムの位置及び姿勢等が、再現される。また、表示領域ε１では、被検体Ｄのリアルタイムの状態が再現される。図１１の一例では、表示領域ε１に示される被検体Ｄにおいて、形状データの点群を構成する多数の点Ｐが示される。また、表示領域ε１に示される被検体Ｄでは、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。
また、本変形例では、表示画面３０の表示領域ε２において、撮影部２がリアルタイムで撮影している画像が表示される。すなわち、表示領域ε２には、被検体Ｄの表面においてリアルタイムで撮影されている部分の画像が、表示される。図１１の一例では、表示領域ε２に示される画像おいて、形状データの点群を構成する多数の点Ｐが被検体Ｄの表面に示される。また、表示領域ε２に示される画像では、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。
また、本変形例では、表示画面３０の表示領域ε３において、被検体Ｄの表面においてリアルタイムで撮影されている範囲の法線ベクトルに関する情報を示す画像が表示される。リアルタイムで撮影されている範囲の法線ベクトルに関する情報は、リアルタイムで撮影されている撮影画像、及び、形状データに基づいて算出される。表示領域ε３に示される画像では、リアルタイムで撮影されている範囲の複数の箇所のそれぞれについて、被検体Ｄの表面に対する法線ベクトルＮが示される。また、図１１の一例では、表示領域ε３に示される画像おいて、形状データの点群を構成する多数の点Ｐが被検体Ｄの表面に示される。そして、表示領域ε３に示される画像では、被検体Ｄの表面は、前述した多数の三角形Ｔに分割される。
本変形例でも前述の実施形態等と同様に、被検体Ｄの表面において検査対象となる範囲を迅速に検査可能にする経路が、撮影部２を移動させる経路として適切に算出される。また、本変形例では、表示画面３０に表示される画像によって、算出した経路に沿って複数の撮影点の間で撮影部２が移動している状態が、適切に再現される。
また、前述の実施形態等では、可動体３を動作させることにより、撮影部２の位置及び姿勢が変化するが、ある変形例では、経路算出部１２で算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に、撮影部２に対して被検体Ｄを移動させてもよい。この場合、可動体３を動作させることにより、撮影部２の姿勢が変化する。また、算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に被検体Ｄを移動させながら、複数のそれぞれの撮影点で撮影部２は被検体を撮影する。また、ある変形例は、経路算出部１２で算出された経路に撮影部２の被検体Ｄに対する位置が対応する状態に、撮影部２及び被検体Ｄの両方を移動させてもよい。
これらの少なくとも一つの実施形態又は実施例によれば、算出した複数の撮影点の全てを通過し、かつ、複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、複数の撮影点の間で撮影部を移動させる経路として算出する。これにより、被検体の表面において検査対象となる範囲を迅速に検査可能にする処理装置、検査システム、処理方法、及び、処理プログラムを提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…検査システム、２…撮影部（撮影装置）、３…可動体、５…処理装置、６…処理実行部、７…データ記憶部、８…ユーザインタフェース、１１…撮影点算出部、１２…経路算出部、１３…画像処理部、１５…動作制御部、２１…結像光学系、２２…撮像素子、２７…カラーフィルタ、Ｄ…被検体、Ｕ１～Ｕ３…波長選択領域。

Claims (12)

  1. 撮影部を用いた被検体の検査に関連する処理装置であって、
    前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出し、
    算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出する、
    プロセッサを具備する、処理装置。
  2. 前記撮影部は、可動体に接続されるとともに、可動体の動作に対応して位置及び姿勢が変化し、
    前記プロセッサは、前記複数の撮影点のそれぞれから前記次の移動先となる前記撮影点までの移動コストを、前記撮影部の前記位置、前記撮影部の前記姿勢、前記撮影部への前記可動体の接続部分の位置、前記撮影部への前記可動体の前記接続部分の姿勢、及び、前記可動体の制御量のいずれか１つ以上の変化に基づいて算出する、
    請求項１の処理装置。
  3. 前記プロセッサは、前記複数の撮影点を１つずつ順次に通過し、かつ、前記複数の撮影点のそれぞれを１回のみ通過することを制約条件として、前記移動コストの前記総和を最小化する前記経路について解析する、請求項１又は２の処理装置。
  4. 前記プロセッサは、前記複数の撮影点の全てを通過し、かつ、前記移動コストの前記総和を最小化する経路についての最適化問題の最適解、局所最適解及び近似解のいずれかを、前記複数の撮影点の間で前記撮影部を移動させる前記経路として算出する、請求項１乃至３のいずれか１項の処理装置。
  5. 前記プロセッサは、前記複数の撮影点において前記撮影部が撮影した画像を画像処理することにより、前記被検体の前記表面の状態を判定する、請求項１乃至４のいずれか１項の処理装置。
  6. 前記プロセッサは、前記被検体の前記表面に存在すると判定した欠陥を示す画像、及び、前記欠陥についての判定結果を前記形状データに反映させた画像のいずれかを表示させる、請求項５の処理装置。
  7. 前記プロセッサは、算出した前記経路に沿って前記複数の撮影点の間で前記撮影部が移動している状態において、前記撮影部のリアルタイムの位置及び姿勢を再現した画像、前記撮影部がリアルタイムで撮影している画像、及び、前記被検体の前記表面においてリアルタイムで撮影されている範囲の前記法線ベクトルに関する情報を示す画像のいずれかを表示させる、請求項１乃至６のいずれか１項の処理装置。
  8. 請求項１乃至７のいずれか１項の処理装置と、
    結像光学系を備え、前記結像光学系を用いて前記被検体を結像することにより、前記被検体を撮影する前記撮影部と、
    前記撮影部に接続され、動作することにより、前記撮影部の位置及び姿勢を変化させ、前記複数の撮影点の間で前記撮影部を移動可能にする可動体と、
    を具備する、前記被検体の検査システム。
  9. 前記撮影部は、前記被検体の前記表面に対する前記結像光学系の光軸の角度が所定の角度範囲になる姿勢で、前記複数の撮影点のそれぞれにおいて前記被検体を撮影する、請求項８の検査システム。
  10. 前記撮影部は、
    前記結像光学系の結像面を形成し、前記結像光学系を通して入射された光を撮像する撮像素子と、
    所定の波長範囲の光を透過させる波長選択領域を備えるとともに、前記結像光学系を通して前記撮像素子に入射される光の光路上に配置され、前記波長選択領域を透過した前記所定の波長範囲の光を前記撮像素子に入射させるカラーフィルタと、
    を備える、請求項８又は９の検査システム。
  11. 撮影部を用いた被検体の検査に関連する処理方法であって、
    前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出することと、
    算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析し、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出することと、
    を具備する、処理方法。
  12. 撮影部を用いた被検体の検査に関連する処理プログラムであって、コンピュータに、
    前記被検体の表面の形状が点群によって示され、かつ、前記被検体の前記表面における位置及び法線ベクトルに関する情報が前記点群を用いて規定される形状データに基づいて、前記撮影部によって前記被検体を撮影する位置として複数の撮影点を算出させ、
    算出した前記複数の撮影点の全てを通過し、かつ、前記複数の撮影点のそれぞれから次の移動先となる撮影点までの移動コストの総和を最小化する経路について解析させ、解析結果に対応する経路を、前記複数の撮影点の間で前記撮影部を移動させる経路として算出させる、
    処理プログラム。
JP2021144006A 2021-09-03 2021-09-03 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム Pending JP2023037333A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021144006A JP2023037333A (ja) 2021-09-03 2021-09-03 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム
EP22156293.7A EP4145115A1 (en) 2021-09-03 2022-02-11 Processing device relating to inspection of inspection object, inspection system of inspection object, processing method relating to inspection of inspection object, and processing program relating to inspection of inspection object
US17/675,851 US20230071341A1 (en) 2021-09-03 2022-02-18 Processing device relating to inspection of inspection object, inspection system of inspection object, processing method relating to inspection of inspection object, and non-transitory storage medium
CN202210174971.2A CN115753781A (zh) 2021-09-03 2022-02-25 处理装置、检查系统、处理方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021144006A JP2023037333A (ja) 2021-09-03 2021-09-03 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム

Publications (1)

Publication Number Publication Date
JP2023037333A true JP2023037333A (ja) 2023-03-15

Family

ID=80447621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021144006A Pending JP2023037333A (ja) 2021-09-03 2021-09-03 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム

Country Status (4)

Country Link
US (1) US20230071341A1 (ja)
EP (1) EP4145115A1 (ja)
JP (1) JP2023037333A (ja)
CN (1) CN115753781A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023046978A (ja) * 2021-09-24 2023-04-05 富士フイルムビジネスイノベーション株式会社 照合装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6340147B2 (ja) * 2015-09-30 2018-06-06 富士フイルム株式会社 撮像システム、画角調整方法、及び画角調整プログラム
JP6878219B2 (ja) * 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
JP6939641B2 (ja) * 2018-02-23 2021-09-22 オムロン株式会社 画像検査装置および画像検査方法
CN113096094B (zh) * 2021-04-12 2024-05-17 吴俊� 三维物体表面缺陷检测方法

Also Published As

Publication number Publication date
US20230071341A1 (en) 2023-03-09
EP4145115A1 (en) 2023-03-08
CN115753781A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US11575883B2 (en) 3D test chart, adjusting arrangement, forming method and adjusting method thereof
JP5599938B2 (ja) サーモグラフィ検査において情報を対象物へ投影する装置および方法
WO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
CN102576410A (zh) 图像处理算法的评估
JP2023037333A (ja) 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム
JP4133753B2 (ja) 迂曲面の光波干渉測定方法および迂曲面測定用の干渉計装置
JP4298587B2 (ja) 偏心測定結果の表示方法
KR102129069B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
JP6984747B2 (ja) 変位量測定装置、変位量測定方法、およびプログラム
JP2005510861A (ja) 投影照明システムの照明角度分布の特性化
CN107806855B (zh) 一种复合目标源及光电经纬仪成像质量测试系统
JP2001147174A (ja) 干渉測定機
JP7191632B2 (ja) 偏心量測定方法
JP5955001B2 (ja) 非球面形状計測方法、形状計測プログラム及び形状計測装置
JP4768904B2 (ja) 光学素子又は光学系の物理量測定方法
JP5904896B2 (ja) レンズ検査装置およびレンズ検査方法
JP2005024505A (ja) 偏心測定装置
JP2022044113A (ja) 収差推定方法、収差推定装置、プログラム、及び記憶媒体
JP2023136718A (ja) 光学検査方法、光学検査プログラム、処理装置、及び、光学検査装置
JP2008070946A (ja) 光学系を利用した数値データ可視化シミュレーション装置及び同方法並びに光学系を利用した数値データ可視化シミュレーション装置を光学系装置と連携させたシステム並びに光学系を利用した数値データ可視化シミュレーションプログラム及びコンピュータ読み取り可能な記録媒体
AU2022200296B2 (en) Method for simulating an optical image
JP5641278B2 (ja) 検査装置
JP7289780B2 (ja) 偏芯計測方法および偏芯計測装置
JP3593084B2 (ja) レーザ計測方法及びレーザ計測装置
JP2016142691A (ja) 形状計測方法、及び形状計測装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507