JP2021190802A - 撮像装置、検査装置及び撮像方法 - Google Patents
撮像装置、検査装置及び撮像方法 Download PDFInfo
- Publication number
- JP2021190802A JP2021190802A JP2020093584A JP2020093584A JP2021190802A JP 2021190802 A JP2021190802 A JP 2021190802A JP 2020093584 A JP2020093584 A JP 2020093584A JP 2020093584 A JP2020093584 A JP 2020093584A JP 2021190802 A JP2021190802 A JP 2021190802A
- Authority
- JP
- Japan
- Prior art keywords
- image
- band
- signal
- light
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 94
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims abstract description 95
- 230000035945 sensitivity Effects 0.000 claims abstract description 93
- 238000006243 chemical reaction Methods 0.000 claims abstract description 60
- 230000003595 spectral effect Effects 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 238000002834 transmittance Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 89
- 238000000295 emission spectrum Methods 0.000 claims description 58
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 description 18
- 238000003199 nucleic acid amplification method Methods 0.000 description 18
- 239000003086 colorant Substances 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 6
- 239000007788 liquid Substances 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003333 near-infrared imaging Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Abstract
Description
上記課題を解決する撮像装置は、分光透過率特性の異なるNバンド(但しNは3以上の自然数)の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラと、前記イメージセンサと被写体との間の光路上に配置される光学バンドパスフィルタと、前記被写体に可視光領域に発光スペクトルを有した白色光を照射する白色光源と、前記被写体に近赤外光領域に発光スペクトルを有し、かつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源と、前記イメージセンサにより撮像された画像信号を前記Nバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンド(但しPはN未満の自然数)の第1画像信号と、近赤外領域に分光感度をもつQバンド(但しQはQ=N−P)の第2画像信号とを生成する変換部とを備える。
上記撮像装置において、前記カメラは、赤外光カットフィルタを除去した汎用カラーカメラであってもよい。
上記撮像装置において、前記Pバンドと前記Qバンドのうち複数バンドである少なくとも一方の画像信号については当該複数バンドの画像信号を基に疑似色によるカラー画像信号を生成してもよい。
上記撮像装置において、前記被写体において前記カメラに対向する側の面を正面、当該正面と反対側の面を背面とすると、前記白色光源は前記被写体の正面を白色光で照明し、前記近赤外光源は前記被写体の背面から近赤外光を照射し、前記カメラは、前記白色光が前記被写体の表面で反射した反射光と、前記被写体を透過した近赤外光とを受光してもよい。
上記撮像装置において、前記近赤外光源と前記被写体との間には、前記被写体の背景となる面を表面とする光学フィルタ部材を配置し、前記光学フィルタ部材は、前記白色光源から前記表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、前記表面と反対側の面である裏面に前記近赤外光源から照射された近赤外を透過してもよい。
上記撮像装置において、前記白色光源と前記近赤外光源は、前記被写体における前記カメラと対向する側の面である正面に前記白色光と前記近赤外光とを照射する1つの光源により構成され、前記光源は、白色光を照射する複数の発光部と近赤外光を照射する複数の発光部とが混在する配列で構成されてもよい。
上記課題を解決する検査装置は、上記撮像装置と、前記撮像装置が出力する可視光領域に分光感度をもつPバンドの前記第1画像信号と、近赤外領域に分光感度をもつQバンドの前記第2画像信号とに基づいて前記被写体を検査する検査処理部とを備える。
上記課題を解決する撮像方法は、被写体をカメラで撮像して画像信号を生成する撮像方法であって、白色光源が可視光領域に発光スペクトルを有した白色光を前記被写体に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を前記被写体に照射する光照射ステップと、分光透過率特性の異なったNバンド(但しNは3以上の自然数)の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラが、前記イメージセンサと前記被写体との間の光路上に配置される光学バンドパスフィルタを介して前記被写体を撮像する撮像ステップと、前記イメージセンサにより撮像された画像信号を前記Nバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンド(但しPはN未満の自然数)の第1画像信号と、近赤外領域に分光感度をもつQバンド(但しQはQ=N−P)の第2画像信号とを生成する変換ステップとを備える。この方法によれば、上記撮像装置と同様の作用効果が得られる。
図1に示す検査システム10は、被写体である物品12を撮像した画像を用いて物品12の良否を検査する。検査システム10は、物品12が搬送される搬送装置13と、搬送装置13により搬送される物品12を、カメラ30で撮像した撮像結果に基づいて物品12の良否を検査する検査装置11とを備える。検査装置11は、複数バンドのマルチスペクトル画像を生成する撮像装置15と、マルチスペクトル画像を用いて検査する検査処理部70とを備える。撮像装置15は、搬送装置13に搬送される被写体の一例である物品12を撮像するカメラ30と、カメラ30と電気的に接続された制御処理部40とを備える。制御処理部40は、少なくとも一部が、コンピュータにより構成される。コンピュータは、入力装置と表示部とを備える。本実施形態では、搬送装置13は、検査装置11の制御系と通信可能に接続されている搬送系の制御部により駆動される。なお、制御処理部40が、搬送装置13を制御してもよい。
図2に示すように、白色光源20は、被写体である物品12の表面を照射する。カメラ30は、物品の正面に照射された白色光のうち反射された可視光を撮像する。また、近赤外光源25は、カメラ30に対して被写体である物品12を挟んだ反対側の位置に配置されている。カメラ30は、近赤外光源25から物品12の背面から照射された近赤外光が物品12を透過した透過光を撮像する。つまり、カメラ30は、物品の表面を可視光が反射した像である可視光画像と、物品12を近赤外光が透過した像である近赤外画像(透過画像)とを撮像する。なお、近赤外光源25の物品12と対向する表面は、所定色の単色を呈しており、物品12を撮像するときの背景色となる。
光学フィルタ部材29は、白色光源20からの白色光のうち可視光領域の特定波長の可視光のみを反射し、照明用の光源や照明の治具が、被写体である物品12の背景に映り込まないように、背景を特定色にしている。特定色としては、赤色、青色、緑色などの単色が挙げられる。また、背景の特定色は、可視光の全波長の光を反射する白色でもよいし、全波長を反射しない(吸収する)黒色でもよい。
(第1実施例)
まず、第1実施例について、図5〜図9を参照して説明する。図6(a)に示す光学バンドパスフィルタF1は、複数の波長帯に透過率が10%以下となる遮断領域を有するとともに、複数の波長帯に透過率が70%以上となる透過領域を有する分光透過率特性をもつ。換言すれば、光学バンドパスフィルタF1は、可視光波長領域VA内で複数の遮断領域を有するとともに、近赤外波長領域NIRAに透過領域を有する分光透過率特性をもつ。
次に、第2実施例について、図10〜図14を参照して説明する。図11(a)に示す光学バンドパスフィルタF2は、可視光波長領域VA内で波長約520nm以下の領域に遮断領域を有するとともに、波長約520nmを超える領域に透過領域を有する分光透過率特性をもつ。近赤外波長領域NIRA内では図示される全域が透過領域となっている。光学バンドパスフィルタF2は、少なくとも近赤外波長領域が透過領域となっている。
図15に示すように、光学バンドパスフィルタ31及びレンズ32を通して物品12の像がイメージセンサ33の撮像面に結像される。イメージセンサ33は物品12の撮像結果として第1撮像信号S1を変換部60に出力する。第1撮像信号S1は、各受光素子33R,33G,33BからのR撮像信号(レッド信号)、G撮像信号(グリーン信号)及びB撮像信号(ブルー信号)を含むシリアル信号である。なお、R撮像信号、G撮像信号及びB撮像信号を、単にR信号、G信号及びB信号ともいう。
検査処理部70は、撮像装置15が出力する可視光領域に分光感度をもつPバンドの第1画像信号IS1と、近赤外領域に分光感度をもつQバンドの第2画像信号IS2とに基づいて被写体である物品12を検査する。
図1に示すように、搬送装置13のコンベヤ16によって、被写体である物品12が搬送される。センサ17が物品12を検知すると、トリガー信号が制御部50に入力される。トリガー信号を入力した制御部50は、発光指令信号を出力することで白色光源20と近赤外光源25とを発光させるとともに、イメージセンサ33に撮像指令信号を出力することでイメージセンサ33に撮像を行わせる。
本実施形態では、撮像方法が採用される。撮像方法は、照射ステップと撮像ステップと変換ステップとを備える。撮像ステップでは、白色光源20が可視光領域に発光スペクトルを有した白色光を被写体としての物品12に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ白色光源20の発光スペクトル領域において発光スペクトルをもたない近赤外光を被写体としての物品12に照射する。撮像ステップでは、分光透過率特性の異なったNバンド(但しNは3以上の自然数)の分光光学フィルタの一例としてのカラーフィルタ34を有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサ33を備えるカメラ30が、イメージセンサ33と物品12との間の光路上に配置される光学バンドパスフィルタ31(F1,F2)を介して物品12を撮像する。変換ステップでは、イメージセンサ33により撮像された画像信号をNバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンド(但しPはN未満の自然数)の第1画像信号MS1と、近赤外領域に分光感度をもつQバンド(但しQはQ=N−P)の第2画像信号MS2とを生成する。
(1)分光透過率特性の異なるNバンド(但しNは3以上の自然数)の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサ33を備えるカメラ30と、イメージセンサ33と被写体としての物品12との間の光路上に配置される光学バンドパスフィルタ31とを備える。物品12に可視光領域に発光スペクトルを有した白色光を照射する白色光源20と、物品12に近赤外光領域に発光スペクトルを有し、かつ白色光源20の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源25とを備える。また、撮像装置15は、イメージセンサ33により撮像された画像信号をNバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンドの第1画像信号と、近赤外領域に分光感度をもつQバンドの第2画像信号とを生成する変換部60を備える。よって、物品12を同じ画角で撮像した可視光画像と近赤外画像とを簡単な構成で同時に1台のカメラ30で取得できる。
・撮像装置15の構成は、図2及び図3に示す構成に限定されない。例えば、図17に示すように、被写体である物品12の正面側から物品12の正面に向かって可視光及び近赤外光を照射する光源80を備える構成でもよい。光源80は、可視光波長領域VAにおいて発光スペクトルが異なる複数の発光部21〜23を備える。複数の発光部21〜23は、前記実施形態における白色光源20を構成する、第1発光部21、第2発光部22及び第3発光部23と同じである。例えば、複数の発光部21〜23は、LEDよりなり、それぞれ赤色LED、緑色LED及び青色LEDよりなる。さらに、光源80は、近赤外波長領域NIRAに発光スペクトルを有し、かつ発光部21〜23の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する第1発光部26及び第2発光部27を備える。複数種の発光部26,27は、例えばLEDにより構成される。
・カメラ30を用いて光学バンドパスフィルタ31を通してイメージセンサ33で撮像した第1撮像信号に基づく画像データ(例えばRGB画像データ)をUSBメモリ等のリムーバブルメモリに保存する。そのリムーバブルメモリに保存された画像データをパーソナルコンピュータに読み取らせ、パーソナルコンピュータのCPU(変換部60)がマトリックス演算を含む変換処理を行って複数バンドのマルチスペクトル画像を生成してもよい。つまり、撮像ステップを行う装置と、変換ステップを行う装置とが、別々の装置であってもよい。このような撮像方法によっても、複数バンドのマルチスペクトル画像を取得できる。
・撮像装置15が出力した画像を検査員が視認して検査する構成でもよい。
・イメージセンサ33を構成するカラーフィルタ34の色数は3色又は4色に限定されず、5色、6色、7色、8色でもよい。このうち少なくとも1色が可視光を透過せず非可視光を透過するフィルタであってもよい。例えば、近赤外光を透過するNIRフィルタを含むカラーフィルタを備えたイメージセンサ33であってもよい。
・撮像装置15は、検査処理部70とは別の装置として構成してもよい。撮像装置15を検査以外の用途で使用してもよい。
・制御部50、変換部60及び検査処理部70のうち少なくとも1つは、一部又は全部が、プログラムを実行するコンピュータよりなるソフトウェアにより構成されてもよいし、電子回路等のハードウェアにより構成されてもよい。
Claims (8)
- 分光透過率特性の異なるNバンド(但しNは3以上の自然数)の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラと、
前記イメージセンサと被写体との間の光路上に配置される光学バンドパスフィルタと、
前記被写体に可視光領域に発光スペクトルを有した白色光を照射する白色光源と、
前記被写体に近赤外光領域に発光スペクトルを有し、かつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源と、
前記イメージセンサにより撮像された画像信号を前記Nバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンド(但しPはN未満の自然数)の第1画像信号と、近赤外領域に分光感度をもつQバンド(但しQはQ=N−P)の第2画像信号とを生成する変換部と
を備えることを特徴とする撮像装置。 - 前記カメラは、赤外光カットフィルタを除去した汎用カラーカメラであることを特徴とする請求項1に記載の撮像装置。
- 前記Pバンドと前記Qバンドのうち複数バンドである少なくとも一方の画像信号については当該複数バンドの画像信号を基に疑似色によるカラー画像信号を生成することを特徴とする請求項1又は請求項2に記載の撮像装置。
- 前記被写体において前記カメラに対向する側の面を正面、当該正面と反対側の面を背面とすると、
前記白色光源は前記被写体の正面を白色光で照明し、前記近赤外光源は前記被写体の背面から近赤外光を照射し、
前記カメラは、前記白色光が前記被写体の表面で反射した反射光と、前記被写体を透過した近赤外光とを受光することを特徴とする請求項1〜請求項3のいずれか一項に記載の撮像装置。 - 前記近赤外光源と前記被写体との間には、前記被写体の背景となる面を表面とする光学フィルタ部材を配置し、
前記光学フィルタ部材は、前記白色光源から前記表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、前記表面と反対側の面である裏面に前記近赤外光源から照射された近赤外を透過することを特徴とする請求項4に記載の撮像装置。 - 前記白色光源と前記近赤外光源は、前記被写体における前記カメラと対向する側の面である正面に前記白色光と前記近赤外光とを照射する1つの光源により構成され、
前記光源は、白色光を照射する複数の発光部と近赤外光を照射する複数の発光部とが混在する配列で構成されることを特徴とする請求項1〜請求項3のいずれか一項に記載の撮像装置。 - 請求項1〜請求項6のいずれか一項に記載の撮像装置と、
前記撮像装置が出力する可視光領域に分光感度をもつPバンドの前記第1画像信号と、近赤外領域に分光感度をもつQバンドの前記第2画像信号とに基づいて前記被写体を検査する検査処理部とを備えることを特徴とする検査装置。 - 被写体をカメラで撮像して画像信号を生成する撮像方法であって、
白色光源が可視光領域に発光スペクトルを有した白色光を前記被写体に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を前記被写体に照射する光照射ステップと、
分光透過率特性の異なったNバンド(但しNは3以上の自然数)の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラが、前記イメージセンサと前記被写体との間の光路上に配置される光学バンドパスフィルタを介して前記被写体を撮像する撮像ステップと、
前記イメージセンサにより撮像された画像信号を前記Nバンドの信号ごとに分離し、分離したNバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつPバンド(但しPはN未満の自然数)の第1画像信号と、近赤外領域に分光感度をもつQバンド(但しQはQ=N−P)の第2画像信号とを生成する変換ステップと
を備えることを特徴とする撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020093584A JP2021190802A (ja) | 2020-05-28 | 2020-05-28 | 撮像装置、検査装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020093584A JP2021190802A (ja) | 2020-05-28 | 2020-05-28 | 撮像装置、検査装置及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021190802A true JP2021190802A (ja) | 2021-12-13 |
Family
ID=78847582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020093584A Pending JP2021190802A (ja) | 2020-05-28 | 2020-05-28 | 撮像装置、検査装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021190802A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210619A1 (ja) * | 2022-04-28 | 2023-11-02 | 株式会社エヌテック | 撮像装置、検査装置、撮像条件決定方法及び撮像方法 |
-
2020
- 2020-05-28 JP JP2020093584A patent/JP2021190802A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210619A1 (ja) * | 2022-04-28 | 2023-11-02 | 株式会社エヌテック | 撮像装置、検査装置、撮像条件決定方法及び撮像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
JP6940215B2 (ja) | 検査装置及び検査装置の識別手段の学習方法 | |
JP6161007B2 (ja) | 固体撮像装置及びカメラモジュール | |
JP7450917B2 (ja) | マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法 | |
KR100858034B1 (ko) | 단일 칩 활력 이미지 센서 | |
JP5201825B2 (ja) | 距離画像取得装置及び方法 | |
US9372118B1 (en) | Apparatus and method for multispectral based detection | |
JP2008209211A (ja) | 異物検査装置および異物検査方法 | |
JP6378767B2 (ja) | 撮像装置、及び解析装置 | |
JP2010514046A (ja) | デジタル画像の取得のためのカラーシーケンシャルフラッシュ | |
JP2021190802A (ja) | 撮像装置、検査装置及び撮像方法 | |
WO2021106964A1 (ja) | 光学式選別機 | |
CN110574368B (zh) | 固态摄像装置、摄像系统以及物体识别系统 | |
KR102240757B1 (ko) | Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템 | |
WO2017056830A1 (ja) | 蛍光検出装置 | |
US20200105020A1 (en) | Method of spectral analyzing with a color camera | |
JP7350119B2 (ja) | ラインカメラの画像データの明度及び色の補正 | |
WO2023100805A1 (ja) | 撮像装置、検査装置および撮像方法 | |
Kim et al. | Hyperspectral imaging system for food safety: Detection of fecal contamination on apples | |
WO2022113758A1 (ja) | 撮像装置、検査装置及び撮像方法 | |
WO2024034261A1 (ja) | 固体撮像装置及び固体撮像システム | |
TW202409544A (zh) | 拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法 | |
KR102394422B1 (ko) | Nir 스펙트럼 영상 기술을 이용한 식품 표면 이물 검사 광학장치 | |
JP2019074324A (ja) | 検査方法及び装置 | |
JP6884043B2 (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |