JP2018054438A - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP2018054438A
JP2018054438A JP2016190102A JP2016190102A JP2018054438A JP 2018054438 A JP2018054438 A JP 2018054438A JP 2016190102 A JP2016190102 A JP 2016190102A JP 2016190102 A JP2016190102 A JP 2016190102A JP 2018054438 A JP2018054438 A JP 2018054438A
Authority
JP
Japan
Prior art keywords
image data
inspection
divergence
information
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016190102A
Other languages
English (en)
Other versions
JP6696385B2 (ja
Inventor
勝宏 宮垣
Katsuhiro Miyagaki
勝宏 宮垣
耕平 中村
Kohei Nakamura
耕平 中村
潤 堀口
Jun Horiguchi
潤 堀口
加藤 慎司
Shinji Kato
慎司 加藤
博行 岩月
Hiroyuki Iwatsuki
博行 岩月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016190102A priority Critical patent/JP6696385B2/ja
Priority to PCT/JP2017/034896 priority patent/WO2018062242A1/ja
Publication of JP2018054438A publication Critical patent/JP2018054438A/ja
Priority to US16/362,823 priority patent/US20190220999A1/en
Application granted granted Critical
Publication of JP6696385B2 publication Critical patent/JP6696385B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供する。
【解決手段】検査装置1は、ウェアラブルカメラが撮像した被検査物を含む画像データを取得する画像取得部501と、画像データにおける被検査物の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する乖離情報取得部502と、画像データと乖離情報とに基づいて、乖離距離及び前記乖離角の少なくとも一方を算出し、画像データを補正する画像補正部503と、を備える。
【選択図】図3

Description

本開示は、検査装置に関する。
作業者に装着可能なウェアラブルカメラが知られている。このようなウェアラブルカメラでは、作業の様子を撮像し、製品や設備の状態を記録することができる。下記特許文献1に記載のウェアラブルカメラでは、ユーザ認証を実行することで、撮像した画像データと撮像者との関連付けを実行している。
特開2016−58038号公報
上記特許文献1では、ウェアラブルカメラを製品の検査に用いることについて格別の配慮が開示されていない。製品の検査にウェアラブルカメラを用いる場合、ウェアラブルカメラと被検査物である製品とが一定の距離及び一定の角度を保つことが理想的である。
しかしながら、実際には、被検査物の検査台への置き方がまちまちだったり、作業員の被検査物に対する角度がまちまちだったり、といったことに起因して、被検査物に対して所定の角度及び所定の距離を確保するのが困難である。
本開示は、作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供することを目的とする。
本開示は、検査装置であって、被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部(501,501A,501B)と、前記画像データにおける前記被検査物の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する乖離情報取得部(502,502A,502B)と、前記画像データと前記乖離情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部(503,503A,503B)と、を備える。
本開示によれば、画像データと乖離情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正するので、被検査物が規定の位置からずれて配置されていても、既定の位置に相当するように補正することができる。
本開示によれば、作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供することができる。
図1は、第1実施形態である検査装置の使用状態を説明するための図である。 図2は、図1に示される検査装置の構成を示すブロック構成図である。 図3は、図2に示される制御装置の機能的な構成を示すブロック構成図である。 図4は、第1実施形態である検査装置の画像補正を説明するための図である。 図5は、第2実施形態である検査装置の使用状態を説明するための図である。 図6は、図5に示される検査装置の構成を示すブロック構成図である。 図7は、図6に示される制御装置の機能的な構成を示すブロック構成図である。 図8は、第3実施形態である検査装置の使用状態を説明するための図である。 図9は、図8に示される検査装置の構成を示すブロック構成図である。 図10は、図9に示される制御装置の機能的な構成を示すブロック構成図である。 図11は、第3実施形態である検査装置の画像補正を説明するための図である。 図12は、第3実施形態である検査装置の画像補正を説明するための図である。
以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
図1及び図2を参照しながら、第1実施形態に係る検査装置1が適用される検査作業の一例と、検査装置1の概略構成について説明する。
図1に示されるように、第1実施形態に係る検査装置1は、熱交換器等の製品の製造工程において、製造中間段階のワーク3や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。
検査作業の作業員Hは、搬送コンベア2で順次搬送されるワーク3が良品であるか否かを検査する。搬送コンベア2には、ワーク3と看板4からなる組が複数載置されている。搬送コンベア2は、複数の組が作業員Hの前方に順次配置されるようにこれらの複数の組を搬送する。看板4は、ワーク3ごとにこの近傍に配置されるもので、ワーク3の種類を示すコードが表示されている。
作業員Hは、上記の検査作業を、本実施形態の検査装置1を利用して実施することができる。図1及び図2に示されるように、検査装置1は、コードリーダ10、ウェアラブルカメラ20A,20B、バッテリ30、及び、タブレット40を具備する。
コードリーダ10は、図2に示されるように、コードリーダ部11、照明部12、レーザポインタ部13、及び無線部14を備える。
コードリーダ部11は、光を照射する光源を備え、この光源からレンズ10aを通して光を出射してから看板4で反射されてレンズ10aを通して受光される反射光によってコードを読み込むための周知の光学式コードリードである。ここで、本実施形態の看板4は、コードが表示されている表示板である。コードは、ワーク3の種類を示す識別指標である。コードとしては、QRコード(登録商標)やバーコードなどの各種のコードが含まれる。
照明部12は、レンズ10aを通してワーク3およびその周辺を照明する。
レーザポインタ部13は、レンズ10aを通してレーザ光線をポインタとして照射する。レーザポインタ部13は、これにより、コードリーダ部11がコードを読み込む被読込領域を、作業員Hが認識することを補助する。本実施形態では、レーザポインタ部13によりレーザ光線が照射される領域が、コードリーダ部11の被読込領域に一致するように設定されている。
無線部14は、アンテナや無線回路等から構成されて、タブレット40の無線部41との間で無線通信する。
ウェアラブルカメラ20A,20Bは、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ20Aとウェアラブルカメラ20Bとは、平行等位に配置され互いに同期が取られている。ウェアラブルカメラ20Aとウェアラブルカメラ20Bとは、ステレオカメラを構成している。ウェアラブルカメラ20A,20Bは、図2に示されるように、カメラ部21及び無線部22を備える。カメラ部21は、レンズ20Aa,20Baを介して受光される光によって被撮影対象としてのワーク3を撮影する。無線部22は、アンテナや無線回路等から構成されて、タブレット40の無線部42との間で無線通信する。
バッテリ30は、ハーネス等31を介してコードリーダ10やウェアラブルカメラ20A,20Bに直流電力を供給する二次電池である。
本実施形態では、コードリーダ10、ウェアラブルカメラ20A,20B、バッテリ30は、図1に示されるように、作業員Hが被る帽子5に装着されている。また、コードリーダ10及びウェアラブルカメラ20A,20Bは、コードリーダ10のレンズ10aと、ウェアラブルカメラ20A,20Bのレンズ20Aa,20Baとが作業員Hの前方に向いて配置されるように、作業員Hの帽子5上に設置されている。
タブレット40は、作業員Hが携帯可能に構成されている携帯端末である。タブレット40は、図2に示されるように、無線部41,42、アンプ43、スピーカ44、タッチパネル45、及び制御装置50を備える。
無線部41,42は、アンテナや無線回路等から構成される。無線部41は、コードリーダ10の無線部14との間で無線通信する。無線部42は、ウェアラブルカメラ20A,20Bの無線部22との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Bluetooth(登録商標)や、Wi−Fi(登録商標)を用いることができる。
アンプ43は、制御装置50から出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ44は、アンプ43から出力される増幅信号を音に変換して出力する。タッチパネル45は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。
制御装置50は、上記の検査作業に係る検査装置1の各部の動作を制御する装置である。制御装置50は、物理的には、CPU、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置50は、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ10から取得するコード、及びウェアラブルカメラ20A,20Bにより取得された撮影画像に基づいて、ワーク3が良品であるか否かを判定する判定処理である。
メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク3が良品であるか否かを判別するために用いられる。1つの基準画像には、良品であるワーク3を示す良品画像と、不良品であるワーク3を示す不良品画像とが含まれる。デジタル−アナログ変換回路は、CPUの指令に基づいて音声を示すアナログ信号を出力する。
本実施形態では、タブレット40は、例えば作業員Hのポケットに収納されるなど、作業員Hにより携帯されているか、または、作業員Hの近傍に載置されている。
このように構成される検査装置1を利用することにより、作業員Hが実施するワーク3の検査処理の標準的な作業は、例えば以下のような手順になる。
まず、作業員Hは、頭を看板4側に向け、帽子5に装着されているコードリーダ10に看板4からコードを読み取らせる。次いで、頭をワーク3に向け、同じく帽子5に装着されているウェアラブルカメラ20A,20Bにワーク3を撮影させ、撮影画像を取得させる。つまり、コードリーダ10が看板4からコードを読み込むことをトリガとして、ウェアラブルカメラ20A,20Bによってワーク3の撮影画像を取得することになる。タブレット40は、無線通信を介してコードリーダ10からコードを受信し、ウェアラブルカメラ20A,20Bから撮影画像を受信する。
タブレット40内の制御装置50は、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置50は、ワーク3の撮影画像をこの基準画像と照合させることで、ワーク3が良品であるか否かを判定する。また、制御装置50は、タブレット40のスピーカ44やタッチパネル45を介して、音情報や視覚情報によってワーク3の良否判定結果を作業員Hに報知する。
作業員Hは、タブレット40から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク3が良品と判定された場合には、搬送コンベア2上の次のワーク3の検査を行う。
以上のように構成される検査装置1は、ウェアラブル装置として、作業員Hの両手が自由になるように、作業員Hに携帯されている。検査装置1は、上記構成により、作業員Hの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Hの検査作業を支援して作業員Hの負担を軽減させることができる。また、作業員Hは検査作業中にハンズフリーの状態であるので、作業員Hはワーク3の検査作業を行いながら、検査以外の他の作業(例えばネジ締めなど)も行うことができ、作業効率を向上できる。
続いて、図3を参照しながら、制御装置50の機能的な構成要素とそれらの動作について説明する。制御装置50は、機能的な構成要素として、画像取得部501と、乖離情報取得部502と、画像補正部503と、画像出力部504と、を備えている。
画像取得部501は、ウェアラブルカメラ20A,20Bから出力される画像データを取得する部分である。ウェアラブルカメラ20Aとウェアラブルカメラ20Bとは、平行等位に配置され互いに同期が取られているので、出力される画像データも同期が取られている。
乖離情報取得部502は、画像データにおけるワーク3の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する部分である。具体的には、図4に示されるように、ワーク3が、ワーク規定位置からずれて配置されていると、上記した検査が正確に行えない場合がある。そこで、ワーク規定位置に対するワーク3の傾きθ、ワーク横ずれx、ワーク縦ずれyを算出するための情報として、ウェアラブルカメラ20A,20Bから出力される画像データ及び同期情報を取得する。
ウェアラブルカメラ20A,20Bはステレオカメラを構成するように配置されているので、ウェアラブルカメラ20A,20Bが撮像した画像データにおける少なくとも2点の代表点の位置及び距離を算出することで、ワーク規定位置に対するワーク3の傾きθ、ワーク横ずれx、ワーク縦ずれyを算出することができる。ウェアラブルカメラ20Aの撮像する画像データが主たる画像データであり、ウェアラブルカメラ20Bの撮像する画像データが補助画像データとなる。従って、ウェアラブルカメラ20Bが、補助ウェアラブルカメラとして機能している。
画像補正部503は、画像データと乖離情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部503は、画像データ及び補助画像データにおける被検査物の視差から乖離距離及び乖離角の少なくとも一方を算出する。図4に示す例では、ワーク3がワーク規定位置にあるように補正する。
画像出力部504は、画像補正部503が補正した画像データをタッチパネル45に出力する。タッチパネル45は、補正された画像データを表示する。
上記したように第1実施形態に係る検査装置1は、被検査物であるワーク3を検査する作業員Hに装着されるウェアラブルカメラ20A,20Bが撮像したワーク3を含む画像データを取得する画像取得部501と、画像データにおけるワーク3の規定距離からの乖離距離x,y及び規定角度からの乖離角θの少なくとも一方を算出するための乖離情報を取得する乖離情報取得部502と、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部503と、を備えている。
本実施形態では、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正するので、ワーク3が規定の位置からずれて配置されていても、既定の位置に相当するように補正することができる。
また検査装置1では、乖離情報取得部502が、ウェアラブルカメラ20Aと平行等位に配置されてなる補助ウェアラブルカメラとしてのウェアラブルカメラ20Bが撮像した被検査物であるワーク3を含む補助画像データを取得し、画像補正部503は、ウェアラブルカメラ20Aが撮像した画像データ及びウェアラブルカメラ20Bが撮像した補助画像データにおけるワーク3の視差から乖離距離x,y及び乖離角θの少なくとも一方を算出する。
ステレオカメラとして構成されるウェアラブルカメラ20A,20Bによって撮像される画像データ及び補助画像データに基づく視差から、乖離距離x,y及び乖離角θの少なくとも一方を算出するので、より正確に画像データを補正することができる。
図5及び図6を参照しながら、第2実施形態に係る検査装置1Aについて説明する。検査装置1Aが適用される検査作業の一例は、第1実施形態に係る検査装置1と同様であるのでその説明を省略する。
検査装置1Aは、コードリーダ10、ウェアラブルカメラ20、バッテリ30、レーザ装置60、及び、タブレット40を具備する。コードリーダ10、バッテリ30は、第1実施形態と同様であるので、それらの説明を省略する。その他の構成要素についても、第1実施形態と共通する部分については、一部の説明を省略する。
ウェアラブルカメラ20は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ20は、図6に示されるように、カメラ部21及び無線部22を備える。カメラ部21は、レンズ20aを介して受光される光によって被撮影対象としてのワーク3を撮影する。無線部22は、アンテナや無線回路等から構成されて、タブレット40の無線部42Bとの間で無線通信する。
レーザ装置60は、ワーク3との間の距離を測定するための装置である。レーザ装置60は、発光部601と、受光部602と、無線部603と、を備えている。発光部601から発射されたレーザ光は、ワーク3に反射する。発光部601から発射されるレーザ光は、ウェアラブルカメラ20の光軸と予め定められた角度で発射される測距光である。
ワーク3に反射したレーザ光は、受光部602が受光する。発光部601がレーザ光を発射したタイミングと、受光部602がレーザ光を受光したタイミングとに基づいて、ワーク3までの距離を測定することができる。ワーク3までの距離の情報は、無線部603からタブレット40の無線部42Bに送信される。
タブレット40は、作業員Hが携帯可能に構成されている携帯端末である。タブレット40は、図6に示されるように、無線部41,42B、アンプ43、スピーカ44、タッチパネル45、及び制御装置50Aを備える。
無線部41,42Bは、アンテナや無線回路等から構成される。無線部41は、コードリーダ10の無線部14との間で無線通信する。無線部42Bは、ウェアラブルカメラ20の無線部22及びレーザ装置60の無線部603との間で無線通信する。
アンプ43は、制御装置50Aから出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ44は、アンプ43から出力される増幅信号を音に変換して出力する。タッチパネル45は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。
制御装置50Aは、上記の検査作業に係る検査装置1Aの各部の動作を制御する装置である。制御装置50Aは、物理的には、CPU、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置50Aは、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ10から取得するコード、及びウェアラブルカメラ20により取得された撮影画像に基づいて、ワーク3が良品であるか否かを判定する判定処理である。
メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク3が良品であるか否かを判別するために用いられる。1つの基準画像には、良品であるワーク3を示す良品画像と、不良品であるワーク3を示す不良品画像とが含まれる。デジタル−アナログ変換回路は、CPUの指令に基づいて音声を示すアナログ信号を出力する。
本実施形態では、タブレット40は、例えば作業員Hのポケットに収納されるなど、作業員Hにより携帯されているか、または、作業員Hの近傍に載置されている。
このように構成される検査装置1Aを利用することにより、作業員Hが実施するワーク3の検査処理の標準的な作業は、例えば以下のような手順になる。
まず、作業員Hは、頭を看板4側に向け、帽子5に装着されているコードリーダ10に看板4からコードを読み取らせる。次いで、頭をワーク3に向け、同じく帽子5に装着されているウェアラブルカメラ20にワーク3を撮影させ、撮影画像を取得させる。つまり、コードリーダ10が看板4からコードを読み込むことをトリガとして、ウェアラブルカメラ20によってワーク3の撮影画像を取得することになる。タブレット40は、無線通信を介してコードリーダ10からコードを受信し、ウェアラブルカメラ20から撮影画像を受信する。
タブレット40内の制御装置50Aは、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置50Aは、ワーク3の撮影画像をこの基準画像と照合させることで、ワーク3が良品であるか否かを判定する。また、制御装置50Aは、タブレット40のスピーカ44やタッチパネル45を介して、音情報や視覚情報によってワーク3の良否判定結果を作業員Hに報知する。
作業員Hは、タブレット40から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク3が良品と判定された場合には、搬送コンベア2上の次のワーク3の検査を行う。
以上のように構成される検査装置1Aは、ウェアラブル装置として、作業員Hの両手が自由になるように、作業員Hに携帯されている。検査装置1Aは、上記構成により、作業員Hの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Hの検査作業を支援して作業員Hの負担を軽減させることができる。また、作業員Hは検査作業中にハンズフリーの状態であるので、作業員Hはワーク3の検査作業を行いながら、検査以外の他の作業(例えばネジ締めなど)も行うことができ、作業効率を向上できる。
続いて、図7を参照しながら、制御装置50Aの機能的な構成要素とそれらの動作について説明する。制御装置50Aは、機能的な構成要素として、画像取得部501Aと、乖離情報取得部502Aと、画像補正部503Aと、画像出力部504Aと、を備えている。
画像取得部501Aは、ウェアラブルカメラ20から出力される画像データを取得する部分である。
乖離情報取得部502Aは、画像データにおけるワーク3の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する部分である。具体的には、レーザ装置60が測定する、ワーク3との間の距離を乖離情報とする。
画像補正部503Aは、画像データと乖離情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部503Aは、画像データ及び補助画像データにおける被検査物の視差から乖離距離及び乖離角の少なくとも一方を算出する。
画像出力部504Aは、画像補正部503Aが補正した画像データをタッチパネル45に出力する。タッチパネル45は、補正された画像データを表示する。
上記したように第2実施形態に係る検査装置1Aは、被検査物であるワーク3を検査する作業員Hに装着されるウェアラブルカメラ20が撮像したワーク3を含む画像データを取得する画像取得部501Aと、画像データにおけるワーク3の規定距離からの乖離距離x,y及び規定角度からの乖離角θの少なくとも一方を算出するための乖離情報を取得する乖離情報取得部502Aと、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部503Aと、を備えている。
本実施形態では、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正するので、ワーク3が規定の位置からずれて配置されていても、既定の位置に相当するように補正することができる。
また検査装置1Aでは、乖離情報取得部502Aが、ウェアラブルカメラ20の光軸と予め定められた角度で発射された測距光であるレーザ光に基づく被検査物であるワーク3の距離情報を取得し、画像補正部503Aは、画像データ及び距離情報から、乖離距離及び乖離角の少なくとも一方を算出する。
画像データ及び距離情報から、画像データの特定部分の距離及び角度を特定することができるので、乖離距離x,y及び乖離角θの少なくとも一方を算出することができ、より正確に画像データを補正することができる。
図8及び図9を参照しながら、第3実施形態に係る検査装置1Bについて説明する。検査装置1Bが適用される検査作業の一例は、第1実施形態に係る検査装置1と同様であるのでその説明を省略する。
検査装置1Bは、コードリーダ10、ウェアラブルカメラ20、バッテリ30、及び、タブレット40を具備する。コードリーダ10、バッテリ30は、第1実施形態と同様であるので、それらの説明を省略する。その他の構成要素についても、第1実施形態と共通する部分については、一部の説明を省略する。
ウェアラブルカメラ20は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ20は、図9に示されるように、カメラ部21及び無線部22を備える。カメラ部21は、レンズ20aを介して受光される光によって被撮影対象としてのワーク3を撮影する。無線部22は、アンテナや無線回路等から構成されて、タブレット40の無線部42との間で無線通信する。
タブレット40は、作業員Hが携帯可能に構成されている携帯端末である。タブレット40は、図9に示されるように、無線部41、アンプ43、スピーカ44、タッチパネル45、及び制御装置50Bを備える。
アンプ43は、制御装置50Bから出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ44は、アンプ43から出力される増幅信号を音に変換して出力する。タッチパネル45は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。
制御装置50Bは、上記の検査作業に係る検査装置1Bの各部の動作を制御する装置である。制御装置50Bは、物理的には、CPU、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置50Bは、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ10から取得するコード、及びウェアラブルカメラ20により取得された撮影画像に基づいて、ワーク3が良品であるか否かを判定する判定処理である。
メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク3が良品であるか否かを判別するために用いられる。1つの基準画像には、良品であるワーク3を示す良品画像と、不良品であるワーク3を示す不良品画像とが含まれる。デジタル−アナログ変換回路は、CPUの指令に基づいて音声を示すアナログ信号を出力する。
本実施形態では、タブレット40は、例えば作業員Hのポケットに収納されるなど、作業員Hにより携帯されているか、または、作業員Hの近傍に載置されている。
このように構成される検査装置1Bを利用することにより、作業員Hが実施するワーク3の検査処理の標準的な作業は、例えば以下のような手順になる。
まず、作業員Hは、頭を看板4側に向け、帽子5に装着されているコードリーダ10に看板4からコードを読み取らせる。次いで、頭をワーク3に向け、同じく帽子5に装着されているウェアラブルカメラ20にワーク3を撮影させ、撮影画像を取得させる。つまり、コードリーダ10が看板4からコードを読み込むことをトリガとして、ウェアラブルカメラ20によってワーク3の撮影画像を取得することになる。タブレット40は、無線通信を介してコードリーダ10からコードを受信し、ウェアラブルカメラ20から撮影画像を受信する。
タブレット40内の制御装置50Bは、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置50Bは、ワーク3の撮影画像をこの基準画像と照合させることで、ワーク3が良品であるか否かを判定する。また、制御装置50Bは、タブレット40のスピーカ44やタッチパネル45を介して、音情報や視覚情報によってワーク3の良否判定結果を作業員Hに報知する。
作業員Hは、タブレット40から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク3が良品と判定された場合には、搬送コンベア2上の次のワーク3の検査を行う。
以上のように構成される検査装置1Bは、ウェアラブル装置として、作業員Hの両手が自由になるように、作業員Hに携帯されている。検査装置1Bは、上記構成により、作業員Hの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Hの検査作業を支援して作業員Hの負担を軽減させることができる。また、作業員Hは検査作業中にハンズフリーの状態であるので、作業員Hはワーク3の検査作業を行いながら、検査以外の他の作業(例えばネジ締めなど)も行うことができ、作業効率を向上できる。
続いて、図10を参照しながら、制御装置50Bの機能的な構成要素とそれらの動作について説明する。制御装置50Bは、機能的な構成要素として、画像取得部501Bと、乖離情報取得部502Bと、画像補正部503Bと、画像出力部504Bと、を備えている。
画像取得部501Bは、ウェアラブルカメラ20から出力される画像データを取得する部分である。
乖離情報取得部502Bは、画像データにおけるワーク3の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する部分である。具体的には、図11に示されるように、ワーク3が載置されているパレット7の位置特定情報を乖離情報として取得する。パレット7には、格子状に黒いマスと白いマスとが交互に配置されている。従って、ワーク3の左手前の角は、左から3マス、手前から2マスのところに位置していることが特定できる。この場合、ワーク3の特定位置までのマス数が位置特定情報となる。また、別な例としては、図12に示されるように、パレット7の既知の寸法L1と、ワーク3の測定対象寸法L2との比に基づいて、測定対象寸法L2を算出することもできる。この場合、パレット7の既知の寸法L1と、ワーク3の測定対象寸法L2との比が位置特定情報となる。
画像補正部503Bは、画像データと乖離情報である位置特定情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。
画像出力部504Bは、画像補正部503Bが補正した画像データをタッチパネル45に出力する。タッチパネル45は、補正された画像データを表示する。
上記したように第3実施形態に係る検査装置1Bは、被検査物であるワーク3を検査する作業員Hに装着されるウェアラブルカメラ20が撮像したワーク3を含む画像データを取得する画像取得部501Bと、画像データにおけるワーク3の規定距離からの乖離距離x,y及び規定角度からの乖離角θの少なくとも一方を算出するための乖離情報を取得する乖離情報取得部502Bと、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部503Bと、を備えている。
本実施形態では、画像データと乖離情報とに基づいて、乖離距離x,y及び乖離角θの少なくとも一方を算出し、画像データを補正するので、ワーク3が規定の位置からずれて配置されていても、既定の位置に相当するように補正することができる。
また検査装置1Bでは、乖離情報取得部502Bが、画像データにおいて被検査物であるワーク3と共に撮像される位置特定情報を乖離情報として取得し、画像補正部503Bは、ワーク3と位置特定情報との相対的な位置関係から、乖離距離及び乖離角の少なくとも一方を算出する。
画像データにおいて被検査物であるワーク3と共に撮像される位置特定情報を乖離情報として取得するので、単眼のカメラのみで乖離距離及び乖離角の少なくとも一方を算出することができる。
また本実施形態では、位置特定情報は、ワーク3が載置される部分に記された格子状の模様である。図11に示されるような格子状の模様を用いれば、模様が隠された部分までの格子数を数えることで、位置特定情報を得ることができる。
また本実施形態では、位置特定情報は、ワーク3が載置される部分における既知の形状情報である。図12に示されるように、パレット7の既知の形状情報である寸法L1とワーク3の測定対象部位の寸法L2との比を算出することで、パレット7に対するワーク3の配置位置を把握することができる。
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
501,501A,501B:画像取得部
502,502A,502B:乖離情報取得部
503,503A,503B:画像補正部

Claims (6)

  1. 検査装置であって、
    被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部(501,501A,501B)と、
    前記画像データにおける前記被検査物の規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための乖離情報を取得する乖離情報取得部(502,502A,502B)と、
    前記画像データと前記乖離情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部(503,503A,503B)と、を備える検査装置。
  2. 請求項1に記載の検査装置であって、
    前記乖離情報取得部(502)は、前記ウェアラブルカメラと平行等位に配置されてなる補助ウェアラブルカメラが撮像した前記被検査物を含む補助画像データを取得し、
    前記画像補正部(503)は、前記画像データ及び前記補助画像データにおける前記被検査物の視差から前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  3. 請求項1に記載の検査装置であって、
    前記乖離情報取得部(502A)は、前記ウェアラブルカメラの光軸と予め定められた角度で発射された測距光に基づく前記被検査物の距離情報を取得し、
    前記画像補正部(503A)は、前記画像データ及び前記距離情報から、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  4. 請求項1に記載の検査装置であって、
    前記乖離情報取得部(502B)は、前記画像データにおいて前記被検査物と共に撮像される位置特定情報を前記乖離情報として取得し、
    前記画像補正部(503B)は、前記被検査物と前記位置特定情報との相対的な位置関係から、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  5. 請求項4に記載の検査装置であって、
    前記位置特定情報は、前記被検査物が載置される部分に記された格子状の模様である、検査装置。
  6. 請求項4に記載の検査装置であって、
    前記位置特定情報は、前記被検査物が載置される部分における既知の形状情報である、検査装置。
JP2016190102A 2016-09-28 2016-09-28 検査装置 Expired - Fee Related JP6696385B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016190102A JP6696385B2 (ja) 2016-09-28 2016-09-28 検査装置
PCT/JP2017/034896 WO2018062242A1 (ja) 2016-09-28 2017-09-27 検査装置
US16/362,823 US20190220999A1 (en) 2016-09-28 2019-03-25 Inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016190102A JP6696385B2 (ja) 2016-09-28 2016-09-28 検査装置

Publications (2)

Publication Number Publication Date
JP2018054438A true JP2018054438A (ja) 2018-04-05
JP6696385B2 JP6696385B2 (ja) 2020-05-20

Family

ID=61759762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016190102A Expired - Fee Related JP6696385B2 (ja) 2016-09-28 2016-09-28 検査装置

Country Status (3)

Country Link
US (1) US20190220999A1 (ja)
JP (1) JP6696385B2 (ja)
WO (1) WO2018062242A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6658430B2 (ja) * 2016-09-28 2020-03-04 株式会社デンソー 検査装置
CA3136082A1 (en) * 2019-04-19 2020-10-22 Ovad Custom Stages, Llc Photographic paddle and process of use thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273133A (ja) * 1992-03-25 1993-10-22 Toppan Printing Co Ltd 外観検査機のための検査エリア設定治具及び装置
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
JP2008014700A (ja) * 2006-07-04 2008-01-24 Olympus Corp ワークの検査方法及びワーク検査装置
US20090123060A1 (en) * 2004-07-29 2009-05-14 Agency For Science, Technology And Research inspection system
JP2016105068A (ja) * 2014-11-19 2016-06-09 日本電産サンキョー株式会社 測距装置及び測距方法
JP2016133399A (ja) * 2015-01-20 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US20090097737A1 (en) * 2004-12-10 2009-04-16 Olympus Corporation Visual inspection apparatus
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273133A (ja) * 1992-03-25 1993-10-22 Toppan Printing Co Ltd 外観検査機のための検査エリア設定治具及び装置
US20090123060A1 (en) * 2004-07-29 2009-05-14 Agency For Science, Technology And Research inspection system
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
JP2008014700A (ja) * 2006-07-04 2008-01-24 Olympus Corp ワークの検査方法及びワーク検査装置
JP2016105068A (ja) * 2014-11-19 2016-06-09 日本電産サンキョー株式会社 測距装置及び測距方法
JP2016133399A (ja) * 2015-01-20 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JPWO2020066847A1 (ja) * 2018-09-28 2021-08-30 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP7249494B2 (ja) 2018-09-28 2023-03-31 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法

Also Published As

Publication number Publication date
US20190220999A1 (en) 2019-07-18
JP6696385B2 (ja) 2020-05-20
WO2018062242A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6337822B2 (ja) 検査装置、およびプログラム
WO2018062238A1 (ja) 検査装置
JP5679560B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US10480931B2 (en) Dimension measuring apparatus, information reading apparatus having measuring function, and dimension measuring method
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
CN107860311B (zh) 操作三角测量法激光扫描器以识别工件的表面特性的方法
WO2018062242A1 (ja) 検査装置
US20120133487A1 (en) Rfid tag position detection apparatus and rfid tag position detection method
JP2017187988A (ja) コード認識装置
JP6696384B2 (ja) 検査装置
CN109715307B (zh) 具有工作区图像捕获设备的弯曲机以及用于表示工作区的方法
CN107656637A (zh) 一种利用手动选取四点的投影键盘的自动化标定方法
CN107907055B (zh) 图案投射模组、三维信息获取系统、处理装置及测量方法
US10705025B2 (en) Inspection device
CN108681209A (zh) 检测设备及方法、图案形成设备、获取方法和制造方法
WO2019080812A1 (zh) 一种帮助确认目标物体上的目标区域的装置及包括该装置的设备
WO2018062241A1 (ja) 検査装置
US10908095B2 (en) Inspection device
US20200338919A1 (en) Laser marking through the lens of an image scanning system
US10752017B2 (en) Laser marking through the lens of an image scanning system with multiple location image calibration
TWI504859B (zh) 拍攝並拼接物件影像的方法
JP6610487B2 (ja) 検査装置
JP6165069B2 (ja) 罫書き作業支援システム、罫書き作業方法及び機械加工部品
JP2019135572A (ja) バーコード読取装置、及びバーコード読取方法、プログラム
US20220381678A1 (en) Non-spatial measurement calibration methods and associated systems and devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R151 Written notification of patent or utility model registration

Ref document number: 6696385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees