JP2017138332A - マシンビジョンシステムのための最小コントラストを保証するための方法および装置 - Google Patents

マシンビジョンシステムのための最小コントラストを保証するための方法および装置 Download PDF

Info

Publication number
JP2017138332A
JP2017138332A JP2017081299A JP2017081299A JP2017138332A JP 2017138332 A JP2017138332 A JP 2017138332A JP 2017081299 A JP2017081299 A JP 2017081299A JP 2017081299 A JP2017081299 A JP 2017081299A JP 2017138332 A JP2017138332 A JP 2017138332A
Authority
JP
Japan
Prior art keywords
light source
contrast
vision system
machine vision
main light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017081299A
Other languages
English (en)
Other versions
JP6489149B2 (ja
Inventor
航一 木下
Koichi Kinoshita
航一 木下
ティアギ,アンブリッシュ
Tyagi Ambrish
ドリンカード,ジョン
Drinkard John
喜東 谷
Yoshiharu Tani
喜東 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of JP2017138332A publication Critical patent/JP2017138332A/ja
Application granted granted Critical
Publication of JP6489149B2 publication Critical patent/JP6489149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G1/00Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
    • G09G1/002Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/11Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

【課題】最悪のケースにおいてさえも最小検出能力を保証するために、環境および/または物体に対しいくらかの制限を強いることが要求される。
【解決手段】マシンビジョンシステムによって監視される体積を表現する領域内で最小物体コントラスト要求が満たされることを確認するための方法および装置を提示する。補完的に、本開示はまた、床からある最低高さにある監視される体積を照明するために使用されるライティング源の位置を制約し、監視される体積を撮像するために使用されるカメラに対し監視される体積内で非対称的なライティングを提供する主光源を使用するための方法を提示する。それに対応して、本開示はまた、主光源の適切な動作を監視し、不適切な動作に応答するための方法および装置を提示する。最小コントラストの確認および主光源の監視の動作は、スタンドアロンの装置を使用して実現され得るか、または、マシンビジョンシステムに組み込まれ得る。
【選択図】図2

Description

関連出願の相互参照
本願は、2012年5月14日に出願された米国仮出願第61/646,491の優先権を主張する。
本発明は、たとえば機械類の安全防護において使用される、画像ベースの(マシンビジョン)監視システムに関する。
一般的に、ビジョンシステムは、画素の明度のコントラストに依拠して物体を検出する。コントラストは、物体上のテクスチャ、物体と背景との間の異なる色、または物体表面の陰影、等によって引き起こされ得る。物体がその上に何のテクスチャも有しないこともあり、その色が背景の色と同様であることもあり、またはその形状および/またはライティング条件に依存して物体上に陰影が存在しないこともあるので、ある特定の仮説を立てることなしに、コントラストは保証されない。したがって、いくつかの特別なケースでは、ビジョンシステムは、コントラストの欠如に起因して物体を検出できないであろう。この問題は特に、機械の安全防護の分野での用途を有するビジョン監視システムのケースで顕著になる。
安全性用途のために、センサが指定されたその検出能力をあらゆる状況化で維持することが保証されなくてはならない。この保証は、最小サイズの物体が、しばしば「保護ゾーン」または「監視ゾーン」と呼ばれる、ユーザ定義のエリアまたは体積に入った場合に、それがある特定の最小確率でマシンビジョンシステムにより検出されることを意味する。最悪のケースにおいてさえも最小検出能力を保証するために、環境および/または物体に対しいくらかの制限を強いることが要求される。
一態様において、この開示は、マシンビジョンシステムによって監視される体積を表現する領域内で最小物体コントラスト要求が満たされることを確認するための方法および装置を提示する。補完的に、本開示はまた、床からある最低高さにある監視される体積を照明するために使用されるライティング源の位置を制約し、監視される体積を撮像するために使用されるカメラに対し監視される体積内で非対称的なライティングを提供する主光源を使用するための方法を提示する。それに対応して、本開示はまた、主光源の適切な動作を監視し、不適切な動作に応答するための方法および装置を提示する。最小コントラストの確認および主光源の監視の動作は、スタンドアロンの装置を使用して実現され得るか、または、マシンビジョンシステムに組み込まれ得る。
かくして、一実施形態において、装置は、マシンビジョンシステムの1つ以上の撮像センサによって見られる視野内の最小物体コントラストを確認するように構成される。この装置は、検査物体が視野内の最小コントラスト位置にある間の1つ以上の撮像センサによる視野の撮像に対応する画像データを処理するように構成された1つ以上の処理回路を備える。ここで、画像データは、強度画像データまたは3Dレンジデータであり、1つ以上の処理回路は、強度または3Dレンジデータを処理することに基づいて検査物体についてのコントラスト値を計算し、コントラスト値が予め定義されたしきい値によって表現され
る最小コントラスト要求を満たすかどうかを判定するように構成される。少なくとも1つの実施形態において、この装置は機能的に、マシンビジョンシステム内で統合され、それは、1つ以上の画像センサと、関連づけられた制御および処理ユニットとを備える。
別の実施形態において、装置は、主光源としての役割を果たす照明源を監視するように構成され、主光源からの照明は、マシンビジョンシステムの視野内の物体コントラストを向上させる。例示的な構成において、この装置は、マシンビジョンシステムの動作中、主光源の1つ以上の動作パラメータを監視するように構成された1つ以上のセンサと、1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定するように構成された評価ユニットと、制御ユニットとを備える。制御ユニットは、主光源からの照明の損失を検出することと、監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することとの少なくとも1つに応答して、1つ以上の情報または制御信号を生成するように構成される。
当然ながら、本発明は、上記の特徴および利点に限定されない。実際、当業者は、以下の詳細な説明を読み、添付図面を参照することにより、追加の特徴および利点を認識するだろう。
図1は、主光源からの照明を監視するために構成された装置であって、マシンビジョンシステムによって監視される、監視される体積内での最小物体コントラストを保証するために、光が使用される、一実施形態のブロック図である。 図2は、図1の照明監視装置についての例示的な詳細を示すブロック図である。 図3は、図1の照明監視装置についての例示的な詳細を示すブロック図である。 図4は、主光源に関する照明監視の方法の一実施形態の論理流れ図である。 図5は、マシンビジョンシステムの監視される体積内で最小物体コントラスト要求が満たされることを確認するための装置の一実施形態のブロック図である。 図6は、最小物体コントラスト要求が満たされることを確認する方法の一実施形態の論理流れ図である。 図7は、主光源の照明を監視し、最小物体コントラストを確認するための装置を機能的に組み込んだマシンビジョンシステムの一実施形態のブロック図である。 図8は、監視される体積内の照明および物体コントラストを特徴づけ、評価するのに使用される検査片のブロック図である。 図9は、たとえば危険な機械の周りの体積を監視するためのカメラおよびライティング源の潜在的に問題のある据え付けを示すブロック図である。 図10は、異なるライティング間隔についての、カメラの視野内の物体コントラストに関連するコントラスト関連分布曲線を示す図である。 図11は、監視される体積を照明するために使用される光源に対し非対称的に撮像センサを設置することに基づいて、監視される体積内の最小物体コントラストを保証するための、本明細書において教示される1つの技法を示すブロック図である。 図12は、撮像カメラによって監視される体積に対するライティングの非対称性を導入するために、撮像カメラの近傍に追加の光源を追加することに基づいて、監視される体積内の最小物体コントラストを保証するための、本明細書において教示される1つの技法を示すブロック図である。
この開示は、(1)物体についてのコントラストを保証するためのライティングレイアウト、(2)ライティング条件を監視するための方法および装置、(3)コントラストを
測定するための方法および装置を含む、いくつかの分野における有利な教示を提供する。これらのおよび他の利点が、少なくとも部分的には図1に示すような例示的な照明監視装置10の構成および動作によって、実現され得る。
1つ以上の実施形態における照明監視装置10は、主光源12としての役割を果たす照明源を監視するように構成され、主光源12からの照明は、マシンビジョンシステム14の視野内の物体コントラストを向上させる。視野は、一般的に「監視される体積16」と呼ばれる、監視されるエリアまたは体積16を定義する。監視される体積16は、非限定的な例において、危険な機械またはエリア18の周りの領域またはゾーンとして理解されることができ、マシンビジョンシステム14は、たとえば機械の停止または他の防護関連動作をトリガするために、監視される体積16への人間または他の物体による侵入を検出するように構成される。その体積監視の役割を果たすために、マシンビジョンシステム14は、例示的な実施形態において、監視される体積16の三次元(3D)撮像のために構成された立体カメラのような1つ以上の画像センサ20を含む。
それに対応して、主光源12の監視におけるその役割を果たすために、例示的な実例における照明監視装置10は、マシンビジョンシステム14の動作中、主光源12の1つ以上の動作パラメータを監視するように構成された1つ以上のセンサユニット22を含む。このように、照明監視装置10は、監視される体積16内の任意の物体のコントラストを向上させる照明を提供するその役割に影響する主光源12の故障または障害を検出するための機構として理解され得る。次に、1つ以上の実施形態において、主光源12は、視野を撮像するためにマシンビジョンシステム14によって使用される画像センサ20の最も近くに設置された照明源として理解され得る。
図2は、さらに例示的な詳細にわたり照明監視装置10を示す。ここで、照明監視装置10は、評価ユニット30、制御ユニット32を含み、任意で検査および通信回路34を含む。評価ユニット30は、主光源12の1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定するように構成される。それに対応して、制御ユニット32は、主光源12からの照明の損失を検出することと、監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することとの少なくとも1つに応答して、1つ以上の情報または制御信号を生成するように構成される。
上記機能をサポートする上で、センサユニット22が、評価ユニット30による評価のために、検知された照明パラメータについての1つ以上の信号を提供する、ということが理解されるだろう。さらに、評価ユニット30は、主光源12が監視されたパラメータのいずれについて仕様を満たしていないかを表示する、離散信号、デジタルデータ、等であり得る1つ以上の評価信号を、制御ユニット32に出力する。かくして、制御ユニット32は、評価ユニット30からの表示に応答して動作を起こすものとして理解され得る。それは、「機械停止」信号、アラーム信号、保全信号、ステータス表示、等といった、制御および/または通信信号を出力し得る。
任意の検査および通信回路34は、制御ユニット32から、1つ以上のそのような信号または関連する内部信号を受信し得、それは、評価ユニット30および/またはセンサユニット22とインターフェース接続し得る。少なくとも1つの実施形態において、検査および通信回路34は、照明監視装置10にネットワーク通信能力を提供する。たとえば、照明ステータス情報が、ネットワーク通信によって提供され得る。
主光源12の監視されたパラメータに関し、1つ以上の実施形態において、センサユニット22は、主光源12の照明強度と、主光源12の変調位相または周波数と、の1つ以上を監視する。主光源12の変調位相または周波数が監視されたパラメータの1つである
場合において、1つ以上の実施形態における制御ユニット32は、その画像の取得を主光源12の変調周波数または位相と同期させるためにマシンビジョンシステム14により使用され得る、主光源12の監視された変調周波数または位相に追従する周波数表示または位相表示信号を生成するように構成される。対応する例示的な構成において、マシンビジョンシステム14は、マシンビジョンシステム14の1つ以上の画像センサ20の露光を制御するために、周波数表示または位相表示信号を使用することによってその画像の取得を同期させるように構成される。たとえば、マシンビジョンシステム14は、画像センサ20が主光源12の変調サイクルの高位相中に露光するよう画像センサ20を制御するために、照明監視装置10からの周波数表示または位相表示信号を使用する。
照明監視装置10が制御ユニット32によって出力される情報または制御信号の1つ以上として機械停止信号または他のセーフティクリティカル信号を生成するように構成される実施形態において、制御ユニット32は、評価ユニット30が主光源12の照明強度が予め定義された照明強度しきい値を下回っていることを検出することに応答して、そうするように構成される。照明監視装置10が制御ユニット32によって出力される情報または制御信号の1つ以上として1つ以上の保全または警告タイプの信号を生成するように構成される実施形態において、制御ユニット32は、評価ユニット30が主光源12の1つ以上の監視されたパラメータの1つ以上が正常限界外であることを検出することに応答して、そうするように構成される。
図3は、評価ユニット30および制御ユニット32を実装するデジタル処理回路40の使用といった、照明監視装置10についてのさらなる例示的な実装の詳細を示す。一例において、デジタル処理回路30は、マイクロコントローラ、DSP、等といった1つ以上のデジタルプロセッサを備え、監視プログラム命令44および評価パラメータしきい値またはレンジ46を記憶するプログラムおよびデータメモリ42または何らかの他のコンピュータ可読媒体を含むか、またはそれらに関連づけられる。かくして、1つ以上の実施形態におけるデジタル処理回路40は、記憶されたコンピュータプログラム命令44のその実行に基づいて、本明細書に開示される主光源監視動作を実行するように構成され、それは、記憶された測定しきい値またはレンジ46に対し測定された主光源パラメータを評価し得る。
それが図3に示すように実装されるにせよそうでないにせよ、図4は、照明監視装置10が実行するように構成され得る例示的な方法400を示す。方法400は、主光源12としての役割を果たす照明源を監視することを提供し、主光源12からの照明は、マシンビジョンシステム14の視野内の物体コントラストを向上させる。方法400の例示された実施形態は、マシンビジョンシステム14の動作中、主光源12の1つ以上の動作パラメータを監視すること(ブロック402)と、1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定すること(ブロック404)と、主光源12からの照明の損失を検出することと監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することとの少なくとも1つに応答して、1つ以上の情報または制御信号を生成すること(ブロック406)とを含む。
したがって、照明監視装置10は、監視される体積16の不適切な照明が検出されることを保証し、少なくとも1つのそのような実施形態において、適切な対応する動作が照明の検出に応答して起動されることを保証するように構成されるものとして、広く理解され得る。1つの例示的なケースにおいて、主光源12は、主光源12の適切な動作が、監視される体積16における物体が最悪のケースの検出シナリオにおいてさえ十分なコントラストを有することを保証するように、非対称的なライティングを提供するか、またはそうでなければ、監視される体積16を撮像するためにマシンビジョンシステム14によって使用される1つ以上の画像センサ20の相対的近くに設置される。
たとえば、評価ユニット30は、主光源12によって出力された光の1つ以上の監視された特徴が所望のパラメータ内にあるかどうかを判定するために、デジタルまたはアナログかつ比例的または階段状/非線形的であり得るセンサユニット22からの単数または複数の出力信号を評価するように構成される。非限定的な例は、光強度に比例したアナログ信号を最小許容照明に対応する定義されたしきい値電圧と比較することを含む。同様に、センサユニット22または評価ユニット30は、最小強度レベルに対応するデジタルワードとの比較のために、強度信号をデジタル化する。周波数カウンタ、フィルタ回路、位相検出回路、等が、主光源12の1つ以上の他の特徴を監視するために、評価ユニット30の1つ以上の実施形態にさらに含まれる。
特定の例において、評価ユニット30は、変調周波数が正常な目標変調周波数の指定されたレンジ内にあることを保証するために、主光源12の変調周波数を監視する。少なくとも1つのそのような実施形態では、測定された周波数および位相情報が、マシンビジョンシステム14によって使用されるカメラベースの画像センサ20のための露光タイミングをトリガするために使用される。そのようにすることは、監視される体積16を照明する1つ以上の変調光源によってもたらされ得るコントラストの劣化を制限する。
照明監視装置10のコア照明監視特徴に関し、制御ユニット32は、評価ユニット30からの評価結果、たとえば、離散論理信号、またはデジタルワード、またはアナログ信号、または何らかの他のインジケータを受信するように構成される。制御ユニット30は、主光源12が故障していること、またはそうでなければ定義された動作レンジ外で動作していることを評価ユニット16から認識するように構成される。複数の故障タイプ、たとえば、非常に低い光強度、レンジ外の変調周波数、等が存在し得る。
一実施形態における制御ユニット30は、評価ユニット30によって表示されたイベントの重大度を、たとえば、監視された光強度が第1のしきい値まで下がると保全アラートをトリガし、続いて、監視された光強度がより低い第2のしきい値まで下がるとアラームおよび/または機械停止制御信号を起動することにより差別化することができるほど、高性能化されている。この点について、1つ以上の実施形態における評価ユニット30がマルチしきい値監視を使用するように構成されることが理解されるだろう。
照明監視装置10のデュアルチャネルの実施形態において、安全性の完全性を保証するために、評価ユニット30および/または制御ユニット32からの冗長な出力が使用される。安全性および体積監視設備の全体的な完全性をさらに改善するために、照明監視装置10はさらに、最小コントラスト確認能力を含み得る。すなわち、その処理およびセンサ回路は、監視される体積16内で最小物体コントラスト要求が満たされることを確認するために必要とされる検知および処理能力を含み(または、マシンビジョンシステム14から借用し)得る。
当然ながら、そのような機能は、照明監視装置10とは別個に実装され得、および/または、照明監視装置10がマシンビジョンシステム14に統合されるか否かに関わらず、マシンビジョンシステム14内に統合され得る。かくして、議論の明確性のために、図5は、スタンドアロンか、照明監視装置10の一部か、および/または、マシンビジョンシステム14の一部であり得る、最小コントラスト確認装置50の例示的な実施形態を示す。簡潔性のために、最小コントラスト確認装置50は、「コントラスト確認装置50」と呼ばれる。
それらが統合されるにせよそうでないにせよ、照明監視装置10およびコントラスト確認装置50は共に、監視される体積16をマシンビジョンシステム14によって監視する
ために使用されるライティング構成を初期化し、確認するための方法を実行する。すなわち、上述した主光源監視方法400および照明監視装置10の関連づけられた例示的な実施形態に加え、マシンビジョンシステム14の1つ以上の撮像センサ20によって見られる視野内の最小物体コントラストを確認することもまた、本明細書において意図される。
注意されるように、図5は、画像処理ユニット54を実装するデジタル処理回路52を含む、コントラスト確認装置50についての例示的な実装の詳細を提供する。デジタル処理回路52はさらに、インターフェースおよび通信ユニット56と、デジタル処理回路52による実行のためのコントラスト確認プログラム命令60を記憶するプログラムおよびデータメモリ58または何らかの他のコンピュータ可読媒体とを含むか、またはそれらに関連づけられる。
確認装置50はかくして、検査物体が視野内の最小コントラスト位置にある間の、1つ以上の撮像センサ20、たとえばカメラ、による視野の撮像に対応する画像データを処理するように構成された1つ以上の処理回路を備えるものとして理解され得る。すなわち、処理されている画像データが、監視される体積16の「ライブ」供給を表現するにせよ、または以前に取り込まれた画像データを表現するにせよ、画像データは、監視される体積16内の最小コントラスト位置に位置する検査物体を取り込む。
その点について、画像データは、強度画像データまたは3Dレンジデータを備える。それに対応して、確認装置50の1つ以上の処理回路は、画像データ処理に基づいて検査物体についてのコントラスト値を計算し、そのコントラスト値が、プログラムおよびデータメモリ58に記憶され得る予め定義されたしきい値62によって表現された最小コントラスト要求を満たすかどうかを判定するように構成される。
画像処理ユニット54による処理のために3Dレンジデータが使用されるケースにおいて、検査物体についてのコントラスト値は、最小コントラスト位置にある検査物体に対応する3Dレンジデータの有無と、たとえば検査物体の表面の広がりに対応する画素位置での3Dレンジデータといった検査物体についての3Dレンジデータの密度および/または統計的特性(たとえば、分散)と、の少なくとも1つに基づいて判定される。
マシンビジョンシステム14の撮像センサから画像ストリームを受信することに加えて、または代えて、インターフェースおよび通信ユニット56は、最小コントラスト確認処理のための画像データを受信するように構成された1つ以上のインターフェース回路を含み得る。そのような配列は、たとえば、コントラスト確認装置50がマシンビジョンシステム14と別個に実装されることを可能にし、または少なくとも、コントラスト確認装置50が必ずしも画像センサ20から流れてくる撮像データへの直接的なアクセスを必要としない場合にコントラスト確認装置50がよりフレキシブルに実装されることを可能にする。さらに、インターフェースおよび通信ユニット56は、最小コントラスト要求が満たされるかどうかを表示する1つ以上の信号を記録またはそうでなければ出力するように構成され得る。
図6は、コントラスト確認装置50によって実行される、対応する確認方法600を示す。実例において、方法600は、検査物体が視野内の最小コントラスト位置にある間に1つ以上の撮像センサによって取得された画像データを処理すること(ブロック602)を含み、さらに、そのような処理に基づいて検査物体についてのコントラスト値を計算すること(ブロック604)を含む。さらにまた、方法600は、コントラスト値が予め定義されたしきい値によって表現される最小コントラスト要求を満たすかどうかを判定すること(ブロック606)を含む。加えて、その実現に依存して、方法600は、最小コントラスト要求が満たされるかどうかに依存した1つ以上の信号を生成すること(ブロック
608)を含み得る。
一実施形態では、ガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストを表現し、
Figure 2017138332
として定義され、ここで、I_maxおよびI_minはそれぞれ、検査片の画像における最大および最小の強度値であり、コントラスト値を計算すること(ブロック604)は、検査物体についてのガンマを計算することを備え、最小コントラスト要求が満たされるかどうかを判定すること(ブロック606)は、ガンマを予め定義されたしきい値と比較することを備える。
照明監視装置10について注意したように、コントラスト確認装置50は、マシンビジョンシステム14に統合された1つ以上の機能処理回路として実装され得る。この配列は、多数の点で有利である。たとえば、マシンビジョンシステム14はすでに、1つ以上の画像センサ20を含むか、またはそれらに関連づけられ、それは、関連づけられた制御および処理ユニット、たとえば、視野についての画像センサデータを処理し、対応する画素の強度および/または3Dレンジデータを判定するようにすでに適合した画像処理回路、を含む。
実際、照明監視装置10および確認装置50は、共に実装されることができ、それらの一方または両方が、マシンビジョンシステム14全体に機能的に組み込まれることができ、そのケースを例として図7に示す。ここで、マシンビジョンシステム14は、主光源監視のための上述した照明監視装置10(図では「IMA10」と示されている)とコントラスト確認装置50(図では「CVA50」と示されている)とを含む。例示的なマシンビジョンシステム14はさらに、主光源監視のためのセンサユニット22と、たとえば監視される体積16の立体的な3D撮像のための、図ではカメラ70−1および70−2として示された、1つ以上の画像センサ20とを含むか、またはそれらに関連づけられる。
IMA10およびCVA50の動作を実行するための処理は、マシンビジョン制御/処理ユニット72内で実現され得、それ自身は、マイクロコントローラおよび/またはDSP、FPGA、等といったデジタル処理回路と、サポート回路とを備え得る。そのような回路はさらに、カメラ70からの生の画像データを処理するために構成された画像取得回路74を含み、それは、処理された画像データをマシンビジョンシステム14の動作の確認モード中に最小コントラスト確認のためにCVA50に供給し得、それはまた、監視される体積16についての画像データを画像処理および3Dレンジング回路76に供給する。回路76は、監視される体積16に関する物体検出処理を提供するものとして理解され、機械制御および通信回路78は、物体検出、主光源監視、および最小コントラスト確認の文脈において、制御および通信シグナリング、たとえば、アラーム、機械停止制御、等を提供するように構成されるものとして理解されるだろう。
少なくとも1つのそのような実施形態では、監視される体積16を照明するために使用されるライトが、それらの意図された場所に設置され、3D検査片、たとえば、低テクスチャの球形が、監視される体積16のさまざまな場所へと移動させられる間に、少なくともコントラスト確認装置50を統合したマシンビジョンシステム14が、監視される体積16を撮像し、検出されたコントラストレベルを評価する。
代替例であるが同様の実施形態では、図8に示すような「検査片」80が、特に、コントラスト確認における使用のために構成される。たとえば、検査片80は、光センサ82のアレイを保持し、それは、監視される体積16の中に設置されたときにそれが受ける照明に対応する光測定信号を提供するか、または、それは、そのような光測定から導出された信号を提供する。この点について、検査片80は、処理された出力を提供し得るか、または、光センサ82のアレイによって生成された照明信号についての前処理を少なくとも提供し得る、処理回路84を含むか、またはそれに関連づけられる。
次に、コントラスト確認装置の画像処理ユニット54は、検査片からの光測定情報を評価することによってコントラストを推定するように構成される。同様に、1つ以上の実施形態における照明監視装置10の評価回路30は、検査片80とインターフェース接続するように構成される。かくして、ライトが、監視される体積16に対し最小コントラスト確認のために配置されると、確認装置50または照明監視装置10が、オペレータによって使用され得る。
別の実施形態では、同一の機能がマシンビジョンシステム14に統合され、マシンビジョンシステム14は、マシンビジョンシステム14が、監視される体積16内のさまざまなまたは少なくとも最悪のケースの場所からの検査片80の画像を処理し、検出されたコントラストを定義された最小コントラストレベルと比較する、「構成」または「確認」モードを含むように構成され得る。
そのような統合は、特に、マシンビジョンシステム14が、セーフティクリティカル動作のために構成され、デュアルチャネル監視および処理、および/または、照明監視装置10によって提供される照明監視機能のセルフチェック/セルフ検査、および/または、最小コントラスト確認を可能にする、他の形態の動作確認検査を含む、ケースにおいて、ある特定の利点を有する。別の実施形態において、照明監視装置10は、物体の侵入について監視される体積16を監視することを担うマシンビジョンシステム14と別個に実装されるが、機械の停止または他の動作をトリガするためにマシンビジョンシステム14によって使用される、マシンビジョンシステム14へのシグナリング、たとえば、主光源故障および/または警告シグナリングを提供する。そのような実施形態において、照明監視装置10は一般的に、機械の停止および/または他の制御動作のためのそれ独自の制御出力を有するだろう。
上記緩和および確認をよりよく理解するために、強度Iを有する点光源によって照明された、均一拡散(ランバートの)反射率を有する任意の凸状の本体の表面素子の明度が、式1によって与えられることを考慮する。
I(φ)=I×cos(φ) (1)ここで、φは、光源と表面素子とを結ぶ線によって作られる、表面素子の法線ベクトルに対する角度を表す。式から理解されるように、明度は、表面素子上の照明の方向に依存する。
当然ながら、マシンビジョンシステム14のために、検査物体上に作り出されるコントラストは、検出精度を決定する際の重要なファクターである。本明細書において前述したように、メトリックのガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストの概念を取り込むために使用され得る。前出のごとく、
Figure 2017138332
であり、ここで、ImaxおよびIminはそれぞれ、検査片の画像上の最大および最小強度値である。なお、上記式の分子は、コントラストを表す。メトリックγは、検査片の2D投影エリア全体にわたって定義される。すなわち、γは、所与の検査片の投影された表面全体にわたって測定された最大および最小の強度から計算される。
直観的に、球形の検査片について、メトリックγは、光源の指向性の尺度として理解され得る。たとえば、検査片がすべての側面から均等かつ一様に照明された場合、検査片上の最小および最大の強度は、極めて類似するだろう。これは、極めて小さなコントラスト、また、極めて低いγ値、という結果を生じるだろう。それゆえに、γは、一様または均一なライティング条件では低い。もう一方で、球形の検査片が指向的な光源(たとえば、スポットライト)によって照明された場合、検査片上の測定されるコントラストは、(検査片上の最も明るいおよび最も暗い可視部間の差が大きいであろうから)極めて高いだろう。結果として、測定されるγ値は、極めて高いだろう。
したがって、より大きな割合の指向的なライティングコンポーネントを一般的に有するライティング構成が、より高いγという結果を生じるだろう。さらに、メトリックγは照明条件に依存するので、それは、大きな監視される体積16にわたって大幅に変化し得る。しかしながら、γの局所的な変化は一般的に滑らかである。典型的なライティング状況は十分なコントラストを生み出すので、テクスチャのない球形の検査片上にほとんどのケースについて許容できるγを提供する。
しかしながら、最悪のケースの検査片が、あらゆる側面から一様に照明されるのみである一方で、上部からの照明を全く欠如している(画像センサ20もまた上部から検査片を臨むと想定)、異常なライティングのケースが考えられ得る。このライティング構成下では、球形の検査片のより暗い部分(境界)は、より明るく見え、典型的により明るい表面(上部)は、より暗く見え得るので、低コントラスト状況、それゆえに、許容できないほど低いγ、を作り出す。そのような条件は、実世界の状況において滅多にありそうもなく、本開示の目的の1つは、そのような異常なケースを定義し、排除することである。
検査物体90についてのメトリックγが空間にわたって変化する照明について、図9を参照する。γの分布は、カメラから検査片までの距離の関数である。カメラ70が、2つの同様の強度の光源92−1および92−2の中間にセットされる。検査片90についてのγの値は、物体の距離zに応じて変化する。検査片90が相対的にカメラ70の近くにある(そして、光源92から等距離である)場合、その側面は、その上部と同じくらい明るく、それは、検査片90を通る水平な中心線上で測定した場合にγの小さな値という結果を生じる。かくして、本明細書における教示の一態様は、監視システムの保護体積がそのような低γ領域を包含しないことを保証するための条件および/または要求を定義する。ここで、当業者は、「保護体積」という用語が、たとえば、物体の存在または侵入が所与の監視システムによって監視される体積のことを言うものであることを認識するだろう。
以下のセクションにおいて、この開示は、適切なライティングについてのこれらのおよび他の要求を完全に取り込んだ構成の具体的な方法を提示する。特に、とりわけ、この開示は、(a)低コントラスト(ガンマ)状況の回避を保証するためのライティングレイアウトについての要求、(b)(a)における要求が満足され、適切なコントラストが監視される体積において利用可能であることを保証するためのセットアップ中の構成ステップ
(および関連する装置)、(c)主光源12を監視することによって保護体積がランタイム中(据え付け後)に十分なコントラストを維持することを保証するための方法および装置を提供する。
危険な機械またはエリアの周りの監視される体積16において床の高さまたは床の近傍の高さで良好な物体コントラストを維持することが特に重要である。それに対応して、低ガンマγの領域が主に2つの理由のために床の近傍で生じることが本明細書において観察される。すなわち、床により近い、より低い高さの監視される体積16のための光源92の据え付け、または、最も近傍の光源92からの相対的に長い距離におけるカメラ70の配置である。
光源92の最低の高さについての制限を設けることは、一つ目の問題を有効に防止する。しかしながら、ライティングの高さの制限は、不適切なカメラの配置という二つ目の問題に対応しない。ライト92とカメラ70との間のより大きな隔たりは、相対的に床により近い距離での低γ領域という結果を生じる。そのようなケースにおいて、検査片90の上部は、検査片90の側面よりも暗くなるであろうし、それゆえに低コントラスト条件を作り出すだろう。
図10は、いくつかの異なるライティング間隔についてのγの分布を示し、ここで、「ライティング間隔」は、規則的な格子上に配置された2つの隣接するライト92間の直線(またはシティブロックまたはマンハッタンまたはミンコフスキーL)距離を意味する。ライティング間隔が増加すると、危険な低γ領域が、カメラ70から離れたところへ、かつ、安全防護される必要のある(床の近傍の)よりクリティカルな体積のより近くへと移動することが図面から理解される。
上記問題への1つの対応策は、監視される体積16のカメラの撮像に対し対称なライティングを乱すことを含む。非対称性は、ライト92の1つのより近くに、たとえば、ライト92−1と比較してライト92−2のより近くに、カメラ70を据え付けることによって導入され得る。この配列は、図11に示され、そうでなければ床の近傍で生じたであろう低ガンマ領域を防止するための1つの有効な対応策である。すなわち、ライト92についての対称軸から離れたところにカメラ位置をセットすることにより、カメラ70は、この軸上に配置された検査片90を斜方向の見晴らしのきく点から臨むだろう。
そのようなケースにおいて、カメラ70は、球体の上部および下部の側面を同時に見ることができる。しかしながら、球体のより低い側面は普通、上部よりもはるかに暗いので、結果として生じる画像は、カメラ70がライティング対称軸上に配置された場合と比較してより高いコントラストを有するだろう。あるいは、同一の効果が、図12に示すようにカメラ70の隣に追加のライト92を据え付けることによって達成され得る。この新たなライト92は、ライティングの対称性を乱すとともに良好なコントラストをもたらし、それは、「主光源12」の前述した役割を果たすものとして理解され得る。
それゆえに、本明細書において教示されるイノベーションの中で、ライティングおよびカメラのレイアウトを制約することに基づいて監視される体積16における低コントラスト状況を防止するための方法が提示される。制約は、(a)据え付けられたライトの床からの最低の高さを保証すること、(b)監視される体積16を照明するために使用されるライト92の1つのより近くにカメラ70を据え付けること、または、カメラ70のより近くに1つ以上の追加のライトを据え付けること、に基づいて、監視される体積16を撮像するために使用されるカメラ70に対し非対称的なライティングを導入することを含む。カメラ70の最も近くに設置されるライト92、すなわち、ライティングの非対称性をもたらすライト92は、主光源12と呼ばれ、監視される体積16を監視するために使用
されるマシンビジョンシステム14のライブ動作中に監視され得る。
すなわち、主光源12の使用が監視される体積16内の最小検出能力を維持するために不可欠であることが本明細書において認識され、したがって、任意の低下または故障について主光源12をアクティブに監視する必要があることがさらに認識される。かくして、先に詳述したように、主光源12を監視し、それが許容できる動作条件におけるものであることを保証し、それによって監視される体積16内の物体についての良好なコントラストを保証するために、照明監視装置10またはそのような機能を組み込んだマシンビジョンシステム14を使用することが、本明細書における教示の別の態様である。
主光源監視のために使用される、図1〜3に示すセンサユニット22は、主光源12の近傍に設置され、その光出力をアクティブに監視するために使用される、CMOSまたはCCD、フォトダイオード、フォトトランジスタ、フォトレジスタ、または他の感光性素子であることができる。光監視装置10の先の議論において注意したように、センサユニット22は、その光監視信号または他のそのような検出出力を、図2および図3に示すような評価ユニット30に提供する。次に、評価ユニット30は、たとえば光パワーの低下(たとえば、トリガ点または定義されたしきい値を下回る)を検出することによって、主光源12の光出力の顕著な低下を検出し、それに対応して制御ユニット32に信号を送るように構成される。例示的な構成において、制御ユニット32は、たとえば、危険な機械を停止すること、または、事故を防止するようユーザにアラームを発することによる、適切な応答を行う。
センサユニット22、評価ユニット30、および制御ユニット32は、それらの間のシグナリング接続を伴って別個に実装され得るか、または、これらのユニットの2つ以上が共に統合されることができ、たとえば、評価および制御ユニットが、主光源12に適度に近接して配置された検知ユニット22への有線または無線接続を伴って共に統合されることができる。統合のレベルとは無関係に、さまざまなユニットが照明監視装置10とみなされることができ、機能が、離散回路、固定処理回路、プログラマブル処理回路、またはそれらの任意の組み合わせを使用して実現され得る。
セーフティクリティカルの態様がまた、照明監視装置10の1つ以上の実施形態において対処される。たとえば、照明監視装置10は、主光源12が適切に監視されていることを保証するために、検知ユニット22(およびそれへの接続)の動作条件を検査またはそうでなければ識別するように構成され得る。さらに、先に注意したように、照明監視装置10の1つ以上の実施形態は、位相および周波数といった主光源12の他の特性を測定するように構成される。これらの他の主光源の特徴の監視は、監視される体積16を照明するために使用されるライト92がある特定の周波数および振幅で変調される状況において有用である。
照明監視装置10およびその使用に伴ういくつかの利点およびイノベーションの中には以下の項目がある。(1)潜在的に低コントラスト状況が生じることを防止し、または、低コントラスト状況がいつ生じたのかを少なくとも検出するために、主光源12がアクティブに監視されるので、適切な動作(たとえば、保全信号、アラーム信号、機械停止起動信号をアサートにすること、機械停止リレーを制御すること、等)が行われることができ、(2)本明細書に開示された主光源監視のための技法は、たとえば、放射照度および光の位相(該当する場合)のライブ監視のために主光源12の近くにセンサを配置することに基づいて、コスト効率が良く、信頼性が高い。
危険な低コントラスト領域が初期設定時に存在しないことを保証するために、保護体積の照明および監視のためのセットアップ中、実際のシーンにおいてコントラストおよびγ
を測定可能であることが重要である。セットアップ時のコントラストおよびγのレベルが十分である場合には、それらは、主光源12が存在し、適切に機能している限り、任意の光源の追加または除去によって維持または改善されるだろう。
主光源12以外のライトをオフにすることは、初期の条件と比較してライティングの真指向性を増大させ、それゆえにγの増大を有効にもたらすだろう。よって、初期のシーンライティングが最小γ要求を満たす限り、危険な状況(すなわち、低コントラスト)は、既存の光源の除去により、結果として生じないだろう。しかしながら、なおも、光源の除去(またはスイッチオフ)は、シーン明度を最小レベルよりも下に減じ得る。そのような低明度条件は、単純な方法(たとえば、撮像カメラ70についての画素明度レベルを監視すること)によって検出され得る。最小(だが、クリティカルではない)γ領域は、監視される体積16内の他の場所に移動し得、いくらかの程度までのγの低減をもたらし得るが、主光源12がオンである限り、異常なライティング構成は現れないであろうし、新たなクリティカルなγ領域は監視される体積16において出現しないだろう。
もう一方で、追加の光源を追加することは、いくつかのケースにおいてγを低減し得、それは、極限の状況において危険な状況をもたらし得る。異常なライティング条件と呼ばれるこれらの条件は、カメラ70に対し監視される体積16の外に対称的に配置された複数の強い光源を追加する結果として生じ得る。そのようなケースは滅多に起こりそうにないが、ユーザがそのような構成を回避することが要求される。このセクションにおいて説明されたセットアップ確認方法は、この条件が構成時に生じないことを保証する。さらに、上述した異常なライティング条件とは対照的に、監視される体積16の周りにライトを追加することは、それらがライティングの真指向性を追加するであろうから、γを増大させる傾向があるであろうし、それゆえに、危険な(低γまたはコントラストの)状況をもたらさないであろう。
前述したように、コントラストは、ライティング条件、照明される物体の3D形状、およびカメラ70の見晴らしのきく点によって影響される。3Dの球体上でのコントラスト測定値を得るために、同一の外形を有する検査片90、すなわち3Dの球体が用いられ得る。
例示的な測定処理は以下のように説明される。
1)γの測定が必要とされる位置に検査片を配置する。
2)所望のまたは計画された位置に取り付けられたカメラを使用して画像を取り込む。
3)検査片の画像投影を表す領域が手動または自動のいずれかで選択される。
4)最大および最小の強度(ImaxおよびImin)が選択された領域内で得られる。
5)γの値が式(2)に従って計算される。
さらに、ライティングのレイアウトおよび物体の形状によってのみもたらされる真のコントラストの変化を得るために、検査片90の表面は拡散するものでなくてはならない。
γを測定するための別の方法は、光検知素子82のそのアレイを有する図8に示す検査片80のような球形の検査片上に分布した、センサアレイを作り出すことを含む。これらの複数の光検知素子82は、球形の検査片80の表面上にアラインメントされ、複数の方向からの光を受け取り、光パワーに依存して処理ユニット84に適切な信号を送る。入来信号は、光照射野の分布を包含するであろうし、球体上の有効コントラストを算出するた
めに処理ユニット84によってさらに処理され得る。そのような装置はまず入来信号を、それらが入来放射照度、すなわち、球体上に落ちる光、に対する関係を維持するように変換する。続いて、γが以下の式によって計算される。
Figure 2017138332
ここで、SmaxおよびSminはそれぞれ、光検知素子82からの最大および最小の変換信号である。この方法において、球形の検査片80の上部は、γの正しい測定値を得るためにカメラ70のほうに向けられるべきである。
かくして、さらなる態様において、この開示は、体積監視のために使用されるライティング構成の初期化および確認のための方法および装置を提示する。本開示のこの態様のための革新的なエレメントは、以下の項目、すなわち、(1)3D形状の検査片と据え付けられたカメラからの取り込まれた画像とを使用することによってγを測定する方法、および/または、(2)特に適合した球形の「検査物体」の表面上に分布した光センサのアレイによってγを測定するための方法および装置を含むが、これらに限定されない。
ステレオ相関が良好に機能し、撮像されているシーン内のダイナミックレンジバイオレーションを回避するために、マシンビジョンシステム14は、シーン画像を取得するために使用されるカメラ70のダイナミックレンジを超えるハイダイナミックレンジ(HDR)画像を要求し得る。要求されたダイナミックレンジを達成するために、マシンビジョンシステム14は、2つ以上のカメラの露光を組み合わせてハイダイナミックレンジ画像を生成するように構成され得る。この処理は、HDR融合と呼ばれる。
実施形態の一例において、HDR画像融合のための主なステップは、製造段階時に要求される逆カメラ応答関数(CRF)、g:Z→Rを回復するためのキャリブレーション特徴づけステップを含む。非限定的な例として、gの領域は、(Zによって表される)0−1023からの10ビット(画像データ解像度)整数レンジングである。レンジは、実数の集合Rである。HDR画像融合はさらに、異なる(既知の)露出で撮られた画像を組み合わせて放射照度画像Eを作り出すためにCRFが使用される、ランタイム融合ステップと、回復された放射照度画像が対数演算子を使用してトーンマッピングされる、トーンマッピングステップとを含む。トーンマッピングステップは、融合ステップの自然な結果として理解されることができ、トーンマッピングされた画像は、たとえば、マシンビジョンシステム14のための図7に示す画像処理および3Dレンジング回路76に実装され得るステレオ画像プロセッサ(SVP)への供給のために、12ビット強度画像に再マッピングされる。
CRFを回復するためのいくつかの異なるキャリブレーション/特徴づけアルゴリズムが、P.Debevec and J.Malik,“Recovering High
Dynamic Range Radiance Maps from Photographs”,SIGGRAPH 1998およびT.Matsunaga and S.Nayar,“Radiometric Self Calibration”,CVPR 1999の著作を含む文献において提案されている。
各画素について、有効放射照度は、
Figure 2017138332
として算出される。ここで、w:Z→Rは、重み付け関数(たとえば、ガウシアン、ハット、等)であり、g:Z→Rは、逆カメラ応答関数であり、I、t、I、およびtはそれぞれ、低露光および高露光フレームについての、測定された10ビット強度および露出時間である。
球形の検査片の表面からの放射輝度マップを考慮する。LmaxおよびLminが、球体の最も明るい部分および最も暗い部分からの放射輝度を表すものとすると、単一の露光におけるコントラストは、C=Lmax−Lminとして定義される。メトリックγは、この放射輝度マップを結果として生じるシーンにおけるライティング分布を取り込み、先に説明したように、光の分布および検査片の形状の関数であるのみである。また、放射輝度Lを有するシーン素子を臨む画素上の放射照度(入来光)の量EはLに比例し、すなわち、E=ηLである。
取り込まれたHDR対数放射照度画像lnEにおける明示されたコントラストCは、
Figure 2017138332
である。ここで、シーンが、ある変調周波数、たとえば120Hzの、変調光源によって照明されると想定する。また、振幅減衰係数αが変調サイクルにわたる任意の点での光強度の変化の割合を定義するものとする。最悪のケースにおいて、特定のシーン素子は、異なる露光による2つの連続したフレームにおける放射輝度LおよびαLを明示し得る。検査片の上部に対応する低露光フレームおよび高露光フレームで測定された放射照度をそれぞれEmaxおよびαEmaxとすると、融合後、対応する放射照度は、(対数放射照度領域において)
Figure 2017138332
によって与えられる。同様に、検査片の側面に対応する低露光フレームおよび高露光フレームで測定された放射照度をそれぞれEminおよびαEminとして表す。かくして、融合後、対応する放射照度は、(対数放射照度領域において)
Figure 2017138332
によって与えられる。
それゆえに、対数領域におけるコントラストは、
Figure 2017138332
および
Figure 2017138332
であるので、
Figure 2017138332
として書かれることができる。
したがって、
Figure 2017138332
であり、ここで、
Figure 2017138332
である。
式4によって示されるごとく、βlnα>0を保つことにより、物体についての有効コントラストを増大させることができる。有効コントラストが劣化しないことを保証するために、マシンビジョンシステム14は、低露光フレームの露光時間を光の位相に同期させ、高い(すなわち、放射照度がサイクルの平均放射照度よりも大きい)変調サイクル期間中のみに露光するように構成され得る。この技法はまた、(異なる位相を有する)2つ以上の変調光源が存在するケースにおいて最小コントラストを維持するのにも有効である。この点について、主光源12の変調位相および周波数は、本明細書の他の箇所で教示したように監視され得る。
特に、開示された発明の変更および他の実施形態が、上述した説明および関連づけられた図面に提示された教示の恩恵を有する当業者によって想起されるだろう。したがって、発明が開示された特定の実施形態に限定されないこと、変更および他の実施形態がこの開示の範囲内に含まれるように意図されることが理解されるべきである。特定の用語が本明細書において用いられ得るが、それらは、一般的かつ説明的な意味で使用されたものにすぎず、限定を目的としたものではない。

Claims (23)

  1. マシンビジョンシステムの1つ以上の撮像センサによって見られる視野内の最小物体コントラストを確認する方法であって、
    検査物体が前記視野内の最小コントラスト位置にある間に前記1つ以上の撮像センサにより取得された画像データを処理することであって、前記画像データは強度画像データまたは3Dレンジデータである、処理することと、
    前記処理に基づいて前記検査物体についてのコントラスト値を計算することと、
    前記コントラスト値が予め定義されたしきい値によって表現される最小コントラスト要求を満たすかどうかを判定することと
    を備える方法。
  2. ガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストを表現し、
    Figure 2017138332

    として定義され、前記コントラスト値を計算することは、前記検査物体についてのガンマを計算することを備え、さらに、前記最小コントラスト要求を満たすかどうかを判定することは、ガンマを前記予め定義されたしきい値と比較することを備える、請求項1に記載の方法。
  3. 3Dレンジデータが使用されるケースにおいて、前記検査物体についての前記コントラスト値は、前記最小コントラスト位置にある前記検査物体に対応する3Dレンジデータの有無と、前記検査物体の表面の広がりに対応する画素位置での前記3Dレンジデータの密度および/または統計的特性と、の少なくとも1つに基づいて判定される、請求項1に記載の方法。
  4. マシンビジョンシステムの1つ以上の撮像センサによって見られる視野内の最小物体コントラストを確認するように構成された装置であって、
    検査物体が前記視野内の最小コントラスト位置にある間の前記1つ以上の撮像センサによる前記視野の撮像に対応する画像データを処理し、前記画像データは強度画像データまたは3Dレンジデータであり、
    前記処理に基づいて前記検査物体についてのコントラスト値を計算し、
    前記コントラスト値が予め定義されたしきい値によって表現される最小コントラスト要求を満たすかどうかを判定する
    ように構成された1つ以上の処理回路
    を備える装置。
  5. ガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストを表現し、
    Figure 2017138332

    として定義され、前記1つ以上の処理回路は、前記検査物体についてのガンマを計算して前記コントラスト値を計算するように構成され、さらに、前記最小コントラスト要求を
    満たすかどうかを判定することは、ガンマを前記予め定義されたしきい値と比較することを備える、請求項4に記載の装置。
  6. 3Dレンジデータが使用されるケースにおいて、前記検査物体についての前記コントラスト値は、前記最小コントラスト位置にある前記検査物体に対応する3Dレンジデータの有無と、前記検査物体の表面の広がりに対応する画素位置での前記検査物体についての前記3Dレンジデータの密度および/または統計的特性と、の少なくとも1つに基づいて判定される、請求項4に記載の装置。
  7. 前記画像データを受信するように構成された1つ以上のインターフェース回路をさらに備える、請求項4に記載の装置。
  8. 前記1つ以上のインターフェース回路はさらに、前記最小コントラスト要求が満たされるかどうかを表示する1つ以上の信号を記録またはそうでなければ出力するように構成される、請求項7に記載の装置。
  9. 前記1つ以上の撮像センサと、関連づけられた制御および処理ユニットとを備える前記マシンビジョンシステムに統合された1つ以上の機能処理回路を備える、請求項4に記載の装置。
  10. 主光源としての役割を果たす照明源を監視する方法であって、前記主光源からの照明は、マシンビジョンシステムの視野内の物体コントラストを向上させ、
    前記マシンビジョンシステムの動作中、前記主光源の1つ以上の動作パラメータを監視することと、
    前記1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定することと、
    前記主光源からの照明の損失を検出することと、
    前記監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することと
    の少なくとも1つに応答して、1つ以上の情報または制御信号を生成することと
    を備える方法。
  11. 前記1つ以上の監視されたパラメータは、前記主光源の照明強度と、前記主光源の変調位相または周波数と、の少なくとも1つを含む、請求項10に記載の方法。
  12. 前記主光源の前記変調位相または周波数が前記監視されたパラメータの1つであるケースについて、前記マシンビジョンシステムの画像の取得を前記主光源の前記変調周波数または位相と同期させるために前記マシンビジョンシステムにより使用され得る、前記主光源の前記監視された変調周波数または位相に追従する周波数表示または位相表示信号を生成することをさらに備える、請求項11に記載の方法。
  13. 前記画像の取得を同期させることは、前記マシンビジョンシステムの1つ以上の画像センサが変調サイクルの高位相中に露光するよう前記マシンビジョンシステムの前記1つ以上の画像センサの露光を制御するために、前記マシンビジョンシステムにおいて前記周波数表示または位相表示信号を使用することを備える、請求項12に記載の方法。
  14. 前記監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することに応答して、前記1つ以上の情報または制御信号を生成することは、前記主光源の照明強度が予め定義された照明強度しきい値を下回っていることを検出することに応答して、機械停止信号または他のセーフティクリティカル信号を生成することを含む、請求項
    10に記載の方法。
  15. 前記主光源の前記1つ以上の監視されたパラメータの1つ以上が正常限界外であることを検出することに応答して、1つ以上の保全または警告タイプの信号を生成することをさらに備える、請求項10に記載の方法。
  16. 前記主光源は、前記視野を撮像するために前記マシンビジョンシステムによって使用される画像センサの最も近くに設置された照明源である、請求項10に記載の方法。
  17. 主光源としての役割を果たす照明源を監視するように構成された装置であって、前記主光源からの照明は、マシンビジョンシステムの視野内の物体コントラストを向上させ、
    前記マシンビジョンシステムの動作中、前記主光源の1つ以上の動作パラメータを監視するように構成された1つ以上のセンサと、
    前記1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定するように構成された評価ユニットと、
    前記主光源からの照明の損失を検出することと、
    前記監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することと
    の少なくとも1つに応答して、1つ以上の情報または制御信号を生成するように構成された制御ユニットと
    を備える装置。
  18. 前記1つ以上の監視されたパラメータは、前記主光源の照明強度と、前記主光源の変調位相または周波数、の少なくとも1つを含む、請求項17に記載の装置。
  19. 前記主光源の前記変調位相または周波数が前記監視されたパラメータの1つであるケースについて、前記制御ユニットは、前記マシンビジョンシステムの画像の取得を前記主光源の前記変調周波数または位相と同期させるために前記マシンビジョンシステムにより使用され得る、前記主光源の前記監視された変調周波数または位相に追従する周波数表示または位相表示信号を生成するように構成される、請求項18に記載の装置。
  20. 前記マシンビジョンシステムは、前記マシンビジョンシステムの1つ以上の画像センサが変調サイクルの高位相中に露光するよう前記マシンビジョンシステムの前記1つ以上の画像センサの露光を制御するために、前記マシンビジョンシステムにおいて前記周波数表示または位相表示信号を使用して、前記画像の取得を同期させるように構成される、請求項19に記載の装置。
  21. 前記装置は、前記主光源の照明強度が予め定義された照明強度しきい値を下回っていることを検出することに応答して、前記1つ以上の情報または制御信号として、機械停止信号または他のセーフティクリティカル信号を生成するように構成される、請求項17に記載の装置。
  22. 前記主光源の前記1つ以上の監視されたパラメータの1つ以上が正常限界外であることを検出することに応答して、1つ以上の保全または警告タイプの信号を生成するように構成される、請求項17に記載の装置。
  23. 前記主光源は、前記視野を撮像するために前記マシンビジョンシステムによって使用される画像センサの最も近くに設置された照明源である、請求項17に記載の装置。
JP2017081299A 2012-05-14 2017-04-17 マシンビジョンシステムのための最小コントラストを保証するための方法および装置 Active JP6489149B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261646491P 2012-05-14 2012-05-14
US61/646,491 2012-05-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015512713A Division JP6187584B2 (ja) 2012-05-14 2013-05-13 マシンビジョンシステムのための最小コントラストを保証するための方法および装置

Publications (2)

Publication Number Publication Date
JP2017138332A true JP2017138332A (ja) 2017-08-10
JP6489149B2 JP6489149B2 (ja) 2019-03-27

Family

ID=48614110

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015512713A Active JP6187584B2 (ja) 2012-05-14 2013-05-13 マシンビジョンシステムのための最小コントラストを保証するための方法および装置
JP2017081299A Active JP6489149B2 (ja) 2012-05-14 2017-04-17 マシンビジョンシステムのための最小コントラストを保証するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015512713A Active JP6187584B2 (ja) 2012-05-14 2013-05-13 マシンビジョンシステムのための最小コントラストを保証するための方法および装置

Country Status (5)

Country Link
US (1) US20130300835A1 (ja)
EP (1) EP2842104B1 (ja)
JP (2) JP6187584B2 (ja)
CN (1) CN104798102B (ja)
WO (1) WO2013173209A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319913B2 (ja) 2018-12-31 2023-08-02 株式会社ミツトヨ マシンビジョン検査システムを用いてワークピース表面のz高さ値を測定するための方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9256944B2 (en) * 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
JP6422321B2 (ja) * 2014-12-11 2018-11-14 矢崎総業株式会社 検査装置及び照度監視装置
JP6862830B2 (ja) * 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US9746580B2 (en) * 2015-02-09 2017-08-29 Decision Sciences International Corporation Electronics enabling muon tomography using ambient cosmic radiation
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
DE102018117274A1 (de) 2018-07-17 2020-01-23 Sick Ag Sichere Kamera und Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten
CN109089013A (zh) * 2018-09-21 2018-12-25 中兴新通讯有限公司 一种多光源检测图像获取方法以及机器视觉检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264465A (ja) * 1994-03-22 1995-10-13 Sanyo Electric Co Ltd ビデオカメラ
JPH08184672A (ja) * 1994-12-28 1996-07-16 Fujitsu Ten Ltd 距離計測装置
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
JPH1139458A (ja) * 1997-07-24 1999-02-12 Olympus Optical Co Ltd 画像入力装置
JP2001091666A (ja) * 1999-09-27 2001-04-06 Secom Co Ltd 対向式検出器
JP2001338782A (ja) * 2000-03-23 2001-12-07 Olympus Optical Co Ltd 照明用光源装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790692A (en) * 1994-09-07 1998-08-04 Jeffrey H. Price Method and means of least squares designed filters for image segmentation in scanning cytometry
US5642433A (en) * 1995-07-31 1997-06-24 Neopath, Inc. Method and apparatus for image contrast quality evaluation
ATE288656T1 (de) * 1996-05-06 2005-02-15 Cimatrix Intelligente ccd-kamera mit progressiver abtastung
JP2000028988A (ja) * 1998-07-08 2000-01-28 Toshiba Corp 液晶プロジェクタ装置
FR2857484A1 (fr) * 2002-04-15 2005-01-14 Ge Medical Syst Sa Scoring automatique en radiologie numerique, en particulier en mammographie
JP2005227581A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 撮影システム調整方法、照明量算出方法、撮影システム、照明量算出装置、照明量算出プログラム及び評価用被写体
CN100510963C (zh) * 2004-04-26 2009-07-08 中国科学院光电技术研究所 转动掩模和抗蚀剂硅片的成像干涉光刻方法及其光刻系统
US7515201B2 (en) * 2004-06-16 2009-04-07 Hoya Corporation Focus detection method and focus detection apparatus
US7720315B2 (en) * 2004-11-12 2010-05-18 Cognex Technology And Investment Corporation System and method for displaying and using non-numeric graphic elements to control and monitor a vision system
DE102004060127B4 (de) * 2004-12-13 2007-05-24 Siemens Ag Röntgendiagnostikeinrichtung sowie Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Ermittlung von die Bildqualität der Röntgendiagnostikeinrichtung bzw. die Sichtbarkeit klinisch relevanter Objekte bestimmenden Werten
US7400776B2 (en) * 2005-01-10 2008-07-15 International Business Machines Corporation Visual enhancement for reduction of visual noise in a text field
JP5332122B2 (ja) * 2006-03-23 2013-11-06 日産自動車株式会社 ワーク位置検出システムおよびワーク位置検出方法
EP1914667A3 (en) * 2006-03-24 2008-05-07 MVTec Software GmbH System and methods for automatic parameter determination in machine vision
JP4203089B2 (ja) * 2006-09-11 2008-12-24 株式会社東芝 キャリブレーション方法、検査方法、及び半導体装置の製造方法
WO2008038751A1 (fr) * 2006-09-28 2008-04-03 Nikon Corporation Procédé de mesure de largeur de ligne, procédé de détection de statut de formation d'image, procédé d'ajustement, procédé d'exposition et procédé de fabrication de dispositif
KR100854703B1 (ko) * 2007-08-20 2008-08-27 (주)갑진 형광램프의 불량 판단 장치
DE102008056600A1 (de) * 2008-11-10 2010-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erkennen von Objekten
CN106994684B (zh) * 2009-02-03 2021-04-09 范努克机器人技术美国有限公司 控制机器人工具的方法
JP2011228857A (ja) * 2010-04-16 2011-11-10 Clarion Co Ltd 車載カメラ用キャリブレーション装置
US8467596B2 (en) * 2011-08-30 2013-06-18 Seiko Epson Corporation Method and apparatus for object pose estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264465A (ja) * 1994-03-22 1995-10-13 Sanyo Electric Co Ltd ビデオカメラ
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
JPH08184672A (ja) * 1994-12-28 1996-07-16 Fujitsu Ten Ltd 距離計測装置
JPH1139458A (ja) * 1997-07-24 1999-02-12 Olympus Optical Co Ltd 画像入力装置
JP2001091666A (ja) * 1999-09-27 2001-04-06 Secom Co Ltd 対向式検出器
JP2001338782A (ja) * 2000-03-23 2001-12-07 Olympus Optical Co Ltd 照明用光源装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319913B2 (ja) 2018-12-31 2023-08-02 株式会社ミツトヨ マシンビジョン検査システムを用いてワークピース表面のz高さ値を測定するための方法

Also Published As

Publication number Publication date
CN104798102B (zh) 2017-07-28
WO2013173209A3 (en) 2014-03-20
JP6187584B2 (ja) 2017-08-30
EP2842104B1 (en) 2016-10-19
WO2013173209A2 (en) 2013-11-21
EP2842104A2 (en) 2015-03-04
JP6489149B2 (ja) 2019-03-27
CN104798102A (zh) 2015-07-22
US20130300835A1 (en) 2013-11-14
JP2015528891A (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6489149B2 (ja) マシンビジョンシステムのための最小コントラストを保証するための方法および装置
JP5910740B2 (ja) 射影空間監視のための方法および装置
JP5343054B2 (ja) ガス漏れ検出装置
JP2016105108A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013530466A (ja) ステレオカメラシステムの光学式自己診断
JPWO2018042481A1 (ja) 撮影装置及び撮影方法
JPH03182185A (ja) 赤外線監視システム
KR20110090000A (ko) 카메라 영상신호를 이용한 누설판별 방법 및 시스템
JP2003099876A (ja) 煙検出装置
KR101224548B1 (ko) 화재 영상 감지시스템 및 그 방법
JP2018173888A (ja) 火気監視支援システム
JP5015838B2 (ja) 煙検出装置
KR101553707B1 (ko) 카메라 모듈 결함 판정용 이미지 스테인 검출 방법
JP7468002B2 (ja) 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム
CN104378629A (zh) 一种摄像机故障的检测方法
JP5309069B2 (ja) 煙検出装置
JP6317116B2 (ja) 火災検知システム及び火災検知方法
JP2012216221A (ja) 作業者安全検査装置
JP2021156824A (ja) 粉塵測定装置および粉塵測定方法
JP2011061651A (ja) 不審物検知システム
KR102516839B1 (ko) 누액감지 시스템 및 방법
JP2012043135A (ja) 流水監視システムおよび流水監視プログラム
JP6108784B2 (ja) 煙検出装置
JP5215707B2 (ja) 煙検出装置
JP2023153623A (ja) 温度計測システム、温度計測装置及び温度計測方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190211

R150 Certificate of patent or registration of utility model

Ref document number: 6489149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150