JP2022187471A - 検出領域を通って移動する物体を検出するためのカメラ及び方法 - Google Patents

検出領域を通って移動する物体を検出するためのカメラ及び方法 Download PDF

Info

Publication number
JP2022187471A
JP2022187471A JP2022080638A JP2022080638A JP2022187471A JP 2022187471 A JP2022187471 A JP 2022187471A JP 2022080638 A JP2022080638 A JP 2022080638A JP 2022080638 A JP2022080638 A JP 2022080638A JP 2022187471 A JP2022187471 A JP 2022187471A
Authority
JP
Japan
Prior art keywords
camera
distance
aperture
evaluation unit
diaphragm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022080638A
Other languages
English (en)
Inventor
ミューラー ロマン
Mueller Romain
ストローメイヤー ダーク
Strohmeier Dirk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of JP2022187471A publication Critical patent/JP2022187471A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/006Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both diaphragm and distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/20Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1437Sensor details, e.g. position, configuration or special lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424Postal images, e.g. labels or addresses on parcels or postal envelopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】検出領域を通って移動する物体を検出するためのカメラを提供する。【解決手段】カメラ(10)は、検出領域(14)を通って移動する物体の画像データを取得するための画像センサ(18)と、調節可能な絞り(17)を有する受光光学系(16)と、画像データを読み出して絞り(17)を調節するための制御及び評価ユニット(38)と、を備える。制御及び評価ユニット(38)は更に、物体が被写界深度内で撮影されるように物体毎に絞り(17)を調節する。【選択図】図1

Description

本発明は、請求項1又は15のプレアンブルに記載の、検出領域を通って移動する物体を検出するためのカメラ及び方法に関する。
カメラは、産業上の利用において、例えば物品の検査や測定等の目的で、物品の特性を自動的に捕らえるために多様な方法で用いられる。その場合、物品の画像が撮影され、業務に応じて画像処理により評価される。カメラの別の用途としてコードの読み取りがある。画像センサを用いて、表面にコードが付された物品が撮影され、その画像内でコード領域が識別されて復号が行われる。カメラベースのコードリーダは、1次元バーコード以外に、マトリクスコードのように2次元的に構成され、より多くの情報を利用できる種類のコードも問題なく処理できる。印刷された住所や手書き文書の自動的なテキスト認識(OCR: Optical Character Recognition)も原則的にはコードの読み取りである。コードリーダの典型的な応用分野としては、スーパーマーケットのレジ、荷物の自動識別、郵便物の仕分け、空港での荷物の発送準備、その他の物流での利用が挙げられる。
よくある検出状況の1つはカメラをベルトコンベアの上方に取り付けるというものである。カメラはベルトコンベア上で物品の流れが相対移動している間、画像を撮影し、取得された物品特性に応じてその後の処理ステップを開始する。このような処理ステップでは、例えば、搬送中の物品に作用する機械上で具体的な物品に合わせて更なる処理を行ったり、物品の流れの中から品質管理の枠組み内で特定の物品を引き出すこと又は物品の流れを複数の物品の流れに分岐させることにより物品の流れを変化させたりする。そのカメラがカメラベースのコードリーダである場合、各物品が、それに付されたコードに基づき、正しい仕分け等の処理ステップのために識別される。
前記カメラは複雑なセンサ系の一部であることが多い。例えば、ベルトコンベアに設けられた読み取りトンネルでは、多数のカメラベースのコードリーダを、一方ではそれより広いベルトコンベアの幅をカバーするために並べて取り付け、他方では複数の側から物品を撮影するために様々な視点から取り付けるのが通例である。更に、搬送される物品の形状を別個のレーザスキャナで事前に測定し、そこから焦点情報、撮影実行時点、物品を含む画像領域等を特定することがよくある。
カメラの対物レンズには普通、絞りが組み込まれている。しかしそのアパーチャは従来、上述の応用では一定のままである。場合によっては1回だけ、例えば設置工程の間に、稼働に適した一定のアパーチャを見つけるためにアパーチャの適合化が行われる。
調節可能な絞りそのものはずっと以前から写真の分野で用いられている。これまでに可変絞りのための多様な技術的実装が存在している。古典的なアイリス絞りはモータで駆動することができる。不透明な状態から透明な状態に切り替えられる離散的な画素を持つLCDディスプレイでは様々な開口半径で絞り作用が得られる。LCDディスプレイの代わりにマイクロ流体を用いることが考えられる。この場合、不透明な流体をエレクトロウェッティングで駆動することにより、該流体を透明な円盤上で様々な離散的な半径で円環状に配置する。別の実装方法は、低圧により内側に湾曲して不透明な流体を押しのける透明な膜を基礎としている。それにより膜とガラス基板の接触面に円形の透明な開口が生じる。
特許文献1では光伝播時間法(TOF, Time of Flight)を基礎とする距離センサがカメラに統合されている。これにより高さプロファイルが測定され、それに基づいて様々な機能が実行される。それらの機能の1つが受光光学系の焦点位置の調節である。受光対物レンズ内の絞りに一度だけ言及されているが、その絞りは調節可能ではない。
特許文献2では、そのような距離センサによる距離値がせいぜい、それに対応して選択された焦点位置において所要の画像鮮明度を得るには足りるという程度の測定誤差を持つように、距離センサの測定時間が適合化される。特許文献3では、利用可能な焦点設定時間が余りに短い場合、リアルタイムに到達可能であり且つ十分な画像鮮明度がまだ得られる焦点位置であって、距離測定に従った最適な焦点位置とは違う位置までしか位置調節が行われない。その場合、被写界深度に対する絞りの影響を固定又は最適な設定によりその都度明確に排除しなければならない。
特許文献4には、選択可能な被写界深度を有するカメラベースのコードリーダであって、好ましくはハンドヘルド型機器として構成されたものが記載されている。光学素子を透過状態と反射状態の間で切り替えることで、受信光を第1又は第2のレンズ装置へ導く。これらのレンズ装置は互いに被写界深度が異なっている。冒頭で調節可能な絞り装置に言及されており、絞りの直径を小さくすると被写界深度が広がること、そしてその逆も然りであることが述べられている。しかしそれより詳しい説明はない。
特許文献5は写真撮影における絞りの選択に関するものである。露出過多又は露出不足を避けるために絞りが選択的に手動で又は自動的に調節される。特許文献6では被写界深度を最適化するためのアルゴリズムを実行するためにデータベースにアクセスする。また、被写界深度を絞りの変更により修正することができる。
DE 10 2018 105 301 A1 DE 10 2020 109 928 B3 DE 10 2020 109 929 B3 US 7 025 271 B2 US 2010/0310246 A1 US 2012/0229674 A1
本発明の課題は画像の撮影を更に改善することである。
この課題は請求項1又は15に記載の、検出領域を通って移動する物体を検出するためのカメラ及び方法により解決される。カメラと物体が互いに相対運動を行い、それにより撮影対象の物体がカメラの検出領域内へ入り込む又は該領域を通過する。画像センサが検出領域とそこにある物体の画像又は画像データを撮影又は取得する。カメラの受光光学系を受光対物レンズと呼ぶ。それは品質上の要求に応じて一又は複数のレンズ及び他の光学素子並びに調節可能な絞りを備えており、その絞り開口又はアパーチャは制御により変更可能である。被写界深度は受光光学系の特性とその都度の絞りの設定から生じる。制御及び評価ユニットが画像データを読み出して、例えばその前処理、評価、保存、又はインターフェイス経由の出力を行う。更に制御及び評価ユニットは絞りの制御とその適切な調節を担っている。制御及び評価ユニットは共通の部品を備えていてもよいし、一方で絞りの設定に関係し、他方で画像データの処理といったカメラ内の他の作業に関係する専用の部品をそれぞれ備えていてもよい。
本発明の出発点となる基本思想は、絞りの設定を物体毎に動的に適合化することにある。物体毎に適切な絞りを用いることで、該物体が被写界深度内で撮影され、以て撮影画像又は画像データが所要の画像鮮明度に達することが確実になる。
本発明には、物体毎に個別に絞りを適合化することにより画像データの品質が高められるという利点がある。これにより他の箇所における受光光学系の構成を簡素化できる(例えば固定焦点系)。あるいは、画像データに関する非常に高い要求に適応できる。調節可能な絞りは部品として入手可能であり、故に本発明は簡単且つ比較的安価に実装できる。
被写界深度は用途特有の要求から決定されていることが好ましい。このことから、被写界深度という概念が、元々の光学的又は物理的な意味だけでなく、他の解釈でも用いられていることは明らかである。物理的な被写界深度は受光光学系の対物レンズの定数及び設定に依存している。しかし、実際に何より重要なのは客観的な画像鮮明度の基準ではなく、目的とする評価がその画像データでできるかという問題である。これは用途毎に非常に異なる判断を要する可能性がある。好ましくは、絞り調節の結果、物体がこの用途に関連した解釈による被写界深度内で撮影されるようにすべきである。
制御及び評価ユニットは画像データを用いて物体上のコードのコード内容を読み取るように構成されていることが好ましい。これにより本カメラは様々な規格に準拠したバーコード及び/又は2次元コード用のカメラベースのコードリーダとなり、場合によってはテキスト認識(OCR, Optical Character Reading)にも利用される。コードを読み取る前に、関心領域(ROI, Region of Interest)をコード候補として識別するセグメント化を行うことが更に好ましい。
取得された画像データからコードを読み取ることができるときに、物体が被写界深度内で撮影されていることが好ましい。これは、先に触れた、被写界深度に対する用途特有の要求の例である。画像をコードの読み取りができる程度に鮮明に撮影するのである。これは純粋に実践に関係する基準であり、そこで重要なのは画像データの品質や画像鮮明度に関する抽象的な基準ではなく、コードの読み取りという課題が達成可能かという純粋に実用的な問題である。そして、絞りの動的な適合化により最大の復号率又は読み取り率が達成される。画像鮮明度がコードを読み取るために十分になるのはいつかという予想はシミュレーション又は実験により立てておくことができる。そのためには例えば、カメラに対して、例えば周囲光及び印字品質に関する典型的な条件の下、様々な距離でコードを提示することで、どの絞り設定の場合にコードがまだ読み取られるか(GoodRead)又はもはや読み取られないか(NoRead)を見つけ出す。
必要な被写界深度はコードの種類、モジュールサイズ(例えばモジュール当たりの画素で表されたもの)及び/又は復号法に依存していることが好ましい。ここでもまた、問題となるのは物理的な被写界深度だけではなく、実際的な要求であり、従って用途特有の被写界深度の別の解釈である。コードを読み取ることができるかは、特に先に挙げたパラメータ又は設定によって決まる。コードのなかには、より単純で、比較的低品質の画像データからでもなお読み取り可能な種類のものもかなりあれば、逆に非常に要求が厳しい種類のコードもかなりある。モジュール毎により多くの画素が利用可能であれば、コードの読み取りはモジュールサイズがより小さい場合よりも簡単である。露出は、積分時間という意味にせよ、任意選択の能動的な照明装置を用いる場合の照明の仕方という意味にせよ、重要である。デコーダのなかには他のものよりも低画質により良く対応できるものがある。また、先に挙げたパラメータの間には、必要な被写界深度に影響を及ぼす相互作用がある可能性がある。
本カメラは物体までの距離値を測定するための距離センサを備えていることが好ましい。前記距離値は好ましくは所要の被写界深度の基準として用いられ、制御及び評価ユニットはそれに応じて絞りを設定することができる。カメラを基準面(例えばベルトコンベア)の上方に固定的に取り付けるという好ましい形態の場合、その取り付け位置が分かっていれば、前記距離値を基準面上の物体の高さに換算することができる。故に以下では物体高さと距離を交換可能に用いた箇所がいくつかある。
距離センサはカメラに統合されていることが好ましい。これによりシステムがコンパクトでカプセル化されたままとなる。制御及び評価ユニットは内部で容易に距離センサにアクセスできる。距離センサは特に光伝播時間法の原理による光電式の距離センサとして構成されていることが好ましい。このような距離センサは完成したチップ又はモジュールとして入手可能である。特に好ましくは、距離センサが多数のSPAD(Single-Photon Avalanche Photodiode)を備え、それらがそれぞれTDC(Time-to-Digital Converter)を通じて個々の光伝播時間を測定する。
制御及び評価ユニットは、ある物体に対し、該物体について測定された距離値に依存して絞りを調節するように構成されていることが好ましい。絞りの調節を個々の物体の距離値に動的に結びつけることで、各物体が所要の被写界深度内で撮影されるようになる。ここで被写界深度は、好ましくは、何度も論じた用途特有の意味で理解すべきである。
制御及び評価ユニットは、ある物体に対し、必要な絞りの関数に基づき、該物体の距離に依存して絞りを調節することが好ましい。これによれば、「絞り(距離)」又は「絞り(物体高さ)」という関数が例えばカメラ又は制御及び評価ユニットのメモリに保存される。この関数は解析関数として又は近似として、例えば、階段関数として、全体的に若しくは区間毎に線形的若しくは多項的な関数として、又は参照テーブル(LUT, Lookup Table)として、予め決めておくことができる。
制御及び評価ユニットは、ある物体をある距離に配置し、画像データを取得し、画像鮮明度を検査し、当該距離に対する適切な絞りの設定が見出されるまで絞りを調節するという学習法のために構成されていることが好ましい。このようにすれば、特定の距離に対して適切な絞りが較正又は学習され、その後の駆動時には当該距離にある物体に対して動的にそのように絞りが設定されるようにすることができる。その都度の適切な絞りの基準は、例えば画像鮮明度が最高、最適若しくはなお十分であること、又は例えばコードが読み取られる等の用途特有の要求を満たすことである。より頑強な結果を得るには、同じ距離で少なくとももう1つの物体に対して学習を繰り返した後、例えば平均をとる。更に繰り返して、1つの物体又は次々に複数の物体を様々な距離に置くことで、各距離に対する適切な絞りの設定を見出すか、あるいは好ましい実施形態では、関数「絞り(距離)」の複数の値を見出す。そのように得られる階段関数の代わりに内挿を用いることもできる。
受光光学系は固定された焦点位置を有していることが好ましい。このようにすれば、本カメラは固定焦点系となる。好ましくは、前記固定された焦点位置は、遠い物体、即ち最大の物体距離(例えばベルトコンベアの面内)にある背の低い物体に合わせて調節されている。故にこの物体の表面のコードは小さいモジュールサイズで撮影される。それ故、この特に要求の厳しい復号作業のために焦点位置を選ぶことは有意義である。
あるいは、焦点位置を設定するための焦点調節ユニット、特に自動焦点ユニットを設けることが考えられる。その都度の焦点位置を距離測定に依らずに見出すために、最初のステップで絞りを完全に開放すればよい。これにより被写界深度が狭まり、それにより距離に沿ってコントラストの明確な極大値を見出すことができる。故にこの最大値に対応して設定された焦点位置は最適である。その後は被写界深度を広げるために絞りを再び閉じることができる。
制御及び評価ユニットは、焦点位置に対応する距離にある物体に対しては絞りを最大の絞り開口に設定し、前記距離から外れるほど、特に該距離より近くなるほど絞りを大きく閉じるように構成されていることが好ましい。焦点位置に対応する距離に物体があるとき、それが固定焦点に対する適切な距離であろうと、焦点調節装置の目下の設定であろうと、絞りによって被写界深度の拡大に寄与する必要はない。絞りの開口を最大にしても、それは露出過多等、他の境界条件によりなお制限することができる。距離が外れていくに従って、絞りを閉じることにより被写界深度を拡大することができる。この挙動は関数「絞り(距離)」で表現することができる。固定焦点系においては焦点位置を最大の距離に設定することが好ましい。その場合、遠く離れた物体に対しては絞りが開放され、被写界深度が狭くなり、多量の光で画像が良好な解像度で撮影される。複数の物体がある場合は絞りが狭められ、被写界深度が広がる。入射光の減少は、距離に依存した動的挙動(即ち、典型的には1/r特性)のため、普通は望ましくさえある。解像度の低下は容認できる。なぜなら、構造物、特にモジュールサイズは距離が近くなるにつれて大きくなるからである。
制御及び評価ユニットは明度、特に画像データの明度に依存して絞りを調節するように構成されていることが好ましい。ここでは距離測定の代わりに反射測定が絞り調節の基礎となる。他の条件が同じであれば近くの物体は遠くの物体よりも明るく見える。反射測定は追加の受光器(例えばフォトダイオード等)を用いて行われるか、その代わりに画像データの明度が評価される。距離測定と反射測定を組み合わせることもできる。
絞りは受光光学系に組み込まれている又は受光光学系に装着されていることが好ましい。特に、調節可能な絞りは対物レンズの設計において従来の固定絞りと置き換えることができる。絞りをレンズと統合して構成することが考えられる。あるいは、調節可能な絞りを前側で前景に向けて又は後側で画像センサに向けて対物レンズに装着する。
本カメラは、検出領域を通って搬送方向に検出対象の物体を案内する搬送装置付近に固定的に取り付けられていることが好ましい。このようにカメラを産業上利用することは非常に多い。物体が絶え間なく入れ替わり、その物体の入れ替わりが搬送装置により厳しい予定作業時間で生じるため、絞りの調節はほぼ絶え間なく、窮屈な予定作業時間で反応できなければならない。
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
カメラの概略断面図。 カメラをベルトコンベア付近に取り付けた模範的な応用例の3次元図。 ベルトコンベア付近における幾何学的な関係と時間挙動を説明するための、カメラと該カメラの検出領域内を移動する2つの連続した物体とを示す図。
図1はカメラ10の概略断面図である。検出領域14からの受信光12が受光光学系16に入射し、該光学系が受信光12を画像センサ18へ導く。受光光学系16の光学素子は、複数のレンズ並びに絞り及びプリズムといった他の光学素子から成る対物レンズとして構成されていることが好ましいが、ここでは簡略に1個のレンズだけで表されている。好ましい一実施形態では受光光学系16が固定された焦点位置(固定焦点)を有しているが、別の形態では焦点位置が稼働中に変更される(焦点調節、自動焦点)。
受光光学系には調節可能な絞り17が付設されている。調節の原理は極めて様々な技術に基づくものとすることができるが、特に、冒頭で簡単に論じたように、モータで駆動されるアイリス絞り、LCDディスプレイ、エレクトロウェッティング作用を利用した不透明な流体、又は透明な膜が挙げられる。以下では単に、調節可能な絞り17の絞り開口が電子的な制御により変更可能であるという機能的な側面だけを考察する。調節可能な絞りは受光光学系16に組み込んだり、画像センサ18又は検出領域14の方に向けて装着したりすることができる。調節可能な絞り17は円形の絞り開口を作り出すことが好ましいが、他の形状も考えられる。
カメラ10の撮像中に検出領域14を発射光20でくまなく照らすため、カメラ10は任意選択の照明ユニット22を含んでいる。これは図1では発光光学系のない単純な光源の形で描かれている。別の実施形態ではLEDやレーザダイオード等の複数の光源が例えば円環状に受光路の周りに配置される。それらは、色、強度及び方向といった照明ユニット22のパラメータを適合化するために、多色型でグループ毎に又は個別に制御可能とすることもできる。図から離れて、照明ユニット22を外部の部品としたり、完全になくしたりすることもできる。後者の場合、カメラ10は周囲光だけで作動する。
画像データを取得するための本来の画像センサ18に加えて、カメラ10は検出領域14内の物体までの距離を光伝播時間法(TOF, Time of Flight)で測定する光電式の距離センサ24を備えている。距離センサ24は、TOF発光光学系28を有するTOF発光器26と、TOF受光光学系32を有するTOF受光器30とを含んでいる。これらを用いてTOF光信号34が発信され、再び受信される。光伝播時間測定ユニット36がTOF光信号34の伝播時間を測定し、その時間からTOF光信号34を反射した物体までの距離を測定する。
図示した実施形態ではTOF受光器30が複数の受光素子30a又は画素を備えているため、位置分解された高さプロファイルを取得することさえできる。別の形態ではTOF受光器30が受光素子30aを1つしか備えていない、又は受光素子30aの複数の測定値を1つの距離値に換算する。距離センサ24の構成は全くの模範的なものであり、光伝播時間法を用いない他の光電式の距離測定や、非光学的な距離測定も考えられる。光伝播時間法を用いた光電式の距離測定は公知であるため、詳しい説明は行わない。模範的な測定法として、周期的に変調されたTOF光信号34を用いる光混合検出法(Photomischdetektion)とパルス変調されたTOF光信号34を用いるパルス伝播時間測定法の2つがある。また、TOF受光器30を光伝播時間測定ユニット36の全体又は少なくとも一部、例えば光伝播時間測定用のTDC(Time-to-Digital-Converter)と共に共通のチップ上に収めた高度集積型の解決策もある。それにはSPAD(Single-Photon Avalanche Diode)受光素子30aのマトリクスとして構成されたTOF受光器30が特に適している。このようなSPADベースの距離測定には、位置分解型の測定のためではなく統計的な多重測定のために用いられる複数の受光素子30aを設け、それらを用いてより正確な距離値を特定することが特に有利である。TOF光学系28、32は任意の光学系(例えばマイクロレンズアレイ等)を代表してそれぞれ単独レンズとして単に記号的に示されている。
制御及び評価ユニット38が、調節可能な絞り17、照明ユニット22、画像センサ18、及び距離センサ24と接続されており、カメラ10内での制御、評価及び他の調整の任務を担う。即ち、該ユニットは、調節可能な絞り17を好ましくは距離センサ24の距離値に依存して制御することでその都度の検出対象の物体に対して後述のような適切な絞り開口が形成されるようにするとともに、画像センサ18から画像データを読み出し、それを保存したり、インターフェイス40に出力したりする。好ましくは、この制御及び評価ユニット38が画像データ内のコード領域を見出して復号することができる。これによりカメラ10はカメラベースのコードリーダとなる。様々な制御及び評価の作業のために複数の部品を設けて、例えば絞りの適合化を独立した部品内で実行したり、画像データの前処理を独立したFPGA上で実行したりすることができる。
カメラ10はケーシング42により保護されている。ケーシング42は受信光12が入射する前面領域において前面パネル44により閉鎖されている。
図2はカメラ10をベルトコンベア46付近に設置して利用できることを示している。この図ではカメラ10が単に記号として示されており、図1に基づいて既に説明した構成はもはや示されていない。ベルトコンベア46は、矢印で移動方向50を示したように、物体48をカメラ10の検出領域14を通過するように搬送する。物体48は表面にコード領域52を持つことができる。カメラ10の任務は物体48の特性を捕らえることであり、更にコードリーダとしての好ましい使用においては、コード領域52を認識し、そこに付されたコードを読み取り、復号して、その都度対応する物体48に割り当てることである。物体の側面、特にその側面に付されたコード領域54をも認識するために、好ましくは複数の追加のセンサ10(図示せず)を異なる視点から使用する。また、より広い検出領域14を共同でカバーするために複数のカメラ10を並べて配置することができる。
図3は、図2の状況と同様に検出領域14を下に向けたカメラ10を再度示している。この例では距離センサ24の距離測定野56が検出領域14よりも広く、該領域14を含んでいる。もっとも、この例から外れて検出領域14と距離測定野56が部分的に重なる構成や、重ならない構成も考えられる。距離測定野56が少なくとも部分的に手前に位置していればより早めに距離測定値が利用可能になるという利点がある。
第1の撮影対象の物体48が速度vで検出領域14内へ入ってくる。速度vは、搬送装置のパラメータとして既知のもの、エンコーダ等の外部のセンサで測定したもの、先の画像撮影から再構成したもの、又は距離センサ24を用いて測定したものとすることができる。最後の場合、距離センサ24は受光素子30aから成る複数の受信ゾーンを備えていることが好ましい。物体48は各ゾーンへ次々に進入するから、その時間の連続と測定された距離から速度vを推定することができる。
物体48は距離測定野56に入ったときに検出される。好ましくはその物体が検出領域14の中央に来たときに撮影を実行すべきである。それまでにまだ行程dを進まなければならず、そこまでの時間はt=d/vで与えられる。行程dは更に距離hに依存している。それは、物体48の高さが変われば最初に検出される位置も変わるからである。他方で距離hは距離センサ24により測定され、しかも垂直ではなく斜めに測定された距離値hm1から式h=hm1cosαを使って換算しなければない。ここで図示した構成では、角度αは、距離測定野56への進入の際にhm1が直ちに測定されるとすれば距離センサ24の視野角の半分に当たり、いずれにせよ構成が固定されているから既知である。これらの量からd=htanαも計算することができる。
他の物体に対しても同様の考察を行うことができるが、ここでは代表として、まだ行程dを残している高さhの物体48aだけを示している。こうして制御及び評価ユニット38は図3から分かる関連の形状情報と撮影実行時点とを利用することができる。従って、調節可能な絞り17の絞り開口を、各物体48、48aの撮影のために、距離センサ24による各々の距離値又はそれらから算出可能な高さh、hに応じて適時に設定することができる。
カメラ10からより離れており、従ってより低い高さ(h<h)を持つ物体48aは、信号の大きさが距離の二乗に反比例することから、より暗く捕らえられる。加えて物体48aの表面のコード52は高さhが低くなるほど小さく見えるため、より高い解像度が必要である。絞りを閉じると被写界深度が広がり、解像度が低下する。どの程度の低下とどの程度の信号雑音比がなおも容認されるかは具体的な使用に依存する。これはコードの読み取りという例で明らかになる。即ち、最終的に重要なのは画像が物理的な品質基準を満たすかではなく、コードを読み取ることができるかである。従って、ある距離値に対する適切な絞りの設定は、コードが読み取り可能になることが保証されるかにより査定されることが好ましい。これはコードの種類、モジュールサイズ、露出及び使用されるデコーダに応じて変わり得るため、これらのパラメータに依存して距離値毎に複数の絞り設定を知得しておき、それを駆動時に状況に応じて用いるようにすれば有意義となり得る。
絞りの調節の基礎は以下のように説明できる。解像度Resimgは画素サイズp及び倍率magと次のような関係にある。
Resimg=p/mag
更に、焦点距離fが既知の場合、距離r>fに対する倍率magは次のように近似できる。
mag=f/(f-r)
絞りが過度に閉じられている場合、場合によっては回折効果が現れ、それが解像度に影響を及ぼす可能性がある。このような回折効果はレイリー基準を用いて次のように記述される。
Resdiff=1.22*lambda/(N*mag)
ここでlambdaは波長であり、多色性LEDの場合は例えば平均値を用いることができる。Nはf値であり、従って絞りの口径に反比例する。係数1.22はベッセル関数のゼロ点位置に対応するもので、他の値を選ぶこともできる。
そうすると、解像限界は2つの値Resimg、Resdiffのうち大きい方、即ち次式で与えられる。
Res=max(Resimg,Resdiff
被写界深度DOFは次式で近似される。
Figure 2022187471000002

ここでalphaは経験的な補正係数、Cはいわゆる「錯乱円(circle of confusion)」で、これは解像限界と関係があり、具体的にはなお解像されるべき最小単位である。調べようとする物体が小さければ小さいほど、一次従属の関係によって被写界深度DOFは狭くなる。ところで、Cは所望の解像限界で置き換えることができ、更に経験的に求められた係数aで補正することができる。絞りが小さすぎず、故に解像度が回折により制限されていない場合、CをResで置き換えると上の方程式は次のようになる。
Figure 2022187471000003
故に、絞りの設定についての最善の条件は以下のようになる。即ち、物体が小さければ絞りを開くべきである。そうすると被写界深度DOFが狭くなる。故に、受光光学系16の焦点位置を固定する場合は、それを大きい距離又は小さい物体のために設計することで、コード読み取りへの応用において小さいモジュールサイズでも読み取ることができるようにすべきである。距離がより小さい又は物体がより大きい場合、焦点位置が同じであれば、コードを読み取ることができる十分な被写界深度DOFになるまで絞りを閉じる。距離値が小さくなるため、画素数で表したモジュールサイズは大きくなり、その結果、絞りを更に閉じる余裕ができる。
この絞り適合化は、明度の動的特性が部分的に補償されることからも有益である。カメラ10に達する光子の数は絞りの半径dに依存する。即ち、
signal~1/d
である。これはまさに振幅が距離の二乗に反比例すること、即ち、
signal~1/r
に対応している。N=f/(d/2)であるから、同時に被写界深度DOFは絞りが縮小するとともに線形的に広がる。
以上のことが分かれば関数「絞り(距離)」を見出すことができる。それを用いて制御及び評価ユニット38がその都度測定された距離値に対して、調節可能な絞り17の適切な設定を見出す。物体毎のこの動的な絞り調節を用いて、必要に応じて絞りにより被写界深度を広げることにより、結像が鮮明になり、十分な信号が出力され、それによりデコーダがコードを読み取ることができる(Good Read)。事情によっては、コードの種類、モジュールサイズ、露出及び/又はデコーダに関する様々な想定状況に対応して前記のような関数を複数保存しておき、使用時の実際の条件に応じてそれらの関数の1つを用いることが有意義である。
必要な絞り設定又は関数「絞り(距離)」の学習又は較正のため、まず、予想される物体のうち最も背が低く、それに応じた最小のモジュールサイズを持つ物体を検出領域14に配置することにより出発点を見出すことができる。固定焦点系の場合、それが焦点位置と一致することが好ましい。コードがなおも読み取られる程度に絞りを開く。これはこの距離における絞りの設定値に相当する。より背の高い物体に対しては不鮮明さを補うために絞りを更に閉じる。ここで、適当な高さの物体を用いて関数「絞り(距離)」の少なくとももう1つの値を較正することが考えられる。学習された絞り設定から他の距離値又は高さに対する内挿又は外挿を行うことができる。

Claims (15)

  1. 検出領域(14)を通って移動する物体(48)を検出するためのカメラ(10)であって、画像データを取得するための画像センサ(18)と、調節可能な絞り(17)を有する受光光学系(16)と、前記画像データを読み出して前記絞り(17)を調節するための制御及び評価ユニット(38)とを備えるカメラ(10)において、
    前記制御及び評価ユニット(38)が、前記物体(48)が被写界深度内で撮影されるように物体(48)毎に前記絞り(17)を調節するように構成されていることを特徴とするカメラ(10)。
  2. 前記被写界深度が用途特有の要求から決定されている、請求項1に記載のカメラ(10)。
  3. 前記制御及び評価ユニット(38)が前記画像データを用いて前記物体(48)上のコード(52)のコード内容を読み取るように構成されている、請求項1に記載のカメラ(10)。
  4. 取得された前記画像データからコードを読み取ることができるときに、前記物体(48)が被写界深度内で撮影されている、請求項3に記載のカメラ(10)。
  5. 必要な被写界深度がコードの種類、モジュールサイズ、露出及び/又は復号法に依存している請求項3又は4に記載のカメラ(10)。
  6. 物体(48)までの距離値を測定するための距離センサ(24)を備え、特に該距離センサ(24)がカメラ(10)に統合されている及び/又は光伝播時間法の原理による光電式の距離センサ(24)として構成されている、請求項1に記載のカメラ(10)。
  7. 前記制御及び評価ユニット(38)が、ある物体(48)に対し、該物体(48)について測定された距離値に依存して前記絞り(17)を調節するように構成されている、請求項6に記載のカメラ(10)。
  8. 前記制御及び評価ユニット(38)が、ある物体(48)に対し、必要な絞りの関数に基づき、該物体(48)の距離に依存して前記絞り(17)を調節する、請求項6又は7に記載のカメラ(10)。
  9. 前記制御及び評価ユニット(38)が、ある物体(48)をある距離に配置し、画像データを取得し、画像鮮明度を検査し、当該距離に対する適切な絞りの設定が見出されるまで前記絞り(17)を調節するという学習法のために構成されている、請求項6又は7に記載のカメラ(10)。
  10. 前記受光光学系(16)が、固定された焦点位置、特に最大の物体距離に対応した焦点位置を有している、請求項1~4のいずれかに記載のカメラ(10)。
  11. 前記制御及び評価ユニット(38)が、焦点位置に対応する距離にある物体(48)に対しては前記絞り(17)を最大の絞り開口に設定し、前記距離から外れるほど、特に該距離より近くなるほど前記絞り(17)を大きく閉じるように構成されている、請求項6に記載のカメラ(10)。
  12. 前記制御及び評価ユニット(38)が明度、特に前記画像データの明度に依存して前記絞り(17)を調節するように構成されている、請求項1~4のいずれかに記載のカメラ(10)。
  13. 前記絞り(17)が前記受光光学系(16)に組み込まれている又は該受光光学系(16)に装着されている、請求項1~4のいずれかに記載のカメラ(10)。
  14. 前記検出領域(14)を通って搬送方向(50)に検出対象の物体(48)を案内する搬送装置付近に固定的に取り付けられている、請求項1~4のいずれかに記載のカメラ(10)。
  15. 検出領域(14)を通って移動する物体(48)を検出するための方法であって、画像センサ(18)を用いて、調節可能な絞り(17)を有する受光光学系(16)を通じて画像データを取得し、該画像データを読み出す方法において、
    前記物体(48)が被写界深度内で撮影されるように物体(48)毎に前記絞り(17)を調節することを特徴とする方法。
JP2022080638A 2021-06-07 2022-05-17 検出領域を通って移動する物体を検出するためのカメラ及び方法 Pending JP2022187471A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021114556.2A DE102021114556A1 (de) 2021-06-07 2021-06-07 Kamera und Verfahren zur Erfassung von durch einen Erfassungsbereich bewegten Objekten
DE102021114556.2 2021-06-07

Publications (1)

Publication Number Publication Date
JP2022187471A true JP2022187471A (ja) 2022-12-19

Family

ID=81842038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022080638A Pending JP2022187471A (ja) 2021-06-07 2022-05-17 検出領域を通って移動する物体を検出するためのカメラ及び方法

Country Status (5)

Country Link
US (1) US11743602B2 (ja)
EP (1) EP4102293B1 (ja)
JP (1) JP2022187471A (ja)
CN (1) CN115508845A (ja)
DE (1) DE102021114556A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置
JP2018041913A (ja) * 2016-09-09 2018-03-15 ヤマハ発動機株式会社 基板作業装置
JP2018136860A (ja) * 2017-02-23 2018-08-30 株式会社キーエンス 光学的情報読取装置
JP2021077360A (ja) * 2019-10-22 2021-05-20 ジック アーゲー コードリーダ及び光学コードの読み取り方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19710724C2 (de) 1997-03-14 2002-09-26 Sick Ag Optoelektronischer Sensor
US7025271B2 (en) 2002-12-18 2006-04-11 Symbol Technologies, Inc. Imaging optical code reader having selectable depths of field
JP2008312144A (ja) 2007-06-18 2008-12-25 Canon Inc 撮像装置及び撮像装置の制御方法
US20100310246A1 (en) 2009-06-04 2010-12-09 Digital Imaging Systems Gmbh Method for using a variable aperture to tune image quality parameters in a camera system
DE202009017346U1 (de) 2009-12-21 2011-05-12 Sick Ag Optikvorrichtung für einen optoelektronischen Sensor
JP5479123B2 (ja) * 2010-01-19 2014-04-23 京セラ株式会社 撮像装置および電子機器
US8395682B2 (en) 2011-03-08 2013-03-12 Neal Solomon System and methods for image depth-of-field modulation
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
JP6739979B2 (ja) * 2016-04-21 2020-08-12 オリンパス株式会社 光学機器および絞り制御方法
DE102018105301B4 (de) 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
DE102020109928B3 (de) 2020-04-09 2020-12-31 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
DE102020109929B3 (de) 2020-04-09 2021-01-14 Sick Ag Erfassung von Bilddaten eines bewegten Objekts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置
JP2018041913A (ja) * 2016-09-09 2018-03-15 ヤマハ発動機株式会社 基板作業装置
JP2018136860A (ja) * 2017-02-23 2018-08-30 株式会社キーエンス 光学的情報読取装置
JP2021077360A (ja) * 2019-10-22 2021-05-20 ジック アーゲー コードリーダ及び光学コードの読み取り方法

Also Published As

Publication number Publication date
EP4102293C0 (de) 2023-08-09
EP4102293B1 (de) 2023-08-09
DE102021114556A1 (de) 2022-12-08
US20220394185A1 (en) 2022-12-08
CN115508845A (zh) 2022-12-23
EP4102293A1 (de) 2022-12-14
US11743602B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
US20190281199A1 (en) Camera and Method of Detecting Image Data
US8110790B2 (en) Large depth of field line scan camera
JP7192022B2 (ja) カメラ及び画像データ取得方法
US9557166B2 (en) Dimensioning system with multipath interference mitigation
US7726573B2 (en) Compact autofocus bar code reader with moving mirror
CN113518177B (zh) 运动对象的图像数据的检测
US9703115B2 (en) Optoelectronic apparatus and method of taking an image
JP7157118B2 (ja) コードリーダ及び光学コードの読み取り方法
CN112817197B (zh) 聚焦模块
JP2011504247A (ja) オートフォーカス付き光学的コード走査装置
FR3128043A1 (fr) Moteur d’imagerie miniature à longue portée avec système de mise au point, zoom et éclairage automatiques
US8028919B2 (en) Imaging bar code reader with single prism focus adjustment
JP7350924B2 (ja) 移動する物体の流れの検出
JP2022187471A (ja) 検出領域を通って移動する物体を検出するためのカメラ及び方法
CN113630548B (zh) 对象检测的相机和方法
CN113671514B (zh) 运动对象的检测
WO2012115045A1 (ja) 光学的情報読取装置
JP2023164304A (ja) カメラ及び物体検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905