JP2021193790A - 物体の検出 - Google Patents

物体の検出 Download PDF

Info

Publication number
JP2021193790A
JP2021193790A JP2021073631A JP2021073631A JP2021193790A JP 2021193790 A JP2021193790 A JP 2021193790A JP 2021073631 A JP2021073631 A JP 2021073631A JP 2021073631 A JP2021073631 A JP 2021073631A JP 2021193790 A JP2021193790 A JP 2021193790A
Authority
JP
Japan
Prior art keywords
camera
time
distance
distance sensor
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021073631A
Other languages
English (en)
Other versions
JP7314197B2 (ja
Inventor
ミューラー ロマン
Mueller Romain
ラインボルト ヨハネス
Rheinboldt Johannes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of JP2021193790A publication Critical patent/JP2021193790A/ja
Application granted granted Critical
Publication of JP7314197B2 publication Critical patent/JP7314197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/40Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10792Special measures in relation to the object to be scanned
    • G06K7/10801Multidistance reading
    • G06K7/10811Focalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Stroboscope Apparatuses (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】撮影状況により良好に適合させるカメラ及び検出領域内の物体の検出方法を提供する。【解決手段】検出領域(14)内の物体を検出するためのカメラ(10)は、物体の画像データを記録するための画像センサ(18)と、各物体までの少なくとも1つの距離値を取得するための距離センサ(24)と、距離値に基づいて撮影のためにカメラの少なくとも1種類の調節を行うように構成された制御及び評価ユニット(37、38)とを備える。また、制御及び評価ユニットは、リアルタイム動作可能、且つ、距離センサの時間情報に基づいて撮影実行時点において画像を撮影する。【選択図】図1

Description

本発明は、請求項1又は15のプレアンブルに記載のカメラ及び検出領域内の物体の検出方法に関する。
カメラは、産業上の利用において、例えば物品の検査や測定等の目的で、物品の特性を自動的に捕らえるために多様な方法で用いられる。その場合、物品の画像が撮影され、業務に応じて画像処理により評価される。カメラの別の用途としてコードの読み取りがある。画像センサを用いて、表面にコードが付された物品が撮影され、その画像内でコード領域が識別されて復号が行われる。カメラベースのコードリーダは、1次元バーコード以外に、マトリックスコードのように2次元的に構成され、より多くの情報を提供する種類のコードも問題なく処理できる。印刷された住所や手書き文書の自動的なテキスト認識(光学式文字認識:OCR)も原則的にはコードの読み取りである。コードリーダの典型的な利用分野としては、スーパーマーケットのレジ、荷物の自動識別、郵便物の仕分け、空港での荷物の発送準備、その他の物流での利用が挙げられる。
よくある検出状況の1つはカメラをベルトコンベアの上方に取り付けるというものである。カメラはベルトコンベア上で物品の流れが相対運動している間、画像を撮影し、取得された物品特性に応じてその後の処理ステップを開始する。このような処理ステップでは、例えば、搬送中の物品に作用する機械上で具体的な物品に合わせて更なる処理を行ったり、物品の流れの中から品質管理の枠組み内で特定の物品を引き出すこと又は物品の流れを複数の物品の流れに分岐させることにより物品の流れを変化させたりする。そのカメラがコードリーダである場合、各物品が、それに付されたコードに基づき、正しい仕分け等の処理ステップのために識別される。
カメラは複雑なセンサ系の一部であることが多い。例えば、ベルトコンベアに設けられた読み取りトンネルでは、搬送される物品の形状を特殊なレーザスキャナで事前に測定し、そこから焦点情報、撮影実行時点、物品を含む画像領域等を特定するのが通例である。また、例えば光格子や光遮断機の形をしたより簡素なトリガセンサも知られている。こうした外部の追加センサには、取り付け、パラメータ設定及び始動という作業が必要である。更に、形状データ及びトリガ信号等の情報をカメラに伝送しなければならない。従来、これはCAN−Busとカメラのプロセッサを通じて行われているが、そのプロセッサはコードの読み取り等、他の仕事も担っている。そこではリアルタイム動作が可能であることは保証されていない。
特許文献1には統合された距離センサを備えるカメラが開示されている。これによれば、いくつかの調整ステップが容易になる上、通信も内部で容易に行うことができる。しかし、リアルタイム動作が可能かという問題は考察されていない。
DE 10 2018 105 301 A1
故に本発明の課題は撮影状況にカメラをより良好に適合させることである。
この課題は請求項1又は15に記載のカメラ及び検出領域内の物体の検出方法により解決される。本カメラは画像センサで物体の画像データを取得する。この画像センサに加えて本カメラはカメラと物体の間の距離を表す少なくとも1つの距離値を測定する距離センサを含んでいる。制御及び評価ユニットがその距離値を用いて、撮影のためにカメラの少なくとも1種類の調節を行う。例えば撮影パラメータを設定又は調整したり、光学系又は照明の位置を調節したり、画像センサを特定のモードに切り替えたりする。
本発明の出発点となる基本思想は、距離センサをリアルタイムな動作が可能な状態で包含することにある。制御及び評価ユニットは距離センサから時間情報を受け取り、それを用いて適切な撮影実行時点に撮影を実行する。リアルタイム動作が可能であるため全てを正確に同期させることができる。距離センサ自身がある意味でクロックであり、その測定が物体の運動及び撮影頻度に比べて高速なままである限り、リアルタイムな動作が可能である。これは特別に厳しい要求ではない。そのために、撮影実行時点における撮影の実行並びにそれに必要な距離値の伝送及び評価に必要とされる程度のリアルタイム動作が少なくとも可能な制御及び評価ユニットが用いられる。
本発明には最適な画像撮影が可能になるという利点がある。距離値を利用してカメラが適切な調節を行うことができる。他方で、リアルタイム動作が可能であるため画像撮影が実際に正しい時点に実行される。従って、距離値に合わせたカメラの調節により利得を十分に利用することができる。
制御及び評価ユニットは、距離センサと接続されたリアルタイム動作可能なマイクロプロセッサ、又は距離センサと接続されたFPGA(フィールドプログラマブルゲートアレイ)を備えることが好ましく、特に該マイクロプロセッサ又はFPGAが距離センサに統合されていることが好ましい。前記マイクロプロセッサは他方でFPGAと接続されていてもよく、逆も然りである。これらの部品が一緒になってリアルタイム動作可能な制御及び評価ユニットを構成する。それらはリアルタイム動作可能なプロトコルで互いに通信する。制御及び評価ユニットは機能上、また場合によっては少なくとも部分的に構造上も、距離センサに付属するように見えるものとすることができる。カメラは他の制御及び評価機能のためにリアルタイム動作可能ではない別の部品を備えていてもよい。
本カメラが、画像センサの前に配置された焦点調節可能な光学系を備え、前記カメラの調節が焦点調節を含んでいることが好ましい。即ち、測定された距離値に依存して行われる調節の1つが焦点位置の調節である。このようにすれば撮影実行時点に鮮明な画像が撮影される。
距離センサはカメラに統合されていることが好ましい。これにより構造が非常にコンパクトになるとともに、内部で容易にデータにアクセスでき、取り付けも明らかに簡単になる。また、このようにすれば、距離センサとカメラの相互の整列状態が既知で固定されたものになる。固定的に組み込まれた専用の距離センサを持つこのカメラは自立的に周囲を検知することができる。
距離センサは、特に光伝播時間法の原理による、光電式の距離センサであることが好ましい。これは、同様に光学的なカメラ撮影との関係で特に適した方式である。この距離センサは、ガイガーモードで駆動可能な多数のアバランシェフォトダイオードを備えていることが好ましい。このようなアバランシェフォトダイオード素子は、降伏電圧よりも高い又は低いバイアス電圧を印加することにより、非常に容易に作動状態又は非作動状態にすることができる。これにより距離測定の有効な区域又は関心領域を定めることができる。
距離センサは複数の距離値を測定するための複数の測定区域を備えていることが好ましい。1つの測定区域は特に一又は複数の受光素子を備えている。各測定区域が1つの距離値を測定できるため、距離センサは横方向の位置分解能を持つようになり、全体の高さプロファイルを測定することができる。
制御及び評価ユニットは、複数の距離値から共通の距離値を算出するように構成されていることが好ましい。共通の距離値は、カメラの調節に使うことができる基準を得るため、代表的なものであるべきである。それには例えば平均値等の統計的な尺度が適している。この共通の距離値は距離測定にとって有意味な領域から得られる特定の距離値だけに基づくものとすることができる。ベルトコンベアに応用する場合、その領域は、なるべく早めに距離値を得るために、その都度到来する物体に向けられた測定区域とすることができる。検出領域内で物体を手でかざす場合はむしろ中央の測定区域を用いることが好ましい。測定区域が1つしかない距離センサについてはその唯一の距離値が自動的に共通の距離値となる。
制御及び評価ユニットは、距離値が変化したときに新たな物体を認識し、そのための撮影実行時点を決定するように構成されていることが好ましい。前記変化は許容閾値を上回ること、つまり一定の跳びを示すことが好ましい。そうするとそれが新たな物体の進入として評価され、そのために更に別の撮影実行時点が定められ、物体が到着したときに更に別の画像撮影が行われる。
距離センサは反射値を測定するように構成されていることが好ましい。距離センサの主たる機能は距離値の測定であるが、その際に同時に測定信号の強度も評価することができる。とりわけガイガーモードのアバランシェフォトダイオードの場合、光伝播時間測定のために各事象の時点を利用しつつ、強度評価のために事象の数を数えることができる。
制御及び評価ユニットは、反射値が変化したときに新たな物体を認識し、そのための撮影実行時点を決定するように構成されていることが好ましい。カメラの調節とその都度の新たな物体の認識のための基礎としては距離値を優先することが好ましい。もっとも、反射値の変化も基準として利用できる。それはとりわけ、2つの物体の間で距離変化が全くない又はわずかしかない場合である。なお、この場合、単なるノイズによる反射値の変化を除外するために閾値評価を行うことが好ましい。
制御及び評価ユニットは、連続する複数の撮影実行時点に従ってカメラの調節を行うように構成されていることが好ましい。ベルトコンベアへの応用の場合のように複数の物体が相前後して検出領域内へ移動してくると、先行する物体の撮影実行時点より前にもう次の物体に対する距離値が測定されている可能性がある。その場合、例えば焦点位置を直ちにその新たな物体に合わせて調節することが適当ではない。なぜならそれは次の撮影とは全く関係がないからである。そのようにせず、撮影実行時点に応じて秩序正しく順々に調節を行い、必要であれば、先行する撮影が終わるまで、例えば焦点位置の調節における位置変更を見合わせる。
距離センサは、時間情報として、距離値に対するタイムスタンプ、又は撮影実行時点を伝送するように構成されていることが好ましい。タイムスタンプは生の時間情報であり、そこから撮影実行時点を導き出すことができる。この計算は実施形態に応じて距離センサ内でもう実行されるか、制御及び評価ユニット内で初めて実行される。タイムスタンプと撮影実行時点の間には、実施形態に応じて、物体がベルトコンベアの上などで望ましい撮影位置への移動を完了するまでに一定の遅延又は例えば動的に特定される遅延がある。
カメラがパルス式の照明ユニットを備え、制御及び評価ユニットが撮影実行時点を照明パルスと同期させるように構成されていることが好ましい。画像撮影のために検出領域をくまなく照らすことは多くの用途で普通に行われている。そのために、個々のフラッシュではなく、他のカメラを含む環境との共存を可能にする規則的なパルス照明がしばしば用いられる。このような構成では、撮影が照明パルスと一致するように撮影実行時点が更に若干ずらされる。代わりに照明パルスを時間的にずらすこともできるが、そうするとまずパルスパターンが混乱する。これは環境によっては必ずしも許容されない。加えて、そもそも照明ユニットがリアルタイム動作可能な適合化に対応していなければならない。
カメラの調節は撮影の露光時間を含んでいることが好ましい。距離値によって露光過多又は過少になる可能性があるが、これは露光時間の適合化により補償できる。代わりに照明ユニットを適合させてもよいが、ここでもそれがリアルタイム動作可能であることが前提となる。
制御及び評価ユニットは、物体とともに撮影されたコードのコード内容を読み取るように構成されていることが好ましい。これにより本カメラは、様々な規格に準拠したバーコード及び/又は2次元コード用、場合によってはテキスト認識(光学式文字認識:OCR)用のカメラベースのコードリーダとなる。復号にはリアルタイムの要求がないため、距離値の伝送、撮影実行時点の決定及び撮影の実行に用いられるリアルタイム動作可能な構成要素とは別の部品がそれを担当することができる。
本カメラは、物体を移動方向に搬送する搬送装置付近に静的に取り付けられていることが好ましい。これは非常によく見られる産業上のカメラの利用法であり、物体はカメラに対して相対運動を行う。ある搬送位置における距離測定とその後の搬送位置における画像撮影との間の空間的及び時間的な関係は非常に単純であり、計算可能である。それには単に、搬送速度をパラメータ設定する、上位の制御装置から与える、又は高さプロファイルの追跡等により自ら測定するだけでよい。
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
光電式の距離センサを有するカメラの概略断面図。 カメラをベルトコンベア付近に取り付けた模範的な応用例の3次元図。
図1はカメラ10の概略断面図である。検出領域14からの受信光12が受光光学系16に入射し、該光学系が受信光12を画像センサ18へ導く。受光光学系16の光学素子は、複数のレンズ並びに絞り及びプリズムといった他の光学素子から成る対物レンズとして構成されていることが好ましいが、ここでは簡略に1個のレンズだけで表されている。
カメラ10の撮影中に検出領域14を発射光20でくまなく照らすため、カメラ10は任意選択の照明ユニット22を含んでいる。これは図1では発光光学系のない単純な光源の形で描かれている。別の実施形態ではLEDやレーザダイオード等の複数の光源が例えば円環状に受光路の周りに配置される。それらは、色、強度及び方向といった照明ユニット22のパラメータを適合化するために、多色型でグループ毎に又は個別に制御可能とすることもできる。
画像データを取得するための本来の画像センサ18に加えて、カメラ10は検出領域14内の物体までの距離を光伝播時間法(飛行時間:ToF)で測定する光電式の距離センサ24を備えている。距離センサ24は、TOF発光光学系28を有するTOF発光器26と、TOF受光光学系32を有するTOF受光器30とを含んでいる。これらを用いてTOF光信号34が発信され、再び受信される。光伝播時間測定ユニット36がTOF光信号34の伝播時間を測定し、その時間からTOF光信号34を反射した物体までの距離を測定する。
TOF受光器30は複数の受光素子30aを備えている。受光素子30aは個々に又は小グループで測定区域を成し、その各区域でそれぞれ距離値が測定される。故に好ましくは、単一の距離値を捕らえるのではなく(ただしそれも可能ではある)、距離値が位置分解されており、それらを合成して高さプロファイルにすることができるようにする。TOF受光器30の測定区域の数は比較的少なくてよく、例えば数十、数百又は数千の測定区域がある。これはメガピクセルの解像度が普通である画像センサ18と大きく違っている。
距離センサ24の構成は単なる模範例である。光伝播時間法を用いた光電式の距離測定は公知であるため、詳しい説明は行わない。模範的な測定法として、周期的に変調されたTOF光信号34を用いる光混合検出法(Photomischdetektion)とパルス変調されたTOF光信号34を用いるパルス伝播時間測定法の2つがある。また、TOF受光器30を光伝播時間測定ユニット36の全体又は少なくとも一部(例えば光伝播時間測定用の時間デジタル変換器)と共に共通のチップ上に収めた高度集積型の解決策もある。それにはSPAD(シングルフォトンアバランシェダイオード)受光素子30aのマトリックスとして構成されたTOF受光器30が特に適している。SPAD型受光素子30aから成る測定区域は、バイアス電圧を降伏電圧より低く又は高く設定することにより、狙いを定めて作動状態又は非作動状態にすることができる。これにより距離センサ24の作動領域を調節することができる。TOF光学系28、32は任意の光学系(例えばマイクロレンズアレイ等)を代表してそれぞれ単独レンズとして単に記号的に示されている。
「距離センサ」という名前ではあるが、このセンサ24は好ましい実施形態では反射値も追加で測定できる。そのために、受信したTOF光信号34の強度が評価される。SPAD型受光素子30aの場合、個々の事象は強度測定には適していない。なぜなら、光子の記録の際に制御不能なアバランシェ降伏により同じ量の最大の光電流が生成されるからである。しかし、測定区域の複数のSPAD型受光素子30aにおける事象の数及び/又は長めの測定時間にわたる事象の数を数えることは十分可能である。そうすればSPAD型受光素子30aの場合でもそれが強度の尺度となる。
距離センサ24の距離値をリアルタイム動作可能に評価するため、リアルタイム動作可能な制御及び評価ユニット37が設けられている。該ユニットは例えばリアルタイム動作可能なマイクロプロセッサ若しくはFPGA又はその組み合わせを含む。距離センサ24とリアルタイム動作可能な制御及び評価ユニット37の間の接続はI2C又はSPIで実現できる。マイクロプロセッサとFPGAの間の接続はPCI、PCIe、MIPI、UART等で行うことができる。リアルタイム動作可能な制御及び評価ユニット37により、特に画像センサ18の画像撮影とのリアルタイム同期等、スピード重視のプロセスが制御される。更に、距離値の評価に基づき、焦点位置や露光時間といったカメラ10の設定が調節される。
もう一つの制御及び評価ユニット38はリアルタイム動作可能でなくてもよく、照明ユニット22、画像センサ18、並びに、距離センサ24の制御及び評価ユニット37と接続されている。この制御及び評価ユニット38はカメラ10内での制御、評価及び他の調整の任務を担う。またそれは画像センサ18から画像データを読み出し、それを保存したり、インターフェイス40へ出力したりする。好ましくはこの制御及び評価ユニット38が画像データ内のコード領域を見出して復号することができる。これによりカメラ10はカメラベースのコードリーダとなる。
図1に描いたリアルタイム動作可能な制御及び評価ユニット37とリアルタイム動作可能ではない制御及び評価ユニット38への分配は原理を明確にしようとしたものであって、模範例に過ぎない。リアルタイム動作可能な制御及び評価ユニット37は少なくとも部分的に距離センサ24又はその光伝播時間測定ユニット36内に実装することができる。更に、制御及び評価ユニット37及び38の間で機能を入れ替えることができる。本発明では、リアルタイム動作可能ではない部品が画像センサ18の撮影実行時点の決定のようなスピード重視の機能を担うことができないに過ぎない。
カメラ10はケーシング42により保護されている。ケーシング42は受信光12が入射する前面領域において前面パネル44により閉鎖されている。
図2はカメラ10をベルトコンベア46付近に設置して利用できることを示している。ここではカメラ10が単に記号として示されており、図1に基づいて既に説明した構成はもはや示されていない。ベルトコンベア46は、矢印で移動方向50を示したように、物体48をカメラ10の検出領域14を通過するように搬送する。物体48は表面にコード領域52を持つことができる。カメラ10の任務は物体48の特性を捕らえることであり、更にコードリーダとしての好ましい使用においては、コード領域52を認識し、そこに付されたコードを読み取り、復号して、その都度対応する物体48に割り当てることである。物体の側面、特にその側面に付されたコード領域54をも認識するために、好ましくは複数の追加のセンサ10(図示せず)を異なる視点から使用する。
ベルトコンベア46付近での使用は単なる例に過ぎない。カメラ10は、例えば作業者が各物体48を検出領域にかざすような固定的な作業場所での使用等、他の用途にも使用することができる。
制御及び評価ユニット37による距離値のリアルタイム処理と画像撮影の制御についてプロセスの例を挙げて以下に説明する。
距離センサ24又はその光伝播時間測定ユニット36は、例えば受光事象という形の生データを距離値に換算する処理をもう行う。そのために実施形態によっては各距離値の距離測定の時点に対するタイムスタンプと反射値が利用できる。単一区域型の距離センサ24の場合は各時点で1つの距離値しか測定されないため、その値をそれ以上評価することはできない。複数の測定区域があり、従って距離値も複数ある場合は、重要な測定区域を予め選択することが好ましい。図2のようなベルトコンベアへの応用の場合、それは特に、到来する物体48をできるだけ早く捕らえるような測定区域である。物体48を手で検出領域14にかざすような作業場所の場合はむしろ中央の測定区域が適している。焦点位置の場合のように、多くの調節は1回しか実施できず、しかもそれを高さプロファイルに合わせて細かく行うことはできないから、複数の距離値を更に一緒に計算に入れて、例えば平均値が求められる。
たいていの場合、物体48を距離値に基づいて互いに分離することができる。しかし、距離センサ24には測定誤差がある上、例えば同程度の高さの物体48が密に並んでいたり、物体48が手紙のように非常に平たいものであったりする等、不都合な状況の場合があるから、分離は常に可能というわけではない。その場合、反射値を補足的又は代替的な基準として利用できる。具体例として、距離値とベルトコンベア46までの距離との差がノイズ閾値より大きいかどうか調べることができる。そうなっている場合、その距離値は優勢な特徴であり、それに基づいて焦点位置を調節する。平均値はベルトコンベア46までの距離と等しくない距離値のみから算出することが好ましい。なぜならそのような距離値だけが測定対象の物体48に属するからである。逆に全ての距離値がノイズ閾値の範囲内で単にベルトコンベア46を測定しているだけの場合は、例えば暗色のベルトコンベア46上にある明色の手紙を認識するために、反射値によって何らかの違いを認識できるかどうか調べる。その場合、焦点位置はベルトコンベア46の平面に合わせればよい。距離にも反射にも有意な差異がなければ、その物体48は無視することができる。黒い下地の上にある黒い手紙は認識されないが、その手紙にはそもそも読み取り可能なコード52が付されている可能性はないだろう。
物体48を手で検出領域14にかざす別の応用では、2つの相前後する物体48が隙間を空けずに同じ距離でかざされることはまずあり得ない。故に距離値に基づく物体48の分離はたいてい可能である。それでも、補足的に反射値を利用することはここでも考えられる。
こうして、新たなカメラ調整と別の物体48に対する撮影実行時点とが必要になったら、それが認識される。画像撮影が行われる撮影実行時点はタイムスタンプから分かる。その際、固定的な時間ずれ又は動的に決定される時間ずれを更に考慮する必要がある。ベルトコンベアへの応用の場合、それは、物体48が距離センサ24により最初に検出されてから例えば検出領域14の中心にある撮影位置まで搬送されるのに必要な時間である。これは一方でベルトの速度に依存するが、それはパラメータ設定、事前設定又は測定により分かる。他方でそれは距離値を通じて測定される物体高さ並びに幾何学的配置にも依存する。手で物体48を運ぶ用途では一定の時間ずれで十分である。
リアルタイム動作可能な制御及び評価ユニット37は、最も新しく測定された距離値に応じてすぐにカメラ10の設定を変更するのではなく、秩序正しく、撮影実行時点になって初めて変更することが好ましい。当然ながらそれは適合化にかかる遅延を考慮してできるだけ正確な時点にする。例えば、まず先に別の物体48を撮影しなければならないときには焦点位置をすぐに変更してはならない。この場合、その別の物体の撮影実行時点まではまず該物体の距離値が重要である。リアルタイム動作可能な制御及び評価ユニット37がもう先の画像を待つ必要がないことを確認したら、すぐに設定変更を行うことができる。
画像撮影は原則として撮影実行時点において実行される。ただし、照明ユニット22が所定の周波数でパルス状に駆動される場合は画像撮影をそれと同期させる必要がある。そのためには画像撮影を適切な照明パルスに同期させる。つまり、例えば元々予定していた撮影実行時点の前又は後にある直近の照明パルスまで画像撮影をずらす。代わりに照明パルスをずらすことも原理的には考えられる。ただし照明ユニット22がそれをサポートしなければならない。しかも、パルス列は、自由な変数ではなく予め境界条件により定められていることがよくある。
例として何度も引き合いに出した焦点位置は決して唯一の考え得るカメラ設定ではない。例えば、露光過多又は過少になることを避けるために距離値に応じて露光時間を適合させることも考えられる。これについては代わりに照明強度を適合させることが考えられるが、それは照明ユニット22の設定をリアルタイム動作可能に調節できることが前提となる。
撮影実行時点に取得された画像データを保存又は出力する際、距離値や撮影実行時点といったメタデータを付加してもよい。このようにすれば、後の時点で更なる評価を行い、カメラ10とその利用の診断及び改良を行うことができる。

Claims (15)

  1. 検出領域(14)内の物体(48)を検出するためのカメラ(10)であって、前記物体(48)の画像データを記録するための画像センサ(18)と、各物体(48)までの少なくとも1つの距離値を取得するための距離センサ(24)と、前記距離値に基づいて撮影のためにカメラ(10)の少なくとも1種類の調節を行うように構成された制御及び評価ユニット(37、38)とを備えるカメラ(10)において、
    前記制御及び評価ユニット(37)がリアルタイム動作可能に、且つ、前記距離センサ(24)の時間情報に基づいて撮影実行時点において画像を撮影するように構成されていることを特徴とするカメラ(10)。
  2. 前記制御及び評価ユニット(37)が、前記距離センサ(24)と接続されたリアルタイム動作可能なマイクロプロセッサ、又は前記距離センサ(24)と接続されたFPGAを備え、特に該マイクロプロセッサ又はFPGAが前記距離センサ(24)に統合されていることを特徴とする請求項1に記載のカメラ(10)。
  3. 前記画像センサ(24)の前に配置された焦点調節可能な光学系を備え、前記カメラ(10)の調節が焦点調節を含んでいることを特徴とする請求項1又は2に記載のカメラ(10)。
  4. 前記距離センサ(24)がカメラ(10)に統合されていることを特徴とする請求項1〜3のいずれかに記載のカメラ(10)。
  5. 前記距離センサ(24)が、特に光伝播時間法の原理による、光電式の距離センサであることを特徴とする請求項1〜4のいずれかに記載のカメラ(10)。
  6. 前記距離センサ(24)が複数の距離値を測定するための複数の測定区域(30a)を備えており、前記制御及び評価ユニット(37)が特に、前記複数の距離値から共通の距離値を算出するように構成されていることを特徴とする請求項1〜5のいずれかに記載のカメラ(10)。
  7. 前記制御及び評価ユニット(37)が、前記距離値が変化したときに新たな物体(48)を認識し、そのための撮影実行時点を決定するように構成されていることを特徴とする請求項1〜6のいずれかに記載のカメラ(10)。
  8. 前記距離センサ(24)が反射値を測定するように構成されており、前記制御及び評価ユニット(37)が特に、前記反射値が変化したときに新たな物体(48)を認識し、そのための撮影実行時点を決定するように構成されていることを特徴とする請求項1〜7のいずれかに記載のカメラ(10)。
  9. 前記制御及び評価ユニット(37)が、連続する複数の撮影実行時点に従ってカメラ(10)の調節を行うように構成されていることを特徴とする請求項1〜8のいずれかに記載のカメラ(10)。
  10. 前記距離センサ(24)が、時間情報として、距離値に対するタイムスタンプ、又は撮影実行時点を伝送するように構成されていることを特徴とする請求項1〜9のいずれかに記載のカメラ(10)。
  11. パルス式の照明ユニット(22)を備え、前記制御及び評価ユニット(37)が前記撮影実行時点を照明パルスと同期させるように構成されていることを特徴とする請求項1〜10のいずれかに記載のカメラ(10)。
  12. 前記カメラ(10)の調節が撮影の露光時間を含んでいることを特徴とする請求項1〜11のいずれかに記載のカメラ(10)。
  13. 前記制御及び評価ユニット(38)が、前記物体(48)とともに撮影されたコード(52)のコード内容を読み取るように構成されていることを特徴とする請求項1〜12のいずれかに記載のカメラ(10)。
  14. 前記物体(48)を移動方向に搬送する搬送装置(50)付近に静的に取り付けられていることを特徴とする請求項1〜13のいずれかに記載のカメラ(10)。
  15. 検出領域(14)内の物体(48)を検出する方法であって、カメラ(10)で物体(48)の画像データを記録し、距離センサ(24)で各物体(48)までの少なくとも1つの距離値を測定し、前記距離値に基づいて撮影のためにカメラ(10)の少なくとも1種類の調節を行う方法において、
    リアルタイム動作可能な処理において前記距離センサ(24)の時間情報に基づいて撮影実行時点において画像を撮影することを特徴とする方法。
JP2021073631A 2020-05-07 2021-04-23 物体の検出 Active JP7314197B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020112430.9A DE102020112430B4 (de) 2020-05-07 2020-05-07 Kamera und Verfahren zur Erfassung von Objekten
DE102020112430.9 2020-05-07

Publications (2)

Publication Number Publication Date
JP2021193790A true JP2021193790A (ja) 2021-12-23
JP7314197B2 JP7314197B2 (ja) 2023-07-25

Family

ID=75625304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021073631A Active JP7314197B2 (ja) 2020-05-07 2021-04-23 物体の検出

Country Status (4)

Country Link
US (1) US20210352214A1 (ja)
JP (1) JP7314197B2 (ja)
CN (1) CN113630548B (ja)
DE (1) DE102020112430B4 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020109929B3 (de) * 2020-04-09 2021-01-14 Sick Ag Erfassung von Bilddaten eines bewegten Objekts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
US20190011557A1 (en) * 2013-03-13 2019-01-10 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US20190281199A1 (en) * 2018-03-08 2019-09-12 Sick Ag Camera and Method of Detecting Image Data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL1645839T3 (pl) * 2004-10-11 2007-12-31 Sick Ag Urządzenie i sposób kontroli przemieszczanych obiektów
DE102004049482A1 (de) 2004-10-11 2006-04-13 Sick Ag Vorrichtung zur Überwachung von bewegten Objekten
US8294809B2 (en) * 2005-05-10 2012-10-23 Advanced Scientific Concepts, Inc. Dimensioning system
US7746450B2 (en) * 2007-08-28 2010-06-29 Science Applications International Corporation Full-field light detection and ranging imaging system
JP4473337B1 (ja) 2009-07-31 2010-06-02 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
WO2013165569A1 (en) * 2012-05-03 2013-11-07 Los Alamos National Security, Llc Acoustic camera
ES2545374T3 (es) * 2012-07-31 2015-09-10 Sick Ag Sistema de detección para el montaje en una cinta transportadora
US10091409B2 (en) 2014-12-30 2018-10-02 Nokia Technologies Oy Improving focus in image and video capture using depth maps
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
WO2017147731A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Uav hardware architecture
US10282902B1 (en) * 2016-06-24 2019-05-07 Amazon Technologies, Inc. Real-time textured 3D models
GB2555199B (en) * 2016-08-19 2022-03-16 Faro Tech Inc Using a two-dimensional scanner to speed registration of three-dimensional scan data
EP3428683B1 (en) * 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance
EP3454298B1 (de) 2017-09-06 2019-08-07 Sick AG Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
JP6912449B2 (ja) * 2018-12-19 2021-08-04 ファナック株式会社 測距装置を有する物体監視システム
JP2020153715A (ja) * 2019-03-18 2020-09-24 株式会社リコー 測距装置および測距方法
US10725157B1 (en) * 2019-04-05 2020-07-28 Rockwell Automation Technologies, Inc. Industrial safety sensor
US20200344405A1 (en) * 2019-04-25 2020-10-29 Canon Kabushiki Kaisha Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same
JP2020193957A (ja) * 2019-05-30 2020-12-03 ファナック株式会社 測距異常を補正する距離画像生成装置
US11693102B2 (en) * 2019-06-07 2023-07-04 Infineon Technologies Ag Transmitter and receiver calibration in 1D scanning LIDAR
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
US11525892B2 (en) * 2019-06-28 2022-12-13 Waymo Llc Beam homogenization for occlusion resistance
US10812727B1 (en) * 2019-12-16 2020-10-20 Cognex Corporation Machine vision system and method with steerable mirror

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
US20190011557A1 (en) * 2013-03-13 2019-01-10 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US20190281199A1 (en) * 2018-03-08 2019-09-12 Sick Ag Camera and Method of Detecting Image Data

Also Published As

Publication number Publication date
JP7314197B2 (ja) 2023-07-25
DE102020112430B4 (de) 2021-12-23
US20210352214A1 (en) 2021-11-11
DE102020112430A1 (de) 2021-11-11
CN113630548A (zh) 2021-11-09
CN113630548B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US20190281199A1 (en) Camera and Method of Detecting Image Data
EP3367660A1 (en) A camera device comprising a dirt detection unit
US7303126B2 (en) System and method for sensing ambient light in an optical code reader
EP2074603B1 (en) Sensor for presence detection
JP7350027B2 (ja) 移動する物体の画像データの取得
JP7192022B2 (ja) カメラ及び画像データ取得方法
CN101223053A (zh) 摄像系统
GB2302434A (en) Data symbol reading system
US11068678B2 (en) Optoelectronic sensor and method of a repeated optical detection of objects at different object distances
CN103502121A (zh) 一种用于图像采集的方法
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
CN112817197B (zh) 聚焦模块
JP2021193790A (ja) 物体の検出
CN110709853A (zh) 具有范围和光级别检测的图像传感器
JP7055919B2 (ja) 移動する物体の検出
US20220327798A1 (en) Detecting a Moving Stream of Objects
US20230164412A1 (en) Receiver for a system for transmitting light, system for transmitting light, and method for operating a system for transmitting light
WO2012115045A1 (ja) 光学的情報読取装置
US11743602B2 (en) Camera and method for detecting objects moved through a detection zone
CN112351270B (zh) 确定故障的方法和装置以及传感器系统
US20240135500A1 (en) Detection of objects of a moving object stream

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150