JP2022078052A - 操縦可能なミラーに関するマシンビジョンシステムおよび方法 - Google Patents

操縦可能なミラーに関するマシンビジョンシステムおよび方法 Download PDF

Info

Publication number
JP2022078052A
JP2022078052A JP2022017585A JP2022017585A JP2022078052A JP 2022078052 A JP2022078052 A JP 2022078052A JP 2022017585 A JP2022017585 A JP 2022017585A JP 2022017585 A JP2022017585 A JP 2022017585A JP 2022078052 A JP2022078052 A JP 2022078052A
Authority
JP
Japan
Prior art keywords
image
mirror
imaging
optical path
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022017585A
Other languages
English (en)
Other versions
JP7303915B2 (ja
Inventor
ケンプフ トルステン
Kempf Torsten
サンス ロドリゲス サウル
Sanz Rodriguez Saul
フェルナンデス-ドラード ぺぺ
Fernandez-Dorado Pepe
ヌニンク ローレンス
Nunnink Laurens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/715,078 external-priority patent/US10812727B1/en
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of JP2022078052A publication Critical patent/JP2022078052A/ja
Priority to JP2023102483A priority Critical patent/JP2023134498A/ja
Application granted granted Critical
Publication of JP7303915B2 publication Critical patent/JP7303915B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10831Arrangement of optical elements, e.g. lenses, mirrors, prisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】画像化デバイスと制御可能なミラーを使用してオブジェクトの画像を取得するためのシステムと方法を提供する。【解決手段】制御可能なミラー30は、異なる位置、オブジェクト22の異なる部分、または異なるズームの度合いの画像を取得することを含めて、画像化デバイス26の視野を変更するように制御する。【選択図】図1A

Description

本技術は、オブジェクトまたはシンボル(例えば、バーコード)の画像を取得および分析するように構成されたマシンビジョンシステムを含む画像化システムに関する。
マシンビジョンシステムは、一般に、オブジェクトまたはシンボルの画像をキャプチャし、画像を分析してオブジェクトを識別したり、シンボルを復号したりする際に使用するように構成されている。したがって、マシンビジョンシステムは、一般に、画像の取得および画像処理のための1つまたは複数のデバイスを含む。従来の用途では、これらのデバイスを使用して、画像を取得したり、取得した画像を分析したりできる。これには、バーコードやテキストなどの画像化されたシンボルを復号する目的も含まれる。いくつかの状況において、マシンビジョンおよび他の画像化システムを使用して、対応する画像化デバイスの視野(FOV)よりも大きい可能性がある、または画像化デバイスに対して移動し得るオブジェクトの画像を取得することができる。
バーコードまたは他のシンボルを画像化および復号化するためのシステムを含むいくつかの用途では、異なる視野(FOV)または異なるズームの度合いを有する連続画像を含む、ターゲットの複数の画像を取得することが有用な場合がある。例えば、オブジェクトがコンベヤ上の画像化デバイスを通過するときに、コンベヤ上の様々な場所でオブジェクトの画像を取得したり、オブジェクトの様々な側部の画像を取得したり、様々なズームの度合いでオブジェクトを取得したりすると便利な場合があり、例えば、オブジェクト全体の比較的小さな部分のシンボルを分析するのに役立つ場合がある。
従来のアプローチでは、オブジェクトの複数の画像を様々な方法で取得できる。一例として、オブジェクトの複数の側部の画像が取得されるトンネル用途または他の状況において、複数の画像化デバイスは、オブジェクトの予想される位置に対して異なる角度の画像の取得用の光軸を備えて配置され得る。例えば、異なるセットの画像化デバイスは、トンネルに入るときのオブジェクトの前部、トンネルを出るときのオブジェクトの後部、およびトンネルを移動するときのオブジェクトの上面および側面の画像を取得するために角度を付けることができる。別の例として、第1の画像化デバイスは、コンベヤに沿った第1の位置にあるオブジェクトの第1の画像を取得するように配置でき、第2の画像化デバイスは、さらにコンベヤに沿った第2の位置にあるオブジェクトの第2の画像を取得するように配置できる。あるいは、第1の画像化デバイスは、オブジェクトの第1の部分の画像を取得するように配置することができ、第2の画像化デバイスは、オブジェクトの第2の部分の画像を取得するように配置することができる。
従来のアプローチは、シンボルの識別および復号化を含む有用な情報を提供できるが、複数の画像化デバイスの設置、較正、保守、および操作は、本質的に比較的複雑で、時間がかかり、費用がかかり、エラーが発生しやすい。開示された技術の実施形態は、これらおよび他の問題に対処することができる。例えば、いくつかの実施形態は、制御可能な(可動)ミラーを使用して、画像化デバイスによって撮影された初期の画像と後続の画像との間で固定の位置の画像化デバイス(例えば、カメラ)の視野を変更するシステムおよび対応する方法を提供する。いくつかの実施形態では、異なる視野をもたらすため、または特定の画像の別の画像に対するズームを調整するために、制御可能なミラーを1つまたは複数の固定式ミラーと組み合わせて使用することができる。例えば、単一の画像化デバイスの場合、固定式ミラーと制御可能なミラーの組み合わせを使用して、コンベヤ上の様々な位置またはオブジェクトの様々な位置(例えば、オブジェクトの様々な側部)に視野を調整したり、特定のオブジェクトまたは位置の様々なズームの度合いを提供したりすることができる。いくつかの実施形態では、固定式ミラーと制御可能なミラーの組み合わせを使用して、オブジェクトの寸法を測定するために初期の画像と後続の画像との間の視野を調整することができ、それにより、より複雑な、例えば3次元(3D)のセンサの必要性を潜在的に取り除く。
本明細書に開示されるいくつかの実施形態は、画像化デバイスおよび関連するミラーを備えたマシンビジョンシステムなどのシステムとして明示的に提示される。当業者は、対応する実施形態(および他の実施形態)が、関連するシステムの能力に従って、画像の取得の自動制御および適切な場合には画像分析を伴うコンピュータ実装方法などの方法として実行できることを認識するであろう。これに関して、特に明記しない限り、開示されたシステムの本明細書の議論は、本質的に、開示されたシステムを使用して意図された機能を実行する(例えば、1つまたは複数のプロセッサデバイスによって電子的に制御される)対応する方法の開示を含む。同様に、当業者は、方法として本明細書に明示的に提示される実施形態が、1つまたは複数の画像化デバイス、1つまたは複数の関連するミラー(制御可能なミラーを含む)、および制御可能なミラーの操作および対応する画像の取得を含む関連する方法の1つまたは複数の操作を実施するように構成された1つまたは複数のプロセッサデバイスを備えるマシンビジョンシステムなどのシステムとして実装できることを認識するであろう。
上記の議論と一致して、技術のいくつかの実施形態は、第1のオブジェクトの画像を取得するための、例えば、マシンビジョンシステムなどの画像化システム(または方法)を含む。画像化デバイスは、画像化センサおよびレンズ構成を含むことができる。第1のミラーは、少なくとも1つの軸に対して傾斜するように構成することができる(または傾斜させることができる)。制御デバイスは、第1のオブジェクトが進行方向に沿って移動するときに、画像化デバイスを使用して、第1の位置に第1のオブジェクトを含む第1の画像であって、第1のミラーおよび第2のミラーによって画定される第1の光路に沿って取得される第1の画像を取得し、(例えば、第2のミラーを含まない)第2の光路を画定するべく少なくとも1つの軸に対して第1のミラーを傾斜させ、そして、画像化デバイスを使用して、第2の場所に第1のオブジェクトを含む第2の画像を取得するように、構成され得る(または、第1の画像を取得し、第1のミラーを傾斜させ、第2の画像を取得することができる)。場合によっては、第2の画像は、第2の光路に沿って取得され得、その結果、第1のオブジェクトは、第1の画像よりも第2の画像のより大きな割合で表される。
いくつかの実施形態では、制御デバイスは、第1のミラーが第2の光路を画定するために少なくとも1つの軸に対して傾斜しているときに、第2の光路に沿って画像を取得するためにレンズ構成をフォーカシングするように構成することができる。
いくつかの実施形態では、制御デバイスは、さらなる操作を実行するように構成することができる。例えば、第2の画像を取得した後、第1のミラーを少なくとも1つの軸に対して傾斜させて、第1の光路と位置合わせさせることができる。画像化デバイスを使用して、第2のオブジェクトを含む第3の画像を取得することができる。
いくつかの実施形態では、コンベヤに沿って進行方向に移動するように構成されたオブジェクトを用いて、第1の視野は、第1の光路に対応し得、コンベヤに沿った第1の位置でコンベヤの実質的に全幅にわたって延びることができる。第2の視野は、第2の光路に
対応することができ、コンベヤに沿った第2の位置で、コンベヤに沿った第1の位置での第1の視野よりも狭いコンベヤの幅にわたって延びることができる。場合によっては、第1の視野の中心が、進行方向に沿って第2の視野の中心と位置合わせされないことがある。
いくつかの実施形態では、制御デバイスは、第1のミラーを2つの軸に対して傾斜させて、第2の光路および第2の視野を画定するように構成することができる。2つの軸に対して第1のミラーを傾斜させることで、オブジェクトの進行方向に沿って及び進行方向を横切って、画像化デバイスの視野をまとめてシフトさせることができる。
いくつかの実施形態では、第1の光路は、任意選択でまたは好ましくは、第1の可動ミラーを含む少なくとも2つのミラーによって画定することができる。場合によっては、第2の光路は、第1の光路を画定するミラーの少なくとも1つを含まないことがある。
いくつかの実施形態では、ミラー構成の制御に基づいて、第1の画像に対応する第1の位置は、第2の画像に対応する第2の位置と一致することができる。
いくつかの実施形態では、ミラー構成の制御に基づいて、第2の画像よりも第1の画像において、第1のオブジェクトのより大きな割合を表すことができる。
いくつかの実施形態では、制御デバイスは、他の操作を実行するようにさらに構成することができる。例えば、対象領域は、第1の画像の第1のオブジェクト上で識別され得る。対象領域が、第2の画像に含まれるとともに、第1の画像に比べて第2の画像においてより大きな割合で表されるように、第1のミラーを傾斜させて第2の光路を画定することができる。場合によっては、対象領域が第1のオブジェクトのシンボルになることがある。いくつかの実施形態では、画像化システムは、第2の画像に基づいてシンボルを復号するように構成されたマシンビジョンシステムを含むことができる。
いくつかの実施形態では、制御デバイスは、他の操作を実行するようにさらに構成することができる。第1の画像に基づいて、第1のオブジェクトの特徴の第1のピクセル寸法を決定することができる。第2の画像に基づいて、第1のオブジェクトの特徴の第2のピクセル寸法を決定することができる。第1および第2のピクセル寸法に基づいて、第1のオブジェクトの寸法(例えば、高さの寸法)を決定することができる。いくつかの実施形態では、制御デバイスは、第1のオブジェクトの決定された寸法に基づいて画像を取得するためにレンズ構成に自動的に焦点を合わせるように構成することができる。
いくつかの実施形態では、第2の画像は、第1の画像と実質的に重複することができる。
いくつかの実施形態では、第1の光路は、少なくとも2つのミラーによって画定することができ、第2の光路は、少なくとも2つのミラーのうちの少なくとも1つを含まなくてもよい。場合によっては、光路に少なくとも2つの固定式ミラーを含めることができる。
技術のいくつかの実施形態は、例えば、オブジェクトに含まれるシンボルを分析するためのマシンビジョンシステムなどの画像化システム(または方法)を含む。画像化デバイスは、画像化センサおよびレンズ構成を含むことができる。制御デバイスは、画像化デバイスを使用して、第1のミラーが第1の向きであるときに第1のミラーおよび第2のミラーによって画定される第1の視野であってズームの第1の度合いを提供する第1の視野を用いて、オブジェクトの第1の画像を取得し、第1のミラーを第2の向きに動かし、画像化デバイスを使用して、第1のミラーが第2の向きであるときに第1のミラーおよび第2のミラーによって画定される第2の視野であってズームの第1の度合いとは異なるズームの第2の度合いを提供する第2の視野を用いて、オブジェクトの第2の画像を取得するように構成することができる(または、オブジェクトの第1の画像を取得し、第1のミラーを第2の向きに動かし、オブジェクトの第2の画像を取得することができる)。
いくつかの実施形態では、第1の画像に基づいて、第1のオブジェクトの特徴の第1のピクセル寸法を決定することができる。第2の画像に基づいて、第1のオブジェクトの特徴の第2のピクセル寸法を決定することができる。第1のピクセル寸法および第2のピクセル寸法に基づいて、第1のオブジェクトの高さ寸法を決定することができる。
いくつかの実施形態では、第1の画像を取得するために使用される固定式ミラーを使用せずに、第2の画像を取得することができる。制御デバイスは、オブジェクトがコンベヤに沿った第1の位置に配置されている間に、第1の画像を取得し、オブジェクトが第1の位置とは異なるコンベヤに沿った第2の位置に配置されている間に、第2の画像を取得するように構成することができる。
技術のいくつかの実施形態は、画像化センサおよびレンズ構成を備えた画像化デバイス、第1のミラー、および第2のミラーを含む画像化システムを使用して、オブジェクト上のシンボルを分析する方法(またはシステム)を含む。画像化デバイスを使用して、オブジェクトの第1の画像を、第1のミラーおよび第2のミラーを含む第1の光路に沿って取得することができる。第1のミラーを移動して、第2のミラーを含まない第2の光路を画定することができる。オブジェクトが、第1の画像の第1の視野よりも第2の画像の第2の視野においてより大きい割合を占めて表示されるように、画像化デバイスを使用して、オブジェクトの第2の画像を第2の光路に沿って取得することができる。
いくつかの実施形態では、オブジェクトの特徴の第1のピクセル寸法を決定することは、第1の画像に基づいて決定することができる。第2の画像に基づいて、オブジェクトの特徴の第2のピクセル寸法を決定することができる。第1および第2のピクセル寸法に基づいて、オブジェクトから画像化デバイスまでの距離またはオブジェクトの寸法を決定することができる。場合によっては、レンズ構成を自動でフォーカシングして、オブジェクトから画像化デバイスまでの決定された距離に基づいて画像を取得することができる。
技術のいくつかの実施形態は、第1のオブジェクトの画像を取得するための画像化システムを含み、第1のオブジェクトは、輸送システムに沿って進行方向に移動するように構成される。画像化構成は、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を含むことができる。ミラー構成は、制御可能に移動可能であることができる第1のミラー、および任意選択でまたは好ましくは第2のミラーを含むことができる。制御デバイスは、第1のオブジェクトが進行方向に沿って移動するときに、操作を実行するように構成できる。操作は、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を使用して、第1の位置に第1のオブジェクトを含む第1の画像を取得することを含み得、第1の画像は、第1の光路に沿って取得され、第1の光路は任意選択、または好ましくは、ミラー構成または第2のミラーによって少なくとも部分的に画定される。場合によっては、第1の光路に対応する第1の視野は、コンベヤに沿った第1の位置で、コンベヤの実質的に全幅にわたって延びる。
操作は、第1のミラーを移動して、任意選択にまたは好ましくは第2のミラーを含まない第2の光路を画定することをさらに含むことができる。場合によっては、第2の光路に対応する第2の視野は、コンベヤに沿った第2の位置で、コンベヤに沿った第1の位置での第1の視野よりも狭いコンベヤの幅にわたって延びることができる。
操作はさらに、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を使用して、第2の位置に第1のオブジェクトを含む第2の画像を取得することを含み得、第2の画像は、第1のオブジェクトに関して、第1の画像とは異なるズームの度合いで第2の光路に沿って取得される。
いくつかの実施形態では、制御デバイスは、第1のミラーを選択的に制御して、第2の光路が、第1のミラーのみまたは複数のミラーの1つを含むミラーのセットと交差するように第2の光路を画定するように構成することができる。
いくつかの実施形態では、制御デバイスは、第1のオブジェクトの高さの決定に基づいて、第1のミラーを選択的に移動して第2の光路を画定するように構成することができる。
いくつかの実施形態では、制御デバイスは、さらなる操作を実行するように構成することができる。例えば、1つまたは複数のミラーの制御された動きによって画定される異なる光路のうちの少なくとも1つを用いて、それぞれが異なる光路に沿って、第1のオブジェクトの複数の画像を取得することができる。第1のオブジェクトの特徴のピクセル寸法は、複数の画像のそれぞれで決定できる。第1のオブジェクトの寸法(例えば、高さ)は、特徴の決定されたピクセル寸法に基づいて決定することができる。
いくつかの実施形態では、第2の光路は、第1の画像内の輸送システム上のオブジェクトの位置に基づいて決定することができる。
いくつかの実施形態では、オブジェクトに含まれるシンボルを分析するための画像化システムは、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を含む画像化構成を含むことができる。ミラー構成は、制御可能に移動可能な第1のミラー、および任意選択でまたは好ましくは第2のミラーを含むことができる。制御デバイスは、特定の操作を実行するように構成できる。例えば、第1の画像は、画像化構成を使用して、ズームの第1の度合いを提供する第1の視野であって、任意選択でまたは好ましくは第2のミラーによって少なくとも部分的に定義される第1の視野を使用して取得することができる。第1のミラーは、第1の向きから第2の向きに動かすことができる。画像化構成を使用して、第2の向きの第1のミラーによって少なくとも部分的に画定される第2の視野であって、ズームの第1の度合いとは異なるズームの第2の度合いを提供する第2の視野を使用して、オブジェクトの第2の画像を取得することができる。
いくつかの実施形態では、第1の画像に基づいて、オブジェクトの特徴の第1のピクセル寸法を決定することができる。第2の画像に基づいて、オブジェクトの特徴の第2のピクセル寸法を決定することができる。第1および第2のピクセル寸法に基づいて、オブジェクトの寸法(例えば、高さの寸法)の決定を決定することができる。
いくつかの実施形態では、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を備えた画像化構成、ならびに第1のミラーおよび任意選択でまたは好ましくは、第2のミラーを含むミラー構成を含む画像化システムを使用して、オブジェクト上のシンボルを分析するための方法が提供される。画像化構成を使用して、オブジェクトの第1の画像は、任意選択でまたは好ましくは、少なくとも第2のミラーを含む第1の光路に沿って取得することができる。第1のミラーは、第1の光路とは異なり、任意選択でまたは好ましくは第2の光路を含まない第2の光路を画定するために移動することができる。画像化構成を使用して、オブジェクトの第2の画像を第2の光路に沿って取得することができる。第1の画像に基づいて、オブジェクトの特徴の第1のピクセル寸法を決定することができる。第2の画像に基づいて、オブジェクトの特徴の第2のピクセル寸法を決定するこ
とができる。第1および第2のピクセル寸法に基づいて、オブジェクトから画像構成までの距離またはオブジェクトの寸法(例えば、高さ寸法)のうちの1つまたは複数を決定する。任意選択に、または好ましくは、第2の画像は、オブジェクトに関連して、第1の画像とは異なるズームの度合いを提供することができる。
いくつかの実施形態は、オブジェクトの複数の側部をスキャンするためのシステムを提供する。オブジェクトを補助するように補助構造を構成できる。1つまたは複数の画像化デバイスは、集合的に、第1の画像化センサおよび第2の画像化センサを含むことができる。ミラー構成は、少なくとも1つの制御可能なミラーを含むことができる。プロセッサデバイスは、1つまたは複数の画像化デバイスおよびミラー構成を使用して動作を実行するように構成することができる。例えば、オブジェクトの第1の側部の第1の画像は、第1の画像化センサおよびミラー構成を使用して取得することができ、第1の画像化センサの第1の視野(FOV)を第1の側部の第1の対象領域に方向付けるために少なくとも1つの制御可能なミラーを移動することを含む。オブジェクトの第2の側部の第2の画像は、第2の画像化センサおよびミラー構成を使用して取得することができ、第2の画像化センサの第2のFOVを第2の側部の第2の対象領域に方向付けるために少なくとも1つの制御可能なミラーを移動することを含む。
いくつかの実施形態では、ミラー構成は、第1の制御可能なミラーおよび第2の制御可能なミラーを含むことができる。第1の画像を取得することは、第1の制御可能なミラーを動かして第1のFOVを方向付けることを含み得る。第2の画像を取得することは、第2の制御可能なミラーを動かして第2のFOVを方向付けることを含み得る。
いくつかの実施形態では、第1および第2の画像は、単一のトリガーイベントの一部として取得することができる。
いくつかの実施形態では、それぞれの追加の画像は、それぞれの画像化センサを使用して、オブジェクトの複数の他の側部のそれぞれについて取得することができる。それぞれの追加の画像のそれぞれを取得することは、少なくとも1つの制御可能なミラーを動かして、それぞれの追加の画像化センサのそれぞれの追加のFOVを、複数の他の側部のそれぞれ1つのそれぞれの追加の対象領域に向けることを含むことができる。
いくつかの実施形態では、オブジェクトの側部のそれぞれの画像を取得することは、ミラー構成のそれぞれの異なる制御可能なミラーを動かして、それぞれのFOVをそれぞれの追加の対象領域に向けることを含むことができる。
いくつかの実施形態では、オブジェクトの下側部の画像を取得することができる。
いくつかの実施形態では、支持構造は、オブジェクトを下から支持するための透明または開口構造を備えた支持プラットフォームを含むことができる。
いくつかの実施形態では、画像は、オブジェクトが静止している間に取得することができる。
いくつかの実施形態では、第1の画像は、オブジェクトの第1の側部の全体を含まなくてもよい。
いくつかの実施形態では、合成画像は、第1の画像を使用したオブジェクトの第1の側部およびオブジェクトの第1の側部の後続の対象領域の後続の画像について、生成することができる。後続の画像は、FOVを後続の対象領域に向けるために少なくとも1つの制
御可能なミラーを動かすことを含め、第1の画像化センサを使用して取得することができる。
いくつかの実施形態では、少なくとも1つの制御可能なミラーを動かして、第1の画像化センサを使用して1つまたは複数の初期の画像を取得することができる。第1の対象領域は、1つまたは複数の初期の画像に基づいて識別できる。
いくつかの実施形態では、初期の画像は、所定の初期スキャン領域に基づいて取得することができる(例えば、ユーザの入力に基づいて識別されるように)。
いくつかの実施形態では、1つまたは複数の初期の画像の1つまたは複数のシンボルを識別することに基づいて、第1の対象領域を識別することができる。
いくつかの実施形態では、1つまたは複数の初期の画像は、複数の重複する画像を含むことができる。
いくつかの実施形態では、1つまたは複数の初期の画像は、重複しない画像のセットを含むことができる。
いくつかの実施形態では、重複しない画像のセットに基づいて第1の対象領域を識別することが失敗した場合、重複する画像のセットを取得することができ、重複する画像に基づいて第1の対象領域を識別することができる。
技術のいくつかの実施形態は、オブジェクトの6つの側部をスキャンするためのシステムを提供する。オブジェクトを補助するように補助構造を構成できる。ミラー構成は、複数の画像化センサ(例えば、少なくとも6つの画像化センサ)に関連付けられた複数の制御可能なミラー(例えば、少なくとも6つの制御可能なミラー)を含むことができる。プロセッサデバイスは、複数の画像化センサおよび複数の制御可能なミラーを使用して動作を実行するように構成することができる。制御可能なミラーを移動して、画像の取得用のそれぞれの視野(FOV)をオブジェクトの6つの側部のそれぞれに向けることができる。それぞれのFOVの各々のそれぞれの画像は、複数の画像化センサのそれぞれの画像化センサを使用して取得することができる。
いくつかの実施形態では、1つまたは複数のセンサは、オブジェクトの1つまたは複数の側部の3次元特徴を識別するように構成することができる。3次元特徴は、オブジェクトの3次元の表現をもたらすために、オブジェクトの1つまたは複数の側部に関連付けられた1つまたは複数の画像と組み合わせる(例えば、オーバーレイする)ことができる。
技術のいくつかの実施形態は、オブジェクトの複数の側部をスキャンする方法を提供することができる。オブジェクトの第1の側部の第1の画像は、第1の画像化センサおよび少なくとも1つの制御可能なミラーを含むミラー構成を使用して取得することができ、第1の画像化センサの第1の視野(FOV)を第1の側部の第1の対象領域に方向付けるために少なくとも1つの制御可能なミラーを移動することを含む。オブジェクトの第2の側部の第2の画像は、第2の画像化センサおよびミラー構成を使用して取得することができ、第2の画像化センサの第2のFOVを第2の側部の第2の対象領域に方向付けるために少なくとも1つの制御可能なミラーを移動することを含む。
技術のいくつかの実施形態は、1つまたは複数の画像化デバイスおよびミラー構成を含む画像化システムを提供することができる。1つまたは複数の画像化デバイスは、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を含むことができる。ミラー
構成は、少なくとも1つの制御可能なミラーを含むことができる。1つまたは複数の画像化デバイスおよびミラー構成の動作を実行するように構成されたプロセッサデバイスである。例えば、第1の光路を使用して、第1の位置にある第1のオブジェクトの第1の画像を取得することができ、第1のオブジェクトは第1の高さを有し、第1の光路はミラー構成の第1の固定式ミラーを含まない。少なくとも1つの制御可能なミラーを移動して、第1の固定式ミラーを含み、第2の高さでの第1の光路に沿ったFOVよりも大きい、第2の高さでの画像の取得のための視野(FOV)をもたらす第2の光路を画定することができる。第2の高さを有する第2のオブジェクトの第2の画像は、第2の光路を使用して取得することができる。
いくつかの実施形態では、第2の光路によってもたらされるFOVは、第1の光路に沿った第2のオブジェクトの上面のFOVよりも第2のオブジェクトの上面で大きくなり得る。
いくつかの実施形態では、第2の光路は、複数の固定式ミラーを含むことができる。
いくつかの実施形態では、第1の光路は、固定式ミラーを含まなくてもよい。
いくつかの実施形態では、第1の光路は、複数の固定式ミラーのうちの少なくとも2つ(例えば、第2の光路)の間を通過することができる。
いくつかの実施形態では、第1および第2の光路は、輸送システムに沿った同じ場所にあるオブジェクトの画像の取得に対応することができる。
いくつかの実施形態では、第1の光路は、制御可能なミラーによって画定することができる。
いくつかの実施形態では、第1の光路は、ミラー構成の第2の固定式ミラーによって画定することができる。
いくつかの実施形態では、第1または第2の画像を取得する前に、1つまたは複数のオブジェクトを第3の光路に沿ってスキャンすることができ、第3の光路は、第1の位置に先行する輸送システムに沿った第2の場所でのオブジェクトの画像の取得に対応する。第1または第2の光路のうちの1つは、1つまたは複数のオブジェクトのスキャンに基づいて、後続の画像の取得のために選択することができる。
いくつかの実施形態では、1つまたは複数のオブジェクトをスキャンすることは、1つまたは複数のオブジェクトの高さを決定することを含むことができる。第1または第2の光路のうちの1つを選択することは、1つまたは複数のオブジェクトの高さに基づくことができる。
いくつかの実施形態では、1つまたは複数のオブジェクトをスキャンすることは、距離センサ(例えば、飛行時間(ToF)センサまたは他の既知の距離センサ)を使用して輸送システムの領域をスキャンすることを含み得る。
いくつかの実施形態では、1つまたは複数のオブジェクトをスキャンすることは、1つまたは複数の画像化デバイスを使用して、第1または第2のオブジェクトの1つまたは複数の初期の画像を取得することを含み得る。
いくつかの実施形態では、1つまたは複数のオブジェクトをスキャンすること、および
第1の画像または第2の画像の少なくとも1つを取得することは、同じ画像化デバイスを使用して実施することができる。
いくつかの実施形態では、第1または第2のオブジェクトの高さを決定することは、1つまたは複数の初期の画像に基づくことができる。第1または第2の光路の1つを選択することは、決定された高さに基づくことができる。
いくつかの実施形態では、対象領域は、1つまたは複数の初期の画像に基づいて、第1または第2のオブジェクト上で識別され得る。第1または第2の光路の1つを選択することは、識別された対象領域に基づくことができる。
いくつかの実施形態では、第3の光路は、ミラー構成の第3の固定式ミラーを含むことができる。
技術のいくつかの実施形態は、オブジェクトを動かすように構成された輸送システムと共に使用するための画像化システムを提供することができる。1つまたは複数の画像化デバイスは、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を含むことができる。ミラー構成は、少なくとも1つの制御可能なミラーおよび複数の固定式ミラーを含むことができる。プロセッサデバイスは、1つまたは複数の画像化デバイスおよびミラー構成を使用して動作を実行するように構成することができる。オブジェクトの高さを決定できる。高さが第1の高さである場合、少なくとも1つの制御可能なミラーを移動して、少なくとも1つの制御可能なミラーを含み、ミラー構成の第1の固定式ミラーを含まない第1の光路、および第1の光路と1つまたは複数の画像化デバイスを使用して取得できるオブジェクトの画像を画定することができる。高さが第1の高さよりも大きい第2の高さである場合、少なくとも1つの制御可能なミラーを移動して、少なくとも1つの制御可能なミラーおよび第1の固定式ミラーを含む第2の光路を画定することができ、オブジェクトの画像は、第2の光路および1つまたは複数の画像化デバイスを使用して取得することができる。
いくつかの実施形態では、第1の光路は、固定式ミラーを含まなくてもよい。
いくつかの実施形態では、第2の光路は、少なくとも2つの固定式ミラーを含むことができる。
いくつかの実施形態では、オブジェクトの高さを決定することは、第1または第2の光路を使用してオブジェクトの画像を取得する前に、第2の固定式ミラー、および距離センサまたは1つまたは複数の画像化デバイスの少なくとも1つを使用してオブジェクトをスキャンすることに基づくことができる。
技術のいくつかの実施形態は、輸送システム上のオブジェクトの画像を取得する方法を提供する。輸送システム上のオブジェクトの高さを決定することができる。決定された高さに基づいて、画像の取得のための第1の光路または画像を取得するための第2の光路を選択することができる。第2の光路は、第1の光路に含まれていない固定式ミラーを含むことができる。固定式ミラーは、第1の光路と比較して、第2の光路に沿った画像化デバイスの画像化センサと輸送システムとの間の画像化の距離を効果的に増加させることができる。制御可能なミラーを移動して、選択した第1または第2の光路に位置合わせすることができる。オブジェクトの画像は、画像化センサを使用して、選択された第1または第2の光路に沿って取得することができる。
技術のいくつかの実施形態は、コンベヤに沿って進行方向に移動するオブジェクトの画
像を取得するための画像化システムを提供する。画像化システムは、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成、制御可能に移動可能な第1のミラーを含むミラー構成、および制御デバイスを含むことができる。制御デバイスは、第1のオブジェクトが進行方向に沿って移動するときに、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を使用して、コンベヤに沿った第1の位置にて第1のオブジェクトを含むことができる第1の画像を取得するように構成することができる。第1の画像は、ミラー構成によって画定される第1の光路に沿って取得することができる。第1の光路に対応する第1の視野は、第1の位置でコンベヤの実質的に全幅にわたって延びることができる。制御デバイスは、第1のオブジェクトが進行方向に沿って移動するときに、第1のミラーを移動して、ミラー構成による第2の光路を画定するように構成することができる。第2の光路は、第1の光路とは異なっていてもよい。第2の光路に対応する第2の視野は、コンベヤに沿った第2の位置で、コンベヤに沿った第1の位置での第1の視野よりも狭いコンベヤの幅にわたって延びることができる。制御デバイスは、第1のオブジェクトが進行方向に沿って移動するときに、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を使用して、第2の位置に第1のオブジェクトを含むことができる第2の画像を取得するように構成することができる。第2の画像は、第2の光路に沿って取得することができる。
いくつかの実施形態では、第2の画像は、第1のオブジェクトに対して、第1の画像とは異なるズームの度合いで取得することができる。
いくつかの実施形態では、制御デバイスは、第1のミラーを選択的に移動して第2の光路を画定し、第2の光路が第1のミラーのみ、または、少なくとも1つの固定式ミラーを含む複数のミラーの1つを含むことができるミラーのセットと交差するようにさらに構成することができる。
いくつかの実施形態では、第2の光路と交差するミラーのセットは、第1の光路と交差する固定式ミラーを含まない。
いくつかの実施形態では、制御デバイスは、第1のオブジェクトの高さの決定に基づいて、第1のミラーを動かして第2の光路を画定するように構成することができる。
いくつかの実施形態では、制御デバイスは、それぞれが異なる光路に沿って、1つまたは複数のミラーの制御された動きによって画定される異なる光路の少なくとも1つで、第1のオブジェクトの複数の画像を取得するようにさらに構成することができる。制御デバイスは、複数の画像のそれぞれにおける第1のオブジェクトの特徴のピクセル寸法を決定し、特徴の決定されたピクセル寸法に基づいて第1のオブジェクトの高さを決定するようにさらに構成することができる。
いくつかの実施形態では、制御デバイスは、距離センサ、およびミラー構成の1つまたは複数のミラーを使用して、第1のオブジェクトの高さを決定するようにさらに構成することができる。
いくつかの実施形態では、制御デバイスは、第1の画像内のコンベヤ上の第1のオブジェクトの位置に基づいて、第2の光路を画定するために第1のミラーを移動するように構成することができる。
いくつかの実施形態では、制御デバイスは、第2の光路に沿って第2の画像を取得するために、少なくとも1つのレンズ構成の焦点を自動的に調整するようにさらに構成することができる。
いくつかの実施形態では、制御デバイスは、第1のミラーを動かすと同時に焦点を自動的に調整するように構成することができる。
いくつかの実施形態では、制御デバイスは、第1のミラーの制御された動きに基づいて焦点を自動的に調整するように構成することができる。
いくつかの実施形態では、制御デバイスは、コンベヤ上の1つまたは複数のオブジェクトの連続画像を取得することの間に較正ターゲットの画像を取得するように第1のミラーを制御し、較正ターゲットの画像に基づいて少なくとも1つのレンズ構成の焦点を制御するようにさらに構成することができる。
技術のいくつかの実施形態は、画像化システムを提供する。画像化システムは、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を含むことができる画像化デバイスを含むことができる。画像化システムは、第1のミラー、第2のミラー、および制御デバイスを含むことができる。制御デバイスは、第1のミラーが第1の向きであるように構成することができ、第2のミラーによって少なくとも部分的に画定することができ、ズームの第1の度合いをもたらすことができる第1の視野を有するオブジェクトの第1の画像を取得するように画像化デバイスを制御する。制御デバイスは、第1のミラーを第1の向きから第2の向きに動かしし、第2の向きで第1のミラーによって画定され得る第2の視野を使用してオブジェクトの第2の画像を取得するように画像化デバイスを制御するように構成することができる。第2の視野は、第1の視野とは異なる場合があり、ズームの第2の度合いを提供し得る。制御デバイスは、第1の画像に基づいて、オブジェクトの特徴の第1のピクセル寸法を決定し、第2の画像に基づいて、オブジェクトの特徴の第2のピクセル寸法を決定し、第1のピクセルの寸法および第2のピクセルの寸法に基づいて、オブジェクトの高さの寸法を決定するよう構成することができる。
いくつかの実施形態では、第2のミラーは固定式ミラーであり得る。
いくつかの実施形態では、第2のミラーは、第2の画像を取得するための光路に含めないことができる。
いくつかの実施形態では、第1のピクセル寸法および第2のピクセル寸法は、オブジェクトの上面のピクセル寸法であり得る。
いくつかの実施形態では、画像化システムは、第3のミラーを含むことができる。制御デバイスは、第1のミラーを第3の向きに動かして、第1のミラーおよび第3のミラーを介して、第1および第2の視野とは異なることができる第3の視野を画定するようにさらに構成することができる。制御デバイスはさらに、第3の視野を使用してオブジェクトの第3の画像を取得するように構成することができ、第3の画像は、ズームの第1の度合いおよび第2の度合いとは異なるズームの第3の度合いを提供する。
いくつかの実施形態では、第1または第2の画像の少なくとも1つは、オブジェクトの上面全体を含むことができる。第3の画像には、オブジェクトの上面の一部のみを含めることができる。
技術のいくつかの実施形態は、少なくとも1つの画像化センサおよび少なくとも1つのレンズ構成を備える画像化デバイス、第1のミラー、および第2のミラーを含むことができる画像化システムを使用して、オブジェクト上のシンボルを分析する方法を提供する。この方法は、第2のミラーを含む第1の光路に沿ってオブジェクトの第1の画像を取得す
ることを、画像化デバイスと共に含むことができる。この方法は、第1のミラーを移動して、第2のミラーを含まない第2の光路を画定すること、および画像化デバイスを用いて、第2の光路に沿ってオブジェクトの第2の画像を取得することを含むことができる。この方法は、第1の画像に基づいて、オブジェクトの特徴の第1のピクセル寸法を決定すること、第2の画像に基づいて、オブジェクトの特徴の第2のピクセル寸法を決定すること、および第1および第2のピクセルの寸法に基づいて、オブジェクトから画像化デバイスまでの距離またはオブジェクトの高さのうちの1つまたは複数を決定することを含むことができる。
いくつかの実施形態では、第2の画像は、オブジェクトに対して、第1の画像とは異なるズームの度合いをもたらすことができる。
前述および関連する目的を達成するために、技術の実施形態は、以下に完全に説明される特徴を含む。以下の説明および添付の図面は、技術の特定の例示的な態様を詳細に説明している。ただし、これらの態様は、技術の原則を採用できる様々な方法のほんの一部を示している。技術の他の側面、利点、および新しい特徴は、図面と併せて検討するときに、以下の技術の詳細な説明から、明らかになる。
技術のいくつかの実施形態による、制御可能なミラーを含む画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含む画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含む画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーおよび複数の固定式ミラーを備えた画像化システム(および方法)の等角図である。 技術のいくつかの実施形態による、制御可能なミラーを含む別の画像化システム(および方法)の側面の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらなる別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含むさらに別の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含み、コンベヤ用のトンネルとして(または一緒に使用するために)構成される画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含み、コンベヤ用のトンネルとして(または一緒に使用するために)構成される画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、制御可能なミラーを含み、コンベヤ用のトンネルとして(または一緒に使用するために)構成される別の画像化システム(および方法)の概略図である。 図9Aの画像化システムを使用して取得された画像のつなぎ合わせ操作の概略図である。 技術のいくつかの実施形態による、画像化システムまたは方法を使用して取得された画像の概略図である。 技術のいくつかの実施形態による、追加の画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、他の画像化システム(および較正方法)の概略図である。 技術のいくつかの実施形態によるさらなる画像化システム(および方法)の概略図である。 技術のいくつかの実施形態によるさらなる画像化システム(および方法)の概略図である。 技術のいくつかの実施形態による、較正およびスキャン方法(およびシステム)の概略図である。 技術のいくつかの実施形態による、別の画像化システムの概略図である。 技術のいくつかの実施形態による、図16Aの画像化システムのミラーの斜視図である。 技術のいくつかの実施形態による、図16Aの画像化システムの別のミラーの別の斜視図である。 技術のいくつかの実施形態による、オブジェクトの複数の側部を画像化するための別の画像化システムの斜視図である。 図17の画像化システムの別の斜視図である。 図17の画像化システムを使用して生成された例示的な合成画像の概略図である。 1つまたは複数の制御可能なミラーを使用してオブジェクトの画像を取得するためのプロセスのフローチャートである。 オブジェクトの複数の側部をスキャンするためのプロセスのフローチャートである。 1つまたは複数のオブジェクトの複数の視野を取得するためのプロセスのフローチャートである。
この技術は、様々な修正および代替形態の影響を受けやすいが、その特定の実施形態は、例として図面に示され、本明細書で詳細に説明されている。しかし、特定の実施形態の本明細書の説明は、技術を開示された特定の形態に限定することを意図するものではなく、それどころか、添付の特許請求の範囲によって定義される技術の精神および範囲内にあるすべての修正、同等物、および代替物を網羅することを意図することを理解されたい。
ここで、主題の技術の様々な態様を、添付の図面を参照して説明する。この場合、同様の参照番号は、いくつかの図を通して同様の要素に対応する。しかし、特定の方法の特定の操作順序の図面における説明を含む、以下の図面およびそれに関連する発明を実施するための形態は、特許請求された主題を開示されている特定の形態に限定することを意図してはいないことを理解されたい。むしろ、特許請求されている主題の精神と範囲に含まれ
るすべての修正、同等物、および代替物を網羅することを意図している。
いくつかの実施形態では、本開示による方法のコンピュータ化された実装を含む本開示の態様は、プロセッサデバイス、コンピュータ(例えば、メモリに動作可能に結合されたプロセッサデバイス)を制御するソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせ、または本明細書に詳述される態様を実装するための別の電子的に操作されるコントローラを生成するための標準的なプログラミングまたはエンジニアリングの技術を使用して、システム、方法、装置、または製造品として、実装することができる。したがって、例えば、本開示の実施形態は、プロセッサデバイスがコンピュータ可読媒体からの命令を読み取ることに基づいて命令を実行できるように、非一時的なコンピュータ可読媒体上に具体的に具現化される一組の命令として実装することができる。本開示のいくつかの実施形態は、以下の説明と一致する、自動化デバイスなどの制御デバイス、様々なコンピュータハードウェア、ソフトウェア、ファームウェアなどを含む専用または汎用コンピュータを含む(または利用する)ことができる。具体的な例として、制御デバイスは、プロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ、プログラマブルロジックコントローラ、ロジックゲートなど、および適切な機能の実行について当技術分野で知られている他の典型的なコンポーネント(例えば、メモリ、通信システム、電源、ユーザインターフェース、その他の入力など)を含み得る。
本明細書で使用される「製造品」という用語は、任意のコンピュータ可読デバイス、キャリア(例えば、非一時的信号)、または媒体(例えば、非一時的媒体)からアクセス可能なコンピュータプログラムを包含することを意図している。例えば、コンピュータ可読媒体には、磁気記憶デバイス(例えば、ハードディスク、フロッピーディスク、磁気ストリップなど)、光ディスク(例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)など)、スマートカード、およびフラッシュメモリデバイス(例えば、カード、スティックなど)が含まれ得るが、これらに限定されない。さらに、搬送波を使用して、電子メールの送受信、またはインターネットやローカルエリアネットワーク(LAN)などのネットワークへのアクセスに使用されるようなコンピュータ可読電子データを伝送できることを理解されたい。当業者は、特許請求された主題の範囲または精神から逸脱することなく、これらの構成に多くの修正を加えることができることを認識する。
本開示による方法、またはそれらの方法を実行するシステムの特定の動作は、図面に概略的に表されるか、または本明細書で論じられ得る。別段の指定または制限がない限り、図面における特定の空間的な順番での特定の操作の表現は、それらの操作が特定の空間的な順番に対応する特定の順序で実行されることを必ず必要とすることはない。相応して、図面に示される、または本明細書に開示される特定の動作は、本開示の特定の実施形態に適切なように、明示的に図示または説明されるものとは異なる順番で実行することができる。さらに、いくつかの実施形態では、特定の操作は、専用の並列処理デバイス、または大規模なシステムの一部として相互運用するように構成された別個のコンピューティングデバイスによることを含めて、並列で実行することができる。
コンピュータの実行という文脈で本明細書で使用される場合、他に明記または限定されない限り、「コンポーネント」、「システム」、「モジュール」などの用語は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組み合わせ、または実行中のソフトウェアを含むコンピュータ関連システムの一部または全部を包含することを意図する。例えば、コンポーネントは、プロセッサデバイス、プロセッサデバイスによって実行される(または実行可能な)プロセス、オブジェクト、実行ファイル、実行スレッド、コンピュータプログラム、またはコンピュータであり得るが、これらに限定されない。実例として、コンピュータで実行されているアプリケーションとコンピュータの両方をコンポーネントにすることができる。1つまたは複数のコンポーネント(またはシステム、モジュールなど)は、実行のプロセスまたはスレッド内に存在し得るか、1つのコンピュータにローカライズされ得るか、2つ以上のコンピュータまたは他のプロセッサデバイス間で分散され得るか、または別のコンポーネント(またはシステム、モジュールなど)に含まれ得る。
一般に、上記したように、本開示の実施形態は、制御可能な(移動可能な)ミラーを使用してオブジェクトの画像を取得するためのシステムおよび方法を含むことができる。例えば、いくつかの実施形態は、2つの自由度に対する移動(例えば、2つの垂直軸の周りの回転)に対して制御され得る1つ以上のミラーと交差する光路に沿って画像を選択的に取得するように構成される画像化デバイスを含むことができる。例えば、画像化デバイスが固定の位置の画像化デバイスであるにもかかわらず、1つまたは複数のミラーを適切に制御して、別々の画像の光路を別々の方向に向けることができ、その結果、画像は、異なるFOVの画像化デバイスによって取得され得る。これに関して、例えば、いくつかの実施形態は、異なるズームの度合いで画像を取得することを可能にする構成を含むことができ、オブジェクトがそれぞれのFOVの異なる比率を占めるか、オブジェクトが異なる場所で(例えば、コンベヤに沿って)画像化されるか、オブジェクトが様々な側から画像化されているか、オブジェクトの様々な部分が様々なFOVに含まれている。同様に、いくつかの実施形態は、オブジェクトの取得された画像を集合的に使用して、オブジェクトの寸法または他のパラメータを分析することを可能にすることができる。
いくつかの実施形態では、1つまたは複数の固定の(すなわち、制御不可能な)ミラーを、1つまたは複数の制御可能なミラーを使用して実装される光路のいくつかまたはすべてで使用することができる。例えば、コンベヤのスキャントンネルに対して異なる場所に、複数の固定式ミラーを配置できる。次に、制御可能なミラーを使用して、異なる順列の1つまたは複数の固定式ミラーとの位置合わせを介して、画像を取得するための異なる光路を画定することができる。したがって、ミラーを使用して、オブジェクトがトンネルに入る、トンネルを通過する、またはトンネルから出るときに、オブジェクトの様々な側部の画像を取得できる。このようにして、例えば、制御可能なミラーと組み合わせて画像を取得するように構成された単一の画像化デバイスは、複数の画像化デバイス(例えば、従来のトンネルシステムで使用されるような)を置き換えることができる。さらに、他の実施形態では、同様の原理をトンネルではない用途において、制御可能または固定式のミラーの異なる可能な組み合わせで適用することもできる。
異なる実施形態では、異なるタイプの制御可能なミラーを使用することができる。例えば、上で全般的に論じられているように、いくつかの実施形態は、複数の軸に対して傾斜するように構成されたミラーを使用することができる。これに関して、例えば、様々な既知のアプローチを利用して、画像を取得するためのミラーの動きを制御することができる。例えば、いくつかのアプローチは、参照により本明細書に組み込まれる米国特許出願公開第2018/0203249号および米国特許第4,175,832号および第6,086,209号に開示されている。
図1A~図1Cは、従来のコンベヤベルトシステムなどのコンベヤ24のオブジェクト22(および他のオブジェクト)の画像を取得するために使用するための例示的な画像化システム20を示す。図示の実施形態では、コンベヤ24は、オブジェクト22を(時間と共に)直線的に、不変の(局所的な)進行方向(すなわち、示されているように左から右へ)で移動するように構成される。他の実施形態では、他の構成が可能であり、例えばオブジェクトを線形以外に、または局所的に変化する移動方向に、移動させることができるコンベヤを備えた構成が挙げられる。相応して、当業者は、本明細書で論じられる原理が、一般に、様々なタイプのコンベヤに過度の実験をすることなく適合させることができることを認識する。さらに、技術のいくつかの実施形態を使用して、他の手段によって移
動されている最中のオブジェクトに対する操作を実行することができる。例えば、コンベヤに沿ったオブジェクトの動きに関して論じられた実施形態は、当業者によって、ユーザ効果の動きで動作するように容易に適合させることができ、例えばピッキングと配置の操作中、「提示」モードスキャン(ユーザがオブジェクトをターゲット領域に移動することによってスキャンするオブジェクトを提示する)中、および他の様々なコンテキストにて生じる可能性がある。
図示の実施形態では、画像化システム20は、コンベヤ24に対して固定された位置に固定された画像化デバイス26を含む。一般に、画像化デバイス26を含む、本明細書で論じられる画像化デバイスは、少なくとも1つの画像化センサ(例えば、CCD、CMOS、または他の既知のセンサ)、少なくとも1つのレンズ構成、および画像化センサに関連する計算操作を実行するように構成されている、少なくとも1つの制御デバイス(例えば、プロセッサデバイス)を含む。いくつかの実施形態では、レンズ構成は、固定焦点レンズを含むことができる。いくつかの実施形態では、レンズ構成は、液体レンズまたは既知のタイプの機械的に調整されたレンズなどの調整可能な焦点レンズを含むことができる。
いくつかの実施形態では、画像化デバイスは、関連する画像化センサおよびレンズ構成によって取得された画像を処理するように動作することができる画像処理デバイスとして構成することができる。例えば、画像化デバイスは、関連する画像化センサから受信される画像のシンボルを復号するためのコンピューティングデバイスまたはモジュールの他の構成として構成することができる。いくつかの実施形態では、画像化デバイスは、さらなる処理のために、画像データ(例えば、バイナリのピクセルの値)をリモートのプロセッサデバイス(例えば、クラウドコンピューティングまたはローカルネットワークシステム内)に通信するように構成することができる。
画像化デバイス26に加えて、画像化システム20はまた、ミラー30を含む。特に、ミラー30は、少なくとも1つの軸に対して傾斜するように構成された制御可能なミラーである。例えば、図示の実施形態では、ミラー30は、プロセッサデバイスによって、ミラー30のピボット点と位置合わせして、図1Aのページ内に延びる軸に対して傾斜(すなわち、回転)するよう制御可能である。他の実施形態では、上記し、以下でさらに説明するように、多軸移動を含む他のタイプの制御可能な移動が可能である。いくつかの実施形態では、ミラー30は、画像化デバイス26の一部を形成するプロセッサデバイスおよび関連するソフトウェア(または他の)モジュールによって制御することができる。いくつかの実施形態では、ミラー30は、他のデバイス(図示せず)によって制御することができ、例えば画像化デバイス26の動作を制御するように構成されている他のデバイスが挙げられる。
いくつかの実施形態では、制御デバイスは、コンベヤ24に関連する情報に基づいて、画像化デバイス26およびミラー30を動作させるように構成することができる。例えば、コンベヤ24に関連する実際のまたは仮想のエンコーダ(図示せず)は、画像化デバイス26のプロセッサデバイスに信号を提供するように構成することができる。次に、エンコーダからの信号に基づいて、プロセッサデバイスは、以下でさらに詳細に説明する場合を含め、ミラー30の動きおよび画像化デバイス26による画像の取得を制御することができる。
図1A~図1Cにまとめて示されるように、オブジェクト22がコンベヤ24の進行方向に沿って移動するとき、画像化デバイス26は、オブジェクトの一連の画像、例えば、図1A~図1Cに示されるコンベヤ24に沿ったオブジェクト22の位置それぞれついて、1つの画像を含む一連の画像を取得することができる。特に、制御デバイス(例えば、画像化デバイス26のプロセッサデバイス)は、図1A~図1Cに示される角度配向の間でミラー30を傾斜させるように動作することができ、その結果、図1A~図1Cのそれぞれの位置に対してオブジェクト22の画像を取得することができ、画像のそれぞれは、ミラー30のそれぞれの向きによって画定される異なる光路32a、32b、32cに沿って取得される。
したがって、必ずしも画像化デバイス26自体を動かすことなく、各画像が固有のFOVを示した状態で、オブジェクト22の複数の画像を取得することができる。さらに、ミラーは、後続のオブジェクト(図示せず)の画像を取得するために、開始向き(例えば、図1Aのように)に容易に戻すことができる。したがって、オブジェクト22の複数のビューを取得することができ、監視および分析に対応する利点がある。
いくつかの実施形態では、制御可能なミラー30によって促進されるように、オブジェクト22の複数のビューは、オブジェクト22の複数の側部のビューを含むことができる。例えば、図1Aに示されるものと同様の構成を使用して取得された画像は、時にオブジェクト22の前側部および上側部を含む場合があり、図1Cに示されるものと同様の構成を使用して取得された画像は、時にオブジェクト22の前側部および下側部を含む場合がある。同様のアプローチはまた、以下に明示的に論じられる他の実施形態のそれぞれについて、場合によっては左側部および右側部を含むオブジェクトの複数の側部の画像を取得することを含む、様々な他の実装において利用され得る。
いくつかの実施形態では、ミラーの個別の所定の向きを使用することができる。例えば、いくつかの実装では、ミラー30は、2つ以上(例えば、3つ)の所定の角度配向の間で傾斜することができ、その結果、異なるオブジェクトの同様の画像を、2つ以上の所定のFOVで独立して取得することができる。いくつかの実施形態では、ミラーは適合するように移動することができ、特定の画像を取得するためのミラーの特定の向きは、適宜、オブジェクトまたはその特徴の位置または他の特性(例えば、サイズ)、または他の要因に基づいて決定される。
いくつかの実施形態では、制御可能なミラーを使用して、特定の移動経路に沿ってオブジェクトを追跡することができ、その結果、複数の異なる場所でオブジェクトの複数の画像を容易に取得することができる。例えば、画像化システム20は、エンコーダからの信号と、光ゲート(図示せず)または初期の画像の分析によって示されるようなオブジェクト22の初期の位置に関する情報を処理し、それによって、任意の時点でのコンベヤ24に沿ったオブジェクト22の予想される位置を判定するよう構成することができる。(同様の原理は、コンベヤによって駆動されない動きに関しても適用できる。)次に、ミラー30は、コンベヤ24(またはその他)に沿った複数の異なる位置で、経時的にオブジェクト22の複数の画像を取得するために、必要に応じて制御することができる。いくつかの実施形態では、ミラー30は段階的に調整することができ、画像はコンベヤ24に沿って別個の間隔で取得される。いくつかの実施形態では、ミラー30は、画像の取得中に連続的に調整することができ、例えば、経時的なオブジェクト22の画像の連続的な取得を可能にしたり、動きのぶれを軽減したりすることができる。
いくつかの実施形態では、制御可能なミラーを使用して、機械的コンベヤによって引き起こされないオブジェクトの動きに対してレンズのFOVを調整することができる。また、上記のように、例えば、いくつかのシステム(例えば、画像化システム20と同様もの)は、人間の操作者の動きに基づいて、異なる場所で画像を取得するように、構成することができる。例えば、画像化システム20と同様のシステムは、操作者がオブジェクトをスキャン領域に向かって伝送するときにオブジェクトの1つまたは複数の初期の画像をキャプチャするために制御可能なミラーを移動し、次に制御可能なミラーを調整してスキャン領域内の後続のオブジェクトの画像を獲得するよう構成できる。いくつかの実施形態では、そのようなシステムは、所定の操作者のタスクまたは境界のある画像化領域、以前の操作者の動き、またはオブジェクトの初期の画像または操作者の分析に基づいてオブジェクトの予想される動きを判定し、その後、後続的な画像の取得のため、それに応じて制御可能なミラーを調整することができる。
いくつかの実施形態では、制御デバイスは、関連するミラーの向きに応じてレンズ構成の焦点を調整するように構成することができる。例えば、画像化デバイス26のプロセッサデバイスは、ミラー30の向きに応じて画像化デバイス26のレンズ構成の焦点を自動的に調整するように構成することができ、その結果、オブジェクトは、複数のFOVの焦点画像でキャプチャすることができる。これに関して、例えば、画像化デバイス26は、図1A~図1Cに示されるミラー30の各向き(または他の向き)について、画像の取得のために焦点を自動的に調整するように構成され得る。レンズ構成に対するそのような調整は、一般に、液体レンズの電子制御(図示せず)、機械的にフォーカシングされたレンズ構成の電子制御または他の制御(図示せず)などを含む、様々な既知の方法で行うことができる。
いくつかの実施形態では、適切な焦点面は、(例えば、以下で説明するように)実行前の較正を利用して事前に決定することができる。いくつかの実施形態では、適切な焦点面は、他のセンサ(例えば、3Dセンサ)からの情報に基づくもの、または以下でまた説明するように、制御可能なミラーを使用する他の画像の取得からの情報を含めて、より適合するように(例えば、リアルタイムで)判定することができる。
いくつかの実施形態では、焦点の調整は、ミラーの制御された動きと同期させることができ、その結果、関連するレンズ構成は、任意の所与の向きのミラーを備えたミラーを介して画像を取得するために適切な焦点に自動的に移動される。いくつかの実施形態では、焦点の調整は、FOV間の効率的かつ迅速な移行をもたらすために、ミラーの制御された動きと同時に行うことができる。ただし、一部の既知のタイプのレンズ(液体レンズなど)に対する焦点の調整の速度は、ミラーの向きの調整速度よりも1桁(またはそれ以上)速い場合がある。したがって、一部の実装では、性能を大幅に低下させる、またはユーザの満足度を損なうことなく、ミラーの向きを調整する前または後に、レンズの焦点を調整できる。
さらに、いくつかの実施形態では、焦点およびミラーの調整の相対的な速度は、関連するコンベヤの動きよりも桁違いに速くてもよい。したがって、いくつかの実装では、コンベヤに沿った(または他の方法での)オブジェクトの比較的遅い動きは、レンズまたはミラーの調整の速度よりも大幅な時間の制限をする要因である可能性がある。この点に関して、以下でも説明するように、レンズと焦点の調整は、時にオブジェクトの動きに対して十分に迅速に行え、その結果、オブジェクトは、関連する画像化デバイスに対して効果的に静止している間に、異なるレンズおよびミラーの構成で連続的に画像化することができる。
図1A~図1Cに示される例では、ミラー30は、画像化デバイス26の外部および遠隔に配置されている。他の実施形態では、他の構成が可能である。例えば、いくつかの構成は、ミラー30および例示的な画像化デバイス26a(図1Aを参照)について示されるように、画像化デバイスのハウジング内に取り付けられる制御可能なミラーを含むことができる。
別の例として、いくつかの構成は、画像化デバイスに取り付けられているが、画像化デバイスのハウジングの外部に配置されている制御可能なミラーを含むことができる。例え
ば、図2に示されるように、別の例示的な画像化デバイス40は、レンズ構成(図示せず)、画像化センサ(図示せず)、および任意の様々な既知の(または他の)構成であるプロセッサデバイスを囲むハウジング42を含む。さらに、ハウジング42は、2軸傾斜可能ミラー46および複数の固定式ミラー48を支える取り付け構造44を支持する。
他の動作に加えて、画像化デバイス40のプロセッサデバイスは、ミラー46の傾斜を制御するように構成することができ、その結果、画像化デバイス40によって画像を取得するための光軸は、制御可能なミラー46および固定式ミラー48のそれぞれの1つを介して、様々な方向に向けることができる。いくつかの実施形態では、固定式ミラーの異なる数または向きをもたらすことができ、可能なFOVに対応する効果をもたらす。しかし、ミラー48のうちの4つの図示された構成は、複雑さと範囲との間の有用なバランスをもたらせ、画像化デバイス40が、画像化デバイス40から4つの横方向すべてにおいて比較的広い総面積をまとめて覆う複数のFOVを使用して、画像を選択的に取得することを可能にする。いくつかの実施形態では、以下でも説明するように、固定式ミラーは、追加的または代替的に、画像化デバイスから離れて配置され、制御可能なミラーと、適切な場合には、関連する画像化デバイスに取り付けられた他の固定式ミラーとを組み合わせて、選択的に使用され得る。
図示の実施形態では、画像化デバイス40は、例えば、コンベヤに沿って、トンネルを通って、または他の様々な状況を移動するオブジェクトの画像を取得するのに適し得るような、上部に取り付けられた下向きの画像化デバイスとして構成される。他の実施形態では、他の構成が可能である。例えば、画像化デバイス40(または他のミラー構成)と同様のミラーの構成を有する画像化デバイスは、横向きまたは上向きのミラーとして使用することができ、画像化デバイス40とは異なるミラー構成を有する画像化デバイスは、下向きのミラーとして使用することができる。
いくつかの実施形態では、制御可能なミラーを使用して、例えばコンベヤまたは比較的大きなオブジェクトに対して、ターゲット領域に対して複数の方向に画像化デバイスのFOVを移動させることができる。例えば、図3は、複数のオブジェクト62、64を進行方向(例えば、示されているように下から上)に移動しているコンベヤ60の上面概略図を示している。いくつかの実装では、画像化システム20のミラー30(図1Aを参照)または他の画像化システムの制御可能なミラーは、複数の方向で互いに対して移動する別個のFOVの画像を取得するために、少なくとも2つの軸に対して傾斜され得る。例えば、図3に示されるように、ミラー30(図1Aを参照)は、第1の画像が第1のFOV 66で取得され、第2の画像が第1のFOV 66と位置合わせされていない第2のFOV 68で取得されるように、制御することができる。特に、図示の例では、FOV 68は、FOV 66に対して、進行方向に沿った第1の距離70および進行方向を横切る第2の距離72だけシフトされ、その結果、FOV 66の幾何学的中心および縁が、FOV 68の幾何学的中心および縁とそれぞれ位置合わせされていない(または一致していない)。したがって、例えば、広角レンズまたは従来のFOVエキスパンダを必ずしも必要とせずに、オブジェクト62、64の両方の単一の画像化デバイス26(図1Aを参照)を使用して、適切な画像を取得することができる。ただし、他の実装では、制御可能なミラーを移動して、2つの異なるFOVの一部の縁または他の領域を含む、相互に関連する様々な他の方法で(例えば、単一の方向のみに沿って)別々の画像の間でFOVをシフトでき、互いに位置合わせまたは一致している可能性がある。
いくつかの実施形態では、制御可能なミラーを移動して、ターゲット領域よりも狭いFOVの画像化デバイスが、必ずしも画像化デバイスまたはそのレンズを移動することを必要とせずに、また必ずしも従来のFOVエキスパンダまたは他の類似した従来の構成を使用することを必要とせずに、ターゲット領域の全幅(または他の寸法)の画像を取得でき
るようにすることができる。例えば、図3に示されるように、FOV 66、68は、コンベヤ60の全幅よりも全体を覆うので、コンベヤ60に沿って移動する任意のオブジェクトを容易に画像化することができる。
いくつかの実施形態では、画像化システム(例えば、画像化システム20)は、制御可能なミラーが、コンベヤまたは他のターゲット領域の少なくとも実質的に全幅、すなわち、コンベヤまたは他のターゲット領域の幅のすべてまたはほぼすべて(例えば、95%以上)を含む幅を覆う画像の取得を可能にするように構成することができる。したがって、例えば、コンベヤによって運ばれるか、またはターゲット領域に配置される予想される寸法の任意のオブジェクトが、少なくとも、コンベヤまたは他のターゲット領域の幅の方向に対応するオブジェクトの寸法に沿って、画像に完全に含まれることが可能であり得る。したがって、上記したように、開示された技術の実施形態を使用して、従来のFOVエキスパンダを置き換えるか、またはコンベヤ上の異なる横方向(すなわち、幅方向)の位置にあるオブジェクトの画像を選択的に取得することができる。
いくつかの実施形態では、画像の取得のためにFOVを変更するため制御可能なミラーを使用することは、必ずしもズームレンズまたは他の同様の光学構成の使用を必要とせずに、異なる画像間のズームの度合いの変更を効果的にもたらすことができる。例えば、図4Aに示されるように、画像化システム78は、別の(例えば、固定された)ミラー82と併せて設置されて、コンベヤ88によって運ばれるオブジェクト84、86の画像を取得する可動ミラー(図示せず)を備えた画像化デバイス80を含むことができる。いくつかの実装では、画像化デバイス80は、可動ミラーを制御して、オブジェクト84の第1の画像が、可動ミラーおよびミラー82を介して、コンベヤ88に沿った第1の位置92で、第1のFOV 90(図4Bを参照)で取得されるようにすることができる。さらに、可動ミラーはまた、コンベヤ88に沿った第2の位置96で、第2のFOV 94(図4Cを参照)でオブジェクト84の後の画像を取得するように制御することができる。
図示の例では、図4Aに示されるように、ミラー82を介して取得された第1の画像の光路98は、ミラー82なしで取得された第2の画像の光路100よりも長い(例えば、依然として制御可能なミラーを使用)。したがって、図4Bおよび図4Cに示されるように、FOV 94はFOV 90よりも小さく、オブジェクト84は、FOV 90よりもFOV 94においてより大きな割合を占めて表される。これは有用であり得、例えば、オブジェクト84上のシンボル102がFOV 94の相対的に大きな割合を占めるようになり、これは、シンボル102または他の画像分析操作のより効果的な識別または復号化を時に補助し得る。
いくつかの実施形態では、図4A~図4Cに示されるものと同様の方法またはシステム、または本明細書で別様に開示されるものを使用して、第1の画像の対象領域を識別し、第2の画像のFOVを調整して、第2の画像の対象領域にてズームすることができる。例えば、FOV 90のサイズのために、オブジェクト84の第1の画像は、コンベヤ88に沿った第1の位置92でコンベヤ88の実質的に全幅を覆うように取得され得る。したがって、第1の画像が、オブジェクト84の全幅、および画像化された幅を横切るオブジェクト84上の任意の特徴を表す一方で、オブジェクト84が、第1の位置92でコンベヤ上に配置されることが予想できる。したがって、FOV 90で取得された画像を使用して、シンボル102の位置、または第1の位置92でのコンベヤ88の幅全体の任意の場所でのオブジェクト84上の別の対象領域を識別することができる。例えば、様々な既知のシンボル識別アルゴリズムのいずれかを使用して、画像化デバイス80は、特定の時間にコンベヤ88の幅を横切る特定の位置で、第1の画像に表されるようなシンボル102の位置を識別することができる。
続けて、シンボル102の位置が決定されると、画像化デバイスの制御可能なミラーは、後の画像の取得のために選択的に傾斜させることができ、その結果、小さいFOV 94は、後の画像の取得時の(例えば、エンコーダを使用して決定された場合)シンボル102の予想される位置に位置合わせする(例えば、中心に置かれる)。さらに、光路100の長さがより短いため、シンボル102は、FOV 94で取得された画像の比較的大きな割合を占めることができ、その結果、シンボル102の復号(または他の分析)は、より効率的に、またはより高い成功率または信頼性で進行し得る。
いくつかの実装では、それぞれの光軸の長さの変化およびそれぞれのFOVのサイズの変化にもかかわらず、適切な質の連続画像を取得できるようにするために、画像化デバイスのレンズ構成の焦点を調整する必要がある場合がある。これに関して、例えば、上でも論じたように、画像化デバイス80のレンズ構成は、制御可能なミラーの調整の前、同時、または後に調整することができる。いくつかの実施形態では、例えば、液体レンズは、画像化されるオブジェクトの高さ(または他の寸法)の事前の焦点の較正または事前の決定に基づいて、制御可能なミラーが移動されるときまたは移動された後に所定の焦点に運ばれ得る。いくつかの実施形態では、オートフォーカス操作は、画像化デバイス80に適切に焦点を合わせるために、制御可能なミラーの移動後に実行することができる。
図4A~図4Cに示される例では、FOV 90、94は互いに重複しない。しかし、いくつかの実施形態では、第1および第2の画像は、重複するFOVを用いて取得することができる。例えば、異なる構成では、画像化デバイス80は、制御可能なミラーによって画定され、固定式ミラー82を除外する光路104(図4Aを参照)を介して、オブジェクト84の画像を取得するように構成することができる。したがって、オブジェクト84は、FOV 90で取得された画像よりも大きなズームの度合いと、より小さいFOVとで、画像化することができるが、オブジェクト84は、FOV 90に対応する位置92またはその近くで画像化することができる。
別の例として、いくつかの実施形態は、光路104について示されているものとは異なる(例えば、低減された)第2の光路の入射角で、重複する画像を取得することを可能にし得る。いくつかの実施形態では、それぞれの光路に対して同様の入射角を有する重複するFOVは、制御可能なミラーに加えて、複数の固定式(または他の)ミラーを使用して取得することができる。例えば、図5Aに示されるように、画像化システム110は、制御可能なミラー(図示せず)および遠隔に設置された固定式ミラー114、116、118のセットを備えた画像化デバイス112を含む。ミラー114、116、118および画像化デバイス112は、可動ミラーおよび固定式ミラー114、116(対して、固定式ミラー118はない)によって画定される第1の光路122が、可動ミラーおよび固定式ミラー118(対して、固定式ミラー114、116はない)によって画定される第2の光路124より長くなるように、コンベヤ120に対して配置される。
したがって、図5Bに示されるように、第1の光路122に沿って取得された画像は、第2の光路124に沿って取得された画像のFOV 128よりも大きいFOV 126を示すことができ、オブジェクト130および関連するシンボル132は、FOV 126よりもFOV 128においてより大きな割合を占め得る。したがって、上記と同様に、オブジェクト130およびシンボル132は、最初にFOV 126を介して画像化され、次に、シンボル132に対してズームの度合いを増大させるためにFOV 128を介して再画像化され得る。
さらに、画像化デバイス112の可動ミラーおよびレンズ構成の焦点の十分に速い調整により、オブジェクト130の画像は、FOV 126、128がコンベヤ120上で互いに実質的に一致する状態で、FOV 126、128の両方を介して取得することがで
きる。換言すれば、実質的に重複する画像は、FOV 126、128の両方を介して、コンベヤ120上の実質的に同じ位置にあるオブジェクト130について取得することができる。いくつかの実施形態では、この実質的な重複は、制御可能なミラーおよび焦点(例えば、液体レンズを使用する)の可能な調整時間が、オブジェクトが実質的にコンベヤに沿って移動する時間の長さよりも一桁(またはそれ以上)短いために容易に得ることができる。本明細書で使用される場合、2つの画像は、一方の画像のFOVが他方の画像のFOVによって完全に含まれるかまたは一致する場合、または画像の一方のFOVがもう一方の画像のFOVと少なくとも90%(例えば、95%または99%)重複する場合、実質的に重複すると見なされる。同様に、オブジェクトが2つの画像間で位置を変更していないか、オブジェクトの後の位置がオブジェクトの前の位置と移動方向に沿ったオブジェクトの長さの10%未満(例えば、5%または1%)異なるように移動しただけの場合、オブジェクトは画像化に対して2つの異なる時間に実質的に同じ位置にあると見なされる。
また、上記のように、オブジェクトの寸法を決定することが時に役立つ場合がある。例えば、ロジスティクスな操作では、コンベヤに沿って移動している特定のオブジェクトの1つまたは複数の寸法を知ることが役立つ場合がある。あるいは、例えば、画像化デバイスからコンベヤまでの既知の(または測定された)距離やコンベヤに対するオブジェクトの決定された高さに基づいて決定され得るような、オブジェクトから画像化デバイスまでの距離を知ることは、画像の取得のためのフォーカシング操作に役立つ場合がある。
いくつかの実施形態では、制御可能なミラーを備えた画像化システムは、必ずしも別個の寸法測定器(例えば、飛行時間または三角測量デバイス)の使用を必要とせずに、オブジェクトの寸法を決定するために操作することができる。例えば、図6は、制御可能なミラー(図示せず)および遠隔で設置された固定式ミラー144(例えば、図4Aに示される画像化デバイス80およびミラー82と同様)を備えた画像化デバイス142を含む画像化システム140を示す。画像化システム78と同様に、画像化システム140は、オブジェクト146がコンベヤ148に沿って移動する(例えば、示されるように、コンベヤ148に沿った大幅に異なる位置で)ときに、オブジェクト146の異なる画像を取得するように制御され得る。
さらに、画像化システム140のプロセッサデバイスは、取得された画像において、オブジェクト146の共通の特徴(例えば、オブジェクト146の上面)のピクセル寸法を識別するために、取得された画像を分析するように構成される。例えば、既知のエッジ特定技術を使用して、画像化システム140は、オブジェクト146の上面の前縁および後縁、ならびに間にあるそれぞれのピクセル距離150、152を識別することができ、両方とも、ミラー144によって画定されるより大きなFOV 154を介して取得される画像、およびミラー144によって定義されていないより小さなFOV 156を介して取得された画像用である。
したがって、例えば、既知の三角法の原理(例えば、三角形の等価物)を次いで適用して、画像化デバイス142またはミラー144からオブジェクト146までの距離164、170、および対応して、オブジェクト146がコンベヤ148から離れて延びる距離172(例えば、オブジェクトの高さ)を決定することができる。例えば、距離164、170、172のいずれか1つは、決定されたピクセル距離150、152、および画像化デバイス142からコンベヤ148までの既知の(または決定された)距離158、ミラー144からコンベヤ148までの既知の(または決定された)距離160、画像化デバイス142からミラー144までの既知の(または決定された)距離162、およびFOV 154、156の光路の既知の(または決定された)相対的な角度のうちの1つまたは複数の適切な考慮に基づいて決定することができる。具体的な例として、FOV 154、156の光路166、168がコンベヤ148と平行や直角に移動し、画像化デバイス142およびミラー144がコンベヤ148の上方に等距離158、160にあり(それにより、各々の画像の取得中のオブジェクトからの距離164、170に等しい)、距離172(例えば、示されるように、オブジェクト146の高さ)は、hについて次のように解くことによって計算することができる。
(1)L/(h-h)=L/(h+d-h
式中、LおよびLは、ピクセル距離150、152(例えば、既知の較正技術に基づいて決定される)と空間的に同等であることを示し、hは、コンベヤからの画像化デバイス142(またはミラー144)の距離158(または160)を示し、dは、画像化デバイスからミラー144までの距離162を示す。
他のアプローチも同様に有用な情報を効果的に提供できることが認識されよう。例えば、オブジェクトの高さを直接解くのではなく(またはそれに加えて)、画像化システム140が、同様のアプローチを使用して、画像化デバイス142からオブジェクト146までの距離164(例えば、オブジェクト146を画像化するための焦点面の画像化デバイス142からの距離)を、例えば、fについて次のように解くことによって、求めることができる。
(2)L/f=L/(f+d)
式中、L、L、およびdは上記のように定義される。この解は、特に、例えば、コンベヤ148と画像化デバイス142との間、およびコンベヤ148とミラー144との間の距離158、160の値が等しいことを前提としている。ただし、他のアプローチでは、この同等性(または上記の他の仮定)が成り立たない場合があり、既知の三角法の原理に基づいて、対応する調整を行うことができる。
実際、一般に、上記の例は、画像化デバイス142、ミラー144、および光路166、168の特定の幾何学的構成を想定しているが、同様の三角法の原理を容易に使用して、画像化デバイスからオブジェクトまでの距離、高さ、またはオブジェクトの他の寸法、または様々な図に示される他の構成を含む他の関連する寸法を決定することができる。例えば、同様の三角法の計算を実施して、FOV 126、128の両方で取得された画像、コンベヤに対するオブジェクト130の高さ、光路122の長さ、または他の関連する寸法の既知のタイプのピクセル分析、および既知の三角法の原理に基づいて、容易な決定をするのを可能にする、画像化デバイス112、ミラー114、116、118、およびコンベヤ120の間の既知の距離および相対的な角度配向で、図5Aに示される構成の適切な距離を決定することができる。
いくつかの実施形態では、距離を決定することは、他の理由、例えば特定の画像でのFOV(またはその一部)の実世界(すなわち、実際の、物理的な)寸法を決定することについて、有用であり得る。例えば、特定の焦点面でFOVに含まれる実世界の領域のサイズは、関連する画像化デバイスおよび他の光学デバイス(レンズまたはミラーアセンブリなど)の特性と共に、画像化デバイスとターゲットとの間の決定された距離(例えば、光路168の距離)に基づく既知の三角法の関係を使用して決定することができる。同様の原則を適用して、FOV内のオブジェクトのスケールを決定することもできる。
いくつかの実施形態では、本明細書に開示された原理(例えば、上記で詳述したように)は、追加のセンサと組み合わせて実施することができる。例えば、図7Aに示されるように、画像化システム180は、制御可能なミラー184を備えた画像化デバイス182、およびコンベヤ190の進行方向に対して画像化デバイス182の画像化位置188の後方に配置されるセンサ186を含むことができる。いくつかの実施形態では、センサ186は、フォトアイ、フォトアイのアレイ、レーザーカーテンなどのような存在のセンサであり得る。センサ186によるオブジェクトの検出およびコンベヤ190上のオブジェクトの既知の移動速度(例えば、エンコーダ(図示せず)を介して決定される)に基づいて、ミラー184は、オブジェクト192を画像化することができる画像化位置188の一部へのオブジェクト192の特定の画像のFOVを向けるように制御することができる(図7Bを参照)。例えば、ミラー184は、コンベヤ190に対して異なる横方向の角度で画像を取得するために、光路194、196、198を選択的にリダイレクトするように制御することができる。したがって、例えば、ミラー184および画像化デバイス182の開示された制御は、コンベヤ190上のオブジェクトの横方向の位置に関係なく、所与の画像でのコンベヤ190の全幅を覆う画像化デバイス182に対するFOVを必要とせずに、比較的高度のズームでオブジェクトの画像の取得を可能にすることができる。
他の実施形態では、他の構成が可能である。例えば、センサ186は、コンベヤ190に対するオブジェクトの高さを決定することができる、飛行時間または三角測量センサなどの3Dセンサとして構成することができる。次に、この情報を、コンベヤ190上のどこにオブジェクトが配置されているかに関する情報(例えば、同様にセンサ186によって決定される)と組み合わせて、オブジェクトの特定の表面、ならびに適切な光路とFOVなどの画像化のための適切な焦点を決定するために使用することができる。
これに関して、および本明細書に開示される他の実施形態と比較して、オブジェクトの「高さ」の決定への言及は、特定のオブジェクトの「上面」に関連する操作への言及と同様に、一般に例としてのみ提供される。当業者は、本明細書の開示に基づいて、同様の原理を使用して、例えば、オブジェクトの他の関連する寸法を決定し、上面以外のオブジェクトの表面の画像を取得できることを認識する。それに対応して、例えば、いくつかの構成では、センサ(例えば、センサ186)を使用して、関連する光(例えば、画像化)軸の距離を決定することができ、次いで、画像の取得のための焦点を、それに応じて(例えば、また、レンズアセンブリ、画像化センサなどの既知の特性に基づいて)決定できる。
いくつかの実施形態では、同様に制御可能なミラーを利用して発信または着信の光信号を向ける距離センサまたは他のコンポーネントを提供することができる。いくつかの実施形態では、そのような信号は、画像の取得にも使用される制御可能なミラーで向けることができるが、専用のミラーも可能である。例えば、再び図7Aを参照すると、光学デバイス200は、信号をターゲット領域に投影する(またはターゲット領域から信号を受信する)ために、画像化デバイス182のFOVの向きも制御するミラー184を介して光信号を方向付ける(または受信する)ように構成することができる。いくつかの実施形態では、デバイス200は、ミラー184を介して照準パターンを投影するエイマーとして構成することができ、その結果、操作者は、画像化デバイス182のFOVの中心、外側境界、または他の態様を視覚的に識別することができる。
いくつかの実施形態では、デバイス200は、距離センサとして構成することができる。例えば、デバイス200は、ミラー184を介してパルスをオブジェクトに向け、次に、ミラー184を介してパルスの反射を受信して、ミラー184によってもたらされるような画像化のための現光路の距離を決定する飛行時間センサとして構成することができる。または、他の様々な距離センサを使用できる。
いくつかの実施形態では、光学デバイス200は、画像化デバイス182の画像化軸に対して軸上の信号を提供または受信するように構成することができる。例えば、図7Cに示されるように、光学デバイス200は、画像化デバイス182の光(例えば、画像化)軸206と位置合わせしていない(例えば、それに垂直な)信号発生器(または受信器)202を含むことができる。さらに、ダイクロイックミラー204、または信号発生器(または受信器)202からの(またはそれ用の)光を適切にリダイレクトしながら画像化用の光を通過させることができる他の同様の構成を、光軸206と位置合わせして(すなわち、それに沿わせて)配置することができる。したがって、ダイクロイックミラー204は、信号発生器(受信器)202からミラー184を介してターゲット(図示せず)に信号をリダイレクトすることができ、また、ターゲットからミラー184を介して信号発生器(または受信器)202に信号をリダイレクトすることができる。
同様の原理は、他の実施形態でも実施することができる。例えば、本明細書で明示的に説明および図示されている他の実施形態は、軸上または他の照準または測定デバイスを同様に装備することができる。いくつかの実施形態では、同様の原理はまた、画像化デバイスを含まなくても適用することができる。例えば、図7Aの画像化デバイス182または図1Aの画像化デバイス26(など)といった画像化デバイスは、信号を関連する制御可能なミラー(例えば、ミラー184またはミラー30)に向けるように構成されたプロジェクタまたは他の同様のデバイスと置き換え、それにより、信号を制御可能にターゲットに投射することができる。そのような構成は、例えば、人間の操作者によるピッキング、配置、較正、または他の操作をガイドするためのターゲットを提供するために、またはそうでなければ特定のオブジェクトまたは環境の側面の可視性または操作性を改善するために有用であり得る。
それに対応して、いくつかの実施形態では、制御可能なミラーを使用して、オブジェクトの複数の側部の画像を取得することができる、例えばオブジェクトが特定の領域(例えば、コンベヤの特定の長さに沿って)を通過するときにオブジェクトの5つ以上の側部の画像を取得するトンネル用途を含む。例えば、図8Aおよび図8Bに示される画像化システム210において、コンベヤ214に沿ったトンネル212は、複数の画像化デバイス216を含むことができ、その少なくともいくつか(例えば、それぞれ)は、制御可能なミラー(図示せず)を含む。したがって、ミラーの適切な制御を介して、画像化デバイス216は、はるかに多くの数の従来の画像化デバイスで画像を取得する代わりに、所望のFOVの全スパンにわたって画像を取得するのに使用することができる。例えば、図8Aに示される例では、画像化デバイス216のうちの4つを使用して、トンネル212を通過するオブジェクトの5つの露出面すべてを画像化するため従来の構成の14(またはそれ以上)の画像化デバイスを置き換えることができる。
しかし、他の実施形態では、制御可能なミラーと共に使用するための異なる数の画像化デバイスを使用することができ、または異なる数の従来の画像化デバイスの代わりにすることができる。例えば、図8Bに示されるように、いくつかの構成は、オブジェクトがトンネル212を移動するときにオブジェクトのすべての露出面の画像をキャプチャするために、画像化デバイス216の制御可能なミラーを操作できるように構成された、画像化デバイス216のうちの2つのみを含み得る。図8Bの例では、画像化デバイス216は、トンネル212の対向する側方および前後の側におけるトンネル212の支持構造218の上部で支持されているが、他の構成も可能である。例えば、画像化デバイスがトンネル212を通過するオブジェクトの予想される最大の高さより上に依然配置されている画像化デバイス216の他の構成はまた、3Dの長方形のオブジェクト-オブジェクトの上部を含む-の5つの露出面すべてを画像化することを可能にし得る。
いくつかの実施形態では、制御可能なミラーと固定式ミラーの組み合わせを使用して、トンネル用途を含む、オブジェクトの複数の側部の画像を取得することができる。例えば、図9Aに示されるように、トンネル222のための画像化システム220は、図2の画像化デバイス40と同様に構成された画像化デバイスなどの、制御可能なミラーを備えた単一の画像化デバイス224を含むことができる。さらに、トンネル222は、トンネル222の支持構造228の異なる側に支持された複数の固定式ミラー226を含むことができる。この構成および他の同様の構成(例えば、画像化デバイスまたは固定式ミラーの異なる数または構成)を使用して、制御可能なミラーを移動して、固定式ミラー226からの異なる反射を介して、コンベヤ232がトンネル222を通してオブジェクト230を移動させるとき、オブジェクト230の5つすべての目に見える側部の画像の連続的な取得を可能にすることができる。例えば、オブジェクト230がトンネル222を通って移動するとき、ミラー226の異なるインスタンスを使用して、オブジェクト230の前側部、上側部、左側部、右側部および後側部の画像を連続的に取得することができる。
いくつかの実施形態では、制御可能なミラーを使用して取得された複数の画像をつなぎ合わせて、特定のオブジェクトまたは環境の複合的な表現を提供することができる。図9Bに示されるように、例えば、画像化システム220は、オブジェクト230がトンネル222を移動するときに、オブジェクト230の前側部、右側部、左側部、上側部および後側部の画像230Aから230Eを取得するように構成することができる。次に、既知の画像処理技術を使用して、画像230Aから230Eをつなぎ合わせて、オブジェクト230の5つの露出面すべてを表す合成画像230Fを提供することができる。例えば、既知のエッジ検出技術を使用して、画像230Aから230Eのオブジェクト230の各々の側部のエッジを識別し、それにより、画像230Aから230Eのオブジェクト230の関連する境界を識別することができる。次に、これらの識別された境界を使用して、必要に応じて適切な遠近法およびスケーリングの調整で、異なる画像から得た識別された共通の境界を位置合わせすることなどによって、合成画像230Fを構築することができる。
図示の例では、提示を簡単にするために、オブジェクト230の片方の側部のみが、画像230Aから230Eのそれぞれにおいて表現されている。いくつかの実装では、画像230Aから230Eのそれぞれは、オブジェクト230の1つまたは複数の他の側部の一部または全部の表現も含み得る。一部の実装では、これらの追加の側部は無視できる。いくつかの実装では、それらは、合成画像の構築を補助するために使用することができ、このことは、様々な画像230Aから230Eの間の共通または重複する特徴を識別し、それらの特徴を使用して、相対的な位置合わせ、必要なスケール、または遠近法の調整、または画像を効果的につなぎ合わせるための他のパラメータの決定を補助することなどによる。
いくつかの実施形態では、制御可能なミラーの既知の向き、および他の既知のパラメータ(例えば、レンズアセンブリのパラメータ、現在のオブジェクト位置を識別するためのエンコーダの情報など)を使用して、合成画像に必要な遠近法およびスケーリングの調整を自動的に決定することができる。例えば、既知の三角法の原理を使用して、ミラー226を介して取得された異なる画像の相対的なスケールおよび遠近法を決定することができ、次いで、ミラー226の1つまたは複数を介して取得された画像を調整して、相応して画像をより容易に組み合わせることができる。
また、図9Bに示されているように、画像230Fは、オブジェクト230の側部の「平坦化された」表現を提供する2次元(2D)画像である。他の実施形態では、異なる平坦化された表現など、異なる2Dの表現を使用することができる。いくつかの実施形態では、合成画像は、制御可能なミラーを使用して取得された複数の画像から構築された、特定のオブジェクトの3D表現による3D画像またはモデルであり得る。
いくつかの実施形態では、本明細書に開示される原理を使用して、単一のオブジェクトまたはオブジェクトのアレイの複数の画像を取得することができる。いくつかの実施形態では、複数の重複する画像を取得することができ、例えば関連する画像化デバイスのFOVと比較するときに比較的大きいオブジェクト(またはアレイ)の精査を可能にするのに有用であり得る。例えば、図10に示されるように、制御可能なミラー(例えば、上記の例と同様)を備えた画像化デバイス(図示せず)は、複数の重複するFOV 242のプ
リント回路基板パネル240の複数の画像をキャプチャするように制御され得る。したがって、例えば、従来のFOVエキスパンダまたはワイドFOV画像化デバイスを使用せずに、パネル240全体を依然として容易に画像化および分析することができる。いくつかの実施形態では、例えば、分析のためにパネル240の単一の合成画像を提供するために、既知の技術を使用して、すべてのFOV 242の画像をつなぎ合わせることができる。
別の例として、いくつかの実施形態は、オブジェクトの異なる部分の異なる画像を選択的に取得するように構成することができる。例えば、図11に示される画像化システム250を使用して、単一のオブジェクトの複数の別個の部分の画像を選択的に取得することができ、例えば、オブジェクトの特定のシンボル(例えば、直接の部分的マーキングシンボル)を識別および分析する、または特定のターゲット領域内の複数のオブジェクトの画像を選択的に取得するのに有用であり得る。特に、図示の実施形態では、画像化システム250は、画像化デバイス256(例えば、上記のように)および制御可能なミラー258(例えば、2軸ミラー)を含む。動作中、複数のオブジェクト252A、252B、252Cを含むターゲット領域254内の異なる位置に画像の取得のための光路260を選択的に向けるために、ミラー258を制御することができる。したがって、シンボル262が異なる焦点面にあり、比較的大きなフットプリントに分散し得ても、オブジェクト252A、252B、252Cの複数のシンボル262のそれぞれの画像を取得することができる。したがって、例えば、画像化システム250は、従来のアプローチの下で必要とされる可能性のある高解像度および大きな被写界深度画像化デバイスを必ずしも必要とせずに、異なる焦点面で、広い全スキャン領域にわたって、各シンボル262の高い質の画像を容易に取得することができる。さらに、画像化システム250は、単一の画像であろうと複数の画像であろうと、オブジェクト252Bのシンボル262のうちの2つについて示されるような、単一の特定のオブジェクトの複数のシンボルの画像を容易に取得することができる。
いくつかの実施形態では、光路260のそれぞれの焦点設定および角度配向は、オブジェクト252の予想される特性およびシンボル262の予想される位置に基づいて、実行前の手動または自動の較正などによって事前に決定することができる。いくつかの実施形態では、光路260の焦点設定および角度配向は、関連する各画像を取得するための適切な光路または焦点を決定するために、3Dセンサとの組み合わせ動作、または複数の画像の取得を介して達成される距離の分析を介してなど、上記の他の技術に従って決定することができる。
いくつかの実施形態では、制御可能なミラーを使用して、温度によって誘発される焦点ドリフトまたは他の影響から保護するなどの、画像化システム実行時の再較正をもたらすことができる。例えば、制御可能なミラーは、現在の焦点または他の操作設定に必要な補正を検証または決定するために、時折、画像化のためにFOVを較正ターゲットに向けるように構成することができる。
図12に示されるように、例えば、画像化システム280は、画像の取得のために画像化デバイス282のFOVを選択的に向けるように構成された制御可能なミラー(図示せず)を備えた画像化デバイス282を含む。動作可能な画像の取得のために、制御可能なミラーを操作して、画像化デバイス282が連続する画像を取得できるようにすることができる。例えば、いくつかの用途では、ミラーは、コンベヤ288の横方向の幅全体を覆うFOV 284、286を介して画像を取得するために連続的に位置合わせすることができる。したがって、例えば、オブジェクト290がコンベヤ288の幅に沿ってどこに配置されているかに関係なく、オブジェクト290の有用な画像を取得することができる。
さらに、制御可能なミラーを操作して、較正ターゲット294を含む第3の(または他の追加の)FOV 292を時にもたらすこともできる。したがって、例えば、既知の三角法の原理、および較正ターゲットおよび画像化デバイス282の既知の側面に基づいて、画像化デバイス282の焦点(または他の側面)の較正は、アクティブな実行時間の動作中であっても、継続的かつ自動的に確認または修正され得る。いくつかの実施形態では、ミラーは、各画像化サイクルの較正ターゲットの画像化を可能にするように(すなわち、各画像化サイクルがFOV 284、286、292のそれぞれに対して1つの画像を含むように)制御され得る。しかし、他の実施形態では、他の配列が可能である。
いくつかの実施形態では、制御可能なミラーは、複数の異なる焦点設定を使用して(例えば、上記のように)特定のオブジェクトまたは領域の画像を取得するために使用することができ、そうでなければ、焦点合わせの操作を最適化するために使用することができる。いくつかの実施形態では、制御可能なミラーを使用して、オートフォーカス操作またはオートフォーカス操作に続く画像の取得を支援することができる。例えば、図13に示されるように、画像化デバイス300のオートフォーカス動作は、一組の異なる焦点面304の各焦点面でのオブジェクト302の異なる画像の取得を含むことができる。最適な焦点面が決定されると、その後の画像の取得のための、少なくともオブジェクト302を画像化するための焦点設定は、それに応じて制限され得る。例えば、焦点面306が、オブジェクト302上のシンボル308に鋭い焦点を合わせるために位置合わせされていることが識別されると、オブジェクト302のその後の画像の取得は、焦点面306のみ、またはそこからの許容可能または意図された偏差に制限され得る。
いくつかの実施形態では、1つまたは複数の制御可能または固定式ミラーのセット(例えば、制御可能なミラー310を含む)は、オートフォーカスでの画像の取得用のFOVまたは光軸を適切に位置合わせすることによって、または特定のFOVおよび焦点設定(例えば、上記の様々なアプローチの1つまたは複数による)用の特定の光路の長さをもたらすことによってなどで、オートフォーカス操作を支援することができる。いくつかの実施形態では、初期のオートフォーカス操作が完了した後、1つまたは複数の制御可能または固定式ミラー(例えば、制御可能なミラー310を含む)の構成を、その後の画像の取得用の焦点調整(例えば、高速液体レンズを使用する)と組み合わせて操作することができる。
いくつかの実施形態では、制御可能なミラーまたは他の方法を使用して(例えば、上記のように)最適な焦点面が決定されている場合、レンズの焦点に対するその後の調整は、その後の画像の取得のための制御可能なミラーの調整に部分的に基づいて決定することができる。例えば、既知の三角法の原理を適用して、制御可能なミラーの調整に基づいて光路の長さの変化(または現在の値)を決定する。例えば、ミラー310は、コンベヤ314によるオブジェクト302の動き(または他の動き)を追跡するように調整されるので、既知の三角法の原理を使用して、光路312の現在の長さを、ミラー310の現在の向きおよび位置、および光路312に沿ったいずれかの他のミラー(図示せず)または関連する光学デバイス(例えば、画像化デバイス300)の向きおよび位置に基づいて決定できる。次に、液体レンズ(図示せず)または画像化デバイス300の他のレンズアセンブリの焦点を相応して調整して、焦点面306で以前に決定された焦点を保持するか、またはそれからの特定の(例えば、所定または最大の)偏差をもたらすことができる。したがって、例えば、オブジェクトを画像化するための追跡(または他の)操作に対してオートフォーカス操作を複数回実行するのではなく、最適な焦点面を一度だけ決定することができ、その後の焦点調整は、光路の長さのミラー駆動の変化に基づいて自動的に行うことができる。
いくつかの実施形態では、1つまたは複数の制御可能または固定式ミラーの構成を使用して、複数の焦点面でオブジェクトまたはターゲット領域の画像を取得することができる。これは、例えば、特定の領域の深度マップの作成を補助する場合、複数の焦点面でシンボルを分析する場合、またはその他の様々な理由で役立つ場合がある。
一例として、図14に示されるように、画像化デバイス400は、オブジェクト402、404がターゲット領域に静止するか、または空間を(例えば、コンベヤ406に沿って)移動するときに、オブジェクト402、404の画像を取得するように構成することができる。画像化デバイス400の液体レンズまたは他のレンズアセンブリ(図示せず)の焦点の調整、および他の関連する調整(例えば、制御可能なミラーの)を通して、オブジェクト402、404の少なくとも1つの画像を複数の焦点面408の各々で取得することができる。次に、必要に応じて、これらの画像から得た情報を、既知の画像処理技術を使用して組み合わせて、オブジェクト402、404を含むターゲット領域の深度マップを作成するか、そうでなければ、同時に焦点が合う異なるサイズのオブジェクト402、404の複数の表面および複数のシンボル412、414を提示することができるような合成画像410を作成することができる。
いくつかの実施形態では、現在の焦点面の調整は、同じく上記したように、光路の長さを変更するミラー調整を含む、制御可能なミラーの調整に基づくことができる。例えば、ミラー416の制御を利用して、オブジェクト402、404が移動するときに、異なる焦点面408で画像キャプチャするための適切な焦点の調整を決定し、ならびにオブジェクト402、404を画像化デバイス400のFOV内に維持することができる。例えば、上で同様に論じたように、基準焦点調整が決定されると(例えば、1つまたは複数の焦点面408について)、基準焦点を維持するための、または基準焦点から現在の焦点を予測可能に変化させるための調整が、決定できる。例えば、上でも論じたように、焦点調整は、既知の三角法の原理の適用を介して、光路418の現在の長さを示すことができるミラー416の向きの調整に基づいて決定することができる。
本明細書で論じられる他の実施形態と同様に、これらの焦点関連用途はまた、他のアプローチと組み合わせて実施され得る。例えば、(例えば、図6に関して説明されるように)制御可能なミラーの操作に基づく距離測定デバイスまたは動作を使用して、オブジェクト402、404の一方または両方の特定の高さを決定することができ、オブジェクト402、404の画像化のために画像化デバイス400の焦点を微調整するか、さもなければさらに調整するために使用できる。
技術のいくつかの実施形態は、上で明示的に論じられたもの以外にも、他の設定または実行時較正または他の調整を実施するために使用され得る。これに関する追加の例を以下に提示しており、それらのそれぞれは、単独で、または他の開示されたアプローチの1つまたは複数と組み合わせて動作させることができる。一般に、以下の様々な例で詳しく説明するように、様々な最適化基準やその他の要因に基づいて、設定や実行時の検索操作、またはその他の同様のタスクを効率的に実装するために、少なくとも1つの制御可能なミラーを備えたミラー構成を操作できる。これは、例えば、実行時操作中に覆われる特定のスキャン領域を識別するため、特定のスキャン領域内の1つ以上のシンボルまたはオブジェクトを見つけるため、または他のタスクのために役立つ場合がある。
いくつかの実施形態では、ユーザは、マシンビジョンソフトウェアのユーザインターフェースと対話することなどによって、スキャンされる特定の領域を手動で識別することができ、その後、一組の画像の取得のためにそれに応じてミラーを制御することができる。例えば、図15に示されるように、ユーザがスキャン(ターゲット)領域440を手動で指定した後、2軸ミラー442は、スキャン領域440を完全に覆うFOV 444a~444jのセットを使用する1つまたは複数の画像をキャプチャするために、FOVの位置へのミラー移動の以前の較正に基づいて制御され得る。しかし、以下で論じられるようなものを含むいくつかの実施形態では、FOV 444a~444jのサブセットのみが使用され得、その結果、少なくとも1つの画像化サイクルは、必ずしもスキャン領域440のすべての部分を覆い得ない。
いくつかの実施形態では、ユーザは、関連する画像化デバイス(図15には示されていない)またはマシンビジョンシステムの管理ソフトウェアを介して、必要に応じて他の関連情報と共にスキャン領域を指定することができる。例えば、指定されたスキャン領域に加えて、ユーザは、現在取り付けられているレンズアセンブリのパラメータ、画像化デバイスからスキャン領域の焦点面までの距離、特定のマルチミラー(例えば、固定ミラー)アセンブリを使用するべき(例えば、特定の光路の長さをもたらすべき)かどうか、所望のFOVの実際の寸法、隣接するFOVを重複するべきかどうか、および重複する量などの情報を指定できる。これに関して、例えば、ユーザは、スキャン領域440の位置およびサイズ、画像化デバイスからスキャン領域440までの距離、および隣接する画像の所望の重複の程度を指定することができ、ミラー442は、次に、スキャン領域440全体の画像を取得するように自動的に制御され得る。
いくつかの実施形態では、特定のパラメータを自動的に決定することができる。例えば、制御可能なミラー構成または距離測定デバイスを使用して、スキャン領域までの距離を決定することができ、スキャン領域の実世界の寸法を含む関連情報をそこから導き出すことができる。例えば、飛行時間測定デバイス446(または3Dセンサなどの他のデバイス)は、スキャン領域440と画像化デバイス(図示せず)との間の距離を決定するように構成することができ、ミラー442は、それに応じて制御され(例えば、既知の三角法の原理を使用して)、FOV 444a~444jの関連するセットの画像を取得できるようにする。同様に、大きなスキャン領域の場合、特定のFOV(例えば、外部FOV 444a、e、f、j)の焦点を調整する必要がある場合がある。場合によっては、この調整は、前述のように制御可能なミラーの動きの分析に基づくなど、自動的に行うことができる。
別の例として、既知のタイプおよび寸法のシンボル448を、スキャン領域440内に設けることができる。シンボル448の画像を取得することができ(例えば、デフォルトの開始FOVとしてFOV 444cを介して)、次いで、画像の寸法(すなわち、ピクセル)と実世界の寸法(例えば、mm)との間の相関を、既知の画像分析技術を使用して決定することができる。次に、この相関関係を、再び既知の三角法の原理に基づいて使用して、シンボル448と画像化デバイスとの間の距離を決定することができ、その後、ミラー442をそれに応じて制御して、FOV 444a~444jの1つまたは複数をもたらすことができる。
いくつかの実施形態では、シンボルの他の分析は、そうでなければ、関連するスキャン領域を決定するのを補助することができる。いくつかの実施形態では、特定のシンボルは、スキャン領域の外側プロファイルの一部またはすべてを集合的に指定する頂点または他の境界など、スキャン領域の重要な部分を示し得る。例えば、図15に示されるように、一組のシンボル450が、長方形のスキャン領域440の四隅に配置されている。設定(または他の)動作が開始されると、ミラー442は、特定の(例えば、所定の)順序のFOV 444a~444jの画像を連続的にキャプチャすることなどによって、スキャン領域440(およびその周辺)の画像を取得するために制御され得る。画像の分析から、シンボル450の画像の位置を特定することができ、必要に応じて、シンボル450の実際の位置を決定することができる(例えば、FOV 444a、e、f、j、スキャン領域440までの既知のまたは測定された距離、および関連する画像の取得中のミラー442の角度配向内の位置を使用する三角法分析に基づく)。次に、スキャン領域440の位置は、その後の(例えば、実行時の)画像の取得をガイドするために、ミラー442の角度配向または実際の位置のいずれかに関して指定することができる。
いくつかの実装では、シンボルの特定の領域の検索は、関連する画像の取得および分析デバイスの特定のパラメータに依存する場合を含め、異なる最適化された方法で進めることができる。例えば、画像の取得に一般に長い時間がかかるが、画像分析が比較的速い場合があるシステムでは、取得される画像の数を最小限にするために、シンボルを検索するための画像の取得が時に実行されることがある。対照的に、画像の取得が比較的速いが画像分析に比較的長い時間がかかり得るシステムでは、シンボルを検索するための画像の取得が、すべてのシンボルを見つけるための予想時間を最小化するために時に実行されることがある。これらの優先事項のいずれかに対処できる最適化アプローチの例については、以下でさらに説明する。
場合によっては、特定のシンボルが見つかると予想される実際の場所に対応するFOVの画像が最初に取得されることがある。シンボルの予想される場所には、例えば、一般的なユーザの手が容易に届く範囲にある場所、または特定の場所に近接している(または十分に離れている)場所が含まれ得る。例えば、初期の画像の取得は、特定の物理的場所にある場所に集中することができ、それにおいてユーザがシンボルまたはオブジェクトを配置した可能性が高く、例えば高さまたは各ユーザに対応する特定の高さの周り(例えば、閾値距離内)の場所、または基準点からの特定の距離(例えば、閾値距離内)の周りの場所、例えばコンベヤの縁部、ステージング領域、または画像化領域がある。これに関して、例えば、スキャン領域440が垂直方向に延びると見なされ、スキャン領域440の上部がユーザの胸の高さ付近(例えば、地面または他のユーザ支持面から1~2mの間)である場合、初期の画像の取得は、ユーザが自分の胸の高さまたはその近く(例えば、地上1~2mの間)にスキャン領域(または別様に)を識別するためのシンボルを配置する可能性が高いという予想に基づいて、上部FOV 444a~444eで進行し得る。
同様に、シンボルがスキャン領域のコーナーに配置されることが予想され、スキャン領域の境界の1つまたは複数を合理的に近似できる場合、初期の画像の取得には、スキャン領域の1つまたは複数のコーナー(または他の境界点)の予想される位置が優先的に含まれる場合がある。例えば、スキャン領域440までの距離およびスキャン領域440のおおよそのサイズが既知である場合、ミラー442は、コーナーFOV 444a、e、f、jのみを使用して最初に画像を取得するように制御することができる。シンボル450がこれらの画像で識別できる場合、スキャン領域440のコーナーの仮想(または実世界)の位置を指定して、スキャン領域440全体の画像を取得するためにミラー442を後で制御するように導くことができ、さらなる設定画像の取得(例えば、FOV 444b、c、d、f、h、iを使用)は必要ない場合がある。対照的に、これらの画像でシンボルを識別できない場合は、コーナーFOV 444a、e、f、j、または他のFOVで、例えば以下でさらに詳しく説明する拡張検索の例示的なルールに基づいて、さらなる画像を取得できる。
いずれの場合でも、スキャン領域440の境界が指定されると、ミラー442の特定の配向に対応するFOV位置(またはスコープ)のマップをそれに応じて決定することができ、実行時またはさらなる設定操作中に使用して、特定のFOVを使用して画像を取得するためにミラー442を適切に配向させることができる。
別の例として、初期の画像の取得は、以前のユーザの入力または以前の画像分析が、画像の可能性が高い領域であると示唆した場所に、集中する場合がある。例えば、スキャン領域440でオブジェクトを検索する場合、初期の画像の取得では、類似のオブジェクト
(または関連するシンボル)が以前に発見されたFOVを、優先的に使用することができる。例えば、提示スキャン用途では、以前に取得した画像の分析により、オブジェクトがスキャン領域の1つ以上の特定の場所に表示される可能性が高いことが示された場合、初期の画像の取得では、それらの場所を網羅するFOVのみを使用できる。例えば、以前の画像の分析が、ユーザのグループ(または特に1人のユーザ)が、オブジェクト452(図15を参照)について示された場所と同様の場所でスキャン領域440内のオブジェクトを提示する傾向があることを示す場合、後続のオブジェクト(またはシンボル)を見つけるための初期の画像の取得に、FOV 444d、e、i、j(例えば、オブジェクト452が以前に成功裏に画像化されたFOV)を優先的に使用することができる。同様に、スキャン領域のコーナー位置が以前にFOV 444a、e、f、jを使用して首尾よく識別された場合、スキャン領域440の境界を識別するための初期のスキャンは、それらのFOVのうちの1つまたは複数のみを優先的に使用し得る。
いくつかの実施形態では、シンボルまたはオブジェクトの検索、またはスキャン領域の識別を最適化するために、重複の程度を指定することができ、これには、バイナリの重複の程度(すなわち、重複する画像に対してYESまたはNO)を指定することによる場合、または非バイナリの重複の程度(例えば、1つまたは複数の方向の隣接する画像の重複の1つまたは複数のパーセンテージ)を指定することによる場合を含む。したがって、場合によっては、検索領域上でオブジェクトまたはシンボルを検索するときに取得される画像の数を減らすために、検索領域を覆う画像は、最初は比較的粗い重複ではない検索で取得され得る。すなわち、隣接するFOV間の重複は皆無か比較的最小限度(例えば、10%以下)である。
例えば、シンボル450の識別を介してスキャン領域440を指定するため、またはシンボル448またはオブジェクト452を位置付けるための画像の初期の取得は、最初に、重複しないFOV 444a、c、e、f、g、jで、それらのFOVの画像が、追加の画像が取得(または分析)される前にシンボル450を検索するために分析されている状態で、進行し得る。場合によっては、このアプローチは、初期の画像の取得でスキャン領域440全体を必ずしも覆わない可能性もあるが、オブジェクト452、シンボル448、またはコーナーシンボル450の位置などの適切な設定(または実行時の)情報-したがって、スキャン領域440の境界-は、比較的高い効率で、やはり依然決定することができる。(FOVおよび画像に関して本明細書で一般的に使用される場合、「重複しない」とは、重複ゼロ、重複の寸法において、FOVまたは画像の全寸法の5%未満である重複、予想される最大のシンボルの最大の寸法の25%未満の重複であることを指す。)
さらなる画像が必要な場合は、重複するFOV 444b、d、g、iの1つまたは複数を使用した追加の画像を適切に導入できる。場合によっては、初期のスキャンのためのユーザの入力に基づいて、十分な情報を提供するための重複しない初期のスキャンの失敗後、または他の理由で、当然のことながらスキャン領域全体について重複する画像を取得することができる。例えば、重複しない画像のセットを順番に取得した後、さらに情報が必要な場合(例えば、関連するシンボルまたはオブジェクトが見つからない場合)、最初に取得された重複しない画像と共に、関連するスキャン領域の適切に増加した(例えば、完全な)覆いをもたらす、重複する画像のセットで、関連するスキャン領域を完全に覆うよう検索操作を進行できる。この点に関して、例えば、初期の重複しない画像は、迅速な初期の粗い検索を容易にすることができ、その後の重複する画像は、いくらか遅く、その後の細かい検索を容易にすることができる。(以下でも説明するように、FOVサイズに関連して同様の「粗い」および「細かい」アプローチを採用することもできる。)
場合によっては、初期の重複しない(または他の)粗い検索画像の取得からの情報に基づくものを含め、細かい(または他の)検索の一部として選択された重複する画像のみを
取得することができる。例えば、重複しない画像444c、e、h、jのマシンビジョン分析(例えば、エッジ検出、シンボル識別など)は、スキャン領域440内のオブジェクト452のありそうな位置を示し得るが、それはまた、オブジェクト452上のシンボル452aなどの特定のシンボルが、取得された画像によって完全にはキャプチャされていないことを示している。したがって、画像の取得の後続のラウンドは、オブジェクト452のシンボルのより完全に近い画像化および分析のために、重複しないFOV 444c、e、h、jを補足するために、重複するFOV 444dを利用することができる。他方、初期の重複しない検索で対象の部分的な特徴が識別されなかった場合、その後の重複する検索は通常の過程で進行し得る(例えば、上記のように、スキャン領域全体またはその一部の空間で順次)。
いくつかの実施形態では、重複しないFOVの初期の取得(および分析)を成功させるための重複するFOVの使用は、所定のスキャンのパターンを使用して進行することができる。例えば、FOV 444a、c、e、f、h、jの画像を順番に取得した後、さらなる画像の必要性が識別されると、次のラウンドの画像の取得は、FOV 444i、g、d、bを順に進めることができる。(他の実施形態では、重複しないまたは重複する画像の取得の他の順も可能である。)いくつかの実施形態では、以下でも説明するように、重複するFOVの使用は、以前に画像化された(例えば、重複しない)FOVからの画像の分析によって導くことができる。例えば、シンボル448または対象の別の可能な特徴がFOV 444cによって部分的にキャプチャされるが、そのいくらか左側に延びることを識別すると、その後の重複するスキャンラウンドは、FOV 444bまたは他の近接(例えば、隣接する)FOVから開始することができる。これは、そのFOVが対象の部分的に画像化された特徴をより完全に近くキャプチャするのに役立可能性が高いことに基づいて選択されている。
いくつかの実施形態では、初期の(または他の)画像の取得が、重複するFOVを使用するか、またはFOVが重複する量を使用するかは、ユーザの入力に基づいて、または他の要因に基づいて決定することができる。いくつかの実施形態では、特定の検索(またはその一部)の重複の程度は、FOVのサイズに対するシンボルのサイズに基づいて決定することができる。例えば、検出されるシンボルのセットの予想される最小のサイズがFOVの比較的小さな割合(例えば、10%以下)を形成する場合、シンボルが任意の与えられたFOVによって部分的にのみ画像化される可能性が比較的小さいものであると予想される場合がある。したがって、最初にFOV間で重複がない、またはFOV内のシンボルの比例したサイズに対応するFOV(例えば、重複が10%以下)のシンボルを探し、初期の検索が失敗した場合にのみ、重複するFOVの取得または分析に進むことが効率的である可能性がある。
いくつかの実施形態では、FOVのサイズは、検索を最適化するために、制御可能なミラー(または別様)を介して制御することができる。例えば、上で論じたように、いくつかのシステムは、異なるサイズのFOVを有する同じまたは異なるスキャン領域の画像化をもたらすように制御可能なミラーを含むことができる(例えば、図4A~図5Bを参照のこと)。場合によっては、オブジェクト452を見つけるため、またはスキャン領域440の境界またはサイズを指定するためなどのシンボルまたはオブジェクトの初期の検索は、比較的大きなFOV 444kをもたらす第1の制御可能なミラー構成(例えば、ミラー442を含む)で進めることができる。関連するシンボルまたはオブジェクト(例えば、シンボル450、シンボル448、またはオブジェクト452)が特定されると、第2の制御可能なミラー構成(例えば、ミラー442も含む)を使用して、より小さいFOV 444a~jの1つまたは複数を使用して画像を取得することができる。
いくつかの実施形態では、特定のシンボルの所定の構成を使用して、画像の取得または
分析に関連するFOVを決定することができる。例えば、オブジェクト452のシンボル452a~cによって示される構成が典型的な(例えば、標準化された)構成である場合、シンボル452a~cの1つの識別された位置は、単独で考慮されるか、またはオブジェクト452に関する情報(例えば、エッジ位置)と組み合わせて考慮されるかにかかわらず、他のシンボル452a~cの可能性のある相対的(または絶対的)位置を示し得る。したがって、場合によっては、FOV 444cを使用して画像を最初に取得することにより、シンボル452bの位置を決定できる場合、シンボル452a、452cの可能性のある位置も、それに基づいて時に決定され得る。次に、後続の画像の取得は、ミラー442を制御して、適切な量だけFOV 444cに対してシフトされている、隣接する潜在的に重複するFOV(例えば、FOV 444d、e、またはj)または中間FOV(図示せず)を提供することによってなどで、決定されたシンボルの位置に関連するFOVを提供することによって、有益に進行し得る。
同様に、所定の目標数のシンボルが識別された場合、検索操作のためのさらなる画像の取得は必要とされない場合がある。例えば、スキャン領域440を指定するための初期の画像の取得が四隅のシンボル450を識別した場合、設定のために後続の画像の取得を続行する必要がない場合があり、実行時の操作は指定されたスキャン領域440に基づいて続行できる。同様に、シンボル452a、b、cの3つすべてが識別され、それ以上のシンボルが予想されない場合(例えば、オブジェクト452の標準化されたシンボルの構成に基づく)、少なくともオブジェクト452のさらなるシンボルの発見に関して、その後の画像の取得は必要ない場合がある。
このアプローチおよび他のアプローチでは、他のタイプの分析も、画像の取得のためのミラーの制御を導くための有用な情報を提供し得る。例えば、いくつかの実施形態では、画像の取得のための最適なFOVを決定するために、3Dスキャンからの情報を使用することができる。別の例として、オブジェクトの面またはエッジの全体または部分的なシンボルの識別などの既知のタイプのマシンビジョン分析も、適切なFOVの識別、およびそれに応じて制御可能なミラーの適切な調整を、上でほのめかされたものを含んで、ガイドするのに役立ち得る。これらおよび同様のタイプの情報は、例えば、特定のFOVを提供するためにミラーにどのタイプの調整が必要であり得るかを特定するのに役立つ場合もある。
特定のシステムおよび対応する方法が上に個別に提示されているが、開示された実施形態の任意の数の態様は、いくつかの実装において互いに組み合わせるか、または交換することができる。例えば、図1A~図3に関連して提示されるミラー制御および画像の取得の原理は、一般に、図4A~図15に関して説明されるズーム、寸法決定、フォーカシング、選択的画像化、および他の機能を実装するために使用され得る。同様に、図6に関連して説明される三角法分析およびその上での既知の変形(例えば、図6の特定の最初未知の量が別段で決定される)は、上で論じた他の実施形態のそれぞれのいくつかの変形に関するものを含む、様々な状況で適用され得る。さらに、他の態様も組み合わせたり、交換したりすることができる。例えば、特定の光路に沿って3つ以上のミラーを備えた構成(例えば、図5Aに示されるように)は、特定の光路に沿って2つのミラーのみを有するとして本明細書に提示される任意の数の他のシステムで使用されるか、または同様の機能を実装するために使用され得る。実際、一般に、追加の固定または制御可能なミラーを、本明細書で説明する光路のいずれかに追加することができ、結果は上記に開示された原理に従うが、これは様々な方法で複雑さを増す可能性がある。さらに、いくつかの実装では、固定式ミラーとして上で明示的に説明されているミラーは、画像化デバイスに含まれる一次制御可能なミラーと同期して制御され得る遠隔設置された二次制御可能なミラーなどの制御可能なミラーと置き換えることができる。
図16Aは、画像化システム20、78、110、140、180などを含む、上で論じた画像化システムに類似し、可能な拡張物または修正物である別の画像化システム500の例を示す。したがって、画像化システム500は、必要に応じて、本明細書で論じられる他の画像化システムと同様の機能を含むか、または同様の機能のために構成され得る。図示の例では、画像化システム500は、画像化デバイス502と、遠隔設置された固定式ミラー504、506のセットとを含む。この例には、2つの固定式ミラーと1つの制御可能なミラー503が含まれているが(以下でも説明するように)、他の例では、他の構成が可能である。例えば、画像化システム500(または他のシステム)で使用するためのミラー構成は、固定式ミラーおよび制御可能なミラーの異なる数または構成を含むことができる。
画像化デバイス502は、上記の画像化デバイスに関して説明したように、任意の特徴(または特徴の組み合わせ)を含むことができる。例えば、画像化デバイス502は、少なくとも1つ(例えば、2つ以上)の画像化センサ、少なくとも1つのレンズ構成(例えば、それぞれの画像化センサに対応する2つ以上のレンズ構成)、および画像化センサまたは他のモジュールに関連する計算操作を実行するように構成された少なくとも1つの制御デバイス(例えば、プロセッサデバイス)を含むことができる。
図16Aに示されるように、画像化デバイス502は、本明細書の他の例の制御可能なミラーについて同様に説明されるように構成され得る制御可能なミラー503(例えば、1軸、2軸など、制御可能なミラー)を含む。したがって、画像化デバイス502は、制御可能なミラーの向きに応じて、異なるFOVから画像データを選択的に取得することができる。いくつかの構成では、画像化デバイス502の制御可能なミラー503は、画像化デバイス502のハウジング内に配置することができるが、他の構成では、制御可能なミラー503は、画像化デバイスのハウジングの外部に、そのようなハウジングから遠隔であっても、位置付けられ得る。制御可能なミラーがハウジングの外部に配置される場合、この例および他の例では、制御可能なミラーは、画像化デバイスのより大きなアタッチメントの一部とした場合を含めて、画像化デバイスのハウジングの外部に、時に取り外し可能に結合および配置され得る。
示されるように、固定式ミラー504、506は、コンベヤ508(または他の輸送システム)の上方に配置され、コンベヤ508に沿って、シンボル512を有するオブジェクト510を含むオブジェクトを移動させる。固定式ミラー504、506は、他の構成が可能であるが、コンベヤ508の上方で実質的に同じ垂直高さ514(例えば、5%未満のずれ)に配置される。固定式ミラー504は、固定式ミラー506よりも、画像化デバイス502の近くに配置され、小さな表面積を有するが、他の構成では、固定式ミラー504、506の表面積は、実質的に同じであり得るか、またはより小さなミラーが画像化デバイスからより遠くに配置され得る。固定式ミラー504、506はまた、実質的に同じ向きを有する(例えば、垂直軸および水平軸によって実質的に同じ角度で画定される平面に沿って角度が付けられる)が、固定式ミラー504、506間の相対的な向きが、正しく機能するために同一(または実質的に同じ)である必要はないことが理解され得る。
さらに、ミラー504、506は、図示の実施形態では固定されていると説明されているが、他の構成では、1つまたは複数の同様に配置されたミラーは、並進が固定され得る(すなわち、並進が妨げられる)にもかかわらず、それぞれの配向への制御可能な変更のために構成され得(例えば、画像化デバイスまたは別のシステムによって制御される可動ミラーとして構成することができ)、それは他の実施形態に関して説明したものを含む。特定の例では、ミラー506と同様のミラーは、ミラー504と同様のミラーに対して制御可能に回転するように構成されて、コンベヤまたは他の輸送システムの異なる水平位置
に沿って比較的高解像度の画像を取得することができる。場合によっては、例えば、他の実施形態に関しても議論されるように、この構成は、異なる高さを有するオブジェクトのより高い解像度またはそうでなければ改善された画像化を可能にし得る。
図16Aの図示の実施形態では、画像化デバイス502は、それぞれのFOV 520、522を有する2つの異なる光路516、518に沿って画像化データを選択的に取得するように構成される。特に、図示の例では、FOV 520を備えた光路516は、ミラー506、504を全く利用しないミラー504、506の間に延びる(例えば、FOV 520からの光は、ミラー504、506で反射しない)。対照的に、FOV 522を有する光路518は、ミラー504、506によって画定され、その結果、FOV 522からの光は、ミラー506に向けられて反射され、次に、ミラー504に向けられ、反射されて、画像化デバイス502(例えば、画像化デバイス502の画像化センサ)に向けられる。他の例では、本明細書で論じられる他のミラー構成を含む経路を含む、様々な追加または代替の他の光路も可能である。
制御可能なミラーの向きを調整することにより、画像化システム500は、画像化デバイス502を使用して画像化(または他の)データの取得に利用する光路516、518(またはその他)のどれかを選択することができる。例えば、制御可能なミラーの第1の向きに基づいて、画像化デバイス502は、光路516を利用して、FOV 520から画像データを取得することができる。同様に、制御可能なミラーの第2の向きに基づいて、画像化デバイス502は、FOV 522を有する光路518を利用することができる。
いくつかの実施形態では、異なる光路を使用して、画像化デバイスとターゲットとの間の画像化距離を効果的に変更し、それによって、例えば、異なる画像または画像化位置に異なるサイズのFOVを提供することができる。図16Aに示されるように、例えば、光路516は、光路518よりも長く、対応して、FOV 522は、FOV 522よりも大きい。したがって、同様に上で論じたように、光路516を使用する画像は、光路518を使用する画像よりも広い領域を覆うことができる。したがって、例えば、光路516を使用して取得された画像は、最初に特定の対象領域を特定するのに(例えば、より大きなボックス上にバーコードを配置するのに)役立ち得て、次に、光路518を使用して取得された画像を使用して、対象領域に関する高解像度のデータを取得することができる。
いくつかの実施形態では、特定のターゲット位置(またはその他)の画像化距離を効果的に延在するために、異なる光路を使用することができる。例えば、オブジェクト524aなどのオブジェクトは、オブジェクト524などのオブジェクトよりも比較的低い高さを示し得る(例えば、オブジェクト524aの上面は、オブジェクト524の上面よりも任意の所与の位置で画像化デバイス502から遠くなるようにする)。それに対応して、直接光路518a(または他の同様の光路)の場合、オブジェクト524の上面は、画像化デバイス502の効果的なフォーカシングを行うには近すぎる場合があり、または上面のFOV 528は小さすぎる場合がある(例えば、シンボル512全体を含めることはできない)。この場合、例えば、画像化デバイス502は、光路518(または別の同様の光路)を利用することができ、その有効長は、ミラー504、506によって延長されて、FOV 522(または別の同様のFOV)の画像データを取得するようにする。適切な構成では、FOV 522は、同じ高さで光路516aのFOV 528よりも大きくなり得、その結果、シンボル526全体の適切な画像データを取得することができる(例えば、シンボル526を検出または復号するための適切な焦点または範囲で)。対照的に、例えば、直接光路518aは、コンベヤ508に沿った同様の位置にあるオブジェクト524aの画像の取得中に使用されて、同様の有益な効果を有する異なるFOV 522aを提供することができる。
場合によっては、直接光路および代替のミラー指向光路は、同様の(例えば、同じ)光路の長さを示し得る。それに対応して、直接光路と代替光路のFOVの焦点またはサイズは類似している可能性がある。例えば、ミラー504、506の特定の構成では、FOV
522、522aは同じサイズであり得、同じ焦点設定が両方で焦点の合った画像の取得のために使用され得る。場合によっては、特定の領域の画像を取得するために、ミラー指向光路用の固定または制御可能なミラーを配置して、1つまたは複数の特徴的なオブジェクトサイズ(例えば、2つの共通なボックスの高さ)の直接光路と同様の光路の長さをもたらすことができる。
場合によっては、2つのミラー指向光路を使用して、異なる高さでの画像の取得と比較して同様の有益な効果を提供できる。例えば、図5Aに関して一般的に論じられるものを含む、2つのミラー指向光路は、光路518、518aについて上で説明されたものと同様の動作のために使用され得る。いくつかの実施形態では、代替の光路を、焦点を見つけるための、または複数の深さで画像を取得するための構成を含む、本明細書で論じられる他のアプローチと組み合わせて使用することができる(例えば、図13および図14に関して論じられるように)。
いくつかの実施形態では、画像化システム500を使用して、本明細書で論じられる他の例に従って他のオブジェクトの高さを決定すること(例えば、飛行時間センサ、複数の画像および関連する三角法計算などを使用して)、または他のオブジェクトの寸法を同様に決定することができる。いくつかの実施形態では、画像化システム500は、寸法決定を使用して、ミラー504、506のうちの1つまたは複数を含まない光路(例えば、光路516または518a)を利用するか、またはミラー504、506のうちの1つまたは複数を含む光路(例えば、光路518)を利用するかを決定するように構成することができる。例えば、画像化デバイス502は、オブジェクトの決定された高さを閾値高さ(例えば、400mm)と比較することができ、決定された高さが閾値高さよりも大きい場合、画像化デバイス502は、光路518を利用することができる。別の例として、決定された高さが閾値高さよりも小さい場合、画像化デバイス502は、光路518aを利用することができる。したがって、例えば、寸法情報に基づいて(例えば、制御可能なミラー構成を使用して決定されるように)、画像化システムは、オブジェクトのシンボルの画像を取得するおよび復号するのにより適している可能性がある、1つまたは複数の固定式または可動ミラーの有無にかかわらず、特定の光路を決定することができる。
いくつかの構成では、画像化デバイスは、初期の光路のFOVに対応する画像データを使用してシンボルの読み取りに失敗した後、異なる光路を利用することができる(例えば、光路を切り替える)。例えば、画像化デバイス502が、対応するFOVから画像データを取得するために第1の光路を利用する(例えば、光路518などの1つまたは複数の固定式ミラーを含む光路)が、その画像内のシンボル(例えば、シンボル526)を識別または復号するのに失敗した場合、画像化デバイス502は、シンボルを識別または復号する後続の試行のための対応するFOVからの画像データを取得するために、第2の異なる光路(例えば、光路518aなどの1つまたは複数の固定式ミラーを含まない光路)を利用できる。場合によっては、このプロセスは、1つまたは複数の固定式ミラーを含まない第1の光路、および1つまたは複数の固定式ミラーを含む第2の光路、または1つまたは複数の固定式ミラーまたは可動ミラーを含むまたは含まない光路の他の組み合わせを使用して完了することができる。
図16Bおよび図16Cは、光路518のより詳細な表現を示している。特に、図16Bは、オブジェクト524、およびFOV 522の投影画像を視覚的に描写するための
固定式ミラー506の斜視図を示し、一方で図16Cは、画像化デバイス502(図16B、図16Cには示されていない)に向けられたFOV 522の2回投影された画像を視覚的に描写するためのミラー504の斜視図を示す。示されるように、FOV 522は、ミラー506の表面全体を利用しないミラー506上に投影画像530として投影される。しかし、代替の実施形態では、画像化デバイス502は、ミラー506の領域全体または実質的に全体(例えば、95%)が利用されるように垂直に移動することができる。言い換えれば、この場合、投影された画像530は、ミラー506の表面全体または実質的に全体(例えば、ミラーの95%)にまたがることができる。
投影された画像530は、固定式ミラー506で反射され、ミラー504に向けられて、投影画像536を生成する。投影画像530と同様に、投影画像536は、固定式ミラー506の表面全体にまたがらないが、いくつかの構成では、ミラー504のサイズ(例えば、表面積)を小さくするか、または画像化デバイス502およびミラー504間の間隔を、ミラー504の領域全体または実質的に全体(例えば、95%)が利用されるように拡張することができる。投影画像536は、ミラー504によって反射され、画像化デバイス502の画像化センサに向けられる。
図16B、図16Cには示されていないが、画像化デバイス502の制御可能なミラーの向きは、コンベヤ508(または他の輸送システム)の表面に対するFOVの相対的な位置を少なくとも部分的に決定する。例えば、示されるように、制御可能なミラーは、ミラー504上の投影画像536の右上部分が、ミラー506上の右下の投影画像530に対応するように配向され、これは、FOV 522を画像化デバイス502の画像化センサにもたらす。制御可能なミラーの向きを調整することにより、固定式ミラー504上の投影画像536の位置を調整することができ、それにより、固定式ミラー506上の投影画像530の位置をシフトし、最終的にFOV 522の位置をシフトする。
いくつかの例では、上記のように、1つまたは複数の他の固定式ミラーを使用することができる。例えば、再び図16Aを参照すると、別のミラー532を備えることができ、これは、ミラー504、506の一方または両方として共通の光軸に含まれるように必ずしも位置合わせされていない。場合によっては、ミラー532は固定式ミラーであり得る。一般に、ミラー532は、(ミラー532ではなく)ミラー504、506のうちの1つまたは複数を使用して取得される画像とは異なる位置でコンベヤ508上のオブジェクトの画像を取得するために、図4Aおよび図6の固定式ミラー82、144(または必要に応じて図1Aの制御可能なミラー30)と同様に使用することができる。場合によっては、ミラー532を使用して、オブジェクトが後続の画像化のために指定された領域に到達する前にオブジェクトをスキャンし、スキャンの結果に基づいて後続の画像化を制御することができる。場合によっては、ミラー532または別の構成を使用して、オブジェクトの寸法を決定するのを助け、その後の画像の取得のために可動ミラーの制御を通知することができる。場合によっては、ミラー532または図6のものと同様のミラー構成を使用して、オブジェクトがコンベヤ508に沿って移動し、光路516、518、518a(など)によって覆われる領域に近づくときにオブジェクトをスキャンすることができる。スキャンに基づいて、特定の光路(例えば、経路516、518、または518a)を、その後の画像の取得のために選択することができる。例えば、画像化デバイス502に含まれるか、またはそれと協働する距離センサ(例えば、ToFセンサ)を使用して、ミラー532を含む光路を使用して、オブジェクトの高さおよび光路516、518、518aの1つを決定することができ、それに応じたその後の画像の取得のために選択することができる。(上で同様に論じたように、いくつかの実装では、光路516に沿った初期の画像を同様に使用することができる。)
いくつかの実施形態では、オブジェクト(またはより一般的にはターゲット領域)の複
数の側部の画像を取得するために、ターゲット領域に対してアレイに配置された複数の画像化センサが互いに、および1つまたは複数の制御可能なミラーと協働することができる。いくつかの実施形態では、例えば、トンネルシステムは、トンネル222(図9Aを参照)と同様に構成され得るが、トンネル内のターゲット領域の周りに配列された複数の画像化センサを含み得る。さらに、1つまたは複数の制御可能なミラーは、画像化センサを備えたトンネルに対して配列することもでき、その結果、各画像化センサは、関連する1つまたは複数の制御可能なミラーと協働して、トンネル内のオブジェクトの1つまたは複数の側部の一部または全部の画像を取得できる。いくつかの実施形態では、特定の画像化センサは、オブジェクト(またはターゲット領域)の1つまたは複数の側部の特定のセットの画像を取得するために、特定のミラー構成またはミラー構成のサブパートと協働するように構成され得る。例えば、いくつかの実施形態は、複数の画像化センサを含み得、それらのそれぞれは、対応する(例えば、排他的な)制御可能なミラーを使用して、ターゲット領域のオブジェクトの対応する1つまたは複数の側部(例えば、排他的なそれぞれの側部)の画像を取得するように構成される。同様に、いくつかの実施形態は、複数のセットの画像化センサおよび対応する制御可能なミラーを含み得、画像化センサおよび各セットの制御可能なミラーは、オブジェクトまたはターゲット領域の異なるそれぞれの側部の画像を取得するように構成される。例えば、いくつかの構成は、それぞれが関連する制御可能なミラーを備え、それぞれがターゲット領域内のオブジェクトの6つの側部、例えば、上側部、下側部、前側部、後側部、左側部、および右側部のうちのそれぞれの1つの画像を取得するように構成された6つの画像化センサを含み得る)。または、より一般的には、いくつかの構成は、複数の画像化センサおよび複数の制御可能なミラーを含み得、画像化センサおよび制御可能なミラーの各関連セットは、オブジェクトまたはターゲット領域の少なくとも1つの特定のそれぞれの側部の画像の取得専用である。
これに関して、例えば、図17および図18は、画像化システム210、220に類似し、それらを含む上記の画像化システムの可能な拡張または修正である、別の画像化システム600の例を示す。したがって、画像化システム600は、必要に応じて、本明細書で論じられる他の画像化システムと同様の機能を含むか、または同様の機能のために構成され得る。特に、画像化システム600は、それぞれが少なくとも1つの画像化センサを有する画像化デバイス602、604、606、608、610、612、少なくとも1つのレンズ構成、および画像化センサに関連する計算操作を実行するように構成されている、少なくとも1つの制御デバイス(例えば、プロセッサ装置)を含む。各画像化デバイス602、604、606、608、610、612は、制御可能なミラーを含むことができる。画像化デバイス602、604、606、608、610、612のそれぞれは、関連する制御可能なミラーの向きに応じて、異なるFOVから画像データを選択的に取得することができる。したがって、例えば、以下でさらに説明するように、画像化システム600を利用して、特定の特徴(例えば、バーコード)に焦点を合わせるための各側部の部分的な表現、または複数の隣接または重複する画像から作成された高解像度の合成表現を場合によっては含む、オブジェクトの各側部の画像を取得することができる。
一般に、画像化システム600は、画像の取得のために提示されるオブジェクトの画像を取得するために使用することができる。図17および図18に示される特定の構成では、画像化システム600はまた、画像化デバイス602、604、606、608、610、612のそれぞれを支持する支持構造614と、シンボル620の付いたオブジェクト618を支持するためのプラットフォーム616とを含む。他の様々な構成が可能であるが、図示の例では、支持構造614は、各長方形セクション622、624の上部二等分点626および下部二等分点628で一緒に結合された2つの長方形セクション622、624、ならびに各長方形セクション622、624の各頂点から離れるように発出する脚630を備える、入れられた状態のケージ型支持構造である。同様に、プラットフォーム616は、オブジェクト618の下側部の画像の取得を可能にすることができるように、オープンセンタープラットフォームとして構成されるが、他の構成は、透明なプラットフォーム、メッシュまたはグリッドプラットフォーム、または他の様々な構成を含み得る。
続いて、画像化デバイス602、604、606、608、610、612のそれぞれは、プラットフォーム616の特定の側部の画像を取得するように向けられており(例えば、それに面しており)、その結果、オブジェクト618などのオブジェクトは、プラットフォーム616上に配置され、プラットフォーム616によって支持されて、画像化デバイス602、604、606、608、610、612のそれぞれは、オブジェクトの特定の側部の画像データを取得することができる。例えば、図示の構成では、画像化デバイス602は、結合された上部二等分点626で支持構造614に結合され、プラットフォーム616の上面に面し、画像化デバイス604は、結合された下部二等分点628で支持構造614に結合され、プラットフォーム616の下面に面しており、画像化デバイス606は、長方形セクション622の第1の側の中央領域に結合され、プラットフォーム616の第1の側面に面しており、画像化デバイス608が、長方形セクション622の反対にある第2の側の中央領域に結合され、プラットフォーム616の第2の側面に面し、画像化デバイス610は、長方形セクション624の第1の側の中央領域に結合され、プラットフォーム616の第3の側面に面し、画像化デバイス612は、長方形セクション624の反対にある第2の側の中央領域に結合され、プラットフォーム616の第4の側面に面している。
いくつかの実施形態では、画像化デバイスの特定のセットは、互いに平行または垂直である光軸を備えて配置され得る。例えば、図示の実施形態では、画像化デバイス602、604は互いに向き合っており、画像化デバイス606、608は互いに向き合っており、画像化デバイス610、612は互いに向き合っている。それに対応して、この例では、画像化デバイス602、604の光軸(例えば、それぞれの画像化センサによって画定される)は、実質的に平行であり得、画像化デバイス606、608の光軸は、実質的に平行であり得、画像化デバイス610、612の光軸は、実質的に平行であり得る。さらに、画像化デバイス602の光軸は、他の画像化デバイス(画像化デバイス604を除く)に対して実質的に垂直であり得、画像化デバイス604の光軸は、他の画像化デバイス(画像化デバイス602を除く)に対して実質的に垂直であり得、画像化デバイス606の光軸は、他の画像化デバイス(画像化デバイス608を除く)に対して実質的に垂直であり得、画像化デバイス608の光軸は、他の画像化デバイス(画像化デバイス606を除く)に対して実質的に垂直であり得、画像化デバイス610の光軸は、他の画像化デバイス(画像化デバイス612を除く)に対して実質的に垂直であり得、画像化デバイス612の光軸は、他の画像化デバイス(画像化デバイス610を除く)に対して実質的に垂直であり得る。
画像化デバイス602、604、606、608、610、612の互いに対する図示の取り付け位置は有利なものであり得るが、いくつかの構成では、オブジェクトの異なる側部を画像化するための画像化デバイスのアレイは、図17に示した位置に対して再配向され得、依然として、オブジェクトのそれぞれの側部から画像データを取得するように構成されているままである。同様に、6つの画像化デバイス602、604、606、608、610、612それぞれがオブジェクト(例えば、6つの側部のオブジェクト618)のそれぞれの側部から画像データを収集することには利点(例えば、収集速度の上昇)があるが、いくつかの構成は、異なる数または構成の画像化デバイスを含むことができ、または特定の画像化デバイスがオブジェクトの複数の側部の画像を取得できるようにするために他の固定式または可動ミラーを利用することができる(例えば、図9Aに関して同様に論じられるように)。例えば、固定式ミラー(例えば、ミラー226)を使用して、画像化デバイス608を使用する必要性を回避することができ、別のミラーを使用して、画像化デバイス612を使用する必要性を回避することができる。それに対応して、異なる画像化デバイス(例えば、画像化デバイス602)は、関連する可動ミラーの向きを変えることにより、固定式ミラーを利用して、画像化デバイス608、612に関連する1つまたは複数のオブジェクトの側部から画像データを取得することができる(例えば、画像化システム220と同様に)。
いくつかの実施形態では、(例えば、画像化システム600のように)オブジェクトの特定の側部の画像を取得するための専用の画像化デバイスは、オブジェクトのその側部の画像のみを取得するように構成することができる。いくつかの実施形態では、画像化デバイスは、同じシステムに含まれる他の画像化デバイスに対して重複する取得領域を含む、オブジェクトの複数の側部の画像を取得する専用にすることができる。いくつかの実施形態では、画像化デバイスは、オブジェクトの側部全体(例えば、提示されたボックスの側部全体)を包含する単一の画像を取得するように構成することができる。いくつかの実施形態では、画像化デバイスは、オブジェクトの側部のより小さな部分の単一の画像を取得するように構成することができ、潜在的には、特定の対象領域の1つまたは複数の画像を取得するか、または可動ミラーの制御によりオブジェクトの同じ側部の、複数の隣接する、重複する、または他の画像を取得することを伴う。
この後者の点に関して、例えば、図示の構成における各画像化デバイス602、604、606、608、610、612のFOVは、オブジェクト618のそれぞれの側部の表面積よりも実質的に小さい(例えば、25%未満)。この構成は、例えば、以下に説明するように、または上記の他のアプローチを使用して(例えば、図10および図15に関して)、オブジェクト618の特定の対象領域の高解像度画像、またはオブジェクト618のある側部の最終的な合成画像の取得を可能にし得る。
例えば、画像化デバイス606などの画像化デバイスを使用して、対応するFOVの異なる空間位置の画像データを連続的に取得することによって、(例えば、画像化デバイスが面する)オブジェクトの側部の表面全体の画像を取得することができる。特に、画像化デバイス606は、可動ミラーを利用して(例えば、ミラーを移動して)FOV 632の画像データを取得することができ、その後、画像化デバイス606は、可動ミラーを利用して(例えば、ミラーを移動して)、別の場所でFOV 632の画像データを取得するためのFOV 632(図17ではFOV 632’として示されている)を並進する。このプロセスは、オブジェクト618の側部の表面全体について画像データが取得されるまで、反復的に進行することができる(例えば、ミラーおよびFOV 632の移動とそれに続く各位置での画像データの取得)。いくつかの実施形態では、同様のプロセスを代替的に(または追加的に)使用して、対象領域全体(例えば、オブジェクト618のある側部の一部のみ)の複数の画像を取得することができる。また、上記のように、場合によっては、FOV 632、632’で示されているように、連続して取得された画像が互いに隣接していることがある。場合によっては、連続して取得された画像は、特定のオブジェクト上で重複したり、互いに離れていたりすることもある。
いくつかの実施形態では、画像のセット(その各画像は本明細書では「サブ画像」とも呼ばれる)を一緒に組み合わせて、特定の対象物または対象領域の合成表現(例えば、合成画像)をもたらすことができる。いくつかの実施形態では、サブ画像をつなぎ合わせることができ(例えば、適切なエッジ検出または画像マッチングアルゴリズムを使用して)、オブジェクトの特定の側部または他の対象領域の高解像度の最終画像を生成することができる。場合によっては、この手順は、アレイの各画像化デバイス(例えば、画像化システム600のように)に対して、画像データを取得し、オブジェクトの各側部または複数の対象領域の別のセットに対して高解像度を生成することを完遂させることができる。
場合によっては、画像化デバイスは、所定の対象領域にまたがる事前に指定された画像の取得順序を実装することができる。言い換えれば、特定の画像化距離で画像化デバイスのFOVよりも大きくなり得る領域などの事前定義された画像化領域は、上記の反復プロセスを使用して画像化することができる。このようにして、例えば、画像化デバイスは、様々なサイズのオブジェクト(例えば、異なる高さを有するオブジェクト、またはそれぞれのオブジェクトの異なる位置)を自動的に補償することができ、画像化デバイスが最初にオブジェクトの側部のエッジを特定する必要性を防ぐことができる。特定の領域の複数の画像を取得するための他のアプローチも利用することができ、これには、図10および15などに関して上で論じたようなものが含まれる。
FOV 632が示され、他の画像化デバイス602、604、606、608、610、612の他のFOVは、オブジェクトのそれぞれの側部よりも小さいと説明されたが、他の構成では、FOVは異なるサイズであり得る。例えば、FOVは、図示されたものよりもさらに小さくすることができ、オブジェクト618の特定の側部と同じサイズまたはそれよりも大きいサイズなど、図示されたものよりも大きくすることができる。図17の図示の実施形態では、各画像化デバイス602、604、606、608、610、612は、それぞれのFOV(例えば、FOV 632)を、オブジェクト618のそれぞれの側部によって定義される平面内で2次元に並進するように構成された2軸の制御可能なミラーを含む。しかし、代替構成では、画像化デバイス602、604、606、608、610、612の一部は、他のミラー構成で動作するように構成され得る。例えば、画像化デバイス602、604、606、608、610、612のうちの1つまたは複数は、少なくとも1つの寸法において、図示よりも大きなFOVを有し得、1軸可動ミラーで動作するように構成され得る。例えば、FOVは、画像化されるオブジェクトの予想される最大の高さまたは他の寸法を超える場合がある。このようにして、例えば、1軸の制御可能なミラーは、関連する表面または他の特徴を横切って一次元でFOVをスキャンするように向きを調整することができるが、それでも関連する画像化デバイスは表面全体または他の特徴の画像データを取得することができる。
また、上記のように、画像化デバイス604は、プラットフォーム616の下方に配置され、したがって、プラットフォーム616は、光がオブジェクト618の下側部から画像化デバイス604の画像化センサに通過することを可能にするように構成され得る。したがって、プラットフォーム616は、透明であり得るか、または穴またはスロットなどの開口を有することができ、その結果、光は、画像化デバイス604まで適切に通過することができる(例えば、対象領域にわたってプラットフォーム616によって妨げられない)。
図17および図18の図示の実施形態は、固定支持ケージ614およびプラットフォーム616を示しているが、代替の実施形態では、同様の構成(例えば、画像化デバイスのアレイおよび画像化システム600と同様の制御可能なミラーを有する)を可動プラットフォーム(例えば、コンベヤ、輸送システムなど)に利用することができる。例えば、支持ケージ614に適切な修正を加えることにより、またはトンネル222などの異なる支持構造を利用することにより、複数の画像化デバイス602、604、606、608、610、612と同様に構成された画像化デバイスのアレイは、オブジェクトが修正された補助ケージ614を通過するときに、オブジェクトの各側部の画像データを取得するように構成することができる。場合によっては、移動プラットフォームまたはそれに関連する支持部分は、オブジェクトが画像領域を移動するときに、移動プラットフォームの下に配置された画像化デバイスがオブジェクトの下側部から光を受け取ることができるように、透明にすることができる。
いくつかの実施形態では、画像化システムは、例えば単一のトリガーイベントの一部と
して、オブジェクトの複数の側部の画像を同時に(すなわち、同じ時にまたは共通の時間間隔にわたって)取得するように構成することができる。例えば、図17に戻ると、画像化デバイス602、604、606、606、608、610のそれぞれは、共通の時間間隔にわたって1つまたは複数の画像のそれぞれのセットを取得するように構成することができる。同様に、場合によっては、画像化デバイス602、604、606、608、610は、単一のトリガーイベントに基づいて画像を取得するように構成することができる。例えば、オブジェクト618がプラットフォーム616に配置されたことを判定するセンサ(例えば、接触または存在センサまたは画像化デバイス)に基づいて、画像化デバイス602、604、606、608、610は、オブジェクト618のそれぞれの側部の画像を同時に取得することができる。別の例として、場合によっては、トリガーイベントが操作者の入力から生じることがある。例えば、オブジェクト618をプラットフォーム616上に配置した後、操作者は、画像化デバイス602、604、606、608、610の視界から出て、画像の取得を開始すべきであることを電子的に示すことができる。
対象領域の複数の画像の取得に関する上記の議論に戻ると、図19は、画像化デバイス602、604、606、608、610、612を使用して生成することができる合成(例えば、ステッチされた)画像650の例を示す。例えば、複数のサブ画像654から形成される画像652は、オブジェクトの第1の側部(S1)のものであり、画像656は、オブジェクトの第2の側部(S2)のものであり、画像658は、オブジェクトの第3の側部(S3)のものであり、画像660は、オブジェクトの第4の側部(S4)のものであり、画像662はオブジェクトの第5の側部(S5)のものであり、複数のサブ画像668から形成される画像664は、オブジェクトの第6の側部(S6)のものである。上記のように、サブ画像654は、一緒につなぎ合わせるか、さもなければ結合して、合成画像652を形成する(すなわち、生成する)ことができる。同様に、サブ画像668はまた、一緒につなぎ合わされるか、さもなければ組み合わされて、合成画像664を形成することができる。示されるように、画像664は、上記のような所定の画像化の順序を使用して取得され、複数のサブ画像668のサブセットにのみ存在するオブジェクトのエッジの輪郭670を含む。したがって、所定の画像化の順序は、最初にエッジを見つけることなく、様々なサイズのボックスを補償することができる。他の実施形態では、他の実装に関連して上で論じたものを含む、合成画像を作成するための他のアプローチが可能である。
それぞれがオブジェクトの特定の側部に対応する画像654、656、658、660、662、664は、合成画像を生成するためにつなぎ合わせるか、さもなければ一緒に組み合わせることができる。合成画像650は、比較的コンパクトな向きで表されているように示され、様々なサブ画像が列および行に編成されているが、他の表現を利用することができる。例えば、中央画像がボックスの下側にあるボックス(例えば、オブジェクト618)の2次元分解を構築し、必要に応じて、比較的迅速な分析のためにユーザに提示することができる。さらに、オブジェクトの異なる側部は、オブジェクトの単純な展開または他の操作に対応する場合もしない場合もある様々な方法で、合成画像内に配置することができる。場合によっては、本明細書で論じられる他のいずれかの画像について、合成画像全体、オブジェクトの特定の側部の各(または1つまたは複数)画像、または各(または1つまたは複数の)サブ画像を処理して、シンボルを位置特定または分析(例えば、復号)することができる。
いくつかの実施形態では、画像化システムは、特定のオブジェクトの3次元(3D)表現を生成するように構成することができる。これに関して、例えば、距離測定技術(例えば、飛行時間感知または上記または当技術分野で知られている他の測定技術)は、制御可能なミラーを利用する本明細書に記載の様々な画像化技術と組み合わせることができ、オ
ブジェクトまたはオブジェクトの特定の対象領域の3D表現を、それに応じて、生成できる。例えば、画像化システム600に関連して、1つまたは複数のToFまたは他の同様のセンサは、オブジェクト618の側部の1つまたは複数(例えば、すべて)を含む、オブジェクト618の表面特徴を識別するように構成することができる。場合によっては、表面特徴は次いで、画像化デバイス602、604、606、608、610、612によって取得されたときに、オブジェクト618の側部の画像にオーバーレイされて、オブジェクト618の包括的なあらゆる側部の3D表現をもたらすことができる。いくつかの実施形態では、ToFまたは他の距離センサは、1つ以上の画像化センサ(例えば、画像化デバイス602、604、606、608、610、612または本明細書で論じられる他の画像化デバイスのいずれか)を含む画像化デバイスに含まれ得る。いくつかの実施形態では、ToFまたは他の距離センサは、オブジェクトの特定の側部の画像を取得するために、または本明細書で論じられる他の画像化操作を実行するために使用される画像化デバイスから分離され得る。
上で一般的に述べたように、特定のビジョンシステム、ミラー構成、画像化デバイスなどの本明細書での議論は、そのようなシステム、構成、デバイスなどを組み立て、構成し、較正し、さもなければ使用する方法も開示することを意図する。これに関して、図20は、本開示のいくつかの実施形態による例示的なプロセス700を示し、これは、一般に、上で様々に議論されるように、画像を取得するために制御可能なミラーを使用することを含む。一般に、プロセス700の態様は、上記した画像化システムの1つまたは複数を単独でまたは互いに組み合わせて使用して実施することができ、または1つまたは複数の画像化センサ、少なくとも1つの制御可能なミラーを備えるミラー構成、および1つまたは複数の画像化センサによる画像の取得および少なくとも1つの制御可能なミラーの動きを制御するように構成された制御デバイス(例えば、特別にプログラムされた汎用コンピュータ)を含む他の画像化システムを使用して実施することができる。
特に、図示の例では、プロセス700は、第1の光路(例えば、上記の光路のいずれか)を使用して画像を取得すること(710)、第2の光路(例えば、上で論じた光路の他のいずれか)を画定するため可動ミラーを制御すること(720)、および第2の光路を使用して画像を取得すること(730)を含む。
場合によっては、第2の光路は、全体の光路の長さ、オブジェクトまたはターゲット領域への入射位置または角度、または他の方式に関するものを含めて、第1の光路とは異なる可能性がある。場合によっては、複数の光路の両方が1つまたは複数の可動ミラー(例えば、同じ可動ミラー)を含み得るか、または両方が単一の画像化センサまたは単一の画像化デバイスに関連付けられ得る。場合によっては、異なる光路は異なるミラーを含むことができる(722)(すなわち、第1または第2の光路に含まれるミラーが、第2または第1の光路に含まれない場合が時にある)。場合によっては、図5Aおよび図16Aに関連して論じたものを含めて、異なるミラーを含むこと(722)は、固定式ミラーにすることができる。
それに対応して、異なる取得(710、730)により得られた画像は、一般に、異なる対象を含むことができる。例えば、場合によっては、前の画像とは異なる位置(732)の1つまたは複数の画像を取得すること(730)ができるよう第2の光路を画定するために、可動ミラーを制御してもよく(720)、ここで第2の光路を画定するためということには、(例えば、図3および図7Aに関して説明したように)コンベヤの領域にまたがるようにするため、(例えば、図1A~図1Cおよび図4A~図4Cに関して説明したように)オブジェクトの動きを追跡するかオブジェクトの移動経路に沿って画像を取得するため(710、730)、または(例えば、図9A~図11、図15、図16A、および図17~図19に関して説明したように)複数のオブジェクトまたは特定のオブジェクトの複数の部分の画像を取得するため(710、730)ということが含まれる。さらなる例として、第2の光路を画定するために可動ミラーを制御して(720)、異なるズームの度合い(734)の画像を取得する(710、730)か、そうでなければ特定の対象領域を強調することができる(例えば、本明細書で一般的に論じられるように)。
場合によっては、(例えば、制御デバイスを使用して自動的に)1つまたは複数の取得(710、730)により得られた画像を分析することができる(740)。例えば、第1の画像は、(例えば、図1A~図1Cに関して議論されているように)オブジェクトを追跡する(742)ために、(例えば、図12に関して議論されているように)較正を更新する(744)ために、(例えば、図6に関連して説明した複数の画像の分析に基づいて)オブジェクトの寸法または別の寸法を決定する(746)ために、(例えば、図11、図13、および図14に関連して説明したように)更新された焦点の値を決定する(748)ために、(例えば、本明細書で全般的に論じられるように)シンボルまたは他の対象領域を識別(750)するために、または他の目的のために分析740され得る。
場合によっては、上記の例でさらに詳細に説明しているように、光路を画定するためのミラーの制御(720)は、画像の分析(740)に基づくことができるが、一部の実装では、ミラーを画像分析(740)とは別に制御する(720)こともできる。場合によっては、上記の例でもさらに詳細に説明しているように、画像の分析(740)は、複数の画像が取得された後に行われる場合があり、複数の画像の分析(740)が時に含まれる場合がある(例えば、図8A~図9B、図14、図15に関連して論じられるように、多数の側部の画像化および合成画像の生成のため)。場合によっては、画像の分析(740)は、(例えば、図8A~図9Bおよび図17~図19に関して説明したように)複数の画像化センサを使用した取得(710、730)により得られた画像の分析を含み得る。
より詳細な例として、図21は、オブジェクトの複数の側部をスキャンするためのプロセス800のフローチャートを示し、これは、1つまたは複数の適切なコンピューティングデバイス(例えば、前述の画像化デバイスのいずれかのコンピューティングデバイス)を使用して実装することができる。例えば、プロセス800の一部(またはすべて)は、例えば、図1A~図1Cの画像化システム20、図2の画像化システム40、図8Aおよび図8Bの画像化システム210、図9Aの画像化システム220、図17および図18の画像化システム600など、以前の画像化システムの構成の様々な適切なコンピューティングデバイスを使用して実装することができる。
802で、プロセス800は、適切な画像化デバイスが、オブジェクト(例えば、6面ボックスまたは他の構造)のある側部の第1のFOVの第1の画像を取得することを含むことができる。第1のFOVがオブジェクトのその側部の表面積よりも小さい場合もあれば、第1のFOVがオブジェクトのその側部の表面積よりも大きいか同じサイズである場合もある。場合によっては、プロセス800のブロック802はまた、第1のFOVの3Dデータを取得することを含むことができる(例えば、ToFセンサを使用して)。場合によっては、必ずしも画像を取得しなくても3D情報を取得できるが、そのような3D情報は特定の画像に対応している場合がある。
804において、プロセス800は、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)が、可動ミラー(例えば、2軸可動ミラー)を制御してその向きを移動または変更して、特定の画像化デバイスの1つまたは複数の画像化センサの第2のFOVをもたらすことを含むことができる。いくつかの構成では、第1のFOVは、部分的または全体的に第2のFOVと重複することができる(例えば、異なる中心またはズームの度合いで)。一部の構成では、第1のFOVが第2のFOVと重複し
ない場合がある。
806で、プロセス800は、適切な画像化デバイス(例えば、ブロック802と同じ画像化デバイス)が第2のFOVの第2の画像を取得することを含むことができる。場合によっては、プロセス800のブロック806はまた、第2のFOVの3次元(「3D」)データの取得を含むことができ、または3D情報は、必ずしも画像を取得することなく取得され得る)。
場合によっては、上記のように、取得された画像は、オブジェクトの側部全体を含むことがある。場合によっては、取得した画像にオブジェクトの側部の一部しか含まれないことがある。場合によっては、808で、プロセス800は、オブジェクトの側部の合成画像を生成することを含むことができる。図19に関して上記したように、いくつかの場合、ブロック804、および806は、オブジェクトのそれぞれの側部の追加のFOVに対して(例えば、3D情報を含む第3のFOVの第3の画像、3D情報を含む第4のFOVの第4の画像などを取得するために)繰り返され(例えば、反復的に)得る。例えば、適切なコンピューティングデバイスは、FOVが所定の画像化領域内に画定される、所定の画像化領域(例えば、ユーザの入力から受信される)を追跡することができる。したがって、この反復プロセスは、適切なコンピューティングデバイスが所定の画像化領域全体にまたがるFOVから画像を取得するまで続行できる。
場合によっては、合成画像の生成には、複数の画像(例えば、第1の画像と第2の画像など)をつなぎ合わせることが含まれ得、これは、各画像内のエッジやその他の特徴を見つけることで容易になる。さらに、各FOVから取得した3D情報は、対応する合成画像と適切にマージできる。例えば、FOVの画像の対応する部分が合成画像で省略されている場合、FOVの一部の3D情報を省略できる。場合によっては、例えば、第1のFOVがオブジェクトの側部よりも大きい場合、804と806(および808)を省略できる。
810で、プロセス800は、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)が第1の画像、第2の画像、合成画像(または合成画像を形成するのに使用される他の取得された画像)内の第1の対象領域を識別することを含むことができる。場合によっては、対象領域が識別されると、この対象領域(例えば、この領域によって定義されたピクセル)を抽出することができる。いくつかの構成では、対象領域はシンボル(例えば、バーコード)である。
812で、プロセス800は、適切なコンピューティングデバイス(例えば、本明細書に開示されるような画像化デバイスの)が第1の対象領域(例えば、復号されるバーコード)が識別されたかどうかを決定することを含むことができる。例えば、適切なコンピューティングデバイスが、第1の対象領域が識別されていないと判断した場合、プロセス800は、ブロック804に戻ることができる。いくつかの構成では、適切なコンピューティングデバイスは、それぞれのFOV(例えば、第1および第2のFOV)間の重複を増加させることができる。このことは、可動ミラーのそれぞれの動きを減少させることを含むことができる。他の場合、適切なコンピューティングデバイスは、必要に応じて、例えば、画像化デバイスが図14の画像化デバイス400として構成されている場合、ズームを調整し(例えば、ズームを減少させ)、それによって各FOVの空間フットプリントを調整する(例えば、FOVを減少させる)ことができる。これにより、例えば、(それぞれのサブ画像で形成された)高解像度の合成画像を作成できる。これにより、第1の対象領域を識別して特定する(および、必要に応じてその後の第1の対象領域を復号する)可能性を(例えば、不良後)高めることができる。
812で、コンピューティングデバイスが、第1の対象領域(例えば、復号されるバーコード)が識別されたと判断した場合、プロセス800は、ブロック814に進んで、第1の対象領域の1つまたは複数の特徴を復号することができる。これに関して、例えば、様々な既知の画像分析(例えば、復号化)ツールを使用することができる。
示されるように、ブロック802~812は、サブプロセス816を定義することができる。サブプロセス816は、6つの側部のオブジェクトなどのオブジェクトの複数の側部(例えば、各側部)に対して完了することができる。図17および図18の画像化システム600の場合などのいくつかの構成では、各側部は、それぞれの側部の画像を取得することができるそれぞれの画像化デバイスに関連付けることができる。あるいは、他の構成では、特定の画像化デバイスは、オブジェクトの複数の側部に関連付けられ得る(例えば、図9Aに示されるように)。
816で、プロセス800は、オブジェクトのすべての(またはいくつかの)側部の合成画像を生成する適切なコンピューティングデバイス(例えば、本明細書に開示されるような画像化デバイスの)を含むことができる。例えば、サブプロセス816の複数の反復が、オブジェクトの各(所望の)側部(例えば、オブジェクトの6つの側部)に対して完了し、オブジェクトの各(所望の)側部の合成画像を生成することを含み得た後、これらの画像は、オブジェクトの所望の側部の画像を含むさらなる合成画像に組み合わせることができる。いくつかの構成では、このさらなる合成画像は、対象領域(例えば、シンボル)について分析することができ、第1の対象領域が識別されると、コンピューティングデバイスは、対象領域を復号することができる(該当する場合)。
816に示されるものを含むいくつかの場合において、プロセス800はまた、例えば、任意の様々な既知の技術を使用して進行することができるように、オブジェクトの3D表現を生成することを含む。場合によっては、コンピューティングデバイスは、オブジェクトのある側部の各合成画像(または単一の画像)のエッジを識別し、画像を(例えば、隣接するエッジに沿って)結合して、オブジェクトの3D表現を生成することができる。
図22は、1つまたは複数の適切なコンピューティングデバイス(例えば、前述の画像化デバイスのいずれかのコンピューティングデバイス)を使用して実装できる、コンベヤシステムなどの輸送システムに沿って移動するオブジェクトを含む、1つまたは複数のオブジェクトの複数のFOVを取得するための別のプロセス900を示す。例えば、プロセス900の一部(またはすべて)は、例えば、図1A~図1Cの画像化システム20、図2の画像化システム40、図4Aの画像化システム78、図5Aの画像化システム110、図6の画像化システム140、図7Aおよび図7Cの画像化システム180、図11の画像化システム250、図12の画像化システム280、図13について図示および説明された画像化システム、図14について図示および説明された画像化システム、図15について図示および説明された画像化システム、図16A~図16Cの画像化システム500などの、以前の画像化システムの構成の様々な適切なコンピューティングデバイスを使用して実装することができる。
902で、プロセス900は、開示された画像化デバイスが第1の光路に沿ったオブジェクトの第1の視野の第1の画像を取得することを含むことができる。場合によっては、第1の光路は、第1のFOVを画定する固定式ミラー(例えば、特定の配向にロックされる回転可能なミラー)を含むことができる。いくつかの構成では、第1の光路は、可動ミラーによってさらに画定される(例えば、第1の画像を取得するために使用される画像化デバイスに取り付けられるように)。いくつかの構成では、第1の光路は、図16Aの光路516などの、画像化デバイスに関連する可動ミラー以外の任意の固定式ミラーまたは他のミラーによって画定されない場合がある。いくつかの実施形態では、第1の光路は、図16Aの光路518または図5Aの光路122などの複数の固定式ミラーによって画定することができる。
904において、プロセス900は、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)がセンサのデータに基づいてオブジェクトの寸法(例えば、高さ)を決定することを含むことができる。場合によっては、センサのデータは、他の既知の寸法(例えば、第1の光路の長さ)と組み合わせて使用される1つまたは複数の画像からのピクセル寸法を含み得、その結果、適切なコンピューティングデバイスは、三角法の関係を使用して高さを求めることができる(例えば、図6を参照)。他の場合には、センサのデータは、ToFデータ(例えば、ToFセンサから)、ライトカーテンからのデータ、距離センサのデータなどを含むことができ、これらのそれぞれは、輸送システム(例えば、コンベヤ)などのオブジェクトが支持される表面に対してコンピューティングデバイスがオブジェクトの高さを決定することを可能にすることができる。
場合によっては、906において、プロセス900は、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)が第1の画像内の第1の対象領域(例えば、シンボル)を識別することを含むことができる。必要に応じて、コンピューティングデバイスは、第1の対象領域内のシンボルを復号しようと試みることができる。
908で、プロセス900は、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)が第1のFOV(すなわち、第1の光路に沿って)から第2のFOV(すなわち、第2の光路に沿って)に画像化するためのFOVを変更するために可動ミラーを制御することを含むことができる。いくつかの構成では、第2のFOVのパラメータ(例えば、関連する光路に含まれるミラー)は、904で決定された寸法に基づいて決定することができる。場合によっては、オブジェクトの決定された寸法を寸法の閾値と比較することに基づいて、第2のFOVを決定することができる。例えば、オブジェクトの決定された高さが閾値の高さよりも大きい場合、コンピューティングデバイスは、第2の光路が第1の光路(第1の画像を取得するために使用される)よりも長くなるように可動ミラーを移動させることが時にはあり、それに対応して、決定された高さでのFOVは、オブジェクトの有用な画像を取得するために適切なサイズにされ得る。場合によっては、これは、第2の光路が複数の固定式ミラー(例えば、図16Aのミラー504、506、または図5Aのミラー114、116、118)によって画定されるように、複数の固定式ミラーを利用することによって達成することができる。あるいは、例えば、オブジェクトの決定された高さが閾値の高さよりも小さい場合、コンピューティングデバイスは、可動ミラーを移動させて、第2の光路が固定式ミラーのいずれによっても画定されないようにすることができる(例えば、示されているような図16Aの光路518)。
いくつかの実装では、第2の光路に沿った第2のFOVは、ブロック902で画像化される同じオブジェクトを含むことができ、または異なるオブジェクト(例えば、ブロック902のオブジェクトよりも高い高さなど、異なる高さを有する)を含むことができる。いくつかの実装では、コンピューティングデバイスは、第1の画像内の識別された対象領域(例えば、シンボル)の位置に基づいて第2の光路を選択することができる。例えば、対象領域(シンボルなど)が第1の画像で完全に見えるわけではない場合、コンピューティングデバイスは、第2の光路を選択して、第2の光路のFOVが対象領域全体を含むようにすることができる。同様に、対象領域が第1の画像にあるが、十分な質ではない場合(例えば、復号化の目的で)、コンピューティングデバイスは、第2の光路のFOVが決定された対象領域も含むように、第2の光路を選択することができるが、第2の光路のFOVは第1のFOVよりも小さく、復号に必要な画像の解像度を上げることができる。
910で、プロセス900は、適切なコンピューティングデバイス(例えば、本明細書
に開示される画像化デバイスの)が第2の光路に沿ったオブジェクト(または別のオブジェクト)の第2のFOVの第2の画像を取得することを含むことができる。プロセス900はまた、適切なコンピューティングデバイス(例えば、本明細書に開示される画像化デバイスの)が第1の画像、第2の画像、または異なる画像のシンボルを復号することを含むことができる。
一般に、本明細書に開示されるシステムおよび方法はまた、様々な方法で最適化することができる。例えば、図面に示される実施形態に関連して論じられるものを含む、制御可能なミラーを使用するスキャンのパターンおよび画像の取得は、取得される総スキャン、動き、または画像の数を最小化すること、完全なスキャンの領域またはスキャンの目標に適した画像を取得するのに必要な機器および他のオーバーヘッドを最小化すること、および対象のオブジェクトの画像の遠近法による歪み(例えば、光路の入射角が比較的大きいため)を最小限に抑えることに関する考慮に基づいて、最適化することができる。ただし、一部の実装では、使用可能な機器、コンテキスト、目的、スキャンするオブジェクトのタイプ、およびその他の要因に応じて、これらの考慮事項の一部(またはその他)が必要に応じて優先される場合がある。
上に開示された特定の実施形態は、技術が、本明細書の教示の利益を有する当業者に明らかに異なるが同等の方法で修正および実施され得るので、例示にすぎない。さらに、以下の特許請求の範囲に記載されている場合を除き、本明細書に示されている構造または設計の詳細に制限は意図されていない。したがって、上に開示された特定の実施形態が変更または修正され得ることは明らかであり、そのようなすべての変形は、技術の範囲および精神の範囲内で考慮される。したがって、本明細書で求められる保護は、以下の請求項に記載される通りである。

Claims (19)

  1. コンベヤに沿って進行方向に移動するように構成された第1のオブジェクトの画像を取得するための画像化システムであって、
    画像化センサおよびレンズ構成を含む画像化デバイスと、
    少なくとも1つの軸に対して傾斜するように構成された第1のミラーと、
    第2のミラーと、
    制御デバイスと、を備え、
    前記制御デバイスは、前記第1のオブジェクトが前記進行方向に沿って移動するときに、
    前記画像化デバイスを使用して、第1の位置に前記第1のオブジェクトを含む第1の画像を取得し、
    前記第2のミラーを含まない第2の光路を画定するべく前記少なくとも1つの軸に対して前記第1のミラーを傾斜させ、そして、
    前記画像化デバイスを使用して、第2の位置に前記第1のオブジェクトを含む第2の画像を取得するよう、構成され、
    前記第1の画像は、前記第1のミラーおよび前記第2のミラーによって画定される第1の光路に沿って取得され、
    前記第1の光路に対応する第1の視野は、前記コンベヤに沿った第1の位置で、前記コンベヤの実質的に全幅にわたって延び、
    前記第2の光路に対応する第2の視野は、前記コンベヤに沿った第2の位置で、前記コンベヤに沿った前記第1の位置での前記第1の視野よりも前記コンベヤの幅より小さな幅にわたって延び、
    前記第1のオブジェクトが前記第1の画像よりも前記第2の画像においてより大きい割合を占めて表されるように、前記第2の画像が前記第2の光路に沿って取得される、画像化システム。
  2. 前記制御デバイスは、前記第1のミラーが前記第2の光路を画定するために少なくとも1つの軸に対して傾斜されるときに、前記第2の光路に沿って画像を取得するために前記レンズ構成をフォーカシングするように構成される、請求項1に記載の画像化システム。
  3. 前記制御デバイスは、
    前記第2の画像を取得した後、前記第1の光路に位置合わせされるよう前記少なくとも1つの軸に対して前記第1のミラーを傾斜させ、
    前記画像化デバイスを使用して、第2のオブジェクトを含む第3の画像を取得するようにさらに構成される、請求項1に記載の画像化システム。
  4. 前記制御デバイスが、
    前記第1の画像の前記第1のオブジェクト上のシンボルの位置を識別し、
    前記第2の視野を前記第2の画像の前記シンボルに位置合わせするために、前記第1のミラーを傾斜させるようにさらに構成される、請求項1に記載の画像化システム。
  5. 前記第1の視野の中心が、前記進行方向に沿って前記第2の視野の中心と位置合わせされていない、請求項1に記載の画像化システム。
  6. 前記制御デバイスは、前記第1のミラーを2つの軸に対して傾斜させて、前記第2の光路および前記第2の視野を画定するように構成され、
    前記第1のミラーを前記2つの軸に対して傾斜させることによって、前記画像化デバイスの視野が、前記進行方向に沿って及び前記進行方向を横切って、まとめてシフトされる、請求項5に記載の画像化システム。
  7. 前記第1の光路は第3のミラーによってさらに画定され、
    前記第2の光路は前記第3のミラーを含まない、請求項1に記載の画像化システム。
  8. 前記コンベヤに沿った前記第1の位置が、前記進行方向に対して前記コンベヤ上の前記第2の位置と実質的に一致する、請求項7に記載の画像化システム。
  9. 前記第1のオブジェクトが、前記第2の画像よりも前記第1の画像においてより大きい割合を占めて表示される、請求項1に記載の画像化システム。
  10. 前記制御デバイスは、
    前記第1の画像の前記第1のオブジェクトにおける対象領域を識別し、
    前記対象領域が、前記第2の画像に含まれ、前記第1の画像よりも前記第2の画像においてより大きな割合を占めて表されるように、前記第1のミラーを傾斜させて前記第2の光路を画定するようにさらに構成される、請求項9に記載の画像化システム。
  11. 前記対象領域は、前記第1のオブジェクト上のシンボルであり、
    前記画像化システムは、前記第2の画像に基づいて前記シンボルを復号するように構成されたマシンビジョンシステムを含む、請求項10に記載の画像化システム。
  12. 前記制御デバイスが、
    前記第1の画像に基づいて、前記第1のオブジェクトの特徴の第1のピクセル寸法を決定し、
    前記第2の画像に基づいて、前記第1のオブジェクトの前記特徴の第2のピクセル寸法を決定し、
    前記第1および第2のピクセルの寸法に基づいて、前記第1のオブジェクトの高さの寸法を決定するようにさらに構成される、請求項1に記載の画像化システム。
  13. 前記制御デバイスは、前記第1のオブジェクトの前記決定された高さの寸法に基づいて画像を取得するために、前記レンズ構成を自動的にフォーカシングするようにさらに構成される、請求項12に記載の画像化システム。
  14. 前記第2の画像は、前記第1の画像と実質的に重複し、
    前記第1の光路は第3のミラーによってさらに画定され、
    前記第2の光路は前記第3のミラーを含まない、請求項12に記載の画像化システム。
  15. 前記第2のミラーおよび前記第3のミラーが固定式ミラーである、請求項14に記載の画像化システム。
  16. オブジェクトに含まれるシンボルを分析するための画像化システムであって、
    画像化センサおよびレンズ構成を含む画像化デバイスと、
    第1のミラーと、
    第2のミラーと、
    制御デバイスと、を備え、
    前記制御デバイスは、
    前記画像化デバイスを使用して、前記第1のミラーが第1の向きであるときに前記第1のミラーおよび第2のミラーによって画定される第1の視野であってズームの第1の度合いを提供する第1の視野を用いて、前記オブジェクトの第1の画像を取得し、
    前記第1のミラーを第2の向きに動かし、
    前記画像化デバイスを使用して、前記第1のミラーが前記第2の向きであるときに前
    記第1のミラーおよび前記第2のミラーによって画定される第2の視野であってズームの前記第1の度合いとは異なるズームの第2の度合いを提供する第2の視野を用いて、前記オブジェクトの第2の画像を取得し、
    前記第1の画像に基づいて、前記オブジェクトの特徴の第1のピクセル寸法を決定し、
    前記第2の画像に基づいて、前記オブジェクトの前記特徴の第2のピクセル寸法を決定し、
    前記第1のピクセル寸法および前記第2のピクセル寸法に基づいて、前記オブジェクトの高さの寸法を決定するように構成された、画像化システム。
  17. 前記画像化システムはコンベヤと共に使用されるよう構成され、
    前記第2の画像は、前記第2のミラーを使用せずに取得され、
    前記制御デバイスは、
    前記オブジェクトが前記コンベヤに沿った第1の位置に配置されている間に、前記第1の画像を取得し、
    前記オブジェクトが前記第1の位置とは異なる前記コンベヤに沿った第2の位置に配置されている間に、前記第2の画像を取得するように構成される、請求項16に記載の画像化システム。
  18. 画像化センサおよびレンズ構成を備えた画像化デバイスと、第1のミラーと、第2のミラーと、を含む画像化システムを使用して、オブジェクト上のシンボルを分析する方法であって、
    前記画像化デバイスを用いて、前記第1のミラーおよび前記第2のミラーを含む第1の光路に沿って前記オブジェクトの第1の画像を取得する工程と、
    前記第2のミラーを含まない第2の光路を画定するために、前記第1のミラーを動かす工程と、
    前記画像化デバイスを使用して、前記第2の光路に沿って前記オブジェクトの第2の画像を取得する工程と、
    前記第1の画像に基づいて、前記オブジェクトの特徴の第1のピクセル寸法を決定する工程と、
    前記第2の画像に基づいて、前記オブジェクトの前記特徴の第2のピクセル寸法を決定する工程と、
    前記第1のピクセル寸法および第2のピクセル寸法に基づいて、前記オブジェクトから前記画像化デバイスまでの距離を決定する工程と、を有し、
    前記オブジェクトは、前記第1の画像の第1の視野よりも前記第2の画像の第2の視野においてより大きな割合を占めて表される、方法。
  19. 前記レンズ構成のフォーカシングを自動的に行って、前記オブジェクトから前記画像化デバイスまでの前記決定された距離に基づいて画像を取得する工程をさらに含む、請求項18に記載の方法。
JP2022017585A 2019-12-16 2022-02-08 操縦可能なミラーに関するマシンビジョンシステムおよび方法 Active JP7303915B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023102483A JP2023134498A (ja) 2019-12-16 2023-06-22 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/715,078 US10812727B1 (en) 2019-12-16 2019-12-16 Machine vision system and method with steerable mirror
US16/715,078 2019-12-16
US17/071,636 2020-10-15
US17/071,636 US11647290B2 (en) 2019-12-16 2020-10-15 Machine vision system and method with steerable mirror
JP2020207251A JP7024049B2 (ja) 2019-12-16 2020-12-15 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020207251A Division JP7024049B2 (ja) 2019-12-16 2020-12-15 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023102483A Division JP2023134498A (ja) 2019-12-16 2023-06-22 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2022078052A true JP2022078052A (ja) 2022-05-24
JP7303915B2 JP7303915B2 (ja) 2023-07-05

Family

ID=74103830

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020207251A Active JP7024049B2 (ja) 2019-12-16 2020-12-15 操縦可能なミラーに関するマシンビジョンシステムおよび方法
JP2022017585A Active JP7303915B2 (ja) 2019-12-16 2022-02-08 操縦可能なミラーに関するマシンビジョンシステムおよび方法
JP2023102483A Pending JP2023134498A (ja) 2019-12-16 2023-06-22 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020207251A Active JP7024049B2 (ja) 2019-12-16 2020-12-15 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023102483A Pending JP2023134498A (ja) 2019-12-16 2023-06-22 操縦可能なミラーに関するマシンビジョンシステムおよび方法

Country Status (4)

Country Link
US (1) US11647290B2 (ja)
EP (1) EP3839610A1 (ja)
JP (3) JP7024049B2 (ja)
CN (2) CN115484435A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812727B1 (en) 2019-12-16 2020-10-20 Cognex Corporation Machine vision system and method with steerable mirror
US11790656B2 (en) 2019-12-16 2023-10-17 Cognex Corporation Machine vision system and method with steerable mirror
US11887283B2 (en) * 2021-04-19 2024-01-30 Apple Inc. Fast distortion correction for wide field of view (FOV) cameras
EP4352695A1 (en) * 2021-06-10 2024-04-17 Cognex Corporation Methods, systems, and media for generating images of multiple sides of an object
WO2022272080A1 (en) * 2021-06-25 2022-12-29 Cognex Corporation Machine vision system and method with steerable mirror
WO2023212735A1 (en) 2022-04-28 2023-11-02 Cognex Corporation Machine vision system and method with hybrid zoom optical assembly

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6361105A (ja) * 1986-08-30 1988-03-17 Maki Seisakusho:Kk 球塊状物品の外観検査方法と装置
US5184733A (en) * 1991-02-19 1993-02-09 Marel H.F. Apparatus and method for determining the volume, form and weight of objects
JP2006155395A (ja) * 2004-11-30 2006-06-15 Toyo Kanetsu Solutions Kk 搬送物読取装置及び搬送物読取方法
US20150122890A1 (en) * 2013-11-04 2015-05-07 Datalogic ADC, Inc. Data reading system and method for multi-view imaging using an adjustable mirror
JP2015210822A (ja) * 2014-04-24 2015-11-24 ジック アーゲー カメラおよび移動する物体の流れを捕捉するための方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4032785A (en) 1974-03-28 1977-06-28 United States Steel Corporation Tire inspection machine presenting an x-ray image of the entire width of the tire
JPS53108403A (en) 1977-03-04 1978-09-21 Sony Corp Mirror supporting device for video disc
US4939355A (en) 1988-01-22 1990-07-03 Spectra-Physics, Inc. Automatic package label scanner
US5770848A (en) 1994-11-28 1998-06-23 Hitachi, Ltd. Apparatus and method for treating a commodity by automatically recognizing a barcode attached to a conveyed commodity by scanner
US20020014533A1 (en) 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
ATE206230T1 (de) 1996-03-07 2001-10-15 Accu Sort Systems Inc Dynamisches fokussierungsgeraet fuer optische abbildungssysteme
US7098435B2 (en) * 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
US5979761A (en) 1996-11-18 1999-11-09 Accu-Sort Systems, Inc. Bar code laser scanner having a plurality of adjustable mirrors
JPH11308174A (ja) 1998-04-20 1999-11-05 Sony Corp ミラー保持体とこれを用いた光軸補正装置
US6688525B1 (en) * 1999-09-22 2004-02-10 Eastman Kodak Company Apparatus and method for reading a coded pattern
US7256834B1 (en) 2000-03-17 2007-08-14 Axis, Ab Digital camera having panning and/or tilting functionality, and an image rotating device for such a camera
SE519734C2 (sv) 2000-07-07 2003-04-01 Axis Ab Bildförändringsanordning för en bildalstrande apparat samt metod och digitalkamera till densamma
US7954719B2 (en) 2000-11-24 2011-06-07 Metrologic Instruments, Inc. Tunnel-type digital imaging-based self-checkout system for use in retail point-of-sale environments
US6856472B2 (en) 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
GB0118307D0 (en) 2001-07-26 2001-09-19 Gsi Lumonics Ltd Automated energy beam positioning
US8146823B2 (en) * 2002-01-18 2012-04-03 Microscan Systems, Inc. Method and apparatus for rapid image capture in an image system
DE102004042024A1 (de) 2004-08-27 2006-03-09 Smiths Heimann Biometrics Gmbh Verfahren und Anordnungen zur Bildaufnahme für die Datenerfassung und Hochsicherheitsprüfung von Dokumenten
DE102005029901B4 (de) 2005-06-25 2022-10-06 Modi Modular Digits Gmbh Vorrichtung und Verfahren zum visuellen Erfassen von flächigen oder räumlichen Objekten
US7726573B2 (en) 2007-05-25 2010-06-01 Symbol Technologies, Inc. Compact autofocus bar code reader with moving mirror
US8608076B2 (en) 2008-02-12 2013-12-17 Datalogic ADC, Inc. Monolithic mirror structure for use in a multi-perspective optical code reader
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US20100051695A1 (en) 2008-09-02 2010-03-04 Rafael Yepez Multiple aperture imaging barcode reader
US8027077B2 (en) 2008-09-24 2011-09-27 Eastman Kodak Company Low cost moveable mirror
US8322621B2 (en) 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
US20110254967A1 (en) * 2010-04-15 2011-10-20 Post Pro Finance, Inc. Virtual library capture and retrieval system for audio, film and video elements
US8668150B2 (en) * 2011-03-17 2014-03-11 United States Postal Service Systems, methods, and apparatus for overhead scanning of images in a manual distribution environment
US20130181051A1 (en) 2012-01-13 2013-07-18 Bryan L. Olmstead Two-plane optical code reader for acquisition of multiple views of an object
US8646690B2 (en) * 2012-02-06 2014-02-11 Cognex Corporation System and method for expansion of field of view in a vision system
US20130327828A1 (en) * 2012-06-06 2013-12-12 Seidenader Maschinenbau Gmbh Image capture system
US8794521B2 (en) * 2012-10-04 2014-08-05 Cognex Corporation Systems and methods for operating symbology reader with multi-core processor
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
DE102014104026B3 (de) 2014-03-24 2015-08-27 Sick Ag Optoelektronische Vorrichtung und Verfahren zum Aufnehmen eines Bildes
US9239636B1 (en) 2014-09-25 2016-01-19 Intel Corporation System and method for adjusting a field of view in a camera of an electronic device
US9449211B2 (en) 2014-11-25 2016-09-20 Ncr Corporation Scanner with adjustable field of view
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10074191B1 (en) * 2015-07-05 2018-09-11 Cognex Corporation System and method for determination of object volume with multiple three-dimensional sensors
US9710684B2 (en) 2015-07-09 2017-07-18 Ncr Corporation Multiple view single camera imaging scanner
US10936881B2 (en) 2015-09-23 2021-03-02 Datalogic Usa, Inc. Imaging systems and methods for tracking objects
US10620447B2 (en) 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
KR20180086741A (ko) 2017-01-23 2018-08-01 주식회사 가치소프트 회전 방식에 기반하여 초점을 맞추는 카메라 및 이를 이용한 물품 처리장치
CN109642820B (zh) 2017-12-22 2021-12-07 深圳配天智能技术研究院有限公司 光传感装置、检测系统及检测方法
DE102018102917B3 (de) 2018-02-09 2019-01-24 Sick Ag Kamera und Verfahren zur Fokusverstellung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6361105A (ja) * 1986-08-30 1988-03-17 Maki Seisakusho:Kk 球塊状物品の外観検査方法と装置
US5184733A (en) * 1991-02-19 1993-02-09 Marel H.F. Apparatus and method for determining the volume, form and weight of objects
JP2006155395A (ja) * 2004-11-30 2006-06-15 Toyo Kanetsu Solutions Kk 搬送物読取装置及び搬送物読取方法
US20150122890A1 (en) * 2013-11-04 2015-05-07 Datalogic ADC, Inc. Data reading system and method for multi-view imaging using an adjustable mirror
JP2015210822A (ja) * 2014-04-24 2015-11-24 ジック アーゲー カメラおよび移動する物体の流れを捕捉するための方法

Also Published As

Publication number Publication date
JP2021101535A (ja) 2021-07-08
JP2023134498A (ja) 2023-09-27
US11647290B2 (en) 2023-05-09
CN112995585B (zh) 2022-08-02
JP7303915B2 (ja) 2023-07-05
EP3839610A1 (en) 2021-06-23
JP7024049B2 (ja) 2022-02-22
CN112995585A (zh) 2021-06-18
US20210185233A1 (en) 2021-06-17
CN115484435A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
JP7024049B2 (ja) 操縦可能なミラーに関するマシンビジョンシステムおよび方法
US11240436B2 (en) Machine vision system and method with steerable mirror
JP5469894B2 (ja) 測量装置及び自動追尾方法
CN108353118B (zh) 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10917626B2 (en) Active illumination 3D imaging system
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP5465128B2 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP4226550B2 (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
US6519359B1 (en) Range camera controller for acquiring 3D models
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN101396767B (zh) 激光加工设备、加工数据产生方法
WO2011162388A4 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US11966811B2 (en) Machine vision system and method with on-axis aimer and distance measurement assembly
US11790656B2 (en) Machine vision system and method with steerable mirror
US20080312866A1 (en) Three-dimensional measuring equipment
JP2020510903A (ja) 環境のデジタルキャプチャのための画像収集の追跡、並びに関連のシステム及び方法
JP2004239791A (ja) ズームによる位置計測方法
Hemayed et al. The CardEye: A trinocular active vision system
WO2022272080A1 (en) Machine vision system and method with steerable mirror
JP2020067511A (ja) カメラシステム、その制御方法およびプログラム
JP2012154862A (ja) 3次元寸法測定装置
JP7129667B2 (ja) 釘判定方法、釘判定装置及びプログラム
KR20240025624A (ko) 촬상 장치 및 수광 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150