JP2020034310A - 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置 - Google Patents

光学装置、計測装置、ロボット、電子機器、移動体、および造形装置 Download PDF

Info

Publication number
JP2020034310A
JP2020034310A JP2018158796A JP2018158796A JP2020034310A JP 2020034310 A JP2020034310 A JP 2020034310A JP 2018158796 A JP2018158796 A JP 2018158796A JP 2018158796 A JP2018158796 A JP 2018158796A JP 2020034310 A JP2020034310 A JP 2020034310A
Authority
JP
Japan
Prior art keywords
light
light emitting
emitting elements
optical device
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018158796A
Other languages
English (en)
Other versions
JP7222200B2 (ja
Inventor
直紀 福岡
Naoki Fukuoka
直紀 福岡
芳彦 三木
Yoshihiko Miki
芳彦 三木
和洋 米田
Kazuhiro Yoneda
和洋 米田
敏行 池應
Toshiyuki Ikeo
敏行 池應
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018158796A priority Critical patent/JP7222200B2/ja
Priority to US16/540,189 priority patent/US11555926B2/en
Publication of JP2020034310A publication Critical patent/JP2020034310A/ja
Priority to JP2023015285A priority patent/JP7409532B2/ja
Application granted granted Critical
Publication of JP7222200B2 publication Critical patent/JP7222200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0019End effectors other than grippers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】対象に光を投影した際に観察されるスペックルパターンによるスペックルノイズを低減させることを可能にする。【解決手段】本発明の一実施の形態の光学装置は、複数の発光素子を所定の間隔で配列した光源と、前記複数の発光素子からの光をそれぞれライン光に変換する光学系と、前記それぞれのライン光を偏向する光偏向素子と、を備え、前記光偏向素子の回転軸方向に前記それぞれのライン光の長手方向を入射させる、ことを特徴とする。【選択図】図4

Description

本発明は、光学装置、計測装置、ロボット、電子機器、移動体、および造形装置に関する。
近年、エリア(面)で計測可能な、所謂プロジェクタ・カメラ方式が注目されている。このようなプロジェクタ・カメラ方式による3次元計測では、例えば被計測物体に対してプロジェクタ(投影装置)からパターン光を投影し、被計測物体に投影されたパターン光をカメラ(撮影装置)で撮影して、この撮影画像から3次元形状を復元して、被計測物体を3次元計測する(例えば、特許文献1参照)。
しかしながら、従来の三次元計測において、投影光学系の光源にLD(Laser Diode)のようなコヒーレント光を用いるものでは、光を投影した対象からスペックルパターンを含む画像が観察される。撮像画像から輝度情報を解析する場合、それがノイズとなり、解析結果に誤差が生じ、計測精度が低下するという問題がある。
本発明は、上記に鑑みてなされたものであって、対象に光を投影した際に観察されるスペックルノイズを低減させることが可能な光学装置、計測装置、ロボット、電子機器、移動体、および造形装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一実施の形態の光学装置は、複数の発光素子を所定の間隔で配列した光源と、前記複数の発光素子からの光をそれぞれライン光に変換する光学系と、前記それぞれのライン光を偏向する光偏向素子と、を備え、前記光偏向素子の回転軸方向に前記それぞれのライン光の長手方向を入射させる、ことを特徴とする。
本発明によれば、対象に光を投影した際に観察されるスペックルノイズを低減させることが可能になるという効果を奏する。
図1は、レーザのスペックルノイズの発生原理を示す概念図である。 図2は、複数光源角度多重を利用し、スペックルノイズが低減することを確認するための、複数の光源を配置した実験系の一例を示す図である。 図3は、θを変化させた場合の実験結果の一例を示す図である。 図4は、第1の実施の形態に係る光学装置(光偏向素子のミラー面が大きい場合)の構成の一例を示す図である。 図5は、第1の実施の形態に係る光学装置(光偏向素子のミラー面が小さい場合)の構成の一例を示す図である。 図6は、第1の実施の形態に係る計測装置の一例を示す図である。 図7は、光学装置による計測対象への光投影の様子の一例を示す図である。 図8は、VCSELアレイの構成の一例を示す図である。 図9は、VCSELアレイの構成の他の一例を示す図である。 図10は、光学装置の光学系の一例を示す図である。 図11は、光学装置における光の光路を示す図である。 図12は、光学装置のVCSELアレイの発光素子配列の一例を示す図である。 図13は、光学装置の光学系の他の一例を示す図である。 図14は、光学装置の光学系の他の一例を示す図である。 図15は、光学装置の光学系の他の一例を示す図である。 図16は、光学装置の光学系の他の一例を示す図である。 図17は、光学装置の光学系の他の一例を示す図である。 図18は、光偏向素子の一例であるMEMSミラーの構成の一例を示す図である。 図19は、光偏向素子の一例であるポリゴンミラーの構成の一例を示す図である。 図20は、カメラの構成の一例を示す図である。 図21は、計測装置のブロック構成の一例を示す図である。 図22は、位相シフト法を用いた計測の説明図である。 図23は、光切断法を用いた計測の説明図である。 図24は、スペックルノイズの低減効果を説明する図である。 図25は、第2の実施の形態に係るロボットの構成の一例を示す図である。 図26は、第3の実施の形態に係るスマートフォンなどの電子デバイスの構成の一例を示す図である。 図27は、第4の実施の形態に係る車両の構成の一例を示す図である。 図28は、第4の実施の形態に係るその他の移動体の構成の一例を示す図である。 図29は、第5の実施の形態に係る3Dプリンタの構成の一例を示す図である。
以下に添付図面を参照して、光学装置、計測装置、ロボット、電子機器、移動体、および造形装置の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。
(第1の実施の形態)
先ず、第1の実施の形態にかかる観察面で発現するスペックルおよびスペックルが解消
する原理について説明する。
図1は、レーザのスペックル(スペックルノイズ)の発生原理を示す概念図である。図1(a)には、レーザ光源1000と、スクリーン1001と、カメラ1002とで構成された系を示している。図1(b)には、レーザ光源1000からスクリーン1001へレーザ光を投影した場合においてカメラ1002で観察される観察画像(スペックル画像)1003の一部を抽出、拡大した図を示している。この観察画像1003にはカメラ1002の撮像素子上で発現したスペックルが含まれている。
レーザ光源1000からスクリーン1001へレーザ光を投影するとレーザ光を構成する光P1がスクリーン1001の表面で多重散乱する。この多重散乱した光、散乱光P2はスクリーン1001の表面の不規則性(凹凸)の形状によってランダムな位相成分が付加されている。散乱光P2はレンズなどの光学系を介してカメラ1002の観察面(撮像素子)に収束され、レーザ光がコヒーレント光であることにより散乱光P2が観測面で互いに干渉し重なり合う。その結果、観察面に明るい場所と暗い場所がランダムに出現し、斑点模様のスペックルパターンが観察される。この明暗の輝度バラツキが画質や各種測定に悪影響を与えるノイズ源となっている。この現象は、投光系・被写体・受光系の全ての要素が絡んだ複雑なもので、カメラ1002のレンズや撮像素子の画素サイズなどによって観察されるスペックルパターンは変化する。
図1(b)には、カメラ1002で観察した場合の観察画像1003を示しているが、スクリーン1001に投影したレーザ光をカメラ1002ではなく、人間の目で観察する場合においても網膜上に同じようなスペックルパターンが現れる。
続いて、スペックルノイズが低減可能であることを定性的に説明する。先ず、スペックルノイズの指標について説明する。次式(1)は、スペックルノイズの指標に用いられるスペックル・コントラスト(Cs)を表す式である。
Cs=σ/S・・・(1)
式(1)において、Sはレーザ光を投影したときの撮影画像における評価範囲の平均輝度値、σは評価範囲の輝度値の標準偏差である。式(1)に示すように、Csは一般的な信号強度を示す信号対雑音比(SNR)の逆数で示される。式(1)のCsが示すコントラスト値が低いほどスペックルノイズが低く、輝度バラツキが小さい画像であることを表す。
観察面において観察されるスペックルパターンは、投光系・被写体・受光系の全ての要素が絡んだ複雑なものである。一般的に、複数のレーザ光源1000があるとすると、各レーザ光源1000により発現するスペックルパターンは同じではなくランダムなものとなる。したがって、複数のレーザ光源1000を設けてレーザ光源1000ごとに異なるスペックルパターンを生成し、それらのスペックルパターンを観察面に重ね合わせれば、複数のランダムなスペックルパターンにより観察面のスペックルノイズが平均化され、スペックルノイズが低減することになる。
この考え方に基づきスペックルノイズの平均化と低減との関係について式(1)をさらに変形する。観察面で重なり合うn枚(ただし、nは自然数)のスペックルパターン(各スペックルパターンの画像をスペックル画像と呼ぶ)について、スペックル画像kの平均輝度をS、標準偏差をσ、スペックルコントラストをCsとする。この場合において、照射元のレーザ光源1000を同じパワーにすると、各スペックル画像の平均輝度S、標準偏差σ、スペックルコントラストCsは等しくなるので、次の式(2)〜(4)の関係になると考えることができる。
=S=S=・・・=S=S ・・・(2)
σ=σ=σ=・・・=σ=σ ・・・(3)
Cs=Cs=Cs=・・・=Cs=Cs ・・・(4)
従って、n枚のスペックル画像を合成した場合の輝度値SSUMは、式(2)の条件を適用すれば次式(5)となる。
SUM=S+S+S+・・・+S=S×n ・・・(5)
また、標準偏差σSUMに関しては、次の式(6)の分散の加法性を利用することができる。
σSUM =σ +σ +σ +・・・+σ ・・・(6)
式(6)に式(3)の条件を適用すると次式(7)が得られる。
σSUM=√(σ×n)=σ√n ・・・(7)
以上から、n枚のスペックル画像を重ね合わせて観察される観察画像のスペックルコントラスト(CsSUM)は、次の式(8)となる。
CsSUM=σ√n/(S×n)=(√n/n)×(σ/S)=1/√n×Cs ・・・(8)
式(8)は、n枚のスペックル画像を平均化することでスペックルコントラストが1/√nに改善(低減)することを示している。従って、計算では、レーザ光源1000がn個の場合にスペックルコントラスト(Cs)が1/√nだけ改善することが期待できる。
ここで、上記の計算結果を得るには、複数のランダムなスペックルパターンを重ね合わせることが必要であり、つまり各レーザ光源1000により出現するスペックルパターンが異なることが前提になる。この問題は、例えば複数光源角度多重や複数光源波長多重を利用することにより達成することができる。複数光源角度多重は、光源ごとに観測点への光の入射角度を異ならせることにより光源ごとに異なるスペックルパターンを生成する方式でスペックル画像を多重化する。複数光源波長多重は、光源ごとに発振波長を異ならせることにより光源ごとに異なるスペックルパターンを生成する方式でスペックル画像を多重化する。以下では、一例として複数光源角度多重を利用し、その上で上記式(8)を満たす光学装置の設定について検討する。
図2は、複数光源角度多重を利用し、スペックルノイズが低減することを確認するための、複数の光源を配置した実験系の一例を示す図である。図2に示す実験系は、カメラ1002、スクリーン1001、およびVCSEL(Vertical Cavity Surface Emitting LASER)光源1100により構成されている。VCSEL光源1100は「面発光型半導体レーザ」の一例である。VCSEL光源1100は面内にレーザ光源1000に相当する多数の発光素子1101を有する。ここでは入射角の説明のため、多数の発光素子1101のうちの2つの発光素子1101のみを示している。各発光素子1101はコヒーレントな光を発光するレーザダイオード等の素子である。スクリーン1001には白色拡散板を使用している。この実験系では、VCSEL光源1100からスクリーン1001までの距離(LWD)や、VCSEL光源1100の2つの発光素子1101間の距離(D)を変えることで、2つの発光素子1101からスクリーン1001へ入射するそれぞれの光がなす角度θが変化する。例えば、発光素子1101間の距離(D)を大きくするとθが大きくなり、スクリーン1001までの距離(LWD)を大きくするとθは小さくなる。実験では、図2に示すVCSEL光源1100の素子間隔(D)を徐々に変えていくことによりθを振る。各θの値において、1つの発光素子と、θに対応する素子間隔の発光素子とを点灯し、スクリーン1001をカメラ1002で撮影する。そして、カメラ1002による撮影画像から、θの示す値毎に、重なり合うスペックルパターンのスペックルコントラスト(Cs)を測定する。
図3は、θを変化させた場合の実験結果の一例を示す図である。図3には、横軸をθとし、縦軸をスペックルコントラスト(Cs)の変化率とした場合の実験結果を示している。なお、縦軸の変化率は、1つの発光素子のみを点灯させたときのスペックルパターンのスペックルコントラスト(Cs)の値に対する2つの発光素子の重なり合ったスペックルパターンのスペックルコントラスト(Cs)の変化率を示している。また、発光素子1101間からスクリーン1001までの距離(LWD)は260mmと460mmの2パターンで行った。
図3に示す結果から、θを大きくするほどスペックルコントラスト(Cs)が低下し、およそ0.04〜0.05°に達したときに、式(8)により示される理論値1/√2に収束することが分かる。この実験結果から、理論値1/√2に収束するθがあるということが分かる。以下では、この実験結果が示す理論値に収束する光学装置の各設定を、「スペックルノイズの低減効果がある設定」などと総称する。なお、図3に示す結果(プロットから導き出される近似曲線)から、スペックルコントラスト(Cs)の変化率とθの関係はLWDが変化しても影響は受けないと考えられる。
このように、0.04〜0.05°という値自体はカメラ1002とスクリーン1001の幾何条件や計測対象の表面粗さなど各種条件により変化するため絶対的な数値ではないが、この実験結果は、VCSEL光源1100を用いて複数光源角度多重によりスペックルノイズの低減効果を得る場合には、対象物との距離なども考慮した上で発光素子1101間の適切な距離を確保する設計レイアウトが必要になることを示唆している。また、実験ではVCSEL光源1100面内の各発光素子1101からの光をスクリーン1001に直接入射させているが、各発光素子1101からスクリーン1001までの光路中に、レンズや光偏向素子などの光学素子を挿入してもよい。このとき、複数光源角度多重によりスペックルノイズの低減効果を得る場合には、挿入する光学素子も含めた設計が必要になることを示唆している。
続いて、図3の実験結果に示すような「スペックルノイズの低減効果がある設定」で光学装置を構成した場合の一例を示す。ここでは、一例としてレーザ走査型のレーザ投影方式の構成について説明する。本実施の形態では、1本のライン光を複数のレーザ光源1000で形成し、レーザ走査のタイミングに合わせてレーザ光源1000の出力を変調させることで観察対象に所望の投影パターンを投影する。すなわち、光源数は1本のライン光分でよく、投影パターンの輝度階調に応じて形成するライン光の数を増やす必要はない。したがって、投影パターンの輝度階調に関わらず、スペックルコントラストを十分に改善するのに必要な光源数を少なくでき、システムの小型化も容易である。また、形成する1本のライン光のビーム幅を計測範囲内で十分に絞ると、高解像でパターンを変更することができるため、計測精度が向上する。
図4および図5は、光学装置の構成の一例を示す図である。図4(a)は、光偏向素子のミラー面が大きい場合の構成を示し、図5(a)は、MEMS(Micro Electro Mechanical Systems)ミラーのように光偏向素子のミラー面が小さい場合の構成を示している。図4(b)および図5(b)には、図4(a)および図5(a)の各光学装置における図2のθとの対応関係を説明する図を示している。図4(b)においては光路を分かり易くするためVCSELアレイとミラーの図示を省略している。また、図5(b)においては光路を分かり易くするためVCSELアレイの図示を省略している。図4および図5は、共に、垂直方向(V)から見たときの光学装置の構成を示している。ここで、垂直方向(V)は、後述する水平方向(H)に対して直交する方向を指す。
図4に示す一例の光学装置10は、複数の発光素子aを有するVCSELアレイ11と、ラインジェネレータ12と、ミラー(光偏向素子)13とを有する。
ラインジェネレータ12は、VCSELアレイ11上の各発光素子aからの光をライン光に変換する光学手段の一例である。なお、図4には(図5も同様)、光路を分かり易くするためにラインジェネレータ12のレンズ構成については図示を省略する。
ミラー13のミラー面(網掛けの部分)は、図4においては紙面手前側に向けられているが、図4の回転軸周りに可動する。
図4にはVCSELアレイ11上の隣接する2つの発光素子aから出射したそれぞれの光の光路を重ねて示している。図4に示されるように各発光素子aの光は、ラインジェネレータ12によりライン光に変換される。ラインジェネレータ12から出射した光はミラー13のミラー面で反射し、観察対象に1本のライン光14として照射される。ライン光14は、各発光素子a(少なくとも隣接する2つの発光素子a)からの光の一部または全てが重なり合ったものである。
光学装置10は、ミラー13のミラー面を回転軸周りへ駆動すると共に各発光素子aの出力を変調し、所定の縞パターンになるように制御する。これにより、観察対象がライン光で走査される動作に伴い、観察対象に縞パターンの画像が投影される。各ライン光により投影された縞パターンなどの投影画像はカメラ1002(図1参照)などにより撮影され、観察対象の処理(例えば観察対象の3次元計測などの処理)に利用される。
本実施の形態では、「ラインジェネレータ12が形成する、各ライン光の長手方向における集光点」を「仮想的な各光源」として定義する。本実施の形態に示す構成では、各ライン光(ライン光14−1、14−2、・・・)の仮想的な各光源m1、m2、・・・のピッチ(D1)が、図2に示す発光素子1101間の距離(D)に相当する。また、仮想的な各光源m1、m2、・・・を含む面と観察対象との距離(LWD1)が図2に示すVCSEL光源1100からスクリーン1001までの距離(LWD)に相当する。また、隣接する仮想的な光源(例えば光源m1と光源m2)から観察対象へ入射する光のなす角度(θ1)が、図2に示す2つの発光素子1101からスクリーン1001へ入射するそれぞれの光がなす角度θに相当する。
光学装置10は、スペックルノイズの低減効果がある設定で構成している。つまり、ピッチ(D1)と、距離(LWD1)と、なす角度(θ1)とが、それぞれ図3が示すような理論値1/√2に収束する値を満たすように設定されている。
図4に示すように、ミラー13の位置において、ラインジェネレータ12を出射した光(ライン光14)の長手方向(ミラー13の回転軸方向)の長さよりミラー面が十分に大きい場合、ライン光14の長手方向(ミラー13の回転軸方向)の長さを調節する必要なく、ライン光14はミラー面に入射できる。
図5に示すようにミラー面が小さなミラー面(例えばMEMSミラー)の場合には、ラインジェネレータ12を出射した光(ライン光14)の長手方向(ミラー13の回転軸方向)の長さを調節してミラー面に入射させる必要がある。図5に示す例では、ラインジェネレータ12によりライン光を一度集光してミラー面に入射させる。この場合、仮想的な光源m1、m2、・・・は図5に示すような位置になる。仮想的な光源m1、m2、・・・のピッチ(D1)と、距離(LWD1)と、なす角度(θ1)との設定条件は、図4と同様である。
また、ミラー面は複数光源角度多重効果が得られるよう設計された仮想的なライン光光源からの光を一軸走査するためにある。従って、ミラー面の大きさは走査するライン光が入りさえすれば大きくても小さくてもよい。例えば図5はミラー面が小さい場合の構成であるが、一度集光する構成でミラー面が大きいものを用いてもよい。また、図5においてミラー面の挿入位置はライン光の集光点でなくとも、走査するライン光がミラー面に入ってさえいれば光軸方向にずれていてもよい。ただし、ライン光の集光点にミラー面を挿入するときが、最もミラー面を小さくすることができる。
以上のように、VCSELアレイ11のような複数光源を用いて複数光源角度多重効果が得られるように光学装置を設計する。これにより、各光源の異なるスペックルパターンの画像が重なった観察画像、つまりスペックルノイズが低減された観察画像が観察可能になり、計測対象の計測精度の向上が達成できる。
「実施例1」
本実施の形態にかかる光学装置を適用した装置の実施例を示す。本実施の形態にかかる光学装置は観察対象の計測などに使用する計測装置に適用することができる。ここでは計測装置の一例として、観察対象(計測対象とも言う)の3次元計測装置への適用例を示す。
図6は、計測装置の一例を示す図である。図6に示す計測装置1は、計測情報取得ユニット20と制御ユニット30とを含む。
計測情報取得ユニット20は、投影部である光学装置10と、撮像部であるカメラ21とを含む。光学装置10は、VCSELアレイ11と、ラインジェネレータ12(光学系)と、光偏向素子(ミラー)13とを有する。計測情報取得ユニット20は、制御ユニット30の制御部31の制御に従い、ラインジェネレータ12から出射させたVCSELアレイ11の複数の発光素子aの光を光偏向素子13により偏向させて走査する。制御部31は、光走査中にVCSELアレイ11の各発光素子aの出力や点灯タイミングを調節することにより、計測対象の全体にパターン光を投影する。例えば発光素子aの点灯および消灯(オン/オフ)を制御することで、白黒のグレイコードパターンなど所望の投影パターンを計測対象に投影することができる。
カメラ21は、光学装置10が計測対象に投影するパターン光(投影画像)の投影中心300が撮像領域40の中心となるように位置および角度が固定されている。これにより、カメラ21は、投影領域を撮像する。
カメラ21は、レンズ210や撮像素子211を有する。撮像素子211には、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサなどを使用する。カメラ21に入射した光は、レンズ210を介して撮像素子211上に結像して光電変換される。撮像素子211で光電変換された電気信号は、画像信号へと変換され、その画像信号がカメラ21から制御ユニット30の演算処理部32へと出力される。
制御ユニット30は、光学装置10によりパターン光を投影する制御やカメラ21によりパターン光を撮像する制御などを行い、カメラ21が撮像した画像信号に基づいて、計測対象の3次元計測等の演算処理を行う。制御部31は、光学装置10が投影するパターン光を別のパターン光に切り替える制御を行ってもよい。また、制御部31は、演算処理部32が3次元座標の算出に用いるキャリブレーション情報を出力する制御を行ってもよい。
制御ユニット30の演算処理部32は、入力された画像信号に基づいて3次元座標の算出を行い、3次元形状を取得する。また、演算処理部32は、算出された3次元形状を示す3次元形状情報を制御部31からの指示に従いPC(Personal Computer)等(不図示)へ出力する。なお、図6には、制御ユニット30に対し1組の計測情報取得ユニット20が取り付けられた構成を示しているが、制御ユニット30に対し複数組の計測情報取得ユニット20を取り付けてもよい。
(光学装置の動作説明)
図7は、光学装置10による計測対象への光投影の様子の一例を示す図である。図7において、光学装置10は、ライン光14を計測対象15に向けて出射する。ライン光14は、VCSELアレイ11の各発光素子aからの複数の光が重なり合っている光で、光偏向素子(ミラー)13のミラー面において偏向されて、図7に破線で示すように計測対象15に照射される。具体的には、光偏向素子13が、図7に示すライン光の長手方向軸周りMの方向にミラー面を駆動してミラー面に照射される光を偏向し、各ライン光が所定のパターン光になるように制御されることにより、計測対象15に2次元のパターン光が照射され、計測対象15に投影画像60が投影される。投影画像60は、例えば計測対象15を含む領域に投影される。
(VCSELアレイの構成)
VCSELアレイを例に光源部の構成について説明する。
図8は、VCSELアレイの構成の一例を示す図である。図8に示すVCSELアレイ11は、同一基板上で発光素子を容易に集積可能な面発光型半導体レーザであり、1次元的に配列された複数の発光素子aを有する。
図8に示す各発光素子aのピッチは、各発光素子aからの各ライン光が所定の条件(スペックルノイズの低減効果がある設定)で計測対象15上のライン光14として重なるように設定する。
なお、図8に示す発光素子aの配列は一例であり、発光素子aが2次元的に配置された構成のものであってもよい。例えばより多くの素子を配置できるハニカム構造の配置であってもよいし、これに限定されず、その他の配置であってもよい。また複数の発光素子aの開口部の形状を四角形で示しているが、例えば六角形などであってもよいし、これに限定されず、その他の形状であってもよい。また、各発光素子aのレーザ光の波長は適宜設定してよい。例えば、可視でも不可視でもどちらでもよい。各発光素子aにおいては発光タイミングを独立に制御可能なように構成してもよい。
図9は、VCSELアレイ11の構成の他の一例を示す図である。図9に示すVCSELアレイ11は、複数の発光素子を同時に発光させるように制御されたレイヤーと呼ばれる発光素子群a1を少なくとも1つ以上有する。図9には、発光素子群a1が一次元的に配列された形態のものを示しているが二次元的に配置された構成のものでもよい。
図9に示すレイヤー222において、発光素子a2は十字型に5個配置されている。同一のレイヤー222内において各発光素子a2は同じタイミングで発光するように制御されている。
図9に示す、各レイヤー222のピッチAと、各発光素子a2のピッチ(ピッチBおよびピッチC)は、計測装置1の仕様によって適宜異なるが、各発光素子a2からの各ライン光が所定の条件(スペックルノイズの低減効果がある設定)で計測対象15上のライン光14として重なるように設定する。
なお、ここでは、レイヤー222の発光素子a2として十字型に5個配置されているものを示しているが、これに限定するものではない。発光素子a2の数は増減させてもよいし、また、ハニカム構造のようなレイアウトでより多くの発光素子a2を配置してもよい。
また、発光素子a2の開口部についても四角形のものを示しているが、六角形など、他の形状であってもよい。各レイヤー222においては各々独立に発光タイミングを制御してもよい。
(ラインジェネレータのレンズ構成)
図10は、光学装置10の光学系の一例を示す図である。図10には、光学装置10の光学系を水平方向(H)と垂直方向(V)とからそれぞれ作図したものを並べて示している。
図10には、ラインジェネレータ12のレンズ構成の一例として、4枚のシリンドリカルレンズ121〜124を用いたものを示している。シリンドリカルレンズ121〜124は、VCSELアレイ11の各発光素子aからの光をそれぞれライン光に変換する。
具体的に、水平方向(H)において、VCSELアレイ11から発散する光をシリンドリカルレンズ121によって平行光束または略平行光束とし、シリンドリカルレンズ123によって短手方向のライン光幅を形成する。また、垂直方向(V)において、VCSELアレイ11から発散する光をシリンドリカルレンズ122によって平行光束または略平行光束とし、シリンドリカルレンズ124によって長手方向のライン光長さを形成する。この際、ミラー(光偏向素子)13に集光する位置に焦点を形成する。なお、スペックルノイズの低減効果がある設定下で、それぞれのライン光を光偏向素子13上に形成する。
シリンドリカルレンズ121〜124の材質は、例えばガラスやプラスチックである。なお、材質をこれに限定するものではない。他の材質であってもよい。また、シリンドリカルレンズ121〜124にARコートなどの表面加工を施してもよい。
また、シリンドリカルレンズを挿入する向きはどちらでもよいが、屈折回数を考慮すると図10に示すように凸面が向かい合うように挿入する方が望ましい。
光偏向素子13は、ライン光の長手方向軸周りに駆動し、光偏向素子13に入射したライン光で計測対象15を走査する。走査中に制御部31によりライン光の出力を変調することで、計測対象15へ所定パターンの投影画像を投影する。
図11は、光学装置10における光の光路を示す図である。図11には、光偏向素子13としてミラー面が狭いMEMSミラーを使用した光学装置10を示している。図11における光学装置10のVCSELアレイ11は図12に示すように、5個の異なる波長(波長λ1、波長λ2、波長λ3、波長λ4、波長λ5)の発光素子aを等ピッチで配置したものを1セットとし、全体で10セット分(5種類の波長×10セット=50個)の発光素子aを一次元的に配列している。各セット内において発光素子aの並び順は所定の波長順である。つまり、各波長の発光素子aは、図12において周期的な位置をとるように配置されている。また図12において、隣接するセット間の同一波長の発光素子aはXμmピッチで配置されている。同一セット内の波長λ1〜λ5の発光素子aにより生じる各スペックルパターンは、互いに異なるスペックルパターンとなるように設定されている。すなわち、複数光源波長多重効果を得られる設定となっている。なお、この構成は一例であり、少なくとも1部の波長を異ならせたものでもよい。
図11に示す光路は、VCSELアレイ11の波長λ1の発光素子aからの各光から形成されるライン光がそれぞれ重なっている様子を示している。なお、波長λ2〜λ5の発光素子aの光路は、光路をわかりやすくするために図示を省略する。図11に示すように、VCSELアレイ11の各発光素子aからの光により、ラインジェネレータ12がそれぞれライン光を形成する。各発光素子aは同じ発散角で光を発し、ラインジェネレータ12を経て、ライン光の長手方向における広がり角と短手方向におけるライン光幅とが調整される。このとき、ライン光の長手方向はミラー面で、短手方向は計測範囲で集光するように方向ごとに調整されるため、ミラー面上の各ライン光は最終的に形成されるライン光の長手方向の長さよりも、短手方向の長さのほうが長くなる。図11には、ミラー面強度分布SIMを示している。ミラー面強度分布SIMでも、入射するライン光の様子が前述のように確認される。このようにライン光の長手方向をミラー面で集光することで、ミラー面を小さくでき、さらにライン光の長手方向の広がり角を広げることができる。また、各発光素子aから形成される各ライン光の本数が少ないと、図11に示すようにミラーサイズの関係は、最終的に形成されるライン光の長手方向におけるミラーの辺より、短手方向におけるミラーの辺のほうが長くなる(Wmm>Hmm)。
発光素子aからの各光から形成されるそれぞれのライン光において、少なくとも一の間隔は他の間隔と異なっていてよい。例えば、同一波長の発光素子の間隔(Xμm)と光偏向素子に入射する同一波長のライン光の間隔(Yμm)とを異ならせる。以下に、同一波長の発光素子の間隔(Xμm)と光偏向素子に入射する同一波長のライン光の間隔(Yμm)との関係性について説明する。
同一波長の発光素子で異なるスペックルパターンが生じる場合、すなわち、複数光源角度多重を利用したスペックルノイズの低減効果がある設定で光学装置10を構成する場合、同一波長の発光素子の間隔(Xμm)と光偏向素子に入射する同一波長のライン光の間隔(Yμm)とは、同一波長の発光素子の間隔≧光偏向素子に入射する同一波長のライン光の間隔の関係を満たすようにする。
また、別の例として、同一波長の発光素子の間隔と光偏向素子に入射する同一波長のライン光の間隔とは、同一波長の発光素子の間隔<光偏向素子に入射する同一波長のライン光の間隔の関係を満たすようにしてもよい。この場合には、光偏向素子に入射する同一波長のライン光の間隔は35μm以上とする。この値は図3を参考に算出した。具体的に、複数光源角度多重効果が生じ始める角度(θ=0.04deg)以上になるところでは、スペックルノイズ低減効果が得られる。例えば顕微鏡を考慮に入れると、LWDは50mm以上の短いLWDまで設定できる。これらより光偏向素子に入射する同一波長のライン光の所定の間隔Yは約34.9μm以上と算出され、Yは35μm程度になる。計算式ではY=2×LWD×tan(θ/2)より、D=2×50×tan(0.02)=34.907(略35)μmとなる。
さらに、同一波長の発光素子の間隔<光偏向素子に入射する同一波長のライン光の間隔の関係を満たす場合、複数光源角度多重効果が生じ始める角度(θ=0.04deg)以上になるところでは、スペックルノイズ低減効果が得られるので、光偏向素子に入射する同一波長のライン光の間隔に上限は設けられない。しかし、現実的にはミラーサイズやスペックルノイズ低減効果の程度を考慮すると、決まってくる。例えば、ミラーサイズが15mmで、スペックルノイズを半分は減らしたいときについて考える。このとき、光源は4個必要となり、光偏向素子に入射する同一波長のライン光の間隔は最大でも5mm(=15÷(4−1))までしかとることはできない。
図11のように、複数光源波長多重効果と複数光源角度多重効果を併用してスペックルノイズを低減すると、VCSELアレイ11の異なる波長の発光素子a間のピッチは、Xμmピッチより短くすることができるため、複数光源角度多重効果のみを用いて同じスペックルノイズ低減効果を得る場合と比較して、VCSELアレイ11に配置される発光素子aの集積密度が向上する。集積密度の向上により、光量増加やスペックルノイズの低減効果が期待できる。集積密度が向上すれば、同一のスペックルコントラストであれば、よりVCSELのチップサイズを小さくすることができ、同一の面積であれば、光量増加やスペックルノイズをさらに低減することができる。
図13は、光学装置10の光学系の他の一例を示す図である。図13には、ラインジェネレータ12のレンズ構成の一例として、球面レンズ126と2枚のシリンドリカルレンズ(シリンドリカルレンズ123、シリンドリカルレンズ124)とを用いたものを示している。図10では、VCSELアレイ11から発散する光を、水平方向(H)と垂直方向(V)とで別々のシリンドリカルレンズ121、122を用いて平行光束または略平行光束を作っていたが、図13では、それを球面レンズ126の1枚で行う。このように、球面レンズを使用することにより、必要なレンズ数を減らすことができる。
図14は、光学装置10の光学系の他の一例を示す図である。図14には、ラインジェネレータ12のレンズ構成の一例として、シリンドリカルレンズ121を用いたものを示している。水平方向(H)において、VCSELアレイ11から発散する光をシリンドリカルレンズ121によって短手方向のライン光幅に形成する。垂直方向(V)においては、VCSELアレイ11から発散する光のみで、長手方向のライン光長さを形成する。この構成では、使用するレンズが1枚で済むため、必要なレンズ数を最も減らすことができる。
図15は、光学装置10の光学系の他の一例を示す図である。図15には、ラインジェネレータ12のレンズ構成の一例として、2つのシリンドリカルレンズ(シリンドリカルレンズ121とシリンドリカルレンズ123)を用いたものを示している。
水平方向(H)において、VCSELアレイ11から発散する光をシリンドリカルレンズ121によって平行光束または略平行光束とし、シリンドリカルレンズ123によって短手方向のライン光幅を形成する。垂直方向(V)においては、VCSELアレイ11から発散する光のみで、長手方向のライン光長さを形成する。
図16は、光学装置10の光学系の他の一例を示す図である。図16は、図10に示すレンズ構成にさらに絞り125を加えたものである。図10に示すレンズ構成において光を光偏向素子13に十分集光できない場合に、絞り125を挿入する。なお、絞り125をこれに限定するものではない。少なくとも一つの絞り125を任意の位置に挿入してよい。また、図16には、水平方向(H)に対応する絞り125を示しているが、垂直方向(V)についても同様に挿入してよい。また、絞り125は、迷光を除去する目的で挿入してもよい。
図17は、光学装置10の光学系の他の一例を示す図である。図17には、VCSELアレイ11の各発光素子aの発散角を制御するため、VCSELアレイ11の前方(光軸方向)にマイクロレンズアレイ127とマイクロシリンドリカルレンズアレイ128とを挿入した構成のものを示している。マイクロシリンドリカルレンズアレイ128の後段の構成については図示を省略している。なお、各発光素子aの発散角の制御は、マイクロレンズアレイおよび/またはマイクロシリンドリカルレンズアレイで行うことができる。つまり、各発光素子aの発散角の制御にマイクロレンズアレイを使用してもよいし、マイクロシリンドリカルレンズアレイを使用してもよい。また、これらの両方を組み合わせてもよい。ここでは、一例として、両方を組み合わせた例について示す。
マイクロレンズアレイ127の各レンズは球面になっており、VCSELアレイ11の各発光素子aから発散する光を、水平方向(H)および垂直方向(V)において平行光束または略平行光束に変換する。そして、マイクロレンズアレイ127から出射される光束はマイクロシリンドリカルレンズアレイ128によって、垂直方向(V)に示す長手方向のライン光長さを形成する。このように構成することにより、VCSELアレイ11の発散角が制御される。なお、図17では水平方向に発光素子aは1列しかないが、水平方向にも発光素子aを並べて、VCSELアレイ上の発光素子をマトリクス状に配置してもよい。それに伴い、マイクロレンズアレイおよびマイクロシリンドリカルレンズアレイもマトリクス状に形成してもよい。
(光偏向素子)
光偏向素子13は、レーザ光を1軸あるいは2軸方向に走査することができる可動ミラーである。可動ミラーには、例えばMEMSミラーや、ポリゴンミラーや、ガルバノミラーなどがあるが、レーザ光を1軸あるいは2軸方向に走査することができるものであれば、その他の方式を用いたものでもよい。本実施例では、ラインジェネレータ12により形成されたライン光14を走査範囲中の計測対象15上に一軸走査する可動ミラーを使用する。なお、可動ミラーは、ライン光を光走査することで、2次元面状の投影パターンが形成される。
図18は、光偏向素子13の一例であるMEMSミラー(MEMSミラースキャナとも言う)の構成の一例を示す図である。図18に示すMEMSミラースキャナは、支持基板131に、可動部132と二組の蛇行状梁部133とを有する。
可動部132は反射ミラー1320を備えている。二組の蛇行状梁部133はそれぞれ一端が可動部132に連結され、他端が支持基板131により支持されている。二組の蛇行状梁部133はそれぞれミアンダ形状の複数の梁部からなり、共に、第1の電圧の印加により変形する第1の圧電部材1331と、第2の電圧の印加により変形する第2の圧電部材1332とを各梁部に1つおきに有する。第1の圧電部材1331と第2の圧電部材1332と隣り合う梁部ごとに独立に設けられている。二組の蛇行状梁部133はそれぞれ第1の圧電部材1331と第2の圧電部材1332への電圧の印加により変形し、可動部132の反射ミラー1320を回転軸周りに回転させる。
具体的には、第1の圧電部材1331と第2の圧電部材1332に逆位相となる電圧を印加し、各梁部に反りを発生させる。これにより、隣り合う梁部が異なる方向にたわみ、それが累積され、二組の蛇行状梁部133に連結する可動部132と共に反射ミラー1320が回転軸を中心に往復回動する。さらに、回転軸を回転中心とするミラー共振モードに合わせた駆動周波数をもつ正弦波を逆相で第1の圧電部材1331と第2の圧電部材1332とに印加することで、低電圧で非常に大きな回転角度を得ることができる。
なお、駆動波形は正弦波に限らない。例えばノコギリ波であってもよい。また、共振モードに限らず、非共振モードで駆動させてもよい。
図19は、光偏向素子13の一例であるポリゴンミラーの構成の一例を示す図である。図19に示すポリゴンミラーは、図19に示す回転軸の周りにM方向に等速回転運動する回転体13Aに複数の平面ミラー1320Aを備える。ラインジェネレータ12から平面ミラー1320Aに入力するライン光は平面ミラー1320Aの角度の変化により測定対象を一軸走査する。図19に矢印で示すように、ポリゴンミラーでは水平方向(Y軸と垂直な方向)の広範囲な領域に対して測定が可能となる。
さらに図19に示す構成では、ポリゴンミラーの各ミラー面1320Aにおいて回転軸に対する倒れ角を互いに異ならせている。このように各ミラー面1320Aに異なる倒れ角を与えるとライン光の垂直方向の出射角が制御されるので、回転体13Aの回転によりミラー面1320Aが変わる度に垂直方向の出力角が変化することになる。よって、各ミラー面1320Aに異なる倒れ角を与えると、ポリゴンミラーに備えられた射面の数に応じて、垂直方向の走査領域を広角化することが可能になる。
(カメラ)
図20は、カメラ21の構成の一例を示す図である。カメラ21は、レンズ210や撮像素子211を有する。撮像素子211には、例えばCCDやCMOSのイメージセンサなどを使用する。カメラ21に入射した光は、レンズ210を介して撮像素子211上に結像して光電変換される。撮像素子211で光電変換された電気信号は、画像信号へと変換され、その画像信号がカメラ21から制御ユニット30(図6参照)の演算処理部32(図6参照)へと出力される。
また、レンズ210に入射する光の前にレーザ光源の発振波長近傍の波長のみを透過させるフィルタを設けてもよい。これにより、レンズ210に入射する光は、VCSELアレイ11(図6参照)の発振波長近傍以外の波長がカットされ、S/N比が向上する。
(制御部の機能ブロックの説明)
図21は、計測装置1のブロック構成の一例を示す図である。なお、図21において、既に説明済みの箇所については、同一の符号を付し、適宜詳細な説明を省略する。
図21に示す演算処理部32は、カメラ21から出力された画像信号を解析する。演算処理部32は、画像信号の解析結果と、キャリブレーション情報とを用いた演算処理により、3次元情報の復元処理を行い、これにより対象の3次元計測を実行する。演算処理部32は、復元された3次元情報を制御部31に供給する。
制御部31は、投影制御部310と、パターン記憶部311と、光源駆動・検出部312と、光走査駆動・検出部313と、撮像制御部314とを含む。
光走査駆動・検出部313は、投影制御部310の制御に従い光偏向素子13を駆動する。投影制御部310は、光偏向素子13の偏向中心に照射されたライン光が測定対象を走査するように、光走査駆動・検出部313を制御する。撮像制御部314は、投影制御部310の制御に従いカメラ21の撮像タイミングや露光量を制御する。
光源駆動・検出部312は、投影制御部310の制御に従いVCSELアレイ11の各発光素子の点灯および消灯を制御する。
パターン記憶部311は、例えば、計測装置1の不揮発性の記憶媒体に記憶されている投影画像のパターン情報を読み出す。パターン情報は、投影画像(投影パターン)を形成するためのパターン情報である。パターン記憶部311は、投影制御部310からの指示に従いパターン情報を読み出して投影制御部310に渡す。投影制御部310は、パターン記憶部311から渡されたパターン情報に基づき光源駆動・検出部312を制御する。
また、投影制御部310は、演算処理部32から供給された、復元された3次元情報に基づき、パターン記憶部311に対してパターン情報の読み出しを指示してもよいし、読み出したパターン情報に応じて演算処理部32に対して演算方法を指示してもよい。
演算処理部32や、投影制御部310や、撮像制御部314は、CPU(Central Processing Unit)上で動作する計測プログラムにより実現する。具体的に、CPUは、ROM(Read Only Memory)から計測プログラムを読み出して実行することにより、演算処理部32や、投影制御部310や、撮像制御部314を実現する。なお、この実現方法は一例であり、これに限らない。例えば、演算処理部32、投影制御部310、撮像制御部314の、一部または全てを、互いに協働して動作するハードウェア回路により構成してもよい。また、演算処理部32や、投影制御部310や、撮像制御部314に限らず、その他のブロックも計測プログラムにより実現してもよい。
(投影パターン)
次に、計測対象を走査する投影パターンについて説明する。計測対象の形状および姿勢を3次元情報として取得する3次元計測を、計測対象に照射された光を観測することで行う幾つかの方法がある。その内の一例として(1)位相シフト法を用いた計測と、(2)光切断法を用いた計測と、の2つの例を説明する。これらの計測方法は、例えば次の非特許文献にそれぞれ開示されている。
(1)プロジェクタ・カメラシステムのレスポンス関数を用いた位相シフト法によるアクティブ・ステレオの精度向上「画像の認識・理解シンポジウム(MIRU2009)」2009年7月
(2)「光切断法による3次元画像を用いた外観検査技術」RICOH TECHNICAL REPORT、No.39, 2013、2014年1月28日発行
先ず(1)の位相シフト法を用いた計測について概略的に説明する。位相シフト法では、図22(a)に例示される、それぞれ位相の異なる位相シフトパターンである複数の投影パターン60(10)、60(11)、60(12)および60(13)を用いた位相解析により、3次元の形状および姿勢の復元を行う。このとき、図22(b)に例示される、それぞれ異なるグレイコードパターンである複数の投影パターン60(20)、60(21)、60(22)および60(23)を用いた空間コード化法を併用し、これら空間コード化法および位相シフト法の結果に基づき位相連結を行うことで、高精度に3次元の形状および姿勢の復元を行うことができる。
このように、(1)の位相シフト法を用いた計測では、複数の投影パターン60(10)〜60(13)、60(20)〜60(23)それぞれについて撮像を行う。
次に(2)の光切断法を用いた計測について概略的に説明する。光切断法は、ライン光源により計測対象に対して輝線を照射し、この輝線が照射された計測対象を撮像し、輝線画像を得る。例えば図23に例示するように、光偏向素子からライン光(輝線)14を形成する。この輝線画像に基づき、計測対象の1ライン分の3次元形状が生成される。図23の投影パターン60(3)に示すように、光偏向素子を用いてライン光14の照射位置を矢印の向きに変えていき、計測対象に対して複数の輝線画像を得る。これにより、計測対象の全体の3次元形状を生成できる。このような光切断パターンを用いた光切断法は、光沢のある計測対象の計測に用いて好適である。
(実施例の効果)
本実施例では、計測装置の各設定を「スペックルノイズの低減効果がある設定」としている。このため、計測対象を撮影した画像においてスペックノイズが低減し、撮影画像の輝度情報を解析する際の計測精度が向上する。
図24は、スペックルノイズの低減効果を説明する図である。図24には、白色拡散板に一つの発光素子からコヒーレント光を照射した場合の撮影画像1003Aを示している。また、本実施例により得られる撮影画像の一例として、上記と同じ白色拡散板に「スペックルノイズの低減効果がある設定」で100個の発光素子からコヒーレント光を照射した場合の撮影画像1003Bを示している。各撮影画像1003A、1003Bは、撮影条件は同じで、発光素子の数のみを変更している。厳密には100個の発光素子が配置されたVCSELアレイにて1チャンネルのみを発光させた場合と全チャンネルを発光させた場合との違いである。
図24の撮影画像1003Aに示すように、1チャンネルのみの発光ではスペックルパターンが1つのため、そのスペックルパターンがそのままスペックルノイズとして画像中に現れ、それが輝度バラツキとして観察される。一方、撮影画像1003Bに示す100チャンネルの発光ではスペックルパターンが100個分あり、それらの重なりによりスペックルノイズが平均化される。これにより、画像中においてスペックルノイズが低減され、撮影画像1003Bに示すように輝度バラツキが減少する。
このように、本実施例では、上記のようにスペックルの低減効果が得られるように計測装置の各構成要素を設計する。具体的には、本実施例では、仮想的なライン光の光源ピッチを複数光源多重効果が得られるだけのピッチになるようラインジェネレータの光学系とVCSEL光源ピッチを設計する。また、ラインジェネレータの光学系でライン光の長手方向および短手方向の広がり角も設計する。
(第2の実施の形態)
次に、第2の実施の形態について説明する。第2の実施の形態は、第1の実施の形態に係る計測装置1を、ロボットアーム(多関節アーム)と組み合わせて用いる例である。
図25は、第2の実施の形態に係るロボットの構成の一例を示す図である。図25には、多関節を有するロボットアームに計測装置1を適用した例を示している。ロボットアーム70は、対象物をピッキングするためのハンド部71を備え、ハンド部71の直近に計測装置1が搭載されている。ロボットアーム70は、それぞれ屈曲可能な複数の可動部を備え、ハンド部71の位置および向きを、制御に従い変更する。
計測装置1は、光の投影方向がハンド部71の向く方向に一致するように設けられ、ハンド部71のピッキング対象15を計測対象として計測する。
このように、第2の実施形態では、計測装置1をロボットアーム70に搭載することで、ピッキングの対象物を近距離から計測することができ、カメラ等を用いた遠方からの計測と比較して計測精度や認識精度の向上が達成できる。例えば、工場の様々な組立てライン等におけるFA(Factory Automation)分野においては、部品の検査や認識等のために、ロボットアーム70等のロボットが利用される。ロボットに計測装置1を搭載することにより、部品の検査や認識を精度よく行うことができるようになる。
(第3の実施の形態)
次に、第3の実施の形態について説明する。第3の実施の形態は、第1の実施の形態に係る計測装置1をスマートフォンやPCなどの電子機器に搭載して用いる例である。
図26は、第3の実施の形態に係るスマートフォンなどの電子デバイスの構成の一例を示す図である。スマートフォン80に計測装置1を適用した例を示している。スマートフォン80には計測装置1と使用者の認証機能が搭載されている。使用者の認証機能は、例えば専用のハードウェアを設けるなどして搭載されている。この他、コンピュータ構成のCPUがROMなどのプログラムを実行するなどして本機能を実現するようにしてもよい。計測装置1は、使用者81の顔、耳や頭部の形状などを計測する。この計測結果に基づいて、使用者の認証機能は、使用者81がスマートフォン80に登録された者かを判定する。
このように、第3の実施の形態では、計測装置1をスマートフォン80に搭載することで、高精度に使用者81の顔、耳や頭部の形状などを計測することができ、認識精度の向上が達成できる。なお、本実施例では、計測装置1をスマートフォン80に搭載しているが、PCやプリンタなどの電子機器に搭載してもよい。また、機能面としても個人認証機能に限らず、顔形状のスキャナなどに用いてもよい。
(第4の実施の形態)
次に、第4の実施の形態について説明する。第4の実施の形態は、第1の実施の形態に係る計測装置1を、移動体に搭載して用いる例である。
図27は、第4の実施の形態に係る車両の構成の一例を示す図である。自動車に計測装置1を適用した例を示している。自動車車内85には計測装置1と運転支援機能が搭載されている。運転支援機能は、例えば専用のハードウェアを設けるなどして搭載されている。この他、コンピュータ構成のCPUがROMなどのプログラムを実行するなどして本機能を実現するようにしてもよい。計測装置1は、ドライバー86の顔や姿勢などを計測する。この計測結果に基づいて、運転支援機能は、ドライバー86の状況に応じた適切な支援を行う。
このように、第4の実施の形態では、計測装置1を自動車に搭載することで、高精度にドライバー86の顔、姿勢などを計測することができ、車内85のドライバー86の状態認識精度の向上が達成できる。なお、本実施例では、計測装置1を自動車に搭載しているが、電車の車内や飛行機の操縦席(または客席)などに搭載してもよい。また、機能面としてもドライバー86の顔、姿勢などのドライバー86の状態認識に限らず、ドライバー86以外の搭乗者や車内85の様子の認識などに用いてもよい。またドライバー86の個人認証を行い、車のドライバーとして予め登録された者かを判断するといった車のセキュリティに用いてもよい。
図28は、第4の実施の形態に係るその他の移動体の構成の一例を示す図である。図28には、自律型の移動体に計測装置1を適用した例を示している。移動体87には計測装置1が搭載されており、移動体87の周囲を計測する。この計測結果に基づいて、移動体87は自身の移動する経路の判断および、机88の位置などの室内89のレイアウトを算出する。
このように、第4の実施の形態では、計測装置1を移動体87に搭載することで、高精度に移動体87の周辺を計測することができ、移動体87の運転の支援が行える。なお、本実施例では、計測装置1を小型の移動体87に搭載しているが、自動車などに搭載してもよい。また、屋内だけでなく屋外で用いてもよく、建造物などの計測に用いてもよい。
(第5の実施の形態)
次に、第5の実施の形態について説明する。第5の実施の形態は、第1の実施の形態に係る計測装置1を、造形装置に搭載して用いる例である。
図29は、第5の実施の形態に係る造形装置の構成の一例を示す図である。図29には、造形装置の一例である3Dプリンタ90のヘッド部91に計測装置1を適用した例を示している。ヘッド部91は形成物92を形成するための造形液を吐出するノズル93を有する。計測装置1は、3Dプリンタ90によって形成される形成物92の形状を、形成中に計測する。この計測結果に基づいて、3Dプリンタ90の形成制御が行われる。
このように、第5の実施の形態では、計測装置1を3Dプリンタ90に搭載することで、形成物92の形状を形成中に計測することができ、高精度に形成物92を形成できる。なお、本実施例では、計測装置1を3Dプリンタ90のヘッド部91に搭載しているが、3Dプリンタ90内の他の位置に搭載してもよい。
10 光学装置
11 VCSELアレイ
12 ラインジェネレータ
13 ミラー(光偏向素子)
14 ライン光
14−1、14−2 各ライン光
a 発光素子
D1 ピッチ
m1、m2 仮想的な光源
LWD1 距離
θ1 角度
特開2016−217833号公報

Claims (20)

  1. 複数の発光素子を所定の間隔で配列した光源と、
    前記複数の発光素子からの光をそれぞれライン光に変換する光学系と、
    前記それぞれのライン光を偏向する光偏向素子と、
    を備え、
    前記光偏向素子の回転軸方向に前記それぞれのライン光の長手方向を入射させる、
    ことを特徴とする光学装置。
  2. 前記それぞれのライン光を被照射面上で略一本に重ねる、
    ことを特徴とする請求項1に記載の光学装置。
  3. 前記光学系は、
    前記それぞれのライン光の長手方向を前記光偏向素子又は前記光偏向素子の直近に集光し、前記それぞれのライン光を前記光偏向素子に所定の間隔で入射させる、
    ことを特徴とする請求項1または2に記載の光学装置。
  4. 前記所定の間隔は、前記それぞれのライン光において少なくとも一の間隔は他の間隔と異なっている、
    ことを特徴とする請求項3に記載の光学装置。
  5. 前記所定の間隔(D)は、被照射面までの距離(LWD)と光源の入射角(θ)から決まり、D=2×LWD×tan(θ/2)を満たす、
    ことを特徴とする請求項3に記載の光学装置。
  6. 前記複数の発光素子の前記間隔と前記光偏向素子に入射する前記それぞれのライン光の間隔とは、
    発光素子の間隔≧光偏向素子に入射するそれぞれのライン光の間隔
    の関係を満たすことを特徴とする請求項4に記載の光学装置。
  7. 前記複数の発光素子の前記間隔と前記光偏向素子に入射する前記それぞれのライン光の間隔とは、
    発光素子の間隔<光偏向素子に入射するそれぞれのライン光の間隔
    の関係を満たし、
    且つ、前記光偏向素子に入射する前記それぞれのライン光の間隔は35μm以上である、
    ことを特徴とする請求項4に記載の光学装置。
  8. 被照射面上におけるライン光の長手方向と短手方向に対し、前記光偏向素子に入射する前記ライン光は前記短手方向の方が前記長手方向よりも広い幅となる、
    ことを特徴とする請求項1乃至7のうちの何れか一項に記載の光学装置。
  9. 前記光偏向素子のミラー面のミラーサイズは、該ミラー面に入射する各ライン光の被照射面上における各ライン光の長手方向に対応する辺の長さよりも短手方向に対応する辺の長さの方が長い
    ことを特徴とする請求項1乃至8のうちの何れか一項に記載の光学装置。
  10. 前記複数の発光素子の発散角を制御するマイクロレンズアレイおよび/またはマイクロシリンドリカルレンズアレイとを有する、
    ことを特徴とする請求項1乃至9のうちの何れか一項に記載の光学装置。
  11. 前記光源はVCSELである、
    ことを特徴とする請求項1乃至10のうちの何れか一項に記載の光学装置。
  12. 前記複数の発光素子の少なくとも一部の波長が異なっている、
    ことを特徴とする請求項1乃至11のうちの何れか一項に記載の光学装置。
  13. 前記複数の発光素子において波長の等しい発光素子を複数有する、
    ことを特徴とする請求項12に記載の光学装置。
  14. 前記複数の発光素子において波長が異なる発光素子の素子間隔が波長の等しい発光素子の素子間隔より狭い
    ことを特徴とする請求項13に記載の光学装置。
  15. 前記各波長の発光素子が同じ素子間隔で配置されている、
    ことを特徴とする請求項14に記載の光学装置。
  16. 請求項1乃至15のうちの何れか一項に記載の光学装置と、
    被照射面上の前記ライン光を撮像する撮像手段と、
    前記撮像手段により撮像された前記ライン光の画像情報に基づき前記被照射面の対象物を計測する計測手段と、
    を備えることを特徴とする計測装置。
  17. 請求項16に記載の計測装置と、
    前記計測装置を装着した多関節アームと、
    を備えることを特徴とするロボット。
  18. 請求項16に記載の計測装置と、
    前記計測装置による使用者の計測結果に基づいて使用者の認証を行う認証部と、
    を備えることを特徴とする電子機器。
  19. 請求項16に記載の計測装置と、
    前記計測装置による計測結果に基づいて移動体の運転を支援する運転支援部と、
    を備えることを特徴とする移動体。
  20. 請求項16に記載の計測装置と、
    前記計測装置による計測結果に基づいて形成物を形成するヘッドと、
    を備えることを特徴とする造形装置。
JP2018158796A 2018-08-27 2018-08-27 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置 Active JP7222200B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018158796A JP7222200B2 (ja) 2018-08-27 2018-08-27 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置
US16/540,189 US11555926B2 (en) 2018-08-27 2019-08-14 Optical device, measurement device, robot, electronic apparatus, mobile object, and shaping device
JP2023015285A JP7409532B2 (ja) 2018-08-27 2023-02-03 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018158796A JP7222200B2 (ja) 2018-08-27 2018-08-27 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023015285A Division JP7409532B2 (ja) 2018-08-27 2023-02-03 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置

Publications (2)

Publication Number Publication Date
JP2020034310A true JP2020034310A (ja) 2020-03-05
JP7222200B2 JP7222200B2 (ja) 2023-02-15

Family

ID=69584545

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018158796A Active JP7222200B2 (ja) 2018-08-27 2018-08-27 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置
JP2023015285A Active JP7409532B2 (ja) 2018-08-27 2023-02-03 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023015285A Active JP7409532B2 (ja) 2018-08-27 2023-02-03 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置

Country Status (2)

Country Link
US (1) US11555926B2 (ja)
JP (2) JP7222200B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137079A1 (ja) * 2018-12-26 2021-11-11 パナソニックIpマネジメント株式会社 ラインビーム走査光学系およびレーザレーダ
WO2022097468A1 (ja) * 2020-11-03 2022-05-12 株式会社デンソー 光検出装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法
WO2022043988A1 (en) * 2020-08-31 2022-03-03 Arc-Y-Tec Ltd. A multi-directional pattern projector and a hyper-resolution pattern projector

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147604A (ja) * 1998-11-13 2000-05-26 Matsushita Electric Ind Co Ltd レンジファインダ
JP2007178727A (ja) * 2005-12-28 2007-07-12 Seiko Epson Corp 照明装置及びプロジェクタ
JP2017532533A (ja) * 2014-08-10 2017-11-02 フェイスブック,インク. 3d感知用構造化光

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4132708B2 (ja) 2001-03-30 2008-08-13 株式会社リコー レーザ光源装置
JP4406837B2 (ja) 2004-11-10 2010-02-03 ソニー株式会社 画像表示装置および方法、並びに駆動装置および方法
JP2009146941A (ja) 2007-12-11 2009-07-02 Seiko Epson Corp レーザ光源およびその制御方法
EP2849644A1 (en) 2012-05-14 2015-03-25 Koninklijke Philips N.V. Apparatus and method for profiling a depth of a surface of a target object
US10386178B2 (en) 2012-11-29 2019-08-20 Philips Photonics Gmbh Laser device for projecting a structured light pattern onto a scene
JP2016217833A (ja) 2015-05-19 2016-12-22 株式会社リコー 画像処理システム及び画像処理方法
JP6250080B2 (ja) * 2016-02-25 2017-12-20 三菱重工業株式会社 レーザレーダ装置及び走行体
JP6805904B2 (ja) 2017-03-08 2020-12-23 株式会社リコー 計測装置、計測方法およびロボット
US20180304661A1 (en) * 2017-04-24 2018-10-25 Abi Auto-Bake Industries Ltd. Apparatus for inscribing pattern on food item
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
DE102017218296A1 (de) * 2017-10-12 2019-04-18 Rohde & Schwarz Gmbh & Co. Kg Mehrbenutzer-Testsystem und Verfahren zur Konfiguration eines Mehrbenutzer-Testsystems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147604A (ja) * 1998-11-13 2000-05-26 Matsushita Electric Ind Co Ltd レンジファインダ
JP2007178727A (ja) * 2005-12-28 2007-07-12 Seiko Epson Corp 照明装置及びプロジェクタ
JP2017532533A (ja) * 2014-08-10 2017-11-02 フェイスブック,インク. 3d感知用構造化光

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137079A1 (ja) * 2018-12-26 2021-11-11 パナソニックIpマネジメント株式会社 ラインビーム走査光学系およびレーザレーダ
JP7422313B2 (ja) 2018-12-26 2024-01-26 パナソニックIpマネジメント株式会社 ラインビーム走査光学系およびレーザレーダ
WO2022097468A1 (ja) * 2020-11-03 2022-05-12 株式会社デンソー 光検出装置
JP2022074195A (ja) * 2020-11-03 2022-05-18 株式会社デンソー 光検出装置
DE112021005793T5 (de) 2020-11-03 2023-09-21 Denso Corporation Lichterfassungsvorrichtung
JP7367656B2 (ja) 2020-11-03 2023-10-24 株式会社デンソー 光検出装置

Also Published As

Publication number Publication date
US20200064480A1 (en) 2020-02-27
JP7409532B2 (ja) 2024-01-09
JP7222200B2 (ja) 2023-02-15
US11555926B2 (en) 2023-01-17
JP2023041912A (ja) 2023-03-24

Similar Documents

Publication Publication Date Title
JP7409532B2 (ja) 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置
US10754036B2 (en) Scanning illuminated three-dimensional imaging systems
US20200166333A1 (en) Hybrid light measurement method for measuring three-dimensional profile
CN110325879B (zh) 用于压缩三维深度感测的系统和方法
US9267787B2 (en) Depth scanning with multiple emitters
US9170097B2 (en) Hybrid system
KR101257586B1 (ko) 광축 조정 장치, 광축 조정 방법 및 투사형 표시 장치
US9879984B2 (en) Optical scanning probe and apparatus for generating three-dimensional data using the same
US9013711B2 (en) Contour sensor incorporating MEMS mirrors
US11531208B2 (en) Light source, optical device, measuring device, robot, electronic apparatus, movable structure, and manufacturing apparatus
EP3683542B1 (en) Distance measuring module
JP7409443B2 (ja) 撮像装置
JP7379859B2 (ja) 光源、投影装置、計測装置、ロボット、電子機器、移動体、および造形装置
US10627709B2 (en) Light source, projection device, measurement device, robot, electronic device, mobile object, and shaping apparatus
US11350077B2 (en) Handheld three dimensional scanner with an autoaperture
JP2021018079A (ja) 撮像装置、計測装置、及び、計測方法
JP2020092256A (ja) 光源、光源装置、光学装置、計測装置、ロボット、電子機器、移動体、および造形装置
JP4787012B2 (ja) 断面形状測定装置及び断面形状測定方法
JP2022071666A (ja) 光学装置、計測装置、ロボット、電子機器および造形装置
JP2021018081A (ja) 撮像装置、計測装置、及び、計測方法
KR102545784B1 (ko) 2차원 패턴 레이저 기반 3차원 스캐너 장치
JP7271124B2 (ja) 投光装置及び測距装置
JP2021148670A (ja) 測定方法、光学装置、計測装置、移動体、ロボット、電子機器及び造形装置
US20200080838A1 (en) Apparatus and method for measuring three-dimensional shape
CN111750800A (zh) 三维测量装置及机器人系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R151 Written notification of patent or utility model registration

Ref document number: 7222200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151