JP2020204515A - 測定装置 - Google Patents

測定装置 Download PDF

Info

Publication number
JP2020204515A
JP2020204515A JP2019112011A JP2019112011A JP2020204515A JP 2020204515 A JP2020204515 A JP 2020204515A JP 2019112011 A JP2019112011 A JP 2019112011A JP 2019112011 A JP2019112011 A JP 2019112011A JP 2020204515 A JP2020204515 A JP 2020204515A
Authority
JP
Japan
Prior art keywords
target
unit
image
light
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019112011A
Other languages
English (en)
Other versions
JP7270477B2 (ja
Inventor
邦行 額
Kuniyuki Gaku
邦行 額
荻原 元徳
Motonori Ogiwara
元徳 荻原
武史 川端
Takeshi Kawabata
武史 川端
浩三郎 鈴木
Kozaburo Suzuki
浩三郎 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP2019112011A priority Critical patent/JP7270477B2/ja
Priority to CN202010542000.XA priority patent/CN112099041A/zh
Priority to US16/903,051 priority patent/US11635293B2/en
Priority to DE102020207453.4A priority patent/DE102020207453A1/de
Publication of JP2020204515A publication Critical patent/JP2020204515A/ja
Application granted granted Critical
Publication of JP7270477B2 publication Critical patent/JP7270477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Abstract

【課題】ターゲットの追尾状態を逸脱した際に、簡単に追尾状態へ復帰することができる測定装置を提供する。【解決手段】ターゲット20に向けて光線L1を出射して捕捉追尾し、ターゲットの三次元座標を測定する測定装置1であって、光線を出射する光源11と、移動するターゲットを追尾するように光源から出射する光線の出射角度を制御する角度制御部と、ターゲットまたはターゲットの近傍を撮像する撮像部30と、撮像部で撮像した画像からターゲットまたはターゲットを含む特定部分を認識する認識部と、を備え、角度制御部は、ターゲットの追尾が解除された際、認識部で認識したターゲットまたはターゲットを含む特定部分に向けて光線を出射するよう光線の出射角度を制御する測定装置。【選択図】図1

Description

本発明は、測定者が把持するターゲットを光線で捕捉追尾して、ターゲットの三次元座標を測定する測定装置に関するものである。
対象物の三次元座標を測定する測定装置として、レーザ光などの光線をターゲットに向けて照射し、移動するターゲットを捕捉追尾して測定点の三次元座標を測定する三次元測定装置がある。この測定装置では、大型構造物のような対象物について、追尾状態にあるターゲットを対象物の表面に当てることで容易かつ正確に測定を行うことができる。
特許文献1には、追尾式レーザ干渉計が開示される。この追尾式レーザ干渉計では、被測定体であるレトロリフレクタに向けて照射し、レトロリフレクタによって戻り方向に反射されたレーザビームの干渉を利用してレトロリフレクタの変位を検出すると共に、レーザビームの光軸の角度変化を用いてトラッキングを行っている。
特許文献2には、簡単な構成で要求される性能を維持しつつ、測定が中断しても高精度な測定を行うことができ、使い勝手の良いレーザトラッカが開示される。このレーザトラッカでは、ターゲットに入射するレーザ光の光軸と直角方向にターゲットが移動すると、この移動量と移動する方向に応じた信号を出力する光位置検出手段を備えており、光位置検出手段から出力された信号を用いて、ターゲットを追尾するように2軸の回転機構を制御している。
特開2007−057522号公報 特開2010−054429号公報
光線を照射してターゲットを追尾しながら測定を行う測定装置では、何らかの原因でターゲットを追尾できなくなる、いわゆるロストの状態に陥ることがある。この場合、ターゲットを把持する測定者は、光線を受けられる位置までターゲットを移動させて、追尾状態への復帰を行う必要がある。しかし、光線の軌跡が見えにくいため受光できる範囲を探すのは容易ではなく、勘を頼りにターゲットを移動させることになる。特に、この種の測定装置では、測定装置本体から対象物までの距離が数十メートルにおよぶこともあり、距離が離れるほど光線を受けられる位置を探すために多くの時間を要することになる。
本発明は、ターゲットの追尾状態を逸脱した際に、簡単に追尾状態へ復帰することができる測定装置を提供することを目的とする。
本発明の一態様は、ターゲットに向けて光線を出射して捕捉追尾し、ターゲットの三次元座標を測定する測定装置であって、光線を出射する光源と、移動するターゲットを追尾するように光源から出射する光線の出射角度を制御する角度制御部と、ターゲットまたはターゲットの近傍を撮像する撮像部と、撮像部で撮像した画像からターゲットまたはターゲットを含む特定部分を認識する認識部と、を備え、角度制御部は、ターゲットの追尾が解除された際、認識部で認識したターゲットまたはターゲットを含む特定部分に向けて光線を出射するよう光線の出射角度を制御する測定装置である。
このような構成によれば、ターゲットに向けて光線を出射して捕捉追尾する測定装置において、撮像部ではターゲットまたはターゲットの近傍の画像を撮像し、認識部では撮像部で撮像した画像からターゲットまたはターゲットを含む特定部分を認識する。そして、ターゲットの追尾が解除された際、画像から認識されたターゲットまたはターゲットを含む特定部分に向けて光線を出射するよう出射角度が制御されるため、容易に追尾状態へ復帰できるようになる。
上記測定装置において、認識部は、ターゲットを含む特定部分として、画像からターゲットを把持する測定者の顔部分を認識し、角度制御部は、認識部で認識した顔部分以外の位置に向けて光線を出射するよう光線の出射角度を制御してもよい。これにより、ターゲットの追尾が解除された際、ターゲット近傍かつ、ターゲットを把持する測定者の顔部分以外の位置に向けて光線が出射されるため、測定者近傍の光線位置にターゲットを移動させることで追尾状態へ復帰できるようになる。
上記測定装置において、認識部は、画像からターゲットを把持する測定者の輪郭領域を認識し、角度制御部は、認識部で認識した輪郭領域のうち特定位置に向けて光線を出射するよう光線の出射角度を制御してもよい。これにより、ターゲットの追尾が解除された際、測定者の輪郭領域から認識された特定位置に向けて光線が出射されるため、測定者の近い位置にターゲットを移動させることで追尾状態へ復帰できるようになる。
上記測定装置において、特定位置は、輪郭領域における重心位置の近傍であってもよい。これにより、ターゲットの追尾が解除された際、測定者の輪郭領域から認識された重心位置に向けて光線が出射されるため、測定者の身体の中央付近にターゲットを移動させることで追尾状態へ復帰できるようになる。
上記測定装置において、認識部は、ターゲットを含む特定部分を認識し、角度制御部は、認識部で認識したターゲットを含む特定部分の位置に向けて光線を出射するよう光線の出射角度を制御してもよい。これにより、ターゲットの追尾が解除された際、画像から認識されたターゲットを含む特定部分に向けて光線が出射されるため、容易に追尾状態へ復帰できるようになる。
上記測定装置において、認識部は、画像から特定動作を抽出してターゲットを把持する測定者を認識するようにしてもよい。これにより、ターゲットの追尾が解除された際、測定者による特定動作に基づいて測定者を認識し、認識された測定者に向けて光線が出射されるため、測定者の近い位置にターゲットを移動させることで追尾状態へ復帰できるようになる。
上記測定装置において、ターゲットの追尾が解除された際、光源から出射する光線の光量を低下させる光量調整部をさらに備えていてもよい。ターゲットの追尾が解除された状態では測定できないため、無駄な光量での出射を行わずに済む。
上記測定装置において、ターゲットを把持する測定者に装着可能な表示部と、表示部に表示する情報を制御する表示制御部と、をさらに備え、表示制御部は、表示部に表示されるターゲットの画像の近傍に、光線をターゲットに照射するためガイド画像を重畳表示する制御を行ってもよい。これにより、測定者が装着している表示部にガイド画像が重畳表示されるため、ターゲットの追尾が解除された際、ガイド画像に沿ってターゲットを移動させることで追尾状態へ復帰できるようになる。
上記測定装置において、表示制御部は、ガイド画像としてターゲットの受光方向および受光領域を示すオブジェクト画像をターゲットの画像に重畳表示する制御を行ってもよい。これにより、ターゲットの追尾が解除された際、表示部に表示されるターゲットの画像に受光方向および受光領域が重畳表示され、これをガイドとしてターゲットを移動させることで追尾状態へ復帰できるようになる。
本実施形態に係る測定装置の構成を例示する模式図である。 本実施形態に係る測定装置の構成を例示するブロック図である。 本実施形態に係る測定装置の動作を例示するフローチャートである。 測定装置の動作を例示する模式図である。 (a)から(c)は、認識処理を例示する模式図である。 ガイド動作を例示するフローチャートである。 ガイド動作を例示する模式図である。 (a)および(b)は、ガイド動作を例示する模式図である。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
〔測定装置の構成〕
図1は、本実施形態に係る測定装置の構成を例示する模式図である。
本実施形態に係る測定装置1は、測定者Uが把持するターゲット20に向けて光線を出射して捕捉追尾し、ターゲット20の三次元座標を測定する装置である。ターゲット20が追尾状態にあると、測定装置1はターゲット20の三次元座標を測定することができる。したがって、追尾状態にあるターゲット20を対象物Wの測定点に当てることで、ターゲット20の三次元座標から対象物Wの測定点の三次元座標を求めることができる。
測定装置1は、光干渉計を構成する装置本体10を備える。装置本体10には、光線を出射する光源11と、光源11から出射されターゲット20で反射した光線を受光する受光部12と、光源11および受光部12の角度を変更する駆動部13と、が設けられる。ターゲット20を追尾する際には、光源11から出射される光線が常にターゲット20に照射されるよう、駆動部13によって光源11および受光部12の角度が変更される。
装置本体10には測定制御部15が接続される。測定制御部15によって装置本体10の各部が制御される。測定制御部15はパーソナルコンピュータで構成されていてもよい。測定制御部15の構成は後述する。
装置本体10の光源11から出射される光線としては、例えばレーザ光Lが用いられる。説明の便宜上、光源11から出射されるレーザ光Lをレーザ光L1、ターゲット20で反射したレーザ光Lをレーザ光L2ということにする。
ターゲット20は、例えばレトロリフレクタである。光源11から出射されたレーザ光L1がターゲット20で反射すると、レーザ光L2はレーザ光L1と同一の光路で装置本体10へ戻る。装置本体10の受光部12は、レーザ光L1とL2との干渉を利用して、装置本体10とターゲット20の距離を計測しながら、移動するターゲット20を追尾するように駆動部13を制御する。
駆動部13は、第1軸を中心として光源11および受光部12の角度を変更する第1駆動部131と、第1軸と直交する第2軸を中心として光源11および受光部12の角度を変更する第2駆動部132とを有する。例えば、第1駆動部131は方位角を変更する方位角用エンコーダであり、第2駆動部132は仰角を変更する仰角用エンコーダである。ターゲット20を追尾する際、第1駆動部131と第2駆動部132とを連動させて光源11の出射角度(方位角および仰角)を調整し、レーザ光L1が常にターゲット20に照射されるように光源11の角度が調整される。
対象物Wの三次元座標を測定する場合、測定者Uはターゲット20を把持して対象物Wの測定点に当てる。装置本体10によってターゲット20を追尾している状態で、所定のタイミングでターゲット20の三次元座標を測定する。測定者Uは1つの測定点の測定が完了した後、次の測定点にターゲット20を移動する。この移動の間、装置本体10はターゲット20を追尾しており、ターゲット20が次の測定点に移動した状態で、ターゲット20の三次元座標を測定する。これを繰り返すことで対象物Wの三次元座標を測定することができる。
本実施形態に係る測定装置1は、撮像部30を備える。撮像部30は、測定者Uまたは測定者Uの近傍を撮像する。撮像部30は、測定者Uに装着されるヘッドマウントディスプレイ50に設けられていてもよいし、装置本体10に設けられていてもよい。また、ヘッドマウントディスプレイ50や装置本体10とは別体に設けられていてもよい。なお、本実施形態ではヘッドマウントディスプレイ50に撮像部30が設けられている例を説明する。
〔測定装置のブロック構成〕
次に、測定装置1のブロック構成について説明する。
図2は、本実施形態に係る測定装置の構成を例示するブロック図である。
測定装置1の測定制御部15は、演算部151、通信部152、角度制御部153、認識部154および光量制御部155を有する。演算部151は、レーザ光L2を受光した受光部12から出力される信号に基づき三次元座標を演算する。通信部152は、外部機器との間で無線または有線によって情報通信を行う。通信部152は、例えばヘッドマウントディスプレイ50との間で情報通信を行う。
角度制御部153は、駆動部13を制御して光源11の角度を制御する。角度制御部153は、演算部151から送られる信号に基づきターゲット20を追尾するための光源11の角度(レーザ光L1の出射角度)を調整するため、駆動部13の第1駆動部131および第2駆動部132のそれぞれに角度設定の信号を与える。
認識部154は、撮像部30で撮像して得た画像から測定者Uまたはターゲットを含む特定部分を認識する処理を行う。認識部154は、画像認識処理によって測定者Uまたはターゲットを含む特定部分を認識してもよいし、撮像部30で得た画像に基づき測定者Uまたはターゲットを含む特定部分の三次元座標を得るようにしてもよい。認識部154での認識処理については後述する。
光量制御部155は、光源11から出射されるレーザ光L1の光量を制御する。すなわち、光量制御部155は、所定の条件に基づいて光量制御のための信号を光源11へ送り、レーザ光L1の出射光量を制御する。
ヘッドマウントディスプレイ50は、表示部51、表示制御部52および通信部53を備える。本実施形態では、ヘッドマウントディスプレイ50に撮像部30が設けられる。表示部51は、撮像部30で撮像した画像や、測定制御部15から送られる情報、その他の各種の情報を表示する。表示制御部52は、表示部51を制御する。すなわち、表示部51へ情報を送り、表示する内容を制御する。通信部53は、外部機器との間で無線または有線によって情報通信を行う。通信部53は、例えば測定制御部15との間で情報通信を行う。
〔測定装置の動作〕
次に、本実施形態に係る測定装置1の動作について説明する。
図3は、本実施形態に係る測定装置の動作を例示するフローチャートである。
図4は、測定装置の動作を例示する模式図である。
先ず、図3のステップS101に示すように、追尾を開始する。すなわち、測定装置1の光源11からレーザ光L1を出射し、ターゲット20で反射するレーザ光L2を受光部12で受光する。演算部151によって受光信号を処理し、演算部151から角度制御部153に指示を与え、ターゲット20を追尾するよう光源11および受光部12の角度を連続的に制御する。
追尾状態では、測定者Uが把持しているターゲット20を移動させても、その移動に追従して光源11および受光部12の角度が制御され、ターゲット20に向けてレーザ光L1が照射され続ける。ターゲット20を追尾できている状態では、ターゲット20の三次元座標が常に演算されている。すなわち、ターゲット20で反射したレーザ光L2を受光部12で受けて、装置本体10からターゲット20までの距離と、光源11および受光部12の角度とに基づいてターゲット20の三次元座標が演算される。この演算は演算部151によって行われる。
次に、図3のステップS102に示すように、追尾できているか否かを判断する。追尾を維持している場合、ステップS103に示すように、ターゲット20が対象物Wの測定点にあるか否かを判断する。例えば、ターゲット20の位置が所定時間停止したタイミングで測定点にあると判断する。また、所定のトリガー信号が出されたタイミングで測定にあると判断してもよい。
ターゲット20が測定点にあると判断した場合、ステップS104に示すように、座標の決定を行う。すなわち、ターゲット20を追尾している状態ではターゲット20の三次元座標が常に演算されており、測定点にあると判断した場合、そのタイミングでの三次元座標が測定点の座標として決定される。
測定後、ステップS105に示すように、次の測定点があるか否かを判断する。次の測定点がある場合にはステップS102へ戻り、以降の処理を繰り返す。
ここで、このような測定を行っている間で、何らかの原因によってターゲット20の追尾が解除された場合、ステップS102の判断でNoとなる。図4には、追尾が解除された状態が示される。この場合、レーザ光L1の出射方向はターゲット20を追えず、光源11および受光部12の角度はその位置で止まったままとなる。これが、いわゆるロスト状態である。
追尾が解除された場合、ステップS106に示すように、撮像を行う。すなわち、撮像部30により測定者Uまたは測定者Uの近傍を撮像する。測定者Uが装着しているヘッドマウントディスプレイ50に撮像部30が設けられている場合、測定者Uは自らターゲット20やターゲット20を持つ手を見るようにして撮像してもよい。また、装置本体10に撮像部30が設けられている場合、装置本体10の撮像部30から測定者Uまたは測定者Uの近傍の画像を取り込む。
次に、ステップS107に示すように、認識を行う。認識部154は、撮像部30で撮像して得た画像から測定者Uまたはターゲットを含む特定部分を認識する処理を行う。図5(a)から(c)は、認識処理を例示する模式図である。図5(a)には、測定者Uが自らの手で持つターゲット20の画像を撮像した場合の認識処理が示される。この場合、ヘッドマウントディスプレイ50の撮像部30で撮影した画像は通信部53から測定制御部15の通信部152を介して装置本体10へ送られる。認識部154は、送信された画像からターゲット20の形状の特徴に基づき、ターゲット20の画像の領域A1を認識する。また、認識部154は、ヘッドマウントディスプレイ50から送られた画像やその他の情報(測距情報など)に基づき、領域A1の三次元座標を認識する。
図5(b)には、装置本体10または外部に設けられた撮像部30によって測定者Uまたは測定者Uの近傍を撮像した場合の認識処理が示される。この場合、撮像して得た画像から人物を認識する。
なお、複数の人物を認識した場合には、手にターゲット20を持っている人物を認識対象としてもよい。また、人物が特定の動作(特定のジェスチャ)をした場合にその動作を認識して、特定の動作を行った人物を認識対象とするようにしてもよい。
認識部154は、認識した人物の画像から顔の領域A2と、顔以外の領域A3(例えば、身体部分)を認識する。そして、認識部154は、撮像部30で撮像して得た画像やその他の情報(測距情報など)に基づき、領域A2およびA3の三次元座標を認識する。
図5(c)には、装置本体10または外部に設けられた撮像部30によって撮像した画像から、人物の輪郭を抽出する処理が示される。この場合、撮像して得た画像から人物の輪郭の領域A4を認識する。また、認識部154は、認識した人物の輪郭の領域A4から重心位置Gを認識する。そして、認識部154は、撮像部30で撮像して得た画像やその他の情報(測距情報など)に基づき、領域A4および重心位置Gの三次元座標を認識する。
次に、図3のステップS108に示すように、光源11の出射角度を調整する。すなわち、先のステップS107で認識した情報に基づいて、認識部154から角度制御部153に指示を与え、駆動部13を制御して光源11から出射されるレーザ光L1の方向を制御する。
例えば、図5(a)に示すターゲット20の領域A1を認識した場合、ターゲット20の三次元座標に向けてレーザ光L1を出射するように認識部154から角度制御部153に指示を与え、駆動部13によって光源11および受光部12の角度を調整する。
また、図5(b)に示す人物の領域A2およびA3を認識した場合、認識した領域A2およびA3の三次元座標に基づき光源11および受光部12の角度を調整する。この場合、安全のために顔の領域A2にレーザ光L1が出射されるような角度は避けて、身体部分の領域A3にレーザ光L1が出射されるような角度に調整することが好ましい。
また、人物の特定動作(特定のジェスチャ)を認識するようにすれば、測定者Uは、追尾が解除された際に、特定動作を行って自らの位置を認識部154に積極的に知らせて、自らに近い位置にレーザ光L1を出射するよう呼び込むことができる。
また、図5(c)に示す人物の輪郭の重心位置Gを認識した場合、認識した重心位置Gの三次元座標に向けてレーザ光L1を出射するように認識部154から角度制御部153に指示を与え、駆動部13によって光源11および受光部12の角度を調整する。
いずれの例においても、測定者Uおよびターゲット20の近傍にレーザ光L1が出射されるよう光源11および受光部12の角度が調整され、ターゲット20を容易に追尾可能な範囲にレーザ光L1の向きを自動調整できることになる。このように、測定者Uに近い位置やターゲット20の近傍にレーザ光L1が照射されるため、測定者Uは把持しているターゲット20を自らの近く少し動かすだけで、ターゲット20を追尾可能な範囲を簡単に探ることができる。
次に、図3のステップS102に戻り、追尾できているか否かを判断する。追尾できている場合にはステップS103からステップS105の測定を行う。追尾できていない場合には、ステップS106からステップS108を追尾状態が回復するまで繰り返す。
このような動作によって、ターゲット20の追尾が解除された際、画像から認識された測定者Uまたはターゲットを含む特定部分に向けてレーザ光L1を出射するよう出射角度が制御される。このため、測定者Uはターゲット20の追尾が解除された際に、追尾状態に復帰させようとしてレーザ光L1の位置を探し回る必要がなく、自らの近くにレーザ光L1が向けられて容易に追尾状態へ復帰できるようになる。
例えば、図5(a)に示すように、ターゲット20の位置を認識してレーザ光L1の出射方向を調整すれば、ターゲット20を多く移動させることなく追尾状態へ復帰できる。また、図5(b)および(b)に示すように、測定者Uの身体部分の領域A3や重心位置Gに向けてレーザ光L1の出射方向を調整すれば、測定者Uは自らの身体部分に照射されるレーザ光L1の位置を容易に把握でき、例えば自らの身体の中心辺りにターゲット20を移動させることで容易に追尾状態へ復帰できるようになる。
なお、追尾が解除された際、光量制御部155によって光源11の光量を低下させる制御を行ってもよい。すなわち、いわゆるロストが発生した段階で、光源11の光量を低下させることで、追尾状態に復帰するまでの間、無駄な光量でレーザ光L1を出射することを抑制することができる。
〔ガイド動作の例〕
次に、本実施形態に係る測定装置1でのガイド動作の例について説明する。
図6は、ガイド動作を例示するフローチャートである。
図7、図8(a)および(b)は、ガイド動作を例示する模式図である。
図6に示すステップS201からステップS208までの処理は、図3に示すステップS101からステップS108までの処理と同じのため、説明は省略する。
ターゲット20の追尾が解除され(ステップS202の判断でNo)、撮像部30により撮像(ステップS206)、認識処理(ステップS207)および光源11および受光部12の角度調整(ステップS208)を行った後、ステップS209に示すガイド表示を行う。すなわち、表示制御部52は、表示部51に表示する画像に、レーザ光L1をターゲット20に照射するためのガイド画像を重畳表示する制御を行う。ガイド画像の重畳表示の例は後述する。
次に、ステップS210に示すように、ターゲット20の位置合わせを行う。測定者Uは、表示部51に表示されたガイド画像を参考にしてターゲット20をレーザ光L1の照射位置に合わせるよう移動させる。これにより、ターゲット20の追尾状態へ復帰できることになる。
ここで、ステップS209に示すガイド画像の重畳表示の例について説明する。ガイド画像の重畳表示は、例えば拡張現実(AR:Augmented Reality)によって行われる。ヘッドマウントディスプレイ50の撮像部30が設けられており、撮像部30で撮像した現実空間の映像が表示部51に表示される。また、測定制御部15の認識部154は、撮像部30で撮像して得た画像やその他の情報(測距情報など)に基づきレーザ光L1の出射方向の情報を得ているとともに、ヘッドマウントディスプレイ50の表示部51に映し出される映像の座標情報および表示部51に映し出される物体の座標情報を得ている。これらの情報はヘッドマウントディスプレイ50の表示制御部52へ送られ、拡張現実によるガイド画像の表示が行われる。
図7に示す例では、レーザ光L1の光軸に対応したグラフィック画像CG1を、現実に映し出した映像に重ねて表示(重畳表示)する。測定者Uは、ヘッドマウントディスプレイ50の表示部51に表示される現実空間の映像に、レーザ光L1の光軸を示すグラフィック画像CG1が重なった状態を参照することができる。波長や使用環境などによってレーザ光L1の軌跡が見えにくいこともある。しかし、測定者Uは表示部51に表示される拡張現実によってレーザ光L1の光軸をグラフィック画像CG1として参照することができる。グラフィック画像CG1は、実際のレーザ光L1の光軸の位置と対応する表示部51上の位置に表示される。
拡張現実による表示では、測定者Uがヘッドマウントディスプレイ50の位置を移動(頭の向く方向を移動)することで実際の映像の移動とともに、グラフィック画像CG1の位置も連動することになる。測定者Uは、この光軸のグラフィック画像CG1に合わせるようターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
図8(a)に示す例では、ターゲット20の現実の映像にターゲット20を移動させる方向や角度をガイドするグラフィック画像CG2を重畳表示している。グラフィック画像CG2は、例えば矢印のような画像であり、ターゲット20の現実の映像の近傍に重ねて表示される。
すなわち、ヘッドマウントディスプレイ50の表示部51にターゲット20の映像が映し出されると、その映像の近傍にグラフィック画像CG2が重畳表示される。撮像部30でターゲット20の画像を撮像することで、認識部154はターゲット20の向き(リフレクターの方向)を認識しており、どの方向にターゲット20を向けるとレーザ光L1を受光できるかを把握している。
グラフィック画像CG2は、レーザ光L1を受光するために必要なターゲット20の移動方向を示すように表示される。したがって、測定者Uは、グラフィック画像CG2に従ってターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
図8(b)に示す例では、ターゲット20の現実の映像にターゲット20の受光範囲を示すグラフィック画像CG3を重畳表示している。グラフィック画像CG3は、ターゲット20の追尾を行うことが可能な受光範囲に対応した例えば円錐形の画像であり、ターゲット20の現実の受光範囲に重ねて表示される。
図8(a)に示す例と同様に、ヘッドマウントディスプレイ50の表示部51にターゲット20の映像が映し出されると、その映像の近傍にグラフィック画像CG3が表示される。撮像部30でターゲット20の画像を撮像することで、認識部154はターゲット20の向き(リフレクターの方向)を認識しており、認識したターゲット20の向きに基づいて受光範囲を把握している。
グラフィック画像CG3は、レーザ光L1を受光するために必要なターゲット20の受光範囲を示すように表示される。したがって、測定者Uは、グラフィック画像CG3に従ってターゲット20を移動すれば、容易に追尾状態へ復帰できるようになる。
以上説明したように、実施形態によれば、ターゲット20の追尾状態を逸脱した際に、測定者Uは簡単に追尾状態へ復帰させることが可能となる。これにより、対象物Wの三次元座標の測定の作業効率を向上させることが可能となる。
〔実施形態の変形〕
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、本実施形態ではターゲット20を測定者Uが把持して測定を行う例を説明したが、ターゲット20を多軸アームを持つ移動機構等の自走式ロボットに取り付けて測定を行う場合であっても適用可能である。また、ガイド表示におけるグラフィック画像の形状(図案)は上記説明の例に限定されない。また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。
1…測定装置
10…装置本体
11…光源
12…受光部
13…駆動部
15…測定制御部
20…ターゲット
30…撮像部
50…ヘッドマウントディスプレイ
51…表示部
52…表示制御部
53…通信部
131…第1駆動部
132…第2駆動部
151…演算部
152…通信部
153…角度制御部
154…認識部
155…光量制御部
A1〜A4…領域
CG1〜CG3…グラフィック画像
G…重心位置
L,L1,L2…レーザ光
U…測定者
W…対象物

Claims (9)

  1. ターゲットに向けて光線を出射して捕捉追尾し、ターゲットの三次元座標を測定する測定装置であって、
    光線を出射する光源と、
    移動する前記ターゲットを追尾するように前記光源から出射する前記光線の出射角度を制御する角度制御部と、
    前記ターゲットまたは前記ターゲットの近傍を撮像する撮像部と、
    前記撮像部で撮像した画像から前記ターゲットまたはターゲットを含む特定部分を認識する認識部と、
    を備え、
    前記角度制御部は、前記ターゲットの追尾が解除された際、前記認識部で認識した前記ターゲットまたは前記ターゲットを含む特定部分に向けて前記光線を出射するよう前記光線の出射角度を制御する、ことを特徴とする測定装置。
  2. 前記認識部は、前記画像から前記ターゲットを把持する測定者の顔部分を認識し、
    前記角度制御部は、前記認識部で認識した前記顔部分以外の位置に向けて前記光線を出射するよう前記光線の出射角度を制御する、ことを特徴とする請求項1記載の測定装置。
  3. 前記認識部は、前記画像から前記ターゲットを把持する測定者の輪郭領域を認識し、
    前記角度制御部は、前記認識部で認識した前記輪郭領域のうち特定位置に向けて前記光線を出射するよう前記光線の出射角度を制御する、ことを特徴とする請求項1記載の測定装置。
  4. 前記特定位置は、前記輪郭領域における重心位置の近傍である、ことを特徴とする請求項3記載の測定装置。
  5. 前記認識部は、前記特定部分として前記ターゲットを認識し、
    前記角度制御部は、前記認識部で認識した前記ターゲットの位置に向けて前記光線を出射するよう前記光線の出射角度を制御する、ことを特徴とする請求項1記載の測定装置。
  6. 前記認識部は、前記画像から特定動作を抽出して前記ターゲットを把持する測定者を認識する、ことを特徴とする請求項1記載の測定装置。
  7. 前記ターゲットの追尾が解除された際、前記光源から出射する前記光線の光量を低下させる光量調整部をさらに備えた、ことを特徴とする請求項1から5のいずれか1項に記載の測定装置。
  8. 前記ターゲットを把持する測定者に装着可能な表示部と、
    前記表示部に表示する情報を制御する表示制御部と、をさらに備え、
    前記表示制御部は、前記表示部に表示される前記ターゲットの画像の近傍に、前記光線を前記ターゲットに照射するためガイド画像を重畳表示する制御を行う、ことを特徴とする請求項1から7のいずれか1項に記載の測定装置。
  9. 前記表示制御部は、前記ガイド画像として前記ターゲットの受光方向および受光領域を示すオブジェクト画像を前記ターゲットの画像に重畳表示する制御を行う、ことを特徴とする請求項8記載の測定装置。
JP2019112011A 2019-06-17 2019-06-17 測定装置 Active JP7270477B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019112011A JP7270477B2 (ja) 2019-06-17 2019-06-17 測定装置
CN202010542000.XA CN112099041A (zh) 2019-06-17 2020-06-15 测量设备
US16/903,051 US11635293B2 (en) 2019-06-17 2020-06-16 Measuring apparatus
DE102020207453.4A DE102020207453A1 (de) 2019-06-17 2020-06-17 Messvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019112011A JP7270477B2 (ja) 2019-06-17 2019-06-17 測定装置

Publications (2)

Publication Number Publication Date
JP2020204515A true JP2020204515A (ja) 2020-12-24
JP7270477B2 JP7270477B2 (ja) 2023-05-10

Family

ID=73547117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019112011A Active JP7270477B2 (ja) 2019-06-17 2019-06-17 測定装置

Country Status (4)

Country Link
US (1) US11635293B2 (ja)
JP (1) JP7270477B2 (ja)
CN (1) CN112099041A (ja)
DE (1) DE102020207453A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114271795A (zh) * 2022-01-19 2022-04-05 天津朗原科技有限公司 一种打光装置及操作方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01246051A (ja) * 1988-03-28 1989-10-02 Okuma Mach Works Ltd 非接触式デジタイザ
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp 3次元虚像造形装置
JP2001356875A (ja) * 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
JP2002005661A (ja) * 2000-06-27 2002-01-09 Jekku:Kk 自動追尾式測設作業援助システム及び記録媒体
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2005147894A (ja) * 2003-11-17 2005-06-09 Canon Inc 計測方法、計測装置
JP2006258457A (ja) * 2005-03-15 2006-09-28 Omron Corp レーザスキャン装置
JP2011064609A (ja) * 2009-09-18 2011-03-31 Mitsutoyo Corp 干渉計
JP2016063394A (ja) * 2014-09-18 2016-04-25 日本電信電話株式会社 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP2019039892A (ja) * 2017-08-29 2019-03-14 株式会社トプコン 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
JP2019090770A (ja) * 2017-11-17 2019-06-13 株式会社トプコン 測量装置及び測量装置システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4621926A (en) * 1985-04-30 1986-11-11 Lasercon Corporation Interferometer system for controlling non-rectilinear movement of an object
US6757077B1 (en) * 2000-05-09 2004-06-29 Nikon Corporation Three-dimensional image making apparatus for forming a relief configuration of an object
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP4776454B2 (ja) 2005-07-26 2011-09-21 株式会社ミツトヨ 追尾式レーザ干渉計
EP1750085B1 (en) 2005-07-26 2013-07-31 Mitutoyo Corporation Laser tracking interferometer
JP5244339B2 (ja) * 2007-06-20 2013-07-24 株式会社ミツトヨ 追尾式レーザ干渉計および追尾式レーザ干渉計の復帰方法
US8187097B1 (en) * 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
JP2010054429A (ja) 2008-08-29 2010-03-11 Mitsutoyo Corp レーザトラッカ
JP5702524B2 (ja) * 2009-02-17 2015-04-15 株式会社ミツトヨ 追尾式レーザ干渉計
US8854426B2 (en) * 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9091535B2 (en) * 2012-05-22 2015-07-28 Korea Institute Of Industrial Technology 3D scanning system and method of obtaining 3D image
WO2015108587A2 (en) * 2013-10-22 2015-07-23 Flir Systems, Inc. System and method for detecting an object or recess on a surface
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
US20180129866A1 (en) * 2016-11-10 2018-05-10 Intel Corporation Meta illuminator

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01246051A (ja) * 1988-03-28 1989-10-02 Okuma Mach Works Ltd 非接触式デジタイザ
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp 3次元虚像造形装置
JP2001356875A (ja) * 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
JP2002005661A (ja) * 2000-06-27 2002-01-09 Jekku:Kk 自動追尾式測設作業援助システム及び記録媒体
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2005147894A (ja) * 2003-11-17 2005-06-09 Canon Inc 計測方法、計測装置
JP2006258457A (ja) * 2005-03-15 2006-09-28 Omron Corp レーザスキャン装置
JP2011064609A (ja) * 2009-09-18 2011-03-31 Mitsutoyo Corp 干渉計
JP2016063394A (ja) * 2014-09-18 2016-04-25 日本電信電話株式会社 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP2019039892A (ja) * 2017-08-29 2019-03-14 株式会社トプコン 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
JP2019090770A (ja) * 2017-11-17 2019-06-13 株式会社トプコン 測量装置及び測量装置システム

Also Published As

Publication number Publication date
DE102020207453A1 (de) 2020-12-17
CN112099041A (zh) 2020-12-18
US11635293B2 (en) 2023-04-25
JP7270477B2 (ja) 2023-05-10
US20200393237A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US10254404B2 (en) 3D measuring machine
US11597093B2 (en) Calibration method for laser processing robot
US7924441B1 (en) Fast and high-precision 3D tracking and position measurement with MEMS micromirrors
CN107735646B (zh) 形状测定装置以及形状测定方法
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
US20170343336A1 (en) Handheld measuring aid with a 3-axis joint connection and a spherical encoder
JP2021003794A (ja) ツールの作業位置のずれ量を取得する装置、及び方法
JP7270477B2 (ja) 測定装置
US20220252396A1 (en) Three-dimensional position measuring system, measuring method, and measuring marker
JP2020525956A (ja) コンピュータ媒介現実用の表示装置
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
US20110166560A1 (en) Skin care laser device
JP7408303B2 (ja) 測定装置
US11662432B2 (en) System and method for positioning of a laser projection system
US20220244392A1 (en) High resolution lidar scanning
KR102070535B1 (ko) 간섭 길이 측정에 의해 오브젝트의 공간적 위치를 결정하기 위한 장치 및 방법
JP2000326082A (ja) レーザ加工機
JP6343930B2 (ja) ロボットシステム、ロボット制御装置、及びロボット制御方法
JP2010270947A (ja) 誘導装置及び目標判定装置
KR101322782B1 (ko) 씨엠엠 탐침의 광학적 위치측정 장치
KR102415420B1 (ko) 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
US20070205985A1 (en) Method of using optical mouse scanning assembly for facilitating motion capture
EP4354079A1 (en) Position measurement device and position measurement method
JP5742052B2 (ja) 移動環境認識装置及び方法
EP4230171A1 (en) Three-dimensional medical image measuring device and medical image matching system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7270477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150