JP2016048239A - 物体の3d座標を測定するための方法および装置 - Google Patents

物体の3d座標を測定するための方法および装置 Download PDF

Info

Publication number
JP2016048239A
JP2016048239A JP2015167617A JP2015167617A JP2016048239A JP 2016048239 A JP2016048239 A JP 2016048239A JP 2015167617 A JP2015167617 A JP 2015167617A JP 2015167617 A JP2015167617 A JP 2015167617A JP 2016048239 A JP2016048239 A JP 2016048239A
Authority
JP
Japan
Prior art keywords
data
measuring
coordinates
camera
data glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015167617A
Other languages
English (en)
Other versions
JP6653143B2 (ja
Inventor
フレイ アレキサンダー
Alexander Frey
フレイ アレキサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Steinbichler Optotechnik GmbH
Original Assignee
Steinbichler Optotechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Steinbichler Optotechnik GmbH filed Critical Steinbichler Optotechnik GmbH
Publication of JP2016048239A publication Critical patent/JP2016048239A/ja
Application granted granted Critical
Publication of JP6653143B2 publication Critical patent/JP6653143B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/58Wireless transmission of information between a sensor or probe and a control or evaluation unit
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】物体の3D座標を測定するための方法および装置を提供する。
【解決手段】物体(1)の3D座標を測定するための方法の場合、物体(1)の一部表面が3D測定器(2)によって撮影され、物体(1)のこの一部表面の3D座標が測定される。物体(1)の他の一部表面が3D測定器(2)によって撮影され、この一部表面の3D座標が測定される。物体(1)の一部表面の3D座標が処理装置(3)によって合成される。この方法を改良するために、物体(1)の1つまたは複数の一部表面の写真および/または3D座標が、データメガネ(4)に表示される。
【選択図】図1

Description

本発明は、物体の3D座標を測定するための方法と、物体の3D座標を測定する装置を較正するための方法と、このような方法を実施するための装置に関する。
特許文献1から、物体の表面の3D座標を測定するための方法が知られている。この方法の場合には、物体の一部表面の3D座標が3D測定器によって測定される。この3D測定器は検出器を備え、この検出器の位置は追跡システムによって測定される。3D測定器によって、物体の他の一部表面の3D座標が測定される。物体の一部表面の3D座標は処理装置によって合成される。
特許文献2から、物体の3D座標を測定するための方法が知られている。この方法の場合には、物体が基準マークを有する複数の基準リンクによって取り囲まれている。その都度物体の一部と基準リンクの一部が含まれるように、物体の複数の写真が撮影される。
特許文献3は、物体の表面の3D座標を測定するための方法を開示している。この方法の場合には、物体データを得るために、物体の表面がスキャナによって走査される。位置データを得るために、例えば追跡システムによって、スキャナの位置と向きが測定される。
特許文献4から、物体の3D座標を測定するための方法が知られている。この方法の場合には、物体は基準マークの領域の前に位置決めされる。物体は装置によって撮影される。この装置はパターンを物体に投影するためのプロジェクタと、このプロジェクタに連結されたカメラとを備えている。基準マークの領域の1個または複数の基準マークが1個または複数の基準カメラによって撮影される。
特許文献5から、物体の3D座標を測定するための方法が知られている。この方法の場合には、パターンが物体に投影され、物体から反射した光がカメラによって撮影され、そしてカメラによって撮影された写真が評価される。さらに、物体上または物体の隣の基準マークが基準カメラによって撮影される。この場合、基準カメラはカメラよりも大きな視野を有する。
独国特許第102005043912B4号明細書 独国特許出願公開第102009032262A1号明細書 独国特許出願公開第102010018979A1号明細書 独国特許出願公開第102011011360A1号明細書 独国特許出願公開第102011114674A1号明細書
本発明の課題は、冒頭に記載した種類の改良された方法と改良された装置を提供することである。
この課題は本発明に従い、物体の3D座標を測定するための方法において、請求項1の特徴によって解決される。この方法において、物体の一部表面が3D測定器によって撮影され、物体のこの一部表面の3D座標が測定される。続いて、物体の一つまたは複数の他の一部表面が3D測定器によって撮影され、この一部表面の3D座標が測定される。写真は立像の形にあるいはビデオ写真として撮影可能である。物体の一部表面の3D座標は処理装置によって合成される。一部表面の3D座標の合成は上位の(絶対的な)座標系で行うことができる。
本発明では、物体の1つまたは複数の一部表面の写真および/または3D座標が、データメガネに表示される。データメガネは操作人によって持ち運び可能である。写真は立像の形にまたはビデオ写真として表示可能である。写真が立像としておよび/またはビデオ写真および/または3D座標としてデータメガネで再生させられることにより、操作人にとって方法の取り扱いが容易になる。
データメガネは、物体の3D座標を測定するための方法および装置との、改善された新規な相互作用を可能にする。利点は、3D測定器の位置決めのため、データ呼出しのためおよび/または方法または装置の制御のために、操作人の手を自由に使えることにある。データメガネは少なくとも1個のディスプレイを備えることができ、このディスプレイを介して操作人のための情報を表示することができる。操作人は勿論、バーチャルリアリティメガネと比べて、環境をさらに感じることができる。なぜなら、データメガネのディスプレイが視野の一部しか覆わずおよび/または半透明であるからである。
データメガネは画像またはビデオを撮影可能なカメラを備えることができる。この画像またはビデオは評価可能であり、そして好ましくは他のデータと重ねて、データメガネのディスプレイに表示することができる。この方法は「補強されたリアリティ」とも呼ばれる。データメガネの操作は、データメガネのフレームに配置可能なキーまたはタッチセンサを介しておよび/またはデータメガネに設けられたマイクロホンによって行うことができる音声入力を介して行うことができる。他の機器、例えば腕時計(スマートウォッチ)および/または遠隔操作装置と組み合わせることも可能である。データをデータメガネからおよび/またはデータメガネへ伝送することができ、特に無線で、とりわけWLANで伝送することができる。処理装置、特にPCおよび/またはデータの評価を行うことができるインターネットのサーバとデータ交換を行うことができる。
有利な発展形態が従属請求項に記載されている。
3D測定器が物体にパターンを投影するためのプロジェクタと、物体の画像を撮影するためのカメラを備えていると有利である。カメラは2個以上設けることができる。パターンは縞パターンだと有利である。パターンは白い光のパターンとして、特に白い光の縞パターンとして、物体に投影可能である。プロジェクタとカメラが互いに固定連結されていると有利である。プロジェクタとカメラによって形成されたユニットは3Dセンサとも呼ばれる。
他の有利な発展形態では、基準マークが撮影される。基準マークは、物体の画像も撮影するカメラによって撮影可能である。基準マークの撮影のために、それとは別個のカメラを設けることができる。別個のカメラは好ましくはプロジェクタとカメラにまたは3Dセンサに固定連結されている。基準マークは物体上に設けることができる。基準マークは勿論、物体上にまたは物体の隣に取り付けることができる。
他の有利な発展形態では、カメラまたは3Dセンサの位置と向きが追跡システムによって測定される。
他の有利な発展形態は、3D測定器がスキャナを備え、このスキャナの位置と向きが追跡システムによって測定されることを特徴とする。スキャナは点スキャナまたは線スキャナまたは面スキャナまたは接触スキャナ(タッチプローブ)であってもよい。スキャナは追跡システムによって認識可能な検出器、特に赤外線検出器を備えることができる。
他の有利な発展形態では、3D測定器が探触子を備え、この探触子の位置が追跡システムによって測定される。探触子は好ましくはタッチプローブとも呼ばれる測定プローブに設けられている。探触子としては特に探触球が適しているが、他の形の探触子でもよい。
他の有利な発展形態は、3D測定器が写真測量カメラを備えていることと、物体におよび/またはその周囲に測定マークが取り付けられていることを特徴とする。物体に測定マークを貼ることもできる。測定マークは勿論、他の方法で取り付けおよび/または投影することができる。その代わりにまたはそれに加えて、測定マークを物体の周囲に、特にフレームおよび/または枠縁に取り付けることができる。
本発明はさらに、物体の3D座標を測定する装置を較正するためあるいは装置の較正を検査するための方法に関する。物体の3D座標を測定する装置は、物体にパターンを投影するためのプロジェクタと、物体の画像を撮影するためのカメラとを有する3D測定器を備えている。3Dセンサとも呼ぶことができる3D測定器は較正プレートを第1の位置から撮影する。3D測定器は1つまたは複数の他の位置から較正プレートを撮影することができる。本発明に従い、写真および/または1つまたは複数の他の写真がデータメガネに表示される。1つまたは複数の他の写真は1つまたは複数の他の位置から撮影可能である。この他の位置では、較正プレートと相対的な3D測定器の位置決めが変更されている。これは、3D測定器および/または較正プレートを動かすことによって行うことができる。
3D測定器は上述のように形成可能である。データメガネへの表示は上述した特徴を有することができる。
データメガネが処理装置または上記処理装置、特にPCからデータを受信するためのデータ受信装置を備えていると有利である。データ受信装置は特にWLANモジュールである。
他の有利な発展形態では、データメガネがデータを処理装置または上記処理装置、特にPCに伝送するためのデータ伝送装置を備えている。処理装置はそれからデータメガネがデータを受信する処理装置であるかまたは別個の処理装置である。処理装置はマイクロホンおよび/またはタッチパネルおよび/またはWLANモジュールを備えることができる。
データメガネには他のデータを表示することができる。このデータは好ましくはデータメガネに伝送される。特に、操作人によって利用されるデータである。データは3D測定器の位置、追跡システムの測定容積と測定範囲および/またはカメラの露出調節を含むことができる。
データメガネからデータが伝送されると有利である。このデータは特に音声指令、測定パラメータ、カメラの露出時間、カメラの露出値および/または測定を開始するための指令である。
物体の3D座標を測定するための本発明に係る方法を実施するための装置の場合、本発明の根底をなす課題は、請求項11の特徴によって解決される。本発明に係る装置は、物体の一部表面を撮影するためおよび物体のこの一部表面の3D座標を測定するための3D測定器と、物体の一部表面の3D座標を合成するための処理装置、特にPCと、物体の1つまたは複数の一部表面の写真および/または3D座標を表示するためのデータメガネとを備えている。
物体の3D座標を測定する装置を較正するための本発明に係る方法を実施するための装置の場合、本発明の根底をなす課題は、請求項12の特徴によって解決される。本発明に係る装置は、物体にパターンを投影するためのプロジェクタと物体の画像を撮影するためのカメラとを有する3D測定器を備えている。装置はさらに、較正プレートと、カメラの1枚または複数枚の写真を表示するためのデータメガネとを備えている。
本発明に係る装置の有利な発展形態は他の従属請求項に記載されている。
次に、添付の図に基づいて、本発明の実施の形態を詳細に説明する。
プロジェクタとカメラを含む3D測定器と、データメガネとを備えた、物体の3D座標を測定するための装置を示す。 スキャナと追跡システムとデータメガネとを備えた、物体の3D座標を測定するための装置を示す。 探触子を設けた測定プローブと追跡システムとデータメガネとを備えた、物体の3D座標を測定するための装置を示す。 写真測量カメラとデータメガネを備えた、物体の3D座標を測定するための装置を示す。 プロジェクタとカメラを有する3D測定器とデータメガネとを備えた、物体の3D座標を測定するための装置を較正するための装置を示す。
図1に示した、物体1の3D座標を測定するための装置は、3D測定器2と処理装置3とデータメガネ4を備えている。3D測定器2は3Dセンサとして形成されている。3D測定器はパターンを物体1に投影するためのプロジェクタ5と、物体1の画像を撮影するためのカメラ6を備えている。プロジェクタ5は縞パターンを白い光で物体1に投影する。
処理装置3はディスプレイ8を有するコンピュータ、すなわちPC(パーソナルコンピュータ)7を備えている。
データメガネ4はディスプレイ9とデータ受信装置10とデータ伝送装置11と他のデータ伝送装置12とマイクロホン13とを備えている。ディスプレイ9はガラス製または他の材料、特に合成樹脂製の透明な板として形成されている。このディスプレイは操作人の目の前にある。データ受信装置10とデータ伝送装置11はデータメガネ4の一方のつるに配置されている。このデータ受信装置とデータ伝送装置はWLAN(無線ローカルエリアネットワーク)モジュールによって形成されている。他のデータ伝送装置12はデータメガネ4の他方のつるに設けられている。このデータ伝送装置はタッチパネルとして形成されている。同様にデータ伝送装置としての働きをするマイクロホン13は、データメガネ4のつるの前端に配置されている。
物体1の3D座標を測定するためには、物体1の異なる複数の写真を撮影する必要がある。そのために、3D測定器2と物体1を相対的に動かさなければならない。先ず、物体1の第1の一部表面が撮影される。その後、物体1に対する3D測定器2の相対的位置が変更され、そして物体1が3D測定器2のカメラ6によって他の視点位置から撮影される。物体1の写真はオーバーラップ可能である。
運転の際、物体1の写真をデータメガネ4に表示することができ、特に最初の写真を表示することができる。操作人は、物体1の写真が正しい位置のものであるかどうかを検査することができ、そして必要時にはこの位置を変更することができる。これは迅速かつ簡単に行うことができる。なぜなら、操作人がデータメガネ4のディスプレイ9で写真を見ることができ、処理装置3のディスプレイ8を必要としないからである。すなわち、操作人は、ディスプレイ8に到達するためにその位置を変える必要がない。操作人は特に、3D測定器2の位置を調整するためにカメラ6の写真をディスプレイ8でチェックする必要がない。
3D測定器2を調整する際、例えばカメラ6の露出時間のような他のパラメータを調節することができる。3D測定器2が正しく位置決めされているときには、測定を開始することができる。物体1の一部表面が撮影され、物体1の一部表面の3D座標が測定される。
続いて、3D測定器2が物体1に対して新しい視点位置に位置決めされる。その際、最初のまたは前の物体1の一部表面の写真および/または3D座標をデータメガネ4に表示することができる。これにより、3D測定器2の位置決めが操作人にとって容易になる。操作人は特に、新たに撮影される写真が先行する写真と部分的にオーバーラップするように、3D測定器2を位置決めすることができる。
物体の一部表面の3D座標は処理装置3によって合成され、グローバル座標系に移行させられる。その際、物体1の次の撮影を行う前に、3D座標の質をチェックすることができる。
データメガネ4はカメラ6の生の画像をディスプレイ9に表示することができる。さらに、測定パラメータを表示することもできる。例えばマイクロホン13によって受信および伝送される音声指令を介して、測定を開始することができる。それによって、操作人は、PC7またはそのディスプレイ8を見ないで、3D測定器2および/または物体1を最適に配置して測定を開始することができる。
測定後、3Dデータと向きの質を処理および/または表示することができる。同様に、この質をデータメガネ4のディスプレイ9に表示することができる。操作人は、物体1が完全に検知されたときに初めて、PC7またはそのディスプレイ8を見るに違いない。
図1の実施の形態によって、次の方法を実施することができる。3D測定器2による物体1の測定中に、操作人は3Dセンサ2および/または物体1を動かさなければならない。それによって、物体1を異なる視点から撮影することができ、かつ物体1の全体の3Dデータを合成することができる。3D測定器2のカメラ6の生のカメラ画像はPC7によって検知され、WLANを経てデータメガネ4のディスプレイ9に伝送される。さらに、3Dセンサ2の現在位置と測定容積と他の状況情報をディスプレイ9に表示することができる。それによって、操作人は、どの一部表面が検出可能であるかおよび/または例えばカメラ6の露出調節が正しいかどうかを判断することができる。
操作人は、マイクロホン13から伝送される音声指令を介してあるいはデータメガネ4のタッチパネル12を介して、測定パラメータ、例えば露出時間を調節し、測定を開始することができる。指令はWLANでデータメガネ4からPC7に伝送される。
PC7は3D測定を行う。その際、プロジェクタ5によっていろいろなパターンが物体1に投影される。カメラ6がこのパターンを検知する。この検知されたパターンから、PC7は3Dデータを計算する。測定の後で、PC7は3Dデータと3Dセンサ2の向きの質を分析し、その結果をデータメガネ4のディスプレイ9に表示する。
操作人は、例えばマイクロホン13を経て伝送される音声指令を介してまたはタッチパネル12を介して、測定を確認することができる。それによって、PC7はこの3Dデータを既に検出した3Dデータに加える。このステップは自動的に行うことができる。そして、操作人は、物体1の他の一部表面を検出することを続行する。この過程は、物体1が完全に検出されるまで繰り返される。そして初めて、操作人はPC7を再び見るに違いない。
図2の実施の形態の場合、一致する部分には同じ参照符号が付けてあり、新たに説明しない。3D測定器2はスキャナ14と追跡システム15を備えている。スキャナ14はラインスキャナとして形成されている。スキャナはレーザライン16を物体1に投影する走査装置と、物体1に投影されたレーザライン16とその周囲を含めて物体1を撮影するカメラ6とを備えている。スキャナ14はさらに、把手17を備えた手持ち形スキャナとして形成されている。
追跡システム15は3個のカメラ18を備えている。スキャナ14には、カメラ18によって検知可能な複数の検出器が配置されている(図には示していない)。これにより、追跡システム15はスキャナ14の位置と方向を測定する。
運転中、スキャナ14によって、物体1の一部表面の撮影が行われる。これは、レーザライン16が物体1の一部表面上を通過することによって行うことができる。それまで撮影された物体1の一部表面をデータメガネ4のディスプレイ9に表示することができる。これにより、操作人は、物体1のどの一部表面が既に撮影されたかおよび物体1のどの一部表面をまだ撮影しなければならないかを知らされる。
物体1の撮影を開始および/または終了させることができるスイッチを、スキャナ14、特にその把手17に設けることができる(図に示していない)。データメガネ4のディスプレイ9に、追跡システム15の測定容積を表示することができる。これにより、操作人は、スキャナ14が追跡システム15の測定容積内に確実に存在するようにすることができる。物体1を完全に検知するためには、追跡システム15を物体1と相対的に他の個所に位置決めする必要がある。追跡システム15のこの位置変更も、データメガネ4のディスプレイ9上での表示によってチェックすることができる。
図2の実施の形態によって、次の方法を実施することができる。3D測定器2による物体1の測定中、操作人はスキャナ14および/または物体1を動かさなければならない。それによって、物体1を異なる視点から撮影することができ、かつ物体1の全体の3Dデータを合成することができる。通常は、操作人の手によってスキャナ14が案内され、その際データを共通の座標系に移行させることができるようにするために、スキャナは定置された追跡システム15によって検出される。
スキャナ14のカメラ6の画像はPC7によって検知される。さらに、追跡システム15によって検出されたスキャナ14の現在位置がPC7によって検知される。スキャナ14のカメラ6の画像および/またはスキャナ14の現在位置はWLANを経てデータメガネ4のディスプレイ9に伝送および表示可能である。さらに、他の状況情報、特にスキャナ14が追跡システム15の有効測定容積内にあるかどうかの情報を表示することができる。
操作人は、マイクロホン13を経て伝送される音声指令を介してまたはデータメガネ4のタッチパネル12を介して、測定パラメータ、例えばスキャナ14の走査速度を調節することができ、かつ測定を開始することができる。指令はWLANでデータメガネ4からPC7に伝送される。
PC7は、スキャナ14と追跡システム15のデータから3Dデータを計算し、この3Dデータを、それまで検出計算された3Dデータに付け加える。走査中、検出された3Dデータに関する情報をデータメガネ4のディスプレイ9に表示することができる。それによって、操作人は、物体1のどの一部表面を検出可能であるかおよび/またはスキャナ14の調節、特にその露出調節が正しいかどうかを判断することができる。測定の後で、PC7は3Dデータとスキャナ14の調整の質を分析し、その結果をデータメガネ4のディスプレイ9に表示することができる。
操作人は、例えばマイクロホン13を経て伝送される音声指令を介してまたはタッチパネル12を介して、測定を確認することができる。それによって、PC7はこの3Dデータを既に検出した3Dデータに加える。このステップは自動的に行うことができる。そして、操作人は、物体1の他の一部表面を検出することを続行する。この過程は、物体1が完全に検出されるまで繰り返される。そして初めて、操作人はPC7を再び見るに違いない。
図3の実施の形態の場合、一致する部分には同じ参照符号が付けてあるので、新たに説明する必要がない。3D測定器2はタッチプローブとも呼ばれる測定プローブ19と、追跡システム15とを備えている。測定プローブ19には、探触球として形成された探触子20が設けられている。測定プローブ19にはさらに検出器が配置されている。この検出器は追跡システム15のカメラ18によって検出可能であるので、追跡システム15は測定プローブ19の位置と向きを測定することができる。測定プローブ19は把手を備えた手持ち形測定プローブ19として形成可能である。その代わりにあるいはそれに追加して、測定プローブは他の方法で、例えば取り扱い操作装置によって、特に工業ロボットによって案内することも可能である。
運転中、物体1の表面が探触子20によって走査される。探触子20と物体1は相対的に動かされる。探触子20が物体1の表面に接触するときに、測定を開始することができる。これは自動的に行うことができる。その代わりにまたはそれに加えて、手動で、特に操作人がスイッチまたは押しボタンを操作することによって行うことができる。このスイッチまたは押しボタンは測定プローブ19におよび/または他の個所、特にデータメガネ4に設けることができる。開始は他の方法で、例えばマイクロホン13を経て伝送される音声指令を介してあるいはタッチパネル12を介して行うこともできる。
データメガネ4のディスプレイ9には、物体1の表面の測定された個所を表示することができる。これにより、操作人は、許容される測定個所が検知されているかどうかおよび/または他のどの測定個所を検知しなければならないかを確認することができる。
図3の実施の形態によって、次の方法を実施することができる。3D測定器2による物体1の測定中、操作人は探触子20および/または物体1を動かさなければならない。それによって、探触子20が物体1の表面の異なる個所に接触するので、いろいろな測定個所から、物体1の必要な3Dデータを合成することができる。通常は、操作人の手によって探触子20が案内され、その際データを共通の座標系に移行させることができるようにするために、探触子が定置された追跡システム15によって検出される。
探触子20の現在位置はPC7によって計算される。探触子の現在位置はWLANを経てデータメガネ4のディスプレイ9に伝送および表示可能である。さらに、他の状況情報、特に探触子20が追跡システム15の有効測定容積内にあるかどうかの情報を表示することができる。
操作人は、マイクロホン13から伝送される音声指令を介してまたはデータメガネ4のタッチパネル12を介して、測定パラメータ、例えば探触子20の特性を調節することができる。指令はWLANでデータメガネ4からPC7に伝送される。個所の検出は同様にデータメガネ4を介してあるいは測定プローブ19のスイッチによって開始することができる。データメガネ4を介して個所の検出を開始することが有利である。それによって、探触子20は個所検出の際に測定プローブ19のスイッチを押すことによって誤って移動させられることがない。
PC7は、探触子20と追跡システム15のデータから3Dデータを計算し、この3Dデータを、既に検出計算された3Dデータに付け加える。個所検出中、検出された3Dデータに関する情報をデータメガネ4のディスプレイ9に表示することができる。それによって、操作人は、物体のどの一部表面が既に検出されたかおよび/または検出しなければならないかを判断することができる。操作された幾何学要素の特性、例えば穴の直径を、データメガネ4のディスプレイ9に表示することができる。操作人は他の測定を続行することができる。操作人は物体1の完全検出の後で初めて、PC7またはそのディスプレイ8を見るに違いない。
図4の実施の形態の場合、一致する部分には同じ参照符号が付けてあり、新たに説明しない。3D測定器2は写真測量カメラ21を備えている。物体1には測定マーク22が取り付けられている。測定マーク22は符号化可能である。その際、測定マーク22自体を符号化することができる。その代わりにまたはそれに加えて、測定マークをその配置によって符号化することができる。
運転中、写真測量カメラ21は物体1の一部表面を、その上にある測定マーク22と共に撮影する。それまで撮影された物体1の一部表面をデータメガネ4のディスプレイ9に表示することができる。これにより、操作人は、物体1のどの一部表面が既に撮影されたのかおよび物体1のどの一部表面を撮影しなければならないのかを知らされる。
写真測量カメラ21にはレリーズボタンが設けられている。このレリーズボタンによって、物体1の撮影を開始することができる。
図4の実施の形態によって次の方法を実施することができる。写真測量カメラ21による物体1の測定中に、操作人は写真測量カメラ21および/または物体1を動かさなければならない。それによって、物体1がいろいろな視点から撮影可能であり、物体1の全体の3Dデータを合成することができる。通常は、物体1または適当なフレームに測定マーク22が貼られている。この測定マークの位置が3D点リストとして計算される。
写真測量カメラ21の画像は無線でPC7に送ることが可能である。PCはこの画像から3D点リストを計算する。この3D点はWLANを経てデータメガネ4のディスプレイ9に伝送されて表示される。加えて、他の状況情報、特に3D点の質および/または物体1のどの範囲を撮影しなければならないかおよび/または写真測量カメラ21の露出調節が正しいかどうかの情報を表示することができる。
データメガネ4には他のカメラ23が設けられている。カメラ23はデータメガネ4のつるの前端に配置されている。操作人はカメラ23によって1枚または複数枚の他の画像を撮影することができる。画像の撮影はマイクロホン13から伝送される音声指令を介してあるいはデータメガネ4のタッチパネル12を介して開始することができる。この画像は例えばWLANで同様にPC7に伝送可能である。これは続けて行うこともできる。これにより、ライブビデオを発生および表示することができる。
PC7はカメラ23の画像から、3D点リストに対するデータメガネ4の現在位置を計算する。この位置はデータメガネ4のディスプレイ9に伝送して、そこで表示することが可能である。それによって、操作人は特に、物体1のどの範囲において写真測量カメラ21の付加的な画像が必要であるかを判断することができる。この過程は、物体1が完全に検出されるまで繰り返される。完全に検出されたときに初めて、操作人はPC7またはそのディスプレイ8を見るに違いない。
図5の実施の形態の場合、一致する部分には同じ参照符号が付けてあるので、新たに説明する必要はない。図5は物体の3D座標を測定する装置を較正するための方法を実施するための装置を示している。この装置は3D測定器2と較正プレート24とデータメガネ4を備えている。3D測定器は図1の実施の形態の場合のように、3Dセンサとして形成されている。較正プレート24には測定マーク25が取り付けられている。
運転中、操作人は3Dセンサ2および/または較正プレート24を動かす。それによって、較正プレート24への所定の異なる視点から、システムの較正を計算することができる。これは、後続の測定の際に絶対に正確な3Dデータを発生し得るようにするために有利であるかまたは必要である。
3Dセンサ2のライブカメラ画像はPC7によって検出され、WLANを経てデータメガネ4のディスプレイ9に伝送される。ディスプレイ9には次の測定位置も表示することができる。付加的に、他の状況情報を表示することができる。それによって、使用者は例えば、3Dセンサ2のカメラ6の露出調節が正しいかどうかを判断することができる。
操作人は測定パラメータ、特に露出時間を調節する。これはマイクロホン13によって録音される音声指令を介しておよび/またはデータメガネ4のタッチパネル12を介して行うことができる。続いて、上述のように、測定を開示することができる。指令はWLANでデータメガネ4からPC7に伝送される。
制御PC7は較正測定を実施する。その際、3Dセンサのプロジェクタ5によって、いろいろなパターンが較正プレート24に投影される。このパターンを3Dセンサ2のカメラ6が検出する。それに基づいて、PC7は較正データを計算する。測定の後で、PC7はデータの質を分析し、その結果をデータメガネ4のディスプレイ9に表示する。
操作人は測定を確認することができる。これはマイクロホン13で音声指令を介してまたはタッチパネル12を介して行うことができる。この確認によって、PC7は較正データを受け取る。このステップは勿論自動的に行うことができる。
続いて、操作人は新たに3Dセンサ2および/または較正プレート24を動かし、上記方法を新たに実施する。操作人は、すべての較正測定が実施されたときに初めて、PC7またはそのディスプレイ8を見るに違いない。PC7はそれからセンサ較正を自動的に計算する。
1 物体
2 3D測定器
3 処理装置
4 データメガネ

Claims (19)

  1. 物体(1)の3D座標を測定するための方法であって、
    前記物体(1)の一部表面が3D測定器(2)によって撮影され、この一部表面の3D座標が測定され、
    前記物体(1)の他の一部表面が前記3D測定器(2)によって撮影され、この一部表面の3D座標が測定され、
    前記物体(1)の前記一部表面の前記3D座標が処理装置(3)によって合成される、
    上記方法において、
    前記物体(1)の1つまたは複数の一部表面の写真および/または3D座標が、データメガネ(4)に表示されることを特徴とする方法。
  2. 前記3D測定器(2)が、前記物体(1)にパターンを投影するためのプロジェクタ(5)と、前記物体(1)の画像を撮影するためのカメラ(6)と、を備えていることを特徴とする請求項1に記載の方法。
  3. 1個または複数の前記カメラ(6)が基準マークを撮影することを特徴とする請求項2に記載の方法。
  4. 前記カメラ(6)の位置と向きが追跡システム(15)によって測定されることを特徴とする請求項2または3に記載の方法。
  5. 前記3D測定器がスキャナ(14)を備え、このスキャナの位置と向きが追跡システム(15)によって測定されることを特徴とする請求項1〜4のいずれか一項に記載の方法。
  6. 前記3D測定器(2)が探触子(20)を備え、この探触子の位置が追跡システム(15)によって測定されることを特徴とする請求項1〜5のいずれか一項に記載の方法。
  7. 前記3D測定器(2)が写真測量カメラ(21)を備えていることと、前記物体(1)におよび/またはその周囲に測定マーク(22)が取り付けられていることを特徴とする請求項1〜6のいずれか一項に記載の方法。
  8. 物体(1)にパターンを投影するためのプロジェクタ(5)と、前記物体(1)の画像を撮影するためのカメラ(6)とを有する3D測定器(2)を備え、
    前記3D測定器(2)が較正プレート(24)を1つまたは複数の位置から撮影する、前記物体(1)の3D座標を測定する装置を較正するためあるいは装置の較正を検査するための方法において、
    写真および/または1つまたは複数の他の写真がデータメガネ(4)に表示されることを特徴とする方法。
  9. 前記データメガネ(4)が処理装置または前記処理装置(3)からデータを受信するためのデータ受信装置(10)を備えていることおよび/または前記データメガネ(4)がデータを処理装置または前記処理装置(3)に伝送するためのデータ伝送装置(11、12、13)を備えていることを特徴とする請求項1〜8のいずれか一項に記載の方法。
  10. 前記データメガネ(4)に他のデータが表示されることを特徴とする請求項1〜9のいずれか一項に記載の方法。
  11. 物体(1)の一部表面を撮影するためおよび前記物体(1)のこの一部表面の3D座標を測定するための3D測定器(2)と、
    前記物体(1)の前記一部表面の前記3D座標を合成するための処理装置(3)と、
    前記物体(1)の1つまたは複数の一部表面の写真および/または3D座標を表示するためのデータメガネ(4)と、を備えている、
    請求項1〜10のいずれか一項に記載の方法を実施するための装置。
  12. 物体(1)にパターンを投影するためのプロジェクタ(5)と前記物体(1)の画像を撮影するためのカメラ(6)とを備えた3D測定器(2)と、
    較正プレート(24)と、
    データメガネ(4)と、を備えている、
    請求項8に記載の方法を実施するための装置。
  13. 前記3D測定器(2)が前記物体(1)にパターンを投影するためのプロジェクタ(5)と、前記物体(1)の画像を撮影するためのカメラ(6)とを備えていることを特徴とする請求項11または12に記載の装置。
  14. 1個または複数の前記カメラ(6)が基準マークを撮影することを特徴とする請求項13に記載の装置。
  15. 前記カメラ(6)の位置と向きを測定するための追跡システム(15)を備えていることを特徴とする請求項13または14に記載の装置。
  16. スキャナ(14)と、このスキャナ(14)の位置と向きを測定するための追跡システム(15)を備えていることを特徴とする請求項11〜15のいずれか一項に記載の装置。
  17. 探触子(20)と追跡システム(15)を備えていることを特徴とする請求項11〜16のいずれか一項に記載の装置。
  18. 写真測量カメラ(21)を備えていることを特徴とする請求項11〜17のいずれか一項に記載の装置。
  19. 前記データメガネ(4)が処理装置または前記処理装置(3)からデータを受信するためのデータ受信装置(10)を備えていることおよび/または前記データメガネ(4)がデータを処理装置または前記処理装置(3)に伝送するためのデータ伝送装置(11、12、13)を備えていることを特徴とする請求項11〜18のいずれか一項に記載の装置。
JP2015167617A 2014-08-27 2015-08-27 物体の3d座標を測定するための方法および装置 Expired - Fee Related JP6653143B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014012710.9A DE102014012710A1 (de) 2014-08-27 2014-08-27 Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
DE102014012710.9 2014-08-27

Publications (2)

Publication Number Publication Date
JP2016048239A true JP2016048239A (ja) 2016-04-07
JP6653143B2 JP6653143B2 (ja) 2020-02-26

Family

ID=54140206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015167617A Expired - Fee Related JP6653143B2 (ja) 2014-08-27 2015-08-27 物体の3d座標を測定するための方法および装置

Country Status (4)

Country Link
US (1) US10502554B2 (ja)
EP (1) EP2998694B1 (ja)
JP (1) JP6653143B2 (ja)
DE (1) DE102014012710A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435023A1 (en) * 2017-07-28 2019-01-30 Faro Technologies, Inc. Three-dimensional measurement device mobile geometry verification
JP2021051031A (ja) * 2019-09-26 2021-04-01 株式会社ミツトヨ 測定支援システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017128588A1 (de) 2017-12-01 2019-06-06 Prüftechnik Dieter Busch AG System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche
DE112018007380A5 (de) 2018-03-29 2020-12-10 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts
DE102019113799B4 (de) 2019-05-23 2024-04-25 Carl Zeiss Industrielle Messtechnik Gmbh Messsystem und Verfahren zum Vermessen eines Messobjekts

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000193433A (ja) * 1998-12-28 2000-07-14 Suzuki Motor Corp 三次元形状を計測する方法および装置ならびに三次元形状計測用プログラムを記憶した記憶媒体
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
JP2006322937A (ja) * 2005-05-18 2006-11-30 Steinbichler Optotechnik Gmbh オブジェクトの表面の3d座標を判定する方法
JP2008256692A (ja) * 2007-03-30 2008-10-23 Mitsutoyo Corp ステレオビジョンプローブシステムの包括的校正方法
JP2010014718A (ja) * 2008-07-07 2010-01-21 Steinbichler Optotechnik Gmbh 対象物を3dデジタル化するための方法及び装置
JP2010092436A (ja) * 2008-10-10 2010-04-22 Canon Inc 画像処理装置、画像処理方法
JP2011017700A (ja) * 2009-07-08 2011-01-27 Steinbichler Optotechnik Gmbh 対象物の3次元座標の決定方法
JP2011112579A (ja) * 2009-11-30 2011-06-09 Nikon Corp 形状測定装置
JP2011237430A (ja) * 2010-05-03 2011-11-24 Steinbichler Optotechnik Gmbh 物体の3次元座標を決定するための方法、および装置
JP2012168180A (ja) * 2011-02-16 2012-09-06 Steinbichler Optotechnik Gmbh 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法
JP2013079960A (ja) * 2011-09-30 2013-05-02 Steinbichler Optotechnik Gmbh 対象物の三次元座標を決定する方法および装置
JP2014517285A (ja) * 2011-05-19 2014-07-17 ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング 測定対象表面上における3d座標を求めるための光学的測定方法および光学的測定システム
DE102014012203A1 (de) * 2013-08-16 2015-02-19 Steinbichler Optotechnik Gmbh Vorrichtung zum Bestimmen der 3D-Koordinaten der Oberfläche eines Objekts

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536297C2 (de) * 1995-09-29 2003-10-02 Daimler Chrysler Ag Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE50003531D1 (de) * 1999-03-02 2003-10-09 Siemens Ag System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
EP1869403B1 (en) * 2005-03-03 2017-06-14 Align Technology, Inc. System and method for scanning an intraoral cavity
AU2007292243B2 (en) * 2006-09-07 2012-07-12 Johnson & Johnson Surgical Vision, Inc. Systems and methods for historical display of surgical operating parameters
DE102007042963A1 (de) * 2007-09-10 2009-03-12 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur dreidimensionalen Digitalisierung von Objekten
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
DE102009032771B4 (de) * 2009-07-10 2017-06-29 Gom Gmbh Messeinrichtung und Verfahren zum dreidimensionalen optischen Vermessen von Objekten
US8698888B2 (en) * 2009-10-30 2014-04-15 Medical Motion, Llc Systems and methods for comprehensive human movement analysis
JP2013528795A (ja) * 2010-05-04 2013-07-11 クリアフォーム インコーポレイティッド 参照容量分析センサを用いた対象検査
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US9924102B2 (en) * 2013-03-14 2018-03-20 Qualcomm Incorporated Image-based application launcher
US9685001B2 (en) * 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality
US20150070468A1 (en) * 2013-09-10 2015-03-12 Faro Technologies, Inc. Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device
US9867449B2 (en) * 2014-06-20 2018-01-16 Richard Joseph LaHood, SR. System and method of manufacturing a three-dimensional cosmetic product

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000193433A (ja) * 1998-12-28 2000-07-14 Suzuki Motor Corp 三次元形状を計測する方法および装置ならびに三次元形状計測用プログラムを記憶した記憶媒体
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
JP2006322937A (ja) * 2005-05-18 2006-11-30 Steinbichler Optotechnik Gmbh オブジェクトの表面の3d座標を判定する方法
JP2008256692A (ja) * 2007-03-30 2008-10-23 Mitsutoyo Corp ステレオビジョンプローブシステムの包括的校正方法
JP2010014718A (ja) * 2008-07-07 2010-01-21 Steinbichler Optotechnik Gmbh 対象物を3dデジタル化するための方法及び装置
JP2010092436A (ja) * 2008-10-10 2010-04-22 Canon Inc 画像処理装置、画像処理方法
JP2011017700A (ja) * 2009-07-08 2011-01-27 Steinbichler Optotechnik Gmbh 対象物の3次元座標の決定方法
JP2011112579A (ja) * 2009-11-30 2011-06-09 Nikon Corp 形状測定装置
JP2011237430A (ja) * 2010-05-03 2011-11-24 Steinbichler Optotechnik Gmbh 物体の3次元座標を決定するための方法、および装置
JP2012168180A (ja) * 2011-02-16 2012-09-06 Steinbichler Optotechnik Gmbh 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法
JP2014517285A (ja) * 2011-05-19 2014-07-17 ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング 測定対象表面上における3d座標を求めるための光学的測定方法および光学的測定システム
JP2013079960A (ja) * 2011-09-30 2013-05-02 Steinbichler Optotechnik Gmbh 対象物の三次元座標を決定する方法および装置
DE102014012203A1 (de) * 2013-08-16 2015-02-19 Steinbichler Optotechnik Gmbh Vorrichtung zum Bestimmen der 3D-Koordinaten der Oberfläche eines Objekts

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435023A1 (en) * 2017-07-28 2019-01-30 Faro Technologies, Inc. Three-dimensional measurement device mobile geometry verification
JP2021051031A (ja) * 2019-09-26 2021-04-01 株式会社ミツトヨ 測定支援システム

Also Published As

Publication number Publication date
EP2998694A1 (de) 2016-03-23
US10502554B2 (en) 2019-12-10
EP2998694B1 (de) 2022-02-23
JP6653143B2 (ja) 2020-02-26
EP2998694A9 (de) 2016-04-27
US20160189422A1 (en) 2016-06-30
DE102014012710A1 (de) 2016-03-03

Similar Documents

Publication Publication Date Title
JP5902354B2 (ja) 撮影装置及び3次元計測装置
JP6653143B2 (ja) 物体の3d座標を測定するための方法および装置
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP5370398B2 (ja) 画像処理装置および画像処理プログラム
US20170244911A1 (en) Method and system for performing alignment of a projection image to detected infrared (ir) radiation information
US12025468B2 (en) Optical sensor with overview camera
JP6464281B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013061552A (ja) プロジェクタ装置および操作検出方法
WO2013146269A1 (ja) 画像撮像装置、画像処理方法およびプログラム
TW201250201A (en) Tire surface shape measuring device and tire surface shape measuring method
JP2011106931A (ja) 3次元形状測定システムおよび携帯電話機
JP2011191170A (ja) 画像処理装置
JP5445064B2 (ja) 画像処理装置および画像処理プログラム
JP2007010419A (ja) 対象物の3次元形状検証システム。
JP5740843B2 (ja) 電子機器
WO2017056544A1 (ja) 測距装置、測距方法、及び測距プログラム
WO2020032140A1 (ja) 投影制御装置、投影制御方法および投影制御システム
JP6885762B2 (ja) レンズメータ
JP4839858B2 (ja) 遠隔指示システム及び遠隔指示方法
US11727655B1 (en) Systems and methods for synchronizing the scanning of a scene with the viewing of the scan results relative to a live view of the scene
TWI397758B (zh) 導引控制系統及應用其的視訊設備
JP6885763B2 (ja) レンズメータ
JP2017090422A (ja) 測定装置
JP2015197429A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR102016413B1 (ko) 아이템 스캐닝 장치 및 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6653143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees