JP2014517601A - 画像を生成し評価するための方法 - Google Patents

画像を生成し評価するための方法 Download PDF

Info

Publication number
JP2014517601A
JP2014517601A JP2014510805A JP2014510805A JP2014517601A JP 2014517601 A JP2014517601 A JP 2014517601A JP 2014510805 A JP2014510805 A JP 2014510805A JP 2014510805 A JP2014510805 A JP 2014510805A JP 2014517601 A JP2014517601 A JP 2014517601A
Authority
JP
Japan
Prior art keywords
image
individual
images
recorded
individual images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014510805A
Other languages
English (en)
Other versions
JP6244299B2 (ja
JP2014517601A5 (ja
Inventor
クリストフ、ラルフ
シュミット、インゴマー
ヴィンク、ペーター
Original Assignee
ベルス・メステヒニーク・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE201110056788 external-priority patent/DE102011056788A1/de
Application filed by ベルス・メステヒニーク・ゲーエムベーハー filed Critical ベルス・メステヒニーク・ゲーエムベーハー
Publication of JP2014517601A publication Critical patent/JP2014517601A/ja
Publication of JP2014517601A5 publication Critical patent/JP2014517601A5/ja
Application granted granted Critical
Publication of JP6244299B2 publication Critical patent/JP6244299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、カメラ等の光学センサを用いて、対象物の少なくとも一つの部分の画像を生成し評価するための方法に関する。特に、カメラと対象物または記録されるべき部分との間に相対運動がある場合にも、ぼけがない、または、測定歪曲を生じるほどのぼけがない、明るい画像を生成するために、前記少なくとも一つの部分について個別画像が記録され、そのうちの少なくともいくつかの個別画像はそれぞれ少なくとも部分的に重なること、および、画像を生成するために、個別画像あるいはその信号が互いに関して整列させられ、重ねられて前記少なくとも一つの部分の画像としての全体画像となり、ここにおいて、全体画像の評価は、実質的に、個別画像の重なる領域に限られる、および/または、全体画像またはその部分の評価は、重なる領域を有する個別画像の重なる領域に基づいて行われることが提案される。

Description

本発明は、カメラ等の光学センサを用いて、対象物の少なくとも一つの部分の画像を生成し評価するための方法に関する。
ノイズが少なくコントラストに富む画像を、例えば画像処理または座標測定技術における自動焦点測定に、また、他の技術分野においても利用できるようにするためには、カメラで適切な積分時間を設定することが必要である。座標測定技術では、生成した記録について、例えば輪郭または輪郭点を決定する。これを最高の精度で行えるようにするためには、できるだけ鮮明な結像が望ましい。しかし、これには、カメラの積分時間の間に、対象物とカメラが互いに移動されないことが必要である。そうでなければ、輪郭の位置を決定する際の精度を損ねる不鮮明化効果が生じる。
この問題を回避するために、先行技術においては、カメラに対してとりわけ短い積分時間を選択する方法が知られている。しかしながら、これには画像がとても暗く、そのため消えてしまっているという問題がある。これらの欠点を回避しようするためには、連続負荷に加えて、フラッシュ作動において光源を短時間作動させることができる。
これにより、より高い輝度を達成することができる。しかしながら、とりわけ速い動作や暗い場面において、これはしばしば不十分なものであり、画像はとても暗く、そのため消えてしまうか、または、画像のぼけが測定偏差になるほど長時間積分されなければならない。
本発明は、上述したやり方の方法をさらに発展させ、先行技術の欠点を回避し、とりわけ、特にカメラと対象物または記録されるべき部分との間に相対運動がある場合においても、ぼけがない、または、測定歪曲を生じるほどのぼけがない、明るい画像を生成するという課題に基づいている。
この課題を解決するために、とりわけ、少なくとも一つの部分について複数の個別画像が記録されること、および、画像を生成するために、個別画像またはその信号が少なくとも一つの部分に関して互いに整列させられ、重ねられて全体画像となることを提案する。
とりわけ、本発明は、個別画像が少なくとも部分的に重なるように、一つの部分について、または、複数の部分について、個別画像が記録されること、および、画像を生成するために、個別画像またはその信号が互いに関して整列させられ、重ねられて一つの部分あるいは複数の部分の画像としての全体画像となり、ここにおいて、全体画像を評価するために、個別画像の重なり領域が考慮されることを特徴とする解決策を意図している。
本発明は、カメラ等の光学センサを用いて、対象物の少なくとも一つの部分の画像を生成し評価するための方法であって、少なくとも一つの部分について個別画像が記録され、そのうちの少なくともいくつかの個別画像はそれぞれ少なくとも部分的に重なること、および、画像を生成するために、個別画像またはその信号が互いに関して整列させられ、重ねられて少なくとも一つの部分の画像としての全体画像となり、ここにおいて、全体画像の評価は、実質的に、個別画像の重なり領域に限られ、および/または、全体画像またはその部分の評価は、重なり領域を有する個別画像の重なり領域に基づいて行われることを特徴とする方法を提案する。
本発明の教示に基づいて、個別画像の記録の間の、光学センサ(以下、保護範囲は限定しないが、カメラとも呼ぶ)と対象物の少なくとも一つの部分との間の位置の変化を考慮することで、明るく、動きによるぼけのない画像が利用可能となる。
したがって、本発明は、カメラを用いて画像を生成するための方法であって、複数の個別画像から、基本的に重ね合わせにより、個別の記録間の位置ずれを考慮して全体画像を生成する方法に関する。
とりわけ、より明るい全体画像を生成するために、複数の個別の記録の強度が重ねられる。物理的な原因により、二つの個別の記録の間には常にカメラと記録された測定対象物領域との間のわずかな位置移動が存在するため、この位置移動は修正されなければならない。
これは、本発明によれば、それぞれの個別の記録について位置を測定し、または、記録された画像をもとに相関関係を調べそこから位置ずれを計算することによって行うことができる。
次に、個別の記録は、相互の位置ずれに応じて、共通の位置へ、好ましくは共通の画素ラスターへ、移動される。それから、重ねられた画像を形成するために、グレー値振幅の重ね合わせが行われる。この画像に、少なくとも側面方向で、選択された画素ラスターの測定位置が割り当てられる。画像面に垂直な、残りの第三の空間方向で、好ましくは、重ねられた個別の記録の位置に平均が割り当てられる。
これは、平均値が画像面への距離値から算出されるということを意味している。画像面がx−y面にある場合、その結果として画像あるいは全体画像に割り当てられるZ値は、個別画像の個別のZ値を平均することによって算出される。
本発明によれば、動きによるぼけを生じることなく、個別画像から必要な輝度を示す合成画像が生成され、対象物の少なくとも一つの部分が評価され測定されることができる。
全体画像であるとともに生成されるべき画像である合成画像を生成するために、個別画像(部分画像とも呼ぶ)は、個別画像内に存在する対象物の同一の部分に関して互いに整列させられる。
測定されるべき対象物の少なくとも一つの部分について個別画像が記録されるという特徴は、言うまでもなく、対象物全体が捉えられることを除外しない。
本発明は、カメラ等の光学センサを用いて画像を生成するための方法であって、実質的に対象物の同一の部分を含み、すなわち、主に重なる対象物部分を含んでいる複数の個別の記録が重ねられ、ここにおいて、個別の記録の相互の空間的位置が考慮される方法に関する。
とりわけ、本発明は、個別の記録のグレー値の相関関係を利用して、および/または、それぞれの個別の記録に対して決められたセンサもしくはカメラの位置を利用して、個別の記録の相互の空間的位置を決定することを特徴とする。センサもしくはカメラの位置は、例えば、センサもしくはカメラが組み込まれた座標測定装置の軸の位置によって決まる。
グレー値の関連付けは、最大合計値が得られるように行われる。これは、重ねられるべき個別画像の、外見上横の、すなわち側面の移動によって達成することのでき、少なくとも一つの部分に関しての個別画像の最大の一致を表している。
本発明は、個別の記録の画素の強度またはグレー値の加算によって重ね合わせが行われることを特徴とする。
また、重ね合わせの前に、個別の記録間の空間的位置ずれが、移動および/または回転によって、少なくとも個別の記録の画像面で、修正されることを意図することができる。
本発明は、個別の記録から生成された画像は、全ての個別の記録に存在する重なる画像部分のみを含むことも特徴とする。
独自の発明として、本発明は、全体画像を評価するために、一つまたは複数の個別画像の、少なくとも一つの重なりのない領域を考慮されること、および、重なりのない領域を評価するために、そのグレー値が、個別画像の評価されるべき重なり領域のグレー値へと規格化されることも意図している。
したがって、本発明によれば、まず、全ての記録された個別画像が、重なっているか、または、同一もしくは少なくとも大部分が同一である部材の領域もしくは部分を捉えているかに関係なく、全体画像の決定と評価の際に考慮される。好ましくは、画像を重ね合わせる際に、複数の個別の記録が存在している部分に対して、個別の記録から重ね合わせを実行する。個別の記録が一つしか存在しない部分に対して、重ねられた画像と同一の全体輝度を達成するために、グレー値の適切な重みづけが行われる。
概して、本発明は、評価されるべき領域のグレー値が規格化されること、特に、最大の重なりのある領域のグレー値に対応するグレー値へと規格化されることも特徴とする。
しかし、個別の領域が評価から除外される場合も、本発明から逸脱しない。
全ての最終的に考慮された個別画像の全体から、全体画像が合成される。この全体画像について、例えば縁、縁からの距離または幾何学的特徴を決定するような画像処理アルゴリズムを利用して評価を行うことができる。
好ましくは、部分の重なり領域は100%よりも小さく、とりわけ100%と10%との間、好ましくは100%と50%との間にあることが意図されている。
本発明によれば、記録された個別画像の重なり領域は、好ましくはそれぞれの個別画像の100%よりも小さいことが意図されている。
好ましい方法において、重なりはおおよそ50%であり、それにより、各領域に対してそれぞれ二つの個別画像の重ね合わせを行うことができる。あるいは、重なりは、例えば60%と90%との間というように、より大きくすることもできる。これにより、領域ごとに二つ以上の画像が重ねられ、それにより、より高い輝度とより少ないノイズを達成することができる。それとともに、カメラのより少ない積分時間が可能となる。重ね合わせまたは平均値形成の際に、適切なスケーリングを行うことによって、重ねられた画像の数が考慮される。重なる領域が50%よりも少ない場合、重ねられた画像が利用可能である領域とそうではない領域が生じる。重ねられた画像が利用可能でない領域において、輝度は、グレー値のスケーリングまたは重みづけによって、重ねられた画像の輝度に適合される。
本発明は、全体画像の大きさが一つの個別画像の大きさよりも大きいことも特徴とする。
さらに、特に強調されるべきなのは、個別画像が、対象物のさまざまな回転位置において記録されることができることである。したがって、独立した解決案によれば、個別画像は、測定対象物のさまざまな回転位置において記録される。これにより、例えば回転対称の部材の外被表面上にある測定対象物のさまざまな部分領域を記録することが可能である。個別画像と比べて、より多くの次元へと拡大された全体画像を形成するために、測定対象物の側面の移動を組み合わせることも、同様に可能である。
また、本発明は、カメラの検出平面の平面全体または一つの部分領域または複数の部分領域が、好ましくは限られた数の行で自由に選ばれて利用されることを特徴もする。
カメラ等のマトリクス状の検出平面の利用可能な行および/または列の部分のみが評価に使われることによって、画像繰り返し率が先行技術と比べて明らかに増やされる。
この際、例えば、おおよそ300−400Hzの画像繰り返し率が実現できる。とりわけ、曲げられた平面で、行または列を減らすことによって、利用された結像レンズの焦点深度領域に配置された領域のみが評価される。
対応する領域の選択は、例えば測定プログラムの構築の予備運転もしくは背景において、あらかじめ明確に定義された測定ウィンドウの指示によって手動で、および/または、測定プログラムの進行の間に、記録された画像のコントラストの評価およびあらかじめ定義されたコントラストの極限値を超える行の選択によって自動で行うことができる。
とりわけ、部分領域はそれぞれ、マトリクス状の検出平面の限られた数の行および/または列によって、固定または決定されることが意図されている。
本発明による教示は、感光性の検出平面の部分領域のみの測定値を記録および/または処理をする際に、高められた測定頻度が使われることを可能にする。
実際の測定の前の評価されるべき部分領域の定義には、とりわけ、あらかじめ明確に定められたウィンドウの定義が適している。これは、例えば測定プログラム構築の背景において決められることができる。これにより、操作者は、手動で、または、評価ツールを利用することで、測定されるべき部分領域または鮮明な結像を有する領域を含む測定ウィンドウの領域を定義することができる。測定の進行の間の、測定されるべき部分領域の変更は、特にリアルタイムで、画像全体に対してコントラストを決定することによって、行うことができる。なお、画像の個別の画素のコントラスト値の決定は、センサ(先述したように、本発明の教示は限定しないが、簡略化しカメラとも呼ぶ)で直接、すなわちホストコンピュータへ画像を送信することなく行い、または、ホストコンピュータの画像処理ソフトウェアで直接行うことができる。とりわけ、ホストコンピュータでのコントラスト値の評価の際、できるだけ高い測定頻度を可能にするために、全部ではなく個別に選択された画像のみが、カメラによって完全に送信され評価される。ここで、画像内のコントラスト値がカメラの反復頻度よりも明らかに遅く変化すると想定される。
好ましくは、評価されるべき部分領域の切り替えによって、使用された結像レンズの焦点深度領域にある測定対象物の領域への適合が行われることが意図される。
本発明は、とりわけ、個別の記録の相互の空間的位置が部材の回転位置を利用して決定され、好ましくは個別画像が対象物の屈曲に基づいて修正されることを意図している。部材のさまざまな回転位置において個別の記録を記録する際、個別画像は、測定対象物の屈曲に基づいて歪められる。独立した発明的思考において、個別画像のこの屈曲は修正される。既知の、または、ほとんど既知の、例えばあらかじめ入力された部材表面の曲率半径を利用し、記録された画素情報の側面の位置が移動されることで、画像内の領域は、存在している屈曲に応じて修正される。この先行技術においても周知である、回転対称の外皮表面の展開は、修正の後、まず等距離でない画素ラスターへと続く。これは、再サンプリングによって、等距離の画素ラスターへ、さらなる評価のために、変換される。
さらに、本発明に特徴的なのは、重ね合わせが、個別の記録の位置的に互いに対応している画素の強度またはグレー値を平均化することによって行われ、好ましくは、結果として生じるグレー値が、好ましくは除法によって、好ましくは、重ね合わせに使用される全体画像内のグレー値の数に多くても一つの画素に対して対応する因数で、広げられることである。
この処置によって、評価されるべきグレー値領域の、共通の最大グレー値への適合が行われる。
本発明は、とりわけ、重ね合わせの後に閾値より下のグレー値を有している全体画像内の領域は考慮されず、ここにおいて、閾値は最大グレー値の、好ましくは20%、特に好ましくは10%であることも特徴としている。
重ね合わせの後においてもグレー値が閾値よりも下であり、または、重ね合わせが行われていないためグレー値が閾値よりも下であり、全体画像内の領域は、全体画像の決定の際に考慮されない。ここにおいて、閾値は、例えば最大グレー値の20%、または、特に好ましくは10%である。これにより、低すぎる信号対ノイズ比を持つ領域が評価から除外される。
さらに、特に強調されるべきなのは、重ね合わせの際に、重ね合わせに引き入れられた個別画像の少なくとも一つが縁領域に存在している領域の重みづけが行われるということである。
重ね合わせの際、重ね合わせに引き入れられた個別画像の少なくとも一つが縁領域に存在している領域の重みづけが行われる。これは、重なりが50%よりも少ない場合は常に当てはまる。ここで、合成され重ねられた画像内に、重ね合わせを行うことができる領域、すなわち個別画像の縁領域が生じる。それに対して、個別の記録の中央の領域では、重ね合わせが存在しない。したがって、重ね合わせに引き入れられた画像の数に応じて、重ねられた画像で同一の全体輝度を確保するための適切な重みづけが行われなければならない。
本発明は、とりわけ、個別の記録間の位置ずれの修正の後、全ての使用された個別の記録の画素が、共通の、好ましくは等距離のポイントラスターへと、再サンプリングによって変換され、ここにおいて、それぞれの目標画素に対して、グレー値が、周囲の画素のグレー値から、好ましくは線形補間法または平均化法によって、算出されることを特徴としている。
さらに、本発明によれば、再サンプリングによって、これまで周知であった個別画像に基づく個別の点の決定においてよりも、より高い側面の解像度が得られることが意図されている。測定解像度を高くするために、個別画像の重ね合わせまたは重なり、すなわち同一の対象物部分の何度も記録された情報の使用によって、この余分な情報を使用することができる。とりわけ、側面の解像度を高くするために、好ましくは再サンプリング方法を使用することによって、画像の少なくとも一つの領域に関する、少なくとも二つの個別の記録に由来する情報が一緒に、この画像領域内の特徴の位置を決定するために使われることが意図されている。ここで、全ての画素位置に対して、全ての個別または部分領域から、結果として生じる画素が決定される。
さらに強調されるべきなのは、それぞれの複数の個別の記録が、好ましくは標準積分時間(例えば20ミリ秒)よりも短い積分時間で、直接連続して記録されるということである。特に好ましくは、積分時間<5ミリ秒、または<1ミリ秒、または<0.5ミリ秒である。それぞれの個別の記録のための積分時間Tは、t=標準積分時間として、4T≦t、または特に20T≦tであるのがよく、特に好ましくは40T≦tであるのがよい。とりわけ、1/50t≦T≦1/2tであるのがよい。
本発明によれば、評価される画像が記録される通常の積分時間と比較してより短い積分時間で個別画像が記録される。通常の標準積分時間は、評価することのできるコントラストを確保するために、20ミリ秒であってよい。しかし、これに関する値は、単に例であるとして理解されたい。とりわけ、個別画像の全体積分時間は通常の標準積分時間よりも小さいことが意図されている。
とりわけ、本発明は、カメラ等の光学センサを用いて画像を生成するための方法であって、画像に積分時間T−全体が割り当てられ、積分時間TからTで記録された複数の個別の記録が重ねられ、ここにおいて、<5ミリ秒、または<1ミリ秒、または<0.5ミリ秒等のより短い積分時間の全てのTからTはT−全体として記録され、ここにおいて、個別の記録の相互の空間的位置が決定され、重ね合わせの際に考慮される方法に関する。
本発明の方法は、とりわけ、測定対象物の対象物点および/または輪郭および/または寸法を決定するために、好ましくは座標測定装置において使用され、ここにおいて、座標測定装置は測定対象物とカメラとの間の相対運動のための手段を提供する。
好ましくは、本方法は、自動焦点測定の際に画像を生成するために、約0.3mm/秒から0.1mm/秒の標準移動速度として、好ましくはV>0.3mm/秒またはV>1mm/秒またはV>3mm/秒である高められた移動速度Vで、使用される、または、カメラの移動の間に画像処理測定のために画像を生成するために使用されることが意図されている。自動焦点測定の際、主にカメラ等の光学センサと測定対象物との間の距離が変えられる。
独自の発明的な解決思考は、自動焦点測定の際、光学センサの光学軸の方向で個別画像が記録されること、連続する個別画像が重ねられてグループへと分けられ、それぞれのグループが自動焦点測定のための画像を形成すること、および、全ての個別画像が、場合によって存在する横のずれを考慮して、対象物に関して互いに整列させられるということを特徴とする。
本発明が基礎としている教示は、とりわけ、自動焦点測定のための画像生成方法に使用されることができる。ここで、測定対象物の同一の部分の、光学センサの光学軸の方向において隣接する少なくとも二つの個別または部分画像が重ねられ、個別画像の全体数はグループへと分けられる。したがって、それぞれのグループは自動焦点測定のための画像または全体画像を形成する。画像を重ねるために、測定対象物の記録された部分の、場合によっては横の、すなわち側面のずれが考慮される。これに関する教示によって、自動焦点測定の際、短い積分時間が可能となる。最終的には、とりわけ、ぼけが回避され、カメラの積分時間の間の光学センサと測定対象物との間の、横の、すなわち側面の位置のずれが最小限に抑えられるという長所がもたらされる。
本発明の独立した形態において、カメラ等の光学センサに短い露出時間を選択することによって移動ぼけを減らすという基本的な考えは、自動焦点測定に適用される。ここで、選択された照明条件または測定対象物の表面の性質に関係なく、まず、非常に短時間露出されそのため非常に暗い画像のみが、光学センサの相対運動の間に、結像方向で記録される。
重ね合わせは、部分画像における輝度、すなわちグレー値を、例えば、例えば20ミリ秒の標準露出時間における値に対応する有効な値へと高めることを目的としている。ここで好都合なのは、標準露出時間で露出された画像に対して、より短い時間で露出された画像は、移動方向、またその横断方向における移動によって、明らかに少ない影響を受けるということである。移動方向で記録されたそれぞれの部分画像に、全ての三つの空間方向、すなわち二つの横方向およびほぼ移動方向にある一つの方向における位置が割り当てられる。部分画像の全体が、いわゆる画像スタックを形成する。
本発明によれば、重ね合わせの前に、好ましくは再サンプリングによって、全ての部分画像は、共通のラスターへ、移動方向と直角に、変換される。これにより、部分画像内に、互いに対応している領域が生じる。
その後、生じた画像スタックのそれぞれの部分画像のために、および、個別の画素または関連したグループの画素等のそれぞれの部分領域のために、それぞれ互いに対応している領域のグレー値の重ね合わせが別々に行われる。
これにより、同一の数の部分画像を持つ新しい画像スタックが生じ、その画素はより高いグレー値を含んでいる。この重ね合わせは、移動平均値フィルターに類似し、移動しているということができ、その使用により入力値が同一になる。
それぞれの部分画像のそれぞれの領域のために、グレー値に対する閾値が超えられるように、移動方向で隣接する部分画像の、重ね合わせに引き入れられる対応している部分領域の数が別々に選択される。これにより、例えばコントラスト値の形成または移動方向における最高のコントラストの位置の評価によって、全ての部分画像内の全ての部分領域が、焦点基準の有効な評価にとって十分に高くあることが確保される。閾値は、必須ではないが好ましくは、全ての部分画像内の全ての部分領域に対して同じ大きさであり、例えば最大可能グレー値の30%、または50%、または70%である。しかし、コントラスト値の形成の前に、部分領域のグレー値を事実上同一の露出時間に対応させるために、あらかじめ定められた数の重ね合わせへの規格化を行わなければならない。
本方法によって、移動方向に沿って変化する画像コントラストの過度な平均化が行われるのを防ぐために、重ね合わせに引き入れられる部分画像の数が制限される、または、これらが由来する移動方向の経路が制限される。この経路の制限は、例えば使用された結像レンズの焦点深度に関係して定義され、例えば焦点深度の100%、好ましくは50%、特に好ましくは20%または10%と定義される。
特定の形態において、重ね合わせのために、同じ数の隣接する部分画像が正および負の移動方向において選択される。ここで生じる対称によって、移動方向における結果として生じる部分領域の位置に、移動方向におけるもとの部分領域の位置が割り当てられる。あるいは、移動方向におけるそれぞれの重ね合わせに使われた部分領域の位置の平均値または中央値が割り当てられる。
自動焦点測定の原理とその使用は、例えば、「DE.Z.: Multisensor-Koordinatenmesstechnik, Die Bibliothek der Technik, verlag moderne industrie, 3. Auflage 2006, (ISBN-10: 3-937 889-51-5, ISBN-13: 978-3-937 889-51-1), Seiten 26-27 (auto focus) und Seite 32 (3D patch)」から読み取れる。
本発明は、重ねられるべき個別の記録を記録する間に、好ましくは閃光のような照明が点けられ、ここにおいて、それぞれの個別の記録に対しての正確な位置が存在し保証されるように、個別画像記録、照明、および、座標測定装置の軸の位置の記録が同期され、それぞれの個別の記録の積分時間の間に照明が点けられていることも特徴とする。
最高測定速度は、本発明の方法を、画像処理スキャニング方法、または、測定対象物の移動の間に画像の記録が行われるいわゆるオンザフライ技術と組み合わせることによって達成されることができる。動きによるぼけを減らすために、光学センサまたはカメラの感光性の検出手段は、例えば閃光のような照明の使用によって、またはシャッターによって、短時間だけ露出される。ここで、時間的に制限された露出は、位置捕捉手段を利用した感光性の検出手段に関する現在の加工品位置の記録、および、感光性の検出手段の測定値記録と同期して、行われる。これらの方法は、とりわけ、その開示が本発明の主題事項である、EP−B−1 286 134およびWO−A−03/009070に記載されている。
好ましくは、カメラはより多くの画素を含み、好ましくはCCDまたはCMOSカメラである。
これとは関係なく、測定対象物としては、回転対称および/または円柱状の形を持つようなもの、特にステントを使うことができる。
とりわけ、回転対称および/または円柱状の測定対象物を測定するために、回転および/またはスイベル軸が使われる。
画像処理および手動の位置決めシステムで対象物測定を行う際、測定されるべき位置は、まず移動軸の手動の確認によって、接近されなければならない。この位置の到達後、画像の記録が引き起こされ、幾何学的特徴が評価される。DE−A−10 2009 044 099には、測定されるべき位置での位置決めを中断しなくてよく、代わりに移動において測定値の記録が行われる方法の拡大が記載されている。これには、測定されるべき位置が大まかに接近されなければならないだけであるという利点がある。
先行技術の周知の方法では、測定されるべき位置があらかじめ定められて、すなわち知られていなければならない。この位置は、スタートストップまたは操作者の連続的な操作において手動で接近されなければならない。そのため、操作者は、過度な時間消費に繋がることのある部材で方向を定めなければならない。
それゆえ、本発明によって、測定対象物のジオメトリの決定を、操作者にやさしく、かつ、速く実行するという課題も解決されるべきである。とりわけ、ここで、操作者があらかじめ決められた個別の位置に接近しなければならないということなしに、できるだけ大きな部分または測定対象物全体が捉えられるべきである。
本発明のこの態様は、とりわけ、任意で操作者によって実行される光学センサ(画像処理センサとも呼ぶ)に関する測定対象物の位置決めの間に、画像が記録され、場合によっては評価されるということによって解決される。画像の記録は、移動の間、または、手動の位置決めプロセスの停止の際に行われる。ここで、使用されたカメラ等の光学センサ、特にCCDまたはCMOSカメラは、規則的に、または、画像内容に変化があった場合にだけ画像を捉える。画像内容の変化は、例えば、測定位置、照明、カメラの積分時間、閃光のような照明の期間もしくは時間の変更、または、今まで到達されていなかった位置領域への到達によって引き起こされる。先述の個別画像に対応し本発明の教示に基づき査定または評価された部分画像のうちの少なくともいくつかは、少なくとも一つの領域において重なる。
選択された数の個別画像は、位置決めの終了後、さらなる評価のために利用可能となる。とりわけ、複数の個別画像(部分画像とも呼ぶ)から、好ましくは補間または平均化アルゴリズムを利用した再サンプリング方法によって、一つの全体画像が合成される。部分画像は、好ましくはスクリーン上に表示される。これは位置決めと並行して行われ、これにより、操作者は測定対象物の既に過ぎた領域を監視することができる。場合によっては、既に捉えられた領域はそれぞれ表示ユニットの大きさへとスケーリングされる。とりわけ、まだ完全な測定データの存在していない位置が到達されたとき、すなわち、現在画像処理センサによって記録された対象物領域の部分がまだ画像処理センサの測定領域に配置されていないときに、部分画像は表示され、さらなる評価のために利用可能となる。これは、例えば、既に選択された画像の位置と画像を、現在記録されたものと比べることによって、監視することができる。カメラ測定領域と選択された結像対物レンズから形成された、画像処理センサの位置と測定領域に基づいて、測定対象物のそれぞれの捉えられた部分が決定される。
上述の方法は、大部分が平らである加工品領域に適用できるが、大部分が回転対称の加工品領域にも適用できる。
平板の上に固定して配置された平らな加工品の場合、好ましくは、まず垂直の調節を利用して、測定対象物が画像処理センサの鮮明な領域に位置決めされる。それから、側面の軸の駆動を利用して、加工品の平面での手動の位置決めが行われ、位置と画像が記録される。
機械回転軸に配置される回転対称または大部分が回転対称の加工品を使用する場合、まず、回転軸に垂直であり、かつ、画像処理センサの光学軸の方向に延びる移動軸を利用して、鮮明設定が行われる。その後、画像処理センサに関する測定対象物の側面の位置決めと回転軸の回転移動の組み合わせの間に、画像の記録が行われる。それから、記録された画像の表示ユニットへの表示が展開された状態で行われる。
あらかじめ個別画像に対応している個別の部分画像から全体画像を合成した後、全体画像は、さらなる評価のため、例えば輪郭、縁または幾何学的特徴の識別と決定のために利用可能となる。
本発明によれば、画像処理センサと測定対象物との間に相対運動がある場合でも画像の記録を行うことができる。この際、画像処理センサによる画像の記録、手動の移動軸の縮尺システムによる位置の記録、および、場合によって使用される閃光のような照明の作動は、トリガ信号に制御されて、同期して行われる。トリガ信号は、例えば、次の場合に生成される。測定対象物のまだ測定されていない部分領域が画像処理センサによって捉えられる新しい測定位置についた場合、または、照明、カメラの積分時間、あるいは閃光のような照明の期間または時間が変化したため、画像内容が変化したに違いない場合。あるいは、画像は、測定サイクルであらかじめ設定されて、規則的に記録されることもできる。
好ましくは、本方法は座標測定装置で使用される。
したがって、本発明は、光学センサまたは画像処理センサ、および、手動の位置決め装置を利用して測定対象物のジオメトリを決定する方法に関し、一つの位置決めプロセスの間、および/または、複数の位置決めプロセス間に、自動的に画像処理センサで個別画像が記録され、その後選択された個別画像が合成されて全体画像となり、さらなる評価のために利用可能となることを特徴とする。
とりわけ、あらかじめまだ完全には捉えられていなかった測定対象物の領域が画像処理センサによって捉えられると、個別画像が選択されることが意図されている。
本発明は、とりわけ、CCDまたはCMOSカメラといったカメラ等の光学センサが、規則的に、および/または、位置決め装置の位置の変化の際、および/または、位置決め装置の位置領域への到達の際、および/または、照明の変化の際、および/または、例えばカメラの積分時間または閃光のような照明の期間もしくは時間といった、画像記録および/または画像内容に影響を及ぼす他の要素の変化の際に、個別画像を記録するということも特徴としている。
選択された個別画像が少し重なる可能性もある。
さらに強調されるべきなのは、選択された個別画像が、再サンプリング方法を利用して、例えば補間または平均化方法を使用して、合成されて全体画像となって、さらなる評価のために利用可能となり、好ましくは、表示要素上に、回転対称の部材の場合は展開された状態で、好ましくはそれぞれ表示ユニットの大きさに合わせてスケーリングされて、表示されるということである。
本発明は、記録された個別画像が選択されさらなる評価のために利用可能であるかどうかの識別が、手動で操作できる移動軸の縮尺システムで決定される位置および/または位置の変化、および/または、画像処理センサで記録される画像内容を監視することによって行われるということも特徴としている。
とりわけ、監視することは、それぞれの記録された個別画像の位置および/または画像内容を決定すること、および、画像が選択される場合には、それぞれの記録された個別画像の位置および/または画像内容を蓄積すること、および、既に選択された画像の既に存在している位置および/または画像内容と比較することを含むことが意図されている。
さらに強調されるべきなのは、既に選択された個別画像の既に存在している位置および/または画像内容との比較に基づき、個別画像の少なくとも一つの部分があらかじめまだ捉えられていなかった測定対象物の領域を捉える場合、当該個別画像が選択され、ここにおいて、カメラ測定領域と選択された結像対物レンズから形成された、画像処理センサの測定領域が考慮されるということである。
また、本発明は、加工物表面の画像処理センサの鮮明領域への位置決めのあと、大部分が平らな加工物領域は側面の軸を用いて、大部分が回転対称の加工物領域は機械回転軸を加えて用いて、画像処理センサの測定領域に位置決めされるということも特徴としている。
独自の発明的な発展において、画像処理センサと手動の位置決め装置を利用して測定対象物のジオメトリを決定するための方法であって、画像処理センサと測定対象物との間の相対運動の際に画像の記録が行われ、ここにおいて、画像処理センサによる個別画像の記録、および、手動の移動軸の縮尺システムによる位置の記録、および、好ましくは閃光のような照明が、トリガ信号によって制御されて、同期して行われることを特徴とする方法が意図されている。
とりわけ、本方法は座標測定装置において使用されることが意図されている。
本発明の更なる詳細、利点および特徴は、請求項および請求項から読み取ることのできる特徴から(単独で、および/または、組み合わせで)もたらされるだけでなく、図面から読み取ることのできる好ましい実施例についての以下の記載からももたらされる。
図1は、標準積分時間で記録された、先行技術による画像を示す。 図2a)から図2c)は、標準積分時間よりも短い積分時間で記録された個別画像を示す。 図3a)から図3c)は、図2の個別画像の、共通の画素ラスターへの整列を示す。 図4a)から図4c)は、同一の領域に限定された、図3の整列させられた個別画像を示す。 図5は、画像4a)から4c)のグレー値振幅の重ね合わせによって生成された全体画像を示す。 図6は、部材の測定されるべき部分を示す。 図7は、先行技術による記録されたカメラ画像の位置を示す。 図8は、図7からの個別画像とその合成を示す。 図9は、決定されるべき部分の領域における、さらなるカメラ画像の分配を示す。 図10は、図9からの個別画像を示す。 図11は、図7と図9からの個別画像の位置を示す。 図12は、図11からの個別画像と全体画像への重ね合わせを示す。 図13は、感光性の検出装置を含んだ測定配置を原理図で示す。 図14は、座標測定装置の原理図を示す。 図15は、表示ユニットの原理図を示す。 図16は、測定対象物の第二の位置における座標測定装置の原理図を示す。 図17は、全体画像の原理図を示す。
図1は、比較的長い積分時間(例えば15または20ミリ秒の標準積分時間等)の間に、測定対象物、ここでは対象物の縁が、光学センサ(カメラ等)に対する変動量によって移動させられた場合に生成される不鮮明な画像を示している。これは、測定装置の振動によって、また、移動における光学測定に基づいて故意によっても、引き起こされうる。縁、すなわち画像内の暗い領域と明るい領域の変わり目の位置の決定は、低い精度でのみ行うことができる。
図2a)からc)は、対象物のほぼ同一の部分、特に図1にあるような同一の対象物の縁の3つの記録を示している。これら記録は、直接連続して、20ミリ秒よりも短い積分時間、例えば5ミリ秒等で記録された。これらの記録は、縁の鮮明な結像のみを示しているが、より短い積分時間ではより暗い画像を示す。低い輝度のために、縁の識別は、場合によっては、不可能であるか、大きな測定誤差へとつながる。
図3は、本発明に基づく、個別画像a)からc)の、共通の画素ラスターへの移動を示している。この場合、図3b)の画像の位置が基準として選択された。つまり、図3a)は、右へ移動された図2a)の画像を示し、図3c)は左へ移動された図2c)の画像を示している。この移動は、図2a)から2c)の個別の画像に割り当てられ、座標測定装置によって決められた位置に基づいて実行された。あるいは、または、さらに、図2a)から2c)の画像間の位置移動は相関法でも決めることができる。後で画素のグレー値振幅を加算することができるようにするため、移動は、再サンプリング方法を利用して、正確に同一の画素ラスターへ、この場合は図2b)または3b)の画像の画素ラスターへと行われる。図3a)およびc)の画像の表示された画像領域は図3b)の画像の大きさに縮小された。
図4は、本発明に基づいて移動され、さらに図2a)からc)または3a)からc)の全ての三つ部分画像に含まれている領域に限定された画像を示している。
図5では、最後に、図4a)から4c)のそれぞれの画素のグレー値振幅の重ね合わせが行うことができ、対象物または対象物の縁の鮮明な結像が生じている。図5の画像の中間の輝度が、この場合、三つの個別画像の合計輝度に対応しており、そのため、この場合、15ミリ秒の積分時間で記録されたが、先行技術では標準積分時間の間の対象物とセンサとの間の相対運動の際に生じてしまう画像ぼけを有していない、画像と等距離である。そのため、この結像では、自動焦点方法の際、縁の識別、または、輝度もしくはコントラスト評価を非常に高い精度で行うことができる。
図1から5に記載された、ノイズを減らすためにより短い積分時間での測定および重ね合わせを行う方法と同様に、図6から12では、全体画像へと合成されるべき個別の記録が、部分的にのみ重なる、または、全く重なっていない方法がより詳しく説明される。
ここで、図6は、明るい小さな囲みによって示された部分の領域において光学的に捉えられるべき部材を示している。
図7は、これが先行技術では、例えば二つの個別の記録で、どのように行われるかを示しており、第一の記録に対しては点線の長方形で、第二の記録に対しては破線の長方形で示されている。これら両方の個別画像は図8aおよびbに示されている。つなぎ合わせて全体画像へとする際に、図8cに示された画像が生じる。図8aおよびbから提供された個別の記録は既により少ない積分時間で記録されたため、図8cの結果として生じる画像は比較的暗い。
図9は、3つの白い長方形によって示される、追加の画像が記録される画像内の部分領域を示している。記録された個別画像は、図10a、bおよびcに示される。
図11は、3つの長方形と点線または破線で示された2つの長方形によって示される、この例5において一緒に記録された部分画像を示している。ここで、個別の記録はそれぞれ50%重なることがわかる。結果として生じる個別の記録は図12aから12eに示される。画像aおよびb、bおよびc、cおよびd、dおよびe間の重なりは、それぞれ約50%である。重なり領域のグレー値振幅が加算されると、重なりが存在している領域に対して、図12fに示される全体画像が生じる。図12aの左半分および図12e内に示された個別画像の右半分は、ここでは、重なりが存在していないため、評価に引き入れられなかった。あるいは、規格化またはスケーリング、この場合はこれらの欠けている領域のグレー値振幅の倍増を行い、これらも全体画像へと引き入れられることができる。
この全体画像が図12gに示される。図12aの左半分および図12eの右半分に由来する領域がより高いノイズレベルを有していることがわかる。
部材の表面が屈曲している場合にも、同様の手順が可能である。このため、個別の記録は、例えば部材のさまざまな回転位置において決定される。続いて、画像内の領域が存在している屈曲に合わせて修正されると、個別の記録の重ね合わせの際、再サンプリングによって等距離であるポイントラスターが、好ましくは例えば円柱状の部材の外被表面の展開された図に対して、生じる。
図6から12に示された方法は、50%よりも大きいまたは小さい重なり度合においても同様に可能である。このため、対象物領域ごとに、複数の画像が重ねられてそのグレー値振幅が合算される、または、重ね合わせが行われずグレー値の適切なスケーリングが行われる。
図13は、光学結像システム910とも呼ばれ、また、先にはカメラとも呼ばれた光学センサを示している。この光学センサは、マトリクス状の感光性検出装置911と結合され、回転軸912に取り付けられた回転状の測定対象物913の測定に使用される。測定対象物913の表面屈曲に基づいて、その都度測定対象物913の特徴の部分のみが、検出装置911上に鮮明に表示される。光学結像システム910の焦点深度に応じて、例えば、特徴914のみが定義された回転位置で鮮明に写される。そのため、例えば、特徴915は回転段階において先に、および、特徴916は回転段階において後に、鮮明に写される。実施例において、特徴914は鮮明に写され、適切に評価されることができるので、検出装置911の行917および918の間の検出装置911の領域を評価し、評価装置へと送れば十分である。これにより、検出装置の明らかにより高い反復率を再び達成することができる。
この例において、測定対象物913の鮮明に写された部分は、測定対象物の対応する回転を想定すると、感光性検出装置911の画像領域に位置を固定されたままであると仮定できる。そのため、測定進行のプログラミングの間に、測定ウィンドウの固定位置を定義することが有効である。
回転状の測定対象物913のこれらの測定方法においても、本発明の教示によれば、評価の際に重なり領域を利用するために、個別画像が少なくとも部分的に重なるように、個別画像が記録される。
図14は、特にCCDまたはCMOSカメラであるカメラ等の画像処理センサ2を備えた座標測定装置1、手動の位置決め軸3、および、第一の位置における測定対象物4を、単に原理的に示している。参照符号5は、この位置における測定対象物4の、画像処理センサ2によって捉えられた領域を示している。この領域は、図15に示された表示ユニット6の上に、まず、フルスクリーンサイズで表示される。
図16は、測定対象物4の第二の位置における、図14の座標測定装置を示している。操作者が位置決め軸3の手動駆動を働かせることによって、この位置についた。今、測定対象物の領域7は画像処理センサ2によって捉えられる。位置決め軸3の縮尺システムによって決められた位置の変更によって示された、変更後の測定対象物位置に基づいて、測定対象物4のまだ捉えられていない領域7が画像処理センサ2によって捉えられ、記録された個別画像が選択され、領域5の既に選択された個別画像とともに再サンプリング方法を利用して合成されて全体画像8となることがわかる。
図17は、測定対象物の領域5および7からの全体画像8の、表示ユニット6上への表示を示している。表示は、全ての記録された領域が見えるように、スケーリングされて行われる。
全体画像8の領域についての追加の情報が存在しないため、まず領域5および7のみから全体画像8が構成される。
あるいは、本発明によれば、連続する画像が画像処理センサ2によって記録される。すなわち、図14の第一の位置と図16の第二の位置との間の位置においても、特に位置決め軸3の移動の間に、画像が記録される。記録された画像は、その位置に応じて重ねられ、一つ一つ全体画像8を満たす。画像処理センサのカメラが短時間だけ露出される、および、必要な輝度が本発明による部分画像の重ね合わせによって達成されることによって、移動の間に記録された画像に対して、最大の画像の鮮明さを達成することができる。

Claims (43)

  1. カメラのような光学センサを用いて対象物の少なくとも一つの部分の画像を生成し評価するための方法であって、
    前記少なくとも一つの部分について個別画像が記録され、そのうちの少なくともいくつかの個別画像はそれぞれ少なくとも部分的に重ねられ、および、
    前記画像を生成するために、前記少なくとも一つの部分の画像として全体画像となるように前記個別画像またはその信号が互いに関して整列させられ、重ねられ、、
    前記全体画像の評価は、実質的に、前記個別画像の重なる領域に限られ、および/または、前記全体画像またはその部分の評価は、重なる領域を有する個別画像の重なる領域に基づいて行われることを特徴とする方法。
  2. 前記対象物の複数の部分について個別画像が記録され、そのうちの少なくともいくつかは重なることを特徴とする請求項1に記載の方法。
  3. 前記画像を生成するために、個別の記録の相互の空間的位置が考慮されることを特徴とする請求項1または2に記載の方法。
  4. 前記画像に積分時間T全体が割り当てられ、T,・・・,Tのそれぞれが≦T全体、特にT,・・・,Tのそれぞれが<5ミリ秒、好ましくはT,・・・,Tのそれぞれが<1ミリ秒、特に好ましくはT,・・・,Tのそれぞれが≦0.5ミリ秒である積分時間T,・・・,Tで、n枚の個別画像が記録され、前記個別画像が重ねられ、ここにおいて、個別の記録の相互の空間的位置が決定され、重ね合わせの際に考慮されることを特徴とする請求項1ないし3の少なくとも一項に記載の方法。
  5. 前記全体画像を評価するために、全ての個別画像に含まれている個別画像の領域のみが考慮されることを特徴とする請求項1ないし4の少なくとも一項に記載の方法。
  6. 前記全体画像を評価するために、全ての個別画像が、場合によって存在する重なりに関係なく、考慮されることを特徴とする請求項1ないし5の少なくとも一項に記載の方法。
  7. 前記全体画像を評価するために、一つまたは複数の個別画像の少なくとも一つの重なりのない領域が考慮されること、および、
    前記重なりのない領域を評価するために、そのグレー値が、個別画像の評価されるべき重なり領域のグレー値へと規格化されることを特徴とする請求項1ないし6の少なくとも一項に記載の方法。
  8. 評価されるべき領域のグレー値は、特に最大の重なりのある領域のグレー値に対応するグレー値へと、規格化されることを特徴とする請求項1ないし7の少なくとも一項に記載の方法。
  9. 前記全体画像の大きさは、一つの個別画像の大きさよりも大きいことを特徴とする請求項1ないし8の少なくとも一項に記載の方法。
  10. 前記部分の重なり領域は100%よりも小さく、特に100%と10%との間、好ましくは100%と50%との間であることを特徴とする請求項1ないし9の少なくとも一項に記載の方法。
  11. 個別の記録の相互の空間的位置は、個別の記録のグレー値の相関関係を利用して、および/または、それぞれの個別の記録に対して決められたカメラの位置を利用して、決定され、ここにおいて、カメラの位置は、好ましくはカメラが組み込まれた座標測定装置の軸の位置から好ましくは決定されることを特徴とする請求項1ないし10の少なくとも一項に記載の方法。
  12. 個別画像は、前記対象物のさまざまな回転位置において記録されることを特徴とする請求項1ないし11の少なくとも一項に記載の方法。
  13. 個別の記録の相互の空間的位置は、部材の回転位置を利用して決定され、好ましくは、個別画像が前記対象物の屈曲に基づいて修正されることを特徴とする請求項1ないし12の少なくとも一項に記載の方法。
  14. 重ね合わせは、個別の記録の画素の強度またはグレー値の加算によって行われることを特徴とする請求項1ないし13の少なくとも一項に記載の方法。
  15. 重ね合わせは、個別の記録の位置的に互いに対応している画素の強度またはグレー値の平均化によって行われ、好ましくは、結果として生じるグレー値が、好ましくは除法によって、好ましくは、重ね合わせに使用される全体画像内のグレー値の数に多くても一つの画素に対して対応する因数で、広げられることを特徴とする請求項1ないし14の少なくとも一項に記載の方法。
  16. 重ね合わせの前に、個別の記録間の空間的な位置ずれが、移動および/または回転によって、少なくとも個別の記録の画像面で、修正されることを特徴とする請求項1ないし15の少なくとも一項に記載の方法。
  17. 個別の記録から生成された画像は、全ての個別の記録内に存在する、重なる画像部分のみを含むことを特徴とする請求項1ないし16の少なくとも一項に記載の方法。
  18. 重ね合わせの後に閾値より下のグレー値を有している全体画像内の領域は考慮されず、ここにおいて、前記閾値は最大グレー値の、好ましくは20%、特に好ましくは10%であることを特徴とする請求項1ないし17の少なくとも一項に記載の方法。
  19. 重ね合わせの際に、重ね合わせに引き入れられた個別画像の少なくとも一つが縁領域に存在している領域の重みづけが行われることを特徴とする請求項1ないし18の少なくとも一項に記載の方法。
  20. 個別の記録間の位置ずれの修正の後、全ての使用された個別の記録の画素が、共通の、好ましくは等距離のポイントラスターへと、再サンプリングによって変換され、ここにおいて、それぞれの目標画素に対して、グレー値が、周囲の画素のグレー値から、好ましくは線形補間法または平均化法によって、算出されることを特徴とする請求項1ないし19の少なくとも一項に記載の方法。
  21. 前記画像の少なくとも一つの領域に関する、少なくとも二つの個別の記録に由来する情報が共に、好ましくは再サンプリング方法を使用することによって、全ての個別の記録のさまざまな画素位置に適用され、この画像領域内の特徴の位置を決定するために使われることを特徴とする請求項1ないし20の少なくとも一項に記載の方法。
  22. それぞれの複数の個別の記録が、直接連続して記録され、ここにおいて、好ましくは、それぞれの個別の記録は、例えば20ミリ秒である標準積分時間よりも短い積分時間Tで、特に積分時間T<5ミリ秒で、好ましくは積分時間T<1ミリ秒で、特に好ましくは積分時間T<0.5ミリ秒で記録されることを特徴とする請求項1ないし21の少なくとも一項に記載の方法。
  23. 前記方法は、測定対象物の対象物点および/または輪郭および/または寸法を決定するために、好ましくは座標測定装置において、使用され、ここにおいて、前記座標測定装置は測定対象物と光学センサとの間の相対運動のための手段を提供することを特徴とする請求項1ないし22の少なくとも一項に記載の方法。
  24. 自動焦点測定の際、光学センサの光学軸の方向で個別画像が記録されること、
    連続する個別画像が重ねられてグループへと分けられ、それぞれのグループが自動焦点測定のための画像を形成すること、および、
    全ての個別画像が、場合によって存在する横のずれを考慮して、対象物に関して互いに整列させられることを特徴とする請求項1ないし23の少なくとも一項に記載の方法。
  25. 一つまたは複数の画素から成る、それぞれの部分画像およびそれぞれの部分画像のそれぞれの部分領域に対して、移動方向において隣接する部分画像の、重ね合わせに使われる対応している部分領域の数が別々に選択されるように、
    好ましくは、それぞれの部分画像のそれぞれの部分領域の重ね合わせ後に存在しているグレー値が、それぞれ、好ましくは共通の、閾値を超え、好ましくはその後でグレー値が重ね合わせの数に応じて規格化されるように、
    部分画像の重ね合わせが行われることを特徴とする請求項1ないし24の少なくとも一項に記載の方法。
  26. 重ね合わせのために、同じ数の隣接する部分画像が正および負の移動方向において選択され、移動方向において結果として生じる部分領域の位置に、移動方向におけるもとの部分領域の位置が割り当てられ、または、移動方向におけるそれぞれの重ね合わせに使われた部分領域の位置の平均値もしくは中央値が割り当てられることを特徴とする請求項1ないし25の少なくとも一項に記載の方法。
  27. 前記方法は、自動焦点測定の際に画像を生成するために、約0.3mm/秒から0.1mm/秒の標準移動速度として、好ましくは>0.3mm/秒、または>1mm/秒、または>3mm/秒である高められた移動速度で、使用され、または、カメラの移動の間に画像処理測定のために画像を生成するために使用されることを特徴とする請求項1ないし26の少なくとも一項に記載の方法。
  28. 重ねられるべき個別の記録を記録する間に、好ましくは閃光のような照明が点けられ、ここにおいて、それぞれの個別の記録に対しての正確な位置が存在し保証されるように、個別画像記録、照明、および、座標測定装置の軸の位置の記録が同期され、それぞれの個別の記録の積分時間の間に前記照明が点けられていることを特徴とする請求項1ないし27の少なくとも一項に記載の方法。
  29. 前記光学センサはより多くの画素を含み、好ましくはCCDまたはCMOSカメラであることを特徴とする請求項1ないし28の少なくとも一項に記載の方法。
  30. 前記光学センサの検出平面の平面全体または一つの部分領域または複数の部分領域が、好ましくは限られた数の行で自由に選ばれて利用されることを特徴とする請求項1ないし29の少なくとも一項に記載の方法。
  31. 測定対象物としては、回転対称および/または円柱状の形を持つようなもの、特にステントが使われることを特徴とする請求項1ないし30の少なくとも一項に記載の方法。
  32. 回転対称および/または円柱状の測定対象物を測定するために、回転および/またはスイベル軸が使われることを特徴とする請求項1ないし31の少なくとも一項に記載の方法。
  33. 測定されるべき対象物を光学センサに関して調節することのできる手動の位置決め装置を利用する方法であって、
    一つの位置決めプロセスの間、および/または、複数の位置決めプロセス間で、前記光学センサで自動的に個別画像が記録され、その後、選択された個別画像が合成されて全体画像となり、さらなる評価のために利用可能となることを特徴とする請求項1ないし32の少なくとも一項に記載の方法。
  34. あらかじめまだ完全には捉えられていなかった測定対象物の領域が前記光学センサによって捉えられると、個別画像が選択されることを特徴とする請求項1ないし33の少なくとも一項に記載の方法。
  35. 特にCCDまたはCMOSカメラのようなカメラである光学センサが、規則的に、および/または、位置決め装置の位置の変化の際、および/または、位置決め装置の位置領域への到達の際、および/または、照明の変化の際、および/または、例えば光学センサの積分時間または閃光のような照明の期間もしくは時間といった、画像記録および/または画像内容に影響を及ぼす他の要素の変化の際に、個別画像を記録することを特徴とする請求項1ないし34の少なくとも一項に記載の方法。
  36. 選択された個別画像が重なることを特徴とする請求項1ないし35の少なくとも一項に記載の方法。
  37. 選択された個別画像が、再サンプリング方法を利用して、例えば補間または平均化方法を使用して、合成されて全体画像となって、さらなる評価のために利用可能となり、好ましくは、表示要素上に、回転対称の部材の場合は展開された状態で、好ましくはそれぞれ表示ユニットの大きさに合わせてスケーリングされて、表示されることを特徴とする請求項1ないし36の少なくとも一項に記載の方法。
  38. 個別画像が選択されさらなる評価のために利用可能であるかどうかの識別が、手動で操作できる移動軸の縮尺システムで決定される位置および/または位置の変化、および/または、画像処理センサで記録される画像内容を監視することによって行われることを特徴とする請求項1ないし37の少なくとも一項に記載の方法。
  39. 監視することは、それぞれの記録された個別画像の位置および/または画像内容を決定すること、および、個別画像が選択される場合には、それぞれの記録された個別画像の位置および/または画像内容を蓄積すること、および、既に選択された個別画像の既に存在している位置および/または画像内容と比較することを含むことを特徴とする請求項1ないし38の少なくとも一項に記載の方法。
  40. 既に選択された個別画像の既に存在している位置および/または画像内容との比較に基づいて、個別画像の少なくとも一つの部分が、あらかじめまだ捉えられていなかった測定対象物の領域を捉える場合、当該個別画像が選択され、ここにおいて、カメラ測定領域等のセンサと選択された結像対物レンズから形成された、光学センサの測定領域が考慮されることを特徴とする請求項1ないし39の少なくとも一項に記載の方法。
  41. 加工物表面の光学センサの鮮明領域への位置決めのあと、大部分が平らな加工物領域は側面の軸を用いて、大部分が回転対称の加工物領域は機械回転軸を加えて用いて、光学センサの測定領域に位置決めされることを特徴とする請求項1ないし40の少なくとも一項に記載の方法。
  42. 光学センサと手動の位置決め装置を用いて測定対象物のジオメトリを決定する方法であって、
    光学センサと測定対象物との間の相対運動の際に画像の記録が行われ、ここにおいて、光学センサによる画像の記録、手動の移動軸の縮尺システムによる位置の記録、および、好ましくは閃光のような照明が、トリガ信号によって制御されて、同期して行われることを特徴とする請求項1ないし41の少なくとも一項に記載の方法。
  43. 前記方法は座標測定装置において使用されることを特徴とする請求項1ないし42の少なくとも一項に記載の方法。
JP2014510805A 2011-05-17 2012-05-16 画像を生成し評価するための方法 Active JP6244299B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102011050408.7 2011-05-17
DE102011050408 2011-05-17
DE102011051894 2011-07-18
DE102011051894.0 2011-07-18
DE102011056788.7 2011-12-21
DE201110056788 DE102011056788A1 (de) 2011-07-18 2011-12-21 Verfahren zur Erzeugung und Auswertung eines Bilds
PCT/EP2012/059157 WO2012156462A2 (de) 2011-05-17 2012-05-16 Verfahren zur erzeugung und auswertung eines bilds

Publications (3)

Publication Number Publication Date
JP2014517601A true JP2014517601A (ja) 2014-07-17
JP2014517601A5 JP2014517601A5 (ja) 2015-07-09
JP6244299B2 JP6244299B2 (ja) 2017-12-06

Family

ID=50112606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510805A Active JP6244299B2 (ja) 2011-05-17 2012-05-16 画像を生成し評価するための方法

Country Status (5)

Country Link
US (1) US9503658B2 (ja)
EP (2) EP2710794B1 (ja)
JP (1) JP6244299B2 (ja)
CN (1) CN103688530B (ja)
WO (1) WO2012156462A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021142541A (ja) * 2020-03-12 2021-09-24 日本発條株式会社 検長装置、検長システムおよび検長方法
JP2021142539A (ja) * 2020-03-11 2021-09-24 日本発條株式会社 コイルばねの製造装置、巻き数制御装置、及びコイルばねの製造方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013212495A1 (de) * 2013-06-27 2014-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
DE102015121582A1 (de) 2014-12-12 2016-06-16 Werth Messtechnik Gmbh Verfahren und Vorrichtung zur Messung von Merkmalen an Werkstücken
DE102015208080A1 (de) * 2015-04-30 2016-11-03 Carl Zeiss Microscopy Gmbh Verfahren zur Reflexionskorrektur von Abbildungen und diesbezügliche Vorrichtungen
DE102017107343A1 (de) 2016-06-21 2017-12-21 Werth Messtechnik Gmbh Verfahren und Vorrichtung zum Betreiben eines optischen Abstandssensors
CN106127720B (zh) * 2016-06-29 2019-01-11 青岛海信移动通信技术股份有限公司 一种拍摄放大图像的方法和装置
DE102016218213A1 (de) * 2016-09-22 2018-03-22 Zf Friedrichshafen Ag Klassifizierung statischer Objekte mit beweglicher Kamera
CN107254511A (zh) * 2017-04-27 2017-10-17 臻准生物科技(上海)有限公司 一种数字pcr芯片信号读取方法
JP6891071B2 (ja) 2017-08-07 2021-06-18 キヤノン株式会社 情報処理装置、撮像システム、撮像方法及びプログラム
DE102017216065A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
CN109556509B (zh) * 2018-01-04 2020-07-03 奥特斯(中国)有限公司 对准标记的边缘锐度评估
DE102018124368B4 (de) * 2018-10-02 2020-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Bestimmung von relativen Reflexionsgraden einer Messfläche
DE102019121557B4 (de) * 2019-08-09 2021-07-22 Basler Ag Kamera sowie Verfahren
DE102021103086A1 (de) 2020-02-17 2021-08-19 Werth Messtechnik Gmbh Verfahren zum Betreiben eines Koordinatenmessgeräts
DE102022118320A1 (de) 2021-07-23 2023-01-26 Werth Messtechnik Gmbh Vorrichtung umfassend ein Koordinatenmessgerät und Verfahren zum Betreiben
DE102023117023A1 (de) 2022-06-30 2024-01-04 Werth Messtechnik Gmbh Verfahren zum Betreiben eines Koordinatenmessgeräts und Vorrichtung zur Ausführung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131779A (ja) * 1993-09-10 1995-05-19 Sony Corp 図形検査方法及び図形検査装置
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2004509346A (ja) * 2000-09-22 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー 座標測定装置によって測定対象物の幾何学的形状を測定する方法。
JP2007318648A (ja) * 2006-05-29 2007-12-06 Fujifilm Corp パノラマ写真撮影装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5686960A (en) * 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
US20040156054A1 (en) 2001-07-16 2004-08-12 Ralf Christoph Method for measuring an object by means of a co-ordinate measuring device with image processing sensor
ATE326683T1 (de) 2001-08-18 2006-06-15 Trumpf Werkzeugmaschinen Gmbh Vorrichtung und verfahren zur erfassung der geometrie von werkstücken
DE10248779A1 (de) 2002-10-17 2004-04-29 Optische Koordinatenmesstechnik Gmbh Verfahren und Anordnung zur Durchführung von zweidimensionalen Messungen an bewegten Meßobjekten
US7260258B2 (en) 2003-06-12 2007-08-21 Fuji Xerox Co., Ltd. Methods for multisource color normalization
DE102005058353B4 (de) 2005-12-06 2009-09-24 Wilhelm Ruppert Verfahren zur Aufnahme digitaler Abbildungen
CN101199430B (zh) 2006-12-15 2011-12-28 深圳迈瑞生物医疗电子股份有限公司 空间复合成像方法、设备及其超声成像系统
TWI324015B (en) * 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
JP2009017078A (ja) * 2007-07-03 2009-01-22 Fujifilm Corp ディジタル・スチル・カメラおよびその動作制御方法
JP5256933B2 (ja) * 2008-08-25 2013-08-07 株式会社ニコン 焦点情報検出装置
DE102009043823A1 (de) 2008-08-28 2010-07-29 Werth Messtechnik Gmbh Verfahren und Anordnung zum Bestimmen von Strukturen oder Geometrien eines Messobjektes
JP4962460B2 (ja) 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
TWI390972B (zh) * 2008-12-31 2013-03-21 Altek Corp The autofocus method in the high noise environment and its application of the digital acquisition device of the method
US8228400B2 (en) 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
DE102010037747A1 (de) 2009-09-24 2011-03-31 Werth Messtechnik Gmbh Verfahren zur Bestimmung der Geometrie eines Messobjekts mit Hilfe manueller Positionierung
JP5337658B2 (ja) * 2009-10-02 2013-11-06 株式会社トプコン 広角撮像装置及び測定システム
US8319823B2 (en) 2009-11-03 2012-11-27 Jadak, Llc System and method for panoramic image stitching
US9163922B2 (en) * 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131779A (ja) * 1993-09-10 1995-05-19 Sony Corp 図形検査方法及び図形検査装置
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2004509346A (ja) * 2000-09-22 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー 座標測定装置によって測定対象物の幾何学的形状を測定する方法。
JP2007318648A (ja) * 2006-05-29 2007-12-06 Fujifilm Corp パノラマ写真撮影装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021142539A (ja) * 2020-03-11 2021-09-24 日本発條株式会社 コイルばねの製造装置、巻き数制御装置、及びコイルばねの製造方法
JP7278232B2 (ja) 2020-03-11 2023-05-19 日本発條株式会社 コイルばねの製造装置、巻き数制御装置、及びコイルばねの製造方法
JP2021142541A (ja) * 2020-03-12 2021-09-24 日本発條株式会社 検長装置、検長システムおよび検長方法
JP7293154B2 (ja) 2020-03-12 2023-06-19 日本発條株式会社 検長装置、検長システムおよび検長方法

Also Published As

Publication number Publication date
EP3136711A1 (de) 2017-03-01
WO2012156462A3 (de) 2013-06-06
US9503658B2 (en) 2016-11-22
US20140192234A1 (en) 2014-07-10
WO2012156462A2 (de) 2012-11-22
EP2710794B1 (de) 2016-11-30
EP2710794A2 (de) 2014-03-26
JP6244299B2 (ja) 2017-12-06
CN103688530B (zh) 2018-02-27
CN103688530A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
JP6244299B2 (ja) 画像を生成し評価するための方法
US20210073942A1 (en) Image processing device, imaging system provided therewith, and calibration method
JP2014517601A5 (ja)
JP6377295B2 (ja) 距離計測装置及び距離計測方法
JP2007043274A (ja) 投写画像の位置調整方法
JP4445327B2 (ja) ディスプレイの評価方法及び装置
JP2008232776A (ja) 3次元形状計測装置および方法並びにプログラム
JP6405531B2 (ja) 撮像装置
JP6911439B2 (ja) プロジェクター
US10348966B2 (en) Optical apparatus and a control method for performing image readout and reconstruction based on a delayed readout from different partial regions
US10542875B2 (en) Imaging device, endoscope apparatus, and imaging method
KR20190028305A (ko) 화상 처리장치, 매체 및 방법
JP2002228425A (ja) Dmdを用いたccdカメラによる実時間形状計測方法と装置
JP2019074470A (ja) 画像測定装置の調整方法
JP2010019762A (ja) 表面形状測定方法及び表面形状測定装置
JP6904624B1 (ja) クラブヘッド計測用マークおよび画像処理装置
US8736706B1 (en) Method and system for generating high resolution composite images
JP2017009354A (ja) 高速度撮像システム及び高速度撮像方法
JP5978866B2 (ja) 撮影装置及び撮影装置の画像処理方法
JP2019140439A5 (ja)
JP4644595B2 (ja) ディスプレイの評価装置、評価方法及びプログラム
JP2007036743A (ja) 複数画像合成方法及び撮像装置
JP4663669B2 (ja) 動画像処理装置及び方法
JP2005249946A (ja) 表示装置の欠陥検査装置
JP2005266042A (ja) 画像の幾何補正方法及び補正装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171113

R150 Certificate of patent or registration of utility model

Ref document number: 6244299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250