JP2018050298A - アライメント分析機能付き撮像装置 - Google Patents

アライメント分析機能付き撮像装置 Download PDF

Info

Publication number
JP2018050298A
JP2018050298A JP2017183034A JP2017183034A JP2018050298A JP 2018050298 A JP2018050298 A JP 2018050298A JP 2017183034 A JP2017183034 A JP 2017183034A JP 2017183034 A JP2017183034 A JP 2017183034A JP 2018050298 A JP2018050298 A JP 2018050298A
Authority
JP
Japan
Prior art keywords
visible light
imaging device
light image
measurement range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017183034A
Other languages
English (en)
Other versions
JP6618965B2 (ja
Inventor
ジェフリー・エム・クレッシュ
M Kresch Jeffrey
ステファン・ルドウィグ
Ludwig Steffen
レノ・ガートナー
Gaertner Reno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2018050298A publication Critical patent/JP2018050298A/ja
Application granted granted Critical
Publication of JP6618965B2 publication Critical patent/JP6618965B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Geometry (AREA)
  • Radiation Pyrometers (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ミスアライメントを検知可能とする撮像装置を提供する。【解決手段】対象物に向けられた測定範囲を撮像する撮像装置においてアライメントを修正する方法300は、異なる時間で第1及び第2の可視光画像を捕捉し、捕捉した第1及び第2の可視光画像に基づいて、第1の可視光画像での撮像装置の測定範囲の位置と第2の可視光画像での撮像装置の測定範囲の位置を比較する。この比較結果に基づいて、対象物に対する撮像装置のミスアライメント表示を行う、或いは撮像装置の撮像位置決めを自動的に調整する。【選択図】図3

Description

本開示は、概して撮像装置、より具体的には撮像装置のミスアライメント検知に関する。
撮像装置は、例えば、物理的外見などの対象物体の特徴を捉えるのに役立つ。撮像装置の中の一つのタイプには、対象物体の温度的特徴を捉えることが可能なものもあり、そのため、非接触温度測定装置として役立つ。非接触温度測定装置は、ユーザが、対象物に触れることなく、対象物又は対象物の一部の表面温度を測定することを可能にする。一般的な非接触温度測定装置の一つは、赤外線放射温度計である。赤外線放射温度計は、対象物が放射する赤外線を測定することで、対象物の温度を決定する。特定の波長で放射される赤外線量は、対象物の温度と相関関係にある。対象物が放射する赤外線エネルギーの量とその放射率がわかれば、その対象物に接触することなく対象物の温度が決定できる。赤外線放射温度計の光学システムは、測定スポットから赤外線エネルギーを収集し、それを検知器上に集中させる。その後、検知器は赤外線エネルギーを温度の単位で表示可能な電気信号に変換する。多くの赤外線放射温度計は、対象物にむけて赤外線放射温度計をかざすことで対象物上のスポットの温度をユーザが確認することを可能にしている。
産業用モニタリングシステムでは、非接触温度計が頻繁に使用され、対象物の一つ又は複数の温度を捉える。いくつかの例では、対象物は、製造装置の一部(例えば、製造装置の部品の特定箇所)、及び/又は、製造過程途中(例えば、組み立てライン上)の製品を含むことがある。多くの産業用モニタリングシステムでは、非接触温度計が採用され、遠隔モニタリングステーションと交信し、並びに、いくつかの例では、製造過程制御パッケージに組み込まれることがある。
非接触温度計は、所望の対象物の画像データを捕捉するに相応しい固定箇所に搭載可能である。しかしながら、多くの例では、その環境内の通常離れた箇所に非接触温度計の設置を必要とする環境に、対象物がありうる。例えば、非接触温度計は、装置への損害が及ぶ危険を最小限に抑える場所、及び/又は、環境内の事象によって引き起こされる干渉(例えば、蒸気、煙、埃など)を最小限に抑える場所に搭載される必要がある。更に、多くのこのような環境において、非接触温度計の適切な動作への一つの脅威は、対象物に対する装置のミスアライメントである。ミスアライメントは、例えば、振動又は多くの対象となる環境で起こりうるその他の機械的衝撃によって引き起こることがある。現在、非接触温度計の定常操作では、非接触温度計が、所望の対象物と正しくアラインしているかを確認するために、頻繁に手動のアライメント検査が行われている。このような手動のアライメント検査は、多くの場合、非接触温度計から遠隔で届きにくいがために複雑になり得る。
米国特許出願公開第2016/0076936号明細書 特開2012−213130号公報
ここに開示する実施形態は、撮像装置のミスアライメントを検知する際に有用である。いくつかの実施形態では、対象物に対する撮像装置のミスアライメント表示が、ミスアライメント分析機能を使用して生成され、並びに、更に特定の実施形態では、撮像装置の位置決めが調整されて、そのようなミスアライメントを修正する。いくつかの場合、撮像装置に手動でアクセスする必要なく、撮像装置の位置決めが自動的に調整される。結果として、ここに開示する実施形態は、撮像装置のミスアライメント検知を可能にし、そのため、撮像装置が対象物に正しくアラインされているかを確認するための手動の検査を定期的に行う必要を排除する。また、ここに開示する特定の実施形態は、検知されたミスアライメントの程度に応じて、撮像装置の位置決めに対する自動調整を更に駆使し、これにより、手動による撮像装置の再位置決めの必要を排除する。その結果、撮像装置が捕捉した画像に関する誤った表示が、実質上、速やかにほぼ修正されて、ミスアラインされた撮像装置によって提供される表示に依存して起こる危険を減少することができる。
本発明の第1のアスペクトによれば、いくつかの実施形態では、撮像装置のミスアライメントの決定方法を含む。このような方法の一つは、撮像装置を使用して一度目で第1の画像(例えば、可視光画像又は熱画像)を捕捉する工程、及び、撮像装置を使用して二度目で第2の画像(例えば、可視光画像又は熱画像)を捕捉する工程を含む。二度目は、一度目に続く。この方法は、更に、第1の画像での撮像装置の測定範囲の位置と第2の画像での撮像装置の測定範囲の位置を比較する工程を含む。この比較で、撮像装置が、所望の対象物に対してミスアライメントになっていることを示すために使用されうる結果、及び/又は、撮像装置の位置決めを(例えば、自動で)調整するために使用されうる結果が出る。
本発明の第2のアスペクトによれば、前記第1のアスペクトの方法において、前記第1の可視光画像での撮像装置の測定範囲の位置が、前記第2の可視光画像での撮像装置の測定範囲の位置と異なる時、ミスアライメント表示を生成する工程を更に含んでいる。
本発明の第3のアスペクトによれば、前記第2のアスペクトの方法において、前記第1の可視光画像での撮像装置の測定範囲の位置が、前記第2の可視光画像での撮像装置の測定範囲の位置と所定の閾値を超える程度まで異なる時、前記ミスアライメント表示が生成する。
本発明の第4のアスペクトによれば、前記第1のアスペクトの方法において、第1の可視光画像上に測定範囲を表示する可視的インジケータを生成する工程と、前記第1の可視光画像を重ねられた可視的インジケータと共にメモリに保存する工程とを更に含んでいる。
本発明の第5のアスペクトによれば、前記第1のアスペクトの方法において、前記撮像装置を使用して第2の可視光画像を捕捉した後の時点で、第3の可視光画像を捕捉することと、前記第1の可視光画像での撮像装置の測定範囲の位置と前記第3の可視光画像での撮像装置の測定範囲の位置を比較することとを更に含んでいる。
本発明の第6のアスペクトによれば、前記第1のアスペクトの方法において、第1の可視光画像での撮像装置の測定範囲の位置と第2の可視光画像での撮像装置の測定範囲の位置の比較結果を使用して、前記撮像装置の位置を変更することを更に含んでおる。
本発明の第7のアスペクトによれば、前記第6のアスペクトの方法において、前記比較結果が、第1の可視光画像及び第2の可視光画像間での、前記撮像装置の測定範囲の位置における変化の数的測定である。
本発明の第8のアスペクトによれば、前記第7のアスペクトの方法において、前記第1の可視光画像上に測定範囲を表示する可視的インジケータを生成することと、前記第2の可視光画像上に測定範囲を表示する可視的インジケータを生成することとを更に含み、前記第1の可視光画像及び前記第2の可視光画像間での、前記撮像装置の測定範囲の位置における変化の前記数的測定が、該可視的インジケータに関連している。
本発明の第9のアスペクトによれば、前記第7のアスペクトの方法において、前記撮像装置の位置が、前記撮像装置から離れた位置においてユーザ入力によって変更され、並びに、該ユーザ入力が、前記第1の可視光画像及び前記第2の可視光画像間で、前記撮像装置の測定範囲の位置における変化の前記数的測定に基づいている。
本発明の第10のアスペクトによれば、前記第7のアスペクトの方法において、前記撮像装置の位置が、変更される際に、ユーザ入力なしで自動的に変更され、並びに、前記撮像装置の位置の該自動変更が、前記第1の可視光画像及び前期第2の可視光画像間での、前記撮像装置の測定範囲の位置における変化の前記数的測定に基づいている。
本発明の第11のアスペクトによれば、前記第7のアスペクトの方法において、前記撮像装置が動く対象物に向けられて、該対象物が前記第1の可視光画像及び前記第2の可視光画像で捕捉され、さらに、前記一度目と前記二度目の間の経過時間を決定することと、前記第1の可視光画像での対象物の位置と前記第2の可視光画像での対象物の位置を比較することと、該比較に基づいて、前記対象物の位置における変化の数的測定を決定することと、前記第1の可視光画像及び前期第2の可視光画像間での、前記撮像装置の測定範囲の位置における変化の前記数的測定が、前記対象物の動きの速度に大きく関わっており、前記対象物の位置における変化の前記数的表示及び前記経過時間を使用して、対象物の動きの速度を決定することと、前記測定範囲の位置における変化の前記数的測定が、所定の閾値を超える時、ミスアライメント表示を生成することとを更に含んでいる。
本発明の第12のアスペクトによれば、特定の実施形態において、プログラム可能なプロセッサに画像を比較させるインストラクションを備える非一時的なコンピュータ可読媒体を含んでおり、並びに、いくつかの場合には、撮像装置が、所望の対象物に対してミスアライメントになるかを決定する。一つの実施形態では、プログラム可能なプロセッサが、撮像装置が捕捉した第1の画像に対応する第1の画像データ(例えば、可視光や赤外線データ)を受信するようにするインストラクション、及び、第1の画像を捕捉した後の時点で、撮像装置が捕捉した第2の画像に対応する第2の画像データ(例えば、可視光や赤外線データ)を受信するようにするインストラクションを備える。インストラクションは更に、プログラム可能なプロセッサが、第1の画像データでの撮像装置の測定範囲の位置と第2の画像データでの撮像装置の測定範囲の位置を比較するようにする。この比較は、撮像装置が、所望の対象物に対してミスアライメントになっていることを示すため、及び/又は、撮像装置の位置決めを(例えば、自動で)調整するために使用されうる結果を生み出す。
本発明の第13のアスペクトによれば、前記第12のアスペクトの非一時的なコンピュータ可読媒体において、前記インストラクションが、更に、プログラム可能なプロセッサが、前記第1の可視光画像データにおいて前記測定範囲を表示する可視的インジケータを生成し、前記プロセッサが前記第1の可視光画像データに対応する多数の特定のピクセルを登録するようにすることで、該可視的インジケータが生成されて、生成された可視的インジケータと共に、前記第1の可視光画像データをメモリに保存し、前記第2の可視光画像データにおいて前記測定範囲を表示する可視的インジケータを生成するが、前記プロセッサが前記第2の可視光画像データに対応する多数の特定のピクセルを登録するようにすることで、該可視的インジケータが生成され、並びに、前記第1の可視光画像データ及び前記第2の可視光画像データに対応する特定のピクセルが同じであり、更に、生成された可視的インジケータと共に、前記第2の可視光画像データをメモリに保存するようにする。
本発明の第14のアスペクトによれば、前記第13のアスペクトの非一時的なコンピュータ可読媒体において、前記インストラクションが、更に、プログラム可能なプロセッサが、前記第1の可視光画像での可視的インジケータの位置が、前記第2の可視光画像での可視的インジケータの位置と所定の閾値を超える程度まで異なる時、ミスアライメント表示を生成するようにする。
本発明の第15のアスペクトによれば、前記第14のアスペクトの非一時的なコンピュータ可読媒体において、前記インストラクションが、更に、プログラム可能なプロセッサが、前記第1の可視光画像及び前記第2の可視光画像間で可視的インジケータの位置における変化の数的表示に対応する位置変更信号を出力するようにする。
本発明の第16のアスペクトによれば、更なる実施形態において、画像が比較され、並びにいくつかの例では、撮像装置が所望の対象物に対してミスアライメントになっているかを確認するために使用されるシステムを含む。撮像装置のミスアライメントを決定するシステムの一つの実施形態は、撮像装置、遠隔モニタリングステーション、及び計算装置を含む。撮像装置は、一つ又は複数のセンサ(例えば、可視光、及び/又は、赤外線センサ)を有し、並びに、対象物から出る可視光エネルギーを可視光センサ上に収束すると共に、該対象物からエネルギー(例えば、可視光、及び/又は、赤外線エネルギー)を一つ又は複数のセンサ上にそれぞれ収束するよう構成されている。遠隔モニタリングステーションは撮像装置と交信する。計算装置は、撮像装置、及び/又は、遠隔モニタリングステーションと交信する。計算装置は、少なくとも一つのプロセッサを有し、並びに、一つ又は複数のセンサによって生成される第1の画像データ(例えば、可視光、及び/又は、赤外線画像データ)を、一つ又は複数のセンサによって生成される第2の画像データと共に受信するよう構成されている。第2の画像データは、撮像装置が第1の画像データを捕捉した後の時点で、撮像装置によって捕捉される。計算装置は、更に、撮像装置の位置変更が起きたかを確認するために、第1の画像データと第2の画像データを比較するよう構成されている。計算装置は、また、その比較に応じて撮像装置の位置変更が起きる場合に、ミスアライメント表示を生成するよう構成されている。
本発明の第17のアスペクトによれば、前記第16のアスペクトのシステムにおいて、前記第1の可視光画像データと前記第2の可視光画像データの比較が、前記第1の可視光画像での撮像装置の測定範囲の位置と前記第2の可視光画像での撮像装置の測定範囲の位置を比較することを含んでいる。
本発明の第18のアスペクトによれば、前記第17のアスペクトのシステムにおいて、前記第1の可視光画像での撮像装置の測定範囲の位置と前記第2の可視光画像での撮像装置の測定範囲の位置を比較することが、前記第1の可視光画像上に生成された測定範囲を表示する可視的インジケータと前記第2の可視光画像上に生成された測定範囲を表示する可視的インジケータを比較することを含んでいる。
本発明の第19のアスペクトによれば、前記第16のアスペクトのシステムにおいて、前記計算装置が、更に、前記第1の可視光画像及び前記第2の可視光画像間で、前記撮像装置の位置における変化の数的測定を算出し、該算出された数的測定に応じて、前記撮像装置の位置を調整するために前記撮像装置に向けられたインストラクションを含むコマンドを前記撮像装置へ通信するように構成されている。
本発明の第20のアスペクトによれば、前記第19のアスペクトのシステムにおいて、前記撮像装置の位置決めが、ユーザ入力なしで、自動的に調整され、並びに、前記撮像装置の位置決めの自動的な調整が、前記第1の可視光画像及び前期第2の可視光画像間で、前記撮像装置の位置における変化の数的測定に基づいている。
一つ又は複数の例の詳細は、添付の図面及び以下の明細書に記載してある。その他の特徴、目的、有利な点は、明細書、図面、及び請求項から明らかであろう。
図1Aは、非接触温度測定装置の一例の前面を示す斜視図である。 図1Bは、図1Aの非接触温度測定装置の一例の後面を示す斜視図である。 図1Cは、図1A及び1Bの非接触温度測定装置の一例を示す断面図である。 図1Dは、図1A及び1Bの非接触温度測定装置の別の一例を示す断面図である。 図2は、ミスアライメント分析の一例を示す概略図である。 図3は、非接触温度測定装置のアライメントを修正する方法例を示すフローチャートである。
以下の詳細な説明は、本質的に例示的なものであって、いかなることがあっても、本発明の権利範囲、産業上の利用可能性、又は、構成を限定することを意図するものではない。以下の説明は、むしろ、本願発明の様々な実施形態の実行における実用的例示を提供する。構造、材料、寸法、製造工程の例は、選択された要素で提供されており、その他のすべての要素は、本発明の分野における当業者により一般に知られているものを採用している。当業者は、記載された例の多くが、多様の適切な代替を有していることを理解するであろう。
図1A〜1Cは、撮像装置100の実施形態を図示する。撮像装置100は、一つの例では、非接触温度測定装置としての働きも含む、様々な機能で役立つ。図1Aは、撮像装置100の前方斜視図であり、一方、図1Bは、後方斜視図である。図1Cは、撮像装置100の断面図である。上述したように、撮像装置100は、例えば、所望の対象物と撮像装置100が物理的に接触する必要なく、対象物の温度状況に係る情報を提供するアプリケーションで使用できる。
撮像装置100は、撮像装置100の様々な構成部品(そのうちのいくつかは図1Cにて図示されている)を備える筐体102で明瞭に示されている。筐体102は、前部104及び後部106を有する。撮像装置100の前部104は、レンズアセンブリ108を含み、一方で、撮像装置100の後部106は、制御パネル110を含む。実装部品112は、筐体102に連結されうる。撮像装置100は、実装部品112を使用し、所望の位置に取り付け可能であり、前部104は、離れた場所から対象物に向けられる。取り付け後、実装部品112は、撮像装置100が取り付けられた場所に対して撮像装置100の動きを容易にする目的(例えば、所望の対象物との再アライメントを容易にするような、撮像装置100の旋回、及び/又は、傾斜等)で使用されうる。
作動中、撮像装置100の前部104は、対象物に向けられる。前部104にあるレンズアセンブリ108は、対象物から発する、可視光、及び/又は、電磁スペクトルの赤外域における放射線を受け取ることができる。レンズアセンブリ108は、撮像装置100のアプリケーションに応じて、様々な部品を含みうる。例えば、図1Cで、図示される例では、レンズアセンブリ108は、対象物の発する可視光、及び/又は、赤外線を受け取ることができる一つのレンズ114を含む。その他の例では、レンズアセンブリ108は、対象物からの可視光を受け取る第1のレンズ、及び、対象物からの赤外線を受け取る第2のレンズといった別個のレンズを含みうる。一つ又は複数のレンズ(例:レンズ114)は、受け取った可視光、及び/又は、赤外線を収束するように働くことができる。更に、フォーカスメカニズムが、レンズアセンブリ108の一つ又は複数のレンズ(例:レンズ114)を動かすよう構成されたレンズアセンブリ108に結合しており、撮像装置100の捕捉した一つ又は複数の画像の焦点を調整することができる。
レンズアセンブリ108は、一つ又は複数のレンズ(例:レンズ114)の曲率中心を通る光軸116を明確に示している。対象物から受け取った可視光エネルギーは、レンズ114の前面を通って投影され、レンズ114の反対側に焦点を合わせる。この焦点の合った可視光エネルギーは、可視光センサ118へと向けることができる。可視光センサ118は、メモリに保存でき、及び/又は、変換して可視光画像として表示できる電気信号を生成することで、焦点の合ったエネルギーに反応することができる。可視光センサ118は、CMOS検出器、CCD検出器、PINダイオード、アバランシェフォトダイオード等の複数の可視光センサ素子を含むでもよい。
撮像装置100の図解例では、レンズ114からの焦点を合わせた可視光エネルギーを可視光センサ118へと向ける目的で、ビームスプリッター120が含まれる。ビームスプリッターは、例えば、図1Cで図示される構成例で、可視光センサ118が、光軸116に対しておよそ90度に位置するような、レンズアセンブリ108からの焦点を合わせたエネルギーを必要とするセンサが、光軸116からはずれて位置する場合に、有用でありうる。この実施形態では、ビームスプリッター120は、撮像装置100に入り、レンズ114を通って収束する可視光エネルギーの一部が、可視光センサ118へと反射するように、光軸116に対して角度をつけて(例:45度)位置される。その他の例では、ビームスプリッターは、可視光センサ118の位置決めに応じて、含まれる必要はない(例:可視光センサ118が光軸116に沿って位置される場合)。
ビームスプリッター120が含まれる例では、可視光の非反射部が、光軸116に沿って、ビームスプリッター120を通りぬけ、最終的には、後部106の照準アレンジメント122まで通り抜ける。照準アレンジメント122は、図示されるように、一般に光軸116に対して同心円状に位置される。図解された撮像装置100の例は、照準アレンジメント122の一部として、接眼レンズ124を含み、ビームスプリッター120を通り抜ける非反射の可視光からできる可視光像を、ユーザが視覚的に見えるようにする。焦点調整のメカニズムが含まれる場合には、一つ又は複数のレンズ(例:レンズ114)を介して、接眼レンズ124を通して見られる可視光像の焦点を調整する目的で使用できる。照準アレンジメント122は、例えば、撮像装置100を最初にインストールする際に、所望の対象物、又は対象物の一部に、撮像装置100の測定範囲が正しくアラインするよう使用される。例えば、照準アレンジメント122は、ユーザが、撮像装置100の測定範囲が、所望の対象物に対して現在どの位置にあるのかを確かめることができるように、並びに、撮像装置100のアライメントに必要な調整を行い、撮像装置100の測定範囲を対象物上に位置決めできるようにする。一旦、撮像装置100の測定範囲が所望の対象物と正確にアラインされると、撮像装置100は、例えば、実装部品112の使用を介して、位置が固定されうる。撮像装置100が、遠隔モニタリングステーションと交信するような場合には、照準アレンジメント122(及び、接眼レンズ124)は含む必要はない。照準アレンジメントが含まれない場合、ここに説明する照準アレンジメントの機能の一部、又は全てが、遠隔モニタリングステーションで撮像装置100が捕捉した画像データを使用して、達成できる。
照準アレンジメント122は、ユーザが撮像装置100を所望の対象物に正しく向けて、測定範囲とアラインできるように、撮像装置100の測定範囲の大きさを表示する手段を含むことができる。照準手段の例には、インジケータを対象物に投影する手段、装置と対象物の間に中間視覚インジケータを提供する手段、オーバーレイ手段がある。しかしながら、照準アレンジメントが含まれない場合でも、似たような照準手段が存在し、例えば、遠隔モニタリングステーションが、先に説明した照準アレンジメントの機能を達成できるようにしている。
投影インジケータ手段表は、例えば、当該技術分野において周知され、使用されているレーザー照準を含んでもよい。このような実施形態では、測定範囲は、対象物自体に、可視レーザーエネルギーを投影することで、表示することができる。例えば、クロスヘアレーザーパターンが、クローズフォーカスで投影され、並びに、ボーダーパターンが標準フォーカスで投影される。中間視覚インジケータ手段は、例えば、焦点板、又はその他のスコープを装置に含むことができる。このような例は、ライフルスコープに似たようなものが考えられる。ユーザが、中間視覚インジケータ手段を通して又はその周辺を見ることができ、そして測定範囲を識別する前面においてインジケータと共に、対象物を視認することができる。オーバーレイ照準手段は、例えば、当該技術分野において知られるビデオオーバーレイシステムを含むことができる。ビデオオーバーレイシステムの例では、装置は、対象物の可視化表現を表示するビデオモニタと併せて使用される可視光線カメラを含む。ソフトウェアインストラクションを、測定範囲と一致する対象物のビデオ画像に、パターンオーバーレイを位置決めする目的で使用できる。このような実施形態では、プロセッサとインストラクションのセットが、対象の画像上のオーバーレイの適切な大きさと位置決めを算出するために提供されることが必要となることもある。更に、このような方法は、レンズ114から対象物までの距離を決定するレーザーやその他距離測定技術を必要とする場合がある。
ここに説明された撮像装置100例は、接眼レンズ124の前方といった様々な位置に、一つ又は複数の焦点板(例:クロスヘア構造を有するクリアディスク)を含むこともできる。焦点板は、撮像装置100の測定範囲と対象物とのアライメントを決定する際に、アシストする目的で含まれうる。ユーザは、接眼レンズ124を通して見ることができ、焦点板を使用し、撮像装置100の測定範囲の現在位置を確かめることができる。撮像装置100のアライメントに必要な調整は、その後、焦点板を使用して手動ででき、撮像装置100の測定範囲を対象物へと適切に位置決めすることができる。照準アレンジメント122(及び、接眼レンズ124)が、含まれない例では、焦点板は、例えば、可視光センサ118の前の箇所に位置されてよい。このような構成で、可視光センサ118が捕捉した可視光画像データに焦点板を重ね、そうすることで、遠隔モニタリングステーションが、焦点板があることで、撮像装置100の測定範囲と対象物とのアライメントの決定の際にアシストできるようになる。
更に、いくつかの例では、撮像装置100は、対象物から発する赤外線エネルギーを受取ることができる。赤外線エネルギーは、例えば、一つ又は複数のレンズ(例:レンズ114)の前面へと投影し、それらの一つ又は複数のレンズの反対側に焦点を合わせることで、レンズアセンブリ108で受けることができる。この焦点の合った赤外線エネルギーを、赤外線センサ128上に向けることができ、並びに、この赤外線センサ128で受取った赤外線エネルギーを電気信号に変換することができる。赤外線センサ128は、関連電子装置、及び/又は、赤外線センサ128で受取った素の赤外線を、温度及び/又はデジタル画像データへと変換する能力を持つ処理装置129を有することもできる。例えば、赤外線センサ128によって生成された信号は、そのような処理装置129によって、その後、電気的に増幅され、フィルタリングされ、そしてデジタル信号へ変換される。処理装置129は、エネルギーデータを温度に変換するマイクロコントローラも含むことができる。一つの実施形態では、マイクロコントローラは、ルックアップテーブルを使用して、エネルギーデータを温度に変換する。更なる例では、マイクロコントローラは、赤外線センサ128から受信したデータにその他の適切な分析を実施してもよい。撮像装置100の制御パネル110は、対象物上の測定範囲の温度を表示する表示画面130を含むこともできる。
いくつかの実施形態では、赤外線センサ128は、単一センサであり得るが、その他の実施形態では、赤外線センサ128は、マイクロボロメータの赤外線フォーカルプレーンアレイやサーモパイル検知素子でもあり得るし、若しくは、フォトダイオードやフォトトランジスタのような光子検出器、又は、その他の熱型や光子検出装置で構成されることも有り得る。赤外線センサの非制限例の一つは、光通信技術研究所(IPHT)(ドイツ、イエナ)製小型熱放射センサTS−80である。TS−80センサは、シリコンウェハーにマイクロシステム技術によって作製された小型多重接合サーモパイルである。
筐体102内での赤外線センサ128の位置(例えば、図1Cに見られるように、赤外線センサ128が光軸116からはずれて位置する場合)に応じて、いくつかの例では、赤外線ビームスプリッター120は、赤外線センサ128上に焦点を合わせた赤外線エネルギーを反射する目的で使用されうる。別の例では、赤外線センサ128は、例えば、赤外線センサ128が、照準アレンジメント122の前で、及び/又は、可視光センサ118の前で、光軸116上に位置する時に、可視光が通過できるよう構成されてもよい。更に、可視光ビームスプリッター120に対する赤外線センサ128の位置に応じて、可視光ビームスプリッター120は、電磁スペクトルの赤外域で放射物に、実質上、透過したタイプであってもよい。
撮像装置100の赤外線センサ128が含まれる場合、測定範囲が、すでに述べたように、いくつかの例では、接眼レンズ124及び焦点板を使用することで、確認できる。撮像装置100が赤外線エネルギーを検知できる測定範囲を超える領域が、撮像装置100及び対象物間の距離の機能として増加する。測定範囲は、少なくとも一部では、使用されている特定の赤外線センサ128に対応することがある。測定範囲は、通常、はっきりと明確なエッジや境界を持たない(例:はっきりした長方形)が、代わりに、通常はぼやけたエッジを有する。実際、撮像装置100によって検知されるエネルギーのおよそ90%のみが、通常、製造者が主な測定範囲として特定するもの内からくる。エネルギーの残り10%程は、分散及び装置(例:レンズアセンブリ108)の集光光学系の性質のために、主な測定範囲の境界線を超えて存在するより大きな範囲から集められる。そのため、作動中、撮像装置100は、実際には、測定範囲(例えば、焦点板を介して)によって表示されるものより大きな対象物の領域から、赤外線エネルギーを受取る。その結果、いくつかのアプリケーションでは、撮像装置100は、受取られた赤外線エネルギーのこの性質を考慮するよう構成されることもある。
いくつかの例では、撮像装置100は、赤外線エネルギー及び可視光エネルギーを、実質上、同時に(例えば同時に)、対象物から収集する。このような例では、装置が生成した可視光データ及び赤外線データは、例えば、焦点板によって表示されるように、同じ測定範囲に対応しており、そのため、実質上、同時に、同じ対象物、又は対象物の一部のものである。これらの例では、撮像装置100が生成した赤外線データは、特定の時間で、対象物の局所温度を表示し、一方で、撮像装置100が生成した可視光データは、同じ時間に同じ対象物を表示する。他の例では、撮像装置100は、異なる時間で対象物から赤外線エネルギー及び可視光エネルギーを収集してもよい。
撮像装置100のオペレーションを促進する目的で、撮像装置100は、更に、電子装置、一つ又は複数のプロセッサ(例:処理装置129)、一つ又は複数の記憶装置、入出力コンポーネント、電源を含むことができる。撮像装置100内にメモリが含まれる場合、そのようなメモリは、RAM、ROM、及び、揮発性と不揮発性メモリの組み合わせを含んでもよいが、これらに限らない。電源は、バッテリーや関連する電力発生回路を含んでもよいが、これらに限らない。電源は、撮像装置100上の可視光センサ118と赤外線センサ128、電子装置、プロセッサ、メモリ、及び/又は、入力/出力装置に、電力を供給できる。一つ又は複数の入出力コンポーネントは、制御パネル110上に含まれることもある。例示的入出力コンポーネントは、撮像装置100及び撮像装置100に関連する設定を最初に設定する入力、出力表示器130、スピーカー、有線又はワイヤレス通信を介して作動する通信装置、赤外線及び/又は可視光の光学系の焦点を調整し、赤外線及び/又は可視光画像を捕捉する等の制御機能を含むことができる。
撮像装置100の使用中、撮像装置100のプロセッサ(例:処理装置129)は、(可視光センサ118及び/又は赤外線センサ128がある時)可視光センサ118、及び/又は、赤外線センサ128を制御でき、可視光画像作成、及び/又は、温度測定のために、捕捉された対象物から、可視光及び赤外線データを生成する。可視光データは、捕捉した対象物の異なる部分に関連する色、及び/又は、捕捉した対象物の異なる部分に関連する光の大きさを表示する光度データを含んでよい。プロセッサは、1回ごとの撮像装置100の可視光センサ素子の各反応を測定することで、可視光画像データの「フレーム」を生成できる。可視光データのフレームを生成することで、プロセッサは、任意の時点で、対象物の可視光画像を捕捉する。また、プロセッサは、撮像装置100の可視光センサ素子の各反応を繰り返して測定も行い、対象物の動的画像(例:動画表示)を生成する。いくつかの例では、可視光センサ118は、専用のプロセッサ、又は、可視光センサ118を操作できるその他の回路(例:ASIC)を含んでいてもよい。このような実施形態では、専用プロセッサは、可視光画像データ(例:RGB画像データ)を、説明されたプロセッサに提供できる。別の実施形態では、可視光センサ118専用プロセッサは、単一プロセッサ(例:処理装置129)に統合されてよい。
可視光センサ118の各センサ素子が、センサピクセルとして機能する場合、プロセッサは、各センサ素子の電気反応を、例えば、表示上の視覚化のために、及び/又は、メモリでの保存のためにも、処理可能な時間多重電気信号へと変換することで、対象物からの可視光の二次元画像、又は、画像表示を生成できる。
撮像装置100のプロセッサ(例:処理装置129)は、様々な実施形態において、追加の操作を実行できる。例えば、プロセッサは、様々なアプリケーションを実行するために使用されうるが、後述するように、様々なアプリケーションは、所望の対象物が、測定範囲を十分に満たしているかを決定すること、測定範囲での測定された条件の精度で、測定ノイズの影響を減少させる時間に対して、(例:赤外線センサ128から)出力信号の平均をとること、及び/又は、ミスアライメント検知を実行することを含んでいてもよいが、これらに限らない。
上述したように、いくつかの例では、撮像装置100が収集した赤外線及び可視光エネルギーが、撮像装置100で局部的に処理できる。撮像装置100のいくつかの実施形態では、処理された可視光データ、及び/又は、赤外線データが、表示器を介して、撮像装置100で局部的に表示できる。このような実施形態では、撮像装置100の表示は、可視光画像、非接触温度、若しくは両方を表示するよう設定されうる。
これに加えて又はこれに代え、撮像装置100は、遠隔モニタリング設備と双方向通信が可能であって、特に、いくつかの場合、遠隔モニタリング設備の計算装置と双方向通信が可能である。撮像装置100及び遠隔モニタリング設備(例えば、遠隔モニタリング設備の計算装置)間の通信は、ワイヤレス通信、又は、有線接続(例:イーサネット(登録商標))を介して、促進できる。一つの例では、可視光センサ118、及び/又は、赤外線センサ128に関連する電子装置(例:処理装置129)は、電気フィードスルーアセンブリのコネクタに結合(例:フレックス回路を介して)している。コネクタは、撮像装置100から遠隔モニタリングステーションまで延びるケーブル導体に結合されてよい。そのため、遠隔モニタリング設備は、特定のアプリケーションで必要に応じて、撮像装置100へと情報を送ることができると同時に、撮像装置100からのデータを受信することができる。遠隔モニタリング設備から撮像装置100へ送られたコマンドは、撮像装置100から遠隔モニタリング設備へデータ(例:可視光データ、赤外線データ)を送るために使われる同じ接続を介して、送ることができる。
例えば、遠隔モニタリング設備は、それぞれが、撮像装置100の測定範囲に対応している可視光画像、及び/又は、非接触温度を表示できる。これには、撮像装置100からのストリームデータを介して、一つ又は複数の静止画像の表示、及び/又は、連続動画表示を含むこともできる。このようにして、対象物の状態を、撮像装置100から離れた場所で、例えばリアルタイムで、ユーザがモニタリングできる。更に、撮像装置100及び遠隔モニタリング設備間の双方向通信で、遠隔モニタリング設備にいるユーザが、撮像装置100にコマンドを送ることができる。遠隔モニタリング設備から撮像装置100へ送られうるコマンドには、撮像装置100の初期設定(撮像装置100のセンサ及びコンポーネントの設定を含む)、可視光及び/又は赤外線データの収集の開始/停止、並びに、撮像装置100の位置決め(例:設定中の初期位置決め、又は、その後の設定後の位置決め)に関するコマンドを含むことができる。いくつかの場合では、撮像装置100を設定する目的で制御パネル110を使用する代わりに、コマンドは、遠隔モニタリング設備から撮像装置100へ送ることが可能であり、制御パネル110を介して、撮像装置100で局部的になされるであろうものと同じ設定を実行することができる。
図1Dは、撮像装置100の別の構成例を断面図で示す。図1Dで使用される同様の引用符号は、先に説明した同様の特徴を示すことを意図している。図1Dの撮像装置100の実施形態は、図示されるように、制御パネル110、照準アレンジメント122、接眼レンズ124を含まない。従って、ここに図示する撮像装置100の実施形態は、例えば、他の箇所で説明されているように遠隔モニタリングステーションと併せて、遠隔モニタリング制御アプリケーションで、最も適切に使用されることがある。
また、図1Dで図示される撮像装置100の実施形態は、図1Cで図示される可視光センサ118に対して異なる位置に可視光センサ118を含む。具体的に、可視光センサ118は、撮像装置100の後部106に、光軸116に沿って位置される。従って、可視光ビームスプリッター120は、もはやない。ここに図示される撮像装置100の実施形態は、いくつかの例では、赤外線センサ128を含む必要がなく、並びに、そのような例では、赤外線ビームスプリッター120も、取り除くことが可能である。しかしながら、赤外線センサ128が図示される位置に含まれる場合、赤外線ビームスプリッター120は、図示された位置にある可視光センサ118の機能を損なわぬよう、光軸116に沿って、レンズアセンブリ108から向けられた可視光エネルギーに対して透過が可能である。いくつかの例では、焦点板が、可視光センサ118が捕捉する可視光に重なるよう、物理的焦点板が、少なくとも可視光センサ118の前方に光軸に沿って含まれることがある。赤外線センサ128が含まれる場合、赤外線センサ128が光軸116に沿って位置決めされ(例:後部106で)、並びに、可視光センサ118が光軸116から外れて位置決めされるように、図1Dで図示される可視光センサ118と赤外線センサ128の位置が相互交換可能であるということは注意すべきことである。
撮像装置100の環境内での条件(例:振動)により、例えば、撮像装置100の測定範囲がもはや所望の対象物に位置決めされない例のような、撮像装置100が、定期的にミスアライメントになる結果になり得る。撮像装置100が、届きにくい場所に配置される場合、対象物に正確にアライメントをするための照準アレンジメント122を使用した撮像装置100の定期的な手動の検査が、効率悪く、実行が難しくなり得る。更に、多くの場合、撮像装置100のミスアライメントは、撮像装置100が誤った読取りを出力する結果となり、読込みのみ可能なセーフティハザードを出し、そのため一旦次の定期的手動検査を行えば、修正できる。そのような理由から、撮像装置100の測定範囲が所望の対象物に対してミスアライメントとなる場合、ここに説明される撮像装置100は、ミスアライメント分析機能を活用し、検知可能である。
図2は、ミスアライメント分析の一例を概略図で示す。画像200は、正しくアラインされた検知器を図示する一方、画像202は、ミスアラインされた検知器を図示する。画像200の正しくアラインされた検知器からわかるように、可視的インジケータ206(例:焦点板)によって表示された検知器の測定範囲204は、所望の対象物208(例:所望の対象物の一部)にアラインされている。しかし、画像202のミスアラインされた検知器では、可視的インジケータ206(例:焦点板)によってここでも表示された検知器の測定範囲204は、もはや所望の対象物208にはアラインされていない。このようなミスアライメントは、検知器が導入された後に、並びに、検知器が様々な環境で作動している最中に起こり得る。
ミスアライメント分析機能は、検知器の測定範囲204が、所望の対象物208に、又は、所望の対象物の特定部分にもはやアラインされない場合に、作動し検知する。ミスアライメント分析の一つの例で、(例えば、実装箇所で手動にて、若しくは、モニタリングステーションを介して遠隔で、焦点板又は撮像装置のその他の可視的インジケータを使用して)撮像装置が最初にその分野に導入され、所望の対象物に正しくアラインされる時には、画像200のような可視光画像が、装置によって捕捉できる。導入時に正しくアラインされていることが、検知器で局部的に接眼レンズを使用して、若しくは、検知器から遠隔モニタリング設備での計算装置へ通信される可視光画像データを使用して、検証できる。このように通信された画像データは、接眼レンズがあれば、それを通して見ることができる画像に対応している。この初期可視光画像は、例えば、撮像装置のメモリに保存可能であり、及び/又は、遠隔モニタリングステーションの計算装置に通信され、そこでメモリに保存できる。初期可視光画像は、該画像に含まれた焦点板のような可視的インジケータ206を有するようにして、保存可能である。例えば、保存された初期可視光画像は、焦点板、又は、物理的焦点板の結果として存在するその他の適切なインジケータ、若しくは、前述のように、撮像装置100の存在する他の可視的インジケータ206を有することが可能である。別の例では、保存された初期可視光画像は、(例えば、焦点板のような可視的インジケータを保存された画像中に再現するために、可視光画像に対応する適切なピクセル数を登録することで、)コンピュータ生成を介し、焦点板、又は、画像上に重ねられたその他の可視的インジケータ206を有することが可能である。この例では、焦点板、又はその他の可視的インジケータ206が撮像装置100内に物理的に存在する必要はないが、代わりに、保存された画像上でシミュレーションされるようにしてもよい。様々な例では、可視的表示器206は、所望の対象物自体の物理的構造の一部ではない基準であるが、代わりに、ミスアライメント分析機能の目的で、(例えば、撮像装置100によって、又は、遠隔地で実行されるソフトウェアによって、)生成されてもよい。
可視的インジケータを含む保存された初期可視光画像(例:画像200)は、他の時点で、対象物208(又は、対象物の一部)に対する測定範囲204の位置ずれを測定するための基準として、ミスアライメント分析で使用できる。対象物208に対する測定範囲204の位置ずれの程度を決定する目的で、撮像装置は、画像200のような初期可視光画像の捕捉に続けて、画像202のような可視光画像の捕捉が可能である。後続の可視光画像(例:画像202)は、例えば、撮像装置のメモリに保存可能であり、及び/又は、遠隔モニタリングステーションの計算装置に通信され、そこでメモリに保存できる。また、この後続の可視光画像は、焦点板のような可視的インジケータ206を画像中に含めて、有するように保存することができる。その後、ミスアライメント分析は、初期可視光画像(例:画像200)及び後続の可視光画像(例:画像202)間で可視的インジケータ206の位置における変化を比較し、撮像装置の測定範囲204が、この時間の間で、対象物208に対してミスアラインとなった程度を確かめることができる。
一つの例では、ミスアライメント分析は、初期可視光画像及び後続の可視光画像間で、可視的インジケータ206の水平方向、及び/又は、垂直方向位置における変化を算出することで、初期可視光画像及び後続の可視光画像間の、可視的インジケータ206の位置における変化を比較できる。例えば、初期可視光画像は、可視的インジケータ206の関連する水平方向位置(例:x座標)、及び/又は、垂直方向位置(例:y座標)を有してもよい。可視的インジケータのこのような水平方向及び垂直方向位置は、可視的インジケータの中心点といった可視的インジケータの特定の点としてもよい。前述のように、いくつかのアプリケーションでは、撮像装置の測定範囲は、はっきりとした線で描かれた境界線を持たず、その代わりに、ぼやけてはっきりしていないものでもよい。撮像装置の測定範囲の動きをより正確に決定するために、測定範囲の中心点の使用が有益であって、ぼやけた測定範囲境界線の結果から出る不一致がもたらされることを避けることができる。同様に、後続の可視光画像は、初期可視光画像で使用される可視的インジケータの同じ中心点のような、可視的インジケータの関連する水平方向位置、及び/又は、垂直方向位置を有してもよい。初期及び後続の可視光画像の測定範囲の水平方向位置、及び/又は、垂直方向位置は、いかなる物体(例:対象物)に対しても測定可能であって、ほとんどの場合、物体に対して位置が測定されるその物体は、初期及び後続の可視光画像両方で同じとなる。そのため、撮像装置の測定範囲がミスアラインとなる程度が、例えば、初期及び後続の画像において測定範囲の水平方向位置間の相違、及び/又は、初期及び後続の画像において測定範囲の垂直方向位置間の相違を決定することで、確認できる。
いくつかの実施形態では、ミスアライメント分析は、撮像装置100のプロセッサによって実行される。その他の例では、ミスアライメント分析は、例えば、遠隔モニタリング設備にあるコンピュータ、又は、撮像装置と遠隔モニタリング設備間をネットワークでつながれたコンピュータ(例:リモートコンピュータ、クラウドベースのコンピュータ等)のような、撮像装置に外付けのコンピュータによって実施される。ミスアライメント分析は、特徴抽出、特徴記述、カメラローカライゼーションのアルゴリズム、又は、プログラムを含んでよい。特徴抽出のプログラムは、同じ領域の他の画像で容易に区別のつきそうな第一の可視光画像での各ポイントを見つける。本発明の実施形態において特徴抽出のプログラムで使用される周知のアルゴリズムの例は、例えば、CenSurE(センタサラウンドエクストリマス)、代数モデル、ハリスコーナー検出を含む。特徴記述のプログラム情報は、特徴抽出プロセスで見つかったポイントを取り上げて、それら同じポイントの全ての画像にまたがって同様となるような記述を、それらに与える。本発明の実施形態において特徴記述のプログラムで使用される周知のアルゴリズムの例は、例えば、CHoG(コンプレスドヒストグラムオブグラディエント)、グローバルコンテキスト記述子、FFT/DCT記述子を含む。カメラローカライゼーション又はポーズ推定プログラム情報は、複数の画像にまたがって認識された特徴一式を使用して、所望のカメラ位置と比較して現在のカメラ位置を決定する。本発明の実施形態においてカメラローカライゼーション又はポーズ推定のプログラムで使用される周知のアルゴリズムの例は、例えば、ビューファインダーアラインメント、5点アルゴリズム、区間解析、ファンダメンタルマトリックスマッチングを含む。
いくつかの実施形態では、ミスアライメント分析は、撮像装置が作動中、継続して実行できる。その他の実施形態では、ミスアライメント分析は、入力コマンドが(例えば、遠隔モニタリング設備から)撮像装置で受信される時、実行でき、撮像装置のアライメントを検証する。更に他の実施形態では、ミスアライメント分析は、設定された時間間隔で自動的に実行するようプログラミングできる(例:30秒毎など)。このような実施形態では、撮像装置は、新しい可視光画像を捕捉し、並びに、可視的インジケータを含めてこの新しい画像を保存し、そのような時間間隔ごとに、測定範囲の現在位置を表示するようにしてもよい。その後、ミスアライメント分析は、(例えば、撮像装置が導入時にアラインされる時に撮影された)初期可視光画像、及び、時間間隔で撮影された後続の可視光画像間で、可視的表示器206の位置における変化を比較でき、撮像装置の測定範囲204が、対象物208に対してミスアラインとなった程度を確かめることができる。このような過程は、初期画像に続いて捕捉された可視光画像の数がいくらあっても、所望の時間間隔で繰り返すことができる。
この点までに提供された例示的説明は、ミスアライメント分析において、可視的インジケータ206の使用に言及したが、その他の実施形態は、ミスアライメント分析において、可視的インジケータ206を使う必要はない。その代わりに、ミスアライメント分析は、(可視的インジケータ206の参照をせずに)対象物208のみを使用して、測定範囲204のミスアライメントを検知するようにしてもよい。このような一つの例では、対象物208上の特定位置が、(例えば、生成される可視的インジケータの代わりに)ミスアライメント分析において、基準として使用される。基準として使用された対象物上の特定位置は、一つの例では、最初に捕捉された可視光画像200にある対象物の物理的構造の特徴セットになり得る。その後、対象物のこの同じ特徴セットが、第二の後続する可視光画像202において、捕捉される。この例では、可視的インジケータを使用する先に説明された例に似て、対象物208上の特定位置(例:特徴セット)は、ミスアライメント分析において使用されてもよく、初期可視光画像200及び後続の可視光画像202間で、対象物208上のその特定位置の位置における変化を比較する。例えば、これは、画像間の対象物208上の特定位置の水平方向、及び/又は、垂直方向位置における変化(例:特徴セット)を算出することで可能である。
ここで提供する例に加えて又はこれに代え、その他様々な手段が、ミスアライメント分析で使用することができ、撮像装置の測定範囲204が、対象物208に対してミスアラインとなっている程度を確かめることができる。一つの例は、初期及び後続の画像両方として、(例えば、赤外線センサ128が捕捉した)熱画像のみ使用すること、及び、そのような熱画像に、記載したミスアライメント分析を実行することを含む。別の例は、リフォト概念を利用することを含み、赤外線及び可視光画像が組み合わせで使用され、いくつかの場合、複数の撮像装置との組み合わせで使用される。このようなリフォトの実施形態は、次に挙げる開示例に記載されており、それぞれが、全体として、参照文献によりここに組み込まれている:米国特許出願12/196433号「赤外線及び可視光画像レジストレーション」、米国特許出願13/331633号「赤外線リフォトのための熱画像カメラ」、米国特許出願13/331644号「赤外線リフォトのための熱画像カメラ」、米国特許出願13/336607号「赤外線リフォトのための熱画像カメラ」。
一旦、撮像装置の測定範囲が、対象物に対してミスアラインとなった程度が確認されると、ミスアライメント分析は、対象物に対して撮像装置の測定範囲がミスアラインとなっていることを表示する。いくつかの場合、ミスアライメント表示は、撮像装置の測定範囲の位置のうちいずれかの方向で変化が起こる時に、例えば、遠隔モニタリングステーション、及び/又は、撮像装置100(例えば、撮像装置の制御パネルにて)に出力されうる。その他の例では、ミスアライメント表示は、撮像装置の測定範囲の位置の変化が、所定の閾値を超える時に、出力されうる。このような所定の閾値は、撮像装置100のアプリケーションに基づいて変化し得る。例えば、撮像されている対象物が、比較的害のある物体である場合に、所定の閾値は、より害のない物体と比較して、比較的低くなり得る。
いくつかの実施形態では、ミスアライメント分析が、対象物に対する測定範囲のミスアライメントが起こっていないこと、若しくは、ミスアライメントが所定の閾値以下となっていることを決定することもある。このような実施形態では、ミスアライメント分析は、撮像装置の測定範囲が所望の対象物と正しくアラインすることを確認する表示、及び/又は、撮像装置を再配置するために必要なアクションが現在ないことを示す表示を出力できる。
撮像装置のミスアライメントが決定されている時、撮像装置は、所望の対象物、又は対象物の一部と正しくアラインするように、再配置が可能である。図3は、撮像装置のアライメントを修正する方法300の例を示すフローチャートである。前述のように、ミスアライメントが決定され(302)、対象物に対して撮像装置の測定範囲がミスアラインとなる程度を確認する。特に、ミスアライメントの程度は、ミスアライメントが起こった方向と併せて、測定範囲の位置における変化の具体的な数的測定になり得る。
対象物に対して検知器の測定範囲のミスアライメントが起こった時、このようなミスアライメントは、所望の対象物と測定範囲が再びアラインするように、修正可能である。上記のように、いくつかの例では、確認されたミスアライメントの程度が所定の閾値を超える時のみ、ミスアライメントは修正可能であるが、その他の例では、ミスアライメントがいくらかでも起こった時、修正可能である。
対象物に対して撮像装置の測定範囲のミスアライメントが、いくつかの方法で修正可能である。一つの例では、撮像装置は手動で再びアラインが可能である(306)。撮像装置の手動の再アライメントは、ミスアライメント分析の結果として出たミスアライメント表示を受けしだい撮像装置で局地的に行うことが可能である。例えば、所望の対象物上に撮像装置の測定範囲を再配置できるように、撮像装置の接眼レンズ及び焦点板を使用して、手動の再アライメントを行うことができる。一旦、撮像装置が対象物上に正しく再びアラインされると、撮像装置は、測定範囲を所望の位置に向けることができるような位置に固定することができる。
別の例では、撮像装置は遠隔で再びアラインが可能である(308)。例えば、移動コマンドを、遠隔モニタリングステーションから撮像装置に送ることができ、対象物と正しくアラインできるように、撮像装置を再配置するようにする。このような移動コマンドは、ミスアライメント表示を受けしだい、ユーザによって送ることができる。例えば、遠隔モニタリングステーションのユーザが、対象物に対する測定範囲のリアルタイムの位置を表示する撮像装置から受取ったライブ画像を利用することができ、撮像装置に特定の移動コマンドを提供することができる。また、ひとたび測定範囲のミスアライメントの特定の程度や方向が決定されれば、移動コマンドは、(例えば、ユーザ入力なしで)自動的に撮像装置へ送られるようにしてもよい。例えば、アルゴリズムが利用でき、ミスアライメント分析の結果からミスアライメントが起こった方向と併せて、測定範囲の位置における変化の数的測定を使用して、特定の移動コマンドを撮像装置へ送るよう決定することができる。撮像装置に通信される移動コマンドは、例えば、撮像装置に結合(例えば、撮像装置の実装部品に結合)したモーター付きアクセサリのような、特定のパンコマンド、及び/又は、ティルトコマンドを含むことができる。
更なる例では、撮像装置は、対象物を追跡するよう再アラインすることができる(310)。例えば、上記のように、検知器は、複数の可視光画像を捕捉し、保存することができ、並びに、撮像装置の測定範囲のミスアライメントの程度を決定する。しかしながら、いくつかの例では、所望の対象物は動く対象物であることがある。そのため、これらの可視光画像は、対象物の位置を追跡するために使用することもできる。例えば、第1の及び第2の可視光画像が比較でき、2つの画像間の所望の対象物の位置における変化を決定する。その後、対象物の位置の変化の程度が、同じ画像で測定範囲の位置の変化を伴って使用でき、対象物及び測定範囲の位置の変化に応じて、撮像装置を再配置する。いくつかの場合では、これは、更に、対象物の位置における確認された変化に伴って、2つの画像が捕捉される夫々の時間の間の経過時間の使用を含むことができ、対象物が動く速度を決定する。一つの例では、対象物の位置の変化が、測定範囲のミスアライメントの程度を決定する際に、大きく関わり、動く対象物以外の原因から起こったミスアライメントのより正確な表示を提供する。この過程が、(例えば、組み立てライン上で)対象物の動きを追跡するために繰り返され、絶えず、対象物が動く時に、撮像装置と再アラインさせる。このようにして、対象物の動きだけでなく、(例えば、対象物の動きではなく)撮像装置自体の修正された位置から起こるミスアライメントをも要因となるような形で、動く対象物が、撮像装置の測定範囲とアラインできる。
従って、方法300と併せて使用されるミスアライメント分析は、撮像装置が、特に撮像装置の測定範囲が、所望の対象物に実質上常にフォーカスされていることを確かにするために実行する。結果として、対象物の近くにある、又は互いに関係するそれらが、ミスアライメントのためにその他の位置ではなく、撮像装置が対象物自体に特有の情報を提供していると確信できる。
非接触温度計例及び関連技術を記述された。また、本開示で記述された技術は、インストラクションを含む非一時的なコンピュータ可読記録媒体のようなコンピュータ可読記録媒体で、具現化又はコード化されうる。コンピュータ可読記録媒体に埋め込まれた、若しくは、コード化されたインストラクションで、プログラム可能なプロセッサ、又はその他のプロセッサが、例えば、インストラクションが実行される時に、その方法を実行できるようにする。コンピュータ可読記録媒体は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、光メディア、若しくはその他のコンピュータ可読メディアを含んでもよい。
例えば、このようなコンピュータ可読記録媒体を含む外部コンピュータは、撮像装置から或いはメモリから、対応する可視光、及び/又は、非接触温度を受けることができ、並びに、ここに記述されたように画像を使用して、ミスアライメント分析、及び/又は、ミスアライメント修正プロセスを実行できる。いくつかの実施形態では、その技術の様々な部分を、複数のコンポーネントに組み込むことができる。例えば、撮像装置は、画像データを局地的に処理し、並びに、処理した画像データを、測定範囲のミスアライメントを決定するか、及び/又は、そのようなミスアライメントを修正する外部計算装置に渡すことができる。
更なる例では、本発明の実施形態は、表示システムに組み込まれてもよい。表示システムは、可視光及び温度データを受けとり、ここに記述してあるようなプロセスを実行するよう構成されうる。表示システム例は、そのようなプロセスを実行するための、一つ又は複数のプロセッサ、ディスプレイ、ユーザインターフェースを含むことができる。表示システムは、画像データを受信及び処理可能な適切な装置、又はシステムに組み込むことができる。
様々な実施形態を説明してきたが、このような例は、非制限的であり、本発明の特許請求の範囲を、決して定義又は制限するものではない。むしろ、これら及びその他の例は、次の例示的な実施形態の特許請求の範囲内にある。
100 撮像装置
102 筐体
104 前部
106 後部
108 レンズアセンブリ
110 制御パネル
112 実装部品
114 レンズ
116 光軸
118 可視光センサ
120 ビームスプリッター
122 照準アレンジメント
124 接眼レンズ
128 赤外線センサ
129 処理装置
200、202 画像
300 撮像装置のアライメントを修正する方法

Claims (3)

  1. 撮像装置のミスアライメントを決定する方法であって、該方法が、
    前記撮像装置を使用して一度目で第1の可視光画像を捕捉することと、
    前記一度目に続いて二度目で、前記撮像装置を使用して第2の可視光画像を捕捉することと、
    第1の可視光画像での撮像装置の測定範囲の位置と第2の可視光画像での撮像装置の測定範囲の位置を比較することとを含む方法。
  2. プログラム可能なプロセッサが
    撮像装置が捕捉した第1の可視光画像に対応する第1の可視光画像データを受信し、
    該第1の可視光画像を捕捉した後の時点で、前記撮像装置が捕捉した第2の可視光画像に対応する第2の可視光画像データを受信し、
    該第1の可視光画像データでの前記撮像装置の測定範囲の位置と該第2の可視光画像データでの前記撮像装置の測定範囲の位置を比較するようにするインストラクションを含む、非一時的なコンピュータ可読媒体。
  3. 撮像装置のミスアライメントを決定するシステムであって、該システムは、
    可視光センサ及び赤外線センサを有する前記撮像装置であって、対象物から出る可視光エネルギーを可視光センサ上に収束すると共に、該対象物から出る赤外線エネルギーを赤外線センサ上に収束するよう構成されている前記撮像装置と、
    該撮像装置と通信する遠隔モニタリングステーションと、
    前記撮像装置及び前記遠隔モニタリングステーションと通信する計算装置であって、該計算装置が少なくとも一つのプロセッサを含み、並びに、
    前記可視光センサによって生成された第1の可視光画像データを受信し、
    該第1の可視光画像データを捕捉した後の時点で、前記撮像装置によって捕捉された該第2の可視光画像データであって、前記可視光センサによって生成された第2の可視光画像データを受信し、
    前期撮像装置の位置変化が起きたかを確認するために、前記第1の可視光画像データを前記第2の可視光画像データと比較し、
    前記撮像装置の位置の変化が、該比較に応じて起こった場合、ミスアライメント表示を生成するよう構成された該計算装置とを含むシステム。
JP2017183034A 2016-09-22 2017-09-22 撮像装置のミスアライメントを決定する方法とシステム、並びに非一時的なコンピュータ可読媒体 Active JP6618965B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/272,906 US9924160B1 (en) 2016-09-22 2016-09-22 Imaging device with alignment analysis
US15/272,906 2016-09-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019205775A Division JP6992035B2 (ja) 2016-09-22 2019-11-13 撮像装置の測定範囲のミスアライメントを決定する方法と非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JP2018050298A true JP2018050298A (ja) 2018-03-29
JP6618965B2 JP6618965B2 (ja) 2019-12-11

Family

ID=60021884

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017183034A Active JP6618965B2 (ja) 2016-09-22 2017-09-22 撮像装置のミスアライメントを決定する方法とシステム、並びに非一時的なコンピュータ可読媒体
JP2019205775A Active JP6992035B2 (ja) 2016-09-22 2019-11-13 撮像装置の測定範囲のミスアライメントを決定する方法と非一時的なコンピュータ可読媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019205775A Active JP6992035B2 (ja) 2016-09-22 2019-11-13 撮像装置の測定範囲のミスアライメントを決定する方法と非一時的なコンピュータ可読媒体

Country Status (4)

Country Link
US (2) US9924160B1 (ja)
EP (1) EP3300351B1 (ja)
JP (2) JP6618965B2 (ja)
CN (1) CN107864375B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE543250C2 (en) 2017-09-20 2020-11-03 Firefly Ab Flame detecting arrangement and method for assuring correct field of view
AU2019248023B2 (en) * 2018-04-05 2023-03-16 Efficiency Matrix Pty Ltd Computer implemented structural thermal audit systems and methods
US11641441B2 (en) * 2018-05-25 2023-05-02 Fluke Corporation Optical gas imaging systems and method compatible with uncooled thermal imaging cameras
SE545008C2 (en) * 2019-03-20 2023-02-28 Firefly Ab Flame detecting arrangement with abnormal movement detection
CN112019796A (zh) * 2019-05-30 2020-12-01 海南核电有限公司 一种顶盖导向柱位置识别的电子分划板及分划方法
CN112468714B (zh) * 2019-09-09 2022-06-28 北京外号信息技术有限公司 用于确定光通信装置的成像区域的方法和电子设备
KR102369504B1 (ko) * 2020-06-23 2022-03-04 인천대학교 산학협력단 골키퍼용 순발력 훈련 및 측정 장치
CN113628255B (zh) * 2021-07-28 2024-03-12 武汉三江中电科技有限责任公司 一种三光融合无损检测图像配准算法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07243916A (ja) * 1994-03-04 1995-09-19 Minolta Co Ltd 放射温度計
US6667761B1 (en) * 2000-04-14 2003-12-23 Imaging & Sensing Technology Corporation Instrument visualization system
JP2004094050A (ja) * 2002-09-02 2004-03-25 Usk:Kk 光学部を兼用化した監視カメラ装置
JP2004144923A (ja) * 2002-10-23 2004-05-20 Olympus Corp ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
JP2008300795A (ja) * 2007-06-04 2008-12-11 Toyota Motor Corp 熱電材料の温度測定装置
JP2011191170A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像処理装置
US20130155248A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20160092720A1 (en) * 2014-09-25 2016-03-31 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックIpマネジメント株式会社 カメラシステム及びカメラ装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258584A (ja) * 1999-03-12 2000-09-22 Toshiba Corp 現場点検装置
ATE521276T1 (de) * 2002-02-11 2011-09-15 Amo Mfg Usa Llc Bestimmung von relativen positions- und drehversätzen
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
US8643069B2 (en) * 2011-07-12 2014-02-04 United Microelectronics Corp. Semiconductor device having metal gate and manufacturing method thereof
US20130155249A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130335579A1 (en) 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
US9060164B2 (en) 2012-09-12 2015-06-16 Xerox Corporation Intelligent use of scene and test pattern analyses for traffic camera diagnostics

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07243916A (ja) * 1994-03-04 1995-09-19 Minolta Co Ltd 放射温度計
US6667761B1 (en) * 2000-04-14 2003-12-23 Imaging & Sensing Technology Corporation Instrument visualization system
JP2004094050A (ja) * 2002-09-02 2004-03-25 Usk:Kk 光学部を兼用化した監視カメラ装置
JP2004144923A (ja) * 2002-10-23 2004-05-20 Olympus Corp ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
JP2008300795A (ja) * 2007-06-04 2008-12-11 Toyota Motor Corp 熱電材料の温度測定装置
JP2011191170A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像処理装置
US20130155248A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20160092720A1 (en) * 2014-09-25 2016-03-31 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックIpマネジメント株式会社 カメラシステム及びカメラ装置

Also Published As

Publication number Publication date
JP6618965B2 (ja) 2019-12-11
JP2020053976A (ja) 2020-04-02
US10397565B2 (en) 2019-08-27
US9924160B1 (en) 2018-03-20
CN107864375B (zh) 2019-11-26
CN107864375A (zh) 2018-03-30
JP6992035B2 (ja) 2022-01-13
EP3300351A1 (en) 2018-03-28
EP3300351B1 (en) 2023-08-02
US20180084246A1 (en) 2018-03-22
US20180213221A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6618965B2 (ja) 撮像装置のミスアライメントを決定する方法とシステム、並びに非一時的なコンピュータ可読媒体
US11210776B2 (en) Imaging tool for vibration and/or misalignment analysis
US9565373B2 (en) Method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US20120320189A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US20140368641A1 (en) Method and system for projecting a visible representation of infrared radiation
US20140176725A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US20150304636A1 (en) Methods for end-user parallax adjustment
JP2004525583A (ja) 赤外線に感応する赤外線カメラ
JPWO2018042481A1 (ja) 撮影装置及び撮影方法
US20140184805A1 (en) Thermal camera and method for eliminating ghosting effects of hot-target thermal images
JP6275334B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
WO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP6291629B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
KR20220079753A (ko) 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
US11539889B2 (en) Method for the noise optimization of a camera, in particular a handheld thermal imaging camera
JP6750672B2 (ja) ガス観測方法
JP3590104B2 (ja) レーザ距離計測装置
JP2008232780A (ja) 非接触振動計測システム、非接触振動計測方法及びコンピュータプログラム
Chang Measuring Stereo Camera Alignment Using Depth Map Smoothness
JP2023153623A (ja) 温度計測システム、温度計測装置及び温度計測方法
JPH109953A (ja) 赤外線測定装置
JP2014025866A (ja) プロジェクタ検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191113

R150 Certificate of patent or registration of utility model

Ref document number: 6618965

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250