JP2017026700A - 架空線撮影装置および架空線撮影方法 - Google Patents

架空線撮影装置および架空線撮影方法 Download PDF

Info

Publication number
JP2017026700A
JP2017026700A JP2015142851A JP2015142851A JP2017026700A JP 2017026700 A JP2017026700 A JP 2017026700A JP 2015142851 A JP2015142851 A JP 2015142851A JP 2015142851 A JP2015142851 A JP 2015142851A JP 2017026700 A JP2017026700 A JP 2017026700A
Authority
JP
Japan
Prior art keywords
laser beam
area sensor
laser
overhead line
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015142851A
Other languages
English (en)
Other versions
JP6605244B2 (ja
Inventor
研一 渋谷
Kenichi Shibuya
研一 渋谷
昌裕 林
Masahiro Hayashi
昌裕 林
康至 大森
Yasuyuki Omori
康至 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aero Asahi Corp
Original Assignee
Aero Asahi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aero Asahi Corp filed Critical Aero Asahi Corp
Priority to JP2015142851A priority Critical patent/JP6605244B2/ja
Publication of JP2017026700A publication Critical patent/JP2017026700A/ja
Application granted granted Critical
Publication of JP6605244B2 publication Critical patent/JP6605244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】フォーカスを自動制御し、カメラの向きを送電線およびその落雷防止用の架空線を撮影する方向に自動調整する小型で軽量化された架空線撮影装置を提供する。【解決手段】架空線撮影装置は、レーザ光源から放出されたレーザビームを複数のビームに分割し、錐体状に対象物に入射させる拡散モジュールと、反射されたレーザビームを受光するCCDエリアセンサと、ビームをCCDエリアセンサが受光した位置を検出して、位置データを生成し、ビームが放出された発光時間TとCCDエリアセンサが計測領域によって反射されたビームを受光した受光時間Tjとに基づいて、計測領域とCCDエリアセンサのビームを受光した位置との距離を算出して、距離データを算出するコントロールユニット1を備え、コントロールユニット1が位置データおよび距離データに基づいて、対象物を撮像するカメラ5の位置、向きおよびフォーカスを制御する。【選択図】図1

Description

本発明は、送電線およびその落雷防止用の接地線などの架空線の架空線撮影装置および撮影方法に関するものであり、さらに詳細には、架空送電線およびその落雷防止用の接地線(グランド・ワイヤ)などの架空線を、設置されている状態でまたは利用されている状態で撮影する架空線撮影装置および架空線撮影方法に関するものである。
架空線を検査する方法として、従来、架空線の近くをヘリコプターなどの航空機で、ごく低速で飛行しながら、対象となる架空線をビデオカメラによって撮影し、地上に戻って再生して、架空線を目視で検査する方法が知られている。
この方法においては、撮影時には、対象となる架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように撮影し、架空線の細部を再生画面上で確認できるように画像の流れが少ないことが必要で、このような要求を満たすため、従来は、ヘリコプターなどの航空機に同乗するオペレータが手動で、ビデオカメラを操作していた。
しかしながら、このようにビデオカメラを操作するにはかなりの熟練を要し、とくに、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、ビデオカメラによって撮影をすることはほとんど不可能であった。
また、民生用のビデオカメラの多くは、オートフォーカス機能を有しているが、架空線の撮影においては、送電線などの架空線を画面内の測距エリア(通常は、画面中央の狭い領域)に位置させることが必要であり、架空線を画面中央に自動的に位置させる技術が開発されない限り、オートフォーカス機能を有していても、架空線の撮影に使用することはできなかった。
そこで、特許第3427619号明細書(特許文献1)は、画像を撮像して、画像データを生成するビデオカメラと、ビデオカメラの撮影角度を変更する撮影角度変更手段と、レーザを放出し、レーザをスキャンして、架空線までの距離および方向を計測するレーザスキャナ(距離・方向計測手段)と、レーザスキャナにより計測される距離の値とビデオカメラのフォーカス値との対応関係を示す距離校正データ、および、レーザスキャナにより計測される方向と撮影角度変更手段による撮影方向との対応関係を示す方向校正データを記憶する記憶手段と、レーザスキャナにより計測された距離の値を距離校正データにより校正して、ビデオカメラのフォーカスを自動制御し、レーザスキャナにより計測された方向を方向校正データにより校正して、撮影角度変更手段を制御し、ビデオカメラを架空線を撮影する方向に自動調整するように構成された架空線撮影装置および架空線撮影方法を開示している。
特許第3427619号明細書
特許文献1によって提案された架空線撮影装置においては、フォーカス制御手段によって、レーザスキャナにより計測された距離の値を距離校正データにより校正して、ビデオカメラのフォーカスが自動制御され、撮影方向制御手段によって、レーザスキャナにより計測された方向を方向校正データにより校正して、撮影角度変更手段を制御し、ビデオカメラを架空線を撮影する方向に自動調整するように構成されているので、ビデオカメラのフォーカスを自動制御し、架空線を自動的に追尾することが可能となる。
しかしながら、特許文献1によって提案された架空線撮影装置は、架空線までの距離および方向をレーザスキャナによって計測するように構成されているため、走査装置が必要になり、必然的に、装置が大型化し、重量も大きくなるという問題があった。
したがって、本発明は、撮像手段のフォーカスを自動制御して、撮像手段の向きを送電線およびその落雷防止用の接地線などの架空線を撮影する方向に自動調整することができ、小型で、軽量化された架空線撮影装置を提供することを目的とするものである。
本発明の別の目的は、小型で、軽量化された架空線撮影装置によって、撮像手段のフォーカスを自動制御し、撮像手段の向きを送電線およびその落雷防止用の接地線などの架空線を撮影する方向に自動調整し、架空線を撮影することができる架空線撮影方法を提供することを目的とするものである。
本発明のかかる目的は、
対象物を撮像する撮像手段と、
レーザビームを放出するレーザ光源と、
前記レーザ光源から放出されたレーザビームを複数のレーザビームに分割して、錐体状に対象物に入射させる拡散モジュールと、
前記拡散モジュールによって複数に分割され、前記対象物の複数の計測領域によって反射されたレーザビームを、レンズを介して、受光するエリアセンサと、
前記エリアセンサの前記対象物によって反射されたレーザビームを受光した位置を検出して、前記エリアセンサの前記レンズの中心を原点としたX,Y座標データ(Xj、Yj)を生成し、前記レーザ光源からレーザビームが放出された発光時間Tと前記エリアセンサが前記計測領域によって反射されたレーザビームを受光した受光時間Tjとに基づいて、前記計測領域と前記エリアセンサの前記レーザビームを受光した位置との距離Dを算出して、距離データを求め、前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)と前記距離データに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出する制御手段を備え、
前記制御手段が、前記対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、前記撮像手段の位置、向きおよびフォーカスを制御するように構成されたことを特徴とする架空線撮影装置によって達成される。
本発明によれば、拡散モジュールによって分割された複数のレーザビームが対象物に入射し、対象物の複数の計測領域によって反射されたレーザビームを、レンズを介して、エリアセンサに導き、前記エリアセンサがレーザビームを受光した位置を検出して、エリアセンサのレンズの中心を原点としたX,Y座標データ(Xj、Yj)を生成し、レーザ光源からレーザビームが放出された発光時間Tとエリアセンサが計測領域によって反射されたレーザビームを受光した受光時間Tjとに基づいて、計測領域とエリアセンサのレーザビームを受光した位置との距離Dを算出して、距離データを求め、レーザビームの受光位置のX,Y座標データ(Xj、Yj)と距離データに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出する制御手段を備え、制御手段が、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されているから、ヘリコプターなどの航空機に同乗するオペレータが手動で、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、撮像手段を操作する必要がない。
また、本発明によれば、レーザ光源から放出されたレーザビームは拡散モジュールによって、複数のレーザビームに分割され、分割されたレーザビームが対象物の計測領域から反射され、レンズを通ったレーザビームが、エリアセンサのどの位置で受光されたかを検出して、エリアセンサのレンズの中心を原点としたX,Y座標データ(Xj、Yj)を生成し、レーザ光源からレーザビームが放出された発光時間Tとエリアセンサが計測領域によって反射されたレーザビームを受光した受光時間Tjとに基づいて、計測領域とエリアセンサのレーザビームを受光した位置との距離Dを算出して、距離データを生成し、レーザビームの受光位置のX,Y座標データ(Xj、Yj)と距離データに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出する制御手段を備え、制御手段が、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを自動的に調整することができるから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明の好ましい実施態様においては、前記制御手段が、前記エリアセンサの前記レンズの焦点距離Fと前記エリアセンサの前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)とによって、前記対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、前記距離データとレーザビームの前記レンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出するように構成されている。
本発明の好ましい実施態様によれば、制御手段が、エリアセンサのレンズの焦点距離Fとエリアセンサのレーザビームの受光位置のX,Y座標データ(Xj、Yj)とによって、対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、距離データとレーザビームのレンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出し、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されているから、ヘリコプターなどの航空機に同乗するオペレータが手動で、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、撮像手段を操作する必要がない。
また、本発明の好ましい実施態様によれば、制御手段が、エリアセンサのレンズの焦点距離Fとエリアセンサのレーザビームの受光位置のX,Y座標データ(Xj、Yj)とによって、対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、距離データとレーザビームのレンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出し、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを自動的に調整することができるから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明のさらに好ましい実施態様においては、前記拡散モジュールがレーザビームをn×nのマトリックス状に分割し(nは正の整数である。)、前記対象物のn×nのマトリックス状計測領域に入射させ、前記エリアセンサがn×nのマトリックス状に配置されたセンサを含んでいる。
本発明の好ましい実施態様によれば、同時に、対象物のn×nのマトリックス状計測領域のX座標値、Y座標値およびZ座標値を求めることによって、撮像手段の位置、向きおよびフォーカスを自動的に調整することができるから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明のさらに好ましい実施態様においては、前記エリアセンサが、n×nのマトリックス状に配置されたCCDセンサを含むCCDエリアセンサおよびn×nのマトリックス状に配置されたCMOSセンサを含むCMOSエリアセンサよりなる群から選ばれるエリアセンサによって構成されている。
本発明のさらに好ましい実施態様においては、前記撮像手段がビデオカメラによって構成されている。
本明細書において、「ビデオカメラ」には、ビデオテープに画像を記録するものに限らず、内蔵したハードディスクに画像を記録するものも含まれる。
本発明の前記目的はまた、
レーザ光源からレーザビームを放出し、
前記レーザビームを拡散モジュールに入射させて、錐体状に対象物に照射するように、複数のレーザビームに分割して、前記対象物の複数の計測領域に入射させ、
前記対象物の複数の前記計測領域から反射されたレーザビームを、レンズを介して、エリアセンサによって受光する架空線撮影方法であって、
前記レーザ光源から前記レーザビームが放出された時間Tと前記対象物の前記計測領域のそれぞれから反射されたレーザビームがエリアセンサによって受光された時間Tjとに基づいて、前記対象物の前記計測領域と前記エリアセンサの前記レーザビームを受光した位置との距離Dを算出して、距離データを生成し、
前記エリアセンサが前記レーザビームを受光した位置のX,Y座標データ(Xj、Yj)と前記距離データとに基づいて、対象物を撮像する撮像手段の位置、向きおよびフォーカスを制御するように構成されたことを特徴とする架空線撮影方法によって達成される。
本発明によれば、拡散モジュールによって分割された複数のレーザビームを錐体状に対象物に照射し、対象物の複数の計測領域によって反射されたレーザビームを、レンズを介して、エリアセンサによって受光して、レーザビームがエリアセンサのどの位置で受光されたかを示す位置データを生成し、レーザ光源からレーザビームが放出された発光時間Tと計測領域によって反射されたレーザビームをエリアセンサが受光した受光時間Tjとに基づいて、前記対象物の前記計測領域と前記エリアセンサの前記レーザビームを受光した位置との距離Dを算出して、距離データを生成し、エリアセンサがレーザビームをどの位置で受光したかを示す位置データと前記距離データとに基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されているから、ヘリコプターなどの航空機に同乗するオペレータが手動で、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、撮像手段を操作する必要がない。
また、本発明によれば、レーザ光源から放出されたレーザビームを拡散モジュールによって、複数のレーザビームに分割し、分割されたレーザビームを対象物の複数の計測領域に入射させ、対象物の複数の計測領域から反射され、レンズを通ったレーザビームを、エリアセンサによって受光し、レーザビームがエリアセンサのどの位置で受光されたかを検出して、レーザビームがエリアセンサのどの位置で受光されたかを示す位置データを生成し、レーザ光源からレーザビームが放出された発光時間Tとエリアセンサが計測領域によって反射されたレーザビームを受光した受光時間Tjとに基づいて、計測領域とエリアセンサのレーザビームを受光した位置との距離Dを算出して、距離データを生成し、エリアセンサがレーザビームをどの位置で受光したかを示す位置データと距離データとに基づいて、撮像手段の位置、向きおよびフォーカスを自動的に制御するように構成されているから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明の好ましい実施態様においては、前記レンズの焦点距離Fと前記エリアセンサの前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)とによって、前記対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、前記距離データとレーザビームの前記レンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出し、前記対象物の各計測領域のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されている。
本発明の好ましい実施態様によれば、レンズの焦点距離Fとエリアセンサのレーザビームの受光位置のX,Y座標データ(Xj、Yj)とによって、対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、距離データとレーザビームのレンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出し、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されているから、ヘリコプターなどの航空機に同乗するオペレータが手動で、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、撮像手段を操作する必要がない。
また、本発明の好ましい実施態様によれば、エリアセンサのレンズの焦点距離Fとエリアセンサのレーザビームの受光位置のX,Y座標データ(Xj、Yj)とによって、対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、距離データとレーザビームのレンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の対象物の各計測領域のエリアセンサのレンズの中心を原点としたZ座標値(Zj)を算出し、対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを自動的に調整することができるから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明のさらに好ましい実施態様においては、前記拡散モジュールによって、レーザビームをn×nのマトリックス状に分割し(nは正の整数である。)、前記対象物のn×nのマトリックス状の前記計測領域に入射させ、前記対象物のn×nのマトリックス状の前記計測領域によって反射されたレーザビームをn×nのマトリックス状に配置されたセンサを含むエリアセンサによって受光するように構成されている。
本発明の好ましい実施態様によれば、同時に、対象物のn×nのマトリックス状計測領域のX座標値、Y座標値およびZ座標値を求めることによって、撮像手段の位置、向きおよびフォーカスを自動的に調整することができるから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明のさらに好ましい実施態様においては、前記エリアセンサが、n×nのマトリックス状に配置されたCCDセンサを含むCCDエリアセンサおよびn×nのマトリックス状に配置されたCMOSセンサを含むCMOSエリアセンサよりなる群から選ばれるエリアセンサによって構成されている。
本発明のさらに好ましい実施態様においては、前記撮像手段がビデオカメラによって構成されている。
本発明によれば、撮像手段のフォーカスを自動制御して、撮像手段の向きを送電線およびその落雷防止用の接地線などの架空線を撮影する方向に自動調整することができ、小型で、軽量化された架空線撮影装置を提供することが可能になる。
また、本発明によれば、小型で、軽量化された架空線撮影装置によって、撮像手段のフォーカスを自動制御し、撮像手段の向きを送電線およびその落雷防止用の接地線などの架空線を撮影する方向に自動調整し、架空線を撮影することができる架空線撮影方法を提供することが可能になる。
図1は、本発明の好ましい実施態様にかかる架空線撮影装置の構成要素を示すブロックダイアグラムである。 図2は、レーザ測距装置のレーザビーム放出部の略斜視図である。 図3は、拡散モジュールによって拡散されたレーザビームと対象物との関係を示す略斜視図である。 図4は、地面、樹木、架線などの対象物によって反射されたレーザビームを受光するレーザ測距装置のレーザビーム受光部の略斜視図である。 図5は、レーザビームがCCDエリアセンサの光電検出面に入射する状態をX方向から見た図面である。 図6は、レーザビームがCCDエリアセンサの光電検出面に入射する状態をY方向から見た図面である。
図1は、本発明の好ましい実施態様にかかる架空線撮影装置の構成要素を示すブロックダイアグラムである。
図1に示されるように、本発明の好ましい実施態様にかかる架空線撮影装置は、ヘリコプターなどの航空機に搭載され、架空線撮影装置全体の動作を制御するコントロールユニット1と、架空線撮影装置全体の制御プログラムなどを格納するROM2と、各種データを格納するRAM3と、ヘリコプターの三次元的位置、すなわち、緯度・経度・高度を検出するとともに、ビデオカメラ5が取り付けられたカメラ架台6の姿勢を検出するGNSS/IMU装置4と、ビデオカメラ5と、カメラ架台6と、コントロールユニット1からの制御信号にしたがって、カメラ架台3をチルト方向(上下方向)およびロール方向(ビデオカメラ5を正面から見たときの時計方向または反時計方向)に移動させるカメラ架台制御装置7と、コントロールユニット1からの制御信号にしたがって、ビデオカメラ5のフォーカスを制御するフォーカス制御手段8と、ビデオカメラ5が撮像した撮像信号に画像処理を施して、対象物である送電線の撮像画面上での位置、傾きなどを算出して、コントロールユニット1に出力する画像処理装置9を備えている。
ここに、ビデオカメラとしては、ビデオテープに画像を記録するものに限らず、ハードディスクに画像をするものであってもよい。
図1に示されるように、本実施態様にかかる架空線撮影装置は、さらに、対象物までの距離および対象物の方向を検出するレーザ測距装置10と、オペレータによって操作され、架空線撮影装置のコントロールユニット1に指示信号を入力可能な操作パネル30と、CCDエリアセンサ5によって撮像され、画像処理装置9によって画像処理が施された画像データを収録するデータ収録装置35を備えている。
図2は、レーザ測距装置10のレーザビーム放出部の略斜視図である。
図2に示されるように、レーザ測距装置10はレーザビーム12をパルス状に放出するLEDレーザ光源14と、レーザ光源14から放出されたレーザビーム12を平行なビームに変換するコリメータレンズ16と、コリメータレンズ16によって平行なビームに変換されたレーザビーム12を、多数のレーザビーム17に分割し、四角錘状に拡散させる拡散モジュール15を備えている。
LEDレーザ光源14はコントロールユニット1によって制御されており、コントロールユニット1からレーザ放出信号が入力されると、LEDレーザ光源14からレーザビームが放出される。この際、コントロールユニット1はLEDレーザ光源14にレーザ放出信号を出力した発光時間TをRAM3に格納するように構成されている。
図3は、拡散モジュール15によって拡散されたレーザビーム17と対象物との関係を示す略斜視図である。
図3に示されるように、拡散モジュール15に入射したレーザビーム12は、n×nのマトリックス状(nは正の整数である。)に、たとえば、128×128のマトリックス状に分割され、マトリックス状に分割されたレーザビーム17は、地面、樹木、架線などの対象物18に向けて照射される。
拡散モジュール15としては、たとえば、Advanced Scientific Concepts, Inc.によって製造販売されている「3D Flash Lidar」(登録商標)に使われている拡散部材が好ましく使用される。
図4は、地面、樹木、架線などの対象物18によって反射されたレーザビーム20を受光するレーザ測距装置10のレーザビーム受光部の略斜視図である。
図4に示されるように、レーザ測距装置10のレーザビーム受光部は、n×nのマトリックス状に配置されたCCDセンサ22を含むCCDエリアセンサ21を備えている。
n×nのマトリックス状の計測領域に照射されて、反射されたレーザビーム20はレンズ25に入射し、CCDエリアセンサ21に含まれたCCDセンサ22のうち、n×nのマトリックス状の各計測領域に対応するCCDセンサ22の光電検出面22Aに入射する。
ここに、レンズ25は、レンズ25を含む平面がCCDエリアセンサ21の受光面と平行になり、レンズ25とCCDエリアセンサ21の中心に位置するCCDセンサ22の距離が焦点距離Fに等しくなるように制御されている。
図5は、レーザビーム20がCCDセンサ22の光電検出面22Aに入射する状態をX方向から見た図面であり、図6はY方向から見た図面である。X方向およびY方向はレンズ25を含む平面に平行で、互いに直交する方向と定義している。
X方向から見ると、図4および図5に示されるように、n×nのマトリックス状の各計測領域によって反射され、レンズ25の中心25Aを通ったレーザビーム20は、CCDエリアセンサ21の中心から、X方向にXdだけ離れたCCDセンサ22の光電検出面22Aに入射して受光される。
一方、Y方向から見ると、図6に示されるように、n×nのマトリックス状の各計測領域によって反射され、レンズ25の中心25Aを通ったレーザビーム20は、CCDエリアセンサ21の中心から、Y方向にYdだけ離れたCCDセンサ22の光電検出面22Aに入射して受光される。
CCDセンサ22にレーザビーム20が入射すると、画像信号がコントロールユニット1に出力され、画像信号が入力されると、コントロールユニット1は画像信号をRAM3に格納するとともに、画像信号が入力された時間を、受光時間TjとしてRAM3に記憶させる。
以上のように構成された本実施態様にかかる架空線撮影装置は、以下のようにして、ビデオカメラ5のフォーカスを自動制御し、ビデオカメラ5を架空線を撮影する方向に自動調整して、送電線およびその落雷防止用の接地線などの架空線を撮影するように構成されている。
まず、図示しない電源スイッチがオンされると、コントロールユニット1は、レーザ放出信号をレーザ測距装置10に出力する。
同時に、コントロールユニット1はレーザ測距装置10にレーザ放出信号を出力した時間TをRAM3に格納する。
レーザ測距装置10がレーザ放出信号を受けると、図2に示されるように、レーザ測距装置10のLEDレーザ光源14からパルス状にレーザビーム16が放出され、LEDレーザ光源14から放出されたレーザビーム16は、コリメータレンズ18に入射して、平行なビームに変換された後に、拡散モジュール15に入射する。
拡散モジュール15に入射したレーザビーム20は、図2に示されるように、拡散モジュール15によってn×nのマトリックス状に、たとえば、128×128のマトリックス状のレーザビーム17に分割され、n×nのマトリックス状に分割されたレーザビーム17は、地面、樹木、架線などの対象物18に向けて照射される。
対象物18に向けて照射されたレーザビーム17は、図3に示されるように、地面、樹木、架線などの対象物18のn×nのマトリックス状の計測領域に入射し、対象物18の各計測領域に入射したレーザビーム17は、対象物18の各計測領域によって反射される。
対象物18の各計測領域によって反射されたレーザビーム20は、図4に示されるように、レンズ25の中心25Aに入射した後に、対象物18のn×nのマトリックス状の各計測領域に対応するCCDセンサ22の光電検出面22Aに入射する。
各計測領域によって反射されたレーザビーム20がn×nのマトリックス状の各計測領域に対応するCCDエリアセンサ21のCCDセンサ22の光電検出面22Aに入射すると、画像信号がコントロールユニット1に出力される。
画像信号を受けると、コントロールユニット1は、n×nのマトリックス状の計測領域によって反射されたレーザビーム20をCCDエリアセンサ21のCCDセンサ22が受光した受光時間TjをRAM3に格納するとともに、RAM3に格納されているレーザ測距装置10にレーザ放出信号を出力した発光時間Tを読み出し、発光時間Tと受光時間Tjとから、CCDセンサ22が受光したレーザビーム20を反射した地面、樹木、架線などの対象物18の計測領域とCCDセンサ22との間の距離Dを算出し、RAM3に記憶させる。
一方で、図4に示されるように、対象物18のn×nのマトリックス状のある計測領域によって反射され、レンズ25の中心25Aを通って、CCDエリアセンサ21に入射するレーザビーム20はCCDエリアセンサ21の中心から、X方向にXd、Y方向にYdの距離に位置するCCDセンサ22によって受光される。したがって、CCDセンサ22から入力された画像信号に基づいて、コントロールユニット1は、CCDエリアセンサ21のレンズ25の中心を原点とするX−Y座標系において、n×nのマトリックス状の各計測領域によって反射されたレーザビーム20がCCDエリアセンサ22に入射した位置のX座標値がXdで、Y座標値がYdであるとして、CCDエリアセンサ21のレンズ25の中心を原点としたX、Y座標値を求めることができる。こうして求められたレーザビーム20の入射位置のX、Y座標値(Xd、Yd)はRAM3に格納される。
コントロールユニット1は、こうして求められたレーザビーム20のCCDセンサ22への入射位置のX、Y座標値(Xd、Yd)と、レンズ25の焦点距離Fとに基づいて、レンズ25の中心25Aへのレーザビーム20のX方向の入射角θXおよびY方向の入射角θYを算出する。
次いで、コントロールユニット1は、レンズ25の中心25Aへのレーザビーム20のX方向の入射角θXおよびY方向の入射角θYと、そのレーザビーム20を反射した計測領域とレーザビーム20を受光したCCDセンサ22との距離Dに基づいて、そのレーザビーム20を反射した対象物18の計測領域のCCDエリアセンサ21のレンズ25の中心を原点とした座標軸のX軸方向およびY軸方向に直交するZ軸方向のZ座標値(Zd)を算出する。ここに、Z座標値(Zd)は、対象物18の計測領域とレンズ25を含む平面との距離を表している。
レーザビーム20のCCDセンサ22の入射位置のX、Y座標値に基づいて、そのレーザビーム20を反射した計測領域のX、Y座標値を求めることができるから、その結果、レーザビーム20を反射したn×nのマトリックス状の各計測領域のCCDエリアセンサ21のレンズ25の中心を原点としたX座標値、Y座標値およびZ座標値が求められる。
こうして、対象物18のn×nのマトリックス状の各計測領域のX座標値、Y座標値、Z座標値が得られると、オペレータは、ビデオカメラ5によって生成された画像に基づいて、対象物18が架空線、地面、樹木のいずれかを決定する。
具体的には、オペレータは、対象物18がビデオカメラ5に近接し、ビデオカメラ5によって生成された画像が直線状に並んでいる場合は、対象物18が送電線などの架空線であると判定し、ビデオカメラ5によって生成された画像がビデオカメラ5から離間している場合は、対象物18が地面であると判定し、その他は樹木などと判定し、それぞれ、判定結果を操作パネル30に入力する。
次いで、オペレータは、ビデオカメラ5によって生成された画像に基づいて、対象物18がビデオカメラ5によって生成された画像の中心になるように、カメラ架台制御装置7を手動で操作する。オペレータがカメラ架台制御装置7を手動で操作した角度はコントロールユニット1に入力され、コントロールユニット1は、入力信号に基づいて、ビデオカメラ5によって生成された対象物18の画像がn×nのマトリックス状の計測領域のうち、どの計測領域に対応するかを判定し、判定結果を画像処理装置9に出力する。
対象物18が架空線の場合には、画像処理装置9は、コントロールユニット1から判定信号を受けると、座標群がビデオカメラ5に近接し、直線状に並んでいる画像を抽出し、抽出した座標群を直線近似し、送電線などの架空線の近似直線を生成して、生成された架空線の近似直線データをコントロールユニット1に出力する。
コントロールユニット1は、架空線の近似直線データを受けると、架空線の近似直線データに基づいて、カメラ架台6の位置および向きならびにビデオカメラ5のフォーカスの制御値を算出し、カメラ架台制御装置7にカメラ架台制御信号を出力して、カメラ架台6に取り付けられたビデオカメラ5の向きがこの近似直線と直交するように、ビデオカメラ5の位置および向きを制御するとともに、フォーカス制御手段8にフォーカス制御信号を出力して、ビデオカメラ5のフォーカスが架空線に合うように、自動的に制御する。
このようにして、ビデオカメラ5の位置、向きおよびフォーカスを制御しつつ、コントロールユニット1は、LEDレーザ光源14からのレーザビーム12のパルス状の放出を継続させるとともに、CCDエリアセンサ21に対象物18から反射されたレーザビーム20を受光して、架空線との距離の計測を継続させ、得られた距離データから、ビデオカメラ5の位置、向きおよびフォーカスを架空線の撮像に適するように制御する。
こうして得られた画像信号は、画像処理装置9によって画像処理を受け、画像処理された画像データは、データ収録装置35に出力されて、データ収録装置35のメモリ(図示せず)に格納される。
データ収録装置35のメモリに格納された画像データは、ビデオテープ、CD、DVD、ブルーレイディスクなどの記録メディアに複製され、地上に設けたデータ解析システムによって解析され、送電線およびその落雷防止用の接地線(グランド・ワイヤ)などの架空線の位置が求められる。
本実施態様によれば、レーザビーム17が照射されているn×nのマトリックス状の各計測領域から反射されたレーザビーム20が、CCDエリアセンサ21のn×nのマトリックス状の光電検出面22Aのいずれによって受光されたかによって、CCDセンサ22の光電検出面22Aの位置座標(Xd、Yd)を求め、レーザビーム20のレンズ25への入射角θXおよびθYを検出し、LEDレーザ光源14からレーザビーム12が放出された発光時間Tおよびレーザビーム20がCCDエリアセンサ5のCCDセンサ22によって受光された時間Tjとに基づいて、レーザビーム20を受光したCCDセンサ22のn×nのマトリックス状の光電検出面22Aとn×nのマトリックス状の各計測領域との距離Dを求め、対象物18の計測領域から反射されたレーザビーム20が検出されたCCDエリアセンサ22の光電検出面20Aの位置座標(Xd、Yd)と焦点距離Fから、レーザビーム20のレンズ25への入射角θXおよびθYを算出し、レーザビーム20を受光した光電検出面22Aとn×nのマトリックス状の各計測領域との距離Dと、レーザビーム20のレンズ25への入射角θXおよびθYと、光電検出面20Aの位置座標(Xd、Yd)値とに基づいて、対象物18のCCDエリアセンサ21のレンズ25の中心を原点としたX、Y、Z座標値(Xd、Yd、Zd)を算出するとともに、オペレータが目視によって、対象物18が架空線、地面、樹木のいずれかを判定し、画像処理装置9が送電線などの架空線の近似直線を生成し、コントロールユニット1が生成された架空線の近似直線データに基づいて、ビデオカメラ5の位置、向きおよびフォーカスを自動的に調整しているから、ヘリコプターなどの航空機に同乗するオペレータが手動で、架空線に正確にピントを合わせ、架空線がつねにほぼ画面のほぼ中央に位置するように、ビデオカメラ5を操作する必要がない。
さらに、本実施態様によれば、レーザビーム17が照射されているn×nのマトリックス状の各計測領域から反射されたレーザビーム20が、CCDエリアセンサ21のn×nのマトリックス状の光電検出面22Aのいずれによって受光されたかによって、CCDセンサ22の光電検出面22Aの位置座標(Xd、Yd)を求め、レーザビーム20のレンズ25への入射角θXおよびθYを検出し、LEDレーザ光源14からレーザビーム12が放出された発光時間Tおよびレーザビーム20がCCDエリアセンサ5のCCDセンサ22によって受光された時間Tjとに基づいて、レーザビーム20を受光したCCDセンサ22のn×nのマトリックス状の光電検出面22Aとn×nのマトリックス状の各計測領域との距離Dを求め、対象物18の計測領域から反射されたレーザビーム20が検出されたCCDエリアセンサ22の光電検出面20Aの位置座標(Xd、Yd)と焦点距離Fから、レーザビーム20のレンズ25への入射角θXおよびθYを算出し、レーザビーム20を受光した光電検出面22Aとn×nのマトリックス状の各計測領域との距離Dと、レーザビーム20のレンズ25への入射角θXおよびθYと、光電検出面20Aの位置座標(Xd、Yd)値とに基づいて、対象物18のCCDエリアセンサ21のレンズ25の中心を原点としたX、Y、Z座標値(Xd、Yd、Zd)を算出するとともに、オペレータが目視によって、対象物18が架空線、地面、樹木のいずれかを判定し、画像処理装置9が送電線などの架空線の近似直線を生成し、コントロールユニット1が生成された架空線の近似直線データに基づいて、ビデオカメラ5の位置、向きおよびフォーカスを自動的に調整しているから、架空線までの距離および方向をレーザスキャナによって計測する必要がなく、装置が大型化し、重量が大きくなることを確実に防止することが可能になる。
本発明は、以上の実施態様に限定されることなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることはいうまでもない。
たとえば、前記実施態様においては、n×nのマトリックス状に配置されたCCDセンサ22を含むCCDエリアセンサ21が用いられているが、CCDエリアセンサ21を用いることは必ずしも必要でなく、CMOSエリアセンサなど、他のエリアセンサを用いることもできる。
また、前記実施態様においては、撮像手段として、ビデオカメラ5が用いられているが、撮像手段として、ビデオカメラ5が用いることは必ずしも必要ではなく、ビデオカメラ5に代えて、赤外線カメラや紫外線カメラなどの可視光以外の光を検出するエリアセンサや、偏光カメラ、ハイスピードカメラなどを用いることもできる。
1 コントロールユニット
2 ROM
3 RAM
4 GNSS/IMU装置
5 ビデオカメラ
6 カメラ架台
7 カメラ架台制御装置
8 フォーカス制御手段
9 画像処理装置
10 レーザ測距装置
12 レーザビーム
14 LEDレーザ光源
15 拡散モジュール
16 コリメータレンズ
17 レーザビーム
18 対象物
20 レーザビーム
21 CCDエリアセンサ
22 CCDセンサ
22A CCDセンサの光電検出面
25 レンズ
25A レンズの中心
30 操作パネル
35 データ収録装置

Claims (10)

  1. 対象物を撮像する撮像手段と、
    レーザビームを放出するレーザ光源と、
    前記レーザ光源から放出されたレーザビームを複数のレーザビームに分割して、錐体状に対象物に入射させる拡散モジュールと、
    前記拡散モジュールによって複数に分割され、前記対象物の複数の計測領域によって反射されたレーザビームを、レンズを介して、受光するエリアセンサと、
    前記エリアセンサの前記対象物によって反射されたレーザビームを受光した位置を検出して、前記エリアセンサの前記レンズの中心を原点としたX,Y座標データ(Xj、Yj)を生成し、前記レーザ光源からレーザビームが放出された発光時間Tと前記エリアセンサが前記計測領域によって反射されたレーザビームを受光した受光時間Tjとに基づいて、前記計測領域と前記エリアセンサの前記レーザビームを受光した位置との距離Dを算出して、距離データを求め、前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)と前記距離データに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出する制御手段を備え、
    前記制御手段が、前記対象物のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、前記撮像手段の位置、向きおよびフォーカスを制御するように構成されたことを特徴とする架空線撮影装置。
  2. 前記制御手段が、前記エリアセンサの前記レンズの焦点距離Fと前記エリアセンサの前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)とによって、前記対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、前記距離データとレーザビームの前記レンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出するように構成されたことを特徴とする請求項1に記載の架空線撮影装置。
  3. 前記拡散モジュールがレーザビームをn×nのマトリックス状に分割し(nは正の整数である。)、前記対象物のn×nのマトリックス状計測領域に入射させ、前記エリアセンサがn×nのマトリックス状に配置されたセンサを含んでいることを特徴とする請求項1または2に記載の架空線撮影装置。
  4. 前記エリアセンサが、n×nのマトリックス状に配置されたCCDセンサを含むCCDエリアセンサおよびn×nのマトリックス状に配置されたCMOSセンサを含むCMOSエリアセンサよりなる群から選ばれるエリアセンサによって構成されていることを特徴とする請求項1ないし3のいずれか1項に記載の架空線撮影装置。
  5. 前記撮像手段がビデオカメラによって構成されていることを特徴とする請求項1ないし4のいずれか1項に記載の架空線撮影装置。
  6. レーザ光源からレーザビームを放出し、
    前記レーザビームを拡散モジュールに入射させて、錐体状に対象物に照射するように、複数のレーザビームに分割して、前記対象物の複数の計測領域に入射させ、
    前記対象物の複数の前記計測領域から反射されたレーザビームを、レンズを介して、エリアセンサによって受光する架空線撮影方法であって、
    前記レーザ光源から前記レーザビームが放出された時間Tと前記対象物の前記計測領域のそれぞれから反射されたレーザビームがエリアセンサによって受光された時間Tjとに基づいて、前記対象物の前記計測領域と前記エリアセンサの前記レーザビームを受光した位置との距離Dを算出して、距離データを生成し、
    前記エリアセンサが前記レーザビームを受光した位置のX,Y座標データ(Xj、Yj)と前記距離データとに基づいて、対象物を撮像する撮像手段の位置、向きおよびフォーカスを制御するように構成されたことを特徴とする架空線撮影方法。
  7. 前記エリアセンサの前記レンズの焦点距離Fと前記エリアセンサの前記レーザビームの受光位置の前記X,Y座標データ(Xj、Yj)とによって、前記対象物の各計測領域によって反射されたレーザビームの前記レンズへの入射角θXおよびθYを算出し、前記距離データとレーザビームの前記レンズへの入射角θXおよびθYとに基づいて、X方向およびY方向と直交するZ方向の前記対象物の各計測領域の前記エリアセンサの前記レンズの中心を原点としたZ座標値(Zj)を算出し、前記対象物の各計測領域のX、Y、Z座標値(Xj、Yj、Zj)に基づいて、撮像手段の位置、向きおよびフォーカスを制御するように構成されたことを特徴とする請求項6に記載の架空線撮影方法。
  8. 前記拡散モジュールによって、レーザビームをn×nのマトリックス状に分割し(nは正の整数である。)、前記対象物のn×nのマトリックス状の前記計測領域に入射させ、前記対象物のn×nのマトリックス状の前記計測領域によって反射されたレーザビームをn×nのマトリックス状に配置されたセンサを含むエリアセンサによって受光するように構成されていることを特徴とする請求項6または7に記載の架空線撮影方法。
  9. 前記エリアセンサが、n×nのマトリックス状に配置されたCCDセンサを含むCCDエリアセンサおよびn×nのマトリックス状に配置されたCMOSセンサを含むCMOSエリアセンサよりなる群から選ばれるエリアセンサによって構成されていることを特徴とする請求項6ないし8のいずれか1項に記載の架空線撮影方法。
  10. 前記撮像手段がビデオカメラによって構成されていることを特徴とする請求項6ないし9のいずれか1項に記載の架空線撮影方法。

JP2015142851A 2015-07-17 2015-07-17 架空線撮影装置および架空線撮影方法 Active JP6605244B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015142851A JP6605244B2 (ja) 2015-07-17 2015-07-17 架空線撮影装置および架空線撮影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015142851A JP6605244B2 (ja) 2015-07-17 2015-07-17 架空線撮影装置および架空線撮影方法

Publications (2)

Publication Number Publication Date
JP2017026700A true JP2017026700A (ja) 2017-02-02
JP6605244B2 JP6605244B2 (ja) 2019-11-13

Family

ID=57949549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015142851A Active JP6605244B2 (ja) 2015-07-17 2015-07-17 架空線撮影装置および架空線撮影方法

Country Status (1)

Country Link
JP (1) JP6605244B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108828581A (zh) * 2018-07-03 2018-11-16 国网湖南省电力有限公司 一种输电线路杆塔激光及微波联动外破监测方法及其系统
CN109282751A (zh) * 2018-05-15 2019-01-29 苏州华眸智能科技有限公司 一种基于激光测距的接触网几何参数动态测量系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59198378A (ja) * 1983-04-27 1984-11-10 Nissan Motor Co Ltd 光レ−ダ装置
JPH103109A (ja) * 1996-06-14 1998-01-06 Asahi Koyo Kk 架空線撮影装置及び方法
JP2002022426A (ja) * 2000-07-12 2002-01-23 Asahi Optical Co Ltd 3次元画像入力装置
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59198378A (ja) * 1983-04-27 1984-11-10 Nissan Motor Co Ltd 光レ−ダ装置
JPH103109A (ja) * 1996-06-14 1998-01-06 Asahi Koyo Kk 架空線撮影装置及び方法
JP2002022426A (ja) * 2000-07-12 2002-01-23 Asahi Optical Co Ltd 3次元画像入力装置
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109282751A (zh) * 2018-05-15 2019-01-29 苏州华眸智能科技有限公司 一种基于激光测距的接触网几何参数动态测量系统与方法
CN108828581A (zh) * 2018-07-03 2018-11-16 国网湖南省电力有限公司 一种输电线路杆塔激光及微波联动外破监测方法及其系统

Also Published As

Publication number Publication date
JP6605244B2 (ja) 2019-11-13

Similar Documents

Publication Publication Date Title
US10302749B2 (en) LIDAR optics alignment systems and methods
JP7258554B2 (ja) 可変照射場密度を有するlidarに基づく三次元撮像
KR100753885B1 (ko) 촬상 장치
CN105607074B (zh) 一种基于脉冲激光的信标自适应光学系统
US6683675B2 (en) Distance measuring apparatus and distance measuring method
JP2018528633A5 (ja)
US20040163266A1 (en) Surveying instrument
KR101918684B1 (ko) 속도 적응형 3차원 장애물 감지장치
JP2016099140A (ja) 水底観測システム
KR20190074769A (ko) 라이다 장치
KR20120093502A (ko) 레이저를 이용한 장애물 감지장치 및 방법.
EP2978207B1 (en) Enhanced optical detection and ranging
JP2018136309A (ja) Lidarシステムにより3dシーンを取得する方法及びlidarシステム
JP2016126144A5 (ja)
JP2020185941A (ja) 無人航空機、点検方法および点検プログラム
WO2019183809A1 (zh) 控制方法与装置、云台系统、无人机和计算机可读存储介质
CN107270867B (zh) 一种主动测距系统以及方法
CN106019531A (zh) 相位测距摄像模组及其自动报警方法
JP6605244B2 (ja) 架空線撮影装置および架空線撮影方法
CN110225247B (zh) 一种图像处理方法及电子设备
JP2019215364A (ja) 水底観測システム
EP2948791B1 (en) Improved laser range finding
JP2020067388A (ja) 異常検出装置と異常検出方法およびプログラムと測距装置
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서
KR101872620B1 (ko) 속도 적응형 장애물 감지장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191016

R150 Certificate of patent or registration of utility model

Ref document number: 6605244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250