JP2021047059A - ドローンシステム、ドローンシステムのプログラム - Google Patents

ドローンシステム、ドローンシステムのプログラム Download PDF

Info

Publication number
JP2021047059A
JP2021047059A JP2019168929A JP2019168929A JP2021047059A JP 2021047059 A JP2021047059 A JP 2021047059A JP 2019168929 A JP2019168929 A JP 2019168929A JP 2019168929 A JP2019168929 A JP 2019168929A JP 2021047059 A JP2021047059 A JP 2021047059A
Authority
JP
Japan
Prior art keywords
image data
drone
server
abnormality
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019168929A
Other languages
English (en)
Inventor
豊 原口
Yutaka Haraguchi
豊 原口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sateraito Office Co Ltd
Original Assignee
Sateraito Office Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sateraito Office Co Ltd filed Critical Sateraito Office Co Ltd
Priority to JP2019168929A priority Critical patent/JP2021047059A/ja
Publication of JP2021047059A publication Critical patent/JP2021047059A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、時間を著しく短縮することができるとともに人件費を著しく低減することができるドローンシステムを提供する。【解決手段】ドローンシステム100は、撮影手段(111)を有して空中を飛行するドローン110と、ドローンと通信自在なサーバ120とを備え、ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信し、サーバが、ドローンから受信した画像データをデータベース121に保存するとともに、基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物(W)についての異常判定基準閾値を超えたとき、異常がある旨を所定端末(130)に通知する構成である。【選択図】図1

Description

本発明は、撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えたドローンシステム、および、そのプログラムに関する。
本願において、「ドローン」とは、遠隔操作または自動制御によって飛行する無人航空機をいう。
従来、プロペラを備えた飛行体本体と、飛行体本体からプロペラよりも外側に突出するカメラ用アームと、カメラ用アームの先端に設けられたカメラと、飛行体本体からカメラ用アームとは反対方向に延びるカウンターウェイト用アームと、カウンターウェイト用アームの先端に設けられたカウンターウェイトとを有し、カメラにより撮影対象物を正面以外から撮影するドローン飛行体が知られている(例えば、特許文献1)。
特開2019−127245号公報(特に、段落0028、図2参照)
しかしながら、上述した従来のドローン飛行体は、カメラ用アームの先端に設けられたカメラを用いて撮影する限りの構成であったため、例えば、保守点検のためにドローン飛行体によって撮影された画像を人の目で確認する必要があり、多大な労力や人件費が生じるという問題があった。
さらに、確認作業のログをとることが困難であるという問題があった。
また、膨大な画像データを判断しなければならず、対象物についての異常を高精度で検出することが困難であるという問題があった。
そこで、本発明は、前述したような従来技術の問題を解決するものであって、すなわち、本発明の目的は、仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、時間を著しく短縮することができるとともに人件費を著しく低減することができるドローンシステム、および、そのプログラムを提供することである。
本請求項1に係る発明は、撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えたドローンシステムであって、前記ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信し、前記サーバが、前記ドローンから受信した画像データをデータベースに保存するとともに、基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることにより、前述した課題を解決するものである。
本請求項2に係る発明は、請求項1に記載されたドローンシステムの構成に加えて、前記ドローンが、超音波の発信と受信を行う探触子を有し、物体に反射して受信した超音波データを現在の位置情報とともにサーバに送信し、前記サーバが、前記ドローンから受信した超音波データを超音波画像データに変換してデータベースに保存するとともに、超音波画像データを基準となる基準超音波画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が超音波画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることにより、前述した課題をさらに解決するものである。
本請求項3に係る発明は、請求項1に記載されたドローンシステムの構成に加えて、前記ドローンが、レーザーを用いて物体の内部に超音波を励起する照射手段と、物体からの超音波を受信する受信センサーとを有し、物体から受信した超音波データを現在の位置情報とともにサーバに送信し、前記サーバが、前記ドローンから受信した超音波データを超音波画像データに変換してデータベースに保存するとともに、超音波画像データを基準となる基準超音波画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が超音波画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることにより、前述した課題をさらに解決するものである。
本請求項4に係る発明は、請求項1に記載されたドローンシステムの構成に加えて、前記ドローンが、テスト用ハンマーと、テスト用ハンマーと所定対象物との衝突反響音を収集するマイクとを有し、衝突反響音データを現在の位置情報とともにサーバに送信し、前記サーバが、前記ドローンから受信した衝突反響音データからドローン飛行音ノイズを除去してノイズ除去後の衝突反響音データを衝突反響音画像データに変換してデータベースに保存するとともに、衝突反響音画像データを基準となる基準衝突反響音画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が衝突反響音画像データ中の所定波形または所定周波数スペクトルについての異常判定基準値を超えたとき、異常がある旨を所定端末に通知する構成であることにより、前述した課題をさらに解決するものである。
本請求項5に係る発明は、撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えたドローンシステムのプログラムであって、前記ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信する撮影・送信ステップと、前記サーバが、前記ドローンから受信した画像データをデータベースに保存する受信・保存ステップと、前記サーバが、前記ドローンから受信した画像データを基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたか否かを判定する処理・判定ステップと、前記異常判定基準閾値を超えたとき、前記サーバが、異常がある旨を所定端末に通知する通知ステップとを具備していることにより、前述した課題を解決するものである。
本発明のドローンシステムは、撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えていることにより、ドローンを飛行させて撮影することができるばかりでなく、以下のような特有の効果を奏することができる。
本請求項1に係る発明のドローンシステムによれば、例えば、保守点検のためにドローンによって撮影された画像データがサーバによって基準画像データと比べられて異常の有無が判定されるため、仮に所定対象物について異常があった場合に高精度で異常を検出することができる。
さらに、全ての画像データがデータベースに保存されるため、異常の有無に関わらず簡単にログをとることができる。
また、作業員が目視で保守点検する場合と比べて、画像データが現場のドローンからサーバへ通信によって送信されてサーバによって異常の有無が判定されるため、時間を著しく短縮することができるとともに人件費を著しく低減することができる。
本請求項2に係る発明のドローンシステムによれば、請求項1に係る発明が奏する効果に加えて、所定対象物の表面だけでなく、内部についても異常の有無が判定されるため、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、大雨によって道路の下の地中に空洞が生じた場合に、空洞の大きさとその場所情報との両者が特定されるため、保守点検管理会社は空洞などの異常にすぐに対応することができる。
また、水深など物体の深さや厚みが簡単に算出されるため、水難事故発生時に救出方法をすぐに立てるまたは変更することができる。
本請求項3に係る発明のドローンシステムによれば、請求項1に係る発明が奏する効果に加えて、所定対象物の表面だけでなく、内部についても異常の有無が判定されるため、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、超音波の探触子が接触困難な高温な対象物として、直射日光を浴びて高温になった鉄道のレールの内部に亀裂があった場合に、亀裂の大きさとその場所情報との両者が特定されるため、保守点検管理会社は亀裂などの異常にすぐに対応することができる。
本請求項4に係る発明のドローンシステムによれば、請求項1に係る発明が奏する効果に加えて、衝突反響音データからドローンの飛行騒音ノイズが除去されて、所定対象物の表面だけでなく、衝突反響音画像データによってコンクリートや金属などの所定対象物の内部についても異常の有無が判定されるため、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、橋げたのコンクリート部分の表面からは見えない内部に亀裂があった場合に衝突反響音が変わり、亀裂ありと判定され、亀裂ありの判定情報とその場所情報との両者が通知されるため、保守点検管理会社は亀裂などの異常にすぐに対応することができる。
本請求項5に係る発明のドローンシステムのプログラムによれば、請求項1に係る発明が奏する効果と同様、例えば、保守点検のためにドローンによって撮影された画像データがサーバによって基準画像データと比べられて異常の有無が判定されるため、仮に所定対象物について異常があった場合に高精度で異常を検出することができる。
さらに、全ての画像データがデータベースに保存されるため、異常の有無に関わらず簡単にログをとることができる。
また、作業員が目視で保守点検する場合と比べて、画像データが現場のドローンからサーバへ通信によって送信されてサーバによって異常の有無が判定されるため、時間を著しく短縮することができるとともに人件費を著しく低減することができる。
本発明の実施例であるドローンシステムの概念を示す図。 本発明の実施例であるドローンシステムの動作例を示すチャート図。 (A)(B)は本発明の実施例であるドローンシステムの鉄道の線路の画像データを示す図および基準画像データを示す図。 (A)(B)は本発明の実施例であるドローンシステムの鉄道の線路下の地中の超音波画像データを示す図および基準超音波画像データを示す図。 (A)(B)は本発明の実施例であるドローンシステムの送電線の画像データを示す図および基準画像データを示す図。 (A)(B)は本発明の実施例であるドローンシステムの橋の画像データを示す図および基準画像データを示す図。 (A)(B)は本発明の実施例であるドローンシステムの橋脚や橋桁の衝突反響音画像データを示す図および基準衝突反響音画像データを示す図。 (A)(B)は本発明の実施例であるドローンシステムの水管内の画像データを示す図および基準画像データを示す図。
本発明のドローンシステムは、撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備え、ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信し、サーバが、ドローンから受信した画像データをデータベースに保存するとともに、基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることにより、仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、時間を著しく短縮することができるとともに人件費を著しく低減することができるものであれば、その具体的な実施態様は、如何なるものであっても構わない。
また、本発明のドローンシステムのプログラムは、ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信する撮影・送信ステップと、サーバが、ドローンから受信した画像データをデータベースに保存する受信・保存ステップと、サーバが、ドローンから受信した画像データを基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたか否かを判定する処理・判定ステップと、異常判定基準閾値を超えたとき、サーバが、異常がある旨を所定端末に通知する通知ステップとを具備していることにより、仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、時間を著しく短縮することができるとともに人件費を著しく低減することができるものであれば、その具体的な実施態様は、如何なるものであっても構わない。
例えば、ドローンは、撮影手段と通信手段とを有して飛行自在なものであれば如何なるものであっても構わない。
また、サーバは、1つのサーバやクラウド上の複数のサーバでもよい。
さらに、所定端末は、デスクトップ型パーソナルコンピュータ端末、ノート型パーソナルコンピュータ端末、スマートフォン端末、タブレット端末、腕時計型端末など表示部と操作部とを有して情報を送受信するものであって、所謂インターネットである広域ネットワーク、ローカルネットワーク、電話回線などを含む通信ネットワークによりサーバと接続自在なものであれば如何なるものであっても構わない。
また、所定のコースは、道路(高速道路含む)上または道路脇の沿線、海岸線、河川、橋、送電線の経路、水管内など如何なるものであっても構わない。
そして、用途としては、道路上の違法駐車や事故車や故障車の有無、道路上の土砂崩れや冠水の有無、海岸や河川の堤防の破損の有無、橋や建築物の破損の有無、送電線の経路における鉄塔や電柱の傾きや破損および送電線の断線や異物付着の有無の判定に用いてもよい。
さらに、撮影手段は、通常のカメラに限らず、夜間でも画像確認可能な赤外線カメラでもよい。
なお、道路上の違法駐車や事故車や故障車の有無の判定については、通常の通行車両と、違法駐車や事故車や故障車とを区別するために、複数回所定のコースを飛行して基準画像データと比べつつ、前回の飛行のときと今回の飛行のときに同じ位置に同じ車両が停まっていたら違法駐車や事故車や故障車と判定することができる。
また、適法な駐車か違法な駐車かの判定については、基準画像データに適法な駐車ゾーンを設定しておけば、適法な駐車か違法な駐車かを判定できる。
さらに、時間制の駐車の場合、パーキングメータの点灯具合を撮影して時間内か時間超過かを判定することができる。
また、基準画像データとは、位置情報を有して、異常のないときに撮影されたものをいう。
サーバが、画像データと、基準画像データとを比べるとき、位置情報が同じもの同士で比べるものとする。
位置情報に高度情報を含めてもよい。
以下に、本発明の実施例であるドローンシステム100について、図1乃至図8(B)に基づいて説明する。
ここで、図1は、本発明の実施例であるドローンシステム100の概念を示す図であり、図2は、本発明の実施例であるドローンシステム100の動作例を示すチャート図であり、図3(A)は、本発明の実施例であるドローンシステム100の鉄道の線路の画像データDTを示す図であり、図3(B)は、本発明の実施例であるドローンシステム100の鉄道の線路の基準画像データRDを示す図であり、図4(A)は、本発明の実施例であるドローンシステム100の鉄道の線路下の地中UGの超音波画像データUWを示す図であり、図4(B)は、本発明の実施例であるドローンシステム100の鉄道の線路下の地中UGの基準超音波画像データRUを示す図であり、図5(A)は、本発明の実施例であるドローンシステム100の送電線CBの画像データDTを示す図であり、図5(B)は、本発明の実施例であるドローンシステム100の送電線CBの基準画像データRDを示す図であり、図6(A)は、本発明の実施例であるドローンシステム100の橋の画像データDTを示す図であり、図6(B)は、本発明の実施例であるドローンシステム100の橋の基準画像データRDを示す図であり、図7(A)は、本発明の実施例であるドローンシステム100の橋脚BPや橋桁BGの衝突反響音画像データRFを示す図であり、図7(B)は、本発明の実施例であるドローンシステム100の橋脚BPや橋桁BGの基準衝突反響音画像データRRを示す図であり、図8(A)は、本発明の実施例であるドローンシステム100の水管内PPの画像データDTを示す図であり、図8(B)は、本発明の実施例であるドローンシステム100の水管内PPの基準画像データRDを示す図である。
本発明の実施例であるドローンシステム100は、図1に示すように、ドローン110と、サーバ120と、所定端末の一例であるコンピュータ端末130とを備えている。
このうち、ドローン110は、撮影手段の一例であるカメラ111を有して空中を飛行するように構成されている。
また、サーバ120は、ドローン110と通信自在に設けられている。
本実施例では、ドローン110が、所定のコースの一例として鉄道のレール上のコースを飛行したとする。
この際、ドローン110がコースを飛行中にカメラ111を用いてレール材RLおよび枕木RTを撮影した画像データDT(図3(A)参照)をサーバ120に送信する。
すると、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存するとともに、基準となる基準画像データRD(図3(B)参照)と比べる画像処理を実行する。
なお、画像データDTおよび基準画像データRDは、静止画形式でもよいし動画形式のいずれでもよい。
画像処理の実行については、別サーバの画像処理手段を利用してもよいし、サーバ120の内部において画像処理の全てを実行してもよい。
例えば、人工知能搭載した画像判定手段を利用して、画像データDTに写っている所定対象物であるレール間隔Wが、基準画像データRDのレール間隔Wに対して何%の誤差を有しているかをコース上のレールの全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かを判定する。
そして、画像処理の実行中において、画像データDT中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末であるコンピュータ端末130に通知するように構成されている。
これにより、例えば、保守点検のためにドローン110によって撮影された画像データDTがサーバ120によって基準画像データRDと比べられて異常の有無が判定される。
その結果、仮に所定対象物について異常があった場合に高精度で異常を検出することができる。
さらに、全ての画像データDTがデータベース121に保存される。
その結果、異常の有無に関わらず簡単にログをとることができる。
また、作業員が目視で保守点検する場合と比べて、画像データDTが現場のドローン110からサーバ120へ通信によって送信されてサーバ120によって異常の有無が判定される。
その結果、時間を著しく短縮することができるとともに人件費を著しく低減することができる。
なお、一例としてレール間隔Wを所定対象物としたが、レール自体を所定対象物としてもよい。
レール自体の直線性を判定したり、レール自体の表面の傷や亀裂などの破損の有無を判定してもよい。
また、夏場と冬場との気温差によるレール自体の膨張による長さの差を加味して、ドローン110に搭載した温度測定手段を用いて現在の気温別または現在のレールの温度別に基準画像データRDを変更して画像処理を実行するように構成してもよい。
続いて、本発明のドローンシステム100の動作について、より詳しく説明する。
図2に示すように、ステップS1では、撮影・送信ステップとして、ドローン110が、所定のコースの一例として鉄道のレール上のコースを飛行する。
そして、図3(A)に示すように、ドローン110が、飛行中に撮影手段であるカメラ111を用いて鉄道のレールのレール材RLおよび枕木RTを撮影する。
さらに、ドローン110が、撮影した画像データDTをサーバ120に送信する。
撮影した画像データDTが静止画形式である場合、随時送信する。
撮影した画像データDTが動画形式である場合、所定時間毎の一例として30秒毎に区切って、随時送信する。所謂、ストリーミング配信(送信)でもよい。
ステップS2では、受信・保存ステップとして、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存する。
ステップS3では、処理・判定ステップとして、図3(A)および図3(B)に示すように、サーバ120が、ドローン110から受信した画像データDTを基準となる基準画像データRDと比べる画像処理を実行する。
そして、画像データDT中の所定対象物についての異常判定基準閾値を超えたか否かを判定する。
前述したように、例えば、人工知能搭載した画像判定手段を利用して、画像データDTに写っている所定対象物であるレール間隔Wが、基準画像データRDのレール間隔Wに対して何%の誤差を有しているかをコース上のレールの全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かを判定する。
算出した数値が異常判定基準閾値を超えていると判定した場合はステップS4へ進み、他方、超えていないと判定した場合はシーケンスを終了する。
ステップS4では、通知ステップとして、サーバ120が、異常がある旨を所定端末であるコンピュータ端末130に通知する。
これにより、前述したように、例えば、保守点検のためにドローン110によって撮影された画像データDTがサーバ120によって基準画像データRDと比べられて異常の有無が判定される。
その結果、仮に所定対象物について異常があった場合に高精度で異常を検出することができる。
さらに、全ての画像データDTがデータベース121に保存される。
その結果、異常の有無に関わらず簡単にログをとることができる。
また、作業員が目視で保守点検する場合と比べて、画像データDTが現場のドローン110からサーバ120へ通信によって送信されてサーバ120によって異常の有無が判定される。
その結果、時間を著しく短縮することができるとともに人件費を著しく低減することができる。
さらに、本実施例では、ドローン110が、超音波の発信と受信を行う探触子(図示せず)を有している。
そして、ドローン110が、物体に反射して受信した超音波データを現在の位置情報とともにサーバ120に送信する。
なお、ドローン110は、現在の位置情報を取得する手段を有しているものとする。
例えば、3つ以上の衛星からの受信電波の位相差により現在の位置を特定することができる。
さらに、図4(A)に示すように、サーバ120が、ドローン110から受信した超音波データを超音波画像データUWに変換してデータベース121に保存する。
これとともに、図4(A)および図4(B)に示すように、超音波画像データUWと、基準となる基準超音波画像データRUと比べる画像処理を実行する。
具体的には、超音波画像データUWに写っている所定対象物であるレール下の地中UGの状態が、基準超音波画像データRUのレール下の地中UGの状態に対して何%の誤差を有しているかをコース上のレール下の全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かをサーバ120が判定する。
そして、超音波画像データUW中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末であるコンピュータ端末130に通知するように構成されている。
これにより、所定対象物の表面だけでなく、内部についても異常の有無が判定される。
その結果、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、大雨によって道路の下の地中UGに空洞CVが生じた場合に、空洞CVの大きさとその場所情報との両者が特定される。
その結果、保守点検管理会社は空洞CVなどの異常にすぐに対応することができる。
また、水深など物体の深さや厚みが簡単に算出されるため、水難事故発生時に救出方法をすぐに立てるまたは変更することができる。
また、本実施例では、ドローン110が、レーザーを用いて物体の内部に超音波を励起する照射手段(図示せず)と、物体からの超音波を受信する受信センサー(図示せず)とを有している。
そして、ドローン110が、物体から受信した超音波データを現在の位置情報とともにサーバ120に送信する。
さらに、図4(A)に示すように、サーバ120が、ドローン110から受信した超音波データを超音波画像データUWに変換してデータベース121に保存する。
これとともに、図4(A)および図4(B)に示すように、超音波画像データUWと、基準となる基準超音波画像データRUと比べる画像処理を実行する。
例えば、超音波画像データUWに写っている所定対象物であるレール下の地中UGの状態が、基準超音波画像データRUのレール下の地中UGの状態に対して何%の誤差を有しているかをコース上のレール下の全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かをサーバ120が判定する。
そして、超音波画像データUW中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末であるコンピュータ端末130に通知するように構成されている。
これにより、所定対象物の表面だけでなく、内部についても異常の有無が判定される。
その結果、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、超音波の探触子が接触困難な高温な対象物として、直射日光を浴びて高温になった鉄道のレールの内部に亀裂があった場合に、亀裂の大きさとその場所情報との両者が特定される。
その結果、保守点検管理会社は亀裂などの異常にすぐに対応することができる。
なお、所定対象物の一例として、カメラ111を用いて鉄道のレールのレール材RLおよび枕木RTを撮影したが、所定対象物を別のものにしてもよい。
例えば、図5(A)に示すように、カメラ111を用いて鉄塔TWと鉄塔TWとの間につるされた送電線CBを撮影してもよい。
ここでは、送電線CBに異物として凧KTが絡まっていたとする。
そして、ドローン110が、カメラ111を用いて送電線CBを撮影した画像データDTをサーバ120に送信する。
すると、図5(A)および図5(B)に示すように、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存するとともに、基準となる基準画像データRDと比べる画像処理を実行する。
人工知能搭載した画像判定手段を利用して、画像データDTに写っている所定対象物である送電線CBが、基準画像データRDの送電線CBに対して何%の誤差を有しているかをコース上の送電線CBの全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かを判定する。
この例では、凧KTが絡まっていることにより、算出した数値が、異常判定基準閾値を超えていると判定する。
そして、サーバ120が、異常がある旨を所定端末であるコンピュータ端末130に通知する。
また、図6(A)に示すように、所定対象物の一例として、河川RVの橋を撮影してもよい。
ここでは、橋脚BPや橋桁BGの表面および内部に亀裂CKが生じていたとする。
そして、ドローン110が、カメラ111を用いて橋脚BPや橋桁BGを撮影した画像データDTをサーバ120に送信する。
すると、図6(A)および図6(B)に示すように、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存するとともに、基準となる基準画像データRDと比べる画像処理を実行する。
人工知能搭載した画像判定手段を利用して、画像データDTに写っている所定対象物である橋脚BPや橋桁BGが、基準画像データRDの橋脚BPや橋桁BGに対して何%の誤差を有しているかをコース上の橋の全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かを判定する。
この例では、橋脚BPや橋桁BGの表面に亀裂CKが生じていることにより、算出した数値が、異常判定基準閾値を超えていると判定する。
そして、サーバ120が、異常がある旨を所定端末であるコンピュータ端末130に通知する。
また、本実施例では、ドローン110が、テスト用ハンマー(図示せず)と、テスト用ハンマーと所定対象物との衝突反響音を収集するマイク(図示せず)とを有している。
さらに、ドローン110が移動することによって、橋脚BPや橋桁BGのコンクリートの箇所に対してテスト用ハンマーを衝突させるとともに、マイクで衝突反響音を収集する。
そして、ドローン110が、衝突反響音データ(図示せず)を現在の位置情報とともにサーバ120に送信する。
すると、図7(A)に示すように、サーバ120が、ドローン110から受信した衝突反響音データを例えば、フーリエ変換してからドローン飛行音ノイズを除去してノイズ除去後の衝突反響音データを衝突反響音画像データRFに変換してデータベース121に保存する。
これとともに、図7(A)および図7(B)に示すように、衝突反響音画像データRFを基準となる基準衝突反響音画像データRRと比べる画像処理を実行する。
なお、ドローン飛行音は、特定の周波数のノイズであるため、フーリエ変換して予め把握している特定の周波数をフィルター処理して除去することができる。
例えば、衝突反響音画像データRFに写っている所定対象物についての波形または周波数スペクトルが、基準衝突反響音画像データRRの波形または周波数スペクトルに対して何%の誤差を有しているかを数値判定する。
ここで、図7(B)に示す基準衝突反響音画像データRRは、橋脚BPや橋桁BGのコンクリートの内部に亀裂CKがない場合であって、このコンクリートにテスト用ハンマーを衝突させたときの周波数スペクトルを表すものである。
他方、図7(A)に示す衝突反響音画像データRFは、橋脚BPや橋桁BGのコンクリートの内部に亀裂CKが生じているため、図7(B)の周波数スペクトルと異なる周波数スペクトルを表すものとなる。
橋脚BPや橋桁BGのコンクリートの内部に亀裂CKが生じているため、算出した数値が、異常判定基準閾値を超えているとサーバ120が判定する。
そして、両者の差に基づいて算出される数値が衝突反響音画像データRF中の所定波形または所定周波数スペクトルについての異常判定基準値を超えたとき、異常がある旨を所定端末であるコンピュータ端末130に通知するように構成されている。
これにより、衝突反響音データからドローン110の飛行騒音ノイズが除去されて、所定対象物の表面だけでなく、衝突反響音画像データRFによってコンクリートや金属などの所定対象物の内部についても異常の有無が判定される。
その結果、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができる。
例えば、橋げたのコンクリート部分の表面からは見えない内部に亀裂CKがあった場合に衝突反響音が変わり、亀裂CKありと判定され、亀裂CKありの判定情報とその場所情報との両者が通知される。
その結果、保守点検管理会社は亀裂CKなどの異常にすぐに対応することができる。
なお、亀裂CKがあって、コンクリートなどの物体(剛体)の大きさが小さくなった場合、周波数が高くなる傾向があり、異物が付着して物体(剛体)の大きさが大きくなった場合、周波数が低くなる傾向がある。これらの傾向から異常の内容を推定することもできる。
また、図8(A)に示すように、所定対象物の一例として、上水管や下水管などの水管内PPを撮影してもよい。
ここでは、水管内PPにウェットティッシュWPなどの異物が停滞していたとする。
そして、ドローン110が、カメラ111を用いて水管内PPを撮影した画像データDTをサーバ120に送信する。
すると、図8(A)および図8(B)に示すように、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存するとともに、基準となる基準画像データRDと比べる画像処理を実行する。
人工知能搭載した画像判定手段を利用して、画像データDTに写っている所定対象物である水管内PPの様子が、基準画像データRDの水管内PPの様子に対して何%の誤差を有しているかをコース上の水管内PPの全ての地点で数値判定する。
さらに、算出した数値が、異常判定基準閾値を超えているか否かを判定する。
この例では、水管内PPに異物が停滞していることにより、算出した数値が、異常判定基準閾値を超えていると判定する。
そして、サーバ120が、異常がある旨を所定端末であるコンピュータ端末130に通知する。
なお、水管内PPの異物の有無だけでなく、基準画像データRDの水管内PPの水面の面積に基づいて水管内PPの水位をチェックするように構成してもよい。
例えば、水位が所定深度より深くなったときに異常や警告を通知してもよい。
また、エコーにより水管内PPの水位や水中の異物をチェックするように構成してもよい。
さらに、水管に対してテスト用ハンマーを衝突させるとともに、マイクで衝突反響音を収集し、水管の亀裂の有無を判定するように構成してもよい。異常の有無により、水漏れの位置を推定することができる。
このようにして得られた本発明の実施例であるドローンシステム100は、撮影手段の一例であるカメラ111を有して空中を飛行するドローン110と、ドローン110と通信自在なサーバ120とを備え、ドローン110が、所定のコースを飛行中にカメラ111を用いて撮影した画像データDTをサーバ120に送信し、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存するとともに、基準となる基準画像データRDと比べる画像処理を実行し、画像データDT中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末の一例であるコンピュータ端末130に通知する構成であることにより、仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、作業員が目視で保守点検する場合と比べて、時間を著しく短縮することができるとともに人件費を著しく低減することができる。
さらに、ドローン110が、超音波の発信と受信を行う探触子を有し、物体に反射して受信した超音波データを現在の位置情報とともにサーバ120に送信し、サーバ120が、ドローン110から受信した超音波データを超音波画像データUWに変換してデータベース121に保存するとともに、基準となる基準超音波画像データRUと比べる画像処理を実行し、超音波画像データUW中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定のコンピュータ端末130に通知する構成であることにより、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができ、例えば、大雨によって道路の下の地中UGに空洞CVが生じた場合に、保守点検管理会社は空洞CVなどの異常にすぐに対応することができ、水難事故発生時に救出方法をすぐに立てるまたは変更することができる。
また、ドローン110が、レーザーを用いて物体の内部に超音波を励起する照射手段と、物体からの超音波を受信する受信センサーとを有し、物体から受信した超音波データを現在の位置情報とともにサーバ120に送信し、サーバ120が、ドローン110から受信した超音波データを超音波画像データUWに変換してデータベース121に保存するとともに、基準となる基準超音波画像データRUと比べる画像処理を実行し、超音波画像データUW中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定のコンピュータ端末130に通知する構成であることにより、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができ、例えば、超音波の探触子が接触困難な高温な対象物として、直射日光を浴びて高温になった鉄道のレールの内部に亀裂CKがあった場合に、保守点検管理会社は亀裂CKなどの異常にすぐに対応することができる。
さらに、ドローン110が、テスト用ハンマーと、テスト用ハンマーと所定対象物との衝突反響音を収集するマイクとを有し、衝突反響音データを現在の位置情報とともにサーバ120に送信し、サーバ120が、ドローン110から受信した衝突反響音データからドローン飛行音ノイズを除去してノイズ除去後の衝突反響音データを衝突反響音画像データRFに変換してデータベース121に保存するとともに、衝突反響音画像データRFを基準となる基準衝突反響音画像データRRと比べる画像処理を実行し、両者の差に基づいて算出される数値が衝突反響音画像データRF中の所定波形または所定周波数スペクトルについての異常判定基準値を超えたとき、異常がある旨を所定のコンピュータ端末130に通知する構成であることにより、仮に所定対象物の内部について異常があった場合に高精度で異常を検出することができ、例えば、橋げたのコンクリート部分の表面からは見えない内部に亀裂CKがあった場合に、保守点検管理会社は亀裂CKなどの異常にすぐに対応することができる。
また、本発明の本実施例であるドローンシステム100のプログラムは、ドローン110が、所定のコースを飛行中に撮影手段の一例であるカメラ111を用いて撮影した画像データDTをサーバ120に送信する撮影・送信ステップS1と、サーバ120が、ドローン110から受信した画像データDTをデータベース121に保存する受信・保存ステップS2と、サーバ120が、ドローン110から受信した画像データDTを基準となる基準画像データRDと比べる画像処理を実行し、画像データDT中の所定対象物についての異常判定基準閾値を超えたか否かを判定する処理・判定ステップS3と、異常判定基準閾値を超えたとき、サーバ120が、異常がある旨を所定のコンピュータ端末130に通知する通知ステップS4とを具備していることにより、仮に所定対象物について異常があった場合に高精度で異常を検出することができ、異常の有無に関わらず簡単にログをとることができ、作業員が目視で保守点検する場合と比べて、時間を著しく短縮することができるとともに人件費を著しく低減することができるなど、その効果は甚大である。
100 ・・・ ドローンシステム
110 ・・・ ドローン
111 ・・・ カメラ(撮影手段)
120 ・・・ サーバ
121 ・・・ データベース
DT ・・・ 画像データ
RD ・・・ 基準画像データ
W ・・・ レール間隔(所定対象物)
130 ・・・ コンピュータ端末(所定端末)
UW ・・・ 超音波画像データ
RU ・・・ 基準超音波画像データ
UG ・・・ 地中(所定対象物)
RL ・・・ レール材
RT ・・・ 枕木
CV ・・・ 空洞
TW ・・・ 鉄塔
CB ・・・ 送電線
KT ・・・ 凧(異物)
RF ・・・ 衝突反響音画像データ
RR ・・・ 基準衝突反響音画像データ
RV ・・・ 河川
BP ・・・ 橋脚
BG ・・・ 橋桁
CK ・・・ 亀裂
PP ・・・ 水管内
WP ・・・ ウェットティッシュ(異物)

Claims (5)

  1. 撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えたドローンシステムであって、
    前記ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信し、
    前記サーバが、前記ドローンから受信した画像データをデータベースに保存するとともに、基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることを特徴とするドローンシステム。
  2. 前記ドローンが、超音波の発信と受信を行う探触子を有し、物体に反射して受信した超音波データを現在の位置情報とともにサーバに送信し、
    前記サーバが、前記ドローンから受信した超音波データを超音波画像データに変換してデータベースに保存するとともに、超音波画像データを基準となる基準超音波画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が超音波画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることを特徴とする請求項1に記載のドローンシステム。
  3. 前記ドローンが、レーザーを用いて物体の内部に超音波を励起する照射手段と、物体からの超音波を受信する受信センサーとを有し、物体から受信した超音波データを現在の位置情報とともにサーバに送信し、
    前記サーバが、前記ドローンから受信した超音波データを超音波画像データに変換してデータベースに保存するとともに、超音波画像データを基準となる基準超音波画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が超音波画像データ中の所定対象物についての異常判定基準閾値を超えたとき、異常がある旨を所定端末に通知する構成であることを特徴とする請求項1に記載のドローンシステム。
  4. 前記ドローンが、テスト用ハンマーと、テスト用ハンマーと所定対象物との衝突反響音を収集するマイクとを有し、衝突反響音データを現在の位置情報とともにサーバに送信し、
    前記サーバが、前記ドローンから受信した衝突反響音データからドローン飛行音ノイズを除去してノイズ除去後の衝突反響音データを衝突反響音画像データに変換してデータベースに保存するとともに、衝突反響音画像データを基準となる基準衝突反響音画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が衝突反響音画像データ中の所定波形または所定周波数スペクトルについての異常判定基準値を超えたとき、異常がある旨を所定端末に通知する構成であることを特徴とする請求項1に記載のドローンシステム。
  5. 撮影手段を有して空中を飛行するドローンと、ドローンと通信自在なサーバとを備えたドローンシステムのプログラムであって、
    前記ドローンが、所定のコースを飛行中に撮影手段を用いて撮影した画像データをサーバに送信する撮影・送信ステップと、
    前記サーバが、前記ドローンから受信した画像データをデータベースに保存する受信・保存ステップと、
    前記サーバが、前記ドローンから受信した画像データを基準となる基準画像データと比べる画像処理を実行し、両者の差に基づいて算出される数値が画像データ中の所定対象物についての異常判定基準閾値を超えたか否かを判定する処理・判定ステップと、
    前記異常判定基準閾値を超えたとき、前記サーバが、異常がある旨を所定端末に通知する通知ステップとを具備していることを特徴とするドローンシステムのプログラム。
JP2019168929A 2019-09-18 2019-09-18 ドローンシステム、ドローンシステムのプログラム Pending JP2021047059A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019168929A JP2021047059A (ja) 2019-09-18 2019-09-18 ドローンシステム、ドローンシステムのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019168929A JP2021047059A (ja) 2019-09-18 2019-09-18 ドローンシステム、ドローンシステムのプログラム

Publications (1)

Publication Number Publication Date
JP2021047059A true JP2021047059A (ja) 2021-03-25

Family

ID=74878260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019168929A Pending JP2021047059A (ja) 2019-09-18 2019-09-18 ドローンシステム、ドローンシステムのプログラム

Country Status (1)

Country Link
JP (1) JP2021047059A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791969A (zh) * 2021-08-12 2021-12-14 惠州Tcl云创科技有限公司 一种Android平台相机模块的除错方法、存储介质及终端设备
CN116620348A (zh) * 2023-06-06 2023-08-22 宁波思高信通科技有限公司 一种钢轨检测方法、系统、智能终端及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015102481A (ja) * 2013-11-27 2015-06-04 国立研究開発法人日本原子力研究開発機構 超音波による温度測定及び探傷方法超音波による温度、欠陥の測定方法ならびにその測定装置
JP2015194069A (ja) * 2014-03-27 2015-11-05 株式会社フジタ 構造物の点検装置
JP2017227632A (ja) * 2016-06-16 2017-12-28 日本電気株式会社 点検システム、移動ロボット装置及び点検方法
JP2018130983A (ja) * 2017-02-13 2018-08-23 株式会社フジタ 検査装置
JP2018179819A (ja) * 2017-04-17 2018-11-15 サイトテック株式会社 非破壊検査装置
JP2018203500A (ja) * 2017-06-07 2018-12-27 株式会社日立ビルシステム エレベーター点検システムおよびエレベーター
JP2019070631A (ja) * 2017-10-11 2019-05-09 株式会社日立システムズ 飛行体利用劣化診断システム
JP2019079380A (ja) * 2017-10-26 2019-05-23 株式会社日立ソリューションズ データ処理装置およびデータ処理方法
JP2019082403A (ja) * 2017-10-30 2019-05-30 オリンパス株式会社 検査装置および検査方法
WO2019146111A1 (ja) * 2018-01-29 2019-08-01 株式会社ドローンネット 打音点検ユニット

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015102481A (ja) * 2013-11-27 2015-06-04 国立研究開発法人日本原子力研究開発機構 超音波による温度測定及び探傷方法超音波による温度、欠陥の測定方法ならびにその測定装置
JP2015194069A (ja) * 2014-03-27 2015-11-05 株式会社フジタ 構造物の点検装置
JP2017227632A (ja) * 2016-06-16 2017-12-28 日本電気株式会社 点検システム、移動ロボット装置及び点検方法
JP2018130983A (ja) * 2017-02-13 2018-08-23 株式会社フジタ 検査装置
JP2018179819A (ja) * 2017-04-17 2018-11-15 サイトテック株式会社 非破壊検査装置
JP2018203500A (ja) * 2017-06-07 2018-12-27 株式会社日立ビルシステム エレベーター点検システムおよびエレベーター
JP2019070631A (ja) * 2017-10-11 2019-05-09 株式会社日立システムズ 飛行体利用劣化診断システム
JP2019079380A (ja) * 2017-10-26 2019-05-23 株式会社日立ソリューションズ データ処理装置およびデータ処理方法
JP2019082403A (ja) * 2017-10-30 2019-05-30 オリンパス株式会社 検査装置および検査方法
WO2019146111A1 (ja) * 2018-01-29 2019-08-01 株式会社ドローンネット 打音点検ユニット

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791969A (zh) * 2021-08-12 2021-12-14 惠州Tcl云创科技有限公司 一种Android平台相机模块的除错方法、存储介质及终端设备
WO2023015699A1 (zh) * 2021-08-12 2023-02-16 惠州Tcl云创科技有限公司 一种Android平台相机模块的除错方法、存储介质及终端设备
CN116620348A (zh) * 2023-06-06 2023-08-22 宁波思高信通科技有限公司 一种钢轨检测方法、系统、智能终端及存储介质
CN116620348B (zh) * 2023-06-06 2023-10-20 宁波思高信通科技有限公司 一种钢轨检测方法、系统、智能终端及存储介质

Similar Documents

Publication Publication Date Title
US10643444B2 (en) Facility management system using Internet of things (IoT) based sensor and unmanned aerial vehicle (UAV), and method for the same
CN106954042B (zh) 一种无人机铁路线路巡检装置、系统及方法
CN107328465B (zh) 海底电缆振动监测系统
US20140159915A1 (en) Apparatus and method for comprehensively monitoring slopes based on wireless network
US20200070861A1 (en) Maintenance assistance system and maintenance assistance method for railroad ground equipment
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测系统及巡检方法
JP2021047059A (ja) ドローンシステム、ドローンシステムのプログラム
EP3333043B1 (en) Rail inspection system and method
CN103424175A (zh) 基于激光调制的桥梁振幅实时监测装置
KR101903879B1 (ko) 구조물 지진 안전성 평가 장치 및 구조물 지진 안전성 평가 방법
WO2020194539A1 (ja) 構造物の変位計測装置
US20220138970A1 (en) Structural vibration monitoring method based on computer vision and motion compensation
JP2017071972A (ja) 点検支援方法および点検支援システム
CN108254022A (zh) 海上风电场的船舶交通管理及海缆监测系统
KR100784296B1 (ko) 교량 결함 위치 확인 방법
Paul et al. Railway track crack detection
CN108036731B (zh) 电缆覆冰监测方法及系统
CN111168694A (zh) 基于机器人视觉识别的隧道结构健康智能识别系统和方法
CN105151088B (zh) 辅助铁路机车对标的方法及辅助装置
CN109387218A (zh) 车载设备及道路维护辅助管理系统
US11620911B2 (en) Management device and flying device management method
CN114722480A (zh) 房屋建筑结构的安全监测系统及其建立、监测方法
JP7223482B2 (ja) 異常自然現象検知システム、及び異常自然現象検知方法
CN202693117U (zh) 基于激光调制的桥梁振幅实时监测装置
JP2018154979A (ja) 情報処理システム、評価システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210427