JP2023052898A - 制御装置および制御方法 - Google Patents

制御装置および制御方法 Download PDF

Info

Publication number
JP2023052898A
JP2023052898A JP2023015473A JP2023015473A JP2023052898A JP 2023052898 A JP2023052898 A JP 2023052898A JP 2023015473 A JP2023015473 A JP 2023015473A JP 2023015473 A JP2023015473 A JP 2023015473A JP 2023052898 A JP2023052898 A JP 2023052898A
Authority
JP
Japan
Prior art keywords
hovering camera
information
imaging
flight
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023015473A
Other languages
English (en)
Inventor
浩太郎 佐部
Kotaro Sabe
佳世子 田中
Kayoko Tanaka
康輔 鈴木
Kosuke Suzuki
正祥 増田
Masanaga Masuda
武一 柿沼
Buichi Kakinuma
和則 林
Kazunori Hayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023052898A publication Critical patent/JP2023052898A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/02Arrangements or adaptations of signal or lighting devices
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10Controlling the intensity of the light
    • H05B45/12Controlling the intensity of the light using optical feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D2203/00Aircraft or airfield lights using LEDs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/20UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power
    • B64U50/37Charging when not in flight
    • B64U50/38Charging when not in flight by wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/90Launching from or landing on platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00Transport or storage specially adapted for UAVs
    • B64U80/20Transport or storage specially adapted for UAVs with arrangements for servicing the UAV
    • B64U80/25Transport or storage specially adapted for UAVs with arrangements for servicing the UAV for recharging batteries; for refuelling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00Aeronautics or air transport
    • Y02T50/50On board measures aiming to increase energy efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Stroboscope Apparatuses (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Accessories Of Cameras (AREA)

Abstract

Figure 2023052898000001
【課題】飛行体デバイスにより高精度な画像を得ることの可能な制御装置を提供する。
【解決手段】撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える飛行体デバイスの飛行経路を含む飛行情報に従って飛行体デバイスの飛行を制御し、撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得し、飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供する制御部を備える、制御装置が提供される。
【選択図】図1

Description

本開示は、制御装置および制御方法に関する。
無線で操縦できる飛行体にカメラを取り付けて、そのカメラで撮像するという写真の撮像方法に関する技術が開示されている(例えば特許文献1等参照)。飛行体にカメラを取り付けることで、上空からや、三脚が立てられない場所からの写真を撮像することが可能になる。また飛行体にカメラを取り付けて撮像することで、本物の飛行機やヘリコプターを使用した場合よりもコストを抑えることが出来る、安全に撮像が出来る、低空や狭い場所でも撮像が出来る、目標に接近して撮像が出来る等の様々な利点がもたらされる。
特開2006-27448号公報
このようなカメラが備えられた飛行体を用いることで、人間が容易に立ち入ることが出来ない場所の状況を効果的に撮像できれば、人間が近づくのが難しい構築物の点検に大いに役立つと考えられる。例えば、川や海の上に架けられた橋梁、トンネル、ダム、道路等の社会インフラや空港、ビル、倉庫、工場、プラント等の産業インフラ等の点検に、飛行体を利用することが考えられる。
ここで、上述のような構造物の点検に用いる画像には、規定されたサイズのヒビ等の欠陥を検出可能な精度が求められる。高所作業車等を使わずにこのような精度の画像を撮影する方法として、例えば、高倍率なズームレンズを用いた、三脚に固定されたカメラにより撮影することが考えられる。しかし、かかる方法では、カメラにより撮影できる範囲に限りがある。一方、カメラを搭載した飛行体を用いれば、対象物に近づいて撮影を行うことは可能である。しかし、飛行体は風の影響などで完全に静止するのが難しく、またプロペラの回転等に伴う振動の影響もあるため、構造物の損傷を正確に把握するような高精度の画像を得ることは難しい。
そこで、高精度な画像を得ることの可能な、新規かつ改良された制御装置、制御方法および飛行体デバイスを提案する。
本開示によれば、撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える前記飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御し、前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得し、前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供する制御部を備える、制御装置が提供される。
また、本開示によれば、撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える前記飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御することと、前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得することと、前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供することと、を含む制御方法が提供される。
以上説明したように本開示によれば、飛行体デバイスによる撮影において、高精度な画像を得ることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るホバリングカメラを用いた構造物の撮影の概要を説明する説明図である。 同実施形態に係る点検システムのシステム構成例を示す説明図である。 同実施形態に係るホバリングカメラの機能構成例を示す説明図である。 同実施形態に係る制御端末の機能構成例を示す説明図である。 同実施形態に係る点検システムの動作例を示すフローチャートである。 同実施形態に係るホバリングカメラの制御部が備える高精度画像取得のための機能の一例を示す機能ブロック図である。 同実施形態に係るホバリングカメラの撮像装置による撮影範囲の一例を示す説明図である。 同実施形態に係る照明装置を構成する光源の一配置例を示す説明図である。 同実施形態に係る照明装置を構成する光源の他の配置例を示す説明図である。 照明装置を構成する光源の特性例を示す説明図である。 照明する面に対して照明装置が角度θだけ傾いている状態を示す説明図である。 ホバリングカメラが図11の状態にあるときの、照明装置により照明された面の照度変化を示す説明図である。 同実施形態に係るホバリングカメラによる撮影時の、撮像装置および照明装置の一制御例をフローチャートである。 撮像装置のシャッター制御の一例について説明するフローチャートである。 飛行情報に基づく撮影作業時における、ホバリングカメラの速度および加速度の変化状況を示す概念図である。 同実施形態に係るホバリングカメラの下フレーム部の概略正面図である。 撮像装置のレンズを駆動する第1の駆動部および第2の駆動部を平面側から示す概略斜視図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.システム構成例
3.機能構成例
3.1.ホバリングカメラ
3.2.制御端末
4.点検システムの動作例
5.高精度画像取得への対応
5.1.機能構成
5.2.照明装置の調光制御
(1)撮影条件
(2)照明装置の構成
(3)機体の傾きに応じた照明装置の光量制御
5.3.撮影時における撮像装置および照明装置の制御例
5.4.撮像装置のレンズ傾き制御
6.まとめ
<1.概要>
本開示の実施形態に係る飛行体デバイスの構成とこれによる構造物の撮影方法について説明するにあたり、まず、図1に基づいて、本実施形態に係る撮像装置を備えた飛行体デバイス(ホバリングカメラ)100を用いた構造物の撮影の概要を説明する。なお、図1は、本実施形態に係るホバリングカメラ100を用いた構造物の撮影の概要を説明する説明図である。
道路や橋梁、トンネル、ビルディング等の構築物の維持管理には、人間による構築物の状態の確認が欠かせない。通常、このような構築物の目視による確認は、作業員が当該構築物に近づき、腐食やヒビ割れ等の損傷や、ボルト等の連結部材の緩みが構造物に生じていないかどうかを目で確認したり、これら異常の有無の確認のために打音検査したりするのが一般的である。
橋梁、特にコンクリート橋の維持管理のためには、橋桁や橋脚の目視検査や打音検査を行う作業員のため、例えば橋脚や橋桁の裏面部に足場を組んだり、作業員の安全を確保したり、作業車両の配置等のため一部又は全部の車線を通行止めにする必要が生じていた。これらの要因により、点検に要するコストだけでなく、通行止めによる道路誘導員の手配に要するコスト、さらには通行止めにより生じる迂回路の交通渋滞が問題となり得る。
また、河川や海の上に建設されている等の理由で、足場を組むのが容易で無かったり、そもそも足場が組めなかったりする橋梁も存在する。従って、これらの事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術が望まれる。
そこで、本件開示者らは、上記事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術について検討した。そして本件開示者らは、以下で説明するように、撮像装置を備えた飛行体(以下、撮像装置を備えた飛行体のことを「ホバリングカメラ」とも称する。)を用いて、安全で、交通に影響を与えず、かつ低コストで可能な点検作業が可能な技術を考案するに至った。
図1に、コンクリートで構築された橋梁1を模式的に示す。コンクリートで構築された橋梁1を点検する場合、上述したように、従来は作業員によるヒビ割れや腐食等の損傷が生じていないかの目視点検が行われていた。作業員が目視点検を行うため、橋脚2や橋桁3の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。
このような目視点検に対し、本実施形態では、ホバリングカメラ100を用いて橋梁1を点検する。ホバリングカメラ100は、予め設定された飛行情報(本実施形態では、飛行経路及び静止画像の撮像位置の情報を含むものをいう。)に従って自動飛行するよう構成された、撮像装置を備える飛行体である。なお、静止画像の撮像位置の情報には、例えば撮像処理を実行する位置、撮像する方向、次の撮像処理を実行する位置までの移動時間等が含まれ得る。
例えば橋桁3の裏側(底面)を点検する場合、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側を撮像させる。ホバリングカメラ100に橋桁3の裏側を撮像させることで、橋桁3の点検のために橋脚2や橋桁3の裏面部に足場を組む必要が無くなったり、車線を通行止めにする頻度が軽減され、または通行止めが不要になったりする。また、例えば橋桁3の横側(側面)を点検する場合には、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の横側を撮像させる。このようにホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側や横側を撮像させることで、作業員の安全を確保し、交通に影響を与えずに、かつ低コストで橋梁1の点検が可能となる。
この際、ホバリングカメラ100により撮影される画像には、微細なヒビ等も確認可能な精度の画像が求められる。本実施形態に係るホバリングカメラ100では、高精度な画像を取得するため、飛行体に撮影対象の撮影面を照明する照明機構を設け、撮影面での照度を略一定にする。目標照明位置(=すなわち、撮影場所)を均一かつ一定以上の照度で照らすことにより、画像の撮影品質を保持する。以下、本実施形態に係るホバリングカメラ100の構成とこれによる構造物の撮影方法について詳細に説明する。
<2.システム構成例>
図2は、本実施形態に係る点検システム10のシステム構成例を示す説明図である。図2に示した本実施形態に係る点検システム10は、構築物、例えば橋梁1の点検を効率的に行うことを目的としたシステムである。以下、図2を用いて本実施形態に係る点検システム10のシステム構成例について説明する。
図2に示すように、本実施形態に係る点検システム10は、ホバリングカメラ100と、制御端末200と、情報処理装置300と、無線中継ノード400と、位置推定ノード500と、ベースステーション600と、充電ステーション700と、サーバ装置800と、を含んで構成される。
ホバリングカメラ100は、本開示の撮像装置の一例であり、上述したように撮像装置を備える飛行体である。ホバリングカメラ100は、指定された飛行経路に基づいて自動飛行し、指定された撮像位置において撮像装置で静止画像を撮像することが出来るよう構成された飛行体である。ホバリングカメラ100は、例えば4つのロータにより飛行することが可能であり、各ロータの回転を制御することで、上昇、下降、水平移動しつつ飛行することが出来る。もちろんロータの数は係る例に限定されるものではない。
ホバリングカメラ100に設定される飛行開始位置から飛行終了位置までの飛行経路や撮像位置は、例えばGPS(Global Positioning System;全地球測位システム)の位置情報として設定される。従ってホバリングカメラ100は、GPS衛星からの電波を受信して現在位置を算出するGPS受信機が組み込まれ得る。ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよく、緯度、経度のみがGPSの位置情報として設定され、高度については例えば後述のベースステーション600からの相対的な高さとして設定されていてもよい。
制御端末200は、本開示の制御装置の一例であり、ホバリングカメラ100の飛行に関する制御を実行する端末である。制御端末200は、ホバリングカメラ100の飛行に関する制御として、例えばホバリングカメラ100に送る飛行情報の生成や、ホバリングカメラ100への離陸指示、後述のベースステーション600への帰還指示等を行う。また、制御端末200は、ホバリングカメラ100が何らかの理由で自動で飛行出来なくなった場合のホバリングカメラ100の操縦等を行ってもよい。制御端末200によるホバリングカメラ100の飛行情報の生成処理については、後に詳述するが、ここで簡単に一例を説明する。
ホバリングカメラ100の飛行情報を生成する際には、制御端末200は、点検を行う橋梁1の概況に関する情報、例えば点検を行う橋梁1の概況図を読み込み、画面に表示させる。この橋梁1の概況図上の点には、予め詳細なGPS情報が入った地図データ上の点を対応付けておく。この対応付けは最低2組の点で行なわれていることが望ましい。橋梁1の概況図に、予め、詳細なGPS情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ100の飛行経路がGPSの値として定義される。そして制御端末200は、この橋梁1の概況図に基づいてホバリングカメラ100の飛行経路を生成する。ホバリングカメラ100の飛行経路は、ユーザ(構築物点検の作業員)が分かりやすいよう、概況図上に重ねて表示させる。
制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、橋梁1の構造や、寸法、ホバリングカメラ100に撮像させる橋梁1の部分を考慮してもよい。制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分についてはホバリングカメラ100に詳細に撮像させるような飛行情報を生成してもよい。
上述したように、ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよいが、橋梁1の概況図に高度データが存在しない場合が考えられる。橋梁1の概況図に高度データが存在しない場合は、ホバリングカメラ100に設定される飛行経路は、緯度、経度のみがGPSの位置情報として設定され、高度については例えばベースステーション600からの相対的な高さとして設定されていてもよい。
制御端末200は、ホバリングカメラ100へ設定する飛行情報を設定する際に、ホバリングカメラ100が橋梁1を撮像する際の、撮影対象面との距離が一定になるような飛行情報を生成することが望ましい。ホバリングカメラ100が橋梁1を撮像する際に、撮影対象面との距離が一定となるような飛行情報を生成することで、制御端末200は、同縮尺の画像をホバリングカメラ100に生成させることが出来る。
制御端末200は、例えばノート型コンピュータやタブレット型の端末等の持ち運び可能な装置であり、ホバリングカメラ100との間で無線により情報の送受信を行う。制御端末200は、ホバリングカメラ100との間の無線通信を、ホバリングカメラ100との間で直接行ってもよい。なお、構築物、特に橋梁1の点検においては制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得る。したがって、制御端末200は、ホバリングカメラ100との間の無線通信を、点検時に設置される無線中継ノード400を介して行ってもよい。
制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像した画像を取得し、必要に応じて制御端末200の表示画面に表示する。制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示画面に表示してもよい。ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示画面に表示することで、制御端末200は、ホバリングカメラ100がどのような位置を飛行しているのかをユーザに提示することが出来る。
情報処理装置300は、様々な情報を処理する装置であり、例えばパーソナルコンピュータ(PC)やゲーム機等の情報を処理する機能を有する装置であり得る。本実施形態では、情報処理装置300は、特にホバリングカメラ100が撮像した画像を情報処理装置300の表示画面に表示して、橋梁1の状態をユーザに確認させる機能を有する装置である。また情報処理装置300は、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能を有する。情報処理装置300は、生成した損傷データを、サーバ装置800へ送信する機能を有していても良い。なお、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能は、制御端末200が有していてもよい。
情報処理装置300は、ホバリングカメラ100が撮像した画像を、例えば制御端末200から取得する。ホバリングカメラ100が撮像した画像を情報処理装置300が取得するタイミングは特に限定されない。例えば、情報処理装置300は、ホバリングカメラ100の一度の飛行が終了したタイミングでホバリングカメラ100が撮像した画像を制御端末200から取得してもよい。
無線中継ノード400は、ホバリングカメラ100と制御端末200との間の無線通信を中継する装置である。上述したように、構築物、特に橋梁1の点検においては、制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得る。従って、構築物の点検時に設置される無線中継ノード400を介して、ホバリングカメラ100と制御端末200との間の無線通信が行われ得る。無線中継ノード400の数は1つだけとは限らず、橋梁1の点検範囲によっては複数設置され得る。従って、ホバリングカメラ100と制御端末200との間の無線通信は、複数の無線中継ノード400を介して行われ得る。ホバリングカメラ100は電波の状況に応じて、通信先を制御端末200と無線中継ノード400との間で切り替え得る。
無線中継ノード400は、橋梁1の点検時に、橋面上(歩道上が望ましい)の適切な場所に設置され得る。また無線中継ノード400は、橋桁3の欄干部から吊り下げられるようにして設置されてもよい。そして橋梁1の点検前には、所定の方法によって無線中継ノード400が正常に動作することを、例えば制御端末200を用いて確認することが望ましい。
位置推定ノード500は、ホバリングカメラ100に現在位置を推定させるための装置である。上述したように、ホバリングカメラ100の飛行経路は、例えばGPSの位置情報として設定される。この際に、GPS衛星からの電波を遮るものが無い場合は、ホバリングカメラ100は現在位置を極めて高い精度で知ることが出来る。しかし、ホバリングカメラ100が橋桁3の下に潜り込んでしまうことは避けられない。例えば、橋桁3によってGPS衛星からの電波が遮られたり、橋梁1による電波の反射等に起因するマルチパスが発生したりしてしまうと、ホバリングカメラ100は現在位置を高い精度で知ることが出来なくなるおそれがある。
そこで本実施形態では、橋桁3の下においてホバリングカメラ100に現在位置を正確に取得させるために位置推定ノード500を設ける。位置推定ノード500としては、例えばAR(Augmented Reality;拡張現実)マーカーを用いてもよく、GPS信号の発信機を用いてもよい。
位置推定ノード500としてARマーカーを用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の両端から位置推定ノード500をぶら下げて、ホバリングカメラ100に位置推定ノード500を撮像させる。そして位置推定ノード500を撮像したホバリングカメラ100に、指定した位置推定ノード500の間を飛行させる。ホバリングカメラ100は、位置推定ノード500間の位置を、例えばホバリングカメラ100に備えたセンサ(例えばIMU(Inertial Measurement Unit)センサ)の積算値と、撮像した画像から算出した移動先の位置推定ノード500までの距離とで把握することが可能になる。従ってホバリングカメラ100は位置推定ノード500を撮像することで、橋桁3の下においても現在位置を正確に取得することが出来る。
また位置推定ノード500としてGPS信号の発信機を用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の対角や四隅に位置推定ノード500を設置する。ホバリングカメラ100は位置推定ノード500から発したGPS信号を受信することで、橋桁3の下においても現在位置を正確に取得することが出来る。
ベースステーション600は、ホバリングカメラ100の離着陸のために設けられる装置である。ベースステーション600は、GPS受信機を備え、GPS衛星からの電波の受信によって現在位置を算出する。ベースステーション600が算出した現在位置は制御端末200に送られる。ベースステーション600が算出した現在位置が制御端末200に送られることで、制御端末200は、橋梁1の概況図上にベースステーション600の位置を表示することが可能になる。
ベースステーション600は、ホバリングカメラ100の動作確認を行う機能を有していてもよい。ベースステーション600が実行するホバリングカメラ100の動作確認には、例えば通信機能の確認、撮像機能の確認、飛行機能の確認、各種センサのキャリブレーションなどが含まれ得る。なおホバリングカメラ100のセンサのキャリブレーション方法としては、ベースステーション600を用いた方法に限られないことは言うまでもない。例えば、ホバリングカメラ100のセンサのキャリブレーション方法として、キャリブレーション専用の治具にホバリングカメラ100を固定させて、ピッチ方向やロール方向にホバリングカメラ100を回転させてセンサを較正する方法もあり得る。
充電ステーション700は、ホバリングカメラ100に備えられる二次電池への充電を行う。ホバリングカメラ100はバッテリを動力源としており、飛行や撮像に伴ってバッテリに蓄えられた電力を消費する。充電ステーション700は、ホバリングカメラ100に備えられるバッテリが二次電池であれば、そのバッテリへの充電を行うことで、ホバリングカメラ100が消費した電力を回復させることができる。充電ステーション700は、ケーブル等をホバリングカメラ100に接続してホバリングカメラ100へ給電することでホバリングカメラ100を充電してもよい。あるいは、充電ステーション700は、非接触電力伝送方式によってホバリングカメラ100へ給電することでホバリングカメラ100を充電してもよい。
サーバ装置800は、各種データを格納する装置である。本実施形態では、サーバ装置800は、情報処理装置300が生成した損傷データを格納してもよい。
本実施形態に係る点検システム10は、図2に示したような構成を有することで、ホバリングカメラ100に橋梁1を撮像させて、橋梁1の画像を取得することが出来る。ホバリングカメラ100に橋梁1を撮像させることで、橋脚や橋桁に足場を組む必要が無くなったり、作業員の安全を確保するために一部又は全部の車線を通行止めにする頻度が軽減され、または通行止めが不要になったりすることができる。すなわち、本実施形態に係る点検システム10により、橋梁1の低コストでかつ効率的な点検が可能となる。
以上、本実施形態に係る点検システム10のシステム構成例について説明した。続いて、本実施形態に係る点検システム10を構成するホバリングカメラ100及び制御端末200の機能構成例について説明する。
<3.機能構成例>
[3.1.ホバリングカメラ]
図3に基づいて、本実施形態に係るホバリングカメラ100の機能構成例について説明する。図3は、本実施形態に係るホバリングカメラ100の機能構成例を示す説明図である。
図3に示すように、本実施形態に係るホバリングカメラ100は、撮像装置101と、照明装置105と、ロータ104a~104dと、モータ108a~108dと、制御部110と、通信部120と、センサ部130と、位置情報取得部132と、記憶部140と、バッテリ150と、を含んで構成される。
制御部110は、ホバリングカメラ100の動作を制御する。例えば制御部110は、モータ108a~108dの回転速度の調整によるロータ104a~104dの回転速度の調整、撮像装置101による撮像処理、照明装置105の照明制御等を行う。また、制御部110は、例えば通信部120を介した他の装置(例えば制御端末200)との間の情報の送受信処理や、記憶部140に対する情報の記録や読み出しを制御し得る。制御部110は、CPU(Central Processing Unit)等のプロセッサまたは処理回路を含み、プロセッサまたは処理回路が各種プログラム及び処理をすることで、制御部110が備える各種機能部の機能が実現される。また、制御部110は、プロセッサまたは処理回路において実行されるプログラム、および処理において読み書きされるデータを一時的または永続的に格納するメモリまたはストレージ装置を含んでもよい。
本実施形態では、制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a~108dの回転速度を調整しての飛行および撮像装置101に対する静止画像の撮像処理の実行を制御する。制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a~108dや撮像装置101を制御することで、制御端末200の要求に基づいた画像を制御端末200に提供することが可能になる。
撮像装置101は、レンズやCCDイメージセンサ、CMOSイメージセンサ等の撮像素子等で構成されている。ホバリングカメラ100の機体に備えられる撮像装置101は、制御端末200からの制御により静止画像または動画像の撮像を実行する。撮像装置101が撮像する画像は、通信部120から制御端末200へ送信される。また本実施形態では、撮像装置101は、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行する。撮像装置101の撮像処理によって得られた画像は、記憶部140に記録されたり、通信部120から制御端末200へ送信されたりし得る。ホバリングカメラ100で橋梁1の底面側を撮像する場合は、太陽光が橋梁1に遮られて明るさが足りないことが考えられるので、本実施形態に係るホバリングカメラ100は、後述するように、撮像時に撮影範囲の照度を均一にするための照明装置105を備えている。
撮像装置101は、撮像する方向を、例えば制御部110からの制御によって任意の方向に変更することが出来る。例えばホバリングカメラの水平方向を0度とした時に、上下方向に±90度の範囲で表される撮像方向を撮像可能とすることができる。撮像装置101が、撮像する方向を変更できることで、ホバリングカメラ100は所定の方向の画像を撮像し、制御端末200に撮像画像を提供することが出来る。そして、制御部110は、撮像装置101が静止画像を撮像した時点のホバリングカメラ100の位置情報、撮像時の機体情報(即ち撮像時のホバリングカメラ100の情報)、撮像方向の情報を、その静止画像のメタデータとして関連付ける。
なお、ホバリングカメラ100の位置情報には、GPSによる測位や、位置推定ノード500を用いた測位による位置情報も含まれ得る。撮像時の機体情報は、例えば基準面に対するホバリングカメラ100の機体の傾き(例えばヨー角度、ピッチ角度、ロール角度)、撮影対象に対するホバリングカメラ100の機体の傾き、加速度、角速度等の情報を含む。ここで基準面とは、例えば地上に対する水平面である。撮影対象に対するホバリングカメラ100の機体の傾きとは、例えば橋梁の底面や側面等の撮影対象とホバリングカメラ100の機体で構成される角度のことである。関連付けたメタデータの格納方法としては、メタデータを静止画像データの付加情報領域(例えばExifフォーマットの特定の領域)に付加してもよいし、メタデータを画像ファイルと別ファイルに記録するなど別体のデータとしてもよい。
ロータ104a~104dは、回転により揚力を生じさせることでホバリングカメラ100を飛行させる。ロータ104a~104dの回転はモータ108a~108dの回転によりなされる。モータ108a~108dは、ロータ104a~104dを回転させる。モータ108a~108dの回転は制御部110によって制御され得る。
照明装置105は、ホバリングカメラ100の撮像装置101による撮影範囲の照度を均一にするための機構である。照明装置105は、例えば複数の光源を備えて構成される。光源としては、例えばLED光源を用いてもよい。なお、照明装置105の詳細な構成については後述する。本実施形態では、制御部110により、撮影対象の撮影面に対するホバリングカメラ100の姿勢(傾き)に応じて照明装置105を構成する光源の光量が制御される。これにより、撮像装置101による撮影範囲の照度を均一にし、撮像装置101により撮影される画像の精度を向上させることができる。
なお、本実施形態に係る制御部110による、撮像装置101により取得される画像の精度を向上させるための処理についての詳細は後述する。
通信部120は、制御端末200との間で無線通信による情報の送受信処理を行う。ホバリングカメラ100は、撮像装置101で撮像されている画像を通信部120から制御端末200へ送信する。またホバリングカメラ100は、飛行に関する指示を制御端末200から通信部120で受信する。
センサ部130は、ホバリングカメラ100の状態を取得する装置群であり、例えば加速度センサ、ジャイロセンサ、超音波センサ、気圧センサ、オプティカルフローセンサ、対象物との距離を計測するレーザーレンジファインダ等で構成され得る。センサ部130は、取得したホバリングカメラ100の状態を所定の信号に変換して、必要に応じて制御部110に提供し得る。
例えば、制御部110は、センサ部130から提供された加速度センサの加速度の情報やジャイロセンサによる角速度の情報から、基準面に対する機体の傾きの情報(例えばヨー角度、ピッチ角度、ロール角度)を生成してもよい。また、制御部110は、センサ部130のレーザーレンジファインダによるセンシング情報に基づき、ホバリングカメラ100から撮影対象までの距離を取得することができる。レーザーレンジファインダは、ホバリングカメラ100の機体に所定の間隔を設けて複数設けることができる。その場合には、制御部110は、複数のレーザーレンジファインダからのセンシング情報を用いた計算により、ホバリングカメラ100の機体の基準面に対する傾きの情報に加え、撮影対象の面に対するホバリングカメラ100機体の傾きの情報も取得することができる。
位置情報取得部132は、例えばGPSやビジョンセンサ等を用いてホバリングカメラ100の現在位置の情報を取得する。位置情報取得部132は、取得したホバリングカメラ100の現在位置の情報を、必要に応じて制御部110に提供し得る。制御部110は、位置情報取得部132が取得したホバリングカメラ100の現在位置の情報を用いて、制御端末200から受信した飛行情報に基づいたホバリングカメラ100の飛行制御を実行する。
またセンサ部130は、飛行時に飛行を妨げる可能性のある障害物を検知する。センサ部130が障害物を検知することで、ホバリングカメラ100はその検知した障害物に関する情報を制御端末200に提供することが出来る。
記憶部140は、様々な情報を記憶する。記憶部140が記憶する情報としては、例えば制御端末200から送信されたホバリングカメラ100の飛行情報、撮像装置101で撮像した画像等があり得る。
バッテリ150は、ホバリングカメラ100を動作させるための電力を蓄える。バッテリ150は、放電のみが可能な一次電池であってもよく、充電も可能な二次電池であってもよいが、バッテリ150が二次電池である場合は、バッテリ150は、例えば図2に示した充電ステーション700から電力の供給を受け得る。
本実施形態に係るホバリングカメラ100は、図3に示したような構成を有することで、制御端末200から送信された飛行情報に含まれる飛行経路に基づいて自動飛行して、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行することが出来る。
以上、図3を用いて本実施形態に係るホバリングカメラ100の機能構成例について説明した。
[3.2.制御端末]
次に、図4に基づいて、本実施形態に係る制御端末200の機能構成例について説明する。図4は、本実施形態に係る制御端末200の機能構成例を示す説明図である。図4に示すように、本実施形態に係る制御端末200は、表示部210と、通信部220と、制御部230と、記憶部240と、を含んで構成される。制御端末200は、CPU等のプロセッサまたは処理回路を含み、プロセッサまたは処理回路が各種プログラム及び処理をすることで、表示部210、通信部220および制御部230の機能が実現される。また、制御端末200は、記憶部240として、プロセッサまたは処理回路において実行されるプログラム、および処理において読み書きされるデータを一時的または永続的に格納するメモリまたはストレージ装置を含む。
表示部210は、例えば液晶表示装置、有機EL表示装置等の平板表示装置からなる。表示部210は、例えば、撮像装置101が撮像している画像や、ホバリングカメラ100の動作を制御するための情報を表示し得る。表示部210にはタッチパネルが備えられ、ユーザは表示部210を指等で触ることで表示部210に表示される情報に対して直接操作することができる。
通信部220は、ホバリングカメラ100との間で無線通信による情報の送受信を行う。制御端末200は、撮像装置101で撮像されている画像を、ホバリングカメラ100から通信部220で受信する。また制御端末200は、ホバリングカメラ100の飛行に関する指示を通信部220からホバリングカメラ100へ送信する。ホバリングカメラ100の飛行に関する命令は、制御部230で生成され得る。
制御部230は、制御端末200の動作を制御する。例えば制御部230は、表示部210への文字、図形、画像その他の情報の表示処理、通信部220を介した他の装置(例えばホバリングカメラ100)との間の情報の送受信処理を制御し得る。また制御部230は、飛行情報生成部232と、表示制御部234と、を含んで構成される。
飛行情報生成部232は、ホバリングカメラ100に送信する飛行情報を生成する。飛行情報生成部232は、飛行情報の生成に際して、例えば、後述の記憶部240に記憶されている、点検対象の構築物に関する情報を用いる。飛行情報生成部232は、飛行情報を生成すると、ホバリングカメラ100の離陸前に、生成した飛行情報を通信部220から送信させる。
ここで、飛行情報生成部232による飛行情報の生成処理の一例について簡単に説明する。飛行情報生成部232は、ホバリングカメラ100の飛行情報を生成する際に、点検を行う橋梁1の概況図を読み込む。読み込んだ橋梁1の概況図は、表示制御部234によって表示部210に表示させる。上述したようにこの橋梁1の概況図上の点には、予め、詳細なGPS情報が入った地図データ上の点を対応付けておく。この対応付けは最低2組の点で行なわれていることが望ましい。橋梁1の概況図に、予め、詳細なGPS情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ100の飛行経路がGPSの値(緯度及び経度の組)として定義される。
そして飛行情報生成部232は、この橋梁1の概況図に基づいてホバリングカメラ100の飛行経路を生成する。飛行情報生成部232は、ホバリングカメラ100の飛行経路を生成する際に、橋梁1の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ100の飛行可能時間、橋梁1の点検方法等の情報を用いる。コンクリート橋は、補強方法によって鉄筋コンクリート(RC)とPC(プレストレストコンクリート)に分けられ、桁の形状によって、例えばRCT桁橋、PCT桁橋、PC中空床版橋、RC箱桁橋、PC箱桁橋等に分けられる。従って点検対象となる橋梁1の構築方法が分かれば、飛行情報生成部232は、橋梁1の構築方法に適した飛行経路を生成することが出来る。そして、飛行情報生成部232は、ホバリングカメラ100の飛行経路を、橋梁1の概況図上に重ねて表示させる。
飛行情報生成部232は、ホバリングカメラ100の飛行経路を、上述したようにGPSの値(緯度及び経度の組)として定義する。飛行情報生成部232がホバリングカメラ100の飛行経路をGPSの値として定義することで、ホバリングカメラ100は、飛行時にどの位置で撮像処理を実行すべきかを、GPSの値に基づいて判断できる。
表示制御部234は、表示部210への文字、図形、画像その他の情報の表示を制御する。例えば、表示制御部234は、飛行情報生成部232がホバリングカメラ100に送信する飛行情報を生成する際に、点検対象の構築物(橋梁1)の概況図や、生成した飛行情報を表示部210へ表示する制御を実行する。
記憶部240は、各種情報を記憶する。記憶部240に記憶される情報としては、例えば点検対象の構築物(橋梁1)に関する情報がある。点検対象の構築物に関する情報には、例えば点検対象の構築物(橋梁1)の概況図、点検対象の構築物の構築方法が含まれ得る。また点検対象の構築物について、損傷が生じやすいと考えられる場所が予め分かっていれば、点検対象の構築物に関する情報には、損傷している可能性が高いと考えられる部分の情報が含まれ得る。
なお制御端末200は、点検対象の構築物(橋梁1)に関する情報を予め記憶部240に記憶しておかなくとも、当該構築物の点検時に、例えば情報処理装置300から受信するようにしてもよい。
本実施形態に係る制御端末200は、図4に示したような構成を有することで、ホバリングカメラ100に送信する飛行情報を、点検対象の構築物(橋梁1)に関する情報に基づいて生成することが可能である。そして、制御端末200は、飛行情報に基づいて飛行するホバリングカメラ100で、飛行情報に基づき撮像された画像を取得することが出来る。
以上、本実施形態に係る制御端末200の機能構成例について説明した。
<4.点検システムの動作例>
図5に基づいて、上述した本実施形態に係る点検システム10の動作例について説明する。図5は、本実施形態に係る点検システム10の動作例を示すフローチャートである。図5では、ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで橋梁1を点検する際の、本実施形態に係る点検システム10の動作例を示している。なお、ホバリングカメラ100を用いて橋梁1を点検する際には、橋梁1の適切な位置に無線中継ノード400や位置推定ノード500が予め設置されているものとする。
まず、ホバリングカメラ100の飛行情報を生成する制御端末200は、点検対象の橋梁1の概況図を含んだ、橋梁1に関する情報を読み込み、橋梁1の概況図を表示部210に表示する(ステップS101)。橋梁1に関する情報の読み込みは、例えば飛行情報生成部232が実行し、橋梁1の概況図の表示部210への表示は、例えば表示制御部234が実行する。橋梁1の概況図を表示部210に表示している制御端末200は、ユーザに対して、表示部210に表示している橋梁1の概況図を用いて、点検する橋梁1の領域をユーザに指定させる(ステップS102)。ステップS102のユーザに指定させる処理は例えば飛行情報生成部232が実行する。
例えば橋梁1の一部分を点検対象とする場合は、制御端末200は、表示部210に表示している橋梁1の概況図における点検対象の領域をユーザに指定させる。また例えば橋梁1の全体を点検対象とする場合は、制御端末200は、表示部210に表示している橋梁1の概況図における、橋梁1の全ての部分の領域をユーザに指定させる。
点検する橋梁1の領域をユーザに指定させると、続いて制御端末200は、橋梁1に関する情報に基づき、ユーザが指定した、点検する領域におけるホバリングカメラ100の飛行情報を生成する(ステップS103)。ステップS103の飛行情報の生成処理は、例えば飛行情報生成部232が実行する。
制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、橋梁1の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ100の飛行可能時間、橋梁1の点検方法等の情報を用いる。例えば、橋梁1の構築方法としてT桁が用いられている場合は、制御端末200は、ホバリングカメラ100が橋梁1の底面側で浮上と下降を繰り返すような飛行経路を飛行情報として生成する。また制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、橋梁1の撮影対象面の情報を用いてもよい。例えば橋梁1の側面を撮像することをユーザが選択した場合は、制御端末200は、橋梁1の側面に沿った飛行経路を飛行情報として生成し、橋梁1の底面を撮像することをユーザが選択した場合は、制御端末200は、橋梁1の底面側を往復するような飛行経路を飛行情報として生成する。
上ステップS103でホバリングカメラ100の飛行情報を生成すると、続いて制御端末200は、生成した飛行情報をホバリングカメラ100に送信し、離陸指示をホバリングカメラ100に送信する(ステップS104)。生成した飛行情報の送信及び離陸指示の送信は、例えば飛行情報生成部232が通信部220を通じて実行する。
制御端末200から飛行情報及び離陸指示を受信し、ベースステーション600から離陸したホバリングカメラ100は、制御端末200から送られた飛行情報に基づいて飛行して、撮像処理を実行して静止画像を取得する(ステップS105)。ホバリングカメラ100は、静止画像を得る撮像処理を実行した際の位置情報や撮像処理時の機体の情報を取得し、静止画像に紐づけておく。撮像処理時の機体の情報には、例えば基準面に対するホバリングカメラ100の機体の傾き(例えばヨー角度、ピッチ角度、ロール角度)、加速度、角速度の情報が含まれ得る。またホバリングカメラ100は、飛行中に撮像装置101で撮像している動画像を制御端末200にストリーミング送信してもよい。制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示画面に表示することで、ホバリングカメラ100がどのような位置を飛行しているのかをユーザに提示することが出来る。
ホバリングカメラ100は、撮像処理を実行する際には、全ての撮像地点で、撮影対象面(例えば橋桁3の側面や底面)との間の距離を一定に保つことが望ましい。全ての撮像地点で撮影対象面との間の距離を一定に保つことで、ホバリングカメラ100は、同じ大きさで撮像した静止画像を得ることが出来る。
また、損傷している可能性が高いと考えられる部分がホバリングカメラ100の飛行経路に含まれている場合、ホバリングカメラ100は、その部分については、撮像装置の撮像方向を変化させたり、波長の異なる赤外線を当てたり、シャッタースピードを変化させたりして、複数の静止画像を撮像してもよい。さらに、損傷している可能性が高いと考えられる部分がホバリングカメラ100の飛行経路に含まれている場合、ホバリングカメラ100は、その部分については撮像処理を行なう位置の間隔を他の部分より狭くしてもよい。
ホバリングカメラ100は、最後の撮像地点での撮像処理を完了すると、自動的にベースステーション600まで飛行して、ベースステーション600に帰還する(ステップS106)。そして制御端末200は、ベースステーション600に帰還したホバリングカメラ100が撮像した画像をホバリングカメラ100から取得する(ステップS107)。なおホバリングカメラ100が撮像した画像の取得は、このようにホバリングカメラ100がベースステーション600に帰還してから取得してもよいが、制御端末200は、ホバリングカメラ100が撮像処理を実行して静止画像を得る度にその静止画像を逐次取得してもよい。
以上、本実施形態に係る点検システム10の一動作例について説明した。このように、本実施形態に係る点検システム10によれば、制御端末200でホバリングカメラ100に送信する飛行情報を生成し、ホバリングカメラ100で飛行情報に基づき画像を撮像することが出来る。
<5.高精度画像取得への対応>
ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで、例えば橋桁3の底面のような作業員が容易に近づけない場所の様子が把握可能となる。ここで、撮像装置101により取得される画像には、構造物の損傷等の検出対象を正確に把握できるような高精度な画像が求められる。そこで、本実施形態に係るホバリングカメラ100は、高精度な画像を取得するため、まず、制御部110は、照明装置105に対して、撮像装置101の撮影範囲の照度を略均一とする照明制御を行う。
また、ホバリングカメラ100による撮影においては、風等の外乱や機体の駆動系の作動等により機体が振動し、撮影される画像にブレが生じることが懸念される。そこで、本実施形態に係るホバリングカメラ100では、制御部110により、撮像装置101の振動の影響を除去し、撮影された画像がぶれないようにする処理が行われる。以下、本実施形態に係るホバリングカメラ100による高精度画像取得のための処理について、詳細に説明していく。
[5.1.機能構成]
まず、図6に基づいて、本実施形態に係るホバリングカメラ100における高精度画像取得のための制御部110の機能について説明する。なお、図6は、本実施形態に係るホバリングカメラ100の制御部110が備える高精度画像取得のための機能の一例を示す機能ブロック図である。なお、本開示に係るホバリングカメラの制御部は、高精度画像取得のための機能として、図6に示す機能をすべて備えている必要はなく、少なくともいずれか1つの機能を備えていればよい。
本実施形態に係るホバリングカメラ100の制御部110は、高精度画像取得のための機能として、図6に示すように、撮影パラメータ設定部111と、検出情報取得部113と、照明制御部115と、シャッター制御部117と、姿勢制御部119とを備える。上述したように、撮影パラメータ設定部111、検出情報取得部113、照明制御部115、シャッター制御部117、姿勢制御部119は、CPU等のプロセッサまたは処理回路が各種プログラム及び処理をすることで、これらの機能が実現される。
撮影パラメータ設定部111は、撮像装置101や照明装置105の撮影パラメータを設定する。撮影パラメータとしては、例えば、撮像装置101のシャッタースピードや撮影ゲイン、照明装置105の設定照度等がある。撮影パラメータは、例えばホバリングカメラ100の記憶部140に予め設定されている。撮影パラメータ設定部111は、撮像画像に要求される画像品質を得るために必要な撮影パラメータを記憶部140から取得し、撮像装置101や照明装置105に対して設定するため、照明制御部115や、シャッター制御部117、姿勢制御部119へ出力する。
検出情報取得部113は、ホバリングカメラ100のセンサ部130や位置情報取得部132により取得された機体の位置情報や撮像時の機体情報を取得する。検出情報取得部113は、取得した各種情報を、照明制御部115や、シャッター制御部117、姿勢制御部119へ出力する。
照明制御部115は、照明装置105が照明する撮像装置101による撮影範囲の照度が略均一となるように調光する。照明制御部115は、検出情報取得部113により取得されたホバリングカメラ100の機体の位置情報や撮像時の機体情報等に基づき、照明装置105のオンオフを制御する。また、照明制御部115は、機体情報に含まれる機体の傾きに応じて、撮影パラメータ設定部111から入力された設定照度となるように、照明装置105を構成する光源の光量を制御する。
シャッター制御部117は、撮像装置101のシャッターの駆動を制御する。シャッター制御部117は、例えば、撮影パラメータ設定部111から入力されたシャッタースピードに基づいて、シャッターを駆動させる。また、シャッター制御部117は、検出情報取得部113により取得されたホバリングカメラ100の機体の位置情報や撮像時の機体情報等に基づき、シャッターを駆動させるタイミングを制御する。
姿勢制御部119は、撮像装置101のレンズの傾きを制御する。これにより、姿勢制御部119は、ホバリングカメラ100の姿勢に応じて撮像装置100の撮影方向が撮像範囲を向くように制御することが可能となる。例えば、ホバリングカメラ100の機体が風等の外乱を受けて撮影面に対して傾いたとき、姿勢制御部119は、撮影方向が撮影面に対して略垂直となるように、撮像装置101のレンズの傾きを調整するための駆動機構を制御する。
このような制御部110の各機能部により、高精度な画像を取得できるように、撮像装置101または照明装置105のうち、少なくともいずれか一方が制御される。以下、各機能部による制御処理について、それぞれ説明する。
[5.2.照明装置の調光制御]
まず、図7~図12に基づいて、本実施形態に係る照明装置105の調光制御について説明する。なお、図7は、本実施形態に係るホバリングカメラ100の撮像装置101による撮影範囲の一例を示す説明図である。図8は、本実施形態に係る照明装置105を構成する光源106の一配置例を示す説明図である。図9は、本実施形態に係る照明装置105を構成する光源106の他の配置例を示す説明図である。図10は、照明装置105を構成する光源の特性例を示す説明図である。図11は、照明する面に対して照明装置105が角度θだけ傾いている状態を示す説明図である。図12は、ホバリングカメラ100が図11の状態にあるときの、照明装置105により照明された面の照度変化を示す説明図である。
(1)撮影条件
本実施形態に係るホバリングカメラ100により構造物を撮影し、構造物の損傷を検出するためには、所定の精度の画像が取得されることが要求される。例えば、図7に示すように、橋桁3の裏面3aを撮影し、裏面3aに発生している所定の大きさ以上のヒビを検出する場合を考える。所定の大きさ以上のヒビを検出するためには、撮影される画像の1画素当たりに必要な分解能がある。
例えば、水平画素約4000画素(13M Pixel)、画角90°の撮像装置101を用いて、幅0.2mm以上のヒビを検出するとする。この場合、撮像装置101から撮影面である橋桁3の裏面3aまでの距離dを1mとして、4mの撮影範囲S(L=L=2m)を撮影することで、要求される分解能の画像を取得することが可能となる。
一方、構造物の損傷を検出するために利用される画像には、ブレがなく、撮影対象が明確に写されていることも要求される。そこで、上記の分解能の画像を取得する場合において、画像にブレがない露光時間(すなわち、シャッタースピード)と、明確な画像を得るためのゲイン(すなわち、ISO感度)および撮影時に必要な撮影面の照度とを、撮影パラメータとして予め取得しておく。
ここで、露光時間は、ホバリングカメラ100の機体の振動の影響を除去できる値に設定される。人間がデジタルスチルカメラを用いて画像を撮影する通常の撮影において、撮影者の手振れの振動周波数は約10Hz程度である。これに対して、ホバリングカメラ100の機体の振動周波数は、数100Hzで回転するプロペラの回転数に応じて、複数のピークを有する。このため、通常撮像装置101のレンズモジュールに組み込まれている手振れ補正機能では、機体の振動による画像のブレを除去できない。したがって、露光時間は、ホバリングカメラ100の機体に応じて設定するのが望ましい。
撮影パラメータは、ホバリングカメラ100の実機を用いた実測結果に基づき設定してもよく、実機を模擬したモデルに基づくシミュレーションから得られる結果に基づき設定してもよい。撮影パラメータは、例えば記憶部140に記憶されている。
例えば、撮像装置101から撮影面までの距離を1mとして4mの撮影範囲Sを撮影するとき、撮影パラメータとして、露光時間は1/250[sec]、ゲインはISO200、撮影時の照度は1000[lux]に設定される。なお、かかる撮影パラメータの値は一例であり、撮影パラメータは、撮影条件やホバリングカメラ100の機体の安定性等に応じて設定される。例えば、ホバリングカメラ100の機体の安定性が高まれば、露光時間は長めに設定することが可能であり、撮影時の照度も低下させることも可能である。
制御部110は、撮影パラメータ設定部111により設定された撮影パラメータにて撮影が行われるように、撮像装置101および照明装置105を制御する。
(2)照明装置の構成
次に、図8~図10に基づいて、本実施形態に係るホバリングカメラ100に搭載される照明装置105の構成について説明する。本実施形態に係るホバリングカメラ100の照明装置105は、撮影範囲Sを照明する装置であり、撮影パラメータとして設定された照度を日照により十分に得られない環境下でも、撮影範囲Sにおいてはその照度を実現するために用いられる。
照明装置105は、複数の光源106をホバリングカメラ100の機体表面に配置して構成してもよい。光源106としては、例えばLED光源を用いることができる。LED光源は指向性を有するため、光の出射方向を確実に照明することができる。また、各光源106は、撮影範囲Sにおける照度分布を略均一とするように配置してもよい。撮影範囲の照度分布は、撮影範囲S内のすべての点で必要照度を上回るようにするのがよい。
例えば、図8に示すように、略四角形のホバリングカメラ100の機体平面100aに対して、その中心部と、四隅、各辺の中央部分に光源106を配置して、照明装置105を構成してもよい。さらに、ホバリングカメラの機体側面100bにも光源106を配置してもよい。なお、光源106は、ホバリングカメラ100の機体表面のいずれの位置にも設置可能であり、機体平面100a、機体側面100b以外にも、機体底面に設けてもよい。また、光源106は、図8に示すように、撮影対象と対向する面に、2次元配列状に設けられてもよい。
このとき、光源106の設置位置に応じて光源106の出射方向を適宜設定することで、撮影範囲Sにおける照度分布を略均一とすることができる。例えば、図8に示すように、機体平面100aに配置された光源106のうち、中心部に設けられた光源106の光の出射方向は機体平面100aに対して略垂直にする。一方、機体平面100aの周囲に設けられた光源106については、光の出射方向を機体平面100aに対して垂直となる方向から機体の外部に向けて傾斜させるようにしてもよい。
また、照明装置105の他の構成例として、例えば図9に示すように、略四角形のホバリングカメラ100の機体平面100aに対して対角線上に光源106を配置して、照明装置105を構成してもよい。この場合にも、図8の照明装置105と同様、撮影範囲Sにおける照度分布が略均一となるように、各光源106の指向性を適宜変更してもよい。
ここで、照明装置105の撮影範囲Sにおける照度分布を略均一にする方法としては、光源106の光の出射方向を調整する以外に、例えば光源106の指向性を調整する光学部材であるレンズ(図示せず。)を光源106に設けてもよい。例えば、図10に、指向角を小さくし、照度を大きくすることの可能なレンズについて、当該レンズを光源106の光の出射方向に設けた場合とレンズを設けない光源106の場合とでの指向性および照度の違いの一例を示す。図10に示すように、レンズなしの光源106では、指向性はあるものの照度に高いピークはなかったが、当該レンズを用いた光源106では、照度に著しいピークが現れるようになり、ある特定の部分に対して強い光を照射することが可能となる。
このようなレンズを用いて光源106の指向性を変化させ、照射される光の照度を高めることで、撮影範囲Sにおける照度分布を略均一にすることができる。特に、後述にするように、本実施形態に係るホバリングカメラ100では、機体の傾きに応じて照明装置105の光量を調整し、撮影範囲Sにおける照度分布を略均一にする。
具体的には、ホバリングカメラ100の照明装置105を構成する光源106の少なくとも一部に、指向性を変化させ、照射される光の照度を高めるレンズを設けることで、より精度よく撮影範囲Sにおける照度分布を略均一にすることができる。例えば、図9に示した照明装置105の例では、機体平面100aの対角線上に配置された光源106のうち、四隅に近い領域A1~A4に配置された光源106について、指向性を変化させ、照射される光の照度を高めるレンズを設けてもよい。また、中心部近くの領域A5~A8に配置された光源106については、レンズを設けないようにしてもよい。
なお、図8および図9に示した照明装置105では、ホバリングカメラ100の機体を簡略化して略四角体で表現したが、実際のホバリングカメラ100は、機体表面が曲面とされてもよい。この場合、照明装置105を構成する各光源106の光の出射方向は、機体の表面形状に応じて適宜設定してもよい。また、上記例で示した、光源106の指向性を変化させるレンズは、一例であって、使用するレンズの特性(レンズにより調整される指向角やピーク照度等)は上記例に限定されない。また、複数の特性を有するレンズを使用して、複数の異なる指向性の光源106を構成し、これらを組み合わせて撮影範囲Sにおける照度分布を略均一にするようにしてもよい。
(3)機体の傾きに応じた照明装置の光量制御
本実施形態に係るホバリングカメラ100は、制御部110により、機体の傾きに応じて照明装置105の光量を調光する。上述のように、本実施形態に係る照明装置105は、撮影範囲Sにおける照度分布が略均一となるように設計されているが、このような照明装置105であっても風等に対抗して機体が傾いた状態になると、撮影位置での撮影範囲Sの目標照度分布が実現できなくなる。例えば、撮影時、ホバリングカメラ100の機体平面100aは撮影面に対して設定距離dを保持した状態で略平行となるように姿勢制御がなされるが、例えば風等の影響によりホバリングカメラ100が傾くことがある。そうすると、撮影面に対してホバリングカメラ100の機体平面100aが傾き、機体平面100aの外周部に設けられた光源106については、光源106から撮影面までの距離が設定距離dよりも大きくなることがある。
そこで、制御部110は、機体に搭載したセンサ部130により検知されたホバリングカメラ100の機体の傾きに応じて、照明装置105の光量を制御し、撮影位置での撮影範囲Sの照度分布が略均一となるようにする。照明装置105は機体に固定させたままでよく、撮像装置101の傾きのみ調整すればよいので、ホバリングカメラ100の可動部分の駆動機構を簡略化することができ、結果として、ホバリングカメラ100を軽量化することが可能となる。
図11および図12に基づき、照明装置105の光量制御についてより詳細に説明する。以下では、水平な基準面に対して機体が傾いている場合のホバリングカメラ100の機体の傾きに応じた光量制御と、撮影対象に対するホバリングカメラ100の機体の傾きに応じた光量制御とについて説明する。なお、図11においては、ホバリングカメラ100の撮像装置101および照明装置105を模式的に示している。図11では、撮像装置101による撮像方向を分かりやすくするために照明装置105の発光面105a上に撮像装置101を記載しているが、撮像装置101の設置位置は、この位置に限定されず、例えば図2のようにホバリングカメラ100の一側面でもよい。
まず、水平な基準面に対して機体が傾いている場合のホバリングカメラ100の機体の傾きに応じた光量制御について説明する。例えば、図1に示すような、橋梁1の橋桁3の裏面部が水平面と略平行であるとき、この裏面部に対してホバリングカメラ100の機体が傾いている場合に実行される制御である。
まず、制御部110は、センサ部130により取得された情報に基づき、ホバリングカメラ100の機体の傾きを取得する。このとき、制御部110は、センサ部130からの情報として、ホバリングカメラ100に複数箇所に設けられたレーザーレンジファインダのセンシング情報を用いて、ホバリングカメラ100が撮影対象の撮影面に対して傾いているか否かを判定する。ホバリングカメラ100が撮影対象の撮影面に対して傾いているか否かは、例えば、ホバリングカメラ100の同一平面に設けられた複数のレーザ―レンジファインダにより測定された距離のうち少なくとも1つが異なる値であるかによって判定してもよい。
各レーザ―レンジファインダにより測定された距離が略同一であるとき(例えば、各距離の差分が所定の範囲内にあるとき)には、撮影範囲Sにおける照度分布が略均一になると判定し、制御部110は照明装置105の光量制御を行わないことを決定する。一方、各レーザ―レンジファインダにより測定された距離のうち少なくとも1つが異なる値である場合、制御部110は、ホバリングカメラ100が撮影対象の撮影面に対して傾いていると判定する。そして、制御部110は、本例では撮影対象の撮影面が水平面と略平行であることから、水平面Pを基準として、水平面Pに対して発光面105aが傾いた角度θを取得する。角度θは、センサ部130からの情報として、例えば加速度センサの加速度の情報やジャイロセンサによる角速度の情報を用いて取得可能である。
水平面Pに対して発光面105aが角度θ傾くと、水平面Pに略平行な撮影面Waにおける照明装置105から照射された光の照度分布に偏りが生じる。例えば、図11では、紙面右側(R)が撮影面Waから離隔する(すなわち、紙面左側(L)が撮影面Waに近づく)ように傾斜している。このとき、右側(R)に配置された光源106の光量と左側(L)に配置された光源の光量とが同一であったとすると、撮影面Waから離れている右側(R)の光源106の光は、左側(L)の光源からの光より撮影面Waに届きにくい。このため、撮影面Waにおける照度分布は、左側(L)に比べて右側(R)が暗くなり、撮影範囲Sの照度が略均一とならない。
そこで、本実施形態では、水平面Pに対する発光面105aの傾斜角θに応じて、照明装置105を構成する光源106の光量を調整することで、撮影面Waにおける照度分布を略均一とする。例えば、水平面Pに対する発光面105aの傾斜角を20°としたときの、照明装置105の光源106の光の出力割合と、撮影面Waの撮影範囲Sの右上領域と左上領域とにおける照度の差分とを図12に示す。ここでは、撮影範囲Sを、図12上側に示すように、中心領域Cと、撮影範囲Sを左右上下に分割して形成された右上領域UR、左上領域UL、右下領域BR、左下領域BLとの5つの領域に分割した。
そして、右領域(右上領域UR、右下領域BR)に対向する光源106と、左領域(左上領域UL、左下領域BL)に対向する光源106とについて、光の出力割合を変化させ、そのときの右上領域URと左上領域ULとの照度差を測定した。なお、照明装置105を構成する各光源106の特性は同一であり、各光源106の光量の調整量は、光源106が出力可能な最大定格での光量を100%としたときの割合により表した。この結果を図12下側のグラフに示す。
図12下側に示すように、まず、右領域に対向する光源106と左領域に対向する光源106との光の出力割合をすべて50%とし、照明装置105を構成するすべての光源106を同一光量で発光させたとする。このとき、右上領域URと左上領域ULとの照度差は83[lux]であった。その後、右領域に対向する光源106の光の出力割合を徐々に大きくするとともに、左領域に対向する光源106の光の出力割合を徐々に小さくすると、図12下側に示すように、右上領域URと左上領域ULとの照度差は小さくなっていった。そして、右領域に対向する光源106の光の出力割合を約85%、左領域に対向する光源106と光の出力割合を約25%としたとき、撮影範囲Sにおける右上領域URと左上領域ULとの照度差が略ゼロとなることがわかる。
このように、撮影範囲Sにおける各領域の照度差を略ゼロとなるように光源106の光量を調整すれば、撮影範囲Sの照度分布を略均一とすることができる。
ホバリングカメラ100は、水平面Pに対する発光面105aの傾斜角θ毎に、撮影範囲Sの各領域における照度差が所定値以下となる各光源106の出力値を、記憶部140に予め記憶している。設定する各光源106の出力値は、例えば実機による測定結果に基づき決定してもよく、シミュレーション結果に基づき決定してもよい。ホバリングカメラ100の制御部110は、センサ部130の測定結果より取得された機体の傾きに対応する照明装置105の設定値を記憶部140から取得し、照明制御部115にて、照明装置105の各光源106の出力(光量)を制御する。
なお、照明制御部115は、照明装置105を構成する各光源106をそれぞれ制御してもよく、所定のまとまり毎に各光源106を制御してもよい。例えば、図9に示すような照明装置の場合、8つの領域A1~A8毎に制御してもよい。
一方、撮影対象に対するホバリングカメラ100の機体の傾きに応じて光量制御をしてもよい。例えば、橋梁の橋桁の裏面部等の撮影対象が水平面に対して傾斜しており、かつ、撮影対象に対してホバリングカメラ100の機体の傾きも傾斜している場合には、以下のように撮影対象に対するホバリングカメラ100の機体の傾きを算出し、照明装置105の光量制御を行ってもよい。
この場合にも、制御部110は、センサ部130により取得された情報に基づき、ホバリングカメラ100の機体の傾きを取得する。ホバリングカメラ100の機体の傾きは、上述と同様、センサ部130からの情報として、ホバリングカメラ100に複数箇所に設けられたレーザーレンジファインダのセンシング情報を用いて行ってもよい。各レーザーレンジファインダにより測定された距離がすべて略同一ではないとき、撮影対象の撮影面に対してホバリングカメラ100の機体は傾斜していると判定される。
撮影対象の撮影面に対してホバリングカメラ100の機体は傾斜しているとき、制御部110は、撮影対象に対するホバリングカメラ100の機体の傾斜角を算出し、照明装置105の光量制御に利用する。撮影対象に対するホバリングカメラ100の機体の傾斜角は、例えば、水平面Pに対する撮影対象の撮影面の傾きが既知の場合には、水平面Pに対する撮影対象の撮影面の傾きと、ジャイロセンサを用いて取得された水平面Pに対する機体の傾きとから取得可能である。あるいは、複数のレーザーレンジファインダより測定された距離から幾何学的に撮影対象に対するホバリングカメラ100の機体の傾斜角を取得してもよい。
制御部110は、撮影対象に対するホバリングカメラ100の機体の傾斜角を取得すると、機体の傾きに対応する照明装置105の設定値を記憶部140から取得し、照明制御部115にて、照明装置105の各光源106の出力(光量)を制御する。なお、記憶部140に記憶されている設定値は、上述のように水平面Pに対する機体の傾斜角θに基づいて光量制御を行う際に利用される情報と同一であってもよい。
[5.3.撮影時における撮像装置および照明装置の制御例]
以下、図13~図15に基づいて、本実施形態に係るホバリングカメラ100による撮影時の、撮像装置101および照明装置105の一制御例について説明する。なお、図13は、本実施形態に係るホバリングカメラ100による撮影時の、撮像装置101および照明装置105の一制御例をフローチャートである。図14は、撮像装置101のシャッター制御の一例について説明するフローチャートである。図15は、飛行情報に基づく撮影作業時における、ホバリングカメラ100の速度および加速度の変化状況を示す概念図である。
飛行情報に基づく撮影作業を開始すると、ホバリングカメラ100は、まず、撮像装置101および照明装置105の設定情報である撮影パラメータを設定する(ステップS200)。撮影パラメータは、例えば撮像装置101のシャッタースピードや撮影ゲイン、照明装置105の設定照度等がある。撮影パラメータは、例えばホバリングカメラ100の記憶部140に予め設定されている。撮影パラメータ設定部111は、撮像画像に要求される画像品質を得るために必要な撮影パラメータを記憶部140から取得し、撮像装置101や照明装置105に対して設定するため、照明制御部115およびシャッター制御部117へ出力する。
次いで、検出情報取得部113により、センサ部130や位置情報取得部132により取得された機体の位置情報や撮像時の機体情報を取得する(ステップS202)。例えば検出情報取得部113は、取得した各種情報を、照明制御部115およびシャッター制御部117へ出力する。これにより、照明制御部115およびシャッター制御部117は、ステップS200にて設定された撮影パラメータとなるよう、照明装置105や撮像装置101の制御を開始することが可能となる。
ホバリングカメラ100は、撮影ポイントに到達するまでは、撮影ポイントまでの移動を行い続ける。ここで、ホバリングカメラ100が、撮影ポイントを含む所定の範囲である撮影エリアに進入すると、撮影ポイントが近付いたため、制御部110により撮影準備を開始する(ステップS204)。まず、照明制御部115により、照明装置105が点灯される(ステップS206)。照明装置105は撮影ポイントまでの移動中に点灯していてもよいが、撮影時に撮影範囲Sに対して照明を行ってもよい。撮影ポイントに近い撮影エリアに進入したときに、照明装置105を点灯すると照明装置105の点灯時間を短くすることができ、消費バッテリも抑制することができる。
撮影エリアへの侵入は、例えば、ホバリングカメラ100が撮影ポイントにて静止するために減速し始める時点で撮影エリアへ侵入したと判定してもよい。あるいは、撮影ポイントから所定の距離内の領域を撮影エリアとして規定し、機体の位置情報からホバリングカメラ100が当該撮影エリア内にいることを特定したときに、撮影エリアにホバリングカメラ100が侵入したと判定してもよい。
照明装置105が点灯されると、上述したように、機体情報から得られる機体の傾きに応じて、照明装置105の各光源106の調光が行われる。この調光は、撮影ポイントにおいて、設定パラメータにより設定された設定照度が確保され、かつ、撮影面の撮影範囲Sにおける照度分布が略均一となるように行われる。
次いで、シャッター制御部117により、撮像装置101のシャッター制御が開始される(ステップS208)。シャッター制御部117は、ホバリングカメラ100が撮影ポイントに到達したとき、撮像装置101のシャッターを切り、撮影ポイントで画像を取得する。このとき、ホバリングカメラ100の姿勢が安定した状態であれば、撮影された画像にブレが生じにくく、より高精度な画像を取得できる。そこで、シャッター制御部117は、ホバリングカメラ100の姿勢が安定したか否かを判断するため、図14に示すように、ホバリングカメラ100の速度の絶対値が閾値速度vthより小さく、かつ、加速度の絶対値が閾値加速度athより小さくなったかを判定する(ステップS2081)。
例えば、図15に示すように、ホバリングカメラ100が撮影エリアに進入し、線形的に速度が減少されると、ホバリングカメラ100の加速度は負の値の放物線を描くように変化する。一方、撮影ポイントでの撮影を終了し、次の撮影ポイントへ移動を開始するため、ホバリングカメラ100の速度が線形的に増加すると、加速度は正の値の放物線を描くように変化する。しかし、ホバリングカメラ100が移動しないときには、速度および加速度は略ゼロとなり、ホバリングカメラ100は静止状態に近い安定した状態となっている。このとき、ホバリングカメラ100の機体の振動は小さいので、撮像装置100は機体の振動の影響を大きく受けることなく撮影を行うことができる。閾値速度vthおよび閾値加速度athは、例えば、略ゼロに近い正の値に設定される。
そして、ホバリングカメラ100の速度の絶対値が閾値速度vthより小さく、かつ、加速度の絶対値が閾値加速度athより小さくなったとき、シャッター制御部117はシャッターを駆動させて撮影する(ステップS2083)。このとき、撮像装置101のシャッタースピードは、図13のステップS200にて設定された露光時間に基づき決定される。したがって、撮像装置101による撮影は機体の振動の影響を除去できるシャッタースピードで行われるため、ブレの少ない、高精度な画像を取得することができる。
なお、図14に示したシャッター制御処理は、図13のステップS208~S214の間に実行される処理である。
図13の説明に戻り、ステップS208にてシャッター制御部117によるシャッター制御が開始され、ステップS214でシャッター制御が終了されるまでの間、照明制御部115は、ホバリングカメラ100の機体の傾きに応じて照明装置105の調光を行い続ける。なお、撮影の露光時間中は調光動作を中断し、光源状態を固定してもよい。そして、図14のステップS2083にてシャッターが作動し、撮影が完了すると(ステップS212)、シャッター制御部117によるシャッター制御が終了し(ステップS214)、照明制御部115により照明装置105が消灯される(ステップS216)。
その後、制御部110は、飛行情報にて設定されたすべての撮影ポイントでの撮影がすべて完了したか否かを判定する(ステップS218)。ステップS218にて撮影が完了していない撮影ポイントがある場合には、ホバリングカメラ100は次の撮影ポイントへ移動し、(ステップS220)、ステップS202からの処理を繰り返し実行する。一方、ステップS218にてすべての撮影ポイントでの撮影が完了した場合には、ホバリングカメラ100はベースステーション600へ戻り、作業を終了する。
以上、本実施形態に係るホバリングカメラ100による撮影時の、撮像装置101および照明装置105の一制御例について説明した。なお、上述の説明では、照明制御部115による照明装置105の調光と、シャッター制御部117によるシャッター制御との両方を実施する場合について説明したが、本開示はかかる例に限定されない。照明制御部115による照明装置105の調光と、シャッター制御部117によるシャッター制御とは、それぞれ独立して実行可能である。
[5.4.撮像装置のレンズ傾き制御]
本実施形態に係るホバリングカメラ100の制御部110は、図6に示したように、撮像装置101のレンズの傾きを制御する姿勢制御部119を備える。撮像装置101は、撮像装置101による撮影方向をチルト方向に変更可能なように、撮像装置101のレンズをチルト方向に回転させる第1の駆動部を備えている。これにより、機体の傾きによらず、同一位置を撮影し続けることができる。
また、本実施形態に係るホバリングカメラ100は、より高精度な画像を取得するため、さらに、ロール方向におけるレンズの傾きを調整する第2の駆動部を備えてもよい。これにより、例えば風等の外乱等によって100Hz以下の低周波数の振動が機体に発生した場合にも、姿勢制御部119により第2の駆動部を駆動してロール方向の傾きを調整することで、この振動が撮影に与える影響を除去できる。
撮像装置100のレンズを駆動する第1の駆動部162および第2の駆動部164は、例えば図16および図17に示すように設けることができる。図16は、本実施形態に係るホバリングカメラ100の下フレーム部107の概略正面図である。図17は、撮像装置101のレンズを駆動する第1の駆動部162および第2の駆動部164を平面側から示す概略斜視図である。
図16に示すように、撮像装置101は、例えばホバリングカメラ100の下フレーム部107の正面(Y軸正方向)を向いて設けられる。撮像装置101のレンズは、図17に示すように、第1の駆動部162によりチルト方向に回転可能に設けられている。これにより、撮像装置101の撮影方向は、下方から正面、さらに上方を向くように設定することができる。また、本実施形態に係る撮像装置101のレンズは、図17に示すように、例えば撮像装置101の背面側(Y軸負方向側、ホバリングカメラ100の内部側)に設けられた第2の駆動部164によりロール方向に回転可能に設けられている。第2の駆動部164は、例えば撮像装置101が正面を向いた状態から±15°程度、レンズをロール方向に回転させることができる。
このように、レンズに2軸のサーボ機構を設けることで、機体の傾きによらず同一位置を撮影できるだけでなく、低周波数の振動を除去することも可能となり、より高精度な画像を取得することが可能となる。
<6.まとめ>
以上、本開示の一実施形態に係る点検システム10を構成するホバリングカメラ100の構成とそれによる点検作業、画像取得時の照明装置105および撮像装置101の制御について説明した。このようなホバリングカメラ100では、大型のジンバルや一眼レフ等を用いることなく、機体の姿勢や飛行体に搭載した撮像装置101や照明装置105の撮影条件を制御する。
例えば、ホバリングカメラ100に照明装置105を備え、照明制御部115により機体の傾きをホバリングカメラ100内部のセンサ部130にて検知し、機体の傾きに応じて照明装置105の光量を調整する。これにより、撮影面での照度を一定値以上に略均一に保つことができ、撮像装置101のパラメータを変更せずに、一定の品質の画像を得ることが可能となる。
また、撮像装置101の撮影パラメータであるシャッタースピードを速くすることで、通常の手振れ補正では対応できない高周波数の振動の影響を除去する。これにより、ブレの少ない高精度の画像を取得することが可能となる。また、撮像装置101のレンズをチルト方向およびロール方向の2軸に回転駆動可能なサーボ機構を備えるようにして、撮影方向を一定に保つとともに、低周波数の振動の影響を除去することもできるようになる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、撮影面における撮影範囲Sの照度分布を略均一とするため、撮像装置101の傾きのみを調整し、照明装置105は光量を調整して撮影面に照射されたときの照度を略均一としたが、本技術はかかる例に限定されない。例えば、撮像装置101と照明装置105とを一体化し、これらの傾きを調整することで、撮影面における撮影範囲Sの照度分布を略均一とすることも可能である。この場合、撮像装置101と照明装置105とを一体として制御できるため、撮影に必要な撮影範囲Sの照度分布を容易に設定することができる。なお、撮像装置101と照明装置105とを一体化した場合には、ホバリングカメラ100における可動部分が大きくなるため、全体的に重量が大きくなることが考えられる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御し、
前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得し、
前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供する制御部を備える、制御装置。
(2)
前記デバイス情報は、前記飛行体デバイスの傾き、加速度および角速度の少なくとも1つを含む、(1)に記載の制御装置。
(3)
前記制御部は、前記飛行体デバイスがストリーミング送信する前記画像を取得する、(1)又は(2)に記載の制御装置。
(4)
前記飛行体デバイスは、撮影対象面との間の距離が一定になるよう飛行する、(1)~(3)のいずれか1つに記載の制御装置。
(5)
前記飛行体デバイスは、前記撮影対象を照明する照明装置をさらに備え、
前記制御部は、前記飛行体デバイスの機体の傾きに応じて、前記撮影対象の撮影面における照度が所定の照度となるように前記照明装置の光量を調節する、
(1)に記載の制御装置。
(6)
前記機体の傾きは、水平面に対する傾きである、(5)に記載の制御装置。
(7)
前記機体の傾きは、前記撮影対象に対する傾きである、(5)に記載の制御装置。
(8)
前記制御部は、前記飛行体デバイスから前記撮影対象を撮影する撮影ポイント付近の撮影エリアに進入したとき、前記照明装置を点灯させる、(5)~(7)のいずれか1項に記載の制御装置。
(9)
撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える前記飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御することと、
前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得することと、
前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供することと、
を含む制御方法。
10 点検システム
100 ホバリングカメラ
101 撮像装置
104a~104d ロータ
105 照明装置
108a~108d モータ
110 制御部
111 撮影パラメータ設定部
113 検出情報取得部
115 照明制御部
117 シャッター制御部
119 姿勢制御部
120 通信部
130 センサ部
132 位置情報取得部
140 記憶部
150 バッテリ
200 制御端末
300 情報処理装置
400 無線中継ノード
500 位置推定ノード
600 ベースステーション
700 充電ステーション

Claims (9)

  1. 撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える前記飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御し、
    前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得し、
    前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供する制御部を備える、
    制御装置。
  2. 前記デバイス情報は、前記飛行体デバイスの傾き、加速度および角速度の少なくとも1つを含む、請求項1に記載の制御装置。
  3. 前記制御部は、前記飛行体デバイスがストリーミング送信する前記画像を取得する、請求項1に記載の制御装置。
  4. 前記飛行体デバイスは、撮影対象面との間の距離が一定になるよう飛行する、請求項1に記載の制御装置。
  5. 前記飛行体デバイスは、前記撮影対象を照明する照明装置をさらに備え、
    前記制御部は、前記飛行体デバイスの機体の傾きに応じて、前記撮影対象の撮影面における照度が所定の照度となるように前記照明装置の光量を調節する、
    請求項1に記載の制御装置。
  6. 前記機体の傾きは、水平面に対する傾きである、請求項5に記載の制御装置。
  7. 前記機体の傾きは、前記撮影対象に対する傾きである、請求項5に記載の制御装置。
  8. 前記制御部は、前記飛行体デバイスから前記撮影対象を撮影する撮影ポイント付近の撮影エリアに進入したとき、前記照明装置を点灯させる、請求項5に記載の制御装置。
  9. 撮影対象を撮影する撮像装置と、飛行体デバイスの状態を取得するセンサと、を備える前記飛行体デバイスの飛行経路を含む飛行情報に従って前記飛行体デバイスの飛行を制御することと、
    前記撮影対象を撮影した際に、前記飛行体デバイスの位置情報、及び、撮影時の前記飛行体デバイスのデバイス情報を取得することと、
    前記飛行体デバイスが飛行中に撮影した画像を、前記位置情報及び前記デバイス情報とともに外部デバイスに提供することと、
    を含む制御方法。
JP2023015473A 2014-10-17 2023-02-03 制御装置および制御方法 Pending JP2023052898A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014212657 2014-10-17
JP2014212657 2014-10-17
JP2020018566A JP6930616B2 (ja) 2014-10-17 2020-02-06 制御装置、制御方法および飛行体デバイス
JP2021130748A JP7226487B2 (ja) 2014-10-17 2021-08-10 制御装置および制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021130748A Division JP7226487B2 (ja) 2014-10-17 2021-08-10 制御装置および制御方法

Publications (1)

Publication Number Publication Date
JP2023052898A true JP2023052898A (ja) 2023-04-12

Family

ID=55746425

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016554003A Active JP6658532B2 (ja) 2014-10-17 2015-08-24 制御装置、制御方法および飛行体デバイス
JP2020018566A Active JP6930616B2 (ja) 2014-10-17 2020-02-06 制御装置、制御方法および飛行体デバイス
JP2021130748A Active JP7226487B2 (ja) 2014-10-17 2021-08-10 制御装置および制御方法
JP2023015473A Pending JP2023052898A (ja) 2014-10-17 2023-02-03 制御装置および制御方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2016554003A Active JP6658532B2 (ja) 2014-10-17 2015-08-24 制御装置、制御方法および飛行体デバイス
JP2020018566A Active JP6930616B2 (ja) 2014-10-17 2020-02-06 制御装置、制御方法および飛行体デバイス
JP2021130748A Active JP7226487B2 (ja) 2014-10-17 2021-08-10 制御装置および制御方法

Country Status (6)

Country Link
US (4) US10011371B2 (ja)
EP (2) EP3674214A1 (ja)
JP (4) JP6658532B2 (ja)
CN (2) CN106797438B (ja)
CA (1) CA2960749A1 (ja)
WO (1) WO2016059877A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674214A1 (en) 2014-10-17 2020-07-01 Sony Corporation Control device, control method, and flight vehicle device
EP3309581A1 (en) * 2016-10-12 2018-04-18 STMicroelectronics (Research & Development) Limited Apparatus for controlling driver current for illumination source
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
WO2018150369A1 (en) * 2017-02-17 2018-08-23 Verity Studios Ag Methods of taking a measurement
JP6579523B2 (ja) * 2017-05-02 2019-09-25 株式会社プロドローン 飛行機能付加装置およびロータユニット
CN107607543A (zh) * 2017-09-08 2018-01-19 上海振华重工(集团)股份有限公司 港口机械的巡检装置及巡检方法
JP2019083488A (ja) * 2017-10-31 2019-05-30 キヤノン株式会社 撮像装置、支持装置、及びそれらの制御方法、プログラム
CN108600581A (zh) * 2017-12-27 2018-09-28 北京臻迪科技股份有限公司 无人驾驶飞行器
JP6838197B2 (ja) * 2018-03-19 2021-03-03 本田技研工業株式会社 飛行体及び飛行体の制御方法
JP2020005146A (ja) * 2018-06-28 2020-01-09 株式会社リコー 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置
WO2020010544A1 (zh) * 2018-07-11 2020-01-16 深圳市大疆创新科技有限公司 照明设备控制方法、设备、飞行器及系统
JP6878375B2 (ja) * 2018-09-28 2021-05-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN109625254A (zh) * 2018-12-28 2019-04-16 浙江星米体育有限公司 竞技类无人机
CN109885098B (zh) * 2019-04-11 2022-02-11 株洲时代电子技术有限公司 一种桥梁边栏巡检航线规划方法
WO2020215274A1 (zh) * 2019-04-25 2020-10-29 深圳市大疆创新科技有限公司 无人机及其拍摄控制方法
CN113727938A (zh) * 2019-04-26 2021-11-30 住友重机械建机起重机株式会社 起重机检修系统及起重机
WO2020262105A1 (ja) 2019-06-27 2020-12-30 株式会社Nttドコモ 情報処理装置
EP3766787B1 (en) * 2019-07-14 2023-01-04 Goodrich Lighting Systems GmbH Method of indicating a flight direction of an aerial vehicle, flight direction indication system for an aerial vehicle, and aerial vehicle
JP7321050B2 (ja) * 2019-10-15 2023-08-04 水ing株式会社 水道施設を点検するシステム
JP7474976B2 (ja) * 2020-08-06 2024-04-26 日本電信電話株式会社 無人航空機および照明制御方法
CN112357110B (zh) * 2020-09-22 2022-04-08 成都飞机工业(集团)有限责任公司 基于激光定位原理的飞机滑行灯安装角度校准系统及方法
WO2022082439A1 (zh) * 2020-10-20 2022-04-28 深圳市大疆创新科技有限公司 轨迹延时拍摄方法、装置、云台相机、无人机及手持云台
CN116723382B (zh) * 2022-02-28 2024-05-03 荣耀终端有限公司 一种拍摄方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
WO2013177059A1 (en) * 2012-05-22 2013-11-28 Urbach Julian M Portable mobile light stage

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB253067A (en) * 1925-06-03 1926-06-17 Albino Baudino Improvements in and connected with polishing discs
JPH0693881B2 (ja) 1988-11-13 1994-11-24 伸子 滝本 視野計
JPH02131741U (ja) * 1989-04-03 1990-11-01
US6006158A (en) * 1993-09-07 1999-12-21 H. R. Pilley Airport guidance and safety system incorporating lighting control using GNSS compatible methods
JPH05107622A (ja) * 1991-02-20 1993-04-30 Asahi Optical Co Ltd 手ブレ写真防止カメラ
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US9607301B2 (en) * 2000-04-27 2017-03-28 Merck Patent Gmbh Photovoltaic sensor facilities in a home environment
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6711280B2 (en) * 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
WO2003029922A2 (en) * 2001-10-01 2003-04-10 Kline & Walker, Llc Pfn/trac system faa upgrades for accountable remote and robotics control
JP2004053293A (ja) 2002-07-17 2004-02-19 Mitsubishi Heavy Ind Ltd 表面検査装置
JP4284949B2 (ja) 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
FR2860623B1 (fr) * 2003-10-06 2005-12-30 Mbda France Procede de prise de vues a bord d'un corps volant tournant et systeme le mettant en oeuvre.
CN100370301C (zh) * 2003-12-05 2008-02-20 鸿富锦精密工业(深圳)有限公司 镜头模组的图像传感器与透镜组的位置调整方法
JP2005269413A (ja) 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空中撮影システム
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2006162717A (ja) * 2004-12-03 2006-06-22 Konica Minolta Photo Imaging Inc 照明装置装備カメラ
US7750802B1 (en) * 2005-02-11 2010-07-06 Parish Warren G Illumination and detection architecture
JP4740675B2 (ja) * 2005-07-25 2011-08-03 イーストマン コダック カンパニー 撮像装置
JP2007212952A (ja) * 2006-02-13 2007-08-23 Canon Inc 撮像装置のストロボ装置
US20150054639A1 (en) * 2006-08-11 2015-02-26 Michael Rosen Method and apparatus for detecting mobile phone usage
US20090003822A1 (en) * 2007-06-27 2009-01-01 Frank Tyner Hand-held photographic support system
JP2010006089A (ja) 2008-06-24 2010-01-14 Kitakyushu Foundation For The Advancement Of Industry Science & Technology ライフライン等の施設の被災、損傷、劣化状況の空撮装置
JP5520457B2 (ja) * 2008-07-11 2014-06-11 任天堂株式会社 ゲーム装置およびゲームプログラム
JP5005731B2 (ja) * 2009-05-25 2012-08-22 パナソニック株式会社 カメラ装置および露光制御方法
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
CN101914893B (zh) * 2010-07-09 2011-07-27 重庆交通大学 基于四轴飞行器的桥梁检测机器人
JP5635333B2 (ja) 2010-08-20 2014-12-03 公益財団法人鉄道総合技術研究所 反射ターゲット形成用ラジオコントロール航空機
FR2964573B1 (fr) * 2010-09-15 2012-09-28 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples
DE102011010334B4 (de) * 2011-02-04 2014-08-28 Eads Deutschland Gmbh Kamerasystem und Verfahren zur Beobachtung von Objekten in großer Entfernung, insbesondere zur Überwachung von Zielobjekten bei Nacht, Dunst, Staub oder Regen
FR2972364B1 (fr) * 2011-03-08 2014-06-06 Parrot Procede de pilotage suivant un virage curviligne d'un drone a voilure tournante a rotors multiples.
IL217361A0 (en) * 2012-01-04 2012-03-29 Rafael Advanced Defense Sys Device & method providing combined video camera and range finder functionality
IL217501A (en) * 2012-01-12 2017-09-28 Israel Aerospace Ind Ltd A method and system for maneuvering aircraft
DE102012002067A1 (de) * 2012-02-03 2013-08-08 Eads Deutschland Gmbh Luft-Boden-Überwachungs- und/oder Wirksystem und Verfahren zur luftgestützten Inspektion und/oder Bekämpfung von auf dem Land oder auf See befindlichen Objekten
US20130233964A1 (en) 2012-03-07 2013-09-12 Aurora Flight Sciences Corporation Tethered aerial system for data gathering
FR2988868B1 (fr) * 2012-03-30 2015-04-24 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral
US20140008496A1 (en) * 2012-07-05 2014-01-09 Zhou Ye Using handheld device to control flying object
JP6122591B2 (ja) 2012-08-24 2017-04-26 株式会社トプコン 写真測量用カメラ及び航空写真装置
EP2703836B1 (en) * 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
US10073336B2 (en) * 2012-09-11 2018-09-11 Barco N.V. Projection system with safety detection
IL222053A (en) * 2012-09-23 2016-11-30 Israel Aerospace Ind Ltd A device, method, and computerized product for aircraft management
JP6055274B2 (ja) * 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
CN103921933A (zh) * 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
EP4029789A1 (en) 2013-03-31 2022-07-20 SZ DJI Technology Co., Ltd. Payload mounting platform
JP6187244B2 (ja) * 2013-12-25 2017-08-30 ソニー株式会社 制御装置、制御方法および露光制御システム
EP3099570B1 (en) * 2014-01-31 2017-11-22 Flir Systems, Inc. Hydraulic slip compensation systems and methods
WO2014106814A2 (en) * 2014-04-14 2014-07-10 Wasfi Alshdaifat A reporter drone
FR3020169A1 (fr) * 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
GB2525900A (en) * 2014-05-07 2015-11-11 Imp Innovations Ltd Method of using a device capable of controlled flight
EP3111286B1 (en) * 2014-05-30 2018-10-31 SZ DJI Technology Co., Ltd. Aircraft attitude control methods
US9817396B1 (en) * 2014-06-09 2017-11-14 X Development Llc Supervisory control of an unmanned aerial vehicle
US20160154170A1 (en) * 2014-06-12 2016-06-02 Nthdegree Technologies Worldwide Inc. Ultra-thin display using thin flexible led light sheet
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US20160101856A1 (en) * 2014-06-23 2016-04-14 Nixie Labs, Inc. Wearable unmanned aerial vehicles, and associated systems and methods
US10068506B2 (en) * 2014-08-01 2018-09-04 Philips Lighting Holding B.V. System, device for creating an aerial image
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
FR3025114A1 (fr) * 2014-08-26 2016-03-04 Parrot Procede de controle dynamique en depart lance d'un drone a voilure tournante
FR3027143B1 (fr) * 2014-10-10 2016-11-11 Parrot Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble"
EP3674214A1 (en) 2014-10-17 2020-07-01 Sony Corporation Control device, control method, and flight vehicle device
EP3650932B1 (en) * 2015-05-27 2023-02-08 GoPro, Inc. Camera system using stabilizing gimbal
FR3041136A1 (fr) * 2015-09-14 2017-03-17 Parrot Procede de determination d'une duree d'exposition d'une camera embarque sur un drone, et drone associe.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
WO2013177059A1 (en) * 2012-05-22 2013-11-28 Urbach Julian M Portable mobile light stage

Also Published As

Publication number Publication date
JP7226487B2 (ja) 2023-02-21
JPWO2016059877A1 (ja) 2017-07-27
JP2021184634A (ja) 2021-12-02
WO2016059877A1 (ja) 2016-04-21
CN106797438A (zh) 2017-05-31
US11530050B2 (en) 2022-12-20
CN111246060A (zh) 2020-06-05
JP6658532B2 (ja) 2020-03-04
US11884418B2 (en) 2024-01-30
EP3193496B1 (en) 2020-03-25
EP3193496A4 (en) 2018-04-11
EP3674214A1 (en) 2020-07-01
CN106797438B (zh) 2020-03-06
US20180273201A1 (en) 2018-09-27
JP2020080553A (ja) 2020-05-28
CA2960749A1 (en) 2016-04-21
US20240109670A1 (en) 2024-04-04
JP6930616B2 (ja) 2021-09-01
US10011371B2 (en) 2018-07-03
US20230070563A1 (en) 2023-03-09
EP3193496A1 (en) 2017-07-19
CN111246060B (zh) 2022-01-18
US20170283088A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP7226487B2 (ja) 制御装置および制御方法
US20220107643A1 (en) Control device, imaging device, control method, imaging method, and computer program
JP7452743B2 (ja) 飛行情報制御方法、制御装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240926