JP2023009643A - Waypoint setting method, waypoint correction method, management server, information processing system, and program - Google Patents

Waypoint setting method, waypoint correction method, management server, information processing system, and program Download PDF

Info

Publication number
JP2023009643A
JP2023009643A JP2021113096A JP2021113096A JP2023009643A JP 2023009643 A JP2023009643 A JP 2023009643A JP 2021113096 A JP2021113096 A JP 2021113096A JP 2021113096 A JP2021113096 A JP 2021113096A JP 2023009643 A JP2023009643 A JP 2023009643A
Authority
JP
Japan
Prior art keywords
coordinates
waypoint
virtual line
power line
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021113096A
Other languages
Japanese (ja)
Other versions
JP6978026B1 (en
Inventor
尚弥 益田
Naoya Masuda
兼太郎 深見
Kentaro Fukami
秀樹 村田
Hideki Murata
裕樹 丸目
Yuki Marume
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chubu Electric Power Grid Co Inc
Chubu Electric Power Co Inc
Sensyn Robotics Inc
Original Assignee
Chubu Electric Power Grid Co Inc
Chubu Electric Power Co Inc
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chubu Electric Power Grid Co Inc, Chubu Electric Power Co Inc, Sensyn Robotics Inc filed Critical Chubu Electric Power Grid Co Inc
Priority to JP2021113096A priority Critical patent/JP6978026B1/en
Application granted granted Critical
Publication of JP6978026B1 publication Critical patent/JP6978026B1/en
Publication of JP2023009643A publication Critical patent/JP2023009643A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Electric Cable Installation (AREA)
  • Accessories Of Cameras (AREA)

Abstract

To provide a waypoint setting method and the like for simply and appropriately setting a waypoint for imaging an insulator and a member constituting a support material.SOLUTION: A waypoint setting method executes a step of calculating intermediate coordinates of an insulator chain executes a step of setting, as virtual line extension direction information, a direction in which a virtual line forming a predetermined angle with respect to a power line from the intermediate coordinates of the insulator chain extends in a direction that does not overlap a power line region, a step of obtaining a main post coordinates for a main post that extending vertically in the support material, a step of setting a bisecting point coordinate between the main post coordinates for two main posts at any height, a step of setting an insulator imaging waypoint on a virtual line extending from the intermediate coordinates of the insulator chain to a virtual line extending direction, and a step for setting a member imaging waypoint on a virtual line obtained by further extending the virtual line from the bisecting point coordinate to two main post coordinates located at both ends of opposite sides.SELECTED DRAWING: Figure 6

Description

本発明は、ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラムに関する。 The present invention relates to a waypoint setting method, a waypoint correction method, a management server, an information processing system, and a program.

近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、飛行体により電力線を撮影して検査するシステムが開示されている。 BACKGROUND ART In recent years, flying vehicles (hereinafter collectively referred to as “flying vehicles”) such as drones and unmanned aerial vehicles (UAVs) have begun to be used in industry. Under these circumstances, Patent Literature 1 discloses a system for inspecting power lines by photographing them with an aircraft.

特開2020-196355号公報JP 2020-196355 A

しかしながら、上記特許文献1の開示技術では、飛行体の飛行経路を作成するために、全てのウェイポイントを手入力等で予め設定して記憶させる必要がある。そのため、飛行経路が長くなった際には、飛行経路全域に対してウェイポイントを設定することは手間がかかるものであった。 However, in the technique disclosed in Patent Literature 1, it is necessary to preset and store all waypoints by manual input or the like in order to create the flight path of the aircraft. Therefore, when the flight route becomes long, it takes time and effort to set waypoints for the entire flight route.

特に、電力線を支持する支持物は複雑な構成で死角も多いため、支持物を構成する部材及び碍子を撮影するためのウェイポイントを簡便かつ適切に設定する方法が求められていた。 In particular, since the supports that support power lines have a complicated structure and many blind spots, there has been a demand for a method of simply and appropriately setting waypoints for photographing the members and insulators that make up the supports.

本発明はこのような背景を鑑みてなされたものであり、支持物を構成する碍子及び部材を撮影するためのウェイポイントを簡便かつ適切に設定するウェイポイント設定方法等を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a waypoint setting method or the like for simply and appropriately setting waypoints for photographing insulators and members constituting a support. do.

上記課題を解決するための本発明の主たる発明は、電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントをコンピュータにより設定するウェイポイント設定方法であって、前記コンピュータに対して、碍子連中間座標取得部により、碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出するステップと、仮想線延伸方向設定部により、前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定するステップと、主柱材座標取得部により、前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得するステップと、二等分点座標設定部により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定するステップと、ウェイポイント設定部により、前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定するステップと、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するステップと、を実行させる、ことを特徴とするウェイポイント設定方法等、である。 The main invention of the present invention for solving the above-mentioned problems is a waypoint setting method for setting a waypoint for photographing insulators and members constituting a support for supporting a power line by a computer, a step of calculating intermediate coordinates of the insulator string by an insulator string intermediate coordinate acquisition unit based on the information on the bisection length of the insulator string and the information on the extension direction of the power line; A virtual line forming a predetermined angle with respect to the power line is extended in both the positive and negative directions, and is extended in a direction that does not overlap the power line area indicating the area on the support side of the power line in both directions. a step of setting the direction as virtual line extension direction information; and main pillar coordinates relating to the main pillar connected to the cross arm and the insulator to which the power line is attached and extending in the vertical direction in the support by the main pillar coordinate acquisition unit. a step of setting bisecting point coordinates between main pillar coordinates for two main pillars at an arbitrary height by a bisecting point coordinate setting unit; and a waypoint setting unit setting the insulator a step of obtaining information on the intermediate coordinates and the virtual line extension direction, and setting an insulator photographing waypoint on a virtual line extending from the intermediate coordinates of the insulator link in the virtual line extension direction; obtaining material coordinates, and setting a member shooting waypoint on a virtual line further extending the virtual line from the bisecting point coordinates to the two main column material coordinates located at both ends of the opposite side; A waypoint setting method or the like characterized by:

本発明によれば、特に、支持物を構成する碍子及び部材を撮影するためのウェイポイントを簡便かつ適切に設定するウェイポイント設定方法等を提供することができる。 According to the present invention, in particular, it is possible to provide a waypoint setting method or the like for simply and appropriately setting waypoints for photographing insulators and members constituting a support.

本発明の実施の形態にかかる情報処理システムの構成を示す図である。1 is a diagram showing the configuration of an information processing system according to an embodiment of the present invention; FIG. 図1の管理サーバのハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of a management server in FIG. 1; FIG. 図1のユーザ端末のハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of the user terminal in FIG. 1; FIG. 図1の飛行体のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing the hardware configuration of the flying object of FIG. 1; FIG. 図1の管理サーバの機能を示すブロック図である。2 is a block diagram showing functions of a management server in FIG. 1; FIG. 本発明の実施の形態にかかるウェイポイント設定方法における構成を示すための概念図の一例である。1 is an example of a conceptual diagram showing the configuration of a waypoint setting method according to an embodiment of the present invention; FIG. 本発明の実施の形態にかかるウェイポイント設定方法における構成を示すための概念図の一例である。1 is an example of a conceptual diagram showing the configuration of a waypoint setting method according to an embodiment of the present invention; FIG. 本発明の実施の形態にかかる部材ウェイポイント設定方法のフローチャートである。4 is a flow chart of a member waypoint setting method according to an embodiment of the present invention; 本発明の実施の形態にかかる二等分点座標について例示する図である。It is a figure which illustrates the bisection point coordinate concerning embodiment of this invention. 本発明の実施の形態にかかる部材撮影ウェイポイントについて例示する図である。It is a figure which illustrates the member photography waypoint concerning embodiment of this invention. 本発明の実施の形態にかかる碍子ウェイポイント設定方法のフローチャートである。4 is a flow chart of an insulator waypoint setting method according to an embodiment of the present invention; 本発明の実施の形態にかかる碍子連中間座標について例示する図である。It is a figure which illustrates the insulator string intermediate coordinate concerning embodiment of this invention. 本発明の実施の形態にかかる仮想線延伸方向について例示する図である。It is a figure which illustrates the imaginary line extension direction concerning an embodiment of the invention. 本発明の実施の形態にかかる碍子撮影ウェイポイントについて例示する図である。It is a figure which illustrates the insulator photography waypoint concerning embodiment of this invention. 本発明の実施の形態にかかるウェイポイント修正方法のフローチャートである。4 is a flow chart of a waypoint correction method according to an embodiment of the present invention; 本発明の実施の形態にかかるウェイポイント修正方法における構成を示すための概念図の一例である。1 is an example of a conceptual diagram showing the configuration of a waypoint correction method according to an embodiment of the present invention; FIG. 本発明の実施の形態にかかるウェイポイント修正について例示する図である。It is a figure which illustrates waypoint correction concerning embodiment of this invention.

本発明の実施形態の内容を列記して説明する。本発明は、例えば、以下のような構成を備える。
[項目1]
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントをコンピュータにより設定するウェイポイント設定方法であって、
前記コンピュータに対して、
碍子連中間座標取得部により、碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出するステップと、
仮想線延伸方向設定部により、前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定するステップと、
主柱材座標取得部により、前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得するステップと、
二等分点座標設定部により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定するステップと、
ウェイポイント設定部により、前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定するステップと、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するステップと、
を実行させる、
ことを特徴とするウェイポイント設定方法。

[項目2]
前記碍子連二等分長さ情報は、碍子関連情報記憶部から取得した碍子連の長さ情報に基づき算出する、
ことを特徴とする項目1に記載のウェイポイント設定方法。
[項目3]
前記電力線の延伸方向情報は、隣接する2つの支持物の腕金の電力線取付位置に関する支持物座標に基づき算出する、
ことを特徴とする項目1または2のいずれかに記載のウェイポイント設定方法。
[項目4]
項目1ないし3のいずれかに記載のウェイポイント設定方法により設定されるウェイポイントを前記コンピュータにより修正するウェイポイント修正方法であって、
前記ウェイポイントが前記支持物からの所定距離範囲に含まれる場合、ウェイポイント修正部により、該当するウェイポイントを前記支持物から所定距離範囲の境界上又は前記境界の外に移動させるステップをさらに含む、
ことを特徴とするウェイポイント修正方法。
[項目5]
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを管理サーバであって、
碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出する碍子連中間座標取得部と、
前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定する仮想線延伸方向設定部と、
前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得する主柱材座標取得部と、
任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定する二等分点座標設定部と、
前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定し、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するウェイポイント設定部と、
を備える、
ことを特徴とする管理サーバ。
[項目6]
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを設定する情報処理システムであって、
碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出する碍子連中間座標取得部と、
前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定する仮想線延伸方向設定部と、
前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得する主柱材座標取得部と、
任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定する二等分点座標設定部と、
前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定し、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するウェイポイント設定部と、
を備える、
ことを特徴とする情報処理システム。
[項目7]
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを設定するウェイポイント設定方法をコンピュータに実行させるプログラムであって、
前記コンピュータに対して、
碍子連中間座標取得部により、碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出するステップと、
仮想線延伸方向設定部により、前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定するステップと、
主柱材座標取得部により、前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得するステップと、
二等分点座標設定部により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定するステップと、
ウェイポイント設定部により、前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定するステップと、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するステップと、
を実行させる、
ことを特徴とするプログラム。
The contents of the embodiments of the present invention are listed and explained. The present invention has, for example, the following configurations.
[Item 1]
A waypoint setting method for setting, by a computer, waypoints for photographing insulators and members constituting a support for supporting a power line,
to said computer,
a step of calculating intermediate coordinates of the insulator string based on the information on the bisection length of the insulator string and the information on the extension direction of the power line, by an insulator string intermediate coordinate obtaining unit;
A virtual line extending direction setting unit extends a virtual line forming a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string in both the positive side and the negative side, and in the two directions, the support is closer to the power line than the power line. a step of setting, as virtual line extension direction information, a direction in which the virtual line extends in a direction that does not overlap the power line area indicating the area of
a main pillar coordinate acquisition unit acquiring main pillar coordinates related to a main pillar connected to a cross arm and an insulator to which the power line is attached and extending in the vertical direction in the support;
a step of setting bisecting point coordinates between main post coordinates for two main posts at an arbitrary height by a bisecting point coordinate setting unit;
acquiring the insulator string intermediate coordinates and the virtual line extending direction information by a waypoint setting unit, and setting an insulator photographing waypoint on a virtual line extending from the insulator string intermediate coordinates in the virtual line extending direction; Acquire the bisected point coordinates and the main pillar coordinates, and set the member shooting waypoint on the virtual line further extending the virtual line from the bisected point coordinates to the two main pillar coordinates located at both ends of the opposite side. and
to run
A waypoint setting method characterized by:

[Item 2]
The insulator string bisection length information is calculated based on the insulator string length information acquired from the insulator related information storage unit.
The waypoint setting method according to item 1, characterized by:
[Item 3]
The extension direction information of the power line is calculated based on the coordinates of the support regarding the power line mounting position of the cross arm of two adjacent supports.
3. A waypoint setting method according to any one of items 1 and 2, characterized by:
[Item 4]
A waypoint correction method for correcting a waypoint set by the waypoint setting method according to any one of items 1 to 3 by the computer,
The method further includes, if the waypoint is within a predetermined distance range from the support, moving the corresponding waypoint to a boundary of the predetermined distance range from the support or outside the boundary by the waypoint correction unit. ,
A waypoint correction method characterized by:
[Item 5]
A management server for managing waypoints for photographing insulators and members constituting supports that support power lines,
an insulator string intermediate coordinate acquisition unit that calculates insulator string intermediate coordinates based on the insulator string bisection length information and the extension direction information of the power line;
A virtual line that forms a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string is extended in both the positive and negative directions, and is superimposed on the power line area indicating the area closer to the support than the power line in both directions. a virtual line drawing direction setting unit that sets a direction of drawing in a non-directional direction as virtual line drawing direction information;
a main pillar coordinate acquisition unit connected to the cross arm and the insulator to which the power line is attached and acquiring the main pillar coordinates related to the main pillar extending in the vertical direction in the support;
a bisecting point coordinate setting unit for setting bisecting point coordinates between main pillar coordinates for two main pillars at an arbitrary height;
The insulator string intermediate coordinates and the virtual line extension direction information are acquired, an insulator shooting waypoint is set on a virtual line extending from the insulator string intermediate coordinates in the virtual line extension direction, and the bisecting point coordinates and the main column are set. a waypoint setting unit that acquires member coordinates and sets a member photographing waypoint on a virtual line further extending the virtual line from the bisecting point coordinates to the two main column member coordinates located at both ends of the opposite side;
comprising
A management server characterized by:
[Item 6]
An information processing system for setting waypoints for photographing insulators and members constituting supports that support power lines,
an insulator string intermediate coordinate acquisition unit that calculates insulator string intermediate coordinates based on the insulator string bisection length information and the extension direction information of the power line;
A virtual line that forms a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string is extended in both the positive and negative directions, and is superimposed on the power line area indicating the area closer to the support than the power line in both directions. a virtual line drawing direction setting unit that sets a direction of drawing in a non-directional direction as virtual line drawing direction information;
a main pillar coordinate acquisition unit connected to the cross arm and the insulator to which the power line is attached and acquiring the main pillar coordinates related to the main pillar extending in the vertical direction in the support;
a bisecting point coordinate setting unit for setting bisecting point coordinates between main pillar coordinates for two main pillars at an arbitrary height;
The insulator string intermediate coordinates and the virtual line extension direction information are acquired, an insulator shooting waypoint is set on a virtual line extending from the insulator string intermediate coordinates in the virtual line extension direction, and the bisecting point coordinates and the main column are set. a waypoint setting unit that acquires member coordinates and sets a member photographing waypoint on a virtual line further extending the virtual line from the bisecting point coordinates to the two main column member coordinates located at both ends of the opposite side;
comprising
An information processing system characterized by:
[Item 7]
A program for causing a computer to execute a waypoint setting method for setting waypoints for photographing insulators and members constituting supports that support a power line,
to said computer,
a step of calculating intermediate coordinates of the insulator string based on the information on the bisection length of the insulator string and the information on the extension direction of the power line, by an insulator string intermediate coordinate obtaining unit;
A virtual line extending direction setting unit extends a virtual line forming a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string in both the positive side and the negative side, and in the two directions, the support is closer to the power line than the power line. a step of setting, as virtual line extension direction information, a direction in which the virtual line extends in a direction that does not overlap the power line area indicating the area of
a step of obtaining, by a main post coordinate acquisition unit, main post coordinates relating to a main post connected to a cross arm and an insulator to which the power line is attached and extending in the vertical direction in the support;
a step of setting bisecting point coordinates between main post coordinates for two main posts at an arbitrary height by a bisecting point coordinate setting unit;
acquiring the insulator string intermediate coordinates and the virtual line extending direction information by a waypoint setting unit, and setting an insulator photographing waypoint on a virtual line extending from the insulator string intermediate coordinates in the virtual line extending direction; Acquire the bisector point coordinates and the main pillar coordinates, and set the member shooting waypoint on the virtual line further extending the virtual line from the bisected point coordinates to the two main pillar coordinates located at both ends of the opposite side. and
to run
A program characterized by

<実施の形態の詳細>
以下、本発明の実施の形態によるウェイポイント設定方法等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<Details of Embodiment>
Hereinafter, embodiments of waypoint setting methods and the like according to embodiments of the present invention will be described. In the accompanying drawings, the same or similar elements are denoted by the same or similar reference numerals and names, and duplicate descriptions of the same or similar elements may be omitted in the description of each embodiment. Also, the features shown in each embodiment can be applied to other embodiments as long as they are not mutually contradictory.

<構成>
図1に示されるように、本実施の形態における情報処理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4とを有している。管理サーバ1と、ユーザ端末2と、飛行体4は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。
<Configuration>
As shown in FIG. 1, the information processing system according to the present embodiment has a management server 1, one or more user terminals 2, and one or more aircraft 4. FIG. The management server 1, the user terminal 2, and the aircraft 4 are communicably connected to each other via a network. Note that the illustrated configuration is an example, and the configuration is not limited to this.

<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<Management server 1>
FIG. 2 is a diagram showing the hardware configuration of the management server 1. As shown in FIG. Note that the illustrated configuration is an example, and other configurations may be employed.

図示されるように、管理サーバ1は、複数のユーザ端末2と、飛行体4と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。 As illustrated, a management server 1 is connected to a plurality of user terminals 2 and an aircraft 4 and constitutes part of this system. The management server 1 may be, for example, a general-purpose computer such as a workstation or personal computer, or may be logically realized by cloud computing.

管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。 The management server 1 includes at least a processor 10 , a memory 11 , a storage 12 , a transmission/reception section 13 , an input/output section 14 and the like, which are electrically connected to each other through a bus 15 .

プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。 The processor 10 is an arithmetic device that controls the overall operation of the management server 1, controls transmission and reception of data between elements, executes applications, and performs information processing necessary for authentication processing. For example, the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes a program for this system stored in the storage 12 and developed in the memory 11 to perform each information process. .

メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。 The memory 11 includes a main memory composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). . The memory 11 is used as a work area for the processor 10, and stores a BIOS (Basic Input/Output System) executed when the management server 1 is started, various setting information, and the like.

ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。 The storage 12 stores various programs such as application programs. A database storing data used for each process may be constructed in the storage 12 .

送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。 The transmission/reception unit 13 connects the management server 1 to the network. The transmitting/receiving unit 13 may include a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).

入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。 The input/output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.

バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。 A bus 15 is commonly connected to the above elements and transmits, for example, address signals, data signals and various control signals.

<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
<User terminal 2>
The user terminal 2 shown in FIG. 3 also includes a processor 20 , a memory 21 , a storage 22 , a transmission/reception section 23 , an input/output section 24 and the like, which are electrically connected to each other through a bus 25 . Since the function of each element can be configured in the same manner as the management server 1 described above, detailed description of each element will be omitted.

<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
<Aircraft 4>
FIG. 4 is a block diagram showing the hardware configuration of the flying object 4. As shown in FIG. Flight controller 41 may have one or more processors, such as programmable processors (eg, central processing units (CPUs)).

また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。 The flight controller 41 also has a memory 411 and can access the memory. Memory 411 stores logic, code, and/or program instructions executable by the flight controller to perform one or more steps. The flight controller 41 may also include sensors 412 such as an inertial sensor (acceleration sensor, gyro sensor), GPS sensor, proximity sensor (for example, rider).

メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2のいずれかに1つに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置される。 Memory 411 may include, for example, separable media or external storage devices such as SD cards and random access memory (RAM). Data acquired from cameras/sensors 42 may be communicated directly to memory 411 and stored. For example, still image/moving image data captured by a camera or the like may be recorded in an internal memory or an external memory. It may be recorded in one of the user terminals 2 . A camera 42 is installed on the flying object 4 via a gimbal 43 .

フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。 Flight controller 41 includes a control module, not shown, configured to control the state of the vehicle. For example, the control module may be configured to adjust the spatial orientation, velocity, and/or acceleration of a vehicle having six degrees of freedom (translational motions x , y , and z , and rotational motions θx, θy, and θz). , ESC 44 (Electric Speed Controller) to control the propulsion mechanism (motor 45, etc.) of the aircraft. A propeller 46 is rotated by a motor 45 powered by a battery 48 to generate a lift force of the aircraft. The control module can control one or more of the states of the mount, sensors.

フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。 Flight controller 41 is configured to transmit and/or receive data from one or more external devices (e.g., transceiver (propo) 49, terminal, display, or other remote controller). It is possible to communicate with the unit 47 . Transceiver 49 may use any suitable means of communication, such as wired or wireless communication.

例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。 For example, the transceiver 47 utilizes one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like. can do.

送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。 The transmitting/receiving unit 47 transmits and/or receives one or more of data obtained by the sensors 42, processing results generated by the flight controller 41, predetermined control data, user commands from a terminal or a remote controller, and the like. be able to.

本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。 Sensors 42 according to this embodiment may include inertial sensors (acceleration sensors, gyro sensors), GPS sensors, proximity sensors (eg lidar), or vision/image sensors (eg cameras).

<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ1は、主柱材座標取得部110、二等分点座標設定部120、領域設定部130、碍子連中間座標取得部140、仮想線延伸方向設定部150、記憶部160、ウェイポイント設定部170、フライト実行部180、ウェイポイント修正部190を備えている。また、記憶部160は、支持物関連情報記憶部162、碍子関連情報記憶部164、領域情報記憶部166、フライト情報記憶部168の各種データベースを含む。
<Management server functions>
FIG. 5 is a block diagram illustrating functions implemented in the management server 1. As shown in FIG. In the present embodiment, the management server 1 includes a main column coordinate acquisition unit 110, a bisecting point coordinate setting unit 120, an area setting unit 130, an insulator string intermediate coordinate acquisition unit 140, a virtual line extension direction setting unit 150, A storage unit 160 , a waypoint setting unit 170 , a flight execution unit 180 and a waypoint correction unit 190 are provided. The storage unit 160 also includes various databases including a support related information storage unit 162 , an insulator related information storage unit 164 , an area information storage unit 166 and a flight information storage unit 168 .

主柱材座標取得部110は、電力線が取り付けられる腕金及び碍子に接続され、支持物において鉛直方向に延びる主柱材に関する主柱材座標(少なくとも水平な二次元座標での位置)を支持物関連情報記憶部162から取得する。主柱材座標は、例えば、予めユーザがユーザ端末2上に表示される地図情報から選択操作により主柱材の位置を選択することにより記憶されていてもよいし、予め飛行体4を飛行させて各種センサの取得情報(例えば、GPSの位置情報、気圧センサ情報や撮影情報など)に基づき直接または間接的に算出されて記憶されていてもよいし、これら以外の方法で予め記憶されていてもよい。 A main post coordinate acquisition unit 110 is connected to a cross arm and insulator to which a power line is attached, and acquires main post coordinates (at least a position in horizontal two-dimensional coordinates) of a main post extending in the vertical direction on a support. Acquired from the related information storage unit 162 . The coordinates of the main pillar may be stored in advance, for example, by the user selecting the position of the main pillar from the map information displayed on the user terminal 2, or by flying the aircraft 4 in advance. It may be calculated and stored directly or indirectly based on information acquired by various sensors (for example, GPS position information, atmospheric pressure sensor information, photographing information, etc.), or may be stored in advance by other methods. good too.

二等分点座標設定部120は、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を算出して設定し(図9等参照)、支持物関連情報記憶部162に記憶する。 The bisecting point coordinate setting unit 120 calculates and sets the bisecting point coordinates between the main pillar coordinates for two main pillars at an arbitrary height (see FIG. 9, etc.). 162.

領域設定部130は、例えば飛行体の進入が制限される電力線飛行制限領域を電力線に対して設定し(図6、図7、図9等参照)、電力線飛行制限領域を規定する電力線飛行制限領域情報を領域情報記憶部166に記憶する。電力線飛行制限領域は、例えば電力線から所定距離以内の領域であってよく、領域情報記憶部166には、例えば電力線飛行制限領域を定義する境界の座標が直接的に電力線飛行制限領域情報として記憶されていてもよいし、上述の電力線からの所定距離が電力線飛行制限領域情報として記憶されていて、領域設定部130において当該所定距離と電力線の座標情報から境界の座標が算出されてもよい。領域設定部130は、電力線の座標情報から電力線よりも支持物側の領域を示す電力線領域を設定し、領域情報記憶部166に記憶する。 The area setting unit 130 sets, for example, a power line flight restriction area in which an aircraft is restricted from entering (see FIGS. 6, 7, 9, etc.), and determines the power line flight restriction area that defines the power line flight restriction area. The information is stored in area information storage unit 166 . The power line flight restriction area may be, for example, an area within a predetermined distance from the power line. In the area information storage unit 166, for example, the coordinates of the boundary defining the power line flight restriction area are directly stored as the power line flight restriction area information. Alternatively, the predetermined distance from the power line may be stored as the power line flight restriction area information, and the boundary coordinates may be calculated from the predetermined distance and the power line coordinate information in the area setting unit 130 . The region setting unit 130 sets a power line region indicating a region closer to the support than the power line from the coordinate information of the power line, and stores the power line region in the region information storage unit 166 .

碍子連中間座標取得部140は、碍子関連情報記憶部164から碍子連の長さ情報を取得して碍子連二等分長さ情報を算出し、支持物関連情報記憶部162から取得した隣接する2つの支持物の腕金の電力線取付位置に関する支持物座標(例えば、腕金の先端から下がる電力線を支持する懸垂碍子の取付点の少なくとも水平な二次元座標等)から電力線の延伸方向情報を算出し、支持物座標から電力線の延伸方向に碍子連二等分長さ分だけ移動した位置を碍子連中間座標として算出し、当該碍子連中間座標情報を碍子関連情報記憶部164に記憶する。 The insulator string intermediate coordinate acquisition unit 140 acquires the length information of the insulator string from the insulator related information storage unit 164 to calculate the insulator string bisection length information, and the adjacent coordinate acquired from the support related information storage unit 162 . Information on the extension direction of the power line is calculated from the coordinates of the support (for example, at least the horizontal two-dimensional coordinates of the attachment point of the suspension insulator that supports the power line descending from the tip of the cross arm) regarding the power line attachment position of the cross arm of the two supports. Then, a position moved from the supporting object coordinates by the length of bisector of the insulator string in the extension direction of the power line is calculated as the insulator string intermediate coordinate, and the insulator string intermediate coordinate information is stored in the insulator related information storage unit 164 .

仮想線延伸方向設定部150は、碍子連中間座標から電力線に対して所定の角度(例えば、45度など)をなす仮想線をプラス側及びマイナス側の両方向に所定長さの位置まで延伸させ、当該両位置のうち電力線領域に含まれていない位置へ延伸する方向を仮想線延伸方向情報として碍子関連情報記憶部164に記憶して設定する。 The virtual line extending direction setting unit 150 extends a virtual line forming a predetermined angle (for example, 45 degrees) with respect to the power line from the intermediate coordinate of the insulator string to a position of a predetermined length in both the positive and negative directions, The direction of extending to the position not included in the power line area among the two positions is stored in the insulator-related information storage unit 164 as virtual line extending direction information and set.

ウェイポイント設定部170は、支持物を構成する部材に関する取得情報(例えば、画像情報や映像情報等)を取得するための部材撮影ウェイポイントと、支持物の腕金先端近辺に設置されている碍子に関する取得情報(例えば、画像情報や映像情報等)を取得するための碍子撮影ウェイポイントとを少なくとも含むウェイポイントを電力線飛行制限領域の境界上に設定し、フライト情報記憶部168に記憶する。より具体的には、部材撮影ウェイポイントは、上述の二等分点座標及び主柱材座標を取得し、二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸し、電力線飛行制限領域の境界との交点に設定される。碍子撮影ウェイポイントは、上述の碍子連中間座標及び仮想線延伸方向情報を取得し、碍子連中間座標から仮想線延伸方向へ延伸し、電力線飛行制限領域の境界との交点に設定される。 The waypoint setting unit 170 sets member shooting waypoints for acquiring acquisition information (for example, image information, video information, etc.) related to members constituting the support, and insulators installed near the tip of the cross arm of the support. Waypoints including at least an insulator photographing waypoint for obtaining acquisition information (for example, image information, video information, etc.) related to the power line are set on the boundary of the power line flight restriction area and stored in the flight information storage unit 168 . More specifically, the member shooting waypoint acquires the above-mentioned bisecting point coordinates and main pillar coordinates, and draws a virtual line from the bisecting point coordinates to the two main pillar coordinates located at both ends of the opposite side. is further extended and set at the intersection with the boundary of the power line flight restriction area. The insulator photographing waypoint acquires the above-described insulator string intermediate coordinates and virtual line extension direction information, extends from the insulator string intermediate coordinates in the virtual line extension direction, and is set at the intersection with the boundary of the power line flight restriction area.

フライト情報記憶部168は、例えば支持物、電力線などの点検等を目的とするフライトにおいて用いられるフライト情報を記憶している。フライト情報は、例えば、飛行経路情報(ウェイポイント情報を含む)、飛行速度、飛行高度、撮像画像のオーバーラップ率、フライト時取得情報(例えば、画像情報や映像情報等)などを含む。 The flight information storage unit 168 stores flight information used in flights for the purpose of, for example, inspecting supports, power lines, and the like. The flight information includes, for example, flight route information (including waypoint information), flight speed, flight altitude, overlap rate of captured images, information obtained during flight (eg, image information, video information, etc.), and the like.

フライト実行部180は、フライト情報記憶部168に記憶された各種フライト情報に基づき、点検等を目的とするフライトを実行する。 The flight execution unit 180 executes a flight for inspection or the like based on various flight information stored in the flight information storage unit 168 .

ウェイポイント修正部190は、部材撮影ウェイポイントと、碍子撮影ウェイポイントの少なくともいずれか一方のウェイポイントの位置を支持物飛行制限領域に基づき修正する。支持物飛行制限領域は、例えば支持物の中心座標から所定距離の半径を有する円形の支持物飛行制限領域を設定してもよいし、ユーザがユーザ端末2上に表示される地図情報に対して支持物飛行制限領域を設定する設定操作により設定してもよいが、これに限らず、少なくとも主柱材部も含む支持物が存在する領域またはその周辺領域が設定可能であれば、領域を設定する既知の方法を採用してもよい。所定距離の半径は、支持物から十分に離れた距離であれば何れの距離であってもよいが、例えば支持物の中心座標から四隅の主柱材の角座標までの半対角線の長さを算出し(例えば、支持物形状が平面的に正方形である場合には、四隅の主柱材の一辺の寸法から算出)、これに安全離隔距離を加えた長さを半径としてもよい。そして、部材撮影ウェイポイントまたは碍子撮影ウェイポイントの少なくとも何れかが当該支持物領域内に存在する場合には、ウェイポイント修正部190により、支持物飛行制限領域境界上に該当するウェイポイント位置を修正する(例えば、最も近接する支持物飛行制限領域境界上に移動させたり、撮影対象となる部材もしくは碍子、または支持物の中心座標から該当ウェイポイントまでの仮想直線を延長した延長仮想直線と支持物飛行制限領域境界との交点に移動させたりする、など)。 A waypoint correcting unit 190 corrects the position of at least one of the member photographing waypoint and the insulator photographing waypoint based on the support object flight restriction area. For the support flight restriction area, for example, a circular support flight restriction area having a radius of a predetermined distance from the center coordinates of the support may be set. Although it may be set by a setting operation for setting the support flight restriction area, it is not limited to this, and if it is possible to set the area where the support including at least the main pillar part exists or its peripheral area, the area can be set. You may employ the known method which carries out. The radius of the predetermined distance may be any distance as long as it is sufficiently distant from the support. The radius may be calculated (for example, if the shape of the support is square in plan, calculated from the dimensions of one side of the main pillars at the four corners), and the length obtained by adding the safe separation distance to the radius. Then, if at least one of the member shooting waypoint and the insulator shooting waypoint exists within the support region, the waypoint correction unit 190 corrects the position of the waypoint corresponding to the boundary of the support flight restriction region. (For example, move the nearest support on the flight restriction area boundary, or extend the virtual straight line from the center coordinates of the member or insulator to be photographed, or the support to the corresponding waypoint and the support move it to the intersection with the flight restriction area boundary, etc.).

<部材撮影ウェイポイント設定方法の一例>
図8-図10を参照して、本実施形態にかかる部材撮影ウェイポイント設定方法について、本実施の形態における情報処理システムの動作も含めて説明する。図8には、本実施形態にかかる部材撮影ウェイポイント設定方法のフローチャートが例示されている。図9及び図10は、本発明の実施の形態にかかる部材撮影ウェイポイント設定方法における構成を示すための概念図の一例である。以下、主として支持物Xを例に説明する。
<Example of how to set waypoints for photographing parts>
A member photographing waypoint setting method according to the present embodiment will be described with reference to FIGS. 8 to 10, including the operation of the information processing system according to the present embodiment. FIG. 8 exemplifies a flowchart of a member photographing waypoint setting method according to the present embodiment. FIGS. 9 and 10 are examples of conceptual diagrams showing the configuration of the member photographing waypoint setting method according to the embodiment of the present invention. Hereinafter, the support X will be mainly described as an example.

まず、図9に例示されるように、管理サーバ1は、主柱材座標取得部110により、電力線が取り付けられる腕金及び碍子に接続され、支持物において鉛直方向に延びる主柱材に関する主柱材座標(少なくとも水平な二次元座標での位置)を支持物関連情報記憶部162から取得する(SQ101)。 First, as exemplified in FIG. 9 , the management server 1 uses the main pillar coordinate acquisition unit 110 to connect to cross arms and insulators to which power lines are attached, and main pillars related to main pillars extending in the vertical direction on the support. Material coordinates (at least positions in horizontal two-dimensional coordinates) are obtained from the support-related information storage unit 162 (SQ101).

次に、図9に例示されるように、管理サーバ1は、二等分点座標設定部120により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を算出して設定し、支持物関連情報記憶部162に記憶する(SQ102)。 Next, as exemplified in FIG. 9, the management server 1 uses the bisecting point coordinate setting unit 120 to calculate the bisecting point coordinates between the main post coordinates of the two main posts at an arbitrary height. , and stored in the support-related information storage unit 162 (SQ102).

次に、図10に例示されるように、管理サーバ1は、ウェイポイント設定部170により、上述の二等分点座標及び主柱材座標を取得し、二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸し、電力線飛行制限領域の境界との交点に部材撮影ウェイポイントを設定する(SQ103)。 Next, as exemplified in FIG. 10, the management server 1 acquires the above-mentioned bisecting point coordinates and main pillar coordinates by waypoint setting unit 170, and from the bisecting point coordinates to both ends of the opposite side The imaginary line to the coordinates of the two main pillars is further extended, and the member photographing waypoint is set at the intersection with the boundary of the power line flight restriction area (SQ103).

<碍子撮影ウェイポイント設定方法の一例>
図11-図14を参照して、本実施形態にかかる碍子撮影ウェイポイント設定方法について、本実施の形態における情報処理システムの動作も含めて説明する。図11には、本実施形態にかかる碍子撮影ウェイポイント設定方法のフローチャートが例示されている。図12-図14は、本発明の実施の形態にかかる碍子撮影ウェイポイント設定方法における構成を示すための概念図の一例である。以下、主として支持物Xを例に説明する。
<An example of how to set an insulator shooting waypoint>
A method for setting an insulator photographing waypoint according to the present embodiment will be described with reference to FIGS. 11 to 14, including the operation of the information processing system according to the present embodiment. FIG. 11 illustrates a flowchart of the insulator photographing waypoint setting method according to the present embodiment. 12 to 14 are examples of conceptual diagrams showing the configuration of the insulator photographing waypoint setting method according to the embodiment of the present invention. Hereinafter, the support X will be mainly described as an example.

まず、図12に例示されるように、管理サーバ1は、碍子連中間座標取得部140により、碍子関連情報記憶部164から碍子連の長さ情報を取得して碍子連二等分長さ情報を算出し、支持物関連情報記憶部162から取得した隣接する2つの支持物の腕金の電力線取付位置に関する支持物座標(例えば、腕金の先端から下がる電力線を支持する懸垂碍子の取付点の少なくとも水平な二次元座標等)から電力線の延伸方向情報を算出し、支持物座標から電力線の延伸方向に碍子連二等分長さ分だけ移動した位置を碍子連中間座標として算出し、当該碍子連中間座標情報を碍子関連情報記憶部164に記憶する(SQ201)。 First, as exemplified in FIG. 12, the management server 1 uses the insulator string intermediate coordinate acquisition unit 140 to obtain the insulator string length information from the insulator related information storage unit 164, and obtains the insulator string bisection length information. is calculated, and the support coordinates related to the power line mounting position of the cross arm of two adjacent supports acquired from the support related information storage unit 162 (for example, the attachment point of the suspension insulator that supports the power line descending from the tip of the cross arm At least horizontal two-dimensional coordinates, etc.) to calculate the extension direction information of the power line, and the position moved from the supporting object coordinates to the extension direction of the power line by the insulator string bisection length is calculated as the insulator string intermediate coordinate, and the insulator string is calculated. The connection intermediate coordinate information is stored in the insulator related information storage unit 164 (SQ201).

次に、図13に例示されるように、管理サーバ1は、仮想線延伸方向設定部150により、碍子連中間座標から電力線に対して所定の角度(例えば、45度など)をなす仮想線をプラス側及びマイナス側の両方向に所定長さの位置まで延伸させ、当該両位置のうち電力線領域に含まれていない位置へ延伸する方向を仮想線延伸方向情報として碍子関連情報記憶部164に記憶して設定する(SQ202)。 Next, as exemplified in FIG. 13, the management server 1 uses the virtual line extension direction setting unit 150 to create a virtual line that forms a predetermined angle (for example, 45 degrees) with respect to the power line from the intermediate coordinates of the insulator string. The insulator-related information storage unit 164 stores, as virtual wire extending direction information, extending to a position of a predetermined length in both the positive and negative directions, and extending to a position not included in the power line area among the two positions. (SQ202).

次に、図14に例示されるように、管理サーバ1は、ウェイポイント設定部170により、上述の碍子連中間座標及び仮想線延伸方向情報を取得し、碍子連中間座標から仮想線延伸方向へ延伸し、電力線飛行制限領域の境界との交点に設定される(SQ203)。 Next, as exemplified in FIG. 14 , the management server 1 uses the waypoint setting unit 170 to acquire the above-mentioned insulator string intermediate coordinates and virtual line extending direction information, and It is extended and set at the intersection with the boundary of the power line flight restriction area (SQ203).

<ウェイポイント修正方法の一例>
図15-図17を参照して、本実施形態にかかるウェイポイント修正方法について、本実施の形態における情報処理システムの動作も含めて説明する。図15には、本実施形態にかかるウェイポイント設定方法のフローチャートが例示されている。以下、主として支持物Xを例に説明する。
<Example of waypoint correction method>
A waypoint correction method according to the present embodiment will be described with reference to FIGS. 15 to 17, including the operation of the information processing system according to the present embodiment. FIG. 15 illustrates a flowchart of a waypoint setting method according to this embodiment. Hereinafter, the support X will be mainly described as an example.

まず、図15に例示されるように、管理サーバ1は、ウェイポイント設定部170により、上述のとおり、支持物を構成する部材に関する取得情報(例えば、画像情報や映像情報等)を取得するための部材撮影ウェイポイントと、支持物の腕金先端近辺に設置されている碍子に関する取得情報(例えば、画像情報や映像情報等)を取得するための碍子撮影ウェイポイントとを少なくとも含むウェイポイントを電力線飛行制限領域の境界上に設定し、フライト情報記憶部168に記憶する(SQ301)。 First, as exemplified in FIG. 15, the management server 1 uses the waypoint setting unit 170 to acquire acquisition information (for example, image information, video information, etc.) related to the members constituting the support as described above. and an insulator photography waypoint for obtaining acquisition information (for example, image information, video information, etc.) related to the insulator installed near the tip of the cross arm of the power line. It is set on the boundary of the flight restriction area and stored in the flight information storage unit 168 (SQ301).

ここで、部材撮影ウェイポイントまたは碍子撮影ウェイポイントの少なくとも何れかにおいて、支持物の下部側から情報を取得する際に、支持物は上側から下側にかけて末広がり形状の四隅の主柱材(いわゆる、根開き)となっている場合に飛行体4が近接しすぎてしまう恐れがあり得る。 Here, in at least one of the member shooting waypoint and the insulator shooting waypoint, when acquiring information from the lower side of the support, the support has four main pillars (so-called When the root is open), there is a possibility that the flying object 4 may come too close.

そこで、このような場合には、図16-図17に例示されるように、管理サーバ1は、ウェイポイント修正部190により、部材撮影ウェイポイントまたは碍子撮影ウェイポイントの少なくとも何れか一方を修正する(SQ302)。より具体的には、まず、例えば支持物の中心座標から所定距離の半径を有する円形の支持物領域を設定してもよいし、ユーザがユーザ端末2上に表示される地図情報に対して支持物領域を設定する設定操作により設定してもよいが、これに限らず、少なくとも四隅の主柱材も含む支持物が存在する領域またはその周辺領域が設定可能であれば、領域を設定する既知の方法を採用してもよい。所定距離の半径は、支持物から十分に離れた距離であれば何れの距離であってもよいが、例えば支持物の中心座標から四隅の主柱材の角座標までの半対角線の長さを算出し(例えば、支持物形状が平面的に正方形である場合には、四隅の主柱材の一辺の寸法から算出)、これに安全離隔距離を加えた長さを半径としてもよい。そして、部材撮影ウェイポイントまたは碍子撮影ウェイポイントの少なくとも何れかが当該支持物領域内に存在する場合には、図17に例示されるように、ウェイポイント修正部190により、支持物領域境界上に該当するウェイポイント位置を修正する(例えば、最も近接する支持物領域境界上に移動させたり、撮影対象となる部材もしくは碍子、または支持物の中心座標から該当ウェイポイントまでの仮想直線を延長した延長仮想直線と支持物領域境界との交点に移動させたりする、など)。 Therefore, in such a case, as illustrated in FIGS. 16 and 17, the management server 1 corrects at least one of the member photographing waypoint and the insulator photographing waypoint by the waypoint correction unit 190. (SQ302). More specifically, first, for example, a circular support region having a radius of a predetermined distance from the center coordinates of the support may be set, or the user may specify the map information displayed on the user terminal 2 as a support region. It may be set by a setting operation for setting the object area, but it is not limited to this. method may be adopted. The radius of the predetermined distance may be any distance as long as it is sufficiently distant from the support. The radius may be calculated (for example, if the shape of the support is square in plan, calculated from the dimensions of one side of the main pillars at the four corners), and the length obtained by adding the safe separation distance to the radius. Then, when at least one of the member photographing waypoint and the insulator photographing waypoint exists within the support region, the waypoint correction unit 190, as illustrated in FIG. Modify the corresponding waypoint position (e.g., move it onto the nearest support area boundary, or extend an imaginary straight line from the center coordinates of the member or insulator being filmed or the support to the corresponding waypoint) move it to the intersection of the imaginary straight line and the support area boundary, etc.).

このように、本発明は、上述のウェイポイント設定方法を用いて、支持物を構成する碍子及び部材を撮影するためのウェイポイントを簡便かつ適切に設定するウェイポイント設定方法等を提供する。 Thus, the present invention provides a waypoint setting method and the like for simply and appropriately setting waypoints for photographing insulators and members that constitute a support, using the above-described waypoint setting method.

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。 The above-described embodiments are merely examples for facilitating understanding of the present invention, and are not intended to limit and interpret the present invention. It goes without saying that the present invention can be modified and improved without departing from its spirit, and that equivalents thereof are included in the present invention.

1 管理サーバ
2 ユーザ端末
4 飛行体


1 management server 2 user terminal 4 aircraft


Claims (7)

電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントをコンピュータにより設定するウェイポイント設定方法であって、
前記コンピュータに対して、
碍子連中間座標取得部により、碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出するステップと、
仮想線延伸方向設定部により、前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定するステップと、
主柱材座標取得部により、前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得するステップと、
二等分点座標設定部により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定するステップと、
ウェイポイント設定部により、前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定するステップと、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するステップと、
を実行させる、
ことを特徴とするウェイポイント設定方法。
A waypoint setting method for setting, by a computer, waypoints for photographing insulators and members constituting a support for supporting a power line,
to said computer,
a step of calculating intermediate coordinates of the insulator string based on the information on the bisection length of the insulator string and the information on the extension direction of the power line, by an insulator string intermediate coordinate obtaining unit;
A virtual line extending direction setting unit extends a virtual line forming a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string in both the positive side and the negative side, and in the two directions, the support is closer to the power line than the power line. a step of setting, as virtual line extension direction information, a direction in which the virtual line extends in a direction that does not overlap the power line area indicating the area of
a main pillar coordinate acquisition unit acquiring main pillar coordinates related to a main pillar connected to a cross arm and an insulator to which the power line is attached and extending in the vertical direction in the support;
a step of setting bisecting point coordinates between main post coordinates for two main posts at an arbitrary height by a bisecting point coordinate setting unit;
acquiring the insulator string intermediate coordinates and the virtual line extending direction information by a waypoint setting unit, and setting an insulator photographing waypoint on a virtual line extending from the insulator string intermediate coordinates in the virtual line extending direction; Acquire the bisected point coordinates and the main pillar coordinates, and set the member shooting waypoint on the virtual line further extending the virtual line from the bisected point coordinates to the two main pillar coordinates located at both ends of the opposite side. and
to run
A waypoint setting method characterized by:
前記碍子連二等分長さ情報は、碍子関連情報記憶部から取得した碍子連の長さ情報に基づき算出する、
ことを特徴とする請求項1に記載のウェイポイント設定方法。
The insulator string bisection length information is calculated based on the insulator string length information acquired from the insulator related information storage unit.
The waypoint setting method according to claim 1, characterized in that:
前記電力線の延伸方向情報は、隣接する2つの支持物の腕金の電力線取付位置に関する支持物座標に基づき算出する、
ことを特徴とする請求項1または2のいずれかに記載のウェイポイント設定方法。
The extension direction information of the power line is calculated based on the coordinates of the support regarding the power line mounting position of the cross arm of two adjacent supports.
3. The waypoint setting method according to claim 1 or 2, characterized in that:
請求項1ないし3のいずれかに記載のウェイポイント設定方法により設定されるウェイポイントを前記コンピュータにより修正するウェイポイント修正方法であって、
前記ウェイポイントが前記支持物からの所定距離範囲に含まれる場合、ウェイポイント修正部により、該当するウェイポイントを前記支持物から所定距離範囲の境界上又は前記境界の外に移動させるステップをさらに含む、
ことを特徴とするウェイポイント修正方法。
A waypoint correction method for correcting a waypoint set by the waypoint setting method according to any one of claims 1 to 3 by the computer,
The method further includes, if the waypoint is within a predetermined distance range from the support, moving the corresponding waypoint to a boundary of the predetermined distance range from the support or outside the boundary by the waypoint correction unit. ,
A waypoint correction method characterized by:
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを管理サーバであって、
碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出する碍子連中間座標取得部と、
前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定する仮想線延伸方向設定部と、
前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得する主柱材座標取得部と、
任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定する二等分点座標設定部と、
前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定し、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するウェイポイント設定部と、を備える、
ことを特徴とする管理サーバ。
A management server for managing waypoints for photographing insulators and members constituting supports that support power lines,
an insulator string intermediate coordinate acquisition unit that calculates insulator string intermediate coordinates based on the insulator string bisection length information and the extension direction information of the power line;
A virtual line that forms a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string is extended in both the positive and negative directions, and is superimposed on the power line area indicating the area closer to the support than the power line in both directions. a virtual line extension direction setting unit that sets a direction in which the virtual line extends in a non-directional direction as virtual line extension direction information;
a main pillar coordinate acquisition unit connected to the cross arm and the insulator to which the power line is attached and acquiring the main pillar coordinates related to the main pillar extending in the vertical direction in the support;
a bisecting point coordinate setting unit for setting bisecting point coordinates between main pillar coordinates for two main pillars at an arbitrary height;
The insulator string intermediate coordinates and the virtual line extension direction information are acquired, an insulator shooting waypoint is set on a virtual line extending from the insulator string intermediate coordinates in the virtual line extension direction, and the bisecting point coordinates and the main column are set. a waypoint setting unit that acquires member coordinates and sets a member shooting waypoint on a virtual line further extending the virtual line from the bisecting point coordinates to the two main column member coordinates located at both ends of the opposite side; prepare
A management server characterized by:
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを設定する情報処理システムであって、
碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出する碍子連中間座標取得部と、
前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定する仮想線延伸方向設定部と、
前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得する主柱材座標取得部と、
任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定する二等分点座標設定部と、
前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定し、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するウェイポイント設定部と、を備える、
ことを特徴とする情報処理システム。
An information processing system for setting waypoints for photographing insulators and members constituting supports that support power lines,
an insulator string intermediate coordinate acquisition unit that calculates insulator string intermediate coordinates based on the insulator string bisection length information and the extension direction information of the power line;
A virtual line that forms a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string is extended in both the positive and negative directions, and is superimposed on the power line area indicating the area closer to the support than the power line in both directions. a virtual line extension direction setting unit that sets a direction in which the virtual line extends in a non-directional direction as virtual line extension direction information;
a main pillar coordinate acquisition unit connected to the cross arm and the insulator to which the power line is attached and acquiring the main pillar coordinates related to the main pillar extending in the vertical direction in the support;
a bisecting point coordinate setting unit for setting bisecting point coordinates between main pillar coordinates for two main pillars at an arbitrary height;
The insulator string intermediate coordinates and the virtual line extension direction information are acquired, an insulator shooting waypoint is set on a virtual line extending from the insulator string intermediate coordinates in the virtual line extension direction, and the bisecting point coordinates and the main column are set. a waypoint setting unit that acquires member coordinates and sets a member shooting waypoint on a virtual line further extending the virtual line from the bisecting point coordinates to the two main column member coordinates located at both ends of the opposite side; prepare
An information processing system characterized by:
電力線を支持する支持物を構成する碍子及び部材を撮影するためのウェイポイントを設定するウェイポイント設定方法をコンピュータに実行させるプログラムであって、
前記コンピュータに対して、
碍子連中間座標取得部により、碍子連二等分長さ情報及び電力線の延伸方向情報に基づき、碍子連中間座標を算出するステップと、
仮想線延伸方向設定部により、前記碍子連中間座標から前記電力線に対して所定の角度をなす仮想線をプラス側及びマイナス側の両方向に延伸させ、当該両方向のうち前記電力線よりも前記支持物側の領域を示す電力線領域に重ならない方向へ延伸する方向を仮想線延伸方向情報として設定するステップと、
主柱材座標取得部により、前記電力線が取り付けられる腕金及び碍子に接続され、前記支持物において鉛直方向に延びる主柱材に関する主柱材座標を取得するステップと、
二等分点座標設定部により、任意高さにおける2つの主柱材に関する主柱材座標間の二等分点座標を設定するステップと、
ウェイポイント設定部により、前記碍子連中間座標及び前記仮想線延伸方向情報を取得し、当該碍子連中間座標から仮想線延伸方向へ延伸した仮想線上に碍子撮影ウェイポイントを設定するステップと、前記二等分点座標及び前記主柱材座標を取得し、当該二等分点座標から対辺の両端に位置する2つの主柱材座標への仮想線をさらに延伸した仮想線上に部材撮影ウェイポイントを設定するステップと、
を実行させる、
ことを特徴とするプログラム。

A program for causing a computer to execute a waypoint setting method for setting waypoints for photographing insulators and members constituting supports that support a power line,
to said computer,
a step of calculating intermediate coordinates of the insulator string based on the information on the bisection length of the insulator string and the information on the extension direction of the power line, by an insulator string intermediate coordinate obtaining unit;
A virtual line extending direction setting unit extends a virtual line forming a predetermined angle with respect to the power line from the intermediate coordinates of the insulator string in both the positive side and the negative side, and in the two directions, the support is closer to the power line than the power line. a step of setting, as virtual line extension direction information, a direction in which the virtual line extends in a direction that does not overlap the power line area indicating the area of
a main pillar coordinate acquisition unit acquiring main pillar coordinates related to a main pillar connected to a cross arm and an insulator to which the power line is attached and extending in the vertical direction in the support;
a step of setting bisecting point coordinates between main post coordinates for two main posts at an arbitrary height by a bisecting point coordinate setting unit;
acquiring the insulator string intermediate coordinates and the virtual line extending direction information by a waypoint setting unit, and setting an insulator photographing waypoint on a virtual line extending from the insulator string intermediate coordinates in the virtual line extending direction; Acquire the bisected point coordinates and the main pillar coordinates, and set the member shooting waypoint on the virtual line further extending the virtual line from the bisected point coordinates to the two main pillar coordinates located at both ends of the opposite side. and
to run
A program characterized by

JP2021113096A 2021-07-07 2021-07-07 Waypoint setting method and waypoint correction method, management server, information processing system, program Active JP6978026B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021113096A JP6978026B1 (en) 2021-07-07 2021-07-07 Waypoint setting method and waypoint correction method, management server, information processing system, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021113096A JP6978026B1 (en) 2021-07-07 2021-07-07 Waypoint setting method and waypoint correction method, management server, information processing system, program

Publications (2)

Publication Number Publication Date
JP6978026B1 JP6978026B1 (en) 2021-12-08
JP2023009643A true JP2023009643A (en) 2023-01-20

Family

ID=78815552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021113096A Active JP6978026B1 (en) 2021-07-07 2021-07-07 Waypoint setting method and waypoint correction method, management server, information processing system, program

Country Status (1)

Country Link
JP (1) JP6978026B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037314B2 (en) * 2010-06-21 2015-05-19 Optimal Ranging, Inc. UAV power line position and load parameter estimation
JP6668654B2 (en) * 2015-09-25 2020-03-18 東京電力ホールディングス株式会社 Air route calculation device and air route calculation method
US11029352B2 (en) * 2016-05-18 2021-06-08 Skydio, Inc. Unmanned aerial vehicle electromagnetic avoidance and utilization system
US10580310B2 (en) * 2016-07-11 2020-03-03 Izak Jan van Cruyningen UAV routing in utility rights of way

Also Published As

Publication number Publication date
JP6978026B1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
WO2020102927A1 (en) Photographing method and unmanned aerial vehicle
WO2019223270A1 (en) Method and apparatus for estimating angle and angular velocity of electric motor of gimbal, and gimbal and aerial vehicle
WO2018120351A1 (en) Method and device for positioning unmanned aerial vehicle
WO2021199449A1 (en) Position calculation method and information processing system
US20200142762A1 (en) Inter-core communication method, processor and multi-processor communication system
KR20190104940A (en) Controller for Unmanned Aerial Vehicle
WO2020042159A1 (en) Rotation control method and apparatus for gimbal, control device, and mobile platform
JP6991525B1 (en) Waypoint height coordinate setting method and management server, information processing system, program
JP6730763B1 (en) Flight body flight path creation method and management server
JP7149569B2 (en) Building measurement method
JP2023009643A (en) Waypoint setting method, waypoint correction method, management server, information processing system, and program
JP6934646B1 (en) Flight restriction area setting method, waypoint setting method and management server, information processing system, program
WO2022264413A1 (en) Mobile body movement path generation method and program, management server, and management system
JP7418727B1 (en) Information processing method, information processing system and program
JP7401068B1 (en) Information processing system, information processing method and program
JP6684012B1 (en) Information processing apparatus and information processing method
JP2021104802A (en) Flight route display device of flight body and information processing device
JP6601810B1 (en) Aircraft guidance method, guidance device, and guidance system
JP2021068426A (en) Method of creating flight route for flying object and management server
JP7228311B1 (en) Information processing system, information processing method, program, server
JP7370045B2 (en) Dimension display system and method
JP2020123218A (en) Photographing method
WO2021049508A1 (en) Dimension display system, and dimension display method
JP6899108B1 (en) Instrument reading method and management server, instrument reading system, program
JPWO2020065719A1 (en) Aircraft

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R150 Certificate of patent or registration of utility model

Ref document number: 6978026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350