JP2011178186A - Landing guide device and method - Google Patents
Landing guide device and method Download PDFInfo
- Publication number
- JP2011178186A JP2011178186A JP2010041443A JP2010041443A JP2011178186A JP 2011178186 A JP2011178186 A JP 2011178186A JP 2010041443 A JP2010041443 A JP 2010041443A JP 2010041443 A JP2010041443 A JP 2010041443A JP 2011178186 A JP2011178186 A JP 2011178186A
- Authority
- JP
- Japan
- Prior art keywords
- image
- landing
- guide
- camera
- airframe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、着陸ガイド装置および着陸ガイド方法に関し、特に、航空機が着陸するときに利用される着陸ガイド装置および着陸ガイド方法に関する。 The present invention relates to a landing guide device and a landing guide method, and more particularly to a landing guide device and a landing guide method that are used when an aircraft is landing.
機体の上に回転翼をもち、垂直の上昇・降下や前進後退、空中停止、垂直離着陸などが可能であるヘリコプターが知られている。そのヘリコプターの操縦者は、着陸時に、着陸地点の状況を確認することが必要になる場合があり、このとき、その着陸地点の状況を肉眼により確認することがある。 Helicopters are known that have rotor blades on the airframe and can be used for vertical ascending / descending, moving forward and backward, stopping in the air, and taking off and landing. The pilot of the helicopter may need to check the status of the landing point at the time of landing, and at this time, the status of the landing point may be checked with the naked eye.
ヘリコプターの下方を撮影するカメラが装備されているヘリコプターが知られている。このようなヘリコプターによれば、操縦者は、そのカメラにより撮影された画像を観察することにより着陸地点の状況を確認することができる。その画像は、より容易に撮影されることが望まれ、着陸地点の状況をよりわかり易く映していることが望まれている。 Helicopters are known that are equipped with a camera that captures the area below the helicopter. According to such a helicopter, the operator can confirm the status of the landing point by observing an image taken by the camera. The image is desired to be taken more easily, and it is desired that the situation at the landing point is more clearly shown.
特許第2613329号公報には、到達可能範囲と着陸候補地点について、適切に支援することによってパイロットの作業の軽減、判断の補助をおこない、オートローテーション着陸の安全性を向上させるオートローテーション着陸支援システムが開示されている。そのオートローテーション着陸支援システムは、回転翼航空機がオートローテーション状態で緊急着陸を行なう際に、パイロットに対して必要な情報を提供するオートローテーション着陸支援システムにおいて、自機の飛行している位置を検出する自機位置検出手段と、画像表示装置と、該画像表示装置に地図を表示するための地形等のデータベースと、前記画像表示装置に着陸可能な場所を表示するための着陸候補地点データベースと、自機速度、高度、昇降率などの飛行状態を示すパラメータの値からオートローテーションで到達可能な範囲を演算する到達可能範囲演算手段と、前記自機位置検出装置により検出された自機位置、前記地形等データベースから取り出された地形、前記着陸候補地点データベースから取り出された着陸候補地点及び前記到達可能範囲演算手段により算出された到達可能範囲の各データを前記画像表示装置に重ねて表示する表示処理手段とを有し、検出された自機位置に基づいて、自機位置周辺の地形データを前記地形等データベースから取り出すとともに、前記到達可能範囲演算手段により算出された到達可能範囲内にある着陸候補地点データを前記着陸候補地点データベースから取り出し、該取り出された自機周辺の地形図及び到達可能範囲内にある着陸候補地点を前記自機位置及び到達可能範囲とともに前記画像表示装置に重ねて表示することを特徴としている。 Japanese Patent No. 2613329 discloses an autorotation landing support system that improves the safety of autorotation landing by reducing pilot work and assisting judgment by appropriately supporting the reachable range and landing candidate points. It is disclosed. The autorotation landing support system detects the position where the aircraft is flying in an autorotation landing support system that provides necessary information to the pilot when a rotorcraft performs emergency landing in an autorotation state. Own position detection means, an image display device, a database such as terrain for displaying a map on the image display device, a landing candidate point database for displaying a place where the image display device can land, Reachable range calculating means for calculating a reachable range by autorotation from the values of parameters indicating the flight state such as the own aircraft speed, altitude, elevating rate, the own aircraft position detected by the own aircraft position detecting device, Topography extracted from the terrain database, landing candidates extracted from the landing candidate point database Display processing means for displaying each point and the data of the reachable range calculated by the reachable range calculating means on the image display device, and based on the detected position of the own machine, Terrain data is extracted from the terrain data database, landing candidate point data within the reachable range calculated by the reachable range calculation means is extracted from the landing candidate point database, and the extracted terrain around the aircraft The figure and landing candidate points within the reachable range are displayed together with the position of the aircraft and the reachable range on the image display device.
実開昭63−134900号公報には、ヘリコプター離着陸の際搭乗員が機体構造による死角のない良好な下方視界の確認ができ、更には下方視認透明窓を廃止して機体構造の単純化、機体電磁遮断効果の向上をも期することができるヘリコプター下方視界表示装置が開示されている。そのヘリコプター下方視界表示装置は、操縦室床下の機体下部外板に光学装置を機体外へ向けて装着されその光学軸が機軸に対し直角下方を指向して下方視野像を撮影したうえ電気信号に変換する下方視界撮影装置と、操縦室の搭乗員正規着座位置前に設置され上記下方視界撮影装置からの電気信号を作画表示する下方視界制御表示装置と、上記撮影装置、制御表示装置間を接続し前者の電気信号を後者へ伝達する電気信号伝達ケーブルとを具えたことを特徴としている。 In Japanese Utility Model Publication No. 63-134900, a crew member can confirm a good downward field of view without a blind spot due to a helicopter take-off and landing, and further simplify the airframe structure by eliminating the downward visible transparent window. A helicopter downward view display device capable of improving the electromagnetic shielding effect is disclosed. The helicopter downward view display device is mounted on the outer skin of the fuselage under the cockpit floor with the optical device facing the outside of the fuselage, and the optical axis is directed at a right angle to the aircraft axis to capture the lower visual field image and to generate an electrical signal. Connected between the imaging device and the control display device, the lower vision imaging device to be converted, the lower vision control display device that is installed in front of the crew seat regular seating position in the cockpit and displays the electrical signal from the lower vision imaging device The electric signal transmission cable transmits the former electric signal to the latter.
特開平05−254373号公報には、後方視界を有し、安全でパイロットの作業負担が軽減されたヘリコプターが開示されている。そのヘリコプターは、その先端部が胴体の前上方に位置するよう胴体から突出した状態で固定されている支持装置と、同支持装置の先端部に固定された後方視界用ミラーとを備えたことを特徴としている。 Japanese Patent Application Laid-Open No. 05-254373 discloses a helicopter that has a rear view and is safe and less burdensome on the pilot. The helicopter is provided with a support device that is fixed in a state of protruding from the fuselage so that the front end portion is located at the front upper side of the fuselage, and a rear view mirror that is fixed to the front end portion of the support device. It is a feature.
本発明の課題は、より軽量である着陸ガイド装置および着陸ガイド方法を提供することにある。
本発明の他の課題は、より安価に作製される着陸ガイド装置および着陸ガイド方法を提供することにある。
本発明のさらに他の課題は、機体の着陸地点の状況をよりわかり易く示す着陸ガイド装置および着陸ガイド方法を提供することにある。
本発明のさらに他の課題は、機体の着陸地点の状況をより安定して示す着陸ガイド装置および着陸ガイド方法を提供することにある。
An object of the present invention is to provide a landing guide device and a landing guide method that are lighter.
Another object of the present invention is to provide a landing guide device and a landing guide method that are manufactured at a lower cost.
Still another object of the present invention is to provide a landing guide device and a landing guide method that make it easier to understand the situation of the landing point of the aircraft.
Still another object of the present invention is to provide a landing guide device and a landing guide method that more stably indicate the status of the landing point of the aircraft.
以下に、発明を実施するための形態・実施例で使用される符号を括弧付きで用いて、課題を解決するための手段を記載する。この符号は、特許請求の範囲の記載と発明を実施するための形態・実施例の記載との対応を明らかにするために付加されたものであり、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。 In the following, means for solving the problems will be described using the reference numerals used in the modes and examples for carrying out the invention in parentheses. This symbol is added to clarify the correspondence between the description of the claims and the description of the modes and embodiments for carrying out the invention. Do not use to interpret the technical scope.
本発明による着陸ガイド装置は、機体(2)に固定されるカメラ(5)と、機体(2)の傾きを測定する機体センサ(6)と、カメラ(5)により撮影されるカメラ画像(21)とその傾きとに基づいてガイド画像(31、41)を作成するガイド画像作成装置(10)とを備えている。このとき、ガイド画像(31、41)は、カメラ画像(21)を表示し、機体(2)から所定方向に配置される着陸候補領域(22)が映る位置を示すように作成される。このような着陸ガイド装置は、機体(2)に対してカメラ(5)を移動させることなく、機体(2)から所定方向に配置される着陸候補領域(22)の状況をより正確にユーザに示すことができる。このような着陸ガイド装置は、さらに、機体(2)から所定方向に配置される着陸候補領域(22)がカメラ画像の中央に映るようにカメラを機体(2)に対して移動させるジンバルを備えている他の着陸ガイド装置に比較して、より容易に、より軽量に、より安価に作製されることができる。 The landing guide device according to the present invention includes a camera (5) fixed to the airframe (2), an airframe sensor (6) for measuring the inclination of the airframe (2), and a camera image (21) taken by the camera (5). ) And its inclination, a guide image creation device (10) for creating a guide image (31, 41) is provided. At this time, the guide image (31, 41) is created so as to display the camera image (21) and indicate the position where the landing candidate area (22) arranged in a predetermined direction from the airframe (2) is reflected. Such a landing guide device allows the user to more accurately determine the status of the landing candidate area (22) arranged in a predetermined direction from the airframe (2) without moving the camera (5) relative to the airframe (2). Can show. Such a landing guide device further includes a gimbal that moves the camera relative to the airframe (2) so that the landing candidate area (22) arranged in a predetermined direction from the airframe (2) is reflected in the center of the camera image. Compared to other landing guide devices, it can be made easier, lighter and cheaper.
ガイド画像(31、41)は、ガイド画像(31、41)のうちの所定位置に着陸候補領域の像(32、42)が表示されるように、たとえば、ガイド画像(31、41)の中央に着陸候補領域の像(32、42)が表示されるように、作成されることが好ましい。 For example, the guide image (31, 41) is displayed at the center of the guide image (31, 41) so that the landing candidate region image (32, 42) is displayed at a predetermined position of the guide image (31, 41). It is preferable that the landing candidate region image (32, 42) is displayed on the screen.
ガイド画像(31、41)は、着陸候補領域(22)が映る位置に機体シンボル(33、43)がさらに表示されるように作成される。すなわち、ガイド画像(31、41)は、着陸候補領域の像(32、42)に機体シンボル(33、43)を重畳して表示していることが好ましい。 The guide images (31, 41) are created so that the aircraft symbol (33, 43) is further displayed at the position where the landing candidate area (22) is reflected. That is, it is preferable that the guide image (31, 41) is displayed by superimposing the aircraft symbol (33, 43) on the image (32, 42) of the landing candidate area.
本発明による着陸ガイド装置は、機体(2)の対地高度を測定する高度センサ(7)をさらに備えている。このとき、機体シンボル(33、43)は、その対地高度に対応する大きさでガイド画像(31、41)に表示される。このような着陸ガイド装置は、着陸候補領域(22)の大きさをよりわかり易くユーザに示すことができ、たとえば、機体(2)が着陸候補領域(22)に着陸したときに、機体(2)が占める領域の大きさをよりわかり易くユーザに示すことができる。 The landing guide apparatus according to the present invention further includes an altitude sensor (7) for measuring the ground altitude of the airframe (2). At this time, the body symbol (33, 43) is displayed on the guide image (31, 41) in a size corresponding to the ground altitude. Such a landing guide device can more easily show the size of the landing candidate area (22) to the user. For example, when the airframe (2) has landed in the landing candidate area (22), the airframe (2) The size of the area occupied by can be shown to the user more easily.
本発明による着陸ガイド装置は、ガイド画像(31、41)を表示している表示装置(8)をさらに備えていることが好ましい。 The landing guide device according to the present invention preferably further includes a display device (8) displaying guide images (31, 41).
ガイド画像(31、41)は、カメラ画像(21)が撮影された時刻より過去に撮影された他のカメラ画像(21)に基づいて作成された補完画像をさらに表示している。このような着陸ガイド装置は、欠陥があるカメラ画像(21)が撮影された場合でも、その欠陥がその補完画像により補完されたガイド画像(31、41)を作成することができ、着陸候補領域(22)の状況をより安定してユーザに示すことができる。 The guide image (31, 41) further displays a complementary image created based on another camera image (21) taken in the past from the time when the camera image (21) was taken. Such a landing guide device can create a guide image (31, 41) in which the defect is complemented by the complementary image even when a camera image (21) having a defect is photographed. The situation of (22) can be shown to the user more stably.
本発明によるヘリコプター(1)は、本発明による着陸ガイド装置と機体(2)とを備えていることが好ましい。 The helicopter (1) according to the present invention preferably comprises a landing guide device according to the present invention and an airframe (2).
本発明による着陸ガイド方法は、機体(2)に固定されるカメラ(5)を用いてカメラ画像(21)を撮影するステップと、機体(2)の傾きを測定するステップと、カメラ画像(21)とその傾きとに基づいてガイド画像(31、41)を作成するステップと、ガイド画像(31、41)を表示装置(8)に表示するステップとを備えている。このとき、ガイド画像(31、41)は、カメラ画像(21)を表示し、機体(2)から所定方向に配置される着陸候補領域(22)が映る位置を示すように作成される。このような着陸ガイド方法は、機体(2)に対してカメラ(5)を移動させることなく、機体(2)から所定方向に配置される着陸候補領域(22)の状況をより正確にユーザに示すことができる。このような着陸ガイド方法は、さらに、機体(2)から所定方向に配置される着陸候補領域(22)が映るようにカメラ(5)を移動させる他の着陸ガイド方法に比較して、より容易にガイド画像(31、41)を作成することができる。 The landing guide method according to the present invention includes a step of taking a camera image (21) using a camera (5) fixed to the airframe (2), a step of measuring the inclination of the airframe (2), and a camera image (21 ) And its inclination, a step of creating a guide image (31, 41) and a step of displaying the guide image (31, 41) on the display device (8) are provided. At this time, the guide image (31, 41) is created so as to display the camera image (21) and indicate the position where the landing candidate area (22) arranged in a predetermined direction from the airframe (2) is reflected. Such a landing guide method allows the user to more accurately determine the status of the landing candidate area (22) arranged in a predetermined direction from the airframe (2) without moving the camera (5) relative to the airframe (2). Can show. Such a landing guide method is further easier than other landing guide methods in which the camera (5) is moved so that the landing candidate area (22) arranged in a predetermined direction from the airframe (2) is reflected. A guide image (31, 41) can be created.
ガイド画像(31、41)は、ガイド画像(31、41)のうちの所定位置に着陸候補領域の像(32、42)が表示されるように、たとえば、ガイド画像(31、41)の中央に着陸候補領域の像(32、42)が表示されるように、作成されることが好ましい。 For example, the guide image (31, 41) is displayed at the center of the guide image (31, 41) so that the landing candidate region image (32, 42) is displayed at a predetermined position of the guide image (31, 41). It is preferable that the landing candidate region image (32, 42) is displayed on the screen.
ガイド画像(31、41)は、着陸候補領域(22)が映る位置に機体シンボル(33、43)がさらに表示されるように作成される。すなわち、ガイド画像(31、41)は、着陸候補領域の像(32、42)に機体シンボル(33、43)を重畳して表示していることが好ましい。 The guide images (31, 41) are created so that the aircraft symbol (33, 43) is further displayed at the position where the landing candidate area (22) is reflected. That is, it is preferable that the guide image (31, 41) is displayed by superimposing the aircraft symbol (33, 43) on the image (32, 42) of the landing candidate area.
本発明による着陸ガイド方法は、機体(2)の対地高度を測定するステップをさらに備えている。機体シンボル(33、43)は、その対地高度に対応する大きさでガイド画像(31、41)に表示される。このような着陸ガイド方法は、着陸候補領域(22)の大きさをよりわかり易くユーザに示すことができ、たとえば、機体(2)が着陸候補領域(22)に着陸したときに、機体(2)が占める領域の大きさをよりわかり易くユーザに示すことができる。 The landing guide method according to the present invention further includes the step of measuring the ground altitude of the airframe (2). The aircraft symbol (33, 43) is displayed on the guide image (31, 41) in a size corresponding to the ground altitude. Such a landing guide method can more easily show the size of the landing candidate area (22) to the user. For example, when the aircraft (2) has landed in the landing candidate area (22), the aircraft (2) The size of the area occupied by can be shown to the user more easily.
本発明による着陸ガイド方法は、カメラ画像(21)が撮影された時刻より過去に撮影された他のカメラ画像(21)に基づいて補完画像を作成するステップをさらに備えている。ガイド画像(31、41)は、その補完画像をさらに表示している。このような着陸ガイド方法は、欠陥があるカメラ画像(21)が撮影された場合でも、その欠陥が補完画像により補完されたガイド画像(31、41)を作成することができ、着陸候補領域(22)の状況をより安定してユーザに示すことができる。 The landing guide method according to the present invention further includes a step of creating a complementary image based on another camera image (21) taken in the past from the time when the camera image (21) was taken. The guide image (31, 41) further displays the complementary image. In such a landing guide method, even when a camera image (21) having a defect is photographed, a guide image (31, 41) in which the defect is complemented by a complementary image can be created. The situation of 22) can be shown to the user more stably.
本発明によるコンピュータプログラムは、本発明による着陸ガイド方法をコンピュータに実行させるものであることが好ましい。 The computer program according to the present invention preferably causes a computer to execute the landing guide method according to the present invention.
本発明による着陸ガイド装置および着陸ガイド方法は、機体から所定方向に配置される着陸候補領域を映すガイド画像をより容易により正確にユーザに示すことができる。 The landing guide device and the landing guide method according to the present invention can more easily and accurately show a guide image showing landing candidate areas arranged in a predetermined direction from the aircraft.
図面を参照して、本発明によるヘリコプターの実施の形態を記載する。ヘリコプター1は、図1に示されているように、ヘリコプター本体2とメインローターブレード3とを備えている。ヘリコプター本体2は、ヘリコプター1の乗員が配置されるキャビンを形成している。メインローターブレード3は、回転可能にヘリコプター本体2に支持されている。メインローターブレード3は、翼が形成されている。その翼は、ヘリコプター本体2に対してメインローターブレード3が回転するときに、揚力を生成する。すなわち、メインローターブレード3は、ヘリコプター本体2に対して回転することにより、ヘリコプター1の推進力を生成する。
With reference to the drawings, an embodiment of a helicopter according to the present invention will be described. As shown in FIG. 1, the
ヘリコプター1は、さらに、着陸ガイド装置を備えている。その着陸ガイド装置は、赤外線カメラ5と機体センサ6と電波高度計7と表示装置8とガイド画像作成装置10とを備えている。赤外線カメラ5は、ヘリコプター本体2の下部に固定されている。赤外線カメラ5は、ガイド画像作成装置10に制御されることにより、ヘリコプター1の下方に赤外線を照射し、ヘリコプター1の下方に配置される被写体が映るカメラ画像をその赤外線の反射光により撮影し、そのカメラ画像をガイド画像作成装置10に出力する。その赤外線の波長としては、3μm〜5μm、8μm〜10μmが例示される。なお、赤外線カメラ5は、その赤外線を照射しなくても十分に鮮明なカメラ画像を撮影することができるときに、その赤外線の照射を省略することができる。なお、赤外線カメラ5は、可視光線に基づいて十分に鮮明なカメラ画像を撮影することができるときに、可視光線に基づいてそのカメラ画像を撮影する可視カメラに置換されることもできる。
The
機体センサ6は、ヘリコプター本体2に固定されている。機体センサ6は、ジャイロから形成され、ガイド画像作成装置10に制御されることにより、ヘリコプター本体2の傾き(姿勢)を測定し、その傾きをガイド画像作成装置10に出力する。その傾きは、鉛直方向に対してヘリコプター本体2が傾いている向きと程度とを示している。
The
電波高度計7は、ガイド画像作成装置10に制御されることにより、地表面に電波を発射し、その電波の反射波に基づいてヘリコプター1の対地高度を測定し、その対地高度をガイド画像作成装置10に出力する。その対地高度は、その地表面からヘリコプター1までの距離を示している。なお、電波高度計7は、その対地高度を測定することができる他の高度計に置換されることもできる。その高度計としては、その高度計としては、ヘリコプター1の地表面にレーザを発射し、そのレーザの反射光に基づいてヘリコプター1の対地高度を測定するレーザ測距器が例示される。
The
表示装置8は、表示面を有し、その表示面がヘリコプター1の乗員により観察することができるように、ヘリコプター1のキャビンに配置されている。表示装置8は、ガイド画像作成装置10により作成されるガイド画像をその表示面に表示する。
The display device 8 has a display surface, and is disposed in the cabin of the
ガイド画像作成装置10は、コンピュータであり、図示されていないCPUと記憶装置とリムーバルメモリドライブとインターフェースとを備えている。そのCPUは、ガイド画像作成装置10にインストールされるコンピュータプログラムを実行して、その記憶装置とインターフェースとを制御する。その記憶装置は、そのコンピュータプログラムを記録し、そのCPUにより生成される情報を一時的に記録する。そのリムーバルメモリドライブは、記録媒体が挿入されたときに、その記録媒体に記録されているデータを読み出すことに利用される。そのリムーバルメモリドライブは、さらに、コンピュータプログラムが記録されている記録媒体が挿入されたときに、そのコンピュータプログラムをガイド画像作成装置10にインストールするときに利用される。その記録媒体としては、フラッシュメモリ、磁気ディスク(フレキシブルディスク、ハードディスク)、光ディスク(CD、DVD)、光磁気ディスクが例示される。そのインターフェースは、ガイド画像作成装置10に接続される外部機器により生成される情報をそのCPUに出力し、そのCPUにより生成された情報をその外部機器に出力する。その外部機器は、赤外線カメラ5と機体センサ6と電波高度計7と表示装置8とを含んでいる。
The guide
ガイド画像作成装置10にインストールされるコンピュータプログラムは、ガイド画像作成装置10に複数の機能を実現させるための複数のコンピュータプログラムから形成されている。その複数の機能は、図2に示されているように、撮影部11と機体姿勢収集部12と高度収集部13と画像補完部14とガイド画像作成部15と表示部16とを含んでいる。
The computer program installed in the guide
撮影部11は、ヘリコプター1の下方に配置される被写体が映るカメラ画像が周期的に撮影されるように、赤外線カメラ5を制御する。その周期としては、1/30秒が例示される。
The photographing
機体姿勢収集部12は、撮影部11によりカメラ画像が撮影された時刻のヘリコプター本体2の傾きが測定されるように、機体センサ6を制御する。
The body
高度収集部13は、撮影部11によりカメラ画像が撮影された時刻のヘリコプター1の対地高度が測定されるように、電波高度計7を制御する。
The
画像補完部14は、撮影部11により撮影されたカメラ画像と撮影部11により過去に撮影された過去カメラ画像に基づいて補完後カメラ画像を作成する。その補完後カメラ画像は、そのカメラ画像に欠陥がないときに、そのカメラ画像に一致している。その補完後カメラ画像は、そのカメラ画像に欠陥があるときに、そのカメラ画像のうちのその欠陥がある異常領域が、その過去カメラ画像のうちのその異常領域に対応する正常領域に置換された画像を示している。その欠陥としては、赤外線カメラ5の故障により写らなくなった部分、地表面に配置されていない遮蔽物が写っている部分が例示される。その遮蔽物としては、雨、霧、煙、地表面とヘリコプター1との間を飛行した飛行物体が例示される。このような画像補完は、公知であり、医用画像補完システム等に利用されている。
The
ガイド画像作成部15は、機体姿勢収集部12により測定された傾きと高度収集部13により測定された対地高度と画像補完部14により作成された補完後カメラ画像とに基づいてガイド画像を作成する。
The guide
表示部16は、ガイド画像作成部15により作成されたガイド画像が表示されるように、表示装置8を制御する。
The
なお、画像補完部14は、省略することができる。このとき、ガイド画像作成部15は、機体姿勢収集部12により測定された傾きと高度収集部13により測定された対地高度と撮影部11により撮影されたカメラ画像とに基づいてガイド画像を作成する。
Note that the
図3は、撮影部11により撮影されたカメラ画像を示している。そのカメラ画像21は、ヘリコプター1の下方に配置される被写体を映し出している。カメラ画像21は、さらに、ヘリコプター1から鉛直下方に配置される着陸候補地点22を映し出している。すなわち、赤外線カメラ5は、ヘリコプター1が飛行しているときに、赤外線カメラ5により撮影されるカメラ画像に着陸候補地点22の像が常に写るように、かつ、ヘリコプター1が着陸候補地点22に着陸したときに占める範囲より十分に広い領域が常に写るように、赤外線カメラ5の向きと視野角とが設定されている。
FIG. 3 shows a camera image photographed by the photographing
すなわち、ガイド画像作成部15は、入力装置を介して入力されたヘリコプター本体2に対して赤外線カメラ5が固定される向きを記憶装置に記録する。ガイド画像作成部15は、カメラ画像21が撮影されたときに、その向きと機体姿勢収集部12により測定された傾きとに基づいてカメラ画像21のうちの着陸候補地点22が映し出されている位置を算出する。ガイド画像作成部15は、さらに、その算出された位置に基づいて、カメラ画像21から領域23を抽出する。領域23は、所定の大きさの矩形に形成され、中央に着陸候補地点22が映し出されているように抽出される。領域23は、欠陥があるときに、画像補完部14により、その欠陥がある異常領域が正常な像に置換された画像を示している。
That is, the guide
図4は、カメラ画像21に基づいてガイド画像作成部15により作成されたガイド画像を示している。そのガイド画像31は、領域23に映る画像から形成され、すなわち、着陸候補地点22に配置される被写体の像32が中央に表示されている。ガイド画像31は、さらに、領域23に映る画像に重畳して機体シンボル33が表示されている。機体シンボル33は、線画から形成され、ヘリコプター1が着陸候補地点22に着陸したときに、ヘリコプター1が占める領域に配置される物体の像を囲むように形成されている。すなわち、ガイド画像31のうちの機体シンボル33の線画に囲まれて表示される像は、ヘリコプター1が着陸候補地点22に着陸したときに、ヘリコプター本体2またはメインローターブレード3に接触する可能性がある物体を示している。このようなガイド画像は、ヘリコプター1が鉛直下方に下降したときにヘリコプター1に接触する可能性のある物体の有無を詳細に示すことができる。
FIG. 4 shows a guide image created by the guide
図5は、ガイド画像作成部15により作成された他のガイド画像を示している。そのガイド画像41は、カメラ画像21と異なる他のカメラ画像に基づいて作成されている。ガイド画像41は、そのカメラ画像のうちの着陸候補地点22を中央に映し出している所定の大きさの矩形領域から形成され、すなわち、ヘリコプター1の鉛直下方の着陸候補地点の像42が中央に表示されている。ガイド画像41は、さらに、その矩形領域に映る画像に重畳して機体シンボル43が表示されている。機体シンボル43は、機体シンボル33と同様にして、線画から形成され、ヘリコプター1が着陸候補地点22に着陸したときに、ヘリコプター1が占める領域に配置される物体の像を囲むように形成されている。このため、カメラ画像21が撮影されたときのヘリコプター1の対地高度より高い対地高度にヘリコプター1が配置されたときに撮影されたカメラ画像に基づいてガイド画像41が作成されたときに、機体シンボル43は、機体シンボル33に比較して、より小さくガイド画像41に表示される。
FIG. 5 shows another guide image created by the guide
すなわち、ガイド画像作成部15は、入力装置を介して入力されたヘリコプター1の形状と大きさと赤外線カメラ5の特性とを記憶装置に記録する。その特性としては、赤外線カメラ5の視野角が例示される。ガイド画像作成部15は、さらに、ヘリコプター1の形状に基づいて機体シンボル33(43)の形状を算出する。ガイド画像作成部15は、さらに、ヘリコプター1の大きさと赤外線カメラ5の特性とに基づいて、対地高度集合をサイズ集合に対応付ける関数を算出する。その関数は、そのサイズ集合のうちのヘリコプター1の対地高度に対応するサイズの機体シンボルが、地表面に着陸したヘリコプター1がガイド画像に映るサイズに一致するように、算出される。
That is, the guide
ガイド画像作成部15は、カメラ画像21が撮影されたときに、その関数に基づいて、高度収集部13により測定された対地高度に対応するサイズを算出する。ガイド画像作成部15は、その算出されたサイズの機体シンボルが中央に表示されるように、ガイド画像31を作成する。
When the
このような着陸ガイド装置は、本発明によるヘリコプター1を新規に製造するときに、設置される。また、既存のヘリコプターは、このような着陸ガイド装置が設置されることにより、ヘリコプター1に改造されることもできる。
Such a landing guide device is installed when a
本発明による着陸ガイド方法の実施の形態は、このような着陸ガイド装置により実行され、初期設定の動作と飛行中の動作とを備えている。 The embodiment of the landing guide method according to the present invention is executed by such a landing guide device, and includes an initial setting operation and an operation during flight.
その初期設定の動作では、ユーザは、まず、入力装置を介して、ヘリコプター1の形状と大きさと赤外線カメラ5の向きと特性とをガイド画像作成装置10に入力する。ガイド画像作成装置10は、ヘリコプター1の形状に基づいて機体シンボルの形状を算出する。ガイド画像作成装置10は、さらに、ヘリコプター1の大きさと赤外線カメラ5の特性とに基づいて、対地高度集合をサイズ集合に対応付ける関数を算出する。その関数は、そのサイズ集合のうちのヘリコプター1の対地高度に対応するサイズの機体シンボルが、地表面に着陸したヘリコプター1がガイド画像に映るサイズに一致するように、算出される。
In the initial setting operation, the user first inputs the shape and size of the
その飛行中の動作では、ガイド画像作成装置10は、赤外線カメラ5を用いて、カメラ画像21を周期的に撮影する。その周期としては、1/30秒が例示される。ガイド画像作成装置10は、機体センサ6を用いて、カメラ画像21が撮影された時刻のヘリコプター本体2の傾きを測定する。ガイド画像作成装置10は、電波高度計7を用いて、カメラ画像21が撮影された時刻のヘリコプター1の対地高度を測定する。ガイド画像作成装置10は、カメラ画像21に欠陥があるときに、過去に撮影された他のカメラ画像に基づいてその欠陥を正常な画像に置換する。
In the operation during the flight, the guide
ガイド画像作成装置10は、その測定された傾きとヘリコプター本体2に対する赤外線カメラ5の向きとに基づいてカメラ画像21のうちの着陸候補地点22が映し出されている位置を算出する。ガイド画像作成装置10は、さらに、その算出された位置に基づいて、カメラ画像21から領域23を抽出する。領域23は、所定の大きさの矩形に形成され、中央に着陸候補地点22が映し出されているように抽出される。
The guide
ガイド画像作成装置10は、その測定された対地高度に対応するサイズを算出し、その算出されたサイズの機体シンボルが中央に表示されるように、ガイド画像31を作成する。ガイド画像作成装置10は、ガイド画像31を表示装置8に表示する。
The guide
その飛行中の動作では、カメラ画像21の撮影からガイド画像31の表示までの動作を周期的に繰り返し実行する。その周期としては、1/30秒が例示される。
In the operation during the flight, the operations from the photographing of the
このような動作によれば、着陸ガイド装置は、ヘリコプター1が鉛直方向に対して傾いているときでも、ヘリコプター1の鉛直下方の映像をヘリコプター1の乗員に提供することができる。このため、ヘリコプター1の乗員は、表示装置8のガイド画像を観察することにより、ヘリコプター1の鉛直下方に配置される物体の状況を確認することができ、特に、非常時緊急時などにヘリポート以外の場所に着陸するときに、ヘリコプター1が障害物に接触しないでより安全に着陸することができるかどうかを確認することができる。
According to such an operation, the landing guide device can provide the occupant of the
このような動作によれば、着陸ガイド装置は、赤外線カメラ5の向きを変更することなく、ヘリコプター1の鉛直下方の映像を作成することができ、赤外線カメラ5の向きを変更するジンバルを備えた他の着陸ガイド装置に比較して、より容易に、より軽量に、より安価に作製されることができる。
According to such an operation, the landing guide device can create a vertically lower image of the
なお、着陸候補地点22は、ヘリコプター1の鉛直下方と異なる他の着陸候補地点に必要に応じて変更されることもできる。
Note that the
なお、ガイド画像31は、さらに、着陸候補地点22が映る位置が固定されているときに、機体シンボル33が表示されない他のガイド画像に置換されることもできる。このようなガイド画像であってもユーザは、そのガイド画像を観察することにより、ヘリコプター1の鉛直下方に配置される物体の状況を確認することができる。
Note that the
なお、ガイド画像31は、着陸候補地点に重畳して表示される機体シンボルが表示されるときに、着陸候補地点の像32の位置が移動しながら表示される他のガイド画像に置換されることもできる。このようなガイド画像であってもユーザは、そのガイド画像を観察することにより、ヘリコプター1の鉛直下方に降下するときに、ヘリコプター1に接触する可能性がある障害物の状況を確認することができる。
Note that the
なお、ガイド画像31は、機体シンボルのサイズが固定され、機体シンボルに重畳される画像を拡大縮小することにより、ヘリコプター1に接触する可能性がある物体を示すガイド画像に置換されることもできる。このようなガイド画像であってもユーザは、そのガイド画像を観察することにより、ヘリコプター1の鉛直下方に降下するときに、ヘリコプター1に接触する可能性がある障害物の状況を確認することができる。
The
なお、機体シンボルは、ヘリコプター1の形状を示す図形以外の図形に形成されることもできる。このようなガイド画像であってもユーザは、そのガイド画像を観察することにより、ヘリコプター1の鉛直下方に配置される物体の状況を確認することができる。
Note that the airframe symbol may be formed in a figure other than the figure indicating the shape of the
その図形は、ヘリコプター1の対地高度に基づいてサイズを変更しなくてもよい。このようなガイド画像であってもユーザは、そのガイド画像を観察することにより、ヘリコプター1の鉛直下方に配置される物体の状況を確認することができる。このようなガイド画像が適用された着陸ガイド装置は、電波高度計7を省略することができる。
The figure may not be resized based on the ground altitude of the
本発明による着陸ガイド装置は、ヘリコプターと異なる他の垂直離着陸機に適用されることもできる。このとき、その垂直離着陸機の乗員は、ヘリコプター1の乗員と同様にして、表示装置8のガイド画像を観察することにより、その垂直離着陸機の鉛直下方に配置される物体の状況を確認することができ、その垂直離着陸機が障害物に接触しないでより安全に着陸することができるかどうかを確認することができる。
The landing guide device according to the present invention can also be applied to other vertical take-off and landing aircraft different from the helicopter. At this time, the occupant of the vertical take-off and landing aircraft confirms the state of the object arranged vertically below the vertical take-off and landing aircraft by observing the guide image of the display device 8 in the same manner as the occupant of the
1 :ヘリコプター
2 :ヘリコプター本体
3 :メインローターブレード
5 :赤外線カメラ
6 :機体センサ
7 :電波高度計
8 :表示装置
10:ガイド画像作成装置
11:撮影部
12:機体姿勢収集部
13:高度収集部
14:画像補完部
15:ガイド画像作成部
16:表示部
21:カメラ画像
22:着陸候補地点
23:領域
31:ガイド画像
32:像
33:機体シンボル
41:ガイド画像
42:像
43:機体シンボル
DESCRIPTION OF SYMBOLS 1: Helicopter 2: Helicopter main body 3: Main rotor blade 5: Infrared camera 6: Airframe sensor 7: Radio altimeter 8: Display device 10: Guide image creation apparatus 11: Image | photographing part 12: Aircraft attitude | position collection part 13: Altitude collection part 14 : Image complementing unit 15: Guide image creating unit 16: Display unit 21: Camera image 22: Landing candidate point 23: Area 31: Guide image 32: Image 33: Airframe symbol 41: Guide image 42: Image 43: Airframe symbol
Claims (13)
前記機体の傾きを測定する機体センサと、
前記カメラにより撮影されるカメラ画像と前記傾きとに基づいてガイド画像を作成するガイド画像作成装置とを具備し、
前記ガイド画像は、前記カメラ画像を表示し、前記機体から所定方向に配置される着陸候補領域が映る位置を示す
着陸ガイド装置。 A camera fixed to the aircraft,
An airframe sensor for measuring the inclination of the airframe;
A guide image creation device that creates a guide image based on the camera image captured by the camera and the tilt;
The guide image is a landing guide device that displays the camera image and indicates a position where a landing candidate area arranged in a predetermined direction from the aircraft appears.
前記ガイド画像は、前記ガイド画像のうちの所定位置に前記着陸候補領域の像が表示される
着陸ガイド装置。 In claim 1,
The landing guide device, wherein the guide image displays an image of the landing candidate area at a predetermined position in the guide image.
前記ガイド画像は、前記着陸候補領域が映る位置に機体シンボルをさらに表示する
着陸ガイド装置。 In either claim 1 or claim 2,
The landing guide device, wherein the guide image further displays an airframe symbol at a position where the landing candidate area is reflected.
前記機体の対地高度を測定する高度センサをさらに具備し、
前記機体シンボルは、前記対地高度に対応する大きさで前記ガイド画像に表示される
着陸ガイド装置。 In claim 3,
Further comprising an altitude sensor for measuring the ground altitude of the aircraft,
The aircraft symbol is displayed on the guide image in a size corresponding to the ground altitude.
前記ガイド画像を表示する表示装置
をさらに具備する着陸ガイド装置。 In any one of Claims 1-4,
A landing guide device further comprising a display device for displaying the guide image.
前記ガイド画像は、前記カメラ画像が撮影された時刻より過去に撮影された他のカメラ画像に基づいて作成された補完画像をさらに表示する
着陸ガイド装置。 In any one of Claims 1-5,
The landing guide device further displays a complementary image created based on another camera image taken in the past from the time when the camera image was taken.
前記機体
とを具備するヘリコプター。 A landing guide device according to any one of claims 1 to 6;
A helicopter comprising the aircraft.
前記機体の傾きを測定するステップと、
前記カメラ画像と前記傾きとに基づいてガイド画像を作成するステップと、
前記ガイド画像を表示装置に表示するステップとを具備し、
前記ガイド画像は、前記カメラ画像を表示し、前記機体から所定方向に配置される着陸候補領域が映る位置を示す
着陸ガイド方法。 Taking a camera image using a camera fixed to the aircraft; and
Measuring the tilt of the aircraft;
Creating a guide image based on the camera image and the tilt;
Displaying the guide image on a display device,
The guide image is a landing guide method in which the camera image is displayed and a position where a landing candidate area arranged in a predetermined direction from the aircraft appears.
前記ガイド画像は、前記ガイド画像のうちの所定位置に前記着陸候補領域の像が表示される
着陸ガイド方法。 In claim 8,
The landing guide method is a landing guide method in which an image of the landing candidate area is displayed at a predetermined position in the guide image.
前記ガイド画像は、前記着陸候補領域が映る位置に機体シンボルをさらに表示する
着陸ガイド方法。 In either claim 8 or claim 9,
The landing guide method, wherein the guide image further displays an airframe symbol at a position where the landing candidate area is reflected.
前記機体の対地高度を測定するステップをさらに具備し、
前記機体シンボルは、前記対地高度に対応する大きさで前記ガイド画像に表示される
着陸ガイド方法。 In claim 10,
Further comprising measuring a ground altitude of the aircraft,
The landing guide method in which the airframe symbol is displayed on the guide image in a size corresponding to the ground altitude.
前記カメラ画像が撮影された時刻より過去に撮影された他のカメラ画像に基づいて補完画像を作成するステップをさらに具備し、
前記ガイド画像は、前記補完画像をさらに表示する
着陸ガイド方法。 In any one of Claims 8-11,
Further comprising the step of creating a complementary image based on other camera images taken in the past from the time when the camera image was taken,
The landing guide method, wherein the guide image further displays the complementary image.
コンピュータプログラム。 A computer program for causing a computer to execute the landing guide method according to any one of claims 8 to 12.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041443A JP5675130B2 (en) | 2010-02-26 | 2010-02-26 | Landing guide device and landing guide method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041443A JP5675130B2 (en) | 2010-02-26 | 2010-02-26 | Landing guide device and landing guide method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011178186A true JP2011178186A (en) | 2011-09-15 |
JP5675130B2 JP5675130B2 (en) | 2015-02-25 |
Family
ID=44690193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010041443A Active JP5675130B2 (en) | 2010-02-26 | 2010-02-26 | Landing guide device and landing guide method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5675130B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350242B1 (en) * | 2012-05-29 | 2014-01-14 | 서울대학교산학협력단 | Method and apparatus for searching a landing site of aircraft using a depth map |
KR101533581B1 (en) * | 2013-12-06 | 2015-07-03 | 한국항공우주연구원 | Apparatus for guiding an airplane to land |
KR20190065016A (en) * | 2017-12-01 | 2019-06-11 | 에어버스 헬리콥터스 | A device for assisting the piloting of a rotorcraft, an associated display, and a corresponding method of assisting piloting |
CN110488848A (en) * | 2019-08-23 | 2019-11-22 | 中国航空无线电电子研究所 | Unmanned plane vision guide it is autonomous drop method and system |
KR20190141389A (en) * | 2018-06-14 | 2019-12-24 | (재)경북차량용임베디드기술연구원 | Automatic drones landing gear and method using vision recognition |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108001694A (en) * | 2017-11-29 | 2018-05-08 | 天津聚飞创新科技有限公司 | Unmanned plane landing system and method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0210197U (en) * | 1988-07-05 | 1990-01-23 | ||
JPH0769299A (en) * | 1993-09-06 | 1995-03-14 | Kawasaki Heavy Ind Ltd | Pilot landing assisting device |
JPH11271101A (en) * | 1998-03-26 | 1999-10-05 | Commuter Helicopter Senshin Gijutsu Kenkyusho:Kk | Indicator for instrument |
JP2000102018A (en) * | 1998-09-25 | 2000-04-07 | Oki Electric Ind Co Ltd | Moving image decoding method and device |
JP2001039398A (en) * | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | Operation support device for helicopter |
JP2003115100A (en) * | 2001-10-03 | 2003-04-18 | Denso Corp | Vehicle peripheral image processor |
JP2005239048A (en) * | 2004-02-27 | 2005-09-08 | Denso Corp | Parking assistance system |
JP2006107314A (en) * | 2004-10-08 | 2006-04-20 | Nissan Motor Co Ltd | Image processor and image processing method |
-
2010
- 2010-02-26 JP JP2010041443A patent/JP5675130B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0210197U (en) * | 1988-07-05 | 1990-01-23 | ||
JPH0769299A (en) * | 1993-09-06 | 1995-03-14 | Kawasaki Heavy Ind Ltd | Pilot landing assisting device |
JPH11271101A (en) * | 1998-03-26 | 1999-10-05 | Commuter Helicopter Senshin Gijutsu Kenkyusho:Kk | Indicator for instrument |
JP2000102018A (en) * | 1998-09-25 | 2000-04-07 | Oki Electric Ind Co Ltd | Moving image decoding method and device |
JP2001039398A (en) * | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | Operation support device for helicopter |
JP2003115100A (en) * | 2001-10-03 | 2003-04-18 | Denso Corp | Vehicle peripheral image processor |
JP2005239048A (en) * | 2004-02-27 | 2005-09-08 | Denso Corp | Parking assistance system |
JP2006107314A (en) * | 2004-10-08 | 2006-04-20 | Nissan Motor Co Ltd | Image processor and image processing method |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350242B1 (en) * | 2012-05-29 | 2014-01-14 | 서울대학교산학협력단 | Method and apparatus for searching a landing site of aircraft using a depth map |
KR101533581B1 (en) * | 2013-12-06 | 2015-07-03 | 한국항공우주연구원 | Apparatus for guiding an airplane to land |
KR20190065016A (en) * | 2017-12-01 | 2019-06-11 | 에어버스 헬리콥터스 | A device for assisting the piloting of a rotorcraft, an associated display, and a corresponding method of assisting piloting |
KR102045362B1 (en) | 2017-12-01 | 2019-11-15 | 에어버스 헬리콥터스 | A device for assisting the piloting of a rotorcraft, an associated display, and a corresponding method of assisting piloting |
KR20190141389A (en) * | 2018-06-14 | 2019-12-24 | (재)경북차량용임베디드기술연구원 | Automatic drones landing gear and method using vision recognition |
KR102079727B1 (en) * | 2018-06-14 | 2020-02-20 | (재)경북차량용임베디드기술연구원 | Automatic drones landing gear and method using vision recognition |
CN110488848A (en) * | 2019-08-23 | 2019-11-22 | 中国航空无线电电子研究所 | Unmanned plane vision guide it is autonomous drop method and system |
Also Published As
Publication number | Publication date |
---|---|
JP5675130B2 (en) | 2015-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5675130B2 (en) | Landing guide device and landing guide method | |
CN110226141B (en) | Safety system for the operation of an unmanned aerial vehicle | |
KR101782460B1 (en) | Aircraft capable of hovering, aircraft manoeuvring assist method, and interface | |
EP1906151B1 (en) | Imaging and display system to aid helicopter landings in brownout conditions | |
US20160335901A1 (en) | Control of autonomous rotorcraft in limited communication environments | |
US10243647B2 (en) | Aircraft visual sensor system | |
JP6342121B2 (en) | Aircraft and method for displaying visual information related to flight parameters to an aircraft pilot | |
WO2010071505A1 (en) | Method and system for facilitating autonomous landing of aerial vehicles on a surface | |
JP7475118B2 (en) | SYSTEM AND METHOD FOR REDUCING THE IMPACT OF DVE ON LIDAR RETURNS | |
KR102293055B1 (en) | An aircraft with a safety distance display apparatus | |
US11840355B2 (en) | Aircraft hovering work support system and aircraft including same | |
KR20170114348A (en) | A Method and System for Recognition Position of Unmaned Aerial Vehicle | |
EP3594625B1 (en) | Aircraft and signalling system of an unprepared landing area | |
EP0158677A1 (en) | Helicopter navigation and location system | |
JP2019145039A (en) | Self-traveling robot and self-traveling robot control method | |
US11480429B2 (en) | Method of detecting proximity to the ground of a side arrangement on an aircraft, and an aircraft | |
JP2005207862A (en) | Target position information acquiring system and target position information acquiring method | |
KR102371147B1 (en) | A warning system for rotary-wing aircraft | |
WO2021210138A1 (en) | Take-off and landing facility, flight vehicle, flight vehicle system, and landing control method | |
JP7405247B2 (en) | Landing facilities, aircraft systems, and landing control methods | |
JP7374060B2 (en) | Maneuvering support device | |
JP6971363B2 (en) | Aircraft hovering work support system and aircraft equipped with it | |
JP7444127B2 (en) | aircraft surveillance system | |
US20220229433A1 (en) | Maneuvering support apparatus, maneuvering support method, and computer-readable recording medium | |
KR20230067218A (en) | 3D space information monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5675130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |