JP2005214645A - 移動経路管理システム - Google Patents

移動経路管理システム Download PDF

Info

Publication number
JP2005214645A
JP2005214645A JP2004018175A JP2004018175A JP2005214645A JP 2005214645 A JP2005214645 A JP 2005214645A JP 2004018175 A JP2004018175 A JP 2004018175A JP 2004018175 A JP2004018175 A JP 2004018175A JP 2005214645 A JP2005214645 A JP 2005214645A
Authority
JP
Japan
Prior art keywords
position information
information
ship
movement
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004018175A
Other languages
English (en)
Other versions
JP3639297B1 (ja
Inventor
Masaki Kitada
勝紀 北田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NAKANIHON KOKU KK
Original Assignee
NAKANIHON KOKU KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NAKANIHON KOKU KK filed Critical NAKANIHON KOKU KK
Priority to JP2004018175A priority Critical patent/JP3639297B1/ja
Application granted granted Critical
Publication of JP3639297B1 publication Critical patent/JP3639297B1/ja
Publication of JP2005214645A publication Critical patent/JP2005214645A/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】移動体の正確な移動経路を簡便に且つ精度良く自動記録でき、移動体の移動中又は移動終了後において視認可能態様に出力することができる移動経路管理システムを提供する。
【解決手段】GPS受信機が航空機の移動位置情報を取得するとモニタ画面15aに表示されている電子地図18は、当該移動位置情報に対応する電子地図18上の位置がモニタ画面15aの中心となるように更新される。そのため、航空機がどのような飛行経路24で飛行してきたのかを当該航空機の現在位置と区画領域19との相対的な位置関係を含めてモニタ画面15aの表示結果から一目で確認することができる。また、探索飛行中に違反船を発見した場合、当該違反船をデジタルカメラで撮像することにより、違反船を撮像した位置の情報をマーキング位置情報として自動記録すると共に当該マーキング位置情報に対応する電子地図18上の位置に船マーク30が表示される。
【選択図】 図9

Description

本発明は、例えば航空機や船舶等の移動体の移動経路を記録及び出力する移動経路管理システムに関するものである。
従来、例えば禁漁海域で密漁している違反船や調査海域を回遊している海洋生物(例えば鯨等)等を探索目標として探索を行う場合には、探索担当者が航空機に乗り込み、当該航空機のパイロットに飛行経路(移動経路)の指示を与えながら探索を行っていた。即ち、探索担当者は、航空機に取り付けられているGPS分配器(緯度・経度を計測するもの)から取得される当該航空機の現在位置(緯度・経度)を常に把握しつつ、複数枚の地図(紙面の地図)を見ながら、パイロットに飛行経路を指示していた。因みに、各地図には、様々な探索対象領域(例えば、自衛隊の訓練領域、底引網漁業禁止領域等)が区画表示されている。従って、探索担当者は、現時点において航空機が前記各地図に区画表示された探索対象領域の内外いずれを飛行中であるか否かを、GPS分配器から取得される航空機の現在位置を基準に、そのとき手に持っている地図上で判別するようにしていた。そして、例えば底引網漁業禁止領域内を飛行中において違反船を発見した場合、探索担当者は、当該違反船を写真やVTR等で撮像すると共に、その撮像位置(緯度・経度)及び撮像時刻並びに当該違反船に関する情報(例えば、国籍、違反内容等)を手記(若しくはパーソナルコンピュータ(以下,「パソコン」と示す)等に手入力)にて記録していた。
しかしながら、前述した従来の方法では、高速で飛行する航空機の現在位置が前記各探索対象領域(例えば底引網漁業禁止領域等)に対してどのような位置関係にあるのかを確認するために、常に複数枚の地図とGPS分配器のモニタ画面とを見合わせながら確認しなければならなかった。そのため、探索担当者は、飛行経路及び現在位置を把握するための負担が多大になると共に、地図等を見ることで航空機の下方に広がる海域から目を離す時間が多くなるため前記違反船等を見逃すこともあった。また、航空機の飛行経路(移動経路)上における前記撮像位置等の記録に関しても手記にて行っているため、当該記録の精度は非常に荒いものになり、正確な位置情報が記録されるとは言い難かった。そこで、上記のような問題を解決すべく、近時、例えば特許文献1に記載されるような画像再生方法が探索関連技術(以下、「従来技術」という。)として提案されている。
さて、特許文献1に記載の従来技術は、電子地図情報等の各種情報を管理するためのパソコンと、GPS受信機と、デジタルカメラと、当該デジタルカメラにより撮像された画像の画像情報等を記録するための記録媒体等とから構成されている。デジタルカメラは、目標物(例えば前記違反船等)を撮像すると、その撮像位置を示す撮像位置情報をGPS受信機から取り込むことができるようになっている。そして、その撮像位置情報と共に前記画像情報が記録媒体に格納記憶されるようになっている。また、パソコン内蔵のメモリには、電子地図をモニタ画面に表示するための地図情報が予め格納記憶されている。そのため、パソコンは、前記記録媒体から前記画像情報及び撮像位置情報を読み出すと、これらの読み出し情報に基づき、前記モニタ画面に電子地図を表示すると共に、この電子地図に重畳して前記撮像位置及び同位置で撮像した画像のサムネイル等を表示するようになっている。また、前記電子地図上に重畳して表示される複数の撮像位置を撮像時刻の順に直線で結ぶことで、前記デジタルカメラを搭載して移動(飛行等)してきた移動体(航空機等)の移動経路をも前記電子地図上に表示できるようになっていた。
特開平10−233985号公報(請求項1,2、図10)
ところが、この特許文献1の従来技術の場合にも依然として次のような問題がある。即ち、モニタ画面の電子地図上に表示される複数の撮像位置を撮像時刻の順に直線で結ぶことで移動経路が表示されるとしているが、当該移動経路は、移動体(航空機等)の実際の移動経路を正確に表示するものではなかった。即ち、ただ単に、各撮像位置間を後処理的に直線で結んでいるに過ぎなかった。そのため、移動体の移動中における正確な移動経路を自動記録して出力(表示等)するという従来からの課題を克服するには至らなかった。また、最後の撮像位置で撮像してから後の移動経路については、次の撮像位置にて新たな撮像をするまで(即ち、次の撮像位置が新たにできない限り)、前記直線による直近の移動経路をモニタ画面の電子地図上に表示することはできないものであった。そのため、実際問題として、移動体の移動中における現在位置を含む移動経路をモニタ画面上で視認しながら移動することはできなかった。
本発明は、このような事情に鑑みてなされたものであり、その目的は、移動体の正確な移動経路を簡便に且つ精度良く自動記録でき、移動体の移動中又は移動終了後において視認可能態様に出力することができる移動経路管理システムを提供することにある。
上記目的を達成するために、請求項1に記載の発明は、移動体の移動経路を特定するための移動位置情報を時系列単位で取得して自動記録する移動位置情報記録手段と、前記移動経路を表示可能な地図を作成するための地図情報が予め格納記憶された地図情報記憶手段と、前記地図上に少なくとも一つの区画領域を表示形成するためのエリア情報が予め格納記憶されたエリア情報記憶手段と、前記地図情報に基づいた地図を視認可能な出力態様で出力する出力手段と、前記出力手段に前記地図を前記移動位置情報に基づいた移動体の移動経路と前記エリア情報に基づいた区画領域とを重畳させた出力態様にて出力させる制御手段とを備えたことを要旨としている。
請求項2に記載の発明は、請求項1に記載の移動経路管理システムにおいて、前記移動体の移動経路上に予め定めた位置マークをマーキングするためのマーキング位置情報を前記移動位置情報記録手段が自動記録する移動位置情報の中から取得して自動記録するマーキング位置情報記録手段を更に備え、前記制御手段は、前記出力手段に前記地図を前記マーキング位置情報に基づいた位置マークを更に重畳させた出力態様にて出力させることを要旨としている。
請求項3に記載の発明は、請求項2に記載の移動経路管理システムにおいて、前記マーキング位置情報記録手段は、外部から前記位置マークをマーキングするための操作がされた際に、前記移動位置情報記録手段が取得した前記移動位置情報を前記マーキング位置情報として取得することを要旨としている。
請求項4に記載の発明は、請求項1〜請求項3のうち何れか一項に記載の移動経路管理システムにおいて、前記エリア情報記憶手段には複数の区画領域毎に個別対応した複数のエリア情報が別途設けられたエリア情報選択手段による選択指定が可能に格納記憶されており、前記制御手段は、前記エリア情報選択手段により選択指定されたエリア情報に基づいた区画領域のみを前記出力手段から出力される地図上に重畳させることを要旨としている。
請求項5に記載の発明は、請求項1〜請求項4のうち何れか一項に記載の移動経路管理システムにおいて、前記出力手段は、前記地図を表示するモニタ画面を備えた表示装置であることを要旨としている。
請求項6に記載の発明は、請求項2〜請求項5のうち何れか一項に記載の移動経路管理システムにおいて、撮像機能を有する撮像手段を更に備え、前記マーキング位置情報記録手段は、前記撮像手段が撮像物を撮像したことを契機として、前記移動位置情報の中からマーキング位置情報を取得することを要旨としている。
請求項7に記載の発明は、請求項6に記載の移動経路管理システムにおいて、前記撮像手段により撮像された撮像物を識別するための撮像物識別情報を予め設定した複数の撮像物毎に対応付けて格納記憶する撮像物識別情報記憶手段と、当該撮像物識別情報記憶手段が格納記憶する各撮像物識別情報の中から少なくとも一つの撮像物識別情報を外部からの操作に基づき選択指定可能な撮像物識別情報選択手段とを更に備え、前記制御手段は、前記マーキング位置情報記録手段にマーキング位置情報を前記撮像物識別情報選択手段により選択指定された撮像物識別情報をリンクさせた状態にて記録させることを要旨としている。
移動体の正確な移動経路を簡便に且つ精度良く自動記録でき、移動体の移動中又は移動終了後において視認可能態様に出力することができる。
以下、本発明を具体化した移動経路管理システムの一実施形態を図1〜図11に従って説明する。
図1に示すように、本実施形態の移動経路管理システム10は、パーソナルコンピュータ(以下、「パソコン」と示す)11、GPS受信機12及びデジタルカメラ13を備えており、例えば禁漁海域(領域)で操業(所謂、密漁)をしている違反船等を探索するために飛行(移動)する航空機(移動体)14に搭載されている。前記GPS受信機12は、衛星航法システム(GPS;Global Positioning System )を利用して、当該GPS受信機12が搭載された航空機14の移動位置情報(緯度・経度)を取得するようになっている。なお、本実施形態では、この移動位置情報は、GPS受信機12により2秒毎に取得される。
また、前記デジタルカメラ13は、撮像機能を有する撮像手段としての機能を有しており、前記航空機14による探索飛行中に前記違反船を発見した際に、航空機14に搭乗している搭乗者(本実施形態では探索担当者)の操作により当該違反船を撮像物として撮像記録できるようになっている。そして、このデジタルカメラ13により違反船等が撮像される(即ち、デジタルカメラ13のシャッタが操作される)と、当該デジタルカメラ13からパソコン11に撮像した位置の位置情報(緯度・経度)をパソコン11に取得させるためのマーキング指定コマンドが出力される。また、本実施形態の移動経路管理システム10には、航空機14の飛行経路(移動経路)近辺を航海する船を捉えることができる船舶捕捉レーダ(図示略)が設けられている。そのため、この船舶捕捉レーダは、船を捉えると、当該船の位置情報(例えば緯度・経度等)をパソコン11側に出力するようになっている。
一方、前記パソコン11は、表示装置としてのモニタ15、操作部(例えば、キーボード又はマウス等)16及び制御部17から構成されている。前記モニタ15にはモニタ画面15aが配設されており、当該モニタ画面15aには、図2に示すように、電子地図(地図)18及びエリア情報(例えば、自衛隊の訓練領域又は底引き網禁止領域等)に基づいた複数(図2では3箇所)の区画領域19等が表示される。また、前記GPS受信機12が取得した航空機14の移動位置情報(緯度・経度)もモニタ画面15aの上側に表示される。つまり、モニタ15(モニタ画面15a)は、電子地図18を視認可能な態様で出力する出力手段として機能するようになっている。
また、前記操作部16は、当該操作部16が操作されることにより、前記モニタ画面15aに表示するための各種情報を選択指定できるようになっている。例えば、図2においてモニタ画面15aには、3箇所の区画領域19が重畳された出力態様の電子地図18が表示されているが、この操作部16を操作することにより、モニタ画面15aは、2箇所の区画領域19を消去して1箇所の区画領域19のみが重畳された出力態様の電子地図18を表示させることができる。即ち、操作部16を操作することにより、モニタ画面15aには、任意数の箇所(例えば6箇所)の区画領域19が重畳された出力態様の電子地図18を表示可能とされている。
また、前記制御部17は、図3に示すように、前記GPS受信機12、デジタルカメラ13及び操作部16等から出力された各種信号に基づき制御を行うCPU20を備えており、当該CPU20には時計21、ROM22及びRAM23が接続されている。ROM22には、移動経路管理システム10を制御するための制御プログラム22aが記憶されている。また、ROM22には、前記モニタ画面15aに電子地図18を表示(作成)させるための地図情報22bが予め格納記憶されている。従って、この点で前記ROM22は地図情報記憶手段としての機能を有する。
また、前記ROM22には、複数の区画領域19毎に個別対応した複数のエリア情報22cが格納記憶されている。従って、この点で、前記ROM22は、当該ROM22が電子地図18上に少なくとも一つの区画領域19を表示形成するためのエリア情報22cを予め格納記憶するエリア情報記憶手段としても機能する。そして、これらの各エリア情報22cの中から少なくとも一つの情報が前記操作部16の操作(外部操作)により選択指定される構成とされていることから、この点で前記操作部16はエリア情報選択手段としての機能を有していることになる。また、前記ROM22には、当該ROM22がデジタルカメラ13により撮像された違反船を識別するための撮像物識別情報22dが格納記憶されており、前記操作部16の操作により当該撮像物識別情報22dの中から違反船に関する情報が選択指定される。つまり、ROM22は、違反船等を識別するための撮像物識別情報22dを複数の違反船毎に対応付けて格納記憶する撮像物識別情報記憶手段としての機能も有する。
因みに、本実施形態では、撮像物識別情報22dとして、前記違反船の国籍(例えば日本、韓国、中国等)、違反船の状況(例えば操業中、航行中、停泊中等)、違反船の操業内容(例えば、イカ釣り漁業、まき網漁業、底引き網漁業等)、違反船の航行方向(東、西、南、北、北東、南東、南西、北西)がROM22に夫々格納記憶されている。そして、これらの各撮像物識別情報22dの中から少なくとも一つの情報が前記操作部16の操作(外部操作)により選択指定される構成とされていることから、この点で前記操作部16は撮像物識別情報選択手段としての機能をも有していることになる。
一方、前記RAM23には、前記GPS受信機12により取得された移動位置情報23aが記録される。つまり、GPS受信機12及びRAM23は、航空機(移動体)14の飛行経路(移動経路)を特定するための移動位置情報23aを時系列単位で取得して自動記録する移動位置情報記録手段として機能する。また、RAM23には、前記時計21から取得された時刻を表示するための時刻情報が前記移動位置情報23aとリンクした状態で記録される。
また、RAM23には、前記デジタルカメラ13からマーキング指定コマンドが出力される(CPU20がマーキング指定コマンドを入力する)と、前記移動位置情報記録手段(RAM23)の中から最新の移動位置情報23aがマーキング位置情報23bとして記録される。つまり、RAM23は、マーキング位置情報23bを移動位置情報記録手段(RAM23)が自動記録する移動位置情報23aの中から取得して自動記録するマーキング位置情報記録手段としても機能する。また、RAM23には、前記ROM22に格納記憶されている撮像物識別情報22dの中から前記操作部16の操作に基づき選択指定された撮像物識別情報23cが前記マーキング位置情報23bとリンクした状態で格納記憶される。
そして、CPU20は、前記ROM22及びRAM23に格納記憶された各種情報を用いて各種処理を実行するようになっている。即ち、CPU20は、ROM22から地図情報22bを読み出し、当該地図情報22bに基づく電子地図18をモニタ画面15aに表示させる。また、CPU20は、ROM22に格納記憶されている複数のエリア情報の中から前記操作部16の操作に基づき選択指定されたエリア情報22cに基づく区画領域19を重畳した出力態様で電子地図18をモニタ画面15aに表示させる。
また、CPU20は、前記GPS受信機12から移動位置情報23aを入力すると、当該移動位置情報23aをRAM23に格納記憶させると共に、前記時計21から取得した時刻情報を移動位置情報23aにリンクさせた状態でRAM23に格納記憶させる。そして、図4に示すように、CPU20は、前記移動位置情報23aに基づく現在位置及び時刻情報に基づく現在の時刻をモニタ画面15aの上側に表示させる共に、移動位置情報23aに基づく航空機14の飛行経路(移動経路)24を前記電子地図18上に表示させる。つまり、このCPU20は、モニタ(出力手段)15に電子地図18を移動位置情報23aに基づいた航空機(移動体)14の飛行経路24とエリア情報22cに基づいた区画領域19とを重畳させた出力態様にて表示(出力)させる制御手段として機能する構成とされている。
以下に、CPU20が実行する制御処理について、図5及び図6に示すフローチャートに基づき説明する。図5にはモニタ15(モニタ画面15a)に表示される電子地図18の更新に関する表示画面更新処理ルーチンが、図6には不審船等を発見した際における不審船記録処理ルーチンが示されている。
最初に、GPS受信機12から航空機14の移動位置情報23aを入力した際におけるCPU20による表示画面更新処理ルーチンについて図5に基づき以下説明する。
さて、表示画面更新処理ルーチンが開始されると、まず、CPU20は、GPS受信機12から新たに移動位置情報23aを取得(入力)したか否かを判定する(ステップS10)。そして、この判定結果が否定判定である場合、CPU20は、この判定結果が肯定判定となるまでステップS10の処理を繰り返し実行する。また、この判定結果が肯定判定となると、CPU20は、時計21から時刻情報を取得し(ステップS11)、これら移動位置情報23aと時刻情報をリンクさせた状態でRAM23に格納記憶させる。続いて、CPU20は、ROM22から地図情報22bを読み出し(ステップS12)、電子地図18がモニタ画面15aに表示される際に、前記移動位置情報23aが示す現在位置(緯度・経度)がモニタ画面15aの中心となるように、当該モニタ画面15aに表示される電子地図18の表示態様を設定する(ステップS13)。
そして次に、CPU20は、少なくとも一つのエリア情報22cが選択されているか否かを判定する(ステップS14)。そして、この判定結果が否定判定である場合、その処理を後述するステップS17に移行する。一方、ステップS14の判定結果が肯定判定である場合、CPU20は、選択されているエリア情報22cを全て読み出し(ステップS15)、当該読み出したエリア情報22cに基づいた各区画領域19をステップS13において設定された電子地図18の表示態様に対応した表示態様に設定する(ステップS16)。
そして次に、CPU20は、RAM23から移動位置情報23aを読み出し(ステップS17)、ステップS13において設定された電子地図18の表示態様に対応した航空機14の飛行経路24の表示態様に設定する(ステップS18)。そして、CPU20は、前記電子地図18を航空機14の飛行経路24と前記各区画領域19とを重畳させた表示態様でモニタ15(モニタ画面15a)に表示させて(ステップS19)、表示画面更新処理を終了する。因みに、本実施形態では、航空機14の現在位置に対応する電子地図18上の位置(モニタ画面15aの中央)に航空機マーク25がマーキングされる。そのため、航空機14がどのような飛行経路24で移動してきたのか、現時点において航空機14が前記区画領域19の内外いずれを飛行中であるかが、モニタ画面15aを一目するだけで確認することができるようになっている(図4参照)。
次に、例えば禁漁海域(領域)の上空を飛行中に不審船(違反船等)を発見した場合におけるCPU20による不審船記録処理ルーチンについて図6に基づき以下説明する。
さて、CPU20は、デジタルカメラ13からのマーキング指定コマンドを入力すると、不審船記録処理ルーチンを開始させる。まず、CPU20は、ROM22に格納記憶されている撮像物識別情報22dの中から撮像された不審船の国籍を選択指定するための情報(例えば、日本、韓国、中国等)を読み出し、図7に示すように、当該読み出した情報に対応した国籍別の選択ボタン26をモニタ15(モニタ画面15a)上に表示させる(ステップS21)。
そして、CPU20は、撮像された不審船の国籍が選択されたか否か(即ち、ステップS21で表示した各選択ボタン26の何れかが操作部16からの外部操作に基づき選択指定された際の指定信号を制御部17(CPU20)が入力したか否か)を判定する(ステップS22)。この判定結果が否定判定である場合、CPU20は、この判定結果が肯定判定となるまでステップS22の処理を繰り返し実行する。一方、ステップS22の判定結果が肯定判定となると、CPU20は、前記ステップS22において入力した信号の種別に基づき、選択指定された不審船の国籍を識別し、当該国籍を記録すべき撮像物識別情報23cとしてRAM23に記録させる。
そして次に、CPU20は、ROM22に格納記憶されている撮像物識別情報22dの中から選択可能な前記不審船の状況(航行中、停泊中、操業中)を示す情報を読み出し、図8(a)に示すように、当該読み出した情報に対応した不審船の状況別の選択ボタン27をモニタ15(モニタ画面15a)上に表示させる(ステップS23)。そして、CPU20は、撮像された不審船の状況が選択されたか否か(即ち、ステップS23で表示した各選択ボタン27の何れかが操作部16からの外部操作に基づき選択指定された際の指定信号を制御部17(CPU20)が入力したか否か)を判定する(ステップS24)。この判定結果が否定判定である場合、CPU20は、この判定結果が肯定判定となるまでステップS24の処理を繰り返し実行する。
一方、ステップS24の判定結果が肯定判定となると、CPU20は、前記ステップS24において入力した信号の種別に基づき、選択指定された不審船の状況が航行中であるか否かを判定する(ステップS25)。そして、この判定結果が否定判定である場合(即ち、入力した信号が撮像された不審船が航行中であることを示す信号以外の信号である場合)、CPU20は、撮像された不審船が停泊中であることを記録すべき撮像物識別情報23cとしてRAM23に記録させた後、その処理を後述するステップS28に移行する。一方、ステップS25の判定結果が肯定判定である場合(即ち、入力した信号が撮像された不審船が航行中であることを示す信号である場合)、CPU20は、撮像された不審船が航行中であることを記録すべき撮像物識別情報23cとしてRAM23に記録させる。
そして次に、CPU20は、ROM22に格納記憶されている撮像物識別情報22dの中から選択可能な前記不審船の航行方向を示す情報を読み出し、図8(b)に示すように、当該読み出した情報に対応した航行方向別の選択ボタン28をモニタ15(モニタ画面15a)上に表示させる(ステップS26)。そして、CPU20は、撮像された不審船の航行方向が選択されたか否か(即ち、ステップS26で表示した各選択ボタン28の何れかが操作部16からの外部操作に基づき選択指定された際の指定信号を制御部17(CPU20)が入力したか否か)を判定する(ステップS27)。この判定結果が否定判定である場合、CPU20は、この判定結果が肯定判定となるまでステップS27の処理を繰り返し実行する。一方、ステップS27の判定結果が肯定判定となると、CPU20は、前記ステップS27において入力した信号の種別に基づき、撮像された不審船の航行方向を識別し、当該航行方向を記録すべき撮像物識別情報23cとしてRAM23に記録させる。
そして次に、CPU20は、ROM22に格納記憶されている撮像物識別情報22dの中から選択可能な違反内容(例えば、底引き網漁業、イカ釣り漁業、まき網漁業等)を示す情報を読み出して、図8(c)に示すように、当該読み出した情報に対応した違反内容別の選択ボタン29をモニタ15(モニタ画面15a)上に表示させる(ステップS28)。なお、この場合、前記選択ボタン29としては、不審船が違反操業していない場合に選択指定される選択ボタン(図8(c)では、「違反操業していない(5)」というボタン)29も併せて表示される。そして、CPU20は、撮像された不審船の違反内容等が選択されたか否か(即ち、ステップS26で表示した各選択ボタン29の何れかが操作部16からの外部操作に基づき選択指定された際の指定信号を制御部17(CPU20)が入力したか否か)を判定する(ステップS29)。この判定結果が否定判定である場合、CPU20は、この判定結果が肯定判定となるまでステップS29の処理を繰り返し実行する。一方、ステップS29の判定結果が肯定判定となると、CPU20は、撮像された不審船の違反内容等を識別し、当該違反内容(又は違反なしの事実)を記録すべき撮像物識別情報23cとしてRAM23に記録させる。
そして次に、CPU20は、撮像された不審船の状態をモニタ15(モニタ画面15a)に表示させるために、選択指定された撮像物識別情報23cを設定登録する(即ち、記録すべき撮像物識別情報23cとしてRAM23に格納記憶された撮像物識別情報23cを読み出す)(ステップS30)。そして、CPU20は、前記ステップS30において設定登録された撮像物識別情報23cに基づく不審船の状態をモニタ15(モニタ画面15a)に表示させる(ステップS31)。具体的には、図9に示すように、デジタルカメラ13により撮像された位置(マーキング位置情報23bに基づくマーキング位置)に対応する電子地図18上の位置に予め定めた位置マークである船マーク30が重畳した出力態様で表示される。また、モニタ画面15aの左側には、撮像された不審船の状態(国籍、撮像時刻、マーキング位置、状況、違反内容等)が違反ログとして表示される。そのため、本実施形態の移動経路管理システム10では、モニタ15を視認するだけで、航空機14の移動中に撮像した不審船に関する各種情報(マーキング位置や国籍等)を把握することができる。
次に、以上のように構成された移動経路管理システム10を搭載した航空機14が違反船の探索をするために空港から出発してから探索を終了し空港に到着するまでの移動経路管理システム10の作用について説明する。
なお、以下の説明では、探索飛行の目的が底引き網漁禁止領域で密漁をしている不審船(違反船)の探索であって、その探索飛行中に、底引き網禁止領域である区画領域19内において2隻の違反船(不審船)が発見された場合を例にして説明するものとする。そして、この場合において、1隻目の違反船は、国籍が日本、船の状況は停泊中且つ操業中(違反操業中)であったものとする。また、2隻目の違反船は、国籍が韓国、船の状況が移動中且つ操業中(違反操業中)、航行方向は南西であったものとする。
さて、以上のような前提の下、航空機14の出発前には、まず当該航空機14に搭乗する探索担当者により移動経路管理システム10の電源(図示略)が投入される。すると、GPS受信機12による航空機14の移動位置情報23aの取得が開始され、モニタ15(モニタ画面15a)には、その時点で航空機14が待機している空港の位置を中心にした電子地図18が表示される。そして、モニタ画面15aの上側には、GPS受信機12が取得した航空機14の移動位置情報23aに基づく現在位置(緯度、経度)及び時計21から取得した時刻情報に基づく現在の時刻が併せて表示される。
その後、航空機14が離陸すると、モニタ画面15aに表示される電子地図18は、GPS受信機12が移動位置情報23aを取得する2秒毎に更新される。そのため、モニタ画面15a上に表示される電子地図18は少しずつ移動するが、航空機14の現在位置を示す航空機マーク25は、常にモニタ画面15aの中心に表示される。また、離陸後(又は離陸前)において探索担当者により操作部16が操作され、探索対象領域を底引き網漁禁止領域とするエリア情報22cが選択指定されると、モニタ画面15a上には底引き網漁禁止領域を示す区画領域19が前記電子地図18上に重畳表示される。そして、航空機14が前記区画領域19(底引き網漁禁止領域)の方向に飛行する途中で、船舶捕捉レーダが当該区画領域19付近を航行する不審船を捉えた場合には、前記レーダにより捕捉された当該不審船の位置情報に対応するモニタ画面15aの電子地図18上の位置に船マーク30が表示される(図4参照)。
そして、航空機14が前記区画領域19(底引き網漁禁止領域)内に進入した後、前記船マーク30で表示された不審船(違反船)が発見され、当該不審船(違反船)がデジタルカメラ13で撮像されると、モニタ画面15a上には、探索担当者による操作部16からの外部操作により選択指定可能な国籍別の選択ボタン26(図7参照)が表示される。
そして、探索担当者が前記不審船の国籍を日本と判断し、操作部16の操作に基づき日本を指定する選択ボタン26を選択指定すると、続いてモニタ画面15a上には前記不審船(違反船)の状況別の選択ボタン27(図8(a)参照)が表示される。そして、探索担当者が前記不審船の状況を停泊して操業中であると判断し、操作部16の操作に基づき操業中と停泊中を指定する両選択ボタン27を夫々選択指定すると、続いてモニタ画面15a上には前記不審船(違反船)の違反内容の種類別の選択ボタン29(図8(c)参照)が表示される。そして、探索担当者が前記不審船の違反内容を底引き網漁業での密漁中と判断し、操作部16の操作に基づき底引き網漁業を示す選択ボタン29を選択指定すると、モニタ画面15a上には、図9に示すように、前記不審船(違反船)を撮像した位置(緯度・経度)に対応した電子地図18上の位置(マーキング位置)に船マーク30が表示される。また、モニタ画面15aの左側には、この1隻目の違反船に関する撮像物識別情報(発見された時刻、発見された位置(緯度・経度)、状況及び違反内容等)23cが違反ログとして表示される。
そして更に、航空機14が前記区画領域19(底引き網漁禁止領域)内を探索飛行中において、2隻目の不審船(違反船)が発見され、デジタルカメラ13で当該不審船が撮像されると、モニタ画面15a上には、前記1隻目の不審船(違反船)発見の場合と同様に、まず国籍別の選択ボタン26が表示される。そして、この場合、探索担当者が前記不審船(違反船)の国籍を韓国と判断し、操作部16の操作に基づき韓国を指定する選択ボタン26を選択指定すると、続いてモニタ画面15a上には、前記1隻目の不審船(違反船)発見の場合と同様に、前記不審船(違反船)の状況別の選択ボタン27が表示される。
そして、この場合、探索担当者が前記不審船(違反船)の状況を航行しながら操業中と判断し、操作部16の操作に基づき操業中と航行中を指定する両選択ボタン27を夫々選択指定すると、モニタ画面15aには、前記不審船(違反船)の航行方向別の選択ボタン28(図8(b)参照)が表示される。そして、この場合、探索担当者が前記不審船(違反船)の航行方向を南西方向と判断し、操作部16の操作に基づき南西を指定する選択ボタン28を選択指定すると、モニタ画面15aには、前記1隻目の不審船(違反船)発見の場合と同様に、違反内容の種類別の選択ボタン29が表示される。そして、探索担当者が前記不審船の違反内容を底引き網漁業での密漁中と判断し、操作部16の操作に基づき底引き網漁業を指定する選択ボタン29を選択指定すると、モニタ画面15a上には、図10に示すように、2隻目の違反船を撮像した位置情報(緯度・経度)に対応した電子地図18上の位置(マーキング位置)に船マーク30が表示される。また、モニタ画面15aの左側には、この2隻目の違反船に関する撮像物識別情報(発見された時刻、発見された位置(緯度・経度)、状況、航行方向及び違反内容等)23cに基づく違反ログが1隻目の違反船に関する撮像物識別情報23cに基づく違反ログに続いて表示される。
その後、前記区画領域19(底引き網漁禁止領域)内の探索飛行が終了すると、航空機14は、空港に帰還し、探索任務を終了する。本実施形態では、前記探索飛行中に取得した各種情報(移動位置情報23aや撮像物識別情報23c等)はパソコン11のRAM23に格納記憶されているため、例えば探索担当者等による操作部16からの操作により、モニタ15(モニタ画面15a)上には、当該各種情報に基づく電子地図18を再表示することができる。また、モニタ15以外の出力手段として例えばプリンタ等を接続することにより、図11に示すように、航空機14の飛行経路24や不審船(違反船)の情報等が一目瞭然となる探索結果が当該プリンタから印刷できる。
従って、本実施形態では、以下に示す効果を得ることができる。
(1)まず、時系列単位でGPS受信機12が取得した航空機14の移動位置情報23aに基づく現在位置が区画領域19の表示形成された電子地図18上において刻々と移動しながら表示される。このため、航空機14がどのような飛行経路24で飛行してきたのかを当該航空機14の現在位置と区画領域19との相対的な位置関係を含めてモニタ15(モニタ画面15a)の表示結果から一目で確認することができる。また、GPS受信機12が取得した移動位置情報23aは、パソコン11のRAM23に自動記録されるため、正確な飛行経路24を簡便に且つ精度良く自動記録でき、航空機14の飛行中又は飛行終了後においてモニタ画面15aに視認可能な態様で出力(表示)することができる。
(2)デジタルカメラ13のシャッタが操作されることによりマーキング指定コマンドが制御部17(CPU20)に入力されると、RAM23に格納記憶されている移動位置情報23aの中から最新の移動位置情報23aがマーキング位置情報23bとしてRAM23に自動記録される。このため、違反船を発見して撮像した場合において、その撮像した位置(緯度・経度)の記録を探索担当者の作業負担を軽減しつつ漏れなく正確且つ確実に行うことができる。また、電子地図18上には前記マーキング位置情報23bに基づく位置に船マーク(位置マーク)30が重畳表示されるため、前記違反船を発見した位置と航空機14の現在位置との関係をモニタ画面15aから一目で確認することができる。また、デジタルカメラ13を操作するだけで、違反船を撮像した位置情報(マーキング位置情報23b)を自動記録することができるため、探索担当者は、マーキング位置情報23bを記録するために違反船から目を離さなくてもよくなり、当該違反船に関する情報(撮像物識別情報22d等)を素早く収集し判断することができる。
(3)ROM22に格納記憶されている複数のエリア情報22cの中から探索目的に沿ったエリア情報22cを操作部16からの外部操作により選択指定すると、モニタ15(モニタ画面15a)には、当該選択指定されたエリア情報22cに基づいた区画領域19のみを重畳した電子地図18が表示される。このため、探索目的に沿わないエリア情報22cに基づいた不要な区画領域19が表示されないので、探索目的に合った非常にシンプルで且つ視認容易な電子地図18をモニタ画面15a上に表示できる。
(4)GPS受信機12が航空機14の移動位置情報23aを2秒毎に取得する毎に、モニタ15(モニタ画面15a)に表示されている電子地図18は、当該取得した移動位置情報23aに対応した電子地図18上の位置が中心となるように更新される。このため、探索担当者は、モニタ画面15aから区画領域19と航空機14の現在位置(緯度・経度)との最新の相対的位置関係を把握し、航空機14を操縦しているパイロットに対して当該航空機14の飛行進路を的確に指示することができる。
(5)デジタルカメラ13により撮像された違反船に関する情報(撮像物識別情報23c)をモニタ15(モニタ画面15a)に表示された選択ボタン26〜29の中から選択指定することで、当該違反船に関する撮像物識別情報23cをRAM23に自動記録することができる。このため、探索担当者は、前記違反船に関する撮像物識別情報23cを考えながら入力する必要がない。つまり、非常に効率良く前記違反船に関する撮像物識別情報23cを記録することができるため、探索担当者は、航空機14の下方に広がる海域(領域)から目を離す時間を短縮することができる。即ち、違反船を見逃すことを防止できる。
(6)上記実施形態の移動経路管理システム10には、船舶捕捉レーダが設けられており、当該船舶捕捉レーダにより捕捉された船はモニタ15(モニタ画面15a)に表示されている電子地図18上に船マーク30として表示される。このため、例えば底引き網漁禁止領域等を示す区画領域19内に前記船マーク30が表示された際に、航空機14の飛行方向を前記捕捉された船のいる方向へと的確に変更することができる。つまり、より確実に違反船を発見することができる。
なお、本実施形態は以下のような別の実施形態(別例)に変更してもよい。
・前記実施形態おいて、デジタルカメラ13により撮像した違反船に関する情報(撮像物識別情報23c)を探索担当者が操作部16から手入力することにより、撮像物識別情報22dを決定するようにしてもよい。
・前記実施形態において、撮像手段は、違反船を撮像できるものであれば例えばビデオカメラ等の任意の撮像手段であってもよい。
・前記実施形態において、出力手段は、地図(電子地図18)を出力できるものであれば例えばプリンタ等の任意の出力手段であってもよい。
・前記実施形態において、区画内容の異なる複数の区画領域19を一つにまとめたエリア情報22cをパソコン11のROM22に格納記憶するようにしてもよい。この場合、探索担当者は、モニタ15(モニタ画面15a)に区画領域19を重畳して電子地図18を表示するか否かを選択することになる。
・前記実施形態において、デジタルカメラ13により違反船が撮像された際に、当該デジタルカメラ13からマーキング指定コマンドが出力されなくてもよい。この場合、探索担当者は、デジタルカメラ13で違反船を撮像した後に、パソコン11の操作部16を操作することによりCPU20にマーキング指定コマンドを当該操作部16から出力させることになる。このように構成することで、撮像した船が違反船でなかった場合、当該船に関するマーキング位置情報23bが記録されることがなくなる。つまり、RAM23の記憶容量の増大を回避することができる。また、前記船が撮像された位置に対応する電子地図18上に不要な船マーク30が表示されることも回避できる。
・前記実施形態において、パソコン11の制御部17(RAM23)に記録されたマーキング位置情報23bに対応する電子地図18上の位置に船マーク30を表示させなくてもよい。この場合、モニタ画面15aの左側に違反船を撮像した位置のマーキング位置情報(緯度・経度)及び撮像時刻等が表示されているため、探索担当者は、当該違反船の発見した位置をモニタ画面15aから把握できる。
・前記実施形態において、移動経路管理システム10を搭載可能な移動体であれば例えばヘリコプタや船等の任意の移動体に搭載してもよい。
・また、前記実施形態において、地図情報記憶手段は、例えばCD−ROM等の任意の記録媒体であってもよい。また、エリア情報記憶手段やマーキング位置情報取得手段等も例えばCD−ROM等の任意の記録媒体であってもよい。
・また、前記実施形態において、飛行領域近辺の船の探索をするための船舶捕捉レーダは必ずしも設けなくてよい。
・前記実施形態において、航空機14の飛行目的は、例えば海洋を回遊している海洋生物(例えば鯨等)の調査であってもよい。また、上空から例えば農薬等を散布する際の散布区域の記録であってもよい。
・前記実施形態において、取得及び選択指定された各種情報(移動位置情報23a及び撮像物識別情報23c等)を航空機14の外部(例えば違反船探索本部等)に送信する送信機を航空機14に設けてもよい。なお、前記航空機14から送信された各種情報は、通信中継基地や人工衛星等を経由して前記航空機14の送信機から違反線探索本部等の外部に送信されるようにしてもよい。このように構成すると、前記各種情報を受信した航空機14の外部(探索本部等)でも前記各種情報に対応した電子地図18をタイムリーに視認することができるため、探索担当者は、航空機14に搭乗することなく当該航空機14に対して探索のための具体的な指示をできる。
本実施形態における移動経路管理システムの概略構成図。 モニタ(モニタ画面)に表示された電子地図の表示例を示す模式図。 制御部の構成を示すブロック図。 探索飛行中にモニタ(モニタ画面)に表示される電子地図の表示例を示す模式図。 表示画面更新処理ルーチンを説明するフローチャート。 不審船記録処理ルーチンを説明するフローチャート。 撮像物識別情報に基づく国籍別の操作ボタンが表示されたモニタ(モニタ画面)の表示例を示す模式図。 (a)は船の状況別の操作ボタンの表示例を示す模式図、(b)は船の航行方向別の操作ボタンの表示例を示す模式図、(c)は違反内容別の操作ボタンの表示例を示す模式図。 探索飛行中にモニタ(モニタ画面)に表示される電子地図の表示例を示す模式図。 探索飛行中にモニタ(モニタ画面)に表示される電子地図の表示例を示す模式図。 探索飛行終了後に印刷された探索結果の例を示す模式図。
符号の説明
10…移動経路管理システム、11…パーソナルコンピュータ(パソコン)、12…GPS受信機(移動位置情報記録手段)、13…デジタルカメラ(撮像手段)、14…航空機(移動体)、15…モニタ(出力手段、表示装置)、15a…モニタ画面、16…操作部(エリア情報選択手段、撮像物識別情報選択手段)、18…電子地図、19…区画領域、20…CPU(制御手段)、22…ROM(地図情報記憶手段、エリア情報記憶手段、撮像物識別情報記憶手段)、22b…地図情報、22c…エリア情報、22d…撮像物識別情報、23…RAM(移動位置情報記録手段、マーキング位置情報記録手段)、23a…移動位置情報、23b…マーキング位置情報、23c…撮像物識別情報(選択指定された撮像物識別情報)、24…飛行経路(移動経路)、30…船マーク(位置マーク)。

Claims (7)

  1. 移動体の移動経路を特定するための移動位置情報を時系列単位で取得して自動記録する移動位置情報記録手段と、
    前記移動経路を表示可能な地図を作成するための地図情報が予め格納記憶された地図情報記憶手段と、
    前記地図上に少なくとも一つの区画領域を表示形成するためのエリア情報が予め格納記憶されたエリア情報記憶手段と、
    前記地図情報に基づいた地図を視認可能な出力態様で出力する出力手段と、
    前記出力手段に前記地図を前記移動位置情報に基づいた移動体の移動経路と前記エリア情報に基づいた区画領域とを重畳させた出力態様にて出力させる制御手段とを備えた移動経路管理システム。
  2. 前記移動体の移動経路上に予め定めた位置マークをマーキングするためのマーキング位置情報を前記移動位置情報記録手段が自動記録する移動位置情報の中から取得して自動記録するマーキング位置情報記録手段を更に備え、
    前記制御手段は、前記出力手段に前記地図を前記マーキング位置情報に基づいた位置マークを更に重畳させた出力態様にて出力させる請求項1に記載の移動経路管理システム。
  3. 前記マーキング位置情報記録手段は、外部から前記位置マークをマーキングするための操作がされた際に、前記移動位置情報記録手段が取得した前記移動位置情報を前記マーキング位置情報として取得する請求項2に記載の移動経路管理システム。
  4. 前記エリア情報記憶手段には複数の区画領域毎に個別対応した複数のエリア情報が別途設けられたエリア情報選択手段による選択指定が可能に格納記憶されており、
    前記制御手段は、前記エリア情報選択手段により選択指定されたエリア情報に基づいた区画領域のみを前記出力手段から出力される地図上に重畳させる請求項1〜請求項3のうち何れか一項に記載の移動経路管理システム。
  5. 前記出力手段は、前記地図を表示するモニタ画面を備えた表示装置である請求項1〜請求項4のうち何れか一項に記載の移動経路管理システム。
  6. 撮像機能を有する撮像手段を更に備え、前記マーキング位置情報記録手段は、前記撮像手段が撮像物を撮像したことを契機として、前記移動位置情報の中からマーキング位置情報を取得する請求項2〜請求項5のうち何れか一項に記載の移動経路管理システム。
  7. 前記撮像手段により撮像された撮像物を識別するための撮像物識別情報を予め設定した複数の撮像物毎に対応付けて格納記憶する撮像物識別情報記憶手段と、当該撮像物識別情報記憶手段が格納記憶する各撮像物識別情報の中から少なくとも一つの撮像物識別情報を外部からの操作に基づき選択指定可能な撮像物識別情報選択手段とを更に備え、
    前記制御手段は、前記マーキング位置情報記録手段にマーキング位置情報を前記撮像物識別情報選択手段により選択指定された撮像物識別情報をリンクさせた状態にて記録させる請求項6に記載の移動経路管理システム。
JP2004018175A 2004-01-27 2004-01-27 移動経路管理システム Expired - Fee Related JP3639297B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004018175A JP3639297B1 (ja) 2004-01-27 2004-01-27 移動経路管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004018175A JP3639297B1 (ja) 2004-01-27 2004-01-27 移動経路管理システム

Publications (2)

Publication Number Publication Date
JP3639297B1 JP3639297B1 (ja) 2005-04-20
JP2005214645A true JP2005214645A (ja) 2005-08-11

Family

ID=34545144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004018175A Expired - Fee Related JP3639297B1 (ja) 2004-01-27 2004-01-27 移動経路管理システム

Country Status (1)

Country Link
JP (1) JP3639297B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188150A (ja) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
KR101684851B1 (ko) * 2015-09-07 2016-12-09 한국항공우주산업 주식회사 웨이포인트 기반 항법라디오 및 항공기 식별장치 자동튜닝방법
KR20170123999A (ko) * 2016-04-29 2017-11-09 가천대학교 산학협력단 원격 제어 기기의 위치 인식을 위한 영상 gps 맵 오버레이 방법
JP2020101973A (ja) * 2018-12-21 2020-07-02 株式会社Subaru 航空機

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188150A (ja) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
KR101684851B1 (ko) * 2015-09-07 2016-12-09 한국항공우주산업 주식회사 웨이포인트 기반 항법라디오 및 항공기 식별장치 자동튜닝방법
KR20170123999A (ko) * 2016-04-29 2017-11-09 가천대학교 산학협력단 원격 제어 기기의 위치 인식을 위한 영상 gps 맵 오버레이 방법
KR101887509B1 (ko) * 2016-04-29 2018-08-13 가천대학교 산학협력단 원격 제어 기기의 위치 인식을 위한 영상 gps 맵 오버레이 방법
JP2020101973A (ja) * 2018-12-21 2020-07-02 株式会社Subaru 航空機
US11644563B2 (en) 2018-12-21 2023-05-09 Subaru Corporation Aircraft for identifying a suspicious vessel

Also Published As

Publication number Publication date
JP3639297B1 (ja) 2005-04-20

Similar Documents

Publication Publication Date Title
US6731331B1 (en) Remote-controlled shooting system, video camera apparatus and remote-controlled shooting method
US8265866B2 (en) Methods and systems for augmented navigation
JP2022106904A (ja) 飛行情報制御方法、情報処理装置及びコンピュータプログラム
US8009191B2 (en) Integrated marine search system
US20180039262A1 (en) Lost person rescue drone
KR101683274B1 (ko) 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
JP2016119627A (ja) 追跡処理装置
US11852476B2 (en) Tidal current information display apparatus and method
JP7449567B2 (ja) 通信端末、プログラム及び方法
JP2017104025A (ja) 無人航空機を用いた漁業支援システム
JP2016119625A (ja) 監視システム
JP3639297B1 (ja) 移動経路管理システム
JP4853946B2 (ja) 入港用操船支援システム
CN205785296U (zh) 一种智能无人水域监测平台
WO2021075364A1 (ja) 操船支援システム
US11385060B2 (en) Docking control device, ship, docking information storage device, docking control method, and recording medium
JP2016118995A (ja) 監視システム
EP2417596A1 (en) Improved integrated marine search system
JP7093139B1 (ja) プログラム、情報処理装置、情報処理システム及び情報処理方法
JP6778008B2 (ja) ナビゲーション装置及びナビゲーション方法
JP6738059B2 (ja) 表示装置、探索システム、表示方法、およびプログラム
JPH10300503A (ja) 画像収集機能付きナビゲーションシステム
KR20230123504A (ko) 항로 표지 식별 장치, 자율 항행 시스템, 항로 표지식별 방법, 및 프로그램
JP6244488B1 (ja) 監視システム及び制御プログラム
JP2010286944A (ja) ドライブレコーダシステム、常時記録型ドライブレコーダおよびナビゲーション装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050113

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3639297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees