JP2021071800A - 船舶の着岸支援装置 - Google Patents

船舶の着岸支援装置 Download PDF

Info

Publication number
JP2021071800A
JP2021071800A JP2019196693A JP2019196693A JP2021071800A JP 2021071800 A JP2021071800 A JP 2021071800A JP 2019196693 A JP2019196693 A JP 2019196693A JP 2019196693 A JP2019196693 A JP 2019196693A JP 2021071800 A JP2021071800 A JP 2021071800A
Authority
JP
Japan
Prior art keywords
ship
map
acquisition unit
support device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019196693A
Other languages
English (en)
Other versions
JP7175252B2 (ja
Inventor
裕一郎 嵩
Yuichiro Taka
裕一郎 嵩
直裕 原
Tadahiro Hara
直裕 原
智哉 福川
Tomoya Fukukawa
智哉 福川
勲 若林
Isao Wakabayashi
勲 若林
利之 横上
Toshiyuki Yokogami
利之 横上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Power Technology Co Ltd
Original Assignee
Yanmar Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Power Technology Co Ltd filed Critical Yanmar Power Technology Co Ltd
Priority to JP2019196693A priority Critical patent/JP7175252B2/ja
Priority to PCT/JP2020/039603 priority patent/WO2021085274A1/ja
Priority to EP20881714.8A priority patent/EP4053822A4/en
Publication of JP2021071800A publication Critical patent/JP2021071800A/ja
Application granted granted Critical
Publication of JP7175252B2 publication Critical patent/JP7175252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/10Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • B63B79/15Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers for monitoring environmental variables, e.g. wave height or weather data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63HMARINE PROPULSION OR STEERING
    • B63H20/00Outboard propulsion units, e.g. outboard motors or Z-drives; Arrangements thereof on vessels
    • B63H2020/003Arrangements of two, or more outboard propulsion units

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Atmospheric Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】船舶の位置を精度良く取得することができる船舶の着岸支援装置を提供する。【解決手段】船舶の着岸支援装置は、位置方位情報取得部と、LIDARと、地図生成更新部と、高所点取得部と、位置方位推定部と、を備える。LIDARは、船舶2の周辺の環境を3次元的に示す点群データ40を取得する。地図生成更新部は、点群データ40に基づいて船舶2の周辺の地図41を生成する。高所点取得部は、点群データ40のうち、所定高さ以上の高所点を取得する。位置方位推定部は、高所点取得部により得られた高所点の位置と、地図41における高所点の位置と、のマッチングによって、船舶2の位置及び方位を推定する。地図生成更新部は、位置方位推定部により推定された船舶2の位置及び方位を基準として点群データ40を地図41に配置することで、当該地図41を更新する。【選択図】図2

Description

本発明は、船舶の着岸支援装置に関する。
従来から、船舶が着岸を行うために、衛星測位システムに基づいて前記船舶の位置データを取得する船舶の着岸支援装置が知られている。特許文献1は、この種の船舶の着岸支援装置を開示する。
特許文献1の船舶の着岸支援装置は、船舶にGPSを取り付けている。この船舶の着岸支援装置は、GPSから、船舶の自船位置を算出することができる。また、特許文献1の船舶の着岸支援装置は、GPSから出力される緯度・経度による位置信号を信号処理装置に入力し、GPSによる測位信号、ミリ波レーダーから出力される信号、及び予め信号処理装置に入力した海図データから、船舶と岸壁又は桟橋との関係位置を割り出すようになっている。
特許第5431141号公報
特許文献1の船舶の着岸支援装置は、船舶の自船位置を算出するために、GNSSの一種であるGPSを用いる。しかし、GPS単独測位で算出される自船位置は、実際の自船位置に対してある程度大きな誤差を有することが多い。従って、船舶と岸壁又は桟橋との位置関係を精度良く取得することが困難であった。その結果、例えば、自船位置を利用して船舶を岸壁等に自動着岸させようとする場合に、船舶を着岸目標位置に正しく着岸させることができない可能性がある。
本発明は以上の事情に鑑みてされたものであり、その目的は、船舶の位置を精度良く取得することができる船舶の着岸支援装置を提供することにある。
課題を解決するための手段及び効果
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
本発明の観点によれば、以下の構成の船舶の着岸支援装置が提供される。即ち、この船舶の着岸支援装置は、位置取得部と、周辺環境センサと、地図生成部と、ランドマーク位置取得部と、推定部と、を備える。前記位置取得部は、衛星測位システムに基づく船舶の位置データを取得する。前記周辺環境センサは、前記船舶の周辺の環境を3次元で示す周辺環境データを取得する。前記地図生成部は、前記周辺環境データに基づいて前記船舶の周辺の地図を生成する。前記ランドマーク位置取得部は、前記周辺環境データのうち、所定高さ以上の物体であるランドマークの位置を取得する。前記推定部は、前記ランドマーク位置取得部により得られた前記ランドマークの位置と、前記地図における前記ランドマークの位置と、のマッチングによって、前記船舶の位置及び方位を推定する。前記地図生成部は、前記推定部により推定された前記船舶の位置及び方位を基準として前記周辺環境データを前記地図に配置することで、当該地図を更新する。
これにより、周辺環境データと地図とのマッチングを行った結果として推定される自船の位置及び方位を基準として周辺環境データを地図に配置するので、衛星測位システムに従う場合よりも高精度な地図を取得できる。また、高さが低い物体を除外してマッチングが行われるので、検出が不安定な物体(例えば、桟橋等)が船舶の位置及び方位の推定精度を低下させるのを回避できる。この結果、正確な地図が得られるので、着岸支援を適切に行うことができる。
前記の船舶の着岸支援装置においては、前記地図生成部は、前記周辺環境データを、前記ランドマークであるか否かにかかわらず前記地図に配置することが好ましい。
これにより、周囲の物体が高いか低いかを問わず、当該物体への物理的な接触を地図の利用によって回避することができる。
前記の船舶の着岸支援装置においては、以下の構成とすることが好ましい。即ち、前記ランドマーク位置取得部は、前記周辺環境データのうち、前記船舶が備えるカメラの撮像結果を画像認識して動体と判定された部分に相当する部分を、前記ランドマークの位置として取得する対象から除外する。
これにより、動く物体を基準としたマッチングによって船舶の位置及び方位の推定精度が低下するのを防止することができる。
前記の船舶の着岸支援装置においては、前記地図生成部は、前記周辺環境データのうち、前記船舶からの距離が所定距離よりも近い部分を、前記地図に配置する対象から除外することが好ましい。
これにより、例えば、船舶の移動による引き起こされる波が障害物として取り扱われるのを回避することができる。
前記の船舶の着岸支援装置においては、前記推定部が前記船舶の位置及び方位を推定する場合に、前記位置取得部が取得した前記船舶の位置データが前記推定部に入力されることが好ましい。
これにより、船舶の位置の手掛かりが推定部に与えられるので、船舶の位置及び方位を、少ない計算量で、かつ短時間で推定することができる。
前記の船舶の着岸支援装置においては、以下の構成とすることが好ましい。即ち、この船舶の着岸支援装置は、前記船舶の方位データを取得する方位取得部を備える。前記推定部が前記船舶の位置及び方位を推定する場合に、前記位置取得部が取得した前記船舶の位置データ、及び、前記方位取得部が取得した前記船舶の方位データが前記推定部に入力される。
これにより、船舶の位置及び方位の手掛かりが推定部に与えられるので、船舶の位置及び方位を、より少ない計算量で、かつ短時間で推定することができる。
前記の船舶の着岸支援装置においては、以下の構成とすることが好ましい。即ち、前記方位取得部は、衛星測位システムに基づく前記船舶の方位データを取得する。前記着岸支援装置は、前記船舶の方位の相対変化を取得する方位変化取得部を備える。前記方位取得部が取得した前記船舶の方位データに対し、当該方位データの取得時点から前記周辺環境データの取得時点までの前記船舶の方位の相対変化を前記方位変化取得部により取得した結果に基づいて補正がされた後に、補正後の前記方位データが前記推定部に入力される。
これにより、衛星測位に基づく方位を方位取得部が取得する時間間隔を短くできない場合でも、方位変化取得部を利用することにより、十分に短い時間間隔で、船舶の方位の手掛かりを推定部に与えることができる。
前記の船舶の着岸支援装置においては、以下の構成とすることが好ましい。即ち、船舶の着岸支援装置は、少なくともピッチ方向及びロール方向での前記船舶の姿勢を取得可能な姿勢取得部を備える。前記姿勢取得部が取得した前記船舶の姿勢に基づいて、当該船舶の姿勢の影響を除去する補正が前記周辺環境データに対して行われる。
これにより、船舶の揺れによって周辺環境データが受ける影響を取り除くことができる。この結果、マッチング及び周辺環境データの配置を正確に行うことができるので、高精度な地図を得ることができる。
前記の船舶の着岸支援装置においては、前記地図生成部により更新された前記地図に基づいて当該船舶の自動着岸制御が行われることが好ましい。
これにより、正確な地図に基づいて自動着岸制御を行うことができる。
本発明の一実施形態に係る船舶の着岸支援装置の電気的な構成を示すブロック図。 LIDARにより得られる点群データの高所点と、地図の高所点と、のマッチングを説明する模式図。 地図に点群データが追加される処理を説明する模式図。 LIDARと桟橋の関係を説明する模式図。 地図の生成及び更新に関する処理を示すフローチャート。 高所点の抽出に関する処理を示すフローチャート。
次に、図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る船舶2の着岸支援装置1の電気的な構成を示すブロック図である。
図1に示す船舶の着岸支援装置(以下、単に着岸支援装置と呼ぶ)1は、船舶2に搭載して使用される。本明細書でいう「着岸」には、岸壁に船舶2を着ける場合と、桟橋等の構造体に船舶2を着ける場合と、が含まれる。
着岸支援装置1が適用される船舶2の構成は特に限定されない。例えば、船舶2は、プレジャーボート、漁船、ウォータジェット船、電気推進船、ハイブリッド船等とすることができる。
船舶2は、推進装置5を備える。
推進装置5は、1対のスクリュー6L,6Rを備える。スクリュー6L,6Rは、船舶2の船尾の左右両側に配置されている。推進装置5は、駆動源(エンジンや電動モータ)の駆動力によりスクリュー6L,6Rを回転させることができる。それぞれのスクリュー6L,6Rの回転軸の向きは、上下方向の軸を中心として変更可能である。各スクリュー6L,6Rの回転軸の向き、停止/正転/逆転、及び回転速度は、互いに独立して変更することができる。それぞれのスクリュー6L,6Rを制御することによって、船舶2の横方向の平行移動、その場旋回等を含めた様々な操船を実現することができる。
なお、推進装置5の構成は特に限定されない。例えば、スクリュー6L,6Rは、スターンドライブ又は船外機のスクリューとして構成することができる。また、スクリュー6L,6Rに代えて、水を噴出する向き及び速度を互いに独立して変更可能な左右1対のウォータジェットを配置しても良い。
船舶2の着岸支援装置1は、制御部10と、LIDAR(周辺環境センサ)11と、カメラ12と、を備える。制御部10は、位置方位情報取得部(位置取得部、方位取得部)13と、姿勢情報取得部(姿勢取得部、方位変化取得部)14と、環境情報取得部15と、高所点取得部(ランドマーク位置取得部)16と、地図生成更新部(地図生成部)17と、高所点取得部18と、位置方位推定部(推定部)19と、表示データ生成部20と、自動着岸制御部21と、インタフェース部22と、を備える。
制御部10は、CPU、ROM及びRAMを備えるコンピュータとして構成されている。ROMには、着岸支援装置1を動作させるためのプログラムを含む各種プログラム等が記憶される。CPUは、各種プログラム等をROMから読み出して実行することができる。制御部10は、上記のハードウェアとソフトウェアとの協働により、位置方位情報取得部13、姿勢情報取得部14、環境情報取得部15、高所点取得部16、地図生成更新部17、高所点取得部18、位置方位推定部19、表示データ生成部20、自動着岸制御部21、及びインタフェース部22として機能することができる。
LIDAR11は、船舶2の周辺の環境を示す周辺環境データを取得することができる。LIDAR11は、船舶2の適宜の位置(例えば、船首)に配置される。LIDAR11は、発光部と、受光部と、を有する。発光部は、可視スペクトル範囲外のパルス光(レーザ光)を照射し、受光部は、当該パルス光が物体によって反射した反射光を受光する。LIDAR11は、パルス光を照射してから反射光を受光するまでの時間に基づいて、船舶2の周囲の物体の有無と、物体がある場合は当該物体までの距離を検出する。
LIDAR11は、パルス光の向きを所定の角度間隔で(実質的に)変化させながら、発光と受光を反復する。これにより、船舶2の周囲の物体までの距離を、所定の角度毎に計測することができる。このような角度走査は、例えば、発光部及び受光部の向きを機械的に調整することで実現されても良いし、MEMS(微小電気機械システム)によって実現されても良いし、公知のフェイズドアレイ方式によって実現されても良い。
本実施形態では、LIDAR11は、ヨー方向及びピッチ方向で角度走査を行う3次元LIDARとして構成されている。この角度走査により、LIDAR11は、LIDAR11の周囲に存在する物体を表す3次元の点群データ(周辺環境データ)40を出力することができる。図2(a)には、点群データ40の例が平面図の形で示されるとともに、GNSS装置31及び方位センサ33によって得られた船舶2の位置及び方位が示されている。
カメラ12は、船舶2の周囲を対象として撮影を行うことで撮像データを生成し、この撮像データを出力することができる。カメラ12は、船舶2の適宜位置(例えば、船首)に配置される。カメラ12は、LIDAR11の近傍に、かつ、その撮影方向がLIDAR11の角度走査範囲の中心と一致するように設けると、LIDAR11の点群データ40とカメラ12の撮像データとを対応させ易くなるため好ましい。
位置方位情報取得部13は、船舶2が備えるGNSS装置31が得た船舶2の位置データを取得することができる。また、位置方位情報取得部13は、船舶2が備える方位センサ33が得た船舶2の方位データを取得することができる。
GNSS装置31は、衛星からGNSS電波を受信し、公知の測位計算を行うことによって、船舶2の現在の位置を取得する。従って、GNSS装置31が得る位置データは、衛星測位システムに基づくものである。本実施形態ではGNSS測位として単独測位が行われるが、公知のDGNSS測位やRTK(リアルタイムキネマティック)測位を用いても良い。
方位センサ33は、船舶2の船首の向きを取得することができる。方位センサ33は、本実施形態ではサテライトコンパスから構成されている。サテライトコンパスの構成は公知であるので詳細は省略するが、サテライトコンパスは複数のGNSSアンテナを備え、GNSS電波の搬送波の行路差に基づいて方位を検出することができる。従って、方位センサ33が得る方位データは、衛星測位システムに基づくものである。方位センサ33は、これに限定されず、例えば磁気方位センサとしても良い。
姿勢情報取得部14は、船舶2が備えるIMU35が出力するデータ(船舶2の姿勢に関するデータ)を取得することができる。IMUは、慣性計測装置の略称である。
IMU35は加速度センサを備えており、3次元の加速度を取得することができる。また、IMU35はジャイロセンサを備えており、3次元の角速度を算出することができる。これにより、船舶2の姿勢(ロール角、ピッチ角、及びヨー角)を取得することができる。ジャイロセンサは、例えばリングレーザジャイロ等、各種の公知の構成とすることができる。
環境情報取得部15は、LIDAR11が得た周辺環境データ(具体的には、3次元の点群データ40)を取得することができる。ただし、LIDAR11は自装置に対する相対角度及び相対距離の形で点群データ40を取得するため、点群データ40の位置は、LIDAR11が取り付けられている船舶2の姿勢に応じて変化する。そこで、環境情報取得部15は先ず、LIDAR11が点群データ40を取得したタイミングでの船舶2の姿勢を、姿勢情報取得部14から取得する。環境情報取得部15は、この姿勢情報と、LIDAR11が取得した点群と、に基づいて、仮に船舶2がロール方向及びピッチ方向で所定の角度となっている場合(例えば、水平になっている場合)の点群の位置を計算する。この変換処理は、公知の幾何学的な計算で容易に行うことができる。以上により、3次元の点群データ40に対する船舶2の姿勢(ロール角及びピッチ角)の影響を除去することができる。
高所点取得部16は、環境情報取得部15から入力される3次元の点群データ40のうち、所定高さより高い位置にある点を抽出する。以下、このように抽出された点を高所点と呼ぶことがある。物体が高い所にあることは一種の地理的な特徴と考えることができるため、高所点はランドマークの位置を示すものということができる。高所点として抽出する高さの閾値は適宜定めることができ、詳細は後述する。
地図生成更新部17は、環境情報取得部15から入力される3次元の点群データ40と、位置方位推定部19から入力される船舶2の位置及び方位と、を用いて、船舶2の周囲の地図を生成する。地図は、例えば、3次元空間に点群データ40をプロットしていくことで生成することができる。図2(b)には、生成された地図41の例が示されている。ただし、図2(b)では、位置方位推定部19が行う後述のマッチングを説明するために、地図41に点群データ40が重ねられた状態で描かれている。
地図生成更新部17が地図41に点群データ40をプロットする基準となる船舶2の位置及び方位としては、GNSS装置31及び方位センサ33の出力値ではなく、後述の位置方位推定部19が出力する船舶2の位置及び方位が用いられる。これにより、生成される地図41の精度を高めることができる。詳細は後述する。
高所点取得部18は、地図生成更新部17が生成した地図41から、所定高さより高い位置にある点(高所点)を抽出する。高所点の高さの閾値は、高所点取得部16での閾値と等しくすることが好ましい。
位置方位推定部19は、高所点取得部16から入力された高所点と、高所点取得部18から入力された高所点と、のマッチングによって、船舶2の位置と方位を推定する。
上述したとおり、GNSS装置31及び方位センサ33が出力する船舶2の位置及び方位には、ある程度の誤差が含まれる。従って、仮にGNSS測位結果をそのまま利用してLIDAR11の点群データ40をプロットする形で地図41を生成すると、図2(b)のように点群データ40のプロットがズレて、地図41を構成する点群の位置精度が低下してしまう。この点、位置方位推定部19は、地図生成更新部17が地図41として記憶した高所点と、LIDAR11の検出結果に基づく高所点と、をマッチングすることで、船舶2の正確な位置及び方位を得ることができる。この位置及び方位に基づいて地図生成更新部17がLIDARの点群データ40を配置することで、図3のように正確な地図を得ることができる。このように、本実施形態では、SLAMの一種が行われている。SLAMは、Simultaneous Localization AND Mappingの略称である。
高所点同士をマッチングする方法としては、公知のICPマッチング等を用いることができるが、これに限定されない。ICPは、Iterative Closest Pointの略称である。マッチングの計算を行う際に、GNSS装置31及び方位センサ33が出力した船舶2の位置及び方位を参考情報として用いると、計算量を削減できるために好ましい。
点群のマッチングに関して一般論を言えば、マッチングの点の数が多い方が、位置及び方位の推定の精度が高くなる。しかしながら、本実施形態では、マッチングの対象を高所点だけに絞っている。
以下、この理由を詳細に説明する。この説明にあたっては、図4(a)又は図4(b)に示すように、船舶2の近くに桟橋51が存在する状況を考える。図4(b)においては、桟橋51に、ある程度の高さを有する構造物(具体的には、船舶2に充電を行うための電源供給ポスト52)が上方に突出して設けられている。
第1の理由として、桟橋51の検出の不安定さがある。桟橋51は水面に近い位置にあるため、図4(a)に示すように、LIDAR11のピッチ方向での角度走査範囲における下端付近で検出される場合も多い。従って、例えば白抜き矢印で示すように船舶2が高さ方向で揺れること(ヒーブ)によって、LIDAR11の角度走査範囲に桟橋51が入ったり出たりし易い。この結果、ある時は桟橋51がLIDAR11によって検知され、ある時は検出されなかったりする。この点群の検出の不安定さが、位置方位推定部19が推定する船舶2の位置及び方位の精度低下に繋がってしまう。一方、電源供給ポスト52は図4(b)に示すようにある程度の高さを有しているため、船舶2のヒーブによっても、確実にLIDAR11で検知することが可能になる。
第2の理由として、桟橋51の形状がある。桟橋51は、その殆どが、水面に近く、ほぼ水平な床状に形成されている。一方、LIDAR11は、船舶2においてある程度の高さの位置に取り付けられている。従って、LIDAR11のレーザ光は桟橋51の床面に当たることが殆どである。このことから、図4(a)の例で船舶2が水平方向に移動した場合に、移動方向とほぼ平行な面である桟橋51の床面を検出した点群の位置変化から、船舶2の移動を正確に検出することが難しい。一方、図4(b)に示す電源供給ポスト52は、水平方向に対して垂直に近い面を多く有する。従って、船舶2の水平方向の移動を、LIDAR11が取得する点群の位置変化として捉え易くなる。
このような事情を考慮して、本実施形態の位置方位推定部19は、桟橋51のような低い構造物に相当する点群をマッチング対象から除外して、電源供給ポスト52のようなある程度以上の高さの構造物に相当する点群だけに基づいてマッチングを行っている。これにより、船舶2の位置及び方位を高い精度で推定することができる。また、マッチング対象の絞り込みにより点群の数が減るので、計算量の削減も実現することができる。
従って、高所点取得部16及び高所点取得部18において高所点として抽出する高さの閾値は、桟橋51の水上高さよりも高く、電源供給ポスト52等の水上高さよりも低い適宜の値に定めれば良い。図4(b)には、高さの閾値h1の例が示されている。
表示データ生成部20は、船舶2の位置、船舶2の周囲の地図41、着岸目標位置等を表示するための表示データを生成することができる。表示データは、後述のディスプレイに表示される。表示データは、例えば、現在位置の船舶2をシンボル図形で示し、障害物等を所定の点状の図形で示すためのデータとすることができる。
自動着岸制御部21は、船舶2を着岸目標位置へ到達させる経路を生成し、その経路に従ってスクリュー6L,6R等を制御することで、船舶2を自動的に着岸させることができる。経路の生成及び自動操船にあたっては、位置方位推定部19によって推定された船舶2の位置及び方位と、地図生成更新部17において作成及び更新された地図41と、が用いられる。
インタフェース部22は、着岸支援装置1におけるユーザインタフェース機能を有している。インタフェース部22は、例えば、ディスプレイと、入力装置と、を備える構成とすることができる。この場合、ユーザは、ディスプレイの表示内容を参照し、入力装置を操作することによって、指示を入力することができる。入力装置は、キーボード、マウス、又はタッチパネル等とすることができる。
次に、図5を参照して、地図41の生成及び更新に関する処理について詳細に説明する。図5は、着岸支援装置1の処理フローの一例を示すフローチャートである。
処理が開始されると、位置方位情報取得部13は、GNSS装置31及び方位センサ33の検出結果に基づいて、船舶2の位置データ及び方位データを取得する(ステップS101)。
次に、高所点取得部16は、環境情報取得部15で得られたLIDAR11の点群データ40から、高所点だけの点群を取得する(ステップS102)。
続いて、位置方位推定部19は、ステップS102で得られた高所点の点群と、既に地図生成更新部17で作成されている地図41における高所点の点群と、をマッチングすることにより、船舶2の位置及び方位を推定する(ステップS103)。このステップS103で得られた船舶2の位置及び方位は、ステップS101で得られた船舶2の位置及び方位よりも、高精度となることが期待される。
その後、地図生成更新部17は、ステップS103で推定された船舶2の位置及び方位を基準にして、環境情報取得部15で得られた点群データを地図41に追加する形で更新する(ステップS104)。このときに地図41に追加される点群データは、高所点であるか否かを問わない。その後、処理はステップS101に戻る。
次に、カメラ12による画像認識に基づく点群データ40の処理に関して説明する。
港湾には、他の船舶が航行又は停泊していることがある。水面を基準とした船舶の高さは、通常、桟橋よりも高い。従って、LIDAR11が他船を検出した点群は、高所点として認識され得る。しかし、他船をマッチングの位置的基準として用いるのは、船舶の移動の可能性を考えると適切でない。そこで本実施形態では、LIDAR11の角度走査範囲を視野に含むカメラ12の撮像結果に対して公知の画像認識を行い、他の船舶であると認識された点群に関しては、高所点取得部16において高所点から除外される。高所点取得部18においても同様である。このように、船舶のような動体に相当する点をマッチングの対象(高所点)から除外することで、位置方位推定部19による推定精度を良好に高めることができる。
次に、自船からの距離に基づく点群データ40の処理について説明する。
例えば船舶2がある程度高速で航行している場合、当該船舶2が起こす波がLIDAR11によって検出されることがある。点群データ40のうち、船舶2から所定距離以内で検出された点群を地図41にプロットする対象から除外することで、自船の航行による波が障害物として誤検知されてしまうのを防止することができる。カメラ12の画像により画像認識を行い、障害物でない物体(例えば、波)であると認識された部分に相当する点群を、地図41へのプロット対象から除外しても良い。
続いて、自船の位置及び方位に関するデータを位置方位推定部19に入力する構成について説明する。
GNSS装置31により得られた船舶2の位置、及び、方位センサ33により得られた船舶2の方位を、位置方位推定部19に参考情報として与えることは必須ではない。これらの情報がなくても、位置方位推定部19は、マッチングによって船舶2の位置及び方位を推定することができる。しかしながら、事前に情報が与えられることでマッチング処理が極めて早期に収束するので、地図生成のリアルタイム性等を考慮すれば、上記の参考情報を入力することが好ましい。
構成によっては、方位センサ33により船舶2の方位を取得する周期が、LIDAR11により点群データ40を取得する周期よりも長くなることも考えられる。一方、IMU35による方位(厳密に言えば、方位の変化)の検出は、方位センサ33による方位の検出よりも短い周期で行うことができる。これを利用して、姿勢情報取得部14は、IMU35の検出結果を利用して、直近に方位センサ33によって方位を取得した時点から、LIDAR11により点群データ40を取得した時点までの方位の相対変化を得ることができる。この方位の相対変化に基づいて、方位センサ33によって直近に得られた方位を補正することで、点群データ40の取得時における船舶2の方位を得ることができる。この方位を位置方位推定部19に参考情報として与えることで、位置方位推定部19における短時間でのマッチングを実現することができる。
次に、図6を参照して、高所点取得部16が点群データ40から高所点の点群を抽出する処理を詳細に説明する。図6は、高所点取得部16が行う処理を説明するフローチャートである。
処理が開始すると、高所点取得部16は、点群データ40に含まれる1つの点に着目し、この点の高さが所定の閾値h1以上か否かを判定する(ステップS201)。この判定は、点の位置が3次元直交座標で表されているときは、Z座標を調べることで容易に行うことができる。
点の高さが閾値h1以上である場合、高所点取得部16は、当該点が、カメラ12の画像認識によって他の船舶と認識された部分の点であるか否かを判定する(ステップS202)。この判定は、上述したように、動体に相当する点を高所点から除外するためである。
点が動体に相当していない場合、高所点取得部16は、高所点の点群に、当該点を追加する(ステップS203)。ステップS201で点の高さが閾値h1未満であると判定された場合、又は、ステップS202で点が動体に相当していると判定された場合、ステップS203の処理は行われない。
高所点取得部16は、ステップS201〜ステップS203の処理を、点群データ40を構成する全ての点について繰り返す(ステップS204)。その後、処理が完了する。
以上に説明したように、本実施形態の船舶2の着岸支援装置1は、位置方位情報取得部13と、LIDAR11と、地図生成更新部17と、高所点取得部16と、位置方位推定部19と、を備える。位置方位情報取得部13は、衛星測位システムに基づく船舶2の位置データを取得する。LIDAR11は、船舶2の周辺の環境を3次元で示す点群データ40を取得する。地図生成更新部17は、点群データ40に基づいて船舶2の周辺の地図41を生成する。高所点取得部16は、点群データ40のうち、高所点を取得する。位置方位推定部19は、高所点取得部16により得られた高所点と、地図41における高所点と、のマッチングによって、船舶2の位置及び方位を推定する。地図生成更新部17は、位置方位推定部19により推定された船舶2の位置及び方位を基準として点群データ40を地図41に配置することで、当該地図41を更新する。
これにより、点群データ40と地図41とのマッチングを行った結果として推定される自船の位置及び方位を基準として点群データ40を地図41に配置するので、衛星測位システムに従う場合よりも高精度な地図41を取得できる。また、高さが低い物体を除外してマッチングが行われるので、桟橋等の検出が不安定な物体が船舶の位置及び方位の推定精度を低下させるのを回避できる。この結果、正確な地図41が得られるので、着岸支援を適切に行うことができる。
本実施形態の船舶2の着岸支援装置1において、地図生成更新部17は、点群データ40を、高所点であるか否かにかかわらず地図41に配置する。
これにより、周囲の物体が高いか低いかを問わず、船舶2の当該物体への接触を地図41の利用によって回避することができる。
本実施形態の船舶2の着岸支援装置1において、高所点取得部16は、点群データ40のうち、船舶2が備えるカメラ12の撮像結果を画像認識して動体と判定された部分に相当する部分を、高所点として取得する対象から除外する。
これにより、動く物体(例えば、他船)を基準としたマッチングによって船舶2の位置及び方位の推定精度が低下するのを防止することができる。
本実施形態の船舶2の着岸支援装置1において、地図生成更新部17は、点群データ40のうち、船舶2からの距離が所定距離よりも近い部分を、地図41に配置する対象から除外する。
これにより、例えば、船舶2の移動による引き起こされる波が障害物として取り扱われるのを回避することができる。
本実施形態の船舶2の着岸支援装置1においては、位置方位推定部19が船舶2の位置及び方位を推定する場合に、位置方位情報取得部13が取得した船舶2の位置データが位置方位推定部19に入力される。
これにより、船舶2の位置の手掛かりが位置方位推定部19に与えられるので、船舶の位置及び方位を、少ない計算量で、かつ短時間で推定することができる。
本実施形態の船舶2の着岸支援装置1において、位置方位情報取得部13は、船舶2の位置データに加えて、方位データを取得することができる。位置方位推定部19が船舶2の位置及び方位を推定する場合に、位置方位情報取得部13が取得した船舶2の位置データ及び方位データが位置方位推定部19に入力される。
これにより、船舶2の位置及び方位の手掛かりが位置方位推定部19に与えられるので、船舶2の位置及び方位を、少ない計算量で、かつ短時間で推定することができる。
本実施形態の船舶2の着岸支援装置1において、位置方位情報取得部13は、衛星測位システムに基づく船舶2の方位データを取得する。また、位置方位情報取得部13は、船舶2の方位の相対変化をIMU35に基づいて取得する方位変化取得部としても機能する。位置方位情報取得部13が取得した船舶2の方位データに対し、方位データの取得時点から点群データ40の取得時点までの船舶2の方位の相対変化を方位変化取得部により取得した結果に基づいて補正がされた後に、補正後の方位データが位置方位推定部19に入力される。
これにより、衛星測位システムに基づく方位を方位センサ33が取得する時間間隔を短くできない場合でも、IMU35を用いて方位変化を取得することにより、十分に短い時間間隔で、船舶2の方位の手掛かりを位置方位推定部19に与えることができる。
本実施形態の船舶2の着岸支援装置1は、少なくともピッチ方向及びロール方向での船舶2の姿勢を取得可能な姿勢情報取得部14を備える。姿勢情報取得部14が取得した船舶2の姿勢に基づいて、当該船舶2の姿勢の影響を除去する補正が点群データ40に対して行われる。
これにより、船舶2の揺れによって点群データ40が受ける影響を取り除くことができる。この結果、マッチング及び点群データ40の配置を正確に行うことができるので、高精度な地図41を得ることができる。
本実施形態の船舶2の着岸支援装置1は、自動着岸制御部21を備える。自動着岸制御部21は、地図生成更新部17により更新された地図41に基づいて船舶2の自動着岸制御を行う。
これにより、正確な地図41に基づいて自動着岸制御を行うことができる。
以上に本発明の好適な実施の形態及び変形例を説明したが、上記の構成は例えば以下のように変更することができる。
点群データ40のうち動体と認識した点を高所点から除外する処理は、省略することもできる。点群データ40のうち船舶2から所定距離よりも近い点を地図41へのプロットから除外する処理は、省略することもできる。
地図生成更新部17において地図41にプロットされた点群のうち、高所点とされなかった点群だけを、自動着岸制御部21等において障害物として取り扱っても良い。
地図生成更新部17は、3次元の地図41に代えて、2次元の地図を生成しても良い。言い換えれば、位置方位推定部19において、高所点のマッチングが2次元的に行われても良い。
自動着岸制御部21を省略しても良い。自動操船が行われなくても、例えば地図41をインタフェース部22のディスプレイに表示することで、着岸のためのオペレータの操船を支援することができる。自船の現在位置から着岸目標位置までの経路を生成して、当該自動着岸制御部21に表示しても良い。
LIDAR11を船舶2に取り付ける位置は任意であり、船首のほか、船尾、船体の側面、操縦室の上部等に取り付けることもできる。
カメラ12を船舶2に取り付ける位置は任意であり、船首のほか、船尾、船体の側面、操縦室の上部等に取り付けることもできる。
上記の実施形態では、推進装置5において、スクリュー6L,6Rの回転軸の向きをそれぞれ独立して変更可能に構成されている。しかしながら、推進装置5の方式としては船舶2の横方向の平行移動及びその場旋回等を実質的に実現できれば良く、他の方式に変更することができる。例えば、推進装置5を、回転軸の向きを変更不能な左右1対のスクリューと、舵と、船首側に設けたサイドスラスタと、により構成することが考えられる。また、推進装置5を、回転軸の向きを変更不能な1つのスクリューと、舵と、船首側及び船尾側のそれぞれに設けたサイドスラスタと、により構成することもできる。
上述の教示を考慮すれば、本発明が多くの変更形態及び変形形態をとり得ることは明らかである。従って、本発明が、添付の特許請求の範囲内において、本明細書に記載された以外の方法で実施され得ることを理解されたい。
1 着岸支援装置
2 船舶
12 カメラ
13 位置方位情報取得部(位置取得部、方位取得部)
16 高所点取得部(ランドマーク位置取得部)
17 地図生成更新部(地図生成部)
19 位置方位推定部(推定部)
21 自動着岸制御部
40 点群データ(周辺環境データ)

Claims (9)

  1. 衛星測位システムに基づく船舶の位置データを取得する位置取得部と、
    前記船舶の周辺の環境を3次元で示す周辺環境データを取得する周辺環境センサと、
    前記周辺環境データに基づいて前記船舶の周辺の地図を生成する地図生成部と、
    前記周辺環境データのうち、所定高さ以上の物体であるランドマークの位置を取得するランドマーク位置取得部と、
    前記ランドマーク位置取得部により得られた前記ランドマークの位置と、前記地図における前記ランドマークの位置と、のマッチングによって、前記船舶の位置及び方位を推定する推定部と、
    を備え、
    前記地図生成部は、前記推定部により推定された前記船舶の位置及び方位を基準として前記周辺環境データを前記地図に配置することで、当該地図を更新することを特徴とする船舶の着岸支援装置。
  2. 請求項1に記載の船舶の着岸支援装置であって、
    前記地図生成部は、前記周辺環境データを、前記ランドマークであるか否かにかかわらず前記地図に配置することを特徴とする船舶の着岸支援装置。
  3. 請求項1又は2に記載の船舶の着岸支援装置であって、
    前記ランドマーク位置取得部は、前記周辺環境データのうち、前記船舶が備えるカメラの撮像結果を画像認識して動体と判定された部分に相当する部分を、前記ランドマークの位置として取得する対象から除外することを特徴とする船舶の着岸支援装置。
  4. 請求項1から3までの何れか一項に記載の船舶の着岸支援装置であって、
    前記地図生成部は、前記周辺環境データのうち、前記船舶からの距離が所定距離よりも近い部分を、前記地図に配置する対象から除外することを特徴とする船舶の着岸支援装置。
  5. 請求項1から4までの何れか一項に記載の船舶の着岸支援装置であって、
    前記推定部が前記船舶の位置及び方位を推定する場合に、前記位置取得部が取得した前記船舶の位置データが前記推定部に入力されることを特徴とする船舶の着岸支援装置。
  6. 請求項5に記載の船舶の着岸支援装置であって、
    前記船舶の方位データを取得する方位取得部を備え、
    前記推定部が前記船舶の位置及び方位を推定する場合に、前記位置取得部が取得した前記船舶の位置データ、及び、前記方位取得部が取得した前記船舶の方位データが前記推定部に入力されることを特徴とする船舶の着岸支援装置。
  7. 請求項6に記載の船舶の着岸支援装置であって、
    前記方位取得部は、衛星測位システムに基づく前記船舶の方位データを取得し、
    前記船舶の方位の相対変化を取得する方位変化取得部を備え、
    前記方位取得部が取得した前記船舶の方位データに対し、当該方位データの取得時点から前記周辺環境データの取得時点までの前記船舶の方位の相対変化を前記方位変化取得部により取得した結果に基づいて補正がされた後に、補正後の前記方位データが前記推定部に入力されることを特徴とする船舶の着岸支援装置。
  8. 請求項1から7までの何れか一項に記載の船舶の着岸支援装置であって、
    少なくともピッチ方向及びロール方向での前記船舶の姿勢を取得可能な姿勢取得部を備え、
    前記姿勢取得部が取得した前記船舶の姿勢に基づいて、当該船舶の姿勢の影響を除去する補正が前記周辺環境データに対して行われることを特徴とする船舶の着岸支援装置。
  9. 請求項1から8までの何れか一項に記載の船舶の着岸支援装置であって、
    前記地図生成部により更新された前記地図に基づいて当該船舶の自動着岸制御が行われることを特徴とする船舶の着岸支援装置。
JP2019196693A 2019-10-29 2019-10-29 船舶の着岸支援装置 Active JP7175252B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019196693A JP7175252B2 (ja) 2019-10-29 2019-10-29 船舶の着岸支援装置
PCT/JP2020/039603 WO2021085274A1 (ja) 2019-10-29 2020-10-21 船舶の着岸支援装置
EP20881714.8A EP4053822A4 (en) 2019-10-29 2020-10-21 SHIP DOCKING AUXILIARY DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019196693A JP7175252B2 (ja) 2019-10-29 2019-10-29 船舶の着岸支援装置

Publications (2)

Publication Number Publication Date
JP2021071800A true JP2021071800A (ja) 2021-05-06
JP7175252B2 JP7175252B2 (ja) 2022-11-18

Family

ID=75713243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019196693A Active JP7175252B2 (ja) 2019-10-29 2019-10-29 船舶の着岸支援装置

Country Status (3)

Country Link
EP (1) EP4053822A4 (ja)
JP (1) JP7175252B2 (ja)
WO (1) WO2021085274A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176653A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
WO2023176640A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024042278A (ja) * 2022-09-15 2024-03-28 古野電気株式会社 航行支援装置、航行支援システム、航行支援方法、航行支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5431141B2 (ja) * 2009-12-18 2014-03-05 ヤンマー株式会社 船舶の着岸支援装置
JP2018081008A (ja) * 2016-11-16 2018-05-24 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
JP2018139084A (ja) * 2017-02-24 2018-09-06 株式会社リコー 装置、移動体装置及び方法
WO2019130945A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3960048A (en) 1975-03-28 1976-06-01 Illinois Tool Works Inc. Fastener assembly for creating accurate tension indicating fastener and method of calibrating the same
US20180238690A1 (en) * 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
US10107627B2 (en) * 2017-03-08 2018-10-23 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (ANAGDA)
GB2601644B (en) * 2017-04-28 2023-02-08 FLIR Belgium BVBA Video and image chart fusion systems and methods
CN111819418A (zh) * 2018-02-28 2020-10-23 古野电气株式会社 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5431141B2 (ja) * 2009-12-18 2014-03-05 ヤンマー株式会社 船舶の着岸支援装置
JP2018081008A (ja) * 2016-11-16 2018-05-24 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
JP2018139084A (ja) * 2017-02-24 2018-09-06 株式会社リコー 装置、移動体装置及び方法
WO2019130945A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176653A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
WO2023176640A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
EP4053822A4 (en) 2023-12-06
WO2021085274A1 (ja) 2021-05-06
JP7175252B2 (ja) 2022-11-18
EP4053822A1 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
JP7258062B2 (ja) 自動位置配置システム
US10429845B2 (en) System and method for controlling a position of a marine vessel near an object
WO2021085274A1 (ja) 船舶の着岸支援装置
EP3865395B1 (en) Automatic docking device
JP5000244B2 (ja) 着岸支援装置およびそれを備えた船舶
US20210166568A1 (en) Collision avoidance systems and methods
JP2018177074A (ja) 自律型水中ロボット及びその制御方法
US10150551B2 (en) Trolling motor with wind sensor
US11556130B2 (en) Automatic location placement system
US11921218B2 (en) Marine vessel LIDAR system
US11971478B2 (en) Steering assemblies and associated methods
GB2593794A (en) Collision avoidance systems and methods
Almeida et al. Air and underwater survey of water enclosed spaces for vamos! project
JP7417538B2 (ja) 制御目標生成装置及び操船制御装置
JP7083049B1 (ja) 接舷支援システムおよび接舷支援方法
JP7328378B2 (ja) 水域物体検出システム、船舶および周辺物体検出システム
EP4296992A1 (en) Apparatus and method for adaptively determining target area for vessels
JP2024042278A (ja) 航行支援装置、航行支援システム、航行支援方法、航行支援プログラム
JP2021116019A (ja) 水中航走体の自己位置推定誤差補正方法及び水中航走体の自己位置推定誤差補正システム
JP2023041501A (ja) 着岸支援装置、着岸支援方法、及び着岸支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221108

R150 Certificate of patent or registration of utility model

Ref document number: 7175252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150