JP2023103837A - 水域物体検出システムおよび船舶 - Google Patents

水域物体検出システムおよび船舶 Download PDF

Info

Publication number
JP2023103837A
JP2023103837A JP2022004597A JP2022004597A JP2023103837A JP 2023103837 A JP2023103837 A JP 2023103837A JP 2022004597 A JP2022004597 A JP 2022004597A JP 2022004597 A JP2022004597 A JP 2022004597A JP 2023103837 A JP2023103837 A JP 2023103837A
Authority
JP
Japan
Prior art keywords
imaging
imaging unit
hull
unit
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022004597A
Other languages
English (en)
Inventor
崇大 石井
Takahiro Ishii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2022004597A priority Critical patent/JP2023103837A/ja
Priority to EP22217173.8A priority patent/EP4213110A1/en
Priority to US18/092,966 priority patent/US20230228576A1/en
Publication of JP2023103837A publication Critical patent/JP2023103837A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/10Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/40Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】複数の撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることが可能な水域物体検出システムおよび船舶を提供する。【解決手段】この水域物体検出システム103は、船体101に設けられ、船体101の周辺の物体Oの画像を撮像する第1撮像部1aと、第1撮像部1aと撮像方向が略一致するように船体101に設けられ、船体101の周辺の物体Oの画像を撮像する第2撮像部1bと、第1撮像部1aおよび第2撮像部1bにより撮像した画像に基づいて、船体101の周辺の水域マップMを作成する制御を行う制御部3とを備え、第2撮像部1bは、第1撮像部1aに対して上下方向にずれた位置に配置されるとともに、撮像方向において第1撮像部1aとオーバーラップしないように、第1撮像部1aに対して撮像方向にずれた位置に配置されている。【選択図】図1

Description

この発明は、水域物体検出システムおよび船舶に関し、特に、船体に設けられ、船体の周辺を撮像する複数の撮像部を備えた水域物体検出システムおよび船舶に関する。
従来、船体に設けられ、船体の周辺を撮像する複数の撮像部を備えた水域物体検出システムおよび船舶が知られている(たとえば、特許文献1参照)。
上記特許文献1には、船体の周辺を撮像する複数の撮像部を備えた船舶自動着岸システムが開示されている。上記船舶自動着岸システムの複数の撮像部は、船体上に横並びで配置されている。また、複数の撮像部は、岸壁などの1つの撮像対象を複数の撮像部により撮像することによって三角測量の原理により撮像対象までの距離を算出するように構成されている。
特開2005-180949号公報
ここで、上記特許文献1には明記されていないが、従来より、2つの撮像部により撮像対象(船体周辺の物体)に含まれる特徴点までの距離を算出して、船体の周辺マップを作成する技術が知られている。上記技術では、船体の周辺マップを作成する場合、一方の撮像部と特徴点とを繋ぐ線を他方の撮像部の画像に投影した線であるエピポーラ線上に、一方の撮像部と特徴点との間に位置するすべての点が必ず存在するという幾何学的拘束であるエピポーラ拘束を用いて、画像演算処理の負荷を軽減することが知られている。また、上記技術では、エピポーラ拘束を用いて画像演算処理を行う際に、取得された複数のエピポーラ線の角度の分散が大きい程(角度の差が大きい程)、特徴点までの距離の測定誤差が小さくなる一方、複数のエピポーラ線の角度の分散が小さい程(角度の差が小さい程)、特徴点までの距離の測定誤差が大きくなり周辺マップの位置精度が低くなることが知られている。
このような技術を上記特許文献1の船舶自動着岸システムに適用した場合、複数の撮像部が船体上に横並びで配置されていることから、撮像部の並び方向である横方向に延びるエピポーラ線が多く取得されることになる。すなわち、複数のエピポーラ線の角度の分散(複数のエピポーラ線の角度の差)が比較的小さくなり周辺マップの位置精度が低くなる。このため、従来より、複数の撮像部により撮像された画像に基づいて、より位置精度の高い周辺マップを作成することが求められている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、複数の撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることが可能な水域物体検出システムおよび船舶を提供することである。
上記の課題を解決するために、この発明の第1の局面による水域物体検出システムは、船体に設けられ、船体の周辺の物体の画像を撮像する第1撮像部と、第1撮像部と撮像方向が略一致するように船体に設けられ、船体の周辺の物体の画像を撮像する第2撮像部と、第1撮像部および第2撮像部により撮像した画像に基づいて、船体の周辺の水域マップを作成する制御を行う制御部と、を備え、第2撮像部は、第1撮像部に対して上下方向にずれた位置に配置されるとともに、撮像方向において第1撮像部とオーバーラップしないように、第1撮像部に対して撮像方向にずれた位置に配置されている。
この第1の局面による水域物体検出システムでは、上記のように、船体の周辺の物体の画像を撮像する第1撮像部および第2撮像部を設け、第2撮像部を第1撮像部に対して上下方向においてずれた位置に配置するとともに、第2撮像部を撮像方向において第1撮像部とオーバーラップしないように第1撮像部に対して撮像方向においてずれた位置に配置する。ここで、撮像方向が同じ2つの撮像部により水域マップを作成する技術では、2つの撮像部を撮像方向にずらした場合、横方向や上下方向などの撮像方向に直交する方向のみに2つの撮像部をずらした場合と比較して、複数のエピポーラ線の角度の分散が大きくなる(角度の差が大きくなる)。したがって、上記のような構成によって、複数のエピポーラ線の角度の分散が大きくなるように、第2撮像部を、撮像方向において第1撮像部とオーバーラップしないような比較的大きくずらした位置に配置することができる。その結果、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることができる。また、第2撮像部を第1撮像部に対して上下方向にずらした位置に配置することによって、第2撮像部の真正面の撮像範囲が第1撮像部に制限されるのを防ぐことができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、第1撮像部および第2撮像部は、撮像方向として船体の後方を撮像するように構成され、第2撮像部は、第1撮像部に対して上方にずれた位置に配置されるとともに、第1撮像部に対して前方にずれた位置に配置されている。このように構成すれば、第1撮像部が第2撮像部の撮像方向の下方側に配置されるので、第2撮像部により撮像される画像に、第1撮像部および第1撮像部を設置するための構成などが映り込むことを抑制することができる。
この場合、好ましくは、第1撮像部および第2撮像部は、それぞれ、船体の船尾および船体のルーフに設けられている。このように構成すれば、既存の構成である船尾およびルーフを利用して、第1撮像部が第2撮像部の撮像方向の下方側で、かつ、後方に位置するように、第1撮像部および第2撮像部を容易に配置することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、第2撮像部は、第2撮像部の撮像範囲に第1撮像部が収まる位置に配置されている。このように構成すれば、第2撮像部の配置が、第2撮像部の撮像範囲に第1撮像部が収まらない配置になるのを防ぐことができる。すなわち、第2撮像部の配置が、第1撮像部に対して撮像方向に直交する横方向または上下方向に並ぶような配置に近づくのを防ぐことができる。このため、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより向上させることができる。
この場合、好ましくは、水平面を基準とした第2撮像部に対する第1撮像部の設置角度は、50度以下である。このように構成すれば、水平面を基準とした第2撮像部に対する第1撮像部の設置角度が50度以下に制限されるので、設置角度が大きくなりすぎて第2撮像部の配置が第1撮像部の真上に近づくのを防ぐことができる。すなわち、第2撮像部の配置が、第1撮像部の横方向や上下方向(真上)などの撮像方向に直交する方向の配置に近づくのを防ぐことができるので、複数のエピポーラ線の角度の分散が小さくなることを防ぐことができる。このため、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより一層向上させることができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、第1撮像部および第2撮像部により撮像する物体である岸構造体に向けて船体を自動で移動させることにより、船体を自動的に着岸させるように構成されている。このように構成すれば、船体を岸構造体に容易に着岸させることができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、第2撮像部は、第1撮像部および第2撮像部により撮像する物体までの距離が10m以下である場合において、第1撮像部および第2撮像部の目標誤差が10cm以下となるように、第1撮像部に対して配置されている。このように構成すれば、第1撮像部および第2撮像部の目標誤差を小さく抑えることができるので、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより向上させることができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、第1撮像部および第2撮像部が互いにずれて配置される上下方向に直交する水平方向に広がる2次元の水域マップを作成するように構成されている。このように構成すれば、上下方向(高さ方向)を考慮した3次元の水域マップを作成する場合と比較して、制御部の処理負荷を軽減することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、第1撮像部と第2撮像部との間の距離は、2.0m以下である。このように構成すれば、第1撮像部と第2撮像部とが比較的近くに配置されるので、比較的小型の船舶において、第1撮像部および第2撮像部を容易に設置することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、第1撮像部および第2撮像部により撮像した画像に基づいて、画像内の物体に対応する特徴点を検出することによって、特徴点の周囲に、物体が存在する可能性のある物体存在範囲を設けた水域マップを作成するように構成されている。このように構成すれば、水域マップに船舶が避けるべき物体存在範囲を表示して、船体の周辺にある物体を容易に把握することができる。
この発明の第2の局面による水域物体検出システムは、船体に設けられ、船体の周辺の画像を撮像する第1撮像部と、第1撮像部とは別体で構成されるとともに、第1撮像部と撮像方向が略一致するように船体に設けられ、船体の周辺の画像を撮像する第2撮像部と、第1撮像部および第2撮像部により撮像した画像に基づいて、船体の周辺の水域マップを作成する制御を行う制御部と、を備え、第2撮像部は、第1撮像部に対して上下方向にずれた位置に配置されるとともに、第1撮像部に対して撮像方向にずれた位置に配置されている。
この第2の局面による水域物体検出システムでは、上記のように、船体の周辺の物体の画像を撮像する第1撮像部および第2撮像部を設け、第2撮像部を第1撮像部に対して上下方向においてずれた位置に配置するとともに、第2撮像部を撮像方向において第1撮像部に対して撮像方向においてずれた位置に配置する。ここで、撮像方向が同じ2つの撮像部により水域マップを作成する技術では、2つの撮像部を撮像方向においてずらした場合、横方向や上下方向などの撮像方向に直交する方向のみに2つの撮像部をずらした場合と比較して、複数のエピポーラ線の角度の分散が大きくなる(角度の差が大きくなる)。したがって、上記のような構成によって、複数のエピポーラ線の角度の分散が大きくなるように、第2撮像部を、撮像方向において第1撮像部に対してずらした位置に配置することができる。その結果、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることができる。また、第2撮像部を第1撮像部に対して上下方向にずらした位置に配置することによって、第2撮像部の真正面の撮像範囲が第1撮像部に制限されるのを防ぐことができる。また、第1撮像部と第2撮像部とが別体であるため、互いの位置を自在に調整することができる。
この発明の第3の局面による船舶は、船体と、船体に設けられる水域物体検出システムと、を備え、水域物体検出システムは、船体に設けられ、船体の周辺の物体の画像を撮像する第1撮像部と、第1撮像部と撮像方向が略一致するように船体に設けられ、船体の周辺の物体の画像を撮像する第2撮像部と、第1撮像部および第2撮像部により撮像した画像に基づいて、船体の周辺の水域マップを作成する制御を行う制御部と、を含み、第2撮像部は、第1撮像部に対して上下方向にずれた位置に配置されるとともに、撮像方向において第1撮像部とオーバーラップしないように、第1撮像部に対して撮像方向にずれた位置に配置されている。
この第3の局面による船舶では、上記のように、船体の周辺の物体の画像を撮像する第1撮像部および第2撮像部を設け、第2撮像部を第1撮像部に対して上下方向においてずれた位置に配置するとともに、第2撮像部を撮像方向において第1撮像部とオーバーラップしないように第1撮像部に対して撮像方向においてずれた位置に配置する。ここで、撮像方向が同じ2つの撮像部により水域マップを作成する技術では、2つの撮像部を撮像方向においてずらした場合、横方向や上下方向などの撮像方向に直交する方向のみに2つの撮像部をずらした場合と比較して、複数のエピポーラ線の角度の分散が大きくなる(角度の差が大きくなる)。したがって、上記のような構成によって、複数のエピポーラ線の角度の分散が大きくなるように、第2撮像部を、撮像方向において第1撮像部とオーバーラップしないような比較的大きくずらした位置に配置することができる。その結果、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることが可能な船舶を提供することができる。また、第2撮像部を第1撮像部に対して上下方向にずらした位置に配置することによって、第2撮像部の真正面の撮像範囲が第1撮像部に制限されるのを防ぐことができる。
上記第3の局面による船舶において、好ましくは、船体の全長は、20m以下である。このように構成すれば、比較的小型の船舶において、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることが可能な船舶を提供することができる。
上記第3の局面による船舶において、好ましくは、第1撮像部および第2撮像部は、撮像方向として船体の後方を撮像するように構成され、第2撮像部は、第1撮像部に対して上方にずれた位置に配置されるとともに、第1撮像部に対して前方にずれた位置に配置されている。このように構成すれば、第1撮像部が第2撮像部の撮像方向の下方側に配置されるので、第2撮像部により撮像される画像に、第1撮像部および第1撮像部を設置するための構成などが映り込むことを抑制することができる。
この場合、好ましくは、第1撮像部および第2撮像部は、それぞれ、船体の船尾および船体のルーフに設けられている。このように構成すれば、既存の構成である船尾およびルーフを利用して、第1撮像部が第2撮像部の撮像方向の下方側で、かつ、後方に位置するように、第1撮像部および第2撮像部を容易に配置することができる。
上記第3の局面による船舶において、好ましくは、第2撮像部は、第2撮像部の撮像範囲に第1撮像部が収まる位置に配置されている。このように構成すれば、第2撮像部の配置が、第2撮像部の撮像範囲に第1撮像部が収まらない配置になるのを防ぐことができる。すなわち、第2撮像部の配置が、第1撮像部に対して撮像方向に直交する横方向または上下方向に並ぶような配置に近づくのを防ぐことができる。このため、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより向上させることができる。
この場合、好ましくは、水平面を基準とした第2撮像部に対する第1撮像部の設置角度は、50度以下である。このように構成すれば、水平面を基準とした第2撮像部に対する第1撮像部の設置角度が50度以下に制限されるので、設置角度が大きくなりすぎて第2撮像部の配置が第1撮像部の真上に近づくのを防ぐことができる。すなわち、第2撮像部の配置が、第1撮像部の横方向や上下方向(真上)などの撮像方向に直交する方向の配置に近づくのを防ぐことができるので、複数のエピポーラ線の角度の分散が小さくなることを防ぐことができる。このため、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより一層向上させることができる。
上記第3の局面による船舶において、好ましくは、制御部は、第1撮像部および第2撮像部により撮像する物体である岸構造体に向けて船体を自動で移動させることにより、船体を自動的に着岸させるように構成されている。このように構成すれば、船体を岸構造体に容易に着岸させることができる。
上記第3の局面による船舶において、好ましくは、第2撮像部は、第1撮像部および第2撮像部により撮像する物体までの距離が10m以下である場合において、第1撮像部および第2撮像部の目標誤差が10cm以下となるように、第1撮像部に対して配置されている。このように構成すれば、第1撮像部および第2撮像部の目標誤差を小さく抑えることができるので、第1撮像部および第2撮像部により撮像された画像に基づき作成される水域マップの位置精度をより向上させることができる。
上記第3の局面による船舶において、好ましくは、制御部は、第1撮像部および第2撮像部が互いにずれて配置される上下方向に直交する水平方向に広がる2次元の水域マップを作成するように構成されている。このように構成すれば、上下方向(高さ方向)を考慮した3次元の水域マップを作成する場合と比較して、制御部の処理負荷を軽減することができる。
本発明によれば、上記のように、複数の撮像部により撮像された画像に基づき作成される水域マップの位置精度を向上させることができる。
実施形態による水域物体検出システムを備えた船舶を示した側面図である。 実施形態による船舶の岸構造体への着岸について説明するための平面図である。 実施形態による水域物体検出システムにより作成された水域マップを示した図である。 実施形態による水域物体検出システムにより作成された水域マップ上の物体存在範囲の大きさについて説明するための模式図である。 実施形態による水域物体検出システムの第1撮像部および第2撮像部による三角測量について説明するための図である。 水平面を基準とした第2撮像部に対する第1撮像部の設置角度(θ)と、エピポーラ線の角度の標準偏差との関係を示したグラフである。 第1撮像部および第2撮像部を撮像方向にずらした場合において、第2撮像部の画像にエピポーラ線を示した実施例について説明するための図である。 第1撮像部および第2撮像部を左右横並びに配置した場合において、第2撮像部の画像にエピポーラ線を示した比較例について説明するための図である。 水平面を基準とした第2撮像部に対する第1撮像部の設置角度(θ)と、第1撮像部と第2撮像部との間の距離(D)との関係を示したグラフである。 実施例(2、3)および比較例(1、4~7)における第2撮像部に対する第1撮像部の配置について説明するための図である。 第1撮像部および第2撮像部を所定の位置に配置して複数の画像を撮像した場合における撮像画像間の相対姿勢の変化を示すグラフである。 第2撮像部に対する第1撮像部の配置と、撮像画像間の相対姿勢の誤差の標準変化との関係を示すグラフである。 第2撮像部に対する第1撮像部の配置と、エピポーラ線の角度の分散との関係を示すグラフである。 エピポーラ線の角度の分散と、撮像画像間の相対姿勢の誤差との関係を示すグラフである。
以下、実施形態を図面に基づいて説明する。
[実施形態]
(船舶の全体構成)
図1~図9を参照して、実施形態による水域物体検出システム103を備える船舶100の構成について説明する。
図中のFWDは船舶100の前進方向(船体101を基準とした前方)を示しており、BWDは船舶100の後進方向(船体101を基準とした後方)を示している。BWDは、第1撮像部1aおよび第2撮像部1bの撮像方向でもある。第1撮像部1aの撮像範囲A1の中心線α1、および、第2撮像部1bの撮像範囲A2の中心線α2は、BWDと平行である。また、中心線α1および中心線α2は、船体101の左右方向の中心線β(図2参照)と平行である。
また、図中のLは船舶100の左舷方向(船体101を基準とした左方)を示しており、Rは船舶100の右舷方向(船体101を基準とした右方)を示している。
また、図中のZ方向は、上下方向を示している。Z1方向は上方を示している。Z2方向は下方を示している。
図1に示すように、船舶100は、船体101と、船体101に設けられる船舶推進器102と、船体101に設けられる水域物体検出システム103とを備えている。水域物体検出システム103は、第1撮像部1aと、第2撮像部1bとを備えている。
船舶推進器102は、船体101の船尾(トランサム)Tに後方から取り付けられている。すなわち、本実施形態では船舶推進器102は船外機により構成されており、船舶100は船外機艇として構成されている。
図2に示す船体101の全長(前後方向の長さ)L10は、20m(約65フィート)以下であり、比較的小型である。一例ではあるが、船体101は、全長L10が約8.7m(約28フィート)の小型船舶であり、船体101の左方ではなく後方に岸構造体O1が位置する状態で着岸が行われるタイプの船体である。また、一例ではあるが、船体101の幅L11は、約2.5mである。
図1に示す水域物体検出システム103(制御部3)は、船体101の周辺の水平方向に広がる2次元の水域マップM(図3参照)を作成しながら水域マップMにおける船体101の自己位置を推定する制御を行うように構成されている。2次元の水域マップMは、第1撮像部1aおよび第2撮像部1bが互いにずれて配置される上下方向(Z方向)に直交する水平方向に広がるマップである。
一例ではあるが、上記のような制御(水域マップMを作成しながら水域マップMにおける船体101の自己位置を推定する制御)は、SLAM(Simultaneous Localization And Mapping)という手段により実現される。
SLAMとは、移動装置に設置されたカメラの画像などを利用して、移動装置の周辺の環境地図の作成と、環境地図における移動装置の自己位置の推定とを同時に行う技術である。SLAMによる移動装置の自己位置の推定は、地図上でのGPS(Global Positioning System)などを用いた自己位置の推定とは異なり、GPSなどを利用することができない屋内などの環境でも行うことが可能である。
また、SLAMにより、移動装置を周囲の物体に衝突することがないように物体を避けて移動させることが可能になるとともに、経路の重複などのない最適な移動ルートにより移動装置を移動させることが可能となる。
SLAMには、カメラなどのイメージセンサを利用して周辺の物体を撮像することにより行う受動的なSLAM(いわゆるVisual SLAMなど)と、レーザー装置のレーザ光を周辺の物体に照射して反射したレーザ光を検知することなどにより行う能動的なSLAM(いわゆるLiDAR SLAMなど)とがある。本実施形態の水域物体検出システム103は、前者の受動的なSLAMのような手段を利用した制御を行う。
図3および図4に示すように、船舶100は、水域物体検出システム103を用いて作成した水域マップMにより、移動ルートrに沿って障害物(物体O)を避けて自動で移動する制御や、浮桟橋などの岸構造体O1(図2参照)に船体101を自動的に着岸させる制御を行うことが可能に構成されている。
また、自動で移動する場合に限らず、船舶100は、ユーザが手動で操船する際に、障害物(物体O)の位置を把握する手段として水域マップMを使用することができる。すなわち、水域マップMとは、船舶100の周囲に存在する障害物(物体O)の位置などを示すためのいわゆるコストマップである。
(水域物体検出システムの構成)
図1に示すように、水域物体検出システム103は、第1撮像部1aと、第2撮像部1bと、表示部2と、制御部3とを備えている。第1撮像部1a、第2撮像部1b、表示部2および制御部3は、船体101に設けられている。
図4に示すように、水域物体検出システム103(制御部3)は、第1撮像部1aおよび第2撮像部1bにより撮像した画像に基づいて、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出することによって、特徴点Fの周囲に、物体Oが存在する可能性を含む物体存在範囲F1を設けた水域マップMを作成する制御を行うように構成されている。
(水域物体検出システムの「撮像部」の構成)
図1に示す第1撮像部1aおよび第2撮像部1bは、船体101の周辺の画像を撮像するように構成されている。第1撮像部1aおよび第2撮像部1bは、同一の構造を有する単眼カメラにより構成されている。すなわち、第2撮像部1bは、第1撮像部1aとは別体で構成されている。第1撮像部1aおよび第2撮像部1bは、CCDセンサまたはCMOSセンサなどの撮像素子を有している。第1撮像部1aおよび第2撮像部1bは、平面視で船体101の左右方向の中心線β(図2参照)上に配置されている。
第1撮像部1aは、船体101の船尾(トランサム)Tに設けられている。第2撮像部1bは、船体101のルーフRに設けられている。
第2撮像部1bは、第1撮像部1aと撮像方向が略一致するように船体101に設けられている。詳細には、第1撮像部1aおよび第2撮像部1bは、撮像方向として船体101の後方(BWD)を撮像するように構成されている。
第2撮像部1bは、第1撮像部1aに対して上下方向においてずれた位置に配置されるとともに、撮像方向において第1撮像部1aとオーバーラップしないように、第1撮像部1aに対して撮像方向においてずれた位置に配置されている。詳細には、第2撮像部1bは、第1撮像部1aに対して上方にずれた位置に配置されるとともに、第1撮像部1aに対して前方にずれた位置に配置されている。第2撮像部1bの後方端部(第1撮像部1a側の端部)は、第1撮像部1aの前方端部(第2撮像部1b側の端部)よりも前方に配置されている。このように、第2撮像部1bは、第1撮像部1aに対して上方にずれた位置に配置されることによって、第2撮像部1bの撮像範囲A2(画像の中央部)のうちの真正面の範囲が第1撮像部1aにより制限されない。
また、第2撮像部1bは、第2撮像部1bの撮像範囲A2に第1撮像部1aが収まる位置に配置されている。すなわち、第2撮像部1bによって撮像された画像の下方側に第1撮像部1aが映り込むような位置に、第2撮像部1bは配置されている。
また、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度θ(図5参照)は、50度以下である。一例ではあるが、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度θは、30度である。ここで、幾何学的拘束であるエピポーラ拘束の観点から、上記設置角度θが小さくなる程、取得される複数のエピポーラ線の角度の分散が大きくなり、特徴点までの距離の測定誤差が小さくなり水域マップの位置精度が高くなることが知られている。
一例ではあるが、図5に示す第1撮像部1aおよび第2撮像部1bの間の水平方向の距離をL1を固定して、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度θを10度間隔で90度まで変化させた撮像部配置の各々で複数のエピポーラ線を取得して、複数のエピポーラ線の角度の標準偏差[rad]を算出した結果を図6に示す。設置角度θが小さくなる程、エピポーラ線の角度の標準偏差が小さくなる。実施例である設置角度θが50度以下で標準偏差が0.3よりも大きくなっている。なお、図6に示す設置角度θが60~90度の場合は比較例である。
また、第1撮像部1aと第2撮像部1bとの間の距離Dは、2.0m以下である。一例ではあるが、第1撮像部1aと第2撮像部1bとの間の距離Dは、1.5mである。上記距離Dが2.0m以下という範囲は、船体101の全長L10(図2参照)が20m(約65フィート)以下であるという構成を考慮したものである。
一例ではあるが、第1撮像部1aと第2撮像部1bとの間の距離Dが1.5mであり、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度θが30度である場合において、第2撮像部1bの画像にエピポーラ線を示した本発明の実施例を図7に示す。また、一例ではあるが、第1撮像部と第2撮像部とを左右横並びで配置した場合において、第2撮像部の画像にエピポーラ線を示した比較例を図8に示す。図7の画像では複数のエピポーラ線が放射状に延びている。図8の画像では複数のエピポーラ線が左右方向に延びている。
水域物体検出システム103(制御部3)は、第1撮像部1aおよび第2撮像部1bを用いて特徴点Fまでの距離測定を行うように構成されている。詳細には、水域物体検出システム103(制御部3)は、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づいて、三角測量により撮像した画像内の物体Oに対応する特徴点Fまでの距離測定を行うように構成されている。
「画像内の物体Oに対応する特徴点F」とは、画像において物体Oが位置する部分に示される特定の点を意味する。一例ではあるが、特徴点Fは、画像において、輝度の変化や、色調の変化が特に大きい箇所などに設定される。
水域物体検出システム103(制御部3)は、三角測量による距離測定の前処理として、第1撮像部1aおよび第2撮像部1bが撮像した各画像の歪み補正や、各画像を互いに対応付ける平行化、各画像上の対応する特徴点Fのマッチングによる視差の推定、第1撮像部1aおよび第2撮像部1b間の相対位置・相対姿勢の推定などを事前に行うように構成されている。
図5を参照して、水域物体検出システム103(制御部3)が行う三角測量による特徴点Fまでの距離測定ついて説明する。
第1撮像部1aおよび第2撮像部1bの間の水平方向(撮像方向)の距離をL1、第1撮像部1aおよび第2撮像部1bの間の上下方向の距離をx、第1撮像部1aおよび第2撮像部1bの視差をd、第1撮像部1a(第2撮像部1b)の撮像素子の素子ピッチをp、第1撮像部1a(第2撮像部1b)の焦点距離をfとすると、第2撮像部1bから特徴点F(物体O)までの水平方向の距離Lは、以下に示す式(1)で求められる。なお、上記の視差dは、第1撮像部1aおよび第2撮像部1bの各々で撮影した画像の対応する特徴点の画像上の座標の差であり、単位はピクセルである。
Figure 2023103837000002
第2撮像部1bは、第1撮像部1aおよび第2撮像部1bにより撮像する物体Oまでの距離Lが10m以下である場合において、第1撮像部1aおよび第2撮像部1bの目標誤差δが10cm以下となるように、第1撮像部1aに対して配置されている。上記の目標誤差δは、距離L=10m近傍での視差dの分解能によって決まる推定距離分解能である。ここで、視差dの分解能が1ピクセル単位と仮定して、隣り合う視差をda、db(たとえばda=10ピクセル、db=11ピクセル)とすると、距離Lの分解能、すなわち目標誤差δ(単位は[m])は、以下に示す式(2)で求められる。
Figure 2023103837000003
上記のような誤差条件を満たすように、第1撮像部1aおよび第2撮像部1b間の直線距離Dと、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度θとの関係を考えた場合、図9に示す破線よりも上方側の領域が上記誤差条件を満たすことになる。破線よりも下方側の領域では目標誤差δが10cmよりも大きくなる。
また、上記誤差条件の下、さらに、設置角度θを50度以下に設定するとともに、距離Dを2.0m以下に設定すると、図9にハッチングで示す領域内が上記誤差条件を満たすことになる。
(水域物体検出システムの「表示部」の構成)
図3および図4に示すように、表示部2(図1参照)は、制御部3(図1参照)により作成された水域マップMを表示するように構成されている。一例ではあるが、表示部2は、横450ピクセル、縦600ピクセルの表示画像内に水域マップMを表示するように構成されている。横450ピクセル、縦600ピクセルの表示画像は、世界座標系に点群がプロットされた表示画像である。一例ではあるが、水域マップMの1ピクセルの大きさは、世界座標系における横10cm、縦10cmの大きさに相当する。
また、表示部2は、船体101を水域マップMに表示するように構成されている。表示部2は、船体101を模式的なモデルにより水域マップM上に表示するように構成されている。
表示部2は、特徴点Fを水域マップMに表示するように構成されている。また、表示部2は、特徴点Fの周囲に物体Oが存在する可能性を含む物体存在範囲F1を水域マップMに表示するように構成されている。具体的な一例として、制御部3は、表示部2の1つのピクセルに1つの特徴点Fを表示するとともに、特徴点Fを表示する1つのピクセルの周囲に真円形状の物体存在範囲F1を設けて表示部2に表示する制御を行うように構成されている。物体存在範囲F1は、船体101に近い程、小さな半径の円形状になる。
ここで、物体存在範囲F1とは、特徴点Fの周囲に設けられる範囲であり、物体Oが存在する可能性を含む範囲である。要するに、物体存在範囲F1とは、物体Oが存在するであろうと確率的に考えられる範囲を示している。つまり、物体存在範囲F1とは、船舶100が移動する際に避けるべき範囲であり、物体存在範囲F1上には船舶100が移動する際の移動ルートが設定されることはない。
また、表示部2は、現在、第1撮像部1aおよび第2撮像部1bが撮像している範囲を示す所定画角の撮像領域Aを水域マップMに表示するように構成されている。
(水域物体検出システムの「制御部」の構成)
図1に示す制御部3は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等を含む回路基板である。制御部3は、第1撮像部1a、第2撮像部1b、表示部2および船舶推進器102に対して信号線により接続されている。
制御部3は、作成した水域マップM(図3参照)に基づいて、自動で移動する際の移動ルートrを設定して、船舶推進器102の駆動を制御することにより、船体101を自動で移動させる制御を行うことが可能に構成されている。
制御部3は、第1撮像部1aおよび第2撮像部1bにより撮像した画像に基づいて、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出することによって、特徴点Fの周囲に、物体Oが存在する可能性を含む真円形状の物体存在範囲F1を設けた水域マップMを作成する制御を行う。
制御部3は、第1撮像部1aおよび第2撮像部1bが互いにずれて配置される上下方向(Z方向)に直交する水平面内において物体存在範囲F1を設けることにより、船体101の周囲の水平方向に広がる2次元の水域マップMを作成するように構成されている。
(エピポーラ線の角度の分散と、撮像された画像における誤差との相関)
図10~図14を参照して、エピポーラ線の角度の分散と撮像された画像における誤差との相関についての実施例および比較例について説明する。
図10に示すように、配置が固定された第2撮像部に対して、第1撮像部の位置を配置1~7に変化させて画像を撮像した。第1撮像部および第2撮像部の撮像方向は、BWDである。第1撮像部の配置2および3が実施例であり、その他(配置1および4~7)は比較例である。
第1撮像部の配置1では、第2撮像部の真正面に第1撮像部が配置されている。第1撮像部の配置2では、第2撮像部の画角内の後方下側に第1撮像部が配置されている。第1撮像部の配置3では、第2撮像部の画角外の後方下側に第1撮像部が配置されている。第1撮像部の配置4では、第2撮像部の真下に第1撮像部が配置されている。第1撮像部の配置5では、第2撮像部の画角内の後方右側に第1撮像部が配置されている。第1撮像部の配置6では、第2撮像部の画角外の後方右側に第1撮像部が配置されている。第1撮像部の配置7では、第2撮像部の画角内の右側の真横に第1撮像部が配置されている。
そして、第1撮像部の配置1~7の各々について、所定数の画像(たとえば11枚)を撮像して第1撮像部および第2撮像部間のピッチ、ヨーおよびロールの相対姿勢[deg]を撮像した画像から推定した。一例ではあるが、図11に第1撮像部の配置7の撮像画像間の相対姿勢の変動を示す。図11の画像番号は順番に撮像した画像数を示している。図11では、各画像間でヨーが大きく変動しており、撮像した画像における相対姿勢の誤差(第1撮像部および第2撮像部間の相対姿勢の誤差)が大きいことがわかる。なお、図11において、ピッチ、ヨーおよびロールのいずれもが横方向に一直線上に延びる状態になることが、画像における相対姿勢の誤差が小さくなるため、理想である。
図12に第1撮像部の配置1~7の各々のピッチ、ヨーおよびロールについての相対姿勢の誤差の標準偏差[deg]について示す。第1撮像部の配置1~3では、ピッチ、ヨーおよびロールのすべての相対姿勢の誤差の標準偏差[deg]が小さくなることが分かる。一方、第1撮像部の配置4~7では、ピッチ、ヨーおよびロールのいずれかの相対姿勢の誤差の標準偏差[deg]が大きくなることが分かる。
図13に第1撮像部の配置1~7の各々で所定数の特徴点を指定して複数のエピポーラ線を取得した場合のエピポーラ線の角度の分散を測定した結果を示す。第1撮像部の配置4および7では、複数のエピポーラ線が画像上で上下または左右に延びる平行線になるため、分散が0になる。
また、第1撮像部の配置5および6では、第1撮像部と第2撮像部との並び方向と、撮像対象(特徴点を取得する物体)が延びる方向とが一致するため、複数のエピポーラ線が画像上で左右方向に延びることになり、分散が小さくなる。撮像対象(特徴点を取得する物体)が延びる方向とは桟橋などの岸構造体の延びる水平方向である。また、第1撮像部の配置1~3では、第1撮像部と第2撮像部との撮像方向における位置がずれるため、分散が大きくなる。
図14に撮像画像間の相対姿勢の誤差と、エピポーラ線の角度の分散との相関を破線の累乗近似曲線とともに示す。累乗近似曲線のR-2乗値は0.7049である。分散が0.3以上の範囲で、概ね累乗近似曲線上に測定点が位置している。このことから、少なくとも分散が0.3以上であれば第1撮像部および第2撮像部間の相対姿勢の誤差が十分に小さく抑えられる。
(実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、船体101の周辺の物体Oの画像を撮像する第1撮像部1aおよび第2撮像部1bを設け、第2撮像部1bを第1撮像部1aに対して上下方向においてずれた位置に配置するとともに、第2撮像部1bを撮像方向において第1撮像部1aとオーバーラップしないように第1撮像部1aに対して撮像方向においてずれた位置に配置する。ここで、撮像方向が同じ2つの撮像部により水域マップを作成する技術では、2つの撮像部を撮像方向にずらした場合、横方向や上下方向などの撮像方向に直交する方向のみに2つの撮像部をずらした場合と比較して、複数のエピポーラ線の角度の分散が大きくなる(角度の差が大きくなる)。したがって、上記のような構成によって、複数のエピポーラ線の角度の分散が大きくなるように、第2撮像部1bを、撮像方向において第1撮像部1aとオーバーラップしないような比較的大きくずらした位置に配置することができる。その結果、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づき作成される水域マップMの位置精度を向上させることができる。また、第2撮像部1bを第1撮像部1aに対して上下方向にずらした位置に配置することによって、第2撮像部1bの真正面の撮像範囲が第1撮像部1aに制限されるのを防ぐことができる。また、第1撮像部1aと第2撮像部1bとが別体であるため、互いの位置を自在に調整することができる。
本実施形態では、上記のように、第1撮像部1aおよび第2撮像部1bは、撮像方向として船体101の後方を撮像するように構成され、第2撮像部1bは、第1撮像部1aに対して上方にずれた位置に配置されるとともに、第1撮像部1aに対して前方にずれた位置に配置されている。これによって、第1撮像部1aが第2撮像部1bの撮像方向の下方側に配置されるので、第2撮像部1bにより撮像される画像に、第1撮像部1aおよび第1撮像部1aを設置するための構成などが映り込むことを抑制することができる。
本実施形態では、上記のように、第1撮像部1aおよび第2撮像部1bは、それぞれ、船体101の船尾Tおよび船体101のルーフRに設けられている。これによって、既存の構成である船尾TおよびルーフRを利用して、第1撮像部1aが第2撮像部1bの撮像方向の下方側で、かつ、後方に位置するように、第1撮像部1aおよび第2撮像部1bを容易に配置することができる。
本実施形態では、上記のように、第2撮像部1bは、第2撮像部1bの撮像範囲に第1撮像部1aが収まる位置に配置されている。これによって、第2撮像部1bの配置が、第2撮像部1bの撮像範囲に第1撮像部1aが収まらない配置になるのを防ぐことができる。すなわち、第2撮像部1bの配置が、第1撮像部1aに対して撮像方向に直交する横方向または上下方向に並ぶような配置に近づくのを防ぐことができる。このため、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づき作成される水域マップMの位置精度をより向上させることができる。
本実施形態では、上記のように、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度は、50度以下である。これによって、水平面を基準とした第2撮像部1bに対する第1撮像部1aの設置角度が50度以下に制限されるので、設置角度が大きくなりすぎて第2撮像部1bの配置が第1撮像部1aの真上に近づくのを防ぐことができる。すなわち、第2撮像部1bの配置が、第1撮像部1aの横方向や上下方向(真上)などの撮像方向に直交する方向の配置に近づくのを防ぐことができるので、複数のエピポーラ線の角度の分散が小さくなることを防ぐことができる。このため、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づき作成される水域マップMの位置精度をより一層向上させることができる。
本実施形態では、上記のように、制御部3は、第1撮像部1aおよび第2撮像部1bにより撮像する物体Oである岸構造体O1に向けて船体101を自動で移動させることにより、船体101を自動的に着岸させるように構成されている。これによって、船体101を岸構造体O1に容易に着岸させることができる。
本実施形態では、上記のように、第2撮像部1bは、第1撮像部1aおよび第2撮像部1bにより撮像する物体Oまでの距離が10m以下である場合において、第1撮像部1aおよび第2撮像部1bの目標誤差が10cm以下となるように、第1撮像部1aに対して配置されている。これによって、第1撮像部1aおよび第2撮像部1bの目標誤差を小さく抑えることができるので、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づき作成される水域マップの位置精度をより向上させることができる。
本実施形態では、上記のように、制御部3は、第1撮像部1aおよび第2撮像部1bが互いにずれて配置される上下方向に直交する水平方向に広がる2次元の水域マップMを作成するように構成されている。これによって、上下方向(高さ方向)を考慮した3次元の水域マップMを作成する場合と比較して、制御部3の処理負荷を軽減することができる。
本実施形態では、上記のように、第1撮像部1aと第2撮像部1bとの間の距離は、2.0m以下である。これによって、第1撮像部1aと第2撮像部1bとが比較的近くに配置されるので、比較的小型の船舶100において、第1撮像部1aおよび第2撮像部1bを容易に設置することができる。
本実施形態では、上記のように、制御部3は、第1撮像部1aおよび第2撮像部1bにより撮像した画像に基づいて、画像内の物体Oに対応する特徴点Fを検出することによって、特徴点Fの周囲に、物体Oが存在する可能性のある物体存在範囲F1を設けた水域マップMを作成するように構成されている。これによって、水域マップMに船舶100が避けるべき物体存在範囲F1を表示して、船体101の周辺にある物体Oを容易に把握することができる。
本実施形態では、上記のように、船体101の全長L10は、20m以下である。これによって、比較的小型の船舶100において、第1撮像部1aおよび第2撮像部1bにより撮像された画像に基づき作成される水域マップMの位置精度を向上させることが可能な船舶100を提供することができる。
[変形例]
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
たとえば、上記実施形態では、水平面を基準とした第2撮像部に対する第1撮像部の設置角度を50度以下とした例を示したが、本発明はこれに限られない。本発明では、水平面を基準とした第2撮像部に対する第1撮像部の設置角度を50度よりも大きくしてもよい。
また、上記実施形態では、第1撮像部と第2撮像部との間の距離を2.0m以下とした例を示したが、本発明はこれに限られない。本発明では、第1撮像部と第2撮像部との間の距離を2.0mよりも大きくしてもよい。
また、上記実施形態では、船体の全長を20m以下とした例を示したが、本発明はこれに限られない。本発明では、船体の全長を20mよりも大きくしてもよい。
また、上記実施形態では、船舶を船外機艇として構成する例を示したが、本発明はこれに限られない。本発明では、船舶を船外機艇以外の船舶として構成してもよい。たとえば、船舶を、船内機、船内外機またはジェット推進器を備えた船舶などとして構成してもよい。
また、上記実施形態では、水域マップにおいて、物体存在範囲を、真円形状により示した例を示したが、本発明はこれに限られない。本発明では、物体存在範囲を、楕円形状などの真円形状とは異なる形状により示してもよい。
また、上記実施形態では、第1撮像部および第2撮像部の撮像方向を船体の後方とした例を示したが、本発明はこれに限られない。本発明では、第1撮像部および第2撮像部の撮像方向を船体の前方、左方および右方などの船体の後方とは異なる方向にしてもよい。
また、上記実施形態では、第1撮像部を船体の船尾に設けた例を示したが、本発明はこれに限られない。本発明では、第1撮像部を船体の船尾とは異なる位置に設けてもよい。
また、上記実施形態では、第2撮像部を船体のルーフに設けた例を示したが、本発明はこれに限られない。本発明では、第2撮像部を船体のルーフとは異なる位置に設けてもよい。
また、上記実施形態では、第2撮像部よりも撮像方向前方に位置する第1撮像部を、第2撮像部の下方に配置した例を示したが、本発明はこれに限られない。本発明では、第2撮像部よりも撮像方向前方に位置する第1撮像部を、第2撮像部の上方に配置してもよい。
1a 第1撮像部
1b 第2撮像部
3 制御部
100 船舶
101 船体
103 水域物体検出システム
F 特徴点
F1 物体存在範囲
M 水域マップ
O 物体
O1 岸構造体
R ルーフ
T 船尾

Claims (20)

  1. 船体に設けられ、前記船体の周辺の物体の画像を撮像する第1撮像部と、
    前記第1撮像部と撮像方向が略一致するように前記船体に設けられ、前記船体の周辺の前記物体の画像を撮像する第2撮像部と、
    前記第1撮像部および前記第2撮像部により撮像した画像に基づいて、前記船体の周辺の水域マップを作成する制御を行う制御部と、を備え、
    前記第2撮像部は、前記第1撮像部に対して上下方向にずれた位置に配置されるとともに、前記撮像方向において前記第1撮像部とオーバーラップしないように、前記第1撮像部に対して前記撮像方向にずれた位置に配置されている、水域物体検出システム。
  2. 前記第1撮像部および前記第2撮像部は、前記撮像方向として前記船体の後方を撮像するように構成され、
    前記第2撮像部は、前記第1撮像部に対して上方にずれた位置に配置されるとともに、前記第1撮像部に対して前方にずれた位置に配置されている、請求項1に記載の水域物体検出システム。
  3. 前記第1撮像部および前記第2撮像部は、それぞれ、前記船体の船尾および前記船体のルーフに設けられている、請求項2に記載の水域物体検出システム。
  4. 前記第2撮像部は、前記第2撮像部の撮像範囲に前記第1撮像部が収まる位置に配置されている、請求項1~3のいずれか1項に記載の水域物体検出システム。
  5. 水平面を基準とした前記第2撮像部に対する前記第1撮像部の設置角度は、50度以下である、請求項4に記載の水域物体検出システム。
  6. 前記制御部は、前記第1撮像部および前記第2撮像部により撮像する前記物体である岸構造体に向けて前記船体を自動で移動させることにより、前記船体を自動的に着岸させるように構成されている、請求項1~5のいずれか1項に記載の水域物体検出システム。
  7. 前記第2撮像部は、前記第1撮像部および前記第2撮像部により撮像する前記物体までの距離が10m以下である場合において、前記第1撮像部および前記第2撮像部の目標誤差が10cm以下となるように、前記第1撮像部に対して配置されている、請求項1~6のいずれか1項に記載の水域物体検出システム。
  8. 前記制御部は、前記第1撮像部および前記第2撮像部が互いにずれて配置される上下方向に直交する水平方向に広がる2次元の前記水域マップを作成するように構成されている、請求項1~7のいずれか1項に記載の水域物体検出システム。
  9. 前記第1撮像部と前記第2撮像部との間の距離は、2.0m以下である、請求項1~8のいずれか1項に記載の水域物体検出システム。
  10. 前記制御部は、前記第1撮像部および前記第2撮像部により撮像した画像に基づいて、画像内の前記物体に対応する特徴点を検出することによって、前記特徴点の周囲に、前記物体が存在する可能性のある物体存在範囲を設けた前記水域マップを作成するように構成されている、請求項1~9のいずれか1項に記載の水域物体検出システム。
  11. 船体に設けられ、前記船体の周辺の画像を撮像する第1撮像部と、
    前記第1撮像部とは別体で構成されるとともに、前記第1撮像部と撮像方向が略一致するように前記船体に設けられ、前記船体の周辺の画像を撮像する第2撮像部と、
    前記第1撮像部および前記第2撮像部により撮像した画像に基づいて、前記船体の周辺の水域マップを作成する制御を行う制御部と、を備え、
    前記第2撮像部は、前記第1撮像部に対して上下方向にずれた位置に配置されるとともに、前記第1撮像部に対して前記撮像方向にずれた位置に配置されている、水域物体検出システム。
  12. 船体と、
    前記船体に設けられる水域物体検出システムと、を備え、
    前記水域物体検出システムは、
    前記船体に設けられ、前記船体の周辺の物体の画像を撮像する第1撮像部と、
    前記第1撮像部と撮像方向が略一致するように前記船体に設けられ、前記船体の周辺の前記物体の画像を撮像する第2撮像部と、
    前記第1撮像部および前記第2撮像部により撮像した画像に基づいて、前記船体の周辺の水域マップを作成する制御を行う制御部と、を含み、
    前記第2撮像部は、前記第1撮像部に対して上下方向にずれた位置に配置されるとともに、前記撮像方向において前記第1撮像部とオーバーラップしないように、前記第1撮像部に対して前記撮像方向にずれた位置に配置されている、船舶。
  13. 前記船体の全長は、20m以下である、請求項12に記載の船舶。
  14. 前記第1撮像部および前記第2撮像部は、前記撮像方向として前記船体の後方を撮像するように構成され、
    前記第2撮像部は、前記第1撮像部に対して上方にずれた位置に配置されるとともに、前記第1撮像部に対して前方にずれた位置に配置されている、請求項12または13に記載の船舶。
  15. 前記第1撮像部および前記第2撮像部は、それぞれ、前記船体の船尾および前記船体のルーフに設けられている、請求項14に記載の船舶。
  16. 前記第2撮像部は、前記第2撮像部の撮像範囲に前記第1撮像部が収まる位置に配置されている、請求項12~15のいずれか1項に記載の船舶。
  17. 水平面を基準とした前記第2撮像部に対する前記第1撮像部の設置角度は、50度以下である、請求項16に記載の船舶。
  18. 前記制御部は、前記第1撮像部および前記第2撮像部により撮像する前記物体である岸構造体に向けて前記船体を自動で移動させることにより、前記船体を自動的に着岸させるように構成されている、請求項12~17のいずれか1項に記載の船舶。
  19. 前記第2撮像部は、前記第1撮像部および前記第2撮像部により撮像する前記物体までの距離が10m以下である場合において、前記第1撮像部および前記第2撮像部の目標誤差が10cm以下となるように、前記第1撮像部に対して配置されている、請求項12~18のいずれか1項に記載の船舶。
  20. 前記制御部は、前記第1撮像部および前記第2撮像部が互いにずれて配置される上下方向に直交する水平方向に広がる2次元の前記水域マップを作成するように構成されている、請求項12~19のいずれか1項に記載の船舶。
JP2022004597A 2022-01-14 2022-01-14 水域物体検出システムおよび船舶 Pending JP2023103837A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022004597A JP2023103837A (ja) 2022-01-14 2022-01-14 水域物体検出システムおよび船舶
EP22217173.8A EP4213110A1 (en) 2022-01-14 2022-12-29 System for detecting objects on a water surface and marine vessel with a system for detecting objects on a water surface
US18/092,966 US20230228576A1 (en) 2022-01-14 2023-01-04 Water area object detection system and marine vessel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022004597A JP2023103837A (ja) 2022-01-14 2022-01-14 水域物体検出システムおよび船舶

Publications (1)

Publication Number Publication Date
JP2023103837A true JP2023103837A (ja) 2023-07-27

Family

ID=84888696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022004597A Pending JP2023103837A (ja) 2022-01-14 2022-01-14 水域物体検出システムおよび船舶

Country Status (3)

Country Link
US (1) US20230228576A1 (ja)
EP (1) EP4213110A1 (ja)
JP (1) JP2023103837A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2005180949A (ja) 2003-12-16 2005-07-07 Tama Tlo Kk 船舶自動接岸システム
JP7347936B2 (ja) * 2019-02-25 2023-09-20 ヤマハ発動機株式会社 船舶の撮影装置、および該撮影装置を有する船舶

Also Published As

Publication number Publication date
EP4213110A1 (en) 2023-07-19
US20230228576A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US11531342B2 (en) Automatic location placement system
AU2021261974B2 (en) An Automatic Location Placement System
JP6507437B2 (ja) 船舶補助ドッキング方法およびシステム
US20200401143A1 (en) Ultrasonic perimeter ranging sensor systems and methods
US11774971B2 (en) Automatic location placement system
US20230144543A1 (en) Map generation method and map generation device
EP3860908B1 (en) System and method for assisting docking of a vessel
CN115131720A (zh) 一种基于人工智能的船舶靠泊辅助方法
JP2023103837A (ja) 水域物体検出システムおよび船舶
KR20230074438A (ko) 선박 및 항만 모니터링 장치 및 방법
JP7328378B2 (ja) 水域物体検出システム、船舶および周辺物体検出システム
WO2022044651A1 (ja) 船舶航行支援装置
US20240142979A1 (en) Automatic Location Placement System
GB2590760A (en) Ultrasonic perimeter ranging sensor systems and methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201