JP2019186869A - 船舶の撮影装置およびその校正方法 - Google Patents

Abstract

【課題】船舶が水上にあっても撮影装置の校正処理を容易に行えるようにする。【解決手段】船舶（１０１）の左側を係留施設（５０１）に接岸させた状態で、係留施設の所定の位置に設置された校正用指標（６０）を、船舶の左側を撮影範囲に含むフロントカメラ（１３ｆ）、バックカメラ（１３ｂ）およびレフトカメラ（１３ｌ）よって共通の撮影領域（ＲＣｆｌ，ＲＣｂｌ）で撮影する第１校正撮影モードと、船舶の右側を係留施設に接岸させた状態で、船舶の右側を撮影範囲に含むフロントカメラ、バックカメラおよびライトカメラ（１３ｒ）によって共通の撮影領域（ＲＣｆｒ，ＲＣｂｒ）で撮影する第２校正撮影モードとを備え、それら両撮影モードにおいて各カメラで撮影された周辺画像での校正用指標の位置に基づき、撮影装置（２２）の校正を行う。【選択図】図７

Description

本開示は、船舶の撮影装置およびその校正方法に関する。

従来から、船舶の操縦を支援するために、船体の周囲に設置された複数のカメラによって撮影される周辺画像を繋ぎ合わせることにより、船舶を上方から見たかのような疑似の鳥瞰画像を作成して、船舶に搭載された表示装置に表示させることが知られている。このような鳥瞰画像の表示を行う操船支援システム（操縦支援装置）は、例えば特許文献１に開示されている。

複数のカメラによって撮影された周辺画像を繋ぎ合わせる場合には、隣り合うカメラの撮影によって取得した周辺画像の間の継ぎ目を位置合わせするため、個々のカメラの設置位置や設置角度などの設置状態に応じて周辺画像同士の継ぎ目の位置を校正するキャリブレーションと呼ばれる撮影装置の校正を行う必要がある。

そうした撮影装置の校正は、鳥瞰画像の表示を行う自動車の運転支援システムにおいて行われている。自動車の運転支援システムでの撮影装置の校正は、例えば、周辺画像同士の継ぎ目の基準となる校正用指標を路上や床面に複数設置し、隣り合うカメラで共通の校正用指標を撮影することで行われる。このような撮影装置の校正方法については、例えば特許文献２に開示されている。

特開２０１０−０９３６０５号公報 特開２０１４−１８３５４０号公報

船舶の操船支援システムでは、カメラの耐久性を考慮すると、船舶を使用するときにのみカメラを船体に装着したい、という要望がある。そうした要望に応えるには、船舶の操船支援システムを使用する毎に、撮影装置の校正を行う必要がある。しかしながら、船舶の操船支援システムでは、校正用指標を水上に浮かせて設置すると、校正用指標が水の動きにより流されてしまい、校正用指標を適切な位置に設置することが困難である。だからといって、撮影装置の校正を行う都度、船舶を陸上に引き上げ、路面に設置した校正用指標を用いて撮影装置の校正を行った後に陸上から水上に戻すのは、手間がかかり過ぎる。

本開示の技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、船舶が水上にあっても撮影装置の校正を容易に行えるようにすることにある。

上記の目的を達成するために、本開示の技術では、船舶の一方側を撮影範囲に含む複数のカメラと、船舶の他方側を撮影範囲に含む複数のカメラとについて、周辺画像の継ぎ目を位置合わせする校正を順番に行えるようにした。

具体的には、本開示の技術は、互いに所定の間隔をあけて船舶に設置された複数のカメラと、各カメラの撮影によって取得される船舶の周辺画像を継ぎ合わせて合成画像を作成する制御装置とを備える船舶の撮影装置を対象としている。複数のカメラとしては、船舶の第１側を撮影範囲に含む複数の第１カメラと、船舶の第１側とは反対側である第２側を撮影範囲に含む複数の第２カメラとが設けられている。隣り合う第１カメラ同士および隣り合う第２カメラ同士はそれぞれ共通の撮影領域を有している。

制御装置は、船舶の第１側を係留施設に接岸させた状態で、その係留施設の所定の位置に設置された校正用指標を複数の第１カメラによって共通の撮影領域で撮影する第１校正撮影モードと、船舶の第２側を係留施設に接岸させた状態で、校正用指標を複数の第２カメラによって共通の撮影領域で撮影する第２校正撮影モードとを備える。そして、制御装置は、第１校正撮影モードにおいて各第１カメラの撮影により取得された周辺画像での校正用指標の位置と、第２校正撮影モードにおいて各第２カメラの撮影により取得された周辺画像での校正用指標の位置とに基づき、隣り合う第１カメラの撮影によって取得される周辺画像の継ぎ目の位置と、隣り合う第２カメラの撮影によって取得される周辺画像の継ぎ目の位置とを校正する。

この構成によると、船舶の第１側を撮影範囲に含む複数の第１カメラによって共通の撮影領域で校正用指標を撮影する第１校正撮影モードと、船舶の第２側を撮影範囲に含む複数の第２カメラによって共通の撮影領域で校正用指標を撮影する第２校正撮影モードとを備え、これら第１校正撮影モードおよび第２校正撮影モードにおいて、係留施設の所定の位置に設置された校正用指標を共通に用いるようにしたので、校正用指標の位置を固定することができる。そして、第１校正撮影モードおよび第２校正撮影モードにおいて取得された周辺画像での校正用指標の位置に基づいて周辺画像の継ぎ目の位置を校正するようにしたので、船舶が水上にあっても、係留施設に固定した校正用指標を用いて撮影装置の校正を容易に行うことができる。

上記船舶の撮影装置において、複数のカメラは、船舶の前方を撮影するフロントカメラと、船舶の後方を撮影するバックカメラと、船舶の左方を撮影するレフトカメラと、船舶の右方を撮影するライトカメラとを含んでいてもよい。そして、これらフロントカメラ、バックカメラ、レフトカメラおよびライトカメラは、それぞれ広角カメラであることが好ましい。この場合、レフトカメラは、第１側として船舶の左側を撮影範囲に含む第１カメラであり、ライトカメラは、第２側として船舶の右側を撮影範囲に含む第２カメラであり、フロントカメラおよび前記バックカメラは、第１カメラおよび第２カメラを兼ねている。

この構成によると、船舶の前後左右に位置する４台の広角カメラによって撮影された周辺画像に基づいて船舶の周辺を全周に亘って写す合成画像が作成されるので、そうした合成画像を船舶に搭載された表示装置に表示させることにより、船舶の周辺の状況を死角なく確認することができる。本開示の技術によれば、そのように船舶の操船支援に好適に寄与する撮像装置の校正を容易に行うことができる。

また、本開示の技術は、互いに所定の間隔をあけて船舶に設置された複数のカメラとして、船舶の第１側を撮影範囲に含む複数の第１カメラと、船舶の前記第１側とは反対側である第２側を撮影範囲に含む複数の第２カメラとを備える撮像装置を校正する方法を対象としている。校正対象の撮像装置では、隣り合う第１カメラ同士および隣り合う第２カメラ同士は、それぞれ共通の撮影領域を有している。また、当該撮像装置は、各第１カメラおよび各第２カメラにより船舶の周辺を撮影し、各第１カメラおよび各第２カメラの撮影によって取得される船舶の周辺画像を継ぎ合わせて合成画像を作成する。

本開示の技術に係る撮影装置の校正方法は、船舶の第１側を係留施設に接岸させた状態で、その係留施設の所定の位置に配置された校正用指標を複数の第１カメラによって共通の撮影領域で撮影する第１校正撮影ステップと、船舶の第２側を係留施設に接岸させた状態で、校正用指標を複数の第２カメラによって共通の撮影領域で撮影する第２校正撮影ステップと、第１校正撮影ステップで各第１カメラの撮影によって取得される周辺画像での校正用指標の位置に基づき、隣り合う第１カメラの撮影によって取得される周辺画像の継ぎ目の位置を校正し、第２校正撮影ステップで各第２カメラの撮影によって取得される周辺画像での校正用指標の位置に基づき、隣り合う第２カメラの撮影によって取得される周辺画像の継ぎ目の位置を校正する校正演算ステップとを含む。

この構成によると、船舶の第１側を撮影範囲に含む複数の第１カメラによって共通の撮影領域で校正用指標を撮影する第１校正撮影ステップと、船舶の第２側を撮影範囲に含む複数の第２カメラによって共通の撮影領域で校正用指標を撮影する第２校正撮影ステップとを順に行い、これら第１校正撮影ステップおよび第２校正撮影ステップにおいて、係留施設の所定の位置に設置された校正用指標を共通に用いるようにしたので、校正用指標の位置を固定することができる。そして、第１校正撮影ステップおよび第２校正撮影ステップにおいて取得された周辺画像での校正用指標の位置に基づいて周辺画像の継ぎ目の位置を校正するようにしたので、船舶が水上にあっても、係留施設に固定した校正用指標を用いて撮影装置の校正を容易に行うことができる。

上記船舶の撮影装置およびその校正方法によれば、船舶が水上にあっても撮影装置の校正処理を容易に行うことができる。

図１は、実施形態に係る周辺確認システムが搭載された船舶の平面図である。 図２は、実施形態に係る周辺確認システムが搭載された船舶の側面図である。 図３は、実施形態に係る周辺確認システムの構成を示すブロック図である。 図４は、半天球カメラの撮影によって取得される画像の模式図である。 図５は、実施形態に係る周辺確認システムにおいてモニタに表示される鳥瞰画像の模式図である。 図６は、実施形態に係る撮影装置の校正に用いる校正用指標の平面図である。 図７は、実施形態に係る撮影装置の校正制御を示すフロー図である。 図８は、実施形態に係る撮影装置の校正方法における第１校正撮影ステップの状況を示す平面図である。 図９は、実施形態に係る撮影装置の校正方法における第２校正撮影ステップの状況を示す平面図である。

以下、例示的な実施形態を図面に基づいて詳細に説明する。

この実施形態では、本開示の技術に係る船舶の撮影装置およびその校正方法について、船舶に搭載された周辺確認システムを例に挙げて説明する。船舶の周辺確認システムは、例えば、船舶の着岸時の操船作業において、船舶の周辺の状況を映像によって確認するためのシステムである。

この船舶の周辺確認システムの構成について、図１〜図３を参照しながら説明する。図１は、周辺確認システム１１が搭載された船舶１０１の平面図である。図２は、周辺確認システム１１が搭載された船舶１０１の側面図である。また、図３は、船舶１０１の周辺確認システム１１の構成を示すブロック図である。なお、図１および図２では、周辺確認システム１１が備える複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒについて、それらの姿勢等まで厳密には図示していない。

船舶１０１の周辺確認システム１１は、図１〜図３に示すように、互いに所定の間隔をあけて船舶１０１に設置された複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと、船室１０３内およびフライングデッキ１０４に設置された表示装置としてのモニタ１５と、当該システム１１を総合的に制御する制御装置２１とを備える。複数のカメラ１１と制御装置２１とは、船舶１０１の周辺を撮影して鳥瞰画像を作成する撮影装置２２を構成している。

複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船首１０５に光軸を前方へ水平よりも下側に向ける姿勢で設置されたフロントカメラ１３ｆと、船尾１０７の左右方向における中央に光軸を後方へ水平よりも下側に向ける姿勢で設置されたバックカメラ１３ｂと、左舷１０９の前後方向における中央部分に光軸を左方へ水平よりも下側に向ける姿勢で設置されたレフトカメラ１３ｌと、右舷１１１の前後方向における中央部分に光軸を右方へ水平よりも下側に向ける姿勢で設置されたライトカメラ１３ｒとである。

フロントカメラ１３ｆは、船舶１０１の前方における所定範囲Ｒｆの風景を動画または静止画で撮影して、周辺画像としての前方画像Ｐｆを取得する。バックカメラ１３ｂは、船舶１０１の後方における所定範囲Ｒｂの風景を動画または静止画で撮影して、周辺画像としての後方画像Ｐｂを取得する。これらフロントカメラ１３ｆおよびバックカメラ１３ｂは、船舶１０１の左右両側を撮影範囲に含んでおり、船舶１０１の第１側である左側を撮影範囲に含む第１カメラと、船舶１０１の第２側である右側を撮影範囲に含む第２カメラとを兼ねている。

レフトカメラ１３ｌは、船舶１０１の左方における所定範囲Ｒｌの風景を動画または静止画で撮影して、周辺画像としての左方画像Ｐｌを取得する。つまり、レフトカメラ１３ｌは、船舶１０１の左側を撮影範囲としており、第１カメラを構成している。ライトカメラ１３ｒは、船舶１０１の右方における所定範囲Ｒｒの風景を動画または静止画で撮影して、周辺画像としての右方画像Ｐｒを取得する。つまり、ライトカメラ１３ｒは、船舶１０１の右側を撮影範囲としており、第２カメラを構成している。

フロントカメラ１３ｆの撮影範囲Ｒｆとレフトカメラ１３ｌの撮影範囲Ｒｌとは、被写界が重複する共通の撮影範囲ＲＣｆｌ（図１で紙面左上の斜線範囲）を有している。フロントカメラ１３ｆの撮影範囲Ｒｆとライトカメラ１３ｒの撮影範囲Ｒｒとは、被写界が重複する共通の撮影範囲ＲＣｆｒ（図１で紙面右上の斜線範囲）を有している。バックカメラ１３ｂの撮影範囲Ｒｂとレフトカメラ１３ｌの撮影範囲Ｒｌとは、被写界が重複する共通の撮影範囲ＲＣｂｌ（図１で紙面左下の斜線範囲）を有している。バックカメラ１３ｂの撮影範囲Ｒｂとライトカメラ１３ｒの撮影範囲Ｒｒとは、被写界が重複する共通の撮影範囲ＲＣｂｒ（図１で紙面右下の斜線範囲）を有している。

フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、それぞれ防水および防塵の仕様とされている。また、これら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、それぞれ船舶１０１に着脱可能に取り付けられるようになっており、例えば、船舶１０１を使用するときに船体に取り付けるが船舶１０１の使用後には取り外したり、不具合が生じたときに取り替えたりすることができるようになっている。

これらフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、標準レンズよりも画角の広い広角レンズ２３を備えた広角カメラである。広角レンズ２３には、例えば１８０度以上の画角を有するレンズが用いられる。具体的には、この実施形態でのフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒは、広角レンズ２３として半球状のレンズを有する広域撮影カメラ、いわゆる半天球カメラである。

図４に、半天球カメラの撮影によって取得される画像２０１の概念図を示す。フロントカメラ１３ｆの撮影によって取得される前方画像Ｐｆ、バックカメラ１３ｂの撮影によって取得される後方画像Ｐｂ、レフトカメラ１３ｌの撮影によって取得される左方画像Ｐｌ、およびライトカメラ１３ｒの撮影によって取得される右方画像Ｐｒは、図４に示すように、広角レンズ２３の光軸Ａを中心として周囲３６０度を見渡したような円形状の画像２０１である。この円形状の画像２０１は、広角レンズ２３の外面をなす半球面に投影された立体の光学像を光軸に沿って平面像に射影変換した像に相当する。

このような円形状の画像２０１である前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、広角歪みを含む。ここでいう「広角歪み」とは、立体の光学像を平面に射影する際に広角側で画像が被写界と相似にならず縮むように湾曲を伴って変形した歪みのことである。この広角歪みは、魚眼レンズ以外の広角レンズ２３では樽型の歪曲収差として知られるレンズの収差の１つであって、画像中心からの距離に応じて歪みの程度が大きくなり、特に画像周辺で顕著になる。

モニタ１５は、船室１０３内の操舵席１１３の前方と、フライングデッキ１０４の操舵席１１３の周辺とにおいて、操舵席１１３に着席した操船者から操船中に見える位置に配置されている。このモニタ１５には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒによって取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成された、船舶１０１を上方から見下ろしたかのような鳥瞰画像が表示される。

図５に、モニタ１５に表示される鳥瞰画像３０１の模式図を示す。鳥瞰画像３０１は、図５に示すように、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒの４つの部分鳥瞰画像３０１ｐが共通の撮影範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わされて一体化された疑似的な合成画像である。この鳥瞰画像３０１では、船舶１０１の上面を模したグラフィック画像１０１ｇが中心位置に示される。グラフィック画像１０１ｇは、例えば、イラストでもよいし、写真であってもよい。

また、モニタ１５は、タッチパネル機能を有する液晶表示パネルなどによって構成されており、表示される鳥瞰画像３０１の範囲を切り換えたり、鳥瞰画像３０１に代えて個別の周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌ、右方画像Ｐｒ）を表示したりするなどの表示設定の他、後述する撮影装置２２の校正時に先に行う校正撮影モードの設定や撮影実行を指示するための操作部２５を兼ねている。すなわち、モニタ１５には、そうした校正撮影モードの設定や撮影実行に用いるメニュー画面も表示されるようになっており、操船者は、メニュー画面に従い操作部２５を操作することによって校正撮影モードの設定や撮影実行を行える。

制御装置２１は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置２１は、例えば、船室１０３内に設置されており、船舶１０１のバッテリから電源供給を受けて、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｆ、ライトカメラ１３ｒ、モニタ１５などに対して電力を分配供給すると共に、それら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ、各モニタ１５および各種センサ１７，１９とデータのやり取りをするようになっている。

具体的には、制御装置２１は、図３に示すように、画像データに所定の処理を施す信号処理部２９と、プログラムやデータを一時的に記憶する主メモリ３１と、主メモリ３１に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御部３３と、主メモリ３１に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）３５と、各種プログラムおよびデータを記憶する補助メモリ３７と、モニタ１５を動作させるモニタ用ドライバ３９とを備えている。

信号処理部２９およびＣＰＵ３５は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit）などによって実現される。主メモリ３１は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ３７は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。

信号処理部２９は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒから出力された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各フレームの画像データを次々と取得し、取得した各周辺画像についての画像データに基づいて部分鳥瞰画像３０１ｐを４つ作成し、４つの部分鳥瞰画像３０１ｐ（ＢＥＶｆ，ＢＥＶｂ，ＢＥＶｌ，ＢＥＶｒ）を繋ぎ合わせて合成することにより１つの鳥瞰画像３０１を作成する。

補助メモリ３７には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの外部パラメータと共に、前方画像Ｐｆと左方画像Ｐｌとの継ぎ目の位置、後方画像Ｐｂと左方画像Ｐｌとの継ぎ目の位置、前方画像Ｐｆと右方画像Ｐｒとの継ぎ目の位置、および後方画像Ｐｂと右方画像Ｐｒとの継ぎ目の位置についての設定値（校正処理を行う前は共に初期値）が記憶されている。ここで、外部パラメータとは、カメラの設置位置や設置角度などの設置状態を示す数値である。

また、補助メモリ３７には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｆおよびライトカメラ１３ｒの内部パラメータと共に、フロントカメラ１３ｆおよびバックカメラ１３ｂとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｆｌ，ＲＣｂｌに係る座標値、フロントカメラ１３ｆおよびバックカメラ１３ｂとライトカメラ１３ｌとの共通の撮影範囲ＲＣｆｒ，ＲＣｂｒに係る座標値も記憶されている。ここで、内部パラメータとは、カメラの光軸位置や焦点距離、広角歪みなどの歪みに関する情報といった、カメラに固有の光学的性質を表す数値である。

信号処理部２９は、前処理部４１と、歪み補正部４３と、画像切り出し部４７と、画像合成部４９とを備えている。これら前処理部４１、歪み補正部４３、切り出し処理部４７および画像合成部４９は、マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって実現される機能部である。

メモリ制御部３３は、前処理部４１、歪み補正部４３、切り出し処理部４７および画像合成部４９で、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに所定の処理を行う際に、主メモリ３１から当該画像データを読み出し、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに所定の処理を行った後に、当該画像データを主メモリ３１に書き込む。

前処理部４１は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒからそれぞれ取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに対し、前処理として、デジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。

歪み補正部４３は、補助メモリ３７に記憶されたフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｆおよびライトカメラ１３ｒの内部パラメータをメモリ制御部３３を介して主メモリ３１に読み出し、その内部パラメータを用いて、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに対し、広角歪みなどの歪みのない画像となるように変換する補正を施す。

切り出し処理部４７は、補助メモリ３７に記憶された、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒにおける継ぎ目の位置についての設定値をメモリ制御部３３を介して主メモリ３１に読み出し、その設定値に基づいて、歪みが補正された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データを部分的に切り出すことにより、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての部分鳥瞰画像データを作成する。

画像合成部４７は、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての部分鳥瞰画像データを合成することにより、上述の各種補正が施された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒを所定の位置で繋ぎ合わせて鳥瞰画像３０１についての鳥瞰画像データを作成する。

主メモリ３１に書き込まれた各フレームの鳥瞰画像データは、ＣＰＵ３５からの指令を受けてメモリ制御部３３により読み出され、モニタ用ドライバ３９に受け渡される。モニタ用ドライバ３９は、主メモリ３１から読み出された鳥瞰画像データに基づいてモニタ１５を駆動する。これにより、モニタ１５には、その鳥瞰画像データに基づく鳥瞰画像３０１がリアルタイム画像（ライブビュー）として表示される。

制御装置２１は、鳥瞰画像３０１を作成するのに用いる前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データの切り出し位置の基準、つまり前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒを繋ぎ合わせるときの継ぎ目の位置を校正するキャリブレーションと呼ばれる撮影装置２２の校正処理を行う機能を有している。これら周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの繋ぎ目の位置は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの外部パラメータに基づいて決まる。

制御装置２１は、そうした校正処理を行う校正処理部５１をさらに備えている。校正処理部５１は、領域設定部５３と、特徴量抽出部５５と、校正演算部５７とを備えている。この校正処理部５１は、校正用指標６０を被写体とした画像に基づいて、撮影装置２２の校正処理を行う。図６に、校正用指標６０の平面図を示す。校正用指標６０は、図６に示すように、正方形状のシート状物であって、所定のパターンを有している。

具体的には、校正用指標６０のパターンには、同一の大きさの白色の正方形パターン６１ｗと黒色の正方形パターン６１ｂが縦横に交互に複数（図６に示す例では３つずつ）並べられた市松模様が採用される。校正用指標６０の寸法は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの解像度や制御装置２１での画像処理性能、当該校正用指標６０の想定される設置位置などに応じて定められる。

このような校正用指標６０は、桟橋などの係留施設５０１に船舶１０１を接岸した状態で、少なくとも係留施設５０１側を撮影範囲に含む隣り合うカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ同士の共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒに配置されるように、所定の間隔で複数設置される（図８および図９参照）。校正用指標６０の配置は、船舶１０１の着岸位置との関係、つまり校正を行うカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒとの位置関係において予め決められている。この実施形態では、隣り合うカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ同士の共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒ以外の場所（共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒ間の位置）にも校正用指標６０を設置して、校正処理を行うようにしている。

撮影装置２２の校正処理は、船舶１０１の左側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌと、船舶１０１の右側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒとで撮影を分けて行われる。このような撮影装置２２の校正処理を実現すべく、校正処理部４１は、第１校正撮影モードと、第２校正撮影モードとを備えている。

第１校正撮影モードでは、船舶１０１の左側を係留施設５０１に接岸させた状態において、フロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌによって少なくとも共通の撮影領域ＲＣｆｌ，ＲＣｂｌで校正用指標６０を撮影する。第２校正撮影モードでは、船舶１０１の右側を係留施設５０１に接岸させた状態において、フロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによって少なくとも共通の撮影領域ＲＣｆｒ，ＲＣｂｒで校正用指標６０を撮影する。これら第１校正撮影モードおよび第２校正撮影モードでの撮影は、操作部２５での実行指令の入力によって実行される。

領域設定部４３は、補助メモリ３７に記憶された、フロントカメラ１３ｆとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｆｌに係る座標値、バックカメラ１３ｂとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｂｌに係る座標値、およびレフトカメラ１３ｌの撮影範囲Ｒｌの正面位置に係る座標値を、メモリ制御部３３を介して読み出し、それらの座標値に基づき、歪み補正を行った前方画像Ｐｆ、後方画像Ｐｂおよび左方画像Ｐｌにおいて共通の撮影範囲ＲＣｆｌ，ＲＣｂｌが含まれる領域と、左方画像Ｐｌにおけるレフトカメラ１３ｌの正面位置が含まれる領域とを、認識対象領域として設定する。

また、領域設定部４３は、補助メモリ３７に記憶された、フロントカメラ１３ｆとライトカメラ１３ｒとの共通の撮影範囲ＲＣｆｒに係る座標値、バックカメラ１３ｂとライトカメラ１３ｒとの共通の撮影範囲ＲＣｂｒに係る座標値、およびライトカメラ１３ｒの撮影範囲Ｒｒの正面位置に係る座標値を、メモリ制御部３３を介して読み出し、それらの座標値に基づき、歪み補正を行った前方画像Ｐｆ、後方画像Ｐｂおよび右方画像Ｐｒにおいて共通の撮影範囲ＲＣｆｒ，ＲＣｂｒが含まれる領域と、右方画像Ｐｒにおけるライトカメラ１３ｒの正面位置が含まれる領域とを、認識対象領域として設定する。

特徴検出部４５は、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに対し、領域設定部４３で設定された認識対象領域において、校正用指標６０の特徴を検出する。校正用指標６０の特徴は、例えば、白色と黒色の正方形パターン６１ｗ，６１ｂの境界からなる部分直線や、その部分直線同士の交点である。これら部分直線や交点は、公知のエッジ検出アルゴリズムや直線検出アルゴリズムを利用して検出することができる。そうした校正用指標６０の特徴は、当該校正用指標６０の位置や姿勢、撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒとの距離を示している。

校正演算部４７は、第１校正撮影モードにおいてフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌの撮影により取得された周辺画像Ｐｆ，Ｐｂ，Ｐｌでの校正用指標６０の位置と、第２校正撮影モードにおいてフロントカメラ１３ｆ、バックカメラ１３ｂ、ライトカメラ１３ｒの撮影により取得された周辺画像Ｐｆ，Ｐｂ，Ｐｒでの校正用指標６０の位置とに基づき、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの外部パラメータをそれぞれ演算する。

そして、校正演算部４７は、演算したフロントカメラ１３ｆおよびレフトカメラ１３ｌの外部パラメータに基づき、前方画像Ｐｆと左方画像Ｐｌとの継ぎ目の位置についての設定値を校正する。また、校正演算部４７は、演算したバックカメラ１３ｂとレフトカメラ１３ｌの外部パラメータに基づき、後方画像Ｐｂと左方画像Ｐｌとの継ぎ目の位置についての設定値を校正する。また、校正演算部４７は、演算したフロントカメラ１３ｆとライトカメラ１３ｒの外部パラメータに基づき、前方画像Ｐｆと右方画像Ｐｒとの継ぎ目の位置についての設定値を校正する。また、校正演算部４７は、演算したバックカメラ１３ｂとライトカメラ１３ｒとの外部パラメータに基づき、後方画像Ｐｂと右方画像Ｐｒとの継ぎ目の位置についての設定値を校正する。

なお、補助メモリ３７に記憶されている各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの外部パラメータは、当該外部パラメータが演算される毎にメモリ制御部３３を介して更新される。また、補助メモリ３７に記憶されている各周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの継ぎ目の位置についての設定値は、当該設定値が校正される毎にメモリ制御部３３を介して更新される。

次に、上述した船舶１０１の周辺確認システム１１での撮像装置２２の校正方法について、桟橋式の係留施設５０１を利用する場合を例に挙げて、図７〜図９を参照しながら説明する。図７は、撮影装置２２の校正制御を示すフロー図である。図８は、撮影装置２２の校正方法における第１校正撮影ステップＳＴ１０の様子を示す平面図である。図９は、撮影装置２２の校正方法における第２校正撮影ステップＳＴ２０の様子を示す平面図である。

撮像装置２２の校正処理を行う場合には、まず、船舶１０１の左右いずれか片側を係留施設５０１に接岸させる。具体的には、先に第１校正撮影モードでの撮影を行い、後に第２校正撮影モードでの撮影を行う場合には、図８に示すように船舶１０１の左側を係留施設５０１に着岸させる。また、先に第２校正撮影モードでの撮影を行い、後に第１校正撮影モードでの撮影を行う場合には、図９に示すように船舶１０１の右側を係留施設５０１に着岸させる。

次いで、係留施設５０１の平面上に、複数の校正用指標６０を隣り合うカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ同士の共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒに少なくとも１つは位置するように所定の間隔で設置する。

先に第１校正撮影モードでの撮影を行う場合には、例えば、図８に示すように、校正用指標６０を、フロントカメラ１３ｆとレフトカメラ１３ｌとの共通の撮影領域ＲＣｆｌに対応する箇所と、レフトカメラ１３ｌの側方に位置する箇所と、バックカメラ１３ｂとレフトカメラ１３ｌとの共通の撮影領域ＲＣｂｌに対応する箇所とに１つずつ設置する。また、先に第２校正撮影モードでの撮影を行う場合には、例えば、図９に示すように、校正用指標６０を、フロントカメラ１３ｆとライトカメラ１３ｒとの共通の撮影領域ＲＣｆｒに対応する箇所と、ライトカメラ１３ｒの側方に位置する箇所と、バックカメラ１３ｂとライトカメラ１３ｒとの共通の撮影領域ＲＣｂｒに対応する箇所とに１つずつ設置する。

図８および図９に例示するように、共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒ以外の場所に設置された中間位置の校正用指標６０は、例えば、船舶１０１の着岸位置のずれ、つまり校正を行う各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと校正用指標６０との位置関係のずれを検出するのに用いられる。この実施形態では、レフトカメラ１３ｌまたはライトカメラ１３ｒによって撮影された画像における中間位置の校正用指標６０の特徴に基づき、校正を行うカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと校正用指標６０との位置関係のずれを撮影装置２２の校正に反映させることにより、校正精度を高めている。

そして、ユーザーによって操作部２５で撮影装置２２の校正を行う指示が入力されると、図７に示すようなフローで撮像装置２２の校正制御が実行される。

撮影装置２２の校正制御では、まず、データ読込みステップＳＴ０１が行われる。データ読込みステップＳＴ０１では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒによって撮影された周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒについての画像データと、校正撮影モードの設定とを読み込む。

次いで行われる校正撮影モードの判定ステップＳＴ０２では、先に行う校正撮影モードとして第１校正撮影モードが設定されているか、または第２校正撮影モードが設定されているかが判定される。このとき、先に行う校正撮影モードとして第１校正撮影モードが設定されている場合には、第１校正撮影ステップＳＴ１０に進む。他方、先に行う校正撮影モードとして第２校正撮影モードが設定されている場合には、第２校正撮影ステップＳ２０に進む。

第１校正撮影ステップＳＴ１０では、まず、撮影実行の指示待ちステップＳＴ１１に入る。この指示待ちステップＳＴ１１では、ユーザーによって操作部２５で撮影実行の指示が入力されたかどうかを判定する。このとき、操作部２５で撮影実行の指示が入力されていないうちは、この撮影実行の指示待ちステップＳＴ１１を繰り返す。他方、操作部２５で撮影実行の指示が入力されると、撮影実行ステップＳＴ１２に進む。

撮影実行ステップＳＴ１２では、図８に示すように、船舶１０１の左側を係留施設５０１に接岸させた状態で、フロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌによる撮影を実行する。それにより、各々共通の撮影領域ＲＣｆｌ，ＲＣｂｌで校正用指標６０を捉えた前方画像Ｐｆ、後方画像Ｐｂおよび左方画像Ｐｌが取得される。なおこのとき、左方画像Ｐｌには、共通の撮影領域ＲＣｆｌ，ＲＣｂｌ以外の場所に設置された中間位置の校正用指標６０も写される。

続いて行われる前処理補正ステップＳＴ１３では、第１校正撮影ステップＳＴ１０で取得された前方画像Ｐｆ、後方画像Ｐｂおよび左方画像Ｐｌに対し、上述した前処理部４１による前処理と、歪み補正部４３による歪み補正とをそれぞれ施す。

次に行われる校正撮影完了の判定ステップＳ１４では、第２校正撮影ステップＳＴ２０が完了しているか否か（つまり第２校正撮影モードでの撮影が完了しているか否か）を判定する。このとき、第２校正撮影ステップＳＴ２０が完了していない場合には、第２校正撮影ステップＳＴ２０に進む。この場合、ユーザーは、船舶１０１を操縦して動かし、図９に示すように、船舶１０１の右側を係留施設５０１に着岸させる操船作業を行う。また、第２校正撮影ステップＳＴ２０が完了している場合には、校正処理ステップＳＴ３０に進む。

第２校正撮影ステップＳＴ２０では、まず、撮影実行の指示待ちステップＳＴ２１に入る。この指示待ちステップＳＴ２１では、ユーザーによって操作部２５で撮影実行の指示が入力されたかどうかを判定する。このとき、操作部２５で撮影実行の指示が入力されていないうちは、この撮影実行の指示待ちステップＳＴ２１を繰り返す。他方、操作部２５で撮影実行の指示が入力されると、撮影実行ステップＳＴ２２に進む。撮影実行ステップＳＴ２２では、フロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによる撮影を実行する。

撮影実行ステップＳＴ２２では、図８に示すように、船舶１０１の右側を係留施設５０１に接岸させた状態で、フロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによる撮影を実行する。それにより、各々共通の撮影領域ＲＣｆｒ，ＲＣｂｒで校正用指標６０を捉えた前方画像Ｐｆ、後方画像Ｐｂおよび右方画像Ｐｒが取得される。なおこのとき、右方画像Ｐｒには、共通の撮影領域ＲＣｆｒ，ＲＣｂｒ以外の場所に設置された中間位置の校正用指標６０も写される。

続いて行われる前処理補正ステップＳＴ２３では、第２校正撮影ステップＳＴ２０で取得された前方画像Ｐｆ、後方画像Ｐｂおよび右方画像Ｐｒに対し、上述した前処理部４１による前処理と、歪み補正部４３による歪み補正とをそれぞれ施す。

次に行われる校正撮影完了の判定ステップＳＴ２４では、第１校正撮影ステップＳＴ１０が完了しているか否か（つまり第１校正撮影モードでの撮影が完了しているか否か）を判定する。このとき、第１校正撮影ステップＳＴ１０が完了していない場合には、第１校正撮影ステップＳＴ１０に進む。この場合、ユーザーは、船舶１０１を操縦して動かし、図７に示すように、船舶１０１の左側を係留施設５０１に着岸させる操船作業を行う。また、第１校正撮影ステップＳＴ１０が完了している場合には、校正処理ステップＳＴ３０に進む。

校正処理ステップＳＴ３０では、まず、校正用指標６０の位置検出ステップＳＴ３１に入る。この位置検出ステップＳＴ３１では、第１校正撮影ステップＳＴ１０および第２校正撮影ステップＳＴ２０で取得された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに対し、上述した領域設定部５３による認識対象領域の設定と、特徴検出部による校正用指標６０の特徴検出とがそれぞれ行われる。

しかる後、校正演算ステップＳＴ３２が行われる。校正演算ステップＳＴ３２では、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒにおける共通の撮影領域ＲＣｆｌ，ＲＣｂｌ，ＲＣｆｒ，ＲＣｂｒで捉えた校正用指標６０の特徴と、左方画像Ｐｌにおけるレフトカメラ１３ｌの正面および右方画像Ｐｒにおけるライトカメラ１３ｒの正面で捉えた中間位置の校正用指標６０の特徴とに基づき、上述した校正演算部４７による前方画像Ｐｆと左方画像Ｐｌとの継ぎ目の位置、後方画像Ｐｂと左方画像Ｐｌとの継ぎ目の位置、前方画像Ｐｆと右方画像Ｐｒとの継ぎ目の位置、後方画像Ｐｂと右方画像Ｐｒとの継ぎ目の位置についての設定値の校正が、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと校正用指標６０との位置関係のずれを反映させて行われる。

以上のような撮像装置２２での校正制御およびユーザーによる校正作業（校正用指標６０の設置および操船作業）により、撮影装置２２の校正を行うことができる。

この実施形態に係る船舶１０１の撮像装置２２およびその校正方法によると、船舶１０１の左側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌによって共通の撮影領域ＲＣｆｌ，ＲＣｂｌで校正用指標６０を撮影する第１校正撮影モードと、船舶１０１の右側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによって共通の撮影領域ＲＣｆｒ，ＲＣｂｒで校正用指標６０を撮影する第２校正撮影モードとを備え、これら第１校正撮影モードおよび第２校正撮影モードにおいて、係留施設５０１に設置された校正用指標６０を共通に用いるようにした。そして、第１校正撮影モードおよび第２校正撮影モードによって取得された周辺画像での校正用指標６０の位置に基づき各周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの継ぎ目の位置を校正するようにしたので、校正用指標６０の位置を固定することができ、船舶１０１が水上にあっても、係留施設５０１に固定した校正用指標６０を用いて撮影装置２２の校正を容易に行うことができる。

以上のように、ここに開示する技術の例示として、好ましい実施形態について説明した。しかし、ここに開示する技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須でない構成要素が添付図面や詳細な説明に記載されていることを以て、直ちにそれらの必須でない構成要素が必須であるとの認定をするべきではない。

例えば、上記実施形態では、第１校正撮影ステップＳＴ１０でのフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌによる撮影と、第２校正撮影ステップＳＴ２０でのフロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによる撮影を終えてから、校正処理ステップＳＴ３０でまとめて前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての継ぎ目位置の校正演算を行うとしたが、本開示の技術はこれに限らない。例えば、第１校正撮影ステップＳＴ１０でのフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌによる撮影を行った後に、前方画像Ｐｆ、後方画像Ｐｂおよび左方画像Ｐｌについての継ぎ目位置の校正演算を行い、次いで、第２校正撮影ステップＳＴ２０でのフロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒによる撮影を行った後に、前方画像Ｐｆ、後方画像Ｐｂおよび右方画像Ｐｒについての継ぎ目位置の校正演算を行ってもよい。このような場合において、第１校正撮影ステップＳＴ１０と第２校正撮影ステップＳＴ２０とを行う順番は逆であってもよい。つまり、第２校正撮影ステップＳＴ２０を行った後に第１校正撮影ステップＳＴ１０を行ってもよい。

また、上記実施形態では、撮像装置２２がフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの４台のカメラを備えるとしたが、本開示の技術はこれに限らない。撮像装置２２が備えるカメラの台数は、５台以上であってもよく、船舶１０１の右側を撮影範囲に含む第１カメラと船舶１０１の左側を撮影範囲に含む第２カメラとをそれぞれ複数備え、鳥瞰画像３０１などの合成画像が作成できれば、任意の台数のカメラを採用することができる。

また、上記実施形態では、撮影装置２２の校正処理を、船舶１０１の左側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびレフトカメラ１３ｌと、船舶１０１の右側を撮影範囲に含むフロントカメラ１３ｆ、バックカメラ１３ｂおよびライトカメラ１３ｒとで撮影を分けて行うとしたが、本開示の技術はこれに限らない。撮影装置２２の校正処理は、船舶１０１の前側（第１側）を撮影範囲に含むフロントカメラ１３ｆ、レフトカメラ１３ｌおよびライトカメラ１３ｒと、船舶１０１の後側（第２側）を撮影範囲に含むバックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒとで撮影を分けて行うようになっていてもよい。

この場合、図示しないが、第１校正撮影モードでは、船舶１０１の前側を係留施設５０１に着岸させた状態において、係留施設５０１における共通の撮影領域ＲＣｆｌに設置された校正用指標６０をフロントカメラ１３ｆおよびレフトカメラ１３ｌによってそれぞれ撮影すると共に、共通の撮影領域ＲＣｆｒに設置された校正用指標６０をフロントカメラ１３ｆおよびライトカメラ１３ｒによってそれぞれ撮影する。また、第２校正撮影モードでは、船舶１０１の後側を係留施設５０１に着岸させた状態において、係留施設５０１における共通の撮影領域ＲＣｂｌに設置された校正用指標６０をバックカメラ１３ｂおよびレフトカメラ１３ｌによってそれぞれ撮影すると共に、係留施設５０１における共通の撮影領域ＲＣｂｌに設置された校正用指標６０をバックカメラ１３ｂおよびライトカメラ１３ｒによってそれぞれ撮影する。こうした態様においては、フロントカメラ１３ｆが第１カメラであり、バックカメラ１３ｂが第２カメラであり、レフトカメラ１３ｌおよびライトカメラ１３ｒが第１カメラおよび第２カメラを兼ねている。

また、上記実施形態では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは半天球カメラであるとしたが、本開示の技術はこれに限らない。半天球カメラは、カメラの一例に過ぎず、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備え、比較的広い視野を撮影可能なカメラであれば、任意のカメラを採用することが可能である。

また、上記実施形態では、船舶１０１の周辺確認システムは、船舶を上方から見下ろしたかのような鳥瞰画像３０１を作成するとしたが、本開示の技術はこれに限らない。船舶１０１の周辺確認システムは、船舶１００周囲の景色をパノラマ状に表示するパノラマ画像を合成画像として表示するようになっていてもよく、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒなどの船舶１０１の周囲に設置された複数のカメラの撮影によって取得される船舶１０１の周辺画像を継ぎ合わせて作成される合成画像であれば、如何なる画像を表示するものであっても構わない。

また、上記実施形態では、校正用指標６０として、白色および黒色の正方形パターン６１ｗ，６１ｂからなる市松模様の指標を例に挙げて説明したが、本開示の技術はこれに限らない。校正用指標６０は、市松模様が赤色および青色などの対極の関係にある２色の正方形パターンからなる指標であってもよく、複数本のラインやドットなどの画像処理による特徴の検出が行える所定のパターンで描かれた指標であってもよい。

以上説明したように、本開示の技術は、船舶の撮影装置およびその校正方法について有用である。

Ａ 光軸
ＢＥＶｆ 前方鳥瞰画像
ＢＥＶｂ 後方鳥瞰画像
ＢＥＶｌ 左方鳥瞰画像
ＢＥＶｒ 右方鳥瞰画像
１１ 船舶の周辺確認システム
１３ｆ フロントカメラ
１３ｂ バックカメラ
１３ｌ レフトカメラ
１３ｒ ライトカメラ
１５ モニタ
２１ 制御装置
２２ 撮影装置
２３ 広角レンズ
２５ 操作部
２９ 信号処理部
３１ 主メモリ
３３ メモリ制御部
３５ ＣＰＵ
３７ 補助メモリ
３９ モニタ用ドライバ
４１ 前処理部
４３ 歪み補正部
４７ 切り出し処理部
４９ 画像合成部
５１ 校正処理部
５３ 領域設定部
５５ 特徴検出部
５７ 校正演算部
６１ 校正用指標
６３ｗ 白色の正方形パターン
６３ｂ 黒色の正方形パターン
１０１ 船舶
１０１ｇ グラフィック画像
１０３ 船室
１０４ フライングデッキ
１０５ 船首
１０７ 船尾
１０９ 左舷
１１１ 右舷
１１３ 操舵席
２０１ 画像
３０１ 鳥瞰画像
５０１ 係留施設

Claims (3)

1. 互いに所定の間隔をあけて船舶に設置された複数のカメラと、
   前記各カメラの撮影によって取得される前記船舶の周辺画像を継ぎ合わせて合成画像を作成する制御装置と、を備え、
   前記複数のカメラとして、前記船舶の第１側を撮影範囲に含む複数の第１カメラと、前記船舶の前記第１側とは反対側である第２側を撮影範囲に含む複数の第２カメラとが設けられ、
   隣り合う前記第１カメラ同士および隣り合う前記第２カメラ同士がそれぞれ共通の撮影領域を有している船舶の撮影装置であって、
   前記制御装置は、
   前記船舶の前記第１側を係留施設に接岸させた状態で、前記係留施設の所定の位置に設置された校正用指標を前記複数の第１カメラによって前記共通の撮影領域で撮影する第１校正撮影モードと、
   前記船舶の前記第２側を前記係留施設に接岸させた状態で、前記校正用指標を前記複数の第２カメラによって前記共通の撮影領域で撮影する第２校正撮影モードと、を備え、
   前記第１校正撮影モードにおいて前記各第１カメラの撮影により取得された周辺画像での前記校正用指標の位置と、前記第２校正撮影モードにおいて前記各第２カメラの撮影により取得された周辺画像での前記校正用指標の位置とに基づき、隣り合う前記第１カメラの撮影によって取得される前記周辺画像の継ぎ目の位置と、隣り合う前記第２カメラの撮影によって取得される前記周辺画像の継ぎ目の位置とを校正する
   ことを特徴とする船舶の撮影装置。
2. 請求項１に記載された船舶の撮影装置において、
   前記複数のカメラは、前記船舶の前方を撮影するフロントカメラと、前記船舶の後方を撮影するバックカメラと、前記船舶の左方を撮影するレフトカメラと、前記船舶の右方を撮影するライトカメラとを含み、
   前記フロントカメラ、前記バックカメラ、前記レフトカメラおよび前記ライトカメラは、それぞれ広角カメラであり、
   前記レフトカメラは、前記第１側として前記船舶の左側を撮影範囲に含む前記第１カメラであり、
   前記ライトカメラは、前記第２側として前記船舶の右側を撮影範囲に含む前記第２カメラであり、
   前記フロントカメラおよび前記バックカメラは、前記第１カメラおよび前記第２カメラを兼ねている
   ことを特徴とする船舶の撮影装置。
3. 互いに所定の間隔をあけて船舶に設置された複数のカメラとして、前記船舶の第１側を撮影範囲に含む複数の第１カメラと、前記船舶の前記第１側とは反対側である第２側を撮影範囲に含む複数の第２カメラとを備え、隣り合う前記第１カメラ同士および隣り合う前記第２カメラ同士がそれぞれ共通の撮影領域を有しており、前記各第１カメラおよび前記各第２カメラにより前記船舶の周辺を撮影し、前記各第１カメラおよび前記各第２カメラの撮影によって取得される前記船舶の周辺画像を継ぎ合わせて合成画像を作成する船舶の撮像装置を校正する方法であって、
   前記船舶の前記第１側を係留施設に接岸させた状態で、前記係留施設の所定の位置に配置された校正用指標を前記複数の第１カメラによって前記共通の撮影領域で撮影する第１校正撮影ステップと、
   前記船舶の前記第２側を前記係留施設に接岸させた状態で、前記校正用指標を前記複数の第２カメラによって前記共通の撮影領域で撮影する第２校正撮影ステップと、
   前記第１校正撮影ステップで前記各第１カメラの撮影によって取得される周辺画像での前記校正用指標の位置に基づき、隣り合う前記第１カメラの撮影によって取得される前記周辺画像の継ぎ目の位置を校正し、前記第２校正撮影ステップで前記各第２カメラの撮影によって取得される周辺画像での前記校正用指標の位置に基づき、隣り合う前記第２カメラの撮影によって取得される前記周辺画像の継ぎ目の位置を校正する校正演算ステップと、を含む
   ことを特徴とする船舶の撮影装置の校正方法。
   

Images