JP2022088142A - 距離認識システムおよびその制御方法、船舶 - Google Patents

Abstract

【課題】撮像範囲における任意の位置の距離をより正確に認識する。【解決手段】ステレオカメラ４１を有する距離認識システムが提供される。ステレオカメラ４１において、第２のカメラ４１ｂおよび第１のカメラ４１ａは、水面４６が撮像範囲に含まれるように、船体１３に配置される。第２のカメラ４１ｂは第１のカメラ４１ａよりも高い位置に配置される。カメラ４１ｂ、４１ｂからそれぞれ取得された第１の画像５１、第２の画像５２の間のマッチング処理により、第１の画像５１における任意の位置に関する距離情報が取得される。【選択図】図３

Description

本発明は、距離認識システムおよびその制御方法、船舶に関する。

従来、特許文献１に開示されるように、車の分野では、ステレオカメラを用いて検知対象物までの距離を検出する技術が知られている。特許文献１では、左右に並んだ２つの撮像部で撮像された２つの画像間のステレオマッチングを用いて検知対象物までの距離が検出される。

一方、船舶の分野においては、運航上、波高等の水面状態を把握することが重要である。例えば、特許文献１に開示されるステレオカメラを用いて、カメラから個々の波までの相対距離を検出することが考えられる。通常、ステレオマッチングでは三角測量によって距離が認識される。その際、例えば、第１の画像から切り出した矩形に合致する矩形が、第２の画像における探索範囲から抽出される。２つの撮像部は水平に配置されているため、探索方向は左右方向である。

ＷＯ２０１６／０６３５４５号公報

しかしながら、例えば水面上の波には、浮遊物等の異物と比べると個々の特徴が少なく、互いに近似した波が多い。特に、距離が同じ位置にある波同士は形状や大きさに大きな違いがない。そのため、左右方向に探索する場合は、距離が同じ位置同士の矩形を比較することになるから、合致する矩形の抽出が困難である。従って、撮像範囲における任意の位置までの距離の認識精度が低くなる。

本発明は、撮像範囲における任意の位置の距離をより正確に認識することを目的とする。

この発明の一態様による距離認識システムは、水面が撮像範囲に含まれるように、船体に配置される第１の撮像部と、水面が撮像範囲に含まれるように、前記船体における前記第１の撮像部よりも高い位置に配置される第２の撮像部と、前記第１の撮像部または前記第２の撮像部の一方により撮像された第１の画像と前記第１の撮像部または前記第２の撮像部の他方により撮像された第２の画像とを取得する画像取得部と、前記第１の画像と前記第２の画像との間のマッチング処理により、前記第１の画像における任意の位置に関する距離情報を取得する処理部と、を有する。

この構成によれば、距離認識システムは、水面が撮像範囲に含まれるように、船体に配置される第１の撮像部と、水面が撮像範囲に含まれるように、前記船体における前記第１の撮像部よりも高い位置に配置される第２の撮像部と、を有する。前記第１の撮像部または前記第２の撮像部の一方により撮像された第１の画像と前記第１の撮像部または前記第２の撮像部の他方により撮像された第２の画像とが取得され、前記第１の画像と前記第２の画像との間のマッチング処理により、前記第１の画像における任意の位置に関する距離情報が取得される。

本発明によれば、撮像範囲における任意の位置の距離をより正確に認識することができる。

距離認識システムが適用される船舶の模式的側面図である。 操船システムのブロック図である。 ステレオカメラの配置および撮像方向を示す模式図である。 第１の画像、第２の画像の概念図である。 マッチング処理を示すフローチャートである。 三角測量の原理を説明する模式図である。 マッチング処理の変形例を示す模式図である。 ステレオカメラの変形例を示す模式図である。 ステレオカメラの変形例を示す模式図である。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る距離認識システムが適用される船舶の模式的側面図である。この船舶１１は、船体１３と、船体１３に搭載される船舶推進機としての船外機１５とを備えている。船体１３に備わる船外機１５の数は問わない。船体１３のキャビン２９内において、操船席２８の付近には、中央ユニット１０、サブユニット４０、ステアリングホイール１８、スロットルレバー１２が備えられる。

以下の説明において、前後左右上下の各方向は、図１に示すように、船体１３の前後左右上下の各方向を意味する。左右方向については、船体１３を後方から見た場合を基準とする。鉛直方向は、前後方向及び左右方向に垂直な方向である。なお、鉛直方向は、船体１３のデッキ４５の上面に対して垂直な方向であるとする。

船外機１５は、取付ユニット１４を介して船体１３に取り付けられている。船外機１５は、内燃機関であるエンジン１６を有する。船外機１５は、エンジン１６の駆動力によって回転されるプロペラによって、船体１３を移動させる推力を得る。取付ユニット１４は、スイベルブラケット、クランプブラケット、ステアリング軸およびチルト軸を含む（いずれも図示せず）。取付ユニット１４は、さらに、パワートリム＆チルト機構（ＰＴＴ機構）２７を含む（図２参照）。ＰＴＴ機構２７は、船外機１５をチルト軸まわりに回動させる。これにより、船体１３に対する船外機１５の傾斜角（トリム角、チルト角）を変化させることができるので、トリム調整をしたり、船外機１５をチルトアップ／チルトダウンさせたりすることができる。また、船外機１５は、スイベルブラケットに対してステアリング軸まわりに回動可能である。船外機１５は、ステアリングホイール１８が操作されることによって左右に回動し、これにより、船舶１１が操舵される。

キャビン２９の上部前部に、ステレオカメラ４１が設置されている。ステレオカメラ４１は、キャビン２９に対して直接に、または支持部を介して取り付けられている。ステレオカメラ４１の配置位置は、操船席２８より前方でかつ操船席２８よりも高い位置にある。ステレオカメラ４１は、一対の撮像部を成す第１のカメラ４１ａ（第１の撮像部）および第２のカメラ４１ｂ（第２の撮像部）を備える。第１のカメラ４１ａ、第２のカメラ４１ｂの撮像方向はいずれも略前方に設定されている。

船体１３の船首上端１３ａとステアリングホイール１８の上端１８ａ（ステアリング上端）とを通る直線を仮想直線Ｌ１とする。上下方向に関しては、カメラ４１ａ、４１ｂはいずれも、船体１３の側方（左方または右方）から見て、仮想直線Ｌ１よりも上方の領域に配置される。カメラ４１ａ、４１ｂはいずれも、キャビン２９の上部後端２９ａより前方でかつ上方に位置する。前後方向に関しては、カメラ４１ａ、４１ｂはいずれも、船体１３の後端から船体１３の全長の１／３だけ前の位置よりも前方に配置される。

図２は、操船システムのブロック図である。この操船システムは、距離認識システム１００を含む。距離認識システム１００は、認識処理部２０、ステレオカメラ４１、表示部９および設定操作部１９を含む。なお、操船システム全体を距離認識システム１００と呼称してもよい。

船舶１１は、主に操船に関する構成要素として、コントローラ３０、センサ群１７、受信部３９、表示部９、設定操作部１９、転舵用アクチュエータ２４、ＰＴＴ機構２７、開度調整部２６を備える。

コントローラ３０、センサ群１７、開度調整部２６、受信部３９、表示部９、設定操作部１９は、中央ユニット１０に含まれるか、または中央ユニット１０の付近に配置される。表示部９、設定操作部１９はサブユニット４０に含まれてもよい。あるいは、表示部９および設定操作部１９は、中央ユニット１０とサブユニット４０とに個別に備えられてもよい。センサ群１７は、スロットルセンサ、スロットル開度センサ、操舵角センサ、船体速度センサ、船体加速度センサ、姿勢センサ、エンジン回転数センサを含む（いずれも図示せず）。スロットル開度センサおよびエンジン回転数センサは、船外機１５に設けられる。転舵用アクチュエータ２４、ＰＴＴ機構２７は、船外機１５に対応して設けられる。

コントローラ３０は、第１通信部４３、第１ＣＰＵ３１、第１ＲＯＭ３２および第１ＲＡＭ３３および不図示のタイマを含む。第１ＲＯＭ３２は制御プログラムを格納している。第１ＣＰＵ３１は、第１ＲＯＭ３２に格納された制御プログラムを第１ＲＡＭ３３に展開して実行することにより、各種の制御処理を実現する。第１ＲＡＭ３３は、第１ＣＰＵ３１が制御プログラムを実行する際のワークエリアを提供する。第１通信部４３は、有線または無線により認識処理部２０と通信する。

センサ群１７による各検出結果は、コントローラ３０に供給される。スロットルレバー１２（図１）は、スロットル開度を手動で調整するスロットル操作子である。センサ群１７におけるスロットルセンサは、スロットルレバー１２の操作位置を検出する。スロットル開度センサは、不図示のスロットルバルブの開度を検出する。開度調整部２６は、スロットルバルブの開度を調整する。自動操舵でない通常制御においては、第１ＣＰＵ３１は、スロットルレバー１２の操作位置に基づいて開度調整部２６を制御する。操舵角センサは、ステアリングホイール１８が回転された際の回転角を検出する。船体速度センサ、船体加速度センサはそれぞれ、船舶１１（船体１３）の航行の速度、加速度を検出する。

姿勢センサは、例えば、ジャイロセンサおよび磁気方位センサ等を含む。姿勢センサから出力された信号に基づいて、コントローラ３０は、ロール角、ピッチ角およびヨー角を算出する。受信部３９は、ＧＰＳなどのＧＮＳＳ（Global Navigation Satellite Systems）の受信機を含み、ＧＰＳ信号や各種の信号を位置情報として受信する機能を有する。受信部３９が受信した信号は第１ＣＰＵ３１に供給される。エンジン回転数センサは、エンジン１６の単位時間当たりの回転数を検出する。表示部９は、各種情報を表示する。設定操作部１９は、操船に関する操作をするための操作子、ＰＴＴ操作スイッチのほか、各種設定を行うための設定操作子、各種指示を入力するための入力操作子を含む（いずれも図示せず）。

転舵用アクチュエータ２４は、船外機１５を船体１３に対して左右方向に回動させる。これによって、船体１３に対して推進力が作用する方向が変化する。ＰＴＴ機構２７は、船外機１５をチルト軸まわりに回動させてクランプブラケットに対して傾ける。ＰＴＴ機構２７は、例えば、ＰＴＴ操作スイッチが操作されることによって作動する。これにより、船体１３に対する船外機１５の傾斜角を変化させることができる。なお、コントローラ３０は、船外機１５に設けられる船外機ＥＣＵ（図示せず）を介して、エンジン１６を制御してもよい。

認識処理部２０はサブユニット４０に含まれる。認識処理部２０は、第２通信部４４、第２ＣＰＵ２１、第２ＲＯＭ２２、第２ＲＡＭ２３および不図示のタイマを含む。認識処理部２０とコントローラ３０とは、第２通信部４４と第１通信部４３とを介して通信可能に接続されている。両者間の通信プロトコルの種類は問わないが、例えば、ＣＡＮ（Control Area Network）プロトコルが用いられる。第１ＣＰＵ３１は第２ＣＰＵ２１と通信して情報をやりとりする。第２ＲＯＭ２２は制御プログラムを格納している。第２ＣＰＵ２１は、第２ＲＯＭ２２に格納された制御プログラムを第２ＲＡＭ２３に展開して実行することにより、各種の制御処理を実現する。第２ＲＡＭ２３は、第２ＣＰＵ２１が制御プログラムを実行する際のワークエリアを提供する。表示部９および設定操作部１９は、コントローラ３０だけでなく認識処理部２０にも接続されている。

図３は、ステレオカメラ４１の配置および撮像方向を示す模式図である。第２のカメラ４１ｂは第１のカメラ４１ａよりも高い位置に配置される。滑走時において、第１のカメラ４１ａの撮像範囲および第２のカメラ４１ｂの撮像範囲のいずれにも水面４６が含まれるように、各カメラの画角および撮像方向が設定されている。しかも、第１のカメラ４１ａと第２のカメラ４１ｂとは、撮像範囲が互いに略重複するように配置される。カメラ４１ａ、４１ｂにより撮像された撮像画像は第２ＣＰＵ２１に供給される。カメラ４１ａ、４１ｂにより撮像された撮像画像を、それぞれ、第１の画像、第２の画像と称する。

第１のカメラ４１ａの撮像レンズの光軸Ｘａと第２のカメラ４１ｂの撮像レンズの光軸Ｘｂとは互いに略平行である。光軸Ｘａとデッキ４５に平行な面４５ａとが、撮像方向（被写体方向）で且つ下方において鋭角θａを成す。同様に、光軸Ｘｂとデッキ４５に平行な面４５ａとが、撮像方向（被写体方向）で且つ下方において鋭角θｂを成す。デッキ４５が水平な状態において、光軸Ｘａ、Ｘｂは水面４６を貫通する。従って、船体１３の姿勢が変化しても水面４６が撮像範囲に入りやすい。船体１３の姿勢変化を考慮し、鋭角θａ、θｂは、０度より大きく２０度より小さい値に設定されるのが望ましい。なお、一例として、水面４６からのステレオカメラ４１の配置高さを約１．７ｍとした場合、２０ｍ先の波を認識するためには、鋭角θａ、θｂを１５～２０度とするのが望ましい。

なお、鋭角θａ、θｂは、２０度より大きくてもよい。例えば、ステレオカメラ４１を高い位置に設置し、高い位置から見下ろすように船体１３の近傍の波を見たい場合もあるからである。従って、鋭角θａ、θｂは、通常、０度より大きく６０度より小さい値に設定されるが、好ましくは０度より大きく４０度より小さい値に設定され、さらに好ましくは０度より大きく２０度より小さい値に設定される。

また、光軸Ｘａ方向における第１のカメラ４１ａの位置と第２のカメラ４１ｂの位置とは略一致している。つまり、光軸Ｘａ方向におけるカメラ４１ａ、４１ｂの撮像面同士の位置が略一致している。さらに、光軸Ｘａ方向とデッキ４５に垂直な方向（船体１３の上下方向）とに直交する方向（図３に示す構成例では船体１３の左右方向、つまり図３の紙面奥行き方向）における第１のカメラ４１ａの位置と第２のカメラ４１ｂの位置とは略一致している。つまり、前方から見ると、カメラ４１ｂ、４１ａは上下に並んでいる。これらは、後述する距離情報の算出負荷を低減することに役立つ。

第２ＣＰＵ２１は、主として第２ＣＰＵ２１、第２ＲＯＭ２２、第２ＲＡＭ２３、第２通信部４４および不図示のタイマ等と協働して、画像取得部としての機能を果たす。画像取得部としての第２ＣＰＵ２１は、第１のカメラ４１ａにより撮像された第１の画像を取得すると共に、第２のカメラ４１ｂにより撮像された第２の画像を取得する。また、第２ＣＰＵ２１は、主として第２ＣＰＵ２１、第２ＲＯＭ２２、第２ＲＡＭ２３、第２通信部４４および不図示のタイマ等と協働して、処理部としての機能を果たす。詳細は後述するが、処理部としての第２ＣＰＵ２１は、第１の画像と第２の画像との間のマッチング処理により、第１の画像における任意の位置に関する距離情報（ステレオカメラ４１からの相対距離）を取得する。

図４（ａ）、（ｂ）は、それぞれ、第１の画像、第２の画像の概念図である。図４（ａ）、（ｂ）に示す第１の画像５１、第２の画像５２は、互いに同じタイミングで取得された画像フレームに該当する。

第１の画像５１における任意の位置に関する距離情報を取得するためのマッチング処理について概説する。このマッチング処理には、ＷＯ２０１６／０６３５４５号公報に開示されるようなＳＡＤ（Sum of Absolute Difference）関数を利用した公知のステレオマッチング処理の手法を採用することができる。

このマッチング処理において、第２ＣＰＵ２１は、第１の画像５１において基準領域５３を設定する。基準領域５３は、一例として所定数×所定数の画素分の矩形の画素ブロックである。次に、第２ＣＰＵ２１は、距離情報取得処理を実行する。距離情報取得処理では、今回の基準領域５３の所定位置（例えば中心位置）の距離情報が取得される。第２ＣＰＵ２１は、今回の基準領域５３を所定の画素単位でずらした位置に次の基準領域５３を設定し、当該次の基準領域５３に対して距離情報取得処理を実行する。このように、順次決定される複数の基準領域５３の各々に関して距離情報取得処理が実行されることで、撮像範囲における任意の位置の距離が把握される。

距離情報取得処理を含むマッチング処理について、図４、図５、図６を用いて説明する。図５は、マッチング処理を示すフローチャートである。この処理は、第２ＲＯＭ２２に格納されたプログラムを第２ＣＰＵ２１が第２ＲＡＭ２３に展開して実行することにより実現される。この処理は、操船者からの指示を受けて開始される。あるいは、この処理は、操船システムが起動されると開始されるようにしてもよい。

ステップＳ１０１では、画像取得部としての第２ＣＰＵ２１は、第１のカメラ４１ａ、第２のカメラ４１ｂによりそれぞれ撮像された第１の画像５１、第２の画像５２を取得する。ステップＳ１０２では、第２ＣＰＵ２１は、上述したように第１の画像５１において基準領域５３を設定する（図４（ａ）参照）。ステップＳ１０３～Ｓ１０６で、処理部としての第２ＣＰＵ２１は、距離情報取得処理を実行する。

ステップＳ１０３では、第２ＣＰＵ２１は、第２の画像５２において、基準領域５３の位置およびサイズに基づいて探索領域５４を設定する（図４（ｂ）参照）。その際、探索領域５４の幅は、基準領域５３と同じ幅であり、探索領域５４の長手方向は第１のカメラ４１ａおよび第２のカメラ４１ｂの並び方向に対応する方向である。本実施の形態では、第１のカメラ４１ａおよび第２のカメラ４１ｂがほぼ上下に並ぶので、探索領域５４は、第２の画像５２において、基準領域５３に対応する矩形領域を含んだ画素座標上の略上下方向となる。厳密には、探索領域５４の長手方向は、エピポーラ線の方向に設定される。

次に、ステップＳ１０４では、第２ＣＰＵ２１は、第２の画像５２の探索領域５４を長手方向にスキャンし、探索領域５４において基準領域５３と合致する領域（合致領域５５と称する）を抽出する（図４（ｂ）参照）。これにより、第２の画像５２の中で、合致領域５５が、基準領域５３に撮像されているものと同じ対象物が撮像されている画素ブロックとして特定される。

次に、ステップＳ１０５では、第２ＣＰＵ２１は、基準領域５３と合致領域５５との間で互いに対応する特徴点同士の視差を取得する。ステップＳ１０６では、第２ＣＰＵ２１は、取得した視差を用い、公知の三角測量の原理により、上記特徴点の距離を、今回の基準領域５３に関する距離情報として取得する。

図６は、三角測量の原理を説明する模式図である。カメラ４１ａ、４１ｂの光軸間隔（光軸Ｘａと光軸Ｘｂとの間隔）を基線長Ｌとする。カメラ４１ａ、４１ｂの各撮像レンズの焦点距離をＦとする。第１の画像５１に対する第２の画像５２の対応点のずれ量を、撮像面上の視差Ｄとする。カメラ４１ａ、４１ｂの焦点距離、撮像素子の画素数および１画素の大きさは互いに等しいものとする。また、光軸Ｘａ方向におけるカメラ４１ａ、４１ｂの各撮像面の位置は略一致しているとする。カメラ４１ａ、４１ｂのレンズ中心から対象物までの距離Ｚは、三角測量の原理による式１により導かれる。
Ｚ＝Ｌ×Ｆ／Ｄ・・・（１）

その後、第２ＣＰＵ２１は、視差Ｄから距離データを有する距離画像を生成する。第２ＣＰＵ２１は、距離画像から、今回の基準領域５３の中心位置の距離情報を取得する。

ステップＳ１０７では、第２ＣＰＵ２１は、第１の画像５１における全領域に関して距離情報取得処理が終了したか否かを判別する。その判別の結果、第１の画像５１における全領域に関して距離情報取得処理が終了していない場合は、第２ＣＰＵ２１は、ステップＳ１０２に戻る。第１の画像５１における全領域に関して距離情報取得処理が終了した場合は、第２ＣＰＵ２１は、ステップＳ１０８で、その他の処理を実行した後、図５に示す処理を終了する。

ここでいう「その他の処理」においては、例えば、設定操作部１９での設定や操作に応じた各種処理が実行される。また、操船システムを終了する指示があれば、本フローチャートを終了する処理が実行される。また、「その他の処理」においては、ステップＳ１０６で取得された距離情報をコントローラ３０へ送信する処理が含まれてもよい。

ここで、自動車の分野で一般に用いられるステレオカメラでは、２つの撮像部が左右に並んでいるので、探索領域は左右方向となる。仮に、本実施の形態においても２つのカメラ４１ａ、４１ｂを左右方向に並べて配置し、探索領域５４を左右方向に設定したとすると、合致領域５５の抽出精度が低くなる。これは、互いに同じ距離にある似通った波同士を弁別することが容易でないからである。しかし、本実施の形態では、カメラ４１ａ、４１ｂをほぼ上下関係となるように配置し、探索領域５４をほぼ上下方向に設定したので、合致領域５５の抽出精度が高くなる。これは、波は、距離によって大きさが異なることから、互いに異なる距離にある波同士を弁別することが比較的容易だからである。

ところで、認識部としての認識処理部２０が、取得された距離情報に基づいて水面状態を認識してもよい。例えば認識処理部２０は、画像内の任意の位置の距離から波の存在を判定し、存在すると判定した複数の波の高さから、水面状態を認識する。この場合、認識処理部２０は、複数の波のうち最大高さを有するものに基づくか、あるいは平均の高さに基づいて、波浪の度合いを判定してもよい。

例えば、第２ＣＰＵ２１は、ステップＳ１０８のその他の処理において、取得した距離情報と対象物の形状情報とを統合して、各波の形状を把握し、出力してもよい。さらに、第２ＣＰＵ２１は、距離情報に基づいて、船体１３から一定距離の水面高さを計測し、水面高さが所定時間（例えば、数秒）前から閾値を超えて変化したら、その旨を示す通知を出すようにしてもよい。このような動作は、例えば以下の処理により実現される。

まず第２ＣＰＵ２１は、距離画像を取得した後、水面の基準面を最小二乗法により推定する。ここで、「基準面」は、画像に含まれる全範囲における水面高さ（波がなく平坦であると仮定した場合の水面位置）である。次に、第２ＣＰＵ２１は、基準面を用いて距離画像を補正する。次に、第２ＣＰＵ２１は、船体１３から一定距離（例えば、５ｍ）の水面の部位を距離画像から切り出し、切り出した距離画像に対応する領域の水面高さの平均値や中央値を計算する。そして第２ＣＰＵ２１は、過去の水面高さログから判断して、水面高さが閾値を超えて急激に高くなった場合、上記通知を表示部９に表示させる。

なお、距離認識システム１００から受信した距離情報に基づいて、コントローラ３０の第１ＣＰＵ３１が、認識部として機能して水面状態を認識してもよい。

なお、取得された距離情報を操船者に視認させるために、表示部９に情報を表示させてもよい。第２ＣＰＵ２１は、操船者からの指示に応じて距離情報取得処理を実行する距離情報取得処理モードと、距離情報取得処理を実施しない通常モードとを選択的に設定できる。第２ＣＰＵ２１は、モードに応じて、次のように表示制御する。

一例として、通常モード時には、表示部９には第１の画像５１が表示される。また、距離情報取得処理時には、表示部９には第１の画像５１が表示されると共に、水面高さが閾値を超えた旨を通知する場合は、メッセージまたはマークなどが第１の画像５１に重畳して表示される。なお、いずれのモードにおいても、表示部９を画面分割して第１の画像５１と第２の画像５２とが並列表示されてもよい。あるいは、表示部９とは別個のモニタを設け、表示部９とモニタの一方に第１の画像５１、他方に第２の画像５２がそれぞれ表示されてもよい。上記通知は、重畳表示でなく別画面に表示されてもよい。また、表示部９とは別個のモニタとして、フロントガラスなどを利用してもよい。

本実施の形態によれば、ステレオカメラ４１において、第２のカメラ４１ｂは第１のカメラ４１ａよりも高い位置に配置される。第１の画像５１と第２の画像５２との間のマッチング処理により、第１の画像５１における任意の位置に関する距離情報が取得される。これにより、撮像範囲における任意の位置の距離をより正確に認識することができる。

また、光軸Ｘａ方向と船体１３の左右方向とにおけるカメラ４１ａ、４１ｂの位置は互いに略一致するので、距離情報の算出負荷を低減することができる。しかも、光軸Ｘａ、光軸Ｘｂは互いに略平行であるので、取得される距離情報の精度が高い。

また、カメラ４１ａ、４１ｂの撮像方向は略前方であるので、主な進行方向における距離を正確に認識することができる。さらに、ステレオカメラ４１は、船体１３の側方から見て、船体１３の船首上端１３ａとステアリング上端とを通る仮想直線Ｌ１よりも上方の領域に配置され、しかも、光軸Ｘａと面４５ａとが撮像方向で且つ下方において鋭角θａを成すので、水面状態を認識しやすい。

なお、ステレオカメラ４１は、船体１３の前部（例えば、図１に示す位置４１－１）に設置されてもよい。この場合、ステレオカメラ４１は、例えば、バウレール（図示せず）に直接に、または支持部を介して取り付けられてもよい。あるいは、船体１３の側方の距離を取得したい場合は、ステレオカメラ４１を船体１３の側部に配置してもよい。

図７～図９で、各種の変形例を説明する。

図７は、マッチング処理の変形例を示す模式図である。図４（ａ）、（ｂ）を用いた説明では、順次設定される基準領域５３は互いに同じ形状・大きさであった。しかし、これに限るものではなく、第１の画像５１における領域によって基準領域５３の大きさを異ならせると共に、基準領域５３の大きさに応じて、第２の画像５２において設定される探索領域５４の形状・大きさを異ならせてもよい（第１の方法）。

例えば、カメラ４１ｂ、４１ａの配置関係が、図３に示したような略上下関係とされた場合、図７に示すように、ステレオカメラ４１に対して遠くに対応する画像範囲ほど基準領域５３のサイズを縮小してもよい。第１の画像５１における上方の範囲ほど、ステレオカメラ４１からの距離が遠い領域に対応する。第１の画像５１の画像範囲を例えば３つに分類し、上方から、上方範囲、中範囲、下方範囲とする。第２ＣＰＵ２１は、上方範囲では基準領域５３Ａを設定する。第２ＣＰＵ２１は、同じ上方範囲であって左右方向に異なる範囲でも、基準領域５３Ａを設定する。同様に、第２ＣＰＵ２１は、中範囲では基準領域５３Ｂを設定し、下方範囲では基準領域５３Ｃを設定する。基準領域５３Ａ、５３Ｂ、５３Ｃは互いに相似の矩形であるが、サイズは、５３Ａ＜５３Ｂ＜５３Ｃであり、基準領域５３Ａが最も小さい。別の表現を用いると、第２ＣＰＵ２１は、第１の画像５１における第１の範囲で設定する基準領域５３のサイズを、第１の画像５１における第１の範囲よりも下方の第２の範囲で設定する基準領域５３のサイズよりも小さくする。

また、第２ＣＰＵ２１は、第２の画像５２において探索領域５４を設定する際、上方範囲、中範囲、下方範囲ではそれぞれ、基準領域５３Ａ、５３Ｂ、５３Ｃと同じ幅に設定する。探索領域５４の長手方向は第２の画像５２における上下方向である。このように基準領域の大小関係を設定するのは、ステレオカメラ４１からの距離が遠い領域ほど、同じ画像面積内に含まれる距離分布が広くなるからである。すなわち、遠方領域に相当する基準領域５３Ａのサイズを小さくすることで、基準領域５３Ａ内に含まれる距離分布が広くなることを防ぐためである。これにより、取得される距離情報の精度を高め、撮像範囲における任意の位置の距離を一層正確に認識することができる。

なお、第１の画像５１における上方の範囲ほど、基準領域５３のサイズを縮小する処理は、カメラ４１ｂ、４１ａの配置関係が、図３に示したような略上下関係である場合に限定されない。すなわち、上記処理は、第２のカメラ４１ｂが第１のカメラ４１ａよりも高い位置に配置される構成であれば適用可能である。

なお、第２の方法として、マッチング処理において、基準領域５３および探索領域５４の形状・大きさを変更することなく画像サイズを変更することによっても同様の効果を得ることができる。すなわち、第１の画像５１における領域によって、基準領域５３に対応する画像サイズを異ならせると共に、基準領域５３に対応する画像サイズに応じて、第２の画像５２において設定される探索領域５４の形状・大きさを異ならせてもよい。

例えば、基準領域５３のサイズは、第１の画像５１の上方範囲、中範囲、下方範囲のいずれでも同じとする。また、第２の画像５２において探索領域５４の幅も基準領域５３と同じで一様とする。一方、第１の画像５１の上方範囲、中範囲、下方範囲における画像サイズを変更し、上方範囲＞中範囲＞下方範囲とする。すなわち、遠方領域に相当する基準領域５３に対応する画像ほどサイズを拡大する。これと共に、第２の画像５２の探索領域５４の上方範囲、中範囲、下方範囲における画像サイズを、第１の画像５１の上方範囲、中範囲、下方範囲における画像サイズに合わせて変更する。このように、遠方領域ほど、基準領域５３に対応する画像サイズを大きくすることで、基準領域５３内に含まれる距離分布が広くなることを防ぐ。これにより、取得される距離情報の精度を高め、撮像範囲における任意の位置の距離を一層正確に認識することができる。

なお、上記第１の方法と第２の方法とを併用してもよい。

図８、図９は、ステレオカメラ４１の変形例を示す模式図である。マッチング処理が可能な範囲で、カメラ４１ａ、４１ｂの相対的な配置や、光軸Ｘａ、Ｘｂの角度は変形可能である。

図３に示した例では、光軸Ｘａ方向におけるカメラ４１ａ、４１ｂの位置は略一致していた。図８に示す例では、光軸Ｘａ方向において、第２のカメラ４１ｂの方が第１のカメラ４１ａよりもＤ１だけ被写体方向（前方）に位置している。このようにカメラ４１ａ、４１ｂが光軸Ｘａ方向にオフセットした構成を採用する場合、第１の画像５１と第２の画像５２との大きさを揃えるよう、画像５１、５２の少なくともいずれかの大きさを補正した上で三角測量を適用するのが望ましい。

また、図９に示すように、光軸Ｘａ、Ｘｂが互いに平行でなく光軸Ｘａ、Ｘｂが交差する構成を採用してもよい。この場合、三角測量において、光軸Ｘａ、Ｘｂが平行であることを前提とした算出式を用いて距離情報を近似的に算出してもよい。しかしそのようにすると精度が低い。そのため、「https://www.jstage.jst.go.jp/article/prociiae/2014/0/2014_68/_pdf」（光軸が交差する３Ｄカメラに対応した三角測量法の提案）等に開示されるような公知の算出手法を用いるのが望ましい。

なお、第１、第２の画像はカメラ４１ａ、４１ｂから取得されたが、これとは逆に、第１、第２の画像はカメラ４１ｂ、４１ａから取得されるようにしてもよい。言い換えると、カメラ４１ｂ、４１ａの一方により第１の画像５１が取得され、カメラ４１ｂ、４１ａの他方により第２の画像５２が取得されるようにしてもよい。

なお、本発明が適用される船舶は、船外機を備える船舶に限らず、船内外機（スターンドライブ、インボードモータ・アウトボードドライブ）、船内機（インボードモータ）、ウォータージェットドライブ等の他の形態の船舶推進機を備える船舶であってもよい。

なお、本実施の形態において、「略」を付したものは完全を除外する趣旨ではない。例えば、「略重複」、「略平行」、「略前方」、「略一致」は、それぞれ完全な重複、平行、前方、一致を含む趣旨である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

１３ 船体、 ２１ 第２ＣＰＵ、 ４１ ステレオカメラ、 ４１ａ 第１のカメラ、 ４１ｂ 第２のカメラ、５１ 第１の画像、５２ 第２の画像

Claims (14)

1. 水面が撮像範囲に含まれるように、船体に配置される第１の撮像部と、
   水面が撮像範囲に含まれるように、前記船体における前記第１の撮像部よりも高い位置に配置される第２の撮像部と、
   前記第１の撮像部または前記第２の撮像部の一方により撮像された第１の画像と前記第１の撮像部または前記第２の撮像部の他方により撮像された第２の画像とを取得する画像取得部と、
   前記第１の画像と前記第２の画像との間のマッチング処理により、前記第１の画像における任意の位置に関する距離情報を取得する処理部と、を有する、距離認識システム。
2. 前記第１の撮像部の光軸方向における前記第１の撮像部の位置と前記第２の撮像部の位置とは略一致する、請求項１に記載の距離認識システム。
3. 前記第１の撮像部の光軸方向と前記船体の上下方向とに直交する方向における前記第１の撮像部の位置と前記第２の撮像部の位置とは略一致する、請求項１または２に記載の距離認識システム。
4. 前記第１の撮像部および前記第２の撮像部の少なくとも一方の撮像方向は略前方である、請求項１乃至３のいずれか１項に記載の距離認識システム。
5. 前記第１の撮像部および前記第２の撮像部はいずれも、前記船体の側方から見て、前記船体の船首上端とステアリング上端とを通る仮想直線よりも上方の領域に配置される、請求項１乃至４のいずれか１項に記載の距離認識システム。
6. 前記第１の撮像部の光軸と前記第２の撮像部の光軸とは互いに略平行である、請求項１乃至５のいずれか１項に記載の距離認識システム。
7. 前記第１の撮像部または前記第２の撮像部の少なくとも一方の光軸と、前記船体のデッキに平行な面とが、撮像方向で且つ下方において鋭角を成す、請求項１乃至６のいずれか１項に記載の距離認識システム。
8. 前記マッチング処理はステレオマッチング処理である、請求項１乃至７のいずれか１項に記載の距離認識システム。
9. 前記処理部は、前記第１の画像から複数の基準領域を決定すると共に前記複数の基準領域の各々に関して距離情報取得処理を行い、
   前記処理部は、前記距離情報取得処理においては、
   前記第２の画像において、前記基準領域の位置およびサイズに基づいて、前記第１の撮像部および前記第２の撮像部の並び方向に対応する方向に探索領域を設定し、
   前記探索領域から前記基準領域に合致する領域を抽出し、
   前記合致する領域と前記基準領域との間で互いに対応する特徴点同士の視差を求め、
   前記視差を用い、三角測量により前記特徴点の距離を前記距離情報として取得する、請求項１乃至７のいずれか１項に記載の距離認識システム。
10. 前記処理部は、前記第１の画像から前記基準領域を決定する際、前記第１の画像における第１の範囲で設定する前記基準領域のサイズを、前記第１の画像における前記第１の範囲よりも下方の第２の範囲で設定する前記基準領域のサイズよりも小さくする、請求項９に記載の距離認識システム。
11. 前記処理部は、前記第１の画像における第１の範囲で設定する前記基準領域に対応する画像サイズを、前記第１の画像における前記第１の範囲よりも下方の第２の範囲で設定する前記基準領域に対応する画像サイズよりも大きくすると共に、前記探索領域に対応する画像サイズを前記基準領域に合わせて変更する、請求項９に記載の距離認識システム。
12. 前記処理部により取得された前記距離情報に基づいて、水面状態を認識する認識部をさらに有する、請求項１乃至１１のいずれか１項に記載の距離認識システム。
13. 水面が撮像範囲に含まれるように、船体に配置される第１の撮像部と、水面が撮像範囲に含まれるように、前記船体における前記第１の撮像部よりも高い位置に配置される第２の撮像部と、を有する距離認識システムの制御方法であって、
    前記第１の撮像部または前記第２の撮像部の一方により撮像された第１の画像と前記第１の撮像部または前記第２の撮像部の他方により撮像された第２の画像とを取得し、
    前記第１の画像と前記第２の画像との間のマッチング処理により、前記第１の画像における任意の位置に関する距離情報を取得する、距離認識システムの制御方法。
14. 請求項１乃至１２のいずれか１項に記載の距離認識システムを備える、船舶。
    
    

Images