JP2018085611A - 表示制御装置、船舶、画像表示方法、プログラム - Google Patents

Abstract

【課題】特定対象の周囲画像を表示装置に表示した際に、視聴者の視認性を向上させた画像を表示する表示制御装置を提供する。【解決手段】特定対象の周囲を撮影して得られた画像に生じた歪みを補正し、歪みを補正した画像を特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する。【選択図】図１

Description

本発明は、表示制御装置、船舶、画像表示方法、プログラムに関する。

特定対象の周囲の画像を表示装置に表示することで特定対象の周囲の認識の精度を高める技術が特許文献１に開示されている。特許文献１の技術は、特定対象の一態様である船舶において、その周囲環境や他船の状況に関するレーダ情報を取得し、その取得されたレーダ情報を操船者の視点からの透視画像に変換する。また特許文献１の技術は、その変換された透視画像を操船者の目視景観に重ねて重畳画像として表示させる船舶に対して水平方向に回動可能な表示部を備える。また特許文献１の技術は、表示部の方位角を検出し、表示部は表示されるべき重畳画像を表示部の回動による回転角検出部により検出される方位角に連動して表示する。

特許第５２０７１７７号公報

ところで特定対象の周囲画像を表示装置に表示する際に、表示装置の表示画面が大きい場合には撮影装置のレンズの光学特性に基づいて画像の外枠側の領域に歪みが生じることがある。また特定対象が移動する場合にはその特定対象に設けられた撮影装置が揺れることにより撮影装置の撮影した画像の撮影領域が動揺する。すると撮影装置の撮影した画像を基に生成された表示画像にぶれが生じ、周囲の対象物に対する視認性が低下する。

そこでこの発明は上述の課題を解決する表示制御装置、船舶、画像表示方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、表示制御装置は、特定対象の周囲を撮影して得られた画像に生じた歪みを補正する画像補正部と、前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する画像表示部と、を備えることを特徴とする。

上述の表示制御装置において、前記画像表示部は、他の撮影装置の撮影する画像と一部において撮影領域が重複する画像を撮影する複数の撮影装置から前記画像を取得して、それらの重複しない撮影領域を結合した前記表示画像を表示装置に表示してよい。

また上述の表示制御装置において、前記画像表示部は、前記特定対象の周囲の撮影領域の位置を周囲方向に移動させるとともに前回撮影した撮影領域と今回撮影した撮影領域とに重複する領域が含むよう撮影した画像を撮影装置から取得して、前記前回撮影した画像と前記今回撮影した画像のずれ量分の領域を前記前回撮影した画像と前記今回撮影した画像のそれぞれについて抽出し、前記前回撮影した画像の抽出領域の前記移動の方向の端部と、前記今回撮影した画像の抽出領域の前記移動の方向とは反対の端部とを結合した前記表示画像を前記表示装置に表示してよい。

また上述の表示制御装置において、前記画像表示部は、異なる技術手法を用いて撮影した異なる複数の画像それぞれについて合成した表示画像を前記表示装置に表示してよい。

また上述の表示制御装置において、前記画像表示部は、前記特定対象から前記撮影領域を視認して人が認識する像と、前記表示画像との位置の関係が対応するよう、前記表示画像を前記特定対象が移動する際の揺れに応じて、前記表示画像の表示位置を補正してよい。

また上述の表示制御装置において、前記画像表示部は、特定対象の周囲に対応する室内空間の周囲に前記表示画像を表示してよい。

また上述の表示制御装置において、前記特定対象は船舶であり、前記表示画像は前記船舶の周囲の画像であってよい。

また上述の表示制御装置において、前記表示画像は前記船舶の周囲の地表空間と、前記船舶の浮かぶ水面より下の水中空間を含む周囲の画像であってよい。

本発明の第２の態様によれば、船舶は、上述の何れかの表示制御装置と、室内空間の周囲に広がる表示画面を有する表示装置と、を設け、前記表示制御装置が表示画像を前記表示装置へ表示することを特徴とする。

本発明の第３の態様によれば、画像表示方法は、特定対象の周囲を撮影して得られた画像に生じた歪みを補正し、前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示することを特徴とする。

本発明の第４の態様によれば、プログラムは、表示制御装置のコンピュータを、特定対象の周囲を撮影して得られた画像に生じた歪みを補正する画像補正手段、前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する画像表示手段、として機能させることを特徴とする。

本発明によれば、特定対象の周囲画像を表示装置に表示した際に、視聴者の視認性を向上させた画像を表示することができる。

本発明の一実施形態による船舶と撮影領域の関係を示す図である。 本発明の一実施形態による表示装置の構成を示す第一の図である。 本発明の一実施形態による表示装置の構成を示す第二の図である。 本発明の一実施形態による撮影装置の撮影方法を示す第一の図である。 本発明の一実施形態による撮影装置の撮影方法を示す第二の図である。 本発明の一実施形態による表示制御システムの構成を示す図である。 本発明の一実施形態による表示制御装置のハードウェア構成を示す図である。 本発明の一実施形態による表示制御装置の機能ブロック図である。 第一の実施形態による表示制御装置の処理概要を示す図である。 第一の実施形態による表示制御装置の処理フローを示す図である。 第二の実施形態による表示制御装置の処理概要を示す図である。 第三の実施形態による表示制御装置の処理概要を示す図である。 第四の実施形態による表示制御装置の処理概要を示す図である。 第五の実施形態による表示制御装置の処理概要を示す図である。 第五の実施形態における結合画像の生成手法を示す第一の図である。 第五の実施形態における結合画像の生成手法を示す第二の図である。 第六の実施形態による表示制御装置の処理概要を示す図である。 第七の実施形態による表示制御装置の処理概要を示す図である。 第八の実施形態による表示制御装置の処理概要を示す図である。 本発明の一実施形態による表示画像の例を示す図である。

以下、本発明の一実施形態による表示制御装置、船舶、画像表示方法、プログラムを図面を参照して説明する。
図１は船舶と撮影装置が撮影する撮影領域の関係を示す図である。
本実施形態の特定対象である船舶１０には撮影装置が設けられている。撮影装置は船舶１０の周囲３６０度の方向の撮影領域Ｅａを撮影する。図１においては所定の高度Ｈの高さまでの周囲３６０度の方向を撮影領域Ｅａとしてその領域を撮影装置が撮影する様子を示している。高さＨは特に限定されない。例えば撮影領域は船舶を中心とした半球状に表現され得る地表空間の全体であってよい。または撮影領域は船舶を中心とした球状に表現され得る地表空間と水中空間の全体であってよい。図１に図示するように一例として撮影装置は取り付けられた位置において水平方向に回転する。撮影装置は回転制御されながらあるタイミングで撮影した部分撮影領域Ｅｐを異なるタイミングで撮影する。表示制御装置は異なるタイミングで撮影装置の撮影した部分撮影領域Ｅｐに対応する画像を取得し、それらを合成して表示装置に出力する。

図２は表示装置の構成を示す第一の図である。
図３は表示装置の構成を示す第二の図である。
次に船舶内部に設けられる表示装置４０について説明する。図２と図３は同一の表示装置を異なる方向から視認した場合の図をそれぞれ示す。表示装置４０は船舶内部の一室に設けられる。図２で示す表示装置４０は第一モニタ４１と第二モニタ４２とを有する。一例として第一モニタ４１は、船舶１０の船首方向を中心とした左右に広い３００度の周囲方向の領域の画面を有する。一例として第二モニタ４２は第一モニタ４１に撮影されない周囲方向の領域であって、船尾方向を中心とした左右６０度の周囲方向の領域の画面を有する。表示装置４０は、第一モニタ４１と第二モニタ４２とが結合して３６０度の周囲方向の領域の一つのモニタを有するものであってもよい。第一モニタ４１や第二モニタ４２の手前には複数の座席が設置され得る。座席の位置に対応する第一モニタ４１や第二モニタ４２のモニタ領域には、対応する位置の座席に着座した人が操作するための操作情報が表示されてよい。

図４は撮影装置の撮影方法を示す第一の図である。
図４で示すように船舶１０は複数の撮影装置２０を備え、それぞれの撮影装置２０が撮影領域Ｅａの一部を撮影してもよい。その場合、各撮影装置２０の撮影した部分撮影領域Ｅｐを合成して３６０度の周囲方向の全体の撮影領域Ｅａが撮影できるようにしてよい。各撮影装置２０のうちの一つの撮影装置２０が撮影した部分撮影領域Ｅｐは、他の撮影装置２０が撮影した部分撮影領域Ｅｐの一部領域において重複する。２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの４つ撮影装置２０が船舶１０に設けられるとする。この場合、撮影装置２０Ａは部分撮影領域Ｅｐａを撮影する。撮影装置２０Ｂは部分撮影領域Ｅｐｂを撮影する。撮影装置２０Ｃは部分撮影領域Ｅｐｃを撮影する。撮影装置２０Ｄは部分撮影領域Ｅｐｄを撮影する。部分撮影領域Ｅｐａは左端で部分撮影領域Ｅｐｄと一部重複し、右端で部分撮影領域Ｅｐｂと一部重複する。部分撮影領域Ｅｐｂは左端で部分撮影領域Ｅｐａと一部重複し、右端で部分撮影領域Ｅｐｃと一部重複する。部分撮影領域Ｅｐｃは左端で部分撮影領域Ｅｐｂと一部重複し、右端で部分撮影領域Ｅｐｄと一部重複する。部分撮影領域Ｅｐｄは左端で部分撮影領域Ｅｐｃと一部重複し、右端で部分撮影領域Ｅｐａと一部重複する。部分撮影領域Ｅｐａ、部分撮影領域Ｅｐｂ、部分撮影領域Ｅｐｃ、部分撮影領域Ｅｐｄの撮影装置２０を中心とする角度（範囲）は等しくてもよいし、それぞれが異なっていてもよい。

図５は撮影装置の撮影方法を示す第二の図である。
船舶１０には一つの撮影装置２０が取り付けられ、その撮影装置２０が回転して、３６０度の周囲方向の全体の撮影領域Ｅａを撮影するようにしてもよい。この場合、ジャイロスタビライザ２１に回転台２３が設置され、回転台に撮影装置２０が積載されてよい。回転台２３が回転制御されることにより、撮影装置２０が船舶１０の周囲３６０度の方向の全体の撮影領域Ｅａを撮影できる。撮影装置２０は船舶の船首方向を中心に所定範囲の撮影領域Ｅｐのみを撮影するようにしてもよい。ジャイロスタビライザ２１に回転台２３が設置されることにより、撮影装置２０の撮影した画像のブレが軽減される。

図６は本発明の一実施形態による表示制御システムの構成を示す図である。
本実施形態による表示制御システム１００は、一例として、表示制御装置１、撮影装置２０、目標検出装置３０、表示装置４０、データベース５０が通信接続されることにより構成される。
表示制御装置１は表示装置４０に表示する画像情報を生成する。目標検出装置３０は各種センサに基づいて検出した目標情報を表示制御装置１へ出力する。データベース５０は表示制御装置１が処理に用いる各種情報を記憶する。なお、目標検出装置３０の検出する目標情報は、例えば他の船舶の情報、障害物の情報、飛翔体の情報などであってよい。より具体的には船舶の情報とは、船舶の船名、その船舶の位置、その船舶までの距離などであってよい。また障害物の情報は障害物の位置、その障害物までの距離などであってよい。また飛翔体の情報は、飛翔体の種類、その飛翔体の位置、その飛翔体までの距離、その飛翔体の飛翔方向、その飛翔体の飛翔速度などであってよい。

図７は表示制御装置のハードウェア構成を示す図である。
表示制御装置１は、図７で示すように、ＣＰＵ（Central Processing Unit）７０１、ＩＦ（Interface）７０２、通信モジュール７０３、ＲＯＭ（Read Only Memory）７０４、ＲＡＭ（Random Access Memory）７０５、ＨＤＤ（Hard Disk Drive）７０６などの構成を備えたコンピュータである。ＩＦ７０２は例えばタッチパネル、キーボード、マウスなどから入力された情報に対応する信号を取得し、ＣＰＵ７０１等に出力する。通信モジュール７０３は他装置と通信ケーブル等を介して通信を行う。

図８は表示制御装置の機能ブロック図である。
表示制御装置１には表示制御プログラムが格納されている。表示制御装置１のＣＰＵ７０１は表示制御プログラムを実行する。このプログラムの実行により表示制御装置１には、少なくとも制御部１１、画像補正部１２、画像表示部１３の各機能が備わる。表示制御装置１はＰＣ（Personal computer）であってもよいし、組込み型のコンピュータシステム（Embedded system）であってもよい。

制御部１１は、表示制御装置１に備わる各機能部を制御する。
画像補正部１２は、船舶などの特定対象の周囲を撮影して得られた画像に生じた歪みを補正する。
画像表示部１３は、歪みを補正した画像を船舶の周囲方向に合成した表示画像を生成し、その表示画像に目標検出装置３０から入力した目標情報を重畳して表示装置４０に表示する。

より詳細には、画像表示部１３は、他の撮影装置２０の撮影する画像と一部において撮影領域が重複する画像を撮影する複数の撮影装置２０から、その撮影装置２０の撮影した部分撮影領域Ｅｐの画像を取得する。画像表示部１３はそれら取得した複数の画像の重複しない撮影領域を結合した表示画像を表示装置に表示する。

または画像表示部１３は、部分撮影領域Ｅｐの位置を移動させるとともに前回撮影した部分撮影領域Ｅｐと今回撮影した部分撮影領域Ｅｐとに重複する領域が含むよう撮影した各画像を撮影装置２０から取得する。画像表示部１３はそれら前回撮影した画像と今回撮影した画像のうち重複しない撮影領域を順次結合した表示画像を表示装置に表示するようにしてもよい。
または画像表示部１３は、船舶１０の周囲の部分撮影領域Ｅｐの位置を周囲方向に移動させるとともに前回撮影した部分撮影領域Ｅｐと今回撮影した部分撮影領域Ｅｐとに重複する領域が含むよう撮影した画像を撮影装置から取得する。画像表示部１３は、前回撮影した画像と今回撮影した画像のずれ量分（回転方向の移動分）の領域を前回撮影した画像と今回撮影した画像のそれぞれについて抽出する。画像表示部１３は、前回撮影した画像の抽出領域の撮影領域移動方向の端部と、今回撮影した画像の抽出領域の撮影領域移動方向とは反対の端部とを結合した表示画像を表示装置４０に表示してもよい。

または画像表示部１３は、撮影装置２０が異なる技術手法を用いて撮影した異なる複数の画像それぞれについて合成した表示画像を表示装置４０に表示するようにしてもよい。撮影装置２０が異なる技術手法を用いて撮影した異なる複数の画像とは、例えば、赤外線カメラ画像、暗視カメラ画像、可視カメラ画像などである。

または画像表示部１３は、船舶１０に乗船する人が撮影領域に対応する空間を実際に視認して認識する像と、表示画像との位置の関係が対応するよう、表示画像を船舶が移動する際の揺れに応じて補正するようにしてもよい。

または画像表示部１３は、表示画像が示す船舶１０の周囲の部分撮影領域Ｅｐに対応する室内空間の周囲の位置に当該表示画像を表示する。

＜第一の実施形態＞
図９は第一の実施形態による表示制御装置の処理概要を示す図である。
図１０は第一の実施形態による表示制御装置の処理フローを示す図である。
次に第一の実施形態による表示制御装置１の処理について順を追って説明する。
図９で示す表示制御装置１の処理は、撮影装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの４つの撮影装置２０それぞれが異なる部分撮影領域Ｅｐを撮影する場合（図４）の処理である。

まず撮影装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄのそれぞれが各領域を撮影し画像を表示制御装置１へ送信する。具体的には撮影装置２０Ａは部分撮影領域Ｅｐａを撮影した画像Ａを表示制御装置１へ送信する。撮影装置２０Ｂは部分撮影領域Ｅｐｂを撮影した画像Ｂを表示制御装置１へ送信する。撮影装置２０Ｃは部分撮影領域Ｅｐｃを撮影した画像Ｃを表示制御装置１へ送信する。撮影装置２０Ｄは部分撮影領域Ｅｐｄを撮影した画像Ｄを表示制御装置１へ送信する。各撮影装置２０が撮影する画角は固定されており、各撮影装置２０は０．１秒毎などの所定の短時間の間隔毎に画像を表示制御装置１へ送信する。

表示制御装置１の画像補正部１２は、画像Ａ，Ｂ，Ｃ，Ｄをそれぞれ取得する（ステップＳ１０１）。画像補正部１２はレンズの光学特性によって各画像に生じている歪みをそれぞれ補正する（ステップＳ１０２）。この補正を第一画像補正と呼ぶ。例えば画像の外枠側の領域に歪みが多く生じており、この歪みが小さくなるよう各画像を補正する。画像補正部１２は画像表示部１３へ歪み補正後の画像Ａ，Ｂ，Ｃ，Ｄを出力する。

画像表示部１３は歪み補正後の画像Ａ，Ｂ，Ｃ，Ｄを取得すると、画像Ｄが示す矩形領域の画像Ａと重複しない撮影領域の右端部と、画像Ａが示す矩形領域の画像Ｄと重複しない撮影領域の左端部とを結合する。また画像表示部１３は画像Ａが示す矩形領域の画像Ｂと重複しない撮影領域の右端部と、画像Ｂが示す矩形領域の画像Ａと重複しない撮影領域の左端部とを結合する。また画像表示部１３は画像Ｂが示す矩形領域の画像Ｃと重複しない撮影領域の右端部と、画像Ｃが示す矩形領域の画像Ｂと重複しない撮影領域の左端部とを結合する。これにより画像表示部１３は一つの結合画像を生成する（ステップＳ１０３）。

目標検出装置３０は赤外線センサ、レーダ検知機能、画像処理などの技術を用いて目標情報を検出し表示制御装置１へ出力する。画像表示部１３は目標検出装置３０から一つまたは複数の目標情報を取得する（ステップＳ１０４）。目標情報には目標対象の位置（緯度、経度、高度）、船舶１０からの距離、目標対象の移動速度、目標対象の種別などの情報が含まれている。目標情報に他の情報が含まれてもよい。画像表示部１３は目標情報に含まれる位置が示す緯度、経度、高度に基づいて、座標変換算出式を用いて結合画像上に目標を表示すべき、目標情報の位置に対応する座標を算出する（ステップＳ１０５）。座標変換算出式は、地球が球状であることにより、例えば船舶１０から距離の離れた目標については合成画像中の低い高さの座標を導くなどの演算を行う。また座標変換式は船舶１０の位置する緯度経度や船首方向と、目標情報の緯度経度に基づいて、船舶１０の位置する緯度経度や船首方向を基準とした相対位置の合成画像中の左右方向の座標を導くなどの演算を行う。

画像表示部１３は目標情報の位置に対応する結合画像の座標に、その目標情報を識別するマークを重畳した表示画像を生成する（ステップＳ１０６）。画像表示部１３は０．１秒毎などの所定の短時間の間隔毎にジャイロスタビライザ２１から船舶の１０の船体のピッチ角とロール角を取得する。画像表示部１３は表示画像が示す範囲のうち、ピッチ角とロール角とを表示領域算出式に入力して、そのピッチ角とロール角とである場合に表示装置４０に表示する範囲を決定する（ステップＳ１０７）。なおこの場合、表示画像の縦軸方向の範囲は、表示装置４０の縦軸方向の表示範囲よりも広いものとする。表示領域算出式は、船舶１０の窓から撮影領域を視認して人が認識する像と、表示画像との位置の関係が対応するよう、表示画像を船舶１０が移動する際の揺れに応じて、表示画像の表示範囲を補正するための算出式である。例えば表示領域算出式は、ピッチ角がピッチ軸を中心とした回転の所定位置からの船首方向の上下に基づく回転角度に応じて、船首方向の上下とは反対の方向にずらした表示範囲を決定する。または例えば表示領域算出式は、ロール角がロール軸を中心とした回転の所定位置からの船首方向の左右の振れに基づく回転角度に応じて、船首方向の左右の振れとは反対の方向にずらした表示範囲を表示装置の表示基準に合わせる表示中心位置と決定する。これにより、船舶１０のピッチ角やロール角が変動しても、人が実際に地平線を見た際の位置と、表示画像において現れる地平線の位置とが対応する位置となるような表示範囲が決定される。画像表示部１３は算出した表示範囲の表示画像を、表示装置４０に出力する（ステップＳ１０８）。例えば水平線の位置が一定と感じるような画像が表示装置４０に表示される。

表示制御装置１の制御部１１は処理を終了するかを判定する（ステップＳ１０９）。制御部１１は処理を終了しない場合には処理を繰り返すと判定する。画像表示部１３は、表示範囲の表示画像を用いて、表示装置４０における画像の更新を繰り返す。

上述の処理によれば、表示制御装置１は、図２、図３で示したような表示装置４０に歪み軽減されたまたは歪みが殆どない表示画像を表示することができる。また船舶１０のピッチ角やロール角の変動に応じて、船舶１０の窓から撮影領域を視認して人が認識する像と、表示画像との位置の関係が対応するよう表示画像の表示範囲を決定する。これにより表示制御装置１は表示画像を凝視するユーザが実際に感じる揺れの動きと画像中の様々な対象物の揺れの動きとが実際に撮影領域を視認した際と対応するものとなる。したがってユーザの画像に対する認識の違和感、つまり視覚誘導性自己運動感覚（Ｖｅｃｔｉｏｎ）の不自然さの感覚を軽減することができる。

＜第二の実施形態＞
図１１は第二の実施形態による表示制御装置の処理概要を示す図である。
次に第二の実施形態による表示制御装置１の処理について説明する。
第二の実施形態は、第一の実施形態と同様に、表示制御システム１００が、撮影装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの４つの撮影装置２０を備え、それら撮影装置２０それぞれが異なる部分撮影領域Ｅｐを撮影する場合（図４）の例である。また第二の実施形態は、各撮影装置２０それぞれがジャイロスタビライザ２１に積載されていない点で、第一の実施形態と異なっている。第二の実施形態では表示制御システム１００においてジャイロスタビライザ２１の代わりにジャイロセンサ２２が設けられている。ジャイロセンサ２２は船舶１０に設定されたピッチ軸を中心とした回転の所定位置からの船首方向の上下に基づく回転角度（ピッチ角）を表示制御装置１へ出力する。またジャイロセンサ２２は、船尾から船首方向に向かうロール軸を中心とした回転の所定位置からの回転角度（ロール角）を表示制御装置１へ出力する。

第二の実施形態の表示制御装置１は、第一の実施形態と同様のステップＳ１０１の処理の後、画像補正部１２はジャイロセンサ２２から得たロール角に基づいて画像Ａ，Ｂ，Ｃ，Ｄのそれぞれの水平に対する傾きを水平に戻す方向に補正（第二画像補正）を行う（ステップＳ１０１２）。つまり画像補正部１２は、ジャイロセンサ２２から得たロール角が示す回転方向とは反対の回転方向であって、そのロール角と同じ量の回転角に画像Ａ，Ｂ，Ｃ，Ｄを回転させる処理を行う。その後の表示制御装置１の処理は、第一の実施形態のステップＳ１０２〜ステップＳ１０９と同様の処理を行う。

第二の実施形態によれば、第一の実施形態の効果に加え、さらに撮影装置２０がジャイロスタビライザ２１に積載されていない場合であっても、表示装置４０に歪み軽減されたまたは歪みが殆どない表示画像を表示することができ、視聴者の画像認識における違和感を軽減することができる。

＜第三の実施形態＞
図１２は第三の実施形態による表示制御装置の処理概要を示す図である。
次に第三の実施形態による表示制御装置１の処理について説明する。
第三の実施形態の表示制御システム１００は、部分撮影領域Ｅｐａを撮影する可視カメラである撮影装置２０Ａ１、部分撮影領域Ｅｐｂを撮影する可視カメラである撮影装置２０Ｂ１、部分撮影領域Ｅｐｃを撮影する可視カメラである撮影装置２０Ｃ１、部分撮影領域Ｅｐｄを撮影する可視カメラである撮影装置２０Ｄ１を備える。
また表示制御システム１００は、部分撮影領域Ｅｐａを撮影する暗視カメラである撮影装置２０Ａ２、部分撮影領域Ｅｐｂを撮影する暗視カメラである撮影装置２０Ｂ２、部分撮影領域Ｅｐｃを撮影する暗視カメラである撮影装置２０Ｃ２、部分撮影領域Ｅｐｄを撮影する暗視カメラである撮影装置２０Ｄ２を備える。
また表示制御システム１００は、部分撮影領域Ｅｐａを撮影する赤外線カメラである撮影装置２０Ａ３、部分撮影領域Ｅｐｂを撮影する赤外線カメラである撮影装置２０Ｂ３、部分撮影領域Ｅｐｃを撮影する赤外線カメラである撮影装置２０Ｃ３、部分撮影領域Ｅｐｄを撮影する赤外線カメラである撮影装置２０Ｄ３を備える。
つまり表示制御システム１００は、４つの撮影領域それぞれを異なる３つ技術手法で撮影する撮影装置２０を設け、合計１２台の撮影装置２０が表示制御装置１へ撮影して生成した画像を出力する。

表示制御装置の画像補正部１２は、撮影装置２０Ａ１，２０Ｂ１，２０Ｃ１，２０Ｄ１それぞれから得た可視画像を、第一の実施形態のステップＳ１０２と同様に歪み補正する。画像補正部１２は、撮影装置２０Ａ２，２０Ｂ２，２０Ｃ２，２０Ｄ２それぞれから得た暗視画像を、第一の実施形態のステップＳ１０２と同様に歪み補正する。画像補正部１２は、撮影装置２０Ａ３，２０Ｂ３，２０Ｃ３，２０Ｄ３それぞれから得た赤外線画像を、第一の実施形態のステップＳ１０２と同様に歪み補正する。

表示制御装置１の制御部１１は操作者の操作に基づいて入力された可視画像、暗視画像、赤外線画像の何れかを選択する選択情報をＩＦ７０２より取得する。表示制御装置１の画像補正部１２は選択情報に基づいて、歪み補正後の可視画像、歪み補正後の暗視画像、歪み補正後の赤外線画像の何れかを画像表示部１３へ出力する。その後の表示制御装置１の処理は、第一の実施形態のステップＳ１０３〜ステップＳ１０９と同様の処理である。なお第三の実施形態においては撮影装置２０が１２台存在する為、撮影装置２０のそれぞれの絶対位置が同一とは限らない。したがって画像表示部１３は、撮影装置２０それぞれの配置位置に基づいて、それぞれが同一位置にあると仮定した場合の目標の位置の座標変換を、座標変換算出式を用いて行うようにしてもよい。

第三の実施形態によれば、第一の実施形態の効果に加え、さらに、複数の技術手法によって撮影された画像が表示装置４０に歪み軽減されたまたは歪みが殆どない状態で表示されるので、夜間や降雨時などの視界が不良の場合にも認識性の高い画像を視聴者表示することができる。

＜第四の実施形態＞
図１３は第四の実施形態による表示制御装置の処理概要を示す図である。
次に第四の実施形態による表示制御装置１の処理について説明する。
第四の実施形態は、第三の実施形態と同様に、表示制御システム１００が、４つの撮影領域それぞれを異なる３つ技術手法で撮影する撮影装置２０を設け、合計１２台の撮影装置２０が表示制御装置１へ撮影して生成した画像を出力する。また第四の実施形態は、各撮影装置２０それぞれがジャイロスタビライザ２１に積載されていない点で、第三の実施形態と異なっている。第四の実施形態では第二の実施形態のように表示制御システム１００においてジャイロスタビライザ２１の代わりにジャイロセンサ２２が設けられている。

第四の実施形態の表示制御装置１においては、第一の実施形態と同様のステップＳ１０１の処理の後、画像補正部１２がジャイロセンサ２２から得たロール角に基づいて可視画像、暗視画像、赤外線画像それぞれについて撮影された画像Ａ，Ｂ，Ｃ，Ｄの水平に対する傾きを水平に戻す方向に補正（第二画像補正）を行う（ステップＳ１０１２）。

表示制御装置１の制御部１１は操作者の操作に基づいて入力された可視画像、暗視画像、赤外線画像の何れかを選択する選択情報をＩＦ７０２より取得する。表示制御装置１の画像補正部１２は選択情報に基づいて、歪み補正後の可視画像、歪み補正後の暗視画像、歪み補正後の赤外線画像の何れかを特定し、その画像について第一の実施形態のステップＳ１０２と同様に歪み補正（第一画像補正）する。そして画像補正部１２は歪み補正後の画像Ａ，Ｂ，Ｃ，Ｄを画像表示部１３へ出力する。その後の表示制御装置１の処理は、第一〜第三の実施形態のステップＳ１０３〜ステップＳ１０９と同様の処理である。第四の実施形態においても、画像表示部１３は、撮影装置２０それぞれの配置位置に基づいて、それぞれが同一位置にあると仮定した場合の目標の位置の座標変換を、座標変換算出式を用いて行うようにしてもよい。

第四の実施形態によれば、第三の実施形態の効果に加え、さらに撮影装置２０がジャイロスタビライザ２１に積載されていない場合であっても、表示装置４０に歪み軽減されたまたは歪みが殆どない表示画像を表示することができ、視聴者の画像認識における違和感を軽減することができる。

＜第五の実施形態＞
図１４は第五の実施形態による表示制御装置の処理概要を示す図である。
次に第五の実施形態による表示制御装置１の処理について説明する。
図１４で示す表示制御装置１の処理は、撮影装置２０がジャイロスタビライザ２１に設置された回転台２３に積載され、回転台２３の回転によって特定される撮影領域Ｅａ（または撮影領域Ｅｐ）を撮影する場合（図５）の処理である。

第五の実施形態において撮影装置２０は、時間の経過に従って回転台２３の回転に従って撮影領域を変更しながら、所定の短時間毎に所定の画角の領域を撮影する。撮影装置２０は撮影によって生成した画像を撮影の都度、表示制御装置１へ出力する。

表示制御装置１の画像補正部１２は、撮影装置２０から順次画像を取得する（ステップＳ５０１）。画像補正部１２はレンズの光学特性によって画像に生じている歪みをその都度補正する（ステップＳ５０２）。この補正を第一画像補正と呼ぶ。例えば画像の外枠側の領域に歪みが多く生じており、この歪みが小さくなるよう各画像を補正する。画像補正部１２は画像表示部１３へ歪み補正後の画像を順次出力する。

表示制御装置１の画像表示部１３は取得した歪み補正後の画像が示す矩形領域のうち、所定の抽出領域Ｇを抽出する。画像表示部１３は取得した画像から順次抽出した抽出領域Ｇを繋ぎ合わせた結合画像を生成する（ステップＳ５０３）。その後の表示制御装置１の処理は、第一の実施形態のステップＳ１０４〜ステップＳ１０９と同様の処理を行う。

なお画像表示部１３は、撮影装置２０が１回転して３６０度の全周囲の表示画像を出力した後は、既に出力した画像に抽出領域Ｇを結合して、その抽出領域Ｇの画像を更新する処理を続けていく。

図１５第五の実施形態における結合画像の生成手法を示す第一の図である。
図１５で示すように画像表示部１３は取得した矩形領域の画像から中央の抽出領域Ｇ１の範囲の画素をＲＡＭ７０５などの記憶部に一次的に記録する。抽出領域Ｇ１はより詳細には矩形領域の画像の右辺と左辺に平行な２つの辺を有し、上辺と下辺が取得した元の画像の上辺と下辺の一部分であってそれら上辺や下辺の長さよりも短い一部分によって囲まれる領域である。

撮影装置２０が右回転し、時刻の経過に従って順次取得した画像をそれぞれ画像Ｔ−３，画像Ｔ−２，画像Ｔ−１，画像Ｔとする。
この場合、画像表示部１３は画像Ｔ−３における抽出領域Ｇ１（Ｔ−３）の回転方向の端部である右辺と、画像Ｔ−２における抽出領域Ｇ１（Ｔ−２）の回転方向とは逆方向の端部である左辺とを結合する。
また画像表示部１３は画像Ｔ−２における抽出領域Ｇ１（Ｔ−２）の回転方向の端部である右辺と、画像Ｔ−１における抽出領域Ｇ１（Ｔ−１）の回転方向とは逆方向の端部である左辺とを結合する。
また画像表示部１３は画像Ｔ−１における抽出領域Ｇ１（Ｔ−１）の回転方向の端部である右辺と、画像Ｔにおける抽出領域Ｇ１（Ｔ）の回転方向とは逆方向の端部である左辺とを結合する。
そして画像表示部１３はさらに次に取得した画像についても同様に抽出領域Ｇ１を抽出し、同様に順次結合していく。

図１６第五の実施形態における結合画像の生成手法を示す第二の図である。
図１６で示すように画像表示部１３は取得した矩形領域の画像から右端部の抽出領域Ｇ２の範囲の画素をＲＡＭ７０５などの記憶部に一次的に記録し、その抽出領域Ｇ２を図１５と同様に結合するようにしてもよい。抽出領域Ｇ２はより詳細には矩形領域の画像の左辺と、当該画像の左辺に平行な一つの辺と、上辺と下辺が、取得した元の画像の左上隅と左下隅とから切り出される元の画像の上辺と下辺よりも短い一部分の上辺と下辺によって囲まれる領域である。

＜第六の実施形態＞
図１７は第六の実施形態による表示制御装置の処理概要を示す図である。
次に第六の実施形態による表示制御装置１の処理について説明する。
第六の実施形態は、第五の実施形態と同様に、表示制御システム１００に備わる撮影装置２０が、時間の経過に従って回転台２３の回転に従って撮影領域を変更しながら、所定の短時間毎に所定の画角の領域を撮影する場合（図５）の例である。また第六の実施形態は、撮影装置２０がジャイロスタビライザ２１に積載されていない点で、第五の実施形態と異なっている。第六の実施形態では表示制御システム１００においてジャイロスタビライザ２１の代わりにジャイロセンサ２２が設けられている。ジャイロセンサ２２は船舶１０に設定されたピッチ軸を中心とした回転の所定位置からの船首方向の上下に基づく回転角度（ピッチ角）や、船尾から船首方向に向かうロール軸を中心とした回転の所定位置からの回転角度（ロール角）を表示制御装置１へ出力する。

第六の実施形態の表示制御装置１においては、第五の実施形態と同様のステップＳ５０１の処理の後、画像補正部１２はジャイロセンサ２２から得たロール角に基づいて画像の水平に対する傾きを水平に戻す方向に補正（第二画像補正）を行う（ステップＳ５０１２）。その後の表示制御装置１の処理は、第五の実施形態のステップＳ５０２，Ｓ５０３，Ｓ１０４〜ステップＳ１０９と同様の処理を行う。

第六の実施形態によれば、第五の実施形態の効果に加え、さらに撮影装置２０がジャイロスタビライザ２１に積載されていない場合であっても、表示装置４０に歪み軽減されたまたは歪みが殆どない表示画像を表示することができ、視聴者の画像認識における違和感を軽減することができる。

＜第七の実施形態＞
図１８は第七の実施形態による表示制御装置の処理概要を示す図である。
次に第七の実施形態による表示制御装置１の処理について説明する。
第七の実施形態の表示制御システム１００は、可視カメラである撮影装置２０−１と、暗視カメラである撮影装置２０−２と、赤外線カメラである撮影装置２０−３を備える。つまり表示制御システム１００は、異なる３つ技術手法で撮影する撮影装置２０を設け、合計３台の撮影装置２０が表示制御装置１へ撮影して生成した画像を出力する。
また第七の実施形態の表示制御システム１００では、第五，第六の実施形態と同様に、各撮影装置２０が、時間の経過に従って回転台２３の回転に従って撮影領域を変更しながら、所定の短時間毎に所定の画角の領域を撮影する場合（図５）の例である。

そして表示制御装置の画像補正部１２は、撮影装置２０−１から得た可視画像を、第五の実施形態のステップＳ５０２と同様に歪み補正する。画像補正部１２は、撮影装置２０−２から得た暗視画像を、第五の実施形態のステップＳ５０２と同様に歪み補正する。画像補正部１２は、撮影装置２０−３から得た赤外線画像を、第五の実施形態のステップＳ５０２と同様に歪み補正する。

表示制御装置１の制御部１１は操作者の操作に基づいて入力された可視画像、暗視画像、赤外線画像の何れかを選択する選択情報をＩＦ７０２より取得する。表示制御装置１の画像補正部１２は選択情報に基づいて、歪み補正後の可視画像、歪み補正後の暗視画像、歪み補正後の赤外線画像の何れかを画像表示部１３へ出力する。その後の表示制御装置１の処理は、第一の実施形態のステップＳ１０３〜ステップＳ１０９と同様の処理である。なお画像表示部１３は、選択情報の内容に関わらず、可視画像、暗視画像、赤外線画像のそれぞれについて結合画像を生成してもよい。なお第七の実施形態においては撮影装置２０が３台存在する為、撮影装置２０のそれぞれの絶対位置が同一とは限らない。したがって画像表示部１３は、撮影装置２０それぞれの配置位置に基づいて、それぞれが同一位置にあると仮定した場合の目標の位置の座標変換を、座標変換算出式を用いて行うようにしてもよい。

第七の実施形態によれば、第五の実施形態の効果に加え、さらに、複数の技術手法によって撮影された画像が表示装置４０に歪み軽減されたまたは歪みが殆どない状態で表示されるので、夜間や降雨時などの視界が不良の場合にも認識性の高い画像を視聴者表示することができる。

＜第八の実施形態＞
図１９は第八の実施形態による表示制御装置の処理概要を示す図である。
次に第八の実施形態による表示制御装置１の処理について説明する。
第八の実施形態の表示制御システム１００は、第七の実施形態と同様に、可視カメラである撮影装置２０−１と、暗視カメラである撮影装置２０−２と、赤外線カメラである撮影装置２０−３を備える。つまり表示制御システム１００は、異なる３つ技術手法で撮影する撮影装置２０を設け、合計３台の撮影装置２０が表示制御装置１へ撮影して生成した画像を出力する。
また第八の実施形態の表示制御システム１００では、第五，第六の実施形態と同様に、各撮影装置２０が、時間の経過に従って回転台２３の回転に従って撮影領域を変更しながら、所定の短時間毎に所定の画角の領域を撮影する場合（図５）の例である。
第八の実施形態は、各撮影装置２０それぞれがジャイロスタビライザ２１に積載されていない点で、第七の実施形態と異なっている。第八の実施形態では第二，第六の実施形態のように表示制御システム１００においてジャイロスタビライザ２１の代わりにジャイロセンサ２２が設けられている。

第八の実施形態の表示制御装置１においては、画像補正部１２がステップＳ５０１の処理として撮影装置２０−１から可視画像を、撮影装置２０−２から暗視画像を、撮影装置２０−３から赤外線画像を取得する。そして、画像補正部１２は、ジャイロセンサ２２から得たロール角に基づいて可視画像、暗視画像、赤外線画像それぞれについて撮影された画像の水平に対する傾きを水平に戻す方向に補正（第二画像補正）を行う（ステップＳ５０１２）。その後のステップＳ５０２以降の処理は第七の実施形態と同様である。

第八の実施形態によれば、第七の実施形態の効果に加え、さらに撮影装置２０がジャイロスタビライザ２１に積載されていない場合であっても、表示装置４０に歪み軽減されたまたは歪みが殆どない表示画像を表示することができ、視聴者の画像認識における違和感を軽減することができる。

図２０は表示画像の例を示す図である。
図２０で示すように表示装置４０には、目標として検出された目標物を示すマークや、種別の情報、目標の位置座標、目標までの距離、目標の速度などが表示される。

上述の説明では、表示装置４０が船舶内部に設置されている場合について説明したが、表示装置４０は船舶外部の、例えば地上の一室に設けられていてもよい。この場合、表示制御装置１の制御部１１は通信モジュール７０３を介して、表示装置４０へ表示範囲の表示画像を送信するようにしてもよい。
または表示制御装置１が、船舶外部の地上の一室に設けられていてもよい。この場合、撮影装置２０Ａや、目標検出装置３０から出力された情報を、船舶１０内部の制御装置が、船舶外部の表示制御装置１へ送信する。そして、船舶外部の表示制御装置１が上記と同様の処理を行って、地上の一室に設けられた表示装置４０に決定した表示範囲の表示画像を出力するようにしてもよい。

また上述の各実施形態では船舶に撮影装置２０が備わっている場合について説明したが、撮影装置２０の備わる特定対象は、船舶以外であっても、例えば航空機や、車両であってもよい。そしてそれら航空機や車両の内部の表示装置４０や、遠隔地にある表示装置４０に、それら航空機や車両に備わる撮影装置２０の撮影した画像に基づく表示画像が表示されてよい。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・表示制御装置
１０・・・船舶
１１・・・制御部
１２・・・画像補正部
１３・・・画像表示部
２０・・・撮影装置
２１・・・ジャイロスタビライザ
２２・・・ジャイロセンサ
３０・・・目標検出装置
４０・・・表示装置
７０１・・・ＣＰＵ
７０２・・・ＩＦ
７０３・・・通信モジュール
７０４・・・ＲＯＭ
７０５・・・ＲＡＭ
７０６・・・ＨＤＤ

Claims (11)

1. 特定対象の周囲を撮影して得られた画像に生じた歪みを補正する画像補正部と、
   前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する画像表示部と、
   を備える表示制御装置。
2. 前記画像表示部は、他の撮影装置の撮影する画像と一部において撮影領域が重複する画像を撮影する複数の撮影装置から前記画像を取得して、それらの重複しない撮影領域を結合した前記表示画像を前記表示装置に表示する
   請求項１に記載の表示制御装置。
3. 前記画像表示部は、前記特定対象の周囲の撮影領域の位置を周囲方向に移動させるとともに前回撮影した撮影領域と今回撮影した撮影領域とに重複する領域が含むよう撮影した画像を撮影装置から取得して、前記前回撮影した画像と前記今回撮影した画像のずれ量分の領域を前記前回撮影した画像と前記今回撮影した画像のそれぞれについて抽出し、前記前回撮影した画像の抽出領域の前記移動の方向の端部と、前記今回撮影した画像の抽出領域の前記移動の方向とは反対の端部とを結合した前記表示画像を前記表示装置に表示する
   請求項１に記載の表示制御装置。
4. 前記画像表示部は、異なる技術手法を用いて撮影した異なる複数の画像それぞれについて合成した表示画像を前記表示装置に表示する
   請求項１から請求項３の何れか一項に記載の表示制御装置。
5. 前記画像表示部は、前記特定対象から前記撮影領域を視認して人が認識する像と、前記表示画像との位置の関係が対応するよう、前記表示画像を前記特定対象が移動する際の揺れに応じて、前記表示画像の表示位置を補正する
   請求項２または３に記載の表示制御装置。
6. 前記画像表示部は、特定対象の周囲に対応する室内空間の周囲に前記表示画像を表示する
   請求項１から請求項５の何れか一項に記載の表示制御装置。
7. 前記特定対象は船舶であり、前記表示画像は前記船舶の周囲の画像である請求項１から請求項６に記載の表示制御装置。
8. 前記表示画像は前記船舶の周囲の地表空間と、前記船舶の浮かぶ水面より下の水中空間を含む周囲の画像である請求項７に記載の表示制御装置。
9. 請求項１〜請求項８の何れか一項に記載の表示制御装置と、
   室内空間の周囲に広がる表示画面を有する表示装置と、を設け、
   前記表示制御装置が表示画像を前記表示装置へ表示する
   船舶。
10. 特定対象の周囲を撮影して得られた画像に生じた歪みを補正し、
    前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する
    画像表示方法。
11. 表示制御装置のコンピュータを、
    特定対象の周囲を撮影して得られた画像に生じた歪みを補正する画像補正手段、
    前記歪みを補正した画像を前記特定対象の周囲方向に合成した表示画像を目標検出装置から入力した目標情報を重畳して表示装置に表示する画像表示手段、
    として機能させるプログラム。

Images