JP2016082586A - 画像生成装置 - Google Patents

Abstract

【課題】本発明は、回転しまたは振り動き得る部材に取り付けられたカメラを駆使することにより、所望の画像を生成する画像生成装置に関し、大幅な構成の複雑化やコストの増加を伴うことなく、従来行われることがなくあるいは困難であった画像による観測や監視を可能とすることを目的とする。【解決手段】回転し、または振り動き得る部材に取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、前記撮像された画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する画像生成手段とを備える。【選択図】図１

Description

本発明は、回転しまたは振り動き得る部材に取り付けられたカメラを駆使することにより、所望の画像を生成する画像生成装置に関する。

商船等の大型船舶には、従来より、例えば、以下のような電子機器が安全の確保のために搭載されている。
(1) 他船の存在または航跡の監視や追尾を可能とするレーダ
(2) 接岸計

また、小型船や木造船などについては、レーダでは必ずしも検知されないため、接岸時における安全の確保を目的として、従来より目視による確認が行われていた。

なお、本発明に関連性がある先行技術としては、以下に列記する特許文献１〜特許文献８があった。

(1) 特許文献１
「幾つかのセンサによって、特に赤外線及び／または可視の波長範囲での撮像センサ（Ｌ、Ｗ、Ｖ）と合成開口の生成に基づいているレーダー装置（Ｒ）とを用いて、物体を認識して識別する方法であって、合成開口の生成が、ＲＯＳＡＲ原理に従って生じ、レーダー装置（Ｒ）が有する複数のアンテナ要素（Ａ）が、航空機（Ｆ）上にそのカーブした輪郭（Ｋ）に沿って配置され、連続に制御されて走査され、レーダー装置（Ｒ）及び撮像センサ（Ｌ、Ｗ、Ｖ）によって得られる情報が、航空機（Ｆ）の周辺の最適な撮像が各視野方向において可能とされるように、連続的に処理され、かつ撮像センサ（Ｌ、Ｗ、Ｖ）は、航空機のノーズに一体化されており、特には、レーザーレーダー装置、熱撮像装置またはビデオカメラである」ように構成されることによって、「飛行方向においてもＳＡＲレーダー装置及びＩＲセンサを用いて物体を認識して識別することが可能である」点に特徴がある方法

(2) 特許文献２
「所定の車線に進入する車両の映像を撮像するカメラと、レーザが発射されてから前記レーザが前記車両の表面で反射した反射光が受光されるまでの飛行時間に基づいて前記車両の立体形状を示す距離画像を間欠的に生成するフラッシュレーザレーダと、前記距離画像に基づいて前記カメラを制御する」ことによって「車両をより確実に撮像する」点に特徴がある車両撮像カメラ制御装置

(3) 特許文献３
「光学センサ（３）と、レーダ装置（２）と、光学センサおよびレーダ装置と通信的に接続されている信号処理部（４）とを備え、前記信号処理部は、前記光学センサから送信されてくる第１信号に基づいて第１物体を検出し、前記第１物体の少なくとも１つの第１特性を決定するための、第１検出器(４１、４１０〜４１３)と、前記レーダ装置から送信されてくる第２信号に基づいて第２物体を検出し、前記第２物体の少なくとも１つの第２特性を決定するための、第２検出器（４２、４２０〜４２１）と、前記少なくとも１つの第１特性および前記少なくとも１つの第２特性が、所定の条件を満たした場合に、信号を生成するための、信号ユニット（４３）とを備える」ことによって、「物体を知らせる信号が誤って発せれられることがほとんどない、少なくとも既知の装置よりもそのようなことが少ない」点に特徴がある検出システム

(4) 特許文献４
「所定領域へ向けて電波を照射し、物体からの反射波を受信して、少なくとも前記物体の相対速度及び位置を取得し、一つの送信アンテナから電波を送信し二つの受信アンテナで受信することにより物標の方位角度を検出する検出手段と、所定領域の画像情報を撮像する撮像手段と、前記撮像手段の撮像方向を変える可動手段とを有し、
前記物体の相対速度及び位置に基づいて、前記撮像手段の撮像方向を前記物体に向けるように前記可動手段を制御する」ことによって、「検出精度を低下させることなく簡易な」点に特徴がある屋外用セキュリティシステム

(5) 特許文献５
「複数の視点で異なる情報を表示可能な表示方向制御型の表示装置を使用する画像表示システムにおいて、前記表示装置を観察する対象者の前記表示装置からの位置情報を検出する位置情報検出手段と、該位置情報検出手段が検出した位置情報に基づいて前記対象者に対する視野を求めて前記表示装置に適切な画像情報を表示する表示画像制御手段とを備え、かつ前記位置情報検出手段は、前記表示装置の位置に設けられたカメラである」ことによって、「運転中又は移動中の車両や人を検出して、必要な情報を適切に表示して提供可能にする」点に特徴がある画像表示システム

(6) 特許文献６
「複数の壁を含むセンサモジュールハウジングと、光波に基づいて画像を捕捉するように前記モジュールハウジング内に配置されたカメラ要素と、レーダービームを放射し、レーダー反射信号を受信するように前記モジュールハウジング内に配置されたレーダーセンサ要素と、捕捉された前記画像及び受信された前記レーダー反射信号を演算処理し、一つ又はそれ以上の対象物の存在の検出を表示するための演算処理回路とを含む」ことによって、「車両で使用するためにレーダーセンサ及びカメラセンサを一体化すると、センサの費用及び車両との一体化に要する費用が大幅に低下し、高性能のアクティブ安全システムを多くの車両の標準装備として提供できる」点に特徴があるセンサモジュール

(7) 特許文献７
「マイクロ波を発生する発振回路、マイクロ波を走行車両に照射し、走行車両からの反射波を受信するアンテナ、反射波と照射した送信波とを混合する混合器、送信波と受信波との周波数の差を取り出す帯域フィルタおよび帯域フィルタの出力を増幅する増幅器からなるレーダ送受器と、前記増幅器の出力から走行車両の速度を計測する速度計測回路、計測した速度が一定のしきい値を越えている場合、撮影指令を出力する撮影指令回路、撮影指令回路から走行車両の速度や撮影時刻等の情報を受けて撮影画像に重畳する情報を記録する画像情報記録部、撮像装置からの画像信号に画像情報記録部からの画像情報を重畳する画像情報重畳部および画像情報重畳部で重畳された撮影画像を保存する画像記録部からなる制御機と、撮影指令を受けて走行車両の静止画像を撮影するＴＶカメラを備えて撮影した画像信号を送出する撮像装置とを備えた自動撮像装置において、上記レーダ送受器内に発振回路の出力を識別信号で変調する変調器、変調器を駆動する識別信号発生回路、識別信号発生回路の識別信号の周波数を制御する信号制御回路、識別信号で変調された走行車両の反射波から識別信号を取り出す第２の帯域フィルタ、前記帯域フィルタの出力信号の周波数および識別信号発生回路の識別信号の周波数を各々計数する第１の周波数計数回路、第２の周波数計数回路並びに上記第１および第２の周波数計数回路の計数結果を比較して識別信号を検出する識別信号検出回路を備え、制御機内に識別信号検出回路の検出出力および速度計測回路の速度情報によって撮像装置に撮影指令を出力する撮影指令回路とを備えた」ことによって、「速度違反の自動撮像装置において他の装置からの干渉波によって生じた疑似ドップラ周波数を計測し、その結果、撮影指令が出力されることがあった」点を改善できる自動撮像装置

(8) 特許文献８
「無人航空機（１）に搭載したＴＶカメラ（４）から送信されるＴＶ画像により、地上に設置されたコックピット（２）内で無人航空機の着陸誘導を行うためのＴＶ画像装置において、（Ａ）無人航空機（１）に搭載した、ＴＶカメラ（４）と、ＴＶ送信器（５）と、姿勢角センサ（６）と、電波高度計（７）と、データリンク送信器（８）と、（Ｂ）地上コックピット（２）に設置した、ＴＶ受信器（９）と、データリンク受信器（１０）と、信号処理装置（１１）と、画像強調装置（１２）と、ＴＶモニタ（１３）と、（Ｃ）地上レーダ（３）から成り、（Ｄ）前記地上レーダ（３）は、無人航空機に対する地上レーダのアンテナ・アジマス角（Ａz ）と、アンテナ・エレベーション角（Ｅl ）と、無人航空機までの距離（ＲA ）を検知し、（Ｅ）前記信号処理装置（１１）は、地上レーダ（３）から、アンテナ・アジマス角（Ａz ）と、アンテナ・エレベーション角（Ｅl ）と、無人航空機までの距離（ＲA ）を入力して、無人航空機の位置を算出するとともに、無人航空機（１）から、姿勢角センサ（６）により検知した機体姿勢角と、電波高度計（７）により検知した高度情報を受信し無人航空機の位置情報（Ａz 、Ｅl 、ＲA ）と、機体の姿勢角と、高度情報から、無人航空機搭載のＴＶカメラ（４）に写る水平線と滑走路を算出して、画像強調装置（１２）に出力し、（Ｆ）前記画像強調装置（１２）は、信号処理装置（１１）から、人工的な水平線および滑走路の位置情報を入力するとともに、無人航空機から、無人航空機のＴＶカメラ（４）で撮影した無人航空機の前方の風景を入力して、ＴＶ画像上に、信号処理装置で算出した人工的な水平線と滑走路を重ねて表示し、ＴＶモニタ（１３）に出力する」ことによって、「雲が多い天候時でも確実に無人航空機を着陸することができる」点に特徴がある着陸誘導用画像装置

特表２００４−５２４５４７号公報 特開２００６−２８７６５０号公報 特表２００６−５２１５５７号公報 特許第３７６０９１８号公報 特開２００９−２３７６４９号公報 特表２０１２−５０５１１５号公報 特開２０００−００３４９５号公報 特開平９−１９３８９７号公報

ところで、上述した目視には、確保可能な要員の数、並行して確認や監視を要する箇所が複数に亘り得るために、カメラが併用される場合もあった。

しかし、このようなカメラによる確認や監視は、例えば、大型船舶においては、船首、船尾、右舷、左舷などにそれぞれカメラが配置されなければならない。

したがって、安全の確保に有効ではあっても、実際には、コストの制約によってカメラの設置が見送られ、あるいは設置されるカメラの台数が十分には確保されない場合が多かった。

本発明は、大幅な構成の複雑化やコストの増加を伴うことなく、従来行われることがなくあるいは困難であった画像による観測や監視を可能とする画像生成装置を提供することを目的とする。

請求項１に記載の発明では、画像取得手段は、回転し、または振り動き得る部材に取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する。

すなわち、カメラによって撮像される画像は、そのカメラが回転しまたは振り動き得る部材に取り付けられることを前提として、上記処理が施されることによって、カメラの数が少ない場合であっても、所望の被写界について得られる。

請求項２に記載の発明では、請求項１に記載の画像生成装置において、前記カメラは、魚眼カメラである。前記画像生成手段は、前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、前記画像を生成する。

このような画像は、中心投影方式とは異なる投影方式により被写界が広く設定された魚眼カメラによって撮像され、かつ上記光学的歪みの軽減や是正が図られることによって得られる。

請求項３に記載の発明では、画像取得手段は、回転し、または振り動き得る部材に取り付けられた複数ｐのカメラによって個別に撮像された複数ｐの画像を取り込む。画像生成手段は、前記撮像された複数ｐの画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する。前記画像生成手段は、前記部材が搭載された移動体、もしくは前記部材の揺動のベクトルと、前記移動体の位置または姿勢と、前記部材の振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数ｐの画像に施し、被写界の変動および不足を補償する。

すなわち、複数ｐのカメラによって個別に撮像された複数ｐの画像は、これらのカメラが回転しまたは振り動き得る部材に取り付けられることを前提として、上記処理が施されることによって、カメラの数が少ない場合であっても、所望の被写界について得られる。

請求項４に記載の発明では、請求項３に記載の画像生成装置において、前記複数ｐのカメラは、魚眼カメラである。前記画像生成手段は、前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、複数ｐの画像を生成する。

これらの画像は、中心投影方式とは異なる投影方式により被写界が広く設定された魚眼カメラによって撮像され、かつ上記光学的歪みの軽減や是正が図られることによって得られる。

請求項５に記載の発明では、請求項３に記載の画像生成装置において、前記複数ｐのカメラの全てまたは一部の画角θｖｃは、標準レンズの画角θｖｃｓより大きい。前記複数ｐは、前記画角θｖｃが前記画角θｖｃｓに等しい場合に前記被写界の像が前記複数ｐの画像に総合的に包含されるために必要な値以下である。

すなわち、上記複数ｐのカメラの画角θｖｃが標準レンズより広く設定されることによって、これらのカメラの数ｐが少なくても、所望の被写界の像が確度高く得られる。

請求項６に記載の発明では、請求項５に記載の画像生成装置において、前記複数ｐのカメラの全てまたは一部によって撮像される画像のアスペクト比は、前記複数ｐの増加が回避可能な値である。

すなわち、上記カメラによって撮像される画像のアスペクト比が好適な値に設定されることによって、カメラの台数ｐがさらに小さな値に設定可能となり、しかも、所望の被写界の像が確度高く得られる。

請求項７に記載の発明では、請求項３、５、６の何れか１項４に記載の画像生成装置において、前記複数ｐのカメラは、前記被写界の像が前記複数ｐの画像に総合的に包含され得る位置および姿勢で、前記部材に取り付けられる。

すなわち、部材と所望の被写界との相対的な位置や距離が勘案されつつ、複数ｐのカメラがその部材に好適な位置および姿勢で配置される。

請求項８に記載の発明では、請求項５ないし請求項７の何れか１項に記載の画像生成装置において、制御手段は、前記被写界の像が前記複数ｐの画像に総合的に包含される形態に、前記部材の位置もしくは姿勢を設定しまたは維持する。

すなわち、部材の位置や姿勢が広範に変化し、あるいは変化し得る場合であっても、所望の被写界が安定に精度よく保たれる。

請求項９に記載の発明では、請求項８に記載の画像生成装置において、記憶手段は、生起し得るイベント毎に、前記複数ｐのカメラがとらえるべき被写界の像が前記複数ｐの画像に総合的に包含されるとの条件を満たす前記部材の位置もしくは姿勢が予め蓄積される。前記制御手段は、生起したイベントに対応して前記記憶手段に蓄積されている位置もしくは姿勢を前記部材に設定しまたは維持する。

すなわち、部材の位置や姿勢が広範に変化し、あるいは変化し得る場合であっても、所望の被写界は、実際に生起したイベントが予め想定されたものである限り、そのイベントに適した領域に安定に設定され、かつ精度よく保たれる。

本発明によれば、死角の回避や緩和が図られ、しかも、従来例では行われることがなく、あるいは行われ難かった「所望の視点における被写界」についても監視や観測が可能となる。

また、本発明では、カメラの台数が少ない場合であっても、視野が広く確保され、かつ死角の緩和や解消が容易に図られる。

さらに、本発明では、所望の被写界の像を得るために備えられるべきカメラの台数ｐの削減が図られ、構成の簡略化およびコストの削減に併せて、信頼性の向上が図られる。

また、本発明では、構成要素の数が増加することなく、コストの削減と信頼性の向上とが図られる。

さらに、本発明では、個々のカメラは、部材の位置や姿勢の変動しても、その変動に応じた被写界の変化の吸収する機構が介在することなく取り付け可能となり、あるいはこのような機構によって可変されるべき個々のカメラの位置や姿勢の範囲が小さく抑えられる。

また、所望の被写界の像に施される画像処理によって得られるべき機能、性能、価値の何れもが、多様な環境およびその変動の下で確度高く担保される。

さらに、多様なイベントに対して柔軟に適応しつつ、画像処理の下で得られるべき機能、性能、価値の範囲、確度および精度の何れもが担保される。

本発明の第１ないし第６の実施形態の構成を示す図である。 本発明の第１ないし第５の実施形態における画像処理の原理を示す図である。 本発明の第１ないし第５の実施形態における画像バッファの構成を示す図である。 本発明の第１ないし第５の実施形態における画像バッファの動作フローチャートである。 本発明の第１ないし第５の実施形態における画像処理部の動作フローチャート図である。 本発明の第１ないし第６の実施形態においてレーダアンテナに取り付けられ得るカメラの配置を示す図である。 本発明の第１および第２の実施形態において撮像の対象となる被写界を示す図である。 本発明の第１および第２の実施形態において指示画像に対応付けられて表示されるべき画像の配置関係の一例を示す図である。 本発明によって解消または軽減される視界の制約を説明する図である。 本発明の第２の実施形態における画像処理部の動作フローチャートである。 本発明の第２の実施形態の動作を説明する図である。 本発明の第３の実施形態における制御部の動作フローチャートである。 本発明の第３の実施形態の動作を説明する図である。 本発明の第１ないし第３の実施形態における揺動防止の原理を示す図である。 本発明の第４の実施形態における画像処理部の動作フローチャートである。 本発明の第４の実施形態の動作を説明する図である。 本発明の第５の実施形態の原理を示す図である。 本発明の第６の実施形態におけるカメラの画角を示す図である。 本発明の第６の実施形態の動作を説明する図である。 本発明の第６の実施形態における制御部の動作フローチャートである。 本発明の第１ないし第６の実施形態においてカメラが取り付けられ得る他の部位を示す図である。

以下、図面に基づいて本発明の実施形態について詳細に説明する。
図１は、本発明の第１ないし第６の実施形態の構成を示す図である。
図において、カメラ１１-1〜１１-Nは、個々の被写界が予め決められた方向となる姿勢でレーダ２０のアンテナ２０Ａの底部または側部に配置される。また、このようなアンテナ２０Ａは、レーダ２０が搭載された船舶（以下、「自船」という。）の甲板上に立設されたマスト（図示されない。）の頂部またはその近傍に配置される。

これらのカメラ１１-1〜１１-Nの入出力ポートは、画像バッファ１２の対応するポートに個別に接続される。画像バッファ１２が有するＮ個の入出力ポートは、画像処理部１３の対応するＮ個の入出力ポートに接続される。画像バッファ１２には、上記自船の測位系（図示されない。）によって計測された自船の位置（以下、「船位」という。）ＬＯＣが入力される。画像処理部１３の出力ポートは画像生成部１４の第１のポートに接続され、その画像生成部１４の第２のポートは、上記レーダ２０の画像入力端子に接続される。レーダ２０の画像出力端子と制御ポートとは、画像生成部１４の第３のポートと、制御部１５の特定のポートとに、それぞれ接続される。制御部１５の第１ないし第３の入出力ポートは、既述の画像バッファ１２、画像処理部１３および画像生成部１４の制御ポートにそれぞれ接続される。画像処理部１３の制御端子には、レーダ２０の対応する制御端子に接続される。

〔第１の実施形態〕
以下、本実施形態の動作の前提となる基本的な事項について説明する。
カメラ１１-i（ｉ＝１〜Ｎ）によって撮像が行われる被写界Ｆ_ＣＡｉ は、下式および図２に示すように、自船（またはマスト）を基準として与えられる以下の項目(1)〜(7)の関数として定まる。

Ｆ_ＣＡｉ ＝ｆ（Ｌ_ｉ，Ｈ，θ_ＶＣｉ，ｆ_Ｃｉ，(θ_Ａ＋θ_ＡＣｉ)，θ_ＥＣｉ）
＝ｆ（Ｌ_ｉ，Ｈ，θ_ＶＣｉ，ｆ_Ｃｉ，Θ_ＡＣｉ，θ_ＥＣｉ） ・・・（ａ）

(1) アンテナ２０Ａの回転軸と、カメラ１１-iの撮像光学系の光軸との距離Ｌ_ｉ
(2) 自船が位置する海域（水域）の水面と、カメラ１１-iの実効的な撮像面との距離Ｈ
(3) カメラ１１-iの画角θ_ＶＣｉ

(4) カメラ１１-iの撮像光学系の合焦距離ｆ_Ｃｉ
(5) アンテナ２０Ａの主ローブの方位角θ_Ａ
(6) 上記撮像光学系の光軸の方位角（アンテナ２０Ａの主ローブの方向を基準として設定される。）（以下、「カメラ方位角」という。）θ_ＡＣｉ

(7) 上記撮像光学系の光軸の仰角（アンテナ２０Ａの回転軸の方向（または、マストの軸の方向や鉛直方向であってもよい。）を基準として設定される。）（以下、「カメラ仰角」という。）θ_ＥＣｉ

ここに、上記方位角θ_Ａ は、自船の船首方向と、真北の方向との何れを基準として与えられてもよい。

また、上式（ａ）の右辺にある方位角Θ_Ａ は、下式に示すように、アンテナ２０Ａの旋回に応じてサイクリックに変化する主ローブの方位角θ_Ａ と、カメラ方位角θ_ＡＣｉ との和として与えられる。
Θ_ＡＣｉ＝θ_Ａ ＋θ_ＡＣｉ ・・・（ｂ）

画像バッファ１２は、図３に示すように、カメラ１１-i（ｉ＝１〜Ｎ）に個別に対応し、これらのカメラ１１-i毎に、以下の情報がファーストイン・ファーストアウト方式により個別に格納されるフィールドから構成されるレコードの集合として構成される。

(1) 時系列ｔの順に撮像されたフレーム（コマ）の画像情報Ｉ_Ｃｉｔ
(2) 下式（ｂ′）で与えられるように、時系列ｔにおける方位角θ_Ａｔ、カメラ方位角θ_ＡＣｉｔが上式（ｂ）の右辺に代入されることによって得られるカメラ１１-iの方位角Θ_ＡＣｉｔ
Θ_ＡＣｉｔ＝θ_Ａｔ＋θ_ＡＣｉｔ ・・・（ｂ′）

(3) 該当するフレームがカメラ１１-iによって撮像された（与えられた）時点に測位系によって与えられた自船の絶対的な位置（以下、「船位」という。）ＬＯＣ_Ｃｉｔ
(4) 下式（ａ′）で与えられるように、時系列ｔにおける上式（ａ）の右辺の値として与えられるカメラ１１-iの被写界Ｆ_ＣＡｉｔ
Ｆ_ＣＡｉｔ＝ｆ（Ｌ_ｉ，Ｈ，θ_ＶＣｉ，ｆ_Ｃｉ，(θ_Ａｔ＋θ_ＡＣｉ)，θ_ＥＣｉ）
＝ｆ（Ｌ_ｉ，Ｈ，θ_ＶＣｉ，ｆ_Ｃｉ，Θ_ＡＣｉｔ，θ_ＥＣｉ） ・・・（ａ′）
ここに、サフィックスとして「ｔ」を含まない項については、一定に保たれているものとする。

(5) 下式（ｃ）で示すように、自船（マスト）ではなく、上記船位ＬＯＣ_Ｃｉｔを基準として適宜算出された絶対的な被写界Ｆ_ＣＡｉｔ′（以下、単に「被写界Ｆ_ＣＡｉｔ′」という。）
Ｆ_ＣＡｉｔ′＝ｆ（Ｆ_ＣＡｉｔ，ＬＯＣ_Ｃｉｔ） ・・・（ｃ）

図４は、本発明の第１ないし第５の実施形態における画像バッファの動作フローチャートである。
図５は、本発明の第１ないし第５の実施形態における画像処理部の動作フローチャート図である。

以下、簡単のため、下記の前提i)〜iii)の下で図１〜図５を参照することにより、本実施形態の動作を説明する。
i) カメラ１１-1〜１１-Nの台数Nが「１」である。
ii) １台のカメラ１１-1が、図６（ａ）に示すように、アンテナ２０Ａの筐体の一端近傍の底部に、自船の甲板の方向（アンテナ２０Ａの下方）に被写界Ｆ_ＣＡｉが確保される姿勢で配置される。

制御部１５は、レーダ２０と連係し、かつ図１に点線で示すように画像処理部１３および画像バッファ１２を介して形成されるデータリンクを介してカメラ１１-1とも連係する。
カメラ１１-1は、このような連係の過程で制御部１５によって与えられる撮像の期間および条件の下で撮像を行い、その撮像によって時系列ｔの順に得られた画像情報Ｉ_Ｃ１ｔを画像バッファ１２に引き渡す。

画像バッファ１２は、このような画像情報Ｉ_Ｃ１ｔが引き渡される度に、以下の処理を行う。
(1) 画像情報Ｉ_Ｃ１ｔ取り込み、既述のレコードのうち、時系列ｔおよびカメラ識別子ｉ（＝１）に対応したカレントレコードの「画像情報Ｉ_Ｃｉｔ」フィールドに格納する（図４ステップＳ１）。

(2) レーダ２０と連係する制御部１５によって上記データリンクを介して引き渡された主ローブの方位角の内、上記画像情報Ｉ_Ｃ１ｔが引き渡された時点（以下、「適応時点」という。）に引き渡された方位角θ_Ａｔと、既知のカメラ方位角θ_ＡＣ１ とに基づいて上式（ｂ′）で示される算術演算を行うことにより、方位角Θ_ＡＣ１ｔを求める（図４ステップＳ２）。なお、上記適応時点は、例えば、カメラ１１-1によって撮像が行われるフレーム周期分先行した時点であってもよい。

(3) 上記適応時点に、図示されない測位系によって与えられる船位ＬＯＣ_Ｃ１ｔを取り込み、かつ制御部１５にその船位ＬＯＣ_Ｃ１ｔを引き渡す（図４ステップＳ３）。
(4) 既述の距離Ｌ_ｉ、距離Ｈ、画角θ_ＶＣ１ 、合焦距離ｆ_Ｃ１、カメラ方位角θ_ＡＣ１ 、カメラ仰角θ_ＥＣ１ に併せて、上記方位角Θ_ＡＣ１ｔに基づいて上式（ａ′）に示す算術演算を行うことにより、カメラ１１-1の被写界Ｆ_ＣＡ１ｔを求める（図４ステップＳ４）。

(5) 上述したカレントレコードの「方位角Θ_ＡＣｉｔ」フィールド、「船位ＬＯＣ_Ｃｉｔ」フィールドおよび「被写界Ｆ_ＣＡｉｔ」フィールドに、上記方位角Θ_ＡＣ１ｔ、船位ＬＯＣ_Ｃ１ｔおよび被写界Ｆ_ＣＡ１ｔをそれぞれ格納する（図４ステップＳ５）。
(6) カレントレコードの「Ｆ_ＣＡｉｔ′」フィールドに、空であることを意味する「０」を格納する（図４ステップＳ６）。

一方、画像処理部１３は、有効な画像情報Ｉ_Ｃ１ｔが格納された画像バッファ１２のレコードの内、後述する好適な複数Ｐのレコードの列毎に、以下の処理を行う。

(1) 制御部１５によって適宜指示され、かつレーダ２０の指示画像と対応付けられて、あるいは単独で操作者に提供されるべき表示領域Ｄ_ｔ を識別する（図５ステップＳ１）。なお、このような表示領域Ｄ_ｔ は、図７(ａ）〜（ｄ）に示すように、既述の自船またはマストを基準としてその周辺に設定されるが、例えば、レーダ２０を操作するユーザによって直接指定されてもよい。

(2) 上述した複数Ｐのレコードの内、「Ｆ_ＣＡｉｔ」フィールドに格納された被写界Ｆ_ＣＡ１ｔの全てまたは一部が上記表示領域Ｄ_ｔ に該当するレコード（以下、「適応レコード」という。）を抽出する（図５ステップＳ２）。

(3) これらの適応レコードの「画像情報Ｉ_Ｃｉｔ」フィールドに含まれる画像情報Ｉ_Ｃ１を合成することによって合成画像Ｉ_Ｓｔを生成する（図５ステップＳ３）。
(4) 上記合成画像Ｉ_Ｓｔの内、既述の表示領域Ｄ_ｔ に相当する部分画像Ｉ_ｐｔを抽出する（図５ステップＳ４）。
(5) 画像生成部１４に、上記部分画像Ｉ_ｐｔを引き渡す（図５ステップＳ５）。

画像生成部１４は、制御部１５の配下でレーダ２０と連係することにより、以下の処理を行う。
(1) レーダ２０によって生成された指示画像Ｉｔを取り込む。
(2) この指示画像Ｉｔに上記部分画像Ｉ_ｐｔを適宜合成し、あるいはその指示画像Ｉｔ上にある物標等のオブジェクトに対応づけることによって、指示画像Ｉｔ′を生成する。
(3) その指示画像Ｉｔ′をレーダ２０に引き渡す。

レーダ２０は、以下の処理を行う。
(1) 図８に示すように、このようにして引き渡された指示画像Ｉｔ′を指示画面またはその周辺に表示する。
(2) 上記指示画像Ｉｔ′に含まれるオブジェクトに対して操作者が所定の操作（例えば、クリック）を行う（図８(1)，(2))と、そのオブジェクトに対応つけられて画像生成部１４から引き渡された部分画像Ｉ_ｐｔを指示画面上に重畳（図８(3))させて、あるいは別途備えられた多機能ディスプレイ（ＭＦＤ：Multi Function Display）の画面（図７(4))上に表示する。

すなわち、本実施形態では、甲板上に立設されたマストの頂部近傍に備えられ、かつサイクリックに回転するアンテナ２０Ａに取り付けられたカメラ１１-1が活用されることによって、その甲板上だけではなく自船の全周や周辺の模様が見通しよく動画や画像として把握可能となる。

したがって、図９に示すように、甲板上や船室に位置する人の死角の解消が確度高く柔軟に図られ、このような死角に起因する航行、操舵、荷役等々の限界が強力に緩和されると共に、安全性が高められる。

なお、本実施形態では、アンテナ２０Ａが一定の周期でサイクリックに回転していることが前提となっているが、これに限定されず、主ローブの方位角θ_Ａｔが所望の精度で識別可能であるならば、その主ローブの方向が多様な形態で変化し、あるいは一定である場合にも、本発明は、同様に適用可能である。

また、本実施形態では、画像バッファ１２、画像処理部１３、画像生成部１４の連係の下で行われる画像処理と、これらによる機能分散や負荷分散は既述の形態に限定されず、合成画像Ｉ_Ｓｔ、部分画像Ｉ_ｐｔおよび指示画像Ｉｔ′が好適な画像として生成されるならば、サンプリング、蓄積、抽出、重畳、合成等の画像処理は如何なる手順やアルゴリズムに基づいて実現されてもよい。

さらに、本実施形態では、カメラの台数Ｎが「１」に設定されている。
しかし、本発明は、このような構成に限定されず、その台数Ｎが複数である場合であっても、「画像バッファ１２および画像処理部１３が、カメラ１１-1〜１１-Nによって個別に引き渡される画像情報Ｉ_Ｃ１ｔ〜Ｉ_ＣＮｔのそれぞれについて、既述の処理が並行して行われる」ことにより、甲板上および自船の周辺の模様の動画や画像としてより監視がより好適な形態で可能となる。

なお、このような場合における監視は、例えば、図６（ｂ）、（ｃ）に示すように、カメラの台数が多く設定されることによって、以下に列記する作用効果の双方もしくは何れか一方が実現可能である。

(1) アンテナ２０Ａの回転数が変更されることなく、監視の頻度が高められる。
(2) 既述の距離Ｌ_ｉ、画角θ_ＶＣｉ、合焦距離ｆ_Ｃｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉが適宜異なる値に設定され、もしくは可変されることによって、監視の対象となる視野の拡大または柔軟な設定（変更）が図られる。

〔第２の実施形態〕
本実施形態では、画像処理部１３の特定のポートに図示されないＶＤＲ（Voyage Data Recorder）が接続された点にある。
図１０は、本発明の第２の実施形態における画像処理部の動作フローチャートである。
図１１は、本発明の第２の実施形態の動作を説明する図である。

以下、図１〜図３、図１０および図１１を参照して本実施形態の動作を説明する
本発明の特徴は、本実施形態では、自船の位置、航路、目的地、属性、航行の形態等に応じて画像処理部１３によって生成される部分画像Ｉ_ｐｔが下記の通りに設定される点にある。

本実施形態では、船首方向に進む状態における自船のスクリューの回転方向が「右周り」であると仮定する。
自船が図１１（ａ）に示すように接岸を開始すると、画像処理部１３は、以下の処理を行う。

(1) 上記接岸の開始を上記ＶＤＲから与えられるデータに基づいて識別し（図１０ステップＳ１）、図１１（ａ）に示すように、表示領域Ｄ_ｔ を船首方向の所定の領域に設定する（図１０ステップＳ２）と共に、この表示領域Ｄｔに相当する部分画像_ｐｔを生成して画像生成部１４に引き渡す（図１０ステップＳ３）。

(2) 上記ＶＤＲから与えられるデータに基づいて、あるいは手動で与えられる指令に応じて「岸壁に対する自船の距離が所定の閾値を下回った」ことを識別する（図１０ステップＳ４）と、図１１（ｂ）に示すように、表示領域Ｄ_ｔ を左舷側に設定（図１０ステップＳ５）し、この表示領域Ｄｔに相当する部分画像_ｐｔを生成して画像生成部１４に引き渡す（図１０ステップＳ６）。

このような状態では、スクリューが逆転（左方向に回転）するため、船尾近傍と船首近傍と岸壁との間の距離の格差が縮まることによって接岸が図られる。
すなわち、接岸の過程における表示領域Ｄｔは、船首方向から左舷側に自動的に切り替わる。

したがって、本実施形態によれば、操舵者に複雑な操作が強いられることなく、カメラ１１-1によってとらえられる動画（画像）によって、死角が大幅に解消され、かつ安全に接岸が実現される。

なお、本実施形態では、図１１（ａ）、（ｂ）に示す表示領域Ｄｔに対応する部分画像Ｉ_ｐｔ（または、その部分画像Ｉ_ｐｔが合成され、もしくは対等付けられた指示画像Ｉｔ′）は、以下の何れの形態で無線伝送されてもよい。また、このような無線伝送に供される無線伝送路については、接岸先の電波法の制限内において確保することが可能である。

(1) 自船上または岸壁側に備えられた無線設備（Ｗｉ−Ｆｉルータ等であってもよい。）を介してタグボートに無線伝送されることにより、接岸のさらなる安全性の確保に供される。

(2) 「海賊による攻撃や侵入が危惧される状態で生成され、もしくはこのような攻撃や侵入の過程を示す部分画像Ｉ_ｐｔ」が、航行にかかわる機関、船会社、近隣を航行する他船等に無線伝送されることによって、航行の安全や支援に供される。

また、上述した無線伝送は、例えば、「海賊の侵入（の可能性）等の事象に際して、カメラ１１-1〜１１-Nによってとらえられた画像」について、下記a)〜c)の何れかに対する速やかな通知の実現のために行われてもよい。

a) 自船にかかわる船会社
b) 港湾管理、航行の支援、航路の保安等を担当する機関
c) 近くを航行する他の船舶（護衛艦を含む。）

なお、上述した事象は、手動により識別されてもよく、何らかのシステム、装置、センサーによって検知されてもよい。
また、上記無線伝送の対象には、上述した画像に併せて、以下の全てまたは一部が含まれてもよい。

(1) 該当する事象の識別子
(2) 自船の識別子、位置
(3) 自船に対する被写界の方向
(4) 時刻

さらに、上述した各実施形態では、表示領域Ｄｔが設定され、あるいは更新されるべききっかけはどのように設定されてもよく、そのきっかけに応じて更新されるべき好適な表示領域Ｄｔは、以下の何れであってもよい。

(1) 船速が閾値を下回ったり上回り、あるいは急激な加速や減速が行われた場合
このような船速の変化の要因が存在し得る方向
(2) 自船に搭載された傾斜計等により荷崩れ（の可能性）が検知された場合
船体の内、鉛直方向における位置が大きく変動した部位またはその部位の反対方向

(3) ダイナミックポジショニングシステムが稼働している期間
船体の周辺の全方向
(4) サイドスラスター（Side Thruster）が作動している期間
右舷側または左舷側の内、サイドスラスターによって船体が移動している一方の方向

(5) 針路が変更されている期間
予め設定された方向（航行スケジュールや操舵の経歴に基づいて自動的に設定されてもよい。）
(6) 海図上に標され、もしくはレーダ等によって探知され、あるいはＡＩＳ等によって識別され、しかも、画像による確認が望ましい目標に近づき、または近傍を航行する際
その目標が位置する方向

なお、このような目標には、下記の何れもが該当し得る。
・ 自船の針路または周辺の１マイル以内に現れ、あるいは侵入した他舶（小舟であってもよい。）
・ 浅瀬
・ 赤外線により検知されたクジラ等の生物
・ 狭い海峡等に浮設された浮標
・ 養殖施設（生け簀）
・ （電子）灯台
・ レーダによって検知されたオイルスピルや流氷

(7) ＡＩＳ等を介して「緊急情報」を発した船舶が識別された際
その船舶が位置する方向

ここに、上記他船（小舟だけではなく、木造船であってもよい。）については、受信され得るレーダ反射波のレベルが著しく小さい場合であっても、赤外線カメラによって検出され、かつ併せて求められた方位や距離に基づいて指示画面上に重畳されて表示されることによって、監視能力の向上の対象とすることが可能である。

さらに、カメラ１１-1〜１１-Nによってとらえられる上記他船の像の方位角方向における画角が１５度と、以下の何れよりも大幅に小さい場合には、表示領域Ｄｔの全域の画像を得る合成処理に代えて、その合成処理の対象となる画像（例えば、４個ないし８個のカメラによって与えられる。）のそれぞれに施される抽出処理が行われることにより、実時間性の確保と、画像品質の向上とが図られてもよい。

(1) 方位角方向におけるカメラ１１-1〜１１-Nの平時における被写界（４５度ないし９０度）
(2) 平常時における所望の表示領域ｄの方位角方向における幅

また、表示領域Ｄｔの画像は、必要に応じて、例えば、他船（護衛艦を含む。）、海難警備機関等に適宜無線伝送されてもよい。
さらに、このような無線伝送の要否、伝送先、伝送の対象の何れも、自船の位置、経路、目的地、属性、その自船の状況（例えば、出港中、荷役中）等の全てまたは一部に基づいて自動的に、あるいは手動により設定されてもよい。

また、本実施形態では、表示領域Ｄｔは、自船の位置の如何にかかわらず設定されている。

しかし、本発明はこのような構成に限定されず、表示領域Ｄｔ（カメラ１１-1〜１１-Nの被写界）が自船の位置と、その表示領域に位置する（位置し得る）物標Ｔとの相対的な距離および方向（俯角を含む。）で決定されるべき場合には、制御部１５、カメラ１１-1、画像バッファ１２、画像処理部１３および画像生成部１４が下記の通りに連係してもよい。

制御部１５は、以下の処理を行う。
(1) 上記物標Ｔの位置ＬＯＣ_Ｔｔならびに視角θ_Ｖｔ、画像バッファ１２によって既述の通りに引き渡された船位ＬＯＣ_Ｃ１ｔ、既述の距離Ｌ_ｉおよび距離Ｈに基づいて、カメラ１１-1に対するその物標Ｔの俯角（または仰角）θ_{ＴＥＣ１ｔ}および方位角θ_{ＴＡＣ１ｔ}を求める。

(2) これらの俯角（または仰角）θ_{ＴＥＣ１ｔ}および方位角θ_{ＴＡＣ１ｔ}に併せて、物体Ｔの相対距離Ｌ_ｒｔに適合した値として、既述の画角θ_ＶＣ１ 、合焦距離ｆ_Ｃ１、カメラ方位角θ_ＡＣ１ 、カメラ仰角θ_ＥＣ１ および方位角Θ_ＡＣ１ｔのそれぞれの目標値を求める。

(3) これらの目標値および上記俯角（または仰角）θ_{ＴＥＣ１ｔ}および方位角θ_{ＴＡＣ１ｔ}に適合した表示領域Ｄ_ｔ を求める。
(4) 図１に点線で示すように画像バッファ１２を介して形成されるデータリンクを介してカメラ１１-1に、上記目標値を引き渡す。
(5) 画像処理部１３に、表示領域Ｄ_ｔ を引き渡す。

なお、制御部１５は、このようにしてカメラ１１-1に引き渡されるべき目標値については、そのカメラ１１-1の撮像（撮影）条件や姿勢の変更が可能なものに限って求める。
カメラ１１-1、またはそのカメラ１１-1をアンテナ２０Ａに支持する機構は、このようにして引き渡された目標値に、画角θ_ＶＣ１ 、合焦距離ｆ_Ｃ１、カメラ方位角θ_ＡＣ１ 、カメラ仰角θ_ＥＣ１ および方位角Θ_ＡＣ１ｔを変更する。

画像バッファ１２は、このような画像情報Ｉ_Ｃ１ｔが引き渡される度に行われる既述の処理の過程で、以下の処理を併せて行う。
(1) カメラ１１-1の被写界Ｆ_ＣＡ１ｔを船位ＬＯＣ_Ｃ１ｔに基づいて海図（地図）上にマッピングすることによって得られる被写界Ｆ_ＣＡｉｔ′（＝ｆ(ＬＯＣ_Ｃ１ｔ，Ｆ_ＣＡｉｔ)）に変換する。
(2) この被写界Ｆ_ＣＡｉｔ′をカレントレコードの「Ｆ_ＣＡｉｔ′」フィールドに格納する。

一方、画像処理部１３は、画像バッファ１２にファーストイン・ファーストアウト方式により有効な画像情報Ｉ_Ｃ１ｔが格納されたレコードの内、後述する好適な複数Ｐのレコードの列毎に、下記の点を除いて既述の処理と同じ処理を行う。

(1) 上述した複数Ｐのレコードの「Ｆ_ＣＡｉｔ′」フィールドの値が「０」以外であるか否か判別し、「０」以外である場合に限って、次の処理(2) を行う。
(2) 上記複数Ｐのレコードの内、「Ｆ_ＣＡｉｔ」フィールドではなく、「Ｆ_ＣＡｉｔ′」フィールドに格納された被写界Ｆ_ＣＡ１ｔ′の全てまたは一部が上記表示領域Ｄ_ｔ に含まれるレコード（以下、「適応レコード」という。）を抽出する。

なお、このような場合における以下の処理および動作については、既述の通りであるので、ここでは、その説明を省略する。
・ 合成画像Ｉ_Ｓｔの生成
・ 部分画像Ｉ_ｐｔの抽出
・ 部分画像Ｉ_ｐｔの画像生成部１４に対する引き渡し
・ 画像生成部１４によって行われる処理
・ 画像生成部１４に連係するレーダ２０の振る舞い

また、上述した各実施形態では、カメラ１１-1〜１１-Nの撮像光学系の光軸の方向が、被写界Ｆ_ＣＡｉｔ（Ｆ_ＣＡｉｔ′）の方向に一致している。
しかし、本発明は、このような構成に限定されず、例えば、このような光軸上にプリズム、反射鏡、ハーフミラー等の光学部品が介在し、あるいはモータ等により被写界の変更や設定が可能である場合であっても、これらの光学部品の光学的特性および配置に適応した写像変換の下で上記被写界Ｆ_ＣＡｉｔ（Ｆ_ＣＡｉｔ′）の特定が可能であるならば、同様に適用可能である。

〔第３の実施形態〕
図１２は、本発明の第３の実施形態における制御部の動作フローチャートである。
図１３は、本発明の第３の実施形態の動作を説明する図である。
以下、図１〜図３、図１２および図１３を参照して本実施形態の動作を説明する

本実施形態では、各部が下記の通りに連係する点で、既述の第１の実施形態と異なる。
カメラ１１-1は、赤外領域で撮像を行い、落水者等を温度により検知すると、画像バッファ１２を介して形成されるデータリンクを介して制御部１５に、その旨を通知する。
制御部１５は、以下の処理を行う。

(1) 上記データリンクを介してカメラ１１-1に落水者との距離の測定を指令する（図１２ステップＳ１）。なお、このような距離の測定は、例えば、カメラ１１-1に備えられた自動焦点機構におけるレンズサーボの駆動信号の換算によって行われる。

(2) 可能である場合には、アンテナ２０Ａの回転を停止し（図１２ステップＳ２）、かつ上記データリンクを介してカメラ１１-1と連係することによって、そのカメラ１１-1の被写界に落水者が位置する状態を確保する（図１２ステップＳ３）。

(3) その指示に応じてカメラ１１-1から通知された距離ｄを取得する（図１２ステップＳ４）と、既述の距離Ｌ_ｉ，Ｈ、画角θ_ＶＣｉ、合焦距離ｆ_Ｃｉ、方位角θ_Ａ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉに併せて、自船の寸法、構造、形状等の既知の情報に基づいて上記落水者の位置ＰＯＳを特定する（図１２ステップＳ５）。

(4) 落水者と自船との距離が所望の値となる方向に自船を操舵する指示を操作者に支え、あるいは操舵系（オートパイロットを含む）にこのような指示を直接与える（図１２ステップＳ６）ことにより、救難の体制を整え、かつ維持する。

(5) これに並行して、画角θ_ＶＣｉを広めに設定し、かつ操作者の指示に応じて適宜変更可能とし、かつ合焦距離ｆ_Ｃｉ、方位角θ_Ａ、カメラ方位角θ_ＡＣｉおよびカメラ仰角θ_ＥＣｉを適宜可変することによって、被写界Ｆ_ＣＡ１ｔの中央部に落水者の像が位置する状態を維持する（図１２ステップＳ７）と共に、このようなカメラ１１-1の制御に付帯した補正が好ましい形態で、上記操舵の指示を更新する（図１２ステップＳ８）。

したがって、本実施形態によれば、甲板上や船室に位置する人の目線より高い位置にあるカメラ１１-1によって、落水者の捕捉が速やかにかつ確度高く実現され、早期の救出の強力な支援が図られる。

なお、本実施形態では、自船が、縦揺れ（ピッチング）、横波揺れ（ローリング）、水平面における左右の揺れ（ヨーイング）、鉛直方向における上下動（ヒーヴィング）、荒天等に起因して船首が波にたたきつけられることによって生じる揺れ（パンチング）等のように、多様な揺動を被る状況では、カメラ１１-1および画像処理部１３が以下の通りに連係することによって、落水者の捕捉がさらに安定に実現される。

(1) カメラ１１-1に内蔵された撮像素子は、本来的に確保されるべき被写界により大幅に大きな領域の撮像が可能な撮像面を有する。
(2) 画像処理部１３は、このような撮像面によって時系列の順に撮像された画像情報Ｉ_Ｃ１ｔ′毎に、以下の処理を行う。

(2-1) 図示されない揺動センサーによって計測された揺動Ｖ_ｔ の成分を既定の互いに直交する座標系（例えば、鉛直方向にＺ軸が設定された３次元の直交座標系）の成分（ｖ_ｘｔ、ｖ_ｙｔ、ｖ_ｚｔ）に分解する。

(2-2) 上記成分（ｖ_ｘｔ、ｖ_ｙｔ、ｖ_ｚｔ）に応じてカメラ１１-1の撮像面に被る既述の揺動Ｖ_ｔを既知の距離Ｌ_１ ，Ｈ、方位角θ_Ａｔ、カメラ方位角θ_ＡＣ１、カメラ仰角θ_ＥＣ１に基づいて換算することにより、図１４に示すように、その撮像面において本来の被写界に相当する領域の縦方向、横方向のオフセット分（Δｘ_ｔ、Δｙ_ｔ）と、その領域の画像が本来の被写界の像を与えるために拡縮されるべき倍率μ_ｔとを求める。

(2-3) 画像情報Ｉ_Ｃ１ｔ′から上記オフセット分（Δｘ_ｔ、Δｙ_ｔ）に起因する余剰な成分を除去することによって、部分画像Ｉ_ＰＣ１ｔ′を抽出し、その部分画像Ｉ_ＰＣ１ｔ′をμ_ｔ倍する写像変換を行うことによって、本来的な被写界の画像情報Ｉ_Ｃ１ｔを生成する。

したがって、本実施形態によれば、自船が広範かつ多様な揺動を被る状況であっても、所望の被写界Ｆ_ＣＡｉｔ（Ｆ_ＣＡｉｔ′）の画像が安定に得られる。

なお、上述した各実施形態では、自船の甲板上で最も高い位置にあるカメラ１１-1〜１１-Nによってとらえられた画像に、サンプリング、蓄積、抽出、重畳、合成等の画像処理が適宜施されることによって、甲板上や船室内に居る人の死角の緩和や解消が図られている。

しかし、このような画像、または画像処理によって得られる画像は、上記死角の緩和や解消のためだけではなく、例えば、時刻、船位、被写界（方位角、仰角（俯角))に対応付けられ、かつ事故や事象の経緯もしくは原因の把握に供され得るログとして蓄積されてもよい。

また、落水者の検知については、対象者が落水する前に甲板上に存在していた状態から継続して行われる追尾により、より迅速に実現されてもよい。

〔第４の実施形態〕
本実施形態の構成は、以下の点で既述の第１ないし第３の実施形態と異なる。
(1) アンテナ２０Ａに、少なくとも２台のカメラ２０-1、２０-2がアンテナ２０Ａが取り付けられる。

(2) 一方のカメラ２０-1は、図６（ｄ）に示すように、既述の各実施形態と同様にアンテナ２０Ａの底部に取り付けられ、かつ他方のカメラ２０-2は、そのアンテナ２０Ａの側部の内、アンテナ２０Ａの開口面以外の部位に取り付けられる。

(3) これらのカメラ２０-1、２０-2がアンテナ２０Ａに取り付けられる姿勢は、図１６(a) に示すように、それぞれの被写界Ｆ_ＣＡ１ｔ、Ｆ_ＣＡ２ｔの少なくとも一部が重なる姿勢に設定される。

図１５は、本発明の第４の実施形態における画像処理部の動作フローチャートである。
図１６は、本発明の第４の実施形態の動作を説明する図である。
以下、図１〜図３、図１４、図１５および図１６を参照して本実施形態の動作を説明する

本発明の特徴は、本実施形態では、気象や激しい波浪に起因する自船の大幅かつ頻繁な揺動に追従する下記の画像処理の手順にある。
画像バッファ１２は、カメラ１１-1、１１-2によって画像情報Ｉ_Ｃ１ｔ、Ｉ_Ｃ２ｔがそれぞれ引き渡される度に、第１の実施形態と同様の処理を行うことによって、既述のカレントレコードの下記の各フィールドに対する書き込みを行う。

・ 「画像情報Ｉ_Ｃｉｔ」フィールド
・ 「方位角Θ_ＡＣｉｔ」フィールド
・ 「船位ＬＯＣ_Ｃｉｔ」フィールド
・ 「Ｆ_ＣＡｉｔ」フィールド
・ 「Ｆ_ＣＡｉｔ′」フィールド

画像処理部１３は、以下の処理を行う。
(1) 第１の実施形態と同様に、表示領域Ｄ_ｔ （制御部１５によって適宜指示され、かつレーダ２０の指示画像と対応付けられて、あるいは単独で操作者に提供される。）を識別する（図１５ステップＳ１）。
(2) 自船が被っている揺動Ｖ_ｔ （図示されない揺動センサーによって計測される。）を取得し（図１５ステップＳ２）、その揺動Ｖ_ｔ の成分に応じた上記表示領域Ｄ_ｔ の変動分が補正された表示領域Ｄ_ｔ′を特定する（図１５ステップＳ３）。

(3) このような表示領域Ｄ_ｔ′を既述の表示領域Ｄ_ｔ に代えて適用することによって、第１の実施形態と同様に「適応レコード」を抽出し、かつ合成画像Ｉ_Ｓｔ′を生成する（図１５ステップＳ４）。
(4) その合成画像Ｉ_Ｓｔ′の内、既述の表示領域Ｄ_ｔ ′に相当する部分画像Ｉ_ｐｔ′を抽出する（図１５ステップＳ５）。
(5) 画像生成部１４に、上記部分画像Ｉ_ｐｔ′を引き渡す（図１５ステップＳ６）。

画像生成部１４およびレーダ２０によって行われ処理については、既述の部分画像Ｉ_ｐｔに代えて部分画像Ｉ_ｐｔ′が参照される点を除いて、第１の実施形態と同じであるので、ここでは、その説明を省略する。

すなわち、本実施形態では、カメラ１１-1の被写界Ｆ_ＣＡ１ｔだけでは表示領域Ｄ_ｔ の維持が困難である程度に自船が大幅に揺れている状況であっても、図１６(b) に示すように、カメラ１１-2の被写界Ｆ_ＣＡ２ｔが組み合わせられ、これらの被写界について個別に撮像された画像が適宜合成されたり切り出されることによって、安定に所望の表示領域Ｄ_ｔ の画像が得られる。

したがって、本実施形態によれば、自船が位置する水域における多様な状況に柔軟に適応して、航行の安全性および利便性が高く確保される。

なお、上述した各実施形態では、カメラ１１-1〜１１-Nの撮影条件（解像度（画素数）、感度、フレームレート、アオリ撮影の要否、動画モード／静止画モードの選択）は、以下の何れによってどのように設定され、あるいは更新されてもよい。

(1) 制御部１５が行う主導的な処理
(2) 画像バッファ１２、画像処理部１３、画像生成部１４およびレーダ２０の連係の下で行われる多様な処理（画像処理を含む。）
(3) 操作者によって与えられる指示

また、このような撮影条件は、所望の応答性や実時間性が確保されるならば、レーダ２０によって行われるスイープ、スキャンと同期することなく設定され、あるいは更新されてもよい。

さらに、上述した各実施形態では、カメラ１１-1〜１１-Nの被写界の方向は、例えば、アンテナ２０に対する取り付けのために個別に介装され、かつモータ等によって個々の姿勢の設定や変更を可能とする台座（図示されない）を制御部１５が既述のデータリンクを介して制御することにより、図６に示すように、適宜変更されてもよい。

〔第５の実施形態〕
本実施形態と既述の第１の実施形態との構成の相違点は、カメラ１１-1に代えて魚眼カメラ１１Ｆ-1が備えられた点にある。

図１７は、本発明の第５の実施形態の原理を示す図である。
以下、図１〜図３および図１７を参照して本実施形態の動作を説明する
魚眼カメラ１１Ｆ-1は、制御部１５によって与えられる撮像の期間および条件の下で適宜撮像を行い、その撮像によって時系列ｔの順に得られた画像情報Ｉ_ｆＣ１ｔを画像バッファ１２に引き渡す。

本発明の特徴は、本実施形態では、画像バッファ１２のレコードの内、時系列ｔおよびカメラ識別子ｉ（＝１）に対応したカレントレコードの「画像情報Ｉ_Ｃｉｔ」フィールドに格納されるべき画像情報が、以下の通りに画像バッファ１２によって生成される点にある。

画像バッファ１２は、上記画像情報Ｉ_ｆＣ１ｔが引き渡される度に、その画像情報Ｉ_ｆＣ１ｔに、魚眼カメラ１１Ｆ-1の撮像光学系で生じる既知の光学的な歪みを補償する処理（以下、「歪み補償処理」という。）を施すことにより、第１の実施形態においてカメラ１１-1が中心投影方式によって撮像する画像に相当する画像情報Ｉ_Ｃ１ｔを生成する。

ここに、画像バッファ１２、画像処理部１３、画像生成部１４およびレーダ２０が連係して行う処理については、第１の実施形態と同じであるので、これらの説明を省略する。
なお、上述した「歪み補償処理」は、魚眼カメラ１１Ｆ-1に備えられた光学系１１_ＯＰＴ-1を介して撮像素子１１_Ｓ-1によって撮像された画像を示す画像情報１１_ｆＣ１ｔ（図１７(1))に、その光学系１１_ＯＰＴ-1の光学的な特性と反対の特性に相当する写像変換（図１７(2))を施すことによって実現される。

このように本実施形態によれば、中心投影方式ではない魚眼カメラ１１Ｆ-1によって与えられた画像情報Ｉ_ｆＣ１ｔから、所望の被写界Ｆ_ＣＡｉｔの撮像によって得られるべき画像情報Ｉ_Ｃ１ｔが与えられる。

したがって、本実施形態によれば、第１の実施形態に比べて、アンテナ２０Ａに取り付けられるべきカメラの姿勢に要求される精度が緩和され、このような姿勢の誤差の圧縮が画像処理の領域で精度よく簡便に実現される。

また、本実施形態では、魚眼カメラ１１Ｆ-1の姿勢が変更されることなく、上記画像処理の領域で、アンテナ２０Ａの主ローブの方位角θ_Ａの如何にかかわらず、画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉおよびカメラ仰角θ_ＥＣｉの自在な設定および変更が可能となり、かつ既述の合焦距離ｆ_Ｃｉの設定や変更が不要となる。

したがって、機械的あるいは光学的な構造の自由度が高められ、構成の標準化や低廉化が容易に実現可能となる。

なお、本実施形態では、魚眼カメラ１１Ｆ-1がアンテナ２０Ａの底部に取り付けられ、そのアンテナ２０Ａと共に回転している。

しかし、本発明はこのような構成に限定されず、例えば、アンテナ２０Ａの回転軸に魚眼カメラ１１-1が取り付けられると共に、以下の何れかの形態で構成されてもよい。

(1) 魚眼カメラ１１Ｆ-1がアンテナ２０Ａと共に回転し、かつ画像バッファ１２によって行われる画像処理の過程で、既述の画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉが設定され、あるいは適宜更新されることによって、複数Ｎのカメラ１１-1〜１１-Nの魚眼カメラ１１Ｆ-1による兼用が図られる。

(2) 魚眼カメラ１１Ｆ-1がアンテナ２０Ａと共に回転しない部材に固着され、かつ画像バッファ１２によって行われる画像処理の過程で、既述の画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉに併せて、既述の方位角θ_Ａが設定され、あるいは適宜更新されることによって、複数Ｎのカメラ１１-1〜１１-Nの魚眼カメラ１１Ｆ-1による兼用が図られる。

ここに、上記(2) における画像処理は、レーダ２０がＭＩＭＯレーダであって、アンテナ２０Ａがそのレーダ２０が行う電子ビームフォーミングの下で回転しない場合であっても、例えば、実効的なスキャン、スイープ、レンジの何れかに同期して行うことが可能である。

また、このような場合には、既述の画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉ、方位角θ_Ａは、上記ビームフォーミングに同期して適宜設定され、あるいは更新されてもよい。

さらに、本実施形態では、魚眼カメラ１１Ｆ-1の光学系は、「等距離射影方式」、「等立体角射影方式」、「正射影方式」の何れが適用されてもよく、かつ「全周魚眼レンズ」と「対角線魚眼レンズ」との何れとして構成されてもよい。

また、本実施形態では、所望の被写界は、複数Ｐのカメラ（少なくとも１つが魚眼カメラに該当する。）の併用によって確保されてもよい。

さらに、上述した各実施形態では、カメラ（魚眼カメラ）の台数Ｎが複数である場合には、これらのカメラ（魚眼カメラ）のそれぞれの好適な被写界を維持する処理は、自船の揺動ではなく、カメラが個別に取り付けられ（配置され）た部位について個別に検知された揺動に応じて既述の処理が行われることによって実現されてもよい。

また、上述した各実施形態では、カメラ（魚眼カメラ）は、何れも、個別に備えられた手振れ補正機構によって被写界の維持の安定化が図られてもよい。

さらに、上述した各実施形態では、カメラ１１-1〜１１-N（魚眼カメラ１１Ｆ-1〜１１Ｆ-N）、画像バッファ１２、画像処理部１３、画像生成部１４、レーダ２０の連係における機能や負荷の分散は、所望の作用効果が達成されるならば、どのような形態であってもよい。
特に、画像処理の内、線形の処理の順序については、好適な精度や応答性が実現されるならば、既述の順序と異なってもよい。

また、上述した各実施形態では、アンテナ２０Ａにサーチライトが取り付けられることにより、夜間などにおける対象角度方向の視認性の向上が図られてもよい。
さらに、上述した各実施形態では、カメラ１１-1〜１１-Nがアンテナ２０Ａに取り付けられている。

しかし、本発明はこのような構成に限定されず、カメラの数Ｎが小さく抑えられ、しかも画像処理の下で所望の画像が生成されることによって、死角の回避や緩和だけではなく、従来例では監視や観測が行われることがなかった被写界の画像を得るために、このようなカメラは、以下の何れに備えられてもよい。

(1) 風力発電用のプロペラ：以下の目的の双方もしくは何れか一方を実現する。
・ 広範な高低差がある位置からそれぞれとらえられた画像による気象現象，自然現象等の光学的な観測を可能とする。
・ バードストライク防止用のレーダが適用されることにより鳥との衝突に起因する損傷を防ぐための回転の一時的な遅れや停止が図られる風力発明用のプロペラにおいて、そのレーダによる鳥監視と並行して画像処理により鳥が識別されることにより、鳥の検出精度を高められる。
(2) ヘリコプターのプロペラ：地形や地物の観測、飛行中における周辺あるいは上方の光学的な観測を実現する。

(3) 扇風機の羽根：幼児が羽根等の可動部分に接触することによる事故の防止、あるいは高齢者の生存確認を実現する。
(4) 電子レンジの槽内に配置されたファンの羽根：加熱対象の表面における温度分布の高い精度の観測を可能とする。
(5) 揺れ動く装置（の筐体）、または部材：異なる位置における所望の物体または空間（の状況）の光学的な観測や監視を可能とする。

さらに、本発明では、個々のカメラに係る下記の何れの事項も、これらのカメラが取り付けられるアンテナ２０Ａその他の何れの部材と、これらの部材を備えた船舶等の移動体あるいは装置との双方または何れか一方の測位や回転角に基づいて設定や更新が行われてもよい。
(1) 撮像が行われるべき切っ掛けや期間
(2) 姿勢、画角、解像度、フレームレートその他の撮像（撮影）の条件
また、本発明は、上述した実施形態に限定されず、本発明の範囲において多様な実施形態の構成が可能であり、構成要素の全てまたは一部に如何なる改良が施されてもよい。

〔第６の実施形態〕
以下、本発明の第６の実施形態について説明する。
本実施形態の構成の特徴は、既述の第１の実施形態との対比においては、図１に示すように、以下の点にある。

(1) 制御部１５に代えて制御部１５Ａが備えられる。
(2) アンテナ２０Ａは、外部から与えられる指令に応じて、そのアンテナ２０Ａの主ローブの方向が所望の方向に設定され、かつ適宜変更や維持が可能な機構を有する。

(3) 制御部１５Ａの特定のポートは、上記アンテナ２０Ａの制御端子に接続されると共に、上記指令の引き渡しに供される。
(4) 図１８(a)、(b)に示すように、アンテナ２０Ａの長手方向に対向する２つの側壁に、カメラ１１-1、１１-2がそれぞれ取り付けられる。

(5) これらのカメラ１１-1、１１-2の画角（視野角）は標準レンズの画角より大きな値に設定されるため、図１８(a)、(b)に点線と実線とで対比されるように、これらのカメラ１１-1、１１-2によって撮像される被写界（表示領域Ｄｔに対する表示の対象）は、広く設定される。

図１９は、本発明の第６の実施形態の動作を説明する図である。
図２０は、本発明の第６の実施形態における制御部の動作フローチャートである。
以下、図１、図６、図１８、図１９および図２０を参照して本実施形態の動作を説明する。

本発明の特徴は、本実施形態では、自船の操船および状態に応じて、制御部１５Ａが主導的に行う処理の下でアンテナ２０Ａおよびカメラ１１-1、１１-2が以下の通りに連係する点にある。

自船が接岸のために岸壁に近づいて、図１１(a) に示すようにその岸壁と自船の左舷との距離が所定の値を下回り、かつ両者がほぼ平行な状態となりつつあるとき（以下、「接岸操船期間」という。）には、制御部１５Ａは、アンテナ２０Ａに上記指令を与える（図２０ステップＳ１）。

アンテナ２０Ａは、その指令に応じて回転の速度を段階的に減じ、そのアンテナ２０Ａの主ローブ（またはバックローブ）の方向が上記左舷（または右舷）に直交する状態で停止する（図１９(a))。

このような状態では、カメラ１１-1、１１-2は、図１９(a)および図１８(a)、(b)に細線の円で示すように、自船の左舷および上記岸壁の方向の内、船首側および船尾側の状況をそれぞれ撮影することによって得られた画像情報として出力する。

これらの画像情報は、既述の第１の実施形態と同様に、画像バッファ１２を介して画像処理部１３に引き渡され、かつ制御部１５Ａの配下で画像生成部１４によって行われる処理の下で順次レーダ２０に引き渡される。

すなわち、本実施形態では、カメラ１１-1、１１-2の画角が広く設定され、しかも、アンテナ２０Ａの放射面が自船の左舷に平行に保たれた状態でそのアンテナ２０Ａの回転が停止する。したがって、これらのカメラ１１-1、１１-2の位置および姿勢は、自船の接岸に適した被写界の方向に安定に維持される。

したがって、本実施形態によれば、画角が広いほどカメラの台数を少なく設定可能となり、しかも、画像処理の処理量の削減ならびに簡略化が図られると共に、自船の状況や操船に適した被写界の画像が安定に確度高く得られる。

また、接岸が完了した後には、制御部１５Ａは、上述した指令を解除する（図２０ステップＳ２）。
アンテナ２０Ａは、このような指令の解除に応じて回転を再開する。

さらに、制御部１５Ａは、アンテナ２０Ａの回転速度が定常値に達すると、既述の第１の実施形態と同様の形態で、画像バッファ１２、画像処理部１３、画像生成部１４およびレーダ２０との連係を再開する（図２０ステップＳ３）。

なお、本実施形態は、上記接岸操船期間に限定されず、以下に列記するような操船または自船の状態においても、カメラ１１-1、１１-2によってとらえられた画像による監視業務のために同様に適用可能である。

(1) 出港に際して行われる右舷、船首、船尾方向の監視等
このような出港の過程では、図１９(b)に示すように、アンテナ２０Ａの回転が停止した状態におけるそのアンテナ２０Ａの放射面の方向は、自船の左舷（または右舷）に平行な状態に固定される。

(2) 自船の前進または後進の過程で行われる右舷、船首、船尾方向の監視等
このような前進や後進の過程では、図１９(c)、(d)に示すように、アンテナ２０Ａの回転は、そのアンテナ２０Ａの放射面の方向が自船の船首または船尾の方向に設定された状態で停止される。

また、本実施形態では、図１８(a)、(b)に太線の斜線で示すように、左舷（右舷）の中央部と岸壁とで挟まれた領域に死角が生じる場合には、以下の何れの方策がとられてもよい。
(1) カメラ１１-1、１１-2の画角がより広く設定され、またはカメラ仰角θ_ＥＣが小さく設定される。
(2) 図６(e)に示すように、カメラ１１-1、１１-2の双方の被写界の一部が互いに重なる姿勢で、これらのカメラ１１-1、１１-2がアンテナ２０Ａの底部に配置される。

さらに、本実施形態では、カメラ１１-1、１１-2の画角が標準レンズの画角より広く設定されるメカニズムは、これらのカメラ１１-1、１１-2のレンズの焦点距離を単に短く設定する方法に限定されず、実効的な画角（視野角）の拡大が図られるのであれば、以下の何れであってもよい。

(1) カメラ毎に組み込まれた複数の撮像光学系によって個別に得られた画像の合成
(2) 撮像面の形状や寸法の変更
(3) 光学系の構成、または画像処理に基づくアスペクト比の拡大

また、本実施形態には、以下に列記する多様な構成の適用が可能である。

(1) 搭載されるカメラの台数は、「２」に限定されず、これらの画角が広く設定されることによる削減の結果として設定されるならば、「３」以上の如何なる数であってもよい。
(2) これらのカメラの性能は、必ずしも同じでなくてもよい。

(3) 制御部１５Ａによって行われる処理の下で、既述のパラメータ（画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉ、距離Ｌ_ｉ）が適宜変更される。
(4) アンテナ２０Ａの側部や底部における個々のカメラの位置や姿勢が可動機構を介して適宜変更される。

さらに、本実施形態では、制御部１５Ａがアンテナ２０Ａに上記指令を与えるきっかけは、確度高く識別されるのであれば、以下に例示するように、如何なるものであってもよい。

・ カメラ１１-1、１１-2の何れかの視野角にタグボートの存在が確認（画像のパターン認識を含む。）されたとき
・ 入港のためにスラスタが作動し、あるいは起動されたとき
・ 操船に従事する要員が行う操作等に応じた通知が識別されたとき

また、本実施形態では、「アンテナ２０Ａの回転が停止した状態におけるそのアンテナ２０Ａの放射面の方向」は、以下の処理(1)、(2)の何れによって求められ、かつ適用されてもよい。

(1) 入港、出港、前進、後進等の操船の形態、あるいは自船の状態に対応して予め決められた好適な方向が予めデータベースに格納され、実際の操船の形態や自船の状態に対応付けられてこのデータベースに格納されている方向が適用される。

(2) 操船の形態、あるいは自船の状態に対して好適な方向を与える算術演算や実験式が予め与えられ、このような算術演算や実験式に基づいて求められた方向が適用される。

さらに、上述した操船の形態や自船の状態は、確実に識別可能であり、かつ上述した好適な方向が定まるならば、如何なるものであってもよい。

また、このような好適な方向にアンテナの方向を設定して維持し、あるいは既述のパラメータ（画角θ_ＶＣｉ、カメラ方位角θ_ＡＣｉ、カメラ仰角θ_ＥＣｉ、距離Ｌ_ｉ）を適切な値に設定し続けるために適用される制御方式は、フィードフォワード方式に限定されず、フィードバック方式（適応アルゴリズムに基づいてもよい。）であってもよい。

さらに、本実施形態では、カメラ１１-1、１１-2は、既述の第１の実施形態ないし第５の実施形態と同様に、風力発電用のプロペラ、ヘリコプターのプロペラ、扇風機の羽根、電子レンジの槽内に配置されたファンの羽根、揺れ動く装置（の筐体）または部材の何れに取り付けられてもよい。

さらに、上述した各実施形態では、カメラ１１-1〜１１-Nの内、所望の数（ここでは、「４」と仮定する。）のカメラ１１-(N-３),１１-(N-2),１１-(N-1),１１-Nは、個々の画角の如何にかかわらず、例えば、図２１に示すように、アンテナ２０Ａの底部（または側部）に併せて、あるいはその底部や側部以外の部位であるペデスタル２０Ｐの底部（または側部）に配設されてもよい。

なお、これらのカメラ１１-(N-３),１１-(N-2),１１-(N-1),１１-Nによって個別に出力される画像情報は、下記の点を除いて同様の画像処理が施される。

(1) アンテナ２０Ａが回転してもカメラ１１-(N-３),１１-(N-2),１１-(N-1),１１-Nが変位しないことを前提として、他の画像情報との合成やマッピングが図られる。
(2) カメラ１１-(N-３),１１-(N-2),１１-(N-1),１１-Nによって出力される画像情報は、船舶の姿勢や針路と、接岸等の操船に応じて適宜選択され、あるいは組み合わせられて選択される。

(3) アンテナ２０Ａの側部や底部に取り付けられたカメラ（以下、「回転カメラ」という。）によって出力される画像情報との合成やマッピングは、そのアンテナ２０Ａの方位角θ_Ａ 、回転カメラの個々の方位角θ_ＡＣ、カメラ仰角θ_ＥＣ、画角θ_ＶＣに適合した形態で行われる。

また、上記カメラ１１-(N-３),１１-(N-2),１１-(N-1),１１-Nは、以下の何れに配設されてもよい。
(1) 既述の風力発電用のプロペラ、ヘリコプターのプロペラ、扇風機の羽根、電子レンジの槽内に配置されたファンの羽根の回転軸の周辺
(2) このような回転軸が設けられる支柱もしくは台座の側部や底部
(3) 既述の揺れ動く装置または部材が軸止される筐体の頂部や側部

以下、本願に開示された発明の内、「特許請求の範囲」に記載しなかった発明の構成および作用効果を「特許請求の範囲」、「課題を解決するための手段」、「発明の効果」の各欄に準じた様式により列記する。

〔１〕 レーダのアンテナに取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、レーダのアンテナに取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する。

このような画像は、レーダのアンテナに取り付けられてそのアンテナと共に回動し得るカメラによって撮像された画像に所定の画像処理が施されることによって生成される。

したがって、カメラがレーダのアンテナより低い位置にあり、そのカメラの位置や姿勢が一定である場合に比べて、視界の拡大に併せて、死角の緩和および解消が図られ、しかも、レーダの指示画像との対応関係が既知である画像が容易に得られる。

〔２〕 移動体上で常居し得る人の視界より被写界が広くなる姿勢で前記移動体に取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記移動体に搭載されたレーダのアンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、移動体上で常居し得る人の視界より被写界が広くなる姿勢で前記移動体に取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記移動体体に搭載されたレーダのアンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する。

このような画像は、移動体上における人の視界より被写界が広く設定されたカメラによって撮像された画像に所定の画像処理が施されることによって生成される。

したがって、カメラがレーダのアンテナより低い位置にあり、そのカメラの位置や姿勢が一定である場合に比べて、視界の拡大に併せて、死角の緩和および解消が図られ、しかも、レーダの指示画像との対応関係が既知である画像が容易に得られる。

〔３〕 上記〔１〕または〔２〕に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、前記回転の軸に対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔１〕または〔２〕に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、前記回転の軸に対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする。

すなわち、カメラの被写界は、そのカメラがレーダのアンテナと共に回動している状況であっても、所望の方向に設定される。

したがって、カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。

〔４〕 上記〔１〕ないし〔３〕の何れか１項に記載の画像生成装置において、
前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべきの被写界を識別する被写界識別手段を備え、
前記画像生成手段は、
前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界識別手段によって識別された被写界の撮像を指令する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔１〕ないし〔３〕の何れか１項に記載の画像生成装置において、被写界識別手段は、前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する。前記画像生成手段は、前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界識別手段によって識別された被写界の撮像を指令する。

すなわち、カメラによって撮像が行われるべき被写界は、そのカメラが取り付けられたレーダを搭載する移動体の多様な状況、振る舞い、属性等に柔軟に適応して設定される。

したがって、カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。

〔５〕 電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する。

このような画像は、レーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像に所定の画像処理が施されることによって生成される。

したがって、魚眼カメラがレーダのアンテナより低い位置にある場合に比べて、その魚眼カメラの位置や姿勢が一定であっても、視界の拡大に併せて、死角の緩和および解消が容易に図られる。

〔６〕 電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナが搭載された移動体に取り付けられ、かつ前記移動体上で常居し得る人の視界より被写界が広い魚眼カメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナが搭載された移動体に取り付けられ、かつ前記移動体上で常居し得る人の視界より被写界が広い魚眼カメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する。

このような画像は、レーダのアンテナに対する既定の方向に設定され、かつ移動体上における人の視界より被写界が広く設定された魚眼カメラによって撮像された画像に所定の画像処理が施されることによって生成される。

したがって、魚眼カメラがレーダのアンテナより低い位置にある場合に比べて、その魚眼カメラの位置や姿勢が一定であっても、視界の拡大に併せて、死角の緩和および解消が容易に図られる。

〔７〕 上記〔５〕または〔６〕に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、前記アンテナに対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔５〕または〔６〕に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、前記アンテナに対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする。

すなわち、魚眼カメラによって撮像された画像の内、監視や確認の対象となるべき部位は、画像処理の領域で所望の方向に柔軟に設定される。

したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。

〔８〕 上記〔５〕ないし〔７〕の何れか１項に記載の画像生成装置において、
前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記魚眼カメラの被写界の内、画像として監視や確認の対象となるべき部位を識別する被写界識別手段を備え、
前記画像生成手段は、
前記魚眼カメラによって撮像された画像の内、前記被写界識別手段によって識別された部位を前記レーダの振る舞いに同期して抽出し、かつ前記処理と、前記光学的歪みの軽減もしくは是正との対象とする
ことう特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔５〕ないし〔７〕の何れか１項に記載の画像生成装置において、被写界識別手段は、前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記魚眼カメラの被写界の内、画像として監視や確認の対象となるべき部位を識別する。前記画像生成手段は、前記魚眼カメラによって撮像された画像の内、前記被写界識別手段によって識別された部位を前記レーダの振る舞いに同期して抽出し、かつ前記処理と、前記光学的歪みの軽減もしくは是正との対象とする。

すなわち、魚眼カメラによって撮像が行われた画像の内、監視や確認のために参照されるべき部位は、レーダが搭載された移動体の多様な状況、振る舞い、属性等に柔軟に適応して設定される。

したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。

〔９〕 上記〔１〕ないし〔８〕の何れか１項に記載の画像生成装置において、
前記撮像された画像の内、全てまたは一部をログとして蓄積するログ手段を備えた
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔１〕ないし〔８〕の何れか１項に記載の画像生成装置において、ログ手段は、前記撮像された画像の内、全てまたは一部をログとして蓄積する。

したがって、撮像された画像は、単に表示されるだけではなく、発生した事故や事象に関する経緯の確認、または原因の究明等に活用可能となる。

〔１０〕 上記〔１〕ないし〔９〕の何れか１項に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、光軸の屈曲の要因となる光学部材を介して得られた特定の画像に、撮像が行われた実質的な方向および領域と前記指示画像との対応付けと、前記光学部材の光学的特性を是正する写像とを施す
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、上記〔１〕ないし〔９〕の何れか１項に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、光軸の屈曲の要因となる光学部材を介して得られた特定の画像に、撮像が行われた実質的な方向および領域と前記指示画像との対応付けと、前記光学部材の光学的特性を是正する写像とを施す。
すなわち、カメラの光学系の特性の限界を超えた広い被写界や視野の確保が可能となる。

したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。

〔１１〕 レーダのアンテナに取り付けられた複数のカメラによって個別に撮像された複数の画像を取り込む画像取得手段と、
前記撮像された複数の画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する画像生成手段とを備え、
前記画像生成手段は、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記アンテナの回転と、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、レーダのアンテナに取り付けられた複数のカメラによって個別に撮像された複数の画像を取り込む。画像生成手段は、前記撮像された複数の画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する。前記画像生成手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記アンテナの回転と、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する。

すなわち、レーダが大幅にあるいは頻繁に揺動する状況であっても、監視や確認の対象となるべき被写界の撮像が安定に行われる。

したがって、本発明が適用された移動体では、航行等に関する安全性や利便性が向上し、かつ高く維持されると共に、多様な環境や状況に対する柔軟な適応が確度高く図られる。

〔１２〕 電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナに対する既定の方向に被写界が設定された複数の魚眼カメラによって個別に撮像された複数の画像を取り込む画像取得手段と、
前記撮像された複数の画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する画像生成手段とを備え、
前記画像生成手段は、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する
を備えたことを特徴とする画像生成装置。

このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはＭＩＭＯ方式のレーダのアンテナに対する既定の方向に被写界が設定された複数の魚眼カメラによって個別に撮像された複数の画像を取り込む。画像生成手段は、前記撮像された複数の画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する。前記画像生成手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する。

すなわち、レーダが大幅にあるいは頻繁に揺動する状況であっても、監視や確認の対象となるべき被写界の撮像が安定に行われる。

したがって、本発明が適用された移動体では、航行等に関する安全性や利便性が向上し、かつ高く維持されると共に、多様な環境や状況に対する柔軟な適応が確度高く図られる。

〔１３〕 上記〔１〕ないし〔４〕の何れか１項に記載の画像生成装置において、
操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記カメラによって撮像されるべきの被写界の方向を設定する被写界設定手段を備え、
前記画像生成手段は、
前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界設定手段によって設定された方向の撮像を指令する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、被写界設定手段は、操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記カメラによって撮像されるべきの被写界の方向を設定する。前記画像生成手段は、前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界設定手段によって設定された方向の撮像を指令する。

すなわち、カメラによって撮像が行われるべき被写界は、操作者の意図に応じて多様に設定可能となる。

したがって、本発明が適用された移動体の航行や安全のための利便性が向上し、かつ高く維持される。

〔１４〕 上記〔１〕、〔２〕、〔３〕、〔４〕、〔１３〕の何れか１項に記載の画像生成装置において、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動を監視する揺動監視手段を備え、
前記カメラは、
前記揺動を光学的に軽減し、または抑圧する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、揺動監視手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動を監視する。前記カメラは、前記揺動を光学的に軽減し、または抑圧する。

すなわち、アンテナの回転軸または移動体の揺動に起因する画像のブレは、カメラの内部で軽減され、あるいは抑圧される。

したがって、本発明に係る画像生成装置では、上記画像の生成のために行われる画像処理の簡略化がはかられ、応答性や信頼性が高められる。

〔１５〕 上記〔１〕、〔２〕、〔３〕、〔４〕、〔１３〕、〔１４〕の何れか１項に記載の画像生成装置において、
前記カメラは、
とらえられた画像の所望の部位の測距を行い、前記測距の結果を前記画像生成手段に通知する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、前記カメラは、とらえられた画像の所望の部位の測距を行い、前記測距の結果を前記画像生成手段に通知する。

すなわち、カメラによってとらえられた画像の所望の部位については、そのカメラが移動体の揺動、積載量、波浪等に応じて相対的な位置が変化しても、距離の実測が可能となる。

したがって、カメラによってとらえれた画像の所望の部位については、測位が多様な環境において柔軟に精度よく実現される。

〔１６〕 上記〔５〕ないし〔８〕の何れか１項に記載の画像生成装置において、
操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記魚眼カメラによって撮像されるべき被写界の方向を設定する被写界設定手段を備え、
前記画像生成手段は、
前記レーダの振る舞いに同期して、前記魚眼カメラに、前記被写界設定手段によって設定された方向の撮像を指令する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、被写界設定手段は、操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記魚眼カメラによって撮像されるべき被写界の方向を設定する。前記画像生成手段は、前記レーダの振る舞いに同期して、前記魚眼カメラに、前記被写界設定手段によって設定された方向の撮像を指令する。

すなわち、魚眼カメラによって撮像が行われた画像の内、監視や確認の対象として抽出されるべき部位は、操作者の意図に応じて多様に設定可能となる。

したがって、本発明が適用された移動体の航行や安全のための利便性が向上し、かつ高く維持される。

〔１７〕 上記〔５〕、〔６〕、〔７〕、〔８〕、〔１６〕の何れか１項に記載の画像生成装置において、
前記レーダが搭載された移動体の揺動を監視する揺動監視手段を備え、
前記魚眼カメラは、
前記揺動を光学的に軽減し、または抑圧する
ことを特徴とする画像生成装置。

このような構成の画像生成装置では、揺動監視手段は、前記レーダが搭載された移動体の揺動を監視する。前記魚眼カメラは、前記揺動を光学的に軽減し、または抑圧する。

すなわち、移動体またはアンテナの回転軸の揺動に起因する画像のブレは、魚眼カメラの内部で軽減され、あるいは抑圧される。

したがって、本発明に係る画像生成装置では、上記画像の生成のために行われる画像処理の簡略化がはかられ、応答性や信頼性が高められる。

１１ カメラ
１１Ｆ 魚眼カメラ
１１_ＯＰＴ 撮像光学系
１１_Ｓ 撮像素子
１２ 画像バッファ
１３ 画像処理部
１４ 画像生成部
２０ レーダ
２０Ａ アンテナ
２０Ｐ ペデスタル

Claims (9)

1. 回転し、または振り動き得る部材に取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
   前記撮像された画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する画像生成手段と
   を備えたことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記カメラは、魚眼カメラであり、
   前記画像生成手段は、
   前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、画像を生成する
   ことを特徴とする画像生成装置。
3. 回転し、または振り動き得る部材に取り付けられた複数ｐのカメラによって個別に撮像された複数ｐの画像を取り込む画像取得手段と、
   前記撮像された複数ｐの画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する画像生成手段とを備え、
   前記画像生成手段は、
   前記部材が搭載された移動体、もしくは前記部材の揺動のベクトルと、前記移動体の位置または姿勢と、前記部材の振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数ｐの画像に施し、被写界の変動および不足を補償する
   を備えたことを特徴とする画像生成装置。
4. 請求項３に記載の画像生成装置において、
   前記複数ｐのカメラは、魚眼カメラであり、
   前記画像生成手段は、
   前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、複数ｐの画像を生成する
   ことを特徴とする画像生成装置。
5. 請求項３に記載の画像生成装置において、
   前記複数ｐのカメラの全てまたは一部の画角θｖｃは、
   標準レンズの画角θｖｃｓより大きく、
   前記複数ｐは、
   前記画角θｖｃが前記画角θｖｃｓに等しい場合に前記被写界の像が前記複数ｐの画像に総合的に包含されるために必要な値以下である
   ことを特徴とする画像生成装置。
6. 請求項５に記載の画像生成装置において、
   前記複数ｐのカメラの全てまたは一部によって撮像される画像のアスペクト比は、
   前記複数ｐの増加が回避可能な値である
   ことを特徴とする画像生成装置。
7. 請求項３、５、６の何れか１項４に記載の画像生成装置において、
   前記複数ｐのカメラは、
   前記被写界の像が前記複数ｐの画像に総合的に包含され得る位置および姿勢で、前記部材に取り付けられた
   ことを特徴とする画像生成装置。
8. 請求項５ないし請求項７の何れか１項に記載の画像生成装置において、
   前記被写界の像が前記複数ｐの画像に総合的に包含される形態に、前記部材の位置もしくは姿勢を設定しまたは維持する制御手段を備えた
   ことを特徴とする画像生成装置。
9. 請求項８に記載の画像生成装置において、
   生起し得るイベント毎に、前記複数ｐのカメラがとらえるべき被写界の像が前記複数ｐの画像に総合的に包含されるとの条件を満たす前記部材の位置もしくは姿勢が予め蓄積された記憶手段を有し、
   前記制御手段は、
   生起したイベントに対応して前記記憶手段に蓄積されている位置もしくは姿勢を前記部材に設定しまたは維持する
   ことを特徴とする画像生成装置。