JP2005277705A - Harbor surveillance system - Google Patents
Harbor surveillance system Download PDFInfo
- Publication number
- JP2005277705A JP2005277705A JP2004087132A JP2004087132A JP2005277705A JP 2005277705 A JP2005277705 A JP 2005277705A JP 2004087132 A JP2004087132 A JP 2004087132A JP 2004087132 A JP2004087132 A JP 2004087132A JP 2005277705 A JP2005277705 A JP 2005277705A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- target
- ship
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
この発明は、港湾内および港湾周辺の水域を航行中の船舶を監視する港湾監視システムに関する。 The present invention relates to a harbor monitoring system that monitors a ship that is navigating in a water area in and around a harbor.
近年、港湾を舞台とする不正輸出や、コンテナを利用した密航事件が多発、増加する傾向にあり、港湾セキュリティの充実が求められている。
従来、所定領域の海上保安管理および船舶に関する安全管理を行うことを目的として、所定領域内を航行および停泊する船舶の船名を読取り、この読取った船名から船舶の情報を入手する港湾監視システムが知られている。
In recent years, illegal exports set in harbors and smuggling incidents using containers tend to occur and increase, and enhancement of port security is required.
Conventionally, for the purpose of performing maritime security management in a predetermined area and safety management for ships, a port monitoring system that reads ship names of ships navigating and anchoring in a predetermined area and obtains ship information from the read ship names. It has been known.
従来の港湾監視システムは、広角カメラおよびレーダにより認識した船舶の位置情報に基づいて、赤外照明装置、赤外線カメラ、を作動させ、赤外線カメラで船舶の船名を含む情景画像を撮像し、制御・表示装置において、この情景画像から船名を読取るようになっていた（例えば、特許文献１参照）。 The conventional port monitoring system operates the infrared illumination device and infrared camera based on the position information of the ship recognized by the wide-angle camera and radar, and captures and controls the scene image including the ship's name with the infrared camera. In the display device, the ship name is read from the scene image (see, for example, Patent Document 1).
しかしながら、従来の港湾監視システムは、屋外の港湾、海峡を含む所定海域の海上を一望できる所定の場所の１箇所に配置されたレーダとカメラを用いて、船舶の位置情報を認識していた。
このため、複数の船舶が接近して航行している場合、カメラ視野の手前側に位置する船舶に対してカメラ視野の奥行き方向に在る他の船舶が、当該カメラの死角領域に位置することがある。この際、他の船舶は手前側の船舶に遮蔽されており、カメラの画像からはその存在認識ができず、その位置情報を得られないという問題があった。
従って、不審船が大型船の陰に隠れて港湾内へ入港した場合に、従来の港湾監視システムでは、不審船の存在を検出することができなかった。
However, the conventional port monitoring system recognizes the position information of the ship using a radar and a camera arranged at one place in a predetermined place overlooking the sea in a predetermined sea area including an outdoor port and a strait.
For this reason, when a plurality of ships are navigating close to each other, other ships located in the depth direction of the camera field of view are located in the blind spot region of the camera with respect to the ship located on the near side of the camera field of view. There is. At this time, there is a problem that other ships are shielded by the ship on the near side, their presence cannot be recognized from the image of the camera, and their position information cannot be obtained.
Therefore, when a suspicious ship enters the harbor behind the large ship, the conventional harbor monitoring system cannot detect the presence of the suspicious ship.
この発明は係る課題を解決するために為されたものであり、隣接して航行中の複数の船舶から個々の船舶を特定して、隣接する船舶の陰に隠れた船舶の存在を検出することを目的とする。 The present invention has been made to solve the above-described problems, and identifies each ship from a plurality of ships that are adjacent to each other and detects the presence of a ship hidden behind an adjacent ship. With the goal.
この発明による港湾監視システムは、港湾内及び周辺海域を航行中の目標を検出する水上レーダと、前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部とを備えたものである。 A port monitoring system according to the present invention includes a water radar that detects a target navigating in a port and a surrounding sea area, and a target that is disposed adjacent to the water radar and detected by the water radar in a field of view. A main camera with a zoom to be photographed at a time, and a ship that is spaced apart from the main camera and is traveling in a water area farther than a target detected by the water radar And a plurality of sub-cameras with zoom, and the captured images of the cameras based on the captured images and the viewing angles of the cameras, and the viewing angles of the cameras corresponding to the captured images, respectively. And a display unit that displays the range superimposed on the map image.
この発明によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも２つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。 According to the present invention, even when a plurality of ships are navigating adjacent to each other, they are adjacent to each other by monitoring the inside of a harbor using at least two monitoring cameras having different directivity directions from the water radar. It is possible to reliably detect the presence of a ship that is hidden behind the ship and navigates.
実施の形態１．
図１はこの発明の実施の形態１による港湾監視システムを構成する各センサ配置を示す斜視図である。
図において、港湾１は、周辺及び湾内の水域に船舶が出入りする。港湾１の湾内には突堤２ａ、２ｂが設けられている。図１は突堤２ａ、２ｂの間を通過して、図の下方から港湾１の湾内に、船舶１０、１１が入港している状態を示している。船舶１０は大型〜中型の船であり、船舶１１は船舶１０よりも小型の船である。船舶１０、１１は互いに接近して航行している。突堤２ａ、２ｂには、港湾監視システムのセンサ系として、レーダ装置３００、主カメラ４、副カメラ６、及び副カメラ８を含む監視用の各センサが設けられている。各センサは、港湾１の周辺及び湾内の水域を出入りする船舶を監視目標として捉えて、目標画像や目標検出情報を取得する。
なお、他に複数の監視用のセンサを設けても良いが、ここでは説明の都合上割愛する。
1 is a perspective view showing the arrangement of sensors constituting a harbor monitoring system according to
In the figure, in the
In addition, a plurality of monitoring sensors may be provided, but are omitted here for convenience of explanation.
レーダ装置３００は、突堤２ａの先端部に配置された支持塔２２の上に設置され、アンテナ装置３を備えており、目標の距離・方位を検出する水上レーダ（センサ）として用いられる。大型船舶が複数入港しても、各船舶の存在を識別できるように、支持塔２２の高さは３０ｍ〜５０ｍ程度であることが望ましい。
レーダ装置３の周辺には監視カメラとして主カメラ４が配置されている。主カメラ４は支持塔５００上に配置されている。主カメラ４とレーダ装置３の水平方向の距離差は概ね３０ｍ以内程度にするのが好ましく、差が小さい程良い。
突堤２ａの根元部には監視カメラとして副カメラ６が配置されている。副カメラ６は支持塔７００上に配置されている。
突堤２ｂの根元部には監視カメラとして他の副カメラ８が配置されている。副カメラ８は支持塔９００上に配置されている。
支持塔５００、７００、９００の高さは、夫々３０ｍ程度であることが望ましい。
突堤２ｂには無線装置４４が配置されており、無線装置４４は離隔配置された信号処理器と配線ケーブルやネットワーク回線で接続されている。各センサの夫々の周辺には図示しないミリ波無線伝送装置が設けられている（図２で後述する）。
The
A
A
Another
The heights of the
A
船舶１０は主カメラ４の視野内で手前側に位置する。船舶１１は、船舶１０よりも主カメラ４の視野の奥行き方向に存在する。すなわち、船舶１１は、船舶１０に遮蔽されて主カメラ４視野内の死角領域に位置しており、主カメラ４からは存在確認ができない。
The
図２はこの発明の実施の形態１による港湾監視システムの構成を示す図である。
アンテナ装置３はレーダ信号処理器２０に接続され、レーダ信号処理器２０はレーダ制御器２１に接続されている。アンテナ装置３は所定の利得特性を有したビームを形成し、ビームのメインローブの方位角は一定となっている。レーダ信号処理器２０は、アンテナ装置３から送信され目標で反射されたアンテナ装置３の受信信号に基いて、目標の距離・方位を検出する。レーダ制御器２１は、回転台３ｂを回転駆動する。レーダ制御器２１は回転台３ｂによって駆動されるアンテナ装置３の回転角を検出する。レーダ制御器２１は、検出した回転角に基づいてレーダ信号処理器２０で検出された目標の距離・方位・移動速度を、レーダ装置３００に固定されたレーダ基準座標系に座標変換して、目標の距離・方位・移動速度を目標情報として出力する。
FIG. 2 is a diagram showing the configuration of the port monitoring system according to
The
レーダ制御器２１にはミリ波無線伝送装置３０が接続されている。アンテナ装置３は回転台３ｂ上に回転自在に支持されており、垂直軸周りにアンテナ装置３を旋回駆動する。回転台３ｂは図１の支持塔２２上に配置されている（図１では図示せず）。ミリ波無線伝送装置３０はレーダ制御器２１に接続され、レーダ制御器２１からの目標情報を無線装置４４に送信する。
A millimeter wave
主カメラ４はカメラ制御器２５に接続され、カメラ制御器２５はミリ波無線伝送装置３１に接続されている。主カメラ４で撮影された撮影画像は、カメラ制御器２５を介してミリ波無線伝送装置３１に送出される。主カメラ４はカメラ台５上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台５は図１の支持塔５００上に配置されている（図１では図示せず）。
カメラ台５はカメラ制御器２５によって駆動制御される。カメラ制御器２５はカメラ台５の駆動に伴なう主カメラ４の姿勢角（俯角／旋回角）を検出して、主カメラ４の指向方向の角度（カメラ台５の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を主カメラ４の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３１は、カメラ制御器２５の撮影画像と、主カメラ４のズーム比とカメラ制御器２５で検出される主カメラ４の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。
The
The
副カメラ６はカメラ制御器２６に接続され、カメラ制御器２６はミリ波無線伝送装置３２に接続されている。副カメラ６で撮影された撮影画像は、カメラ制御器２６を介してミリ波無線伝送装置３２に送出される。副カメラ６はカメラ台７上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台７は図１の支持塔７００上に配置されている（図１では図示せず）。
副カメラ６はカメラ制御器２６によって駆動制御され、カメラ制御器２６はカメラ台７の駆動に伴なう副カメラ６の姿勢角（俯角／旋回角）を検出して副カメラ６の指向方向の角度（カメラ台７の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ６の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３２は、カメラ制御器２６の撮影画像と、副カメラ６のズーム比とカメラ制御器２６で検出される副カメラ６の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。
The
The
副カメラ８はカメラ制御器２７に接続され、カメラ制御器２７はミリ波無線伝送装置３３に接続されている。副カメラ８で撮影された撮影画像は、カメラ制御器２７を介してミリ波無線伝送装置３３に送出する。副カメラ８はカメラ台９上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台９は図１の支持塔９００上に配置されている（図１では図示せず）。
副カメラ８はカメラ制御器２７によって駆動制御され、カメラ制御器２７はカメラ台９の駆動に伴なう副カメラ８の姿勢角（俯角／旋回角）を検出して副カメラ８の指向方向の角度（カメラ台９の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ８の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３３は、カメラ制御器２７の撮影画像と、副カメラ８のズーム比とカメラ制御器２７で検出される副カメラ８の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。
The
The
無線装置４４は、センサ系の各ミリ波無線伝送装置と無線通信で接続される。無線装置４４は、ミリ波伝送装置４０、４１、４２、４３を備えており、夫々ミリ波伝送装置３０、３１、３２、３３に無線通信で接続されて伝送情報の送受信が行われる。無線装置４４は信号処理器５５０に接続され、信号処理器５５０は表示装置６２に接続される。ミリ波無線伝送装置は、例えば５０ＧＨｚ帯のミリ波を用いて無線通信を行うものであって、単位時間当たりの信号伝送量が多く、数ｋｍ以内の短距離間での画像信号の伝送に適している。
ミリ波無線伝送装置は、音声信号と画像信号の２チャンネルで無線通信することができ、音声信号を利用して目標情報や各カメラの指向方向の角度などの制御情報を伝送することができる。
The
The millimeter wave wireless transmission apparatus can wirelessly communicate with two channels of an audio signal and an image signal, and can transmit control information such as target information and an angle in the direction of each camera using the audio signal.
入力部６１はマウスやボタンやキーボードなどの入力部品で構成され、信号処理器５５０に入力情報を入力する。また、入力部６１は表示装置６２に、カーソル位置やボタンの選択有無などの表示用の情報を入力する。また、各カメラの指向方向を所望の方向に移動させて、ズーム比を所望の大きさとするように、各カメラとカメラ台をマニュアル操作するための指定情報を入力することができる。
地図データベース６０は港湾１の地図データが格納されており、突堤の位置、領域、各センサ位置などの情報が事前に格納されている。
表示装置６２は、複数の画面表示ディスプレイを有しており、地図情報や入力部６１の入力情報、船舶の位置、各センサのセンシング領域（レーダの方位角やカメラの視野角範囲など）の表示や、各カメラの撮影画像の表示を行う。
The
The
The
図３は信号処理器、および表示装置の構成を示す図である。
図において、信号処理器５５０は、画像処理器５２ａ、５２ｂ、５２ｃを備えている。各画像処理器５２ａ、５２ｂ、５２ｃは、夫々ミリ波無線伝送装置４１、４２、４３で受信した撮影画像に基づいて、画像処理を行う。この撮影画像は、所定のフレームレート（１／３０秒）を有したビデオ信号を構成している。画像処理器５２ａ、５２ｂ、５２ｃで画像処理されて得られた目標画像情報は、追尾処理器５３ａ、５３ｂ、５３ｃに伝送される。また、ミリ波無線伝送装置４１、４２、４３で受信した撮影画像は、表示処理器５４ａ、５４ｂ、５４ｃに直接送出される。
FIG. 3 is a diagram showing the configuration of the signal processor and the display device.
In the figure, the
制御器５０は、画像処理器５２ａ、５２ｂ、５２ｃからの目標画像情報を演算器５１に送出する。また、制御器５０は、ミリ波無線伝送装置４１、４２、４３で受信した各カメラの指向方向の角度、ズーム比を含むカメラ制御情報を、演算器５１に送出する。
制御器５０は、ミリ波無線伝送装置４０で受信した目標情報を受信し、演算器５１に送出する。
演算器５１には、予めレーダ装置３００の設置位置とその基準座標系、主カメラ４の設置位置とその基準座標系、副カメラ６の設置位置とその基準座標系、副カメラ８の設置位置とその基準座標系等の座標情報が設定されている。
The
The
The computing unit 51 includes an installation position of the
この座標情報に基づいて、演算器５１では所定の演算処理が行われて、各種情報をシステム座標系の座標値で表現する。例えば、目標方向・目標までの距離・目標移動方向等の目標情報と、各カメラで計測されたカメラの指向方向の角度・ズーム比などのカメラ制御情報を、システム座標系に座標変換する。また、演算器５１は、カメラのズーム比に基づいてカメラの視野角範囲を演算する。例えば、ズーム比が１倍のときにカメラの視野角範囲φ０＝３０°（指向方向基準の視野角は±１５°）であるので、ミリ波無線伝送装置４１、４２、４３で受信したカメラ制御情報中のズーム比ｗで除算することによって、視野角範囲をφ＝φ０／ｗとして求めることができる。 Based on this coordinate information, the calculator 51 performs a predetermined calculation process, and expresses various types of information as coordinate values in the system coordinate system. For example, the target information such as the target direction, the distance to the target, the target moving direction, and the camera control information such as the angle of the direction of the camera and the zoom ratio measured by each camera are coordinate-converted into the system coordinate system. The calculator 51 calculates the viewing angle range of the camera based on the zoom ratio of the camera. For example, since the viewing angle range of the camera is φ 0 = 30 ° when the zoom ratio is 1 (the viewing angle based on the pointing direction is ± 15 °), the cameras received by the millimeter wave wireless transmission devices 41, 42, and 43 By dividing by the zoom ratio w in the control information, the viewing angle range can be obtained as φ = φ 0 / w.
演算器５１は、目標情報をシステム座標系から各カメラのカメラ基準座標に座標変換して、座標変換したカメラ基準座標での目標情報を、制御器５０に送出する。
演算器５１は、演算処理したシステム座標系基準の目標情報及びカメラ情報を、制御器５０経由で追尾処理器５３ａ、５３ｂ、５３ｃと、地図表示部７１に伝送する。
制御器５０は、各カメラのカメラ基準座標での目標情報を、無線装置４４を経由して各ミリ波無線伝送装置３１、３２、３３に送出する。
また、制御器５０は、各カメラの指向方向とズーム比を設定するためのカメラ制御目標情報を生成する。生成したカメラ制御目標情報の指向方向を各カメラのカメラ基準座標で座標変換して、座標変換した指向方向を含むカメラ制御目標情報を、無線装置４４を経由して、各ミリ波無線伝送装置３１、３２、３３に送出する。
The computing unit 51 converts the target information from the system coordinate system to the camera reference coordinates of each camera, and sends the target information at the camera reference coordinates after the coordinate conversion to the
The computing unit 51 transmits the computed system coordinate system reference target information and camera information to the tracking processing units 53 a, 53 b, 53 c and the
The
The
追尾処理器５３ａ、５３ｂ、５３ｃは、画像処理器５２ａ、５２ｂ、５２ｃで取得された目標画像情報に基づいて、目標の追尾処理を行う。追尾対象は、入力部６１の入力情報に基づいて、選択回路５５によって適宜設定される。
追尾処理では、現在の目標画像のマッチングパターンを形成し記憶する。同時に、目標画像の重心位置を計算する。そして、次のフレーム時間での画像信号中の目標画像と、記憶されたマッチングパターンとの間で、相関性を加味したパターンマッチング処理を行う。これによって、目標画像を追尾する。同時に、次のフレーム時間での目標画像の重心位置を計算して、漸次重心位置を演算する。演算された重心位置情報は制御器５０に出力される。なお、追尾処理に際して各種追尾フィルターを用いても良いことは言うまでもない。
制御器５０は、重心位置情報に基づいて各カメラ基準座標での指向方向を設定し、設定された指向方向を、各カメラ制御器に対してカメラ制御目標情報として伝送する。各カメラ制御器は当該カメラ制御目標情報中の指向方向を向くように、指向方向を制御する。
追尾処理器５３ａ、５３ｂ、５３ｃは、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲内であった場合は、追尾が外れていないと判断して、そのまま追尾を続行する。また、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲（所定の許容追尾誤差範囲）外であった場合は、追尾外れが生じていると判断する。
また、追尾処理器５３ａ、５３ｂ、５３ｃで演算された重心位置は、追尾目標位置情報として、地図表示部７１に送出される。
The tracking processors 53a, 53b, and 53c perform target tracking processing based on the target image information acquired by the
In the tracking process, a matching pattern of the current target image is formed and stored. At the same time, the center of gravity position of the target image is calculated. Then, a pattern matching process taking into account the correlation is performed between the target image in the image signal at the next frame time and the stored matching pattern. Thus, the target image is tracked. At the same time, the centroid position of the target image at the next frame time is calculated, and the gradual centroid position is calculated. The calculated barycentric position information is output to the
The
The tracking processors 53a, 53b, and 53c determine that tracking is not off when the movement amount of the center of gravity position between the past frame time and the current frame time is within a predetermined range, and perform tracking as it is. continue. Further, if the amount of movement of the center of gravity position between the past frame time and the current frame time is outside the predetermined range (predetermined allowable tracking error range), it is determined that the tracking error has occurred.
Further, the barycentric position calculated by the tracking processors 53a, 53b, 53c is sent to the
地図表示部７１は、制御器５０を介して地図データベース６０に格納された地図情報が表示される。地図データベース６０には、各センサ位置と、突堤の位置と形状図、及び突堤の面する港湾内の水域とが、色分けされて表示される。また、地図データベース６０には、実際の港湾内の水域の位置と、地図上の対応位置との縮尺比率が格納されている。地図表示部７１は、システム座標系での目標の座標値を入力することによって、地図上の対応する縮尺された位置が表示されるように成されている。地図表示部７１は、制御器５０から送られた目標情報及びカメラ情報に基づいて、画面表示用の表示情報を生成して、生成画面を画面表示する。
表示装置７２は表示部７２ａ、７２ｂ、７２ｃで構成される。表示処理器５４ａ、５４ｂ、５４ｃは、夫々ミリ波無線伝送装置４１、４２、４３から送出された撮影画像を表示処理し、表示部７２ａ、７２ｂ、７２ｃに画面表示する。
The
The
なお、画像処理器を１台の構成として、ミリ波無線伝送装置４０、４１、４２、４３から受信する画像情報を時分割で処理し、制御器５０や画像処理器５２ａ、５２ｂ、５２ｃ、及び表示処理器５４ａ、５４ｂ、５４ｃに伝送しても良い。
The image processor is configured as a single unit, and the image information received from the millimeter wave wireless transmission devices 40, 41, 42, 43 is processed in a time-sharing manner, and the
次に、図２、図３について各構成の動作について説明する。
アンテナ装置３は、回転台３ｂのアクチュエータに回転駆動されて一定の回転速度で正転／反転し、目標を捜索する。アンテナ装置３から送信電波が出力され、港湾内及び周辺の水域を航行中の船舶で送信電波が反射して、反射波がアンテナ装置３に再入射し受信される。レーダ信号処理器２０は、アンテナ装置３の受信信号についてモノパルス測角処理を行って目標方向（方位）を計測し、送信パルスの送信から受信までの時間に基づいて目標までの距離を計測する。また、受信信号中のドップラー周波数を検波することによって、目標の速度を計測する。
Next, the operation of each component will be described with reference to FIGS.
The
これによって、目標までの距離、目標の存在方向、目標の移動速度を計測することができる。レーダ制御器２１は、回転台３ｂのアクチュエータを駆動して回転角度を検出する。また、レーダ制御器２１は、レーダ装置３００に固定された座標系を基底として回転台３ｂの回転角度を用いることによって方向余弦行列を生成し、レーダ信号処理器２０で計測された目標の方位・移動速度の方向ベクトルを座標変換するとともに、距離と方位に基づいて位置座標を生成することによって、レーダ装置３００の固定座標系を基準とした目標方向・目標までの距離・移動速度の目標情報を得る。ミリ波無線伝送装置３０は、レーダ制御器２１で得られた目標情報を無線装置４４に送信し、送信情報が信号処理器５５０に入力される。
なお、アンテナ装置３の距離分解能は、５０ｍ以下であることが望ましい。これによって、異なる船舶が隣接して航行していても、５０ｍ以上離れている船舶同士を識別することができる。また、副カメラ６、副カメラ８の視野角が倍率１倍で３０度であるとした場合、５００ｍ先の船舶を５倍の倍率で見ても、５０ｍ以内に隣接する船舶を視野角内に納めることができる。
As a result, the distance to the target, the direction in which the target exists, and the moving speed of the target can be measured. The radar controller 21 detects the rotation angle by driving the actuator of the
The distance resolution of the
信号処理器５５０では、レーダ制御器２１で得られた目標情報が制御器５０に入力されると、制御器５０は演算器５１に入力情報を送出する。演算器５１は、予め設定されたレーダ装置３００のレーダ基準座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（レーダ基準座標系とシステム座標系との方向余弦行列）を生成する。生成された座標変換行列とレーダ装置３００の設置位置情報に基づいて、目標情報中の目標方向をシステム座標系で表現する。
In the
次に、演算器５１は、予め設定された主カメラ４のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。生成された座標変換行列に基づいて、システム座標系を基底とする目標方向ｐを、主カメラ４のカメラ座標系で表現する。主カメラ４はレーダ装置３００に近接配置されているので、レーダ装置３００の目標方向と主カメラ４の目標方向がほぼ一致していると見なす。また、演算器５１は、無線装置４４の受信したカメラ制御情報中の主カメラ４のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算する。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、主カメラ４は画面内に目標画像を捉える。図１に示す例では、主カメラ４は船舶１０を目標画像として捉える。同時に、ズーム比ｇによって、主カメラ４の視野角範囲をφ１＝φ０／ｇとして求める。
Next, the computing unit 51 determines a coordinate transformation matrix (camera coordinate system and the camera coordinate system) based on information on the camera coordinate system (orthogonal coordinate system) of the
制御器５０は、演算器５１で演算された、主カメラ４のカメラ座標系で表現された目標方向ｐとズーム比ｇとを、カメラ制御目標情報として、無線装置４４およびミリ波無線伝送装置３１を介してカメラ制御器２５に送出する。カメラ制御器２５は、カメラ台５を駆動制御して主カメラ４の指向方向を目標方向に向けるように制御する。
操作者は、入力部６１に主カメラ４とカメラ台５とをマニュアル操作するための指定情報を入力することができる。この指定情報の入力によって、主カメラ４のズーム比を適宜調整し、主カメラ４をズーミングして目標画像を表示部７２ａの画面内に捉えるようにする。
The
The operator can input designation information for manually operating the
主カメラ４で捉えた船舶１０の画像は、カメラ制御器２５、ミリ波無線伝送装置３１、及びミリ波無線伝送装置４１を介して、画像処理器５２ａに入力される。画像処理器５２ａでは、主カメラ４の撮影画像について、二値化処理、エッジ抽出処理、鮮鋭化処理などの各種画像フィルタリング処理を行うことによって、目標画像を抽出する。抽出された目標画像の重心を算出することによって、カメラ基準座標系での目標方向を算定する。算定された目標方向は制御器５０に送出される。先にレーダ装置３００から得られた目標までの距離が所定値（例えば１０００ｍ）以下の近距離である場合、画像処理器５２ａからの目標方向に基づいて、演算器５１でシステム座標基準における目標位置が演算される。
また、主カメラ４で捉えた船舶１０の画像は、表示処理器５４ａに入力される。表示処理器５４ａでは、船舶１０の画像を表示する。
更に、制御器５０は、演算された目標位置を地図表示部７１上に表示する。このとき、制御器５０は目標位置を地図表示部７１に入力することによって、地図表示部７１は、表示する地図上で対応する目標の位置を、船舶を示す記号を用いて地図表示部７１上に表示する。
The image of the
The image of the
Further, the
図４を用いて目標の位置演算の計算例を示す。図４（ａ）は主カメラ４による目標方向を示した斜視図、図４（ｂ）は上面図である。カメラ座標系での目標方向が俯角Ｅ、旋回角Ｂとして表現される場合、海面高さが０ｍ、主カメラ４の設置高さがＨｍとすると、主カメラ４のカメラ基準座標系での目標位置座標（図の例では船舶１０の位置座標）は、図４（ａ）、（ｂ）に示したＸ、Ｙ座標を用いて、
Ｘ＝ｔａｎ（９０°−Ｅ）×ｃｏｓＢ （１）
Ｙ＝ｔａｎ（９０°−Ｅ）×ｓｉｎＢ （２）
式（１）、（２）によって演算される。
A calculation example of target position calculation will be described with reference to FIG. 4A is a perspective view showing a target direction by the
X = tan (90 ° -E) × cosB (1)
Y = tan (90 ° -E) × sinB (2)
Calculation is performed by equations (1) and (2).
また、図５はシステム座標系で見たカメラ座標系の位置を示す図である。ここで、システム座標系とカメラ座標系の座標変換行列をＣとし、主カメラ４のカメラ座標系での目標位置Ｒ＝（Ｘ、Ｙ）とすると、システム座標系での目標位置ベクトルｒは、
ｒ２＝ＣｔＲ
ｒ＝ｒ１＋ｒ２
で演算される。但し、ｒ１はシステム座標系での主カメラ４の位置ベクトル、ｒ２は主カメラ４に対する目標位置ベクトル、ｔＲは目標位置座標Ｒの転置行列である。
FIG. 5 is a diagram showing the position of the camera coordinate system viewed in the system coordinate system. Here, if the coordinate transformation matrix between the system coordinate system and the camera coordinate system is C, and the target position R = (X, Y) in the camera coordinate system of the
r2 = C t R
r = r1 + r2
Calculated with Here, r1 is a position vector of the
次に、制御器５０は主カメラ４の目標方向と指向方向とが直交するカメラを選択する。
ここでは、次のように演算処理が成される。
演算器５１は、予め設定された副カメラ６のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。また、目標（船舶１０）位置と副カメラ６との位置差と、システム座標系と副カメラ６のカメラ座標系との座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ６のカメラ座標系で表現する。すなわち、目標位置を視野に捉えるための副カメラ６の指向方向を設定する。
Next, the
Here, the arithmetic processing is performed as follows.
The computing unit 51 generates a coordinate transformation matrix (camera coordinate system and system coordinate system) based on information on the camera coordinate system (orthogonal coordinate system) of the
例えば、演算器５１は図５で図示するベクトル演算処理を行う。
ここでは、目標位置ベクトル（座標）ｒと副カメラ６の位置ベクトル（座標）ｒ３から、副カメラ６に対する目標位置ベクトル（座標）ｒ４を、ｒ４＝ｒ−ｒ３として算出する。
このとき、副カメラ６に対する目標位置ベクトルｒ４と、主カメラ４に対する目標位置ベクトルｒ２の成す角度を求めると、例えば成す角θ１＝６０°となる。
For example, the calculator 51 performs the vector calculation process illustrated in FIG.
Here, the target position vector (coordinate) r4 for the
At this time, when the angle formed by the target position vector r4 for the
次に、同様にして、演算器５１は、予め設定された副カメラ６のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。また、目標位置と副カメラ６との位置差と、上述の生成した座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ６のカメラ座標系で表現する。
Next, in the same manner, the computing unit 51 determines a coordinate transformation matrix (based on the information of the preset camera coordinate system (orthogonal coordinate system) and the information of the system coordinate system (orthogonal coordinate system). (Cosine matrix of camera coordinate system and system coordinate system) is generated. Further, the target direction based on the system coordinate system is expressed in the camera coordinate system of the
例えば、図５に示すように演算器５１が演算を行う。
ここでは、目標位置ベクトル（座標）ｒと副カメラ８の位置ベクトル（座標）ｒ６から、副カメラ８に対する目標位置ベクトル（座標）ｒ５を、ｒ５＝ｒ−ｒ６として算出する。
このとき、副カメラ８に対する目標位置ベクトルｒ５と主カメラ４に対する目標位置ベクトルｒ２の成す角度を求めると、例えば成す角θ２＝１００°となる。
For example, as shown in FIG. 5, the calculator 51 performs the calculation.
Here, the target position vector (coordinate) r5 for the
At this time, when the angle formed by the target position vector r5 for the
制御器５０は、演算器５１の演算結果に基づいて、主カメラ４から見た目標の方向と副カメラ６から見た目標の方向との成す角θ１よりも、主カメラ４から見た目標の方向と副カメラ８から見た目標の方向との成す角θ２の方が、直交（９０°）に近いことを判定する。
これによって、制御器５１は副カメラ８を選択して、副カメラ８の視野内に目標を捉える。このとき、システム座標系と副カメラ８のカメラ基準座標系との座標変換行列Ｃ２を用いて、得られたｒ５から、副カメラ６から見た目標方向をＣ２ｒ５として算定する。
なお、所定のカメラを選択した場合、画像枠に色を付ける、画像を点滅させる、画像を大きくするなどの画像表示処理を行って、選択した副カメラの画像を、他の副カメラの画像と識別のできる情報を、画像中もしくは専用表示器に表示すると良い。
Based on the calculation result of the calculator 51, the
As a result, the controller 51 selects the
When a predetermined camera is selected, image display processing such as adding a color to the image frame, blinking the image, or enlarging the image is performed, and the image of the selected sub camera is changed to the image of the other sub camera. Information that can be identified is preferably displayed in an image or on a dedicated display.
制御器５０は、演算器５１で演算された、副カメラ８のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置４３およびミリ波無線伝送装置３３を介して、カメラ制御器２７に送出する。カメラ制御器２７は、カメラ台７を駆動制御して副カメラ８の指向方向を目標方向に向けるように制御する。これによって、副カメラ８は目標画像を取得する。副カメラ８の取得画像は、ミリ波無線伝送装置３３およびミリ波無線伝送装置４３を介して、画像処理器５２ｃに送出される。画像処理器５２ｃでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図４（ａ）、図４（ｂ）で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ８に対応したカメラ制御情報から副カメラ８の指向方向を得て、目標方向を俯角Ｅ、旋回角Ｂとする。この目標方向について、上述の式（１）、（２）を用いて、目標位置座標（すなわち、船舶１１の位置座標）を算定すれば良い。
なお、副カメラ８から船舶１１までの距離が所定値（例えば１０００ｍ）を超える場合は、副カメラ６で船舶１１を捉え、副カメラ６と副カメラ８の指向方向の交点から船舶１１の位置を算定して、位置算定精度を向上させることができる（これについては、図９の説明で後述する）。
The
Here, when the target position is calculated, the target position in the camera coordinate system is calculated in the same manner as described with reference to FIGS. 4 (a) and 4 (b). In this case, the orientation direction of the
In addition, when the distance from the
図１に示す例では、副カメラ８は船舶１０を目標画像として捉える。このとき、副カメラ８は船舶１０の方向から、主カメラ４の視野の奥行へ向かう水平方向へ、所定の角度分（例えば３０°）だけ指向方向を移動させる。この際、主カメラ４の奥行き方向は、副カメラ８に対する目標位置ベクトル（ｒ５）が主カメラ４に対して目標位置ベクトル（ｒ２）の方向へ移動するように、回転角度を設定すれば良い。例えば、ベクトルｒ２×ベクトルｒ５＝絶対値（ｒ２）×絶対値（ｒ５）×ｓｉｎθ２とした場合に、θ２を小さくする方向に回転させる。
In the example illustrated in FIG. 1, the
これによって、船舶１０に遮蔽されて主カメラ４の視野内に入らずに、船舶１０から所定距離（例えば３００ｍ）だけ離れた位置で航行中の船舶１１を、目標として捉えることができる。この際、表示部７２ｃに表示される副カメラ８の画像情報に基づいて、操作者が船舶１０の後ろに存在する船舶１１の存在を見つける。
また、操作者は副カメラ８のズーム比を適宜調整して、船舶１１を画面内一杯に捉えるようにする。この調整は、入力部６１に副カメラ８のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部６１に適宜設けられた指定完了指示キーを押下することによって、船舶１０の死角に存在する船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器５０に対して伝達する。
また、演算器５１は、無線装置４４の受信したカメラ制御情報中の副カメラ８のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算しても良い。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、副カメラ８は画面内に目標画像を捉える。
ズーム比が設定されると、ズーム比ｇによって副カメラ８の視野角範囲をφ２＝φ０／ｇとして求める。
Accordingly, the
In addition, the operator adjusts the zoom ratio of the
The computing unit 51 sets the camera to capture the target in the image based on the zoom ratio of the
When the zoom ratio is set, the viewing angle range of the
次に、制御器５０は、演算器５１で先に演算された、副カメラ６のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置４２およびミリ波無線伝送装置３２を介して、カメラ制御器２６に送出する。ここでは、目標方向として、副カメラ８で算定された船舶１１までの目標方向が与えられる。カメラ制御器２６は、カメラ台７を駆動制御して副カメラ６の指向方向を目標方向に向けるように制御する。これによって、副カメラ６は目標画像を取得する。
副カメラ６の取得画像は、ミリ波無線伝送装置３２およびミリ波無線伝送装置４２を介して、画像処理器５２ｂに送出される。画像処理器５２ｂでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図４（ａ）、図４（ｂ）で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ６に対応したカメラ制御情報から副カメラ６の指向方向を得て、目標方向を俯角Ｅ、旋回角Ｂとする。この目標方向について、上述の式（１）、（２）を用いて、目標位置座標（すなわち、船舶１１の位置座標）を算定すれば良い。
なお、副カメラ６から船舶１１までの距離が所定値（例えば１０００ｍ）を超える場合は、副カメラ６と副カメラ８の指向方向の交点から船舶１１の位置を算定して、位置算定精度を向上させることができる（これについては、図９の説明で後述する）。
副カメラ６の指向方向が設定されると、操作者は副カメラ６のズーム比を適宜調整して、船舶１１を画面内一杯に捉えるようにする。この調整は、入力部６１に副カメラ６のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部６１に適宜設けられた指定完了指示キーを押下することによって、船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器５０に対して伝達する。
また、演算器５１は、無線装置４４の受信したカメラ制御情報中の副カメラ６のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算しても良い。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、副カメラ６は画面内に目標画像として船舶１１を捉える。
ズーム比が設定されると、ズーム比ｇによって副カメラ６の視野角範囲をφ３＝φ０／ｇとして求める。
Next, the
The acquired image of the
Here, when calculating the target position, the target position in the camera coordinate system is calculated in the same manner as the contents described with reference to FIGS. 4 (a) and 4 (b). In this case, the orientation direction of the
When the distance from the
When the orientation direction of the
The computing unit 51 sets the camera to capture the target in the image based on the zoom ratio of the
When the zoom ratio is set, the viewing angle range of the
次に、図６、図７に基づいて画像表示例について説明する。
図６は地図表示部７１の表示画像を示す図である。図において、レーダ装置３００が突堤２ａの下方に位置し、主カメラ４が突堤２ａの下方でレーダ装置３００の周辺に位置し、副カメラ６が突堤２ａの上方に位置し、副カメラ８が突堤２ｂの上方に位置している点が図示されている。
主カメラ４の視野角範囲９０、副カメラ６の視野角範囲９１、及び副カメラ８の視野角範囲９２は夫々線で表示されている。視野角範囲９０は、視野角線９０ａ、９０ｂの間を示す。視野角範囲９１は、視野角線９１ａ、９１ｂの間を示す。視野角範囲９２は、視野角線９２ａ、９２ｂの間を示す。これらの視野角範囲は、上述したように演算器５１で事前に算定されている。図示の例では、視野角範囲９０と視野角範囲９１の交差領域には、船舶１０、１１が存在している。視野角範囲９１と視野角範囲９２の交差領域には、船舶１１のみが存在している。ここで、各船舶１０、１１は、レーダ装置３００もしくは主カメラ４で検出され、演算器５１で演算された船舶１０の位置と、副カメラ８で検出され演算器５１で演算された船舶１１の位置に基づいて、夫々地図上の対応位置が丸印で表示されている。船舶１０と主カメラ４との距離が所定距離以内であるときには、船舶１０の位置は主カメラ４の検出情報で得られる。また、船舶１０と主カメラ４との距離が所定距離を超えるときには、船舶１０の位置はレーダ装置３００の検出情報で得られる。船舶１１と副カメラ８との距離が所定距離以内であるときには、船舶１１の位置は副カメラ８の検出情報で得られる。船舶１１と副カメラ８との距離が所定距離を超えるときには、副カメラ８の検出情報で得られる船舶１１の位置座標を仮位置としておく。正確な位置算定方法については、後述する図９で説明する。
なお、図中の２ａ、２ｂは突堤に対応する地図を示すものであり、各センサについても図１と対応する符号を便宜的に用いて、地図上の表示情報を図示している。
また、図７（ａ）は表示部７２ａによる主カメラ４の画像を示し、図７（ｂ）は表示部７２ｃによる副カメラ８の画像を示し、図７（ｃ）は表示部７２ｂによる副カメラ６の画像を示す。また、図に示す十字カーソル１１０、１１１、１１２、１１３は、入力部６１でマウスなどによって入力されるものである。
Next, an example of image display will be described with reference to FIGS.
FIG. 6 is a diagram showing a display image of the
The viewing angle range 90 of the
In addition, 2a, 2b in a figure shows the map corresponding to a jetty, and also uses the code | symbol corresponding to FIG. 1 for each sensor, and has shown the display information on a map.
7A shows an image of the
入力部６１の入力情報は選択回路５５に送出され、選択回路５５は入力情報を制御器５０及び追尾処理器５３ａ、５３ｂ、５３ｃに送出する。制御器５０は、演算器５１で各カーソル（１１０、１１１、１１２、１１３）のカーソル位置に対応して、カメラ指向方向の座標を演算する。演算されたカメラ指向方向は、各ミリ波無線伝送装置を介して各カメラ制御器に送出される。各カメラ制御器は、各カメラが所望のカメラ指向方向を向くように、各カメラを制御する。
これによって、カーソル位置を所望の船舶位置に移動させてカーソルを選択することによって、対応するカメラの視野中心に所望の船舶を配置し、視野中心をカーソル位置に移動させることができる。また、所望の船舶をズームして表示することができる。
また、選択回路５５で選択されたカメラ指向方向は追尾処理器５３ａ、５３ｂ、５３ｃに出力されて、追尾対象目標の設定に利用することができる。
このように、撮影画像中の特定部位を指定入力可能な入力部と、入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を制御器が無線装置に伝送することによって、操作者は所望の水域や船舶を遠隔監視することができる。
さらに、各カメラの視野角範囲を地図表示部７１に表示し、地図画像と重ねて表示することによって、各カメラの視野角範囲の交差領域が、港湾の水域内のどこに存在しているのかが、明確に把握できるようになる。
同時に、この視野角範囲に対応する各カメラの撮影画像を、表示部７２ａ、７２ｂ、７２ｃに表示することによって、視野角範囲と撮影画像との関係を明確に把握することができるようになり、例えば表示装置を見ている操作者が、船舶１０に隣接する船舶１１の存在を容易に検出できるようになる。
なお、表示部７２ａ、７２ｂ、７２ｃと地図表示部７１とは、表示装置６２の同一面、もしくは同一画面上で画面分割して表示することによって、各カメラの視野角範囲と各カメラの撮影画像との対応関係が、より明確に把握できるようになる。
The input information of the
Thus, by moving the cursor position to the desired ship position and selecting the cursor, the desired ship can be arranged at the center of the field of view of the corresponding camera, and the center of view can be moved to the cursor position. In addition, a desired ship can be zoomed and displayed.
Further, the camera directivity direction selected by the
In this way, the input unit that can specify and input a specific part in the captured image, and the orientation direction of the secondary camera are set so that the specific part specified by the input unit is placed at the center of the visual field, and the controller wirelessly transmits the setting information. By transmitting to the device, the operator can remotely monitor a desired water area or ship.
Further, by displaying the viewing angle range of each camera on the
At the same time, by displaying the captured image of each camera corresponding to this viewing angle range on the
The
次に、図８に基づいて、副カメラの選択例について説明する。
図８は、主カメラ４の指向方向と、副カメラ６の指向方向と、副カメラ８の指向方向を図示している。
この例では、操作者がマニュアルで副カメラを選択する場合のマニュアル選択モードを示している。マニュアル選択モードでは、地図表示部７１に、現在の主カメラ４の指向方向１５、副カメラ６の指向方向１６、副カメラ８の指向方向１７が表示される。また、各カメラの位置と、各カメラの周辺にカメラ番号が表示される（図中の白抜きの数字）。
選択操作前の段階では、地図表示部７１の表示画面上には船舶１０のみが表示されているものとする。なお、船舶１０の位置は事前にレーダ装置３００の目標情報、または主カメラ４で得られたカメラ基準座標系での目標位置座標に基づいて図示されている。
Next, an example of selecting a sub camera will be described with reference to FIG.
FIG. 8 illustrates the directivity direction of the
This example shows a manual selection mode when the operator manually selects the sub camera. In the manual selection mode, the
It is assumed that only the
次に、操作者は、地図表示部７１の表示画像を見て、主カメラ４から死角になっているもので、かつ、指向方向が主カメラ４の指向方向１５と直交する方向に近いカメラを、副カメラとして選択することができる。図では、操作者は入力部６１に選択すべきカメラ番号を入力することによって、副カメラ８を優先的に選択することができる。この段階では、副カメラ８の指向方向は船舶１０を捕捉する方向に位置する。
Next, the operator looks at the display image of the
更に、副カメラ８を選択した後、船舶１１を捕捉するように、図の白抜き矢印方向へカメラの指向方向を移動させ、図の矢印１７の位置に配置させることによって、図７（ｂ）に示すような船舶１１の画像を得ることができる。
副カメラ８を選択した後、副カメラ８のズーム比を適宜設定して、副カメラ８を画像内に捕捉するようにすれば良い。これによって、図７（ｂ）のような画像を得る。すなわち、副カメラ６、副カメラ８に夫々対応した表示部７２ｂ、７２ｃ共、表示画面内には１台の船舶のみが表示されるように、カメラの指向方向とズーム比を設定する。
なお、上述したように、副カメラ８の選択は、主カメラ４との交差角に基づいてある程度自動的に、優先選択されても良いことは言うまでもない。
このマニュアル選択モードを用いることによって、主カメラ４、副カメラ６、副カメラ８に対応したカメラ制御器から出力されるカメラ制御情報に基づいて、各カメラで各船舶を捕捉したときの各船舶の指向方向を、操作者の操作によって、より正確に取得することができる。
Further, after selecting the
After selecting the
Needless to say, the selection of the
By using this manual selection mode, based on the camera control information output from the camera controller corresponding to the
次に、図９に基づいて、副カメラ６と他の副カメラ８の交点位置での演算処理について説明する。ここでは、図８の設定によって各カメラの指向方向が設定された段階以後の動作について説明する。すなわち、副カメラ６、副カメラ８の撮影画像中に、夫々１台の船舶のみが存在している場合について説明する。
図９に示すように、副カメラ６と副カメラ８の交差領域１００を、図に示すような船舶の存在領域として、例えば副カメラ６の視線と副カメラ８の視線の交線領域を○印で図示する。
次いで、演算器５１はこの交差領域１００の位置を演算することによって、交差領域内に存在する船舶の位置を特定することができる。例えば、副カメラ６の設置位置と指向方向、副カメラ８の設置位置と指向方向に基づき、三角測量の原理を用いて副カメラ６の視線と副カメラ８の視線との交線位置（交点）を演算することができる。
演算された交線位置は、追尾処理器５３ｂ、５３ｃに伝送されて、夫々捕捉中の船舶の画像追尾を行うための追尾情報として利用する。例えば、この交点位置によって船舶位置が正確に特定されるので、フレーム時間間隔毎の船舶位置の移動量を演算し、移動量が所定の追尾許容誤差範囲内であるかどうかを判断することによって、船舶の追尾処理が追尾エラー（追尾が外れて別の目標を追尾している状態）を生じているかどうかを判断することができる。また、例えば、移動量が所定の追尾許容誤差範囲内であれば追尾が正常に実行され、移動量が所定の追尾許容誤差範囲外であれば追尾処理が異常であると判断する。
さらに、演算された交線位置は制御器５０に送出される。制御器５０では、交線位置に基づいて、その交線領域に存在する船舶の位置を正確に特定することができる。この算定位置は、上述した式（１）、（２）を用いた演算よりも高い精度で算定できる。
Next, based on FIG. 9, the calculation process in the intersection position of the
As shown in FIG. 9, the
Next, the calculator 51 can determine the position of the ship existing in the intersection area by calculating the position of the
The calculated intersection line position is transmitted to the tracking processors 53b and 53c and used as tracking information for performing image tracking of the ship being captured. For example, since the ship position is accurately identified by this intersection position, the movement amount of the ship position for each frame time interval is calculated, and by determining whether the movement amount is within a predetermined tracking allowable error range, It is possible to determine whether or not the tracking process of the ship has caused a tracking error (a state in which tracking is missed and another target is being tracked). Further, for example, if the movement amount is within a predetermined tracking allowable error range, the tracking is normally executed, and if the movement amount is outside the predetermined tracking allowable error range, it is determined that the tracking process is abnormal.
Further, the calculated intersection line position is sent to the
次に、図１０に基づいて、画像追尾の表示例について説明する。
図に示すように、追尾中の船舶１１を丸印１８０で囲む。丸印１８０の範囲は、追尾エラーを生じないための、フレームレート毎の所定の追尾許容誤差の大きさを示している。丸印１８０の中心は、各追尾処理器５３ａ、５３ｂ、５３ｃで演算される追尾位置情報に対応付けられた、追尾対象とする船舶の、地図表示部７１で表示される追尾位置を表している。この追尾位置は、各カメラの指向方向と海面との交点にほぼ合致している。
また、図中の矢印１９０は、追尾目標の重心位置の移動方向を示す。この移動方向は、各追尾処理器５３ａ、５３ｂ、５３ｃで演算される、フレーム時間間隔毎の重心位置の移動方向から求めることができる。
または、副カメラ６の視線と副カメラ８の視線との交線位置の移動方向から、追尾中の船舶１１の移動方向を特定しても良い。
Next, a display example of image tracking will be described based on FIG.
As shown in the drawing, the tracking
An
Alternatively, the movement direction of the
次に、図１１に基づいて、港湾監視システムの処理フローについて説明する。
ステップＳ１０１では、水上レーダ３で目標検出し、目標までの距離、方向、速度を計測する。
ステップＳ１０２では、水上レーダ３で得られた目標方向に基づいて、主カメラ４の指向方向を目標に向ける。目標まで近距離の場合、主カメラ４の指向角度と設置高さと海面高さから、目標位置Ａを算定する。
ステップＳ１０３では、水上レーダ３で得られた目標方向、又は目標位置Ａに基づいて、主カメラ４の指向方向と直交する方向に最も近い角度で、目標を捉える副カメラ６を選択する。
ステップＳ１０４では、主カメラ４の視野内に存在せず、副カメラ６の視野内に存在する他の船舶を表示画面上で指定する。また、指定した他の船舶のみを視野内に捉えるように、副カメラ６をズーミングする。目標まで近距離の場合、主カメラ４の指向角度と設置高さと海面高さから、目標位置Ｂを算定する。
ステップＳ１０５では、他の副カメラ８を選択し、副カメラ８の捉えた船舶と同じ船舶のみを他の副カメラ８の視野内に捉えるように、他の副カメラをズーミングする。目標まで近距離の場合、他の副カメラ８の指向角度と設置高さと海面高さから目標位置Ｃを算定する。
ステップＳ１０６では、副カメラ６と他の副カメラ８の、両視野内に存在する船舶の位置Ｄを、副カメラ６と他の副カメラ８の指向方向の交差点によって算出する。この交差点位置Ｄに存在する船舶を自動追尾する。
これによって、監視水域内の船舶の位置を正確に算定することができる。
Next, the processing flow of the port monitoring system will be described based on FIG.
In step S101, the target is detected by the
In step S102, the directivity direction of the
In step S103, based on the target direction obtained by the
In step S104, another ship that does not exist in the field of view of the
In step S105, the
In step S <b> 106, the position D of the ship existing in both fields of view of the
Thereby, the position of the ship in the monitoring water area can be accurately calculated.
以上説明したように、この実施の形態によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも２つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。また、検出した各船舶の位置を特定することができる。 As described above, according to this embodiment, even in the case where a plurality of ships are navigating adjacent to each other, at least two surveillance cameras having different directivity directions from the water radar are used in the harbor. By monitoring the above, it is possible to reliably detect the presence of a vessel that navigates behind a neighboring vessel. Moreover, the position of each detected ship can be specified.
１ 港湾、２ 突堤、４ 主カメラ、６ 副カメラ、８ 副カメラ、１０ 船舶、１１ 船舶、３１、３２、３３ ミリ波無線伝送装置、４０、４１、４２、４３ ミリ波無線伝送装置、５０ 制御器、５１ 演算器、５５ 選択回路、６０ 地図データベース、６１ 入力部、６２ 表示装置、５３ａ、５３ｂ、５３ｃ 追尾処理器、７１ 地図表示部、７２ａ、７２ｂ、７２ｃ 表示部、３００ レーダ装置、５５０ 信号処理器。 1 Harbor, 2 Jetty, 4 Primary Camera, 6 Secondary Camera, 8 Secondary Camera, 10 Ship, 11 Ship, 31, 32, 33 Millimeter Wave Radio Transmission Device, 40, 41, 42, 43 Millimeter Wave Radio Transmission Device, 50 Control 51, computing unit, 55 selection circuit, 60 map database, 61 input unit, 62 display device, 53a, 53b, 53c tracking processor, 71 map display unit, 72a, 72b, 72c display unit, 300 radar device, 550 signal Processor.
Claims (7)
前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、
前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、
前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部と、
を備えた港湾監視システム。 A water radar that detects targets navigating in and around the port; and
A main camera with a zoom that is arranged adjacent to the water radar and shoots the target detected by the water radar so as to be included in the field of view;
A plurality of sub-cameras with a zoom, which are spaced apart from each other and have a different viewing direction from the main camera and shoot a ship navigating a water area farther than the target detected by the water radar so as to include in the field of view. When,
Based on the captured image and the viewing angle of each camera, the captured image of each camera is displayed on the screen, and the viewing angle range of each camera corresponding to the captured image is displayed superimposed on the map image. And
Harbor monitoring system equipped with.
前記各カメラの撮影画像と、前記各カメラのズーム比及び指向方向とを、夫々無線伝送する複数の無線伝送装置と、
前記無線伝送装置の伝送情報を受信する無線装置と、
前記無線装置で受信されたズーム比及び指向方向と、事前設定された前記各カメラの設置位置に基づいて、前記各カメラの視野角を演算する演算器と、
を備えたことを特徴とする請求項１記載の港湾監視システム。 A plurality of camera bases each changing the orientation of each camera;
A plurality of wireless transmission devices that wirelessly transmit the captured images of the cameras and the zoom ratios and directivity directions of the cameras;
A wireless device for receiving transmission information of the wireless transmission device;
An arithmetic unit that calculates a viewing angle of each camera based on a zoom ratio and a directivity direction received by the wireless device, and a preset installation position of each camera;
The harbor monitoring system according to claim 1, further comprising:
前記入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を前記無線装置に送出する制御器とを備え、
前記副カメラは、前記無線装置から前記無線伝送装置に伝送される指向方向に基づいて指向方向を夫々変更することを特徴とした請求項３記載の港湾監視システム。 An input unit capable of specifying and inputting a specific part in the captured image;
A controller that sets the direction of the sub camera so that the specific part specified by the input unit is set at the center of the visual field, and sends setting information to the wireless device;
The port monitoring system according to claim 3, wherein the sub camera changes a directivity direction based on a directivity direction transmitted from the wireless device to the wireless transmission device.
前記演算器で演算された交線位置を表示部に表示させる制御器とを備えたことを特徴とした請求項３記載の港湾監視システム。 A computing unit that computes an intersection position in the direction of the sub camera and the other sub camera;
The harbor monitoring system according to claim 3, further comprising a controller that causes a display unit to display the intersection line position calculated by the calculator.
前記演算器で演算された船舶の位置を示す情報を、前記表示部に表示させる制御器とを備えたことを特徴とした請求項１記載の港湾監視システム。 An arithmetic unit that calculates the position of the ship based on the orientation direction and the installation height and the sea level of each camera,
The harbor monitoring system according to claim 1, further comprising a controller that causes the display unit to display information indicating the position of the ship calculated by the calculator.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004087132A JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004087132A JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005277705A true JP2005277705A (en) | 2005-10-06 |
| JP4301051B2 JP4301051B2 (en) | 2009-07-22 |
Family
ID=35176910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004087132A Expired - Fee Related JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4301051B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008011212A (en) * | 2006-06-29 | 2008-01-17 | Mitsubishi Electric Corp | Monitoring device |
| US7359798B2 (en) * | 2003-02-18 | 2008-04-15 | Canon Kabushiki Kaisha | Method of controlling display of point information on map |
| JP2008270988A (en) * | 2007-04-17 | 2008-11-06 | Fujifilm Corp | Control device, control method, image pickup system, image pickup method, and program |
| JP2010529745A (en) * | 2007-05-30 | 2010-08-26 | ソニー エレクトロニクス インク | Forming substantially collinear wireless device pairs and mitigating interference effects |
| JP2014504394A (en) * | 2010-11-17 | 2014-02-20 | オムロン サイエンティフィック テクノロジーズ， インコーポレイテッド | Method and apparatus for monitoring zones |
| KR101552095B1 (en) | 2015-04-15 | 2015-09-11 | (주)나인정보시스템 | Seaside surveillance system using radar and camera |
| JP2016085602A (en) * | 2014-10-27 | 2016-05-19 | 株式会社日立製作所 | Sensor information integrating method, and apparatus for implementing the same |
| KR101750390B1 (en) * | 2016-10-05 | 2017-06-23 | 주식회사 알에프코리아 | Apparatus for tracing and monitoring target object in real time, method thereof |
| KR101798396B1 (en) * | 2016-03-22 | 2017-11-16 | (주)럭스콤 | The monitoring systems for Marine aquaculture and a shaft aligning method of the cameras |
| KR20180098911A (en) * | 2017-02-27 | 2018-09-05 | 주식회사유넷컨버전스 | Mapping system of camera indicating position for runway observation and its method |
| KR20200059424A (en) * | 2018-11-21 | 2020-05-29 | 주식회사 리안 | Ais vessel voyage information display system |
| CN113822217A (en) * | 2021-09-30 | 2021-12-21 | 杭州春来科技有限公司 | Ship tail gas monitoring method based on AIS and video image analysis |
| CN113990108A (en) * | 2021-10-22 | 2022-01-28 | 苏交科集团股份有限公司 | Ship optimization identification and real-time tracking method and anti-collision early warning system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101524154B1 (en) * | 2013-10-16 | 2015-05-29 | 삼성중공업 주식회사 | Location measurement apparatus of a ship using numerous cameras |
-
2004
- 2004-03-24 JP JP2004087132A patent/JP4301051B2/en not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359798B2 (en) * | 2003-02-18 | 2008-04-15 | Canon Kabushiki Kaisha | Method of controlling display of point information on map |
| JP2008011212A (en) * | 2006-06-29 | 2008-01-17 | Mitsubishi Electric Corp | Monitoring device |
| JP2008270988A (en) * | 2007-04-17 | 2008-11-06 | Fujifilm Corp | Control device, control method, image pickup system, image pickup method, and program |
| JP2010529745A (en) * | 2007-05-30 | 2010-08-26 | ソニー エレクトロニクス インク | Forming substantially collinear wireless device pairs and mitigating interference effects |
| US10841539B2 (en) | 2010-11-17 | 2020-11-17 | Omron Scientific Technologies, Inc. | Method and apparatus for monitoring zones |
| JP2014504394A (en) * | 2010-11-17 | 2014-02-20 | オムロン サイエンティフィック テクノロジーズ， インコーポレイテッド | Method and apparatus for monitoring zones |
| JP2016085602A (en) * | 2014-10-27 | 2016-05-19 | 株式会社日立製作所 | Sensor information integrating method, and apparatus for implementing the same |
| KR101552095B1 (en) | 2015-04-15 | 2015-09-11 | (주)나인정보시스템 | Seaside surveillance system using radar and camera |
| KR101798396B1 (en) * | 2016-03-22 | 2017-11-16 | (주)럭스콤 | The monitoring systems for Marine aquaculture and a shaft aligning method of the cameras |
| KR101750390B1 (en) * | 2016-10-05 | 2017-06-23 | 주식회사 알에프코리아 | Apparatus for tracing and monitoring target object in real time, method thereof |
| KR20180098911A (en) * | 2017-02-27 | 2018-09-05 | 주식회사유넷컨버전스 | Mapping system of camera indicating position for runway observation and its method |
| KR101908716B1 (en) * | 2017-02-27 | 2018-10-16 | 주식회사유넷컨버전스 | Mapping system of camera indicating position for runway observation and its method |
| KR20200059424A (en) * | 2018-11-21 | 2020-05-29 | 주식회사 리안 | Ais vessel voyage information display system |
| KR102299090B1 (en) | 2018-11-21 | 2021-09-07 | 주식회사 리안 | Ais vessel voyage information display system |
| CN113822217A (en) * | 2021-09-30 | 2021-12-21 | 杭州春来科技有限公司 | Ship tail gas monitoring method based on AIS and video image analysis |
| CN113990108A (en) * | 2021-10-22 | 2022-01-28 | 苏交科集团股份有限公司 | Ship optimization identification and real-time tracking method and anti-collision early warning system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4301051B2 (en) | 2009-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10237478B2 (en) | System and method for correlating camera views | |
| JP4301051B2 (en) | Harbor monitoring system | |
| US8508595B2 (en) | Surveillance camera system for controlling cameras using position and orientation of the cameras and position information of a detected object | |
| US7750936B2 (en) | Immersive surveillance system interface | |
| EP1341383B1 (en) | Composite camera system, zoom camera image display control method, zoom camera control method, control program, and computer readable recording medium | |
| US20060028550A1 (en) | Surveillance system and method | |
| EP3452848B1 (en) | Monitoring method using a camera system with an area movement detection | |
| JP2008241304A (en) | Object detector | |
| KR102001594B1 (en) | Radar-camera fusion disaster tracking system and method for scanning invisible space | |
| WO2006017402A2 (en) | Surveillance system and method | |
| JP2017135550A (en) | Flying object monitoring system | |
| JP4754283B2 (en) | Monitoring system and setting device | |
| CN113068000A (en) | Method, device, equipment and system for monitoring video target and storage medium | |
| JP2017167870A (en) | Flying object monitoring system, and flying object monitoring apparatus | |
| KR20230106958A (en) | Apparatus and method for providing position and orientation information of sea object based on camera | |
| KR102464212B1 (en) | Augmented reality system for ships using omnidirectional cameras | |
| JP2016090348A (en) | Sensor remote control system, remote operation device, sensor device and sensor remote control method | |
| KR100963108B1 (en) | System and method of watching moving object toward power transmission line | |
| JP2005252757A (en) | Monitoring camera system | |
| JP3007430B2 (en) | Target monitoring device | |
| JP2019144087A (en) | Controlling device | |
| JP2017181098A (en) | Object detection device | |
| CN110133747A (en) | A kind of target detection system of radar and optics linkage | |
| JPH05180936A (en) | Night voyage supporting device | |
| JPH1114737A (en) | Radar device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20060526 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20090331 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20120501 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20090413 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |