JP2021072003A - 安全航行のための警報装置、警報方法、及び警報プログラム - Google Patents
安全航行のための警報装置、警報方法、及び警報プログラム Download PDFInfo
- Publication number
- JP2021072003A JP2021072003A JP2019199447A JP2019199447A JP2021072003A JP 2021072003 A JP2021072003 A JP 2021072003A JP 2019199447 A JP2019199447 A JP 2019199447A JP 2019199447 A JP2019199447 A JP 2019199447A JP 2021072003 A JP2021072003 A JP 2021072003A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image data
- ship
- binarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000010276 construction Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000012544 monitoring process Methods 0.000 claims abstract description 53
- 230000007774 longterm Effects 0.000 claims abstract description 25
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 101100313164 Caenorhabditis elegans sea-1 gene Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】ビデオカメラ(2)から海面を含む画像の画像信号を取得する画像取得部(1321)と、画像信号からフレームごとに複数の監視領域画像データを切り出す画像切出部(1322)と、監視領域画像データから画像二値化データを生成する二値化データ処理部(1323)と、画像二値化データを所定の加算時間に亘って加算して短期サマリ画像データを生成する短期サマリ部(1326)と、各サマリ画像データの画像解析を順次行い、船舶候補に該当する画像領域を検出するとともに、船舶候補の画像トラッキングを行い記船舶候補が工事区域に向かっている船舶である可能性が高いか否かを判定する長期サマリ部(1237)と、船舶候補が工事区域に向かっている船舶である可能性が高いと判定されたとき、警報機に警報信号を出力する警報信号出力部(1328)と、を有する警報装置。
【選択図】図1
Description
図1は、第1実施形態に係る警報装置の一例の概要を説明する図である。
ビデオカメラ2は、例えば、解像度が3840×2160ピクセル、1秒間に60フレームの画像を撮影可能である高解像度カラービデオカメラである。ビデオカメラ2が各画素(ピクセル)の座標は(x,y):1≦x≦3840、1≦y≦2160、で表現される。ビデオカメラ2からの画像データは画素ごとに、例えば、赤(R)の色データ:R(x,y)、緑(G)の色データ:G(x,y)、及び青(B)の色データ:B(x,y)の3つを有する。すべての画素について3つの色データを出力せず、画素1つおきに出力するカメラもあるが、説明を簡単にするため本実施例ではすべての画素について3つの色データが出力されるものとする。
図2は、第1実施形態に係る警報装置のブロック構成の一例を示す図である。
図3は、第1実施形態に係る警報装置が行う処理フローの一例を示す図である。
背景差分は、撮影画像と事前に取得しておいた画像を比較することで、事前に取得した画像には存在しない物体を抽出する処理を可能にする。事前に取得した画像を背景画像と呼び、背景画像と比較する撮影画像を前景画像と呼ぶ。前の画像を背景画像として、1フレーム後の画像を前景画像として背景差分を取る単純な背景差分方法は、両フレームに存在する静止物に関する画像は消滅するが、検出したい移動体、例えば船舶に関する画像の一部も消えてしまう。また、海上の日照変動の発生や、カメラの移動、静止物が消失したときは適切な背景差分が得られない。本実施形態では、複数の画像を統計的に処理して背景画像を生成する。
RD1(x,y)≧DTHR、且つ、GD1(x,y)≧DTHG、且つ、BD1(x,y)≧DTHBのとき、FDB1(x,y)=1
RD1(x,y)<DTHR、又は、GD1(x,y)<DTHG、又は、BD1(x,y)<DTHBのとき、FDB1(x,y)=0
である。二値化することにより計算量が少なくなるので、警報装置1の処理速度が速くなり、処理アルゴリズムも簡単になる。本例では、FDB1(x、y)が取り得る値を0と1としたが、例えば0と255の組み合わせでもよい。
|RD1(x,y)|+|GD1(x,y)|+|BD1(x,y)|≧DTHのとき、
FDB1(x,y)=1
|RD1(x,y)|+|GD1(x,y)|+|BD1(x,y)|<DTHのとき、
FDB1(x,y)=0
である。
実施例では、背景差分処理は、監視領域画像データに含まれる3つの色データに対応したベクトルとして処理したが、ベクトル量をスカラー量に変換して処理してもよい。
Y(x,y)=kRR(x,y)+(1−kR−kB)G(x,y)+kBB(x,y)
である。kR、kBは変換係数であり、例えば、ITU−R B.709方式では、(kR,kB)=(0.2126,0.0722),ITU−R B.601方式では、(kR,kB)=(0.299,0.114)である。例えば、輝度(Y)データ、色差(U,V)データを直接出力するビデオカメラであれば、変換は不要である。
YD1(x,y)≧YTHのとき、YD1B(x,y)=1
YD1(x,y)<YTHのとき、YD1B(x,y)=0
である。
C(x,y)=R(x,y)+G(x,y)+B(x,y)
を使用を使用してもよい。演算処理を簡略化できる。
CW(x,y)=WR×R(x,y)+WG×G(x,y)+WB×B(x,y)
を使用してもよい。例えば、海面の色は青(B)系が主色であるとすると、青の重み付け係数WBを、他の重み付け係数WR、WGより小さくすれば、青(B)以外の色を主に有する物体が強調されることになる。
短期サマリ部1326は、第3の時間に亘って背景差分画像二値化データDB1、DB2、DB3、・・・を加算して、短期サマリ画像データSS1、SS2.SS3・・・を作成する短期サマリ処理を行う。短期サマリ処理によって、短期サマリ画像データは、海面上に一時的に表れたノイズ、例えば、波、海面の光の揺らぎ、静止物の微小な揺れが除去される。第3の時間は、ノイズ除去の効果が大きくなるように、波の発生周期、海面の上下動周期に合わせて適宜変更することが好ましい。例えば第3の時間は、1秒以上30秒以下が好ましい。短期サマリデータの画素座標(x,y)に対応するデータ値は、0又は1に限られず、0又は0以上の正数であることに留意されたい。
背景差分処理と短期サマリ処理により、静止物、振動する静止物、及び海面上に一時的に表れたノイズは除去され、短期サマリ画像データSS1、SS2.SS3・・・は、移動する物体に関する画像を含む画像データとなっている。長期サマリ部1327は、各短期サマリ画像データSS1、SS2.SS3・・・の画像解析を順次行い、船舶候補に該当する画像領域を検出するとともに、船舶候補の画像トラッキングを行い船舶候補が工事区域に向かっている船舶であることを判定する。
第1実施形態では、背景差分法により船舶画像を検出したが、第2実施形態では、色差分法により船舶画像を検出する。
図7は、第2実施形態に係る警報装置のブロック構成の一例を示す図である。
[色差分画像二値化データの生成]
ビデオカメラ2は、例えば、解像度がM×Nピクセルの性能を有する。各画素の座標は(x,y):1≦x≦M、1≦y≦N、で表現される。ビデオカメラ2からの画像データは画素(ピクセル)ごとに、赤(R)の色データ:R(x,y)、緑(G)の色データ:G(x,y)、及び青(B)の色データ:B(x,y)の3つを有する。すべての画素について3つの色データを出力せず、画素1つおきに出力するカメラもあるが、説明を簡単にするため本実施例ではすべての画素について色データが出力されるものとする。又、RGB色データ以外の、例えば輝度(Y)データ、色差(U,V)データを出力するカメラもあるが、RGBデータとYUVとの間の変換が可能であるので、以下、RGB色データを例にして説明する。
FC(x,y)=(R(x,y)−av(R))2+(G(x,y)−av(G))2+(B(x,y)−av(B))2
を用いてR、G、B色データを成分とするベクトル値をスカラー値に変換した色差分画像データを生成する。
FW(x,y)=WR(R(x,y)−av(R))+WG(G(x,y)−av(G))+WB(B(x,y)−av(B))
を用いて色差分画像データを生成してもよい。例えば、海面の色は青(B)系が主色相であるとすると、青の重み付け係数WBを、他の重み付け係数WR、WGより小さくすれば、青(B)以外の色相を主に有する物体が強調されることになる。
FC(x,y)≧CBthのとき、FCB(x,y)=1
FC(x,y)<CBthのとき、FCB(x,y)=0
である。FCB(x、y)は、画素(x、y)の色差分二値化処理されたデータを示している。本例では、FCB(x、y)が取り得る値を0と1としたが、例えば0と255の組み合わせでもよい。
FW(x,y)=WR(R(x,y)−av(R))+WG(G(x,y)−av(G))+WB(B(x,y)−av(B))
を用いて色差分画像データを生成する場合も同様に色差分二値化処理することができる。重み付け係数WR、WG、WBは、多くのサンプルデータを用いて統計的に設定されてもよい。変動要素が多くあるため、例えば、回帰分析やベイズ推定の統計的手法を用いることが好ましい。
図8は、第2実施形態に係る警報装置が行う処理フローの一例を示す図である。
FC(x,y)=(R(x,y)−av(R))2+(G(x,y)−av(G))2+(B(x,y)−av(B))2
を用いてR、G、B色データを成分とするベクトル値をスカラー値に変換した色差分画像データを生成する(ST804)。
11、71 表示部
12,72 操作部
13、73 制御部
131、731 制御記憶部
132、732 制御処理部
14、74 インターフェース
2 ビデオカメラ
3 警報機
Claims (6)
- 工事区域に設置されたビデオカメラから海面を含む画像の画像信号を取得する画像取得部と、
前記取得した画像信号からフレームごとに所定の画像水平方向を長辺とする矩形画像データを複数の監視領域画像データとして切り出す画像切出部と、
前記監視領域画像データを所定の二値化閾値を用いて画像二値化データを生成する二値化データ処理部と、
前記画像二値化データを所定の加算時間に亘って加算して短期サマリ画像データを生成する短期サマリ部と、
各前記短期サマリ画像データの画像解析を順次行い、船舶候補に該当する画像領域を検出するとともに、前記船舶候補の画像トラッキングを行い前記船舶候補が工事区域に向かっている船舶である可能性が高いか否かを判定する長期サマリ部と、
前記船舶候補が工事区域に向かっている船舶である可能性が高いと判定されたとき、警報機に警報信号を出力する警報信号出力部と、
を有する警報装置。 - 前記二値化データ処理部は、
第1の時間に亘る前記複数の監視領域画像データの一部から背景画像データを生成する背景画像生成部と、
前記背景画像データと前記複数の監視領域画像データの内前記第1の時間から第2の時間経過した所定の監視領域画像データとの背景差分をとり、前記二値化閾値を用いて前記画像二値化データを生成する背景差分二値化部と、
を有する請求項1に記載の警報装置。 - 前記二値化データ処理部は、
前記監視領域画像データに含まれるR、G、B色データの各平均値を計算する色相平均部と、
前記監視領域画像データの各画素の色相値と前記色データの各平均値の差に関連する色差分画像データを生成し、色差分閾値を用いて前記画像二値化データを生成する色差分二値化部と、
を有する請求項1に記載の警報装置。 - 前記海面を含む画像は海面と空又は海面と陸との境界を含む画像であり、前記監視領域画像データは前記境界を含む画像データである、請求項1〜3のいずれか一項に記載の警報装置。
- 工事区域に設置されたビデオカメラから海面を含む画像の画像信号を取得することと、
前記取得した画像信号からフレームごとに所定の画像水平方向を長辺とする矩形画像データを複数の監視領域画像データとして切り出すことと、
前記監視領域画像データを所定の二値化閾値を用いて画像二値化データを生成することと、
前記画像二値化データを所定の加算時間に亘って加算して短期サマリ画像データを生成することと、
各前記短期サマリ画像データの画像解析を順次行い、船舶候補に該当する画像領域を検出するとともに、前記船舶候補の画像トラッキングを行い前記船舶候補が工事区域に向かっている船舶である可能性が高いか否かを判定することと、
前記船舶候補が工事区域に向かっている船舶である可能性が高いと判定されたとき、警報機に警報信号を出力することと、
を有する警報方法。 - コンピュータを動作させるプログラムであって、
工事区域に設置されたビデオカメラから海面を含む画像の画像信号を取得することと、
前記取得した画像信号からフレームごとに所定の画像水平方向を長辺とする矩形画像データを複数の監視領域画像データとして切り出すことと、
前記監視領域画像データを所定の二値化閾値を用いて画像二値化データを生成することと、
前記画像二値化データを所定の加算時間に亘って加算して短期サマリ画像データを生成することと、
各前記短期サマリ画像データの画像解析を順次行い、船舶候補に該当する画像領域を検出するとともに、前記船舶候補の画像トラッキングを行い前記船舶候補が工事区域に向かっている船舶である可能性が高いか否かを判定することと、
前記船舶候補が工事区域に向かっている船舶である可能性が高いと判定されたとき、警報機に警報信号を出力することと、
をコンピュータに実行させる警報プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199447A JP6915812B2 (ja) | 2019-10-31 | 2019-10-31 | 安全航行のための警報装置、警報方法、及び警報プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199447A JP6915812B2 (ja) | 2019-10-31 | 2019-10-31 | 安全航行のための警報装置、警報方法、及び警報プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021072003A true JP2021072003A (ja) | 2021-05-06 |
JP6915812B2 JP6915812B2 (ja) | 2021-08-04 |
Family
ID=75713205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019199447A Active JP6915812B2 (ja) | 2019-10-31 | 2019-10-31 | 安全航行のための警報装置、警報方法、及び警報プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6915812B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117818851A (zh) * | 2024-03-04 | 2024-04-05 | 成都锦城学院 | 一种船舶监测系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05145928A (ja) * | 1991-11-21 | 1993-06-11 | Hitachi Zosen Corp | デジタル画像伝送装置 |
JPH06319141A (ja) * | 1993-05-10 | 1994-11-15 | Toshiba Corp | 監視装置 |
JPH09288732A (ja) * | 1996-04-23 | 1997-11-04 | Mitsubishi Heavy Ind Ltd | 航行船舶認識装置 |
JP2005261660A (ja) * | 2004-03-18 | 2005-09-29 | Sony Corp | 情報生成装置及び情報生成方法 |
JP2008204105A (ja) * | 2007-02-19 | 2008-09-04 | Shikoku Chuboki Seizo Kk | 自動食事摂取量計測システム及び自動食事摂取量計測方法 |
JP2012003549A (ja) * | 2010-06-17 | 2012-01-05 | Toshiba Teli Corp | 異常走行車両検出システムおよび道路監視プログラム |
JP2018073049A (ja) * | 2016-10-27 | 2018-05-10 | 株式会社リコー | 画像認識装置、画像認識システム、及び画像認識方法 |
-
2019
- 2019-10-31 JP JP2019199447A patent/JP6915812B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05145928A (ja) * | 1991-11-21 | 1993-06-11 | Hitachi Zosen Corp | デジタル画像伝送装置 |
JPH06319141A (ja) * | 1993-05-10 | 1994-11-15 | Toshiba Corp | 監視装置 |
JPH09288732A (ja) * | 1996-04-23 | 1997-11-04 | Mitsubishi Heavy Ind Ltd | 航行船舶認識装置 |
JP2005261660A (ja) * | 2004-03-18 | 2005-09-29 | Sony Corp | 情報生成装置及び情報生成方法 |
JP2008204105A (ja) * | 2007-02-19 | 2008-09-04 | Shikoku Chuboki Seizo Kk | 自動食事摂取量計測システム及び自動食事摂取量計測方法 |
JP2012003549A (ja) * | 2010-06-17 | 2012-01-05 | Toshiba Teli Corp | 異常走行車両検出システムおよび道路監視プログラム |
JP2018073049A (ja) * | 2016-10-27 | 2018-05-10 | 株式会社リコー | 画像認識装置、画像認識システム、及び画像認識方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117818851A (zh) * | 2024-03-04 | 2024-04-05 | 成都锦城学院 | 一种船舶监测系统及方法 |
CN117818851B (zh) * | 2024-03-04 | 2024-05-24 | 成都锦城学院 | 一种船舶监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6915812B2 (ja) | 2021-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10121078B2 (en) | Method and system for detection of foreign objects in maritime environments | |
JP6319785B2 (ja) | 異常潮位変動検知装置、異常潮位変動検知方法、及び異常潮位変動検知プログラム | |
JP6676728B2 (ja) | 極地海域における海氷領域の探知方法およびそのための探知システム | |
JP4937029B2 (ja) | 物体検出装置及びプログラム | |
CN104297758A (zh) | 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法 | |
Bloisi et al. | Camera based target recognition for maritime awareness | |
JP2008268183A (ja) | 水中探知装置 | |
CN111123251B (zh) | 一种雷达的目标对象检测方法及装置 | |
JP2001041803A (ja) | 液面検出方式 | |
JP6915812B2 (ja) | 安全航行のための警報装置、警報方法、及び警報プログラム | |
CN115035182A (zh) | 一种山区滑坡灾害预警方法及系统 | |
CN112686106A (zh) | 一种视频图像转海事雷达图像的方法 | |
Sumimoto et al. | Machine vision for detection of the rescue target in the marine casualty | |
JP4686773B2 (ja) | 動体認識方法および動体認識装置 | |
Nakagawa et al. | Super resolving of the depth map for 3D reconstruction of underwater terrain using kinect | |
JP4302801B2 (ja) | 物体追跡方法及び物体追跡装置 | |
US8433139B2 (en) | Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality | |
CN115082811A (zh) | 一种依据图像数据的海上航行船舶识别与距离测量的方法 | |
KR102269383B1 (ko) | 선박 운항 지원 시스템 및 이를 포함하는 선박 | |
JP3785824B2 (ja) | 自動船舶航跡検出装置 | |
JP2007257078A (ja) | 画像検索装置 | |
CN111665499A (zh) | 一种降低船载雷达海上溢油预警误判率的判定方法 | |
Patino et al. | A comprehensive maritime benchmark dataset for detection, tracking and threat recognition | |
Smith et al. | The statistical characterization of the sea for the segmentation of maritime images | |
JP7270537B2 (ja) | 物体検出装置、船舶、および物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |