JP2014530406A - 海洋哺乳類の自動化されたリアルタイム取得（ａｃｑｕｉｓｉｔｉｏｎ）のための方法 - Google Patents

Abstract

熱的識別特性（ＴＳＭＭ）を検出することに基づいて海洋哺乳類の存在を監視することは、これまで監視員によって手動で、又は簡単な部分的にのみ自動化されたプロトタイプで実行されてきた。そのような方法を用いると、高度の使いやすさと組み合わされた迅速で信頼性がある画像処理において問題がある。本発明による方法は、画像前処理工程（ＦＰＰ）中の断片における、画像補正及び重みが付けられていない完全な画像分割（ＳＥＧ）；検出工程（ＤＥＴ）における、検出された局所コントラスト変化に基づく閾値アルゴリズムの使用；分類工程（ＣＬＡ）における、二つのクラスへの細分化のための、ハイパー面（ＨＥ）を備えたサポートベクター法（ＳＶＭ）の助けを借りる監視された学習の使用；局在化工程（ＬＯＣ）における、検出された熱的識別特性（ＳＭＭ）の距離、及び船舶（ＲＶ）に対する時間と空間に亘るその変化の自動的計算；検証工程（ＶＥＲ）における、オペレータによる決定の瞬間的チェックの可能性；並びに、文書化工程（ＤＯＣ）における、海洋哺乳類の検出された熱的識別特性（ＴＳＭＭ）のユーザ固有の画像データ（ＩＲＶ）の自動的提供を含む。完全な又は部分的な周辺監視を備えた赤外線カメラシステム（ＩＲＣ）、及び地平線（ＨＺ）に対するアクティブなジャイロスコープ安定化が、データを生み出すために使用される。

Description

発明は、海洋哺乳類の自動化されたリアルタイム取得のための方法に関する。
（関連出願）
２０１１年９月１９日に出願された米国仮出願番号６１／５３６，１３１、及び２０１１年９月１８日に出願されたドイツ出願番号１０ ２０１１ １１４ ０８４の優先権を主張し、その出願の各々の全開示が本明細書に参照することにより取り込まれている。

海洋哺乳類（海の哺乳類）には、海において生きるように再調整してきた全ての哺乳類、特に、クジラ及びアザラシの全てのタイプも含まれる。そこで、特に、クジラは絶滅の脅威に非常に曝されている。直接的な視覚的検出の他に、そのような海洋哺乳類は、なかでも、ひれ及びいかりづめ（ｆｌｕｋｅ）のような、特に、出現する体の部分のような、それらの熱的識別特性（ｔｈｅｒｍａｌ ｓｉｇｎａｔｕｒｅ）、つまり、熱によって生み出される識別特性、クジラのブロー（噴気孔から吐き出された体温の呼吸気）、及び所謂「足跡」、つまり、動物の軌跡における水の乱れによっても認識されることができる。（例えば、風力発電所に対する突き固め作業、又は石油及びガス工業の水中音波探索のような）海中で騒音を生み出している人為的作業が海洋哺乳類に及ぼす影響、例えば、米国及び英国のＥＥＺ（排他的経済水域）内での地震地球物理学的調査に関する次第に増えている関心故に、所謂「緩和半径」である典型的に１キロメータ〜３キロメータの半径における、海洋哺乳類が存在する中で、地震カノン砲（「空気銃」）のスイッチを切ることが要求される。空気銃を使用するより前に、３０分の哺乳類がいない観察期間が更に要求される。海洋哺乳類が緩和半径内に存在するか、又はその中に入り込んでくるリスクがあるか否かは、現在では通常、日中は、同時に働いている３人までの監視員の目視観測によって検出される。しかしながら、夜間又は視程（視距離、反射、照明条件）、又は気象条件（風、霧、荒波）が悪い時は、目視観測が実現されることができない。十分な視程があっても、通常より長い期間に亘って起こる地平線全体に渡る目視観測には、しばしば非常に変わる波の背景に対して、検出されようとする海洋哺乳類の熱的識別特性が、殆どの場合２、３秒間視認可能である故に、監視員の最高の集中力が要求される。従って、迅速に始まる（ｓｅｔ ｉｎ）疲労の故に、各監視員は観察のために比較的短時間の間しか配置できない。従って、カメラ及び記録された画像の自動解析を備えた自動システムを使用する試みが次第に増えている。そこで、以前の試みは主として、赤外線カメラが画像源として使用されるサーモグラフィー方法に集中してきた。

以下に、先ず、当業者にそれらがよく知られているため、使用される用語の二、三の基本定義をリストアップする。

分類、類型化又は分類学は、識別及び組織化のために使用されるクラス（また、概念、タイプ又はカテゴリ）を抽出する系統的収集である。個々のクラスは通常、分類を用いて、つまり、或る特性に基づく対象物の区分けによって確立され、そして階層的に配置される。クラス名の量は制御された語彙を形成する。或る分類の一致しているクラスを選択することによって対象物へ分類を適用することは、格付けと呼ばれる。

検証すること又は検証は、仮定された又は主張された事実が正しいことの証明である。用語は、真実の確立において、人が、提出された証拠に依存することのみを望むか、または、本ケースの場合に与えられる、検証（ウィキペディアのキイワード「検証」を参照）としての独立したオーソリティーの議論による、実際にはより容易に実現できる、事実の審査及び認証を確認することも考慮するかに依存して、異なって使用される。

監視された学習は、機械学習のサブ領域である。そこで、学習は原理を再現する能力を意味する。その結果は、自然の法則又は専門家の知識によって知られ、そしてシステムを訓練するために使用される。学習アルゴリズムは、できるだけエラーしない予測を行う仮説を見出そうと試みる。そこで、仮説は、仮定された出力値を各入力値に割り当てるイメージを意味する。それに対して、アルゴリズムは、選択された仮説クラスの自由パラメータを変える。方法は、学習されようとする出力に依存し、それは事前に決定され、その結果が知られている。学習プロセスの結果は、公知の正しい結果と比較できる、つまり、「監視される」ことができる。訓練又は学習プロセスに続いて、それぞれ、システムは、学習された例と同様、未知の入力に対して正しい出力を送達することができるべきである。これらの能力を試験するために、システムが検証される。一つの可能性は、利用できるデータを訓練セット及び試験セットに細分化することである。目的は、訓練のためには使用されない試験セットにおける誤差測定を最小化することである。交差検証法はそのためにしばしば適用される。

サポートベクターマシーン（ＳＭＶ）は選別機であり、そしてクラス制限の周りに目的物がない、できるだけ広い領域が残るように、多くの目的物をクラスに細分化する。サポートベクター法は、コンピュータプログラムにおいて実行されるパターン検出の純粋に数学的な方法である。サポートベクターマシーンの構築に対する出発点は、多くの訓練対象物（訓練データセット）であり、それに対して、どのクラスにそれらが属するかがそれぞれ知られている。各対象物（各データセット）はベクター空間におけるベクターによって表される。分割レベルとして作用しそして訓練対象物を二つのクラスに分割するこの空間内にハイパーレベルを合わせることがサポートベクターマシーンの仕事である。そこで、ハイパーレベルに最も近いそれらのベクターの距離は最大化される。その後、この広い空の余地は、訓練対象物と正確には一致しない目的物もできるだけ信頼できるように分類されることを供するようになる。ハイパーレベルの使用に際して、全ての訓練ベクターを観察する必要はない。ハイパーレベルから更に離れて位置するベクター及び他のベクターの正面の後ろの「隠されたもの」の種類は、分割レベルの場所及び位置に影響を及ぼさない。ハイパーレベルはそれに最も近いベクターにのみ依存し、そしてそれらのみが、数学的に正しい方法でレベルを記述することを要求される。これらの最近接ベクターはそれらの機能によってサポートベクターと呼ばれ、そしてサポートベクターマシーンにそれらの名前を与えた。対象物が線形に分離されることができるときにのみ、ハイパーレベルとの明確な区切りが可能であるように、ハイパーレベルは「曲げる」ことができない。これは一般的に、実際の適用の場合にはない。線形に分離されることができないデータの場合、サポートベクターマシーンは、非線形クラス制限を挿入するためにカーネルトリックを使用する。カーネルトリックの背後にあるアイデアは、ベクター空間、ひいてはその中に置かれた訓練ベクターも、より高次元の空間内に移行することである。十分に高次元を備えた部屋において−不明確な疑いの場合−最も入れ子にされたベクター量でさえ線形に分離できる。このより高次元空間において、分離しているハイパーレベルがここで決定される。より低次元空間内への再変換の際に、線形ハイパーレベルは非線形の、おそらく不連続（ｎｏｎｃｏｎｔｉｇｕｏｕｓ）のハイパー領域にさえなり、それは訓練ベクターを二つのクラスに明確に分離する（非特許文献１を参照）。

主成分分析（ＰＣＡ）は、特に、画像処理において使用され、そして多変量統計の方法である。それは、できるだけ重要なより低い数の線形組合せ（「主成分」）によって、多数の統計的変数を近似することによって複雑なデータセットの構築、簡略化及び説明する（ｉｌｌｕｓｔｒａｔｅ）のに役立つ。その下に存在するデータセットは典型的に目的物及びそれらの特性のマトリックス構造を有する。そのようなデータセットはｐ次元空間における多くのｎ個の点として説明できる。主成分分析の目的は、そこで、できるだけ少ない情報しか失われず、そして本重複（ｐｒｅｓｅｎｔ ｒｅｄｕｎｄａｎｃｙ）が、相関の形においてデータポイントに要約されるように、これらのデータ点をｑ次元のサブ空間内に投影する（ｐｒｏｊｅｃｔ）ことである。数学的には、主軸変換が実行される。主成分分析は、各データセットに対して、独立した変換マトリックスが計算されなければならない故に、問題依存型である。座標系の回転は、共分散マトリックスが対角化される、つまり、データが相関を失わされる（関連が共分散マトリックスの非対角エントリーである）ように実行される。普通に分配されたデータセットに対して、これは、正規分布が、ゼロ番目の（標準化）、第一の（平均値）及び第二のモーメント（共分散）によって完全に特徴付けられる故に、ＰＣＡに続いて、各データセットのそれぞれの成分が統計的に互いに独立であることを意味する。もし、データセットが正規に分配されない場合、次いで、ＰＣＡの後でさえ−ここで相関をなくするものの−データはまだ統計的に依存するであろう。このように、特に、正規に分配されるデータセットに対して、ＰＣＡは最適な方法である。

制限値法（第一のブレークピッキング）に対して、データは狙いどおりに選択され、それらは所定の制限値（閾値）の上下にある。ＳＴＡ／ＬＴＡ商法（ｑｕｏｔｉｅｎｔ ｍｅｔｈｏｄ）に対して、商は、それぞれの問題に対して重要なパラメータの異なる平均値から形成され、そして適用可能な場合、特定化された、時間及びケースに依存する可変制限値に関連付けられる。制限値アルゴリズムの適用は、特に、地震学から知られている（非特許文献２を参照）。

論文、「非特許文献３」は、本発明の発明者らによって始められそして監督された。

この論文において、水面の走査のために、２４度の取得角度（ａｃｑｕｉｓｉｔｉｏｎ ａｎｇｌｅ）を備えた一つの視覚カメラ、及び１２度又は７度の取得角度を備えた二つの赤外線カメラ、それぞれが、静的方法で赤外線カメラシステムとして使用された（論文の頁９、図１．５を参照）。主要モジュール型パイプライン処理は、６２頁、図５．１において示され、そして関連したモジュール階層は、論文の４７頁、図４．２において示される。全体の処理において、画像の前処理は、既に全体検出プロセスの不可欠な構成要素（ｉｎｔｅｇｒａｌ ｃｏｍｐｏｎｅｎｔ）を表す（論文の頁２４、図２．２を参照）。画像の前処理において、画像データは、ＦＩＦＯ原理（先入れ先出し）に従って、リングバッファ中に保存される（論文の頁５３、章４．３．１を参照）。画像のセグメント化に対して、画像は重みを付けられた画像部分に細分化され、ここで、一方では類似の特徴を備えた均一にセグメント化された目的物、そして他方では目的物限界（ｏｂｊｅｃｔ ｌｉｍｉｔｓ）が見出される。しかしながら、そのような重みを付けられたセグメント化を用いて、関連信号は既に失われ得る。画像の前処理において既に、幾つかのガウスフィルタ及び経験的に決定された重みを付けられ値を使用して、信号／騒音比の改善が試みられる（論文の頁６８、表５．１を参照）。しかしながら、フィルタリングによって、関連信号は同様に失われ得る。因子の経験的決定を用いて、後ほどの分類に対して要求されるデータは追加的に無視され得る。検出において、ソーベルフィルタは、信号が強化された画像に対して二度適用される。これにおいては、最も高い強度（つまり、最高のエッジ急峻さ）の点のみが分類のために考慮され、そして使用される。局所的コントラストは考慮されないままに留まる。分類は、画像における同じ点で、１列において５度（同じように純粋に経験的に定められた値）、最も高いエッジ絶壁が検出されたか否かの調査から成る。現在の境界条件（変えられた環境条件）に対する調整に関する最適化は行われない。

検証、局在化及び文書化は公知の処理方法の主要構成部分ではない。それらは論文においてわずかにのみ参照される。検証に対して、保存されたデータが、プレイバック機能を介して再び検索できることのみが記される（論文の頁５２、章４．２．３を参照）。位置同定に関する局在化に対して、全地球的位置データ（ＧＰＳ）が統合（ｉｎｔｅｇｒａｔｅ）できる（論文の頁５４、章４．３．２を参照）。情報を更なる使用ができるようにすることに関する文書化に対して、恒久的データキャリア上への保存（論文の頁７７中央のを参照）及びウエブ上ヘの年代順のリストアップ（論文の頁８０トップを参照）が記述される。

更に、非特許文献４から、個々の態様は、この特許出願において初めて包括的に述べられたシステムについて知られており、このシステムはクジラ観察のために赤外線カメラ（ＦＩＲＳＴ−Ｎａｖｙ）を使用し、それは調査船のマストに取り付けられる。赤外線カメラは、船舶の周りの事実上完全円（３００度）を観察してグレースケール画像を生み出すことができ、そして船舶の動きに対してジャイロスコープ的に補償される。更に、グラフィカル・ユーザー・インターフェース（Ｔａｓｈｔｅｇｏデスクトッップ、ここで、Ｔａｓｈｔｅｇｏは、Ａｌｆｒｅｄ Ｗａｇｅｎｅｒ Ｉｎｓｔｉｔｕｔｅによって開発されたソフトウエアである）が示され、それは現在のビデオ及びそれより前に記録された１０個のビデオシーケンスを表示する。同様に、最後に検出されたクジラの拡大された画像セクション及び記録ループが表示される。現在の画像において、地平線に対する向き線、及び種々の半径が表示される。更に、画像は、統合されたズーム（ｉｎｔｅｇｒａｔｅｄ ｚｏｏｍ）、距離データ及び水温、並びに船舶−検出されたクジラの潮吹きの地理的情報が付加された地図録画物を用いて示される。更に、処理が検出、検証、局在化及び文書化を含むことが記述される。しかしながら、画像データの実際の処理について、Ｍａｒｃ Ｒｉｔｔｅｒの上記論文からのものを超える陳述は全くない。

更に、特許文献１から、クジラを検出する方法が知られる、しかしながら、それはクジラによって生み出される音、及びクジラによって反射される他の生み出される音での音響原理に基づいている。

更に、空中から南極のクジラ生存数調査を行うために、飛行機に助けられる赤外線カメラが使用された。非特許文献５の刊行物において、クジラの足跡が、完全に静かな海と共にサーモグラフィー画像において検出されることができると述べられている。しかしながら、飛行機は、船舶又はプラットホームの周囲を数カ月間、妨害されずに監視できない故に、そこに述べられた騒音を発生する人為的作業を緩和する場合に対して飛行機に助けられる観察が物流的に実行できないのと丁度同じように、これらの識別特性の検出に対する自動性は全く述べられていない。

米国出願第２０１０／００４６３２６Ａ１号公報

Ｃ．−Ｃ． Ｃｈａｎｇ ａｎｄ Ｃ．−Ｊ． Ｌｉｎ： "ＬＩＢＳＶＭ： Ａ Ｌｉｂｒａｒｙ ｆｏｒ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ"， Ｄｏｗｎｌｏａｄ ｃｉｔｅｓｅｅｒｘ．ｉｓｔ．ｐｓｕ．ｅｄｕ／ｖｉｅｗｄｏｃ／ｓｕｍｍａｒｙ？ｄｏｉ＝１０．１．１．６６．２８７１； Ｓｏｕｒｃｅ ｃｓｉｅ．ｎｔｕ．ｅｄｕ．ｔｗ／〜ｃｊｌｉｎ／ｐａｐｅｒｓ／ｌｉｂｓｖｍ．ｐｄｆ； Ａｒｃｈｉｖｅ ＣｉｔｅＳｅｅｒＸ． − Ｓｃｉｅｎｔｉｆｉｃ Ｌｉｔｅｒａｔｕｒｅ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｙ ａｎｄ Ｓｅａｒｃｈ Ｅｎｇｉｎｅ （米国） "Ａｕｔｏｍａｔｉｃ ｔｉｍｅ−ｐｉｃｋｉｎｇ ｏｆ ｆｉｒｓｔ ａｒｒｉｖａｌｓ ｏｎ ｎｏｉｓｙ ｍｉｃｒｏｓｅｉｓｍｉｃ ｄａｔａ" ｏｆ Ｊ． Ｗｏｎｇ ｅｔ ａｌ．， Ｃｏｎｆｅｒｅｎｃｅ Ａｂｓｔｒａｃｔ Ｃａｎａｄｉａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｅｘｐｌｏｒａｔｉｏｎ Ｇｅｏｐｈｙｓｉｃｉｓｔｓ ＣＳＥＧ Ｍｉｃｒｏｓｅｉｓｍｉｃ Ｗｏｒｋｓｈｏｐ ２００９； "Ａｕｔｏｍａｔｉｃ ｔｉｍｅ−ｐｉｃｋｉｎｇ ｏｆ Ｍｉｃｒｏｓｅｉｓｍｉｃ Ｄａｔａ Ｃｏｍｂｉｎｉｎｇ ＳＴＡ／ＬＴＡ ａｎｄ ｔｈｅ Ｓｔａｔｉｏｎａｒｙ Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ" ｏｆ Ｉ．Ｒ． Ｒｏｄｒｉｇｕｅｚ， ２０１１ ＣＳＰＧ ＣＳＥＧ ＣＷＬＳ Ｃｏｎｖｅｎｔｉｏｎ） "Ｈａｓｔ Ｄｕ’ｓ ａｕｆ’ｍ Ｓｃｈｉｒｍ？ Ｅｎｔｗｕｒｆ ｕｎｄ Ｉｍｐｌｅｍｅｎｔｉｅｒｕｎｇ ｅｉｎｅｓ ｓｔａｂｉｌｅｎ ｍｕｌｔｉｆｕｎｋｔｉｏｎａｌｅｎ Ｍｅｈｒｋａｍｅｒａ−Ｏｕｔｄｏｏｒ− Ｅｃｈｔｚｅｉｔｓｙｓｔｅｍｓ ｚｕｒ ａｕｔｏｍａｔｉｓｃｈｅｎ Ｏｂｊｅｋｔｄｅｔｅｋｔｉｏｎ ｉｍ Ｉｎｆｒａｒｏｔｂｅｒｅｉｃｈ" （Ｍａｒｃ Ｒｉｔｔｅｒ， Ｍａｒｃｈ １９， ２００７， Ｃｈｅｍｎｉｔｚ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ， ｔｈｅｓｉｓ ｃｉｔｅｄ ｉｎ "Ｅｎｔｗｕｒｆ ｅｉｎｅｓ Ｅｃｈｔｚｅｉｔ−Ｂｉｌｄｖｅｒａｒｂｅｉｔｕｎｇｓｓｙｓｔｅｍｓ ｚｕｒ ａｕｔｏｍａｔｉｓｃｈｅｎ Ｅｒｋｅｎｎｕｎｇ ｖｏｎ Ｗａｌｅｎ ｉｍ Ｕｍｆｅｌｄ ｄｅｒ Ａｎｔａｒｋｔｉｓ" ｂｙ Ｍａｒｃ Ｒｉｔｔｅｒ ｉｎ"１５ Ｊａｈｒｅ Ｋｕｎｓｔｌｉｃｈｅ Ｉｎｔｅｌｌｉｇｅｎｚ ａｎ ｄｅｒ ＴＵ Ｃｈｅｍｎｉｔｚ" ＣＳＲ − ０８ − ０１， Ａｐｒｉｌ ２００８， ｐａｇｅｓ ２３１ ｔｏ ２５０） "ＭＡＰＳ： ａｎ Ａｕｔｏｍａｔｅｄ Ｗｈａｌｅ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｍｉｔｉｇａｔｉｏｎ Ｐｕｒｐｏｓｅｓ" （ｏｆ Ｄ．Ｐ． Ｚｉｔｔｅｒｂａｒｔ ｅｔ ａｌ．， ＳＥＧ （Ｓｏｃｉｅｔｙ ｏｆ Ｅｘｐｌｏｒａｔｉｏｎ Ｇｅｏｐｈｙｓｉｃｉｓｔｓ） Ｅｘｐａｎｄｅｄ Ａｂｓｔｒａｃｔｓ ３０， ６７ （２０１１）ｔｏ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｘｈｉｂｉｔｉｏｎ ａｎｄ ８１ｓｔ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ， Ｓａｎ Ａｎｔｏｎｉｏ， ＵＳＡ， Ｓｅｐｔ．１８−２３， ２０１１；ｉｎｉｔｉａｌ ｐｕｂｌｉｃａｔｉｏｎ ｏｎ ｔｈｅ Ｉｎｔｅｒｎｅｔ； ｄｏｉ：１０．１１９０／１．３６２８１６９） "Ｉｎｆｒａｒｅｄ ｗｈａｌｅ ｃｏｕｎｔｉｎｇ" （Ｋｅｉｔｈ Ｄａｒｔｅｚ， ｒｅｔｒｉｅｖａｂｌｅ ｏｎ ｔｈｅ Ｉｎｔｅｒｎｅｔ ａｔ ｉｎｆｒａｒｅｄｉｎｎａｔｕｒｅ．ｂｌｏｇｓｐｏｔ．ｃｏｍ／）

一つの実施態様において、本発明は、船舶の周りにおける自然の水域における海洋哺乳類の自動化されたリアルタイム取得のための方法を提供する。海洋哺乳類の熱的識別特性は、連続画像の画像データストリームを生み出すように、赤外線カメラシステムを用いる水面の撮像サーモグラフィー走査によって検出される。画像の各々は個々のピクセルに細分化される。画像データストリームのモジュール式処理は、個々のコンピュータ成分において実行される少なくとも以下の連続サブプロセスを含んでなるコンピュータにおいて実行される。画像の向きを有する複数の連続画像を介した、ウエイトが付けられていないサブ画像から、個々の断片内への画像バッファリング及び画像分割を含んでなる画像の各々の画像前処理を実行する。一時的に適合される制限値の仕様の下での、長期間平均値に対する短期間平均値の比率に基づく制限値アルゴリズムを用いて、画像中のコントラストにおける局所的変化を検出する。海洋哺乳類の熱的識別特性のパターンを検出するように、一時的に適合される制限値を超える個々の断片の各断片のみを用いて、コントラストにおいて検出された局所的変化を分類する。ここで、分類は、選択された訓練データセットの仕様及びハイパーレベルの上下の二つのクラスへの格付けのパラメータによって計算されたｍ次元のハイパーレベルを有するサポートベクター法を用いて監視された学習によって実行される。ここで、決定値を超える各断片のみが、ハイパーレベルへの距離として、海洋哺乳類の熱的識別特性に対応するクラスに割り当てられる。決定値を超える断片のみを用いて、船舶の全地球的位置データを少なくとも用いて海洋哺乳類の、分類された熱的識別特性を局在化する。ここで、局在化は、海洋哺乳類の検出された熱的識別特性の距離、及び少なくとも一つの船舶、及び船舶の周りにおける水域に置かれた装置に対する時間的及び空間的変化の自動的な方法での計算を行うこと含む。ここで、計算及び決定値を超える断片は、検証及び文書化の少なくとも一つのために移される。分類され、局在化された海洋哺乳類の熱的識別特性を、決定値を超える断片をオペレータによる瞬間的真偽決定にかけることによって検証する。ここで、断片及び各決定は自動的に又は手動で訓練セータセットに供される。画像データストリーム中における画像データの少なくとも一つ恒久的保存を用いて、及びコンピュータのグラフィカル・ユーザー・インターフェース上への、処理された画像データストリームの絵表示を用いて、分類され、局在化され、そして検証された海洋哺乳類の熱的識別特性を文書化する。ここで、文書化は、海洋哺乳類のユーザ固有の画像データ、並びに局在化からの、伴う詳細の自動的な方法における保存を含む。
本発明による、自然水域における海洋哺乳類の自動化されたリアルタイム取得のための方法の実施態様は、本発明の更なる理解のために、図を基により詳細に説明された以下のことにある。そこで、図面は以下を示す。

ソフトウエアＴａｓｈｔｅｇｏの設定論理。 船舶に搭載される赤外線カメラ。 本発明の実施態様による方法の設定論理。 １０日の期間に基づく検出器及び選別機の効率。 海洋哺乳類の熱的識別特性としての種々の自動的に所得されたクジラの潮吹きの写真。 船舶に対する、及び地理的情報が付加された、その潮吹きに基づくミンククジラの局在化。 Ｔａｓｈｔｅｇｏソフトウエアのユーザインターフェースのスクリーンショット。 検出されたクジラの潮吹きの三つの例。 検出されたクジラの潮吹きのマップ。

緩和半径内の目撃が（１日当たり、数１００．０００，００ユーロまでもの）コスト高の地震学的研究のスイッチオフ又は遅れをもたらす故に、動物保護の関心又は種の保護のそれぞれ、並びにそれから派生する緩和条件と地震船舶（ｓｅｉｓｍｉｃ ｖｅｓｓｅｌ）の操業会社の探査命令の間の関心事の争いがある。この理由のため、できるだけ客観的に、出現する動物の日中に依存しない取得に加えて、これらの観察の即座の検証が望ましい。更に、緩和半径の内側又は外側の決定に対して、船舶に対するそして地理的情報が付加された方法における局在化が必要である。認可当局（ａｐｐｒｏｖｉｎｇ ａｕｔｈｏｒｉｔｙ）に対して緩和条件とのコンプライアンスを引き続いて証明することを可能にするために（特定された報告を含む）、全ての目撃及び目撃努力の作業負荷の文書化をさらに目指されなければならない。これらの理由のため、再現性がありそして即座に検証できる取得を供し、そしてこれらを自動的に文書化する、海洋哺乳類の自動化された、地理的情報が付加された検出が望ましい。

一つの実施態様において、本発明は、連続画像の画像データストリームを生み出すことに役立つ、赤外線カメラシステムを用いる水面の撮像サーモグラフィー走査を用いて、海洋哺乳類の熱的識別特性を検出することにより、船舶の近くにおける自然の水域における海洋哺乳類の自動化されたリアルタイム取得のための方法を供し、ここで画像の各々を個々のピクセルに細分化し、そして少なくとも連続サブプロセスでのコンピュータ内の画像データストリームの引き続くモジュール式処理は、個々のコンピュータ成分において実行される：
・画像バッファリング、画像の向き調整、及びサブ画像への画像分割を備えた、各画像の画像前処理、
・所定のアルゴリズムに従って、画像中のコントラストにおける局所的変化の検出、
・海洋哺乳類の熱的識別特性のパターン認識のための、コントラストにおいて検出された局所的変化の分類、
・船舶の全地球的位置データを少なくとも考慮した、海洋哺乳類の、分類された熱的識別特性を局在化、
・分類され、局在化された海洋哺乳類の熱的識別特性の検証、
・画像データの少なくとも一つ恒久的保存を備えた、及びグラフィカル・ユーザー・インターフェース上への、処理された画像データストリームの絵表示を備えた、分類され、局在化されそして検証された海洋哺乳類の熱的識別特性の文書化、これは同時に本方法の操作に役立つ。

詳細には、本発明の実施態様は以下を供する：
・サブプロセス「画像前処理」において、画像センサ（ＵＤＰパケット）によって出される画像ベクターが個々のピクセル感度に対して修正され、そして画像マトリックス（画像／フレーム）中に配置され、その中で、事前の向き及び地平線曲線が決定され、そして更なる解析のためにデポジットされる（ｄｅｐｏｓｉｔ）。
・サブプロセス「検出」において、３６０度のビデオストリーム中のコントラストにおける局所的変化の自動的検出が、数キロメータまでの距離で、異なる照明及び環境条件下で可能である。
・サブプロセス「分類」において、海洋哺乳類の熱的識別特性（クジラの潮吹き、体温又は「足跡」）との可能な関連のために、検出されたコントラストにおける局所的変化の瞬間的調査が可能である。
・サブプロセス「局在化」において、識別特性−検出器、識別特性−船舶のへさき及び識別特性−音−発生装置（空気銃）の距離、並びに、地理的情報が付加された位置及び画像中の地平線の位置及びカメラが見る方向を考慮したその適切な表示の瞬間的決定が可能である。
・サブプロセス「検証」において、この割り当ての正しさに関して熱的識別特性として分類されたコントラストにおける局所的変化の瞬間的な独立した調査が可能である。
・サブプロセス「文書化」において、ウエブ（ｈｔｍｌ）及び印刷媒体上の電子的な更なる処理に対する如何なる承認に関わる情報の自動的保存が可能である。

そこで、述べようとする方法は、リアルタイムにおいて信頼できる結果を送達することであり、そして、そこで、ユーザによってその方法が受け入れられるための基本的事前要件の一つである、できるだけ容易にそして心地よくユーザのためにやはり操作できる。

発明の実施態様に記載の方法において、個々の画像、つまり、個々のフレームの発生に対して、第一に、画像前処理における個々のピクセルの感度の補正が、並びに画像内の事前の向き（画像向き）が決定される。更に、撮像センサの垂直向きにおける動的残留エラー故におそらく移行している地平線が、サブプロセス「局在化」のために決定されそして保存される。その後、ビデオストリームが既知の画像位置を有するタイル（ｔｉｌｅ）にセグメント化され、それは、２、３の連続画像に渡って、所謂（ビデオ）「断片」（小さな画像セクションの短いビデオセクション）を形成する。画像前処理において、断片の選択における重み付け及びフィルタリングは全く成されず、それによって関心がある信号が失われる恐れがある。その代わりに、各個々の画像は、多くの適切に配置されたタイルに細分化される。サブプロセス検証までの、各個々の断片の引き続く個々の更なる処理で、全体的に低コントラストの例外も、もしそれらが局所的に増大されたコントラストを発生する場合、検出できる。例えば、クジラの潮吹きは地平線近くで高いコントラストを局所的に示し、一方、前方画像セクションにおいて明るく見える波に比べて、全画像においてそれらは相対的に暗いので、全体的にはコントラストを殆ど含まない。ここで、本明細書で請求される方法は、視距離における明るい領域が瞳孔の閉じをもたらして、その結果、視距離のより暗い領域の前において、隣接している弱い、コントラストにおける局所的変化がより不鮮明に認められるか又は全く認められない故に、人間にとって優れている。

好ましくそして有利にも、画像分割において、位置依存性のサイズ（タイル、サブ画像）を有する断片への分割及び、もし該当すれば、２、３秒間の継続がなされ、ここで各画像は多数の個々のサブ画像又はタイル（適用例においては３７５７７個のタイル）にも分割される。これらは、５０パーセントだけ重なっている比較的に小さい（適用例においては２１×２１ピクセル）サブ画像（タイル）であり、それらは情報が全く失われないことを保証するが、リアルタイム処理がやはり可能である。例えば、毎秒３つの画像の記録において、１０画像（フレーム）のビデオシーケンスが約３秒続く。このように、それは変化を示すには十分長いが、無限ループにおいて繰り返されるには十分短い。

請求された方法において、引き続いて検出において、特定されたコントラストにおける局所変化の検出に対する制限値を用いる、長期間平均値に対する短期間平均値の比率に基づく制限値アルゴリズムが使用され、そこで、制限値を超える断片のみが分類に移される。検出は、コントラストにおける（過渡的な及び静止した）局所的変化に対して、記録されたビデオデータストリームの調査、及びコントラストにおける局所的変化を有する画像領域を選別機に移すことに役立つ。全ての画像領域の分類がリアルタイムにおいて行われることはできない故に、これは必要である。検出のサブプロセスにおいて局所的コントラストは、従来技術において述べられていない。代わりに、従来技術において、例えば、クジラの潮吹きよりも波がより明るいと直ぐに誤った検出が起こる。それとは対照的に、発明の実施態様による方法は、各個々の断片に対して独立した、一時的に適合する制限値を用いるコントラストにおける局所的変化を介して働く。それと共に、全ての目に見える−光学的に恒久的に変化している−水面（近場及び遠場）が等しく解析できることが達成される。ＳＴＡ／ＬＴＡ検出器はこのように、強度及びコントラストにおける局所的な時間的変化を観察し、そして、変化した画像パラメータ（例えば、太陽の位置、うねりに依存するまぶしい光）に自動的に調節できるために、これらを適合制限値と比較する。好ましくそして有利にも、請求されたプロセスにおいて、検出において、一時的に適合する制限値（ＶＬＴＡ、閾値）を備えたＳＴＡ／ＬＴＡアルゴリズムが以下を用いて計算される。

そこで、ＳＴＡは（例えば、適用例においては、２画像／フレームに渡る）、例えば、局所コントラストの短期間平均値であり、ＬＴＡは（例えば、適用例においては、１０画像／フレームに渡る）、局所コントラストの長期間平均値であり、ラムダ（λ）は、グラフィカル・ユーザー・インターフェースの感度を定義する自由パラメータである。シグマ（σ）は、ＳＴＡ／ＬＴＡ比率の標準偏差を記述し、そして横棒は、各Ｎ（例えば、適用例においては、５０）個の測定値に渡る平均値を記述する。そのような方法で計算されたＶＬＴＡを適用して、コントラストにおける局所的変化の信頼できる検出が達成できる。

発明の実施態様に記載の方法において、更に、分類において、ハイパーレベルの上下の二つのクラスへの格付けのために、選択された訓練データセット及びパラメータの仕様によって計算された決定値からのｍ次元のハイパーレベルで、サポートベクター法（より普通の「サポートベクターマシーン」）を用いて監視された学習が行われ、ここで、クラス「潮吹き」の決定値を超える断片のみが検証に割り当てられそして移される。分類において、どのくらいの見込みを持って、前に検出されたコントラストにおける局所的変化が 海洋哺乳類の熱的識別特性であるか否かの決定がなされる。分類に対して要求される全てのパラメータは、データからアルゴリズムによって、直接、学習され；そこで、分類は、データベースに自動的に又は手動で加えられた如何なる追加の検証された熱的識別特性によっても改善されることができる。適用されるサポートベクター法によって、２、３の例に基づいて、例えば、変更された水温、風速、照明条件などのような新しい条件の取り扱いが可能になり、それは熱的識別特性及び局所的コントラストの継続時間を変える。学習アルゴリズム（「マシーン」）は、既存の検証された熱的識別特性からの主要な特性を使用し、そしてそれを用いてコントラストにおける局所的変化を、「海洋哺乳類の熱的識別特性」または「海洋哺乳類の熱的識別特性が存在しない」として分類し得る。このように、決定された因子は特定されて、分類のために要求される如何なるデータもデータ自身から学習される。決定制限値「海洋哺乳類／海洋哺乳類ではない」は、訓練データを基に完全に独立して学習される。従って、アルゴリズムは、種々のシナリオ（例えば、水温、うねり、種、氷の漂流）を考慮して、２、３の例のデータに基づいて、新しい環境条件に迅速に調節することが可能である。

以下のパラメータに基づいて、ＳＶＭは、分類に使用できるｍ−次元のハイパーレベルを計算する：
・主成分分析を基に選択されたｐｘ・ｐｙ・Ｔ／τ次元の断片（τ＝フレーム速度、例えば、毎秒３画像、Ｔ＝断片の継続、ｐｘ・ｐｙ＝タイルのｘ軸及びｙ軸のピクセル数）の関連するＮ個の主成分
・断片内の局所的コントラスト
・断片と全画像の間の全体的コントラスト、及び
・地平線からの断片の距離。

これらから次いで、決定値がハイパーレベルからの分類された点の距離の量として計算される。

更に、本発明の実施態様に記載の方法において、局在化において、検出された熱的識別特性の距離の計算が自動的に実行される。このように、（その熱的識別特性によって検出された）動物までの距離が自動的に決定できる。それに基づいて、それを地理的情報が付加されたメタデータ（例えば、船舶の位置及び向き、カメラの位置、地平線の向き及び位置）にリンクすることによって、画像内の検出された識別特性位置を更に、識別特性の絶対的な地理的情報が付加された位置に処理することが可能である。連続して検出された熱的識別特性の地理的情報が付加された局在化で、次いで、動物の空間的／時間的動きを決定し、そして其の泳ぎの方向の推定を生み出すことが可能である。これを用いて、緩和半径内へのあり得る進入の時間、又は船舶との又は水中に置かれた装置への衝突の事前計算が可能である。有利なことにそして好ましくは、画像表示における並びにマップ表示における向き及び距離線が全体画像において、並びに検証に移された断片において重ねることができる。更に、更なる地理的情報が付加された情報（例えば、船舶の軌跡）が統合できる。局在化において評価された断片は次いで、決定の瞬間的な調査のために検証に又は直接文書化に移される。

更に、本発明の実施態様による方法において、検証において、移された断片は、オペレータによる「真」又は「偽」の瞬間的決定に回され、そこで、なされた決定を有する断片が、例えば、人間のオペレータによる簡単なクリックによって、自動的に又は手動で、分類における訓練データセットに供することができる。好ましくそして有利にも、検証において、幾つかの移された断片から少なくとも１０個のサブ画像が同時に絵で表示される。更に、移された断片において、同じ全地球的位置データを持つ、検出された熱的識別特性を有するサブ画像における画像領域は、拡大された状態で絵表示できる。そのような測定は、人間のオペレータによる手動の検証を可能にするために絶対的に必要である。好ましくそして有利にも、オペレータは、上記方法によって決定された通りの幾つかの熱的識別特性及びそれらの位置を組み合わせることによって、並びに更なる外部パラメータを取り込むことによって、自動的な検証を実行するアルゴリズムであり得るか、又は手動の検証を実行する人間であり得る。このように、海洋哺乳類の検出のための請求された方法は自動的に、並びに手動で検証できる。両者の場合、分類から検証への断片の受け渡しの際に、自動的警告がオペレータに送られることが有利である。

最後に、本発明の実施態様による方法において、文書化において、検出された海洋哺乳類のユーザ固有の画像データが、局在化からの関連した詳細と一緒に自動的に利用可能にされる。このように、画像／ビデオシーケンス、位置、時間及び他の測定値で、目撃の自動的記録が可能であり、そのようにして、手動記録の問題（タイプエラー、読み取りエラー、時間が無くて入力し損なう）が避けられる。それに対して、「ＴｏＤｏ」ファイルを介した、遡及的なファイルバックアップを用いるＦＩＦＯ保存が供されることができる。更に、文書化において、分類され、検証されそして局在化された識別特性がマップ予想として表されることが好ましくそして有利なことに供されることができる。このように、電子的な並びにハードコピーでの文書化が簡単な方法で可能であり、それは動物を危険に追い込む試験の承認及び実行に対して厳格な条件を持つ認可当局のために、特別に重要なものである。

本発明の実施態様に記載の方法は、各々簡単な方法で設計されそして実行され、そして階層的に移される（ｐａｓｓ ｏｎ）ことができる多くのサブプロセスから構成される。好ましくそして有利にも、更なるサブプロセスは、自動的に又は手動で決定されたサポート点を用いて、グローバルな正弦波地平線を合わせる（ｆｉｔｔｉｎｇ）のに役立つモジュール処理内で実行される。地平線の正弦波経路は（困難を伴ってのみ記録できる）カメラ軸の傾斜からもたらされる。これは地平線と比較した船舶の動きの補償のためのアクティブなジャイロスコープ懸架（ｓｕｓｐｅｎｓｉｏｎ）によって補償されない。更に、好ましくそして有利にも、更なるサブプロセスが、検出の空間的／時間的シーケンスに基づいて、海洋哺乳類の泳ぎの方向を予測することに役立つモジュール式処理内で実行できる。そうすることによって、現在の測定シーケンスが中断される必要がないように、検出された海洋哺乳類が船舶に対してその距離を縮める（そしてそのようにして空気銃によるストレスを増す）か否か、又は緩和半径を直ぐに去るか否かの決定がなされることができる。加えて、海洋哺乳類の検出に類似して、水域において浮かんでいる如何なるサイズもの氷山（ミクロの氷山も）及び他の物体の検出も行われ得る。追加の画像データストリームの各処理を用いて、船舶との又は船舶の周りにおける水中に置かれた装置への衝突警告がトリガーされ得る。海洋哺乳類による近接の場合も、衝突警告が有利にもトリガーされ得る。更に、あり得るトラブルシューティングも、或るサブプロセスに対して迅速に低減される。好ましくそして有利にも、個々のピクセル感度を修正することにより、エラーとして、熱的走査の際の赤外線カメラシステムに及ぼす熱的影響、及び地平線のかすみが計算的にバランスされることができ、そしてこのように補償される。

人工起源の騒音入力の緩和の点において、海洋哺乳類の自動検出においてリアルタイム処理が特に重要なものであるため、有利にもそして好ましくも、そのためにモジュール型処理が、幾つかの平行な経路においてコンピュータ成分によって同時に実行される。コンピュータ部品はそれぞれプロセッサ及び保存部である。本発明の実施態様による方法の効率の拡大は、更なるそれぞれの構成されたコンピュータの提供によって簡単に実現され得る。

本発明の実施態様による方法において、モジュール式処理に加えて、装置の部品が重要なものである。特に、一つの個々のシングル又はジュアルバンド赤外線カメラで、完全円（準３６０度のビデオデータ）において又は数個のシングル又はジュアルバンド赤外線カメラで１ピッチ円毎において、それぞれ、地平線と比較した船舶の動きのアクティブなジャイロスコープ補正と共に、赤外線カメラシステムを備えた水面の撮像サーモグラフィー走査が実行される場合、それは特別に好ましくそして有利である。好ましくは、水面の撮像走査の際に、毎秒当たり、少なくとも三つのグレースケール又はカラーの連続画像を生み出すことができる。そのようなシステムで、殆ど全ての熱的識別特性の取得を確かに保証するための情報に富んだ画像データストリームの発生と関連して、船舶、例えば、調査船の周りの全表面の広汎なカバーが、そして−サーモグラフィーＩＲデータの場合−特定の検出半径内で、極めて明らかに、少なくとも＋１０℃までの水温で、保証される。更に、本発明の実施態様による方法を、プロセスデータに基づいて、予想される目撃位置に自動的に整列される、更なるより高解像度の、自動的に保存する視覚カメラとリンクすることによって、例えば、潮吹き形状又は動物の分析に基づく種の決定（遡及的な、検証可能な種の同定）も実行され得る。

要約において見られる通り、その設計選択肢の全てを備えた本発明の実施態様に記載の請求された方法は、このように以下の特別な利点を提供する：
・（設置場所に依存して）殆ど３６０度の、１日２４時間、一度に数カ月の連続監視；
・昼間の光への非依存性；
・一人のオペレータに対するスタッフの要求の低減；
・人間の監視員の主観的効果からの取得速度の非依存性；
・個々の人間の監視員の経験に依存しない客観化された検出／分類アルゴリズム；
・最後の１０個の自動取得を示しているビデオクリップのＦＩＦＯバッファを用いた、第三者による独立した検証の可能性；
・正確で、うねりに依存しない自動的な局在化、ひいては取得の距離決定；
・画像の事前向きの自動化された又は手動の連続決定、並びに画像中の地平線の経路の決定；
・動物の泳ぎの方向、速度及び呼吸頻度、並びに衝突予測の発生の客観的な決定；
・制御当局との活動の検証のための、全ての船舶／海洋哺乳類遭遇の自動的な文書化。

本発明の実施態様の更なる詳細は、例の記述と関連して以下に示される。

例として、ドイツＢｒｅｍｅｒｈａｖｅｎの、局地及び海洋調査のためのＦｏｕｎｄａｔｉｏｎ Ａｌｆｒｅｄ Ｗｅｇｎｅｒ Ｉｎｓｔｉｔｕｔｅ（ＡＷＩ）所有のドイツ国籍の調査船、「Ｐｏｌａｒｓｔｅｒｎ」号上のシステムにおける、サーモグラフィー法を用いる海洋哺乳類の自動取得に対して、本発明の実施態様に記載の方法の実行は役立つ。

サーモグラフィー画像の記録に対して、Ｒｈｅｉｎｍｅｔａｌｌ Ｄｅｆｅｎｃｅ Ｅｌｅｃｔｒｏｎｉｃｓ社のサーモグラフィースキャナ（［ＦＩＲＳＴ−Ｎａｖｙ］）は役立つ。データの表示、取得及び保存は、赤外線カメラを用いる海洋哺乳類の熱的識別特性の自動化された検出のための、ＡＷＩによって開発された、現在まで未公開のソフトウエア「Ｔａｈｔｅｇｏ」（図１を参照）によって実行される。より容易な並列化に対して、本ソフトウエアは、完全なモジュラ法において開発された。本モジュールは互いに機能的に独立しており、そうすることによって、エラーの場合、全体のソフトウエアではなく、各モジュールのみがエラーに対して調査される必要がある故に、トラブルシューティングが著しく助けられる。そこで、個々のブロックは以下を意味する：

図２は、地平線ＨＺの前の氷に覆われた水面上を見ている、船舶に搭載された赤外線カメラＩＲＣの画像を示す。熱的識別特性（クジラの潮吹き、出現する動物又は足跡）は全くない。

本発明の実施態様に記載の海洋哺乳類の自動検知に対して要求されるモジュールは以下に記述される。ビデオデータストリーム内での海洋哺乳類の自動検知は、四つのセクション内に構築される（モジュラ信号処理ＭＰの領域における請求された方法のセットアップ論理を有する図３を参照）：
・画像の前処理ＦＰＰ
・コントラストにおける局所的変化の検出ＤＥＴ
・コントラストにおける局所的変化の分類ＣＬＡ
・熱的識別特性の局在化ＬＯＣ
・オペレータによる真／偽ポジティブ（ｐｏｓｉｔｉｖｅｓ）の検証ＶＥＲ

画像の前処理ＦＰＰ中に、ＩＲカメラＩＲＶからの生データが、個々のセンサエレメントの異なる特性曲線に関して修正され（例えば、熱電対の熱衝撃の補償）、画像データが画像バッファＰＭ内にコピーされ、そしてこれがより小さな画像領域内にセグメント化される。セグメント化ＳＥＧは、海洋哺乳類の熱的識別特性ＴＳＭＭの存在に対して種々のソフトウエア経路における個々の画像領域のチェックを可能にするために必要である。セグメント化ＳＥＧ（選択された例においては、２１ｐｘ＊２１ｐｘ＊１０フレーム）から生じるこれらの画像領域は、以下において「断片」と呼ばれる。

検出ＤＥＴにおいて、検出工程は、互いに独立している各個々の断片に対して既に起きている。断片レベルでのこの処理は検証まで維持される。検出機ＤＥＴは、地震学から知られる「短期間平均／長期間平均（ＳＴＡ／ＬＴＡ）アルゴリズム」に基づくアルゴリズムを使用し、そしてそれをコントラストにおける局所的変化検出に対して適合させる。ＳＴＡ／ＬＴＡアルゴリズムのアイデアは、各断片に対する二次元のデータに調節され、そして時間的に及び空間的に適合される制限値（ＦＢ、ここではＶＬＴＡ；非常に長期間の平均値）によって拡張される。本アルゴリズムは、二つの異なる長期間領域に渡る平均の明るさを比較することによって、発生しているコントラストにおける局所的変化を特性付ける。ＳＴＡ／ＬＴＡの比率が制限値ＶＬＴＡを超える場合、次いで、各断片は選別機ＣＬＡに移される。制限値ＶＬＴＡは、各断片に対して異なる（太陽、波、氷による）明るさにおける極端なばらつき、及び時間に亘る変化のせいである。述べられた適用例において、ＶＬＴＡは以下を用いて計算された：

そこで、ＳＴＡは、例えば、局所コントラストの短期間平均値であり、ＬＴＡは局所コントラストの長期間平均値であり、ラムダ（λ）は、感度を定義する自由パラメータである。シグマ（σ）は、ＳＴＡ／ＬＴＡ比率の標準偏差を述べ、そして横棒は、各平均値を述べ、例においては、それぞれ５０の値（１０秒）に亘る。断片内のＳＴＡ／ＬＴＡ値がＶＬＴＡよりも高い場合、

次いで、この断片は、コントラストにおける興味ある局所的変化として評価され、そして検証ＶＥＲに移される。例えば、ＶＬＴＡに対して０．２を超える値に対しては、断片が検証ＶＥＲに移されるように、ＳＴＡは２又は０．６ｓの値、そしてＬＴＡは１０又は３ｓの値を有し得る。

分類ＣＬＡは、各々、訓練されたサポートベクター法又はサポートベクターマシーン（ＳＶＭ）として実行された。そこで、二つのクラス

におけるｎ次元のパラメータ空間に置かれる測定点に対して、ｍ−次元のハイパーレベルが見出され、（過剰フィッティングを避けるために）種々のコストパラメータを考慮してそれはこれらのクラスを分ける。このハイパーレベルは、手で二つのクラスに分割された訓練データセットを基に見出される。ハイパーレベルの計算に役立つパラメータは、各々、３０個の「海洋哺乳類の熱的識別特性」及び３０個の「海洋哺乳類の熱的識別特性が存在しない」断片から取られる。適用例において、以下のパラメータの基に、分類ＣＬＡに対して使用できるｍ−次元のハイパーレベルがサポートベクター法ＳＶＭによって計算された：
・主成分分析（ＰＣＡ）に従って得られた２１ｘ２１ｘ１０次元断片の関連するＮ個の主要成分
・断片内の局所的コントラストＬＣ
・断片と全体画像の間の全体的なコントラストＧＣ、及び
・地平線からの断片の距離Ｙ

そこから、決定値ＤＶが次いでハイパーレベルから分類された点の距離の量として計算される。

局在化ＬＯＣにおいて、船舶ＲＶ又は沈められたデバイス（ＡＧ）、例えば、空気銃、に対する、検出された海洋哺乳類の熱的識別特性ＴＳＭＭの相対的位置ＲＰ、及び絶対位置ＡＰ（ＧＰＳデータ）は自動的に計算される。局在化ＬＯＣから、断片は、直接、文書化ＤＯＣに移されるか（次いで、分類ＣＬＡが真として仮定される）、検証ＶＥＲにおいて自動的に又は手動でチェックされるかの何れかである。

検証ＶＥＲにおいて、多数のサブ画像ＳＦが次いで、調査のためにグラフィカル・ユーザー・インターフェースＧＵＩ上に同時に表示される。オペレータＯＰはそれらを「真」Ｔ（海洋哺乳類の熱的識別特性ＴＳＭＭが存在する）又は「偽」Ｆ（海洋哺乳類の熱的識別特性ＴＳＭＭが全く存在しない）の何れかとして評価する。

図４は、選別機ＣＬＡの評価を表す。ここで、データは１０日間に渡って解析された。この期間に亘って、検出器ＤＥＴは、興味あるものとして１０９３回のコントラストにおける局所的変化を印した。ＳＶＭモデルは、各々別の期間から３０のデータ点「海洋哺乳類の熱的識別特性」／「海洋哺乳類の熱的識別特性が存在しない」を用いて訓練された。ここで、サポートベクターマシーンＳＶＭは１０９３のコントラストにおける検出された変化の９３を、「海洋哺乳類の熱的識別特性」（真）として分類した。このなかで、５５の「偽ポジティブ」が「偽」−熱的識別特性が存在しない−として、３８の「真ポジティブ」が、つまり、海洋哺乳類の熱的識別特性と「正しく」分類された。検出器によって供された１０９３の識別特性の更に二つのイベントは選別機によって記録されなかった、つまり「偽ネガティブ」であった。しかしながら、オペレータに対しては偽警報／時間の数が重要である。サポートベクターマシーンＳＶＭによる分類を基に、これは毎時４．３８から０．２３に低減された。

これによって、本発明の実施態様による方法の便益が明確にされる。幾人かの監視員を、この期間中に３６０度、１０日間、連続して（そして必要であれば夜間に）監視させる代わりに、システムは９３回のみ警報を出し、それは一人のオペレータによって、一度にランダム点での、記録された無限のビデオループを基に検証されることができるであろう。これらの警報の約５０パーセントは「真ポジティブ」、つまり、海洋哺乳類の存在に対応した。一つの動物は、通常、数個の熱的識別特性（複数の潮吹き、出現）を残すため、２、３の熱的識別特性が自動的に取得されない場合でも、全ての動物がこのように自動的に取得されることがあり得る。

図５は、ザトウクジラの自動的取得からの画像ＦＲを示す；上部で、サブ画像ＳＦのシーケンスにおいて、クジラの潮吹きの検出、次いで下部で全体のクジラが各々認められることができる。最上部の表示は、船舶から５５６８メータの距離でのザトウクジラの自動取得を示す：ＩＲシーケンスの開始：２０１１−０１−１３、２０：４３：０３。ズーム写真の時間：２０１１−０１−１３、２０：４３：０９−２。中間部の表示は、船舶から１８６４メータの距離でのザトウクジラの自動取得を示す：ＩＲシーケンスの開始：２０１１−０１−１３、２０：５０：５９。ズーム写真の時間：２０１１−０１−１３、２０：５１：０３−１。最下部の表示は、船舶から１５２５メータの距離でのザトウクジラの自動取得を示す：ＩＲシーケンスの開始：２０１１−０１−２７、１９：５１：１１。ズーム写真の時間：２０１１−０１−２７、１９：５１：１４−８。

図６は、ミンククジラの局在化を示す。最上部の写真において、検出されたクジラの潮吹きＷＳが丸で囲まれている。下部の左側に、船舶に対して検出されたクジラの潮吹きの図が示され、そして下部の右側に、地理的情報が付加された形態における絵が示される。

図７は、ユーザインターフェースＧＵＩの（（通常は白で示される）温かい識別特性の視程を最大化するために、そしてＴａｓｈｔｅｇｏソフトウエア（ディスプレイは３つのワイドスクリーンディスプレイに亘って拡張し、ここでは９０度だけ回転されて示される）の夜間での使用の際に、船舶の甲板スタッフのまぶしさを避けるために、暗いユーザインターフェースが意識的に選択された）スクリーンショットを示す。上方画像セクションにおける窓は、リアルタイムにおける船舶の周りを表す。種々の向き及び距離線ＬＳが示される。下方画像セクションにおける小さな窓は最後のイベント（熱的識別特性）の２秒ループを示す。右側の画像領域における窓は、各々、１０秒ループにおいて及び追跡図において拡大されたセクションを示し、そこで最後のイベントの各全地球的座標が追跡される。下方左側の画像領域において、システムの状態及び制御窓が示される。

図８は、各々、拡大画像領域ＺＦを挿入として有する種々の距離での及び種々の水温Ｔ（Ｈ２Ｏ）での海洋哺乳類の熱的識別特性ＴＳＭＭとしてのクジラの潮吹きの三つの例を示す。

図９は、全遠征期間に渡って、船舶ＲＶの周りにおける海洋哺乳類の熱的識別特性ＴＳＭＭとして検出されたそして検証されたクジラの潮吹きを表すマップを示す。

本発明が図及び先の記述において詳細に説明されそして述べられてきたが、そのような説明及び記述は説明的又は例示的なものであり、決して制限的なものではないと考えられるべきである。当業者によって、変更及び修正が、以下の請求の範囲内において成され得ること理解されるであろう。特に、本発明は、上で及び以下に記述される異なる実施態様からの特長の如何なる組合せをも用いた更なる実施態様を包含する。

ＡＰ 絶対位置
ＡＧ デバイス（エアガン）
ＡＬＥＲＴ アラーム
ＣＬＡ 分類
ＣＯＭ コンピュータ
ＤＥＴ 検出
ＤＯＣ 文書化
ＤＶ 決定値
ＦＡＬＳＥ 「偽」決定
ＦＰＰ 画像の前処理
ＦＲ 画像
ＧＣ 全体的なコントラスト
ＧＰＳ 全地球的位置データ
ＧＵＩ グラフィカル・ユーザー・インターフェース
ｈ 時間
ＨＥ ハイパーレベル
ＨＺ 地平線
ＩＲＣ 赤外線カメラシステム、赤外線カメラ
ＩＲＶ 画像データストリーム、画像データ
λ ＧＵＩ設定係数
ＬＣ 局所的コントラスト
ＬＯＣ 局在化
ＬＳ 向き及び距離線
ＬＴＡ 長期間平均値
ＭＭ 海洋哺乳類
ＭＰ モジュラ信号処理
ＯＰ オペレータ
ＰＡＲ パラメータ
ＰＣＡ 主成分分析
ＰＭ バッファ記憶／画像バッファ
ｐ_ｘ Ｘ画像軸方向のピクセル
ｐ_ｙ Ｙ画像軸方向のピクセル
ρ 標準偏差
ＲＶ 調査船
ｓ 秒
ＳＥＧ 画像セグメント化
ＳＦ サブ画像、タイル
ＳＮＩＰＰＥＴ サブ画像の断片
ＳＰ サブプロセス
ＳＴＡ 短期間平均値
ＳＶＭ サポートベクター法（マシーン）
Ｔ 断片の期間
Ｔ（Ｈ_２Ｏ） 水温
ＴＤＳ 訓練データセット
ＴＳＭＳ 海洋哺乳類の熱的識別特性
ＴＲＵＥ 「真」決定
τ フレーム速度
ＶＥＲ 検証
ＶＬＴＡ 非常に長い長期間平均値
Ｙ 地平線からの断片の距離
ＺＦ 拡大画像領域
φ ＴＳＭＭの不存在、要件非充足、終了

Claims (21)

1. 船舶の周りにおける自然の水域における海洋哺乳類の自動化されたリアルタイム取得のための方法であって、
   連続画像の画像データストリームを生み出すよう、赤外線カメラシステムで水面の撮像サーモグラフィー走査によって、前記海洋哺乳類の熱的識別特性を検出することと、
   画像の各々を個々のピクセルに細分化することと、
   個々のコンピュータ成分において実行される少なくとも以下の連続サブプロセスを含むコンピュータにおいて、前記画像データストリームのモジュール式処理を実行することを含み、
   前記連続サブプロセスは、
   画像の向きを備えた複数の連続画像を介して、ウエイトが付けられていないサブ画像から個々の断片内へ、画像バッファリング及び画像分割を含む画像の各々の画像前処理を実行することと、
   一時的に適合される制限値の仕様の下で、長期間平均値に対する短期間平均値の比率に基づく前記制限値アルゴリズムを用いて、画像中のコントラストにおける局所的変化を検出することと、
   一時的に適合される前記制限値を超える個々の断片の各断片のみを用いて、前記海洋哺乳類の前記熱的識別特性のパターンを検出するように、コントラストにおける検出された局所的変化を分類し、該分類は、ハイパーレベルの上下の二つのクラスへの格付けの選択された訓練データセット及びパラメータの仕様によって計算されたｍ次元の前記ハイパーレベルを備えたサポートベクター法を用いて監視された学習によって実行され、前記ハイパーレベルへの距離として決定値を超える各断片のみが、前記海洋哺乳類の前記熱的識別特性に対応するクラスに割り当てられることと、
   前記決定値を超える断片のみを用いて、船舶の全地球的位置データを少なくとも用いて前記海洋哺乳類の分類された前記熱的識別特性を局在化し、該局在化は、前記海洋哺乳類の検出された前記熱的識別特性の距離、及び船舶の周りにおける水域に置かれた船舶及び装置の少なくとも一つに対する時間的及び空間的変化の、自動的な方法での、計算を行うこと含み、該計算及び前記決定値を超える断片は、検証及び文書化の少なくとも一つのために移されることと、
   前記決定値を超える断片をオペレータによる瞬間的真偽決定にかけることによって、分類され、局在化された前記海洋哺乳類の前記熱的識別特性を検証し、断片及びそれぞれの決定は自動的に又は手動で訓練セータセットに供されることと、
   前記画像データストリーム中における画像データの少なくとも一つ恒久的保存及びコンピュータのグラフィカル・ユーザー・インターフェース上への、処理された前記画像データストリームの絵表示で、分類され、局在化され、検証された前記海洋哺乳類の前記熱的識別特性を文書化し、該文書化は、前記海洋哺乳類のユーザ固有の画像データを局在化からの関連した詳細と一緒に、自動的な方法で保存うることとを含む、前記方法。
2. 前記断片の各々が２１ピクセル×２１ピクセル×１０画像のサイズを有するように、画像分割が実行される、請求項１に記載の方法。
3. 請求項１に記載の方法であって、前記制限値が以下の式を用いて計算され、
   
   ここで、
   ＳＴＡは短期間平均値であり、
   ＬＴＡは長期間平均値であり、
   λは、該グラフィカル・ユーザー・インターフェースの解像度に基づいて選択される１と３の間の定数であり、
   σは、ＳＴＡ及びＬＴＡのＮ個の測定値に渡る標準偏差であり、
   横棒は、ＳＴＡ及びＬＴＡのＮ個の測定値に渡る平均値を表す、前記方法。
4. 請求項１に記載の方法であって、前記ハイパーレベルが、主要成分解析、断片内の局所的コントラスト、断片と全体画像の間のグローバルコントラスト、及び地平線からの断片の距離に基づいて選択された断片の一つの主要成分を含むパラメータを用いて計算され、前記決定値が前記ハイパーレベルに対する差として計算される、前記方法。
5. 前記サブ画像の主要成分が、画像軸の水平（ｘ）及び垂直（ｙ）方向における、画像／ｓでの画像速度τ、ｓにおける断片の継続Ｔ及び前記サブ画像のピクセルｐ_ｘ、ｐ_ｙの数を含む、請求項４に記載の方法。
6. 前記分類することが、前記海洋哺乳類の前記熱的識別特性に対応するクラスの３０の訓練データセット、及び前記海洋哺乳類の非熱的識別特性に対応するクラスの３０の訓練データセットを使用することを含む、請求項１に記載の方法。
7. 前記局在化することが、絵表示において表される向き及び距離線を統合することを含む、請求項１に記載の方法。
8. 前記検証することが、断片の少なくとも１０個の前記サブ画像を同時に絵表示することを含む、請求項１に記載の方法。
9. 前記検証することが、拡大された方法で、コントラストにおける検出された局所的変化及び同等の全地球的な位置データで、断片の画像領域を絵表示することを含む、請求項１に記載の方法。
10. 前記オペレータが、複数の検出の相対的距離の組合せによって自動検証を実行するアルゴリズム、又は手動検証を実行している人間である、請求項１に記載の方法。
11. 前記決定値を超える断片が検証のために移され、前記断片が移される際に前記オペレータに対する警報が自動化された方法で供される、請求項１に記載の方法。
12. 前記文書化することが、地図投影法としての前記海洋哺乳類の分類された、局在化され、検証された前記熱的識別特性を表わすことを含む、請求項１に記載の方法。
13. 前記サブプロセスの更なる一つとしての前記モジュール式処理において、自動的に又は手動で決定されたサポート点を用いて、グローバル正弦波地平線に合わせることを更に含む、請求項１に記載の方法。
14. 請求項１に記載の方法であって、前記サブプロセスの更なる一つとしての前記モジュール式処理において、
    検出の空間的／時間的シーケンスに基づいて、前記海洋哺乳類の泳ぎの方向を予測すること、及び
    船舶又は船舶の周りにおける水域に置かれた装置で前記海洋哺乳類の潜在的衝突の衝突警告をトリガーすること
    のうちの少なくとも一つを更に含む、前記方法。
15. 請求項１に記載の方法であって、前記サブプロセスの更なる一つとしての前記モジュール式処理において、
    水域において浮かんでいる如何なるサイズの氷山及び他の物体の検出の追加のデータストリームを処理すること、及び
    氷山又は他の物体の一つの、船舶又は船舶の周りにおける水域に置かれた装置との潜在的衝突の衝突警告をトリガーすること
    のうちの少なくとも一つを更に含む、前記方法。
16. 請求項１に記載の方法であって、前記サブプロセスの更なる一つとしての前記モジュール式処理において、自動的な方法で、生じるエラーの補償を更に含む、前記方法。
17. 前記エラーの補償が、熱的走査の際の前記赤外線カメラシステムに及ぼす熱的影響、及び個々のピクセル感度を修正することによる地平線のかすみ効果の少なくとも一つの補償を含む、請求項１６に記載の方法。
18. 前記モジュール式処理が、複数の平行な経路においてコンピュータ成分によって同時に実行される、請求項１に記載の方法。
19. 前記撮像サーモグラフィー走査が、一つ又はそれ以上のシングル又はジュアルバンド赤外線カメラを、それぞれ、完全円中で又はそれぞれの小円中で用いて、及び地平線と比較した船舶の動きのアクティブなジャイロスコープ補正を用いて実行される、請求項１に記載の方法。
20. 前記赤外線カメラシステムが、秒当たり、少なくとも三つの連続グレースケール又はカラー画像を生み出す、請求項１に記載の方法。
21. 前記海洋哺乳類の前記熱的識別特性を検出することが、可視光範囲において水面を走査するように構成される追加の撮像カメラを用いて実行される、請求項１に記載の方法。