JP2020507175A

JP2020507175A - 人物船外落下検出システム用のラインアレイカメラ

Info

Publication number: JP2020507175A
Application number: JP2019560070A
Authority: JP
Inventors: アール．ハリス，ピーター; エム．アレクサンダー，ジェニファー
Original assignee: Carrier Corp
Current assignee: Carrier Corp
Priority date: 2017-01-25
Filing date: 2018-01-25
Publication date: 2020-03-05
Anticipated expiration: 2038-01-25
Also published as: ES2966187T3; KR20190110536A; EP3574648A1; WO2018140549A1; JP7123073B2; KR102547931B1; EP3574648B1

Abstract

物体検出システムが提供され、物体検出システムは、各ラインアレイカメラ内の１次元配列の画素を使用して、ラインアレイカメラの視野内の１つ以上のデータセットを捕捉するように構成されている少なくとも１つのラインアレイカメラであって、各データセットはある時点における１次元配列の画素からの１次元出力である、少なくとも１つのラインアレイカメラと、１つ以上のデータセットに応答して、物体が視野を通って移動した時を判定するように、及び１つ以上のデータセットに応答して、物体が人であるかどうかを判定するように構成されている制御システムとを備え、制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている。

Description

本明細書に開示される主題は、概して、物体検出の分野に関し、具体的には、人物船外落下検出のための方法及び装置に関する。

一般的に、人物船外落下検出システムは、いったん誰かが船外に落下すると、目撃者の証言を頼りにする、または、水中で人体を検出する熱探知カメラを使用する。しかしながら、人の体温は、熱探知カメラに可視であるものとかなり異なるはずであり、小さい波でさえ、水中で人に対するカメラの視野を見えなくする可能性がある。人物船外落下検出に対するより確実な解決策が望まれる。

一実施形態に従って、物体検出システムを提供する。本システムは、各ラインアレイカメラ内の１次元配列の画素を使用して、ラインアレイカメラの視野内の１つ以上のデータセットを捕捉するように構成されている少なくとも１つのラインアレイカメラであって、各データセットはある時点における１次元配列の画素からの１次元出力である、当該少なくとも１つのラインアレイカメラと、１つ以上のデータセットに応答して、物体が視野を通って移動した時を判定するように、及び１つ以上のデータセットに応答して、物体が人であるかどうかを判定するように構成されている制御システムとを備え、制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、少なくとも１つのラインアレイカメラが、さらに、第１のラインアレイカメラと、第１のラインアレイカメラの下方に、第１の選択距離に位置する第２のラインアレイカメラとを備え、制御システムは、第１のラインアレイカメラによって捕捉された１つ以上のデータセット、第２のラインアレイカメラによって捕捉された１つ以上のデータセット、及び第１の選択距離に応答して、物体の速度を判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、物体の速度に応答して、物体が人間ではないことを判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、物体の速度、ならびに第１のラインアレイカメラによって捕捉された１つ以上のデータセット及び第２のラインアレイカメラによって捕捉された１つ以上のデータセットのうちの少なくとも１つに応答して、２次元画像を編集するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、２次元画像を分析し、物体が人であるか否かを判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、人による検証のために２次元画像を伝送するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、人が検出されたとき、応答プロトコルを起動するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、物体検出システムが船上に位置し、応答プロトコルは、アラーム、乗組員への通知メッセージ、ブイドロップ、エンジン停止、または沿岸警備隊へのコールのうちの少なくとも１つを含む場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、少なくとも１つのラインアレイカメラが、さらに、第１のラインアレイカメラと、第１のラインアレイカメラから離れている第２の選択距離に位置する第３のラインアレイカメラであって、第２のカメラの視野が第１のカメラの視野に重なるような方法で、第１のラインアレイカメラに対面する、第３のラインアレイカメラとを備え、制御システムは、第２の選択距離、ならびに第１のラインアレイカメラによって捕捉された１つ以上のデータセット及び第３のラインアレイカメラによって捕捉された１つ以上のデータセットのうちの少なくとも１つに応答して、物体のサイズ及び場所のうちの少なくとも１つを判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムが、物体のサイズに応答して、物体が人間ではないことを判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、物体の時間及び場所のうちの少なくとも１つは、物体の人による検証のために伝送される場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、第１のラインアレイカメラが、短波赤外線カメラである場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、第１のラインアレイカメラは、アクティブな照明を利用する場合を含み得る。

別の実施形態に従って、物体検出方法を提供する。本方法は、各ラインアレイカメラ内の１次元配列の画素を使用して、少なくとも１つのラインアレイカメラの視野内の１つ以上のデータセットを捕捉することであって、各データセットはある時点における１次元配列の画素からの１次元出力である、捕捉することと、制御システムを使用して、１つ以上のデータセットに応答して、物体が視野を通って移動した時を判定することと、１つ以上のデータセットに応答して、物体が人であるかどうかを判定することとを含み、制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、少なくとも１つのラインアレイカメラが、さらに、第１のラインアレイカメラと、第１のラインアレイカメラの下方に、第１の選択距離に位置する第２のラインアレイカメラとを備え、制御システムは、第１のラインアレイカメラによって捕捉された１つ以上のデータセット、第２のラインアレイカメラによって捕捉された１つ以上のデータセット、及び第１の選択距離に応答して、物体の速度を判定するように構成され、制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている場合を含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムを使用して、物体の速度に応答して、物体が人間ではないことを判定することを含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムを使用して、物体の速度、ならびに第１のラインアレイカメラによって捕捉された１つ以上のデータセット及び第２のラインアレイカメラによって捕捉された１つ以上のデータセットのうちの少なくとも１つに応答して、２次元画像を編集することを含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムを使用して、２次元画像を分析し、物体が人であるか否かを判定することを含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムを使用して、人による検証のために２次元画像を伝送することを含み得る。

上記に説明した１つ以上の特徴に加えて、または代替として、本システムのさらなる実施形態は、制御システムを使用して、人が検出されたとき、応答プロトコルを起動することを含み得る。

本開示の実施形態の技術的効果は、少なくとも１つのラインアレイカメラを使用して、船外に落下する物体を検出することを含む。

前述の特徴及び要素は、明示的に別に指示がない限り、排他的ではなく様々な組み合わせで組み合わせられ得る。これらの特徴及び要素、ならびにそれらの動作は、以下の説明及び付随の図面を考慮して、より明らかになるであろう。しかしながら、以下の説明及び図面は、本質的に例証的及び説明的であること、ならびに非限定であることが意図されることを理解されたい。

本開示の前述の及び他の特徴ならびに利点は、添付の図面と併せて解釈される以下の詳細な説明から明らかであり、同様の要素は、いくつかの図で同様に番号付けされる。

図１（Ａ）は本開示の実施形態による２次元画像を編集するために物体の複数の１次元データセットを捕捉するラインアレイカメラの概略図を示す。図１（Ｂ）は本開示の実施形態による２次元画像を編集するために物体の複数の１次元データセットを捕捉するラインアレイカメラの概略図を示す。図１（Ｃ）は本開示の実施形態による２次元画像を編集するために物体の複数の１次元データセットを捕捉するラインアレイカメラの概略図を示す。図１（Ｄ）は本開示の実施形態による２次元画像を編集するために物体の複数の１次元データセットを捕捉するラインアレイカメラの概略図を示す。図１（Ｅ）は本開示の実施形態による２次元画像を編集するために物体の複数の１次元データセットを捕捉するラインアレイカメラの概略図を示す。本開示の実施形態による、船上で使用するための物体船外落下検出システムの概略図を示す。本開示の実施形態による、図１の物体船外検出システムを組み込んでいる船の側面図を示す。本開示の実施形態による、図１の物体船外落下検出システムを組み込んでいる船の上面図を示す。本開示の実施形態による、物体船外落下検出システムを動作させる方法のフローチャートである。本開示の実施形態による、物体船外落下を検出した後の、応答プロトコルの方法のフローチャートである。

開示された装置及び方法の１つ以上の実施形態の詳細な説明は、例示によって本明細書に提示され、図を参照して限定されるものではない。

図１（Ａ）〜図１（Ｅ）は、２次元画像３００を編集するために物体２００の複数の１次元データセット３００ａを捕捉するラインアレイカメラ１１０の概略図を示す。図１（Ａ）〜図１（Ｅ）は単一のラインアレイカメラ１１０を示すが、図２〜図４は、第１の上側ラインアレイカメラ１１０ａ、第２の上側ラインアレイカメラ１１０ｂ、第１の下側ラインアレイカメラ１２０ａ、第２の下側ラインアレイカメラ１２０ｂ等を含む様々な名称を伴う複数のラインアレイカメラを含有する。図２〜図４の呼称（第１の、第２の、上側、下側）は、様々なラインアレイカメラの構成を区別し、各ラインアレイカメラは、図１（Ａ）〜図１（Ｅ）を参照して説明される、ラインアレイカメラ１１０と同じ能力を有する。呼称（第１の、第２の、上側、下側）は非限定的であり、例えば、第１の、第２の、第３の、及び第４の等の他の用語を使用し得る。

ラインアレイカメラ１１０（例えば、ライン走査カメラ、ラインアレイカメラ、または１次元配列カメラ等）は、１次元配列の画素１１１を使用して１次元データセットを捕捉することが可能である任意のカメラであり得る。図１（Ａ）〜図１（Ｅ）に示されるように、ラインアレイカメラ１１０は、第１の１次元配列の画素１１１に起因して、かなり狭い視野を有する。物体２００がラインアレイカメラ１１０の視野１１２を横断して移動するとき、物体２００の１次元データセット３００ａが記録される。注記：ラインアレイカメラ１１０は、第１の視野１１２を通って移動する物体２００が存在しないときでさえも、データセットを連続的に捕捉している。１次元データセット３００ａは、図１（Ａ）〜図１（Ｅ）に見られるように、物体２００の完全な画像３００の「スライス」であり得る。次に、これらのデータセット３００ａは、ラインアレイカメラ１１０の視野１１２を横断して移動した物体２００の２次元画像３００を作成するために集約することができる。各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、視野１１２内の物体２００の検出を判定し得る。検出目的のために、ラインアレイカメラを使用するとき、物体２００は、ラインアレイカメラ１１０の視野を通って、異なる速さまたは異なる方向で移動し得る。したがって、移動物体２００の速度及び／または方向を計算するために、第２のラインアレイカメラを使用することができる。開示される実施形態では、ラインアレイカメラは、船４００の船外に落下する物体２００（具体的には、人）を検出するために使用されている。船外検出システム１００が船４００を参照して示されるが、船４００は限定的であると見なすべきではなく、船外検出システム１００は、落下物体の検出が望まれる他の建造物（例えば、橋またはピア等）で利用され得る。

有利なことに、１次元データセットを生成する１次元配列の画素は、ラインアレイカメラの視野を通って移動する物体２００のスライス（背景を含まないもの）だけを撮像することによってプライバシーの懸念を減らすことに役立つ。加えて、ラインアレイカメラの狭い視野１１２は、ビデオ（２Ｄ）システムにおける一般的な妨害／フォールスアラームの危険性を減らすことに役立ち得る。ある実施形態では、ラインアレイカメラは、短波赤外線（ＳＷＩＲ）カメラであり得る。有利なことに、ＳＷＩＲカメラは、それらが可視光を必要としなく、ひいては慎重な検出を行うことができるため、検出目的のために有益である。加えて、ＳＷＩＲ波長は、また、通常、可視カメラの視界を見えなくするであろう霞等の一般的な大気条件を貫通し得る。

図２は、本開示の実施形態による、船４００に関する物体船外落下検出システム１００の概略図を示す。図２を参照すると、物体船外落下検出システム１００は、第１の上側ラインアレイカメラ１１０ａ、第１の下側ラインアレイカメラ１２０ａ、第２の上側ラインアレイカメラ１１０ｂ、第２の下側ラインアレイカメラ１２０ｂ、及び制御システム１５０を含む。ラインアレイカメラ１１０ａ、１１０ｂ、１２０ａ、１２０ｂは、ラインアレイカメラのペア１０８ａ、１０８ｂとして配置される。

第１のラインアレイカメラペア１０８ａは、第１の上側ラインアレイカメラ１１０ａ及び第１の下側ラインアレイカメラ１２０ａを含む。第１の上側ラインアレイカメラ１１０ａは、第１の下側ラインアレイカメラ１２０ａの上方に垂直に位置する。第１の下側ラインアレイカメラ１２０ａは、第１の上側ラインアレイカメラ１１０ａから離れるように、第１の距離Ｄ１に位置する。図２に見られるように、第１の下側ラインアレイカメラ１２０ａの第１の下側視野１２２ａは、第１の上側カメラ１１０ａの第１の上側視野１１２ａに平行である。第１の視野１１２ａ、１２２ａは、また、船４００のデッキ４０２に平行であり得る。

第１の上側ラインアレイカメラ１１０ａは、画素１１１ａの第１の上側１次元配列を使用して、第１の上側視野１１２ａ内に１つ以上の１次上側データセットを捕捉するように構成されている。各１次上側データセットは、第１の上側ラインアレイカメラ１１０ａの第１の上側１次元配列の画素１１１ａによって捕捉されたものの１次元デジタル出力である。第１の下側ラインアレイカメラ１２０ａは、第１の上側ラインアレイカメラ１１０ａと同様に動作する。第１の下側ラインアレイカメラ１２０ａは、第１の下側視野１２２ａ内に１つ以上の１次下側データセットを捕捉するように構成されている。１次下側データセットのそれぞれは、第１の下側ラインアレイカメラ１２０ａの第１の下側１次元配列の画素１２１ａによって捕捉されたものの１次元デジタル出力である。

第２のラインアレイカメラペア１０８ｂは、第２の上側ラインアレイカメラ１１０ｂ及び第２の下側ラインアレイカメラ１２０ｂを含む。第２の上側ラインアレイカメラ１１０ｂは、第２の下側ラインアレイカメラ１２０ｂの上方に垂直に位置する。第２の下側ラインアレイカメラ１２０ｂは、第２の上側ラインアレイカメラ１１０ｂから離れるように、第１の距離Ｄ１に位置する。図２に見られるように、第２の下側ラインアレイカメラ１２０ｂの第２の下側視野１２２ｂは、第２の上側カメラ１１０ｂの第２の上側視野１１２ｂに平行である。第１の視野１１２ｂ、１２２ｂは、また、船４００のデッキ４０２に平行であり得る。

第２の上側ラインアレイカメラ１１０ｂは、第２の上側１次元配列の画素１１１ｂを使用して、第２の上側視野１１２ｂ内に１つ以上の二次上側データセットを捕捉するように構成されている。二次上側データセットのそれぞれは、第２の上側ラインアレイカメラ１１０ｂの第２の上側１次元配列の画素１１１ｂによって捕捉されたものの１次元デジタル出力である。第２の下側ラインアレイカメラ１２０ｂは、第２の上側ラインアレイカメラ１１０ｂと同様に動作する。第２の下側ラインアレイカメラ１２０ｂは、第２の下側視野１２２ｂ内に１つ以上の二次下側データセットを捕捉するように構成されている。二次下側データセットのそれぞれは、第２の下側ラインアレイカメラ１２０ｂの第２の下側１次元配列の画素１２１ｂによって捕捉されたものの１次元デジタル出力である。

示される実施形態では、第２の上側ラインアレイカメラ１１０ｂは第１の上側ラインアレイカメラ１１０ａに対面し、第２の下側ラインアレイカメラ１２０ｂは第１の下側ラインアレイカメラ１２０ａに対面する。ラインアレイカメラの第２のペア１０８ｂは、ラインアレイカメラの第１のペア１０８ａから離れるように、第２の選択距離に位置する。図２に見られるように、ラインアレイカメラのペア１０８ａ、１０８ｂが相互に対面するため、第１の上側視野１１２ａは第２の上側視野１１２ｂと重なり、第１の下側視野１２２ａは第２の下側視野１２２ｂと重なる。第２の視野１１２ｂ、１２２ｂは、第１の視野１１２ａ、１２２ａに平行である。したがって、船外に落下する物体２００は、４つの視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂを通って必然的に落下するであろう。

ただの単一のラインアレイカメラは、物体２００の存在を検出することが要求され、しかしながら、少なくとも２つのラインアレイカメラは、物体２００の軌道及び速度を検出することが要求される。追加のラインアレイカメラは、忠実性を増加させるために追加され得る。追加のラインアレイカメラは相互に対面し、また、物体２００のサイズ及び場所を判定するために追加され得る。

物体２００が最初に視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂのどれに入るかに基づいて、物体２００の運動方向を判定することができる。例えば、物体２００が第１の時点において上側視野１１２ａ、１１２ｂを交差し、次に、第２の時点において下側視野１２２ａ、１２２ｂを交差する場合、物体２００が第１の方向Ｘ１に進み、ひいては、船４００の船外に落下することが判定され得る。有利なことに、物体２００が移動している方向を知ることは、視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂを通って船外に落下する人と、視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂを通って飛んでいる鳥とを区別することに役立つであろう。（図１（Ａ）〜図１（Ｅ）に見られるように）第１の選択距離Ｄ１と、移動物体２００が上側視野１１２ａ、１１２ｂに入る時間と、下側視野１２２ａ、１２２ｂに入る時間との間の時間周期とを使用して、物体２００の速度は、２次元画像を作るために計算及び使用されることができる。

さらに、第１の上側視野１１２ａが第２の上側視野１１２ｂと重なり、第１の下側視野１２２ａは第２の下側視野１２２ｂと重なるように、ラインアレイカメラを相互に対面するように配列することができる。有利なことに、２つのラインアレイカメラを相互に対面させることは、２つのカメラを参照して、物体２００のサイズ及び物体２００の場所についての追加情報を提供し得る。したがって、ラインアレイカメラの第１のペア１０８ａから物体までの距離Ｄ３を判定し得、ラインアレイカメラの第２のペア１０８ｂから物体２００までの距離Ｄ４を判定し得る。相互に対面する２つのラインアレイカメラ１１０ａ、１２０ａの間の物体２００の場所を判定するために、ラインアレイカメラ１１０ａ、１２０ａのそれぞれから２つのデータセットを相互に比較する。具体的には、物体２００が占める画素数は、各データセット（別名、ターゲット画素）の範囲内のものである。例えば、物体が第１の上側ラインアレイカメラ１１０ａに関する１００ターゲット画素を占め、及び第２のラインアレイカメラ１２０ａ上で２画素を占める場合、物体は、第１の上側ラインアレイカメラ１１０ａにより近くなる。次に、各データセットの画素数、ラインアレイカメラ１１０ａ、１２０ａのそれぞれの画角、及びラインアレイカメラ１１０ａ、１２０ａのそれぞれの間の既知の距離に応答して、ラインアレイカメラ１１０ａ、１２０ａの間の物体２００の実際の場所を計算することができる。次に、２つのラインアレイカメラ１１０ａ、１２０ａの間の物体２００の場所と、「ターゲット画素数」とを使用して、物体２００のサイズを判定し得る。有利なことに、物体のサイズが選択されたサイズ範囲内にあるときだけ、アラーム１７０は起動され得る。

制御システム１５０は、物体船外落下検出システム１００の動作を制御し、物体が船外に落下しているかどうか、物体２００であろうもの、及び物体２００が船外に落下した場所を判定するように構成されている。制御システム１５０は、上記に説明した速度、軌道、サイズ、及び場所の計算を行うように構成されている。制御システム１５０は、ラインアレイカメラ１１０ａ、１２０ａ、１１０ｂ、１２０ｂのそれぞれと通信する。制御システム１５０は、プロセッサ及び関連メモリを含み得る。プロセッサは、限定ではないが、均一的または不均一に配列されるフィールドプログラムゲートアレイ（ＦＰＧＡ）、中央処理装置（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはグラフィックス処理ユニット（ＧＰＵ）ハードウェアを含む、多様な可能であるアーキテクチャのいずれかのシングルプロセッサシステムまたはマルチプロセッサシステムであり得る。メモリは、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、または他の電子、光学、磁気コンピュータ可読媒体、もしくは任意の他のコンピュータ可読媒体であり得る。

いったん各データセットがラインアレイカメラ１１０ａ、１２０ａ、１１０ａ、１２０ｂによって捕捉されると、データセットは、物体２００が４つの視野１１２ａ、１２２ａ、１１２ｂ、１２２ｂのいずれかを通過したかどうか、及び物体２００が人であるかどうかを判定するように、制御システム１５０によって処理される。人が船外に落下していると判定されたとき、アラーム１７０は起動され得る。アラーム１７０は、可視及び／または可聴であり得る。加えて、制御システムが人物船外落下イベントを検出しているとき、応答プロトコルは起動され得る。例えば、一実施形態では、応答プロトコルは、アラーム１７０、乗組員への通知メッセージ、ブイドロップ３２０、エンジン停止、または沿岸警備隊へのコールのうちの少なくとも１つを含み得る。これらの応答プロトコルは、いったん検出が行われると、船４００で、自動的に、または乗組員のメンバーによって開始し得る。加えて、ラインアレイカメラ１１０ａ、１２０ａ、１１０ｂ、１２０ｂの１つによって集約された２次元画像は、また、人による検証のために伝送され得る。次に、乗組員は、カメラ３１０からの視像、またはラインアレイカメラ１１０ａ、１２０ａ、１１０ｂ、１２０ｂの１つによって集約された２次元画像に基づいて行動を取り得る。物体２００が人ではない場合、乗組員はアラームを停止させ得るが、物体２００が人である場合、乗組員は人を救う救助活動を開始し得る。代替として、制御システム１５０は、視覚認識によって、物体２００の正体を判定するように構成され得る。例えば、制御システム１５０が、物体２００の正体がボトルであることを判定した場合、アラーム１７０は停止され得るが、物体２００の正体が人である場合、制御システム１５０はアラーム１７０を起動し得る。加えて、乗組員メンバーが、人物船外落下イベントのさらなる検証のために、（船に搭載されたセキュリティカメラからの）対応するセキュリティカメラの映像によって迅速に検索するために、時間及び場所情報を乗組員メンバーに送信することができる。

ここで、図２を参照することに続けて、図３及び図４を参照する。図３及び図４は、本開示の実施形態による、船４００上に組み込まれる物体船外落下検出システム１００を示す。図３及び図４に示される構成は、船上の船外検出システム１００の可能である実施態様の実施例である。図３及び図４に見られるように、及び上記に言及したように、ラインアレイカメラは、ラインアレイカメラのペア１０８ａ〜１０８ｎとして配置される。ラインアレイカメラペア１０８ａ〜１０８ｎのそれぞれは、上側ラインアレイカメラ１１０及び下側ラインアレイカメラ１２０を含む。図３はラインアレイカメラの６つのペア１０８ａ〜１０８ｆを示し、ラインアレイカメラのペア１０８ａ〜１０８ｆのぞれぞれは、下側ラインアレイカメラ１２０ａ〜１１０ｆの上方に垂直に位置する上側ラインアレイカメラ１１０ａ〜１１０ｆを有し、図示されないラインアレイカメラのペア１０８〜１０８ｎの残りのものと同じである。図３に見られるように、ラインアレイカメラのペア１０８ａ〜１０８ｎは船４００の周囲に系統的に配列され、これにより、船４００の全外周４７０は、上側視野１１２ａ〜１１２ｎの範囲内にある。したがって、物体２００が船４００から落ちた場合、上側視野１１２ａ〜１１２ｎを必然的に通過し、続いて、各々の下側視野（図３に図示されないが、上側視野１１２ａ〜１１２ｎの真下にある）を通過するであろう。図２に見られるように、上側視野１１２ａ〜１１２ｆは下側視野１２２ａ〜１２２ｆに平行に配列され、図２に図示されない残りの視野と同じである。当業者によって認識され得るように、本開示は、船４００のサイズ及び形状に応じて変わり得るラインアレイカメラのペア１０８ａ〜１０８ｎ（または単一のユニット）の数または配列によって限定されない。カメラの配列は、船毎に異なるように設計される必要があり得、また、各ラインアレイカメラの品質に依存し得る。例えば、より低い画素数を伴うラインアレイカメラは、船の周囲に設置されることがさらに要求され得る。追加のラインアレイカメラは、船４００からのはみ出しがある場合に、要求され得る。より少数のラインアレイカメラは、船４００から落ちることが不可能であるエリア（すなわち、バルコニーがない場所、窓がない場所、上側デッキがない場所、乗客及び／または乗組員がアクセスできない船のエリア）で必要とされ得る。

ここで、図１〜図３の構成要素を参照しながら、図５を参照する。図５は、本開示の実施形態による、物体２００の船外落下を検出する方法５００のフローチャートを示す。ブロック５０４において、少なくとも１つのラインアレイカメラ１１０ａ、１１０ｂ、１２０ａ、１２０ｂは、ラインアレイカメラ１１０ａ、１１０ｂ、１２０ａ、１２０ｂのぞれぞれの内部の１次元配列の画素１１１ａ、１１１ｂ、１２１ａ、１２１ｂを使用して、ラインアレイカメラ１１０ａ、１１０ｂ、１２０ａ、１２０ｂの視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂの中の１つ以上のデータセットを捕捉する。各データセットは、ある時点における１次元配列の画素からの１次元出力である。ブロック５０６において、制御システム１５０は、１つ以上のデータセットに応答して、物体２００が視野を通って移動した時を判定する。ブロック５０８において、制御システム１５０は、１つ以上のデータセットに応答して、物体２００が人であるかどうかを判定する。検出システム１００は、常に、ラインアレイカメラ１１０ａ、１１０ｂ、１２０ａ、１２０ｂの全てからデータセットを捕捉し、データセットを分析し、視野１１２ａ、１１２ｂ、１２２ａ、１２２ｂのいずれかの中に物体２００が移動した時を判定する（同じデータセット内の画素を比較することによって、同様に、同じカメラから得られた異なるデータセットを比較することによって、この判定を行う）。いったん検出システム１００が、物体２００が１つ以上のカメラの視野内に移動したことを判定すると、検出システム１００は、他のカメラからのデータセットを分析し、物体２００が落下した人または否かどうかについてのさらなる情報を得ることができる。

有利なことに、複数のラインアレイカメラを利用することで、落下した物体に関する検出及び検証の複数の積み重ねを可能にし、したがって、冗長性を増加させ、フォールスアラーム率を減少させる。また、有利なことに、ラインアレイカメラは小型であり、船または他の構造の側面から６００ｍｍを超えて突出しない場合がある。さらに有利なことに、上記に説明したラインアレイカメラは、検出の数秒後以内に物体の画像を人による検証のために提供することが可能になるだろう。また有利なことに、ＳＷＩＲカメラは、それらが可視光を必要としなく、ひいては慎重な検出を行うことができるため、検出目的のために有益である。加えて、ＳＷＩＲ波長は、また、通常、可視カメラの視界を見えなくするであろう霞等の一般的な大気条件を貫通し得る。また、アクティブな照明を実装し得る。

上記の説明は特定の順序で図５の流れ工程を説明しているが、添付の特許請求の範囲で特に別段の要求がない限り、ステップの順序付けは変わり得ることを理解されたい。

ここで、図１〜図３の構成要素を参照しながら、図６を参照する。図６は、本開示の実施形態による、物体２００の船外落下を検出した後の応答プロトコルの方法６００のフローチャートを示す。ブロック６１０において、物体２００は、ライン配列検出システム１００によって検出される。ブロック６１０に続いて、ライン配列検出システム１００が船外に落下した物体２００が人であることを判定したとき、一連の複数の応答がある。最初に、低リグレット応答は、ブロック６２０で開始し得る。ブロック６２０における低リグレット応答では、ブイ３２０は落下し得る、及び／または物体２００の２次元画像は、人による検証のために送信され得る。ブロック６２０において低リグレットシナリオがフォールスアラームであることが分かる場合、船４００は、ブロック６２２において、通常動作に戻り得る。ブロック６３０における中間リグレット応答では、船４００のエンジンは停止し得る、及び／またはセキュリティビデオは、物体２００が船４００から落ちたことが検出された場所の近くの場所が精査され得る。ブロック６３０において中間リグレット応答がフォールスアラームであることが分かった場合、船４００は通常動作に戻り得る。ブロック６４０における高リグレットシナリオでは、次に、航路は逆になり、乗客に通知され、沿岸警備隊に通知され得、セーフティクルーは水中に行かされ得る。

上記の説明は特定の順序で図６の流れ工程を説明しているが、添付の特許請求の範囲で特に別段の要求がない限り、ステップの順序付けは変わり得ることを理解されたい。

上記に説明したように、複数の実施形態は、プロセッサによって実施されるプロセスの形態と、それらのプロセスを実践するためのデバイス（プロセッサ等）の形態であり得る。実施形態は、また、ネットワーククラウドストレージ、ＳＤカード、フラッシュドライブ、フロッピーディスク、ＣＤＲＯＭ、ハードドライブ、または任意の他のコンピュータ可読記憶媒体等の有形的表現媒体で具現化される命令を含有するコンピュータプログラムコードの形態であり得、コンピュータプログラムコードがコンピュータにロードされ及びコンピュータによって実行されるとき、コンピュータは実施形態を実践するためのデバイスになる。実施形態は、また、コンピュータプログラムコードの形態であり得、例えば、記憶媒体内に記憶された、コンピュータにロードされた及び／またはコンピュータによって実行されたコンピュータプログラムコードの形態、または、いくつかの伝送媒体を通して伝送された、コンピュータにロードされた及び／またはコンピュータによって実行されたコンピュータプログラムコードの形態、または電気配線または電気ケーブルを通して、光ファイバを経由して、もしくは電磁放射等を介して等、いくつかの伝送媒体を通して伝送されたコンピュータプログラムコードの形態のどれかであり、コンピュータプログラムコードがコンピュータにロードされ、コンピュータによって実行されるとき、コンピュータは実施形態を実践するためのデバイスになる。汎用マイクロプロセッサ上で実施されるとき、コンピュータプログラムコードセグメントは、特有の論理回路を作成するマイクロプロセッサを構成する。

用語「約（ａｂｏｕｔ）」は、出願時に利用可能である機器に基づいて、特定の量の測定値と関連付けられる一定の程度の誤差を含むことが意図される。例えば、「約（ａｂｏｕｔ）」は、所与の値の±８％もしくは±５％、または±２％の範囲を含み得る。

本明細書で使用された専門用語は、特定の実施形態だけを説明する目的のためのものであり、本開示を限定することを意図していない。本明細書に使用されるような、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈で他に明確に示さない限り、同様に、複数形を含むことが意図される。さらに、用語「備える（ｃｏｍｐｒｉｓｅｓ）」及び／または「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／または構成要素の存在を規定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／またはそれらの群の存在または追加を除外するわけではないことが理解されるであろう。

本開示では例示の一実施形態または複数の実施形態を参照して説明されているが、本開示の範囲から逸脱することなく、種々の変更がされ得、同等のものがその要素の代わりになり得ることを当業者によって理解されるだろう。加えて、特定の状況または物質を本開示の教示に、その本質的範囲から逸脱することなく適応させるために、多くの修正がされ得る。したがって、本開示は、本開示を実行するために想到される最良の形態として開示される特定の実施形態に限定されないが、本開示は、特許請求の範囲内にある全ての実施形態を含むことが意図される。

Claims

物体検出システムであって、前記システムは、
少なくとも１つのラインアレイカメラであって、各ラインアレイカメラ内の１次元配列の画素を使用して、前記ラインアレイカメラの視野内の１つ以上のデータセットを捕捉するように構成されており、各データセットはある時点における前記１次元配列の画素からの１次元出力である、前記少なくとも１つのラインアレイカメラと、
前記１つ以上のデータセットに応答して、物体が視野を通って移動した時を判定するように、及び前記１つ以上のデータセットに応答して、前記物体が人であるかどうかを判定するように構成されている制御システムと、を備え、
前記制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている、前記物体検出システム。
前記少なくとも１つのラインアレイカメラは、さらに、
第１のラインアレイカメラと、
前記第１のラインアレイカメラの下方に、第１の選択距離に位置する第２のラインアレイカメラと、を備え、
前記制御システムは、前記第１のラインアレイカメラによって捕捉された１つ以上のデータセット、前記第２のラインアレイカメラによって捕捉された１つ以上のデータセット、及び前記第１の選択距離に応答して、前記物体の速度を判定するように構成されている、請求項１に記載の物体検出システム。
前記制御システムは、前記物体の前記速度に応答して、前記物体が人間ではないことを判定するように構成されている、請求項２に記載の物体検出システム。
前記制御システムは、前記物体の前記速度、ならびに前記第１のラインアレイカメラによって捕捉された前記１つ以上のデータセット及び前記第２のラインアレイカメラによって捕捉された前記１つ以上のデータセットのうちの少なくとも１つに応答して、２次元画像を編集するように構成されている、請求項２に記載の物体検出システム。
前記制御システムは、前記２次元画像を分析し、前記物体が人であるか否かを判定するように構成されている、請求項４に記載の物体検出システム。
前記制御システムは、人による検証のために、前記２次元画像を伝送するように構成されている、請求項４に記載の物体検出システム。
前記制御システムは、人が検出されたとき、応答プロトコルを起動するように構成されている、請求項１に記載の物体検出システム。
前記物体検出システムは船上に位置し、前記応答プロトコルは、アラーム、乗組員への通知メッセージ、ブイドロップ、エンジン停止、または沿岸警備隊へのコールのうちの少なくとも１つを含む、請求項７に記載の物体検出システム。
前記少なくとも１つのラインアレイカメラは、さらに、
第１のラインアレイカメラと、
前記第１のラインアレイカメラから離れている第２の選択距離に位置する第３のラインアレイカメラであって、前記第２のカメラの視野が前記第１のカメラの前記視野に重なるような方法で、前記第１のラインアレイカメラに対面する、第３のラインアレイカメラと、を備え、
前記制御システムは、前記第２の選択距離、ならびに前記第１のラインアレイカメラによって捕捉された１つ以上のデータセット及び前記第３のラインアレイカメラによって捕捉された１つ以上のデータセットのうちの少なくとも１つに応答して、前記物体のサイズ及び場所のうちの少なくとも１つを判定するように構成されている、請求項１に記載の物体検出システム。
前記制御システムは、前記物体の前記サイズに応答して、前記物体が人間ではないことを判定するように構成されている、請求項９に記載の物体検出システム。
前記物体の前記時間及び場所のうちの少なくとも１つは、前記物体の人による検証のために伝送される、請求項１０に記載の物体検出システム。
前記第１のラインアレイカメラは短波赤外線カメラである、請求項１に記載の物体検出システム。
前記第１のラインアレイカメラはアクティブな照明を利用する、請求項１２に記載の物体検出システム。
物体検出方法であって、前記方法は、
少なくとも１つのラインアレイカメラの視野内の１つ以上のデータセットを、各ラインアレイカメラ内の１次元配列の画素を使用して捕捉することであって、各データセットはある時点における前記１次元配列の画素からの１次元出力である、前記捕捉することと、
制御システムを使用して、前記１つ以上のデータセットに応答して、物体が視野を通って移動した時を判定することと、
前記１つ以上のデータセットに応答して、前記物体が人であるかどうかを判定することと、を含み、
前記制御システムは、各データセット内の変動及び各データセット間の変動のうちの少なくとも１つに応答して、人が視野を通って移動したことを判定するように構成されている、前記方法。
前記少なくとも１つのラインアレイカメラは、さらに、
第１のラインアレイカメラと、
前記第１のラインアレイカメラの下方に、第１の選択距離に位置する第２のラインアレイカメラと、を備え、
前記制御システムは、前記第１のラインアレイカメラによって捕捉された１つ以上のデータセット、前記第２のラインアレイカメラによって捕捉された１つ以上のデータセット、及び前記第１の選択距離に応答して、前記物体の速度を判定するように構成されている、請求項１４に記載の方法。
前記制御システムを使用して、前記物体の前記速度に応答して、前記物体が人間ではないことを判定することをさらに含む、請求項１５に記載の方法。
前記制御システムを使用して、前記物体の前記速度、ならびに前記第１のラインアレイカメラによって捕捉された１つ以上のデータセット及び前記第２のラインアレイカメラによって捕捉された１つ以上のデータセットのうちの少なくとも１つに応答して、２次元画像を編集することをさらに含む、請求項１５に記載の方法。
前記制御システムを使用して、前記２次元画像を分析し、前記物体が人であるか否かを判定することをさらに含む、請求項１７に記載の方法。
前記制御システムを使用して、人による検証のために、前記２次元画像を伝送することをさらに含む、請求項１７に記載の方法。
前記制御システムを使用して、人が検出されたとき、応答プロトコルを起動することをさらに含む、請求項１４に記載の方法。