JP2022042961A - ビークルの内部キャビン内の収納棚アセンブリの状態を決定するためのシステム及び方法 - Google Patents

Abstract

【課題】ビーグルの内部キャビン内の装備品、例えば収納棚アセンブリの状態を決定するためのシステム及び方法を提供する。【解決手段】システム１００は、ビークル１０６の内部キャビン１０４内に１つ以上の装備品１０２を含む。撮像装置１０８は、１つ以上の装備品１０２の画像を取得する。状態決定制御ユニット１１２は、プロセッサを含む。状態決定制御ユニット１１２は、撮像装置１０８と通信し、撮像装置１０８から、画像を含む画像データ１２２を受信する。さらに、状態決定制御ユニット１１２は、画像データ１２２に基づいて、１つ以上の装備品１０２の状態を決定する。【選択図】図１

Description

本開示の実施形態は、概して、ビーグルの内部キャビン内の装備品、例えば収納棚アセンブリの状態を決定するためのシステム及び方法に関する。

航空機が、様々な地域の間で乗客及び貨物を移送するために利用されている。航空機の内部キャビンは、開放状態と閉鎖状態との間で動かせる数多くの装備品を含む。例えば、内部キャビン内の頭上荷物棚アセンブリは、開放状態と閉鎖状態との間で可動な棚を含む。他の例として、出口ドアが、開放状態と閉鎖状態との間で可動である。他の例として、内部キャビン内の化粧室のドアが、開放状態と閉鎖状態との間で可動である。他の例として、ギャレーカートコンパートメントが、当該コンパートメント内へとギャレーカートを動かすことが可能な開放状態と、当該コンパートメント内にギャレーカートが既に存在する閉鎖状態と、になりうる。一般に、民間航空機というビークルの内部キャビンは、開放状態と閉鎖状態との間で可動な様々な装備品を含む。

フライトの様々な段階の間に、或る装備品が特定の状態にある。例えば、搭乗手続き中には、荷物棚アセンブリが開放状態にあり、乗客は、手荷物や他の携行品を収納することができる。出発時間が近づくと、客室乗務員が、典型的に荷物棚アセンブリを監視し、航空機が誘導路及び／又は滑走路に移動する前に各棚が確実に閉じられていることを徹底させる。即ち、客室乗務員といった個人が、荷物棚アセンブリが開いているかどうかを見て判定している。察しがつくように、内部キャビンの中を歩いてどの荷物棚アセンブリが開いているのかを視覚的に判定するプロセスには時間が掛かる。さらに、例えば乗客が助けを必要とするといった場合には、客室乗務員の気が取られて、開いている収納棚アセンブリが見落とされる可能性がある。

荷物棚アセンブリの中には、配線を介して監視装置に接続されたセンサを含むものもあり、又はそうでなければ、当該センサに接続されているものある。しかしながら、センサ及び配線によって航空機の重量が増す。センサ及び配線は、配置及び／又は経路設定を行う必要があるため、センサ及び配線によって製造の複雑さが増す。さらに、センサ及び配線からの付加的な重量によって、燃料効率が下がる。

ビークルの内部キャビン内の装備品の状態を自動的に決定するためのシステム及び方法に対する必要性が存在している。さらに、ビークルの内部キャビン内の荷物棚アセンブリが開いているのか又は閉じているのかを自動的に判定するためのシステム及び方法に対する必要性が存在する。加えて、ビークルに実質的に重量を付加しない、内部キャビン内の装備品の状態を監視するシステム及び方法に対する必要性が存在する。

これらのニーズを念頭に置き、本開示の特定の実施形態は、ビークルの内部キャビン内の１つ以上の装備品と、１つ以上の装備品の画像を取得するよう構成された撮像装置と、プロセッサを含む状態決定制御ユニットと、を備えるシステムを提供する。状態決定制御ユニットは、撮像装置と通信する。状態決定制御ユニットは、撮像装置から、画像を含む画像データを受信して、画像データに基いて、１つ以上の装備品の状態を決定する。

少なくとも１つの実施形態において、状態は、開放状態又は閉鎖状態の一方、又はその双方を含む。少なくとも１つの実施形態において、１つ以上の装備品は、１つ以上の頭上荷物棚アセンブリである。

少なくとも１つの実施形態において、状態決定制御ユニットが、画像データ内の注目領域を決定する。例えば、状態決定制御ユニットは、画像内の消失点を決定することによって、注目領域を決定する。更なる例として、状態決定制御ユニットは、消失点を通る二等分線を決定する。注目領域が、二等分線によって決定される。

少なくとも１つの実施形態において、状態決定制御ユニットが、画像データ内の遠近感を補正する。例えば、１つ以上の装備品が、一列に並んだ複数の装備品を含む。状態決定制御ユニットが、列の第１の末端において第１の末端線を生成し、かつ第１の末端線とは反対側の、列の第２の末端において第２の末端線を生成する。状態決定制御ユニットが、列の上縁と関連付けられた上境界線と、列の下縁と関連付けられた下境界線と、をさらに生成する。第１の末端線と上境界線とが、第１のコーナーで交差する。第１の末端線と下境界線とが、第２のコーナーで交差する。第２の末端線と上境界線とが、第３のコーナーで交差する。第２の末端線と下境界線とが、第４のコーナーで交差する。第１のコーナーと、第２のコーナーと、第３のコーナーと、第４のコーナーとは、複数の装備品を画定する四辺形のコーナーである。状態決定制御ユニットが、四辺形を、各対応するコーナーを有する矩形へと幾何学的に変換して、遠近補正された画像を形成する。

少なくとも１つの実施形態において、状態決定制御ユニットが、画像データ内の１つ以上の装備品のそれぞれの形状を外挿する。

少なくとも１つの実施形態において、状態決定制御ユニットが、クラスタリングを介して１つ以上の装備品の状態を決定する。

少なくとも１つの実施形態において、状態決定制御ユニットが、画像属性の相違を決定することによって、１つ以上の装備品の状態を決定する。

少なくとも１つの例において、システムがユーザデバイスをさらに含む。状態決定制御ユニットが、１つ以上の装備品の状態を示す状態信号を、ユーザデバイスに出力する。

少なくとも１つの例において、状態決定制御ユニットが、１つ以上の装備品の状態に基いて、１つ以上の装備品を自動的に操作する装備品制御信号を出力する。

本開示の或る特定の実施形態は、方法であって、
撮像装置によって、ビークルの内部キャビン内の１つ以上の装備品の画像を取得することと、
プロセッサを含み、撮像装置と通信する状態決定制御ユニットによって、撮像装置から、画像を含む画像データを受信することと、
状態決定制御ユニットによって、画像データに基いて１つ以上の装備品の状態を決定すること
を含む方法を提供する。

本開示の或る特定の実施形態は、実行可能な命令を含む非一過性コンピュータ可読記憶媒体であって、
命令は、実行に応じて、プロセッサを含むシステムに、
ビークルの内部キャビン内の１つ以上の装備品の画像を含む画像データを、内部キャビン内の撮像装置から受信することと、
画像データに基いて、１つ以上の装備品の状態を決定すること
を含む動作を実行させる、非一過性コンピュータ可読記憶媒体を提供する。

本開示の一実施形態に係る、ビークルの内部キャビン内の１つ以上の装備品の状態を決定するシステムの概略的なブロック図を示す。 本開示の一実施形態に係る、ビークルの内部キャビン内の１つ以上の装備品の状態を決定する方法のフローチャートを示す。 本開示の一実施形態に係る、状態決定制御ユニットの概略的なブロック図を示す。 本開示の一実施形態に係る、内部キャビンの一部分の画像を示す。 本開示の一実施形態に係る、内部キャビン内の頭上荷物棚アセンブリの列を含む注目領域の遠近補正された画像を示す。 本開示の一実施形態に係る、頭上荷物棚アセンブリに対応する棚の形状が外挿されている遠近補正された画像を示す。 本開示の一実施形態に係る、第１の群の頭上荷物棚アセンブリに対応する棚形状の第１のクラスタと、第２の群の頭上荷物棚アセンブリに対応する棚形状の第２のクラスタと、を有する遠近補正された画像を示す。 本開示の一実施形態に係る、内部キャビンの一部分の画像を示す。 本開示の一実施形態に係る、図８の内部キャビンの一部分の画像内の消失点を示す。 本開示の一実施形態に係る、図８の内部キャビンの一部分の画像の第１の注目領域及び第２の注目領域を示す。 本開示の一実施形態に係る、画像の第１の注目領域を示す。 本開示の一実施形態に係る、図１１の第１の注目領域内の頭上荷物棚アセンブリの列の遠近補正された画像を示す。 本開示の例示的な実施形態に係る、ビークルの正面を斜めから見た図である。

上記の概要及び特定の実施形態の以下の詳細な説明は、添付の図面と併せて読むことにより、よりよく理解されよう。本明細書では、単数形で記載され「１つの（「ａ」又は「ａｎ」）」という用語の後に続く要素又はステップは、複数の要素又はステップを必ずしも除外しないと理解されたい。更に、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、記載されている特徴を同様に包含する追加の実施形態の存在を除外すると解釈されることを意図していない。さらに、明示的に反対の記載がされていない限り、特定の条件を有する要素又は複数の要素を「含む（ｃｏｍｐｒｉｓｉｎｇ）」又は「有する（ｈａｖｉｎｇ）」実施形態は、かかる条件を有していないさらなる要素を含みうる。

本開示の或る特定の実施形態は、ビークル（例えば、航空機）の内部キャビン内の装備品（例えば、収納棚アセンブリ）の状態（例えば、開放状態及び閉鎖状態）を決定するためのシステム及び方法を提供する。キャビン内ビデオカメラをリアルタイムで使用して装備品の状態を検出し、これらイベントを自動的にログ記録するよう構成されたシステムプ及び方法は、更なる手続きをトリガし、航空機乗組員にイベント情報によって警報を発する。

本開示の或る特定の実施形態は、搭載カメラから得られるビデオ画像を用いて、キャビンのイベントを自動的に検出して自動的にログ記録し、将来のイベントをトリガし、イベント情報について乗組員に警報を発するシステム及び方法を提供する。複数のフライト中のイベントを処理することによって、上記のシステム及び方法は、異常な潜在的イベントを検出することができる。

少なくとも１つの実施形態において、上記のシステム及び方法は、キャビン内ビデオカメラの入力を見ることと、関心領域を決定することと、消失点を計算することと、遠近感を補正するためにアルゴリズムを適用することと、棚の位置を外挿することと、状態を識別するために装備品にクラスタリングを施すことと、状態について乗組員に警報を発することを含む。１つ以上の撮像装置から取得された画像データを解析して、装備品の状態を検出することによって、本開示の実施形態は、センサ及び配線無しで機能するよう構成されており、これにより、製造コストが削減されて複雑さが低減され、燃料効率が上がる。

図１は、本開示の一実施形態に係る、ビークル１０６の内部キャビン１０４内の１つ以上の装備品１０２の状態を決定するシステム１００の概略的なブロック図を示している。少なくとも１つの実施形態において、装備品１０２が、開放状態と閉鎖状態との間で動くよう構成された頭上荷物棚アセンブリである。幾つかの例において、装備品１０２が、化粧室のドア又は出口ドアといった内部キャビン１０４内の１つ以上のドアである。幾つかの例において、装備品１０２は、ギャレーカートコンパートメントといった、内部キャビン１０４内のコンパートメントである。

少なくとも１つの実装形態において、ビークル１０６は航空機である。幾つかの例において、ビークル１０６は、バス、車両等の陸上を移動する乗り物である。幾つかの例において、ビークル１０６は、船舶又は宇宙船である。

システム１００は、内部キャビン１０４内の撮像装置１０８を含む。撮像装置１０８は視野１１０を有する。装備品１０２は、視野１１０内に存在する。少なくとも１つの実施形態において、撮像装置１０８がビデオカメラである。幾つかの例において、撮像装置１０８が暗視カメラである。幾つかの例において、撮像装置１０８が赤外線カメラである。

撮像装置１０８は、内部キャビン１０４内の固定されたカメラでありうる。例えば、撮像装置１０８が、内部キャビン１０４内の天井、壁、又はモニュメント等に固定されうる。幾つかの例において、撮像装置１０８が、例えば小型カメラ、スマートフォン若しくはスマートタブレットの部品といった携行用カメラでありうる。

システム１００は、撮像装置１０８と通信する状態決定制御ユニット１１２をさらに含む。例えば、状態決定制御ユニット１１２は、例えばＢｌｕｅｔｏｏｔｈ、Ｗｉｆｉ、又は他のこのような接続を介して撮像装置１０８と無線で通信する。代替的に、状態決定制御ユニット１１２は、有線接続を介して撮像装置１０８と通信しうる。

少なくとも１つの実施形態において、装備品１０２が、装備品１０２を開放状態と閉鎖状態との間で自動的に動かすよう構成された電動機といったアクチュエータ１１４を含みうる。さらに、状態決定制御ユニット１１２は、装備品１０２の開閉を制御するために、アクチュエータ１１４と無線で通信する。任意選択的に、状態決定制御ユニット１１２が、有線接続を介してアクチュエータ１１４と通信する。また、任意選択的に、状態決定制御ユニット１１２はアクチュエータ１１４と通信しない。また、任意選択的に、装備品１０２がアクチュエータ１１４を含まなくてよい。

少なくとも１つの実施形態において、ユーザデバイス１１６も内部キャビン１０４内に存在する。ユーザデバイス１１６は、インタフェース１２０に接続されたディスプレイ１１８を含む。例えば、ユーザデバイス１１６は、内部キャビン１０４内のコンピュータワークステーションである。幾つかの例において、ユーザデバイス１１６は、スマートフォン又はスマートタブレットといった携帯端末である。ディスプレイ１１８は、モニタ又は画面でありうる。インタフェース１２０は、キーボード、及び／又はマウス等を含みうる。少なくとも１つの実施形態において、ディスプレイ１１８及びインタフェース１２０が、共にタッチパネルインタフェースに組み込まれている。状態決定制御ユニット１１２は、例えば有線接続又は無線接続を介してユーザデバイス１１６と通信する。

本明細書に記載のように、システム１００は、ビークル１０６の内部キャビン１０４内に１つ以上の装備品１０２を含む。撮像装置１０８が、１つ以上の装備品１０２の画像を取得するよう構成されている。状態決定制御ユニット１１２が、撮像装置１０８と通信する。状態決定制御ユニット１１２が、撮像装置１０８から、画像を含む画像データ１２２を受信する。状態決定制御ユニット１１２は、画像データ１２２に基いて、１つ以上の装備品１０２の状態（例えば、開放状態又は閉鎖状態）を決定する。

稼働中に、撮像装置１０８が、装備品１０２の画像を取得する。画像は、ビデオ画像又は静止画像でありうる。撮像装置１０８は、画像データ１２２として装備品１０２の画像を取得する。状態決定制御ユニット１１２は、装備品１０２の画像を含む画像データ１２２を撮像装置１０８から受信する。

状態決定制御ユニット１１２は、装備品１０２の状態を決定するために画像データ１２２を解析する。例えば、状態決定制御ユニット１１２は、装備品１０２（例えば、頭上収納棚アセンブリ）が開放状態にある（即ち、開いている）のか又は閉鎖状態にある（即ち、閉じている）のかを判定するために、画像データ１２２を解析する。

少なくとも１つの実施形態において、状態決定制御ユニット１１２は、画像データ１２２内の注目領域を決定することによって、画像データ１２２を解析する。例えば、少なくとも１つの実施形態において、注目領域は、装備品１０２の列、例えば、内部キャビン１０４内の頭上荷物棚アセンブリの列を含む。

注目領域を決定した後で、状態決定制御ユニット１１２は、画像データ１２２の遠近補正を行って、画像データ１２２の遠近補正された画像を提供する。例えば、状態決定制御ユニット１１２は、三次元空間の画像の遠近感を補正する。代替的に、状態決定制御ユニット１１２は、画像データ１２２の遠近補正を行わなくてよい。

次いで、状態決定制御ユニット１１２は、遠近補正された画像内の個々の装備品１０２を外挿する。例えば、初期較正又はセットアップの間に、状態決定制御ユニット１１２は、画像データ１２２内（例えば、遠近補正された画像内）の各個々の装備品１０２の大きさ及び形状を検知するようプログラム化される。少なくとも１つの実施形態において、状態決定制御ユニット１１２が、画像データ１２２内の各装備品１０２の形状を外挿する。

その後、状態決定制御ユニット１１２は、クラスタリングを介して、例えば画像属性の相違（例えば、色、色強度、及び／又は輝度等の相違）を決定することによって、装備品１０２の状態を決定する。例えば、遠近補正された画像内の装備品１０２には、それらの色の相違に基いてクラスタリングが施される。遠近補正された画像内の装備品１０２に関して単一のクラスタが存在する場合には、状態決定制御ユニット１１２は、全ての装備品１０２が同じ状態にあると判定し、例えば、開放状態又は閉鎖状態にあると判定する。少なくとも１つの実施形態において、状態決定制御ユニット１１２が、閉鎖状態の画像属性を決定するために較正される。例えば、第１の色を有する装備品１０２の画像は、閉鎖状態にあると判定される。このように、同じ色又は同じ色強度といった同じ属性を全てが共有する装備品１０２の単一のクラスタが、閉鎖状態と関連付けられる場合には、状態決定制御ユニット１１２は、全ての装備品１０２が閉じていると判定する。しかしながら、装備品１０２の単一クラスタが、閉鎖状態の所定の画像属性とは異なる場合には、状態決定制御ユニット１１２は、装備品１０２が開放状態にあると判定する。

さらに、画像データ１２２は、様々なクラスタの画像が存在することを示しうる。例えば、第１の集合の１つ以上の装備品１０２に対応する第１のクラスタは、第１の画像属性（例えば、第１の色又は強度）を有し、第２の集合の１つ以上の装備品１０２に対応する第２のクラスタは、第１の画像属性とは異なる第２の画像属性を有する。これに対応して、状態決定制御ユニット１１２は、第１の集合又は第２の集合のうちの一方が開放状態にあり、他方が閉鎖状態にあると判定する。状態決定制御ユニット１１２は、所定の画像属性に基いて、どの集合が閉鎖状態又は開放状態にあるのかを判定する。例えば、状態決定制御ユニット１１２は、第１の画像属性を閉鎖状態として検知し、従って、第１の画像属性とは異なる第２の画像属性が開放状態にあり又はその逆も然りであると検知するよう較正されうる。

状態決定制御ユニット１１２は、第１のクラスタ及び第２のクラスタを、内部キャビン１０４内の装備品１０２の位置と関連付ける。例えば、状態決定制御ユニット１１２は、例えば初期の手動の較正又はセットアップを介して、内部キャビン１０４内で各装備品１０２の位置を特定してラベル付けするよう較正される。これに対応して、画像解析に基いて、状態決定制御ユニット１１２は、内部キャビン１０４内の装備品１０２の状態（例えば、開いている又は閉じている）を検出する。

少なくとも１つの実施形態において、状態決定制御ユニット１１２は、本明細書に記載のように、クラスタリングを介して装備品１０２の状態を検出する。状態決定制御ユニット１１２は、画像データ１２２のクラスタを比較して、開放状態と閉鎖状態とを区別する。このような実施形態において、状態決定制御ユニット１１２は、開放状態及び閉鎖状態に関して、画像データ１２２を過去の画像データとは比較しない。このように、システム１００が、より少ないメモリを利用して動作することが可能であり（そうでなければ、メモリは過去のデータを格納するであろう）、かつより低い計算能力で動作することが可能であることにより、効率の良い動作がもたらされる。

その後、状態決定制御ユニット１１２は、ユーザデバイス１１６に状態信号１２６を出力する。状態信号１２６は、装備品１０２の状態を示す。状態信号１２６は、内部キャビン１０４内の装備品１０２の状態データを含んでいる。例えば、状態信号１２６は、装備品１０２のうちのどれが開いているのか及び閉じているのかを示す。状態信号１２６は、ユーザデバイス１１６によって受信され、ユーザデバイス１１６は、ディスプレイ１１８上の映像又はグラフィックデータ、音声信号等を提供し、どの装備品１０２が開いているのか及び閉しているのかについて乗務員に警報を発することができる。このようにして、状態決定制御ユニット１１２は、装備品１０２の状態を自動的に検出し、そのときに所望のように装備品１０２を開け又は閉じることができる乗務員に警報を発する。

少なくとも１つの実施形態において、状態決定制御ユニット１１２は、装備品１０２の決定された状態に基いて、例えばアクチュエータ１１４を介して、装備品１０２を自動的に操作することが可能である。例えば、状態決定制御ユニット１１２が、画像データ１２２を解析して、どの装備品１０２が開いているか及び閉じているかを判定した後で、状態決定制御ユニット１１２は、アクチュエータ１１４に装備品制御信号１２８を出力して、所望のように、開いている装備品１０２を選択的に閉じ、又は閉じている装備品１０２を選択的に開ける。従って、装備品１０２の状態の判定に基いて、状態決定制御ユニット１１２は、例えばアクチュエータ１１４を介して、装備品１０２を自動的に操作して、装備品１０２を開放状態と閉鎖状態との間で選択的に動かすことができる。代替的に、状態決定制御ユニット１１２は、装備品１０２を自動的に操作するよう構成されない。

代替的に、状態決定制御ユニット１１２は、開放状態及び閉鎖状態（及び、任意選択的に、満杯の状態、部分的に満杯の状態、空の状態、施錠された状態、及び解錠された状態）にある装備品１０２に関する画像データを格納するメモリを含むことが可能であり、又はそうでなければ当該メモリに接続されうる。
本実施形態では、状態決定制御ユニット１１２は、格納された画像データに対して画像データ１２２を比較して、装備品１０２が開放状態又は閉鎖状態にあるかどうかを判定する。

図２は、本開示の一実施形態に係る、ビークルの内部キャビン内の１つ以上の装備品の状態を決定する方法のフローチャートを示している。図１及び図２を参照すると、２００において、撮像装置１０８が、内部キャビン１０４内の１つ以上の装備品１０２の画像を取得する。２０２において、状態決定制御ユニット１１２は、画像を含む画像データ１２２内で注目領域を決定する。２０４において、状態決定制御ユニット１１２は、画像データ１２２の遠近感を補正して、遠近補正された画像を提供する。２０６において、状態決定制御ユニット１１２は、遠近補正された画像内の個々の装備品１０２を外挿する。２０８において、状態決定制御ユニット１１２は、クラスタリングに基いて、各装備品１０２の状態を決定する。

図３は、本開示の一実施形態に係る状態決定制御ユニット１１２の概略的なブロック図を示している。少なくとも１つの実施形態において、状態決定制御ユニット１１２は、メモリ３０２と通信する少なくとも１つのプロセッサ３００を含む。メモリ３０２は、命令３０４、受信されたデータ３０６、及び生成されたデータ３０８を格納する。図３に示す状態決定制御ユニット１１２は単に例示的なものであり、非限定的である。

本明細書では、「制御ユニット（ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）」、「ユニット（ｕｎｉｔ）」、「ＣＰＵ」、「コンピュータ（ｃｏｍｐｕｔｅｒ）」などの用語は、マイクロコントローラ、縮小指令セットコンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、論理回路、及び、本明細書に記載の機能を実行可能なハードウェア、ソフトウェア、又はこれらの組み合わせを含む他の任意の回路又はプロセッサを使用するシステムを含む、プロセッサベース又はマイクロプロセッサベースの任意のシステムを含みうる。上記の例は例示的なものにすぎず、従って、上記用語の定義及び／又は意味をいかなる形でも限定することを意図していない。例えば、状態決定制御ユニット１１２は、本明細書に記載のように、状態決定制御ユニットの動作を制御するよう構成された１つ以上のプロセッサであってよく、又はこれらを含んでよい。

状態決定制御ユニット１１２は、データを処理するために、１つ以上のデータストレージユニット又はデータストレージ要素（例えば１つ以上のメモリ）に格納された一連の命令を実行するよう構成される。例えば、状態決定制御ユニット１１２は、１つ以上のメモリを含んでよく、又は１つ以上のメモリに接続されてよい。データストレージユニットはまた、所望のように又は必要に応じて、データ又は他の情報を格納しうる。データストレージユニットは、情報源、又は処理マシン内部の物理的メモリ要素という形態であってよい。１つ以上のデータストレージユニット又はデータストレージ要素は、揮発性メモリ又は不揮発性メモリを含むことが可能であり、又は、揮発性メモリと不揮発性メモリの両方を含むことができる。一例として、不揮発性メモリは、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、プログラム可能なＲＯＭ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｐｒｏｇｒａｍｍｂｌｅ ＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、及び／又はフラッシュメモリを含むことが可能であり、揮発性メモリは、外部キャッシュメモリとして機能することが可能なランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含むことが可能である。開示されるシステム及び方法のデータストアは、限定されるものではないが、これらのメモリ、及び他の任意の適切な種類のメモリを含むことが意図される。

一連の命令は、状態決定制御ユニット１１２に対して、処理マシンとして、本明細書に記載の発明の主題の様々な実施形態の方法及びプロセスといった特定の動作を実行するよう命令する様々なコマンドを含みうる。一連の命令は、ソフトウェアプログラムの形態でありうる。ソフトウェアは、システムソフトウェア又はアプリケーションソフトウェアといった様々な形態でありうる。さらに、ソフトウェアは、別々のプログラムからなる集合体、より大きなプログラム内のプログラムの部分集合、またはプログラムの一部分という形態でありうる。ソフトウェアはまた、オブジェクト指向プログラミングの形態のモジュラープログラミングを含みうる。処理マシンによる入力データの処理は、ユーザのコマンドに応じてであってよく、以前の処理の結果に応じてもよく、又は、他の処理マシンが行った要求に応じてもよい。

本明細書の実施形態の図は、状態決定制御ユニット１１２といった、１つ以上の制御ユニット又は処理ユニットを示しうる。処理ユニット又は制御ユニットが、本明細書に記載の動作を実行する、（例えば、コンピュータハードドライブ、ＲＯＭ、ＲＡＭ等の有形且つ非一過性のコンピュータ可読記憶媒体に格納されたソフトウェアの）関連する命令を含むハードウェアとして実装可能な回路、又はその一部分でありうると理解されたい。ハードウェアは、本明細書に記載の機能を実行するようハードウェアに組み込まれたステートマシン回路を含みうる。任意選択的に、ハードウェアは、マイクロプロセッサ、プロセッサ、コントローラ等といった１つ以上の論理素子を含み及び／又はそれらに接続された電子回路を含みうる。任意選択的に、状態決定制御ユニット１１２は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、及び／又は、マイクロプロセッサの１つ以上といった処理回路であってよい。様々な実施形態における回路は、本明細書に記載の機能を実行するための１つ以上のアルゴリズムを実行するよう構成されうる。上記１つ以上のアルゴリズムは、フローチャート又は方法において明示的に確認されるか否かに関わらず、本明細書に開示された実施形態の態様を含みうる。

本明細書では、「ソフトウェア（ｓｏｆｔｗａｒｅ）」及び「ファームウェア（ｆｉｒｍｗａｒｅ）」という用語は入れ替え可能であり、かつ、ＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、及び、非揮発性ＲＡＭ（ＮＶＲＡＭ：ｎｏｎ－ｖｏｌａｔｉｌｅ ＲＡＭ）メモリを含むデータストレージユニット（例えば１つ以上のメモリ）に格納された、コンピュータにより実行するための任意のコンピュータプログラムを含む。上記のデータストレージユニットの種類は単に例示的にすぎず、従って、コンピュータプログラムを記憶するために使用可能なメモリの種類について限定するものではない。

図４は、本開示の一実施形態に係る、内部キャビン１０４の一部分の画像４００を示している。図１及び図４を参照すると、画像４００は、撮像装置１０８によって取得された画像データ１２２であり、又はそうでなければ、当該画像データ１２２の一部である。画像４００は、複数の装備品１０２を示している。示されるように、装備品１０２は、列４０４に並んだ頭上収納棚アセンブリ４０２である。画像４００は、内部キャビン１０４内の三次元空間である。これに対応して、画像４００は遠近感をもたらし、これにより、遥か遠くにある第１の頭上収納棚アセンブリ４０２ａは、より近くにある第２の頭上収納棚アセンブリ４０２ｂよりも小さく見える。

図５は、本開示の一実施形態に係る、内部キャビン１０４内の頭上荷物棚アセンブリ４０２の列４０４を含む注目領域５０２の遠近補正された画像５００を示す。図１、図４、及び図５を参照すると、画像４００から注目領域５０２を決定した後に、状態決定制御ユニット１１２は、遠近補正された画像５００を提供し、これにより、頭上荷物棚アセンブリ４０２のそれぞれは、遠近補正された画像５００内では同様の形状及び大きさをしている。

図６は、本開示の一実施形態に係る遠近補正された画像５００を示しており、この遠近補正された画像５００では、頭上荷物棚アセンブリ４０２に対応する棚形状６００が外挿されている。例えば、較正中に、頭上収納棚アセンブリ４０２の二次元の正面に対応する矩形６０２が、対応する頭上収納棚アセンブリ４０２の上に重ね合わされる。その後、隣の矩形６０２が、最初の矩形６０２の隣に配置されるなどして、各頭上収納棚アセンブリ４０２が、関連する棚形状６００と関連付けられる。このようにして、各頭上収納棚アセンブリ４０２が、関連付けられた棚形状６００と対応している。この場合、各形状６００は、特定の頭上収納棚アセンブリ４０２の位置と関連付けられている．従って、各棚形状６００は、頭上収納棚アセンブリ４０２の或る位置でラベル付けすることができる。

図７は、本開示の一実施形態に係る遠近補正された画像５００を示し、この遠近補正された画像５００は、第１の群の頭上荷物棚アセンブリ４０２ａに対応する棚形状６０２ａの第１のクラスタ７０２ａと、第２の群の頭上荷物棚アセンブリ４０２ｂに対応する棚形状６０２ｂの第２のクラスタ７０２ｂと、を有する。第１の群の頭上荷物棚アセンブリ４０２ａと、第２の群の頭上荷物棚アセンブリ４０２ｂとはそれぞれ、１つ以上の頭上荷物棚アセンブリ４０２ａ及び４０２ｂを含みうる。

図１及び図７を参照すると、状態決定制御ユニット１１２は、画像属性の１つ以上の相違を介して、第１のクラスタ７０２ａと、第２のクラスタ７０２ｂとを区別する。一例として、第１のクラスタ７０２ａは、第１の色又は色強度といった第１の画像属性７０３を有し、第２のクラスタ７０２ｂは、第１の色又は色強度とは異なる第２の色又は色強度といった第２の画像属性７０５を有する。状態決定制御ユニット１１２は、第１の画像属性７０３と第２の画像属性７０５との間の相違を検出し、従って、第１の群の頭上荷物棚アセンブリ４０２ａが、第２の群の頭上荷物棚アセンブリ４０２ｂとは異なる状態にあると判定する。少なくとも１つの実施形態において、状態決定制御ユニット１１２は、第２の画像属性７０５を開放状態と関連付けるようプログラム化される。このように、状態決定制御ユニット１１２は、第１の群の頭上荷物棚アセンブリ４０２ａが閉鎖状態にあり、第２の群の頭上荷物棚アセンブリ４０２ｂが開放状態にあると判定する。その後、状態決定制御ユニット１２６は、関連付けられた頭上荷物棚アセンブリ４０２ａ及び４０２ｂの状態を示す状態信号１２６を、ユーザデバイス１１６に出力する。さらに、状態決定制御ユニット１２６は、頭上収納棚アセンブリ４０２ｂのアクチュエータ１１４に装備品制御信号１２８を出力して、頭上収納棚アセンブリ４０２ｂを自動的に閉じることが可能である。

図８は、本開示の一実施形態に係る、内部キャビン１０４の一部分の画像８００を示している。図１及び図８を参照すると、少なくとも１つの実施形態において、注目領域を決定するために、状態決定制御ユニット１１２は、画像８００を解析して、画像８００内の様々な特徴の複数のエッジ８０２を決定する。エッジ８０２は、画像８００の消失点に向かって延びている。

図９は、本開示の一実施形態に係る、図８の内部キャビン１０４の一部分の画像８００内の消失点８０４を示している。エッジ８０２は、消失点８０４に向かっており、消失点８０４において交差する。図１及び図９を参照すると、状態決定制御ユニット１１２は、エッジ８０２の交点において消失点８０４を決定する。

その後、状態決定制御ユニット１１２は、消失点８０４を通る二等分線８０６を決定する。二等分線８０６は、画像８００の側方エッジ８０８に対して並行であり、かつ、画像８００の下エッジ８１０及び上エッジ８１２と直交している。二等分線８０６によって、画像８００が二等分されて、第１のハーフ８１４と、第２のハーフ８１６となり、第１のハーフ８１４と第２のハーフ８１６のそれぞれは、別々の注目領域と関連付けられている。このように、注目領域が、二等分線８０６によって決定される。

図１０は、本開示の一実施形態に係る、図８の内部キャビン１０４の画像８００の第１の注目領域８１８及び第２の注目領域８２０を示している。図１、図９、及び図１０を参照すると、状態決定制御ユニット１１２は、消失点８０４を通る二等分線８０６を介して、第１の注目領域８１８を第２の注目領域８２０から分離する。

図１１は、本開示の一実施形態に係る画像８００の注目領域８１８を示している。図１及び図１１を参照すると、状態決定制御ユニット１１２は、例えば較正、及び／又はユーザ入力等を介して、解析する注目領域８１８を決定する。注目領域８１８は、頭上荷物棚アセンブリ４０２といった装備品１０２の列９０１を含む。

状態決定制御ユニット１１２は、列９０１の一端で第１の末端線９０２を生成する。例えば、第１の末端線９０２は、消失点８０４（図９に図示）から所定の距離に形成されうる。状態決定制御ユニット１１２は、第１の末端線９０２とは反対側に第２の末端線９０４を生成する。第２の末端線９０４は、列９０１の反対側の端に存在しうる。状態決定制御ユニット１１２は、列９０１の上縁と関連付けられた上境界線９０６と、列９０１の下縁と関連付けられた下境界線９０８と、を生成する。第１の末端線９０２と上境界線９０６とは、第１のコーナー９２０で交差する。第１の末端線９０２と下境界線９０８とは、第２のコーナー９２２で交差する。第２の末端線９０４と上境界線９０６とは、第３のコーナー９２４で交差する。第２の末端線９０４と下境界線９０８とは、第４のコーナー９２６で交差する。第１のコーナー９２０と、第２のコーナー９２２と、第３のコーナー９２４と、第４のコーナー９２６とは、列９０１の頭上荷物棚アセンブリ４０２を画定する四辺形、例えば台形のコーナーである。

図１２は、本開示の一実施形態に係る、図１１の第１の注目領域８１８内の頭上荷物棚アセンブリ４０２の列９０１の遠近補正された画像９５０を示している。図１、図１１、及び図１２を参照すると、状態決定制御ユニット１１２は、コーナー９２０、９２２、９２４、及び９２６により画定された四辺形を、各対応するコーナー１０２０、１０２２、１０２４、及び１０２６を有する矩形へと幾何学的に変換して、遠近補正された画像９５０を形成する。遠近補正された画像９５０は、列９０１の頭上荷物棚アセンブリ４０２を含み、頭上荷物棚アセンブリ４０２のそれぞれは、同じ形状又はほぼ同じ形状をしている。この場合、状態決定制御ユニット１１２は、例えば図６に関して記載したように、頭上収納棚アセンブリ４０２ごとに棚形状及び関連するラベルを外挿する。

関連付けられた頭上荷物棚アセンブリの各棚形状が均一な大きさであることで、解析の複雑さが低減され、従って、計算能力が低減される。このようにして、状態決定制御ユニット１１２は、効率良く動作する。一般に、棚形状の均一な大きさによって、棚の状態の決定のための改善された特徴抽出が可能となる。

本開示の実施形態は、大量のデータを迅速かつ効率良く計算装置により解析することを可能とするシステム及び方法を提供する。例えば、ビークルの内部キャビンは、開放状態と閉鎖状態との間で可動な数多くの装備品であって、内部キャビン内で乗務員及び他の個人によって見落とされる可能性がある装備品を含みうる。このように、大量のデータが、状態決定制御ユニット１１２によって追跡され、解析されている。膨大な量のデータが、上述のように、状態決定制御ユニット１１２によって効率良く体系化され及び／又は解析される。状態決定制御ユニット１１２は、どの特定の装備品が開いているか又は閉じているかについての情報を迅速かつ効率良く出力するために、比較的短時間でデータを解析する。人間であれば、このような短時間に、このように膨大な量のデータを効率良く解析することは出来ないであろう。従って、本開示の実施形態は、向上した効率の良い機能と、膨大な量のデータを解析する人間に関して圧倒的に優れた性能と、を提供する。

少なくとも１つの実施形態において、状態決定制御ユニット１１２といったシステム１００の構成要素が、内部キャビン内の装備品の状態を検出する特別な計算システムとして動作する計算システムを提供し、及び／又は当該計算システムを可能とする。

図１３は、本開示の例示的な実施形態に係る、ビークル１０６の正面を斜めから見た図である。少なくとも１つの実施形態において、ビークル１０６は航空機である。航空機１０６は、推進システム１１１２を含み、この推進システム１１１２は、例えば２つのエンジン１１１４を含みうる。任意選択的に、推進システム１１１２は、図示されるより多くのエンジン１１１４を含みうる。エンジン１１１４は、ビークル１０６の翼１１１６によって運ばれる。幾つかの実施形態において、エンジン１１１４は、胴体１１１８及び／又は尾部１１２０によって運ばれうる。尾部１１２０はまた、水平方向の安定板１１２２、及び、垂直方向の安定板１１２４を含みうる。航空機１０６の胴体１１１８が内部キャビンを画定し、内部キャビンは、コクピット１１３０、１つ以上の作業セクション（例えば、ギャレー、個人機内持ち込み手荷物エリア等）、及び／又は、１つ以上の乗客セクションを含みうる。

任意選択的に、航空機の代わりに、本開示の実施形態が、自動車、バス、機関車、車両、船舶といった他の様々なビークルのために使用されうる。さらに、本開示の実施形態は、商業施設、居住用建物といった固定された構造のために使用されうる。

図１～図１３を参照すると、本開示の実施形態は、ビークルの内部キャビン内の装備品の状態を自動的に検出するためのシステム及び方法を提供する。さらに、本開示の実施形態は、ビークルの内部キャビン内の荷物棚アセンブリが開いているか又は閉じているかを自動的に判定するためのシステム及び方法を提供する。加えて、上記のシステム及び方法は画像解析を介して機能し、別体のセンサ及び配線を無くすことが可能である。このように、本開示の実施形態は、製造の複雑さ及び製造コストを低減し、ビークルの総重量を低減し、かつビークルの燃料効率を上げるシステム及び方法を提供する。

さらに、本開示は、以下の条項に係る実施形態を含む。

条項１．システムであって、
ビークルの内部キャビン内の１つ以上の装備品と、
１つ以上の装備品の画像を取得するよう構成された撮像装置と、
プロセッサを含み、撮像装置と通信する状態決定制御ユニットと
を備え、
状態決定制御ユニットが、撮像装置から、画像を含む画像データを受信し、
状態決定制御ユニットが、画像データに基いて、１つ以上の装備品の状態を決定する、システム。

条項２．状態が、開放状態又は閉鎖状態の一方、又はその双方を含む、条項１に記載のシステム。

条項３．１つ以上の装備品が、１つ以上の頭上荷物棚アセンブリである、条項１又は２に記載のシステム。

条項４．状態決定制御ユニットが、画像データ内の注目領域を決定する、条項１から３のいずれか一項に記載のシステム。

条項５．状態決定制御ユニットが、画像内の消失点を決定することによって注目領域を決定する、条項１から４のいずれか一項に記載のシステム。

条項６．状態決定制御ユニットが、消失点を通る二等分線を決定し、注目領域が、二等分線によって決定される、条項１から５のいずれか一項に記載のシステム。

条項７．状態決定制御ユニットが、画像データ内の遠近感を補正する、条項１から６のいずれか一項に記載のシステム。

条項８．１つ以上の装備品が、一列に並んだ複数の装備品を含み、
状態決定制御ユニットが、列の第１の末端で第１の末端線を生成し、かつ第１の末端線とは反対側の、列の第２の末端で第２の末端線を生成し、
状態決定制御ユニットが、列の上縁と関連付けられた上境界線と、列の下縁と関連付けられた下境界線と、をさらに生成し、
第１の末端線と上境界線とが、第１のコーナーで交差し、
第１の末端線と下境界線とが、第２のコーナーで交差し、
第２の末端線と上境界線とが、第３のコーナーで交差し、
第２の末端線と下境界線とが、第４のコーナーで交差し、
第１のコーナー、第２のコーナー、第３のコーナー、及び第４のコーナーが、複数の装備品を画定する四辺形のコーナーである、条項１から７のいずれか一項に記載のシステム。

条項９．状態決定制御ユニットが、四辺形を、各対応するコーナーを有する矩形へと幾何学的に変換して、遠近補正された画像を形成する、条項１から８のいずれか一項に記載のシステム。

条項１０．状態決定制御ユニットが、画像データ内の複数の装備品のそれぞれの形状を外挿する、条項１から９のいずれか一項に記載のシステム。

条項１１．状態決定制御ユニットが、クラスタリングを介して１つ以上の装備品の状態を決定する、条項１から１０のいずれか一項に記載のシステム。

条項１２．状態決定制御ユニットが、画像属性の相違を決定することによって、１つ以上の装備品の状態を決定する、条項１から１１のいずれか一項に記載のシステム。

条項１３．ユーザデバイスをさらに含み、
状態決定制御ユニットが、１つ以上の装備品の状態を示す状態信号を、ユーザデバイスに出力する、条項１から１２のいずれに記載のシステム。

条項１４．状態決定制御ユニットが、１つ以上の装備品の状態に基いて、１つ以上の装備品を自動的に操作する装備品制御信号を出力する、条項１から１３のいずれに記載のシステム。

条項１５．方法であって、
撮像装置によって、ビークルの内部キャビン内の１つ以上の装備品の画像を取得することと、
プロセッサを含み、撮像装置と通信する状態決定制御ユニットによって、撮像装置から、画像を含む画像データを受信することと、
状態決定制御ユニットによって、画像データに基いて１つ以上の装備品の状態を決定すること、
を含む、方法。

条項１６．状態が、開放状態又は閉鎖状態の一方、又はその双方を含む、条項１５に記載の方法。

条項１７．１つ以上の装備品が、１つ以上の頭上荷物棚アセンブリである、条項１５又は１６に記載の方法。

条項１８．決定することが、画像データ内の注目領域を決定することを含む、条項１５から１７のいずれか一項に記載の方法。

条項１９．決定することが、画像内の消失点を決定することによって、注目領域を決定することをさらに含む、条項１５から１８のいずれか一項に記載の方法。

条項２０．決定することが、消失点を通る二等分線を決定することと、二等分線によって注目領域を決定することをさらに含む、条項１５から１９のいずれか一項に記載の方法。

条項２１．状態決定制御ユニットによって、画像データ内の遠近感を補正することをさらに含む、条項１５から２０のいずれか一項に記載の方法。

条項２２．１つ以上の装備品が、一列に並んだ複数の装備品を含み、
決定することが、
列の第１の末端で第１の末端線を生成し、及び第１の末端線とは反対側の、列の第２の末端で第２の末端線を生成すること、
列の上縁と関連付けられた上境界線と、列の下縁と関連付けられた下境界線と、を生成することであって、
第１の末端線と上境界線とが、第１のコーナーで交差し、
第１の末端線と下境界線とが、第２のコーナーで交差し、
第２の末端線と上境界線とが、第３のコーナーで交差し、
第２の末端線と下境界線とが、第４のコーナーで交差し、
第１のコーナー、第２のコーナー、第３のコーナー、及び第４のコーナーが、複数の装備品を画定する四辺形のコーナーである、上境界線と下境界線とを生成すること
を含む、条項１５から２１のいずれか一項に記載の方法。

条項２３．決定することが、四辺形を、各対応するコーナーを有する矩形へと幾何学的に変換して、遠近補正された画像を形成することをさらに含む、条項１５から２２のいずれか一項に記載の方法。

条項２４．決定することが、画像データ内の１つ以上の装備品のそれぞれの形状を外挿することをさらに含む、条項１５から２３のいずれか一項に記載の方法。

条項２５．決定することが、クラスタリングを介して１つ以上の装備品の状態を決定することをさらに含む、条項１５から２４のいずれか一項に記載の方法。

条項２６．決定することが、画像属性の相違を決定することを含む、条項１５から２５のいずれか一項に記載の方法。

条項２７．状態決定制御ユニットによって、１つ以上の装備品の状態を示す状態信号を、ユーザデバイスに出力することをさらに含む、条項１５から２６のいずれに記載の方法。

条項２８．状態決定制御ユニットによって、１つ以上の装備品の状態に基いて、１つ以上の装備品を自動的に操作する装備品制御信号を出力することをさらに含む、条項１５から２７のいずれに記載のシステム。

条項２９．実行可能な命令を含む非一過性コンピュータ可読記憶媒体であって、
命令は、実行に応じて、プロセッサを含むシステムに、
ビークルの内部キャビン内の１つ以上の装備品の画像を含む画像データを、内部キャビン内の撮像装置から受信することと、
画像データに基いて、１つ以上の装備品の状態を決定することと
を含む動作を実行させる、非一過性コンピュータ可読記憶媒体。

条項３０．決定することが、画像データ内の注目領域を決定することを含む、条項２９に記載の非一過性コンピュータ可読記憶媒体。

条項３１．画像データ内の遠近感を補正することをさらに含む、条項２９又は３０に記載の非一過性コンピュータ可読記憶媒体。

条項３２．決定することが、画像データ内の１つ以上の装備品のそれぞれの形状を外挿することをさらに含む、条項２９から３１のいずれか一項に記載の非一過性コンピュータ可読記憶媒体。

条項３３．決定することが、クラスタリングを介して１つ以上の装備品の状態を決定することをさらに含む、条項２９から３２のいずれか一項に記載の非一過性コンピュータ可読記憶媒体。

本開示の実施形態の説明のために、上部、底部、下方、中央、横方向、水平、垂直、前方などの空間及び方向に関する様々な用語が用いられる場合があるが、このような用語は、図面で示される配向に関して用いられているに過ぎないと理解されたい。上部を下部にする、又はその反対、水平を垂直にするといったように、配向を反転、回転、又は別様に変えてよい。

本明細書では、タスク又は動作を実行する「よう構成された（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」構造、限定事項、又は要素は、当該タスク又は動作に対応するやり方で特に構造的に形成され、構成され、又は適合される。明確にするため、及び疑念を避けるために言うと、タスク又は動作を実行するように変更可能であるに過ぎない物体は、本書で使用されている意味では、当該タスク又は動作を実行する「よう構成され」てはいない。

上記の説明は、制限ではなく例示を意図していると理解されたい。例えば、上記の実施形態（及び／又はその態様）は、互いに組み合わせて使用することが可能である。さらに、特定の状況又は材料に適合させるために、本開示の様々な実施形態の教示に対して、その範囲から逸脱することなく多くの修正を行うことが可能である。本明細書に記載の材料の寸法及び種類では、本開示の様々な実施形態のパラメータを定めることが意図されているが、当該実施形態は決して限定的なものではなく、例示的な実施形態である。先の明細書の記載を検討すれば、他の複数の実施形態が当業者には明らかとなろう。従って、本開示の様々な実施形態の範囲は、添付の特許請求の範囲とともに、かかる特許請求の範囲が権利を有する均等物の全範囲を参照して決定されるものとする。添付の特許請求の範囲、及び本明細書の詳細な説明において、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「ここで（ｉｎ ｗｈｉｃｈ）」という用語はそれぞれ、「含む（ｃｏｍｐｒｉｓｉｎｇ）」及び「ここで（ｗｈｅｒｅｉｎ）」という用語の明白な同義語として使用される。また、「第１の」、「第２の」及び「第３の」等の用語は、単にラベルとして使用されており、それらの対象物に数的要件を付すことを意図するものではない。

ここに記載した説明では、ベストモードを含む本開示の様々な実施形態を開示し、且つ当業者が任意の装置又はシステムの作製及び使用、並びに組込まれた任意の方法の実行を含め、本開示の様々な実装形態を実施することを可能にするために実施例を使用している。本開示の様々な実施形態の特許性のある範囲は、特許請求の範囲によって規定され、当業者が想到する他の実施例を含みうる。こうした他の実施例は、実施例が特許請求の範囲の文言と相違しない構成要素を有する場合、又は、実施例が、特許請求の範囲の文言とごくわずかな相違しかない均等な構成要素を含む場合、特許請求の範囲内にあることが意図されている。

Claims (15)

1. システム（１００）であって、
   ビークル（１０６）の内部キャビン（１０４）内の１つ以上の装備品（１０２）と、
   前記１つ以上の装備品（１０２）の画像を取得するよう構成された撮像装置（１０８）と、
   プロセッサ（３００）を含み、前記撮像装置（１０８）と通信する状態決定制御ユニット（１１２）と
   を備え、
   前記状態決定制御ユニット（１１２）が、前記撮像装置（１０８）から、前記画像を含む画像データ（１２２）を受信し、
   前記状態決定制御ユニット（１１２）が、前記画像データ（１２２）に基いて、前記１つ以上の装備品（１０２）の状態を決定する、システム（１００）。
2. 前記状態が、開放状態又は閉鎖状態の一方、又はその双方を含む、請求項１に記載のシステム（１００）。
3. 前記１つ以上の装備品（１０２）が、１つ以上の頭上荷物棚アセンブリ（４０２）である、請求項１又は２に記載のシステム（１００）。
4. 前記状態決定制御ユニット（１１２）が、前記画像データ（１２２）内の注目領域を決定し、
   任意選択的に、
   前記状態決定制御ユニット（１１２）が、前記画像内の消失点を決定することによって、前記注目領域を決定する、請求項１から３のいずれか一項に記載のシステム（１００）。
5. 前記状態決定制御ユニット（１１２）が、前記消失点を通る二等分線を決定し、
   前記注目領域が、前記二等分線によって決定される、請求項４に記載のシステム（１００）。
6. 前記状態決定制御ユニット（１１２）が、前記画像データ（１２２）内の遠近感を補正する、請求項１から５に記載のシステム（１００）。
7. 前記１つ以上の装備品（１０２）が、一列に並んだ複数の装備品（１０２）を含み、
   前記状態決定制御ユニット（１１２）が、前記列の第１の末端で第１の末端線を生成し、かつ前記第１の末端線とは反対側の前記列の第２の末端で第２の末端線を生成し、
   前記状態決定制御ユニット（１１２）が、前記列の上縁と関連付けられた上境界線と、前記列の下縁と関連付けられた下境界線と、をさらに生成し、
   前記第１の末端線と前記上境界線とが、第１のコーナーで交差し、
   前記第１の末端線と前記下境界線とが、第２のコーナーで交差し、
   前記第２の末端線と前記上境界線とが、第３のコーナーで交差し、
   前記第２の末端線と前記下境界線とが、第４のコーナーで交差し、
   前記第１のコーナー、前記第２のコーナー、前記第３のコーナー、及び前記第４のコーナーが、前記複数の装備品（１０２）を画定する四辺形のコーナーであり、
   任意選択的に、
   前記状態決定制御ユニット（１１２）が、前記四辺形を、各対応するコーナーを有する矩形（６０２）へと幾何学的に変換して、遠近補正された画像を形成する、請求項１から６のいずれか一項に記載のシステム（１００）。
8. 前記状態決定制御ユニット（１１２）が、
   前記画像データ（１２２）内の前記１つ以上の装備品（１０２）のそれぞれの形状を外挿すること、
   クラスタリングを介して前記１つ以上の装備品（１０２）の前記状態を決定すること、又は、
   画像属性の相違を決定することによって、前記１つ以上の装備品（１０２）の前記状態を決定すること
   のうちの少なくとも１つを行う、請求項１から７のいずれか一項に記載のシステム（１００）。
9. ユーザデバイス（１１６）をさらに含み、
   前記状態決定制御ユニット（１１２）が、前記１つ以上の装備品（１０２）の前記状態を示す状態信号（１２６）を、前記ユーザデバイス（１１６）に出力する、請求項１から８のいずれか一項に記載のシステム（１００）。
10. 前記状態決定制御ユニット（１１２）が、前記１つ以上の装備品（１０２）の前記状態に基いて、前記１つ以上の装備品（１０２）を自動的に操作する装備品制御信号を出力する、請求項１から９のいずれか一項に記載のシステム（１００）。
11. 方法であって、
    プロセッサ（３００）を含み、撮像装置（１０８）と通信する状態決定制御ユニット（１１２）によって、前記撮像装置（１０８）から画像データ（１２２）を受信することであって、前記画像データ（１２２）が航空機内の１つ以上の装備品（１０２）の少なくとも１つの画像を含む、画像データ（１２２）を受信することと、
    前記状態決定制御ユニット（１１２）によって、前記画像データ（１２２）に基いて、前記１つ以上の装備品（１０２）の状態を決定すること
    を含み、
    前記状態が、開放状態又は閉鎖状態の一方又はその双方を含み、前記１つ以上の装備品（１０２）が、１つ以上の頭上荷物棚アセンブリ（４０２）である、方法。
12. 前記決定することが、
    前記画像データ（１２２）内の注目領域を決定することと、
    前記画像内の消失点を決定することによって、前記注目領域を決定することと、
    前記消失点を通る二等分線を決定することと、
    前記二等分線によって前記注目領域を決定することと
    を含み、
    任意選択的に、
    前記決定することが、
    前記画像データ（１２２）内の前記１つ以上の装備品（１０２）のそれぞれの形状を外挿することと、
    クラスタリングを介して前記１つ以上の装備品（１０２）の前記状態を決定することと、
    画像属性の相違を決定すること
    をさらに含む、請求項１１に記載の方法。
13. 前記状態決定制御ユニット（１１２）によって、前記画像データ（１２２）内の遠近感を補正することをさらに含む、請求項１１又は１２に記載の方法。
14. 前記１つ以上の装備品（１０２）が、一列に並んだ複数の装備品（１０２）を含み、
    前記決定することが、
    前記列の第１の末端で第１の末端線を生成し、及び前記第１の末端線とは反対側の前記列の第２の末端で第２の末端線を生成することと、
    前記列の上縁と関連付けられた上境界線と、前記列の下縁と関連付けられた下境界線と、を生成することであって、
    前記第１の末端線と前記上境界線とが、第１のコーナーで交差し、
    前記第１の末端線と前記下境界線とが、第２のコーナーで交差し、
    前記第２の末端線と前記上境界線とが、第３のコーナーで交差し、
    前記第２の末端線と前記下境界線とが、第４のコーナーで交差し、
    前記第１のコーナー、前記第２のコーナー、前記第３のコーナー、及び前記第４のコーナーが、前記複数の装備品（１０２）を画定する四辺形のコーナーである、上境界線と下境界線とを生成することと、
    前記四辺形を、各対応するコーナーを有する矩形（６０２）へと幾何学的に変換して、遠近補正された画像を形成すること
    を含む、請求項１１から１３のいずれか一項に記載の方法。
15. 前記状態決定制御ユニット（１１２）によって、前記１つ以上の装備品（１０２）の前記状態を示す状態信号（１２６）を、ユーザデバイス（１１６）に出力することと、
    前記状態決定制御ユニット（１１２）によって、前記１つ以上の装備品（１０２）の前記状態に基いて、前記１つ以上の装備品（１０２）を自動的に操作する装備品制御信号を出力すること
    をさらに含む、請求項１１から１４のいずれか一項に記載の方法。

Images