JP2020504295A - ３ｄタイムオブフライト能動反射検知システム及び方法 - Google Patents

Abstract

システム及び方法は、密閉空間内での動的物体及び一次位置での構成要素の存在の識別を行う。システムは、３次元タイムオブフライトカメラ等の能動電気光学３Ｄセンサを使用して、例えばシートベルトの適切な配置を決定するために反射パルスの存在もしくは不在を、または例えば車両内の生き物の場所の変化、したがって考えられる移動を決定するために反射パルスの特徴の変化を、識別する。

Description

＜関連出願の相互参照＞
本願は、２０１６年１２月７日に出願されている「３Ｄ Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ａｃｔｉｖｅ Ｒｅｆｌｅｃｔｉｎｇ Ｓｅｎｓｉｎｇ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ」と題する米国仮特許出願第６２／４３１，１８５号の優先権を主張し、参照により援用する。

本開示は、能動光学センサ及び光学反射統合を用いて車両の見通し外領域をモニタすることに関し、より詳細には、反射画像内の変化を検出して、移動物体の存在を検出するために、タイムオブフライト反射検知システムを使用することに関する。

最近のＮＨＴＳＡ報告書（ＤＯＴ ＨＳ ８１２ １８７、２０１５年７月）に示されるように、チャイルドシート構造の中に検知システムを直接的に統合する、チャイルドシート内の小児の存在を検出するためのシステムが開発され、試験されてきた。これらのシステムは、圧力、力の測定、係止クリップ検出等を含んだいくつかの検知機構によるチャイルドシートの検出に基づいている。係るシステムは、検出、及び、車両への／からの、及び／または、携帯電話への／からの通信のために、シート内にまたはシート上に電子機器を含むように設計される。システムは、センサ及び車両の情報を入力として取得するマイクロプロセッサを含み、小児が取り残されている可能性のある状態を監視し、車両システム（例えば、クラクションアラーム）によって警告を開始すること、車両運転席を修正すること（例えば、車室温度を下げる／上げること）、及びテレマティックスによって警告を開始すること（例えば、両親／運転者に警告を送信すること）を含んだ一連の潜在的な対策を講じることができる。

さらに、チャイルドシート使用の検出は、２次元（２−Ｄ）カメラ、３次元（３−Ｄ）カメラ、ならびに例えば超音波、レーダー、及び音響等の他の能動電磁方法を使用して研究されてきた。これらのシステムは、チャイルドシートを検出し、チャイルドシートを使用または非使用として分類する可能性を示してきた。別の潜在的な方法は、おそらくベルト張力センサ（複数可）を含む、シート重量検出システムの使用に基づいている。上記の方法のすべては、衣類、通常の注意、遮断障害物、使用者による動きの欠如等のため、不正確な分類につながりやすい。さらに、これらのシステムの多くは、使用者の予想される位置を検知することに頼り、検知位置から離れている使用者を把握できない。

したがって、本発明は、関連技術分野の制限及び不利な点に起因する問題の１つ以上に対応する３次元タイムオブフライト能動反射検知システム及び方法を対象とする。

本発明の利点は、能動電気光学３Ｄセンサを用いて密閉空間内で動的物体を検出するためのシステムを提供することである。センサの視界外の空間の場合、能動電気光学３Ｄセンサに対応する波長を反射できる反射面が利用される。反射面は、能動電気光学３Ｄセンサとの見通し内（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）にあり、能動電気光学３Ｄセンサとの見通し内にない密閉空間の少なくとも１つの体積の見通し内にある。第１の時に反射面によって能動電気光学３Ｄセンサに反射される光の特徴が、第２の時に反射面によって能動電気光学３Ｄセンサに反射される光の特徴と異なる場合、センサは、動的物体が、密閉空間内に存在することを示す。

本発明の別の態様では、デバイスの適切な位置決めを検出する追加の実施形態は、能動電気光学３Ｄセンサ、及び能動電気光学３Ｄセンサに対応する波長を反射できる反射面を含む。反射面は、構成要素が一次位置にある場合、反射面が能動電気光学３Ｄセンサとの見通し内にあり、構成要素または構成要素の一部分が一次位置から変位される場合、反射面が能動電気光学３Ｄセンサとの見通し外になるように構成要素の表面上にある。第１の時に反射面によって能動電気光学３Ｄセンサに反射される光の特徴が、構成要素が一次位置にあることを示す既知の光の特徴と異なる場合、能動電気光学３Ｄセンサは、構成要素の変位を示す。

関連付けられた方法は、車両車室内の物体を検出するステップと、３次元タイムオブフライトカメラからパルスを送信するステップと、３次元タイムオブフライトカメラに反射される、戻されたパルスの存在または非存在を検出するステップと、を含む。方法は、密閉空間の中の物体の変化を決定するために戻されたパルスの特徴の変化を測定するステップをさらに含む。

本明細書に開示するセンサシステムのさらなる実施形態、特徴、及び利点、ならびにシステム及び方法の種々の実施形態の構造及び動作は、添付の図面を参照して以下に詳細に説明される。

上述の一般的な説明及び以下の発明を実施するための形態はどちらも例示的かつ説明的であり、特許請求される本発明を限定しないと理解すべきである。

本明細書に援用され、本明細書の一部を成す添付の図面は、３−Ｄタイムオブフライト（ＴＯＦ）能動反射検知システム及び方法を描画する。図は、説明とともに本明細書に説明する３−Ｄタイムオブフライト（ＴＯＦ）能動反射検知システム及び方法の原理を説明するためにさらに役立ち、それにより当業者が３−Ｄタイムオブフライト（ＴＯＦ）能動反射検知システム及び方法を作り、使用することを可能にする。

車両車室内の二次反射をモニタすることにより移動を検出する概念を示す。 シートベルト上の反射パターンを通じて場所及び適切なシートベルトの使用によって車両使用者（乗員）をモニタすることを示す。 本発明の原理に従って固定鏡を使ってモニタされる車両足下空間の奥行き画像（図３Ａ）及び強度画像（図３Ｂ）を示す。 本発明の原理に従って時間Ｔ１及び時間Ｔ２で固定鏡を使ってモニタされる車両足下空間の奥行き画像（図４Ａ及び図４Ｂ）ならびに強度画像（図４Ｃ及び図４Ｄ）を示す。

種々の図面における同様の参照記号は、同様の要素を指す。

本開示の１つ以上の実施形態の詳細は、添付の図面および以下の説明において述べられる。本開示の他の特長、目的、及び利点は、説明及び図面から、ならびに特許請求の範囲から明らかになる。本発明の精神または範囲から逸脱することなく、本発明において様々な修正及び変形が行えることは当業者には明らかであろう。したがって、本発明は、本発明の修正及び変形が添付の特許請求の範囲及びその同等物の範囲内に留まる限り、本発明の修正及び変形を包含することが意図される。

本システム及びプロセスは、反射光（１１７）の特徴の変化の検出を使用して、不明瞭化の制限を克服し、非直接的な見通し内領域の検知を可能にする。システムは、電気的かつ光学的に制御された光源が、指定された強度、持続時間、及びパルス速度で光エネルギーを発するためにパルス化される動的光検知を使用する。したがって、本明細書の目的のために、本開示のいくつかの実施形態は、例えば電気光学制御された光源等の光源（１１０、２１０）から発せられる空間的に及び時間的に変調された光パターンと見なしてよい「光のパルス」に言及する。光のパルスは、反射光を受け取るために調整された視野を有するセンサまたはカメラまたは任意の撮像装置（１１０Ａ、１１０Ｂ、２１０）での受け取り及び処理のために利用できる反射光エネルギーを生じさせる。好ましくは、本明細書の目的のためにセンサとして使用される撮像装置（１１０Ａ、１１０Ｂ、２１０）は、その上で反射光を受け取るためにピクセル化された検知面を利用する。例えば、センサ、カメラ、または任意の画像検出装置で受け取られた反射光は、光が反射される面の形状及び材料特性の関数であってよい。反射光エネルギーは、所与の３次元空間（１９０）の中で（生体及び無生物両方の）物体（１６０、３２０、３６０、４９０、４９５）から反射され、システムは、各ピクセルで光の強度を検出し、数値化するマルチピクセル検出器を含む。追加の信号処理ステップを通じて、検出器、及び関連付けられた画像プロセッサ（つまり、コンピュータ化されたメモリ及び検出器に接続されたコンピュータプロセッサ）は、図３に示すように強度画像及び／または距離画像を形成するために使用できる。この点で、センサは、受け取られた／反射された光（１１７）を、所与の視野内の物体のパターンを模倣する（エミュレートする）ために処理できる複数の電子信号に変換するように構成された電気光学センサであってよい。

さらに、非生体物体（３２０、４９０、４９５）の動きの特徴は、生き物（１６０）と関連付けられた動きとは大きく異なり、したがって身体の動き及び自立運動を示す動物とは特に区別可能である。したがって、本明細書に説明するシステム（例えば、本明細書では「３Ｄ ＴＯＦ」センサと呼ぶ、３−Ｄタイムオブフライトセンサとして構成される電気光学センサ（１１０、２１０）で実現されるシステム）は、光エネルギーが種々の物体から反射されるとき光エネルギーがどのように影響を受ける、または基準点から変化するのかを解析することによって、例えば車両内部または車両車室（１１５）等の３−Ｄ空間で種々の物体を区別し、分類するために使用できる。一実施形態では、基準点は、電気光学センサ（１１０、２１０）からのピクセルデータの集合セットであってよく、変化は、時間領域、周波数領域、または空間領域での変化として測定されてよい。また、変化は、例えば強度等、光信号の特性の変化であってもよい。本開示に説明する例の実施形態によれば、本開示は、車両コンパートメントの中で物体を分類できるシステム及び方法を示す。

したがって、本明細書の目的のために、及び本開示を任意の一実施形態に限定することなく、車両内の物体のカテゴリは、本開示の実施形態をさらに示すために、本明細書に説明するシステム及び方法を使用し、以下の通り分類されてよい。
クラス（１）生体、動的（１６０）（例えば、成人、小児、幼児、乳児、ペット）
クラス（２）生体、非動的（例えば、植物）
クラス（３）非生体、動的（３６０）（例えば、起動力のある工具（例えば、電池式ドリル、シェーカー）または玩具（電池式、動く人形、車、アクションフィギュア））
クラス（４）非生体、準静的（１４０、２４０、３４０）（例えば、調整可能な座席システム、シートベルト、ステアリングホイール、アームレスト等、例えばさまざまな制御度の機械的自由度または設定を有する物体）、及び
クラス（５）非生体、静的（２１９）（例えば、ヘッドライナー、窓回りのａ／ｂピラー及び車両内の構造細部のような支持体、フロア／カーペット／ライトマウント、シートベルト開口部、スタイリングパターン（布地パターン／トリム）等の、センサに対して固定される物体）

いくつかの応用例では、クラス（１）の物体を他のすべての物体（クラス（２）〜（５））から検知することが望ましい場合がある。３−Ｄタイムオブフライト（ＴＯＦ）カメラ（１１０、２１０）はこのように使用できるが、係るカメラまたはセンサは、カメラの直接的な見通し内（１１７Ｃ、１１７Ｄ）に完全に、または少なくとも大部分が入る物体を検出することに限定されている。本開示の場合、例えば車両コンパートメント（１１５）内に位置決めされた少なくとも１つの反射面（２１９、３１７）等の光学的に反射性の特長を包含することで、車両コンパートメントの中のカメラ／センサの全体的な有効視野を大幅に拡大できる。例えば、本開示を限定することなく、複数のクラスでは、反射面及び車両内の関連カメラ／センサ設備のシステムは、少なくとも以下の目的のために使用できる。
Ａ．クラス（５）に関して、本明細書に説明する方法及びシステムは、検出器及び照明器システム（１１０、２１０）（例えば、カメラまたは３−Ｄ ＴＯＦセンサ及び関連光源）の周期的なまたは連続的な較正のために一定の較正基準を提供してよい。
Ｂ．クラス（４）に関して、本明細書に説明する方法及びシステムは、非生体準静止物体（１４０，２４０、３４０）の調整可能な状態（例えば、前方に移動されたシート、後方に移動されたシート、ベルトの位置及び向き、ならびに例えばベルト上のターゲットパターンの検出及び区別に基づいた適切なベルト使用）を評価するための動的較正基準を提供するのに用いられてもよい。別の例では、シートのヘッドレスト表面上に反射パターン面（２１９）を適用し、シート（２４０）の任意の考えられる機械自由度について、位置及び反射光強度パターンに基づいてシート角度を決定できる。
Ｃ．さらにクラス（４）に関して、本明細書に説明する方法及びシステムは、センサまたはカメラの直接的な見通し内から遮られた車両コンパートメントの中のそれらの領域の中に光を反射させる手段を提供してよい。遮られた領域（１９０）の中の物体から跳ね返った光は、適切に位置決めされたセンサ（１１０）によって検出することができ、例えば図３〜図４に示す遮られた領域の中の物体のパターン認識及び／または動き等、遮られた領域の中の物体についての情報を提供できる。
Ｄ．クラス（１）に関して、本明細書に説明する方法及びシステムは、少なくとも１人の使用者に対して、シートベルト（２１５）位置、及び／または、シートベルト上またはシートベルト近くの光学活性／反射パターン（２１９）をモニタしてよい。このようにして、方法及びシステムは、使用者の身長、及び／または、シートベルト（２１５）が前の位置から外れているのか、所望される位置を外れているのか、それとも交通規則によって要求される位置を外れているのかを推定するための手順を可能にする。赤外（ＩＲ）光反射面及び赤外（ＩＲ）光吸収面が任意の所望されるパターンを達成するためにともに使用できる反射面（１３０、２１９、３１７）は、ピクセル強度及び／またはセンサからの検出距離により検出可能性を強化する。１つ以上の種類の材料を含み得る印刷されたまたは刺繍された赤外（ＩＲ）感知／反射パターン（２１９）は、使用者についての情報（例えば、前述した適切なベルト使用、使用者の大きさ／身長）を評価するために能動センサによって容易に検出／モニタされるようにベルト（２１５）上に配置できる。

本発明の原理によれば、例えばＥＳＰＲＯＳ ＰＨＯＴＯＮＩＣＳ（登録商標）ＡＧによって販売されるセンサであるが、これに限定されるものではない、少なくとも１つの３−Ｄ ＴＯＦセンサが、車両車室の中のそれぞれ所定の場所に配置される。例えば、ＥＳＰＲＯＳのＥＰＣ（商標）シリーズの下で販売されるようなセンサは、５〜２０ＭＨｚのパルス繰り返しの正弦波赤外光パルスを発する。本例は、ＥＳＰＲＯＳ ＥＰＣ６１０（商標）、ＥＰＣ６３５（商標）、及びＥＰＣ６６０（商標）の取扱品目に沿ったセンサを意図するが、当業者は、本開示の精神及び範囲から逸脱することなく他の能動電気光学センサを使用できることを理解するであろう。本開示のいずれも、本説明をセンサ、カメラ、または画像検出装置の任意の１種類またはブランドに限定すると解釈されるべきではない。特定のデバイス及びブランド名に対する参照は単に例にすぎない。例えば、ここでは詳細に説明しないが、おそらく調節可能である波長を有する、または検知された帯域幅をカバーするためにいくつかの異なる能動光エネルギー光源を有する、将来検討されるであろう、ますます幅広い帯域幅のセンサ（マルチスペクトル）がある。これらの種類の開発は、本開示の原理に従って使用できる。光動作周波数は、使用されるセンサに応じて変わる場合がある。一例のセンサは、３００ｎｍ〜１０５０ｎｍの範囲内の波長を利用する。９５０ｎｍ〜１０５０ｎｍの近赤外スペクトルの部分的な範囲も、十分に本開示の範囲内である。

選択された３−Ｄ ＴＯＦセンサとのその操作性のために特に選ばれた反射性材料（例えば、シートベルト（２１５）と上のパターン（２１９））は、車両車室（１１５）の中の所定の場所に適用される。図に示すように、反射性材料は、限定的な一実施形態では、高反射領域及び高吸収領域のパターンがある所定の構成を有する反射面（１３０、２１９、３１７）を含んでよい。注記するパターンを有する反射面を利用する実施形態では、パターンは、パターンから関連センサに反射される光が、センサソフトウェアによって容易に識別可能となるようにセンサパラメータに適用するように構成されてよい。このようにして、センサソフトウェアは、パターンをもつ構成要素について位置、方向変化等をより効率的に識別する。特定の実施形態では、反射面（１３０、２１９、３１７）は、特定の設備用に設計されたそれぞれの吸収特性及び反射特性を示す異なる材料を含んでよい。反射領域及び吸収領域は、関連検出器システムのための関連最適動作範囲と一致する所望される波長で最適な特徴を示すように構成されてよい。本明細書に説明する反射領域及び吸収領域は、反射面のただ１つの実施態様にすぎないが、反射面の非限定実施形態が、光が認識可能なパターンからセンサに反射されるときにセンサによる追跡のために構成された、パターンが付いた反射面を含んでよいことは注目に値する。

例えば、本明細書に開示するシステム及び方法は、第１の反射面（１３０Ａ、１３０Ｂ、１３０Ｄ）の少なくとも一次部分が、３−Ｄ ＴＯＦセンサ（１１０Ａ、１１０Ｂ）への直接的な見通し（１１７Ａ、１１７Ｃ、１１７Ｄ）の中にまたは大部分が中に配置されるように、複数の反射面（１３０Ａ〜１３０Ｄ）及び関連するカメラ／センサ（１１０Ａ、１１０Ｂ）の配置構成を利用してよい。追加の反射性材料、つまり少なくとも第２の反射面（１３０Ｃ）は、センサの直接的な見通し内ではなく、第１の反射面（１３０Ａ）の一次部分の見通し内（１１７Ｂ）の場所に配置されてよい。反射面をもつ反射性材料は、１つを超える物理的な位置に調整可能である可動構成要素（例えば車両シート、窓、アームレスト等の上述した準静的構造（１４０、２４０））上に配置されてよい。車両車室の中のこれらの可動であるが、準静的な構成要素上の反射面は、可動構成要素が１の位置にあるときに最初に３−Ｄ ＴＯＦセンサの見通し内にある場合があるが、構成要素または構成要素の一部分が１の位置から変位される場合、３−Ｄ ＴＯＦセンサの見通し内から外れる場合がある。例えば、反射面の配置は、車両使用者によって適切に着用されるときは画像センサの見通し内にあるシートベルト（２１５）上で構成されるであろうが、車両使用者によって使用されない場合、見通し内から外れるであろう。この配置構成は、センサ及び関連付けられたコンピュータ化された構成部品が、シートベルトが不適切に使用されるとき、アラーム機能を提供できるようにしてよい。

反射性材料、反射面、ならびにそれぞれのパターンの反射部分及び吸収部分の構成は、使用されているセンサに従って選ばれるべきである。また、簡略な鏡以外の半反射面も本開示で扱われる。また、反射面で使用されるパターンは、特定の例の環境では、人間の可視波長で検出され得ない関連センサの波長範囲の中の検出可能性を最適化するために指定できる。

表面は、１００パーセント反射するまたは一様である必要はないが、１つの非限定的な例では、反射面は、例えば照明器及び関連カメラ等のセンサアセンブリに対して固定される。複数の反射面が、例えば車両コンパートメント等の３次元空間の中で適切に構成されるとき、反射面または半反射面の視界の中にある隠れた空間内の動きは、本明細書に説明するように検知の対象となり、ＴＯＦイメージャーによって検知される変更パターンを生じさせる。一実施形態では、反射面及びセンサの組み合わせは、必ず「何が」動いているのかを区別するよりむしろ、何かが動いていることを区別するのに十分な解像度を必要とする。言い換えると、本開示は、検知される光エネルギーまたは画像の解像度を間近の必要性に適合するように合わせ得る光学的に敏感なセンサ及びカメラを包含する。領域の中での物体の移動を認識することは、その中で正確な物体を識別することに比較すると大幅に低い解像度を要する。他の実施形態では、移動と、動いている物体の識別との両方を検知してよい。

図１は、例示的な内部車両構成要素、この場合は乗客席を有する車両車室（１１５）を示す。この例に示すように、能動光学センサ（１１０Ｂ）は、車両車室（１１５）の前方の場所、及び車両車室内の後方の場所（１１０Ａ）に配置される。高反射面（１３０）が、車両車室の中の所定の場所で、例えば反射性材料の適用によって作成される。反射面の場所は、車室内の関心領域（１９０）から能動光学センサのうちの少なくとも１つへの一次反射、二次反射、三次反射等の強度を最大化するように選ばれる。反射面（１３０）の配置は、車両車室の中での遮られた領域の反射の測定を可能にするために使用できる。

図２は、車両構成要素、つまりシートベルト（２１５）上の反射面を示す。示すように、シートベルトが車両使用者によって着用されるとき、反射性材料（２１９）は、前部に取り付けられたＴＯＦセンサ（不図示）の見通し内にある。ＴＯＦセンサからの直列パルスは、発せられた信号がカメラに跳ね返されるかどうかに関する情報を提供し、車室の中の特定のシートベルト上の反射性材料が着用位置にあるかどうかを示すことができる。この情報は、乗客が車室の中のシートを使用しているかどうかを判断するために単独で使用でき、または乗客が車両内にいるが、シートベルトを着用していない場合があるかどうかを示すために他の車両使用者センサと比較できる。また、本システムは、車両車室の中の乗客または構成要素の場所を決定するために（戻りパルスのタイミングの測定によって）場所を決定するために使用することもできる。反射面／反射性材料は、場所／距離の測定を支援するために所定のパターンを有する場合がある。さらに、鏡を包含する面等のパターンを有する高反射面は、反射に役立つために車両車室に加えられてよい。

本発明の原理によれば、例の一実施形態では、光は、車両コンパートメント内の光源から向けられてよい（例えば、３−Ｄ ＴＯＦセンサは、専用の光源／照明プロジェクタを組み込んでよい）。物体に向けられ、センサに跳ね返される好ましい光信号は、光信号のために、時間領域もしくは周波数領域で、または物理的な次元、つまり空間領域に関しても「コード化されて」よい。したがって、関連するセンサは、コード化されていない外部のまたは周囲の光及び照明変化に対応しないが、所定のコード化された光だけを測定する／所定のコード化された光だけに反応する。さらに、現在の車両窓は、被覆されている、またはそれ以外の場合、特定の光の波長をフィルタにかけるように設計されている。したがって、ＴＯＦセンサ動作周波数は、車両車室の中の外部光（例えば、光ノイズ）が、本明細書に説明する関連センサ及びシステムについての動作波長範囲内で最小限に抑えられるように、窓によってフィルタされる動作周波数となるように選択できる。

本発明の態様では、３−Ｄ ＴＯＦセンサは、例えば、一次視野角を車両後部に向けて、バックミラーによりヘッドライナー上に、または、バックミラーアセンブリと統合されて、車両車室の最上部の最も遠い前方の位置に配置される。別の３−Ｄ ＴＯＦセンサは、例えば、一次視野角が車両前部に向けて、ミニバンまたはＳＵＶ内の後上部のユーティリティライトによって、車両車室の最上部で最も遠い後方位置に配置される。３−Ｄ ＴＯＦセンサのレンズの視野角は、標準レンズで約９０°〜約１２０°となるように意図されるが、種々の用途のために必要に応じてレンズを変更することによって適応されてよい。

図３は、３−Ｄ ＴＯＦセンサによって作り出される例示的な奥行き画像と固定鏡を使ってモニタされる車両内の足下空間の例示的な強度画像の両方を示す。示しているのは、鏡（３１７）、モデルとしての動く人形（３６０）、及びブランケット（３２０）である。図４は、時間Ｔ１及び時間Ｔ２での足下空間の強度画像及び奥行き画像を示す。Ｔ１及びＴ２の強度画像の詳しく調査すると、鏡（４０５）で反射される画像はわずかな変化を示し、時間Ｔ１とＴ２との間で鏡（４０５）に反射される物体（動く人形）（３６０）の移動を示す。時間Ｔ２での奥行き画像は、３−Ｄ ＴＯＦセンサによって測定される奥行きの変化によって特徴付けられる、時間Ｔ１と時間Ｔ２との間の奥行変化があったことを示す。奥行きの変化は、奥行き変化がどこで検知されたのかを示す赤いボックスの図中のオーバレイによって示される。青のボックスは、特定の場所での変化していない奥行きを示す。

この技術は、（例えば、物体がある「べきである」既知の／固定された場所を探す等）較正基準を使って性能を改善し、能動光検知システムの用途を拡大するための独特の低コストの方法を提供する。準動的状態情報は、基準の検出を通じて決定できる。遮られた領域（１９０）についての情報は、単一のセンサから入手できる。他の実施形態では、３Ｄ ＴＯＦセンサ以外の追加センサからの出力は、人工知能動作のためのより多くの機会を加えるために関連ソフトウェアによって使用されてよい。例えば、移動物体を用いると、画像処理（スタンドアロン、または加速度計信号等の利用可能なセンサからのサポートによる）は、検知された動きが、センサの視界の中で感知される車両または生体の移動によって引き起こされる場合、分離するのに役立つ場合がある。同様に、一連の検知された画像を、車両移動、方向、速度、加速等の既知の状態とともに比較することで、生体または動体としての物体の分類をなんらかの方法で決定するまたは確認するために使用できる。

一実施形態では、識別された空間体積（１９０）の中で物体を分類するためのシステムは、プロセッサ、及びコンピュータ実装ソフトウェアをその上に記憶するコンピュータ化されたメモリと通信する電気光学センサ（１１０）を含む。光信号を電気光学センサに反射することができる反射面（１３０）は、識別された空間体積に近接して位置決めされ、反射面は少なくとも部分的に、電気光学センサから生じる第１の見通し内（１１７Ａ、１１７Ｃ、１１７Ｄ）にある。反射面は、反射面から生じる第２の見通し内が識別された空間体積の少なくとも一部分を包含するように、識別された空間体積に対して位置決めされる。反射面から電気光学センサに跳ね返される光信号は、第２の見通し内（１１７Ｂ）を介して識別された体積（１９０）の中に反射面によって収集される画像データを含む。第１の時に反射面によって反射される光信号の特徴が、第２の時に反射面によって反射される光信号の後の特徴と異なる場合、センサは、ソフトウェアを介して識別された体積の中の物体に対応する移動データを識別する。第１の見通し内は、電気光学センサの有効視野が第１の見通し内及び第２の見通し内の少なくとも一部分を含むように、反射面によって収集される画像データを含む。システムは、メモリに記憶され、プロセッサと通信するコンピュータ制御されるアラーム機能をさらに含み、アラーム機能は、移動データを用いてソフトウェアによって識別される物体のカテゴリについて、ソフトウェアで確立される所定の規則に従ってアラームを活性化するように構成される。

別の実施形態では、システムは、メモリに記憶され、プロセッサと通信するコンピュータ制御されるアラーム機能をさらに含み、アラーム機能は、移動データを用いてソフトウェアによって識別される物体のカテゴリについて、ソフトウェアで確立される所定の規則に従ってアラームを活性化するように構成される。

別の実施形態では、間接的な反射面（１３０Ｃ）が第３の見通し内（１１７Ｆ）を画定し、間接的な反射面は、反射面（１３０Ａ）で生じる第２の見通し内（１１７Ｂ）の中にあるが、電気光学センサ（１１０）から生じる第１の見通し内（１１７Ａ）の中にはなく、間接的な反射面から生じる第３の見通し内（１１７Ｆ）は、能動電気光学センサで生じる第１の見通し内にはない識別された体積（１９０）の少なくとも一部分を含む。

別の態様では、デバイスの適切な位置決めを検出するためのシステムは、上記の電気光学３次元（３Ｄ）画像センサ（１１０）、及び電気光学３次元（３Ｄ）画像センサの波長動作範囲に対応する波長を反射できる反射面（１３０）を含み、反射面は、構成要素が一次位置にあるように構成要素上にある。反射面は、電気光学３次元（３Ｄ）画像センサで生じる第１の見通し内（１１７Ａ、１１７Ｃ、１１７Ｃ）の中に第１の画像データを反射し、センサは、反射面によって電気光学３次元（３Ｄ）画像センサに反射される光の特徴の差から構成要素に関する移動データを生成するように構成される。構成要素は、車両の中の準静的構造（２１５、２４０）であってよく、反射面は、電気光学（３Ｄ）センサによる受け取りのために第１の見通し内に画像データを反射し、ソフトウェアは、構成要素（２１５、２４０）がアラームをトリガすることなく動作できる許容自由度に対応する位置データにアクセスし、ソフトウェアが、アラームをトリガする決定で位置データ及び画像データを利用する。

関連付けられた方法は、密閉空間（１１５）の中の物体を検出することを可能にし、ステップは、３次元（３Ｄ）タイムオブフライトカメラ（１１０）から密閉空間の中に光のパルスを送信すること、３次元（３Ｄ）タイムオブフライトカメラに反射される戻された光のパルスの存在または非存在を検出すること、及び密閉空間の中の物体の変化を決定するために戻された光のパルスの特徴の変化を測定すること、を含む。戻された光のパルスの存在は、密閉空間の中の構成要素（２１５，２４０）が一次位置にあることを示し、戻されたパルスの不存在は構成要素の変位を示す。第１の時に３次元（３Ｄ）タイムオブフライトカメラに戻される光の特徴が、第２の時に３次元（３Ｄ）タイムオブフライトカメラに戻される光の特徴と異なる場合、センサは、準静的物体または動的物体のどちらかが密閉空間内に存在することを示す。

本開示は、本明細書に説明するイメージング及び検知システムに接続する、それらと相互に作用する、及び／またはそれらを制御するために不揮発性コンピュータ可読媒体に記憶されるソフトウェアを開発するための概念を含む。例えば、プロセッサ及び関連メモリは、３Ｄ ＴＯＦセンサが、その物体の生体動的ステータスを確認するのに役立つであろう要因である、車が動いていないときの画像内での移動を検出する場合に車両システム内でコンピュータ可読コマンドを実行するように構成されてよい。同様に、及び本開示を任意の一実施形態に限定することなく、検出された移動は、（車両の移動及び制動に起因する）非生体、非動的クラスの物体の実際の移動として識別されてもよい。本明細書のプロセッサによって実行されるソフトウェアによって解析される一連の画像は、その物体を（おそらく車両の動きに一致しない動きのパターンによって）生体動的物体から区別できるであろう。

１つ以上のコンピュータ可読媒体（複数可）の任意の組み合わせを利用し得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子、磁気、光、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または任意の前述の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより多くの具体例（完全に網羅されていないリスト）は、１つ以上の電線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述の任意の好適な組み合わせを含むであろう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用のための、またはそれらと接続される、プログラムを含むまたは記憶することができる任意の有形媒体であり得る。コンピュータ可読信号媒体は、例えば、ベースバンドでまたは搬送波の一部として、本明細書で実施されるコンピュータ可読プログラムコードを有する伝搬データ信号を含んでよい。係る伝搬信号は、電磁、光学、またはその任意の組み合わせを含むが、これに限定されるものではない様々な形のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、もしくはデバイスによる使用のための、またはそれらと接続される、プログラムを通信、伝搬、またはトランスポートできる任意のコンピュータ可読媒体であってよい。コンピュータ可読媒体で実施されるプログラムコードは、無線、ワイヤライン、光ファイバケーブル、ＲＦ等、または上記の任意の適切な組み合わせを含むが、これに限定されるものではない任意の適切な媒体を使用し、送信されてよい。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、例えばＪａｖａ(登録商標)、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び例えば「Ｃ」プログラミング言語または類似するプログラミング言語等の従来の手続きプログラミング言語を含んだ１つ以上のプログラミング言語の任意の組み合わせで作成されてよい。プログラムコードは、ユーザーのコンピュータ上で完全に、ユーザーのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザーのコンピュータ上で部分的に、及びリモートコンピュータ上で部分的にまたはリモートコンピュータもしくはサーバ上で完全に実行してよい。後者の状況では、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含んだ任意の種類のネットワークを通してユーザーのコンピュータに接続されてよい、または接続は、（例えば、インターネットサービスプロバイダを使用し、インターネットを通して）外部コンピュータに行われてよい。

本発明の態様は、本発明の実施態様に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して以下に説明される。フローチャート図及び／またはブロック図の各ブロック、及びフローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解される。これらのコンピュータプログラム命令は、汎用コンピュータのプロセッサ、専用コンピュータ、または機械を製造するための他のプログラム可能データ処理装置に提供され得、これにより、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令は、フローチャート及び／またはブロック図のブロックまたは複数のブロックで指定される機能／行為を実施するための手段を作成する。また、これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または特定の方法で機能する他のデバイスに命令できるコンピュータ可読媒体に記憶されてもよく、これによりコンピュータ可読媒体に記憶される命令は、フローチャート及び／またはブロック図のブロックまたは複数のブロックで指定される機能／行為を実施する命令を含んだ、製造品を製造する。

コンピュータプログラム命令は、一連の操作ステップを、コンピュータ、他のプログラム可能装置、または他のデバイスで実行させて、コンピュータまたは他のプログラム可能装置で実行する命令が、フローチャート及び／またはブロック図のブロックまたは複数のブロックで指定される機能／行為を実施するためのプロセスを提供するように、コンピュータ実装プロセスを作り出すために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスの上にロードされてもよい。

本明細書に使用される専門用語は、特定の実施態様を説明する目的のためであり、本発明を限定することを意図するものではない。本明細書で使用する場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別途明らかに示さない限り、複数形も含むことを意図する。用語「含む（ｃｏｍｐｒｉｓｅ）」及び／または「含んだ（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用されるとき、述べられる特徴、整数、ステップ、動作、要素、及び／または構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／またはそのグループを排除の存在を排除しないことがさらに理解されよう。

以下の特許請求の範囲内のすべてのミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの要素の対応する構造、材料、行為、及び同等物は、明確に特許請求されるとして他の特許請求される要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことが意図される。本発明の説明は、例示及び説明の目的で提示されているが、包括的になる、または開示される形で本発明に限定されることは意図されていない。多くの修正形態及び変形形態は、本発明の範囲及び主旨から逸脱することなく当業者には明白である。実施態様は、本発明の原理及びその実際的な応用を最もよく説明するために、及び当業者が、意図された特定の使用に適しているとして種々の修正形態とともに種々の実施態様のために本発明を理解できるようにするために選ばれ、説明された。

本発明の種々の実施形態を上述してきたが、これらの実施形態がほんの一例として提示され、限定ではないことを理解されたい。本発明の精神または範囲から逸脱することなく、本発明において形式及び詳細において種々の修正を行うことができることが、当業者には明らかであろう。したがって、本発明の広がり及び範囲は、上記の例示的な実施形態のいずれによっても制限されるべきではなく、以下の特許請求の範囲やそれらの等価物に従ってのみ定義されるべきである。

Claims (20)

1. 識別された空間体積の中で物体を分類するためのシステムであって、
   プロセッサ、及びコンピュータ実装ソフトウェアを記憶するコンピュータ化されたメモリと通信する電気光学センサと、
   光信号を前記電気光学センサに反射可能な反射面と
   を備え、
   前記反射面は、少なくとも部分的に前記電気光学センサから生じる第１の見通し内にあり、
   前記反射面は、前記反射面から生じる第２の見通し内が、前記識別された空間体積の少なくとも一部分を包含するように、前記識別された空間体積に対して位置決めされ、
   前記反射面から前記電気光学センサに反射される前記光信号が、前記反射面によって前記第２の見通し内を介して前記識別された体積の中に収集される画像データを含み、
   第１の時に前記反射面によって反射される前記光信号の特徴が、第２の時に前記反射面によって反射される前記光信号の後の特徴と異なる場合、前記センサが、前記ソフトウェアを介して前記識別された体積の中の前記物体に対応する移動データを識別する、
   システム。
2. 前記電気光学センサは、前記光信号を受信し、それぞれの画像データ信号を前記ソフトウェアによる解析のために前記プロセッサに送信する、光学的に感度が高いピクセルのアレイを備える、
   請求項１に記載のシステム。
3. 前記ソフトウェアは、静的、準静的、または動的として前記物体を分類するために前記移動データを使用するように構成される、
   請求項１に記載のシステム。
4. 前記第１の見通し内は、前記電気光学センサの有効視野が、前記第１の見通し内と、前記第２の見通し内の少なくとも一部分とを含むように、前記反射面によって収集される前記画像データを含む、
   請求項１に記載のシステム。
5. 前記メモリに記憶され、前記プロセッサと通信するコンピュータ制御されるアラーム機能をさらに備え、前記アラーム機能は、前記移動データを用いて前記ソフトウェアによって識別される物体のカテゴリについて、前記ソフトウェアで確立される所定の規則に従ってアラームを活性化するように構成される、
   請求項１に記載のシステム。
6. 第３の見通し内を画定する間接的な反射面をさらに備え、前記間接的な反射面は、前記反射面で生じる前記第２の見通し内の中にあるが、前記電気光学センサから生じる前記第１の見通し内の中にはなく、前記間接的な反射面から生じる前記第３の見通し内は、前記能動電気光学センサと生じる前記第１の見通し内の中にはない前記識別された体積の少なくとも一部分を含む、
   請求項１に記載のシステム。
7. 前記識別された体積は、前記第１の見通し内または前記第２の見通し内の中にない、
   請求項６に記載のシステム。
8. 前記電気光学センサは、３次元（３Ｄ）タイムオブフライトカメラである、
   請求項１に記載のシステム。
9. 前記３次元（３Ｄ）タイムオブフライトカメラは赤外振動数で動作する、
   請求項８に記載のシステム。
10. デバイスの適切な位置決めを検出するためのシステムであって、
    電気光学３次元（３Ｄ）画像センサと、
    前記電気光学３次元（３Ｄ）画像センサの波長動作範囲に対応する波長を反射可能な反射面であって、前記反射面が、構成要素が一次位置にある場合、前記反射面が第１の画像データを、前記電気光学３次元（３Ｄ）画像センサで生じる第１の見通し内の中に反射するように、前記構成要素上にある、前記反射面と、
    を備え、
    前記センサは、前記反射面によって前記電気光学３次元（３Ｄ）画像センサに反射される光の特徴の差から前記構成要素に関する移動データを生成するように構成される、システム。
11. プロセッサ、及び前記電気光学３次元（３Ｄ）センサとデータ通信するコンピュータ実装ソフトウェアを記憶するコンピュータ化されたメモリをさらに備え、前記ソフトウェアは、前記構成要素の前記一次位置に関する少なくとも１つのアラームをトリガするためにある期間中に前記センサから取り出される前記移動データを利用する、
    請求項１０に記載のシステム。
12. 前記構成要素は、車両の中の準静的構造であり、前記反射面は、前記電気光学（３Ｄ）センサによる受け取りのために前記第１の見通し内の中に画像データを反射し、前記ソフトウェアは、前記構成要素が、前記アラームをトリガすることなく動作できる許容自由度に対応する位置データにアクセスし、前記ソフトウェアは、前記アラームをトリガする決定で前記位置データ及び前記画像データを利用する、
    請求項１１に記載のシステム。
13. 前記構成要素が異なる位置にある場合、前記反射面は、第２の画像データを前記第１の見通し内に反射し、前記第１の画像データと前記第２の画像データの差は、前記移動データを計算するために前記センサによって使用される、
    請求項１２に記載のシステム。
14. 密閉空間の中で物体検出をする方法であって、
    ３次元（３Ｄ）タイムオブフライトカメラから前記密閉空間の中に光のパルスを送信するステップと、
    前記３次元（３Ｄ）タイムオブフライトカメラに反射される、戻されたパルスの存在または非存在を検出するステップと、
    前記密閉空間の中の物体の変化を決定するために前記戻された光のパルスの特徴の変化を測定するステップと
    を含む方法。
15. 前記戻された光のパルスの存在は、前記密閉空間の中の構成要素が一次位置にあることを示し、前記戻されたパルスの非存在は、前記構成要素の変位を示す、
    請求項１４に記載の方法。
16. 第１の時に前記３次元（３Ｄ）タイムオブフライトカメラに戻される光の特徴が、第２の時に前記３次元（３Ｄ）タイムオブフライトカメラに戻される光の特徴と異なる場合、前記センサが、準静的物体または動的物体のどちらかが前記密閉空間内に存在することを示す、
    請求項１４に記載の方法。
17. 少なくとも１つの反射面が、前記物体から前記３次元（３Ｄ）タイムオブフライトカメラに画像データを反射し、前記画像データは、前記物体のうちの少なくとも１つの奥行き、または、前記反射面から反射される光信号の強度のどちらかを特徴付ける、
    請求項１４に記載の方法。
18. 前記物体は車両構成要素であり、前記奥行きまたは前記強度のどちらかに基づいて車両の中でアラームをトリガすることをさらに含む、
    請求項１７に記載の方法。
19. 前記物体のそれぞれは、それぞれ反射面を備え、前記反射面の第１の部分から光の前記パルスを反射し、前記反射面の第２の部分の中に前記光を吸収する、
    請求項１４に記載の方法。
20. 識別された体積空間の中で前記物体の移動を検出するために前記３次元（３Ｄ）タイムオブフライトカメラの解像度を合わせるステップをさらに含む、
    請求項１４に記載の方法。

Images