JP2018512334A - 車内カメラによる乗員の寸法及び姿勢の検出 - Google Patents

車内カメラによる乗員の寸法及び姿勢の検出 Download PDF

Info

Publication number
JP2018512334A
JP2018512334A JP2017553154A JP2017553154A JP2018512334A JP 2018512334 A JP2018512334 A JP 2018512334A JP 2017553154 A JP2017553154 A JP 2017553154A JP 2017553154 A JP2017553154 A JP 2017553154A JP 2018512334 A JP2018512334 A JP 2018512334A
Authority
JP
Japan
Prior art keywords
occupant
vehicle
dimensions
posture
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017553154A
Other languages
English (en)
Inventor
スティーヴン ミラー ジェイムズ
スティーヴン ミラー ジェイムズ
グラフ パトリック
グラフ パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018512334A publication Critical patent/JP2018512334A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/006—Type of passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01211—Expansion of air bags

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Air Bags (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Seats For Vehicles (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両内部の乗員（３０５，３１０，３１５）の寸法及び姿勢を特定する方法及びシステムが提供される。１つの実施形態では、本方法は、カメラ（１１４）から車両内部の１つ又は複数の画像（図３）を受信することを含む。本方法は、前記１つ又は複数の画像内の前記車両内部（１００）の室内領域（１３０，１３２，１３４，１３６，１３８）を分類することも含む。本方法は、前記車両内部（１００）の前記室内領域（１３０，１３２，１３４，１３６，１３８）の前記分類に基づいて前記１つ又は複数の画像内の乗員（３０５，３１０，３１５）を識別することも含む。本方法は、前記車両内部（１００）の前記室内領域の前記分類（４０４）に基づいて前記乗員（３０５，３１０，３１５）の寸法範囲を特定することも含む。本方法は、前記車両内部（１００）の前記室内領域の前記分類（４０４）に基づいて前記乗員（３０５，３１０，３１５）の姿勢を特定することも含む。本方法は、前記乗員（３０５，３１０，３１５）の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システム（１２２，１２４，１２６，１２８）を制御することも含む。

Description

関連出願の相互参照
本出願は、２０１５年４月１０日に出願された米国仮特許出願第６２／１４５９３１号明細書（U.S.Provisional Patent Application No.62/145,931）の利益を主張し、その全内容は参照により本明細書に組み込まれる。
背景
現在の乗員検出システムは、座席にいる乗員又は他の物体の重量を検出する座席ベースのセンサを使用して、車両内の乗員の位置を検出する。他の乗員検出システムは、カメラを使用して乗員の位置を検出する。位置情報は、例えば、その座席のエアバッグを有効又は無効にするために使用することができる。
概要
現在の乗員検出システムは、一般的な乗員位置情報を提供することが可能である。場合によっては、より特定の乗員位置情報や、乗員に関する追加的な情報が望ましいことがある。例えば、１つ又は複数のエアバッグに関して、車両内の乗員の寸法及び姿勢に関する追加的な情報を用いれば、エアバッグをより良好に制御することが可能になるであろう。同様に、他の車両安全システムに関して、車両内の乗員の寸法及び姿勢に関する追加的な情報を用いれば、これらの他の車両安全システムを、より良好に制御することができる。従って、車両の乗員の寸法及び姿勢を特定するためのシステム及び方法が必要とされている。
本明細書に開示される特定の実施形態の概要が、以下に記載されている。これらの態様が、単にこれらの特定の実施形態の簡単な概要を読者に提供するために提示されたものであって、本開示の範囲を限定することを意図したものではないことを理解すべきである。それどころか、本開示は、以下に記載されていない可能性もある種々の態様を包含することができる。
１つの実施形態では、車両内部の乗員の寸法及び姿勢を特定する方法が提供される。本方法は、電子制御ユニットによって、カメラから車両内部の１つ又は複数の画像を受信することを含む。本方法は、前記電子制御ユニットによって、前記１つ又は複数の画像内の前記車両内部の室内領域を分類することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定することも含む。本方法は、前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することも含む。
別の実施形態では、車両内部の乗員の寸法及び姿勢を特定するためのシステムが提供される。本システムは、カメラと、電子制御ユニットとを含む。前記カメラは、車両内部の１つ又は複数の画像を捕捉するように構成されている。前記電子制御ユニットは、メモリと、前記メモリに電気的に接続された電子プロセッサとを有する。前記電子制御ユニットは、前記カメラから１つ又は複数の画像を受信し、前記１つ又は複数の画像内の前記車両内部の室内領域を分類し、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別し、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定し、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定し、前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御するように構成されている。
本発明の他の態様は、詳細な説明及び添付の図面を考慮することによって明らかになるであろう。
乗員の寸法及び姿勢を検出するシステムが装備された車両内部のブロック図である。 図１の乗員の寸法及び姿勢を検出するシステムの電子制御ユニットのブロック図である。 車両内部１００の大部分を網羅する広角レンズを有するカメラからの画像である。 図１の乗員の寸法及び姿勢を検出するシステムを使用して乗員の寸法及び姿勢を特定する方法のフローチャートである。
詳細な説明
本発明の任意の実施形態が詳細に説明される前に、本発明がその適用において、以下の説明に記載される又は以下の図面に図示される構成の細部及び構成要素の配置に限定されないことを理解すべきである。本発明は、他の実施形態が可能であり、種々の方法で実施又は実行されることが可能である。
本発明を実施するために、複数のハードウェアベース及びソフトウェアベースのデバイス、並びに、構造の異なる複数のコンポーネントが使用され得ることに留意すべきである。さらには、本発明の実施形態が、ハードウェア、ソフトウェア、及び、電子コンポーネント又は電子モジュールを含むことができ、これらが考察目的のために、コンポーネントの大部分がハードウェアでのみ実装されているかのように図示及び説明され得ることを理解すべきである。しかしながら、当業者であれば、本詳細な説明の読解に基づいて、少なくとも１つの実施形態における本発明の電子ベースの態様が１つ又は複数のプロセッサを用いてソフトウェア（例えば、非一時的コンピュータ可読媒体に記憶されたソフトウェア）で実行され得ることを理解するであろう。従って、本発明を実施するために、複数のハードウェアベース及びソフトウェアベースのデバイス、並びに、構造の異なる複数のコンポーネントが利用され得ることに留意すべきである。例えば、本明細書に記載されている「制御ユニット」及び「制御装置」は、１つ又は複数のプロセッサ、非一時的コンピュータ可読媒体を含む１つ又は複数のメモリモジュール、１つ又は複数の入力／出力インタフェース、及び、これらのコンポーネントを接続する種々の接続部（例えば、システムバス）を含むことができる。
図１は、１つの実施形態による乗員の寸法及び姿勢を検出するシステム１０２が装備された車両内部１００を示すブロック図である。乗員の寸法及び姿勢を検出するシステム１０２は、画像処理電子制御ユニット（ＥＣＵ）１１０、カメラ１１２（例えば、魚眼レンズカメラ）、任意選択のカメラ１１４、通信インタフェース１１５Ａ乃至１１５Ｄ（まとめて「通信インタフェース１１５」）、エアバッグ制御ユニット（ＡＣＵ）１２０、電気リンク１２１Ａ乃至１２１Ｄ（まとめて「電気リンク１２１」）（例えば、ワイヤ）、エアバッグ１２２乃至１２８、運転席１３０、助手席１３２、左後部座席１３４、中央後部座席１３６、右後部座席１３８、及び、車両センサ１４０を含む。
カメラ１１２は、通信インタフェース１１５Ａを介して画像処理ＥＣＵ１１０に通信可能に接続されている。さらに、いくつかの実施形態では、任意選択のカメラ１１４が、通信インタフェース１１５Ｂを介して画像処理ＥＣＵ１１０に通信可能に接続されている。画像処理ＥＣＵ１１０は、カメラ１１２によって捕捉された複数の画像（例えば、全方位画像）にアクセスする。画像処理ＥＣＵ１１０は、複数の画像を所定の時間間隔で処理し、複数の画像及び関連データを記録する。例えば、画像処理ＥＣＵ１１０は、車両内部１００が移動した距離に少なくとも部分的に基づいて複数の画像を処理することができる。通信インタフェース１１５はまた、画像処理ＥＣＵ１１０を、他の車両システム（例えば、後述する車両センサ１４０及び車両制御装置１４５）と共にＡＣＵに通信可能に接続する。
寸法及び姿勢を検出するシステム１０２のいくつかの実施形態は、車両内部１００の位置及び移動を示す１つ又は複数の車両センサ１４０も含む。例えば、車両センサ１４０は、操舵角センサ、車輪位置又は車輪速度センサ、及び、全地球測位システム（ＧＰＳ）を含むことができる。車両センサ１４０によってＡＣＵ１２０は、車両センサ１４０によって提供される移動情報に基づいて車両内部１００の位置、方向、及び、動きを検出することが可能となる。ＡＣＵ１２０はさらに、移動情報に基づいて位置と、時間の経過に伴う位置の変化とを計算するように構成されている。ＡＣＵ１２０をさらに、１つ又は複数の車両制御装置（例えば、ステアリングホイール、スロットル、又は、ブレーキシステム）に通信可能に接続させることができる。ＡＣＵ１２０は、１つ又は複数の車両センサ１４０及び／又は車両制御装置によって提供された情報を使用して、車両内部１００の位置と、寸法及び姿勢を検出するシステム１０２によって分析された車両内部１００内の乗員の寸法及び姿勢とに基づいて、エアバッグ動作を実施することができる。
図２は、図１における、乗員の寸法及び姿勢を検出するシステム１０２の、画像処理ＥＣＵ１１０のブロック図である。画像処理ＥＣＵ１１０は、画像処理ＥＣＵ１１０内及び／又はカメラ１１２内のコンポーネント及びモジュールに電力、動作制御、及び、保護を提供する複数の電気的及び電子的なコンポーネントを含む。例えば、画像処理ＥＣＵ１１０は、特に、制御装置２０５（プログラマブル電子マイクロプロセッサ、マイクロコントローラ、又は、他の適当な処理装置など）、電源２１０、及び、入力／出力モジュール２１５を含む。
制御装置２０５は、特に、電子プロセッサ２２０及びメモリ２２５を含む。電子プロセッサ２２０は、メモリ２２５に通信可能に接続されており、メモリ２２５に記憶可能な命令を実行する。制御装置２０５は、特に、本明細書に記載された制御プロセス及び方法に関連する命令を、メモリ２２５から検索して実行するように構成されている。他の実施形態では、画像処理ＥＣＵ１１０は、追加的なコンポーネント、又は、より少ないコンポーネント、又は、別のコンポーネントを含む。画像処理ＥＣＵ１１０が、本明細書に列挙された特定の機能を実行するようにそれぞれ構成された、いくつかの独立した電子制御ユニットにおいて実装され得ることに留意すべきである。画像処理ＥＣＵ１１０は、さらに、特定の種類のセンサデータを入力して、関連する処理を実行するサブモジュールを含むことができる。例えば、画像処理ＥＣＵ１１０のビデオ分析モジュールは、カメラ１１２からビデオストリーム又は１つ若しくは複数の画像を受信し、前記ビデオ又は１つ若しくは複数の画像を適当なフォーマットに変換して、前記１つ又は複数の画像内の物体及び特徴（例えば、車両内の乗員、乗員の姿勢、及び、乗員の寸法範囲）を認識し、前記１つ又は複数の画像内の前記物体及び前記特徴を追跡して、他のＥＣＵを制御するか、又は、これらの処理からのデータ出力を他のＥＣＵ（例えば、ＡＣＵ１２０）に送信することができる。
画像処理ＥＣＵ１１０は、特に、カメラ１１２から１つ又は複数の画像を受信して、１つ又は複数の画像を処理するように構成されている。例えば、図２の実施形態では、入力／出力モジュール２１５は、カメラ１１２から１つ又は複数の画像を受信して、前記１つ又は複数の画像を画像処理のために制御装置２０５に送信する。次いで、制御装置２０５は、前記１つ又は複数の画像を処理する。
画像処理ＥＣＵ１１０、サブモジュール、追加的なＥＣＵ（例えば、ＡＣＵ１２０）、車両センサ１４０、及び、車両制御装置１４５を、通信インタフェース１１５Ｃ上の１つ又は複数の通信モジュールを介してリンクすること、及び／又は、入力／出力モジュール２１５を介して直接的に接続することができる。いくつかの実施形態では、ＡＣＵ１２０は、入力／出力モジュール２１５と通信するためにＪ１９３９又はＣＡＮバスのようなプロトコルを使用して通信する。他の実施形態では、ＡＣＵ１２０は、特定の用途の需要に応じて他の適当なプロトコルの下で入力／出力モジュール２１５と通信する。いくつかの実施形態では、入力／出力モジュール２１５は、種々の制御部及びセンサから専用の信号線を直接的に使用して情報を入力する。
例えば、図３は、車両内部１００の大部分を網羅する広角レンズを有するカメラ１１２からの画像３００である。この図示された実施形態では、画像３００は、２人の乗員、即ち、第１の乗員３０５及び第２の乗員を含む。２人の乗員は、画像処理ＥＣＵ１１０の関心物体である。図３に示すように、第１の乗員３０５及び第２の乗員３１０は、カメラ１１２からの画像３００内の所定の位置（例えば、それぞれ運転席１３０及び左後部座席１３４）を占有しており、画像処理ＥＣＵ１１０によって画素位置として、又は、座標集合（例えば、垂直座標及び水平座標）として検出される。
いくつかの実施形態では、画像処理ＥＣＵ１１０は、カメラ１１２からの画像３００から情報（例えば、車両の乗員の位置、寸法、及び、姿勢）を抽出するために分類器アプローチを使用する。例えば、分類器（classifier）は、エッジ、形状、色、及び、他の適当な特徴を含む画像特徴に基づいている。さらには１つ又は複数の分類器を使用して、画像内の視認可能な乗員の全身（典型的には頭及び胴の領域）を検出することができる。車両内部１００内の複数の異なる座席位置に対してそれぞれ異なる分類器を調整することができる。このように、分類器を使用して、第１の乗員３０５及び第２の乗員３１０を含む車両内部１００内の乗員の位置を識別することができる。
いくつかの実施形態では、追加的な分類器を使用して、乗員の頭、肩、胴、腕、又は、他の適当な特徴を含む、乗員の別個の部位を検出することもできる。これらの追加的な分類器を組み合わせて、車両内部１００内のそれぞれの乗員の姿勢を推定することができる。同様に、複数の分類器を使用して、車両内部１００内のそれぞれの乗員の複数の異なる姿勢を検出することができる。例えば、第１の乗員３０５が背筋を伸ばして座っており、第２の乗員３１０が車両内部１００の前方に傾いている場合がある。
いくつかの実施形態では、画像処理ＥＣＵ１１０は、分類器からの画素における乗員の寸法を使用して、乗員の寸法を推定する。画像処理ＥＣＵ１１０は、さらに、カメラのキャリブレーション、又は、乗員の姿勢（例えば、乗員の頭の位置及び向き）を使用することができる。画像処理ＥＣＵ１１０は、乗員の位置、寸法、及び、姿勢を示す情報を、ＡＣＵ１２０及び車両制御装置１４５を含む他の車両システムに通信することが可能である。ＡＣＵ１２０及び／又は車両制御装置１４５は、乗員の位置、寸法、及び、姿勢を示す情報に基づいて自身の機能を変更することができる。例えば、ＡＣＵ１２０は、前記情報を使用して、衝突の発生時にどの１つ又は複数のエアバッグ（例えば、図１に図示されたエアバッグ１２２乃至１２８のうちの１つ又は複数）を展開すべきかを決定することができる。ＡＣＵ１２０は、さらに、前記情報を使用して、衝突の発生時に展開される１つ又は複数のエアバッグの展開特性（例えば、展開強度、展開角度、又は、他の適当な特性）を決定することができる。同様に、画像処理ＥＣＵ１１０は、シートベルトシステムのような車両制御装置１４５に前記情報を提供することができる。シートベルトシステムは、前記情報を使用して、事故の発生時に車両内部１００内のシートベルトの機能を制御することができる。いくつかの実施形態では、シートベルトシステムは、シートベルトの機能を制御して、ＡＣＵ１２０による１つ又は複数のエアバッグの展開に整合させることができる。
他の実施形態では、画像処理ＥＣＵ１１０は、安全性、安心性、快適性、及び、利便性に関連する用途のために、車両の乗員の位置、寸法、及び、姿勢を示す情報を提供することができる。例えば、前記情報を使用して、運転者又は助手席者がシートベルトを装着していない場合、又は、シートベルトが適当に装着されていない場合（例えば、シートベルトが運転者又は助手席者を適当に拘束していない場合）に警告を発することができる。さらに他の実施形態では、画像処理ＥＣＵ１１０は、運転席１３０にいる乗員の寸法及び形状に基づいて運転席１３０、ペダル、ステアリングホイール、及び／又は、車両ミラーの位置を自動的に設定する車両システムに情報を提供する。同様に、画像処理ＥＣＵ１１０は、助手席１３２にいる乗員の寸法及び形状に基づいて助手席１３２の位置を自動的に設定する車両システムに情報を提供する。
図４は、寸法及び姿勢を検出するシステム１０２を使用して、車両内部の乗員の寸法及び姿勢を特定する方法４００のフローチャートである。方法４００は、画像処理ＥＣＵ１１０を用いて実施されるものとして説明される。しかしながら、方法４００で説明される各機能が、画像処理ＥＣＵ１１０、ＡＣＵ１２０、及び／又は、他の車両制御装置の間でのように、複数の装置の間で分散されていてもよいことを理解すべきである。
図４に示すように、画像処理ＥＣＵ１１０は、車両内部を捕捉するカメラ１１２から１つ又は複数の画像を受信する（ブロック４０２）。例えば、画像処理ＥＣＵ１１０は、車両内部１００内の全ての座席領域を網羅する広角レンズを有するカメラ１１２からビデオストリームを受信する。さらに、いくつかの実施形態においては、画像処理ＥＣＵ１１０は、カメラ１１２の位置とは異なる位置から車両内部を捕捉する任意選択のカメラ１１４から、１つ又は複数の画像を受信する。例えば、この任意選択のカメラ１１４は、比較的長い車両内部１００における３列目の座席のような座席位置の画像を捕捉することができる。
画像処理ＥＣＵ１１０は、１つ又は複数の画像内の車両内部の室内領域を分類する（ブロック４０４）。いくつかの実施形態では、１つ又は複数の画像を事前処理して、画像全体の品質を改善し、露出のようなカメラ値を制御するための統計量を捕捉し、場合によっては、さらなる画像処理のための所望の解像度を得るために、画像をサンプリングし直すことができる。１つ又は複数の画像は、当該１つ又は複数の画像内の全ての画素に対して、又は、少数の画素群ごとに、線、形状、勾配の大きさ及び方向、テクスチャ、及び、色のような画像特徴を抽出するために処理される。これらの抽出された画像特徴は、分類器（例えば、比較器）に供給され、この分類器は、画像の所定の領域（例えば、車両内部の室内領域）内におけるこれらの抽出された特徴の相関を取り、これらの抽出された画像特徴が、物体のクラス（例えば、車両乗員、座席、シートベルト、又は、他の車両内部の物体のクラス）の特徴とどれくらい良好に一致するかを特定する。分類器は、検出すべき物体のクラスに関する以前に収集されたデータに基づいている。物体のクラスに関する以前に収集されたデータは、車両内の乗員に関する多数の画像群を含むことができる。多数の画像群内のこれらの乗員は、寸法、年齢、着座姿勢、衣服の多様な集合を表している必要があり、かつ、種々の照明条件で撮影される必要がある。いくつかの実施形態では、車両内の複数の異なる座席に対応する複数の異なる分類器が設けられている（例えば、前部座席対後部座席又は個々の座席）。さらに、いくつかの実施形態では、チャイルドシートを検出するための別個の分類器が設けられている。
画像処理ＥＣＵ１１０は、車両内部の室内領域の分類を使用して、１つ又は複数の画像内の乗員を識別することができる（ブロック４０６）。例えば、画像処理ＥＣＵ１１０は、初期分類器による、１つ又は複数の画像内のそれぞれの室内領域のスコアに応じた、車両内部の室内領域の分類を使用することができる。このスコアは、１つ又は複数の画像内の乗員を識別するために画像処理ＥＣＵ１１０のメモリに記憶された閾値と比較される。いくつかの実施形態では、１つ又は複数の画像内の乗員が識別される確率を上げ、かつ、誤検出を制限するために、画像処理ＥＣＵ１１０は、画像処理ＥＣＵ１１０のメモリに記憶された低い閾値を使用することができ、また、２つ以上の画像において車両内部の同じ室内領域において識別が行われるという要求も使用することができる。
画像処理ＥＣＵ１１０は、１つ又は複数の画像の室内領域内の乗員を識別した後、上述したように、室内領域の分類に基づいて乗員の寸法範囲を特定する（ブロック４０８）。他の実施形態では、乗員が含まれた１つ又は複数の画像の室内領域に対して、この乗員の寸法範囲を特定するために追加的な処理を実施することができる。例えば、画像処理ＥＣＵ１１０は、頭、胴、腕、及び、脚を検出するために特化した分類器を使用して、乗員を分類し、次いで複数の分類を組み合わせて、乗員の寸法範囲を特定することができる。いくつかの実施形態では、カメラキャリブレーション値を使用して、１つ又は複数の画像内の乗員の検出された寸法及び識別された位置を取得し、前記検出された寸法及び前記識別された位置を、乗員の寸法の推定値に変換することもできる。いくつかの実施形態では、車両内部の室内領域の分類に基づいて１つ又は複数の画像内の乗員を識別することは、乗員が車両内部の運転席にいるかどうかを画像処理ＥＣＵ１１０が特定することを含む。さらに、乗員の寸法範囲が乗員の形状に相関していることが理解される。換言すれば、画像処理ＥＣＵ１１０は、乗員の寸法範囲を特定した後に乗員の形状を特定することができるということが理解される。
画像処理ＥＣＵ１１０は、１つ又は複数の画像の室内領域内の乗員を識別した後、上述したように、室内領域の分類に基づいて乗員の姿勢も特定する（ブロック４１０）。他の実施形態では、乗員が含まれた１つ又は複数の画像の室内領域に対して、この乗員の姿勢を特定するために追加的な処理を実施することができる。例えば、画像処理ＥＣＵ１１０は、頭、胴、腕、及び、脚を検出するために特化した分類器を使用して、乗員を分類し、次いで複数の分類を組み合わせて、乗員の姿勢を特定することができる。
いくつかの実施形態では、画像処理ＥＣＵ１１０は、乗員の寸法範囲及び姿勢を特定した後、乗員の寸法及び姿勢に基づいて他の車両システムを制御する（ブロック４１２）。画像処理ＥＣＵ１１０は、乗員の寸法及び姿勢に関する情報を用いて他の車両システムを制御することにより、車両内の乗員の安全性を向上させる。これに代えて、画像処理ＥＣＵ１１０は、乗員の寸法範囲及び姿勢を特定した後、乗員の寸法及び姿勢を他の車両システム（例えば、ＡＣＵ１２０）に送信して、これらの他の車両システムが、エアバッグ、シートベルト、及び、車両の他の安全機構の制御の精度を向上させることが可能となるようにすることができる。例えば、画像処理ＥＣＵ１１０は、上述したように、乗員の寸法及び姿勢をＡＣＵ１２０に送信することができ、ＡＣＵ１２０は、乗員の寸法及び姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させて、乗員の安全性を向上させることができる。
いくつかの実施形態では、画像処理ＥＣＵ１１０又はＡＣＵ１２０は、乗員の寸法及び姿勢に基づいて、１つ又は複数のエアバッグの１つ又は複数の展開特性を決定することもできる。１つ又は複数のエアバッグの展開特性は、１つ又は複数のエアバッグの展開強度、又は、１つ又は複数のエアバッグの展開角度のうちの少なくとも一方を含むことができる。
いくつかの実施形態では、画像処理ＥＣＵ１１０は、乗員の寸法及び姿勢をシートベルトシステムに送信することもできる。シートベルトシステムは、乗員の寸法及び姿勢に少なくとも部分的に基づいて、乗員がシートベルトを適当に装着しているかどうかを特定することができる。
図４は、車両内の１人の乗員の寸法及び姿勢を分類、識別、及び、特定するものとして説明されてきたことが理解される。しかしながら、図４に記載及び図示されている方法４００が、車両内の複数の乗員の寸法及び姿勢を分類、識別、及び、特定するために使用され得ることも理解される。例えば、いくつかの実施形態では、画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて１つ又は複数の画像内の第２の乗員を識別することができる。画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて第２の乗員の寸法範囲を特定することもできる。画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて第２の乗員の姿勢を特定することもできる。画像処理ＥＣＵ１１０は、第２の乗員の寸法及び姿勢を特定した後、第２の乗員の寸法及び姿勢に基づいて１つ又は複数の車両システムを制御することができる。これに代えて、画像処理ＥＣＵ１１０は、第２の乗員の寸法及び姿勢を特定した後、第２の乗員の寸法及び姿勢を１つ又は複数の車両システムに送信することができる。
従って、本発明は、特に、車両内の乗員の寸法及び姿勢を特定するための方法及びシステムを提供する。本発明の種々の特徴及び利点は、以下の特許請求の範囲に記載されている。

Claims (14)

  1. 車両内部の乗員の寸法及び姿勢を特定する方法において、
    電子制御ユニットによって、カメラから車両内部の１つ又は複数の画像を受信することと、
    前記電子制御ユニットによって、前記１つ又は複数の画像内の前記車両内部の室内領域を分類することと、
    前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別することと、
    前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定することと、
    前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定することと、
    前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することと、
    を含む、方法。
  2. 前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の前記乗員を識別することは、前記電子制御ユニットによって、前記乗員が前記車両内部の運転席にいるかどうかを特定することを含む、
    請求項１に記載の方法。
  3. 前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御することは、
    前記電子制御ユニットによって、前記乗員の前記寸法及び前記姿勢をエアバッグ制御ユニットに送信することと、
    前記エアバッグ制御ユニットによって、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させることと、
    を含む、
    請求項１に記載の方法。
  4. 前記エアバッグ制御ユニットによって、前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数のエアバッグの１つ又は複数の展開特性を決定することをさらに含む、
    請求項３に記載の方法。
  5. 前記１つ又は複数のエアバッグの前記１つ又は複数の展開特性は、展開強度又は展開角度のうちの少なくとも一方を含む、
    請求項４に記載の方法。
  6. 前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御することは、
    前記電子制御ユニットによって、前記乗員の前記寸法及び前記姿勢をシートベルトシステムに送信することと、
    前記シートベルトシステムによって、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて前記乗員がシートベルトを適当に装着しているかどうかを特定することと、
    を含む、請求項１に記載の方法。
  7. 前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の第２の乗員を識別することと、
    前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の寸法範囲を特定することと、
    前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の姿勢を特定することと、
    前記第２の乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することと、
    をさらに含む、
    請求項１に記載の方法。
  8. 車両内部の乗員の寸法及び姿勢を特定するためのシステムにおいて、前記システムは、
    車両内部の１つ又は複数の画像を捕捉するように構成されたカメラと、
    メモリと、前記メモリに電気的に接続された電子プロセッサとを有する電子制御ユニットと、
    を含み、前記電子制御ユニットは、
    前記カメラから１つ又は複数の画像を受信し、
    前記１つ又は複数の画像内の前記車両内部の室内領域を分類し、
    前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別し、
    前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定し、
    前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定し、
    前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御する、
    ように構成されている、システム。
  9. 前記１つ又は複数の画像内の乗員を識別するために、前記電子プロセッサは、前記乗員が前記車両内部の運転席にいるかどうかを特定するようにさらに構成されている、
    請求項８に記載のシステム。
  10. 前記システムは、エアバッグ制御ユニットをさらに含み、
    前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御するために、前記電子プロセッサは、前記乗員の前記寸法及び前記姿勢を前記エアバッグ制御ユニットに送信するようにさらに構成されており、
    前記エアバッグ制御ユニットは、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させるように構成されている、
    請求項８に記載のシステム。
  11. 前記エアバッグ制御ユニットは、前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数のエアバッグの１つ又は複数の展開特性を決定するようにさらに構成されている、
    請求項１０に記載のシステム。
  12. 前記１つ又は複数のエアバッグの前記１つ又は複数の展開特性は、展開強度又は展開角度のうちの少なくとも一方を含む、
    請求項１１に記載のシステム。
  13. 前記システムは、シートベルトシステムをさらに含み、
    前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御するために、前記電子プロセッサは、前記乗員の前記寸法及び前記姿勢を前記シートベルトシステムに送信するようにさらに構成されており、
    前記シートベルトシステムは、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて、前記乗員がシートベルトを適当に装着しているかどうかを特定するように構成されている、
    請求項８に記載のシステム。
  14. 前記電子プロセッサは、
    前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の第２の乗員を識別し、
    前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の寸法範囲を特定し、
    前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の姿勢を特定し、
    前記第２の乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御する、
    ようにさらに構成されている、請求項８に記載のシステム。
JP2017553154A 2015-04-10 2016-04-08 車内カメラによる乗員の寸法及び姿勢の検出 Pending JP2018512334A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562145931P 2015-04-10 2015-04-10
US62/145,931 2015-04-10
PCT/US2016/026747 WO2016164793A1 (en) 2015-04-10 2016-04-08 Detection of occupant size and pose with a vehicle interior camera

Publications (1)

Publication Number Publication Date
JP2018512334A true JP2018512334A (ja) 2018-05-17

Family

ID=55806817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017553154A Pending JP2018512334A (ja) 2015-04-10 2016-04-08 車内カメラによる乗員の寸法及び姿勢の検出

Country Status (6)

Country Link
US (1) US10829072B2 (ja)
EP (1) EP3280619B1 (ja)
JP (1) JP2018512334A (ja)
KR (1) KR20170135946A (ja)
CN (1) CN107428302B (ja)
WO (1) WO2016164793A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094657A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치
WO2020166002A1 (ja) * 2019-02-14 2020-08-20 三菱電機株式会社 搭乗者状態検出装置
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
JP2021133728A (ja) * 2020-02-25 2021-09-13 日野自動車株式会社 車両制御装置及び車両制御方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3280619B1 (en) 2015-04-10 2019-10-02 Robert Bosch GmbH Detection of occupant size and pose with a vehicle interior camera
JP6982767B2 (ja) * 2017-03-31 2021-12-17 パナソニックＩｐマネジメント株式会社 検知装置、学習装置、検知方法、学習方法、およびプログラム
US10272807B2 (en) * 2017-05-02 2019-04-30 Ford Global Technologies, Llc Efficient control of temperature altering systems within a vehicle seating assembly
FR3067309B1 (fr) * 2017-06-09 2020-02-07 STMicroelectronics (Grand Ouest) SAS Procede et systeme de reglage automatique d'au moins un equipement d'un vehicule automobile
FR3069657A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif optique pour l'observation d'un habitacle de vehicule
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US10776644B1 (en) 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20190322233A1 (en) * 2018-04-24 2019-10-24 Ford Global Technologies, Llc Controlling Airbag Activation Status At A Motor Vehicle
US11254270B1 (en) * 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
DE102018207977B4 (de) * 2018-05-22 2023-11-02 Zf Friedrichshafen Ag Innenüberwachung für Sicherheitsgurteinstellung
WO2020016635A1 (en) 2018-07-19 2020-01-23 Bosch Car Multimedia Portugal S.a. Method and system for detecting and identifying an interior abnormal condition in a passenger vehicle
DE102018118129A1 (de) * 2018-07-26 2020-01-30 Automotive Safety Technologies Gmbh Insassenschutzsystem, Kraftfahrzeug und Verfahren zum Betreiben eines Insassenschutzsystems
EP3643567B1 (en) 2018-10-24 2021-05-05 Volvo Car Corporation Airbag arrangement
US11270525B2 (en) * 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
US11417122B2 (en) * 2018-11-21 2022-08-16 Lg Electronics Inc. Method for monitoring an occupant and a device therefor
KR102601354B1 (ko) * 2018-11-29 2023-11-13 현대모비스 주식회사 영상기반 승객 검출 및 안전벨트 착용 검출 장치와 방법
US20200217942A1 (en) * 2019-01-03 2020-07-09 GM Global Technology Operations LLC Method and system for detecting vehicle occupants
US11491940B2 (en) 2019-04-19 2022-11-08 GM Global Technology Operations LLC System and method for detecting improper posture of an occupant using a seatbelt restraint system
CN110084184B (zh) * 2019-04-25 2021-06-11 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
US20210188205A1 (en) * 2019-12-19 2021-06-24 Zf Friedrichshafen Ag Vehicle vision system
JP2023523349A (ja) * 2020-04-28 2023-06-02 バヤー イメージング リミテッド 車両の客室を監視するためのシステムおよび方法
CN111703393A (zh) * 2020-05-12 2020-09-25 江苏大学 一种基于驾驶员姿态实时3d建模的安全气囊自适应控制方法
US11825182B2 (en) * 2020-10-12 2023-11-21 Waymo Llc Camera module with IR LEDs for uniform illumination
KR20220071121A (ko) * 2020-11-23 2022-05-31 주식회사 에이치엘클레무브 차량에서 도어 록을 활성화시키는 방법 및 시스템
FR3119131A1 (fr) 2021-01-22 2022-07-29 Commissariat A L'energie Atomique Et Aux Energies Alternatives Système et procédé d’estimation de la taille d’un usager d’un siège et un procédé de fabrication d’un tel système
CN113487830A (zh) * 2021-06-25 2021-10-08 东风柳州汽车有限公司 车辆安全预警方法、设备、存储介质及装置
KR102616328B1 (ko) * 2021-12-27 2023-12-21 현대모비스 주식회사 안전벨트 착용 판단 장치 및 방법
CN115134537B (zh) * 2022-01-18 2024-08-06 长城汽车股份有限公司 一种图像处理方法、装置及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0624286A (ja) * 1992-07-10 1994-02-01 Nissan Motor Co Ltd エアバッグ装置
JP2004522932A (ja) * 1999-05-27 2004-07-29 オートモーティブ・テクノロジーズ・インターナショナル，インク． 車両内の物体の存在及び姿勢を識別するシステムを開発する方法
JP2006195571A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、及び撮像装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム，車両内状態検知装置および方法
JP2007240475A (ja) * 2006-03-13 2007-09-20 Nissan Motor Co Ltd 物理量分布検出装置
US20070262574A1 (en) * 1982-06-18 2007-11-15 Intelligent Technologies International, Inc. Optical Monitoring of Vehicle Interiors
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
JP2010203836A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP4390966B2 (ja) 2000-04-19 2009-12-24 株式会社東海理化電機製作所 乗員検知システム
US6904347B1 (en) 2000-06-29 2005-06-07 Trw Inc. Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
DE10063697B4 (de) 2000-12-20 2006-07-13 Siemens Ag Verfahren und Vorrichtung zur Erfassung der Position eines Elements in einem Fahrzeug, insbesondere für Insassenschutzsysteme
GB0200954D0 (en) 2002-01-16 2002-03-06 Autoliv Dev Improvements in or relating to a camera arrangement
DE10227221A1 (de) 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
JP2004144512A (ja) 2002-10-22 2004-05-20 Denso Corp 乗員検知システム
DE10308405A1 (de) 2003-02-27 2004-09-16 Bayerische Motoren Werke Ag Verfahren zur Steuerung einer Airbagzündung
DE102004013598A1 (de) * 2004-03-19 2005-10-06 Robert Bosch Gmbh Vorrichtung zur Einstellung von Sitzkomponenten
US7437229B2 (en) * 2004-08-03 2008-10-14 Mazda Motor Corporation Driving position adjusting device for automotive vehicle
US7320478B2 (en) 2004-10-18 2008-01-22 Ford Global Technologies Llc Smart airbag for vehicular applications
US7283901B2 (en) 2005-01-13 2007-10-16 Trw Automotive U.S. Llc Controller system for a vehicle occupant protection device
US20060186656A1 (en) * 2005-02-22 2006-08-24 Takata Corporation Airbag cushion
KR100630842B1 (ko) 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
JP2008261749A (ja) 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
JP5059551B2 (ja) 2007-10-31 2012-10-24 株式会社デンソー 車両の乗員検出装置
DE102008017835A1 (de) 2008-04-08 2008-10-30 Daimler Ag Multimediasystem für ein Fahrzeug
US20130314536A1 (en) 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8260502B2 (en) 2009-04-22 2012-09-04 Toyota Motor Engineering & Manufacturing North America, Inc. Occupant detection and imaging system
DE102011105247B4 (de) 2010-06-22 2018-05-09 Conti Temic Microelectronic Gmbh Kamerasystem
US9025702B2 (en) * 2011-08-26 2015-05-05 Fujitsu Limited Method and apparatus for implementing slice-level adjustment
KR101371975B1 (ko) * 2011-09-16 2014-03-07 현대자동차주식회사 운전자의 자세 제어 장치
DE102012006356A1 (de) 2012-03-28 2013-10-02 Audi Ag Kraftfahrzeug, umfassend mehrere aktive oder passive Sicherheitsvorrichtungen
KR20140141285A (ko) 2013-05-31 2014-12-10 (주)엠아이웨어 자동차용 탑승자 추적 장치
US20150015706A1 (en) 2013-07-09 2015-01-15 Honda Motor Co., Ltd. Vehicle exterior image capturing device
US20150073652A1 (en) 2013-09-11 2015-03-12 Ford Global Technologies, Llc Energy consumption optimization system
EP3280619B1 (en) 2015-04-10 2019-10-02 Robert Bosch GmbH Detection of occupant size and pose with a vehicle interior camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070262574A1 (en) * 1982-06-18 2007-11-15 Intelligent Technologies International, Inc. Optical Monitoring of Vehicle Interiors
JPH0624286A (ja) * 1992-07-10 1994-02-01 Nissan Motor Co Ltd エアバッグ装置
JP2004522932A (ja) * 1999-05-27 2004-07-29 オートモーティブ・テクノロジーズ・インターナショナル，インク． 車両内の物体の存在及び姿勢を識別するシステムを開発する方法
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
JP2006195571A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、及び撮像装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム，車両内状態検知装置および方法
JP2007240475A (ja) * 2006-03-13 2007-09-20 Nissan Motor Co Ltd 物理量分布検出装置
JP2010203836A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094657A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치
KR102349979B1 (ko) * 2019-01-30 2022-01-12 주식회사 스트라드비젼 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치
WO2020166002A1 (ja) * 2019-02-14 2020-08-20 三菱電機株式会社 搭乗者状態検出装置
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
JPWO2021044566A1 (ja) * 2019-09-05 2021-03-11
JP7134364B2 (ja) 2019-09-05 2022-09-09 三菱電機株式会社 体格判定装置および体格判定方法
US11983952B2 (en) 2019-09-05 2024-05-14 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method
JP2021133728A (ja) * 2020-02-25 2021-09-13 日野自動車株式会社 車両制御装置及び車両制御方法
JP7461756B2 (ja) 2020-02-25 2024-04-04 日野自動車株式会社 車両制御装置及び車両制御方法

Also Published As

Publication number Publication date
US20180065582A1 (en) 2018-03-08
US10829072B2 (en) 2020-11-10
EP3280619A1 (en) 2018-02-14
WO2016164793A1 (en) 2016-10-13
CN107428302B (zh) 2022-05-03
EP3280619B1 (en) 2019-10-02
CN107428302A (zh) 2017-12-01
KR20170135946A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107428302B (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
US10953850B1 (en) Seatbelt detection using computer vision
US11654770B1 (en) Limiting car behavior based on a pre-set driver profile enabled by face recognition
US11713600B1 (en) Child safety lock
KR102117598B1 (ko) 차량 운전 보조 장치 및 차량
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US10956759B1 (en) Age detection in vehicles using computer vision
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
CN111469802A (zh) 座椅安全带状态确定系统和方法
CN107380111B (zh) 用于控制气囊的装置和方法
US11498500B1 (en) Determining comfort settings in vehicles using computer vision
US10423845B2 (en) Remote view system with privacy protection
US20030098909A1 (en) Process for monitoring the internal space of a vehicle, as well as a vehicle with at least one camera within the vehicle cabin
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
US10967824B1 (en) Situational impact mitigation using computer vision
JP2002059796A (ja) カメラ画像に基づいて道路使用者および障害物を検出し、観察者との距離を求めてクラシフィケーションする方法および装置
JP2008261749A (ja) 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
US20150365810A1 (en) Vehicular emergency report apparatus and emergency report system
US10713829B2 (en) Accident report device and accident report method
US8560179B2 (en) Adaptive visual occupant detection and classification system
US11807181B2 (en) Vision-based airbag enablement
CN112989915A (zh) 用于检测自主载具中的异常乘客行为的系统和方法
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
Lee et al. Stereovision-based real-time occupant classification system for advanced airbag systems
JP7412514B1 (ja) キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915