JP2010111367A - Occupant monitoring device - Google Patents
Occupant monitoring device Download PDFInfo
- Publication number
- JP2010111367A JP2010111367A JP2008288096A JP2008288096A JP2010111367A JP 2010111367 A JP2010111367 A JP 2010111367A JP 2008288096 A JP2008288096 A JP 2008288096A JP 2008288096 A JP2008288096 A JP 2008288096A JP 2010111367 A JP2010111367 A JP 2010111367A
- Authority
- JP
- Japan
- Prior art keywords
- light
- occupant
- image
- vehicle
- shadowless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、乗員監視装置に関するものである。 The present invention relates to an occupant monitoring device.
従来、自動車の車室内をカメラで撮影し、カメラで撮影された乗員の画像を用いて自動車の盗難防止装置や安全装備を制御することが行われている。 2. Description of the Related Art Conventionally, an interior of a car is photographed with a camera, and an anti-theft device and safety equipment of the car are controlled using an image of an occupant photographed with the camera.
例えば、特許文献1に開示されたドライバー認証装置では、撮影された運転者の顔画像を予め登録された登録顔画像と照合し、認証に成功すれば、エンジンの作動を許可することで、自動車の盗難を防止している。 For example, in the driver authentication device disclosed in Patent Document 1, a photographed driver's face image is collated with a registered face image registered in advance, and if the authentication is successful, the operation of the engine is permitted. To prevent theft.
また近年、衝突時に乗員を保護するための安全装備としてエアバッグ装置を搭載した自動車が普及しており、側面からの衝突時に乗員を保護するサイドエアバッグを乗降用ドアの内側に搭載したものもあるが、このようなエアバッグの動作を乗員の監視結果に応じて制御することが考えられる。例えば大人に比べて体格の小さい子供が乗車している場合にサイドエアバッグが作動すると、子供の頭部や首の位置でエアバッグが膨張するため、膨張するエアバッグによって子供の頭部や首が圧迫される可能性がある。 In recent years, automobiles equipped with air bag devices as safety equipment for protecting passengers in the event of a collision have become widespread. However, it is conceivable to control the operation of such an airbag according to the monitoring result of the occupant. For example, when a side airbag operates when a child with a small physique is on board with an adult, the airbag expands at the position of the child's head and neck. May be under pressure.
そこで、車室内を撮像して得た画像から乗員の顔画像を抽出し、目や口の大きさやその配置といった情報から子供か大人かを判別して、子供と判別された場合にはその乗車位置に対応するサイドエアバッグの作動を停止することが考えられている。
ところで、上述の特許文献1に開示されたドライバー認証装置では、車室内をCMOSカメラで撮影して得た画像をもとに顔認証を行っているが、周囲の環境光の入射方向が一定しない自動車では影の無い顔画像を撮影するのが難しく、顔画像に影が発生するために、子供か大人かの判別が正しく行えない可能性があった。 By the way, in the driver authentication apparatus disclosed in Patent Document 1 described above, face authentication is performed based on an image obtained by photographing a vehicle interior with a CMOS camera, but the incident direction of ambient ambient light is not constant. In automobiles, it is difficult to capture a face image without a shadow, and shadows are generated in the face image, so there is a possibility that discrimination between a child and an adult cannot be performed correctly.
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、車両の各種装備の制御に利用するために乗員の上半身の無影画像を取得することができる乗員監視装置を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an occupant monitoring apparatus capable of acquiring a shadowless image of an occupant's upper body for use in controlling various equipment of a vehicle. Is to provide.
上記目的を達成するために、請求項1の発明は、車室内の乗車位置における乗員の上半身に向かって不可視光を照射する光源と、当該光源の光出力を変調することによって変調光を照射させる光変調手段と、光源の光に感度を有し、光源の近傍に配置されて、変調光の照射領域を含む撮像領域からの光を受光する撮像手段と、当該撮像手段で受光する光のうちで変調光に対応する反射光成分のみを画素値とする無影画像を生成する無影画像生成手段とを備えたことを特徴とする。 In order to achieve the above object, the invention of claim 1 irradiates modulated light by modulating a light output of the light source that irradiates invisible light toward the upper body of the occupant at the boarding position in the passenger compartment. A light modulation means, an imaging means that is sensitive to the light of the light source and is arranged in the vicinity of the light source, and receives light from an imaging area including an irradiation area of the modulated light; and light received by the imaging means And a shadowless image generating means for generating a shadowless image having only a reflected light component corresponding to the modulated light as a pixel value.
請求項2の発明は、請求項1の発明において、光源、光変調手段、撮像手段、及び無影画像生成手段を収納した装置本体が、光源の光に対して透光性を有する材料により形成されて車室内に設置された後写鏡の背面に取着されたことを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the apparatus main body containing the light source, the light modulating means, the imaging means, and the shadowless image generating means is formed of a material that is transparent to the light of the light source. It is attached to the back of the rearview mirror installed in the passenger compartment.
請求項3の発明は、請求項2の発明において、光源が赤外光を照射するとともに、後写鏡が、可視光を反射し且つ赤外光を透過させるコールドミラーからなることを特徴とする。
The invention of
請求項4の発明は、請求項1乃至3の何れか1つの発明において、撮像手段の撮像領域を、それぞれ別々の乗車位置を含む複数の分割エリアに分割する光学系部品を備えたことを特徴とする。 According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, an optical system component that divides the imaging region of the imaging unit into a plurality of divided areas each including different boarding positions is provided. And
請求項5の発明は、請求項1乃至3の何れか1つの発明において、撮像手段の撮像領域を、車室内部の車内エリアと車室外部の車外エリアとに分割する光学系部品を備えたことを特徴とする。 According to a fifth aspect of the present invention, in any one of the first to third aspects of the present invention, an optical system component is provided that divides the imaging area of the imaging means into an interior area inside the vehicle interior and an exterior area outside the interior of the vehicle interior. It is characterized by that.
請求項6の発明は、請求項5の発明において、無影画像作成手段は、車内エリアから受光した光のみに無影画像を生成する処理を行い、車内エリアの無影画像と、無影画像を生成する処理を行っていない車外エリアの画像の両方を出力することを特徴とする。ここにおいて、無影画像作成手段が、車内エリアの無影画像と車外エリアの画像を出力する場合、1枚の画面内に車内エリアの無影画像と車外エリアの画像を表示してもよいし、別々の画面に車内エリアの無影画像と車外エリアの画像を表示してもよい。 According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the shadowless image creating means performs a process of generating a shadowless image only on the light received from the vehicle interior area. Both of the images of the area outside the vehicle that have not been subjected to the process of generating are output. Here, when the shadow image creating means outputs a shadow image of the vehicle interior area and an image of the vehicle exterior area, the shadow image of the vehicle interior area and the image of the vehicle exterior area may be displayed on one screen. In addition, the shadowless image of the vehicle interior area and the image of the vehicle exterior area may be displayed on separate screens.
請求項7の発明は、請求項1乃至6の何れか1つの発明において、時間をおいて撮像された複数枚の無影画像を比較することによって乗車位置に着座する乗員の有無を判別する乗車判別手段と、乗車判別手段により乗員が着座していると判断された場合、着座している乗員を撮像した無影画像から当該乗員の体格に関する体格情報を取得する体格情報取得手段とを備えたことを特徴とする。 A seventh aspect of the present invention is the vehicle according to any one of the first to sixth aspects, wherein the presence / absence of a passenger seated at the boarding position is determined by comparing a plurality of shadowless images captured with time. And a physique information acquisition unit that acquires physique information relating to the physique of the occupant from a shadow image obtained by imaging the occupant seated when the occupant is determined to be seated by the discrimination means It is characterized by that.
請求項8の発明は、請求項7の発明において、乗車判別手段は、車両の乗降用ドアが開いてから走行状態に至るまでの乗車判別期間に撮像された無影画像から乗員の有無を判別するとともに、体格情報取得手段は、乗車判別期間に撮像された無影画像から乗員の体格情報を取得することを特徴とする。
The invention according to
請求項1の発明によれば、光変調手段が光源の光出力を変調することによって、変調光を乗車位置における乗員の上半身に向かって照射させており、無影画像生成手段では、撮像手段が受光する光のうちで変調光に対応する反射光成分のみを画素値とする無影画像を生成しているので、環境光の入射する方向が一定しない車両内部でも乗員の上半身の無影画像を取得することができる。したがって、乗員の上半身の無影画像を、様々な体格の人物のテンプレート画像と比較することで、乗員の体格情報を取得することができ、取得した体格情報を車両の装備の制御に利用できるという効果がある。 According to the first aspect of the present invention, the light modulation means modulates the light output of the light source to irradiate the modulated light toward the upper body of the passenger at the boarding position. Since a shadowless image is generated using only the reflected light component corresponding to the modulated light in the received light as the pixel value, a shadowless image of the upper body of the occupant can be obtained even inside the vehicle where the direction of incident ambient light is not constant. Can be acquired. Therefore, it is possible to acquire the physique information of the occupant by comparing the shadowless image of the upper body of the occupant with the template images of persons of various physiques, and the acquired physique information can be used for controlling the equipment of the vehicle. effective.
請求項2の発明によれば、後写鏡が光源の光に対して透光性を有しているので、後写鏡を通して変調光を車室内部に照射させるとともに、車室内部で反射された変調光の反射光を含む光が後写鏡を通して撮像手段に入射されるから、後写鏡の裏側という目立たない場所に乗員監視装置を設置して使用することができる。
According to the invention of
請求項3の発明によれば、車両前方からフロントガラスを通して後写鏡の背面に入射した可視光を、後写鏡の背面で反射させて撮像手段に入射させることができ、1つの撮像手段で、車室内部の映像と車両前方の映像とを撮影することができる。したがって、撮像手段で撮像された車両前方の映像を記憶させておけば、乗員監視装置にドライブレコーダの機能を付加することができる。
According to the invention of
請求項4の発明によれば、光学系部品により分割された複数の分割エリアの画像をもとに、各分割エリアに対応した乗車位置に乗車する人物の状態を監視することができる。 According to the invention of claim 4, based on images of a plurality of divided areas divided by the optical system parts, it is possible to monitor the state of a person who gets on the boarding position corresponding to each divided area.
請求項5の発明によれば、光学系部品で撮像領域を分割することによって、車内エリアと車外エリアの両方を撮像することができ、車内エリアの画像から乗員の状態を監視でき、また車外エリアの画像を記憶することで、乗員監視装置にドライブレコーダの機能を付加することができる。
According to the invention of
請求項6の発明によれば、車外エリアの画像には無性画像を生成する処理が不要であるので、差分画像生成手段が、車内エリアから受光した光のみに無影画像を生成する処理を行うことで、差分画像生成手段の処理を低減することができる。 According to the sixth aspect of the present invention, since the process of generating an asexual image is unnecessary for the image in the outside area, the difference image generating means performs the process of generating a shadowless image only for the light received from the in-vehicle area. By doing so, the processing of the difference image generation means can be reduced.
請求項7の発明によれば、乗車判別手段が、時間をおいて撮像された複数枚の無影画像を比較することによって乗員の有無を判別し、乗員有りと判断した場合は体格情報取得手段が無影画像から体格情報を取得しているので、乗員の体格に合わせて車両の装備を制御することができる。例えば座席の位置や背もたれの角度などを電動で調整可能な場合は乗員の体格情報をもとに座席の位置や角度を調整することができ、また体格情報から子供など体格の小さい人物が乗車していると判断された場合にはサイドエアバッグ装置の作動を停止したり、エアバッグの展開速度を遅くすることで、エアバッグの展開によって体格の小さい乗員が受ける圧力を低減することができる。
According to the invention of
請求項8の発明によれば、走行開始後は新たに乗員が乗り込んでくることはないから、車両の乗降用ドアが開いてから走行状態に至るまでの乗車判別期間に撮影された無影画像をもとに、乗車判別手段が乗員の有無を判別し、体格情報取得手段が体格情報を取得することで、乗車判別期間以外では光源の発光を停止させて省電力を図ることができる。
According to the invention of
以下に本発明の実施の形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は乗員監視装置Aのブロック図であり、この乗員監視装置Aは、車室内の乗車位置における乗員の上半身に向かって不可視光(例えば赤外光)を照射する発光ダイオード1と、発光ダイオード1の光出力を例えば10MHz程度の高周波で変調することによって高速の変調光を照明領域に照射させる光変調部2と、狭角レンズからなり車室内部の所望の乗車位置(例えば運転席)に発光ダイオード1からの赤外光を配光する投光レンズ3と、車室内部の略全体を視野に収める広角レンズからなり、撮像領域からの光(発光ダイオード1から照射され車室内部の物体で反射された光および環境光)を後述のカメラ5に結像する受光レンズ4と、赤外光に感度を有するCCD(電荷結合素子)のような撮像素子を具備し発光ダイオード1の近傍に配置されて変調光の照射領域を含む撮像領域からの光を受光するカメラ5(撮像手段)と、カメラ5により撮像された映像を記憶する画像記憶部10と、光変調部2から入力される変調のタイミング信号をもとに、カメラ5で受光した光から環境光を排除し、変調光に対応する反射光成分のみを画素値とする無影画像を生成する無影画像生成部6と、乗員監視装置Aを構成する各部の動作を全体的に制御するとともに、無影画像生成部6により生成された乗員の上半身の無影画像から、体格に関する体格情報を含む乗員情報を取得し、当該乗員情報に応じて車両に搭載された各種装備を制御する制御命令を作成する演算処理部7と、演算処理部7により作成された制御命令をECU(electronic control unit)と呼ばれる車両制御用コンピュータ9へ出力する出力部8とを備えている。尚、図1では図示を省略しているが、無影画像生成部6により生成された乗員の無影画像を表示するモニタを備えてもよい。
FIG. 1 is a block diagram of an occupant monitoring device A. The occupant monitoring device A includes a light emitting diode 1 that emits invisible light (for example, infrared light) toward the upper body of the occupant at a boarding position in a passenger compartment, and a light emitting diode. A
発光ダイオード1は、乗車位置に着座する乗員の上半身に対し正面から赤外光を照射可能な位置に配置されているので、乗員の上半身がカメラ5に正対していれば、変調光成分のみの画像を作成することで、乗員の上半身の無影画像を取得することができる。尚、本実施形態では光源として赤外発光ダイオードを用いているが、可視光以外の不可視光を照射可能で、その光出力を高周波で変調可能な光源であれば、どのような光源を用いてもよい。
Since the light emitting diode 1 is disposed at a position where infrared light can be irradiated from the front to the upper body of the occupant seated at the boarding position, if the upper body of the occupant faces the
無影画像生成部6は、光変調部2からのタイミング信号に基づき、発光ダイオード1の発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理(以下、同期検波処理と言う。)を行い、同期検波処理で取り出される反射光成分を画素値とする画像を生成しており、乗員の上半身に対して赤外光が正面から照射されることから、乗員の上半身の無影画像を取得することができる。
Based on the timing signal from the
図2(a)(b)は乗員監視装置Aの取付位置を示し、図1に示す各構成要素を収納した装置本体11は、車室内に設置された後写鏡(所謂ルームミラー)21の背面側に適宜の取付手段(図示せず)を介して配置されている。後写鏡21は所謂コールドミラーからなり、発光ダイオード1から照射される赤外光を透過し、且つ、可視光を反射する材料で形成されている。図3は後写鏡21の光学特性を示しており、波長が700nm以下の可視光を含む電磁波は略反射し、赤外光に対しては80%以上透過する。後写鏡21は前面を運転席側に向けて配置されているので、図4(a)に示すように発光ダイオード1からの変調光は投光レンズ3によって配光され、後写鏡21を通して運転席に照射されるとともに、運転席を含む撮像領域らの光(すなわち照明範囲に存在する対象物体で反射された変調光及び環境光を含む)が後写鏡21を通して受光レンズ4に入射され、カメラ5に集光される。また、車両前方よりフロントガラス22を通して後写鏡21の背面に入射した可視光は、後写鏡21の背面で反射されてカメラ5に入射する。
2A and 2B show the mounting positions of the occupant monitoring device A, and the device
而して、投光レンズ3及び後写鏡21からなる光学系部品によって、カメラ5の撮像領域が、車室内部の運転席ST1付近を撮影する車内エリアA1と、車室外部の前方視界を撮影する車外エリアA2とに分割されることになり、車内エリアA1と車外エリアA2の両方を撮像することができる。図4(b)はカメラ5で撮影される画像を示し、画像の上半分が運転席ST1を含む車内エリアA1の画像、下半分が車外エリアA2の画像となっている。したがって、乗員監視装置Aでは車内エリアA1の画像から運転手の上半身の画像を取得でき、例えば運転手の上半身の輪郭画像を、様々な体格の人物のテンプレート画像と比較することで、運転手の体格情報を取得することができる。また乗員監視装置Aでは、車外エリアA2(車両の前方方向)の画像を画像記憶部10に所定時間分記憶させることで、乗員監視装置Aにドライブレコーダの機能を付加することができる。ここで、無影画像生成部6は、車内エリアから受光した光のみに無影画像を生成する処理を行い、車内エリアの無影画像と、無影画像を生成する処理を行っていない車外エリアの画像の両方を出力しており、車外エリアの画像には無性画像を生成する処理が不要であるので、差分画像生成手段が、車内エリアから受光した光のみに無影画像を生成する処理を行うことで、差分画像生成手段の処理を低減することができる。尚、無影画像作成部6が、車内エリアの無影画像と車外エリアの画像を出力する場合、1枚の画面内に車内エリアの無影画像と車外エリアの画像を表示してもよいし、別々の画面に車内エリアの無影画像と車外エリアの画像を表示してもよい。例えばモニタ(図示せず)に画像を表示する際に、モニタ画面を複数に分割して、車内エリアの無影画像と車外エリアの画像を表示してもよいし、モニタ画面の切替操作に応じて、車内エリアの無影画像を表示する状態と、車外エリアの画像を表示する状態とを切り替えてもよい。
Thus, due to the optical system parts including the
また後写鏡21が、可視光を反射し且つ赤外光を透過させるコールドミラーで構成されているので、乗員監視装置Aの装置本体11を後写鏡21の裏側に設置して、車内エリアと車外エリアの両方を撮影することができ、乗員監視装置Aの装置本体11を、後写鏡21の裏側という目立たない場所に設置して使用することができる。
Further, since the
次に、図5を参照して乗員監視装置Aの動作を説明する。乗員監視装置Aを搭載した車両のドアロックが解除されると(図5のS1)、車両制御用コンピュータ9が、ドアロックの解錠操作に応じて、バッテリ(図示せず)から乗員監視装置Aに動作電源を供給させ、乗員監視装置Aが通常モードで監視動作を開始する(図5のS2)。
Next, the operation of the occupant monitoring device A will be described with reference to FIG. When the door lock of the vehicle on which the occupant monitoring device A is mounted is released (S1 in FIG. 5), the
通常モードで動作中は、所定の撮像周期が経過する毎に、光変調部2が発光ダイオード1の光出力を変調して変調光を照射させるとともに、撮像領域内の対象物体で反射された変調光の反射光を含む光が受光レンズ4を介してカメラ5に集光され、無影画像生成部6が、光変調部2から入力されるタイミング信号に基づいて、変調光に対応する反射光成分のみを画素値とする運転席S1付近の無影画像を生成する。画像記憶部10には、乗員が乗車していない状態で車内エリアを撮影して得た背景画像が予め記憶されており、差分画像生成手段たる演算処理部7では、無影画像生成部6により生成された車内エリアの無影画像と、画像記憶部10に記憶された背景画像との差分をとることで、背景以外の物体、すなわち乗車位置に乗車する乗員の上半身の無影画像を取得して、画像記憶部10に記憶させる。
During operation in the normal mode, every time a predetermined imaging period elapses, the
演算処理部7では、無影画像生成部6が無影画像を生成する毎に、車両の速度がゼロか否かを判定しており(図5のS3)、車速がゼロであれば、ステップS2に戻って上記の処理を継続して実行する。またステップS3において車速がゼロでないと判定されると、演算処理部7では、画像記憶部10に記憶された最新の無影画像をもとに、運転席ST1に座っている人物(運転手)がシートベルトを装着しているか否かの判定を行う(図5のS4)。
The
ステップS4の判定の結果、運転手がシートベルトを装着していると判断されると、演算処理部7は、最新の無影画像を基準画像として画像記憶部10に記憶させた後、発光ダイオード1の点灯を休止する省電力モードに動作を切り替える(図5のS6)。一方、ステップS4の判定の結果、運転手がシートベルトを装着していないと判断されると、ステップS2に戻って、上述の処理を繰り返し実行するとともに、出力部8から報知命令を出力させ、車両制御用コンピュータ9により音声や報知音でシートベルトの装着を促す報知動作を行わせる。なお省電力モードでは発光ダイオード1の点灯を休止させることで省電力を図っているが、演算処理部7は、上記撮像間隔よりも長い一定周期で、発光ダイオード1から変調光を照射させるとともに、カメラ5の出力から変調光に対応する反射光成分のみを画素値とする無影画像を生成するようにしてもよく、定期的に乗員の無影画像を取得することができる。また省電力モードにおいても、カメラ5の出力に変化があると、演算処理部7は、発光ダイオード1から変調光を照射させるとともに、カメラ5の出力から変調光に対応する反射光成分のみを画素値とする無影画像を生成しており、乗員の動きがあった場合にはその時の無影画像を取得することができる。
As a result of the determination in step S4, if it is determined that the driver is wearing the seat belt, the
上述のように本実施形態の乗員監視装置Aでは、発光ダイオード1からの赤外光を投光レンズ3が乗車位置における乗員(例えば運転手)の上半身に配光し、光変調部2が発光ダイオード1の光出力を変調することによって変調光を乗員の上半身に向かって正面から照射させており、無影画像生成部6では、カメラ5が受光する光のうちで変調光に対応する反射光成分のみを画素値とする無影画像を生成しているので、環境光の入射する方向が一定しない車両内部でも影の無い上半身の画像を取得することができる。したがって、乗員監視装置Aの演算処理部7では、無影画像生成部6の取得した乗員の上半身を映した無影画像を用い、体格が異なる複数のテンプレート画像とのマッチング処理を行うことで、乗員の体格情報を取得することができ、認証結果を車両が搭載する装備の制御に利用することができる。
As described above, in the occupant monitoring apparatus A of the present embodiment, the
ところで、上述の乗員監視装置Aでは、発光ダイオード1の配光を制御する狭角の投光レンズ3と、車室内部からの光を透過して受光レンズ4に入射させるとともに車両前方からの光を反射して受光レンズ4に入射させる後写鏡21とからなる光学系部品によって、カメラ5の撮像領域を車内エリアと車外エリアとに分割しているが、光学系部品やカメラ5の構成及び配置は上記の形態に限定される趣旨のものではなく、撮影したい乗車位置にに合わせて光学系部品やカメラ5の構成及び配置を決定すればよい。
By the way, in the above-mentioned occupant monitoring device A, the light from the front of the vehicle is transmitted through the narrow-angle
例えば図6〜図8はカメラ5の撮像領域を複数の分割エリアに分割する形態を示し、図6は車両を上方から見た図であり、車室23において前方位置の左右方向略中央に乗員監視装置Aを配置して、発光ダイオード1からの赤外変調光を広角レンズからなる投光レンズ3により車室23の全体に照射させている。なお図6中のCは発光ダイオード1による照明範囲を示している。そして、図7及び図8に示すように、カメラ5が備える撮像素子5aの前方には、カメラ5の撮像領域を複数の分割エリア、すなわち運転席ST1を含む分割エリアD1と、助手席ST2を含む分割エリアD2と、後部座席ST3,ST4,ST5を含む分割エリアD3とにそれぞれ分割する受光レンズ4a,4b,4cを配置してあり、図9に示すように各分割エリアD1,D2,D3に対応した画像A1,A2,A3を得ることができる。したがって、乗員監視装置Aでは、各分割エリアD1,D2,D3を撮像した画像A1,A2,A3をもとに、各分割エリアD1,D2,D3に対応した乗車位置に乗車する人物の上半身の画像を取得することができ、取得した画像をもとに乗員の体格情報を取得したり、乗員の状態を監視することができる。したがって、後部座席に乗車している乗員の状態を計器板に表示させることで、運転席に後部座席の乗員の様子を知らせることができ、また走行中に定期的に撮像された画像をもとに演算処理部7が乗員の様子を判断し、後部座席に乗車している乗員が目を閉じ、その動きが所定量以下となっている場合には、この乗員が寝ていると判断し、計器板に乗員が寝ていることを報知するようにしてもよい。
For example, FIGS. 6 to 8 show a form in which the imaging area of the
また図10に示すように発光ダイオード1及びカメラ5を前方に向けた状態で乗員監視装置Aを車室内に設置するとともに、各乗車位置(運転席ST1、助手席ST2及び後部座席ST3〜ST5)に赤外光を照射するレンズ3a〜3eを配置し、さらに発光ダイオード1及びカメラ5の前方に反射鏡12a〜12cを配置して、レンズ3a〜3e及び反射鏡12a〜12cからなる光学系部品によってカメラ5の撮像領域を複数の分割エリアに分割するようにしてもよい。反射鏡12aは、発光ダイオード1からの赤外変調光を反射して運転席ST1に対応したレンズ3aに入射させるとともに、運転席ST1付近からの入射光を反射して受光レンズ4に入射させる。反射鏡12bは、発光ダイオード1からの赤外変調光を反射して助手席ST2に対応したレンズ3bに入射させるとともに、助手席ST2付近からの光を反射して受光レンズ4に入射させる。また反射鏡12cは、発光ダイオード1からの赤外変調光を反射して後部座席ST3〜ST5に対応したレンズ3c〜3eに入射させるとともに、後部座席ST3〜ST5付近からの光を反射して受光レンズ4に入射させる。而して、レンズ3a〜3e及び反射鏡12a〜12cからなる光学系部品によって、カメラ5の撮像領域を複数の分割エリアに分割することができ、図9に示すように運転席ST1を含む分割エリアD1の画像A1と、助手席ST2を含む分割エリアD2の画像A2と、後部座席ST3〜ST5を含む分割エリアD3の画像A3を取得することができる。
In addition, as shown in FIG. 10, the occupant monitoring device A is installed in the passenger compartment with the light-emitting diode 1 and the
また図11に示すように発光ダイオード1及びカメラ5を前方に向けた状態で乗員監視装置Aを車室内に設置するとともに、各乗車位置(運転席ST1及び助手席ST2)に赤外光を照射するレンズ3a,3bを配置し、さらに発光ダイオード1及びカメラ5の前方に反射鏡13a,13bを配置して、レンズ3a,3b及び反射鏡13a,13bからなる光学系部品によってカメラ5の撮像領域を車内エリアと車外エリアとに分割してもよい。反射鏡13aは、発光ダイオード1からの赤外変調光を反射して運転席ST1に対応したレンズ3aに入射させるとともに、運転席ST1付近からの入射光を反射して受光レンズ4に入射させる。反射鏡13bは、発光ダイオード1からの赤外変調光を反射して助手席ST2に対応したレンズ3bに入射させるとともに、助手席ST2付近からの光を反射して受光レンズ4に入射させる。また車両前方からフロントガラス22を通して車室内に入射した光は、反射鏡13a,13bの間を通って受光レンズ4に入射する。而して、カメラ5の撮像領域を複数の分割エリアに分割することができ、図12に示すように運転席ST1及び助手席ST2を含む車内エリアの画像A1と、車両前方の車外エリアの画像A2を取得することができるので、これらの画像A1,A2をもとに運転席ST1及び助手席ST2に着座する乗員の状態を監視するとともに、車両前方の画像を画像記憶部10に記憶させることで車両の運転状況を記録することができる。
In addition, as shown in FIG. 11, the occupant monitoring device A is installed in the passenger compartment with the light-emitting diode 1 and the
以上説明したように乗員監視装置Aでは、光学系部品を用いることによって、所望の乗車位置を含む撮像領域の無影画像を取得することができ、乗員が乗車していない状態で車内エリアを撮影して得た背景画像を画像記憶部10(背景画像記憶手段)に予め記憶させておき、差分画像生成手段としての演算処理部7が、無影画像生成部6で生成された無影画像と、画像記憶部10に予め記憶された背景画像との差分画像を生成することによって、背景以外の物体、すなわち車室23内部に乗り込んだ乗員の画像を取得することができる。
As described above, in the occupant monitoring apparatus A, by using the optical system parts, a shadow image of the imaging region including the desired boarding position can be acquired, and the in-vehicle area is photographed in a state where the occupant is not in the occupant. The background image obtained in this manner is stored in advance in the image storage unit 10 (background image storage unit), and the
また上述の形態では、無影画像生成部6が取得した無影画像と背景画像との差分画像を生成することで乗員の無影画像を作成しているが、乗車判別手段たる演算処理部7が、無影画像生成部6により時間をおいて生成された複数枚の無影画像を比較することによって乗員の有無を判別するようにしてもよく、乗員が着座していると判断された場合、体格情報取得手段たる演算処理部7が、着座している乗員を撮像した無影画像と、体格の異なる複数の人物のテンプレート画像とを比較することによって、当該乗員の体格に関する体格情報を取得することができ、乗員の体格に合わせて車両の装備を制御することができる。例えば座席の位置や背もたれの角度などを電動で調整可能な場合は乗員の体格情報をもとに座席の位置や角度を調整することができ、また図13(a)に示すように体格情報から子供など体格の小さい人物Hが乗車していると判断された場合には、演算処理部7が、サイドエアバッグ装置の作動を停止させたり、エアバッグの展開速度を遅くする制御命令を出力部8から車両制御用コンピュータ9に出力させることで、サイドエアバッグ装置の動作を停止させたり、エアバッグの展開速度を遅くすることができ、エアバッグの展開によって体格の小さい乗員が受ける圧力を低減することができる。
In the above-described embodiment, the shadowless image of the occupant is created by generating a difference image between the shadowless image acquired by the shadowless
また図13(b)に示すように無影画像をもとにチャイルドシートCSが設置されていると判断した場合、演算処理部7が、サイドエアバッグ装置の動作を禁止する命令を出力部8から車両制御用コンピュータ9に出力させるようにしてもよく、サイドエアバッグ装置の動作を禁止することで、チャイルドシートCSに座っている乳幼児が展開したエアバッグに押されて圧力を受けるのを防止できる。
When it is determined that the child seat CS is installed based on the shadowless image as shown in FIG. 13B, the
なお乗車判別手段たる演算処理部7では、車両の乗降用ドアが開いてから走行状態に至るまでの乗車判別期間に撮影された無影画像をもとに乗員の有無を判別するとともに、体格情報取得手段たる演算処理部7が、上記乗車判別期間に撮像された無影画像から乗員の体格情報を取得すればよく、走行開始後は新たに乗員が乗り込んでくることはないから、上記乗車判別期間に撮影された無影画像から、乗車判別手段が乗員の有無を判別し、体格情報取得手段が体格情報を取得することで、乗車判別期間以外では光源の発光を停止させて省電力を図ることができる。
The
A 乗員監視装置
1 発光ダイオード(光源)
2 光変調部(光変調手段)
3 投光レンズ
4 受光レンズ
5 カメラ(撮像手段)
6 無影画像生成部(無影画像生成手段)
7 演算処理部
8 出力部
9 車両制御用コンピュータ
A Crew monitoring device 1 Light emitting diode (light source)
2 Light modulation part (light modulation means)
3 Projecting lens 4
6 Shadowless image generating unit (shadowless image generating means)
7
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008288096A JP5368771B2 (en) | 2008-11-10 | 2008-11-10 | Crew monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008288096A JP5368771B2 (en) | 2008-11-10 | 2008-11-10 | Crew monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010111367A true JP2010111367A (en) | 2010-05-20 |
JP5368771B2 JP5368771B2 (en) | 2013-12-18 |
Family
ID=42300279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008288096A Expired - Fee Related JP5368771B2 (en) | 2008-11-10 | 2008-11-10 | Crew monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5368771B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3170699A4 (en) * | 2014-07-14 | 2017-05-24 | Panasonic Intellectual Property Management Co., Ltd. | Electron mirror device |
JP2018034636A (en) * | 2016-08-31 | 2018-03-08 | アイシン・エィ・ダブリュ株式会社 | Vehicle state notification system and vehicle state notification program |
WO2018221241A1 (en) | 2017-05-31 | 2018-12-06 | Sony Semiconductor Solutions Corporation | Distance measurement system |
JP2019202726A (en) * | 2018-05-25 | 2019-11-28 | 株式会社Subaru | Occupant monitoring apparatus for vehicle |
KR20200011929A (en) | 2017-05-31 | 2020-02-04 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Distance measurement systems |
CN111684313A (en) * | 2018-02-06 | 2020-09-18 | 三美电机株式会社 | Camera and occupant detection system |
JP2020175790A (en) * | 2019-04-19 | 2020-10-29 | 矢崎総業株式会社 | Audio control system and audio control method |
JP2022132278A (en) * | 2018-04-12 | 2022-09-08 | 株式会社Jvcケンウッド | Video control device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1093856A (en) * | 1996-08-07 | 1998-04-10 | Hewlett Packard Co <Hp> | Solid-state image pickup device |
JP2002316580A (en) * | 2001-04-24 | 2002-10-29 | Murakami Corp | Mirror device with built-in camera |
JP2005303792A (en) * | 2004-04-14 | 2005-10-27 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery monitoring system |
JP2007038790A (en) * | 2005-08-02 | 2007-02-15 | Murakami Corp | Mirror surface angle adjusting method and device for vehicle mirror |
JP2007050749A (en) * | 2005-08-17 | 2007-03-01 | Ichikoh Ind Ltd | Automobile periphery monitoring device |
JP2007198929A (en) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | In-vehicle situation detection system, in-vehicle situation detector, and in-vehicle situation detection method |
JP2007253705A (en) * | 2006-03-22 | 2007-10-04 | Mazda Motor Corp | Imaging device for vehicle |
JP2008241435A (en) * | 2007-03-27 | 2008-10-09 | Stanley Electric Co Ltd | Distance image generation device |
-
2008
- 2008-11-10 JP JP2008288096A patent/JP5368771B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1093856A (en) * | 1996-08-07 | 1998-04-10 | Hewlett Packard Co <Hp> | Solid-state image pickup device |
JP2002316580A (en) * | 2001-04-24 | 2002-10-29 | Murakami Corp | Mirror device with built-in camera |
JP2005303792A (en) * | 2004-04-14 | 2005-10-27 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery monitoring system |
JP2007038790A (en) * | 2005-08-02 | 2007-02-15 | Murakami Corp | Mirror surface angle adjusting method and device for vehicle mirror |
JP2007050749A (en) * | 2005-08-17 | 2007-03-01 | Ichikoh Ind Ltd | Automobile periphery monitoring device |
JP2007198929A (en) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | In-vehicle situation detection system, in-vehicle situation detector, and in-vehicle situation detection method |
JP2007253705A (en) * | 2006-03-22 | 2007-10-04 | Mazda Motor Corp | Imaging device for vehicle |
JP2008241435A (en) * | 2007-03-27 | 2008-10-09 | Stanley Electric Co Ltd | Distance image generation device |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3170699A4 (en) * | 2014-07-14 | 2017-05-24 | Panasonic Intellectual Property Management Co., Ltd. | Electron mirror device |
JP2018034636A (en) * | 2016-08-31 | 2018-03-08 | アイシン・エィ・ダブリュ株式会社 | Vehicle state notification system and vehicle state notification program |
WO2018221241A1 (en) | 2017-05-31 | 2018-12-06 | Sony Semiconductor Solutions Corporation | Distance measurement system |
KR20200011929A (en) | 2017-05-31 | 2020-02-04 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Distance measurement systems |
CN111684313A (en) * | 2018-02-06 | 2020-09-18 | 三美电机株式会社 | Camera and occupant detection system |
JP2022132278A (en) * | 2018-04-12 | 2022-09-08 | 株式会社Jvcケンウッド | Video control device |
JP7472936B2 (en) | 2018-04-12 | 2024-04-23 | 株式会社Jvcケンウッド | Video control device |
JP2019202726A (en) * | 2018-05-25 | 2019-11-28 | 株式会社Subaru | Occupant monitoring apparatus for vehicle |
JP7211673B2 (en) | 2018-05-25 | 2023-01-24 | 株式会社Subaru | vehicle occupant monitoring device |
JP2020175790A (en) * | 2019-04-19 | 2020-10-29 | 矢崎総業株式会社 | Audio control system and audio control method |
JP7031998B2 (en) | 2019-04-19 | 2022-03-08 | 矢崎総業株式会社 | Audio control system and audio control method |
Also Published As
Publication number | Publication date |
---|---|
JP5368771B2 (en) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5368771B2 (en) | Crew monitoring device | |
US20080048887A1 (en) | Vehicle occupant detection system | |
JP4025643B2 (en) | Application of human facial feature recognition to car safety | |
JP4589600B2 (en) | Application of human facial feature recognition to vehicle safety and convenience | |
JP4623501B2 (en) | Detection system, notification device, drive device, vehicle | |
JP2006252138A (en) | Apparatus for photographing driver and apparatus for monitoring driver | |
JP4438753B2 (en) | In-vehicle state detection system, in-vehicle state detection device and method | |
JP2004058799A (en) | On-vehicle passenger photographing device | |
JP2006248363A (en) | Driver lighting system, driver photographing device and driver monitoring device | |
JP2008129948A (en) | Occupant detection device, actuator control system, seat belt system, vehicle | |
JP2006248365A (en) | Back monitoring mirror of movement body, driver photographing device, driver monitoring device and safety driving support device | |
JP2013045317A (en) | Face image detector | |
JP2002316580A (en) | Mirror device with built-in camera | |
CN110949301B (en) | Occupant monitoring device and occupant protection system for vehicle | |
JP4847394B2 (en) | Vehicle interior imaging device | |
JP2006193120A (en) | Lighting system for vehicle, and vehicle control device | |
JP4419609B2 (en) | In-vehicle camera system | |
JP2007168570A (en) | Controller of vehicle-mounted camera | |
JP2010195139A (en) | Occupant restraint control device and occupant restraint control method | |
JP2013252863A (en) | Occupant restriction control device and occupant restriction control method | |
US20130120574A1 (en) | State monitor apparatus | |
CN110949303A (en) | Occupant monitoring device and occupant protection system for vehicle | |
JP2006096316A (en) | Monitoring device | |
US20040252993A1 (en) | Camera built-in mirror equipment | |
JP4193001B1 (en) | Vehicle security system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110824 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130913 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |