JP2015108941A

JP2015108941A - 車両用の画像認識装置

Info

Publication number: JP2015108941A
Application number: JP2013251091A
Authority: JP
Inventors: 洋介酒井; Yosuke Sakai
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-12-04
Filing date: 2013-12-04
Publication date: 2015-06-11

Abstract

【課題】走行中に段差や悪路を走行した場合であっても乗員の顔がトラッキング領域から外れることなく、顔認識し続けられる画像認識装置を提供する。【解決手段】Ｓ１２０にて重心位置の移動量を算出する。Ｓ１６０にて直近に求められた２つの重心位置に基づき、移動量を算出する。Ｓ１３０では、求められた移動量から、次フレームでの重心位置の予測を行い、Ｓ１４０では、予測された重心位置をシート位置検出センサにて求められた移動量に基づき補正する。Ｓ１５０では、補正された重心位置を中心にして高輝度領域が含まれるようトラッキング領域を設定する。【選択図】図３

Description

本発明は、車両用の乗員の顔を認識するのに好適な画像認識装置に関するものである。

特許文献１では、カメラにより撮像された全体画像から運転者の顔の部分（目、鼻、口等の顔部品）を認識し、各部分をトラッキング領域として複数設定することで顔認識する技術が開示されている。さらに、この文献では、運転者が進行方向の右側を見ようとしていることにより、トラッキング領域が進行方向に対して右側に所定の距離だけ移動しようとしている場合、カメラは、所定時間後のトラッキング領域を現在の位置より進行方向の右側に予測する技術も開示されている。

特開２０１０−１７１７７７号公報

しかしながら、走行中に段差や悪路を走行した場合には、予測されたトラッキング領域から運転者の顔部品が外れる虞がある。このように、予測されたトラッキング領域から顔部品が外れた場合には、再度カメラにより撮像された全体画像からトラッキング領域を設定する必要がある。その結果、顔を認識するまでに時間がかかり、リアルタイムに顔認識ができなくなる。

そこで、本発明は、画像認識の対象物の位置が急に変化した場合でも対象物がトラッキング領域から外れることがなく、認識対象物を認識し続けられる車両用の画像認識装置を提供する。

上記課題を解決するためになされた本発明では、撮像手段にて撮像された画像の中で、認識対象物が含まれるように絞り込んだ一部の領域をトラッキング領域として設定する画像解析手段と、認識対象物の位置の変化を検出する移動検出手段と、画像解析手段にて設定されたトラッキング領域の位置を、移動検出手段にて検出された位置の変化に基づいて補正する補正手段とを備え、補正手段にて補正されたトラッキング領域に基づき、認識対象物を画像認識する。

このように構成された本発明によれば、走行中に段差や悪路を走行した場合であっても、認識対象物がトラッキング領域から外れることがなくなり、処理速度を速め、リアルタイムに認識対象物を検出することができる。

（ａ）車両用の画像認識装置の構成ブロック図（ｂ）シート位置検出センサの概念図画像解析処理の概要を示す概念図画像解析処理のフローチャート

以下、本発明の車両用の画像認識装置の一実施形態を図面に基づいて説明する。

［第１実施形態］
図１（ａ）は、本発明の第１実施形態における車両用の画像認識装置の構成ブロック図である。

この車両用の画像認識装置は、車両に搭載されており、乗員の顔５０を撮像するカメラ１０と、カメラ１０にて撮像された画像を解析処理する画像処理部２０と、シート位置検出センサ３０とを備えている。

カメラ１０は、図示しないライトによって光が照射された乗員の顔５０を撮像し、画像処理部２０へ撮像データを出力する。このカメラ１０は、運転者の居眠りを検知するために、瞬きの瞬間が撮像できるよう約３０フレーム／秒の撮像周期で顔を撮像する。

また、シート位置検出センサ３０は、段差や悪路等の走行に伴い生じるシート４０の座面の上下動の移動量を検出し、画像処理部２０へ出力する。

次にシート位置検出センサ３０にてシート４０の上下動の移動量を検出する方法について、図１（ｂ）を用いて説明する。図１（ｂ）は、図１（ａ）のシート４０の断面Ａ−Ａ矢視図を示すものである。シート４０には、クッション用スプリング６０が配設されていると共にシート４０の座面反対側にシート位置検出センサ３０をなす超音波センサが配設されている。

この超音波センサは、シート４０の座面の裏地部へ向けて超音波を発信し（出射波）、上記裏地部からの反射波を受信し、その時間を計測することにより距離を求める。その距離の前回値と今回値との差をシート４０の座面の上下動の移動量として算出する。なお、座面の移動量は、撮像周期毎に求められる。

ここで、上記カメラ１０が特許請求の範囲における撮像手段に該当し、シート位置検出センサ３０が移動検出手段に該当する。

次に、本実施形態の画像処理部２０における画像解析処理の概要について、図２を用いて説明する。

図２は、画像処理の座標系Ｘ−Ｙ面内での画像解析処理を示すものである。まず、ライトによって光が照射された顔５０は、他の部分に比べて輝度が高く検出されることから、第１フレームにて、画像処理の座標系Ｘ−Ｙ面内全体をスキャンして、輝度が所定の閾値より高い高輝度領域１を抽出する。次に抽出された高輝度領域１の重心２を求め記憶しておく。そして、上記抽出された高輝度領域１にて目、鼻、口等の顔部品のエッジを検出し、検出されたエッジの形状、大きさおよび位置関係から周知のパターン認識により、高輝度領域１が顔５０であるか否かの顔判定をすると共にエッジの形状、大きさから居眠り等を検出する。

次に第２フレームでは、第１フレームと同様の処理を実行し、高輝度領域１−ａを抽出するとともに、抽出された高輝度領域１−ａの重心２−ａを求め記憶しておく。また、上記のパターン認識を実行する。

次に、第３フレームでは、第１および第２フレームにて求められた重心２、２−ａに基づき、重心２の移動量ΔＸ、ΔＹを求める。そして、この重心の移動量ΔＸ、ΔＹから第３フレームでの高輝度領域１−ｂの重心２−ｂがどこにくるかを予測し、予測された重心２−ｂを中心として、高輝度領域１−ｂが含まれるよう予め大きさが決められたトラッキング領域３を設定する。なお、第３フレームにて高輝度領域１−ｂがどこにくるかは、重心２から重心２−ａの移動量ΔＸ、ΔＹ分だけ高輝度領域１−ａが高輝度領域１−ｂに移動すると予測する。なお、第３フレームにて高輝度領域１−ｂがどこにくるかを予測する方法は、重心の移動量を多数サンプリングする場合は、移動平均を算出する方法や最小二乗法等を用いることにより、求めてもよい。

更に、第３フレームでは、画像処理の座標系Ｘ−Ｙ面内全体のうち、上記トラッキング領域３内のみをスキャンして、高輝度領域１−ｂを抽出する。次に抽出された高輝度領域１−ｂの重心２−ｂを求め記憶しておく。また、上記のパターン認識を実行する。

なお、本実施形態では、重心２、２−ａに基づいて予測した重心２−ｂと、トラッキング領域３内のみをスキャンして抽出された高輝度領域１−ｂから求められる重心２−ｂが、一致した場合を示している。以降、上記と同様の処理を繰り返すことによりトラッキング領域を設定する。

このように、重心の移動量ΔＸ、ΔＹに基づいて重心２−ｂを予測し、この重心２−ｂを中心にしてトラッキング領域３を設定し、このトラッキング領域３内のみをスキャンすることにより、毎回画像処理の座標系Ｘ−Ｙ面内全体をスキャンする必要がなくなり、処理速度を速めリアルタイムに顔５０を認識することができる。

しかしながら、上記重心２−ｂを予測してトラッキング領域を設定したとしても、第２フレームと第３フレームとの間で、段差や悪路等の走行によりシート４０が上下動すると、設定されたトラッキング領域３の範囲外に顔５０が移動してしまう可能性がある。この場合、再度画像処理の座標系Ｘ−Ｙ面内全体をスキャンし高輝度領域を求める必要がある。

そこで、本実施形態では、顔５０の上下動をシート位置検出センサ３０にて求め、求められた移動量ΔＹ２だけ予測された重心２−ｂを重心２−ｃへ補正する処理を実行する。そして、この補正された重心２−ｃを中心にして、高輝度領域１−ｃが含まれるようトラッキング領域３−ｃを設定し、このトラッキング領域３−ｃ内のみをスキャンして高輝度領域１−ｃを求め、上記のパターン認識を実行する。なお、次フレーム以降も同様に、重心２−ａ、２−ｃの移動量ΔＸ３、ΔＹ３の移動量に基づいて高輝度領域の重心を予測してから、この重心を中心にしてトラッキング領域を設定し、このトラッキング領域内のみをスキャンして高輝度領域を求め、上記のパターン認識を実行し、これらの一連の処理を繰り返す。

これにより、顔５０の上下動をシート位置検出センサ３０の情報にて補正することにより、トラッキング領域から顔５０が外れることがなくなり、処理速度を速めリアルタイムに顔５０を認識することができる。

次に、上述した画像解析処理を実行する処理フローについて図３に基づき説明する。

この処理フローは、車両のイグニッション・オンに伴い開始される。

まず、乗員の顔５０に対して光を照射し、カメラ１０にて顔５０を撮像する（Ｓ１００）。続くＳ１１０にて、カメラ１０にて撮像する際の撮像周期をなすフレーム回数を判定する。第１および第２フレームの場合、Ｓ１６０へ進み撮像された画像の中で高輝度領域を求めると共に、その重心を求めて記憶しておく。なお、第１および第２フレームの場合、前述した通りトラッキング領域が設定されていないことから、高輝度領域を求める処理は、画像処理の座標系Ｘ−Ｙ面内全体をスキャンして求める。

また、Ｓ１１０にて第３フレーム以降の場合は、Ｓ１２０へ進み、重心位置の移動量を算出する。これは、Ｓ１６０にて直近に求められた２つの重心位置に基づき、移動量を算出する。

次に、Ｓ１３０では、求められた移動量から、次フレームでの重心位置の予測を行い、Ｓ１４０では、予測された重心位置をシート位置検出センサ３０にて求められた移動量に基づき補正する。これは、シート４０の座面の動きと顔５０の動きとは連動し、座面の上下動の移動量だけ、顔５０も上下動することを前提に、顔５０の動きをシート位置検出センサ３０にて求めている。

続くＳ１５０では、補正された重心位置を中心にして高輝度領域が含まれるようトラッキング領域を設定し、Ｓ１６０では、設定されたトラッキング領域内のみをスキャンして、高輝度領域を求めると共に、その重心位置を記憶しておく。

Ｓ１７０では、上述したパターン認識により、高輝度領域が顔５０であるか否かの顔判定をすると共に、エッジの形状、大きさから居眠り等を判定する。その後、カメラ入力のＳ１００に戻り、一連の処理を繰り返し実行する。

なお、Ｓ１５０にて補正された重心位置を中心にトラッキング領域を設定したとしても、その範囲内に高輝度領域が含まれない場合には、Ｓ１１０にて第１および第２フレームと判断し、以降の処理を進める。

このように本実施形態によれば、シート４０に着座している乗員の顔５０が大きく上下動する場合であっても、顔５０がトラッキング領域３から外れることなく、顔５０を検出し続けられるようにすることができる。

なお、本発明の画像解析手段はＳ１５０に相当し、補正手段はＳ１４０に相当し、高輝度領域抽出手段はＳ１６０に相当し、重心位置演出手段はＳ１６０に相当し、重心位置移動量演算手段はＳ１２０に相当し、位置予測手段はＳ１５０に相当する。

（変形例）
なお、上記実施形態では、シート位置検出センサ３０として、超音波センサを用いるものについて説明したが、これに限られるものではなく、光学センサあってもよいし、クッション用スプリング部６０に取り付けられた加速度センサであってもよい。また、シート位置検出センサ３０に代えて、車両の天井に超音波センサや光学センサを配置し、乗員の頭部までの距離を求める方法でもよく、乗員の顔５０の上下動の移動量が検出できるものであれば、種々採用可能である。

１、１−ａ、１−ｂ、１−ｃ所定の輝度の閾値より高い高輝度領域
２、２−ａ、２−ｂ、２−ｃ重心
３、３−ｃトラッキング領域
１０カメラ
２０画像処理部
３０シート位置検出センサ
４０シート
５０顔
６０クッション用スプリング部

Claims

車両内の認識対象物を撮像する撮像手段と、
該撮像手段にて撮像された画像の中で、前記認識対象物が含まれるよう絞り込んだ一部の領域をトラッキング領域として設定する画像解析手段と
前記認識対象物の位置の変化を検出する移動検出手段と、
前記トラッキング領域の位置を、前記移動検出手段にて検出された位置の変化に基づいて補正する補正手段と、
該補正手段にて補正されたトラッキング領域に基づき、前記認識対象物を画像認識することを特徴とする車両用画像認識装置。
前記画像解析手段は、
制御周期毎に輝度の高い領域を抽出する高輝度領域抽出手段と、
該高輝度領域抽出手段にて抽出された高輝度領域の重心位置を求める重心位置演算手段と、
該重心位置演算手段にて求められた重心位置の移動量を求める重心位置移動量演算手段と、
該重心位置移動量演算手段にて求められた重心位置の移動量に基づいて、前記トラッキング領域の位置を予測する位置予測手段と、
を備えることを特徴とする請求項１に記載の車両用画像認識装置。
前記移動検出手段は、前記認識対象物の上下動を検出することを特徴とする、請求項１または２に記載の車両用画像認識装置。