JP2009087204A

JP2009087204A - 車両用電話通話判定装置

Info

Publication number: JP2009087204A
Application number: JP2007258559A
Authority: JP
Inventors: Akio Takahashi; 昭夫高橋; Shinsuke Ueda; 信介植田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2007-10-02
Filing date: 2007-10-02
Publication date: 2009-04-23
Anticipated expiration: 2027-10-02
Also published as: JP4942604B2

Abstract

【課題】電話通話中の判定精度を向上する。
【解決手段】車室内のドライバーを撮像するカメラ２と、カメラ２の撮像に基づいてドライバーが電話で通話中か否かを判定する通話判定手段６と、を備えた車両用電話通話判定装置１において、カメラ２の撮像に基づいてドライバーの口が動いているか否かを判定する口元判定手段３と、カメラ２の撮像に基づいてドライバーの顔周辺に電話が存在する確率を判定する電話存在確率判定手段５と、カメラ２の撮像に基づいてドライバーの顔が所定角度以上傾いているか否かを判定する傾き判定出手段４と、を備え、通話判定手段６は、口元判定手段３と電話存在確率判定手段５と傾き判定手段４の判定結果に基づいてドライバーが通話中か否かを判定する。
【選択図】図１

Description

この発明は、ドライバーが電話を使用中（通話中）か否かを判定する車両用電話通話判定装置に関するものである。

携帯電話等を含む車内で通話可能な電話をドライバーが使用中か否かを判定する技術として、撮像手段による画像データから使用者の口元の画像部分を抽出して、その領域の面積や、その面積の時間的変化についての変化測定処理を行い、測定処理の結果に基づいて使用者が通話中であることを判定するものがある（例えば、特許文献１参照）。

また、カメラで撮影した画像の中からドライバーの顔領域を探索するとともに、顔領域の周辺でドライバーの手領域を探索し、ドライバーの手領域が継続して検出された場合に通話中と判定し、車両制御を行うものがある。
特開２００３−１７４５０４号公報特開２００５−２０５９４３号公報

前記特許文献１に記載の通話判定技術は、携帯電話を使用していることを前提とした上で、使用者の口元の画像に基づいて判定しているが、実際には使用者が同乗者と会話しているために口元が動いている場合もあり、携帯電話での通話による会話であると断定することはできない。したがって、携帯電話通話中か否かの判定精度が低いという課題がある。

また、前記引用文献２に記載の通話判定技術は、ドライバーの顔周辺における手の存在だけで通話中か否かを判定しているので、ドライバーが喫煙中のため顔周辺に手が存在する場合にも通話中と誤判定する虞がある。したがって、携帯電話通話中か否かの判定精度が低いという課題がある。

そこで、この発明は、電話通話中か否かの判定精度を向上させることができる車両用電話通話判定装置を提供するものである。

この発明に係る車両用電話通話判定装置では、上記課題を解決するために以下の手段を採用した。
請求項１に係る発明は、車室内のドライバー（例えば、後述する実施例におけるドライバー１００）を撮像する撮像手段（例えば、後述する実施例におけるカメラ２）と、前記撮像手段の撮像に基づいてドライバーが電話（例えば、後述する実施例における携帯電話１０）で通話中か否かを判定する通話判定手段（例えば、後述する実施例における通話判定手段６）と、を備えた車両用電話通話判定装置（例えば、後述する実施例における車両用電話通話判定装置１）において、前記撮像に基づいてドライバーの口が動いているか否かを判定する口元判定手段（例えば、後述する実施例における口元判定手段３）と、前記撮像に基づいてドライバーの顔周辺に前記電話が存在する確率を判定する電話存在確率判定手段（例えば、後述する実施例における電話存在確率判定手段５）と、前記撮像に基づいてドライバーの顔が所定角度以上傾いているか否かを判定する傾き判定出手段（例えば、後述する実施例における傾き判定手段４）と、を備え、前記通話判定手段は、前記口元判定手段と前記電話存在確率判定手段と前記傾き判定手段の判定結果に基づいてドライバーが通話中か否かを判定することを特徴とする。

請求項２に係る発明は、請求項１に記載の発明において、前記通話判定手段は、前記電話存在確率判定手段により検出された電話存在確率が上限閾値以上である場合は通話中であると判定し、電話存在確率が前記上限閾値より小さく下限閾値以上である場合は前記口元判定手段により口元が動いていると判定され且つ前記傾き判定手段によりドライバーの顔が所定角度以上傾いていると判定されたときに通話中であると判定することを特徴とする。

請求項１に係る発明によれば、電話での通話中に顔を傾ける人が多いことに着目し、前記口元判定手段と前記電話存在確率判定手段と前記傾き判定手段の判定結果に基づいてドライバーが通話中か否かを判定するので、通話中か否かの判定精度が向上する。

請求項２に係る発明によれば、電話存在確率が上限閾値以上である場合は電話存在確率判定手段の判定結果のみに基づいて通話中であると判定し、一方、電話存在確率が上限閾値より小さく下限閾値以上である場合は、口元の動きと顔の傾きを加重条件とし、この加重条件を満たしたときだけ通話中であると判定することにより、通話中か否かの判定精度が向上する。

以下、この発明に係る車両用電話通話判定装置の実施例を図１から図５の図面を参照して説明する。
図１は、実施例の車両用電話通話判定装置の機能ブロックであり、車両用電話通話判定装置１は、車両に搭載されたカメラ（撮像手段）２と、口元判定手段３と、傾き判定手段４と、電話存在確率判定手段５と、通話判定手段６と、車両制御手段７と、を備えている。

カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等で構成されており、図２に示すように、車両Ｖを運転するドライバー１００を正面から連続的に撮像し、少なくともドライバー１００の顔１０５およびその周辺が撮像可能である。カメラ２は、例えば、図２（Ａ）に示すように、運転席前のインストツルメントパネル８に設置してもよいし、図２（Ｂ）に示すように、運転席前の車室内上部に設けられたバックミラー９に設置することができる。

口元判定手段３は、カメラ２から入力された撮像に対してドライバーの口１０４（図３参照）を検知対象とした所定の認識処理を行い、その認識結果に基づいて口１０４の面積の時間的変化等を検出し、例えば口１０４の面積の時間的変化が大きく、拡縮しているときは口１０４が動いていると判定し、口１０４の面積の時間的変化が少ないときは口１０４が動いていないと判定する。

傾き判定手段４は、カメラ２から入力された撮像に対してドライバーの眼球や鼻を検知対象とした所定の認識処理を行い、その認識結果に基づいてドライバーの顔が基準線（例えば車両の上下方向、あるいは画像の上下方向）に対して所定角度（例えば、１０度）以上傾いているか否かを検出する。例えば、図３に示すように、撮像からドライバー１００の両眼１０１，１０２の位置を検出し、両眼１０１，１０２を結んだ線に対して直角をなす線Ｌ１と、画像の上下方向に沿う線Ｌ０とのなす角度θをドライバーの顔の傾き角度として検出することができる。あるいは、撮像からドライバー１００の両眼１０１，１０２と鼻１０３の位置を検出し、これらから顔の中心線Ｌ１を検出し、この中心線Ｌ１と画像の上下方向に沿う線Ｌ０とのなす角度θをドライバーの顔の傾き角度として検出することができる。

この車両用電話通話判定装置１では、ドライバーの顔の傾きを、ドライバーが携帯電話で通話中か否かを判定する条件の一つに加えている。これは、電話での通話中に顔を傾ける人が多いことに着目したものである。

電話存在確率判定手段５は、カメラ２から入力された撮像に対して携帯電話（電話）１０を検知対象とした所定の認識処理を行い、ドライバーの顔およびその周辺を含む所定の検出領域内に、携帯電話１０が存在する確率を判定する。例えば、カメラ２から入力された撮像に対して所定の画像処理を行い、前記検出領域に存在するドライバー１００の顔以外の物体に対して、予め記憶手段に格納された各種携帯電話の形状のテンプレートとのマッチング処理（テンプレートマッチング）を行い、マッチングの程度（度合い）に基づいて該物体に対する携帯電話の類似度（以下、携帯電話類似度と称す）を算出する。すなわち、マッチングの程度が高いときには携帯電話類似度を高い値とし、マッチングの程度が低いときには携帯電話類似度を低い値にする。例えば、テンプレートマッチングの結果、物体が携帯電話のテンプレートと完全に一致した場合には、携帯電話類似度を１００％とする。したがって、物体に対する携帯電話の類似度は前記検出領域内における携帯電話の存在確率と言い換えることができ、電話存在確率判定手段５は携帯電話の存在確率を算出（判定）すると言うことができる。

通話判定手段６は、口元判定手段３の判定結果と、傾き判定手段４の判定結果と、電話存在確率判定手段５の判定結果に基づいて、ドライバーが電話で通話中か否かを判定する。通話判定手段６により実行される通話判定処理については後で詳述する。

車両制御手段７は、通話判定手段６の判定結果に基づいて、車両制御を実行する。車両制御は、例えば、運転席前の表示装置に「電話の使用禁止」の警告を表示したり、表示とともに警報音を発するなどにより実現される。

次に、この実施例における通話判定に基づく車両制御について、図４のフローチャートに従って説明する。図４のフローチャートに示す車両制御ルーチンは、図示しない車載の電子制御装置によって一定時間毎に繰り返し実行される。

まず、ステップＳ１０１において、カメラ２で撮像されたドライバーの映像を取得する。
次に、ステップＳ１０２に進み、通話判定処理を実行する。通話判定処理については後述する。
次に、ステップＳ１０３に進み、ステップＳ１０２の通話判定処理の判定結果が「通話中」か否かを判定する。

ステップＳ１０３における判定結果が「ＹＥＳ」（通話中）である場合には、ステップＳ１０４に進み、通話カウント値ｔが予め設定した閾値Ｔｈを超えているか否かを判定する。
ステップＳ１０４における判定結果が「ＹＥＳ」（ｔ＞Ｔｈ）である場合には、ステップＳ１０５に進み、車両制御手段７へ車両制御実行指令を出力し、本ルーチンの実行を一旦終了する。この結果、車両制御手段７は、表示装置に「電話の使用禁止」の警告等を表示する。

一方、ステップＳ１０４における判定結果が「ＮＯ」（ｔ≦Ｔｈ）である場合には、ステップＳ１０６に進み、通話カウント値ｔに予め設定した所定値αを加算して、本ルーチンの実行を一旦終了する。

また、ステップＳ１０３における判定結果が「ＮＯ」（非通話）である場合には、ステップＳ１０７に進み、通話カウント値ｔが０より大きいか否かを判定する。
ステップＳ１０７における判定結果が「ＹＥＳ」（ｔ＞０）である場合には、ステップＳ１０８に進み、通話カウント値ｔから予め設定した所定値βを減算して、本ルーチンの実行を一旦終了する。
ステップＳ１０７における判定結果が「ＮＯ」（ｔ≦０）である場合には、ステップＳ１０９に進み、ｔ＝０として、本ルーチンの実行を一旦終了する。

つまり、通話判定処理により通話中の判定が１回ある毎に、通話カウント値ｔがαだけ増加し、非通話の判定が一回ある毎に、通話カウント値ｔがβだけ減少する。そして、このようにして算出された通話カウント値ｔが閾値Ｔｈを超えたときに、車両制御手段７による車両制御が実行される。これにより「通話中である」と断続的に判定されている場合にも通話カウント値ｔが閾値Ｔｈを超えた場合には車両制御が実行されることになる。
なお、所定値α、βは同じ値（例えば「１」）でもよいし、異なる値としてもよい。異なる値とする場合には、αをβよりも大きい値とすることにより、通話カウント値ｔをリセット（ｔ＝０）し難くすることができる。

次に、この実施例における通話判定処理について、図５のフローチャートに従って説明する。図５のフローチャートに示す通話判定処理ルーチンは、前記電子制御装置によって一定時間毎に繰り返し実行される。

まず、ステップＳ２０１において、携帯電話探索処理を実行する。携帯電話探索処理は、カメラ２から入力された撮像のドライバーの顔およびその周辺を含む所定の検出領域内に存在する物体に対して、各種携帯電話の形状のテンプレートとのマッチング処理（テンプレートマッチング）を行って携帯電話の可能性のある対象を探索し、さらに、マッチングの程度（度合い）に基づいて該物体に対する携帯電話類似度を算出する。
次に、ステップＳ２０２に進み、ステップＳ２０１で算出した携帯電話類似度に基づいて、予め設定された下限閾値以上の対象（物体）が存在するか否かを判定する。

ステップＳ２０２における判定結果が「ＹＥＳ」（下限閾値以上の対象あり）である場合には、ステップＳ２０３に進み、ステップＳ２０１で算出した携帯電話類似度が予め設定された上限閾値以上か否かを判定する。
ステップＳ２０３における判定結果が「ＹＥＳ」（携帯電話類似度≧上限閾値）である場合には、ステップＳ２０４に進み、通話中であると判定して、本ルーチンの実行を一旦終了する。すなわち、ドライバーの顔およびその周辺を含む所定の検出領域内に物体が存在し、その物体の携帯電話類似度が上限閾値以上である場合には、ドライバーの顔の周囲に携帯電話が存在している確率が高いので、その時点で通話中であると判定する。

一方、ステップＳ２０３における判定結果が「ＮＯ」（下限閾値≦携帯電話類似度＜上限閾値）である場合には、ステップＳ２０５に進み、口元判定処理を実行して、ドライバーの口が動いているか否かを判定する。
さらに、ステップＳ２０６に進み、傾き判定処理を実行して、ドライバーの顔の傾きが所定角度以上か否かを判定する。
次に、ステップＳ２０７に進み、ステップＳ２０５の口元判定処理の結果が口に動きありの判定であり、且つ、ステップＳ２０６の傾き判定処理の結果が顔の傾きが所定角度以上ありの判定であるか否かを判定する。

ステップＳ２０７における判定結果が「ＹＥＳ」である場合、すなわち、口に動きがあり、且つ、顔が所定角度以上傾いている場合には、ステップＳ２０４に進み、通話中であると判定して、本ルーチンの実行を一旦終了する。
また、ステップＳ２０７における判定結果が「ＮＯ」である場合、すなわち、口が動いていないか、あるいは、顔が所定角度以上傾いていない場合には、ステップＳ２０８に進み、非通話であると判定し、本ルーチンの実行を一旦終了する。

すなわち、ドライバーの顔およびその周辺を含む所定の検出領域内に物体が存在し、その物体の携帯電話類似度が上限閾値よりは低いが下限閾値以上である場合には、携帯電話の存在確率だけで通話中か否かを判定するのは難しいので、このときには、ドライバーの口の動きと顔の傾きを加重条件とし、両方の条件を満たしたときだけ通話中であると判定し、いずれか一方でも条件が満たされないときは非通話であると判定することにより、「通話中」の判定精度を向上させている。

なお、ステップＳ２０２における判定結果が「ＮＯ」である場合、すなわち、予め設定された下限閾値以上の対象（物体）が存在しない場合には、ステップＳ２０８に進み、非通話であると判定し、本ルーチンの実行を一旦終了する。すなわち、ドライバーの顔およびその周辺を含む所定の検出領域内に、携帯電話類似度が下限閾値以上の対象が存在しない場合には、ドライバーの顔の周囲に携帯電話が存在しない確率が高いので、その時点で非通話であると判定する。つまり、下限閾値は携帯電話ではないと判定可能な閾値に設定する
以上のように、この車両用電話通話判定装置１によれば、ドライバーの携帯電話通話中であるか否かの判定精度が向上する。

この発明に係る車両用電話通話判定装置のブロック図である。カメラの設置位置を説明する図である。顔の傾き角度の検出原理を説明する図である。実施例における通話判定に基づく車両制御を示すフローチャートである。実施例における通話判定処理を示すフローチャートである。

符号の説明

１車両用電話通話判定装置
２カメラ（撮像手段）
３口元判定手段
４傾き判定手段
５電話存在確率判定手段
６通話判定手段
１０携帯電話（電話）
１００ドライバー

Claims

車室内のドライバーを撮像する撮像手段と、
前記撮像手段の撮像に基づいてドライバーが電話で通話中か否かを判定する通話判定手段と、
を備えた車両用電話通話判定装置において、
前記撮像に基づいてドライバーの口が動いているか否かを判定する口元判定手段と、
前記撮像に基づいてドライバーの顔周辺に前記電話が存在する確率を判定する電話存在確率判定手段と、
前記撮像に基づいてドライバーの顔が所定角度以上傾いているか否かを判定する傾き判定出手段と、
を備え、前記通話判定手段は、前記口元判定手段と前記電話存在確率判定手段と前記傾き判定手段の判定結果に基づいてドライバーが通話中か否かを判定することを特徴とする車両用電話通話判定装置。
前記通話判定手段は、前記電話存在確率判定手段により検出された電話存在確率が上限閾値以上である場合は通話中であると判定し、電話存在確率が前記上限閾値より小さく下限閾値以上である場合は前記口元判定手段により口元が動いていると判定され且つ前記傾き判定手段によりドライバーの顔が所定角度以上傾いていると判定されたときに通話中であると判定することを特徴とする請求項１に記載の車両用電話通話判定装置。