JP2022167407A - 携帯端末判定システム - Google Patents

Abstract

【課題】運転者の携帯端末を判定するシステムを提供する。【解決手段】自動運転装置１００において、車両ＶＡに搭載され、車両の運転者を撮像する第１撮像部（ドライバモニタカメラ）を備える自動運転ＥＣＵ１０と、第２撮像部（フロントカメラ）を備える携帯端末１１０と、を有する。自動運転ＥＣＵは、第１撮像部によって取得された第１画像と、第２撮像部によって取得された第２画像と、を比較する比較処理を実行することによって、該携帯端末が運転者の携帯端末であるかを判定する。【選択図】図７

Description

本開示は、運転者の携帯端末を判定するシステムに関する。

従来から、運転者が携帯する携帯端末と車両とを接続して、運転者に対してサービスを提供するシステムが提案されている（例えば、特許文献１を参照。）。このようなサービスの例として、運転者が覚醒状態であるかを判定するサービスが挙げられる。

特開２０１４－１１５９８３号公報

携帯端末と車両とは、通常、無線通信を介して接続される。しかし、車両には、運転者以外の乗員も存在し得る。その乗員が携帯端末を携帯している場合、その乗員の携帯端末と車両とが無線通信を介して接続される場合もある。このように、複数の携帯端末と車両とが接続された場合、システムは、どの携帯端末が運転者の携帯端末であるかを判定（特定）する必要がある。システムは、運転者の携帯端末を特定できない場合、運転者に対してサービスを提供することができない。

本開示の目的の一つは、携帯端末と車両とが接続されるシステムにおいて、運転者の携帯端末を判定することができる技術を提供することである。

１つ以上の実施形態における携帯端末判定システムは、
車両（ＶＡ）に搭載され、前記車両の運転者を撮像する第１撮像部（７５）と、
第２撮像部（２０２）を備える携帯端末（１１０）と、
前記第１撮像部によって取得された第１画像（５００）と、前記第２撮像部によって取得された第２画像（６００）とを比較する比較処理を実行することによって、前記携帯端末が前記運転者の携帯端末であるかを判定するように構成された制御装置（１０）と、
を備える。

運転者が携帯する携帯端末の第２撮像部によって取得された第２画像は、運転者を含む。一方、運転者以外の乗員が携帯する携帯端末の第２撮像部によって取得された第２画像は、運転者を含まない。従って、上記構成を備える制御装置は、第１画像と第２画像とを比較することによって、どの携帯端末が運転者の携帯端末であるかを判定できる。

１つ以上の実施形態において、前記比較処理は、
前記第１画像において認識された顔と、前記第２画像において認識された顔とを比較する処理、
前記第１画像において認識された乗員の挙動と、前記第２画像において認識された乗員の挙動とを比較する処理、及び、
前記第１画像における輝度の変化と、前記第２画像における輝度の変化とを比較する処理、
の少なくとも１つを含む。

１つ以上の実施形態における携帯端末判定システムは、
車両（ＶＡ）に搭載された第１通信部と、
第２通信部（２０４）を備える携帯端末（１１０）と、
前記第１通信部と前記第２通信部との間の通信状況に基づいて、前記携帯端末が運転者の携帯端末であるかを判定するように構成された制御装置（１０）と、
を備える。

上記構成を備える制御装置は、第１通信部と第２通信部との間の通信状況に基づいて、どの携帯端末が運転者の携帯端末であるかを判定できる。

１つ以上の実施形態において、前記第１通信部は、運転席の近傍に設置された近距離通信部（４０１）である。

例えば、運転者が携帯する携帯端末の第２通信部は、近距離通信部と通信を確立できるものの、運転者以外の乗員が携帯する携帯端末の第２通信部は、近距離通信部と通信を確立できない。上記構成を備える制御装置は、このような状況を考慮して、どの携帯端末が運転者の携帯端末であるかを判定できる。

１つ以上の実施形態において、
前記第１通信部は、前記車両内において離れて設置された複数の近距離通信部を含む。
前記複数の近距離通信部のそれぞれは、前記第２通信部から送信された信号の受信強度を測定する。
前記制御装置は、前記複数の近距離通信部における前記受信強度の差に基づいて、前記携帯端末が運転者の携帯端末であるかを判定するように構成されている。

例えば、複数の近距離通信部のうちの第１近距離通信部が運転席の近傍に設置され、複数の近距離通信部のうちの第２近距離通信部が後部座席に設置されていると仮定する。第１近距離通信部及び第２近距離通信部が、それぞれ、運転者が携帯する携帯端末の第２通信部から信号を受信すると、第１近距離通信部において受信した信号の受信強度は大きく、第２近距離通信部において受信した信号の受信強度は小さい。上記構成を備える制御装置は、このような受信強度の差に基づいて、どの携帯端末が運転者の携帯端末であるかを判定できる。

一以上の実施形態において、上記の制御装置は、本明細書に記述される一以上の機能を実行するためにプログラムされた少なくとも１つのプロセッサにより実施されてもよい。一以上の実施形態において、上記の制御装置は、一以上のアプリケーションに特化された集積回路、即ち、ＡＳＩＣ等により構成されたハードウェアによって、全体的に或いは部分的に実施されてもよい。上記説明においては、後述する一以上の実施形態に対応する構成要素に対し、実施形態で用いた名称及び／又は符号を括弧書きで添えている。しかしながら、各構成要素は、前記名称及び／又は符号によって規定される実施形態に限定されるものではない。

第１実施形態に係る携帯端末判定システムの概略構成図である。 第１実施形態に係る携帯端末の外観図である。 第１実施形態に係る携帯端末の概略構成図である。 自動運転制御の実行中に運転者が携帯端末を操作する状況を示した図である。 ドライバモニタカメラによって取得された画像（第１画像）の例である。 携帯端末によって取得された画像（第２画像）の例である。 自動運転装置（自動運転ＥＣＵ）及び携帯端末（第１携帯端末及び第２携帯端末）のシーケンス図である。

＜第１実施形態＞
図１に示したように、携帯端末判定システムは、車両ＶＡに搭載（適用）された自動運転装置１００と、携帯端末１１０とを含む。

（自動運転装置の構成）
自動運転装置１００は、自動運転ＥＣＵ１０、エンジンＥＣＵ２０、ブレーキＥＣＵ３０、ステアリングＥＣＵ４０、メータＥＣＵ５０、及び、ナビゲーションＥＣＵ６０を備えている。これらのＥＣＵは、ＣＡＮ（Controller Area Network）９０を介して互いにデータを送受信可能となるように接続されている。

ＥＣＵは、エレクトロニックコントロールユニットの略称であり、マイクロコンピュータを主要構成部品として有する電子制御回路である。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース及び不揮発性メモリ等を含む。ＣＰＵはＲＯＭに格納されたインストラクション（ルーチン、プログラム）を実行することにより各種機能を実現する。例えば、自動運転ＥＣＵ１０は、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、インターフェース（Ｉ／Ｆ）１０ｄ及び不揮発性メモリ１０ｅ等を含むマイクロコンピュータを備える。

エンジンＥＣＵ２０は、エンジンアクチュエータ２１に接続されている。エンジンアクチュエータ２１は、内燃機関２２のスロットル弁の開度を変更するスロットル弁アクチュエータを含む。エンジンＥＣＵ２０は、エンジンアクチュエータ２１を駆動することによって、内燃機関２２が発生するトルクを変更することができる。内燃機関２２が発生するトルクは、トランスミッション２３及び図示しない駆動力伝達機構を介して駆動輪に伝達される。従って、エンジンＥＣＵ２０は、エンジンアクチュエータ２１を制御することによって、車両ＶＡの駆動力を制御することができる。

なお、車両ＶＡが、ハイブリッド車両である場合、エンジンＥＣＵ２０は、駆動源としての「内燃機関及び電動機」の何れか一方又は両方によって発生する駆動力を制御することができる。更に、車両ＶＡが電気自動車である場合、エンジンＥＣＵ２０は、駆動源としての電動機によって発生する駆動力を制御することができる。

ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１に接続されている。ブレーキアクチュエータ３１は、公知の油圧回路を含む。油圧回路は、リザーバ、オイルポンプ及び種々の弁装置等を含む。ブレーキアクチュエータ３１は、ブレーキＥＣＵ３０からの指示に応じてホイールシリンダ３２に供給する油圧（即ち、制動圧）を調整する。制動圧に応じて車輪に発生する摩擦制動力が変化する。従って、ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１を制御することによって、車両ＶＡの制動力を制御することができる。

ステアリングＥＣＵ４０は、アシストモータ（Ｍ）４１に接続されている。アシストモータ４１は、ステアリング機構４２に組み込まれている。ステアリング機構４２は、操舵ハンドルＳＷの回転操作により操舵輪を転舵するための機構である。ステアリング機構４２は、操舵ハンドルＳＷ、操舵ハンドルＳＷに連結されたステアリングシャフトＵＳ、及び、図示しない操舵用ギア機構等を含む。ステアリングＥＣＵ４０は、ステアリングシャフトＵＳに設けられた図示しない操舵トルクセンサによって、運転者が操舵ハンドルＳＷに入力した操舵トルクを検出し、この操舵トルクに基づいてアシストモータ４１を駆動する。ステアリングＥＣＵ４０は、このアシストモータ４１の駆動によってステアリング機構４２に操舵トルク（操舵アシストトルク）を付与し、これにより、運転者の操舵操作をアシストすることができる。

加えて、ステアリングＥＣＵ４０は、以降で説明する自動運転制御の実行中に自動運転ＥＣＵ１０からの操舵指令（後述する自動操舵トルクを含む。）に従って、アシストモータ４１を駆動する。この自動操舵トルクは、上述した操舵アシストトルクとは異なり、運転者の操舵操作を必要とせずに、自動運転ＥＣＵ１０からの操舵指令によってステアリング機構４２に付与されるトルクを表す。自動操舵トルクにより、車両ＶＡの操舵輪の舵角が変更される。

メータＥＣＵ５０は、報知装置５１に接続されている。報知装置５１は、ブザー及び表示装置を含む。表示装置は、例えば、運転席の正面に設けられたマルチインフォメーションディスプレイである。メータＥＣＵ５０は、自動運転ＥＣＵ１０からの指示に応じて、ブザーを鳴動させて運転者への注意喚起を行ったり、表示装置に注意喚起用のマーク（ウォーニングランプ）を表示したりすることができる。

ナビゲーションＥＣＵ６０は、ＧＰＳ受信機６１及び地図記憶部６２に接続されている。ＧＰＳ受信機６１は、車両ＶＡが位置している場所の「緯度及び経度」を検出するためのＧＰＳ信号を受信する。地図記憶部６２は、地図情報を記憶している。地図情報は、道路情報を含む。道路情報は、道路の種別、道路の幅員及び道路の曲率等を含む。なお、本例において、道路の種別は、自動車専用道路（高速道路）及び一般道路の何れかである。ナビゲーションＥＣＵ６０は、車両ＶＡが位置している場所の緯度及び経度、並びに地図情報等に基づいて各種の演算処理を行い、図示しないタッチパネルに地図上での車両ＶＡの位置を表示させる。

車速センサ７１は、車両ＶＡの走行速度（車速）ＳＰＤを検出し、車速ＳＰＤを表す信号を自動運転ＥＣＵ１０に出力するようになっている。

周囲センサ７２は、車両ＶＡの周囲の道路（車両ＶＡが走行している走行レーンを含む。）に関する情報、及び、道路に存在する立体物に関する情報を取得するようになっている。立体物は、例えば、歩行者、四輪車及び二輪車などの移動物、並びに、ガードレール及びフェンスなどの固定物を含む。以下、これらの立体物は、単に「物体」と称呼される。周囲センサ７２は、レーダセンサ７３及びカメラセンサ７４を備えている。

レーダセンサ７３は、例えば、ミリ波帯の電波（以下、「ミリ波」と称呼する。）を少なくとも車両ＶＡの前方領域を含む周辺領域に放射し、放射範囲内に存在する物体によって反射されたミリ波（即ち、反射波）を受信する。そして、レーダセンサ７３は、物体の有無について判定するとともに、車両ＶＡと物体との相対関係を示す情報を演算する。車両ＶＡと物体との相対関係を示す情報は、車両ＶＡと物体との距離、車両ＶＡに対する物体の方位（又は位置）、及び、車両ＶＡと物体との相対速度等を含む。以降において、車両ＶＡと物体との相対関係を示す情報は、単に「物体情報」と称呼される。

カメラセンサ７４は、車両ＶＡの前方の風景を撮影して画像データを取得する。カメラセンサ７４は、その画像データに基づいて、走行レーンを規定する左区画線及び右区画線（例えば、左白線及び右白線）を認識し、走行レーンの形状を示すパラメータ（例えば、曲率）、及び、車両ＶＡと走行レーンとの位置関係を示すパラメータ等を演算する。車両ＶＡと走行レーンとの位置関係を示すパラメータは、例えば、左区画線又は右区画線から車両ＶＡの車幅方向の中心位置までの距離である。カメラセンサ７４によって取得された情報は「車線情報」と称呼される。なお、カメラセンサ７４は、画像データに基づいて、物体の有無を判定し、物体情報を演算するように構成されてもよい。

周囲センサ７２は、「物体情報及び車線情報」を含む車両ＶＡの周辺状況に関する情報を「車両周辺情報」として自動運転ＥＣＵ１０に出力する。

ドライバモニタカメラ（第１撮像部）７５は、操舵ハンドルＳＷのコラムカバー（所謂、ステアリングコラムカバー）の上側に配置されている。ドライバモニタカメラ７５は、運転者を撮影して画像データを取得する。以降において、ドライバモニタカメラ７５によって取得された画像データは、「第１画像」と称呼される。ドライバモニタカメラ７５の位置及び向きは、運転者の顔が少なくとも第１画像に含まれように、設定されている。ドライバモニタカメラ７５は、第１画像を自動運転ＥＣＵ１０に出力する。

なお、ドライバモニタカメラ７５は、車両ＶＡ内において運転者の顔が撮影できる限り、他の位置に設定されてもよい。例えば、ドライバモニタカメラ７５は、ダッシュボード又はフロントガラスの近傍に設けられてもよい。

更に、自動運転ＥＣＵ１０は、通信ユニット８０に接続されている。通信ユニット８０は、後述する近距離無線通信を介して、携帯端末１１０と相互に情報を送信及び受信可能に構成されている。

自動運転スイッチ８１は、運転者により操作されるスイッチである。運転者は、自動運転スイッチ８１を操作することにより、後述する自動運転制御の作動状態を設定することができる。

（自動運転制御の概要）
以降において、自動運転ＥＣＵ１０は、単に「ＥＣＵ１０」と称呼される。ＥＣＵ１０は、自動運転制御を実行するように構成されている。自動運転制御のレベル（所謂、自動運転レベル）は、ＳＡＥ（Society of Automotive Engineers）によって、複数のレベル０～５に区分される。本例において、自動運転レベルは、レベル３である。レベル３は、特定の環境下において自動運転制御により全ての運転操作が実行されるレベルであり、運転操作の交代要求（以下、単に「運転操作交代要求」と称呼する。）が発生した場合には運転者が運転操作を行うことが求められるレベルである。従って、レベル３の自動運転制御は、「条件付き自動運転制御」と称呼される場合がある。自動運転制御は、速度制御及び操舵制御を含む。

速度制御の一例として、アダプティブ・クルーズ・コントロール（以下、単に「ＡＣＣ」と称呼する。）が挙げられる。ＡＣＣ自体は公知である（例えば、特開２０１４－１４８２９３号公報、特開２００６－３１５４９１号公報、及び、特許第４１７２４３４号明細書等を参照。）。

ＡＣＣは、定速走行制御と先行車追従制御の２種類の制御を含む。定速走行制御は、アクセルペダル及びブレーキペダルの操作を要することなく、車両ＶＡの走行速度を目標速度Ｖｓｅｔと一致させるように車両ＶＡの速度を調整する制御である。先行車追従制御は、アクセルペダル及びブレーキペダルの操作を要することなく、先行車（追従対象車両）と車両ＶＡとの車間距離を目標車間距離Ｄｓｅｔに維持しながら追従対象車両に対して車両ＶＡを追従させる制御である。追従対象車両は、車両ＶＡの前方領域であって車両ＶＡの直前を走行している車両である。

操舵制御の一例として、レーン・キーピング・アシスト・コントロール（以下、単に「ＬＫＡ」と称呼する。）が挙げられる。ＬＫＡ自体は公知である（例えば、特開２００８－１９５４０２号公報、特開２００９－１９０４６４号公報、特開２０１０－６２７９号公報、及び、特許第４３４９２１０号等を参照。）。

ＬＫＡは、区画線又は先行車の走行軌跡（即ち、先行車軌跡）若しくはこれらの両方を活用して設定される目標走行ラインに沿って車両ＶＡが走行するように、自動操舵トルクをステアリング機構４２に付与して車両ＶＡの操舵輪の舵角を変化させる制御である。

ＥＣＵ１０は、自動運転制御を特定の状況下において実行することができる。ＥＣＵ１０は、所定の自動運転実行条件が成立する場合、自動運転制御を実行する。例えば、自動運転実行条件は、以下の条件Ａ１乃至条件Ａ３の全てが成立したときに成立する。
（条件Ａ１）：車両ＶＡが自動車専用道路を走行している。
（条件Ａ２）：車速ＳＰＤが所定の速度閾値ＳＰＤｔｈ以下である。
（条件Ａ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオフ状態からオン状態へと設定した。

速度閾値ＳＰＤｔｈは比較的小さい値に設定されてもよい。この場合、自動運転実行条件が成立する状況は、車両ＶＡが渋滞区間を走行している状況を意味する。このような状況において、ＥＣＵ１０は、自動運転制御を実行してもよい。なお、自動運転実行条件は、上記の例に限定されず、他の条件であってもよい。

ＥＣＵ１０は、所定の自動運転終了条件が成立する場合、自動運転制御を終了させる。例えば、自動運転終了条件は、以下の条件Ｂ１乃至条件Ｂ４のうちの少なくとも１つが成立したときに成立する。
（条件Ｂ１）：車両ＶＡが自動車専用道路の出口に到着した。
（条件Ｂ２）：車速ＳＰＤが速度閾値ＳＰＤｔｈよりも大きくなった。
（条件Ｂ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオン状態からオフ状態へと設定した。
（条件Ｂ４）：自動運転制御を継続することができない事象（例えば、システムエラー）が発生した。
なお、自動運転終了条件は、上記の例に限定されず、他の条件であってもよい。

（携帯端末の構成）
携帯端末１１０は、乗員によって携帯される装置であり、本例において、図２に示すスマートフォンである。携帯端末１１０は、乗員によって携帯される限り、他の装置（例えば、タブレット端末又はウェアラブル端末）であってもよい。

携帯端末１１０は、ディスプレイ２０１を備える。ディスプレイ２０１は、タッチパネル式のディスプレイであり、ディスプレイ２０１の表示面（操作面）に対するタッチ操作を検出することができる。

携帯端末１１０は、ディスプレイ２０１側の面にフロントカメラ（第２撮像部）２０２を備える。なお、携帯端末１１０は、ディスプレイ２０１と反対側の面（即ち、背面）にリアカメラを備えてもよい。更に、携帯端末１１０は、ディスプレイ２０１側の面に照明部２０３（例えば、ＬＥＤ）を備える。照明部２０３は、光を放射するように構成されている。

更に、携帯端末１１０は、その内部に通信部２０４を備える。通信部２０４は、近距離無線通信を介して外部の装置と通信するための通信モジュールである。近距離無線通信は、ブルートゥース（登録商標）、無線ＩＤタグ（ＲＦＩＤ：Radio Frequency Identification）、近接場型の無線通信（ＮＦＣ：Near Field Communication）、及び、ＷｉＦｉ等の各種無線通信を含む。

図３に示すように、携帯端末１１０は、ＣＰＵ３０１、メモリ３０２、及び、不揮発性メモリ３０３を備える。ＣＰＵ３０１、メモリ３０２、不揮発性メモリ３０３、ディスプレイ２０１、フロントカメラ２０２、照明部２０３及び通信部２０４は、内部バス３１０を介して互いに接続されている。

ＣＰＵ３０１は、少なくとも１つのプロセッサ又は回路を含む。メモリ３０２は、例えば、ＲＡＭを含む。不揮発性メモリ３０３は、例えば、フラッシュメモリ及びＲＯＭを含む。ＣＰＵ３０１は、メモリ３０２をワークメモリとして用いて、不揮発性メモリ３０３に格納されているインストラクション（ルーチン、プログラム）を実行する。

（覚醒状態判定処理の概要）
レベル３の自動運転制御においては、ＥＣＵ１０が自動運転制御を継続できない場合（運転操作交代要求が発生した場合）には、運転者が運転操作を引き継ぐ必要がある。従って、運転者が居眠り状態であることは許容されない。一方で、運転者が脇見していることは許容される。従って、ＥＣＵ１０がレベル３の自動運転制御を実行している間、運転者は、様々な行動（携帯端末の操作又は読書等）を行うことができる。

例えば、図４に示したように、ＥＣＵ１０が自動運転制御を実行している間、運転者ＤＲが携帯端末１１０を操作する場合がある。このような状況において、ＥＣＵ１０は、携帯端末１１０と協働して、特定のサービスを提供する。本例において、運転操作交代要求が発生した場合に運転者がすぐに運転操作を引き継げるように、ＥＣＵ１０は、運転者ＤＲが覚醒状態であるか否かを判定するサービスを提供する。運転者ＤＲが覚醒状態でない場合、ＥＣＵ１０は、運転者への注意喚起を行う。これにより、運転者ＤＲを覚醒状態へ復帰させることができる。

具体的には、ＥＣＵ１０は、自動運転制御の実行中において、携帯端末１１０において取得された情報を用いて、運転者ＤＲが覚醒状態であるか否かを判定する。以降において、このような処理は、「覚醒状態判定処理」と称呼される。更に、携帯端末１１０において取得された情報は、「端末側情報」と称呼される。

上記の構成のために、図３に示すように、携帯端末１１０の不揮発性メモリ３０３は、運転者監視アプリケーション３１１を格納している。運転者監視アプリケーション３１１は、運転者ＤＲの状態を監視する（モニタリング）するためのプログラムである。

ＣＰＵ３０１は、運転者監視アプリケーション３１１を実行して、覚醒状態判定処理に使用するための情報を取得するとともに、当該取得された情報を端末側情報として自動運転装置１００に送信する。具体的には、ＣＰＵ３０１は、フロントカメラ２０２から画像データ（以下、「第２画像」と称呼する。）を取得する。第２画像は、運転者ＤＲの顔を含む。ＣＰＵ３０１は、第２画像を端末側情報として自動運転装置１００に送信する。

ＥＣＵ１０は、通信ユニット８０を介して端末側情報を受信する。ＥＣＵ１０は、第２画像に基づいて覚醒状態判定処理を実行する。具体的には、ＥＣＵ１０は、公知の手法に従って、運転者ＤＲの覚醒度合を判定する。本例において、覚醒度合は、第１度合、第２度合、及び、第３度合を含む。第１度合は、運転者ＤＲが覚醒状態であることを表す。第２度合は、運転者ＤＲが居眠り状態ではないが、運転者ＤＲが眠気を感じている状態であることを表す。第３度合は、運転者ＤＲが居眠り状態であることを表す。

例えば、覚醒度合は、閉眼率、まばたきの頻度、開眼の状態（上瞼と下瞼との間の距離）、眼球運動、及び、あくび行動の有無等のうちの少なくとも１つに基づいて判定される。以下、閉眼率について簡単に説明する。

ＥＣＵ１０は、第２画像を眼検出用の識別器に入力するか、又は、第２画像上でテンプレートマッチングを行うことにより、第２画像から運転者ＤＲの眼を抽出する。ＥＣＵ１０は、例えば、抽出された眼の部分の縦横比に基づいて、眼が閉じているかを判定する。ＥＣＵ１０は、所定時間内で眼が閉じている時間の割合を閉眼率として演算する。閉眼率が第１閾値以下である場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第１度合であると判定する。閉眼率が第１閾値よりも大きく且つ第２閾値以下である場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第２度合であると判定する。閉眼率が第２閾値よりも大きい場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第３度合であると判定する。

ＥＣＵ１０は、運転者ＤＲの覚醒度合が第３度合であると判定した場合、報知装置５１に所定の注意喚起処理を実行させる。具体的には、ＥＣＵ１０は、メータＥＣＵ５０を用いて、ブザーを鳴動させるとともに、表示装置にウォーニングランプを表示させる。

なお、覚醒状態判定処理に使用される端末側情報は、第２画像に限定されない。ＣＰＵ３０１は、携帯端末１１０における操作情報（ディスプレイ２０１上でのタッチ操作及び／又は各種ボタンに対する操作）、及び／又は、携帯端末１１０における加速度情報を端末側情報として取得して、自動運転装置１００に送信してもよい。ＥＣＵ１０は、これらの情報を用いて、覚醒状態判定処理を実行してもよい。

（作動の概要）
車両ＶＡには、運転者ＤＲ以外の乗員も存在する場合がある。例えば、後部座席に乗員が存在すると仮定する。以降において、運転者ＤＲが携帯する携帯端末１１０を「第１携帯端末１１０Ａ」と称呼し、後部座席の乗員が携帯する携帯端末１１０を「第２携帯端末１１０Ｂ」と称呼する場合がある。なお、第１携帯端末１１０Ａと第２携帯端末１１０Ｂとを区別する必要がない場合、これらをまとめて「携帯端末１１０」と称呼する。

第１携帯端末１１０Ａ及び第２携帯端末１１０Ｂが、それぞれ、無線通信を介してＥＣＵ１０と接続されたと仮定する。この状況においてＥＣＵ１０が覚醒状態判定処理を実行する場合、ＥＣＵ１０は、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定（特定）する必要がある。

そこで、ＥＣＵ１０は、ドライバモニタカメラ７５によって取得された第１画像と、携帯端末１１０のフロントカメラ２０２によって取得された第２画像とを比較する比較処理を実行することによって、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定する。以降において、このような処理は、「端末判定処理」と称呼される。

本例において、比較処理は、第１画像において認識された顔と、第２画像において認識された顔とを比較する処理である。

上記の構成のために、図３に示すように、携帯端末１１０の不揮発性メモリ３０３は、端末判定アプリケーション３１２を格納している。端末判定アプリケーション３１２は、第２画像を取得するためのプログラムである。

ＥＣＵ１０は、ドライバモニタカメラ７５から第１画像を取得する。一方、携帯端末１１０のＣＰＵ３０１は、端末判定アプリケーション３１２を実行して、第２画像を端末側情報として自動運転装置１００に送信する。ＥＣＵ１０は、第２画像を端末側情報として受信する。

ＥＣＵ１０は、以下のように端末判定処理を実行する。ＥＣＵ１０は、第１画像に含まれる顔の特徴的要素（特徴点）を抽出する。本例において、特徴的要素は、顔を構成する部位の中心点及び／又は端点の位置関係を含む。顔を構成する部位は、眼、眉毛、鼻及び口等を含み、以降において、単に「顔部位」と称呼される。別の例において、特徴的要素は、顔部位の大きさ、及び／又は、顔部位の縦横比等を含んでもよい。更に別の例において、特徴的要素は、顔部位の中心点及び／又は端点同士を接続する直線の長さ、又は、それら直線の中から抽出された２つの直線がなす角度であってもよい。同様に、ＥＣＵ１０は、第２画像に含まれる顔の特徴的要素を抽出する。

ＥＣＵ１０は、比較処理として、第１画像から抽出された特徴的要素（以下、「第１特徴的要素」と称呼する。）と、第２画像から抽出された特徴的要素（以下、「第２特徴的要素」と称呼する。）とを比較する。第１特徴的要素と第２特徴的要素との一致度合が所定の度合よりも大きい場合、ＥＣＵ１０は、その第２画像を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａであると判定する。

例えば、第１画像が、図５に示す第１画像５００であり、第２画像が、図６に示す第２画像６００であると仮定する。第２画像６００は、第１携帯端末１１０Ａにより取得された画像である。この場合、第１特徴的要素と第２特徴的要素との一致度合が所定の度合よりも大きいので、ＥＣＵ１０は、第２画像６００を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａであると判定する。このように運転者ＤＲの第１携帯端末１１０Ａを判定した以降において、ＥＣＵ１０は、第１携帯端末１１０Ａから端末側情報（第２画像）を引き続き取得して、覚醒状態判定処理を実行する。

一方で、後部座席の乗員の第２携帯端末１１０Ｂが第２画像を自動運転装置１００に送信したと仮定する。この場合、第１特徴的要素と第２特徴的要素との一致度合が所定の度合以下になるので、ＥＣＵ１０は、その第２画像を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａではないと判定する。この判定以降において、ＥＣＵ１０は、第２携帯端末１１０Ｂから端末側情報（第２画像）を取得しない。

（作動例）
図７を参照しながら具体的な処理の流れについて説明する。なお、上述と同様に、運転席に運転者が存在し、且つ、後部座席に乗員が存在する例を用いて説明する。

運転者ＤＲが車両ＶＡの運転席に乗車し、乗員が車両ＶＡの後部座席に乗車する。ＥＣＵ１０と第１携帯端末１１０Ａとの間の近距離無線通信が開始される。これに応じて、第１携帯端末１１０Ａは、端末判定アプリケーション３１２を起動する（ステップ７０１）。更に、ＥＣＵ１０と第２携帯端末１１０Ｂとの間の近距離無線通信が開始される。これに応じて、第２携帯端末１１０Ｂは、端末判定アプリケーション３１２を起動する（ステップ７０１）。

第１携帯端末１１０Ａは、端末側情報（第２画像）をＥＣＵ１０に送信する（ステップ７０２）。更に、第２携帯端末１１０Ｂは、端末側情報（第２画像）をＥＣＵ１０に送信する（ステップ７０３）。

ＥＣＵ１０は、上述のように、端末判定処理を実行する（ステップ７０４）。具体的には、ＥＣＵ１０は、ドライバモニタカメラ７５から第１画像を取得する。ＥＣＵ１０は、第１画像から抽出された第１特徴的要素と、第１携帯端末１１０Ａの第２画像から抽出された第２特徴的要素とを比較する比較処理を実行する。更に、ＥＣＵ１０は、第１画像から抽出された第１特徴的要素と、第２携帯端末１１０Ｂの第２画像から抽出された第２特徴的要素とを比較する比較処理を実行する。結果として、ＥＣＵ１０は、第１携帯端末１１０Ａが運転者ＤＲの携帯端末であると判定する。一方、ＥＣＵ１０は、第２携帯端末１１０Ｂが運転者ＤＲの携帯端末でないと判定する。

その後、運転者ＤＲが車両ＶＡを運転する。車両ＶＡが、速度閾値ＳＰＤｔｈ以下の車速ＳＰＤで自動車専用道路を走行している。この状況において、運転者ＤＲが自動運転スイッチ８１を押下する。ＥＣＵ１０は、自動運転実行条件が成立したと判定し、自動運転制御（レベル３）を開始する（ステップ７０５）。ＥＣＵ１０は、起動指示信号を第１携帯端末１１０Ａに対してのみ送信する（ステップ７０６）。起動指示信号は、運転者監視アプリケーション３１１の起動を指示する信号である。第２携帯端末１１０Ｂは、運転者ＤＲの携帯端末ではないので、ＥＣＵ１０は、起動指示信号を第２携帯端末１１０Ｂに対して送信しない。第１携帯端末１１０Ａは、起動指示信号に応じて、運転者監視アプリケーション３１１を起動する（ステップ７０７）。

第１携帯端末１１０Ａは、所定時間ｄＴが経過する毎に、端末側情報（第２画像）をＥＣＵ１０に送信する（ステップ７０８）。ＥＣＵ１０は、所定時間ｄＴが経過する毎に、端末側情報（第２画像）を用いて、覚醒状態判定処理を実行する（ステップ７０９）。ステップ７０８及びステップ７０９の処理は、自動運転制御が終了するまで繰り返し実行される。

その後、上述した自動運転終了条件が成立する。ＥＣＵ１０は、自動運転制御を終了させる（ステップ７１０）。そして、ＥＣＵ１０は、終了指示信号を第１携帯端末１１０Ａに送信する（ステップ７１１）。終了指示信号は、運転者監視アプリケーション３１１の終了を指示する信号である。第１携帯端末１１０Ａは、終了指示信号に応じて、運転者監視アプリケーション３１１を終了させる（ステップ７１２）。

以上の構成を備える携帯端末判定システムは、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定（特定）することができる。これにより、ＥＣＵ１０は、運転者ＤＲに対して各種サービス（覚醒状態判定処理及び注意喚起処理）を提供することができる。

なお、比較処理は、第１画像において認識された乗員の挙動と、第２画像において認識された乗員の挙動とを比較する処理であってもよい。ここで、「乗員の挙動」とは、乗員の上半身の向き及び／又は動きである。「乗員の挙動」は、顔の向き及び動き、並びに、顔部位の向き及び動きを含む。乗員の挙動として「顔の向き」が使用される例について説明する。第１画像において認識された乗員の顔の向きと、第２画像において認識された乗員の顔の向きとが一致する場合、ＥＣＵ１０は、その第２画像を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａであると判定する。

比較処理は、第１画像における輝度の変化と、第２画像における輝度の変化とを比較する処理であってもよい。この構成において、照明部７６（例えば、ＬＥＤ。図４を参照。）が、ドライバモニタカメラ７５の近傍で且つ運転席に向けて設けられる。照明部７６は、運転席に向けて光を放射するように構成される。ＥＣＵ１０は、端末判定処理を開始すると、照明部７６を作動させる。これにより、運転者ＤＲの顔が光により照らされる。第１画像における輝度が大きくなるとともに、第１携帯端末１１０Ａの第２画像における輝度も大きくなる。そして、第１画像における輝度と第１携帯端末１１０Ａの第２画像における輝度の両方が所定の輝度範囲内になる。これを考慮して、第１画像における輝度と第２画像における輝度の両方が所定の輝度範囲内になる場合、ＥＣＵ１０は、その第２画像を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａであると判定する。

一方で、第２携帯端末１１０Ｂを携帯する後部座席の乗員は光に照らされないので、第２携帯端末１１０Ｂの第２画像における輝度は小さい。即ち、第１画像における輝度は所定の輝度範囲内になるものの、第２携帯端末１１０Ｂの第２画像における輝度は所定の輝度範囲よりも小さくなる。これを考慮して、第２画像における輝度が所定の輝度範囲外となる場合、ＥＣＵ１０は、その第２画像を送信した携帯端末が運転者ＤＲの第１携帯端末１１０Ａではないと判定する。

なお、端末判定処理において、第１携帯端末１１０Ａの照明部２０３及び第２携帯端末１１０Ｂの照明部２０３が作動されてもよい。この場合、ＥＣＵ１０は、第１携帯端末１１０Ａの照明部２０３の光の強さと第２携帯端末１１０Ｂの照明部２０３の光の強さとが異なるように、第１携帯端末１１０Ａ及び第２携帯端末１１０Ｂに対して指示を送信する。これにより、ＥＣＵ１０は、第１画像における輝度の変化と第２画像における輝度の変化との差に基づいて、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定できる。

上述した比較処理の２つ以上が適宜組み合わされてもよい。

比較処理は、第２画像と予め設定された基準画像とを比較する処理であってもよい。基準画像は、端末判定処理を実行する前の任意のタイミングにてドライバモニタカメラ７５によって取得された第１画像である。

車両ＶＡを利用する複数の乗員と、各乗員の携帯端末を識別する識別子との組み合わせが、不揮発性メモリ１０ｅに登録されていてもよい。この場合、不揮発性メモリ１０ｅは、各乗員の運転スケジュールの情報を更に含んでもよい。ＥＣＵ１０は、運転スケジュールに従って、どの乗員が運転席に座っているかを判定し、その乗員に対応する携帯端末が運転者の携帯端末であると判定してもよい。

＜第２実施形態＞
次に、第２実施形態に係る携帯端末判定システムについて説明する。本実施形態において、端末判定アプリケーション３１２は、車両ＶＡに搭載された第１通信部と、携帯端末１１０の通信部２０４との通信状況に関する情報を取得する。携帯端末１１０は、当該通信状況に関する情報をＥＣＵ１０に送信する。ＥＣＵ１０は、通信状況に関する情報に基づいて、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定する。

本例において、第１通信部は、運転席の近傍に設置された近距離通信部４０１（図４を参照。）である。近距離通信部４０１は、操舵ハンドルＳＷに組み込まれている。近距離通信部４０１は、携帯端末との間でＮＦＣによる無線通信を行うことができる機器である。ＮＦＣは、１３．５６ＭＨｚ帯の周波数を使った無線通信技術であり、その通信距離範囲は１０ｃｍ程度である。運転者ＤＲの第１携帯端末１１０Ａは、ＮＦＣの通信距離範囲内に高い確率で入ると考えられる。携帯端末１１０は、近距離通信部４０１と通信部２０４との通信状況に関する情報（即ち、無線通信が確立しているか否かを示す情報）をＥＣＵ１０に送信する。ＥＣＵ１０は、近距離通信部４０１との間で無線通信が確立されている携帯端末は運転者ＤＲの第１携帯端末１１０Ａであると判定する。

一方で、後部座席の乗員が携帯する第２携帯端末１１０Ｂは、ＮＦＣの通信距離範囲内に入らない。ＥＣＵ１０は、近距離通信部４０１との間で無線通信が確立されていない携帯端末は運転者ＤＲの第１携帯端末１１０Ａではないと判定できる。

以上の構成を備える携帯端末判定システムは、第１通信部（近距離通信部４０１）と携帯端末１１０との通信状況に関する情報に基づいて、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定（特定）することができる。

第１通信部は、車両ＶＡ内において離れて設置された複数の近距離通信部を含んでもよい。この場合、複数の近距離通信部は、第１近距離通信部と第２近距離通信部とを少なくとも含む。第１近距離通信部及び第２近距離通信部は、それぞれ、携帯端末１１０との間でブルートゥース（登録商標）による無線通信を行うことができる機器である。第１近距離通信部は運転席の近傍に設置され、第２近距離通信部は後部座席に設置されている。第１近距離通信部及び第２近距離通信部は、それぞれ、携帯端末１１０の通信部２０４から送信された信号の受信強度を測定する。第１近距離通信部及び第２近距離通信部は、それぞれ、ＥＣＵ１０に対して、受信強度に関する情報を送信する。ＥＣＵ１０は、受信強度の差に基づいて、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定する。例えば、第１近距離通信部及び第２近距離通信部が、それぞれ、第１携帯端末１１０Ａの通信部２０４から信号を受信すると、第１近距離通信部において受信した信号の受信強度は大きく、第２近距離通信部において受信した信号の受信強度は小さい。一方で、第１近距離通信部及び第２近距離通信部が、それぞれ、第２携帯端末１１０Ｂの通信部２０４から信号を受信すると、第１近距離通信部において受信した信号の受信強度は小さく、第２近距離通信部において受信した信号の受信強度は大きい。ＥＣＵ１０は、上記のような受信強度の差に基づいて、どの携帯端末が運転者ＤＲの第１携帯端末１１０Ａであるかを判定できる。

なお、本開示は上記実施形態に限定されることはなく、本開示の範囲内において種々の変形例を採用することができる。

ＥＣＵ１０と携帯端末１１０との間に他のＥＣＵが配置されてもよい。当該ＥＣＵが、端末判定処理及び覚醒状態判定処理を実行してもよい。

ＥＣＵ１０が、第１画像を第１携帯端末１１０Ａ及び第２携帯端末１１０Ｂに送信してもよい。この場合、第１携帯端末１１０Ａ及び第２携帯端末１１０Ｂのそれぞれが、端末判定処理を実行する。第１携帯端末１１０Ａ及び第２携帯端末１１０Ｂのそれぞれが、端末判定処理の判定結果を自動運転装置１００（即ち、ＥＣＵ１０）に送信してもよい。

なお、端末判定処理は、覚醒状態判定処理以外の他のサービスに適用されてもよい。従って、端末判定処理が実行されるタイミングは、自動運転制御の実行される前に限定されず、実施されるサービスの開始前であればよい。

１０…自動運転ＥＣＵ、２０…エンジンＥＣＵ、３０…ブレーキＥＣＵ、４０…ステアリングＥＣＵ、５０…メータＥＣＵ、６０…ナビゲーションＥＣＵ、１００…自動運転装置、１１０…携帯端末。

Claims (5)

1. 車両に搭載され、前記車両の運転者を撮像する第１撮像部と、
   第２撮像部を備える携帯端末と、
   前記第１撮像部によって取得された第１画像と、前記第２撮像部によって取得された第２画像とを比較する比較処理を実行することによって、前記携帯端末が前記運転者の携帯端末であるかを判定するように構成された制御装置と、
   を備える携帯端末判定システム。
2. 請求項１に記載の携帯端末判定システムにおいて、
   前記比較処理は、
   前記第１画像において認識された顔と、前記第２画像において認識された顔とを比較する処理、
   前記第１画像において認識された乗員の挙動と、前記第２画像において認識された乗員の挙動とを比較する処理、及び、
   前記第１画像における輝度の変化と、前記第２画像における輝度の変化とを比較する処理、
   の少なくとも１つを含む、
   携帯端末判定システム。
3. 車両に搭載された第１通信部と、
   第２通信部を備える携帯端末と、
   前記第１通信部と前記第２通信部との間の通信状況に基づいて、前記携帯端末が運転者の携帯端末であるかを判定するように構成された制御装置と、
   を備える携帯端末判定システム。
4. 請求項３に記載の携帯端末判定システムにおいて、
   前記第１通信部は、運転席の近傍に設置された近距離通信部である、
   携帯端末判定システム。
5. 請求項３に記載の携帯端末判定システムにおいて、
   前記第１通信部は、前記車両内において離れて設置された複数の近距離通信部を含み、
   前記複数の近距離通信部のそれぞれは、前記第２通信部から送信された信号の受信強度を測定し、
   前記制御装置は、前記複数の近距離通信部における前記受信強度の差に基づいて、前記携帯端末が運転者の携帯端末であるかを判定するように構成された、
   携帯端末判定システム。
   
   

Images