JP2018073339A - 事故防止対策機能を備えた携帯型の電子機器 - Google Patents

Abstract

【課題】飛行機、船舶、列車、自動車等の移動体の操縦者、操船者、運転者等が停止中以外の状態の時に、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の電子機器の使用による余所見や脇見が原因で重大な事故が増加しており大きな社会問題となっている。【解決手段】GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出することができ、カメラで使用者の顔や眼球等を撮影して画像処理で使用者の注視点を検出および解析することで使用者が移動体の運転者であるかを判別できる。使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる。【選択図】図１

Description

この発明は、飛行機、船舶、列車、自動車等（以下、これらを「移動体」と記載）で携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等（以下、これらの機器を「電子機器」と記載）を使用している場合において、GPS等の位置検出装置によって移動速度を算出し、カメラで使用者の顔や眼球等を撮影してその映像を画像処理して解析することで使用者の注視点を検出し、それらの情報により電子機器の使用者が移動体を操縦、操船、運転（以下、これらの行為を「運転」と記載）している当事者（以下、移動体を操縦、操船または運転している者を「運転者」と記載）であるかを判別することができ、使用者が運転者かつ運転中と確定した場合には電子機器の強制的な機能制限や動作停止等の事故防止対策が実行されて重大な事故を未然に防ぐことができる電子機器の使用者の注視点検出および位置検出を利用した事故防止機能である。

従来技術では、GPS等の位置検出装置は主に現在地を検出し地図上に現在地を表示して位置確認をするもの、目的地までの誘導を行うナビゲーションシステムに利用されている。その中には位置情報を利用して移動速度を算出するものもあることから、この仕組みを図２により説明する。位置検出装置２１で検出された位置情報は移動速度算出手段２２に読み込まれ、移動速度算出手段２２は計算機２３を制御し移動速度を算出して表示器２４に結果を表示する。一般的に移動速度は、移動速度（km/h）＝移動距離(km)÷移動時間(h)の計算式で算出される。この様に従来技術による装置では、GPS等の位置検出装置より得た位置情報より移動速度を算出して、１つの情報として表示するだけの方法である。

特開２００９−１９８３９１

現在、移動体の運転時において特に自動車の走行中に運転者が電子機器を使用してのメール作成や送受信、通話や通信、電子機器の操作、アプリの使用などの行為による余所見や脇見が原因で重大な交通事故が増加しており大きな社会問題となっている。従来の方法では、GPS等の位置検出装置で使用者の持っている電子機器の移動速度を算出することができることから使用者が移動体で移動していることは識別できるが、電子機器の使用者が移動体の運転者であることを判別することが不可能なことから、電子機器の強制的な機能制限や動作停止等の事故防止対策を実行することができず重大な事故を未然に防ぐことができなかった。

この発明は、従来の方法と同様にGPS等の位置検出装置４で電子機器の移動速度を算出することで歩行中または何かの移動体での移動であるかを識別し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者であることを判別することができるため、使用者が運転者かつ運転中と確定した場合には電子機器の強制的な機能制限や動作停止等の事故防止対策が実行されて重大な事故を未然に防ぐことができることを目的とする。

この目的を達成するために、電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の電子機器に組み込むことによって、飛行機、船舶、列車、自動車等の移動体の操縦者、操船者、運転者等が停止中以外の状態の時に、前記電子機器を使用した場合には、前記電子機器の事故防止対策を実行することで、運転者の電子機器使用による余所見や脇見が原因で発生している重大な事故を未然に防ぐことができる。

電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を前記電子機器に組み込むことによって、GPS等の位置検出装置で現在地を検出し、その現在地の位置情報に基づいて移動速度を算出することができる。

電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を前記電子機器に組み込むことによって、算出された移動速度の情報を解析して前記電子機器の使用者が歩行中または移動体での移動中であるかを識別できる。

電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を前記電子機器に組み込むことによって、カメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで、使用者の注視点検出ができる。

電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を前記電子機器に組み込むことによって、検出された注視点を解析することで、使用者が前記移動体の操縦者、操船者または運転者であることを判別できる。

電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を前記電子機器に組み込むことによって、前記電子機器が算出された移動速度の情報によって歩行中ではなく移動体で移動していることが識別され、かつ前記電子機器の使用者が前記移動体の操縦者、操船者または運転者であることを判別された場合には、前記電子機器の強制的な機能制限や動作停止等の事故防止対策を実行することができる。

この発明によれば、移動中の移動体の中で電子機器を使用する場合において、使用者の顔や眼球等を撮影するカメラ１、カメラ１によって撮影された使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する注視点検出手段２、GPS等の現在地を検出する位置検出装置４、位置検出装置４によって検出された現在地の情報によって移動速度を算出する移動速度算出手段５、注視点検出手段２によって検出された使用者の注視点および移動速度算出手段５によって算出された移動速度によって電子機器の使用者が運転者または運転者以外であるかを判別する使用者判別手段３、電子機器のハードウェア７を制御する設定ポートＩ／Ｏ６を備えることによって、使用者判別手段３が電子機器の使用者が運転者かつ運転中と確定した場合には電子機器の強制的な機能制限や動作停止等の事故防止対策が実行されて重大な事故を未然に防ぐことができる。

この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の構成図である。 従来技術によるGPS等の位置検出装置を利用した電子機器の構成図である。 この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の移動速度算出手段５の動作手順を説明するフローチャートである。 この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の注視点検出手段２の動作手順を説明するフローチャートである。 この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の使用者判別手段３の動作手順を説明するフローチャートである。 この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図である。 この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の使用者判別手段３の使用者の判別を行う基準となる走行中および停車中における運転者の注視点サンプルデータである。

この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の装置構成および動作手順を図１、図３、図４、図５、図６、図７により説明する。図１はこの発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能を動作させる電子機器の構成図であり、図３は移動速度算出手段５の動作手順を説明するフローチャートであり、図４は注視点検出手段２の動作手順を説明するフローチャートであり、図５は使用者判別手段３の動作手順を説明するフローチャートであり、図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、図７は使用者判別手段３の使用者の判別を行う基準となる走行中および停止中における運転手の注視点サンプルデータである。

図３の３１ではハードウェア７の内部タイマーに設定した時間経過後に割り込み処理が発生して、３２で移動速度算出手段５の処理が開始する。３３で位置検出装置４から現在地の位置情報を読み込み、３４で移動速度の算出を行う。一般的には移動速度(km/h)＝移動距離(km)÷移動時間(h)で算出されるが、精度や誤差などの問題で不適切な位置情報のデータが多い場合には移動平均処理等の手法によって不適切な位置情報のデータの影響を受けない様に工夫して移動速度を算出する。３５では算出した移動速度情報を使用者判別手段３に出力し、３６で移動速度算出手段５の処理を終了する。

図４の４１ではハードウェア７の内部タイマー装置に設定した時間経過後に割り込み処理が発生して、４２で注視点検出手段２の処理が開始する。図４の注視点検出手段２でも図３の移動速度算出手段５の処理と同様にハードウェア７の内部タイマー装置を利用して割り込み処理を行っているが、注視点検出手段２および移動速度算出手段５の処理を行う専用のハードウェアやチップを有せずソフトウェアのプログラムで処理を実現する場合には、処理時間を占有されることを避けるためにハードウェア７の内部タイマー装置を利用して割り込み発生時に処理を行う方法が適している。次に４３ではカメラ１で撮影した使用者の顔や眼球等の映像データを入力して、４４で画像処理を行い、４５では従来技術による画像解析を利用して顔検出や眼球検出等を行って使用者の注視点を検出する。但し、この場合には電子機器の画面上の注視点を正確に検出する精度や分解能は求められず、使用者が電子機器の画面内と画面外のどちらを見ているかを見分けられるくらいの精度で注視点を検出できる従来技術を利用すれば十分である。４５で検出された注視点情報は４６で使用者判別手段３に出力し、４７で注視点検出手段２の処理が終了する。

図５の５１で使用者判別手段３の処理を開始すると、５２で移動速度算出手段５より移動速度情報を入力し、５３で予め決めてある設定速度未満での移動は歩行中と見なして５７で処理を終了するが、設定速度以上で移動している場合は移動体での移動中と判断して、５４で注視点検出手段２より注視点情報を入力する。５５で電子機器の使用者が運転者または運転者以外かを判別するが、この判別の手法については下記に詳細を記載する。運転者以外と判別された場合は５７で処理を終了するが、運転者と判別された場合には、５６で電子機器の強制的な機能制限や動作停止等の事故防止対策を実行するため、ハードウェア７の設定ポートであるＩ／Ｏ６に制御情報を出力してハードウェア７を制御する。

図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、電子機器の使用者が自動車の運転席に座った時の前方の図である。スマートフォンはステアリング６４の上部手前のスマートフォンの設置位置６３に配置し、前方にフロントカラス６２を介して車外が見える状態である。使用者の注視点を検出した場合の注視点はスマートフォンの画面左上の基準座標６５を（X、Y）＝（０，０）としてＸ座標とＹ座標のデータとして取得する。測定に利用したスマートフォンは、１３３４（Y)×７５０（X）ピクセルであることから、画面外のＹ座標６６の位置に注視点がある場合は注視点のＹ座標＜０、画面外のＸ座標（１）６７の位置に注視点がある場合は注視点のＸ座標＜０または画面外のＸ座標（２）６８の位置に注視点がある場合は注視点のＸ座標＞７５０となる。走行中に電子機器を使用している運転手の注視点が画面外に外れる場合は必フロントガラス６２の先の前方の確認することは必至であることから、注視点のＹ座標＜０となる状態を解析することによって電子機器の使用者が運転者または運転者以外であると判断ができる。

図７の（Ａ）停車中の運転者の注視点サンプルデータでは、図6の運転席に座った運転者が停車してスマートフォンを操作している時に測定した注視点データである。停車中の運転者の注視点Ｙ座標７１と停車中の運転者の注視点Ｘ座標７２を確認すると運転者は使用しているスマートフォンの画面を殆どの時間注視していることがわかる。しかし、（Ｂ）走行中の運転者の注視点サンプルデータでは、走行中の運転者の注視点Ｙ座標７３からわかる様にスマートフォンを使用しながら頻繁に進行方向の前方を見ていることから、図６の画面外のＹ座標６６の位置に注視点が移動しているため、注視点のＹ座標＜０となっている部分が非常に多く、数秒間内に短時間で何回もスマートフォンの画面と図６の画面外のＹ座標６６の位置である進行方向の前方を注視点が常に往復している状態であることがわかる。この結果より、注視点検出手段２により検出した注視点情報の注視点Ｙ座標に着目し、数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などのデータを分析することによってスマートフォンの使用者が運転者または運転者以外であるかを容易に判別することができる。

これによって、この発明による電子機器の使用者の注視点検出および位置検出を利用した事故防止機能では、従来の方法と同様にGPS等の位置検出装置４で電子機器の移動速度を算出することで歩行中または何かの移動体での移動中であるかを識別し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者または運転者以外であるかを判別することができるため、使用者が運転者かつ運転中と確定した場合には電子機器の強制的な機能制限や動作停止等の事故防止対策を実行することで重大な事故を未然に防ぐことができることは明らかである。

１ カメラ
２ 注視点検出手段
３ 使用者判別手段
４ 位置検出装置
５ 移動速度算出手段
６ Ｉ／Ｏ
７ ハードウェア

この発明は、飛行機、船舶、列車、自動車、自動二輪車、自転車等（以下、これらを「移動体」と記載）で携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等（以下、これらの機器を「電子機器」と記載）を使用している場合において、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、カメラで使用者の顔や眼球等を撮影してその映像を画像処理して解析することで使用者の注視点を検出し、それらの情報により電子機器の使用者が移動体を操縦、操船、運転（以下、これらの行為を「運転」と記載）している当事者（以下、移動体を操縦、操船または運転している者を「運転者」と記載）であるかを判別することができ、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器である。

従来技術では、GPS等の位置検出装置は主に現在地を検出し地図上に現在地を表示して位置確認をするもの、目的地までの誘導を行うナビゲーションシステムに利用されている。その中には位置情報を利用して移動速度を算出するものもあることから、この仕組みを図２により説明する。位置検出装置２１で検出された位置情報は移動速度算出手段２２に読み込まれ、移動速度算出手段２２は計算機２３を制御し移動速度を算出して表示器２４に結果を表示する。一般的に移動速度は、移動速度＝移動距離÷移動時間の計算式で算出される。

算出された移動速度を利用して、移動速度が一定速度以上の場合には電子機器の使用を行わない様に注意喚起するアプリケーションソフトや電子機器等も存在しているが、移動体の同乗者や乗客等の運転者以外であれば電子機器の使用は法律上かつ安全上は何ら問題がないため、使用者が運転者か運転者以外かの判別ができない以上は、事故防止のための強制的な機能制限や動作停止等の事故防止対策を実行することができず、注意喚起や移動速度の表示のみにとどまっている。この様に従来技術による装置では、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、１つの情報として表示するだけの方法である。

特開２００９−１９８３９１ 特表２０１３−５０６２０９

現在、移動体の運転時において特に自動車の走行中に運転者が電子機器を使用してのメール作成や送受信、通話やデータ通信、電子機器の操作、アプリの使用などの行為による余所見や脇見が原因で重大な交通事故が増加しており大きな社会問題となっている。従来の方法では、GPS等の位置検出装置から出力される位置情報で使用者の移動速度を算出することができることから使用者が移動体で移動していることは識別できるが、電子機器の使用者が移動体の運転者であることを判別することが不可能なことから、電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することができず重大な事故を未然に防ぐことができなかった。

この発明は、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで移動速度が設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者であることを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことを目的とする。

この目的を達成するために、飛行機、船舶、列車、自動車、自動二輪車、自転車等の移動体において、その操縦者、操船者、運転者等が停止中以外の状態の時に、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の電子機器を使用した場合には、電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することで、電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

GPS等の位置検出装置によって現在地を検出し、その現在地の位置情報に基づいて移動速度を算出できることができる。

算出された前記電子機器の使用者の移動速度が予め設定された設定速度未満または設定速度以上であることを判定できる。

カメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで、使用者の注視点検出ができる。

検出された使用者の注視点を解析することで、使用者が前記移動体の操縦者、操船者または運転者またはそれ以外であることを判別できる。

算出された移動速度が設定速度以上であると判定され、かつ前記電子機器の使用者が前記移動体の操縦者、操船者または運転者であることを判別された場合には、前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することができる。

この発明によれば、電子機器が使用されている場合において、使用者の顔や眼球等を撮影するカメラ１、カメラ１によって撮影された使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する注視点検出手段２、GPS等の現在地を検出する位置検出装置４、位置検出装置４によって検出された現在地の位置情報によって移動速度を算出する移動速度算出手段５、注視点検出手段２によって検出された使用者の注視点および移動速度算出手段５によって算出された移動速度によって電子機器の使用者が運転者または運転者以外であるかを判別する使用者判別手段３、電子機器のハードウェア７を制御する設定ポートＩ／Ｏ６を備えることによって、使用者判別手段３が電子機器の使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図である。 従来技術によるGPS等の位置検出装置を利用して移動速度を算出する電子機器の構成図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の移動速度算出手段５の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の注視点検出手段２の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる走行中および停車中における運転者の注視点サンプルデータである。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の装置構成および動作手順を図１、図３、図４、図５、図６、図７により説明する。図１はこの発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図であり、図３は移動速度算出手段５の動作手順を説明するフローチャートであり、図４は注視点検出手段２の動作手順を説明するフローチャートであり、図５は使用者判別手段３の動作手順を説明するフローチャートであり、図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、図７は使用者判別手段３の使用者の判別を行う基準となる走行中および停止中における運転手の注視点サンプルデータである。

図３の３１ではハードウェア７の内部タイマーに設定した時間経過後に割り込み処理が発生して、３２で移動速度算出手段５の処理が開始する。３３で位置検出装置４から現在地の位置情報を読み込み、３４で移動速度の算出を行う。移動速度は従来技術と同様の方法で算出でき、移動速度＝移動距離÷移動時間の計算式で算出される。３５では算出した移動速度情報を使用者判別手段３に出力し、３６で移動速度算出手段５の処理を終了する。

図４の４１ではハードウェア７の内部タイマー装置に設定した時間経過後に割り込み処理が発生して、４２で注視点検出手段２の処理が開始する。図４の注視点検出手段２でも図３の移動速度算出手段５の処理と同様に実施の一例としてハードウェア７の内部タイマー装置を利用してソフトウェアで割り込み処理を行っているが、注視点検出手段２および移動速度算出手段５の各処理を行う専用の電子回路や専用のＩＣチップを有せずソフトウェアで各処理を実現する場合には、ハードウェア７のＭＰＵ部の処理時間を占有することを避けるためにハードウェア７の内部タイマー装置を利用して割り込み発生時に各処理を行う方法が適している。次に４３ではカメラ１で撮影した使用者の顔や眼球等の映像データを入力して、４４で画像処理を行い、４５では従来技術のアルゴリズムにより画像処理を使用して使用者の注視点を検出する。但し、この場合では、検出した電子機器の画面上の注視点は、極端に高い検出精度や分解能を必要としないことから、電子機器に付属しているカメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する従来技術を利用することができる。４５で検出された注視点情報は４６で使用者判別手段３に出力し、４７で注視点検出手段２の処理が終了する。

図５の５１で使用者判別手段３の処理を開始すると、５２で移動速度算出手段５より移動速度情報を入力し、５３で予め設定してある設定速度未満で移動していると判定された場合は問題なしとして５７で処理を終了するが、設定速度以上で移動していると判定された場合は、５４で注視点検出手段２より注視点情報を入力する。５５で電子機器の使用者が運転者または運転者以外かを判別するが、この判別の手法については下記に詳細を記載する。運転者以外と判別された場合は５７で処理を終了するが、運転者と判別された場合には、５６で電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行するため、ハードウェア７の設定ポートであるＩ／Ｏ６に制御情報を出力してハードウェア７を制御する。但し、イヤフォン等を利用しての通話等の法律上かつ安全上は何ら問題のない使用方法または機能については、５６では処理の対象外として何も行わない。５７で使用者判別手段３の処理を終了する。また、図３の移動速度算出手段５、図４の注視点検出手段２および図５の使用者判別手段３については、電子機器内部の専用の電子回路や専用のＩＣチップ、ハードウェア７のＭＰＵ部等の計算機で動作している内部ソフトウェアまたはＯＳもしくはアプリケーションソフト等によって実現する。

図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、電子機器の使用者が自動車の運転席に座った時の前方の図である。スマートフォンはステアリング６４の上部手前のスマートフォンの設置位置６３に配置し、前方にフロントカラス６２を介して車外が見える状態である。使用者の注視点を検出した場合の注視点はスマートフォンの画面左上の基準座標６５を（X、Y）＝（０，０）としてＸ座標とＹ座標のデータとして取得する。測定に利用したスマートフォンは、１３３４（Y)×７５０（X）ピクセルであることから、画面外のＹ座標６６の位置に注視点がある場合は注視点のＹ座標＜０、画面外のＸ座標（１）６７の位置に注視点がある場合は注視点のＸ座標＜０または画面外のＸ座標（２）６８の位置に注視点がある場合は注視点のＸ座標＞７５０となる。走行中に電子機器を使用している運転手の注視点が画面外に外れる場合はフロントガラス６２の先の前方の確認することは必至であることから、注視点は画面外のＹ座標６６の位置にあり即ち注視点のＹ座標＜０となる状態を解析することによって電子機器の使用者が運転者または運転者以外であると判別することができる。

図７の（Ａ）停車中の運転者の注視点サンプルデータでは、図6の運転席に座った運転者が停車してスマートフォンを操作している時に測定した注視点データである。停車中の運転者の注視点Ｙ座標７１と停車中の運転者の注視点Ｘ座標７２を確認すると運転者は使用しているスマートフォンの画面を殆どの時間注視していることがわかる。しかし、（Ｂ）走行中の運転者の注視点サンプルデータでは、走行中の運転者の注視点Ｙ座標７３からわかる様にスマートフォンを使用しながら頻繁に進行方向の前方を見ていることから、図６の画面外のＹ座標６６の位置に注視点が移動しているため、注視点のＹ座標＜０となっている部分が非常に多く、数秒間内に短時間で何回もスマートフォンの画面と図６の画面外のＹ座標６６の位置である進行方向の前方を注視点が常に往復している状態であることがわかる。この結果より、注視点検出手段２により検出した注視点情報の注視点Ｙ座標に着目し、数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などのデータを分析することによってスマートフォンの使用者が運転者または運転者以外であるかを容易に判別することができる。

これによって、この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器では、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで基準となる設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者または運転者以外であるかを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができることは明らかである。

１ カメラ
２ 注視点検出手段
３ 使用者判別手段
４ 位置検出装置
５ 移動速度算出手段
６ Ｉ／Ｏ
７ ハードウェア

この発明は、飛行機、船舶、列車、自動車等（以下、これらを「移動体」と記載）で携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等（以下、これらの機器を「電子機器」と記載）を使用している場合において、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、カメラで使用者の顔や眼球等を撮影してその映像を画像処理して解析することで使用者の注視点を検出し、それらの情報により電子機器の使用者が移動体を操縦、操船、運転（以下、これらの行為を「運転」と記載）している当事者（以下、移動体を操縦、操船または運転している者を「運転者」と記載）であるかを判別することができ、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器である。

従来技術では、GPS等の位置検出装置は主に現在地を検出し地図上に現在地を表示して位置確認をするもの、目的地までの誘導を行うナビゲーションシステムに利用されている。その中には位置情報を利用して移動速度を算出するものもあることから、この仕組みを図２により説明する。位置検出装置２１で検出された位置情報は移動速度算出手段２２に読み込まれ、移動速度算出手段２２は計算機２３を制御し移動速度を算出して表示器２４に結果を表示する。一般的に移動速度は、移動速度＝移動距離÷移動時間の計算式で算出される。この様に従来技術による装置では、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、１つの情報として表示するだけの方法である。

特開２００９−１９８３９１ 特表２０１３−５０６２０９

現在、移動体の運転時において特に自動車の走行中に運転者が電子機器を使用してのメール作成や送受信、通話やデータ通信、電子機器の操作、アプリの使用などの行為による余所見や脇見が原因で重大な交通事故が増加しており大きな社会問題となっている。従来の方法では、GPS等の位置検出装置から出力される位置情報で使用者の移動速度を算出することができることから使用者が移動体で移動していることは識別できるが、電子機器の使用者が移動体の運転者であることを判別することが不可能なことから、電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することができず重大な事故を未然に防ぐことができなかった。

この発明は、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで移動速度が設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者であることを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことを目的とする。

この目的を達成するために、飛行機、船舶、列車、自動車等の移動体において、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の携帯型の電子機器に注視点検出手段と使用者判別手段を備え、前記使用者判別手段は前記注視点検出手段によって検出された使用者の注視点情報から前記電子機器においての数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などを分析することによって前記電子機器の使用者が前記移動体の操縦、操船または運転している当事者であるかの判別を行うことで、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記注視点検出手段は、カメラで撮影した使用者の顔や眼球等の映像を画像処理そして解析して前記電子機器の使用者の注視点検出を行うことで、前記使用者判別手段は前記電子機器の使用者が前記移動体を運転している前記当事者であることを判別ができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記使用者判別手段は、移動速度算出手段によって算出された前記電子機器の使用者の移動速度情報に基づいて、予め設定された設定速度以上で移動しているかの判定を行うことで、前記使用者判別手段は前記電子機器の使用者が移動中であることを判定することができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記移動速度算出手段は、GPS等の位置検出装置によって現在地を検出し、その現在地の位置情報に基づいて前記移動体の移動速度を算出することで、前記使用者判別手段は前記電子機器の使用者が予め設定された設定速度以上で移動していることを判定することができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記電子機器は、前記カメラ、前記位置検出装置、前記注視点検出手段、前記移動速度算出手段、前記使用者判別手段を前記電子機器自身に備えていることで、前記電子機器単体のみで前記電子機器の使用者が予め設定された設定速度以上で移動していることを判定および前記電子機器の使用者が前記移動体を運転している前記当事者であることを判別ができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記使用者判別手段は、前記移動速度算出手段によって算出された前記電子機器の使用者の移動速度が予め設定された設定速度以上であると判定し、かつ前記注視点検出手段によって検出された注視点情報の分析により前記当事者であることを判別した場合には前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することで、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

この発明によれば、電子機器が使用されている場合において、使用者の顔や眼球等を撮影するカメラ１、カメラ１によって撮影された使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する注視点検出手段２、GPS等の現在地を検出する位置検出装置４、位置検出装置４によって検出された現在地の位置情報によって移動速度を算出する移動速度算出手段５、注視点検出手段２によって検出された使用者の注視点および移動速度算出手段５によって算出された移動速度によって電子機器の使用者が運転者または運転者以外であるかを判別する使用者判別手段３、電子機器のハードウェア７を制御する設定ポートＩ／Ｏ６を備えることによって、使用者判別手段３が電子機器の使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図である。 従来技術によるGPS等の位置検出装置を利用して移動速度を算出する電子機器の構成図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の移動速度算出手段５の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の注視点検出手段２の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる走行中および停車中における運転者の注視点サンプルデータである。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の装置構成および動作手順を図１、図３、図４、図５、図６、図７により説明する。図１はこの発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図であり、図３は移動速度算出手段５の動作手順を説明するフローチャートであり、図４は注視点検出手段２の動作手順を説明するフローチャートであり、図５は使用者判別手段３の動作手順を説明するフローチャートであり、図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、図７は使用者判別手段３の使用者の判別を行う基準となる走行中および停止中における運転手の注視点サンプルデータである。

図３の３１ではハードウェア７の内部タイマーに設定した時間経過後に割り込み処理が発生して、３２で移動速度算出手段５の処理が開始する。３３で位置検出装置４から現在地の位置情報を読み込み、３４で移動速度の算出を行う。移動速度は従来技術と同様の方法で算出でき、移動速度＝移動距離÷移動時間の計算式で算出される。３５では算出した移動速度情報を使用者判別手段３に出力し、３６で移動速度算出手段５の処理を終了する。

図４の４１ではハードウェア７の内部タイマー装置に設定した時間経過後に割り込み処理が発生して、４２で注視点検出手段２の処理が開始する。図４の注視点検出手段２でも図３の移動速度算出手段５の処理と同様に実施の一例としてハードウェア７の内部タイマー装置を利用してソフトウェアで割り込み処理を行っているが、注視点検出手段２および移動速度算出手段５の各処理を行う専用の電子回路や専用のＩＣチップを有せずソフトウェアで各処理を実現する場合には、ハードウェア７のＭＰＵ部の処理時間を占有することを避けるためにハードウェア７の内部タイマー装置を利用して割り込み発生時に各処理を行う方法が適している。次に４３ではカメラ１で撮影した使用者の顔や眼球等の映像データを入力して、４４で画像処理を行い、４５では従来技術のアルゴリズムにより画像処理を使用して使用者の注視点を検出する。但し、この場合では、検出した電子機器の画面上の注視点は、極端に高い検出精度や分解能を必要としないことから、電子機器に付属しているカメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する従来技術を利用することができる。４５で検出された注視点情報は４６で使用者判別手段３に出力し、４７で注視点検出手段２の処理が終了する。

図５の５１で使用者判別手段３の処理を開始すると、５２で移動速度算出手段５より移動速度情報を入力し、５３で予め設定してある設定速度未満で移動していると判定された場合は問題なしとして５７で処理を終了するが、設定速度以上で移動していると判定された場合は、５４で注視点検出手段２より注視点情報を入力する。５５で電子機器の使用者が運転者または運転者以外かを判別するが、この判別の手法については下記に詳細を記載する。運転者以外と判別された場合は５７で処理を終了するが、運転者と判別された場合には、５６で電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行するため、ハードウェア７の設定ポートであるＩ／Ｏ６に制御情報を出力してハードウェア７を制御する。

図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、電子機器の使用者が自動車の運転席に座った時の前方の図である。スマートフォンはステアリング６４の上部手前のスマートフォンの設置位置６３に配置し、前方にフロントカラス６２を介して車外が見える状態である。使用者の注視点を検出した場合の注視点はスマートフォンの画面左上の基準座標６５を（X、Y）＝（０，０）としてＸ座標とＹ座標のデータとして取得する。測定に利用したスマートフォンは、１３３４（Y)×７５０（X）ピクセルであることから、画面外のＹ座標６６の位置に注視点がある場合は注視点のＹ座標＜０、画面外のＸ座標（１）６７の位置に注視点がある場合は注視点のＸ座標＜０または画面外のＸ座標（２）６８の位置に注視点がある場合は注視点のＸ座標＞７５０となる。走行中に電子機器を使用している運転手の注視点が画面外に外れる場合はフロントガラス６２の先の前方の確認することは必至であることから、注視点は画面外のＹ座標６６の位置にあり即ち注視点のＹ座標＜０となる状態を解析することによって電子機器の使用者が運転者または運転者以外であると判別することができる。

図７の（Ａ）停車中の運転者の注視点サンプルデータでは、図6の運転席に座った運転者が停車してスマートフォンを操作している時に測定した注視点データである。停車中の運転者の注視点Ｙ座標７１と停車中の運転者の注視点Ｘ座標７２を確認すると運転者は使用しているスマートフォンの画面を殆どの時間注視していることがわかる。しかし、（Ｂ）走行中の運転者の注視点サンプルデータでは、走行中の運転者の注視点Ｙ座標７３からわかる様にスマートフォンを使用しながら頻繁に進行方向の前方を見ていることから、図６の画面外のＹ座標６６の位置に注視点が移動しているため、注視点のＹ座標＜０となっている部分が非常に多く、数秒間内に短時間で何回もスマートフォンの画面と図６の画面外のＹ座標６６の位置である進行方向の前方を注視点が常に往復している状態であることがわかる。この結果より、注視点検出手段２により検出した注視点情報の注視点Ｙ座標に着目し、数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などのデータを分析することによってスマートフォンの使用者が運転者または運転者以外であるかを容易に判別することができる。

これによって、この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器では、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで基準となる設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者または運転者以外であるかを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができることは明らかである。

１ カメラ
２ 注視点検出手段
３ 使用者判別手段
４ 位置検出装置
５ 移動速度算出手段
６ Ｉ／Ｏ
７ ハードウェア

この発明は、飛行機、船舶、列車、自動車等（以下、これらを「移動体」と記載）で携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等（以下、これらの機器を「電子機器」と記載）を使用している場合において、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、カメラで使用者の顔や眼球等を撮影してその映像を画像処理して解析することで使用者の注視点を検出し、それらの情報により電子機器の使用者が移動体を操縦、操船、運転（以下、これらの行為を「運転」と記載）している当事者（以下、移動体を操縦、操船または運転している者を「運転者」と記載）であるかを判別することができ、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器である。

従来技術では、GPS等の位置検出装置は主に現在地を検出し地図上に現在地を表示して位置確認をするもの、目的地までの誘導を行うナビゲーションシステムに利用されている。その中には位置情報を利用して移動速度を算出するものもあることから、この仕組みを図２により説明する。位置検出装置２１で検出された位置情報は移動速度算出手段２２に読み込まれ、移動速度算出手段２２は計算機２３を制御し移動速度を算出して表示器２４に結果を表示する。一般的に移動速度は、移動速度＝移動距離÷移動時間の計算式で算出される。この様に従来技術による装置では、GPS等の位置検出装置から出力される位置情報を利用して移動速度を算出し、１つの情報として表示するだけの方法である。

特開２００９−１９８３９１ 特表２０１３−５０６２０９

現在、移動体の運転時において特に自動車の走行中に運転者が電子機器を使用してのメール作成や送受信、通話やデータ通信、電子機器の操作、アプリの使用などの行為による余所見や脇見が原因で重大な交通事故が増加しており大きな社会問題となっている。従来の方法では、GPS等の位置検出装置から出力される位置情報で使用者の移動速度を算出することができることから使用者が移動体で移動していることは識別できるが、電子機器の使用者が移動体の運転者であることを判別することが不可能なことから、電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することができず重大な事故を未然に防ぐことができなかった。

この発明は、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで移動速度が設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者であることを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことを目的とする。

この目的を達成するために、飛行機、船舶、列車、自動車等の移動体において、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の携帯型の電子機器に注視点検出手段と使用者判別手段を備え、前記使用者判別手段は前記注視点検出手段によって検出された使用者の注視点情報から前記電子機器においての数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などを分析することによって前記電子機器の使用者が前記移動体の操縦、操船または運転している当事者であるかの判別を行うことで、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記注視点検出手段は、カメラで撮影した使用者の顔や眼球等の映像を画像処理そして解析して前記電子機器の使用者の注視点検出を行うことで、前記使用者判別手段は前記電子機器の使用者が前記移動体を運転している前記当事者であることを判別ができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記使用者判別手段は、移動速度算出手段によって算出された前記電子機器の使用者の移動速度情報に基づいて、予め設定された設定速度以上で移動しているかの判定を行うことで、前記使用者判別手段は前記電子機器の使用者が移動中であることを判定することができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記移動速度算出手段は、GPS等の位置検出装置によって現在地を検出し、その現在地の位置情報に基づいて前記移動体の移動速度を算出することで、前記使用者判別手段は前記電子機器の使用者が予め設定された設定速度以上で移動していることを判定することができることから、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

前記使用者判別手段は、前記移動速度算出手段によって算出された前記電子機器の使用者の移動速度が予め設定された設定速度以上であると判定し、かつ前記注視点検出手段によって検出された注視点情報の分析により前記当事者であることを判別した場合には前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行することで、前記電子機器の使用者が前記移動体を運転している前記当事者である場合は前記電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して電子機器使用による余所見や脇見が原因となる重大な事故を未然に防ぐことができる。

この発明によれば、電子機器が使用されている場合において、使用者の顔や眼球等を撮影するカメラ１、カメラ１によって撮影された使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する注視点検出手段２、GPS等の現在地を検出する位置検出装置４、位置検出装置４によって検出された現在地の位置情報によって移動速度を算出する移動速度算出手段５、注視点検出手段２によって検出された使用者の注視点および移動速度算出手段５によって算出された移動速度によって電子機器の使用者が運転者または運転者以外であるかを判別する使用者判別手段３、電子機器のハードウェア７を制御する設定ポートＩ／Ｏ６を備えることによって、使用者判別手段３が電子機器の使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができる。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図である。 従来技術によるGPS等の位置検出装置を利用して移動速度を算出する電子機器の構成図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の移動速度算出手段５の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の注視点検出手段２の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の動作手順を説明するフローチャートである。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図である。 この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の使用者判別手段３の使用者の判別を行う基準となる走行中および停車中における運転者の注視点サンプルデータである。

この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の装置構成および動作手順を図１、図３、図４、図５、図６、図７により説明する。図１はこの発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器の構成図であり、図３は移動速度算出手段５の動作手順を説明するフローチャートであり、図４は注視点検出手段２の動作手順を説明するフローチャートであり、図５は使用者判別手段３の動作手順を説明するフローチャートであり、図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、図７は使用者判別手段３の使用者の判別を行う基準となる走行中および停止中における運転手の注視点サンプルデータである。

図３の３１ではハードウェア７の内部タイマーに設定した時間経過後に割り込み処理が発生して、３２で移動速度算出手段５の処理が開始する。３３で位置検出装置４から現在地の位置情報を読み込み、３４で移動速度の算出を行う。移動速度は従来技術と同様の方法で算出でき、移動速度＝移動距離÷移動時間の計算式で算出される。３５では算出した移動速度情報を使用者判別手段３に出力し、３６で移動速度算出手段５の処理を終了する。

図４の４１ではハードウェア７の内部タイマー装置に設定した時間経過後に割り込み処理が発生して、４２で注視点検出手段２の処理が開始する。図４の注視点検出手段２でも図３の移動速度算出手段５の処理と同様に実施の一例としてハードウェア７の内部タイマー装置を利用してソフトウェアで割り込み処理を行っているが、注視点検出手段２および移動速度算出手段５の各処理を行う専用の電子回路や専用のＩＣチップを有せずソフトウェアで各処理を実現する場合には、ハードウェア７のＭＰＵ部の処理時間を占有することを避けるためにハードウェア７の内部タイマー装置を利用して割り込み発生時に各処理を行う方法が適している。次に４３ではカメラ１で撮影した使用者の顔や眼球等の映像データを入力して、４４で画像処理を行い、４５では従来技術のアルゴリズムにより画像処理を使用して使用者の注視点を検出する。但し、この場合では、検出した電子機器の画面上の注視点は、極端に高い検出精度や分解能を必要としないことから、電子機器に付属しているカメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで使用者の注視点を検出する従来技術を利用することができる。４５で検出された注視点情報は４６で使用者判別手段３に出力し、４７で注視点検出手段２の処理が終了する。

図５の５１で使用者判別手段３の処理を開始すると、５２で移動速度算出手段５より移動速度情報を入力し、５３で予め設定してある設定速度未満で移動していると判定された場合は問題なしとして５７で処理を終了するが、設定速度以上で移動していると判定された場合は、５４で注視点検出手段２より注視点情報を入力する。５５で電子機器の使用者が運転者または運転者以外かを判別するが、この判別の手法については下記に詳細を記載する。運転者以外と判別された場合は５７で処理を終了するが、運転者と判別された場合には、５６で電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行するため、ハードウェア７の設定ポートであるＩ／Ｏ６に制御情報を出力してハードウェア７を制御する。

図６は使用者判別手段３の使用者の判別を行う基準となる運転者の注視点測定を行った際の測定状態を表す説明図であり、電子機器の使用者が自動車の運転席に座った時の前方の図である。スマートフォンはステアリング６４の上部手前のスマートフォンの設置位置６３に配置し、前方にフロントカラス６２を介して車外が見える状態である。使用者の注視点を検出した場合の注視点はスマートフォンの画面左上の基準座標６５を（X、Y）＝（０，０）としてＸ座標とＹ座標のデータとして取得する。測定に利用したスマートフォンは、１３３４（Y)×７５０（X）ピクセルであることから、画面外のＹ座標６６の位置に注視点がある場合は注視点のＹ座標＜０、画面外のＸ座標（１）６７の位置に注視点がある場合は注視点のＸ座標＜０または画面外のＸ座標（２）６８の位置に注視点がある場合は注視点のＸ座標＞７５０となる。走行中に電子機器を使用している運転手の注視点が画面外に外れる場合はフロントガラス６２の先の前方の確認することは必至であることから、注視点は画面外のＹ座標６６の位置にあり即ち注視点のＹ座標＜０となる状態を解析することによって電子機器の使用者が運転者または運転者以外であると判別することができる。

図７の（Ａ）停車中の運転者の注視点サンプルデータでは、図6の運転席に座った運転者が停車してスマートフォンを操作している時に測定した注視点データである。停車中の運転者の注視点Ｙ座標７１と停車中の運転者の注視点Ｘ座標７２を確認すると運転者は使用しているスマートフォンの画面を殆どの時間注視していることがわかる。しかし、（Ｂ）走行中の運転者の注視点サンプルデータでは、走行中の運転者の注視点Ｙ座標７３からわかる様にスマートフォンを使用しながら頻繁に進行方向の前方を見ていることから、図６の画面外のＹ座標６６の位置に注視点が移動しているため、注視点のＹ座標＜０となっている部分が非常に多く、数秒間内に短時間で何回もスマートフォンの画面と図６の画面外のＹ座標６６の位置である進行方向の前方を注視点が常に往復している状態であることがわかる。この結果より、注視点検出手段２により検出した注視点情報の注視点Ｙ座標に着目し、数秒間内での画面内と画面外の注視点の滞留比率、数秒間内での各画面内滞留時間および各画面外滞留時間、数秒間内の画面内と画面外の注視点の移動回数などのデータを分析することによってスマートフォンの使用者が運転者または運転者以外であるかを容易に判別することができる。

これによって、この発明による使用者の注視点および移動速度を利用した事故防止対策機能を備えた電子機器では、従来の方法と同様にGPS等の位置検出装置４から出力される位置情報を利用して電子機器の移動速度を算出することで基準となる設定速度未満または設定速度以上であることを判定し、注視点検出手段２で使用者の注視点を検出して使用者判別手段３によって使用者が運転者または運転者以外であるかを判別することができるため、使用者が運転者かつ移動速度が設定速度以上であると確定した場合には電子機器が自身の強制的な機能制限や動作停止等の事故防止対策を実行して重大な事故を未然に防ぐことができることは明らかである。

１ カメラ
２ 注視点検出手段
３ 使用者判別手段
４ 位置検出装置
５ 移動速度算出手段
６ Ｉ／Ｏ
７ ハードウェア

Claims (6)

1. 携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機器等の電子機器に組み込むことによって、飛行機、船舶、列車、自動車等の移動体の操縦者、操船者、運転者等が停止中以外の状態の時に、前記電子機器を使用した場合には、前記電子機器の事故防止対策を実行することを特徴とする電子機器の使用者の注視点検出および位置検出を利用した事故防止機能
2. 前記電子機器に組み込むことによって、GPS等の位置検出装置によって現在地を検出し、その現在地の位置情報に基づいて移動速度を算出できることを特徴とする請求項１記載の電子機器の使用者の注視点検出および位置検出を利用した事故防止機能
3. 前記電子機器に組み込むことによって、算出された移動速度の情報を解析して前記電子機器の使用者が歩行中または移動体での移動中であるかを識別できることを特徴とする請求項１または２記載の電子機器の使用者の注視点検出および位置検出を利用した事故防止機能
4. 前記電子機器に組み込むことによって、カメラで撮影した使用者の顔や眼球等の映像を画像処理して解析することで、使用者の注視点検出ができることを特徴とする請求項１記載の電子機器の使用者の注視点検出および位置検出を利用した事故防止機能
5. 前記電子機器に組み込むことによって、検出された注視点を解析することで、使用者が前記移動体の操縦者、操船者または運転者であることを判別できることを特徴とする請求項１または４記載の電子機器の使用者の注視点検出および位置検出を利用した事故防止機能
6. 前記電子機器に組み込むことによって、前記電子機器が算出された移動速度の情報によって歩行中ではなく移動体で移動していることが識別され、かつ前記電子機器の使用者が前記移動体の操縦者、操船者または運転者であることを判別された場合には、前記電子機器の強制的な機能制限や動作停止等の事故防止対策を実行することができることを特徴とする請求項１、２、３、４または５記載の電子機器の使用者の注視点検出および位置検出を利用した事故防止機能

Images