JP2017111508A - 情報処理装置、情報処理システム、および、情報処理方法 - Google Patents

Abstract

【課題】運転中の問題につながり得る行為を検知する精度を向上させ、安全運転の可能性を高める情報処理装置を提供する。。
【解決手段】情報処理装置１は、車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知手段と、前記物品の検知結果に基づき前記ユーザへの介入の要否を判定する判定手段と、を備える。例えば、特定部位が手の場合には、物品の操作等を検知できる可能性が高い。したがって、ユーザが運転中のドライバの場合には、本情報処理装置は、運転中の問題につながる可能性のある行為を検知する精度を向上させ、ユーザに安全運転をするように介入することができる。
【選択図】図１

Description

本発明は、車両のユーザの特定部位近傍の物品を検知する技術に関する。

近年、自動車等の車両のユーザ（例えば、ドライバ）の運転時の危険状態に応じて、ドライバに対して警告等の通知を行う技術がある。例えば、運転時に携帯電話、スマートフォン等を操作することは事故につながる危険性がある。そのため、携帯電話、スマートフォン等が運転中に操作されているか否かを検知し、警告する提案がなされている（例えば、特許文献１参照）。

特開２００５−２３６６５５号公報 特許第５２３３９７７号公報

しかしながら、上記従来の技術は、運転中の携帯電話、スマートフォン等の物品の操作等、運転中の問題につながる可能性のある行為を精度よく検知し、ユーザを安全運転に誘導するという配慮がなされてない。本発明は、運転中の問題につながり得る行為を検知する精度を向上させ、安全運転の可能性を高めることである。

開示の技術の一側面は、情報処理装置によって例示される。この情報処理装置は、車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知手段と、前記物品の検知結果に基づき前記ユーザへの介入の要否を判定する判定手段と、を備えることを特徴とする。ここで、例えば、特定部位が手の場合には、物品の操作等を検知できる可能性が高い。したがって、ユーザが運転中のドライバの場合には、本情報処理装置は、運転中の問題につながる可能性のある行為を検知する精度を向上させ、ユーザに安全運転をするように介入することができる。

本情報処理装置によれば、運転中の問題につながり得る行為を検知する精度を向上させ、安全運転の可能性を高めることができる。

情報処理システムの構成を示す図である。 車両のドライバに関する骨格モデルの正面を示す図である。 ドライバが携帯電話、スマートフォン等を操作する姿勢を例示する図である。 ドライバが携帯電話、スマートフォン等を頭部に近づけて操作する姿勢を例示する図である。 情報処理装置の全体の処理の流れを示す図である。 情報処理装置の全体の処理の流れを示す図である。 変形例に係る把持物体検出処理の流れを示す図である。

以下、図面を参照して、一実施形態に係る情報処理装置について説明する。以下の実施形態の構成は例示であり、本情報処理装置は実施形態の構成には限定されない。

＜第１の実施の形態＞
＜１．構成＞
図１は、情報処理システム１０の構成を示す図である。情報処理システム１０は、情報処理装置１と、測距センサ２と、画像出力装置３および音響出力装置４の通知装置とを主に備える。情報処理システム１０は、例えば車両の車室内に設けられるシステムである。

情報処理装置１は、測距センサ２が検知した対象物の空間上の位置に関する情報（以下、「位置情報」という。）を取得し、この対象物の位置情報に基づき骨格モデルを生成する。ここで、対象物は例えば車両の車室内のドライバである。このように情報処理装置１は、ドライバの人体の特定部位（例えば、頭部や両手等）の位置情報を測距センサ２から取得する。

情報処理装置１は、ドライバの特定部位の位置情報および位置情報から推定される特定部位近傍の光の反射率の差異に基づき、ドライバが携帯電話、あるいは、スマートフォン等を操作しているか否かを判定する。そして情報処理装置１は、ドライバが携帯電話、あるいは、スマートフォン等を操作していると判定した場合には、通知情報を画像出力装置３および音響出力装置４の少なくともいずれかの通知装置に出力する。

測距センサ２は、車両の車室内の対象物の位置情報を検知する。測距センサ２は、例えばＬＩＤＡＲ（Light Detection and Ranging）方式により、対象物の位置情報を検知す
る。ＬＩＤＡＲ方式は、レーザ光を対象物に発光し、対象物からの反射光を受光するまでにかかる時間で対象物の位置情報を検知する方式である。測距センサ２は、ユーザおよびユーザ周囲との距離を測定する測距手段の一例である。

このような位置情報の検知に用いられる技術としては他には、アクティブステレオ方式、ＴｏＦ（Time-of-Flight）方式等がある。

アクティブステレオ方式は、レーザ光を対象物に照射し、対象物からの反射光を受光するまでにかかる時間により対象物の位置情報を検知する方式である。ＴｏＦ方式は、ＬＥＤ等の光源を有する発光部が、対象物に照射光を照射したときから、受光部が対象物からの反射光を受光するまでの時間差により、対象物の位置情報を検知する方式である。測距センサ２は、このような方式の技術により検知した位置情報を情報処理装置１に送信する。測距センサ２は、対象物の位置情報を検知する場合、これらの方式のうちいずれの方式の技術を用いてもよい。

情報処理装置１は、対象物検知部１１、ドライバ部位検出部１２、運転姿勢判定部１３、把持物体検出部１４、スマホ／携帯操作判定部１５、出力制御部１６および、記憶部２１を主に備える。情報処理装置１は、図示しないCentral Processing Unit(CPU)、メモリを有し、このメモリに実行可能に展開されたコンピュータプログラムにしたがって、上記情報処理装置１の対象物検知部１１、ドライバ部位検出部１２、運転姿勢判定部１３、把持物体検出部１４、スマホ／携帯操作判定部１５、出力制御部１６等の各部としての処理を実行する。ＣＰＵはプロセッサとも呼ばれる。ただし、ＣＰＵは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵがマルチコア構成であってもよい。上記各部の少なくとも一部の処理がDigital Signal Processor(DSP)、Graphics Processing Unit（GPU）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサ、Application Specific Integrated Circuit（ASIC）等によって提供されてもよい。また、上記各部の
少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration（LSI）、その他のデジタル回路であってもよい。また、上記各部の少なくとも一部
にアナログ回路が含まれてもよい。

対象物検知部１１は、測距センサ２から取得した３次元の位置情報に基づき、車室内の所定の空間領域に存在する対象物の存在の有無を検知する。具体的には、対象物検知部１１は、測距センサ２から取得したある対象物に関する複数の位置情報に基づき、所定の空間領域に人体形状を有する物体が存在するか否かを検知する。所定の空間領域は、例えば車室内のドライバシート付近であり、対象物検知部１１は人体形状に関する情報と、ドライバシート付近の空間領域で検知された複数の位置情報とのパターンマッチングを行う。人体形状に関する情報は、予め記憶部２１に記憶された情報であり、対象物検知部１１が検知処理を行う際に記憶部２１から読み出す。

対象物検知部１１は、例えばドライバシートが存在する領域を含むドライバ領域内に人体形状に適合する位置情報を検知した場合、当該位置情報をドライバ部位検出部１２に送信する。対象物検知部１１はこのようにして車室内のドライバの存在の有無を検知する。対象物検知部１１は、ユーザの画像を取得する対象物検知部の一例である。

ドライバ部位検出部１２は、ドライバ検知部１１から取得した複数の位置情報に基づき、対象物の骨格モデルを生成する。ここで、位置情報の集まりを「点群」として以下、具体的に説明を行う。

図２から図４を用いて骨格モデルの生成について具体的に説明する。図２は、車両のドライバに関する点群ＤＲにおける骨格モデルＦＲの正面を示す図である。図３は、図２のドライバが携帯電話、スマートフォン等を操作する姿勢を例示する図である。すなわち、図３（ａ）は、上記操作時の点群ＤＲにおける骨格モデルＦＲの左側面を例示する図である。図３（ｂ）は、上記操作時の点群ＤＲにおける骨格モデルＦＲの右側面を例示する図である。図４は、図２のドライバが携帯電話、スマートフォン等を頭部に近づけて操作する姿勢を例示する図である。すなわち、図４（ａ）も、点群ＤＲにおける骨格モデルＦＲの左側面を例示する図である。図４（ｂ）も、点群ＤＲにおける骨格モデルＦＲの右側面を例示する図である。

ここで、各図中において方向および向きを示す際に、適宜、図中に示す３次元のｘｙｚ直交座標を用いる。直交座標のこれらの軸は、ドライバシートＳＥに着座した状態のドライバに対して相対的に固定される。ｘ軸の方向はドライバの左右方向に沿い、ｙ軸の方向はドライバの前後方向に沿い、ｚ軸の方向はドライバの高さ方向に沿っている。また便宜上、＋ｘ方向を右方向、−ｘ方向を左方向、＋ｙ方向を前方向、−ｙ方向を後方向、＋ｚ方向を上方向、および、−ｚ方向を下方向とする。なお、このような座標系は、測距センサ２が有するローカル座標系に対するワールド座標系であるともいえる。

ドライバ部位検出部１２は、対象物検知部１１の検知処理により人体形状と適合した点群の重心部分を図２に示す「基準点ＰＢ」として設定し、基準点ＰＢから上方向（＋ｚ方向）の人体の頭の部位に相当する部分を「頭部点Ｐ１」として設定する。なお、基準点ＰＢは人体の喉に相当する部分である。

またドライバ部位検出部１２は、基準点ＰＢから左方向（−ｘ方向）の部分を人体の左肩の部位に相当する「左肩点Ｐ２」として設定する。ドライバ部位検出部１２は、左肩点Ｐ２から人体の腕の部位に相当する先端付近の部分を人体の左手の部位に相当する「左手点Ｐ４」として設定し、左肩点Ｐ２と左手点Ｐ４との間における所定の部分を人体の左肘の部位に相当する「左肘点Ｐ６」として設定する。

またドライバ部位検出部１２は、基準点ＰＢから右方向（＋ｘ方向）の部分を人体の右肩の部位に相当する「右肩点Ｐ３」として設定する。ドライバ部位検出部１２は、右肩点Ｐ３から人体の腕の部位に相当する先端付近の部分を人体の右手の部位に相当する「右手点Ｐ５」として設定し、右肩点Ｐ３と右手点Ｐ５との間における所定の部分を人体の右肘の部位に相当する「右肘点Ｐ７」として設定する。「左手点Ｐ４」と「右手点Ｐ５」はユーザの特定部位の位置の一例である。ただし、「頭部点Ｐ１」がユーザの特定部位の位置であってもよい。

骨格モデルは、このような点群における人体の特定の部位の位置を示す基準点ＰＢや頭部点Ｐ１等の「骨格点」と、各骨格点を結んだ線分とで構成されるモデルである。

ここで、測距センサ２は、人体に関する点群以外に車室内に設けられた機器（以下、「車室内機器」という。）に関する点群の検知が可能である。対象物検知部１１は、測距センサ２から車室内機器に関する点群を取得し、パターンマッチングにより各機器の位置情報を検知できる。車室内の機器の一例として図２等に示すドライバが着座するドライバシートＳＥ、ドライバシートＳＥの上部に設けられたヘッドレストＨＲ、ドライバが車両を操作する際に用いるステアリングホイールＳＴ、および、ステアリングホイールＳＴが設けられたダッシュボードＤＢ等があげられる（図３、図４）。

さらに車室内の機器の一例として、ダッシュボードＤＢの近傍に設けられ、画像を出力する画像出力装置３や、車室内のフロントドア近傍に設けられ、音声等の音響を出力する音響出力装置４等もあげられる。画像出力装置３は、例えばＨＵＤ（Head-Up Display）
である。ＨＵＤは、ドライバが運転中であっても視認できる位置に設けられ、ドライバに画像を提供する。音響出力装置４は、例えばスピーカであり、ドライバに音響を提供する。

なお、車室内の各機器の位置情報は、車両の設計時の位置情報を予め記憶部２１に記憶しておき、処理を実行するときに記憶された位置情報を読み出すことで取得することも可能である。

図１に戻り、運転姿勢判定部１３は、ドライバ部位検出部１２から取得した骨格点に基づいて、車両のドライバの運転姿勢を判定する。運転姿勢判定部１３の判定処理については、図３、図４、図６にしたがって後に詳述する。

把持物体検出部１４は、ドライバ部位検出部１２が生成した骨格モデルのうち、「左手点Ｐ４」「右手点Ｐ５」近傍における位置情報から、対象物表面での光反射率の差異を検出する。例えば、携帯電話、スマートフォン等の機器の表面が鏡面反射する場合には、測距センサ２から出た光は、反射面ですべて一方向に反射されてしまい、たまたま反射方向が測距センサ２の方に向いている場合（つまり反射面が正確に測距センサ２に正対している場合であり、人が手に持って操作している機器では、通常、継続的にこのような状態になることはありえない）を除けば、測距センサ２は、反射光を検知することが困難であり、有効な位置情報が得られないからである。一方、人体の表面、衣服、車室内のドライバシートＳＥ、ヘッドレストＨＲ、ステアリングホイールＳＴ、ステアリングホイールＳＴ、ダッシュボードＤＢ等の表面材料が光を拡散反射する材料である場合には、測距センサ２から出た光は、（強度の分布はあるものの）ほぼすべての方位に反射されるため（つまり測距センサ２の方向にもある程度の光が反射されるため）、測距センサ２は、反射光を検知することができるのである。そして、把持物体検出部１４は、「左手点Ｐ４」「右手点Ｐ５」近傍で光の反射率が急激に低下する部分、より具体的には、位置情報が取得できない部分を携帯電話、スマートフォン等の機器が存在する部分として特定する。すなわち
、把持物体検出部１４は、位置情報が取得できない部分と位置情報を特定できた部分の境界部分の位置情報を携帯電話、スマートフォン等の機器が存在する部分の表面として特定する。そして、把持物体検出部１４は、「左手点Ｐ４」「右手点Ｐ５」のデータと、特定された携帯電話、スマートフォン等の機器が存在する部分のデータとをスマホ／携帯操作判定部１５に引き渡す。把持物体検出部１４は、特定部位の位置近傍の物品を検知する物体検出部の一例である。対象物検知部１１、ドライバ部位検出部１２、運転姿勢判定部１３、および、把持物体検出部１４は、車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知手段の一例である。

スマホ／携帯操作判定部１５は、把持物体検出部１４から得られた「左手点Ｐ４」「右手点Ｐ５」のデータと、携帯電話、スマートフォン等の機器が存在する部分のデータを付き合わせ、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定する。例えば、スマホ／携帯操作判定部１５は、「左手点Ｐ４」「右手点Ｐ５」のデータと、携帯電話、スマートフォン等の機器が存在する部分のデータとが所定の限度の距離内にあるときに、ドライバが携帯電話、スマートフォン等の機器を把持していると判定する。スマホ／携帯操作判定部１５は、ユーザへの介入の要否を判定する判定手段の一例である。

出力制御部１６は、スマホ／携帯操作判定部１５の判定結果に応じて、画像情報および音響情報の少なくともいずれかの情報を含む通知情報を、画像出力装置３や音響出力装置４に出力する。

記憶部２１は、情報処理装置１のドライバ検知部１１等の各部で用いられる各種データを記憶する装置である。記憶部２１は、例えば、危険状態判定部１３が判定処理を実行する際に取得可能な車室内機器の位置情報を記憶する。記憶部２１は、例えばＥＰＲＯＭ（Erasable Programmable Read Only memory）やフラッシュメモリなどの装置である。

＜２．処理＞
図５および図６は、情報処理装置１の全体の処理の流れを示す図である。以下、これらの図を参照して、情報処理装置１の処理の流れを説明する。

情報処理装置１は、車両に設けられた他の装置からのＡＣＣＥＳＳＯＲＹ（ＡＣＣ）−ＯＮ信号を取得すると（ステップＳ１１でＹｅｓ）処理を開始する。なお、情報処理装置１がＡＣＣ−ＯＮ信号を取得していない場合（ステップＳ１１でＮｏ）、この処理は終了する。次に、情報処理装置１は、各種設定値を初期化する（ステップＳ１２）。そして、情報処理装置１は、測距センサ２が検知した対象物の位置情報を取得する（ステップＳ１３）。なお、以下では対象物の位置情報は主にドライバの骨格点の位置情報とし、車室内機器の位置情報については、記憶部２１から読み出された位置情報を用いるものとして以下説明を続ける。

情報処理装置１の対象物検知部１１は、ドライバシートＳＥの位置を含むドライバ領域を選択し（ステップＳ１４）、その領域内の人体形状に適合する点群を検知する（ステップＳ１５）。対象物検知部１１は、人体形状に適合する点群を検知した場合（ステップＳ１６でＹｅｓ）、点群の位置情報をドライバ部位検出部１２に送信する。

対象物検知部１１が、人体形状に適合する複数の位置情報を検知していない場合（ステップＳ１６でＮｏ）、ステップＳ１２の処理に戻り、継続して処理を行う。

ドライバ部位検出部１２は、人体形状に適合した点群に基づき、骨格点を検出する（ステップＳ１７）。そして、運転姿勢判定部１３は、骨格点の位置に基づいて、ドライバが
携帯電話、スマートフォン等を操作する場合の運転姿勢を検出する（ステップＳ１８）。

図３（ａ）は、運転姿勢判定部１３が検出するドライバの運転姿勢の左側面を示す図である。図３（ｂ）は、運転姿勢判定部１３が検出するドライバの運転姿勢の右側面を示す図である。図３（ａ）（ｂ）では、例えば、左手点Ｐ４および右手点Ｐ５の少なくともいずれか一方の手の骨格点の位置が端末使用領域ＲＡの領域内の状態である。端末使用領域ＲＡは、例えばドライバシートＳＥの位置とステアリングホイールＳＴの位置との間における所定の領域である。なお、所定の領域にはドライバシートＳＥとステアリングホイールＳＴとが存在する領域は含まれない。すなわちこの所定の領域は、ドライバが携帯端末を使用する際に、当該携帯端末を有した片手を配置する位置を含む領域である。携帯端末は、例えば、携帯電話、スマートフォン、タブレット、ＰＨＳ等の端末である。

図４（ａ）および図４（ｂ）は、ドライバの運転姿勢の別の具体例を示す図である。図４（ａ）および図４（ｂ）に示すように、頭部点Ｐ１の位置と、左手点Ｐ４および右手点Ｐ５のいずれかの骨格点の位置との距離が、所定距離Ｌ２（例えば、１０ｃｍ）以下にある。

さらに、把持物体検出部１４は、「左手点Ｐ４」「右手点Ｐ５」近傍で光の反射率が急激に低下する部分、より具体的には、位置情報が取得できない部分を携帯電話、スマートフォン等の機器が存在する部分として特定する（ステップＳ１９）。すなわち、把持物体検出部１４は、位置情報が取得できない部分と位置情報を特定できた部分の境界部分の位置情報を携帯電話、スマートフォン等の機器が存在する部分として特定する。ステップＳ１９の処理は、３次元画像から得られる測距対象の反射率の差異に基づき、前記特定部位近傍から物品を検知することの一例である。

スマホ／携帯操作判定部１５は、把持物体検出部１４から得られた「左手点Ｐ４」「右手点Ｐ５」のデータと、携帯電話、スマートフォン等の機器が存在する部分のデータを付き合わせ、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定する（ステップＳ２０）。例えば、スマホ／携帯操作判定部１５は、「左手点Ｐ４」「右手点Ｐ５」のデータと、携帯電話、スマートフォン等の機器が存在する部分のデータとが所定の限度の距離内にあるときに、ドライバが携帯電話、スマートフォン等の機器を把持していると判定する。Ｓ１３からＳ１９の処理は、車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知することの一例である。Ｓ２０の処理は、物品の検知結果に基づき前記ユーザへの介入の要否を判定することの一例である。

そして、出力制御部１６は、スマホ／携帯操作判定部１５の判定結果に応じて、画像情報および音響情報の少なくともいずれかの情報を含む通知情報を、画像出力装置３や音響出力装置４に出力する。すなわち、ドライバが携帯電話、スマートフォン等の機器を把持していると判定された場合、出力制御部１６は、安全な運転をするように促すメッセージ、のテキスト、あるいは画像等を画像出力装置３に出力し、音声を音響出力装置４から出力する。

＜変形例＞
上記ステップＳ１９の処理では、光の反射率の差異により、位置情報が取得できない部分を携帯電話、スマートフォン等の機器が存在する部分として特定する。しかし、本情報処理装置の処理は、光の反射率の差異に基づく処理に限定される訳ではない。例えば、ステップＳ１８の処理で、運転姿勢を検知した後、「左手点Ｐ４」「右手点Ｐ５」近傍で、物品形状に基づくパターンマッチングにより、把持物体を検出してもよい。例えば、スマートフォン等の表面に鏡面反射しない材料が被覆されている場合、あるいは、ドライバがスマートフォン等に皮革製あるいは布製のカバーを付けて操作する場合に、「左手点Ｐ４
」「右手点Ｐ５」近傍で光の反射率が急激に低下する部分、より具体的には、位置情報が取得できない部分が明確には現れない場合が生じ得る。そのような場合には、把持物体検出部１４は、ステップＳ１９の処理において、パターンマッチングにより、携帯電話、スマートフォン等の機器が存在する部分として特定すればよい。この場合、パターンマッチングで参照される携帯電話、スマートフォン等のテンプレートは、記憶部２１に格納しておき、把持物体検出部１４が記憶部２１からテンプレートを取得し、パターンマッチングを実行すればよい。

また、本実施形態の処理は、測距センサ２からの位置情報以外の情報、例えば、カメラ等の撮影装置から取得される２次元画像に対して適用してもよい。すなわち、カメラの画像から、対象物検知部１１がパターンマッチングにより人体形状に適合する画像部分を検知してもよい。そして、ドライバ部位検出部１２は、人体形状に適合した画像部分に基づき、骨格点を検出し、運転姿勢判定部１３は、骨格点の位置に基づいて、ドライバが携帯電話、スマートフォン等を操作する場合の運転姿勢を検出すればよい。そして、把持物体検出部１４は、「左手点Ｐ４」「右手点Ｐ５」近傍でパターンマッチングにより、携帯電話、スマートフォン等の機器が存在する部分として特定すればよい。

さらに、情報処理装置１は、測距センサ２から得られる位置情報と、カメラ等の撮影装置から得られる画像とを併用してもよい。例えば、情報処理装置１は、対象物検知部１１、ドライバ部位検出部１２、運転姿勢判定部１３による処理によって、測距センサ２からの位置情報から、「左手点Ｐ４」「右手点Ｐ５」を特定する。そして、情報処理装置１は、カメラから得られた画像中の「左手点Ｐ４」「右手点Ｐ５」に対応する位置近傍で、パターンマッチングにより、携帯電話、スマートフォン等の機器が存在する部分として特定すればよい。

図７は、変形例に係る把持物体検出処理の流れを示す図である。図７で、ＡおよびＢは、図６と同様に、図５に接続される箇所である。この処理では、図６の場合と同様、運転姿勢判定部１３は、骨格点の位置に基づいて、ドライバが携帯電話、スマートフォン等を操作する場合の運転姿勢を検出する（ステップＳ１８）。次に、情報処理装置１は、図示しないカメラ等の撮影装置で撮影された画像を取得する（ステップＳ１９Ａ）。そして、情報処理装置１は、運転姿勢判定部１３が検出した骨格点である「左手点Ｐ４」「右手点Ｐ５」を２次元画像に変換するともに、撮影装置で撮影された画像と同一の座標系に縮尺および原点を合わせて座標変換する（ステップＳ１９Ｂ）。そして、情報処理装置１は、画像内に座標変換された「左手点Ｐ４」「右手点Ｐ５」の位置近傍で、パターンマッチングにより、携帯電話、スマートフォン等の機器が存在する部分として特定する（ステップＳ１９Ｃ）。ステップＳ１９Ｃの処理は、物品の形状に基づくパターンマッチングにより前記物品を検知することの一例である。Ｓ２０以下の処理は、図６の場合と同様である。

以上述べたように、本実施の形態の情報処理装置１は、ユーザの特定部位の位置、例えば、「左手点Ｐ４」「右手点Ｐ５」近傍で、位置情報を検知する測距対象物の光の反射率の差異、あるいは、画像のパターンマッチングにより、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。これにより、ドライバの運転中の携帯電話、スマートフォン等の物品の操作等、運転中の問題につながる可能性のある行為を精度よく検知することができる。そして、ドライバが携帯電話、スマートフォン等の機器を把持している場合には、情報処理装置１は、安全な運転をするように促すメッセージのテキスト、画像等を画像出力装置３に出力し、あるいは、音声メッセージを音響出力装置４に出力し、安全運転をするようにドライバに介入することができる。すなわち、情報処理装置１は、物品の検知結果に基づきドライバへの介入の要否を判定することができる。

すなわち、情報処理装置１は、測距センサからの位置情報に基づく３次元画像を取得し、３次元画像から特定部位、例えば、「左手点Ｐ４」「右手点Ｐ５」近傍で、測距対象物の光の反射率の差異、あるいは、画像のパターンマッチングにより、携帯電話、スマートフォン等の機器の存在を特定し、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。これにより、ドライバの運転中の携帯電話、スマートフォン等の物品の操作等、運転中の問題につながる可能性のある行為を、より精度よく検知することができる。また、情報処理装置１は、カメラ等の画像撮影装置から取得した画像からパターンマッチングにより、「左手点Ｐ４」「右手点Ｐ５」近傍で、携帯電話、スマートフォン等の機器の存在を特定し、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。

また、上記画像が、測距センサ２からの位置情報に基づく３次元画像である場合には、情報処理装置１は、３次元形状に基づいて、２次元画像よりも的確に、「左手点Ｐ４」「右手点Ｐ５」等の位置を特定し、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。また、この場合に、情報処理装置１は、３次元画像から得られる測距対象の反射率の差異に基づき、特定部位近傍から物品を検知することができる。

また、画像がカメラ等の撮影装置から得られる２次元画像の場合には、情報処理装置１は、パターンマッチングを用いることにより、測距センサ２よりも汎用的な構成で、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。また、情報処理装置１が測距センサ２とカメラ等の撮影装置の両方を有する場合には、まず、測距センサ２からの位置情報によって的確に、「左手点Ｐ４」「右手点Ｐ５」等の位置を特定できる。そして、情報処理装置１は、測距センサ２からの位置情報を撮影装置の２次元画像の座標系に、座標変換することで、測距センサ２と汎用的な撮影手段とを組み合わせた手段により、ドライバが携帯電話、スマートフォン等の機器を把持しているか否かを判定することができる。

＜その他＞コンピュータが読み取り可能な記録媒体
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ（リードオンリーメモリ）等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。

本実施形態では携帯電話、スマートフォンなどの機器を把持しているかに適用したが、特定部位（手）が車両とドライバとのコミュニケーション手段となる物品（操作や表示可能なディスプレィ）に接触し、操作していることが画像処理で判定された場合、通知情報を出力することも可能である。

また、この情報処理システムを自動運転に適用し（自動運転装置に組み込み）、自動運
転の状況に応じた本情報処理を行うことも可能である。例えば非自動運転中に限り情報処理システムの通知情報を出力する。あるいは自動運転中に常時操作有無の判定を行い、非自動運転の切り替え前に操作ありと判断すれば、通知情報を出力し、手動運転を促すようにしてもよい。

１ 情報処理装置
２ 測距センサ
３ 画像出力装置
４ 音響出力装置
１０ 情報処理システム
１１ 対象物検知部
１２ ドライバ部位検出部
１３ 運転姿勢判定部
１４ 把持物体検出部
１５ スマホ／携帯操作判定部
１６ 出力制御部
２１ 記憶部

Claims (7)

1. 車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知手段と、
   前記物品の検知結果に基づき前記ユーザへの介入の要否を判定する判定手段と、を備えることを特徴とする情報処理装置。
2. 前記検知手段は、前記ユーザの画像を取得する対象物検知部と、
   前記ユーザの画像から前記特定部位の位置近傍の物品を検知する物体検出部と、を有する請求項１に記載の情報処理装置。
3. 前記ユーザの画像は、前記ユーザおよびユーザ周囲との距離を測定する測距手段の測定結果に基づく３次元画像である請求項２に記載の情報処理装置。
4. 前記検知手段は、前記３次元画像から得られる測距対象の反射率の差異に基づき、前記特定部位近傍から物品を検知する請求項３に記載の情報処理装置。
5. 前記検知手段は、前記物品の形状に基づくパターンマッチングにより前記物品を検知する請求項１から４のいずれか１項に記載の情報処理装置。
6. 車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知手段、及び前記物品の検知結果に基づき前記ユーザへの介入の要否を判定する判定手段を備える情報処理装置と、
   前記特定部位の位置を含む前記ユーザの位置を検出する測距手段と、
   前記ユーザへの介入が要と判定された場合に、ユーザへの介入を行う通知装置と、を備える情報処理システム。
7. 車両に搭乗しているユーザの特定部位の位置を特定し、前記特定部位近傍から物品を検知する検知ステップと、
   前記物品の検知結果に基づき前記ユーザへの介入の要否を判定する判定ステップと、を実行することを特徴とする情報処理方法。

Images