JP2017199302A

JP2017199302A - 判定装置、判定方法、判定プログラム及び記録媒体

Info

Publication number: JP2017199302A
Application number: JP2016091758A
Authority: JP
Inventors: 修蔵乘冨; Shuzo Noridomi; 新　浩治; Koji Arata; 浩治新
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-04-28
Filing date: 2016-04-28
Publication date: 2017-11-02
Also published as: EP3239899A1; US20170316274A1; CN107423666A

Abstract

【課題】車両などの運転者の状態を推定する技術において、大きな頭部回転を伴う振り返り動作があった場合でも、人物の振り返り動作を判定することができるようにする判定装置、判定方法、判定プログラム及び記録媒体を提供する。
【解決手段】判定装置は、カメラで撮影された画像情報を受け取る入力部と、画像情報に基づいて人物の顔向き角度を検出するとともに人物の所定の身体部位の位置を検出し、顔向き角度が所定角度より大きく、かつ、所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する制御部と、を備える。
【選択図】図３

Description

本発明は、判定装置、判定方法、判定プログラム及び記録媒体に関する。

近年、カメラで撮影した画像に基づいて車両などの運転者の状態を推定する技術が注目されている。特に運転者の脇見などの動作を検知することは、非常に重要であるとされ、様々な研究が行われている。

例えば特許文献１には、運転者の顔が撮影された画像中の顔領域から目、鼻、口などの特徴点を抽出し、時系列による各特徴点フローの動き量から運転者の振り返り動作を推定する技術が開示されている。

特開２０１１−１５９２１４号公報

しかしながら、特許文献１に記載の技術では、人物の顔領域から特徴点を抽出する必要があるため、例えば人物が頭部を大きく回転させる場合には、目、鼻、口などの特徴点が見えなくなり特徴点フローを算出できず、振り返りの判定精度が悪化するという課題があった。

本発明の目的は、大きな頭部回転を伴う振り返り動作があった場合でも、人物の振り返り動作を判定することができる判定装置、判定方法、判定プログラム及び記録媒体を提供することである。

本発明の一態様に係る判定装置は、カメラで撮影された画像情報を受け取る入力部と、前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する制御部と、を備える。

また、本発明の一態様に係る判定方法は、カメラで撮影された画像情報を受け取るステップと、前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定するステップと、を備える。

また、本発明の一態様に係る判定プログラムは、カメラで撮影された画像情報を受け取る処理と、前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する処理と、をコンピュータに実行させるものである。

また、本発明の一態様に係る記録媒体は、人物の振り返り動作を判定する判定装置において実行される判定プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、カメラで撮影された画像情報を受け取る処理と、前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する処理と、を実行させる判定プログラムを記録した記録媒体である。

本発明によれば、大きな頭部回転を伴う振り返り動作があった場合でも、人物の振り返り動作を判定することができる。

車両の車室内を模式的に示す側面図車両の車室内を模式的に示す上面図判定装置の概略を示すブロック図制御部の詳細を示すブロック図判定装置の動作の一例を示すフロー図図５に示す制御を実行した場合の振り返り動作判定結果を示すタイムチャート運転者の顔向き角度検出を示す説明図であり、（Ａ）は運転者の頭部を真上から見た状態を模式的に示す説明図、（Ｂ）はカメラにより撮影された運転者の顔画像を示す説明図運転者の頭部と所定領域との位置関係を示す説明図運転者の頭部が所定領域に存在する状態を示す説明図各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す説明図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、各実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。

まず、本実施の形態に係る車両１に備えられるカメラ１０の設置位置について、図１、図２を用いて説明する。図１は、車両１の車室内を模式的に示す側面図である。図２は、車両１の車室内を模式的に示す上面図である。

図１、図２に示すように、カメラ１０は、運転者席２０よりも前方、かつ、車両１の車室内の天井に設置される。カメラ１０は、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）方式カメラなどの輝度画像と距離画像を同時に撮影できるカメラである。また、図１、図２に示すように、カメラ１０は、運転者席２０を向くように設置される。すなわち、カメラ１０は、図２に示すように、運転者席２０の方に傾いており、かつ、図１に示すように、下方に傾いている。車両１は、例えば、自動車である。

このように車室内に設置されたカメラ１０は、運転者席２０に座った運転者を撮影し、撮影した画像を後述する判定装置１００に出力する。判定装置１００は、車両１の所定の場所に設置され、カメラ１０と接続される。カメラ１０と判定装置１００の接続方式は、有線、無線、又は、有線と無線の組み合わせのいずれであってもよい。

次に、本実施の形態に係る判定装置１００の構成について、図３を用いて説明する。図３は、判定装置１００の構成の一例を示すブロック図である。

判定装置１００は、カメラ１０で撮影された画像に基づいて、運転者の振り返り動作を判定する装置である。図３に示すように、判定装置１００は、入力部１１０、制御部１２０を有する。

入力部１１０は、カメラ１０で撮影された画像を受け取り、制御部１２０に顔画像と距離画像を出力する。顔画像は、車両１を運転する運転者の顔が撮影された画像であり、距離画像は、車室内の所定範囲を撮影した画像である。

制御部１２０は、入力部１１０から受け取った顔画像と距離画像に基づいて、人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する。これにより、大きな頭部回転を伴う振り返り動作があった場合でも、人物の振り返り動作を判定することができる。

なお、本実施の形態では、制御部１２０により振り返り動作が判定される人物として自動車の運転者を例に挙げて説明するが、振り返り動作が判定される人物はこれに限定されない。振り返り動作が判定される人物は、自動車以外の移動物体(例えば、二輪車、鉄道、飛行機など)の乗員（操縦者又は同乗者）でもよいし、移動体の乗員でなくてもよい。よって、判定装置１００は、移動体に搭載されてもよいし、固定物（例えば、建物又は部屋の壁面等）に搭載されてもよい。

次に、図３に示した制御部１２０の構成の一例について、図４を用いて説明する。図４は、制御部１２０の構成の一例を示すブロック図である。

図４に示すように、制御部１２０は、顔向き検出部１２１、身体部位検出部１２２、動作判定部１２３を有する。以下、各部について説明する。

顔向き検出部１２１は、入力部１１０から受け取った顔画像における目、鼻、口などの部位（以下、「顔部位」という）の位置関係に基づいて、顔画像中の顔向き角度を検出する。顔向き角度検出の詳細については後述する。

また、顔向き検出部１２１は、検出した顔向き角度から、振り返り動作の可能性の有無を判定する。さらに、顔向き検出部１２１は、振り返り動作の可能性の有無の判定結果を動作判定部１２３へ出力する。

身体部位検出部１２２は、入力部１１０から車室内空間における所定領域の距離画像を受け取り、受け取った距離画像に基づいて人物の所定の身体部位の位置を検出する。具体的には、身体部位検出部１２２は、入力部１１０から受け取った距離画像に基づいて、所定領域に所定の物体が存在することを検知する。ここで所定の物体とは、乗員の頭部又は肩部と想定される物体である。身体部位検出の詳細については後述する。

また、身体部位検出部１２２は、検出結果を動作判定部１２３へ出力する。

動作判定部１２３は、顔向き検出部１２１の判定結果と、身体部位検出部１２２の検出結果に基づいて、運転者の振り返り動作の有無を判定する。

また、動作判定部１２３は、判定結果を不図示の機器制御部へ出力する。出力結果は、例えば、わき見検知、後方確認アプリケーションに使用される。

次に、制御部１２０の動作について、図５、図６を用いて説明する。図５は、制御部１２０の動作の一例を示すフロー図である。図６は、図５に示すフロー図にしたがって振り返り動作判定が行われた場合の、動作判定部１２３における状態設定の遷移を示すタイムチャートである。

動作判定部１２３は、顔向き検出部１２１の検出結果と、身体部位検出部１２２の検出結果の組み合わせで、状態Ａ、状態Ｂ、及び状態Ｃの３つの状態を決定する。

ここで、状態Ａは、顔向き検出部１２１で振り返り動作の可能性がないと判定され、かつ、身体部位検出部１２２で所定領域に所定の物体の存在を検知しない場合に設定される状態である。

また、状態Ｂは、顔向き検出部１２１で振り返り動作の可能性があると判定され、かつ、身体部位検出部１２２で所定領域に所定の物体の存在を検知しない場合に設定される状態である。

また、状態Ｃは、顔向き検出部１２１で振り返り動作の可能性があると判定され、かつ、身体部位検出部１２２で所定領域に所定の物体の存在を検知した場合に設定される状態である。

図５のフロー図に沿って、制御部１２０で実行される制御内容について説明する。ステップＳ１で、動作判定部１２３は、状態を状態Ａに設定する。

ステップＳ２で、顔向き検出部１２１は、入力部１１０から顔画像（カメラ１０により撮影された、運転者席２０に着座した運転者Ｐ１の顔画像）を受け取り、その顔画像における顔部位の位置関係に基づいて、運転者Ｐ１の顔向き角度を検出する。

例えば、顔向き検出部１２１は、運転者Ｐ１の顔画像から顔部位に対応する特徴点を抽出し、その特徴点により示される顔部位の位置関係に基づいて、運転者Ｐ１の顔向き角度を算出する。顔向き角度は、例えば、公知の技術であるＰＯＳＩＴ（Pose from Orthography and Scaling with Iterations ）アルゴリズムを用いて検出することができる。

ここで、図７（Ａ）は、運転者Ｐ１の顔向きの一例を示す図であり、運転者Ｐ１の頭部を真上から見た状態を示している。図７（Ｂ）は、運転者Ｐ１が図７（Ａ）に示した顔向きのときにカメラ１０により撮影された運転者Ｐ１の顔画像の一例を示す図である。

図７（Ａ）に示すように、運転者Ｐ１の顔向きが車両進行方向２００から左方向にカメラ１０の方向を超えて大きく回転した顔向き２０１である場合、カメラ１０により撮影される運転者乗員Ｐ１の顔画像は、図７（Ｂ）に示すような、顔の右半分が大部分を占める顔画像となる。

顔向き検出部１２１は、図７（Ｂ）に示したような顔画像に基づいて、上述のアルゴリズムを用いて図７（Ａ）の顔向き角度２０２を検出する。

ステップＳ３で、顔向き検出部１２１は、検出した顔向き角度２０２が所定角度より大きいか否かを判定し、顔向き角度２０２が所定角度より大きい場合は振り返り動作の可能性がある、と判定し（ステップＳ３：Ｙｅｓ）、結果を動作判定部１２３に出力する。

ステップＳ４で、動作判定部１２３は、状態を状態Ｂに設定する。

一方、ステップＳ３で検出した顔向き角度２０２が所定角度以下の場合は、顔向き検出部１２１は、振り返り動作の可能性がない、と判定し（ステップＳ３：Ｎｏ）、ステップＳ２に戻る。この場合、動作判定部１２３は、状態Ａの状態を維持する。

ここで、所定角度としては、運転者Ｐ１が振り返り動作を行う過程で取り得る角度で、かつ、運転者Ｐ１の顔画像から顔の特徴点が抽出可能な範囲の顔向き角度を設定する。所定角度は、例えば５０度に設定される。

所定角度として、運転者Ｐ１の顔画像から顔の特徴点が抽出可能な範囲の顔向き角度を設定するのは、以下の理由による。すなわち、運転者Ｐ１が振り返り動作を行うと、運転者Ｐ１の大きな頭部回転に伴い、目、鼻、口の特徴点が顔画像から抽出できなくなる。そのため、運転者Ｐ１の顔画像から顔の特徴点が抽出可能な範囲で、振り返り動作の可能性を判定するのである。

ステップＳ４に続くステップＳ５で、身体部位検出部１２２は、入力部１１０から車室内空間における距離画像を受け取り、所定領域内に所定の物体が存在することを検知する。所定の物体とは、例えば、運転者Ｐ１の頭部又は肩部と想定される物体である。

ここで、図８、図９を用いて、所定領域について説明する。図８は車室内を略正面から見たときの、運転者Ｐ１と所定領域３０の位置関係を示す図である。図９は、運転者Ｐ１の頭部が所定領域３０に存在する状態を示す図である。

図８に示すように、運転者Ｐ１は運転者席２０に着座している。所定領域３０は、運転者Ｐ１が振り返り動作を行うときに、運転者Ｐ１の頭部又は肩部が含まれと想定される領域を設定する。

所定領域３０は、例えば図８に示すように、乗員Ｐ１の頭部４０に相当する大きさの直方体状であり、運転者席２０のヘッドレスト２０ａの助手席側の真横、又はヘッドレスト２０ａの助手席側の真横から例えば１０ｃｍ後方に設定される。

そして、例えば運転者Ｐ１の頭部４０が図９に示す位置に存在する場合、身体部位検出部１２２は所定領域３０に運転者Ｐ１の頭部４０が存在すると検知する。

所定領域についての説明は以上であり、ステップＳ５の説明に戻る。

ステップＳ５では、具体的には、身体部位検出部１２２は、距離画像における所定の物体を表すすべての画素値を三次元座標に変換し、各三次元座標が所定領域３０内に含まれるか否かを判定する。

そして、身体部位検出部１２２は、所定領域３０内に含まれると判定された画素の総数が所定の画素数より大きい場合に、所定領域３０内に所定の物体が存在すると判定して、これにより所定の物体の存在を検知し（ステップＳ５：Ｙｅｓ）、結果を動作判定部１２３へ出力する。

ここで、所定の画素数としては、運転者Ｐ１が振り返り動作を行うときに所定領域３０内に含まれると想定される、運転者Ｐ１の頭部又は肩部の表面に相当する部分の画素数を設定する。

ステップＳ５で、所定領域３０内で所定の物体の存在を検知しなかった場合には、ステップＳ３に戻る。

一方、ステップＳ５で、所定領域３０内で所定の物体の存在を検知した場合には、ステップＳ６に進み、ステップＳ６で、動作判定部１２３は、状態を状態Ｃに設定する。

ステップＳ６に続くステップＳ７で、身体部位検出部１２２は、ステップＳ５と同様の方法で、所定領域３０内に所定の物体が存在するか否かを判定する。所定領域３０内で所定の物体の存在を検知した場合には（ステップＳ７：Ｙｅｓ）、ステップＳ７を繰り返す。

一方、所定領域３０内で所定の物体の存在を検知しなくなった場合には（ステップＳ７：Ｎｏ）、ステップＳ８に進み、ステップＳ８で、動作判定部１２３は、状態を状態Ｂに設定する。

ステップＳ８に続くステップＳ９で、顔向き検出部１２１は、ステップＳ３と同様の方法で、検出した顔向き角度２０２が所定角度より大きいか否かを判定する。顔向き角度２０２が所定角度より大きい場合は、振り返り動作の可能性がある、と判定し（ステップＳ９：Ｙｅｓ）、ステップＳ９を繰り返す。

一方、顔向き角度２０２が所定角度以下の場合は、振り返り動作の可能性がない、と判定し（ステップＳ９：Ｎｏ）、ステップＳ１０に進み、ステップＳ１０で、動作判定部１２３は、状態を状態Ａに設定する。

ステップＳ１０に続くステップＳ１１で、動作判定部１２３は、振り返り動作判定を終了するか否かを判定する。動作判定部１２３は、例えば、乗員Ｐ１が降車した場合、又は乗員から振り返り動作判定終了の指示があった場合に、振り返り動作判定を終了する（ステップＳ１１：Ｙｅｓ）。

一方、振り返り動作判定を終了しない場合には（ステップＳ１１：ＮＯ）、ステップＳ１に戻る。

次に、図６に沿って、図５に示すフロー図にしたがって振り返り動作判定が行われた場合の、顔向き検出部１２１による顔向き検出結果、身体部位検出部１２２による身体部位検出結果、及び動作判定部１２３による状態設定の遷移について説明する。図６において、Ｇ１は顔向き検出結果を示すグラフであり、Ｇ２は身体部位検出結果を示すグラフである。Ｇ１、Ｇ２のグラフ中の“０”と“１”は検出の有無を表す。

顔向き検出結果は、顔向き角度２０２が所定角度よりも大きい場合に“１”となり、顔向き角度２０２が所定角度以下の場合に“０”となる。身体部位検出結果は、所定領域３０内で所定の物体の存在を検知した場合に“１”となり、所定領域３０内で所定の物体の存在を検知しない場合に“０”となる。

動作判定部１２３は、顔向き検出部１２１と身体部位検出部１２２の検出結果の組み合わせに基づき、（ｂ）に示すごとく状態Ａ、状態Ｂ、状態Ｃの３つの状態を設定する。なお、（ａ）は運転者の実際の動作であり、図６において、横軸は時間である。

時刻ｔ０から時刻ｔ１までの間は、ステップＳ１で状態を状態Ａに設定した後、ステップＳ２とステップＳ３を繰り返すため、状態は状態Ａのままである。

時刻ｔ１で、運転者Ｐ１が頭部４０を大きく回転させ、顔向き角度２０２が所定角度よりも大きくなると、ステップＳ３における判定が「ＹＥＳ」となり、顔向き検出結果が“０”から“１”に変化する。

これに伴い、動作判定部１２３は、状態を状態Ｂに設定する（ステップＳ４）。また、ステップＳ４に続くステップＳ５で、所定領域３０内で所定の物体の存在を検知するかの判定が行われるが、時刻ｔ１から時刻ｔ２までの間は、運転者Ｐ１の頭部４０はヘッドレスト２０ａの前方にあるので、ステップＳ５における判定は「ＮＯ」であり、身体部位検出結果は“０”のままである。したがって、動作判定部１２３は、時刻ｔ２までは状態Ｂを維持する。

時刻ｔ２で、運転者Ｐ１が振り返り動作を行い、運転者Ｐ１の頭部４０が所定領域３０内に進入すると、ステップＳ５における判定が「ＹＥＳ」となり、身体部位検出結果が“０”から“１”に変化する。

これに伴い、動作判定部１２３は、状態を状態Ｃに設定する（ステップＳ６）。動作判定部１２３が状態を状態Ｃに設定している期間、図示を省略した機器制御部では、後方確認アプリケーション等が実行される。

時刻ｔ３で、運転者Ｐ１の頭部４０が所定領域３０内に存在しなくなると、ステップＳ７における判定が「ＮＯ」となり、身体部位検出結果が“１”から“０”に変化する。

これに伴い、動作判定部１２３は、状態を状態Ｂに設定する（ステップＳ８）。また、ステップＳ８に続くステップＳ９で、振り返り動作の可能性の有無が判定されるが、時刻ｔ３から時刻ｔ４までの間は、顔向き角度２０２が所定角度よりも大きいので、ステップＳ９における判定は「ＹＥＳ」であり、顔向き検出結果は“１”のままである。したがって、動作判定部１２３は、時刻ｔ４までは状態Ｂを維持する。

時刻ｔ４で、運転者Ｐ１が前方を向くと、顔向き角度２０２が所定角度以下になるので、ステップＳ９における判定が「ＮＯ」となり、顔向き検出結果が“１”から“０”に変化する。これに伴い、動作判定部１２３は、状態を状態Ａに設定する（ステップＳ１０）。

さらに、時刻ｔ５で、乗員Ｐ１が降車すると、ステップＳ１１における判定が「ＹＥＳ」となり、振り返り動作判定が終了する。

このようにして、動作判定部１２３で設定される状態は、顔向き検出部１２１と身体部位検出部１２２の結果に応じて、図６に示すように、状態Ａ→状態Ｂ→状態Ｃ→状態Ｂ→状態Ａと遷移する。

以上説明したように、本実施の形態の判定装置１００によれば、顔向き検出部１２１が、振り返り動作の可能性があると判定し、かつ、身体部位検出部１２２が所定領域３０で所定の物体の存在を検知した場合に、動作判定部１２３は運転者Ｐ１の振り返り動作であると判定する。

よって、本実施の形態の判定装置１００によれば、顔向き検出部１２１で振り返り動作固有の顔の向きを検出し、さらに、身体部位検出部１２２で身体の位置を検出し、顔向き検出結果と身体部位検出結果の両方に基づいて運転者Ｐ１の振り返り動作であると判定するようにしたので、大きな頭部回転を伴う振り返り動作があった場合でも、運転者Ｐ１の振り返り動作を判定することができる。

以上、本発明の実施の形態について説明したが、本発明は、実施の形態の説明に限定されない。以下、各変形例について説明する。

＜変形例１＞
上述の実施の形態では、所定領域３０を運転者Ｐ１の頭部４０に相当する大きさの直方体とし、運転者席２０のヘッドレスト２０ａの真横又は真横から例えば１０ｃｍ後方に１カ所設定する態様としたが、所定領域３０の大きさ、形状、位置、数はこれに限定されない。

例えば、所定領域３０の大きさは、運転者Ｐ１の頭部と肩部が両方含まれる大きさでもよい。ただし、所定領域３０が大き過ぎると、運転者Ｐ１以外の人物又は物体を誤って検知してしまう可能性があるため、所定領域３０の大きさについては、実験等に基づいて適切な大きさを決定することが好ましい。

所定領域３０の形状は、運転者の振り返り時に運転者Ｐ１の頭部の表面が通過する空間の形状に合わせた形状、例えば、円柱状としてもよい。

所定領域３０の位置は、運転者Ｐ１の体格、振り返り動作の癖、座席シートの位置及び／又は傾きに応じて設定するようにしてもよい。

所定領域として、運転者Ｐ１の頭部４０を検出する第一領域に加えて、運転者Ｐ１の上肢を検出する第二領域を、第一領域と離れた位置に、又は第一領域に隣接して設定するようにしてもよい。

＜変形例２＞
上述の実施の形態では、身体部位検出部１２２は、所定領域３０内で所定の物体の存在を検知した場合に、運転者Ｐ１の頭部４０が所定領域３０内に存在すると判定したが、身体部位検出部１２２で身体部位を検出する手法はこれに限定されない。

例えば、既存の骨格検知技術を用いて運転者Ｐ１の頭部及び／又は肩部の位置を検知しておき、検知した運転者Ｐ１の頭部及び／又は肩部の位置と、所定領域内で検知した物体の位置を照合する態様とすれば、所定領域３０内に含まれる物体が頭部及び／又は肩部であると特定できるので、誤検知を防止することができる。

また、上述の実施の形態では、顔向き検出部１２１は、検出した顔向き角度が所定角度より大きい場合に振り返り動作の可能性がある、と判定したが、振り返り動作の可能性を判定する手法はこれに限定されない。例えば、既存の骨格検知技術を用いて運転者Ｐ１の両肩部を含む身体部位の位置を特定できる場合には、両肩間を結ぶ直線と、車両進行方向との角度を算出し、身体の向きを検出するようにしてもよい。顔向き角度に加え、身体の向きも検出するようにすれば、顔向き検出部１２１は運転者Ｐ１の振り返り動作の可能性をより適切に判定することが可能となる。

＜変形例３＞
上述の実施の形態では、顔向き検出部１２１は、運転者Ｐ１の顔向き角度が所定角度より大きいか否かを判定する態様としたが、顔向き検出部１２１で顔向きを検出する手法はこれに限定されない。

例えば、顔向き検出部１２１は、顔向き角度２０２が所定角度より大きい時間が所定時間以上である場合に、顔向き角度２０２が所定角度より大きいと判定するようにしてもよい。

このようにすれば、顔向き検出部１２１は、運転者Ｐ１が一瞬だけ大きく頭部を回転させた場合には振り返り動作の可能性があると判定せず、所定時間以上大きく頭部を回転させ続けた場合に振り返り動作の可能性があると判定するので、運転者Ｐ１が頭部を一瞬だけ大きく回転させて戻した場合に振り返り動作の可能性があると誤判定してしまうのを防止することができる。これにより、振り返り動作の可能性有無の判定精度が向上する。

また、このようにすれば、運転者Ｐ１がある程度の時間以上頭部を回転させた状態を維持した場合を想定したアプリケーションへの適用が可能となる。

＜変形例４＞
上述の実施の形態では、顔向き検出部１２１は、運転者Ｐ１の振り返り動作の可能性の有無を判定する態様としたが、顔向き検出部１２１での制御内容はこれに限定されない。例えば、顔向き検出部１２１は、運転者Ｐ１の振り返り動作の可能性の有無に加えて、運転者Ｐ１の振り返り度合いを判定するようにしてもよい。

具体的には、顔向き検出部１２１は、検出された顔向き角度２０２に基づいて、顔向き角度２０２が小さいときには振り返り度合いが小さく、顔向き角度２０２が大きいときには振り返り度合いが大きいと判定する。振り返り度合いは、段階的に判定することもできるし、連続的に判定することもできる。

顔向き検出部１２１は、運転者Ｐ１の顔向き角度が所定角度より大きい場合に、運転者Ｐ１の振り返り動作の可能性がある、との判定結果に加えて、その振り返り度合いを動作判定部１２３へ出力する。

これにより、動作判定部１２３は、運転者Ｐ１の振り返り動作の判定に加えて、運転者Ｐ１の振り返り度合いを判定することが可能となり、機器制御部において振り返り度合いに応じた適切な制御を実行することができる。例えば、振り返り度合いが大きいと判定された場合には、後方確認アプリケーションを実行し、振り返り度合いが小さいと判定された場合には、左右後方確認アプリケーションを実行する態様とすることができる。

＜変形例５＞
上述の実施の形態では、所定の身体部位として、頭部又は肩部を例に挙げて説明を行ったが、所定の身体部位は、頭部又は肩部には限定されない。

所定の身体部位としては、振り返り動作と関連して動きが生じる部位であればよく、肩から指先までの上肢全体、上半身の一部又は全部を所定の身体部位とすることも可能である。

以上、本発明の実施の形態および変形例について説明した。

図１０は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

図１０に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５又は記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明にかかる判定装置、判定方法、判定プログラムおよび記録媒体は、人物の振り返り動作を判定するのに有用である。

１車両
１０カメラ
２０運転者席
２０ａヘッドレスト
３０所定領域
４０頭部
Ｐ１運転者（乗員の一例）
１００判定装置
１１０入力部
１２０制御部
１２１顔向き検出部
１２２身体部位検出部
１２３動作判定部
２００車両進行方向
２０１顔向き
２０２顔向き角度
２０００コンピュータ
２１０１入力装置
２１０２出力装置
２１０３ＣＰＵ
２１０４ＲＯＭ
２１０５ＲＡＭ
２１０６記憶装置
２１０７読取装置
２１０８送受信装置
２１０９バス

Claims

カメラで撮影された画像情報を受け取る入力部と、
前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する制御部と、
を備える判定装置。
前記制御部は、前記所定の身体部位が予め設定した所定領域に存在する場合に、前記所定の身体部位が前記所定の位置に存在すると判定する、請求項１に記載の判定装置。
前記所定領域は、複数設定される、請求項２に記載の判定装置。
前記所定の身体部位は、頭部又は肩部の少なくともいずれか一方を含む、請求項１ないし３のいずれか一項に記載の判定装置。
前記制御部は、前記顔向き角度が所定角度より大きい時間が所定時間以上である場合に、前記顔向き角度が所定角度より大きいと判定する、請求項１ないし４のいずれか一項に記載の判定装置。
カメラで撮影された画像情報を受け取るステップと、
前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定するステップと、
を備える判定方法。
カメラで撮影された画像情報を受け取る処理と、
前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する処理と、
をコンピュータに実行させる判定プログラム。
人物の振り返り動作を判定する判定装置において実行される判定プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、
カメラで撮影された画像情報を受け取る処理と、
前記画像情報に基づいて人物の顔向き角度を検出するとともに前記人物の所定の身体部位の位置を検出し、前記顔向き角度が所定角度より大きく、かつ、前記所定の身体部位が所定の位置に存在する場合に、振り返り動作であると判定する処理と、
を実行させる判定プログラムを記録した記録媒体。