JP2017210198A - 車両用動き検出システム - Google Patents

Abstract

【課題】車室内に動きセンサを配設し、車載装置を制御するための人の動作を検出する車両用動き検出システムを提供する。【解決手段】動き検出システムは、車室内に配設された動きセンサ２により検出される人の動作により車載装置を制御するための動き検出システムであって、動きセンサは、２次元画像を得るカメラ２２及びカメラの前方に向けて赤外光を照射する照射部２４を具備しており、カメラは車両の床側から天井に向けて設置されていることを特徴とする。よって、カメラから見た使用者の身体部位には直接太陽光が当たらず、照射部から照射される赤外光の反射によって使用者の身体部位の画像を得ることができる。【選択図】図１

Description

本発明は、車両用動き検出システムに関する。詳しくは、車室内に動きセンサを配設し、車載装置を制御するための人の動作を検出する車両用動き検出システムに関する。

自動車等の車両室内には、使用者用にエアコンや映像・音響装置等、各種の装置が設けられている。また、使用者がこれら車載装置を１つの操作部によって操作可能とするため、操作パネル等の入力装置が設けられている場合もある。例えば、車両の座席周辺に操作パネルが設けられ、乗員がその操作パネルをタッチ操作等することによって、エアコンの温度調整、ディスプレイの上昇・格納・チルト調整、ＡＶコンテンツの選択やチャンネル切替え・音量調整等を可能としたものがある。このような操作パネルとして、操作スイッチ等を備えるもの、タッチパネルを備えるもの等が用いられている。しかし、このような操作パネルにおいては、車載装置に対してどのような指示を与えるにも操作パネル面に直接触れる必要があるため、着座した使用者が安楽な姿勢のまま操作するには不便であった。

各種車載装置を非接触で操作可能とするために、使用者の手の形状等で示された情報を画像処理によって入力することができる非接触式情報入力装置が知られている（例えば、特許文献１）。特許文献１には、撮像手段で使用者の手の形状及び距離を検出して、手の形状から操作モードを選択し、手までの距離に応じてパラメータ値の調整を行う非接触式情報入力装置が開示されている。

特開２００５−５０１７７号公報

車両の使用者（乗員）が安楽な着座姿勢のまま、操作パネルに触れることなくエアコンやＡＶ装置等に対する操作をすることができれば至便である。例えば特許文献１に記載されているような非接触式情報入力装置によれば、カメラによって撮影される画像を処理することにより、手の形状や距離を検出し、各種車載装置の操作を行うようにすることができる。また、近時では、赤外線ＬＥＤ及びカメラを使用し、撮影された画像から使用者の掌や指を認識してその動きを検出することが可能な動きセンサも使用されている。このような動きセンサでは、画像処理により対象物を認識してその形状の歪みを計測したり、放射した赤外線が対象物で反射して受信されるまでの時間を計測したりして、対象物までの距離情報を得ることができる。また、ステレオカメラにより撮影した２つの画像から対象物の距離情報を得るものもある。いずれにしても、このような動きセンサを用いれば、使用者の手等の３次元の位置や動きの情報から、車載装置の操作パネルに対して非接触でなされる乗員の指示操作を検出することができる。
しかし、車両の窓からは太陽光や街路灯等の強い直射光が差し込む。また、車室内の各所においてその直射光の反射が生じる。これら太陽の直射光やその反射光は、動きセンサによる対象物の認識を困難にする。また、対象物である人の身体に赤外光を照射しても、太陽光に含まれる強い赤外線の影響によって、人の身体部位の検出や３次元の位置測定が困難になる。また、赤外線カメラ等を使用し、車室の天井やオーバーヘッドコンソール等、乗員の動作を撮影するのに適した高い位置にカメラを設置した場合には、その視野に太陽光を反射する部位が含まれたり、乗員の身体に直接太陽光が当たったりするときには身体部位の検出が困難となり、動きの認識率が極度に低下する。

本発明は、上記現状に鑑みてなされたものであり、車室内に動きセンサを配設し、車載装置を制御するための人の動作を太陽光等の影響を受けないように検出する車両用動き検出システムを提供することを目的とする。

上記問題を解決するために、請求項１に記載の発明は、車室内に配設された動きセンサにより検出される人の動作により車載装置を制御するための動き検出システムであって、前記動きセンサは、２次元画像を得るカメラ及び当該カメラの前方に向けて赤外光を照射する照射部を具備しており、前記カメラは車両の床側から天井に向けて設置されていることを要旨とする。
請求項２に記載の発明は、請求項１に記載の発明において、前記カメラは座席脇に配設されたアームレスト又はコンソールボックスの上面に設置されており、前記動きセンサは前記カメラの上方でされる人の腕、掌及び手指のうちの少なくとも１つの動作を検知することを要旨とする。
請求項３に記載の発明は、請求項１又は２に記載の発明において、前記動きセンサは、前記カメラから光軸方向の検出対象までの距離を計測可能であり、人の動作が前記カメラから光軸方向に所定範囲の距離で行われた場合に前記車載装置を制御することを要旨とする。

本発明の車両用動き検出システムによれば、車室内に配設された動きセンサにより検出される人の動作により車載装置を制御するための動き検出システムであって、前記動きセンサは、２次元画像を得るカメラ及び当該カメラの前方に向けて赤外光を照射する照射部を具備しており、前記カメラは車両の床側から天井に向けて設置されているため、カメラは天井方向を向き、カメラの上方に差し出された使用者の身体部位が撮影される。よって、カメラから見た使用者の身体部位には直接太陽光等の直射光が当たらず、照射部から照射される赤外光の反射によって使用者の身体部位の画像を得ることができる。また、車内に差し込む太陽の直射光やその反射光は、カメラの上方にある使用者の身体部位によって遮られるため、その身体部位の動きの認識が容易となる。特にカメラから見た使用者の身体部位に直接光が当たっていない画像を取得できるため、身体部位の画像が直射光に含まれる強い赤外線の影響を受けることがなく、照射部から照射される赤外光により検出することが容易になり、その動きの認識率を高めることができる。

前記カメラは座席脇に配設されたアームレスト又はコンソールボックスの上面に設置されており、前記動きセンサは前記カメラの上方でされる人の腕、掌及び手指のうちの少なくとも１つの動作を検知する場合は、アームレスト等が配設されている車両の中央部にカメラを天井向きに設けることができ、そのカメラの上方に差し出された使用者の手の動きを安定に認識することができる。使用者は、着座した安楽な姿勢のままカメラ近傍で手を動かすことによって、車載装置の操作を行うことができる。
動きセンサは、前記カメラから光軸方向の検出対象までの距離を計測可能であり、人の動作が前記カメラから光軸方向に所定範囲の距離で行われた場合に前記車載装置を制御する場合は、カメラから適正な距離でされた使用者の動作のみが操作として認識されるため、使用者の意図しない動作を誤認識することを防止することができる。

本発明について、本発明による典型的な実施形態の非限定的な例を挙げ、言及された複数の図面を参照しつつ以下の詳細な記述にて更に説明するが、同様の参照符号は図面のいくつかの図を通して同様の部品を示す。
車両用動き検出システムの構成を示すブロック図である。 後部座席のアームレスト上面にカメラを設けた乗用車の車室の模式図である。 操作のための画面を表示する入力装置を備える構成を示す模式図である。 車載装置を選択するメニューを表示した操作画面を示す模式図である。 スワイプ操作を説明するための模式図である。 エアコンの操作のための画面を表示した操作画面を示す模式図である。 サークル操作を説明するための模式図である。

ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。

車両の室内にカメラを設け、撮影した画像を処理することにより使用者（乗員）の動作を検出する場合、通常、使用者の身体部位の動作を撮影するのに適した車室内の高い位置や座席の前方にカメラが設けられている。しかし、このような設置方法では、カメラの視野に太陽光や街路灯等の直射光を反射する車室の部位が含まれる場合があり、使用者の身体部位の検出が困難になる。また、カメラから見た使用者の身体部位に直接直射光が当たっているときには、撮影された画像からその身体部位の動作を検出することが極度に困難となる。

このため、本実施形態に係る車両用動き検出システム（１）は、車室内に配設された動きセンサ（２）により検出される人の動作により車載装置を制御する動き検出システムであって、動きセンサ（２）は、２次元画像を得るカメラ（２２）及び当該カメラの前方に向けて赤外光を照射する照射部（２４）を具備しており、カメラ（２２）は車両の床側から天井に向けて設置されていることを特徴とする（図１参照）。車両用動き検出システム（１）は、自動車の他、乗り物の種類を問わず適用可能である。

前記カメラ（２２）は、車室の床側から天井に向けて設置されることにより、使用者の身体部位を下方から撮影することとなる。一方、直射光は通常下方に向けて照射される。したがって、カメラ（２２）から見たとき、撮影対象の身体部位に直接太陽光が当たる状態を避けることができる。また、直射光により照らされることがない天井面と、照射部による赤外光が照射される身体部位とを容易に区別することができる。カメラ（２２）の設置場所は、対象とする使用者の身体部位がカメラ（２２）によって撮影される方向から直射光の直射を受けることがない限り特に限定されず、通常は車両の窓よりも下方であることが好ましい。例えば、カメラ（２２）を使用者の座席脇に配設されたアームレスト又はコンソールボックスの上面に、光軸を上方の天井側に向けて設置するのが好適である。また、ドアの内側等に天井に向けてカメラ（２２）が設置されてもよい。
カメラ（２２）の種類は特に限定されないが、赤外線カメラが好適である。また、カメラ（２２）の数は１又は２以上とすることができる。１台のカメラ（２２）により２次元画像が得られるが、対象とする乗員の身体部位の位置を３次元で得るためには、カメラ２台を用いてステレオカメラ方式とすればよい。

前記照射部（２４）は、カメラ（２２）の前方、すなわちカメラ側から撮影対象に向けて赤外光を照射するように配設される。照射部（２４）として、例えば、赤外光を発する１又は２以上のＬＥＤ等の発光素子を備えることができる。照射部（２４）を設ける位置は特に限定されないが、撮影対象を照射するために、カメラ（２２）の周辺に配設することが好ましい。

前記動きセンサ（２）は、カメラ（２２）及び照射部（２４）を具備しており、カメラ（２２）により撮影された画像を処理することによって使用者の身体部位の動きを検出する動き検出部（２６）を備えることができる。動き検出部（２６）は、画像から使用者の所定の身体部位（８）を認識し、その形状や位置、移動（移動量、移動方向等）を検出するように構成することができる。動き検出部（２６）の具体的な構成及び機能は任意であり、目的に応じて構成されればよい。

車両用動き検出システム（１）によって検出する人の動作の種類は特に限定されず、目的に応じて定められればよい。例えば、動きセンサ（２）は、カメラ（２２）の上方でされる人の腕、掌及び手指のうちの少なくとも１つを検出し、当該身体部位の予め定められた動作を検知するように構成することができる。

動きセンサ（２）は、カメラ（２２）からその光軸方向（前方）の検出対象までの距離を計測可能であることが好ましい。そうすれば、動きセンサ（２）は、使用者の所定の身体部位（８）の位置や動きを、３次元で計測することができる。どのような３次元座標系を用いるかは問わない。検出対象までの距離の計測方法は特に限定されず、例えば、ステレオカメラによって得られる２つの画像を処理することによって距離が求められてもよいし、照射部（２４）から照射された赤外光の検出対象による反射時間等を計測して距離が求められてもよい。

動きセンサ（２）が検出対象の位置や動きを３次元で計測可能である場合、使用者の所定の身体部位（８）の所定の動作がカメラ（２２）から光軸方向に所定範囲の距離で行われた場合に、その動作の検出を有効とするように構成することができる。そして、身体部位（８）の動作の検出が有効である場合のみに、当該動作に対応する処理（車載装置の制御等）を実行するように構成することができる。

更に、動きセンサ（２）は、使用者の所定の身体部位（８）の所定の動作が、カメラ（２２）の位置を基準として、カメラ（２２）の光軸方向及び光軸と直交方向（略水平方向）にそれぞれ所定範囲（図１に示される検知空間７）で行われた場合に、その動作の検出を有効とするように構成することができる。検知空間（７）の大きさは適宜設定されればよい。また、カメラ（２２）上に手が置かれる等、使用者の意図しない動きに反応しないように検知空間（７）を設定することができる。このような検知空間（７）を設定することにより、意図しない乗員の動作を誤検知しないようにし、所定の動作の認識率を高めることができる。

（車両用動き検出システムの適用例）
図１に示した車両用動き検出システム１の構成及び適用について、より具体的に説明する。車両用動き検出システム１は、車両等乗り物の室内に配設された動きセンサ２により人の動作を検出し、当該動作に対応する処理を実行するようにすることができる。
車両用動き検出システム１を適用する車両の種類や対象とする座席は問わない。一例として、図２に示すように、乗用車の後部座席の乗員を対象として、その乗員の手（手指、掌、腕等）の動作を検出し、検出された動作に対応して、車両の室内に備えられたエアコン、ＡＶ等の装置・機器を制御するようにすることができる。本例では、２つの後部座席の間に設けられたアームレスト９の上面に、天井に向けて２台のカメラ２２及び複数の赤外ＬＥＤからなる照射部２４が配設されている。カメラ２２の近傍にカップホルダー等撮影に支障を及ぼす物がある場合には、その障害物とは逆の方向にカメラ２２の向きを傾斜させる等の工夫がされればよい。

このような動きセンサ２により、カメラ２２の上方でされる乗員の身体部位の動作を認識することができる。そして、後部座席の乗員は、安楽な着座姿勢のままカメラ２２の上方で手指、掌、腕等を動かすことによって、車載装置・機器を操作することができる。カメラ２２は車室内の下方から天井方向にある乗員の身体部位を撮影するため、カメラ２２から見た乗員の身体部位の全部又は中央部が太陽光によって直射されることはない。また、車両の天井面も太陽光によって直射されていない。このため、動きセンサ２は、太陽の直射光に含まれる強い赤外線の影響が低減され、照射部２４から放射される赤外光の反射により撮影された乗員の身体部位を確実に検出することができる。

図２に示したような乗用車の後部座席用に、１又は２以上の車載装置に対する操作が可能な入力装置（３）が設けられる場合もある。車両用動き検出システム１に接続される車載装置の１つとしてこのような入力装置（３）を使用すれば、室内照明装置、エアコン、ヒータ、送風装置、テレビ装置、オーディオ装置、ナビゲーション装置、電動ウィンドウ、電動座席等、各種の車載装置に対して制御を行うことができる。後部座席の使用者は、入力装置（３）に備えられたパネル（操作画面）を見ながら、室内照明装置のオン・オフ、エアコン、ヒータ、送風装置等のオン・オフ、温度・風量等の設定、ＡＶ装置の音量・チャネル・選曲等を行うことが可能になる。

図３は、前側の座席の背面部に入力装置３が設けられる例を表している。入力装置３には、後側座席の乗員が視認できるように操作画面３１が設けられている。操作画面３１には、車載装置の選択や操作の案内、車載装置の設定・作動状態等が表示される（図４、６参照）。このような操作画面３１を表示する入力装置３は、前側座席の背面部に限らず、乗員が容易に視認できる位置に設けられればよい。例えば、天井やオーバーヘッドコンソール部に備えられてもよいし、アームレスト等の上面に配設されたカメラ２２及び照射部２４の周辺に備えられてもよい。

動きセンサ２（動き検出部２６）により、適宜定められた乗員の動作を検出することができる。動きセンサ２は、カメラ２２により撮影した画像を処理することによって、手指、掌、腕等、乗員の所定の身体部位８を認識し、その位置、形状や移動方向、移動量等から動きを検出する。所定の身体部位８の位置は、２次元画像上の位置であってもよいし、カメラ２２から身体部位までの距離を計測可能な場合には３次元空間における位置とすることができる。身体部位の形状とは、例えば乗員の手指により表される形状、伸ばされている指の本数やその傾斜角度等である。また、手指等の現在位置の一定時間前の位置からの移動の方向や移動量を、２次元又は３次元情報として得ることができる。動き検出部２６は、これらの情報から、予め定めた動きを検出する。予め定めた動きとして、例えば、カメラ２２が設置されたアームレストの上面にほぼ平行に行われる、左右、上下又は円方向の動きが挙げられる。また、カメラ２２の光軸方向の動き（即ちアームレスト上面に対して接近又は離隔する動き）が挙げられる。

図５は、乗員が指を１本伸ばして、指先を右向きに動かした例（右向きスワイプ操作）を表している。また、図７は、乗員が指を１本伸ばして、指先で右回りに円を描くように動かした例（右回りサークル操作）を表している。動きセンサ２（動き検出部２６）は、このように予め定められた動きが適正にされた場合、乗員が意図して行った操作として検出する。

図４は、入力装置３上に設けられた操作画面３１に、ＴＶ、エアコン等の車載装置の選択メニューが表示されている例を表している。ここで、現在アイコンａが選択されていることが表示されているものとする。このとき、車両用動き検出システム１（動きセンサ２）が乗員の手指により右向きスワイプ操作がされたことを検出した場合、車両用動き検出システム１はその操作を入力装置３に対して送信することができる。それによって、入力装置３は操作画面３１の表示を右側のアイコンｂ（エアコンを示す図形）が選択された状態に変更するようにすることができる。

次に、車両用動き検出システム１に対して乗員が予め定められた動きによりエアコンの操作を選択すると、入力装置３は操作画面３１に図６に示すようなエアコンを操作するための表示を行う。図６は、現在のエアコンの状態と、そのうちの温度設定ｃの操作が選択されている状態であることを表している。このとき、車両用動き検出システム１（動きセンサ２）が乗員の手指により右（左）回りのサークル操作がされたことを検出した場合、車両用動き検出システム１はその操作を入力装置３に対して送信することができる。それによって、入力装置３は、設定温度を現在値から上昇（下降）させる制御信号をエアコンに出力すると共に、操作画面３１上の温度表示を変更するようにすることができる。車両用動き検出システム１からエアコンに対して設定温度を上昇（下降）させる制御信号を出力するようにしてもよい。

以上のような例に限らず、車両用動き検出システム１は、使用者が行う種々の動きを検出し、その動きに応じて定められた操作を認識する。そして認識された操作に対応して、表示の変更、対象とする車載装置の切替え、設定項目の選択、項目毎の動作指示等を、入力装置３及び／又は各車載装置に送るようにすることができる。

本発明は上記で詳述した実施形態に限定されず、本発明の請求項に示した範囲で様々な変形又は変更が可能である。本例では乗用車を挙げて説明したが、乗用車等の車両に限らず、広く乗り物における操作入力手段として適用することができる。

１；車両用動き検出システム、２；動きセンサ、２２；カメラ、２４；照射部、２６；動き検出部、３；入力装置、３１；操作画面、７；検知空間、８；身体部位。

Claims (3)

1. 車室内に配設された動きセンサにより検出される人の動作により車載装置を制御するための動き検出システムであって、
   前記動きセンサは、２次元画像を得るカメラ及び当該カメラの前方に向けて赤外光を照射する照射部を具備しており、
   前記カメラは車両の床側から天井に向けて設置されていることを特徴とする車両用動き検出システム。
2. 前記カメラは座席脇に配設されたアームレスト又はコンソールボックスの上面に設置されており、前記動きセンサは前記カメラの上方でされる人の腕、掌及び手指のうちの少なくとも１つの動作を検知する請求項１記載の車両用動き検出システム。
3. 前記動きセンサは、前記カメラから光軸方向の検出対象までの距離を計測可能であり、
   人の動作が前記カメラから光軸方向に所定範囲の距離で行われた場合に前記車載装置を制御する請求項１又は２に記載の車両用動き検出システム。

Images