JP2014102674A - ジェスチャー入力装置 - Google Patents

Abstract

【課題】他人に不快感を与える不適切なジェスチャーを行うことを抑制する「ジェスチャー入力装置」を提供する。
【解決手段】ジェスチャー入力を受け付ける手のジェスチャーである入力受付ジェスチャーと、いずれかの国において侮辱など不快な意味を持つ手のジェスチャーである禁止ジェスチャーとの画像認識用のデータであるジェスチャーデータを用いて、ジェスチャー認識装置５は、赤外カメラ２で撮影した画像からユーザの手のジェスチャーを認識し、入力受付ジェスチャーを認識した場合には認識したジェスチャーの識別を制御装置７に出力し、禁止ジェスチャーを認識した場合には、音声出力装置４から、ユーザに対して、行っているジェスチャーが不快な意味を持つジェスチャーであることを通知するアナウンスを出力する。
【選択図】図１

Description

本発明は、手のジェスチャーによる入力を受け付けるジェスチャー入力装置に関するものである。

手のジェスチャーによる入力を受け付けるジェスチャー入力装置としては、ユーザの手を撮影するカメラを設け、カメラで撮影した画像からユーザの手のジェスチャーを認識し、認識したジェスチャーに応じた処理を行う技術が知られている（たとえば、特許文献１）。

なお、カメラで撮影した画像より手のジェスチャーを認識する技術としては、たとえば、カメラで撮影した手の画像から、当該画像中の手と指の領域や、手の骨格の特徴や、伸びている指の本数などを認識する技術が知られている（特許文献２）。

特開２０１１-２０４０１９号公報 特開２００９-２９４８４３号公報

手のジェスチャーによる入力を受け付けるジェスチャー入力装置を、自動車内や公共施設や屋外などに設けた場合、ユーザが意図せずに手のジェスチャーによって他人に不快感を与えてしまうことがある。
すなわち、ある外国において侮辱的または卑猥的または挑発的な意味をもっているジェスチャーを、ユーザがそうとは知らずにジェスチャー入力のために行ったときに、当該外国の人が当該ジェスチャーを見た場合には、当該外国の人は当該ジェスチャーに対して不快感を感じることとなる。

また、さらには、自動車内にジェスチャー入力を行う情報システムを設置した場合、運転手がジェスチャー入力のために行ったジェスチャーを、車外の歩行者や先行/併走/後続車両の搭乗者が、自分に向けられたジェスチャーであると誤認してしまうことがある。
そして、この場合において、ユーザがジェスチャー入力のために行ったジェスチャーが、外国において侮辱的または卑猥的または挑発的な意味をもっているジェスチャーであり、当該ジェスチャーを自分に対して行われたジェスチャーであると誤認した他人が当該外国の人である場合には、当該外国の人が自分に対して侮辱や挑発が行われたと勘違いしてしまうために大きな問題となる。

そこで、本発明は、ユーザが他人に不快感を与える不適切なジェスチャーを行うことを抑制することのできるジェスチャー入力装置を提供することを課題とする。

前記課題達成のために、本発明は、手のジェスチャーによるジェスチャー入力を受け付けるジェスチャー入力装置に、ユーザの手を撮影するカメラと、各々がジェスチャー入力を受け付けるジェスチャーである各入力受付ジェスチャーの画像認識用の参照データである入力受付ジェスチャー画像認識用データと、各々が他人に不快感を与える意味を持つジェスチャーである各禁止ジェスチャーの画像認識用の参照データである禁止ジェスチャー画像認識用データとを格納した画像認識用データ格納手段と、前記入力受付ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記入力受付ジェスチャーを認識するための画像認識処理を行い、前記入力受付ジェスチャーを認識した場合に、認識した前記入力受付ジェスチャーに応じたジェスチャー入力を受け付ける入力受付ジェスチャー認識手段と、前記禁止ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記禁止ジェスチャーを認識するための画像認識処理を行い、前記禁止ジェスチャーを認識した場合に、ユーザに対して、行っているジェスチャーが不快な意味を持つジェスチャーであることの通知を行う禁止ジェスチャー認識手段とを備えたものである。

ここで、以上のようなジェスチャー入力装置は、前記禁止ジェスチャー認識手段において、前記禁止ジェスチャーの認識が所定期間以上継続した場合にのみ、前記通知を行うように構成してもよい。
また、以上のようなジェスチャー入力装置は、前記格納手段に、前記各禁止ジェスチャーの各々について、当該禁止ジェスチャーが不快な意味を持つ国名または地域名と、当該禁止ジェスチャーがもつ不快な意味との、少なくとも一方を禁止理由情報として格納し、前記禁止ジェスチャー認識手段において、前記通知に、認識した前記禁止ジェスチャーの前記禁止理由情報を含めるように構成してもよい。

また、以上のようなジェスチャー入力装置は、前記格納手段に、前記各禁止ジェスチャーの各々について、ユーザが、当該禁止ジェスチャーの代わりに用いるべき前記入力受付ジェスチャーを示す正規ジェスチャー情報を格納し、前記禁止ジェスチャー認識手段において、前記正規ジェスチャー情報に基づいて、前記通知と共に、認識した前記禁止ジェスチャーの代わりに用いるべき前記入力受付ジェスチャーのユーザに対する提示を行うように構成してもよい。

ここで、当該ジェスチャー入力装置は自動車に搭載された車載のジェスチャー入力装置であってもよい。
以上のようなジェスチャー入力装置によれば、ユーザが意図せずに不快な意味を持つジェスチャーを行ったときには、ユーザにその旨を通知することにより、ユーザを、以降、そのようなジェスチャーを行わないように誘導することができる。よって、本発明によれば、ユーザが他人に不快感を与える不適切なジェスチャーを行うことを抑制することができるようになる。

以上のように、本発明によれば、ユーザが他人に不快感を与える不適切なジェスチャーを行うことを抑制することのできるジェスチャー入力装置を提供することができる。

本発明の実施形態に係る情報システムの構成を示すブロック図である。 本発明の実施形態に係るジェスチャーデータを示す図である。 本発明の実施形態に係る禁止ジェスチャーとガイド情報の例を示す図である。 本発明の実施形態に係るジェスチャー入力受け付け処理を示すフローチャートである。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、自動車に搭載されるシステムであり、当該情報システムは、たとえば、ＡＶシステムやナビゲーションシステムなどを構成するものである。
図示するように、情報システムは、赤外ＬＥＤ１、赤外カメラ２、表示装置３、音声出力装置４、ジェスチャー認識装置５、ジェスチャーデータ記憶部６、制御装置７、１または複数の周辺装置８を備えている。
ただし、このような情報システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、ジェスチャー認識装置５や制御装置７は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

さて、表示装置３は、たとえば液晶表示装置であり、たとえば、図１ｂに示すように、ダッシュボード上の、左右方向について運転席と助手席の中間の位置に配置される。
また、赤外カメラ２は、図１ｂに示すように、表示装置３の上部の位置に、後方を撮影するように配置され、赤外ＬＥＤ１は、赤外カメラ２の撮影範囲を赤外光で照明するように表示装置３の上部に配置される。
そして、ユーザは、赤外カメラ２の撮影範囲内において、手のジェスチャーを行うことにより、情報システムへのジェスチャー入力を行うものである。
次に、ジェスチャーデータ記憶部６に記憶されるジェスチャーデータについて説明する。
図２に示すように、ジェスチャーデータは、入力受付ジェスチャーデータと禁止ジェスチャーデータとよりなる。
そして、入力受付ジェスチャーデータには、入力として受け付ける手のジェスチャーである入力受付ジェスチャー毎に対応して設けられた入力受付ジェスチャーレコードが格納されている。
各入力受付ジェスチャーレコードには、対応する入力受付ジェスチャーに割り当てた入力コードと、マッチングテンプレートが登録されている。ここで、マッチングテンプレートは、対応する入力受付ジェスチャーの画像認識用の参照データであり、マッチングテンプレートとしては、対応する入力受付ジェスチャーの画像の典型的なパターン、もしくは、対応する入力受付ジェスチャーの画像特有の特徴を示すパターン、対応する入力受付ジェスチャーを行っている手の典型的な骨格を示すパターンなどを用いることができる。

次に、禁止ジェスチャーデータには、いずれかの国において侮辱的または卑猥的または挑発的な意味を持つジェスチャーを禁止ジェスチャーとして、禁止ジェスチャー毎に対応して設けられた禁止ジェスチャーレコードが格納されている。
そして、禁止ジェスチャーレコードには、対応する禁止ジェスチャーに割り当てた禁止ジェスチャーコードと、マッチングテンプレートと、禁止理由と、ガイド情報が登録されている。ここで、マッチングテンプレートは、対応する禁止ジェスチャーの画像認識用の参照データであり、上述のように、マッチングテンプレートとしては、対応する禁止ジェスチャーの画像の典型的なパターン、もしくは、対応する禁止ジェスチャーの画像特有の特徴を示すパターン、対応する禁止ジェスチャーを行っている手の典型的な骨格を示すパターンなどを用いることができる。

また、禁止ジェスチャーレコードに登録する禁止理由には、対応する禁止ジェスチャーが侮辱的または卑猥的または挑発的な意味を持つジェスチャーとしての意味を持つ国の名称や、その国での禁止ジェスチャーの意味などを登録する。
また、禁止ジェスチャーレコードに登録するガイド情報には、情報システムへのジェスチャー入力のために、対応する禁止ジェスチャーに代えて用いるべき入力受付ジェスチャーを案内するガイド画面の情報などを登録することができる。なお、対応する禁止ジェスチャーに代えて用いるべき入力受付ジェスチャーとは、対応する禁止ジェスチャーでユーザが入力を意図したと推定される内容の入力に用いることのできる入力受付ジェスチャーである。

ここで、対応する禁止ジェスチャーレコードを設ける禁止ジェスチャーとしては、図３ａ１-ａ１１に示すようなジェスチャーを用いることができる。なお、これら図３ａ１-ａ１１の禁止ジェスチャーの禁止ジェスチャーレコードに登録される禁止理由は以下の通りとなる。
図３ａ１：中国で侮辱の意味、図３ａ２：欧米で卑猥/侮辱の意味、図３ａ３：トルコで卑猥/侮辱の意味、図３ａ４：地中海諸国で侮辱の意味、図３ａ５：中東/西アフリカ/南米で卑猥/侮辱の意味、図３ａ６：フランスで侮辱の意味、図３ａ７：欧米で侮辱の意味、図３ａ８：ギリシャで侮辱の意味、図３ａ９：イギリス/オーストラリアで卑猥/侮辱の意味、図３ａ１０：イギリスで卑猥/侮辱の意味、図３ａ１１：ベトナムで卑猥/侮辱の意味。

また、禁止ジェスチャーレコードに登録するガイド情報としては、たとえば、図３ｂに示すようなガイド画面の情報を登録することができる。
ここで、図３ｂに示したガイド画面は、禁止ジェスチャーレコードに対応する禁止ジェスチャーの画像３０１と、当該禁止ジェスチャーに代えて用いるべき入力受付ジェスチャーの画像３０２と、当該禁止ジェスチャーの禁止理由３０３と、当該禁止ジェスチャーに代えてジェスチャー入力のために行うべきジェスチャーを案内する文３０４を表したものとなっている。

また、図３ｂのガイド画面は、情報システムにおいて、人差し指一本を立てるジェスチャーが「１」の入力受け付けに用いる入力受付ジェスチャーに設定されている場合における、中指一本を立てる禁止ジェスチャーの禁止ジェスチャーレコードに対応するガイド画面を表しており、当該ガイド画面は、この禁止ジェスチャーでユーザが意図したと推定される「１」の入力には、当該禁止ジェスチャーに代えて、人差し指一本を立てる入力受付ジェスチャーを用いるよう案内するものとなっている。

以下、このような構成において、ジェスチャー認識装置５が行うジェスチャー入力受け付け処理について説明する。
図４に、このジェスチャー入力受け付け処理の手順を示す。
図示するように、この処理では、赤外カメラ２が撮影した画像を取得し（ステップ４０２）、取得した画像と、入力受付ジェスチャーデータの各入力受付ジェスチャーレコードのマッチングテンプレートとのマッチングによる入力受付ジェスチャーの画像認識を行う（ステップ４０４）。

そして、いずれかの入力受付ジェスチャーを認識できたならば（ステップ４０６）、認識した入力受付ジェスチャーの入力受付ジェスチャーレコードに登録されている入力コードを制御装置７に出力し（ステップ４０８）、ステップ４０２からの処理に戻る。
一方、取得した画像から入力受付ジェスチャーを認識できなかった場合には（ステップ４０６）、取得した画像と、禁止ジェスチャーデータの各禁止ジェスチャーレコードのマッチングテンプレートとのマッチングによる禁止ジェスチャーの画像認識を行う（ステップ４１０）。

そして、禁止ジェスチャーを認識できなかった場合には（ステップ４１２）、ステップ４０２からの処理に戻る。
一方、禁止ジェスチャーが認識された場合には（ステップ４１２）、所定のタイムアウト時間（たとえば、２秒）のタイムアウト時間を設定したタイマを設定し（ステップ４１４）、タイマのタイムアウトが発生するまで（ステップ４２２）、赤外カメラ２の撮影画像の取得（ステップ４１６）と、取得した画像と、ステップ４１０で認識した禁止ジェスチャーの禁止ジェスチャーレコードのマッチングテンプレートとのマッチングによる、ステップ４１０で認識した禁止ジェスチャーの認識（ステップ４１８）繰り返す。

そして、タイマのタイムアウトが発生する前に（ステップ４２２）、ステップ４１０で認識した禁止ジェスチャーが認識されなくなった場合には（ステップ４２０）、ステップ４１０で認識した禁止ジェスチャーを有意な時間長ユーザが維持しなかった場合であり、ユーザが意図して禁止ジェスチャーを行っていないと考えられるので、ステップ４０２からの処理に戻る。

一方、タイマのタイムアウトが発生した場合には（ステップ４２２）、ステップ４１０で認識した禁止ジェスチャーを有意な時間長ユーザが維持した場合であり、ユーザが意図して禁止ジェスチャーを行っていると考えられるので、禁止ジェスチャーに対する注意を行う。
すなわち、まず、ステップ４１０で認識した禁止ジェスチャーの禁止ジェスチャーレコードにガイド情報が登録されているかどうかを調べ（ステップ４２４）、ガイド情報が登録されていれば、ガイド情報が示すガイド画面を表示装置３に表示し（ステップ４２６）、ステップ４０８で認識した禁止ジェスチャーの禁止ジェスチャーレコードに登録されている禁止理由を通知するアナウンスを音声出力装置４から出力し（ステップ４２８）、アナウンスの出力が終了したならばガイド画面の表示を消去し（ステップ４３０）、ステップ４０２からの処理に戻る。

一方、ステップ４０８で認識した禁止ジェスチャーの禁止ジェスチャーレコードにガイド情報が登録されていない場合には（ステップ４２４）、ステップ４０８で認識した禁止ジェスチャーの禁止ジェスチャーレコードに登録されている禁止理由を通知するアナウンスを音声出力装置４から出力し（ステップ４３２）、ステップ４０２からの処理に戻る。

ここで、ステップ４２８、４３２で音声出力装置４から出力するアナウンスは、たとえば、「そのジェスチャーは、中国の方を侮辱する行為になります。」といったように、禁止理由に登録されている国と、禁止ジェスチャーの持つ意味とを通知するものとする。ここで、このような、ユーザが行ったジェスチャーが他人に不快を与えるジェスチャーであることを通知するアナウンスを行うことにより、ユーザを、以降、そのようなジェスチャーを行わないように誘導することができる。
以上、ジェスチャー認識装置５が行うジェスチャー入力受付処理について説明した。

さて、図１に戻り、情報システムがＡＶシステムを構成するものであれば、周辺装置８は、たとえば、放送受信機や、ＣＤ/ＤＶＤなどの記録ディスクを再生するディスクドライブなどである。そして、制御装置７は、表示装置３に適当なＧＵＩ画面を表示しつつ、上述のジェスチャー入力受付処理によってジェスチャー認識装置５から入力受付ジェスチャーの認識の結果として入力する入力コードに応じて、放送受信機やディスクドライブの動作を制御する処理や、放送受信機で受信した音声やディスクドライブに装着された記録ディスクに記録されている音声を音声出力装置４に出力する処理や、放送受信機で受信した映像や、ディスクドライブに装着された記録ディスクに記録されている映像を表示装置３に出力する処理などを行う。

また、情報システムがナビゲーションシステムを構成するものであれば、周辺装置８は、地図データを記憶した記憶装置や、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサなどである。そして、制御装置７は、表示装置３に適当なＧＵＩ画面を表示しつつ、上述のジェスチャー入力受付処理によってジェスチャー認識装置５から入力受付ジェスチャーの認識の結果として入力する入力コードに応じて、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像の表示装置３への表示や、ナビゲーション画像のスクロール表示などの処理を行う。

以上、本発明の実施形態について説明した。
なお、以上の実施形態は、赤外カメラ２に代えて、可視光用のカメラを用いるようにしてもよい。
また、以上の実施形態は、車載の如何に関わらずに、ジェスチャー入力を行う任意の情報システムに同様に適用することができる。

１…赤外ＬＥＤ、２…赤外カメラ、３…表示装置、４…音声出力装置、５…ジェスチャー認識装置、６…ジェスチャーデータ記憶部、７…制御装置、８…周辺装置。

Claims (6)

1. 手のジェスチャーによるジェスチャー入力を受け付けるジェスチャー入力装置であって、
   ユーザの手を撮影するカメラと、
   各々がジェスチャー入力を受け付けるジェスチャーである各入力受付ジェスチャーの画像認識用の参照データである入力受付ジェスチャー画像認識用データと、各々が他人に不快感を与える意味を持つジェスチャーである各禁止ジェスチャーの画像認識用の参照データである禁止ジェスチャー画像認識用データとを格納した画像認識用データ格納手段と、
   前記入力受付ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記入力受付ジェスチャーを認識するための画像認識処理を行い、前記入力受付ジェスチャーを認識した場合に、認識した前記入力受付ジェスチャーに応じたジェスチャー入力を受け付ける入力受付ジェスチャー認識手段と、
   前記禁止ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記禁止ジェスチャーを認識するための画像認識処理を行い、前記禁止ジェスチャーを認識した場合に、ユーザに対して、行っているジェスチャーが不快な意味を持つジェスチャーであることの通知を行う禁止ジェスチャー認識手段とを有することを特徴とするジェスチャー入力装置。
2. 請求項１記載のジェスチャー入力装置であって、
   前記禁止ジェスチャー認識手段は、前記禁止ジェスチャーの認識が所定期間以上継続した場合にのみ、前記通知を行うことを特徴とするジェスチャー入力装置。
3. 請求項１または２記載のジェスチャー入力装置であって、
   前記格納手段は、前記各禁止ジェスチャーの各々について、当該禁止ジェスチャーが不快な意味を持つ国名または地域名と、当該禁止ジェスチャーがもつ不快な意味との、少なくとも一方を禁止理由情報として格納し、
   前記禁止ジェスチャー認識手段は、前記通知に、認識した前記禁止ジェスチャーの前記禁止理由情報を含めることを特徴とするジェスチャー入力装置。
4. 請求項１、２または３記載のジェスチャー入力装置であって、
   前記格納手段は、前記各禁止ジェスチャーの各々について、ユーザが、当該禁止ジェスチャーの代わりに用いるべき前記入力受付ジェスチャーを示す正規ジェスチャー情報を格納し、
   前記禁止ジェスチャー認識手段は、前記正規ジェスチャー情報に基づいて、前記通知と共に、認識した前記禁止ジェスチャーの代わりに用いるべき前記入力受付ジェスチャーのユーザに対する提示を行うことを特徴とするジェスチャー入力装置。
5. 請求項１、２、３または４記載のジェスチャー入力装置であって、
   当該ジェスチャー入力装置は自動車に搭載された車載のジェスチャー入力装置であることを特徴とする情報システム。
6. カメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
   当該コンピュータを、
   各々がジェスチャー入力を受け付けるジェスチャーである各入力受付ジェスチャーの画像認識用の参照データである入力受付ジェスチャー画像認識用データと、各々が他人に不快感を与える意味を持つジェスチャーである各禁止ジェスチャーの画像認識用の参照データである禁止ジェスチャー画像認識用データとを格納した画像認識用データ格納手段と、
   前記入力受付ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記入力受付ジェスチャーを認識するための画像認識処理を行い、前記入力受付ジェスチャーを認識した場合に、認識した前記入力受付ジェスチャーに応じたジェスチャー入力を受け付ける入力受付ジェスチャー認識手段と、
   前記禁止ジェスチャー画像認識用データを用いて、前記カメラで撮影した画像に対して、前記禁止ジェスチャーを認識するための画像認識処理を行い、前記禁止ジェスチャーを認識した場合に、ユーザに対して、行っているジェスチャーが不快な意味を持つジェスチャーであることの通知を行う禁止ジェスチャー認識手段として機能させることを特徴とするコンピュータプログラム。