JP2013088075A

JP2013088075A - ジェスチャー解読装置

Info

Publication number: JP2013088075A
Application number: JP2011230499A
Authority: JP
Inventors: Keiko Noda; 桂子野田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-10-20
Filing date: 2011-10-20
Publication date: 2013-05-13
Anticipated expiration: 2031-10-20
Also published as: JP5857183B2

Abstract

【課題】ジェスチャ操作を、特定の場所で動作する必要があったり、解析動作が複雑で処理の負荷が大きく部屋に居る人の全体の平均的空調制御を行うものであった。
【解決手段】温度検知手段１０３と、温度検知手段１０３で画像化した温度レベルが所定値以下で画像化した温度レベル数以下の温度レベルに分類するための温度レベル分け手段１０４と、温度分布情報保持手段１０５と、保持情報のうち最も高い温度レベルの画素の重心から所定範囲を解読範囲とする解読枠設定手段１０６と、ジェスチャー解読手段１０２を備え、解読枠設定手段１０６で設定された解読範囲の温度レベルの時間変化を元に解読を行うことで、人の操作位置の制限をなくし、しかも、処理の負荷量を減じて、使用者の体表温度状態を反映したジェスチャーを認識することができる。
【選択図】図１

Description

本発明は、使用者のジェスチャーを、機器の操作情報として解読を行い、使用者の利便性と快適性を向上させるジェスチャー解読装置に関するものである。

従来、熱画像を利用して使用者のジェスチャー操作から機器の操作情報としてを温度制御へ反映するものとして、操作者の手を含めた所定の検出領域の画像を撮像し、手の形状および動きを検出する遠赤外線センサを備え、操作者が手の形状や動きで指示した特定の操作を判別し、車載機器への操作を実行する非接触式情報入力装置があった（例えば、特許文献１参照）。

また、画像処理で、動作変化が例えば、「背を丸めて両手を擦り合わせる動作」、
「手に息を吐きかける」、「額の汗を拭う動作」、「手や物で扇ぐ」などの特定動作に該当することを検知した場合に、その頻度あるいは回数に応じて空調制御するもので、生体熱の分布状態に基づいて人物を検知する赤外線カメラで得られた生体熱の分布状態に基づいて屋内に居る人物全員の合計体温を検知し、合計体温に応じて空調制御する人物応答制御システムがあった。（例えば、特許文献２参照）。

特開２００５−４７４１２号公報特開２００４−２７８９１２号公報

しかしながら、従来の特許文献１は、遠赤外線センサの設置位置を限定することで、特定の基準画像（特許文献１の例では、ステアリングホイール）が手の画像と同一画像に入るようにして、関係のないジェスチャーを取り込まないようにして誤操作を減らすことができる代わりに、使用者はジェスチャ操作を特定の場所でしか行えないものであった。

また、従来の特許文献２では、解析すべき動作が複雑で処理の負荷が大きく、また部屋に居る人の全体に対しての平均的な空調制御を行うものであった。

本発明は、前記従来の課題を解決するもので、人の操作位置の制限をなくし、しかも処理の負荷量を減らして、使用者の体表温度状態を反映しながら、より使用者の実感に近いジェスチャーを認識する、ジェスチャー解読装置を提供することを目的とする。

前記従来の課題を解決するために、本発明のジェスチャー解読装置は、温度分布を画像として認識する温度検知手段と、前記温度検知手段で画像化した温度レベルが所定値以下で画像化した温度レベル数以下の温度レベルに分類するための温度レベル分け手段と、前記温度レベル分け手段でレベル分け後の情報を保持するための温度分布情報保持手段と、前記温度分布保持手段に保持されている最も温度が高いレベルの画素の重心から所定範囲の画素を解読範囲として設定する解読枠設定手段と、ジェスチャー解読手段を備え、前記ジェスチャー解読手段は、前記解読枠設定手段で設定された解読範囲の温度レベルの時間変化を元に解読を行うようにしたものである。

これによって、最も温度レベルが高いレベルであるものを抽出することで、人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、またＣＰＵの処理能力に応じて温度レベル数を可変できるようにすることで、ＣＰＵの処理能力に応じた負荷量で、使用者の体表温度状態を反映しながら、より使用者の実感に近いジェスチャーを認識する、ジェスチャー解読装置とすることができる。

本発明のジェスチャー解読装置は、人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、またＣＰＵの処理能力に応じて温度レベル数を可変できるようにすることで、ＣＰＵの処理能力に応じた負荷量で、使用者の体表温度状態を反映しながら、より使用者の実感に近いジェスチャーを認識する、ジェスチャー解読装置とすることができる。

本発明の実施の形態１におけるジェスチャー解読装置の構成を示すブロック図同ジェスチャー解読装置の動作の流れを示すフロー図同ジェスチャー解読装置の温度レベル分けの一例を示す図同ジェスチャー解読装置の解読枠設定の一例を示す図本発明の実施の形態２におけるジェスチャー解読装置の構成を示すブロック図同ジェスチャー解読装置の空調温度設定に基づく温度レベル分けの一例を示す図

第１の発明は、本発明のジェスチャー解読装置は、温度分布を画像として認識する温度検知手段と、前記温度検知手段で画像化した温度レベルが所定値以下で画像化した温度レベル数以下の温度レベルに分類するための温度レベル分け手段と、前記温度レベル分け手段でレベル分け後の情報を保持するための温度分布情報保持手段と、前記温度分布保持手段に保持されている最も温度が高いレベルの画素の重心から所定範囲の画素を解読範囲として設定する解読枠設定手段と、ジェスチャー解読手段を備え、前記ジェスチャー解読手段は、前記解読枠設定手段で設定された解読範囲の温度レベルの時間変化を元に解読を行うことにより、人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、またＣＰＵの処理能力に応じて温度レベル数を可変できるようにすることで、ＣＰＵの処理能力に応じた負荷量で、使用者の体表温度状態を反映しながら、より使用者の実感に近いジェスチャーを認識する、ジェスチャー解読装置とすることができる。

第２の発明は、特に、第１の発明のジェスチャー解読装置で、空調機器制御手段を備え、前記温度検知手段で検知した温度レベル値の平均値が、所定値以上または所定値未満の時に、前記ジェスチャー解読手段が解読したジェスチャーを前記機器制御手段の操作として有効とするので、人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、処理の負荷量を小さくして、気温が暑い時や寒い時に限って空調機器の制御操作として有効なジェスチャー解読装置とすることができる。

第３の発明は、特に、第１の発明のジェスチャー解読装置は、空調温度設定手段を備え、前記温度レベル分け手段の温度レベル分けの閾値を、設定温度に基いて設定することにより、空調の設定温度に応じて自動的に適切な温度レベル分けが行われてジェスチャーを抽出できるジェスチャー解読装置とすることができる。

（実施の形態１）
図１は、本発明の実施の形態１におけるジェスチャー解読装置１０１の構成を示すブロック図である。また、図２は、ジェスチャー解読装置１０１の動作の流れを示すフローチャート、図３は、同ジェスチャー解読装置の温度レベル分けの一例を示す図、図４は、同ジェスチャー解読装置の解読枠設定の一例を示す図である。

図１において、ジェスチャー解読装置１０１は、温度分布を画像として認識する温度検知手段である赤外線カメラ１０３と、赤外線カメラ１０３で画像化した温度レベルが所定値（本実施の形態では、４０℃相当のレベル）以下で、かつ赤外線カメラ１０３で画像化した温度レベル数（本実施の形態では３２レベル）以下の温度レベル（本実施の形態では、４レベル）に分類するための温度レベル分け手段１０４と、温度レベル分け手段１０４でレベル分け後の情報を保持するための温度分布情報保持手段であるメモリ１０５と、メモリ１０５に保持されている最も温度が高いレベルの画素の重心から所定範囲の画素（本実施の形態では、１６画素）を解読範囲として設定する解読枠設定手段１０６と、ジェスチャー解読手段１０２を備えている。

以上のように構成されたジェスチャー解読装置１０１について、以下その動作、作用を説明する。図２に示したように、まず赤外線カメラで周期的に（本実施の形態では、１００ｍｓ）熱画像を取得する（ステップ１）。次に、ジェスチャー解読手段１０２は、図３に示したように、取得した熱画像の各画素についての温度レベル別の度数分布について、温度レベル分け手段１０４がレベル分け無効境界（本実施の形態では、４０℃相当のレベル）以下のものについて、温度の高いレベル順に、全体の１０％、３０％、３０％、３０％で、レベル４〜レベル１の範囲を設定する。レベルの範囲設定は、本実施の形態では、起動時と、起動時の範囲設定内の２レベルで該当なしとなった場合は、再設定する。次に、この範囲設定に基づいて、熱画像の温度レベル分布から４レベルに振り分ける（ステップ２）。次に、振り分けた結果のレベルのうち、最高レベル（レベル４、時間経過と共にレベル１〜３ばかりならレベル３）の画素群の重心を算出し、重心から２０画素の範囲に解読枠を設置する（ステップ４）。解読枠内（本実施の形態では、１６×１６画素）についての温度レベル分け手段１０４がレベル分け後の情報と重心の座標をメモリ１０５に記憶する。記憶は、最新８履歴の記憶とする（ステップ５、６）。

ジェスチャー解読手段１０２は、メモリ１０５に記憶した８履歴の情報から、重心が所定範囲内（本実施の形態では、１６画素以内）のものは同じものと見て、周期的な重心移動の有無、もしくは、温度レベルの周期的な変化を検出できた場合に、ジェスチャー検知とする（ステップ８）。

例えば、図４（ａ）に示した頭を周期的に振る場合、重心の周期的な移動で検知でき、図４（ｂ）の手振りの場合、温度レベルの周期的な変化で検知する。

尚、本実施の形態では、温度レベル分け手段１０４での温度レベル数は４としたが、温度検知手段でのレベル数以下であればかまわない。

以上のように、最も温度レベルが高いレベルであるものを抽出することで、人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、またＣＰＵの処理能力に応じて温度レベル数を可変できるようにすることで、ＣＰＵの処理能力に応じた負荷量で、使用者の体表温度状態を反映しながら、より使用者の実感に近いジェスチャーを認識する、ジェスチャー解読装置とすることができる。

（実施の形態２）
図５は、本発明の実施の形態２におけるジェスチャー解読装置の構成を示すブロック図である。図１の構成に加えて、空調機器制御手段１０７と、空調温度設定手段１０８とを
備えている。

また、図６は、同ジェスチャー解読装置の空調温度設定に基づく温度レベル分けの一例を示す図（（ａ）は、空調温度２０℃設定時、（ｂ）は、空調温度２８℃設定時）である。

ジェスチャー検知を行う動作は、実施の形態１と同様である。

ジェスチャー解読手段１０２は、赤外線カメラ１０３で検知した、画素毎の温度レベルの平均値（平均温度）が、所定値（本実施の形態では、２５℃相当）以上、もしくは、所定値（本実施の形態では、１５℃相当）未満の時に、検知したジェスチャーを有効として、ジェスチャーと対応して別途定義した機器操作として、空調機器制御手段１０７への制御信号として出力する。

また、実施の形態１では、図３に示したように、温度レベル分け手段１０４は、全体に対する度数割合でレベルの範囲を決定したが、本実施の形態では、空調温度２０℃設定時には、図６の（ａ）に示したように、空調温度２８℃設定時には、（ｂ）に示したように、空調温度設定手段１０８で設定された設定温度に合わせてレベル２とレベル３の境界をシフトさせる。これにより、設定温度近辺でのレベルの差異が出るようにして検知精度を上げるようにできる。

人の操作位置の制限をなくし、しかも解読する範囲を適切に限定し、処理の負荷量を小さくして、気温が暑い時や寒い時に限って空調機器の制御操作として有効で、空調の設定温度に応じて自動的に適切な温度レベル分けが行われてジェスチャーを抽出できるジェスチャー解読装置とすることができる。

以上のように、本発明にかかるジェスチャー解読装置は、処理の負荷量を減じて、使用者の体表温度状態を反映したジェスチャーを認識でき、家庭内だけでなく業務用としても操作の利便性を向上させるのに有用である。

１０１ジェスチャー解読装置
１０２ジェスチャー解読手段
１０３赤外線カメラ（温度検知手段）
１０４温度レベル分け手段
１０５メモリ（温度分布情報保持手段）
１０６解読枠設定手段
１０７空調機器制御手段
１０８空調温度設定手段

Claims

温度分布を画像として認識する温度検知手段と、
前記温度検知手段で画像化した温度レベルが所定値以下で画像化した温度レベル数以下の温度レベルに分類するための温度レベル分け手段と、
前記温度レベル分け手段でレベル分け後の情報を保持するための温度分布情報保持手段と、
前記温度分布保持手段に保持されている最も温度が高いレベルの画素の重心から所定範囲の画素を解読範囲として設定する解読枠設定手段と、
ジェスチャー解読手段とを備え、
前記ジェスチャー解読手段は、前記解読枠設定手段で設定された解読範囲の温度レベルの時間変化を元に解読を行うジェスチャー解読装置。
空調機器制御手段をさらに備え、
前記空調機器制御手段は、前記温度検知手段で検知した温度レベル値の平均値が、所定値以上または所定値未満の時に、前記ジェスチャー解読手段が解読したジェスチャーを前記機器制御手段の操作として有効とする請求項１記載のジェスチャー解読装置。
空調温度設定手段を備え、
前記空調温度設定手段は、前記温度レベル分け手段の温度レベル分けの閾値を、設定温度に基いて設定するジェスチャー解読装置する請求項１または２に記載のジェスチャー解読装置。