JP2015019705A

JP2015019705A - 操作装置の制御方法

Info

Publication number: JP2015019705A
Application number: JP2013147958A
Authority: JP
Inventors: 高示一森; Kouji Ichimori
Original assignee: Lapis Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2013-07-16
Filing date: 2013-07-16
Publication date: 2015-02-02
Anticipated expiration: 2033-07-16
Also published as: JP6170770B2

Abstract

【課題】安価でかつ操作者の動作を高精度で検出すること可能とする操作装置を提供する。【解決手段】情報表示部の表示情報を変更する操作装置の制御方法であって、中央処理ＩＣからの信号に基づき複数の赤外光照射部のうち所定の赤外光照射部を照射状態にするステップと、赤外光撮像部の撮像情報を画像処理ＩＣが受信するステップと、照射状態になっている赤外光照射部の場所に応じて撮像情報を画像処理ＩＣが演算するステップと、演算結果を画像処理ＩＣから中央処理ＩＣへ出力するステップと、演算結果に基づき情報表示部の表示内容を変更するステップと、を備える。【選択図】図４

Description

本発明は、スロットマシン（パチスロ）やパチンコに代表される遊技機の遊技者のジェスチャー認識機構並びに情報表示装置へ画像認識技術を応用したジェスチャー認識機構を備える操作装置の制御方法に関する。

遊技機の一つとしてスロットマシンが知られているが、近年、スロットマシンの演出面での進歩には目を見張るものがあり、演出抜きでは、もはやスロットマシンとして成り立たなくなっているといっても過言ではない。例えば、上部ランプやサイドランプによる派手な演出は勿論のこと、大型で綺麗な画像を表示する液晶表示装置などの画像表示ユニットを用いて、多種多様な演出を行っている。これらは、遊技興趣を高めるためのものであり次世代の演出の開発が進められている

特に注目されているのは、遊技者の動作を認識して遊技機の表示内容等への処理へ組み込む技術である。例えば特許文献１ではカメラにて遊技者の動作を撮影して遊技機の表示動作へ反映する内容が記載されている。特許文献２では、遊技者の動作を光学式の位置検出センサを用いて遊技機の表示動作へ反映する内容が記載されている。特許文献３や４では、検出精度を高めるべく赤外線の照射と赤外線の反射を撮像装置にて検知することで動作検出を行っている。

特開２００５−０４０１６３号公報特開２００７−１９０２８３号公報特開２０１２−０９５８７５号公報特開２０１２−２２３４６６号公報特開２０１２−２２８４８６号公報

しかしながら、特許文献１〜５のように多種多様な方法で検討はされているもの実用化には至っていない現状が存在する。その背景には、まず第１に遊技者の動作（所謂ジェスチャー）を正確に認識できる性能を持つ遊技機を構築しなければならない点と、第２に現実的な費用のもと性能を実現しなければならない。換言すれば、多機種へ展開可能な汎用性を持つ必要がある。

ジェスチャーの認識には、遊技台が設置される様々な環境で正確な認識が求められる。特許文献１では、認識が出来る前提での処理について記載されているもの正確な認識についてはなんら考慮されていない。特許文献２では、光学式の位置検出センサにて物体の通過や位置の検出が可能であるものの限られたスペースしかない遊技機にて、規模の大きいセンサを設けることは現実的ではない。また、検出の精度を上げるためには多数の演算処理が必要になるため実現性に乏しい。

特許文献３では、赤外線ＬＥＤを遊技者へ照射し、その反射波を赤外線カメラで撮影することで遊技者の動作を検出技術が開示されている。遊技者全体を撮影しており主に必要とする手の動作をどのように正確に検知するのかについてはなんら記載がなく、取り込んだ画像を演算するのであればやはり膨大な演算処理が必要になるため実現性に乏しい。特許文献４では、赤外光放射部と赤外光撮像部とを備え、演算量を削減すべく撮像画像内の領域を別けて処理の優先度を変えている。また赤外光放射部は特殊なフィルタ（ＬＣＤ）を備えており処理優先度の高い領域へ赤外光を強調的に放射することで検出精度を上げる技術が開示されている。特許文献３と比較して高精度な検出が可能な技術であるものの、カメラが水平に設置されているため視野が制限される。特に遊技機を操作している手元が検知対象から外れる。また精度を高めるためのフィルタは高価で汎用性に乏しい。特許文献５には、特許文献４の技術を応用した技術が記載されているものの特許文献４と同様の課題が残されている。

本発明は、上述した問題を解決するために提案されたものであり、安価でかつ操作者の動作を高精度で検出すること可能とする操作装置の制御方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の操作装置の制御方法は、赤外光撮像部と複数の赤外光照射部と情報表示部と中央処理ＩＣと画像処理ＩＣとを備える筺体を操作者の動作に基づき、該情報表示部の表示情報を変更する操作装置の制御方法であって、中央処理ＩＣからの信号に基づき複数の赤外光照射部のうち所定の赤外光照射部を照射状態にするステップと、赤外光撮像部の撮像情報を画像処理ＩＣが受信するステップと、照射状態になっている赤外光照射部の場所に応じて撮像情報を画像処理ＩＣが演算するステップと、演算結果を画像処理ＩＣから中央処理ＩＣへ出力するステップと、演算結果に基づき情報表示部の表示内容を変更するステップと、を備える。

本発明によれば、安価でかつ操作者の動作を高精度で検出すること可能とする操作装置の制御方法を提供することができる、という効果を奏する。

実施例１に係る操作装置の正面図及び側面図である。操作装置の制御ユニットのブロック図である。図１に示す操作装置の撮像画像の代表例である。操作装置の制御の一例を示すフローチャートである。図１に示す操作装置の撮像画像の第１のジェスチャー認識モードである。図１に示す操作装置の撮像画像の第２のジェスチャー認識モードである。図１に示す撮像部の代表的な特性及びＬＥＤの一般的な特性である。実施例２に係る操作装置の正面図及び側面図である。図８に示す操作装置の撮像画像のジェスチャー認識モードである。本発明の操作装置の他の例である。

以下、図面を参照して、本発明に係る本実施の形態（第１の実施の形態）の操作装置について説明する。

まず、本実施の形態の操作装置の構成について説明する。図１（ａ）は、操作装置を正面からみた正面図である。また、図１（ｂ）は、操作装置を側面からみた側面図である。図１（ａ）に示すように操作装置１００は、筺体１１０、撮像部１２０、赤外光照射部１３０（１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ）、を備えて構成されている。

筺体１００は、例えばスロットマシンやパチンコなどの遊技機、アミューズメント機器、情報取得装置などである。本実施の形態ではスロットマシンを主の例にとり、適宜他の装置の場合も織り交ぜて説明する。図１（ｂ）に示すように筺体１００は、前面１１２（フロントパネル）を備える。前面には、何らかの情報表示がなされる場所が存在し、透明板を透過して筺体内部のリールドラムや釘板を見る場合もあるし液晶パネルなどの場合もある。（図示せず）前面１１２には、情報表示がなされる中央領域の周囲に、中央領域と比較して操作者側へ迫り出した枠体１１４を備える。枠体１１４は、前面１１２の上方部１１４ａと側方部１１４ｂに大別される。

撮像部１２０は、例えば赤外線カメラである。赤外線カメラは、ＣＭＯＳカメラモジュールに赤外線透過フィルタ（一例として８００ｎｍ以上の波長帯を透過するフィルタ）或いはバンドパスフィルタ（一例として９５０ｎｍ±２５ｎｍに透過帯域を有するフィルタなど９３０ｎｍ〜９６０ｎｍで少なくとも透過帯域を有するフィルタ）などで構成することが可能である。汎用的かつ実用的な範囲では、広角レンズに属する例えば水平画角１２０°、垂直画角９０°あたりが望ましい。撮像部１２０は、枠体の上方部１１４ａに配置されている。枠体１１４内に埋設される場合や枠体１１４上に固定される場合が考えられる。撮像部１２０は、筐体前面１１２が視野に含まれるように、撮像素子の法線が水平方向より下向きになるように配置される。本例では、垂直画角９０°であるから約４５°の向きで配置することが好適である。この結果、筐体構造の水平部分である領域１２６が視野に含まれる。また、赤外光照射部１３０も視野に含まれるように配置されることが多いが、これに限定されない。

赤外光照射部１３０は、例えば赤外光を発するＬＥＤである。赤外線透過フィルタの透過範囲内であることが必要であり、例えば中心波長が９４０ｎｍや９５０ｎｍのＬＥＤが挙げられる。赤外光照射部１３０は、枠体の側方部１１４ｂに配置されている。枠体１１４内に埋設される場合や枠体１１４上に固定される場合が考えられる。赤外光照射部１３０は、赤外光が前面１１２の所定の範囲（１３２，１３４）に限定して照射されるように配置・調整されており、前記所定の範囲は検知領域１３２または１３４と略一致する。換言すれば、検知領域１３２または１３４において、高い赤外光照射強度が得られる。ここで、検知対象物が前記照射範囲内に存在する場合には、赤外光が検知対象物によって反射されるが、この反射光が撮像素子方向へ高い効率で反射されるために、前記赤外光照射部は水平方向を基準に上方向よりも下方向への照射の光量が多くなる向きに、つまり水平方向よりも下向きに配置されている。赤外光照射部１３０の一つである赤外光照射部１３０ａ（１３０ｂ、１３０ｃ、１３０ｄ）は、単数のＬＥＤであってもよいが、照射範囲を詳細に制御するためには複数のＬＥＤで構成するＬＥＤユニットであることが望ましい。赤外光を照射する範囲を限定するためには、ＬＥＤの照射角が６０度以下（照射方向に対して、±３０度以下）であることが望ましい。赤外光照射部１３０ａ（１３０ｂ）のＬＥＤユニットと赤外光照射部１３０ｃ（１３０ｄ）は、それぞれが垂直方向で異なる検知領域１３２と１３４に対応しているため、垂直方向で異なる高さに配置されている。また、赤外光照射部１３０ａ（１３０ｃ）のＬＥＤユニットと赤外光照射部１３０ｂ（１３０ｄ）は、検知対象物の左右の光量の偏りを無くすために、水平方向で略同じ高さに配置されている。略同じ高さの水平面内へ設置されているとも説明できる。

次に、撮像部１２０、赤外光照射部１３０、及びその制御に関わる制御部２９０を備える制御ユニット２００について図２を用いて説明する。図２は、制御ユニット２００のブロック図である。

撮像部１２０は、レンズ２２２、フィルタ２２４、画像センサ２２６を備える。フィルタ２２２はレンズ２２２と画像センサ２２６の間の光路に設けられ、レンズ２２２にて集光された光のうち所定の波長帯を透過させる役目を果たすものである。フィルタ２２２の特性は、上述の赤外光照射部１３０の発光波長帯域を含む必要があり、当該帯域の透過率が高いものが望ましい。また、特に外乱ノイズへの耐性を高める目的で、赤外光照射部１３０の発光波長帯域のみを透過するバンドパスフィルタ（例えば、中心波長±２５ｎｍの範囲で高い透過率を有する）が好適である。画像センサ２２６は、ＣＭＯＳイメージセンサ（ＣＩＳ）などが採用されうる。画像センサ２２６は、撮像データを適宜出力するものである。図７（ａ）には代表的なＣＭＯＳイメージセンサの波長帯における相対的な感度及び、代表的なＩＲフィルタ（赤外線透過フィルタ）やバンドパスフィルタの透過特性を示している。シリコンの受光感度は、４００ｎｍ近傍から１１００ｎｍ近傍の範囲に亘り約０．５以上であるため、一般的なＣＭＯＳイメージセンサは７００ｎｍから１０００ｎｍの帯域において十分な受光感度を有する。また、図７（ｂ）には代表的なＬＥＤの発光波長帯、スペクトル分布を示している。さらに、赤外光ＬＥＤの例として、８５０ｎｍと９４０ｎｍを中心波長とするスペクトル分布を示している。これらの波長は、地表において太陽光スペクトルが強く減衰を受ける波長（太陽光における相対的に光量・強度の低い波長帯）に対応する。当明細書中で赤外線と称しているものは分類としては波長が０．７ｕｍ〜２．５ｕｍとなる近赤外線を想定して記載しているが類似する効果が得られる場合はこれに限られるものではない。

制御部２９０は、画像処理部２３０、中央制御部２５０、ＬＥＤ制御部２６０等で構成される。

画像処理部２３０は、撮像部１２０から撮像データを受信し、所定の処理を行った後、中央制御部２５０へ処理結果を送信する。画像処理部２３０は、画像処理に特化した専用のＩＣ（画像処理ＩＣ）でも良いし、ＤＳＰなどの汎用演算器を用いても良く、認識結果の数値データ、入力映像を加工した映像データなどを、必要に応じて出力する。中央制御部２５０とは独立した領域（基板）へ設置することも可能で、当該場合には、例えば、電源ＩＣ２３２やクロック生成ＩＣ２３４などが周囲に配置され、画像処理部２３０に接続される。また、画像処理部の構成によっては、外付けのメモリ２３６（ＤＲＡＭやＦｌａｓｈメモリ）なども周囲に配置され、画像処理部２３０に接続される。撮像モジュールとして、撮像部１２０及び画像処理部を一つの基板上に搭載することも可能である。一方、２３０と２５０を１チップで構成することも可能である。

また、中央制御部２５０は、操作装置１００を全般的に制御するプロセッサＩＣ（ＣＰＵ）等で構成される。当操作装置１００が遊技機の場合には、抽選制御を行う部分であり、遊技機や情報取得装置である場合には、液晶パネルやＬＥＤなどを制御する部分でもある。液晶パネルやＬＥＤなどを直接制御する場合もあれば、専用の制御ＩＣへ制御を促す場合の間接制御の場合もありうる。本実施の形態では、少なくとも中央制御部２５０は、画像処理部２３０と信号の送受信を行い、また、必要に応じて赤外光照射部１３０へ信号の送信を行う。

ＬＥＤ制御部２６０は、赤外光照射部１３０の点灯消灯の制御を行う部分である。赤外光照射部１３０を中央制御部２５０から直接行う場合は不要（ＬＥＤユニット２６１）となるが、多数のＬＥＤユニットを搭載する場合は、ＬＥＤ制御部２６０にて中央制御部２５０からの命令に基づきＬＥＤユニット夫々（２６１、２６２）を制御する方が中央制御部２５０の処理負荷を軽減することができる。

次に概略動作を説明する。図３は、撮像部１２０の位置から得られる撮像画像を示している。図３（ａ）は、可視光を含む広帯域の波長をＣＭＯＳカメラで撮影した場合（当発明のフィルタを除外）の撮像画像である。なお、カメラ側の自動調整機能により感度が変化しないように、撮像条件を固定することが望ましい。操作者１４０の右手１４２を前方に突き出し、左手１４４は右手よりも高い位置に突き出した画像である。（図１（ｂ）には横方向からみた操作者１４０を参考までに載せている。）
図３（ｂ）は、赤外光照射部１３０ｃ及び１３０ｄを照射状態とした場合に、すなわち赤外線照射範囲を検知領域１３４と一致させた場合に、撮像部１２０にて撮像した画像である。検知領域１３４から比較的離れた操作者１４０の胴体は、赤外光照射強度が極めて低いため、反射光が発生せず撮像されない。同様に、赤外光照射部１３０ｃ及び１３０ｄからやや離れた操作者１４０の右手１４２も、赤外線照射強度が比較的低いため、発生する反射光強度も低く、ほとんど撮像に影響しない。一方、操作者１４０の左手１４４は、検知領域１３４の中にあるため、高い反射光強度が得られ、背景とのコントラストが良好な映像が撮影される。
図３（ｃ）は、赤外光照射部１３０ａ及び１３０ｂを照射状態とした場合に、すなわち赤外線照射範囲を検知領域１３２と一致させた場合に、撮像部１２０にて撮像した画像である。検知領域１３２から比較的離れた操作者１４０の胴体は、赤外光照射強度が極めて低いため、反射光が発生せず撮像されない。同様に、赤外光照射部１３０ａ及び１３０ｂからやや離れた操作者１４０の左手１４４も、赤外線照射強度が比較的低いため、発生する反射光強度も低く、ほとんど撮像に影響しない。一方、操作者１４０の右手１４２は、検知領域１３２の中にあるため、高い反射光強度が得られ、背景とのコントラストが良好な映像が撮影される。
以上のように、赤外光照射範囲を検知領域と一致させることにより、検知領域を高い精度で定義することが可能である。また、検知領域に検知対象物が存在しない場合は、反射光が発生せず、従って結像にも寄与しない。つまり、背景をフィルタリングする効果も兼ね備えている。このようにして得られた映像は、後段の認識アルゴリズムの簡素化と、さらに認識率の向上にも効果があるため、低コストで高い性能を有する認識システムを構成可能である。

次に、本実施の形態の操作装置によるジェスチャー（動作）の認識について説明する。図４は、操作装置１００のジェスチャ（動作）の認識の制御の一例を示すフローチャートである。例えば遊技機である場合の遊技の基本制御や情報表示装置の表示内容の制御等は割愛している。

中央制御部２５０は、自身の処理制御内でジェスチャーの認識動作を開始する場合（Ｓ４００）、必要に応じて認識モード、検知領域・条件などの情報を、画像処理部２３０及び、又は、ＬＥＤ制御部２６０へ通知する（Ｓ４０２）。場合によって、認識領域の通知とＬＥＤ点灯箇所の通知は同義となる。ＬＥＤ制御部２６０を備えず、中央制御部２５０が赤外光照射部１３０を直接制御する場合は、当動作は、画像処理部２３０に対して行われるものである。必要に応じて、他の部位にも当情報を通知する。もし画像処理部２３０にてどの認識モードかを自身で判断できる場合、又は認識モードの判断が不要な場合は、当該ステップは省略される。

ＬＥＤ制御部２６０は、通知された検知領域に対応して、赤外光照射部１３０の点灯動作を行う（Ｓ４０４）。既に点灯動作中であった場合には、非該当の赤外光照射部１３０の消灯動作並びに該当の赤外光照射部１３０の継続点灯を行う。

画像処理部２３０は、ジェスチャー認識動作の開始命令（Ｓ４００）を受領後に、認識モード、検知領域・条件などの情報（Ｓ４０２）に応じて撮像データの解析準備を行う。必要に応じて、デバイスのスリープモードや待機モードから通常動作モードへの移行、撮像部１２０をスリープモードや待機モードから通常動作モードへ移行させる指示、撮像部１２０からの撮像データの受信開始、などを実行する。赤外光照射部１３０が点灯後に、画像処理部２３０が解析可能な撮像データを受信した場合に、撮像データの解析（演算）を開始する（Ｓ４０６）。

画像処理部２３０は、認識モードに応じて解析を実行し、認識結果を中央制御部２５０（又は中央制御部２５０への中継部）へ通知する（Ｓ４０８）。

中央制御部２５０は、画像処理部２３０から送信された動作に関する通知に基づき内部処理のパラメータへ動作結果の内容を反映し、内部の処理を進める。場合によって、液晶パネル等の表示機器の表示内容を動作に合わせて変更する（Ｓ４１０）。

中央制御部２５０は、Ｓ４０８によってジェスチャー認識結果の通知を受け、ジェスチャー認識モードを終了するか継続するかの判断を行う（Ｓ４１２）。必要に応じて、画像処理部２３０、撮像部１２０、をスリープモードや待機モードへ移行させるような状態制御を行う。同様に、ＬＥＤ制御部２６０や赤外光照射部１３０の状態制御を行っても良い。

中央制御部２５０は、必要に応じて、認識モード、検知領域・条件などの更新を行う。更新する場合はＳ４０２へ、更新しない場合はＳ４０６へ処理フローを変更する（Ｓ４１４）。

ジェスチャー認識モードの一例を図５、図６を用いて説明する。図５は、操作者と操作装置でじゃんけんを行う例である。図５（ａ）では操作者が左手でグーを出し、図５（ｂ）では操作者が左手でチョキを出し、図５（ｃ）では操作者が左手でパーを出した状態を撮像したものである。赤外光照射部１３０ｃ、１３０ｄを点灯状態として撮像を行い、本撮像データをＳ４０６のステップの演算で使用している。一例を挙げると、演算（解析）に有効なＸＹ平面内の領域を５１０と定義する。これは、図１の検知領域１３２または１３４を、ＸＹ平面に投影したものと一致する。有効領域内で所定の輝度を満たす画素が、所定の数以上存在する（つまり、白い画素の固まりが存在する）場合、有効な検知対象物であると判断する。このような映像に対して、輝度フィルタ、エッジフィルタ、確度フィルタ、フレーム間差分などの、既知の画像処理手法を施し、検知対象物である手（指）の形状の特徴を解析する。このようにして得られた手（指）形状の特徴を元に、当該領域の指の本数を判定し、合わせてグー・チョキ・パーの形状を判定する。Ｓ４０８において、一定時間内に解析対象として有効な映像が得られない場合、操作者にもう少し前へ手を出すように促すなどのメッセージを表示又は音声を出力しても良い。さらに、演算実行時に、有効範囲内の特定の領域をマスクすることにより、ノイズを除去することも可能である。一例として、赤外光照射部が有効範囲内に撮影されている場合、この領域をマスクして解析を実行することができる。

遊技機である場合の遊技の基本制御にはここまで触れていないが、あらかじめじゃんけんに勝つ・あいこ・負けることが確定している場合には、ジェスチャーを認識できた段階で、情報表示・音声で準備されている結果に合わせたグーチョキパーを出力しても良いし、あらかじめじゃんけんで出すグーチョキパーが確定している場合は、ジェスチャーを認識できた段階で準備していたグーチョキパーを表示して、勝ち・あいこ・負けを通知しても良い。遊技興趣を高める目的で、操作者のジェスチャーを認識できた段階でワンテンポ遅れて表示している内容（グーチョキパー）を変更してもよい。所謂後だしで、勝ち負けが逆転するような処理を行っても良い。

図６は、操作者が操作装置１００に表示された画像等（物体、ランプ、リール等）を選択してゆび指す動作を行う例である。図６（ａ）では操作者が操作装置に向かって操作装置から離れた位置で右側を右手で指し、図６（ｂ）では操作者が操作装置に向かって右側を右手で指し、図６（ｃ）では操作者が操作装置に向かって左側を右手で指した状態を撮像したものである。赤外光照射部１３０ａ、１３０ｂを点灯状態として撮像を行い、本撮像データをＳ４０６のステップの演算で使用している。一例を挙げると、演算（解析）に有効なＸＹ平面内の領域を６１０と定義する。これは、図１の検知領域１３２または１３４を、ＸＹ平面に投影したものと一致する。有効領域内で所定の輝度を満たす画素が、所定の数以上存在する（つまり、白い画素の固まりが存在する）場合、有効な検知対象物であると判断する。本実施の形態では、操作装置１００の前面１１２側（つまり、指の先端）の座標を取得するように構成されている。

図６（ａ）では有効領域６１０の一部に操作者の右手があるが、操作装置１００の前面１１２から離れた距離であるため、有効な検知対象物とは判定しない。

図６（ｂ）では、図６（ａ）と比較して、操作装置１００の前面１１２へ近づいた箇所に操作者の右手があり、赤外光照射部１３０ａ、１３０ｂが照射する赤外光の反射が強いため、有効な検知対象物と判断する。また一例として、手の先端のＹ座標が、所定の位置６２０を超えた場合に、操作者が所定の操作を行ったと判断してもよく、画像処理部２３０から中央制御部２５０へトリガ発生の信号を送信する。あるいは、操作者の指の先端座標を常時追尾し、定期的に信号（データ）を送信することも可能であり、中央制御部２５０でデータの判断を行うように構成しても良い。この場合、例えば、領域を左右に分けて操作者からみて右領域６３０ａを選択したことを示すデータを送付することも可能である。

図６（ｃ）では、図６（ａ）と比較して、操作装置１００の前面１１２へ近づいた箇所に操作者の右手があり、赤外光照射部１３０ａ、１３０ｂが照射する赤外光の反射が強いため、有効な検知対象物と判断する。また一例として、手の先端のＹ座標が、所定の位置６２０を超えた場合に、操作者が所定の操作を行ったと判断してもよく、画像処理部２３０から中央制御部２５０へトリガ発生の信号を送信する。あるいは、操作者の指の先端座標を常時追尾し、定期的に信号（データ）を送信することも可能であり、中央制御部２５０でデータの判断を行うように構成しても良い。この場合、例えば、領域を左右に分けて操作者からみて左領域６３０ｂを選択したことを示すデータを送付することも可能である。

図５及び図６の例では、それぞれ単独の認識モードを説明したが、例えば、一つ目の認識モードを図５に示すじゃんけんとし、じゃんけんに勝った場合に、図６に示す選択の認識モード（例えば褒美を選択する認識モード）へ移行するような連続的な認識モードを実現することが可能である。この場合、Ｓ４０８にて操作者のだした手を認識し、じゃんけんで操作者が勝った場合、Ｓ４１０にて操作者がじゃんけんに勝ったことを例えば操作装置１００の前面１１２の液晶パネル等へ表示を行う。この際、連続して褒美を選択する認識モードへ移行するので、Ｓ４１２では、Ｙ（Ｙｅｓ）のルーチンへ進む。

もし褒美の図柄等の表示を行う箇所が赤外光照射部１３０ａや１３０ｂと同等の高さへ配置されている場合には、Ｓ４１４の認識条件の変更が必要であるＹ（Ｙｅｓ）のルーチンへ進み、赤外光照射部１３０ａや１３０ｂを点灯させる処理Ｓ４０４を行う。

もし褒美の図柄等の表示を行う箇所が赤外光照射部１３０ｃや１３０ｄと同等の高さへ配置されている場合には、Ｓ４１４の認識条件変更が必要ではないＮ（Ｎｏ）のルーチンへ進み、連続してＳ４０６の撮像データの演算へ進む。

なお、Ｓ４１２とＳ４１４のルーチンの代替手段として、例えば、Ｓ４１２とＳ４１４を削除し、Ｓ４０８とＳ４１０の間に赤外光照射部１３０である赤外線ＬＥＤの消灯処理を行い、新たなフローのＳ４００からＳ４２０を繰り返すことも可能である。

また、これらの複数の認識モードでは、赤外光照射部１３０について点灯（照射状態）はあらかじめ決められていてもよい。例えば、上述のじゃんけんでは、赤外光照射部１３０ａ、１３０ｂを点灯させ、また、上述の左右の選択では、赤外光照射部１３０ａ、１３０ｂを点灯（照射状態）とするものである。なお、場合によって、赤外光照射部１３０ａ、１３０ｃや赤外光照射部１３０ｂ、１３０ｄという組み合わせで左右を強調する使用方法でも良い。

安価なジェスチャ認識システムを実現するという観点では、解析対象となる映像が背景のノイズを含まないことが重要である。例えば、背景の輝度が極めて低く、検知対象物のみが高い輝度およびコントラストを有するような映像が理想的である。市販の暗視カメラでは、赤外線照明がカメラと一体型のものが多く出回っており、カメラ側から照射した赤外線が対象物に反射して撮影される。この時の光路は一直線状であり、照射方向に赤外線反射率の高い物体があれば、多くが反射されてカメラ側に戻る。したがって、背景に検知対象物以外に反射率の高い物体が存在する場合、背景のノイズの影響が問題となる。本実施例１の構成によれば、検知領域を予め設定し、その領域にのみ高強度の赤外光が照射されるように、赤外光照射部１３０を構成する。このとき照射される直接赤外光は、カメラ方向を向いていないため、カメラには一切映像が撮影されず、極めて輝度の低い映像が得られる。一方、検知対象物などの何らかの物体が検知領域に存在する場合は、前記直接赤外光が反射され、カメラに一部の反射光が到達し映像を撮影することが可能である。この映像は、検知対象物の反射光が撮影されているため、背景の輝度が極めて低く、かつ検知対象物のみが高い輝度およびコントラストを有するような映像が得られる。

また、操作者のジェスチャを広い範囲で検知するための構成の一つとして、撮像部１２０を操作装置１００の上部に取り付け、視野全体の中心へ向かう方向が水平方向と比較して下向きになるように配置することで、操作装置１００の前面近傍の大部分を撮像することが可能となる。このとき、操作者の動作がＸＹ平面に投影された形で撮影されるため、走査装置１００に対するＸＹ平面の相対位置を高精度で検出可能となる。一方、映像からＺ方向の高さを判断することは困難である。

しかしながら、Ｚ方向の高さを検出する方法の一つとして、複数の赤外光照射部１３０がＺ方向に異なる位置に設置されている場合、任意の検知領域に限定して赤外光を照射することが可能である。つまり、既知の検知領域の映像が撮影され、解析対象となる。さらに、認識領域によって、異なる動作を検知するように画像認識条件を構成しても良い。異なる動作とは、動作の判定の基準や演算に有効な領域を変更することを含む。当該方法を適用することでより精度の高い動作（ジェスチャー）の認識が可能となる。

つづいて本発明にかかる第２の実施の形態の操作装置について説明する。図８（ａ）は、操作装置８００を正面からみた正面図である。また、図８（ｂ）は、操作装置を側面からみた側面図である。第１の実施の形態と同様又は類似する箇所については適宜説明を割愛しているが、第１の実施の形態の説明を矛盾の無い範囲で適用できるものである。

操作装置８００は、筺体８１０、撮像部８２０、赤外光照射部８３０（８３０ａ、８３０ｂ、８３０ｃ、８３０ｄ、８３０ｅ、８３０ｆ）、を備えて構成されている。赤外光照射部８３０ａと８３０ｂ、赤外光照射部８３０ｃと８３０ｄ、赤外光照射部８３０ｅ、８３０ｆは夫々筺体８１０の枠体８１４に対向する略同じ高さの位置に取り付けられている。図１の操作装置１００と比較して、赤外光照射部８３０ａ、８３０ｂは、赤外光照射部１３０ａ、１３０ｂより低い位置に配置されている。換言すると図１に示す領域１２６へ近づく位置に配置されている。また、赤外光照射部８３０ａ、８３０ｂより高い位置に赤外光照射部８３０ｅ、８３０ｆ、さらに高い位置に赤外光照射部８３０ｃと８３０ｄが配置されている。赤外光照射部８３０は同じ高さの組が３つ作られており、認識領域８３２、８３４、８３６を備える。

図９は、操作装置８００における撮像部８２０の撮像画像におけるジェスチャー認識モードを説明するためのものである。図９（ａ）は、可視光を含む広帯域の波長をＣＭＯＳカメラで撮影した場合（当発明のフィルタを除外）の撮像画像である。操作者８４０の右手８４２を前方に突き出し、左手８４４は右手よりも高い位置に突き出した画像である。図９（ｂ）は、図９（ａ）の状態の操作者８４０を赤外光照射部８３０ａ、８３０ｂを点灯させた状態で撮像した画像である。図９（ｃ）は、図９（ｂ）の状態より操作者８４０の右手８４２を操作装置８００の筺体８１０の前面８１２へ突き出した状態を撮像した画像である。図９（ｄ）は、図９（ｂ）と図９（ｃ）の画像の差分で所定値以上の輝度がある箇所を示した加工画像である。図９（ｅ）は、図８に示す操作装置８００の枠体下方部８１６に改良を加えたものを撮像した画像である。

図９（ｂ）に示すように筺体８１０の枠体８１４の一部である枠体の下方部８１６は例えば赤外光の反射率が高い樹脂製である場合が考えられる。下方部８１６に近接した位置が検知領域である場合、赤外光照射部８３０ａ、ｂから照射される赤外光の一部が、下方部８１６に到達し強い反射光が発生することを避けられない。これは背景のノイズとなり、検知対象物である手や指と輝度が近いため、認識率が悪化する。本実施の形態では、フレーム間差分による動体検知を用いる手法が好適である。

フレーム間差分においては、撮像時刻が異なる２枚の画像の差分を作ると、その変化点が抽出されるため、一般的に動体検知技術として利用される。本実施例では、時刻の異なる図９（ｂ）と図９（ｃ）の差分により図９（ｄ）を得るが、当該差分画像を用いて座標を計算し現在の手の先端位置を確定させる。差分に使う画像は２つを例示したが、それ以上を使用しても良い。時間軸での変化から動作を解析するので、動体検知モード（輝度変化検知モード）とも呼ぶことができる。動体検知モードにおいては、背景ノイズの影響を大幅に改善できるため、背景の反射が避けられない場合に有効である。

赤外光照射部８３０ｃ、８３０ｄ、８３０ｅ、８３０ｆを点灯させて撮像する場合のジェスチャー認識モードは、認識領域（８３４、８３６）は異なるが、第１の実施の形態と同様に解析することが可能である。こちらは一枚の撮像画像データから解析可能であり、輝度検知モードとも呼ぶことができる。

なお、赤外光照射部８３０ａ、８３０ｂを点灯させて撮像する場合に赤外光照射部８３０ａ、ｂから照射される赤外光の一部が、下方部８１６に到達し強い反射光が発生することについては、例えば、下方部８１６に低反射率の部材を適用することで対応することも可能である。また、図９（ｅ）に示すように下方部８１６を斜面とし反射した赤外光９３０が撮像されないようにすることで対応することも可能である。或いは、図９（ｇ）に示すように赤外光照射部９５０を枠体８１４の下方部へ設けることも可能である。この場合、検知領域全般に赤外光を照射状態とし、一部手などの物体によって遮光される部分を検知することでジェスチャーの認識を行うことが可能である。図９（ｆ）に示すように操作者の右手８４２が筺体前面の下方部に突き出された状態と左手８４４が筺体前面の情報部に突き出された状態の場合に赤外光照射部９５０を照射状態として撮像したものが図９（ｇ）となる。当方法によれば、操作者の手の高さに関係なくジェスチャーを認識することが可能となる。ＸＹ平面での手の先端位置を認識することでＹ座標として所定の位置９６０を超えた場合に、操作者が所定の操作を行ったと判断してもよく、Ｘ座標として手の位置の動きに合わせて移動していると判断してもよい。図５、図６、及び図９の認識と組み合わせて使用することも可能である。

本実施の形態の構成、及び制御方法を取ることで、よりジェスチャー認識の精度の高い操作装置を提供することが可能となる。なお、図１０（ａ）（ｂ）に示す、パチンコ機や情報取得装置や類似するアミューズメント機器でも同様な構成を適用することが可能である。

１００操作装置
１１０筺体
１２０撮像部
１３０赤外光照射部
２００制御ユニット
２３０画像処理部
２５０中央制御部
２６０ＬＥＤ制御部

Claims

赤外光撮像部と複数の赤外光照射部と情報表示部と中央処理ＩＣと画像処理ＩＣとを備える筺体を操作者の動作に基づき、該情報表示部の表示情報を変更する操作装置の制御方法であって、
中央処理ＩＣからの信号に基づき複数の赤外光照射部のうち所定の赤外光照射部を照射状態にするステップと
赤外光撮像部の撮像情報を画像処理ＩＣが受信するステップと、
照射状態になっている赤外光照射部の場所に応じて撮像情報を画像処理ＩＣが演算するステップと
演算結果を画像処理ＩＣから中央処理ＩＣへ出力するステップと、
演算結果に基づき情報表示部の表示内容を変更するステップと、を備えることを特徴とする操作装置の制御方法。
中央処理ＩＣは、複数の赤外光照射部のうち所定の赤外光照射部を照射状態にする際、モードで動作し、決められた組み合わせの赤外光照射部が照射状態になることを特徴とする請求項１に記載の操作装置の制御方法。
決められた組み合わせは、水平方向で略同じ高さの赤外光照射部で構成されることを特徴とする請求項２に記載の操作装置の制御方法。
赤外光照射部の場所に応じて撮像情報を画像処理ＩＣが演算するステップとは、照射状態となっている領域の赤外光照射部近傍の撮像情報を操作者の動作の演算から除外する処理であることを特徴とする請求項１に記載の操作装置の制御方法。
赤外光照射部の場所に応じて撮像情報を画像処理ＩＣが演算するステップとは、撮像情報の中で操作者の動作として演算する有効な領域を赤外光照射部の場所に応じて変更する処理であることを特徴とする請求項１に記載の操作装置の制御方法。