JP2014109512A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】検知対象物体の近傍に照明光を反射する物体が存在する場合でも、検知対象物体を識別容易な画像を合成する画像合成装置を提供する。
【解決手段】画像合成装置（１、１１３）は、検知対象物体が存在しないときの撮像部１３の撮影範囲を、第１の照明光源１１が点灯しているときに撮影した第１の参照画像と、第１の照明光源１１と異なる位置に配置された第２の照明光源１２が点灯しているときに撮影した第２の参照画像とを記憶する記憶部１６と、第１の照明光源１１が点灯している期間中に検知対象物体を撮影した第１の画像と第１の参照画像間の差分により第１の差分画像を生成し、かつ、第２の照明光源１２が点灯している期間中に検知対象物体を撮影した第２の画像と第２の参照画像間の差分により第２の差分画像を生成する差分画像生成部２２と、第１の差分画像と第２の差分画像を合成することで合成画像を生成する合成部２３とを有する。
【選択図】図１

Description

本発明は、所定の物体を撮影した複数の画像を合成する画像合成装置及び画像合成方法に関する。

回胴遊技機または弾球遊技機などの遊技機において、遊技者による操作と演出との関連性を遊技者が直感的に理解できるようにするために、遊技者の手といった所定の物体の動作を検知するためにモーションセンサを搭載することが検討されている（例えば、特許文献１を参照）。

そのようなモーションセンサとして、例えば、検知対象の物体を撮影した画像を利用するものが知られている。例えば、特許文献１では、検知対象の物体を所定の時間間隔で撮影した複数の画像のそれぞれを解析することにより、その物体の動きベクトルを特定することで、検知対象の物体の動作を検知することが開示されている。

特開２０１１−１９３９３７号公報

しかし、検知対象の物体の近傍に、照明光を反射する物体が存在すると、画像上で検知対象の物体が写っている画素の輝度とその周囲の画素の輝度の差が小さくなり、検知対象物体を識別することが困難となる。その結果として、検知対象物体の動作を検知することが困難となるおそれがあった。そのため、画像を利用するモーションセンサでは、検知対象の物体の動作を正確に検知するためには、検知対象の物体の近傍に照明光を反射する物体が存在する場合でも、検知対象物体を容易に識別可能な画像を生成することが求められている。

そこで、本発明は、検知対象物体の近傍に照明光を反射する物体が存在する場合でも、検知対象物体を識別容易な画像を合成する画像合成装置及び画像合成方法を提供することを目的とする。

本発明の一つの形態として、画像合成装置が提供される。この画像合成装置は、検知対象物体を照明する第１の照明光源と、第１の照明光源と異なる位置に配置され、検知対象物体を照明する第２の照明光源と、第１の照明光源と第２の照明光源とを交互に点灯させる光源制御部と、第１の照明光源が点灯している期間中に検知対象物体を撮影することにより検知対象物体が写った第１の画像を生成し、かつ、第２の照明光源が点灯している期間中に検知対象物体を撮影することにより検知対象物体が写った第２の画像を生成する撮像部と、第１の照明光源が点灯し、かつ、検知対象物体が撮像部の撮影範囲内に存在しないときにその撮影範囲を撮影することにより生成された第１の参照画像と、第２の照明光源が点灯し、かつ、検知対象物体が撮像部の撮影範囲内に存在しないときにその撮影範囲を撮影することにより生成された第２の参照画像とを記憶する記憶部と、第１の画像と第１の参照画像間の差分により第１の差分画像を生成し、かつ、第２の画像と第２の参照画像間の差分により第２の差分画像を生成する差分画像生成部と、第１の差分画像と第２の差分画像を合成することで合成画像を生成する合成部とを有する。

本発明の他の形態として、画像合成方法が提供される。この画像合成方法は、第１の照明光源と、その第１の照明光源と異なる位置に配置された第２の照明光源とを交互に点灯させるステップと、第１の照明光源が点灯している期間中に撮像部により検知対象物体を撮影することにより検知対象物体が写った第１の画像を生成するステップと、第２の照明光源が点灯している期間中に撮像部により検知対象物体を撮影することにより検知対象物体が写った第２の画像を生成するステップと、第１の画像と、第１の照明光源が点灯し、かつ、検知対象物体が撮像部の撮影範囲内に存在しないときにその撮影範囲を撮影することにより生成された第１の参照画像との間の差分により第１の差分画像を生成するステップと、第２の画像と、第２の照明光源が点灯し、かつ、検知対象物体が撮像部の撮影範囲内に存在しないときにその撮影範囲を撮影することにより生成された第２の参照画像との間の差分により第２の差分画像を生成するステップと、第１の差分画像と第２の差分画像を合成することで合成画像を生成するステップと、を有する。

本発明に係る画像合成装置及び画像合成方法は、検知対象物体の近傍に照明光を反射する物体が存在する場合でも、検知対象物体を識別容易な画像を合成できるという効果を奏する。

本発明の一つの実施形態による画像合成装置が実装されたモーションセンサの概略構成図である。 照明光源の配置の一例を示す図である。 処理部により実行される機能を表す機能ブロック図である。 各照明光源の点灯期間と画像の撮影タイミングの関係を示す図である。 （ａ）は、第１の照明光源が点灯しているときに手を撮影した第１の画像の一例を示す図であり、（ｂ）は、第１の照明光源が点灯し、かつ手が存在しないときに撮影範囲を撮影した第１の参照画像の一例を示す図であり、（ｃ）は、第１の画像と第１の参照画像間の第１の差分画像の一例を示す図である。 （ａ）は、第２の照明光源が点灯しているときに手を撮影した第２の画像の一例を示す図であり、（ｂ）は、第２の照明光源が点灯し、かつ手が存在しないときに撮影範囲を撮影した第２の参照画像の一例を示す図であり、（ｃ）は、第２の画像と第２の参照画像間の第２の差分画像の一例を示す図である。 図５（ｃ）に示された第１の差分画像と図６（ｃ）に示された第２の差分画像を合成することにより得られる合成画像の一例を示す図である。 画像合成処理の動作フローチャートである。 合成画像の模式図である。 （ａ）は、物体領域が物体領域画像の下端と接する場合における、検出境界と各部分領域との位置関係を表す図である。（ｂ）は、物体領域が物体領域画像の右端と接する場合における、検出境界と各部分領域との位置関係を表す図である。 （ａ）〜（ｃ）は、検知対象物体である手を右から左へ振る動作と、手が検出された部分領域の遷移との関係の一例を示す図である。 処理部により実行される物体動作検知処理の動作フローチャートである。 本発明の実施形態または変形例による画像合成装置が組み込まれたモーションセンサを備えた弾球遊技機の概略斜視図である。 弾球遊技機の回路ブロック図である。 表示装置に表示される演出画面の一例を示す図である。 表示装置に表示される演出画面の他の一例を示す図である。

以下、図を参照しつつ、本発明の一つの実施形態による画像合成装置及びその画像合成装置が組み込まれたモーションセンサについて説明する。この画像合成装置は、異なる位置に配置された二組の照明光源を交互に点灯させ、一方の照明光源が点灯している間に所定領域を撮影して第１の画像を得るとともに、他方の照明光源が点灯している間にその所定領域を撮影して第２の画像を得る。この画像合成装置は、一方の照明光源が点灯しており、かつ、検知対象物体がその所定領域に存在しない時に撮影された第１の参照画像と第１の画像間の差分を行って第１の差分画像を得る。同様に、この画像合成装置は、他方の照明光源が点灯しており、かつ、検知対象物体がその所定領域に存在しない時に撮影された第２の参照画像と第２の画像間の差分を行って第２の差分画像を得る。そしてこの画像合成装置は、第１の差分画像と第２の差分画像を合成する。検知対象物体の近傍に位置する物体により、一方の照明光源が点灯している場合には、その照明光源からの照明光が反射または散乱されて撮像部に達して、検知対象物体の一部の輝度とその周囲の輝度との差がなくなったとしても、他方の照明光源が点灯している場合には、照明光がその物体で反射されても撮像部に達しないので、画像上で検知対象物体とその周囲との輝度差が大きくなる。そこで上記のように、異なる照明光源が点灯しているときの画像を合成することで、検知対象物体の識別が容易な画像が得られる。

なお、本実施形態では、検知対象物体は手である。またモーションセンサが検知しようとする所定の動作は、手首を固定して手を振る動作であるとする。

図１は、一つの実施形態による画像合成装置が実装されたモーションセンサの概略構成図である。このモーションセンサ１は、第１の照明光源１１と、第２の照明光源１２と、撮像部１３と、画像インターフェース部１４と、通信インターフェース部１５と、記憶部１６と、処理部１７とを有する。このうち、第１の照明光源１１、第２の照明光源１２及び撮像部１３は、遊技機の前面に配置され、一方、画像インターフェース部１４、通信インターフェース部１５、記憶部１６及び処理部１７は、例えば、一つの集積回路として、遊技機内部または遊技機の背面に配置された制御基板に実装される。

第１の照明光源１１及び第２の照明光源１２は、検知対象物体である手を照明する。そのために、第１の照明光源１１及び第２の照明光源１２は、例えば、少なくとも一つの赤外発光ダイオードと、赤外発光ダイオードに電流を供給する駆動回路を有する。また、第１の照明光源１１及び第２の照明光源１２は、互いに異なる位置に配置される。そして各照明光源の駆動回路は、処理部１７からの制御信号がＯＮである間、その照明光源の赤外発光ダイオードに電流を供給し、一方、制御信号がＯＦＦである間、その照明光源の赤外発光ダイオードへの電流供給を遮断する。なお、第１の照明光源１１及び第２の照明光源１２は、第１の照明光源１１及び第２の照明光源１２のうちの一方が点灯している間は他方は消灯するように、撮像部１３の撮影周期で交互に点灯される。

撮像部１３は、例えば、第１の照明光源１１及び第２の照明光源１２が発する照明光の波長に感度を有するカメラ、例えば、赤外線カメラであり、検知対象物体がその撮影範囲に含まれるように配置される。そして撮像部１３は、所定の撮影周期ごとにその撮影範囲を撮影して、その撮影範囲の画像を生成する。そして撮像部１３は、画像を生成する度に、生成した画像を画像インターフェース部１４へ出力する。なお、撮影周期は、例えば、33msecである。

図２は、弾球遊技機に配置された各照明光源及び撮像部の配置の一例を示す図である。図２に示されるように、撮像部１３は、弾球遊技機１００の遊技盤１０１の前面の上端中央付近に、下方を向けて配置され、遊技盤１０１の前面付近をその撮影範囲とする。また第１の照明光源１１は、撮像部１３の左側及び右側に下方を向けて配置される。一方、第２の照明光源１２は、遊技盤１０１の下方に位置する球受け部１０２の上方に、前方を向けて配置され、球受け部１０２の上方に遊技者の手が置かれた場合に、その手を指先側から照明する。

画像インターフェース部１４は、撮像部１３と接続するためのインターフェース回路であり、撮像部１３が画像を生成する度に、撮像部１３からその画像を受け取る。そして画像インターフェース部１４は、受け取った画像を処理部１７へ渡す。

通信インターフェース部１５は、例えば、遊技機の主制御回路（図示せず）とモーションセンサ１とを接続するためのインターフェース回路を有する。そして通信インターフェース部１５は、主制御回路から、検知対象物体の特定の動作を検知する処理を開始する制御信号を受け取ると、その制御信号を処理部１７へ渡す。また通信インターフェース部１５は、処理部１７から、検知対象物体により行われた特定の動作を検知したことを表す信号を受け取ると、その信号を主制御回路へ出力する。
さらに、通信インターフェース部１５は、第１の照明光源１１及び第２の照明光源１２と接続され、第１の照明光源１１及び第２の照明光源１２の点灯または消灯を制御する制御信号を出力する。

記憶部１６は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１６は、撮像部１３から受け取った画像を、処理部１７が物体動作検知処理を実行するのに必要な間一時的に記憶する。また記憶部１６は、処理部１７が合成画像を生成するために利用する各種の情報、例えば、照明光源ごとに、その照明光源が点灯しており、かつ、検知対象物体が撮影範囲内に存在しないときに撮像部１３によりその撮影範囲が撮影されることにより生成された画像である参照画像が記憶される。
さらに記憶部１６は、物体動作検知処理において使用される各種のデータ、例えば、検知対象物体の検知された移動方向を表すフラグ、及び、物体動作検知処理の実行中に求められる各種の中間演算結果などを記憶してもよい。

処理部１７は、例えば、一つまたは複数のプロセッサ及びその周辺回路を有する。そして処理部１７は、撮像部１３から受け取った第１の画像と第２の画像に基づいて、検知対象物体の識別を容易にする合成画像を生成する。さらに、処理部１７は、その合成画像を解析することにより、検知対象物体の一例である手が所定の動作の一例である手を振る動作を行ったか否か判定する。

図３は、処理部１７により実行される機能を表す機能ブロック図である。図３に示されるように、処理部１７は、光源制御部２１と、差分画像生成部２２と、合成部２３と、物体領域抽出部２４と、基準点特定部２５と、可動部位置検出部２６と、判定部２７とを有する。このうち、光源制御部２１、差分画像生成部２２及び合成部２３は、画像合成装置の一部であり、画像合成処理に利用される。一方、物体領域抽出部２４、基準点特定部２５、可動部位置検出部２６及び判定部２７は、物体動作検知処理に利用される。

光源制御部２１は、第１の照明光源１１及び第２の照明光源１２の点灯及び消灯を制御する。本実施形態では、光源制御部２１は、撮像部１３の撮影周期に合わせて、第１の照明光源１１と第２の照明光源１２を交互に点灯させる。

図４は、撮像部１３の撮影周期と第１の照明光源１１及び第２の照明光源１２の点灯期間の関係を表す図である。
図４において、横軸は時間を表し、縦軸は、点灯または消灯の状態を表す。線４０１は、第１の照明光源１１の点灯状態を表し、線４０２は、第２の照明光源１２の点灯状態を表す。そして、撮影期間P1,P2,...は、それぞれ、撮像部１３の１回の撮影が行われる期間（例えば、33msec）を表す。線４０１に示されるように、撮影期間P1,P3,..では、第１の照明光源１１が点灯され、第２の照明光源１２は消灯され、撮像部１３により画像４１１、４１３が生成される。一方、撮影期間P2,P4,...では、第２の照明光源１２が点灯され、第１の照明光源１１は消灯され、撮像部１３により画像４１２、４１４が生成される。そして、後述するように、連続する二つの撮影期間において生成された２枚の画像から、１枚の合成画像が生成される。すなわち、撮像部１３の撮影周期の２倍（例えば、66msec）ごとに、１枚の合成画像が生成される。例えば、画像４１１と画像４１２とから、１枚の合成画像が生成され、画像４１３と画像４１４とから、次の合成画像が生成される。
なお、以下では、便宜上、第１の照明光源１１が点灯している間に撮像部１３により撮影された画像を第１の画像とし、第２の照明光源１２が点灯している間に撮像部１３により撮影された画像を第２の画像とする。

光源制御部２１は、モーションセンサ１が物体動作検知処理を実行している間、第１の照明光源１１を点灯させる撮影期間中、第１の照明光源１１に対してＯＮとなる制御信号（例えば、電圧5Vの信号）を出力し、第２の照明光源１２に対してＯＦＦとなる制御信号（例えば、電圧0Vの信号）を出力する。一方、光源制御部２１は、第２の照明光源１２を点灯させる撮影期間中、第１の照明光源１１に対してＯＦＦとなる制御信号を出力し、第２の照明光源１２に対してＯＮとなる制御信号を出力する。

差分画像生成部２２は、処理部１７が撮像部１３から第１の画像を受け取る度に、第１の画像と第１の参照画像間の差分（いわゆる背景差分）により、第１の差分画像を生成する。同様に、差分画像生成部２２は、処理部１７が撮像部１３から第２の画像を受け取る度に、第２の画像と第２の参照画像間の差分により、第２の差分画像を生成する。

なお、第１の参照画像は、第１の照明光源１１が点灯し、かつ、撮像部１３の撮影範囲内に検知対象物体が存在しないときにその撮影範囲を撮影することにより生成された画像であり、第２の参照画像は、第２の照明光源１２が点灯し、かつ、撮像部１３の撮影範囲内に検知対象物体が存在しないときにその撮影範囲を撮影することにより生成された画像である。第１及び第２の参照画像は、例えば、モーションセンサ１が搭載された遊技機の電源起動時、遊技球が入賞装置に入ったタイミング、あるいは、その遊技機が遊技店のホール設置された時に生成され、記憶部１６に記憶される。

本実施形態では、差分画像生成部２２は、第１の画像の各画素について、その画素の輝度値から第１の参照画像の対応する画素の輝度値を減じた差分値を、第１の差分画像の対応する画素の値とする。ただし、差分値が負の値となる画素については、その画素の値を'0'とする。

差分画像生成部２２は、第１の差分画像及び第２の差分画像を合成部２３へ渡す。

合成部２３は、第１の差分画像と第２の差分画像を合成することにより合成画像を生成する。具体的には、合成部２３は、第１の差分画像の各画素ごとに、その画素の値と第２の差分画像の対応画素の値の合計を、合成画像上の対応する画素の値とする。ただし、合成部２３は、画素値の合計が、合成画像の画素値の上限値（例えば、255）を超える場合には、合成画像のその画素の値をその上限値とする。
合成部２３は、生成した合成画像を、物体動作検知処理に利用できるように記憶部１６に記憶する。

図５（ａ）は、第１の画像の一例を示す図であり、図５（ｂ）は、第１の参照画像の一例を示す図であり、図５（ｃ）は、第１の画像と第１の参照画像間の第１の差分画像の一例を示す図である。
第１の画像５０１では、検知対象物体である手５１０よりも下にある物体５１１（例えば、玉受皿）が、第１の照明光源１１からの光を反射または散乱しているため、物体５１１が写っている画素の輝度と手５１０の指先が写っている画素の輝度の差が小さくなっている。そのため、画像５０１では、手５１０の指先部分を識別することが困難になっている。また第１の参照画像５０２では、手が写っていないので、物体５１１が写っている画素のみが明るくなっている。そのため、図５（ｃ）に示されるように、第１の差分画像５０３では、手５１０の手のひら部分だけがはっきりと識別可能となっている。

図６（ａ）は、第２の画像の一例を示す図であり、図６（ｂ）は、第２の参照画像の一例を示す図であり、図６（ｃ）は、第２の画像と第２の参照画像間の第２の差分画像の一例を示す図である。
第２の画像６０１では、手６１０は第２の照明光源１２により指先側から照明されているので、手６１０の指先部分が写っている画素が明るくなっている。一方、手６１０の手のひら部分については、第２の照明光源１２からの光が届いていないので、その手のひら部分が写っている画素は、手が写っていない画素と同様に暗くなっている。さらに、第１の照明光源１１と第２の照明光源１２の設置位置が異なっているので、図５（ａ）に示された第１の画像と異なり、手６１０の下側にある物体により反射または散乱された光は撮像部１３にはほとんど達しない。そのため、第２の画像６０１では、手６１０の下側にある物体が写っている画素も暗くなっている。同様に、第２の参照画像６０２でも、第２の照明光源１２からの照明光が撮像部１３にはほとんど達しないので、第２の参照画像６０２全体が暗くなっている。そのため、図６（ｃ）に示されるように、第２の差分画像６０３では、手６１０の指先部分だけがはっきりと識別可能となっている。

図７は、図５（ｃ）に示された第１の差分画像５０３と図６（ｃ）に示された第２の差分画像６０３とを合成することにより得られた合成画像を示す。第１の差分画像５０３では手のひら部分が明るくなっており、第２の差分画像６０３では指先部分が明るくなっていたので、合成画像７００では、手７０１全体が容易に識別可能なように明るくなっている。
このように、検知対象物体に対する照明方向が互いに異なる状態でされた二つの画像を合成することで、合成画像上では、検知対象物体の識別が容易となる。

図８は、画像合成処理の動作フローチャートである。
処理部１７の光源制御部２１は、第１の照明光源１１と第２の照明光源１２を交互に点灯させる（ステップＳ１０１）。そして処理部１７は、第１の照明光源１１の点灯期間中に撮像部１３が撮影範囲を撮影することにより得られた第１の画像を撮像部１３から取得する（ステップＳ１０２）。また処理部１７は、第２の照明光源１２の点灯期間中に撮像部１３が撮影範囲を撮影することにより得られた第２の画像を撮像部１３から取得する（ステップＳ１０３）。

処理部１７の差分画像生成部２２は、第１の画像を受け取ると、記憶部１６から第１の参照画像を読み込み、第１の画像と第１の参照画像間の差分により第１の差分画像を生成する（ステップＳ１０４）。同様に、差分画像生成部２２は、第２の画像を受け取ると、記憶部１６から第２の参照画像を読み込み、第２の画像と第２の参照画像間の差分により第２の差分画像を生成する（ステップＳ１０５）。

処理部１７の合成部２３は、第１の差分画像と第２の差分画像を合成することで、合成画像を生成し、その合成画像を記憶部１６に記憶する（ステップＳ１０６）。そして処理部１７は、画像合成処理を終了する。

以下、合成画像に基づく物体動作検知処理について説明する。
物体領域抽出部２４は、合成画像が生成される度に、その合成画像上で検知対象物体が写っている領域である物体領域を抽出する。

図９は、合成画像の模式図である。本実施形態では、撮像部１３は赤外線カメラであるため、撮影範囲内に存在する熱源に相当する部分の輝度が、熱源が無い部分の輝度よりも高くなる。そのため、画像９００において、遊技者の手が写っている物体領域９１０の輝度は、手が写っていない背景領域９２０の輝度よりも高く、すなわち白くなっている。

そこで、物体領域抽出部２４は、画像上の各画素のうち、所定の輝度閾値よりも高い輝度値を持つ画素を抽出する。そして物体領域抽出部２４は、抽出された画素に対してラベリング処理を実行することにより、互いに隣接する抽出された画素の集合を含む領域を求める。そして物体領域抽出部２４は、その領域に含まれる画素の数が、画像上で想定される手の面積に相当する面積閾値以上であれば、その領域を物体領域とする。
なお、輝度閾値は、例えば、画像上の各画素の輝度の平均値、または、実験的に予め決定される、手の一部が写っている画素の輝度値の最小値とすることができる。

物体領域抽出部２４は、画像ごとに、その画像について抽出された物体領域を表す２値画像を生成する。その２値画像は、物体領域に含まれる画素の値（例えば、'1'）と背景領域に含まれる画素の値（例えば、'0'）とが異なる値を持つように生成される。なお、以下では、便宜上、物体領域を表す２値画像を物体領域画像と呼ぶ。
物体領域抽出部２４は、物体領域画像を基準点特定部２５及び可動部位置検出部２６へ渡す。

基準点特定部２５は、合成画像が生成される度に、その合成画像に対応する物体領域画像上の物体領域から、検知対象物体である手が所定の動作を行うことにより移動する検知対象物体の可動部分とその所定の動作を行っても可動部分ほど移動しない検知対象物体の固定部分との境界を表す基準点を求める。本実施形態では、所定の動作は手首を固定して行われる手を振る動作であるため、手首よりも先の部分が可動部分に相当し、一方、手首及び手首よりも腕側の部分が固定部分に相当する。

そこで本実施形態では、基準点特定部２５は、物体領域の外形形状に基づいて、合成画像上で手首が写っている画素またはその近傍画素を基準点として特定する。ここで、手を撮影しようとする場合、ある程度合成画像上で手が大きく写ることが好ましい。そのため、撮像部１３の撮影範囲内に人体全体が含まれることはない。したがって、手が写っている物体領域は、その物体領域内で手首が写っている部分の近傍において、何れかの画像端と接することになる。また、手首の幅よりも掌の幅の方が広い。

そこで先ず、基準点特定部２５は、物体領域の上下左右の各画像端ごとに、物体領域と接する画素の数を計数する。そして基準点特定部２５は、物体領域と接する画素の数が最も多い画像端を特定する。この画像端の近傍に手首が位置すると推定される。例えば、図９に示された画像９００については、手首付近が写っている画像端として、下側の画像端が特定される。

次に、基準点特定部２５は、物体領域と最も長く接する画像端に平行な画素の列ごとに、物体領域に含まれる画素の数を計数する。そして基準点特定部２５は、次式に従って、その画像端側から順に、隣接する画素列間の物体領域に含まれる画素の数の差を算出する。
ここで、c_j、c_j+1は、それぞれ、画像端からj番目及び(j+1)番目(ただしjは、0以上の整数)の画素列における物体領域に含まれる画素の数を表す。そしてΔjは、画像端から(j+1)番目の画素列とj番目の画素列間の物体領域に含まれる画素の数の差を表す。

基準点特定部２５は、画像端側から順に、隣接画素列間の物体領域に含まれる画素の数の差Δjを閾値Thと比較する。そして基準点特定部２５は、その差Δjが最初に閾値Thより大きくなったときの画素列jに手首が位置すると判定する。そして基準点特定部２５は、その画素列jにおける物体領域の重心を基準点とする。
なお、閾値Thは、手首から掌にかけての物体領域の幅の変化量に相当する値、例えば、2〜3に設定される。
基準点特定部２５は、物体領域と接する画像端及び基準点の座標を可動部位置検出部２６へ通知する。

可動部位置検出部２６は、合成画像が生成される度に、その合成画像に対応する物体領域画像において、物体領域のうちの基準点よりも可動部分側の領域内でその可動部分の位置を求める。本実施形態では、可動部分は手首の先の手の部分、すなわち、掌及び指が可動部分となる。そこで可動部位置検出部２６は、物体領域と最も長く接する画像端と平行で、かつ、基準点が位置する画素列を、可動部分の位置を求めるための検出境界とする。そして可動部位置検出部２６は、検出境界よりも可動部分側の領域（以下、便宜上可動領域と呼ぶ）を、検出すべき動作の際の可動部分の移動方向に沿って複数に分割する。本実施形態では、検出すべき動作は手を振る動作であるので、手の長手方向、すなわち、手首から指先へ向かう方向に対して略直交する方向に可動部分は移動する。また手の構造上、手の長手方向と、物体領域と最も長く接する画像端に平行な方向とは交差する。そこで可動部位置検出部２６は、可動領域を、物体領域と最も長く接する画像端と平行な方向に沿って複数の部分領域に分割する。個々の分割領域の幅は、それぞれ、可動部分の一部が含まれるように、可動部分の最大幅よりも狭く設定されることが好ましい。これにより、可動部分が移動したときに、その移動の前後で可動部分が写っている部分領域も移るので、可動部分の移動が検出され易くなる。

図１０（ａ）は、物体領域が物体領域画像の下端と接する場合における、検出境界と各部分領域との位置関係を表す図である。一方、図１０（ｂ）は、物体領域が物体領域画像の右端と接する場合における、検出境界と各部分領域との位置関係を表す図である。図１０（ａ）において、物体領域画像１０００上の点１００１が基準点である。この例では、物体領域１００２は物体領域画像１０００の下端と接しているので、検出境界１００３は、基準点１００１を通り、かつ、物体領域画像１０００の下端と平行となるように設定される。また、検出境界１００３よりも上方の可動領域は、横方向に沿って８個の部分領域１００４−１〜１００４−８に分割されている。同様に、図１０（ｂ）において、物体領域画像１０１０上の点１０１１が基準点である。この例では、物体領域１０１２は物体領域画像１０１０の右端と接しているので、検出境界１０１３は、基準点１０１１を通り、かつ、物体領域画像１０１０の右端と平行となるように設定される。そのため、検出境界１０１３よりも左側の可動領域は、縦方向に沿って８個の部分領域１０１４−１〜１０１４−８に分割されている。

可動部位置検出部２６は、部分領域ごとに、その部分領域内に含まれる、物体領域に含まれる画素の数を計数する。そして可動部位置検出部２６は、部分領域ごとに、その部分領域に含まれる、物体領域内の画素の数を計数する。

可動部位置検出部２６は、各部分領域について、その部分領域内に含まれる、物体領域に含まれる画素の数を所定の閾値Th2と比較する。そしてその画素の数が閾値Th2よりも多ければ、可動部位置検出部２６は、その部分領域に検知対象物体の可動部分が重なっていると判定する。なお、閾値Th2は、例えば、部分領域に含まれる画素の総数に0.2〜0.3を乗じた値に設定される。
可動部位置検出部２６は、検知対象物体の可動部分が写っていると判定された部分領域の重心を可動部分の位置とし、その重心を含む部分領域の識別番号を判定部２７へ通知する。

判定部２７は、最新の合成画像上の可動部分の位置と過去の合成画像上の可動部分の位置の差が所定の動作における検知対象物体の動きに相当するか否か判定し、その動きに相当する場合、検知対象物体がその所定の動作を行ったと判定する。

本実施形態では、判定部２７は、検知対象物体が写っていると判定された部分領域の遷移を調べる。
図１１（ａ）〜図１１（ｃ）は、検知対象物体である手を右から左へ振る動作と、手が検出された部分領域の遷移との関係の一例を示す。図１１（ａ）〜図１１（ｃ）では、可動領域は横方向に沿って８個の部分領域に分割されている。この例では、図１１（ａ）に示された合成画像１１００が一番最初に生成され、その後、図１１（ｂ）に示された合成画像１１１０、図１１（ｃ）に示された合成画像１１２０の順に生成されたものとする。

図１１（ａ）に示されるように、最初の合成画像１１００において、手は手首よりも右側に位置している。そのため、基準点１１０１より右側に位置する部分領域に手が写っている。図１１（ｂ）に示されるように、次の合成画像１１１０では、手は真っ直ぐになっているので、基準点１１０１付近に位置する部分領域に手が写っている。そしてその後、図１１（ｃ）に示されるように、合成画像１１２０では、手は手首よりも左側に移動するので、基準点１１０１より左側に位置する部分領域に手が写っている。

このように、手を振る動作では、手が写る部分領域は、時間経過とともに、手を振る際の手の移動方向において基準点を越えて移動する。そこで物体領域と接する画像端が画像の上端または下端である場合には、判定部２７は、手が写っている部分領域の重心が、基準点より右側から基準点より左側へ移動するか、基準点より左側から基準点より右側へ移動すると、手が振る動作が行われたと判定する。同様に、物体領域と接する画像端が画像の右端または左端である場合には、判定部２７は、手が写っている部分領域の重心が、基準点より上側から基準点より下側へ移動するか、基準点より下側から基準点より上側へ移動すると、手が振る動作が行われたと判定する。

図１２は、処理部１７により実行される物体動作検知処理の動作フローチャートである。処理部１７は、合成画像が生成される度に、以下の動作フローチャートに従って、手を振る動作が行われたか否か判定する。また、図１２に示す動作フローチャートでは、物体領域が合成画像の下端または上端に接しているものとし、処理部１７は、手を左から右へ振る動作、または手を右から左へ振る動作を検出する。物体領域が合成画像の左端または右端に接しており、処理部１７が合成画像上で手を上から下へ振る動作、または合成画像上で手を下から上へ振る動作の検出についての動作フローチャートについては、以下の動作フローチャートにおける"左"を"上"、"右"を"下"と読み替え、かつ、"横方向"を"縦方向"と読み替えればよい。

最初に、物体領域抽出部２４は、合成画像上で検知対象物体が写っている物体領域を抽出する（ステップＳ２０１）。そして基準点特定部２５は、物体領域に基づいて可動部分と固定部分の境界を表す基準点を特定する（ステップＳ２０２）。可動部位置検出部２６は、基準点よりも固定部分側を除いた可動領域内に位置する検出対象物体の可動部分の位置を特定する（ステップＳ２０３）。

判定部２７は、可動部分の位置は基準点より右側か否か判定する（ステップＳ２０４）。
可動部分の位置が基準点より右側にある場合（ステップＳ２０４−Ｙｅｓ）、判定部２７は、記憶部１６から読み出した右方向移動フラグFrが、可動部分が基準点よりも左側から移動開始していることを表す値'1'であり、かつ、記憶部１６から読み出した左方向移動フラグFlが、可動部分が基準点よりも右側から移動開始していないことを表す値'0'であるか否か判定する（ステップＳ２０５）。

右方向移動フラグFrが'1'であり、かつ、左方向移動フラグFlが'0'である場合、すなわち、可動部分が基準点よりも左側から移動開始している場合、判定部２７は、左から右へ手を振る動作が行われたと判定する（ステップＳ２０６）。ステップＳ２０６の後、あるいはステップＳ２０５で右方向移動フラグFrが'0'か左方向移動フラグFlが'1'である場合、判定部２７は、右方向移動フラグFr及び左方向移動フラグFlをともに'0'に設定する（ステップＳ２０７）。

一方、ステップＳ２０４にて、可動部分の位置が基準点より右側でない場合（ステップＳ２０４−Ｎｏ）、判定部２７は、可動部分の位置は基準点より左側か否か判定する（ステップＳ２０８）。
可動部分の位置が基準点より左側にある場合（ステップＳ２０８−Ｙｅｓ）、判定部２７は、右方向移動フラグFrが'0'であり、かつ、左方向移動フラグFlが'1'であるか否か、すなわち、可動部分が基準点よりも右側から移動開始しているか否か判定する（ステップＳ２０９）。
右方向移動フラグFrが'0'であり、かつ、左方向移動フラグFlが'1'である場合、すなわち、可動部分が基準点よりも右側から移動開始している場合、判定部２７は、右から左へ手を振る動作が行われたと判定する（ステップＳ２１０）。ステップＳ２１０の後、あるいはステップＳ２０９で右方向移動フラグFrが'1'か左方向移動フラグFlが'0'である場合、判定部２７は、右方向移動フラグFr及び左方向移動フラグFlをともに'0'に設定する（ステップＳ２０７）。

ステップＳ２０８にて、可動部分の位置が基準点より左側でない場合（ステップＳ２０８−Ｎｏ）、すなわち、可動部分の横方向の位置が基準点の横方向の位置と略等しい場合、判定部２７は、一つ前の合成画像における可動部分の位置が基準点より左側か否か判定する（ステップＳ２１１）。一つ前の合成画像における可動部分の位置が基準点より左側である場合（ステップＳ２１１−Ｙｅｓ）、判定部２７は、可動部分が基準点よりも左側から移動開始していると判定し、右方向移動フラグFrを'1'に設定し、かつ、左方向移動フラグFlを'0'に設定する（ステップＳ２１２）。

一方、一つ前の合成画像における可動部分の位置が基準点より左側でなければ（ステップＳ２１１−Ｎｏ）、判定部２７は、一つ前の合成画像における可動部分の位置が基準点より右側か否か判定する（ステップＳ２１３）。一つ前の合成画像における可動部分の位置が基準点より右側である場合（ステップＳ２１３−Ｙｅｓ）、判定部２７は、可動部分が基準点よりも右側から移動開始していると判定し、右方向移動フラグFrを'0'に設定し、かつ、左方向移動フラグFlを'1'に設定する（ステップＳ２１４）。一方、一つ前の合成画像における可動部分の位置が基準点より右側にない場合（ステップＳ２１３−Ｎｏ）、すなわち、一つ前の合成画像における可動部分の横方向の位置が基準点の横方向の位置と略等しい場合、判定部２７は、右方向移動フラグFr及び左方向移動フラグFlの何れも更新しない。

ステップＳ２０７、Ｓ２１２またはＳ２１４の後、判定部２７は、右方向移動フラグFr及び左方向移動フラグFlを記憶部１６に記憶する。その後、処理部１７は、物体動作検知処理を終了する。

なお、合成画像の生成周期、すなわち、撮像部１３の撮影周期の２倍よりも、手を振る動作を１回実施するのに要する時間の方が短い場合には、判定部２７は、上記の動作フローチャートのように可動部分の横方向位置と基準点の横方向位置とが略一致したことを調べずに、可動部分が基準点よりも左側（あるいは右側）に位置していることを検知した後に、可動部分が基準点よりも右側（あるいは左側）に位置していることを検知すれば、手を振る動作が行われたと判定してもよい。

以上に説明してきたように、この画像合成装置は、互いに異なる位置に配置された二つの照明光源のうちの一つが点灯している状態で検知対象物体を撮影した二つの画像を合成する。これにより、この画像合成装置は、一方の照明光源からの照明光が検知対象物体以外の物で反射または散乱されて撮像部に達することで、画像上で検知対象物体の一部が識別困難となる場合であっても、その照明光源と異なる位置に配置された他の照明光源により検知対象物体を照明した状態で撮影した画像を利用できるので、検知対象物体の識別が容易な合成画像を得ることができる。
またこの画像合成装置を組み込んだモーションセンサは、順次得られる、検知対象物体を容易に識別できる複数の合成画像に基づいて検知対象物体の動作を検知するので、検知対象物体の動作を正確に検出できる。

変形例によれば、基準点特定部２５は、順次生成される複数の合成画像のうちの１枚に対して基準点を特定し、その基準点を他の画像に対して適用してもよい。所定の動作の実行中、基準点の位置はほとんど変化しないと想定されるためである。

また他の変形例によれば、可動部位置検出部２６は、可動領域内に部分領域を設定せず、物体領域のうちの可動領域内に含まれる部分の重心を、可動部分の位置として求めてもよい。さらに他の変形例によれば、可動部位置検出部２６が物体領域のうちの可動領域内に含まれる部分の重心を、可動部分の位置として求める場合、判定部２７は、ある時点において生成された合成画像についての可動部分の位置から、その後の所定期間内に生成された複数の合成画像のそれぞれの可動部分の位置までの距離を算出してもよい。そしてその距離が、手を振る動作に相当する距離閾値以上となる場合、判定部２７は、手を振る動作が行われたと判定してもよい。

また、検知する動作は、手を振る動作に限られない。変形例によれば、モーションセンサは、手を握る、あるいは手を開く動作を検知してもよい。この場合には、可動部位置検出部２６は、基準点である手首の位置から可動領域側に位置する物体領域の境界上の各画素までの距離をそれぞれ求め、その距離が最大となる画素の位置、すなわち、可動部分の先端を可動部分の位置としてもよい。そして判定部２７は、ある時点において生成された合成画像における可動部分の先端の位置と、その後に生成された合成画像における可動部分の先端の位置間の距離が、手を曲げたときと手を開いたときの指先の位置の差に相当する閾値以上となれば、手を握る動作または手を開く動作が行われたと判定してもよい。

さらに、検知対象物体は、手に限られない。例えば、検知対象物体は何れかの指でもよい。そして検知すべき動作はその指を屈曲させる動作、またはその指を伸ばす動作であってもよい。この場合には、基準点特定部２５は、合成画像上で指の付け根が写っている位置を基準点として特定する。例えば、基準点特定部２５は、物体領域と接する画像端と対向する画像端から順に、その物体領域と接する画像端と平行な画素列上に位置する、背景領域で分断された物体領域の個数を求める。その個数が一旦２以上になった後、その個数が減少した最初の画素列に、指の付け根が写っていると判定してもよい。

また他の実施形態によれば、モーションセンサは、オプティカルフローなど、他の様々なトラッキング技術の何れかを利用して、順次得られる合成画像から検知対象物体の動作を検知してもよい。

さらに変形例によれば、画像合成装置とモーションセンサとは別個の装置であってもよい。例えば、処理部１７は、物体動作検知処理を行わず、生成された合成画像を遊技機の主制御回路または演出用制御回路へ出力してもよい。そして主制御回路または演出用制御回路が、受け取った合成画像に基づいて、物体動作検知処理を実行してもよい。この場合には、主制御回路または演出用制御回路が、例えば、物体領域抽出部２４、基準点特定部２５、可動部位置検出部２６及び判定部２７の機能を有してもよい。また、処理部１７から、物体領域抽出部２４、基準点特定部２５、可動部位置検出部２６及び判定部２７が省略されてもよい。

図１３は、本発明の実施形態または変形例による、画像合成装置が組み込まれたモーションセンサを備えた弾球遊技機１００の概略斜視図である。また図１４は、弾球遊技機１００の回路ブロック図である。図１３に示すように、弾球遊技機１００は、上部から中央部の大部分の領域に設けられ、遊技機本体である遊技盤１０１と、遊技盤１０１の下方に配設された球受け部１０２と、ハンドルを備えた操作部１０３と、遊技盤１０１の略中央に設けられた表示装置１０４とを有する。

また弾球遊技機１００は、遊技の演出のために、遊技盤１０１の前面において遊技盤１０１の下方に配置された固定役物部１０５と、遊技盤１０１と固定役物部１０５との間に配置された可動役物部１０６とを有する。さらに、遊技盤１０１の側方にはレール１０７が配設されている。また遊技盤１０１上には多数の障害釘（図示せず）及び少なくとも一つの入賞装置１０８が設けられている。

そして図１４に示されるように、弾球遊技機１００の背面には、例えば、弾球遊技機１００全体を制御する主制御回路１１０と、表示装置１０４及びスピーカ（図示せず）といった、遊技の演出に関連する各部を制御するサブ制御回路１１１と、弾球遊技機１００の各部に電力を供給する電源回路１１２と、本発明の実施形態または変形例によるモーションセンサの回路部１１３（すなわち、上記の実施形態によるモーションセンサにおける、撮像部と照明光源以外の部分）などを有する制御基板が配置されている。

さらに、遊技盤１０１の前面の上部には、図２と同様に、遊技盤１０１の前面の所定の撮影範囲を撮影可能なように、下方を向けて撮像部１３１が配置されている。この撮像部１３１は、上述した画像合成装置の撮像部に相当し、例えば、赤外線カメラにより構成される。そして、撮像部１３１の左右には、撮影範囲を照明する照明光源（図示せず）が配置されている。また、球受け部１０２の上方にも、照明光源１３２が配置されている。そして撮像部１３２は、モーションセンサ１１３の回路部から撮影開始の指示を受けると、所定の撮影周期でその撮影範囲を撮影した画像を生成する。その際、各照明光源も、モーションセンサ１１３の回路部からの制御信号に応じて、撮影周期に合わせて交互に点灯する。なお、この例では、撮影範囲のうちの遊技盤１０１に近い側の端部が画像の上端に対応し、撮影範囲のうちの遊技盤１０１から離れた側の端部が画像の下端に対応するように画像は生成される。そして撮像部１３１により生成された画像は、順次モーションセンサ１１３の回路部へ送信される。

操作部１０３は、遊技者の操作によるハンドルの回動量に応じて図示しない発射装置より所定の力で遊技球を発射する。発射された遊技球は、レール１０７に沿って上方へ移動し、多数の障害釘の間を落下する。そして遊技球が何れかの入賞装置１０８に入ったことを、図示しないセンサにより検知すると、遊技盤１０１の背面に設けられた主制御回路１１０は、遊技球が入った入賞装置１０８に応じた所定個の遊技球を玉払い出し装置（図示せず）を介して球受け部１０２へ払い出す。
さらに主制御回路１１０は、サブ制御回路１１１へ、遊技者の動作に応じた演出を開始させる制御信号を通知する。サブ制御回路１１１は、その制御信号を受け取ると、表示装置１０４に、遊技者に対して所定の動作を行わせるためのガイドメッセージを表示させる。さらに主制御回路１１０は、モーションセンサ１１３へ遊技者の所定の動作の検知の開始を指示する制御信号を送信する。

例えば、図１５に示されるように、演出が、表示装置１０４の表示画面に表示されるルーレット１２１を、遊技者が奥側（すなわち、遊技盤１０１に近い側）から手前側（すなわち、遊技盤１０１から離れる側）に手を振る動作を行うことで停止させるものである場合、サブ制御回路１１１は、表示装置１０４に「ルーレットが回転したら、奥から手前に手を動かして！」というメッセージを一定期間（例えば、3秒間）表示させる。その後、サブ制御回路１１１は、表示装置１０４に、回転するルーレットの動画像を所定の入力期間（例えば、1分間）表示させる。その入力期間中に、遊技者が撮像部１３２の撮影範囲内で指定された動作（この例では、奥側から手前側へ手を振る動作）を行うと、モーションセンサ１１３が、撮像部１３１からの画像に基づいて遊技者の手の識別が容易な合成画像を逐次生成し、その合成画像に基づいてその動作が行われたか否かを判定する。

あるいは、図１６に示されるように、演出が、大当たり時の演出の種別を表す複数のブロック１２２が、表示装置１０４の表示画面を左から右へ移動するものであってもよい。この場合において、所定の動作は、例えば、手を右から左へ振る動作とすることができる。この場合、サブ制御回路１１１は、例えば、表示装置１０４に「手を右から左へ動かして！」というメッセージを一定期間（例えば、3秒間）表示させる。その後、サブ制御回路１１１は、表示装置１０４に、図１６に示されるように、水平方向に並んだ複数のブロックが左から右へ移動する動画像を所定の入力期間（例えば、1分間）表示させる。なお、各ブロックには、例えば、演出の豪華さを表すレベル１２３が示されている。その入力期間中に、遊技者が撮像部１３１の撮影範囲内で指定された動作（この例では、左側から右側へ手を振る動作）を行うと、モーションセンサ１１３が撮像部１３１からの画像から生成した合成画像に基づいて、その動作が行われたことを検知する。

モーションセンサ１１３は、指定された動作が行われたことを検知すると、その旨を表す検知信号を主制御回路１１０へ通知する。そして主制御回路１１０は、検知信号を受信したタイミング及びそのタイミングにおける表示装置１０４の表示内容に応じて、大当たりを出すか否かの抽選制御を実行する。なお、入力期間内に指定された動作が行われたことを検知できない場合には、主制御回路１１０は、検知信号を受信したタイミングの代わりに、入力期間が終了したタイミングを利用して抽選制御を実行する。
あるいは主制御回路１１０は、検知信号を受信したタイミング及びそのタイミングにおいて表示装置１０４の所定の位置（例えば、図１５に示される中央の枠１２４内）に表示されているブロックに示された演出のレベルに応じて、大当たり時の演出を決定する。

主制御回路１１０は、抽選制御の結果に応じて、予め準備された複数の演出の中から、表示装置１０４に表示させる演出を決定し、その演出に応じた制御信号をサブ制御回路１１１へ通知する。そしてサブ制御回路１１１は、通知された演出に応じて可動役物部１０６を動作させる。またサブ制御回路１１１は、通知された演出に対応する動画像データを、サブ制御回路１１１が有するメモリ（図示せず）から読み込む。そしてサブ制御回路１１１は、表示装置１０４にその動画像を表示させる。

このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１、１１３ モーションセンサ（画像合成装置）
１１ 第１の照明光源
１２、１３２ 第２の照明光源
１３、１３１ 撮像部
１４ 画像インターフェース部
１５ 通信インターフェース部
１６ 記憶部
１７ 処理部
２１ 光源制御部
２２ 差分画像生成部
２３ 合成部
２４ 物体領域抽出部
２５ 基準点特定部
２６ 可動部位置検出部
２７ 判定部
１００ 弾球遊技機
１０１ 遊技盤
１０２ 球受け部
１０３ 操作部
１０４ 表示装置
１０５ 固定役物部
１０６ 可動役物部
１０７ レール
１０８ 入賞装置
１１０ 主制御回路
１１１ サブ制御回路
１１２ 電源回路

Claims (2)

1. 検知対象物体を照明する第１の照明光源と、
   前記第１の照明光源と異なる位置に配置され、前記検知対象物体を照明する第２の照明光源と、
   前記第１の照明光源と前記第２の照明光源とを交互に点灯させる光源制御部と、
   前記第１の照明光源が点灯している期間中に前記検知対象物体を撮影することにより前記検知対象物体が写った第１の画像を生成し、かつ、前記第２の照明光源が点灯している期間中に前記検知対象物体を撮影することにより前記検知対象物体が写った第２の画像を生成する撮像部と、
   前記第１の照明光源が点灯し、かつ、前記検知対象物体が前記撮像部の撮影範囲内に存在しないときに前記撮影範囲を撮影することにより生成された第１の参照画像と、前記第２の照明光源が点灯し、かつ、前記検知対象物体が前記撮影範囲内に存在しないときに前記撮影範囲を撮影することにより生成された第２の参照画像とを記憶する記憶部と、
   前記第１の画像と前記第１の参照画像間の差分により第１の差分画像を生成し、かつ、前記第２の画像と前記第２の参照画像間の差分により第２の差分画像を生成する差分画像生成部と、
   前記第１の差分画像と前記第２の差分画像を合成することで合成画像を生成する合成部と、
   を有する画像合成装置。
2. 第１の照明光源と、該第１の照明光源と異なる位置に配置された第２の照明光源とを交互に点灯させるステップと、
   前記第１の照明光源が点灯している期間中に撮像部により検知対象物体を撮影することにより前記検知対象物体が写った第１の画像を生成するステップと、
   前記第２の照明光源が点灯している期間中に前記撮像部により前記検知対象物体を撮影することにより前記検知対象物体が写った第２の画像を生成するステップと、
   前記第１の画像と、前記第１の照明光源が点灯し、かつ、前記検知対象物体が前記撮像部の撮影範囲内に存在しないときに前記撮影範囲を撮影することにより生成された第１の参照画像との間の差分により第１の差分画像を生成するステップと、
   前記第２の画像と、前記第２の照明光源が点灯し、かつ、前記検知対象物体が前記撮影範囲内に存在しないときに前記撮影範囲を撮影することにより生成された第２の参照画像との間の差分により第２の差分画像を生成するステップと、
   前記第１の差分画像と前記第２の差分画像を合成することで合成画像を生成するステップと、
   を有する画像合成方法。