JP2018010539A

JP2018010539A - 画像認識装置

Info

Publication number: JP2018010539A
Application number: JP2016139820A
Authority: JP
Inventors: 寛康植田; Hiroyasu Ueda; 佑記名和; Yuki Nawa
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2016-07-14
Filing date: 2016-07-14
Publication date: 2018-01-18

Abstract

【課題】単眼カメラによる簡易なシステムにより、回転動作と払い動作の識別を可能とする画像認識装置を提供する。【解決手段】所定の一方向から撮像対象物である操作者の手を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、手の基準点の動作軌跡の曲率半径を算出し、これにより手の所定の動作種別（回転動作、払い動作）を検出する制御部と、を有して画像認識装置を構成する。【選択図】図１

Description

本発明は、画像認識装置に関する。

従来の技術として、ジェスチャー認識を複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供する画像認識装置が提案されている（例えば、特許文献１参照。）。この画像認識装置は、撮像手段により撮影された映像に基づくジェスチャー認識とタッチパネル等の接触検知手段を複合的に用いて、機器の入力操作を行うものである。

この画像認識装置は、撮像手段により撮影した映像から手形状の認識をする処理を行う。認識された手形状からジェスチャー特徴量を抽出し保存する。ジェスチャー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴量データベースに制御命令と関連付けられて記憶されている。例えば、手形状の領域や操作している指の本数、および指先の位置情報等である。撮像手段により取得した映像から、ジェスチャー認識処理によって、親指の指先の位置を初期値として登録する。つぎに、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転量をジェスチャー認識で認識するとされている。

特開２００９−４２７９６号公報

しかし、特許文献１の画像認識装置では、上記説明された回転動作のジェスチャー認識はできるが、払い動作においては、指先の位置情報が撮像方向によっては回転動作と近似するため、回転動作と払い動作の識別が難しいという問題があった。

したがって、本発明の目的は、単眼カメラによる簡易なシステムにより、回転動作と払い動作の識別を可能とする画像認識装置を提供することにある。

［１］上記目的を達成するため、所定の一方向から撮像対象物を撮像する撮像手段と、前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の曲率半径を算出し、これにより前記撮像対象物の所定の動作種別（回転動作、払い動作）を検出する制御部と、を有することを特徴とする画像認識装置を提供する。

［２］前記撮像手段は単眼カメラであり、前記所定の一方向は前記単眼カメラの光軸方向であることを特徴とする上記［１］に記載の画像認識装置であってもよい。

［３］また、前記撮像対象物は操作者の手であり、前記制御部は、前記単眼カメラの光軸方向と直交する軸を、前記回転動作の回転中心、前記払い動作の円弧中心として前記曲率半径を算出することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。

本発明の画像認識装置によれば、単眼カメラによる簡易なシステムにより、回転動作と払い動作の識別を可能とする画像認識装置を提供することができる。

図１（ａ）は、本発明の実施の形態に係る画像認識装置のカメラ配置の一例を示す概略斜視図であり、図１（ｂ）は、回転動作を行なう場合の手指と座標の関係をＺ（前）方向から見て示すＸＹ座標図であり、図１（ｃ）は、払い動作を行なう場合の手指と座標の関係をＺ（前）方向から見て示す図である。図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。図３（ａ）は、図１（ｂ）においてＹ軸方向に見たＸＺ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。図４は、回転動作、払い動作をＺ軸からカメラで見たぞれぞれの動作軌跡の検出結果をＸＺ軸に示す動作軌跡図である。図５は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。図６（ａ）は、曲率半径算出のための３点を決定するために点Ｐ_Ａ、点Ｐ_Ｂの中間点を点Ｐ_Ｃとして探索する場合の説明図、図６（ｂ）は、曲率半径算出のための３点を決定するために線分Ｐ_ＡＰ_Ｂから最も遠い点を点Ｐ_Ｃとして探索する場合の説明図である。

（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、所定の一方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、手８０の基準点の動作軌跡の曲率半径を算出し、これにより手８０の所定の動作種別（回転動作、払い動作）を検出する制御部３０と、を有して構成されている。

なお、上記の所定の一方向はカメラ１０の光軸方向（Ｙ軸方向、上方向）に設定されている。

図１（ａ）は、本発明の実施の形態に係る画像認識装置のカメラ配置の一例を示す概略斜視図であり、図１（ｂ）は、回転動作を行なう場合の手指と座標の関係をＺ（前）方向から見て示すＸＹ座標図であり、図１（ｃ）は、払い動作を行なう場合の手指と座標の関係をＺ（前）方向から見て示す図である。図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。また、図３（ａ）は、図１（ｂ）においてＹ軸方向に見たＸＺ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。

図１に示すように、画像認識装置１は、撮像手段としてのカメラ１０が上方向に配置され、図示のＡ方向、すなわち、カメラ１０の光軸方向（Ｙ軸方向）を撮像する。本実施の形態では、カメラ１０は１台である単眼システムである。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を赤外照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像する。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。

（カメラ１０）
図１に示すように、カメラ１０は、Ａ方向に向けて操作者の手８０を撮像し、カメラ１０の光軸方向（Ｙ軸方向）と直交するＸＺ面内の画像情報である画像データをフレーム画像１００として、所定のフレーム周期で制御部３０へ出力する。このフレーム画像１００は、例えば、後述する図３（ａ）に示すような背景１１０を含んだフレーム画像である。フレーム画像１００は、図２に示すように、ある時刻におけるｎフレーム目のフレーム画像Ｓ（ｎ）を所定のタイミングで順次、制御部３０へ出力する。

なお、図３（ｂ）に示した背景画像１１０のみを予め撮像し、この背景画像１１０をフレーム画像Ｓ（０）として後述する背景処理に使用する。

（照明２０）
また、図１、２に示すように、制御部３０には、照明２０が接続されている。なお、照明は複数台が制御部３０に接続されていてもよい。図１に示すように、照明２０は、カメラ１０の撮像範囲（画角）をカバーする範囲に赤外光を照射して撮像対象物を照明する。

（制御部３０の構成）
図２に示すように、制御部３０には、１台のカメラ１０が接続されている。また、制御部３０には、照明２０が接続されている。

制御部３０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部３０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

制御部３０は、画像処理部３１、重心検出部３２、基準点検出部３３、曲率半径算出部３４、および動作識別部３５を備えている。

（画像処理部３１）
画像処理部３１は、カメラ１０から入力される各フレーム画像Ｓ（ｎ）を後工程の重心検出、基準点検出等を行なうために、背景除去、２値化処理等の画像処理を予め実行するための前工程である。

図３（ａ）は、図１（ｂ）においてＹ軸方向に見たＸＺ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。この背景画像であるフレーム画像Ｓ（０）は、差分画像の算出処理の基準画像となるので、時間により変化しない画像であることが好ましい。

画像処理部３１は、フレーム画像Ｓ（ｎ）と背景画像１１０のフレーム画像Ｓ（０）の差分を抽出し、この差分をフレーム画像Ｓ（ｎ）から除去して、手８０のみのフレーム画像Ｓ（ｎ）を作成する。また、これを２値化して、図３（ｃ）に示す手８０の２値化されたフレーム画像Ｓ（ｎ）を作成する。以下の説明では、この２値化されたフレーム画像Ｓ（ｎ）により各処理が実行されるものとして説明する。

（重心検出部３２）
重心検出部３２は、２値化されたフレーム画像Ｓ（ｎ）に基づいて、重心Ｇの位置を算出することにより検出する。重心Ｇの位置のＸ座標は、図３（ｃ）の中の数値の平均値である。平均値は、手８０が存在する画素のＸ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。同様にして、重心Ｇの位置のＺ座標は、図３（ｃ）の中の数値の平均値である。平均値は、手８０が存在する画素のＺ座標の値の合計を、手８０が存在する画素の数で割ることにより、重心Ｇ（Ｘ、Ｚ）を算出する。

（基準点検出部３３）
基準点検出部３３は、図３（ｃ）で示す算出された重心Ｇから、最も遠い点Ｐを基準点として検出する。なお、この基準点は、手８０の特定の位置であれば、重心Ｇから最も遠い点には限られない。

基準点検出部３３は、図３（ｃ）のように求められた画像を、例えば、テンプレートマッチングにより、手首から指先部分を抽出する。この抽出された手のフレーム画像において、重心Ｇから最も遠いＸ座標、Ｚ座標を求める。これにより、重心Ｇから最も遠い点Ｐを検出することができ、これを、動作軌跡の基準点とする。なお、手において重心Ｇから最も遠い点Ｐは、例えば、図３（ａ）、（ｃ）に示すように、指先である。

（曲率半径算出部３４）
曲率半径算出部３４は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）から、ＸＺ座標上の異なる３点により、動作軌跡の曲率半径を算出する。例えば、所定の時間間隔で入力されるフレーム画像Ｓ（１）、Ｓ（２）、Ｓ（３）で検出された基準点Ｐ_１、Ｐ_２、Ｐ_３に基づいて、曲率半径を算出する。検出された基準点を、Ｐ_１＝（Ｘ_１，Ｚ_１）、Ｐ_２＝（Ｘ_２，Ｚ_２）、Ｐ_３＝（Ｘ_３，Ｚ_３）とする。

３点を通る円又は円弧の半径を求めることにより、その逆数として、３点を通る円又は円弧の曲率半径を算出することができる。例えば、円の中心が（ｐ，ｑ）、半径がｒの円の方程式を（Ｘ−ｐ）^２＋（Ｚ−ｑ）^２＝ｒ^２と置いて、ＸとＺにそれぞれ（Ｘ_１，Ｚ_１），（Ｘ_２，Ｚ_２），（Ｘ_３，Ｚ_３）を代入して、ｐ，ｑ，ｒの連立方程式を解く。これにより、３点を通る円又は円弧の半径ｒが求まり、その逆数により３点を通る円又は円弧の曲率半径１／ｒが算出できる。

（動作識別部３５）
図４は、回転動作、払い動作をＺ軸からカメラで見たぞれぞれの動作軌跡の検出結果をＸＺ軸に示す動作軌跡図である。

図４において、図１（ｂ）で示す回転動作をカメラから動作軌跡として見ると、Ｘ軸、Ｚ軸の点として表される動作軌跡のようになる。すなわち、回転動作を行なった際の投影面での軌跡は、回転軸がカメラ１０の光軸と直交しているため、直線に近い線分となり、曲率半径が大きい。図４で示すＸ軸、Ｚ軸はカメラの画素で表示されている。この画素数で表示すると、例えば、３回の測定により、回転動作の動作軌跡の曲率半径は、６４７、９５９、６９４であった。

一方、図４において、図１（ｃ）で示す払い動作をカメラから動作軌跡として見ると、Ｘ軸、Ｚ軸の点として表される動作軌跡のようになる。払い動作は、手首支点、肩支点、肘支点の３つの場合がありうる。払い動作を行なった際の投影面での軌跡は、カメラ１０の光軸と平行になる手首、肩、肘を中心として円弧となるため、曲率半径が小さい。図４で示すＸ軸、Ｚ軸はカメラの画素で表示されている。この画素数で表示すると、手首支点の場合、３回の測定により、払い動作の動作軌跡の曲率半径は、３１７、１７８、１９１であった。肩支点の場合、３回の測定により、払い動作の動作軌跡の曲率半径は、３３７、３５３、３５２であった。肘支点の場合、３回の測定により、払い動作の動作軌跡の曲率半径は、３２２、２９８、２６２であった。

図４で示した回転動作の動作軌跡の曲率半径、払い動作の動作軌跡の曲率半径の違いから、曲率半径が予め設定した閾値より大きいか、小さいかにより、回転動作と払い動作を識別することができる。

（画像認識装置の動作）
図５は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。図５に示すフローチャートに基づいて、以下に画像認識装置１の動作を説明する。

制御部３０は、まず、画像処理部３１において、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づいて操作者の手８０を認識する。例えば、種々の手の形状テンプレートに基づいて、操作者の手８０を認識する（Ｓｔｅｐ１）。

次に、制御部３０は、ジェスチャー開始のトリガーが成立したかどうかを判断する（Ｓｔｅｐ２）。例えば、手の静止をトリガー条件とすることができる。ジェスチャー開始トリガーが成立した場合は、Ｓｔｅｐ３へ進み（Ｓｔｅｐ２：Ｙｅｓ）、ジェスチャー開始トリガーが成立しない場合は、Ｓｔｅｐ１へ戻る（Ｓｔｅｐ２：Ｎｏ）。

制御部３０は、基準点座標を取得する（Ｓｔｅｐ３）。すなわち、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づいて、画像処理部３１、重心検出部３２、基準点検出部３３で処理実行された結果に基づいて、基準点座標を取得する。

制御部３０は、ジェスチャー判定のトリガーが成立したかどうかを判断する（Ｓｔｅｐ４）。例えば、経過時間、基準点の移動距離により、ジェスチャー判定のトリガーが成立したかどうかを判断する。制御部３０は、ジェスチャー開始トリガー条件が成立したフレーム画像からこのジェスチャー判定トリガー条件が成立したフレーム画像までの基準点座標（例えば、指先の座標）を記憶する。ジェスチャー判定トリガー条件が成立した場合は、Ｓｔｅｐ６へ進み（Ｓｔｅｐ４：Ｙｅｓ）、ジェスチャー判定トリガー条件が成立しない場合は、Ｓｔｅｐ５へ進む（Ｓｔｅｐ４：Ｎｏ）。

制御部３０は、Ｓｔｅｐ５により次のフレームへ進む。すなわち、Ｓｔｅｐ３に戻って次のフレーム画像から、次の基準点座標を取得する。

制御部３０は、曲率半径算出部３４により、動作軌跡の曲率半径を算出する（Ｓｔｅｐ６）。上述したように、動作軌跡の曲率半径を算出するには、ＸＺ座標上の異なる３点を必要とする。曲率半径算出部３４は、Ｓｔｅｐ３において取得した基準点の座標群からＸ座標の最大、最小点Ｐ_Ａ、Ｐ_Ｂを探索する（Ｓｔｅｐ６−１）。

次に、点Ｐ_ＡのＸ座標Ｘ_Ａと点Ｐ_ＢのＸ座標Ｘ_Ｂの中間点Ｐ_Ｃを探索する（Ｓｔｅｐ６−２）。ここで、図６（ａ）は、曲率半径算出のための３点を決定するために点Ｐ_Ａ、点Ｐ_Ｂの中間点を点Ｐ_Ｃとして探索する場合の説明図である。図６（ａ）に示すように、上記の探索により、ＸＺ座標上の異なる３点を決定することができる。

なお、点Ｐ_ＡのＸ座標Ｘ_Ａと点Ｐ_ＢのＸ座標Ｘ_Ｂから点Ｐ_Ｃを探索する別の方法として、図６（ｂ）に示すように、線分Ｐ_ＡＰ_Ｂから最も遠い点を点Ｐ_Ｃとして探索するものでもよい。これにより、ＸＺ座標上の異なる３点を決定することができる。

曲率半径算出部３４は、Ｓｔｅｐ６−２で抽出したＸＺ座標上の異なる３点から、曲率半径を求める（Ｓｔｅｐ６−３）。曲率半径は、上述したように、３点Ｐ_Ａ、Ｐ_Ｂ、Ｐ_Ｃを通る円の半径を求めることにより、その逆数として、３点を通る円又は円弧の曲率半径を算出することができる。

制御部３０の動作識別部３５は、曲率半径が閾値よりも大きいかどうかを判断する（Ｓｔｅｐ７）。曲率半径が閾値よりも大きい場合は、Ｓｔｅｐ８へ進み（Ｓｔｅｐ７：Ｙｅｓ）、曲率半径が閾値よりも大きくない場合は、Ｓｔｅｐ９へ進む（Ｓｔｅｐ７：Ｎｏ）。

制御部３０は、操作者のジェスチャー動作を回転動作として識別、認識して、回転動作処理を行なう（Ｓｔｅｐ８）。

制御部３０は、操作者のジェスチャー動作を払い動作として識別、認識して、払い動作処理を行なう（Ｓｔｅｐ９）。

Ｓｔｅｐ８、Ｓｔｅｐ９の処理後、Ｓｔｅｐ１へ戻り、画像認識装置の動作を繰り返して実行する。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、所定の一方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、手８０の基準点の動作軌跡の曲率半径を算出し、これにより手８０の所定の動作種別（回転動作、払い動作）を検出する制御部３０と、を有して構成されている。上記の所定の一方向がカメラの光軸方向の場合は、動作種別（回転動作、払い動作）の識別が難しいが、本実施の形態によれば、手８０の基準点の動作軌跡の曲率半径に基づいて精度よく判別が可能となる。
（２）これにより、単眼カメラによる簡易なシステムにより、回転動作と払い動作の識別を可能とする画像認識装置を実現することができる。
（３）単眼カメラシステムであるので、ステレオカメラやＴＯＦカメラに比べて安価に画像認識装置を構成することが可能となる。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像認識装置
１０…カメラ
２０…照明
３０…制御部
３１…画像処理部
３２…重心検出部
３３…基準点検出部
３４…曲率半径算出部
３５…動作識別部
６０…撮像範囲
８０…手
８１…掌
１００…フレーム画像
１１０…背景
Ｇ…重心
Ｓ（０）、Ｓ（ｎ）…フレーム画像

Claims

所定の一方向から撮像対象物を撮像する撮像手段と、
前記撮像手段により撮像された前記所定の一方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の曲率半径を算出し、これにより前記撮像対象物の所定の動作種別（回転動作、払い動作）を検出する制御部と、
を有することを特徴とする画像認識装置。
前記撮像手段は単眼カメラであり、前記所定の一方向は前記単眼カメラの光軸方向であることを特徴とする請求項１に記載の画像認識装置。
前記撮像対象物は操作者の手であり、前記制御部は、前記単眼カメラの光軸方向と直交する軸を、前記回転動作の回転中心、前記払い動作の円弧中心として前記曲率半径を算出することを特徴とする請求項１又は２に記載の画像認識装置。