JP2017027311A5

JP2017027311A5 -

Info

Publication number: JP2017027311A5
Application number: JP2015144405A
Authority: JP
Filing date: 2015-07-21
Publication date: 2018-08-23
Anticipated expiration: 2035-07-21

Description

上記目的を達するために、本発明の情報処理装置は、第１座標系が定義された空間を撮像した画像を取得する画像取得手段と、前記第１座標系における位置情報を、前記画像取得手段によって取得される画像内に定義された第２座標系における位置情報に変換する変換手段と、前記第１座標系における位置情報を用いて表された、前記空間に含まれる所定の操作面の少なくとも一部に設定される操作領域の情報を取得する操作領域取得手段と、前記変換手段が前記操作領域取得手段によって取得された情報を変換した結果として得られる前記第２座標系における位置情報を使って、前記画像取得手段によって取得された画像内で前記操作領域の境界の周囲の画素群に含まれる各画素を探索し、前記各画素に前記操作面が被写体として撮像されているかに基づいて、前記第２座標系において前記操作領域を表す位置情報を決定する操作領域決定手段と、
を備える。

本発明によれば、背景の条件の異なる複数の領域を含む空間内の物体を、撮像画像を用いて認識する処理の精度が向上する。

ステップＳ３０５では、操作領域決定部２１５によって、処理対象として選択中の画素に、操作面１０１が被写体として写っているとみなされるかが判定される。本実施形態では、操作領域決定部２１５は、まず、座標変換部２１４から、処理対象としている画素の画像座標系での位置情報を、操作空間の三次元座標系での位置情報に変換する処理を実行する。そして、操作空間での三次元位置情報に変換できないか、あるいは、変換結果が定義としてステップＳ３０１で得た情報と異なるかを判定する。この判定が、画素値から変換された高さが、高さｓｈｉｆｔ＿Ｚとの差が小さい値であるかを判定することに相当する。なお、三次元位置情報に変換できない場合には、距離画像に立体物が撮像されている場合に、そのエッジ付近で距離情報がうまく取得されない場合がある。なお、Ｚ軸が高さに相当しない場合でも、操作面に交差する座標軸での座標値に基づいて、同様の判定を行えばよい。ステップＳ３０５においてＮｏであれば、ステップＳ３０６へ進み、操作領域決定部２１５が、処理対象として選択中の画素は操作領域外である、すなわち操作領域には含まれないと決定する。ステップＳ３０５においてＹｅｓであればステップＳ３０７へ進み、操作領域決定部２１５が、処理対象として選択中の画素は操作領域内であると決定する。すなわち、その画素は操作領域に含まれていると決定する。そしてステップＳ３０８では、操作領域決定部２１５が、操作領域の境界周辺とみなされる領域内の全画素を探索したか否かを判定する。全画素の探索が終了するまでステップＳ３０４からステップＳ３０８の処理が繰り返される。ステップＳ３０８でＹｅｓと判定される場合、ステップＳ３０９に進む。

ここで、図８（ｂ）は、ステップＳ８０２において移動領域検出部２１１が実行する、本実施形態の移動領域検出の処理の流れを表すフローチャートである。また、図９は、検出される移動領域と操作体である手の状態の関係を表す図である。ステップＳ８１１において、移動領域検出部２１１は、入力画像の画素を一つ順番にする。そしてステップＳ８１２において、その画素がステップＳ３０９で決定した操作領域内かを判定する。その画素がステップＳ３０９で決定した操作領域内の場合（ステップＳ８１２でＹｅｓ）は、ステップＳ８１３において、入力画像と背景画像を使った背景差分によりその画素が移動領域か否かを判定する。対象画素がステップＳ３０９で決定した操作領域内ではない場合（ステップＳ８１２でＮｏ）は、ステップＳ８１４に進む。ステップＳ８１４において移動領域検出部２１１は、操作空間に定義された三次元位置座標の絶対値を用いて移動領域を検出する。すなわち、入力画像の画素値を、操作空間に定義された三次元位置座標に変換して、操作面があるべき高さＺよりも大きいＺ座標が得られた画素を、移動領域とする。ステップＳ８１５において、本処理を入力画像の全ての画素で実行したかを判定し、Ｙｅｓと判定されるまで処理を繰り返す。

Claims

第１座標系が定義された空間を撮像した画像を取得する画像取得手段と、
前記第１座標系における位置情報を、前記画像取得手段によって取得される画像内に定義された第２座標系における位置情報に変換する変換手段と、
前記第１座標系における位置情報を用いて表された、前記空間に含まれる所定の操作面の少なくとも一部に設定される操作領域の情報を取得する操作領域取得手段と、
前記変換手段が前記操作領域取得手段によって取得された情報を変換した結果として得られる前記第２座標系における位置情報を使って、前記画像取得手段によって取得された画像内で前記操作領域の境界の周囲の画素群に含まれる各画素を探索し、
前記各画素に前記操作面が被写体として撮像されているかに基づいて、前記第２座標系において前記操作領域を表す位置情報を決定する操作領域決定手段と、
を備えることを特徴とする情報処理装置。
更に、前記操作領域取得手段によって取得された情報を前記変換手段が変換した結果として得られる前記第２座標系における位置情報と、前記画像取得手段によって取得された画像のうち、前記操作領域決定手段によって前記操作領域として決定された領域を表す前記第２座標系における位置情報との差に基づいて、前記変換手段による変換の結果に補正を加える補正手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
前記操作領域決定手段は、前記画素群のうち、前記操作面が被写体として撮像されていると判定されない画素を、前記操作領域から除外することを特徴とする請求項１または２に記載の情報処理装置。
前記操作領域決定手段は、前記画素群のうち、前記操作面が被写体として撮像されていると判定された画素は、前記操作領域に含まれると決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記変換手段は、更に、前記第２座標系における位置情報を、前記第１座標系における位置情報に変換することが可能であって、
前記操作領域決定手段は、前記画素群に含まれる各画素の前記第２座標系における位置情報を、前記変換手段が前記第１座標系における位置情報に変換した結果に基づいて、前記各画素に前記操作面が被写体として撮像されているかを判定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記操作領域決定手段は、前記画素群に含まれる各画素の、前記第２座標系における位置情報を、前記変換手段が変換した結果として得られる前記第１座標系における位置情報のうち、前記操作面に交差する方向の座標軸に沿った座標値に基づいて、前記画素群に含まれる各画素に前記操作面が被写体として撮像されているかをと判定することを特徴とする請求項５に記載の情報処理装置。
前記操作領域決定手段は、前記画素群に含まれる各画素に対応する前記第１座標系における位置情報のうち、前記操作面に交差する方向に沿った座標値と、前記操作面の高さを示す座標値との差が基準より小さい場合に、前記画素群に含まれる各画素に前記操作面が被写体として撮像されていると判定することを特徴とする請求項６に記載の情報処理装置。
更に、前記画像取得手段によって取得された画像のうち、前記操作領域決定手段によって決定された操作領域内から検出される操作体の動きに基づいて、前記情報処理装置に入力される操作を検出する操作検出手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記操作検出手段は、前記補正手段によって補正された前記第２座標系における前記操作体の位置に基づいて、前記操作を検出することを特徴とする請求項２に従属する場合の請求項８に記載の情報処理装置。
前記画像取得手段によって取得される画像から、前記操作体が被写体として写る移動領域を検出する移動領域検出手段を更に備え、
前記移動領域検出手段は、
前記画像取得手段によって取得される画像のうち、前記操作領域決定手段によって決定された操作領域に相当する部分において、前記空間を前記操作体が挿入されていない状態で撮像された画像と前記空間に操作体が挿入された状態で撮像された画像との差分に基づいて、前記移動領域を検出するものであって、
前記操作検出手段は、前記移動領域検出手段によって検出される移動領域に基づいて特定される操作位置の位置情報に基づいて、前記操作体による前記操作面へのタッチ操作を検出することを特徴とする請求項８または９に記載の情報処理装置。
前記画像取得手段は、テーブルトップインタフェースシステムを構成するテーブル面である前記操作面を、上方から見下ろす位置に設置された距離画像センサによって撮像された距離画像を取得する手段であることを特徴とする請求項１０に記載された情報処理装置。
前記移動領域検出手段は、
前記画像取得手段によって取得される距離画像のうち、前記操作領域決定手段によって決定された操作領域に相当しない部分では、前記距離画像の画素から得られる三次元位置情報に基づいて、前記操作面より上方に存在する被写体が写るとみなされる領域を、前記移動領域として検出するものであることを特徴とする請求項１１に記載の情報処理装置。
情報処理装置の制御方法であって、
画像取得手段により、第１座標系が定義された空間を撮像した画像を取得する画像取得工程と、
変換手段により、前記第１座標系における位置情報を、前記画像取得工程において取得される画像内に定義された第２座標系における位置情報に変換する変換工程と、
操作領域取得手段により、前記第１座標系における位置情報を用いて表された、前記空間に含まれる所定の操作面の少なくとも一部に設定される操作領域の情報を取得する操作領域取得工程と、
操作領域決定手段により、前記操作領域取得工程において取得された情報を、前記変換工程で変換した結果として得られる位置情報を使って、前記画像取得工程において取得された画像のうち、前記操作領域の境界の周囲の画素群に含まれる各画素を探索する工程と、
さらに前記操作領域決定手段により、探索された前記各画素に、前記操作面が被写体として撮像されているかに基づいて、前記第２座標系において前記操作領域を表す位置情報を決定する操作領域決定工程と、
を備えることを特徴とする情報処理装置の制御方法。
コンピュータに読み込ませ実行させることによって、前記コンピュータを、
第１座標系が定義された空間を撮像した画像を取得する画像取得手段と、
前記第１座標系における位置情報を、前記画像取得手段によって取得される画像内に定義された第２座標系における位置情報に変換する変換手段と、
前記第１座標系における位置情報を用いて表された、前記空間に含まれる所定の操作面の少なくとも一部に設定される操作領域の情報を取得する操作領域取得手段と、
前記変換手段が前記操作領域取得手段によって取得された情報を変換した結果として得られる前記第２座標系における位置情報を使って、前記画像取得手段によって取得された画像内で前記操作領域の境界の周囲の画素群に含まれる各画素を探索し、
前記各画素に前記操作面が被写体として撮像されているかに基づいて、前記第２座標系において前記操作領域を表す位置情報を決定する操作領域決定手段と、
を備える情報処理装置として機能させるプログラム。
請求項１４に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。