JP2015132875A - 位置検出装置及びプログラム - Google Patents

Abstract

【課題】一台のカメラで検出対象物の位置を検出することができる位置検出装置及びそのプログラムを提供する。
【解決手段】位置検出装置１０は、反射板１１、反射板１１に近づく検出対象物Ａ、及び反射板１１上に映る検出対象物Ａの反射像Ｂを撮像するカメラ１２、並びにカメラ１２が撮像した画像上の検出対象物及び反射像の位置から、反射板１１を基準とした検出対象物Ａの三次元位置を演算する演算手段を備える。
【選択図】図１

Description

本発明は、タッチパネル等として用いられる位置検出装置及びそのプログラムに関する。

タッチパネルに用いられている位置検出方式としては、抵抗膜方式や静電容量方式が一般的である。これらの方式においては、画面上のタッチした部分の抵抗又は静電容量変化により位置検出を行っている。しかしこれらのタッチパネルは、タッチされるパネルに複数の部品が積層した複雑な構造となる。

そこで、カメラを用いた画像処理方式の位置検出装置が提案されている（特許文献１〜３参照）。画像処理方式の場合、タッチされるパネル自体を位置検出のための特殊な構造とする必要が無いため、低コスト化が可能であるなどのメリットがある。しかし、従来の画像処理方式の位置検出装置において、一台のカメラのみを用いる場合、カメラのレンズに対する奥行き方向の位置座標（距離）が判別できない。このため、従来の画像処理方式の位置検出装置によれば、パネル表面に指等の検出対象物が接触しているか否かなど、検出対象物の３次元座標を精度良く特定するためには、二台以上のカメラが必要となる。

特開２０１２−３７４１号公報 特開２００２−３１２１２３号公報 特許第４６６８８９７号公報

本発明はかかる事情に鑑みてなされたもので、一台のカメラで検出対象物の位置を検出することができる位置検出装置及びそのプログラムを提供することを目的とする。

前記目的に沿う第１の発明に係る位置検出装置は、反射板、該反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像を撮像するカメラ、並びに該カメラが撮像した画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する演算手段を備える。

第１の発明に係る位置検出装置においては、検出対象物自体と共に反射板に映った検出対象物の反射像をカメラで捕らえることで、検出対象物の三次元位置を検出（特定）することができる。すなわち、演算手段により、画像上の検出対象物の二次元座標と共に、例えば画像上の検出対象物と反射像との距離をパラメータとして演算することで、一台のカメラの画像から検出対象物の三次元位置を算出することができる。

第１の発明に係る位置検出装置において、前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が０となったとき、前記検出対象物と前記反射板との距離を０と算出することが好ましい。このようにすることで、反射板に検出対象物が触れた状態を容易に検知することができる。

第１の発明に係る位置検出装置において、前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が０となったときにおける前記画像上の前記検出対象物の位置を座標変換し、前記検出対象物の前記反射板上の二次元位置を算出することが好ましい。このようにすることで、反射板に検出対象物が触れた位置を正確性を高めて算出することなどができる。

第１の発明に係る位置検出装置は、タッチパネルとして用いられることが好ましい。本発明に係る位置検出装置をタッチパネルに用いると、一台のカメラにより、指等の検出対象物がパネル（反射板）に触れた位置を検出することができる。

前記目的に沿う第２の発明に係るプログラムは、反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像の画像データ（画像）から、画像上の前記検出対象物及び前記反射像の位置を検出する工程と、検出された前記画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する工程とをコンピュータに実行させるためのプログラムである。

第１の発明に係る位置検出装置によれば、一台のカメラで検出対象物の位置を検出することができ、タッチパネル等に好適に用いることができる。第２の発明に係るプログラムは、第１の発明に係る位置検出装置の演算手段に好適に用いることができる。

本発明の一実施の形態に係る位置検出装置を示す模式図である。 同位置検出装置の演算手段の座標変換アルゴリズムの説明図であり、（ａ）はカメラが撮像した画像上の座標を示し、（ｂ）は座標変換したもの（実際の反射板上の座標）を示す。 実施例における検出対象物の位置検出の説明図であって、（ａ）はタブレット画面に表示したマーク、（ｂ）はマークを指でなぞった出力結果を示す。

続いて、添付した図面を参照しながら本発明を具体化した実施の形態について説明する。
図１に示すように、本発明の一実施の形態に係る位置検出装置としてのタッチパネル１０は、反射板１１と、カメラ１２と、図示しない演算手段とを備える。

反射板１１は矩形の平板である。反射板１１は、カメラ１２に検出対象物Ａの反射像Ｂを撮像可能な程度の反射性を有する面を備えるものであれば、特に限定されない。すなわち、反射板１１の表面（反射面）は鏡面である必要は無く、カメラ１２による撮像及びその画像処理に影響の無い範囲で粗面であってもよい。反射板１１の材質もガラス、プラスチック、金属等、特に限定されず、透明であっても不透明であってもよい。反射板１１の厚さも特に限定されず、フィルム状や薄膜状であってもよい。

反射板１１は、タッチパネル１０におけるいわゆる画面としても機能する。なお、操作者がタッチするためのタッチパネル１０における表示画像は、透明な反射板１１の背後に映し出されていてもよい。例えば、既存の液晶ディスプレイやプラズマディスプレイ等をタッチパネル１０に用いることもでき、この場合、ディスプレイ表面の透明板（例えば液晶ディスプレイにおける偏光板）が反射板１１となる。また、透明な反射板１１の背後にサンプル等を配置し、操作者が各サンプルに対応する位置をタッチするように構成されていてもよい。その他、操作者がタッチするためのタッチパネル１０における表示画像は、反射板１１の表面に直接描かれていてもよい。

カメラ１２は、反射板１１に対して斜め前方（図１においては上方）に、かつ反射板１１の表面（反射面）全面を撮像可能に配置されている。カメラ１２は、反射板１１に近づく検出対象物Ａ（例えば、指等）と、反射板１１上（表面）に映る検出対象物Ａの反射像Ｂとを動画にて撮像する。カメラ１２は、撮像した画像上の検出対象物ａ及び反射像ｂ（図２（ａ）参照）の位置を画像データとして認識及び解析可能に撮像できることが好ましく、撮像素子としてＣＣＤセンサやＣＭＯＳセンサを有するデジタルカメラが好ましい。カメラ１２は、通常、可視光領域を撮像するものであるが、検出対象物Ａ及びその反射像Ｂが撮像できれば、それに限定されるものではなく、赤外線カメラなどであってもよい。カメラ１２は、反射板１１に対して一体的に固定されていてもよいし、別体で固定されていてもよい。カメラ１２は反射板１１に対し、移動や着脱可能に固定されていてよい。

カメラ１２の取り付け角度は、反射板１１に近づく検出対象物Ａとその反射像Ｂとが撮像可能な角度であれば特に限定されず、良好な反射像Ｂが確認できる角度、操作者等により死角とならない位置などを考慮して設定される。例えば、反射板１１の法線方向とカメラ１２のレンズの正面方向とがなす角度としては、２０°以上７０°以下程度の範囲で設定できる。

演算手段はカメラ１２と連結されている。この演算手段には、例えば演算装置、制御装置及び記憶装置が中央演算装置（ＣＰＵ）として組み込まれた公知のコンピュータを用いることができる。このコンピュータには、さらに出力装置等が備えられていてもよいし、出力装置（モニター等）はこのコンピュータと別であってもよい。コンピュータ（演算手段）の処理は、所定の機能を有するプログラムにより実現できる。このプログラムは、具体的には、反射板１１に近づく検出対象物Ａ、及び反射板１１上に映る検出対象物Ａの反射像Ｂの画像データから、画像上の検出対象物ａ及び反射像ｂの位置を検出する工程（Ｉ）と、検出された画像上の検出対象物ａ及び反射像ｂの位置から、反射板１１を基準とした検出対象物Ａの三次元位置を演算する工程（II）とをコンピュータに実行させるためのプログラムである。このプログラムはコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。以下、演算手段が行う具体的処理について説明する。

演算手段には、まず、カメラ１２が撮像した画像データが入力される。演算手段は、この画像データから、検出対象物ａ及びその反射像ｂを認識（解析）し、これらの位置（画像上の二次元座標）を検出する（工程（I））。この画像解析における検出対象物ａ及びその反射像ｂの認識（解析）は、例えばＨａａｒ−ｌｉｋｅ特徴量に基づいて好適に行うことができる。Ｈａａｒ−ｌｉｋｅ特徴量とは、計算対象内の矩形領域における黒色領域のピクセル値の和から白色領域のピクセル値の和を引いた値であり、物体認識で使用されている。なお、Ｈａａｒ−ｌｉｋｅ特徴量以外に、ＥＯＨ特徴量、ＨＯＧ特徴量等の他の特徴量を用いてもよい。また、ＡｄａＢｏｏｓｔ等の学習・判別アルゴリズムを用いて認識精度を高めることもできる。

演算手段においては、工程（II）の一部として、前述の画像認識を元に、画像上の検出対象物ａと反射像ｂとの距離が０となったとき、実際の検出対象物Ａと反射板１１との距離が０と算出するようにプログラミングされている。このため、タッチパネル１０によれば、一台のカメラ１２により反射板１１に検出対象物Ａ（指の先端等）が触れた状態を容易に検知することができる。

演算手段においては、さらに、工程（II）の一部として、前述の画像認識を元に、画像上の検出対象物ａとその反射像ｂとの距離が０となったとき（検出対象物Ａが反射板１１に接した状態）における画像上の検出対象物ａの位置（二次元座標）を座標変換し、検出対象物Ａの反射板１１上の二次元位置を算出するようにプログラミングされている。この点を以下に詳説する。反射板１１の斜め上前方にカメラ１２を配置した場合、カメラ１２が捉える画像においては、図２（ａ）に示すように、反射板１１が台形状になる。すなわち、カメラ１２が捉える反射板１１上の座標は直交座標ではないため、これを図２（ｂ）に示す直交座標（実際の反射板１１上の座標）に変換する。この座標変換アルゴリズムは以下のとおりである。

なお、以下の各式及び図２（ａ）、（ｂ）において、各記号は以下を示す。
（ｘ０，ｙ０）〜（ｘ３，ｙ３）：カメラ１２が捉えた画像上における反射板１１の４頂点座標
（Ｎｘ，Ｎｙ）：シフトパラメータ
（ｘ，ｙ）：カメラ１２が捉えた画像上における指の先端（検出対象物ａ）の座標
（ｘ’０，ｙ’０）〜（ｘ’３，ｙ’３）：反射板１１の４頂点座標
（Ｘ’，Ｙ’）：反射板１１上における指の先端（検出対象物Ａ）の座標
ｋ：スケールパラメータ

実際の反射板１１上における検出対象物Ａ（反射板１１に接した位置）の座標（Ｘ’，Ｙ’）は、カメラ１２が捉えた座標（ｘ，ｙ）から下記式を用いて変換する。

前記式中、ａ〜ｈは座標変換パラメータである。前記２式は下記行列式で表すことができる。

前記式中の座標変換パラメータａ〜ｈは、実際及び画像上の反射板１１の４頂点座標を用い、下記行列式で求めることができる。

なお、シフトパラメータ（Ｎｘ，Ｎｙ）は、検出箇所の違いなどによって生じうる測定誤差を補正するものであり、実際の測定に応じて適宜設定される。また、スケールパラメータｋは、拡大縮小等の補正を行うものである。

前記座標変換アルゴリズムにより、カメラ１２の画像（図２（ａ））から、実際の反射板１１上に触れた指の先端（検出対象物Ａ）の位置（二次元直交座標：図２（ｂ））を求めることができる。この座標変換（検出対象物Ａの反射板１１上の二次元位置の算出）は、１つの行列式により行われるため、演算速度（処理速度）が速い。

タッチパネル１０によれば、一台のカメラ１２で検出対象物Ａの位置を検出することができる。このようにカメラ１２は一台でよいのでコストの低減に繋がる。また、いわゆるタッチパネル本体（反射板１１を含む操作者が視認する画面を表示する装置）には、特殊な構造を必要とせず、故障率も低減する。

タッチパネル１０は、パソコン、携帯電話、携帯情報端末、コピー機、ファックス、カーナビ、ＡＴＭ、自動販売機、ゲーム機、電子案内板、制御板などにおいて、主に表示画面に対する指示をタッチ操作等によって行うことを意図した機器に用いることができる。例えば、タッチパネル１０を電子案内板に用いる場合、反射板１１を案内図とし、案内を希望する箇所を指又は長い棒等で指すと、スピーカーから説明が流れるといった親切な電子案内板を低コストで提供できる。タッチパネル１０は、その他タッチパッドなど表示画面を伴わないものであってもよい。タッチパネル１０を用いた場合、例えば、自動販売機など不特定多数が使用するものについて、実質的に全面を強化ガラスや金属等の強度の高い材料で形成することができ、防犯性を高めることができる。また、既設の防犯カメラを位置検出のためのカメラとして兼用させることもできる。さらには、既存のディスプレイに対して、後付けでカメラを配置することで、タッチパネル機能を付与することもできる。

本発明は前記した実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲でその構成を変更することもできる。本発明の位置検出装置は、タッチパネルに限定されるものではなく、例えばジェスチャーで操作を行うものなど、反射板（表示画面）への接触を前提としない操作パネル、ポインティングデバイス等に用いることもできる。この場合、演算手段は、カメラが捉えた画像上の検出対象物の二次元座標に加え、画像上の検出対象物とその反射像との距離をパラメータとして演算する。このようにすることで、一台のカメラの画像から、反射板を基準とした検出対象物の三次元位置を算出することができ、反射板へ接触していない検出対象物の位置及びその動きを検出することができる。

また、本発明の位置検出装置に備わる反射板は平板である必要は無く、反射面を有していれば、その形状は限定されない。反射板として、用途等に応じて湾曲した板なども用いることができる。この場合、座標変換アルゴリズムは、反射板の形状に応じて適宜設定される。さらに、本発明の位置検出装置において、カメラを二台以上設けてもよい。この場合、操作者が死角になり検出対象物と反射像とが撮像できなくなることを低減することや、検出精度を高めることなどができる。また、検出対象物は指（指先）に限定されるものではなく、スタイラス等であってもよい。検出対象物には、識別性を高めるためにマーキング等が付されていてもよい。

以下、実施例を挙げて、本発明の内容をより具体的に説明する。
市販のタブレットを、画像表示機能を有する反射板として用いた。このタブレットの前面上部に、前面の略全面を撮像可能にカメラを取り付けた。このカメラをコンピュータと接続させ、実施例のタッチパネル（位置検出装置）とした。なお、コンピュータの演算手段における座標変換には、実施の形態に記載の行列式によるアルゴリズムを用いた。

検出対象物の認識が容易になるように、指先にマーカー（キャップ）を付け、動作確認を行った。図３（ａ）に示す２ｃｍ×２ｃｍのマークをタブレット画面に映し出し、その上を指でなぞった。図３（ｂ）に出力結果として示されるように、直線、直角、曲線も十分な精度で追跡された。また、処理速度は５〜１０ｍｓと十分な速度であった。

１０：タッチパネル（位置検出装置）、１１：反射板、１２：カメラ、Ａ：検出対象物、Ｂ：反射像、ａ：（画像上の）検出対象物、ｂ：（画像上の）反射像

Claims (5)

1. 反射板、
   該反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像を撮像するカメラ、並びに
   該カメラが撮像した画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する演算手段
   を備える位置検出装置。
2. 請求項１記載の位置検出装置において、
   前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が０となったとき、前記検出対象物と前記反射板との距離を０と算出することを特徴とする位置検出装置。
3. 請求項１又は２記載の位置検出装置において、
   前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が０となったときにおける前記画像上の前記検出対象物の位置を座標変換し、前記検出対象物の前記反射板上の二次元位置を算出することを特徴とする位置検出装置。
4. 請求項１〜３のいずれか１項に記載の位置検出装置において、
   タッチパネルとして用いられることを特徴とする位置検出装置。
5. 反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像の画像データから、画像上の前記検出対象物及び前記反射像の位置を検出する工程と、
   検出された前記画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する工程と
   をコンピュータに実行させるためのプログラム。

Images