JP2018005815A

JP2018005815A - 入力システム及びその入力装置

Info

Publication number: JP2018005815A
Application number: JP2016135824A
Authority: JP
Inventors: 照夫岸; Teruo Kishi; 信柳瀬; Makoto Yanase
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2016-07-08
Filing date: 2016-07-08
Publication date: 2018-01-11

Abstract

【課題】非接触による入力を安価な設備と簡単な操作で実現することができる入力システム及びその入力装置を提供する。【解決手段】入力システムは、撮影手段により撮像された映像を特定のタイミングで画像データに変換する撮影装置１０と、非接触による入力装置２０と、撮影装置１０から出力された画像データと仮想アイテム領域が分かるように表示させた画像データを合成する画像合成装置３０と、画像合成装置３０から出力された画像データを表示する表示装置５０とを備える。そして、入力装置２０は、撮影装置１０から出力された画像データに基づいて初期に撮影された画像と過去に撮影された画像をそれぞれ現在に撮影された画像と比較し、その比較結果に基づいて座標入力が行われたと判断した場合、その座標に対応した制御信号を出力する。【選択図】図１

Description

本発明は、入力システム及びその入力装置に関する。

従来、機器を利用するためのインターフェイスとして、非接触による入力装置が知られている。例えば、特許文献１には、「座標入力が行われる平面上の領域を撮像する複数の１次元撮像素子と１または複数の２次元撮像素子を配置した画像入力手段」が記載されている（請求項１２参照）。また、特許文献２には、「表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置２０であって、前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像手段と、前記指示体と前記撮像手段との距離を検出して検出距離を得る測距手段」が記載されている（請求項１参照）。また、特許文献３には、「操縦者のジェスチャーから制御命令を選択する制御命令選択手段」が記載されている（請求項１参照）。また、特許文献４には、「撮像素子と、前記撮像素子の前面に配置した、人間の肌色近傍の波長の光を透過する肌色透過フィルタとによって撮像部を構成」したインターフェイス装置が記載されている（請求項１０参照）。

特開２００１−１２５７４５号公報特開２０１２−２４８０６７号公報特開２００９−０４２７９６号公報特開２００４−０７８９７７号公報

しかし、特許文献１〜４によると、非接触による入力を安価な設備と簡単な操作で実現することが困難である。例えば、特許文献１では、撮影するための装置が複数必要である。また、特許文献２では、距離を得る測距手段が必要である。また、特許文献３では、操縦者にジェスチャーを覚える訓練が必要である。また、特許文献４では、肌色透過フィルタ必要である。

本発明は、上述した従来の技術に鑑み、非接触による入力を安価な設備と簡単な操作で実現することができる入力システム及びその入力装置を提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、入力システムであって、撮影手段により撮像された映像を特定のタイミングで画像データに変換する撮影装置と、非接触による入力装置と、前記撮影装置から出力された画像データと仮想アイテム領域が分かるように表示させた画像データを合成する画像合成装置と、前記画像合成装置から出力された画像データを表示する表示装置とを備え、前記入力装置は、前記撮影装置から出力された画像データに基づいて初期に撮影された画像と過去に撮影された画像をそれぞれ現在に撮影された画像と比較し、その比較結果に基づいて座標入力が行われたと判断した場合、その座標に対応した制御信号を出力することを要旨とする。

第２の態様に係る発明は、前記入力装置が、座標入力が複数あった場合、あらかじめ決めておいた優先順位の高い制御信号を出力することを要旨とする。

第３の態様に係る発明は、さらに、前記入力装置から出力された制御信号に基づいて所定の処理を実行する制御装置を備えることを要旨とする。

第４の態様に係る発明は、上記いずれか１つの態様に係る入力システムが備える入力装置であることを要旨とする。

本発明によれば、非接触による入力を安価な設備と簡単な操作で実現することができる入力システム及びその入力装置を提供することが可能である。

本発明の実施の形態に係る入力システムの構成を示すブロック図。本発明の実施の形態に係る入力システムの動作を示すフローチャート。本発明の実施の形態に係る入力システムの動作を示すフローチャート。本発明の実施の形態に係る入力システムの適用例を示す図。本発明の実施の形態に係る仮想アイテムテーブルのイメージ図。本発明の実施の形態に係る抽象化テーブルのイメージ図。本発明の実施の形態に係る基準抽象化テーブルのイメージ図。本発明の実施の形態に係る過去抽象化テーブルのイメージ図。本発明の実施の形態に係る基準比較抽象化テーブルのイメージ図。本発明の実施の形態に係る過去比較抽象化テーブルのイメージ図。本発明の実施の形態に係るテーブル遷移の説明図。本発明の実施の形態に係るテーブル遷移の説明図。本発明の実施の形態に係る入力システムの応用例を示す図。

以下、図面を参照して本発明の一実施形態を説明する。構造に関する図面は模式的なものであり、現実のものとは異なる。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。

（概要）
衛生上、手で触る部位を限定したい現場（例えば手術室や食品加工場）、汚れた手で触る事で不具合の発生が大きくなる現場（例えば工事現場）、不特定多数の人に盗難や破損の心配も無く利用をしてほしい現場（例えばアミューズメント施設）のように、直接手で機械などを制御できない現場がある。本発明の実施の形態に係る入力システムは、このような現場において利用される入力システムであって、初期に撮影された画像と過去に撮影された画像をそれぞれ現在に撮影された画像と比較することにより座標入力が行われたと判断して、その座標に対応した制御信号を出力する。また、座標入力が複数あった場合は、あらかじめ決めておいた優先順位の高い制御信号を出力する。このような入力システムによれば、操縦者の動きと制御させたい内容と関連した仮想アイテムが目に見えて操作できるので、操作の内容が理解しやすい。また、ジェスチャーなど複雑な内容も覚える必要がないというメリットもある。さらに、安価な装置の組合せで非接触による入力装置を実現することが可能である。

（構成）
図１は、本発明の実施の形態に係る入力システムの構成を示すブロック図である。この入力システムは、撮影装置１０と、非接触による入力装置２０と、画像合成装置３０と、制御装置４０と、表示装置５０とを備える。入力装置２０には、仮想アイテム領域選択装置２１と、ＣＰＵ２２と、抽象化装置２３と、記憶装置２４と、比較装置２５と、記憶テーブル選択装置２６と、優先領域選択装置２７とが含まれる。

撮影装置１０は、撮影手段（カメラ等）により撮像された映像を特定のタイミングで画像データに変換し、仮想アイテム領域選択装置２１と画像合成装置３０に出力する。

仮想アイテム領域選択装置２１は、撮影装置１０が出力した画像データの中から、ＣＰＵ２２から設定された各仮想アイテムに対応した領域を切り出して、抽象化装置２３に出力する。

仮想アイテムは、仮想的な制御アイテム（ボタン等）であり、１つ以上存在する。具体的には、各仮想アイテムに対応した優先順位、制御信号、表示領域が設定された仮想アイテムテーブルＴ１を備える。仮想アイテムテーブルＴ１は、仮想アイテムの選択優先順位順に規則的（例えば昇順）に従って並べられている状態であるとする。

抽象化装置２３は、仮想アイテム領域選択装置２１が切り出した領域の画像データすべての画素から注目すべき要素を重点的に抜き出して抽象化し、その値を仮想アイテムに関連した抽象化テーブルＴ２として比較装置２５に出力する。抽象化する手段としては、仮想アイテム領域選択装置２１が切り出した領域の画像データすべての画素の輝度の平均を算出することが一般的であるが、その手段に限定されることはない。

比較装置２５は、抽象化装置２３からの抽象化テーブルＴ２と記憶装置２４に記憶されている基準抽象化テーブルＴ３の差分を計算し、記憶装置２４に記憶されている閾値αと比較し、閾値αより大きい場合は変化あり、閾値αより小さい場合は変化なしとし、その結果を仮想アイテムに関連させて基準比較抽象化テーブルＴ５とする。また、抽象化装置２３からの抽象化テーブルＴ２と記憶装置２４に記憶されている過去抽象化テーブルＴ４の差分を計算し、記憶装置２４に記憶されている閾値βと比較し、閾値βより大きい場合は変化あり、閾値βより小さい場合は変化なしとし、その結果を仮想アイテムに関連させて過去比較抽象化テーブルＴ６として、優先領域選択装置２７へ出力する。さらに、抽象化装置２３からの抽象化テーブルＴ２を記憶テーブル選択装置２６へ出力する。

なお、比較装置２５は、記憶装置２４に基準抽象化テーブルＴ３がなかった場合、基準比較抽象化テーブルＴ５はすべて変化なしとする。同様に、記憶装置２４に基準抽象化テーブルＴ３にデータがなかった場合、基準比較抽象化テーブルＴ５はすべて変化なしとする。

記憶テーブル選択装置２６は、ＣＰＵ２２が映像を画像データに変換するたびにカウントする値（以下、画像カウント）を取得し、その画像カウントが０の場合は、比較装置２５からの抽象化テーブルＴ２を基準抽象化テーブルＴ３として記憶装置２４に出力する。また、その画像カウントが０以外の場合は、過去抽象化テーブルＴ４として記憶装置２４に出力する。

優先領域選択装置２７は、画像カウントが２以上であり、基準比較抽象化テーブルＴ５の中に１つ以上変化ありの状態の仮想アイテムがあり、過去比較抽象化テーブルＴ６の中のすべてが変化なしの状態ならば、基準比較抽象化テーブルＴ５の中の変化ありの状態の仮想アイテムに関連する優先順位の高い仮想アイテムに関連した制御信号を制御装置４０に出力する。優先順位の高い仮想アイテムを検索する手段としては、仮想アイテムテーブルＴ１は優先順位に並べられているので順位カウンタを用いて検査することが一般的であるが、その手段に限定されることはない。

すべての仮想アイテムについて検索が終わった状態（順位カウンタが仮想アイテムの数以上）になったとき、基準比較抽象化テーブルＴ５のすべての値が変化なしの場合、画像カウントを０に戻し、基準比較抽象化テーブルＴ５の設定からやり直す。１つでも変化がある場合、抽象化テーブルＴ２を過去抽象化テーブルＴ４として記憶装置２４に出力する。

優先領域選択装置２７は、仮想アイテムが選択され、制御信号が制御装置４０に出力された情報を画像合成装置３０へ出力する。また、仮想アイテムが選択されず、制御信号が制御装置４０に出力されなかった情報を画像合成装置３０へ出力する。

画像合成装置３０は、撮影装置１０から出力された画像データとＣＰＵ２２から設定された仮想アイテム領域が分かるように表示させた画像データを合成して表示装置５０に出力する。

表示装置５０は、画像合成装置３０からの画像データを表示する装置である。画像合成装置３０からの画像データを表示することで、撮影された画像の変化と仮想アイテム領域の関係性を制御装置４０の操縦者に知らせ、適切な制御を可能にする。

ＣＰＵ２２は、あらかじめ設定された仮想アイテム領域を仮想アイテム領域選択装置２１や画像合成装置３０に与えたり、画像カウントを行ったりする。また、仮想アイテムの不適切な選択を防ぐために仮想アイテム選択カウンタを設け、仮想アイテムの選択が所定の回数（例えば３回）以上続いた場合、画像カウントを０に戻し、基準比較抽象化テーブルＴ５の設定からやり直す。

（動作）
図２Ａ及び図２Ｂは、本発明の実施の形態に係る入力システムの動作を示すフローチャートである。以下、図２Ａ及び図２Ｂに従って、入力装置２０が制御内容を選択し、制御信号を出力する動作について説明する。

まず、画像カウント＝０として初期化し（ステップＳ１）、撮影装置１０から画像データを取得し（ステップＳ２）、仮想アイテム領域選択と抽象化処理を実行する。仮想アイテム領域選択と抽象化処理とは、図２において二重線で囲われた範囲の処理を指す。

具体的には、順位カウンタ＝０として初期化し（ステップＳ３）、順位カウンタ＞＝仮想アイテムの数であるか判定する（ステップＳ４）。ステップＳ４の判定がＮＯである場合、順位カウンタで指定された仮想アイテムテーブルの表示領域を切り出し（ステップＳ５）、抽象化し、その結果を順位カウンタで指定された抽象化テーブルＴ２に保存し（ステップＳ６）、順位カウンタをカウントアップし（ステップＳ７）、ステップＳ４に移行する。

ステップＳ４の判定がＹＥＳである場合、抽象化テーブルＴ２を基準比較抽象化テーブルＴ５へコピーし（ステップＳ８）、画像カウント＝１を設定し（ステップＳ９）、撮影装置１０から画像データを取得し（ステップＳ１０）、仮想アイテム領域選択と抽象化処理を実行する（ステップＳ１１）。このステップＳ１１の仮想アイテム領域選択と抽象化処理は、ステップＳ３〜Ｓ７と同様である。

次いで、抽象化テーブルＴ２を過去比較抽象化テーブルＴ６へコピーし（ステップＳ１２）、画像カウント＝２を設定し（ステップＳ１３）、撮影装置１０から画像データを取得し（ステップＳ１４）、仮想アイテム領域選択と抽象化処理を実行する（ステップＳ１５）。このステップＳ１５の仮想アイテム領域選択と抽象化処理も、ステップＳ３〜Ｓ７と同様である。

次いで、順位カウンタ＝０として初期化し（ステップＳ１６）、順位カウンタ＞＝仮想アイテムの数であるか判定する（ステップＳ１７）。ステップＳ１７の判定がＮＯである場合、順位カウンタで指定された抽象化テーブルＴ２の値と基準抽象化テーブルＴ３の差分が閾値αより大きいか判定する（ステップＳ１８）。ステップＳ１８の判定がＹＥＳである場合、順位カウンタで指定された抽象化テーブルＴ２の値と過去抽象化テーブルＴ４の差分が閾値βより大きいか判定する（ステップＳ１９）。

ステップＳ１８の判定がＮＯである場合、及びステップＳ１９の判定がＹＥＳである場合、仮想アイテム選択カウント＝０として初期化し（ステップＳ２０）、順位カウンタをカウントアップし（ステップＳ２１）、ステップＳ１７に移行する。

次いで、ステップＳ１９の判定がＮＯである場合、順位カウンタで指定された仮想アイテムテーブルＴ１の制御信号を出力し（ステップＳ２２）、仮想アイテム選択カウントをカウントアップし（ステップＳ２３）、仮想アイテム選択カウント＞＝所定の回数であるか判定する（ステップＳ２４）。ステップＳ２４の判定がＮＯである場合、抽象化テーブルＴ２を過去比較抽象化テーブルＴ６へコピーし（ステップＳ２５）、画像カウントをカウントアップし（ステップＳ２６）、ステップＳ１４に移行する。ステップＳ２４の判定がＹＥＳである場合、ステップＳ１に移行する。

ステップＳ１７の判定がＹＥＳである場合、基準比較抽象化テーブルＴ５のすべてが無しであるか判定する（ステップＳ２７）。ステップＳ２７の判定がＹＥＳである場合、ステップＳ１に移行し、ステップＳ２７の判定がＮＯである場合、ステップＳ２５に移行する。

（テーブル内部構成）
次に、各テーブルの内部構成について説明する。ここでは、図３に示すように、上ボタン７１、下ボタン７２、左ボタン７３、右ボタン７４、取消ボタン７５、決定ボタン７６等の仮想アイテムが表示されたタブレット６０を操縦者Ｕが直接手で触れることなく操作する場合を想定している。図中の符号７７は、カメラ６１によって撮影された操縦者Ｕの映像である。

図４は、仮想アイテムテーブルＴ１のイメージ図である。この図に示すように、仮想アイテムテーブルＴ１には、各仮想アイテムに対応した優先順位、制御信号、表示領域が設定されている。優先順位は、各仮想アイテムの優先順位である。制御信号は、各仮想アイテムが操作されたときに出力される制御信号である。表示領域は、各仮想アイテムが表示される領域（ｘ座標，ｙ座標，幅，高さ）である。

図５は、抽象化テーブルＴ２のイメージ図である。この図に示すように、抽象化テーブルＴ２には、優先順位と、抽象化値とが設定されている。優先順位については既に説明した通りである。抽象化値は、仮想アイテム領域を抽象化した値（例えば、画像データすべての画素の輝度の平均値）である。

図６は、基準抽象化テーブルＴ３のイメージ図である。この図に示すように、基準抽象化テーブルＴ３には、優先順位と、抽象化値とが設定されている。優先順位、抽象化値については既に説明した通りである。

図７は、過去抽象化テーブルＴ４のイメージ図である。この図に示すように、過去抽象化テーブルＴ４には、優先順位と、抽象化値とが設定されている。優先順位、抽象化値については既に説明した通りである。

図８は、基準比較抽象化テーブルＴ５のイメージ図である。この図に示すように、基準比較抽象化テーブルＴ５には、優先順位と、変化とが設定されている。優先順位については既に説明した通りである。ここでいう変化とは、初期に撮影された画像と現在に撮影された画像とを比較した場合の変化である。抽象化テーブルＴ２と基準抽象化テーブルＴ３の差分が閾値αより大きい場合は変化あり、閾値αより小さい場合は変化なしとなる。

図９は、過去比較抽象化テーブルＴ６のイメージ図である。この図に示すように、過去比較抽象化テーブルＴ６には、優先順位と、変化とが設定されている。優先順位については既に説明した通りである。ここでいう変化とは、過去に撮影された画像と現在に撮影された画像とを比較した場合の変化である。抽象化テーブルＴ２と過去抽象化テーブルＴ４の差分が閾値βより大きい場合は変化あり、閾値βより小さい場合は変化なしとなる。

（テーブル遷移）
図１０Ａ及び図１０Ｂは、テーブル遷移の説明図である。ここでは、仮想アイテムテーブルＴ１に示される優先順位（図４参照）の場合に基準比較抽象化テーブルＴ５と過去比較抽象化テーブルＴ６がどのように変化するかを例示している。

まず、画像カウントが「０」のとき、操縦者Ｕが何も操作しなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無（初期化）」、過去比較抽象化テーブルＴ６の変化は「無（初期化）」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「１」のとき、操縦者Ｕが何も操作しなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無（初期化）」、過去比較抽象化テーブルＴ６の変化は「無（初期化）」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「２」のとき、操縦者Ｕが下ボタン７２に手をかざしたものとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「下」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「３」のとき、操縦者Ｕが下ボタン７２に手をかざしたままであったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「下」、選択された仮想アイテムは「下を選択」、仮想アイテム選択カウントは「１」である。

次いで、画像カウントが「４」のとき、操縦者Ｕが手をかざさなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「５」のとき、操縦者Ｕが手をかざさなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無」、過去比較抽象化テーブルＴ６の変化は「無」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「６」のとき、操縦者Ｕが右ボタン７４と下ボタン７２に手をかざしたものとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「７」のとき、操縦者Ｕが右ボタン７４と下ボタン７２に手をかざしたままであったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化なし」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「優先順位が高い右が選択」、仮想アイテム選択カウントは「１」である。すなわち、変化した仮想アイテムが複数ある場合、優先順位が高い仮想アイテムが選択されるようになっている。

次いで、画像カウントが「８」のとき、操縦者Ｕが手をかざさなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「９」のとき、操縦者Ｕが手をかざさなかったとする。このとき、基準比較抽象化テーブルＴ５の変化は「無」、過去比較抽象化テーブルＴ６の変化は「無」、変化ありの仮想アイテムは「無」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「１０」のとき、右ボタン７４と下ボタン７２に対応する表示領域の背景が変わったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化あり」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「無」、仮想アイテム選択カウントは「０」である。

次いで、画像カウントが「１１」のとき、右ボタン７４と下ボタン７２に対応する表示領域の背景が変わったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化なし」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「優先順位が高い右が選択」、仮想アイテム選択カウントは「１」である。

次いで、画像カウントが「１２」のとき、右ボタン７４と下ボタン７２に対応する表示領域の背景が変わったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化なし」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「優先順位が高い右が選択」、仮想アイテム選択カウントは「２」である。

次いで、画像カウントが「１３」のとき、右ボタン７４と下ボタン７２に対応する表示領域の背景が変わったとする。このとき、基準比較抽象化テーブルＴ５の変化は「１つ以上変化あり」、過去比較抽象化テーブルＴ６の変化は「１つ以上変化なし」、変化ありの仮想アイテムは「右と下」、選択された仮想アイテムは「優先順位が高い右が選択」、仮想アイテム選択カウントは「３」である。

このように、背景が変わるなどの理由で基準抽象化テーブルＴ３に変化がある状態が続くと、操縦者Ｕが意図する選択ができなくなる可能性がある。そこで、このような場合は、基準抽象化テーブルＴ３を作り直すために画像カウントをゼロ（初期化）にする。

（応用例）
図１１は、本発明の実施の形態に係る入力システムの応用例を示す図である。ここでは、手術室において直接手で触れることなくタブレット６０を操作する場合を例示している。

図１１に示すように、タブレット６０には、２つのウィンドウＷ１，Ｗ２が表示されている。ウィンドウＷ１には、上ボタン８１、下ボタン８２、左ボタン８３、右ボタン８４、レントゲンボタン８５、ＣＴボタン８６、内視鏡ボタン８７、縮小ボタン８８、拡大ボタン８９等の仮想アイテムが表示されている。一方、ウィンドウＷ２には、レントゲン写真Ｐが表示されている。操縦者Ｕが拡大ボタン８９に手をかざすとレントゲン写真Ｐが拡大され、縮小ボタン８８に手をかざすとレントゲン写真Ｐが縮小される。また、操縦者ＵがＣＴボタン８６に手をかざすとウィンドウＷ２にＣＴ画像が表示され、内視鏡ボタン８７に手をかざすとウィンドウＷ２に内視鏡映像が表示される。制御装置４０は、レントゲン写真Ｐ等を管理する医療システムそのものと考えることもできるし、このような医療システムを制御する装置と考えることもできる。ここでは、２つのウィンドウＷ１，Ｗ２が同一のタブレット６０内に表示されているが、別々の表示装置５０に表示することも可能である。

なお、上記の説明では特に言及しなかったが、操縦者Ｕによってボタンに手がかざされたとき、そのかざされた時間に応じてボタンの表示色を変更するようにしてもよい。これにより、操作の内容がより理解しやすくなるため、誤入力を防止できる効果がある。

また、撮影手段としてカメラ６１を例示したが、これに限定されるものではない。例えば、赤外線センサや温度センサを撮影手段として採用することもできる。もちろん、どのような撮影手段を採用するかは、本入力システムの用途や使用環境等に応じて適宜選択すればよい。

以上のように、本発明の実施の形態に係る入力システムは、撮影手段により撮像された映像を特定のタイミングで画像データに変換する撮影装置１０と、非接触による入力装置２０と、撮影装置１０から出力された画像データと仮想アイテム領域が分かるように表示させた画像データを合成する画像合成装置３０と、画像合成装置３０から出力された画像データを表示する表示装置５０とを備える。そして、入力装置２０は、撮影装置１０から出力された画像データに基づいて初期に撮影された画像と過去に撮影された画像をそれぞれ現在に撮影された画像と比較し、その比較結果に基づいて座標入力が行われたと判断した場合、その座標に対応した制御信号を出力する。これにより、以下に説明するように、非接触による入力を安価な設備と簡単な操作で実現することが可能である。

すなわち、特許文献１では、撮影するための装置が複数必要であるが、本入力システムでは、撮影するための装置が１つで済むため、その分のコストダウンと設置の簡略化を実現できる。また、特許文献２では、距離を得る測距手段が必要であるが、本入力システムでは、そのような測距手段が必要なく、その分のコストダウンと設置の簡略化を実現できる。また、特許文献３では、操縦者にジェスチャーを覚える訓練が必要であるが、本入力システムでは、表示装置５０に手と制御の内容が表示され、手と制御の内容に対応した領域を重ねることで入力できるため、操作を簡単に理解でき、それほど訓練を必要としない。また、特許文献４では、肌色透過フィルタが必要であるが、本入力システムでは、肌色透過フィルタが必要なく、その分のコストダウンと設置の簡略化を実現できる。

また、入力装置２０は、座標入力が複数あった場合、あらかじめ決めておいた優先順位の高い制御信号を出力する。これにより、多数のボタンが配置されている場合でも、優先順位が高い仮想アイテムを容易に選択することができるため、操作性に優れた入力システムを実現することが可能である。

さらに、入力装置２０から出力された制御信号に基づいて所定の処理を実行する制御装置４０を備える。すなわち、本入力システムは、様々な制御装置４０の入力システムとして利用することが可能である。

なお、本発明は、入力装置２０として実現することができるだけでなく、入力装置２０が備える機能部に対応するステップを実行する入力方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現することも可能である。

１０…撮影装置
２０…入力装置
２１…仮想アイテム領域選択装置
２２…ＣＰＵ
２３…抽象化装置
２４…記憶装置
２５…比較装置
２６…記憶テーブル選択装置
２７…優先領域選択装置
３０…画像合成装置
４０…制御装置
５０…表示装置

Claims

撮影手段により撮像された映像を特定のタイミングで画像データに変換する撮影装置と、
非接触による入力装置と、
前記撮影装置から出力された画像データと仮想アイテム領域が分かるように表示させた画像データを合成する画像合成装置と、
前記画像合成装置から出力された画像データを表示する表示装置と
を備え、
前記入力装置は、前記撮影装置から出力された画像データに基づいて初期に撮影された画像と過去に撮影された画像をそれぞれ現在に撮影された画像と比較し、その比較結果に基づいて座標入力が行われたと判断した場合、その座標に対応した制御信号を出力する
ことを特徴とする入力システム。
前記入力装置は、座標入力が複数あった場合、あらかじめ決めておいた優先順位の高い制御信号を出力することを特徴とする請求項１に記載の入力システム。
さらに、前記入力装置から出力された制御信号に基づいて所定の処理を実行する制御装置を備えることを特徴とする請求項１に記載の入力システム。
請求項１から３のいずれか１項に記載の入力システムが備える入力装置。