JP2012022496A - 画像認識によるコンピューター操作システム - Google Patents
画像認識によるコンピューター操作システム Download PDFInfo
- Publication number
- JP2012022496A JP2012022496A JP2010159527A JP2010159527A JP2012022496A JP 2012022496 A JP2012022496 A JP 2012022496A JP 2010159527 A JP2010159527 A JP 2010159527A JP 2010159527 A JP2010159527 A JP 2010159527A JP 2012022496 A JP2012022496 A JP 2012022496A
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- light
- present
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現する画像認識によるコンピューター操作システムを提供すること。
【解決手段】 画像3を投影面1に投影する映像装置2と、投影された投影画像3を含む撮影領域を撮影する撮影装置6と、撮影領域内で発光し発光点を生成する発光装置と、画像3及び撮影された撮影画像を重ね合わせることで画像3における発光点の位置を特定すると共に、発光点により所要の情報処理を実行する情報処理装置7とを備える。
【選択図】 図1
【解決手段】 画像3を投影面1に投影する映像装置2と、投影された投影画像3を含む撮影領域を撮影する撮影装置6と、撮影領域内で発光し発光点を生成する発光装置と、画像3及び撮影された撮影画像を重ね合わせることで画像3における発光点の位置を特定すると共に、発光点により所要の情報処理を実行する情報処理装置7とを備える。
【選択図】 図1
Description
本発明は、画像認識によるコンピューター操作システムに関する。
従来の赤外線画像認識による画像を操作するシステムは、自発光式のディスプレイ装置の表面に指の位置を感知するセンサーを取り付け画像を操作するいわゆるタッチパネルに比べ、例えば図1のような利用のための大型化が容易で、表示面の素材や形状が自由である。また、表示面には装置が存在しないため、表示面に物を置く場合に必要となる耐衝撃性や摩耗性、飲食などに対応した耐水性などを有することが可能である。そして、日常生活に馴染んだ直感的操作のために、既存のシステムはペンなどの道具を持ちそれによって操作している。
しかし、直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板やスクリーンとの赤外線の反射率の相違で認識する従来の方式では操作意志が正確に把握することが困難であり、手や指以外の意図しないものに対する誤認識が起こるために対応することが困難であった。
また、例えば特許文献1に記載の如きシステムも知られている。このシステムでは、温度が30〜34℃のものを認識するが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、温かい飲み物や食べ物も同様の温度となり、誤動作の原因となる。また、操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としているが、文献1の図5にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作の原因となる。
かかる従来の実情に鑑みて、本発明は、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現する画像認識によるコンピューター操作システムを提供することを目的とする。
上記目的を達成するため、本発明に係る画像認識によるコンピューター操作システムの特徴は、画像を投影面に投影する映像装置と、投影された投影画像を含む撮影領域を撮影する撮影装置と、前記撮影領域内で発光し発光点を生成する発光装置と、前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備えることにある。
上記本発明に係る画像認識によるコンピューター操作システムの特徴によれば、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現することが可能となった。
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。
(1)基本形態
図1を参照しながら、本発明が基礎とするシステムを説明する。会議などの情報交換やくつろぐ会話や余暇のために、人が周囲に座る机の天板1に対して、上部から映像装置2によって画像3を投影し、同時に同じ机の天板1上部に設置した赤外線照射装置4から赤外線を天板1に向けて照射しながら赤外線カメラ6で同じ机の天板1を撮影することで、机の天板1上の映像にかざされた手や棒などの机の天板1とは赤外線の反射率が異なるものを識別し、コンピュータープログラム7上で映像とそれらの位置を重ね合わせ、画像3を操作するシステムである。
(1)基本形態
図1を参照しながら、本発明が基礎とするシステムを説明する。会議などの情報交換やくつろぐ会話や余暇のために、人が周囲に座る机の天板1に対して、上部から映像装置2によって画像3を投影し、同時に同じ机の天板1上部に設置した赤外線照射装置4から赤外線を天板1に向けて照射しながら赤外線カメラ6で同じ机の天板1を撮影することで、机の天板1上の映像にかざされた手や棒などの机の天板1とは赤外線の反射率が異なるものを識別し、コンピュータープログラム7上で映像とそれらの位置を重ね合わせ、画像3を操作するシステムである。
本発明は、操作する手に装着する指輪や手が持つペン、棒形状のものに強く集束された赤外線光を発する機能を持たせ、天板1などにそれによる強い反射点をつくり、赤外線カメラ6で認識させ映像装置2で投影される画像3を操作する。この場合、手などに比べ十分に強い赤外線の反射点が得られ認識できるため、上記した基本形態の内赤外線照射装置4は不要となる。
前記したシステムを基礎とし、本発明は特殊な操作で文字や図形の描写を行うのではなく、私たちが日常的に行っている動作や行動と同様のことで、投影画面に指やペンで文字や図形を描写することを実現しています。これによって投影した画像にメモを描写して会議や会話の利便性を高めます。紙の資料にメモを記述し、そのメモ情報を保存し共有する場合、複写もしくはスキャニングする作業が発生しますが、この発明では描写された内容を投影されているコンピューターの画像データーに重ね合わせて記録することができ、複写やスキャニングの作業を省き、印刷、保存やデーター送信による情報の共有化の利便性を高めます。また、遠隔地に本発明と同じシステムを設置し、データー通信で結べば、記述した内容を同時間で共有することができます。
図2を参照しながら本発明の第一実施形態について説明する。上記で説明したシステムにおいて、天板1上にかざされる手の指8につけた操作用指輪9に取り付けた、微小な赤外線発光装置10から爪に、5〜10mm程度に集束された強い赤外線光11を照射し、それによる5〜10mm程度に集束された強い赤外線反射点12を爪上に作り出し、天板1の上部に設置した赤外線カメラ6で認識し、その位置と画像3をコンピュータープログラム上で重ねあわせ、画像3を操作する。この場合、画像3で表示された画像情報には、マウスでコンピューター画面を操作する場合と同様に予め操作できるポイントがプログラムされており、操作者が操作したい画像情報の位置に指を置く直感的な操作をするが、爪に反射点12をつくることで操作したい画像情報の直上に作れるため正確に認識することができる。
ペンなどの道具を持ちそれによって操作する等の付加的な行動を省きより直感的な操作を実現するために、本発明の第一実施形態では手や指の動きを直接に操作に反映させる指に装着する指輪形状の操作具を活用している。
そのために本発明では、日常的に手にする指輪形状の操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点12をつくり、それによって操作するが、操作者の直観的な操作感が出来るように強い赤外線反射点12をつくりだす操作はボタンなどによらず、天板1に対する接点スイッチ13により、天板1に指が触れた状態で、赤外線11が照射されるようにした。これによって、その認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写を可能にした。
また、操作を行うために天板1に対する接点スイッチ13により、天板1に指が触れた状態で、赤外線11が照射されるようにすることで、操作者の直観的な操作感が出来る。
また、画像3に操作者の指8で図や文字を記述する場合、図10のように図や文字を記述したい位置に操作者の指8を置くことで反射点12を発生させ、その反射点12を図や文字16を描くために連続的に移動し、赤外線カメラ6で撮影し、その位置をコンピュータープログラム7上で記録し、連続的に映像装置2に表示することで、画像3と重ね合わせた図形や文字16を記述し表示することが出来る。同時に、コンピュータープログラム7上に、記録し、記録メディアにデーターファイルとして保存したりプリンターでプリントアウトすることもできる。
(2)他の形態
次に、本発明のさらに他の実施形態について説明する。なお、上述の実施形態と同様の部材には同一の符号を附してある。
指輪以外の形態として、図4に示すように、指輪形状でなくペン状の形態もある。同様に図5のように指し棒のような棒状の形態もある。指し棒は画像3を大きく表示する場合、天板1が大きくなり操作者の指が届かないため指し棒の形態とする。指し棒のような棒状の形態の場合接点スイッチ13に替えてスイッチ18を設ける。操作性を高めるために接点スイッチ13を先端に取り付けることもある。
次に、本発明のさらに他の実施形態について説明する。なお、上述の実施形態と同様の部材には同一の符号を附してある。
指輪以外の形態として、図4に示すように、指輪形状でなくペン状の形態もある。同様に図5のように指し棒のような棒状の形態もある。指し棒は画像3を大きく表示する場合、天板1が大きくなり操作者の指が届かないため指し棒の形態とする。指し棒のような棒状の形態の場合接点スイッチ13に替えてスイッチ18を設ける。操作性を高めるために接点スイッチ13を先端に取り付けることもある。
また、図3に示すように赤外線反射点12を天板1上に表示する形態もある。この場合、指が天板1に触れた位置とずれが生じ、直観的な操作の妨げになることを防ぐために、図6のように、天板1へ照射する赤外線11が作る赤外線反射点12の集束形状を点または円形ではなく山型の直線や図7のように複数の輝点の構成、図8のように長楕円形状で方向を認識できる形状とすることで指との方向を特定し、指が天板1に触れている位置を正確に認識させる形態もある。図9のように、微細な赤外線照射装置10から上方に集束された赤外線光11を照射することで、その赤外線光11を直接に赤外線カメラ6に認識させる形態もある。この場合、反射光12によらずに認識する。
机以外にも、床面、壁面、天井面などへの活用形態もある。また、平滑な面でなく立体的な形状による活用形態もある。認識のために用いる光としては、赤外線以外の光を活用したあらゆる画像認識システムにおける活用においても、同様に集束された強い反射光点もしくは微小な発光点を認識すれば同様の効果を得ることが出来る。図2、図3、図4のスイッチ13は、図11、図12、図13のように操作者の指8の直下に設置する形態もある。すなわち、直感的な操作を実現するために、操作者の指8が投影画面3のうち操作したい部分の天板1に触れたことを操作者が知覚認識することと同時に、スイッチ13が信号を発生させる必要がある。そのために、スイッチ13は最も適切な位置と形状、仕組みを選択する。
(3)発明の特徴
コンピューターによる情報技術が発達してもその情報は表示装置の中にとどまります。この場合、表示装置は実空間とコンピューターの中に形成される仮想空間つまりサイバー空間を結ぶ窓のように機能し2つの世界を繋げますが、あくまで2つの世界を隔てる壁に開けられた窓であり、人間は壁の1方向にとどまります。3Dや特殊ゴーグルでコンピューターによるサイバー空間に人が入ったように感じさせる技術もありますが、これらの技術に対して本発明は、人間が生活する実空間にサイバー空間を馴染ませるために、私たちが日常的に生活する空間や家具をそのまま活用し、現在のコンピューター操作のようなキーボードやマウスによるコンピューター画面を操作するような特別な使用方法を強いるのではなく、私たちの日常的な生活体験、行動の延長の中で利用することでコンピューターと人間の新しい関係を実現するものであります。
コンピューターによる情報技術が発達してもその情報は表示装置の中にとどまります。この場合、表示装置は実空間とコンピューターの中に形成される仮想空間つまりサイバー空間を結ぶ窓のように機能し2つの世界を繋げますが、あくまで2つの世界を隔てる壁に開けられた窓であり、人間は壁の1方向にとどまります。3Dや特殊ゴーグルでコンピューターによるサイバー空間に人が入ったように感じさせる技術もありますが、これらの技術に対して本発明は、人間が生活する実空間にサイバー空間を馴染ませるために、私たちが日常的に生活する空間や家具をそのまま活用し、現在のコンピューター操作のようなキーボードやマウスによるコンピューター画面を操作するような特別な使用方法を強いるのではなく、私たちの日常的な生活体験、行動の延長の中で利用することでコンピューターと人間の新しい関係を実現するものであります。
さらにサイバー技術は画像や音声など指定されたデーターフォーマットで記録され表示されますが、人間はもっと多様な情報を活用した生活体験に基づいて行動をしています。身体的活動を通じて知覚し記憶する情報です。例えば、運動の上達には身体的活動を通じた訓練が必要で、火災の避難訓練なども身体活動を通じた知覚と記憶を確立することです。他にも嗅覚、触角、温度、湿度、音圧やその方向、通常は知覚できない不可視光線や高周波、低周波などの音波、画像で表現しきれない微細な色やディテールや動画化できない高速な変化などです。一般的に前者は形式知と後者は経験知と呼ばれていますが、人間が記憶している情報は形式知より経験知がはるかに多いと言われており、それによって様々な判断を行っていると言われています。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や操作方法の工夫により、日常的な生活習慣や行動の中で特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することを実現するものです。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、そのテーブルを囲んだ人が顔を見合せながら会話するなどです。
本発明では、テーブルについてはどのような仕上げ素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。映像は黒以外であればどのような天板1の仕様でも投影が可能です。利用用途によって正確な色の再現が必要な場合は白やシルバーを選ぶことで質を確保します。
本発明がめざしている日常生活での利用における直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板1やスクリーンとの赤外線の反射率の相違で認識する方式では操作意志が正確に把握できないことや手や指以外の意図しないものに対する誤認識が起こり対応できません。そのために本発明では、操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点12をつくり、それによって操作することとしています。例えば、画面を操作する意思がなくても天板1上に赤外線反射率のことなる手をかざしたり、コーヒーカップなどの物を置くことで起こる誤動作をなくすことを目的としています。
本発明は、私たちの日常的生活や行動の延長による直観的操作を実現するものであり、操作具の形状や操作方法を特別にしないことが重要であり、操作具の形状を日常的に手にする指輪やペンなどの形状で実現しています。
本発明は、直観的な操作を可能にするために、操作を意図した点とコンピューターが認識する点が異ったり、認識できないことで生じる誤動作や違和感を解消するために、認識させる強い赤外線反射点の場所と形状を工夫しています。本発明では、図2のように強い反射点12が1つの点でも誤動作や違和感が生じないものとして、指輪から指の爪へ赤外線を照射し爪に強い反射点をつくりその直下が、人が意図した操作点であり誤動作や違和感が生じません。また、図4のように特にペン形状の場合、強い反射点12が手やペンの影になり認識できないことがありますので、ペンから十分に離れた地点に強い反射点12を作り出していますが、操作する人の指先やペン先とコンピューターが認識する集束された強く赤外線反射点の関係を正確に重ね合わせることが必要で、そのために、形状で方向性を読み取れるような工夫として、図6のように鉤型に折れ曲がった長い長方形や、図7のように複数点の構成や図8のように長楕円の形状のように方向性を認識できる形状とすることで実現しています。これによって、ペン形状の操作具の場合、ペン先に強い赤外線の輝点を作らなくて済むのでペン先を不透明の素材とするなど素材の条件がなくなります。ペン形状以外にも指輪形状などにおいても選択した画像を捻るなどの操作も可能にできます。
本発明では、操作者の直観的な操作感が出来るように強い赤外線反射点12をつくりだす操作はボタンなどによらず、天板1に対する接点スイッチ13により、天板1に指が触れた状態で、赤外線11が照射されるようにした。さらにその認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写とその記録を実現している。
これによって、本発明をテーブルなどで利用することで人と人が自然で、質が高く、経験知化するコミュニケーションを実現するものであり、本発明によってテーブルでの会議やコミュニティススペース、歓談、ゲームなど人と人の自然で密なコミュニケーションを実現している。
(4)他の特許との違い
最後に、本発明と他の先行文献1〜9との差異について説明する。
文献1(特許3794180号公報)及び文献2(特許3968477号公報)について
本発明は人間が生活する実空間に、サイバー空間を溶け込ませることで、私たちが日常的に生活する空間や家具に特殊な利用方法を強いるのではなく、私たちの日常的な生活体験、経験の延長の中で利用することでストレスのないサイバー機能の活用をめざしたものであります。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や表示方法の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、それらの置かれたテーブルを囲んだ人が顔を見合せながら会話するなどです。この点において、文献1及び文献2は、リアプロジェクションによる活用しかできず、その場合、テーブル状の天板に映像を投影するためには、テーブルが特殊な素材と形状となり、私たちが日常的に生活しているテーブルとは使用方法も設置状況も大きくことなりますので、私たちの日常の生活の中に無理なく持ち込むことができません。例えば、テーブル上での飲食や事務作業で天板のリアプロジェクションのスクリーンを壊したり、スクリーンの仕様の特性から飲食や事務作業が行いにくい、テーブル下にプロジェクターを設置し投影される光線が足などで妨げられないように相当な空間を確保する必要があり、着座時の足の置き場所や荷物の置き場所など利用上不都合があり、価格も高価になります。これに対して、本発明ではテーブルはどのような素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。
最後に、本発明と他の先行文献1〜9との差異について説明する。
文献1(特許3794180号公報)及び文献2(特許3968477号公報)について
本発明は人間が生活する実空間に、サイバー空間を溶け込ませることで、私たちが日常的に生活する空間や家具に特殊な利用方法を強いるのではなく、私たちの日常的な生活体験、経験の延長の中で利用することでストレスのないサイバー機能の活用をめざしたものであります。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や表示方法の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、それらの置かれたテーブルを囲んだ人が顔を見合せながら会話するなどです。この点において、文献1及び文献2は、リアプロジェクションによる活用しかできず、その場合、テーブル状の天板に映像を投影するためには、テーブルが特殊な素材と形状となり、私たちが日常的に生活しているテーブルとは使用方法も設置状況も大きくことなりますので、私たちの日常の生活の中に無理なく持ち込むことができません。例えば、テーブル上での飲食や事務作業で天板のリアプロジェクションのスクリーンを壊したり、スクリーンの仕様の特性から飲食や事務作業が行いにくい、テーブル下にプロジェクターを設置し投影される光線が足などで妨げられないように相当な空間を確保する必要があり、着座時の足の置き場所や荷物の置き場所など利用上不都合があり、価格も高価になります。これに対して、本発明ではテーブルはどのような素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。
文献1及び文献2は、あくまでリアプロジェクションにおいてのみの利用が可能であり、本発明は、フロントプロジェクションとリアプロジェクションの両方式に対応可能であります。また、文献1では、赤外線の反射輝点とコンピューター画面を重ね合わせますが、この方式では、重ねあわせたものすべてが操作として反応するため、誤動作が起こります。例えば操作意思がない場合に操作ポイントに重なった場合に誤動作が発生します。本発明では、テーブル面もしくは画面に触れたことによる接点スイッチの作動、もしくは、操作意思のある時に押すボタンスイッチにより赤外線が照射されるので残誤動作はありません。
文献1では、画面に図形や文字を描写できませんが、本発明では指やペンによって画面に自由に図形や文字を描写することを可能にしています。
文献3(特許4140898号公報)について
文献3については、一つの映像投影面に複数の周波数によって複数の情報を映像で投影し、特定の周波数の光だけを撮像できるカメラで意図した情報だけを認識させる内容であり、本発明が、人の生活する日常的空間にコンピューター情報を表示し、日常的生活行動の中で特別な行為なしに直観的な操作ができることを実現することに対して、文献3では、特殊なカメラが必要となり、カメラを通して見るという特殊な手段が必要となり、本発明のように、例えば、テーブルの上に写しだされた映像情報を特殊な機器を用いずに見ることはできずに、特殊なカメラによらなければならない。また、本発明のように表示されたコンピューター画面を操作する機能も備えていない。
文献3については、一つの映像投影面に複数の周波数によって複数の情報を映像で投影し、特定の周波数の光だけを撮像できるカメラで意図した情報だけを認識させる内容であり、本発明が、人の生活する日常的空間にコンピューター情報を表示し、日常的生活行動の中で特別な行為なしに直観的な操作ができることを実現することに対して、文献3では、特殊なカメラが必要となり、カメラを通して見るという特殊な手段が必要となり、本発明のように、例えば、テーブルの上に写しだされた映像情報を特殊な機器を用いずに見ることはできずに、特殊なカメラによらなければならない。また、本発明のように表示されたコンピューター画面を操作する機能も備えていない。
文献4(特開平2−170193号公報)について
文献4については、フロントプロジェクションされた映像上に投射された赤外線レーザーの輝点をカメラで撮像し、それによってその位置座標を認識する点は、本発明が赤外線レーザーではなく赤外線を活用していることの違いはあるが基本的には同じである。しかし、本発明は、投影されたコンピューター画面を操作すること、文字や図形を描写することを可能にしているが、これを文献4では実現できない。
文献4については、フロントプロジェクションされた映像上に投射された赤外線レーザーの輝点をカメラで撮像し、それによってその位置座標を認識する点は、本発明が赤外線レーザーではなく赤外線を活用していることの違いはあるが基本的には同じである。しかし、本発明は、投影されたコンピューター画面を操作すること、文字や図形を描写することを可能にしているが、これを文献4では実現できない。
文献5(特開平11−85395号公報)について
文献4は、プロジェクターで投影される映像系とレーザーポインターによる指示赤外線スポットによる指示系の位置座標を正確に重畳する設置を簡易にすることを基本に、その別形態として指示赤外線スポット位置をカメラで撮像し位置座標を認識し映像でポイントマークを重畳表示し、投影された映像がコンピューター画面である場合にはクリック操作を実現するものです。指示赤外線スポット位置をカメラで撮像し位置座標を認識、コンピューター画面である場合にはクリック操作を実現することは本発明と同じです。しかし、文献5では、講演などので説明画面の指示、操作を目的としているためレーザーポインターを画面から離れた位置からの操作であり、ボタンによるレーザー照射をスイッチ操作するため、文字や図形を正確で簡単な描写はできません。本発明は、表示装置の設置方法や表示方法、指示描画装置の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上に写しだされたコンピューター画面の情報に手を伸ばしそれに触れ、操作し、文字や図形を描写できますが、文献5のレーザーポインターでは操作性が悪く、文字や図形を正確で簡単な描写と日常的な直観的操作は実現できません。
文献4は、プロジェクターで投影される映像系とレーザーポインターによる指示赤外線スポットによる指示系の位置座標を正確に重畳する設置を簡易にすることを基本に、その別形態として指示赤外線スポット位置をカメラで撮像し位置座標を認識し映像でポイントマークを重畳表示し、投影された映像がコンピューター画面である場合にはクリック操作を実現するものです。指示赤外線スポット位置をカメラで撮像し位置座標を認識、コンピューター画面である場合にはクリック操作を実現することは本発明と同じです。しかし、文献5では、講演などので説明画面の指示、操作を目的としているためレーザーポインターを画面から離れた位置からの操作であり、ボタンによるレーザー照射をスイッチ操作するため、文字や図形を正確で簡単な描写はできません。本発明は、表示装置の設置方法や表示方法、指示描画装置の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上に写しだされたコンピューター画面の情報に手を伸ばしそれに触れ、操作し、文字や図形を描写できますが、文献5のレーザーポインターでは操作性が悪く、文字や図形を正確で簡単な描写と日常的な直観的操作は実現できません。
文献6(特開2009−64109号公報)について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献6では、温度が30〜34℃のものを認識しますが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、暖かい飲み物や食べ物も同様の温度となり、誤動作を起こします。操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としていますが、文献6の図5にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作となります。本発明では、指輪やペン形状による日常的道具を活用して、赤外線の反射輝点もしくは発光点を認識するため、誤動作をなくすことを実現していまする点が、文献6では実現できません。
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献6では、温度が30〜34℃のものを認識しますが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、暖かい飲み物や食べ物も同様の温度となり、誤動作を起こします。操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としていますが、文献6の図5にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作となります。本発明では、指輪やペン形状による日常的道具を活用して、赤外線の反射輝点もしくは発光点を認識するため、誤動作をなくすことを実現していまする点が、文献6では実現できません。
文献7(特許3620397号公報)について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献7では、壁面への映像投影を使用環境としているため、認識すべき領域には手や指示棒など指示するもの以外がないことを前提としてますが、白板のマグネットやこれをテーブルなどに活用した場合、書籍、手帳、食器など手や指示棒と区別した認識ができないものが存在し、誤動作をおこします。したがって、文献7を利用する場合、白板のマグネットや書籍、手帳、食器など手や指示棒と区別した認識ができないものを認識範囲の中に置かない特殊な環境をの設定が必要となり、本発明が実現している日常的な環境での利用を、文献7では実現できません。
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献7では、壁面への映像投影を使用環境としているため、認識すべき領域には手や指示棒など指示するもの以外がないことを前提としてますが、白板のマグネットやこれをテーブルなどに活用した場合、書籍、手帳、食器など手や指示棒と区別した認識ができないものが存在し、誤動作をおこします。したがって、文献7を利用する場合、白板のマグネットや書籍、手帳、食器など手や指示棒と区別した認識ができないものを認識範囲の中に置かない特殊な環境をの設定が必要となり、本発明が実現している日常的な環境での利用を、文献7では実現できません。
文献8(特開2006−260487号公報)について
本発明が映像系と指示系の位置座標を重畳し画面の操作を実現する点は同じですが、本発明が赤外線などの通常の光源によりある程度の幅の周波数の光線の反射輝点もしくは直接光を利用することに対して、文献8については単波長に集束されたレーザー光線による2つの経路に分けそれの反射点における干渉縞を活用しています。本発明は幅広い通常光源が利用可能ですが、文献8では干渉縞が生じるレーザー光源に限定されます。本発明は通常光源であり、構造も簡易で指輪やペンなど指示装置を小型化、軽量化、低価格化することを実現できますが、文献8ではレーザー光源であること、一つのレーザー光源からレンズの組み合わせによって2つの経路に分岐する構造が複雑となります。
本発明が映像系と指示系の位置座標を重畳し画面の操作を実現する点は同じですが、本発明が赤外線などの通常の光源によりある程度の幅の周波数の光線の反射輝点もしくは直接光を利用することに対して、文献8については単波長に集束されたレーザー光線による2つの経路に分けそれの反射点における干渉縞を活用しています。本発明は幅広い通常光源が利用可能ですが、文献8では干渉縞が生じるレーザー光源に限定されます。本発明は通常光源であり、構造も簡易で指輪やペンなど指示装置を小型化、軽量化、低価格化することを実現できますが、文献8ではレーザー光源であること、一つのレーザー光源からレンズの組み合わせによって2つの経路に分岐する構造が複雑となります。
文献9(特開2005−352242号公報)について
本発明が指示ポイントの赤外線反射輝点を撮像し指示位置座標を認識し映像系と指示系の位置座標を重畳する点は同じですが、本発明が垂直から水平まであらゆる画面の設置角度に利用できますが、文献9は構造特性から水平面での利用に限られ、例えば白板での使用はできません。本発明は、反射輝点の形状によって指示ポイントの方向を認識させること下実現できますが、文献9では点反射であり実現できません。本発明は、位置認識のための撮像カメラをフロント、リアの両方に設置できますが、文献9ではフロント面の直角の位置に限定されます。本発明は指示具の構造が簡易であることに対して、文献9の指示具発光部の構造が微細構造の可動部を含み複雑で安定性に不安があります。本発明は、コンピューター画面の操作が可能ですが、文献9ではコンピューター画面との操作が示されていません。
本発明が指示ポイントの赤外線反射輝点を撮像し指示位置座標を認識し映像系と指示系の位置座標を重畳する点は同じですが、本発明が垂直から水平まであらゆる画面の設置角度に利用できますが、文献9は構造特性から水平面での利用に限られ、例えば白板での使用はできません。本発明は、反射輝点の形状によって指示ポイントの方向を認識させること下実現できますが、文献9では点反射であり実現できません。本発明は、位置認識のための撮像カメラをフロント、リアの両方に設置できますが、文献9ではフロント面の直角の位置に限定されます。本発明は指示具の構造が簡易であることに対して、文献9の指示具発光部の構造が微細構造の可動部を含み複雑で安定性に不安があります。本発明は、コンピューター画面の操作が可能ですが、文献9ではコンピューター画面との操作が示されていません。
他の従来技術について
本発明と、電子ペン及び電子マウスとの相違点は表1の通りである。
本発明と、電子ペン及び電子マウスとの相違点は表1の通りである。
本発明は、画像認識により映像を操作するあらゆるものに利用でき、例えば、会議や説明の机、ゲームなど余暇を楽しむ机や床・壁・天井、身体の機能回復や維持のための医療・福祉機器、スポーツクラブやダンス教室の床などに投影して利用する訓練機器として使用ことができる。また、観光地・大規模集客施設・ホテルなどでの案内、学習の指導、建築・都市・産業機器・デザイン設計の説明や会議、展示会や展示施設、セミナーや講演会の映像の操作、天気やスポーツ解説、ニュース解説など放送用の情報表示の操作などにも利用可能である。
1:机の天板(映像投影面)、2:映像装置、3:投影画像、4:赤外線照射装置、5:照射された赤外線 6:赤外線カメラ、7:コンピュータープログラム、8:操作者の指 9:操作用指輪、10:赤外線発光装置、11:集束された強い赤外線光、12:集束された強い赤外線反射点、13:天板に触れたことを感知する接点スイッチ、14:操作用ペン、15:操作用指し棒、16:映像で表示される指の軌跡により描画された線、17:操作者の指の爪、18:赤外線照射ボタン
Claims (1)
- 画像を投影面に投影する映像装置と、
投影された投影画像を含む撮影領域を撮影する撮影装置と、
前記撮影領域内で発光し発光点を生成する発光装置と、
前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備える画像認識によるコンピューター操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159527A JP2012022496A (ja) | 2010-07-14 | 2010-07-14 | 画像認識によるコンピューター操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159527A JP2012022496A (ja) | 2010-07-14 | 2010-07-14 | 画像認識によるコンピューター操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012022496A true JP2012022496A (ja) | 2012-02-02 |
Family
ID=45776745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010159527A Pending JP2012022496A (ja) | 2010-07-14 | 2010-07-14 | 画像認識によるコンピューター操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012022496A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017213124A1 (ja) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | リハビリテーション支援制御装置及びコンピュータプログラム |
-
2010
- 2010-07-14 JP JP2010159527A patent/JP2012022496A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017213124A1 (ja) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | リハビリテーション支援制御装置及びコンピュータプログラム |
JP2017217268A (ja) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | リハビリテーション支援制御装置及びコンピュータプログラム |
CN109219426A (zh) * | 2016-06-08 | 2019-01-15 | 八乐梦医用床有限公司 | 康复训练辅助控制装置以及计算机程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McGill et al. | A dose of reality: Overcoming usability challenges in vr head-mounted displays | |
US10754416B2 (en) | Systems and methods for a peripheral-centric augmented/virtual reality environment | |
US20210333864A1 (en) | Systems and methods for configuring a hub-centric virtual/augmented reality environment | |
CN110168475B (zh) | 操作集线器的方法以及用于与外围装置交互的系统 | |
Weiss et al. | BendDesk: dragging across the curve | |
Hachet et al. | Toucheo: multitouch and stereo combined in a seamless workspace | |
US9632593B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
TW202105133A (zh) | 在人工實境環境中使用周邊裝置的虛擬使用者介面 | |
US20040125076A1 (en) | Method and apparatus for human interface with a computer | |
Dima et al. | Touching the past: Haptic augmented reality for museum artefacts | |
JP2005141102A (ja) | 立体的二次元画像表示装置及び方法 | |
Voida et al. | A study on the manipulation of 2D objects in a projector/camera-based augmented reality environment | |
CN102460373A (zh) | 表面计算机用户交互 | |
US10216357B2 (en) | Apparatus and method for controlling the apparatus | |
EP3549127A1 (en) | A system for importing user interface devices into virtual/augmented reality | |
Winkler et al. | SurfacePhone: a mobile projection device for single-and multiuser everywhere tabletop interaction | |
Nancel et al. | Precision pointing for ultra-high-resolution wall displays | |
KR101564089B1 (ko) | 손동작 인식을 이용한 프리젠테이션 실행시스템 | |
JP2012022496A (ja) | 画像認識によるコンピューター操作システム | |
Tanabe et al. | fARFEEL: Providing haptic sensation of touched objects using visuo-haptic feedback | |
Maurer et al. | Exploring gaze and hand gestures for non-verbal in-game communication | |
US20150049078A1 (en) | Multiple perspective interactive image projection | |
Kabulov et al. | Virtual Keyboard and Fingers | |
Darbar | Extending Interaction Space in Augmented Reality: Contributions in Optical-See-Through and Projection-Based Augmented Environments | |
WO2023181549A1 (ja) | 制御装置、制御方法、プログラム |