JP2016186670A - インタラクティブプロジェクター及びインタラクティブプロジェクションシステム - Google Patents

インタラクティブプロジェクター及びインタラクティブプロジェクションシステム Download PDF

Info

Publication number
JP2016186670A
JP2016186670A JP2015065630A JP2015065630A JP2016186670A JP 2016186670 A JP2016186670 A JP 2016186670A JP 2015065630 A JP2015065630 A JP 2015065630A JP 2015065630 A JP2015065630 A JP 2015065630A JP 2016186670 A JP2016186670 A JP 2016186670A
Authority
JP
Japan
Prior art keywords
camera
projection screen
indicator
optical axis
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015065630A
Other languages
English (en)
Other versions
JP6459706B2 (ja
Inventor
久保田 真司
Shinji Kubota
真司 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015065630A priority Critical patent/JP6459706B2/ja
Priority to US15/079,008 priority patent/US9582084B2/en
Publication of JP2016186670A publication Critical patent/JP2016186670A/ja
Application granted granted Critical
Publication of JP6459706B2 publication Critical patent/JP6459706B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】指示体の先端とスクリーンとの間の距離の検出精度を向上させる。
【解決手段】インタラクティブプロジェクターは、投写部と;複数台のカメラと;複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて投写画面に対する指示体の3次元位置を検出する位置検出部と、を備える。また、投写画面の法線方向を示す単位ベクトルを投写画面法線ベクトルと定義し、第1カメラの光軸の方向を示す単位ベクトルを第1光軸ベクトルと定義し、第2カメラの光軸の方向を示す単位ベクトルを第2光軸ベクトルと定義したとき、第1カメラ及び第2カメラは、第1光軸ベクトルと投写画面法線ベクトルとの内積の絶対値よりも、第2光軸ベクトルと投写画面法線ベクトルとの内積の絶対値が小さくなるように配置されている。
【選択図】図5

Description

本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクター、及び、そのシステムに関する。
特許文献1には、投写画面をスクリーンに投写するとともに、指などの対象物(object)を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置(プロジェクター)が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体(pointing element)」と呼ぶ。
特開2012−150636号公報
典型的なインタラクティブプロジェクターでは、指示体の先端がスクリーンに接しているか否かに応じて、指示体によって指示がなされているか否かを判定する。従って、指示体の先端とスクリーンとの間の距離の検出が重要である。しかしながら、従来技術では、指示体の先端とスクリーンとの間の距離の検出精度が必ずしも十分でなく、検出精度の向上が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
(1)本発明の一形態によれば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と;前記投写画面の領域を撮像する第1カメラ及び第2カメラを含む複数台のカメラと;前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の3次元位置を検出する位置検出部と、を備える。また、前記投写画面の法線方向を示す単位ベクトルを投写画面法線ベクトルと定義し、前記第1カメラの光軸の方向を示す単位ベクトルを第1光軸ベクトルと定義し、前記第2カメラの光軸の方向を示す単位ベクトルを第2光軸ベクトルと定義したとき、前記第1カメラ及び前記第2カメラは、前記第1光軸ベクトルと前記投写画面法線ベクトルとの内積の絶対値よりも、前記第2光軸ベクトルと前記投写画面法線ベクトルとの内積の絶対値が小さくなるように配置されている。
このインタラクティブプロジェクターによれば、第2カメラで撮像された画像は、第1カメラで撮像された画像に比べて、投写画面の法線方向に対する解像度がより高くなるので、指示体の投写画面からの距離をより精度良く決定できる。
(2)上記インタラクティブプロジェクターにおいて、前記投写画面上で互いに直交する2つの方向をX方向及びY方向と定義し、+Y方向を上方向と呼び−Y方向を下方向と呼ぶとともに前記投写画面が前記インタラクティブプロジェクターよりも下方の位置に投写されるものと定義し、前記X方向及び前記Y方向に垂直な方向をZ方向と定義し、
互いに前記Y方向に対向する前記投写画面の2辺のうちでより下方側にある下辺と、前記第1カメラのレンズ中心を通る第1のYZ平面とが交わる点を第1交点と定義し、前記第1カメラのレンズ中心と前記第1交点とを結ぶ直線と前記第1カメラの光軸とがなす角度を第1角度と定義し、
前記投写画面の前記下辺と、前記第2カメラのレンズ中心を通る第2のYZ平面とが交わる点を第2交点と定義し、前記第2カメラのレンズ中心と前記第2交点とを結ぶ直線と前記第2カメラの光軸とがなす角を第2角度と定義したとき、
前記第2角度が前記第1角度よりも大きくなるように前記第1カメラ及び前記第2カメラが配置されているものとしてもよい。
この構成によれば、投写画面近傍における指示体の投写画面からの距離を更に精度良く決定できる。
(3)上記インタラクティブプロジェクターにおいて、前記第2カメラは、前記投写画面からの垂直距離が前記第1カメラよりも小さい位置に配置されているものとしてもよい。
この構成によれば、投写画面近傍における指示体の投写画面からの距離を更に精度良く決定できる。
(4)上記インタラクティブプロジェクターにおいて、前記第2カメラは、前記投写画面の中心から前記投写画面の法線方向に垂直な方向に測った距離が、前記第1カメラよりも小さい位置に配置されているものとしてもよい。
この構成によれば、投写画面近傍における指示体の投写画面からの距離を更に精度良く決定できる。
(5)上記インタラクティブプロジェクターにおいて、前記第2光軸ベクトルと前記投写画面法線ベクトルとのなす角度は90°±10°の範囲であるものとしてもよい。
この構成によれば、指示体の投写画面からの距離を更に精度良く決定できる。
本発明は、種々の形態で実現することが可能であり、例えば、スクリーン及び自発光指示体のうちの一方又は両方とインタラクティブプロジェクターとを含むシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体(non-transitory storage medium)等の様々な形態で実現することができる。
インタラクティブプロジェクションシステムの斜視図。 インタラクティブプロジェクションシステムの側面図及び正面図。 プロジェクターと自発光指示体の内部構成を示すブロック図。 自発光指示体と非発光指示体を利用した操作の様子を示す説明図。 2台のカメラの配置と向きを示す説明図。 図5の2台のカメラにおけるZ座標の解像度を比較して示す説明図。 Z座標の解像度が低い第1カメラの配置例を示す説明図。 図5の2台のカメラにおけるZ座標の解像度を比較して示す説明図。 他の実施形態における2台のカメラの配置を示す説明図。
A.システムの概要
図1は、本発明の一実施形態におけるインタラクティブプロジェクションシステム900の斜視図である。このシステム900は、インタラクティブプロジェクター100と、スクリーン板920と、自発光指示体70とを有している。スクリーン板920の前面は、投写スクリーン面SS(projection Screen Surface)として利用される。プロジェクター100は、支持部材910によってスクリーン板920の前方かつ上方に固定されている。なお、図1では投写スクリーン面SSを鉛直に配置しているが、投写スクリーン面SSを水平に配置してこのシステム900を使用することも可能である。
プロジェクター100は、投写スクリーン面SS上に投写画面PS(Projected Screen)を投写する。投写画面PSは、通常は、プロジェクター100内で描画された画像を含んでいる。プロジェクター100内で描画された画像がない場合には、プロジェクター100から投写画面PSに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面SS」(又は「スクリーン面SS」)とは、画像が投写される部材の表面を意味する。また、「投写画面PS」とは、プロジェクター100によって投写スクリーン面SS上に投写された画像の領域を意味する。通常は、投写スクリーン面SSの一部に投写画面PSが投写される。
自発光指示体70は、発光可能な先端部71と、使用者が保持する軸部72と、軸部72に設けられたボタンスイッチ73とを有するペン型の指示体である。自発光指示体70の構成や機能については後述する。このシステム900では、1つ又は複数の自発光指示体70とともに、1つ又は複数の非発光指示体80(非発光のペンや指など)を利用可能である。
図2(A)は、インタラクティブプロジェクションシステム900の側面図であり、図2(B)はその正面図である。本明細書では、スクリーン面SSの左右に沿った方向をX方向と定義し、スクリーン面SSの上下に沿った方向をY方向と定義し、スクリーン面SSの法線に沿った方向をZ方向と定義している。なお、便宜上、X方向を「左右方向」とも呼び、Y方向を「上下方向」とも呼び、Z方向を「前後方向」とも呼ぶ。また、Y方向(上下方向)のうち、プロジェクター100から見て投写画面PSが存在する方向を「下方向」と呼ぶ。なお、図2(A)では、図示の便宜上、スクリーン板920のうちの投写画面PSの範囲にハッチングを付している。
プロジェクター100は、投写画面PSをスクリーン面SS上に投写する投写レンズ210と、投写画面PSの領域を撮像する第1カメラ310及び第2カメラ320と、指示体(自発光指示体70及び非発光指示体80)に検出光を照明するための検出光照射部410とを有している。検出光としては、例えば近赤外光が使用される。2台のカメラ310,320は、検出光の波長を含む波長領域の光を受光して撮像する第1の撮像機能を少なくとも有している。2台のカメラ310,320のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第2の撮像機能を有し、これらの2つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、2台のカメラ310,320は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構(図示せず)をそれぞれ備えることが好ましい。2台のカメラ310,320の配置や向きについては更に後述する。
図2(B)の例は、インタラクティブプロジェクションシステム900がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体70や非発光指示体80を用いて投写画面PS上にユーザーが任意に描画できるモードである。スクリーン面SS上には、ツールボックスTBを含む投写画面PSが投写されている。このツールボックスTBは、処理を元に戻す取消ボタンUDBと、マウスポインターを選択するポインターボタンPTBと、描画用のペンツールを選択するペンボタンPEBと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンERBと、画面を次に進めたり前に戻したりする前方/後方ボタンFRBと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム900の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図2(B)の例では、ユーザーがペンツールを選択した後、自発光指示体70の先端部71をスクリーン面SSに接した状態で投写画面PS内で移動させることにより、投写画面PS内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター100の内部の投写画像作成部(後述)によって行われる。
なお、インタラクティブプロジェクションシステム900は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム900は、パーソナルコンピューター(図示せず)から通信回線を介して転送されたデータの画像を投写画面PSに表示するPCインタラクティブモードでも動作可能である。PCインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
図3は、インタラクティブプロジェクター100と自発光指示体70の内部構成を示すブロック図である。プロジェクター100は、制御部700と、投写部200と、投写画像生成部500と、位置検出部600と、撮像部300と、検出光照射部410と、信号光送信部430とを有している。
制御部700は、プロジェクター100内部の各部の制御を行う。また、制御部700は、位置検出部600で検出された指示体(自発光指示体70や非発光指示体80)によって投写画面PS上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部500に指令する。
投写画像生成部500は、投写画像を記憶する投写画像メモリー510を有しており、投写部200によってスクリーン面SS上に投写される投写画像を生成する機能を有する。投写画像生成部500は、更に、投写画面PS(図2(B))の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
投写部200は、投写画像生成部500で生成された投写画像をスクリーン面SS上に投写する機能を有する。投写部200は、図2で説明した投写レンズ210の他に、光変調部220と、光源230とを有する。光変調部220は、投写画像メモリー510から与えられる投写画像データに応じて光源230からの光を変調することによって投写画像光IMLを形成する。この投写画像光IMLは、典型的には、RGBの3色の可視光を含むカラー画像光であり、投写レンズ210によってスクリーン面SS上に投写される。なお、光源230としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部220としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の変調部220を備えた構成としてもよい。
検出光照射部410は、指示体(自発光指示体70及び非発光指示体80)の先端部を検出するための照射検出光IDLをスクリーン面SSとその前方の空間にわたって照射する。照射検出光IDLとしては、例えば近赤外光が使用される。検出光照射部410は、カメラ310,320の撮像タイミングを含む所定の期間にのみ点灯し、他の期間では消灯する。或いは、検出光照射部410は、システム900の動作中は常に点灯状態に維持されるようにしてもよい。
信号光送信部430は、自発光指示体70によって受信される装置信号光ASLを送信する機能を有する。装置信号光ASLは、同期用の近赤外光信号であり、プロジェクター100の信号光送信部430から自発光指示体70に対して定期的に発せられる。自発光指示体70の先端発光部77は、装置信号光ASLに同期して、予め定められた発光パターン(発光シーケンス)を有する近赤外光である指示体信号光PSL(後述)を発する。また、撮像部300のカメラ310,320は、指示体(自発光指示体70及び非発光指示体80)の位置検出を行う際に、装置信号光ASLに同期した所定のタイミングで撮像を実行する。
撮像部300は、図2で説明した第1カメラ310と第2カメラ320とを有している。前述したように、2台のカメラ310,320は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図3の例では、検出光照射部410によって照射された照射検出光IDLが指示体(自発光指示体70及び非発光指示体80)で反射され、その反射検出光RDLが2台のカメラ310,320によって受光されて撮像される様子が描かれている。2台のカメラ310,320は、更に、自発光指示体70の先端発光部77から発せられる近赤外光である指示体信号光PSLも受光して撮像する。2台のカメラ310,320の撮像は、検出光照射部410から発せられる照射検出光IDLがオン状態(発光状態)である第1の期間と、照射検出光IDLがオフ状態(非発光状態)である第2の期間と、の両方で実行される。位置検出部600は、これらの2種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体70と非発光指示体80のいずれであるかを判定することが可能である。
なお、2台のカメラ310,320の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面SS上に投写された投写画面PSをそのカメラで撮像し、その画像を利用して投写画像生成部500がキーストーン補正を実行することが可能である。1台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
位置検出部600は、2台のカメラ310,320で撮像された画像を用い、三角測量を利用して指示体(自発光指示体70や非発光指示体80)の先端部の三次元位置を決定する機能を有する。この際、位置検出部600は、自発光指示体70の発光パターンを利用して、画像内の個々の指示体が自発光指示体70と非発光指示体80のいずれであるかについても判定する。
自発光指示体70には、ボタンスイッチ73の他に、信号光受信部74と、制御部75と、先端スイッチ76と、先端発光部77とが設けられている。信号光受信部74は、プロジェクター100の信号光送信部430から発せられた装置信号光ASLを受信する機能を有する。先端スイッチ76は、自発光指示体70の先端部71が押されるとオン状態になり、先端部71が解放されるとオフ状態になるスイッチである。先端スイッチ76は、通常はオフ状態にあり、自発光指示体70の先端部71がスクリーン面SSに接触するとその接触圧によってオン状態になる。先端スイッチ76がオフ状態のときには、制御部75は、先端スイッチ76がオフ状態であることを示す特定の第1の発光パターンで先端発光部77を発光させることによって、第1の発光パターンを有する指示体信号光PSLを発する。一方、先端スイッチ76がオン状態になると、制御部75は、先端スイッチ76がオン状態であることを示す特定の第2の発光パターンで先端発光部77を発光させることによって、第2の発光パターンを有する指示体信号光PSLを発する。これらの第1の発光パターンと第2の発光パターンは、互いに異なるので、位置検出部600は、2台のカメラ310,320で撮像された画像を分析することによって、先端スイッチ76がオン状態かオフ状態かを識別することが可能である。
上述のように、本実施形態では、自発光指示体70の先端部71がスクリーン面SSに接しているか否かの接触判定を、先端スイッチ76のオン/オフに応じて行っている。ところで、自発光指示体70の先端部71の三次元位置は、2台のカメラ310,320で撮像された画像を用いた三角測量によって求めることができるので、この三次元位置を用いて自発光指示体70の先端部71の接触判定を実行することも可能である。但し、三角測量によるZ座標(スクリーン面SSの法線方向の座標)の検出精度は、必ずしも高くない場合がある。従って、先端スイッチ76のオン/オフに応じて接触判定を行うようにすれば、接触判定をより精度良く実行できる点で好ましい。
自発光指示体70のボタンスイッチ73は、先端スイッチ76と同じ機能を有する。従って、制御部75は、ユーザーによってボタンスイッチ73が押された状態では上記第2の発光パターンで先端発光部77を発光させ、ボタンスイッチ73が押されていない状態では上記第1の発光パターンで先端発光部77を発光させる。換言すれば、制御部75は、先端スイッチ76とボタンスイッチ73の少なくとも一方がオンの状態では上記第2の発光パターンで先端発光部77を発光させ、先端スイッチ76とボタンスイッチ73の両方がオフの状態では上記第1の発光パターンで先端発光部77を発光させる。
但し、ボタンスイッチ73に対して先端スイッチ76と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ73に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ73を押すと、右クリックの指示がプロジェクター100の制御部700に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ73に対して先端スイッチ76と異なる機能を割り当てた場合には、先端発光部77は、先端スイッチ76のオン/オフ状態及びボタンスイッチ73のオン/オフ状態に応じて、互いに異なる4つの発光パターンで発光する。この場合には、自発光指示体70は、先端スイッチ76とボタンスイッチ73のオン/オフ状態の4つの組み合わせを区別しつつ、プロジェクター100に伝達することが可能である。
図4は、自発光指示体70と非発光指示体80を利用した操作の様子を示す説明図である。この例では、自発光指示体70の先端部71と非発光指示体80の先端部81はいずれもスクリーン面SSから離れている。自発光指示体70の先端部71のXY座標(X71,Y71)は、ツールボックスTBの消しゴムボタンERBの上にある。また、ここでは、自発光指示体70の先端部71の機能を表すツールとしてマウスポインターPTが選択されており、マウスポインターPTの先端OP71が消しゴムボタンERBの上に存在するように、マウスポインターPTが投写画面PSに描画されている。前述したように、自発光指示体70の先端部71の三次元位置は、2台のカメラ310,320で撮像された画像を用いた三角測量で決定される。従って、投写画面PS上において、三角測量で決定された先端部71の三次元座標(X71,Y71,Z71)のうちのXY座標(X71,Y71)の位置にマウスポインターPTの先端にある操作ポイントOP71が配置されようにマウスポインターPTが描画される。すなわち、マウスポインターPTの先端OP71は、自発光指示体70の先端部71の三次元座標(X71,Y71,Z71)のうちのXY座標(X71,Y71)に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、この状態で自発光指示体70のボタンスイッチ73を押すことによって、消しゴムツールを選択することが可能である。このように、本実施形態では、自発光指示体70がスクリーン面SSから離間した状態にある場合にも、ボタンスイッチ73を押すことによって、先端部71のXY座標(X71,Y71)に配置される操作ポイントOP71における投写画面PSの内容に応じた指示をプロジェクター100に与えることが可能である。
図4(B)では、また、非発光指示体80の先端部81の機能を表すツールとしてペンツールPEが選択されており、ペンツールPEが投写画面PSに描画されている。前述したように、非発光指示体80の先端部81の三次元位置も、2台のカメラ310,320で撮像された画像を用いた三角測量で決定される。従って、投写画面PS上において、三角測量で決定された先端部81の三次元座標(X81,Y81,Z81)のうちのXY座標(X81,Y81)の位置にペンツールPEの先端にある操作ポイントOP81が配置されようにペンツールPEが描画される。但し、非発光指示体80を利用してユーザーが指示をプロジェクター100に与える際には、非発光指示体80の先端部81を投写画面PS上に接触させた状態でその指示(描画やツールの選択など)が行なわれる。
図4の例では、指示体(自発光指示体70や非発光指示体80)の先端部が投写画面PSから離れている場合にも、個々の指示体によって選択されたツール(マウスポインターPTやペンツールPE)が投写画面PSに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面PSに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。また、ツールの操作ポイントOPが指示体の先端部の三次元座標のうちのXY座標の位置に配置されるようにそのツールが描画されるので、ユーザーが、利用中のツールの位置を適切に認識できるという利点がある。
なお、このインタラクティブプロジェクションシステム900は、複数の自発光指示体70を同時に利用可能に構成されていてもよい。この場合には、上述した指示体信号光PSLの発光パターンは、複数の自発光指示体70を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、N個(Nは2以上の整数)の自発光指示体70を同時に利用可能な場合には、指示体信号光PSLの発光パターンは、N個の自発光指示体70を区別できるものであることが好ましい。なお、1組の発光パターンに複数回の単位発光期間が含まれている場合に、1回の単位発光期間では、発光と非発光の2値を表現することができる。ここで、1回の単位発光期間は、自発光指示体70の先端発光部77が、オン/オフの1ビットの情報を表現する期間に相当する。1組の発光パターンがM個(Mは2以上の整数)の単位発光期間で構成される場合には、1組の発光パターンによって2個の状態を区別できる。従って、1組の発光パターンを構成する単位発光期間の数Mは、次式を満足するように設定されることが好ましい。
N×Q≦2 …(1)
ここで、Qは自発光指示体70のスイッチ73,76で区別される状態の数であり、本実施形態の例ではQ=2又はQ=4である。例えば、Q=4の場合には、N=2のときにはMを3以上の整数に設定し、N=3〜4のときにはMを4以上の整数に設定することが好ましい。このとき、位置検出部600(又は制御部700)がN個の自発光指示体70、及び、各自発光指示体70のスイッチ73,76の状態を識別する際には、1組の発光パターンのM個の単位発光期間において各カメラ310,320でそれぞれ撮像されたM枚の画像を用いてその識別を実行する。なお、このMビットの発光パターンは、照射検出光IDLをオフの状態に維持した状態で指示体信号光PSLをオン又はオフに設定したパターンであり、カメラ310,320で撮像される画像には非発光指示体80が写らない。そこで、非発光指示体80の位置を検出するために用いる画像を撮像するために、照射検出光IDLをオン状態とした1ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光PSLはオン/オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体70の位置検出にも利用することが可能である。
図3に描かれている5種類の信号光の具体例をまとめると以下の通りである。
(1)投写画像光IML:スクリーン面SSに投写画面PSを投写するために、投写レンズ210によってスクリーン面SS上に投写される画像光(可視光)である。
(2)照射検出光IDL: 指示体(自発光指示体70及び非発光指示体80)の先端部を検出するために、検出光照射部410によってスクリーン面SSとその前方の空間にわたって照射される近赤外光である。
(3)反射検出光RDL:照射検出光IDLとして照射された近赤外光のうち、指示体(自発光指示体70及び非発光指示体80)によって反射され、2台のカメラ310,320によって受光される近赤外光である。
(4)装置信号光ASL:プロジェクター100と自発光指示体70との同期をとるために、プロジェクター100の信号光送信部430から定期的に発せられる近赤外光である。
(5)指示体信号光PSL:装置信号光ASLに同期したタイミングで、自発光指示体70の先端発光部77から発せられる近赤外光である。指示体信号光PSLの発光パターンは、自発光指示体70のスイッチ73,76のオン/オフ状態に応じて変更される。また、複数の自発光指示体70を識別する固有の発光パターンを有する。
本実施形態において、自発光指示体70と非発光指示体80の先端部の位置検出、及び、自発光指示体70と非発光指示体80により指示される内容の判別は、それぞれ以下のように実行される。
<自発光指示体70の位置検出方法及び指示内容の判別方法の概要>
自発光指示体70の先端部71の三次元位置(X71,Y71,Z71)は、位置検出部600が、2台のカメラ310,320により撮像された画像を用いて三角測量に従って決定する。この際、自発光指示体70であるか否かは、所定の複数のタイミングで撮像された画像に先端発光部77の発光パターンが現れているか否かを判断することによって認識可能である。また、自発光指示体70の先端部71がスクリーン面SSに接触しているか否か(すなわち先端スイッチ76がオンか否か)についても、上記複数のタイミングで撮像された画像における先端発光部77の発光パターンを用いて判別可能である。位置検出部600は、更に、自発光指示体70のスイッチ73,76のオン/オフ状態、及び、先端部71のXY座標(X71,Y71)における投写スクリーン面SSの内容に応じて、その指示内容を判別することが可能である。例えば、図4(B)に例示したように、先端部71のXY座標(X71,Y71)の位置がツールボックスTB内のいずれかのボタンの上にある状態で先端スイッチ76がオンになった場合には、そのボタンのツールが選択される。また、図2(B)に例示したように、先端部71のXY座標(X71,Y71)が投写画面PS内のツールボックスTB以外の位置にあれば、選択されたツールによる処理(例えば描画)が選択される。制御部700は、自発光指示体70の先端部71のXY座標(X71,Y71)を利用し、予め選択されているポインターやマークが投写画面PS内の位置(X71,Y71)に配置されるように、そのポインターやマークを投写画像生成部500に描画させる。また、制御部700は、自発光指示体70によって指示された内容に従った処理を実行して、投写画像生成部500にその処理結果を含む画像を描画させる。
<非発光指示体80の位置検出方法及び指示内容の判別方法の概要>
非発光指示体80の先端部81の三次元位置(X81,Y81,Z81)も、2台のカメラ310,320により撮像された画像を用いて、三角測量に従って決定される。この際、非発光指示体80であるか否かは、所定の複数のタイミングで撮像された画像に自発光指示体70の発光パターンが現れているか否かを判断することによって認識可能である。なお、2台のカメラ310,320により撮像された2枚の画像における非発光指示体80の先端部81の位置は、テンプレートマッチングや特徴抽出等の周知の技術を利用して決定することができる。例えば、テンプレートマッチングによって指である非発光指示体80の先端部81を認識する場合には、指に関する複数のテンプレートを予め準備しておき、2台のカメラ310,320により撮像された画像において、これらのテンプレートに適合する部分を検索することによって指の先端部81を認識することが可能である。また、非発光指示体80の先端部81がスクリーン面SSに接しているか否かは、三角測量で決定した先端部81のZ座標値と、スクリーン面SSの表面のZ座標値との差が微小な許容差以下か否か、すなわち、先端部81がスクリーン面SSの表面に十分に近いか否かに応じて決定可能である。この許容差としては、例えば、2mm〜6mm程度の小さな値を使用することが好ましい。また、位置検出部600は、非発光指示体80の先端部81がスクリーン面SSに接していると判定した場合には、その接触位置における投写スクリーン面SSの内容に応じてその指示内容を判別する。制御部700は、位置検出部600で検出された非発光指示体80の先端のXY座標(X81,Y81)を利用し、予め選択されているポインターやマークが投写画面PS内の位置(X81,Y81)に配置されるように、そのポインターやマークを投写画像生成部500に描画させる。また、制御部700は、非発光指示体80によって指示された内容に従った処理を実行して、投写画像生成部500にその処理結果を含む画像を描画させる。
B.カメラの好ましい配置及び向き(その1)
図5(A)は、2台のカメラ310,320の配置と向きを示す説明図である。この図は、各カメラ310,320のカメラ基準位置O1,O2を通るYZ平面上の配置を示している。第1カメラ310は、第2カメラ320よりもスクリーン面SSからの垂直距離(Z方向の距離)がより大きな位置に配置されている。ここでは、2台のカメラ310,320とスクリーン面SSの配置を以下のようにモデル化している。
(1)画像面MP1,MP2:各カメラの結像面である。現実のカメラでは、画像面MP1,MP2はイメージセンサの受光面に相当する。
(2)カメラ基準位置O1,O2:各カメラの基準座標位置である。図5のモデルでは、第1カメラ310において、三次元空間内の任意の物点に対応する画像面MP1上の像は、その物点とカメラ基準位置O1とを結んだ直線と、画像面MP1との交点の位置に形成される。第2カメラ320も同様である。現実のカメラでは、カメラ基準位置O1,O2は、そのカメラのレンズのほぼ中心にある集光位置に相当する。また、現実のカメラでは、レンズの中心は画像面MP1,MP2の前方にある。但し、図5(A)のように画像面MP1,MP2がカメラ基準位置O1,O2(レンズの中心)の前方にあるものとしても、現実のカメラと等価である。
(3)光軸V1,V2:各カメラの光学系の光軸であり、画像面MP1,MP2と直交している。光軸方向に平行な単位ベクトルを「光軸ベクトル」とも呼ぶ。図5(A)の例では、第1カメラ310の光軸V1は投写画面PSの法線NVから斜めに傾いており、第2カメラ320の光軸V2は投写画面PSの法線NVにほぼ直交している。
(4)画角2θ,2θ:各カメラの画角である。光軸V1,V2の向きと画角2θ,2θの大きさは、それぞれのカメラ310,320が投写画面PSの全体を撮像できるように設定される。2つのカメラ310,320の画角2θ,2θは等しくてもよく、異なっていてもよい。
(5)投写画面PSの法線NV:投写画面PS(すなわちスクリーン面SS)に対する法線である。法線方向に平行な単位ベクトルを「法線ベクトル」又は「投写画面法線ベクトル」とも呼ぶ。なお、投写画面PSやスクリーン面SSが平面ではなく、曲面である場合も考えられる。この場合には、投写画面PSの幾何学的中心における法線を「投写画面PSの法線NV」と定義する。
図5(A)では、非発光指示体80の先端部81が、投写画面PSから距離δZだけ離間した状態が描かれている。上述したように、非発光指示体80の先端部81の三次元位置は、2台のカメラ310,320で撮像された画像を利用した三角測量によって決定される。従来技術でも説明したように、インタラクティブプロジェクションシステム900では、非発光指示体80の先端部81とスクリーン面SSとのZ方向の距離δZを精度良く検出することが望まれている。そこで、本実施形態では、2台のカメラ310,320の配置と向きを工夫することによって、非発光指示体80の先端部81とスクリーン面SSとの間のZ方向の距離δZの検出精度を向上させている。なお、Z方向の距離δZの検出精度を、「Z座標の解像度」とも呼ぶ。
なお、カメラ310,320によるZ座標の解像度は、投写画面PSの下端PSbで最も低く、投写画面PSの上端PStで最も高く、投写画面PSの中心PScではそれらの中間である。この理由は、投写画面PSの下端PSbが、カメラ310,320から最も遠いためである。実際には、Z座標の解像度が最も低い位置(「最悪位置」と呼ぶ)は、図4(B)において、投写画面PSの下辺の左右の端部付近の位置である。但し、図5(A)のように、各カメラ310,320のカメラ基準位置O1,O2をそれぞれ通るYZ平面上でZ座標の解像度を検討しておけば、最悪位置におけるZ座標の解像度もこれに比例するので、実用上は十分である。そこで、以下では各カメラ310,320について、そのカメラ基準位置O1,O2を通るYZ平面をそれぞれ想定し、これらのYZ平面上の投写画面PSの下端PSbにおけるZ座標の解像度について検討する。なお、図5(A)における投写画面PSの下端PSbは、投写画面PSの4辺のうちの下辺と、第1カメラ310のカメラ基準位置O1(すなわちレンズ中心)を通る第1YZ平面と、が交わる第1交点に相当する。第2カメラ320についても同様に、図5(A)における投写画面PSの下端PSbは、投写画面PSの下辺と、第2カメラ320のカメラ基準位置O2(すなわちレンズ中心)を通る第2YZ平面と、が交わる第2交点に相当する。
図5(B)は、第1カメラ310の光軸ベクトルV1と投写画面法線ベクトルNVとの関係を示しており、図5(C)は、第2カメラ320の光軸ベクトルV2と投写画面法線ベクトルNVとの関係を示している。第1カメラ310の光軸ベクトルV1は、投写画面法線ベクトルNVから斜めに傾いており、それらのベクトルV1,NVのなす角θ1Nは90°よりも小さい。第1カメラ310の光軸ベクトルV1と投写画面法線ベクトルNVとの内積の絶対値|V1・NV|は以下の式で表される。
|V1・NV|=|V1|・|NV|cosθ1N>0 …(2a)
一方、第2カメラ320の光軸ベクトルV2は、投写画面法線ベクトルNVにほぼ直交しており、それらのベクトルV2,NVのなす角θ2Nは約90°である。従って、第2カメラ320の光軸ベクトルV2と投写画面法線ベクトルNVとの内積の絶対値|V2・NV|は以下の式で表される。
|V2・NV|=|V2|・|NV|cosθ2N=0 …(2b)
上記(2a),(2b)式から理解できるように、本実施形態では、|V2・NV|<|V1・NV|の関係がある。このような内積の絶対値の関係は、投写画面法線ベクトルNVと、各カメラ310,320の光軸ベクトルV1,V2のなす角度の関係を表す指標として使用することが可能である。すなわち、一般に、光軸ベクトルと投写画面法線ベクトルNVとの内積の絶対値が小さいほど、その光軸ベクトルと投写画面法線ベクトルNVとのなす角度がより90°に近いものとなる。
図6は、図5の2台のカメラ310,320におけるZ座標の解像度を比較して示す説明図である。図6では、図5で描いていた非発光指示体80は省略している。この例では、2台のカメラ310,320における距離δZの像の大きさL1,L2に関して、以下の式が成立する。
L1<L2 …(3a)
L2=(δZ・δM/d) …(3b)
ここで、δMは各カメラにおける画像面MP1,MP2とカメラ基準位置O1,O2との間の距離、dはカメラ基準位置O1,O2と投写画面PSの下端PSbとの間のY方向の距離である。ここでは、2つのカメラ310,320に関するδMの値は等しいと仮定する。また、2つのカメラ310,320のカメラ基準位置O1,O2のY座標も等しいものと仮定する。
上記(3a)に示されるように、第2カメラ320における距離δZの像の大きさL2は、第1カメラ310における距離δZの像の大きさL1よりも大きく、従って、第2カメラ320の方が第1カメラ310よりもZ座標の解像度が高い。この理由は、以下の通りである。すなわち、第2カメラ320では、その光軸V2が投写画面PSの法線NVにほぼ直交しており、その画像面MP2が投写画面PSの法線NVと平行なので、法線NVの方向に沿った距離δZの像が比較的大きくなるからである。一方、第1カメラ310の光軸V1は投写画面PSの法線NVから角度θ1N(0<θ1N<90°)だけ傾いており、その画像面MP1も投写画面PSの法線NVから傾いているので、法線NVの方向に沿った距離δZの像がより小さくなるからである。
このように、第2カメラ320の光軸ベクトルV2と投写画面法線ベクトルNVとのなす角度θ2Nを第1カメラ310の光軸Vベクトル1と投写画面法線ベクトルNVとのなす角度θ1Nよりも90°に近い値に設定して、第2カメラ320のZ座標の解像度を第1カメラ310よりも高くすることが可能である。図5で説明したベクトルの内積の表現を利用すれば、これは以下のように言い換えられる。すなわち、第1カメラ310の光軸ベクトルV1と投写画面法線ベクトルNVとの内積の絶対値|V1・NV|よりも、第2カメラ320の光軸ベクトルV2と投写画面法線ベクトルNVとの内積の絶対値|V2・NV|の方を小さくして、第2カメラ320のZ座標の解像度を第1カメラ310よりも高くすることが可能である。このような関係は、角度θ1N,θ2Nが図5,図6に示した場合以外にも成立すると推定される。
なお、上記(3b)式から理解できるように、第2カメラ320について、カメラ基準位置O2と投写画面PSの下端PSbとの間のY方向に沿った距離dが小さいほど、距離δZの像の大きさL2が大きくなるので、距離dは小さい方がZ座標の解像度が高まる。従って、第2カメラ320を、第1カメラ310よりもY方向に沿ってより下方に配置すれば、第2カメラ320のZ座標の解像度を更に高めることができる。より具体的に言えば、第2カメラ320は、投写画面PSの中心PScから投写画面PSの法線NVの方向に垂直な方向(Y方向)に測った距離が、第1カメラ310よりも小さい位置に配置されることが好ましい。こうすれば、第2カメラ320のZ座標の解像度が更に高まるので、2台のカメラ310,320の画像を利用した三角測量で求まるZ座標の検出精度も向上する。
更に、第2カメラ320の光軸ベクトルV2と投写画面PSの法線ベクトルNVとのなす角度θ2Nが90°に近いほど、Z座標の解像度が高まることが期待される。例えば、第2カメラ320の光軸ベクトルV2と投写画面PSの法線ベクトルNVとのなす角度θ2Nを、90°±10°の範囲に設定することが好ましい。こうすれば、Z座標の検出精度が更に向上する。
以上のように、本実施形態では、第1カメラ310の光軸ベクトルV1と投写画面法線ベクトルNVとの内積の絶対値|V1・NV|よりも、第2カメラ320の光軸ベクトルV2と投写画面法線ベクトルNVとの内積の絶対値|V2・NV|の方が小さくなるように2台のカメラ310,320を配置して、第2カメラ320におけるZ座標の解像度を高めている。この結果、第2カメラ320の光軸V2を第1カメラ310の光軸V1と同じ方向に向けた場合に比べて、指示体の先端部のZ座標の検出精度を高めることができる。
なお、図5及び図6のようなカメラ310,320の配置においては、Z座標の解像度に関しては第2カメラ320の方が第1カメラ310よりも高いが、Y座標の解像度に関しては、逆に、第1カメラ310の方が第2カメラ320よりも高い。また、X座標については2台のカメラ310,320の解像度は等しい。これらの点を考慮すれば、2台のカメラ310,320の光軸ベクトルV1,V2が投写画面法線ベクトルNVと異なる角度を成すように2台のカメラ310,320を配置することによって、Z座標の解像度とY座標の解像度の両方を高めることが可能となることが理解できる。
なお、図4〜図6で説明した実施形態において、2台のカメラ310,320は、X方向(投写画面PSの左右に沿った方向)に関しては同じ座標位置に設定されているが、両者をX方向に関して異なる座標位置に配置してもよい。この場合にも、図5及び図6で説明した関係が同様に成立する。
C.カメラの好ましい配置及び向き(その2)
図7は、図6に比べてZ座標の解像度が低い第1カメラ310cの配置例を示している。この図は、第1カメラ310cの光軸V1cが距離δZの中央を通過するように、カメラ基準位置O1を中心として図6の第1カメラ310を回転させた図である。第2カメラ320の配置及び向きは図6と同じである。仮に、カメラ基準位置O1を中心として第1カメラ310cを様々な方向に向けた場合を想定しても、カメラ基準位置O1から距離δZを見込む角度θagは変わらない。このとき、第1カメラ310cにおける距離δZの像の大きさが最も小さくなるのは、図7のように、その光軸V1cが距離δZの中央を通過するように第1カメラ310cの向きを設定した場合である。この理由は、図7の状態は、距離δZを見込む角度θagによってカメラ310cの画像面MP1が切り取られる大きさ(すなわち距離δZの像の大きさ)が最も小さくなるからである。
但し、実際に距離δZの検出精度が問題となるのは、非発光指示体80の先端部81(図4)が投写画面PSに十分に近づいた場合であり、例えば、距離δZが10mm以下の場合である。従って、第1カメラ310cのZ座標の解像度が最も小さくなるのは、その光軸V1cを延長した直線が、投写画面PSの下端PSbを通過するように第1カメラ310cの向きを設定した場合であると考えることができる。この点を考慮すれば、図5及び図6に示した第1カメラ310に関しては、そのカメラ基準位置O1と投写画面PSの下端PSbとを結ぶ直線と、光軸V1とのなす角度が大きいほど、Z座標の解像度が高くなる点で好ましい。これは第2カメラ320も同様である。
図8は、図5及び図6に示した2台のカメラ310,320について、カメラ基準位置O1と投写画面PSの下端PSbとを結ぶ直線SG1,SG2と、光軸V1,V2とのなす角度θ1b,θ2bを示している。この例では、次の式が成立している。
θ1b<θ2b …(4)
この(4)式の関係が成立するように2台のカメラ310,320を配置すれば、第2カメラ320のZ座標の解像度をより高くできる点で好ましい。但し、第1カメラ310は第2カメラ320よりも投写画面PSの下端PSbから遠い位置にあるので、2台のカメラ310,320に関する図8の角度θ1b,θ2bが互いに等しい場合にも、第2カメラ320の方が第1カメラ310よりもZ座標の解像度が高い。しかしながら、第2カメラ320の角度θ2bを第1カメラ310の角度θ1bよりも大きくするように2台のカメラ310,320を配置すれば、第2カメラ320のZ座標の解像度を第1カメラ310よりも更に高めることができ、2台のカメラ310,320を用いたZ座標の検出精度をより高めることができる。
D.カメラの他の配置例
図9は、他の実施形態における2台のカメラ310,320の配置を示す説明図である。図9(A),(B)は図2(A),(B)に対応する図であるが、第2カメラ320の位置が図2(A),(B)とは異なっている。すなわち、図9(A),(B)の例では、第2カメラ320の位置は、第1カメラ310とYZ座標が同じであり、X座標のみが異なる。なお、図9(A)では第2カメラ320は投写レンズ210で隠されているので図示を省略している。
図9(C)は、2台のカメラ310,320の基準位置O1,O2と光軸ベクトルV1,V2を示している。図9(C)は、X方向に沿って2台のカメラ310,320を見た状態なので、2台のカメラ310,320の基準位置O1,O2は重なっている。また、2台のカメラ310,320の光軸ベクトルV1,V2の方向は、前述した図5及び図6と同じである。このように、2台のカメラ310,320のYZ座標を同じ位置に設定しても、図5及び図6で説明した関係が依然として成立するので、Z座標の検出精度を高めることが可能である。但し、図9の例において、第2カメラ320が投写画面PSの全体を撮像可能とするためには、第2カメラ320の画角を図5の場合よりも大きくなる。この点を考慮すると、図5及び図6の例のように、第2カメラ320の投写画面PSからの垂直距離が第1カメラ310よりも近い位置に第2カメラ320を配置することが好ましい。
・変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
・変形例1:
上記実施形態では、撮像部300が2台のカメラ310,320を有しているものとしたが、撮像部300は3台以上のカメラを有していてもよい。後者の場合には、m台(mは3以上の整数)のカメラで撮像されたm個の画像に基づいて、三次元座標(X,Y,Z)が決定される。例えば、m個の画像から2個の画像を任意に選択して得られる個の組み合わせを用いてそれぞれ三次元座標を求め、それらの平均値を用いて最終的な三次元座標を決定しても良い。こうすれば、三次元座標の検出精度を更に高めることが可能である。
・変形例2:
上記実施形態では、インタラクティブプロジェクションシステム900がホワイトボードモードとPCインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム900は、これら2つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら2つのモードを含む複数のモードで動作可能に構成されていてもよい。
・変形例3:
上記実施形態では、図3に示した照射検出光IDLと、反射検出光RDLと、装置信号光ASLと、指示体信号光PSLとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
・変形例4:
上記実施形態では、投写画面が平面状のスクリーン板920に投写されるものとしていたが、投写画面が曲面状のスクリーンに投写されるものとしても良い。この場合にも、2台のカメラで撮像された画像を用い、三角測量を利用して指示体の先端部の三次元位置を決定できるので、指示体の先端部と投写画面の位置関係を決定することが可能である。
以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。
70…自発光指示体
71…先端部
72…軸部
73…ボタンスイッチ
74…信号光受信部
75…制御部
76…先端スイッチ
77…先端発光部
80…非発光指示体
81…先端部
100…インタラクティブプロジェクター
200…投写部
210…投写レンズ
220…光変調部
230…光源
300…撮像部
310…第1カメラ
320…第2カメラ
410…検出光照射部
430…信号光送信部
500…投写画像生成部
510…投写画像メモリー
600…位置検出部
700…制御部
900…インタラクティブプロジェクションシステム
910…支持部材
920…スクリーン板

Claims (6)

  1. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
    スクリーン面上に前記投写画面を投写する投写部と、
    前記投写画面の領域を撮像する第1カメラ及び第2カメラを含む複数台のカメラと、
    前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の3次元位置を検出する位置検出部と、
    を備え、
    前記投写画面の法線方向を示す単位ベクトルを投写画面法線ベクトルと定義し、前記第1カメラの光軸の方向を示す単位ベクトルを第1光軸ベクトルと定義し、前記第2カメラの光軸の方向を示す単位ベクトルを第2光軸ベクトルと定義したとき、
    前記第1カメラ及び前記第2カメラは、前記第1光軸ベクトルと前記投写画面法線ベクトルとの内積の絶対値よりも、前記第2光軸ベクトルと前記投写画面法線ベクトルとの内積の絶対値が小さくなるように配置されている、インタラクティブプロジェクター。
  2. 請求項1に記載のインタラクティブプロジェクターであって、
    前記投写画面上で互いに直交する2つの方向をX方向及びY方向と定義し、+Y方向を上方向と呼び−Y方向を下方向と呼ぶとともに前記投写画面が前記インタラクティブプロジェクターよりも下方の位置に投写されるものと定義し、前記X方向及び前記Y方向に垂直な方向をZ方向と定義し、
    互いに前記Y方向に対向する前記投写画面の2辺のうちでより下方側にある下辺と、前記第1カメラのレンズ中心を通る第1のYZ平面とが交わる点を第1交点と定義し、前記第1カメラのレンズ中心と前記第1交点とを結ぶ直線と前記第1カメラの光軸とがなす角度を第1角度と定義し、
    前記投写画面の前記下辺と、前記第2カメラのレンズ中心を通る第2のYZ平面とが交わる点を第2交点と定義し、前記第2カメラのレンズ中心と前記第2交点とを結ぶ直線と前記第2カメラの光軸とがなす角を第2角度と定義したとき、
    前記第2角度が前記第1角度よりも大きくなるように前記第1カメラ及び前記第2カメラが配置されている、インタラクティブプロジェクター。
  3. 請求項1又は2に記載のインタラクティブプロジェクターであって、
    前記第2カメラは、前記投写画面からの垂直距離が前記第1カメラよりも小さい位置に配置されている、インタラクティブプロジェクター。
  4. 請求項3に記載のインタラクティブプロジェクターであって、
    前記第2カメラは、前記投写画面の中心から前記投写画面の法線方向に垂直な方向に測った距離が、前記第1カメラよりも小さな位置に配置されている、インタラクティブプロジェクター。
  5. 請求項1〜4のいずれか一項に記載のインタラクティブプロジェクターであって、
    前記第2光軸ベクトルと前記投写画面法線ベクトルとのなす角度は90°±10°の範囲である、インタラクティブプロジェクター。
  6. インタラクティブプロジェクティングシステムであって、
    請求項1〜5のいずれか一項に記載のインタラクティブプロジェクターと、
    前記投写画面が投写されるスクリーン面を有するスクリーンと、
    を備えるインタラクティブプロジェクティングシステム。
JP2015065630A 2015-03-27 2015-03-27 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム Expired - Fee Related JP6459706B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015065630A JP6459706B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US15/079,008 US9582084B2 (en) 2015-03-27 2016-03-23 Interactive projector and interactive projection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015065630A JP6459706B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム

Publications (2)

Publication Number Publication Date
JP2016186670A true JP2016186670A (ja) 2016-10-27
JP6459706B2 JP6459706B2 (ja) 2019-01-30

Family

ID=56976543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015065630A Expired - Fee Related JP6459706B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム

Country Status (2)

Country Link
US (1) US9582084B2 (ja)
JP (1) JP6459706B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6477130B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US10936089B2 (en) * 2017-11-08 2021-03-02 Hewlett-Packard Development Company, L.P. Determining locations of electro-optical pens
DE102018206676B4 (de) 2018-04-30 2021-11-04 Deutsche Bahn Aktiengesellschaft Verfahren zur Interaktion einer Zeigevorrichtung mit einem auf einer Projektionsfläche eines virtuellen Desktops angeordneten Zielpunkts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
US20090014468A1 (en) * 2007-07-03 2009-01-15 Byers Bruce E Fluid delivery system and method
JP2012003724A (ja) * 2010-06-21 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
JP2012150636A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2874710B2 (ja) * 1996-02-26 1999-03-24 日本電気株式会社 三次元位置計測装置
CA2350527C (en) * 1999-12-24 2008-02-05 Matsushita Electric Industrial Co., Ltd. Projector
US20020122117A1 (en) * 2000-12-26 2002-09-05 Masamichi Nakagawa Camera device, camera system and image processing method
JP2005033703A (ja) * 2003-07-11 2005-02-03 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2009139246A (ja) * 2007-12-07 2009-06-25 Honda Motor Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体
JP5494427B2 (ja) * 2010-11-12 2014-05-14 富士通株式会社 画像処理プログラムおよび画像処理装置
WO2013027628A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9769443B2 (en) * 2014-12-11 2017-09-19 Texas Instruments Incorporated Camera-assisted two dimensional keystone correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
US20090014468A1 (en) * 2007-07-03 2009-01-15 Byers Bruce E Fluid delivery system and method
JP2012003724A (ja) * 2010-06-21 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
JP2012150636A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム

Also Published As

Publication number Publication date
US20160286190A1 (en) 2016-09-29
US9582084B2 (en) 2017-02-28
JP6459706B2 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
JP6477131B2 (ja) インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法
JP6477130B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US10133366B2 (en) Interactive projector and interactive projection system
JP2017146753A (ja) 位置検出装置、及び、そのコントラスト調整方法
US11073949B2 (en) Display method, display device, and interactive projector configured to receive an operation to an operation surface by a hand of a user
CN107407995B (zh) 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US10551972B2 (en) Interactive projector and method of controlling interactive projector
JP6503828B2 (ja) インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法
JP6451446B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6690271B2 (ja) 位置検出システム、位置検出装置、および位置検出方法
JP6569361B2 (ja) インタラクティブプロジェクター及びそのz座標の補正方法
JP2017027424A (ja) インタラクティブプロジェクター及びその設置状態検出方法
JP2016186678A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法
JP2016186679A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6459706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees