JP2018152022A - プロジェクターシステム - Google Patents

プロジェクターシステム Download PDF

Info

Publication number
JP2018152022A
JP2018152022A JP2017049697A JP2017049697A JP2018152022A JP 2018152022 A JP2018152022 A JP 2018152022A JP 2017049697 A JP2017049697 A JP 2017049697A JP 2017049697 A JP2017049697 A JP 2017049697A JP 2018152022 A JP2018152022 A JP 2018152022A
Authority
JP
Japan
Prior art keywords
imaging unit
imaging
projector
projection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017049697A
Other languages
English (en)
Other versions
JP6822234B2 (ja
JP2018152022A5 (ja
Inventor
信 大谷
Makoto Otani
信 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017049697A priority Critical patent/JP6822234B2/ja
Priority to US15/907,818 priority patent/US10516864B2/en
Priority to CN201810209136.1A priority patent/CN108632586B/zh
Publication of JP2018152022A publication Critical patent/JP2018152022A/ja
Publication of JP2018152022A5 publication Critical patent/JP2018152022A5/ja
Application granted granted Critical
Publication of JP6822234B2 publication Critical patent/JP6822234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】撮像画像から視差情報を取得して行う位置検知を高精度に維持しつつ、撮像部間の距離の増大を抑制できるプロジェクターシステムを提供すること。【解決手段】撮像システム50を構成する4つの撮像部であるカメラ50a,50b,50c,50dによって撮像範囲の異なる2組の視差画像に基づいた視差情報を取得可能とすることで、視差情報を、各カメラ間の距離をより短いものとしつつ取得する。取得した視差情報を利用して投射画面である被照射領域PLa上の指示体OBを検出し、インタラクティブな画像投射を実現する。【選択図】図1

Description

本発明は、投射画面上にある指等の立体的な指示体を検出可能なプロジェクターシステムに関する。
投射画面上にある指等の立体的な指示体を検出可能なプロジェクターとして、例えば、複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて指等の指示体の形状を認識して指示位置を検出するものが知られている(例えば特許文献1参照。)。なお、指示位置の検出を利用することで、投射画像の内容に反映させて書き込みができるいわゆるインタラクティブなプロジェクターが実現できる。しかしながら、上記のような視差情報を利用する場合、指の形状を高精度に認識しようとすると、視差をより大きくする、すなわちカメラ間の距離を大きくする必要があり、プロジェクターの本体部分の大きさに比べてカメラ間の距離が非常に大きくなってしまう可能性がある。別の解決方法として、例えばカメラの解像度やレンズ性能を高くするといったカメラの性能を上げることも考えられるが、コストの増大を招くことになる。
特開2012−150636号公報
本発明は、撮像画像から視差情報を取得して行う位置検知を高精度に維持しつつ、撮像部間の距離の増大を抑制できるプロジェクターシステムを提供することを目的とする。
上記目的を達成するため、本発明に係るプロジェクターシステムは、画像光を投射するプロジェクター本体部と、プロジェクター本体部からの画像光の投影領域において、撮像範囲の異なる2組の視差画像を撮像可能とする第1撮像部、第2撮像部、第3撮像部及び第4撮像部とを備える。
上記プロジェクターシステムでは、4つの撮像部によって撮像範囲の異なる2組の視差画像(ステレオ画像)を撮像可能とすることで、例えば2つの撮像部によって取得される視差情報と比較して、同等の精度の位置検知を可能にする視差情報を、撮像部間の距離をより短いものとしつつ取得できる。これにより、例えば視差情報を利用して投射画面上の指示体を検出することで、インタラクティブな画像投射を実現できるプロジェクターシステムにおいて、装置の小型化を図ることができる。
本発明の具体的な側面によれば、第1撮像部は、プロジェクター本体部の投射光軸に対して、プロジェクター本体部の投射方向に垂直な第1方向に離間した位置に配置され、第2撮像部は、投射光軸に対して、第1方向と反対の方向である第2方向に離間した位置に配置され、第1撮像部と第2撮像部とにおいて、プロジェクター本体部からの画像光の投影領域までの距離が異なっており、第1撮像部と第2撮像部とは、1組の視差画像を撮像する。この場合、第1撮像部と第2撮像部との間において視差を生じさせやすくなり、撮像部間の距離の増大を抑えつつ投射画面上の指示体を検出において必要に足る視差情報を視差画像から得ることができる。
本発明の別の側面によれば、第3撮像部は、投射光軸に対して第2方向に離間した位置に配置され、第4撮像部は、投射光軸に対して第1方向に離間した位置に配置され、第3撮像部と第4撮像部とにおいて、プロジェクター本体部からの画像光の投影領域までの距離が異なっており、第3撮像部と第4撮像部とは、第1撮像部と第2撮像部とによる1組の視差画像とは別の1組の視差画像を撮像する。この場合、第3撮像部と第4撮像部との間において視差を生じさせやすくなり、撮像部間の距離の増大を抑えつつ投射画面上の指示体を検出において必要に足る視差情報を視差画像から得ることができる。
本発明のさらに別の側面によれば、第1撮像部および第3撮像部は、第2撮像部および第4撮像部よりも投影領域に近い側に配置されている。この場合、投影領域に対する距離の差を利用して、第1撮像部および第3撮像部と第2撮像部および第4撮像部との間において、それぞれ視差のある状態にできる。
本発明のさらに別の側面によれば、第1〜第4撮像部は、所定角度範囲内のあおり角で傾いており、第1撮像部は、第2撮像部よりもあおり角が大きく、第3撮像部は、第4撮像部よりもあおり角が大きい。この場合、あおり角を設けることであおり角を設けないものと比べて撮像部の広画角化を抑制できる。
本発明のさらに別の側面によれば、第1撮像部と第3撮像部とにおいて、プロジェクター本体部からの画像光の投影領域までの距離が等しい。この場合、第1撮像部側と第3撮像部側とで、投影領域までの距離が等しい状態で撮像できる。
本発明のさらに別の側面によれば、第2撮像部と第4撮像部とにおいて、プロジェクター本体部からの画像光の投影領域までの距離が等しい。この場合、第2撮像部側と第4撮像部側とで、投影領域までの距離が等しい状態で撮像できる。
本発明のさらに別の側面によれば、第1〜第4撮像部は、プロジェクター本体部を収納する筐体の四隅に配置されている。この場合、筐体の四隅に配置することで、プロジェクター本体部を筐体内に収めつつ、4つの撮像部を筐体から大きく飛び出させることなく視差画像に基づく視差情報を効率的に得ることができる。
本発明のさらに別の側面によれば、第1撮像部及び第2撮像部は、プロジェクター本体部を収納する筐体の四隅の対角位置に配置され、第3撮像部及び第4撮像部は、筐体の四隅のうち第1撮像部及び第2撮像部とは別の対角位置に配置されている。この場合、第1撮像部及び第2撮像部による視差画像と第3撮像部及び第4撮像部による視差画像とを組み合わせることで、視差情報を得ることができる。
本発明のさらに別の側面によれば、第1撮像部及び第2撮像部は、プロジェクター本体部からの画像光の投影領域のうち少なくとも半分の領域について撮像し、第3撮像部及び第4撮像部は、プロジェクター本体部からの画像光の投影領域のうち第1撮像部及び第2撮像部において撮像されない残りの領域を含む少なくとも半分の領域について撮像する。この場合、視差画像を組み合わせて画像光の投影領域全体について、投射画面上の指示体を検出するための視差情報を得ることができる。
本発明のさらに別の側面によれば、第1撮像部及び第2撮像部は、画像光の投影領域のうち、第1方向と第2方向とのうちの一方向側の端の領域を含む少なくとも半分の領域を撮像し、第3撮像部及び第4撮像部は、画像光の投影領域のうち、第1方向と第2方向とのうちの他方向側の端の領域を含む少なくとも半分の領域を撮像する。この場合、第1撮像部及び第2撮像部によって、画像光の投影領域のうち投射方向に垂直な方向についての一方の端の領域を含む半分の領域が撮像され、第3撮像部及び第4撮像部によって画像光の投影領域のうち投射方向に垂直な方向についての他方の端の領域を含む残りの半分の領域が撮像される。
本発明のさらに別の側面によれば、プロジェクター本体部は、画像光を斜方投射する。この場合、スクリーン等の被照射領域に向けて近接投射をする短焦点タイプでの画像投射を行うことができる。
本発明のさらに別の側面によれば、第1〜第4撮像部は、プロジェクター本体部からの画像光の投影領域について撮像する範囲に対応してそれぞれ傾いている。この場合、各撮像部での画角をより狭めることができる。
本発明のさらに別の側面によれば、第1〜第4撮像部は、プロジェクター本体部からの画像光の投影領域を含む撮像領域を撮像して撮像領域に存する指示体を検出可能にする。この場合、取得した視差情報を利用することで、指示体を立体的形状として捉えることが可能となる。
本発明のさらに別の側面によれば、第1〜第4撮像部で取得した画像光の情報に基づく画像投射位置と、第1〜第4撮像部により検出された指示体の位置とを特定し、特定された指示体の位置の情報を反映した画像投射を行う。この場合、指示体による指示位置の情報を反映させたインタラクティブな画像投射が可能になる。
第1実施形態のプロジェクターシステムの概略構成を示す図である。 キャリブレーション時のパターン画像の投影の様子を示す図である。 プロジェクターシステムの構成を示す平面図である。 撮像部のあおり角について説明するための図である。 一対の撮像部による視差画像(ステレオ画像)の取得とその撮像範囲について説明するための図である。 視差情報に関する精度について対象とする撮像位置と投影位置との一例を示す図である。 視差情報に関する精度の指標について説明するための図である。 視差情報に関する精度と撮像性能との関係について説明するための図である。 一実施例における視差情報の指標について説明するための図である。 撮像部を構成する撮像素子について一具体例を示すための図である。 一具体例における撮像部の像高と微小角度との関係を示すグラフである。 第2実施形態のプロジェクターシステムの構成を示す平面図である。 1組の撮像部による視差画像(ステレオ画像)とその撮像範囲について説明するための図である。 第1実施形態と第2実施形態とでのプロジェクターシステムについて比較するための図である。
〔第1実施形態〕
以下、図面を参照して、本発明の第1実施形態に係るプロジェクターシステムについて説明する。
図1等に示すプロジェクターシステム500は、天井に吊るされた状態で取り付けられて画像光である投射光PLを投射(斜方投射)して画像投射を行うプロジェクター100で構成されている。なお、投射光PLの被照射領域PLaは、例えばスクリーンSC上に形成される。被照射領域PLaは、プロジェクター100からの投射光(画像光)PLの投影領域に相当する。また、図示を省略するが、プロジェクターシステム500は、プロジェクター100のほか、例えばPC等が接続されることで構成され、必要に応じて当該PCが各種処理をすることで被照射領域PLaでの表示画面上への書込みを受け付けるインタラクティブな状況での画像動作を可能にしている。プロジェクターシステム500のうち、プロジェクター100は、上記のように、スクリーンSCの斜め上方に設置され、斜め下方のスクリーンSCに向けて近接投射をする短焦点タイプ(ここでは、いわゆる超短焦点近接投射となっている。)のプロジェクターであり、画像投射を行うための本体部分であるプロジェクター本体部100pと、撮像システム50とで構成されている。特に、本実施形態では、撮像システム50がプロジェクター100の筐体CAの四隅にそれぞれ配置される4つの撮像部(カメラ50a,50b,50c,50d)で構成されている。4つのカメラ50a,50b,50c,50dによって、高精度な指示体OBの位置検知が可能となっている。なお、本実施形態では、垂直下向きをY方向(+Y方向)とし、スクリーンSCの表面がXY面内に平行で、プロジェクター100は、+Z方向を正面方向としてスクリーンSCに対して設置されているものとして説明する。
プロジェクター本体部100pは、スクリーンSCに向けて可視光波長帯域の光を合成して構成される画像光である投射光PLを投射して投影画像(カラー画像)の形成を行う。プロジェクターシステム500において、インタラクティブな画像投射を可能にするためには、投射画面上における指示体の位置を特定するための位置合わせ(キャリブレーション)がなされていることが前提となる。
以下、図2を参照して、インタラクティブな画像投射を可能にするための前提となる位置合わせの処理であるキャリブレーションについて説明する。図2は、プロジェクター本体部100pによる画像投影のうち、特に、上述のようなキャリブレーションの処理を行うために、キャリブレーション時のパターン画像を投影する様子を示している。本実施形態では、まず、プロジェクター本体部100pによる画像投射(投影)によってスクリーンSC上に映し出される映像の範囲を示すパターン画像PTを、例えば画像光である投射光PLに含まれる可視光波長帯域の成分のうち緑色波長帯域の光で構成されるパターン画像光GLによって投影する。パターン画像光GLの一部の成分を撮像システム50で受光することで、パターン画像PTに関する画像情報が取得され、この情報に基づき画像投射位置の特定がなされる。具体的には、まず、撮像システム50は、撮像したパターン画像PTの画像情報をプロジェクター本体部100pに対して送信する。次に、プロジェクター本体部100pは、撮像システム50で取得したパターン画像PTの情報と、光変調における画素マトリクスの情報との対応付けを行う。すなわち、撮像システム50で撮像されたパターン画像PTの受光用のセンサー上での各位置とプロジェクター本体部100pの光変調における画素マトリクス状の各位置すなわち投影された画像上の位置とを対応付ける。対応付けは、例えば、ピクセル単位で行うものとしてもよい(例えば対応するテーブルを作成するものとしてもよい)が、例えば対応付ける関数を定めることで、対応付けの処理を可能にするものとしてもよい。以上のように、プロジェクター本体部100pは、撮像システム50で取得したパターン画像PTの情報に基づく画像投射位置と、光変調の画素の位置とを対応付けることで、キャリブレーション(位置合わせ)を行っている。キャリブレーション後は、キャリブレーションでの対応付けに基づいて、撮像システム50で位置検出された指示体OBによるパターン画像PT上での指示位置の特定が可能となり、特定された指示体OBの位置の情報を反映したインタラクティブな画像投射ができる。
ここで、上記のようなインタラクティブな画像投射を行うための前提として、指示体OBについての高精度な位置検出が必要である。本実施形態では、撮像システム50を構成する4つのカメラ50a,50b,50c,50dにより、各カメラ間の距離の増大を抑えつつカメラの解像度やレンズ性能を上げなくても必要に足る視差情報を取得して指示体OBについての高精度な位置検出を可能にしている。
以下、図1や図3等を参照して、プロジェクター本体部100pや撮像システム50等の構成について説明する。なお、図1、図3等では、説明を分かりやすくするため、撮像システム50を構成するカメラ50a,50b,50c,50dを筐体CAの下側に飛び出したように描いているが、筐体CAの下側において飛び出さないあるいはほとんど飛び出さないような態様としたり、或いは筐体CAに内蔵させたりすることも可能である。
プロジェクター本体部100pは、全ての構成についての詳細な図示を省略するが、光源や光変調装置、投射光学系等を備え、スクリーンSCに対する画像投影を行う。ここでは、例えば図3に示すように、筐体CAの内部に収納される投射光学系である投射レンズ40から、画像光としての投射光PLが射出される。また、筐体CAの中央に配置される投射レンズ40の投射光軸を光軸PXとする。プロジェクター本体部100pは、上記のほか、画像投影部やプロジェクター制御部を有し、画像投射等の各種動作制御を行う。例えば、プロジェクター制御部は、撮像システム50からの情報を受け付け可能とし、プロジェクター本体部100pを構成する画像形成部(光変調における画素マトリクス)の画素と撮像システム50を構成する各カメラにそれぞれ内蔵される撮像素子(受光用のセンサー)の画素との位置関係を対応付けるキャリブレーションに基づいて、撮像システム50からの情報を加味して投射させる画像の内容を修正することで画面上に書込みができるものとなっている、すなわちインタラクティブな画像投射を可能としている。
なお、プロジェクター本体部100pを構成する光学系については、種々の態様が可能であるが、例えば光源等については、種々の構成のものが適用可能であり、例えばレーザー光源やLED光源、さらに有機EL(O−LED)を利用することも可能である。特に、有機EL素子等の自発光型の光源を適用した場合、光源が光変調の役割も兼ねた映像装置として構成できる。なお、光源(バックライト)と光変調とを個別の構成とする場合、光変調装置については、例えば透過型の液晶パネルとすることができる。
撮像システム50は、プロジェクター本体部100pにより投射された投射画像を撮像して画像情報を取得するセンサー装置である。本実施形態では、特に、撮像システム50は、離間して配置された4つの撮像部で構成されている。具体的には、撮像システム50は、第1撮像部である第1カメラ50aと、第2撮像部である第2カメラ50bと、第3撮像部である第3カメラ50cと、第4撮像部である第4カメラ50dとで構成されている。各カメラ50a,50b,50c,50dは、同一規格で、第1カメラ50aと第2カメラ50bとで一対構成となり、第3カメラ50cと第4カメラ50dとで一対構成となって、プロジェクター本体部100pによる投射光PLの投射位置に関して左右対称な位置に配置されている。各カメラ50a,50b,50c,50dは、例えば撮像レンズ系のほか、受光素子(撮像素子)すなわち受光用のセンサーや通信部による他の装置への送信等を含む各種制御を行う制御装置といったものを備える。以上のような複数のカメラ50a,50b,50c,50d(ステレオカメラ)を有することで、プロジェクター100は、視差画像(或いはステレオ画像)に基づく視差情報を取得可能となっている。すなわち、立体視によるより高度な位置検出が可能となっている。特に、本実施形態では、筐体CAの四隅において対角位置にある第1カメラ50aと第2カメラ50bとによって1組の視差画像を撮像し、別の対角位置にある第3カメラ50cと第4カメラ50dとによってもう1組の視差画像を撮像することで、撮像範囲の異なる2組の視差画像に基づいた視差情報を取得可能となっている。つまり、撮像した2組の視差画像からそれぞれ視差情報を抽出することで、指示体の位置検知を可能としている。
なお、本実施形態では、検出対象である指示体(指先)OBを複数のカメラ50a,50b,50c、50dによって視差を利用した立体的な検出を可能としているものであるため、例えばスクリーンSCをタッチする利用者の指手を奥行きのある立体的形状として捉える必要がある。このため、正確には、スクリーンSC上の投影領域である被照射領域PLaに加え、被照射領域PLaを含む立体的領域までが撮像領域に含まれるように撮像を行っている。したがって、本実施形態では、例えば指の先端から手首くらいまでを撮像できるように、実際には、被照射領域PLaから16cm程度の厚みを有する直方体状の立体的領域CDを撮像領域の範囲に含むものとする。ただし、以後の説明においては、説明の簡略化のため、厚みのある立体的領域CDまでも含めて被照射領域PLaと捉えてこれを撮像範囲の対象としているものとする。
以下、図3を参照して、プロジェクター100のうち、特に撮像システム50の第1〜第4撮像部を構成するカメラ50a,50b,50c,50dの配置等について説明する。なお、図3は、XYZ方向で示す関係から明らかなように、図1のように天井(上方)に吊るした状態にあるプロジェクター100を下方側から見た図となっている。ここでは、撮像システム50のうち、一対構成の第1カメラ50aと、第2カメラ50bとの関係について説明し、もう1つの一対構成である第3カメラ50cと、第4カメラ50dとについては、対称性により同様であることから、詳しい説明を省略する。
まず、図示のように、第1カメラ50aと第2カメラ50bとは、筐体CAの四隅において対角位置に配置されている。より具体的には、第1カメラ50aは、プロジェクター本体部100pの投射方向P1に対して垂直な方向の1つである第1方向D1(−X方向)について投射レンズ40等を含むプロジェクター本体部100pの投射光軸である光軸PXから離間した位置に配置されている一方、第2カメラ50bは、第1方向D1(−X方向)の反対方向である第2方向D2(+X方向)について投射レンズ40等を含むプロジェクター本体部100pの光軸PXから離間した位置に配置されている。つまり、第1カメラ50aは、光軸PXに対して、投射方向P1に垂直な第1方向D1に離間した位置に配置され、第2カメラ50bは、光軸PXに対して、投射方向P1に垂直で第1方向D1と反対の方向である第2方向D2に離間した位置に配置されている。さらに、第1カメラ50aと第2カメラ50bとでは、プロジェクター本体部100pからの画像光の投影領域までの距離すなわち被照射領域PLaやスクリーンSCまでの距離が互いに異なっている。言い換えると、投射方向P1に関して第1カメラ50aと第2カメラ50bとは、ずれた位置に配置されている。図示の例では、第1カメラ50aが、第2カメラ50bよりもスクリーンSCに近い側に配置されている。なお、同様に、第3カメラ50cと、第4カメラ50dとについては、第3カメラ50cが第2方向D2についてプロジェクター本体部100pの光軸PXから離間し、第4カメラ50dが第1方向D1についてプロジェクター本体部100pの光軸PXから離間し、第3カメラ50cが、第4カメラ50dよりもスクリーンSCに近い側に配置されている。すなわち、第1カメラ50aおよび第3カメラ50cは、第2カメラ50bおよび第4カメラ50dよりも投影領域に近い側に配置されている。また、第1カメラ50aと第3カメラ50cとの位置関係については、第1方向D1とその反対方向である第2方向D2とについて互いに離間し、かつ、プロジェクター本体部100からの画像光の投影領域までの距離が等しくなる位置に配置されている。また、これに対応して、第2カメラ50bと第4カメラ50dとの位置関係についても、第1方向D1と第2方向D2とについて互いに離間し、かつ、プロジェクター本体部100からの画像光の投影領域までの距離が等しくなる位置に配置されている。
以上のような配置から、本実施形態では、図3に示す各寸法について例えば以下のようになっている。まず、プロジェクター100のサイズを規定する筐体CAについては横方向(X方向)についての横幅W1=367mm、奥行き方向(Z方向)についての奥行き幅T1=400mm、横方向(X方向)についてのカメラ間の距離V1=240mm、奥行き方向(Z方向)についてのカメラ間の距離V2=250mmとなっている。さらに、距離V1と距離V2との関係から、対角位置にあるカメラ間の距離V3=347mmとなる。
また、各カメラ50a,50b,50c,50dの光軸AX1〜AX4と、プロジェクター本体部100pの光軸PXとは、図3に示すように、XZ面に平行な面について射影してみた場合において、平行となっている。ただし、既述のように、プロジェクター本体部100pは、画像光を斜め下方に向けて投射するため、例えばあおり投射がなされており、各カメラ50a,50b,50c,50dにおいても、撮像対象である被照射領域PLaが斜め下方にあるため、所定角度範囲内のあおり角で傾いている。
以下、図4を参照して、各カメラ50a,50b,50c,50dのあおり角について説明する。
図4は、本実施形態のプロジェクターシステムにおける撮像システム50の姿勢及び撮影範囲ついて説明するための図である。なお、撮像システム50を構成する4つのカメラのうち、カメラ50a,50bを示しているが、カメラ50c,50dについても同様である。図示から明らかなように、この場合、第1カメラ50aの光軸AX1は、スクリーンSCに対して垂直ではなく、下方にあおり角α1だけ傾いている。また、第2カメラ50bの光軸AX2も、スクリーンSCに対して垂直ではなく、下方にあおり角α2だけ傾いている。さらに、あおり角α1とあおり角α2とを比較すると、あおり角α1の方が大きい。すなわち、スクリーンSCに相対的に近い第1カメラ50aのほうが、スクリーンSCに相対的に遠い第2カメラ50bよりもあおり角が大きくなっている。同様に、第3カメラ50cのほうが、第4カメラ50dよりもあおり角が大きくなっている。なお、各あおり角α1,α2の具体的数値例としては、α1=27°、α2=15°とすることが考えらえる。
ここで、本実施形態では、さらに、例えば第1カメラ50aと第2カメラ50bとで構成される一対の撮像部は、スクリーンSC上の投影領域である被照射領域PLaの全体ではなく、一部の領域を撮像対象範囲としている。
以下、図5を参照して、一対の撮像部による視差画像の取得とその撮像範囲について説明する。なお、図5は、天井(上方)に吊るした状態にあるプロジェクター100をさらに上方側から見た図となっている。つまり、図3の場合とは反対側から見た図である。この場合、例えば各カメラ50a等は、筐体CAの内部あるいは筐体CAよりも下方側に位置することになるため、図中において破線で示している。また、ここでは、撮像システム50を構成する二対の撮像部のうちの一対である第1カメラ50aと第2カメラ50bとにおける撮像範囲について説明する。図示のように、第1カメラ50aと第2カメラ50bとは、それぞれの位置から被照射領域PLaのうち少なくとも右半分の領域すなわち+X側の半分以上の領域について撮像し、この範囲での視差画像の取得延いては視差情報の取得を可能にしている。言い換えると、第1カメラ50aと第2カメラ50bとは、第1方向D1とその反対の方向である第2方向D2とのうちの一方向である第2方向D2の側の端の領域EG2を含む少なくとも半分の領域を撮像可能にしている。同様に、もう一方の一対の撮像部である第3カメラ50cと第4カメラ50dとが、それぞれの位置から被照射領域PLaのうち少なくとも左半分の領域すなわち−X側の半分以上の領域(第1カメラ50a及び第2カメラ50bによっては撮像されない残りの領域を含む領域)について撮像することで、必要な残りの視差情報を得ることができる。言い換えると、第3カメラ50cと第4カメラ50dとは、第1方向D1とその反対の方向である第2方向D2とのうちの他方向である第1方向D1の側の端の領域EG1(図1等参照)を含む少なくとも半分の領域を撮像して、必要な残りの視差情報を取得可能にしている。すなわち、撮像システム50において、4つのカメラ50a,50b,50c,50dが協働することで、被照射領域PLaの全体についての視差画像を取得できる。なお、4つのカメラ50a,50b,50c,50dの受光素子(撮像素子)において、センサー上のエリアSEのうち有効撮像範囲であるアクティブエリアAE内において、被照射領域PLaの一部に対応する映像画像PLiが撮像される。したがって、スクリーンSC上の被照射領域PLaの全体を撮像可能とするためには、一対のカメラ50a,50bのアクティブエリアAE内に共通する映像画像PLiと、一対のカメラ50c,50dのアクティブエリアAE内に共通する映像画像PLiとを繋ぎ合わせたものが被照射領域PLaの全体に相当する画像となっているようにする必要がある。
この場合、一対の第1カメラ50a及び第2カメラ50bは、被照射領域PLaに相対的に近い位置にある第1カメラ50aが−X側にあり、相対的に遠い位置にある第2カメラ50bが+X側にある上で、被照射領域PLaの+X側の領域を撮像することで、第1カメラ50a及び第2カメラ50b間での視差がよりつきやすくなっている。これは、対称性により、もう一対の第3カメラ50c及び第4カメラ50dの配置関係についても同様である。
なお、第1カメラ50a及び第2カメラ50bの撮像範囲と第3カメラ50c及び第4カメラ50dの撮像範囲とが重複する中央側の範囲については、例えばプロジェクター本体部100pのプロジェクター制御部側において、場所ごとに優先順位を決める等により衝突が生じないように適宜処理をすればよい。
また、上記の場合、各カメラ50a,50b,50c,50dにおいて被照射領域PLaの全体を取り込む必要がない。見方を変えると、各カメラにおいて被写体の像を大きくすることができる。さらに、上記の場合、被照射領域PLaの全体を取り込む場合と比較すると、スクリーンの端側をカメラの正面側に寄せた状態とすることができる。したがって、指示体の位置検知における誤差を小さくすることができると考えられる。
以上のように、4つのカメラ50a,50b,50c,50dについて、平面視矩形の筐体の四隅に配置し、対角位置にあるものを一対とし、かつ、撮像範囲を全体の半分程度であってさらにより視差がつきやすい範囲として取得された視差画像に基づいて視差情報を取得する構成とすることで、撮像システム50を筐体CAから大きくはみ出すことのないような構成としつつも、高精度に指示体OBの位置検知を行うことが可能になる。
また、本実施形態のプロジェクターシステム500では、上記のように、いわゆる超短焦点近接投射を行っている。このため、プロジェクター本体部100pに近接して取り付けられる撮像システム50(カメラ50a,50b,50c,50d)の撮影範囲をある程度広くすることが望ましい。さらに、ステレオカメラ方式で、指示体である指について3次元位置を取得するという観点からも広画角なものとする必要がある。このような場合、通常のレンズを適用することが難しい可能性が高く、魚眼レンズを利用することが考えられる。魚眼レンズとしては、例えばfθレンズと呼ばれるレンズを用いた等距離射影方式を採用すること等が考えられる。さらに、次式で示される特性のレンズを用いて撮像を行う(立体射影方式)ものとしてもよい。
Figure 2018152022
ここで、焦点距離をf、半画角(あるいは単に画角)をθ、像高をyとする。
この場合、等距離射影方式に比べて、撮像画像において、特に周辺側での歪み(圧縮)を抑制できる。
以下、図6等を参照して、撮像システム50による位置検知の精度の評価方法に関して考察する。図6〜図8は、視差情報に関する精度についての指標の一例として、ステレオカメラの誤差領域を算出する方法について説明するための図である。
まず、図6は、上記した第1カメラ50a及び第2カメラ50bにおいて対象となる撮像範囲について考察したものであり、例えば図中の点C1,C2は、それぞれプロジェクター100における第1及び第2カメラ50a,50bの設置位置を示す。上記のように、一対の第1カメラ50a及び第2カメラ50bによって被照射領域PLaのうち+X側の半分の領域を撮像しようとすると、被照射領域PLaの右下隅の位置である点C3が2つのカメラ50a,50bから最も距離が離れているため、視差が小さく検出精度が最も低い位置になる。すなわち、当該箇所における指示体の検出が確実に行えるものとする必要があることになる。そこで、ここでは、点C1,C2及び点C3の3点を通る平面EP1を基準面として、点C3及びその近辺についての位置検知に際して、各カメラ50a,50bで生じる誤差について考察する。なお、図示のように、ここでは、平面EP1上において、点C1と点C2とを通る直線の方向をx方向とするとともに、平面EP1上においてx方向に垂直な方向であって点C3側を+とする方向をy方向とし、x方向とy方向とについて、点C1,C2の中点を基準としてx軸及びy軸を定める。
上記の場合において、図7に示すように、点C1からx軸に対して仰角θ1で延びる軸X1と、点C2からx軸に対して仰角θ2で延びる軸X2とが点C3で交わっているものとする。この場合、軸X1と軸X2とがなす角の角度θ3が点C3における第1カメラ50aと第2カメラ50bとの角度差(視差)に相当する。角度θ3は、上記のように、3つの点C1,C2及び点C3の位置関係すなわち第1及び第2カメラ50a,50bと被照射領域PLaとの配置で定まる値であり、角度θ3が大きいほど、視差がつけやすいことを示すものである。
また、一方で、図中において、各点C1,C2から各軸X1,X2を中心に広がる微小角度Δθ1,Δθ2が示されている。これらの微小角度Δθ1,Δθ2は、各カメラ50a,50bの性能を示すものである。
図8は、微小角度Δθ1,Δθ2に相当する微小角度Δθの性質について説明するための図である。図8に示すように、カメラ50a(あるいはカメラ50b)を構成する受光素子REやレンズLSに関して、微小角度Δθは、レンズLSを通して受光素子REの1つ分の画素のピッチPHに取り込まれる光の範囲に相当するものである。すなわち、この範囲にあるものは、受光素子RE上同一の点とみなされる限界を示している。つまり、図7における微小角度Δθ1,Δθ2は、各カメラ50a,50bの性能に伴う解像の限界を示している。言い換えると、この角度以下の範囲ついては各カメラ50a,50bにおいて全て一画素と扱われ識別されず全て誤差の範囲内として取り扱われることになる。以上のことから、図7に示すように、各軸X1,X2を中心に広がる微小角度Δθ1,Δθ2と角度θ3とで定まる四角形の領域を誤差領域ERとする。誤差領域ERの形状は、微小角度Δθ1,Δθ2及び角度θ3で定まり、上記のように、微小角度Δθ1,Δθ2が小さいほど、また、角度θ3が大きいほど高精度な位置検出が行えることを示すものとなる。このことは、誤差領域ERの形状で考えてみると、微小角度Δθ1,Δθ2が大きいほど、大きくなり、また、角度θ3が小さいほど細長くなると考えらえる。すなわち、誤差領域ERが、細長く大きくなるほど位置検出の精度が悪く、小さく縦横のバランスが取れた形状となるほど位置検出の精度が良くなっていると考えることができる。そこで、誤差領域ERを内包する最小の円MCの大きさ(円MCの半径)をもって位置検出の精度の指標とすることが考えられる。なお、画像処理を施すことで、上記のような一画素よりも小さい単位で識別を行うことも可能であるが、上記が位置検知の精度の指標の1つである点については変わりない。
図9等は、本実施形態のプロジェクター100について具体的一構成例について指標を検討したものであり、例えば図9の上段側において、具体的一構成例における点C1,C2及び点C3の3点を通る基準面を示している。具体的に説明すると、上記したプロジェクター100において、筐体CAは、横幅W1=367mm、奥行き幅T1=400mmであり、その中央に投射レンズ40を配置して下方斜め投射する。ここでは、プロジェクター100の投射距離(Z方向の距離)は722mmであるものとし、被照射領域PLaのサイズは、120インチ(アスペクト比16:10)とする。投射距離と、被照射領域PLaの横サイズとで表されるスローレシオは、約0.28とする。一方、筐体CAの四隅に配置される各カメラ50a,50b,50c,50dは、既述のように、横方向(X方向)についてのカメラ間の距離V1=240mm、奥行き方向(Z方向)についてのカメラ間の距離V2=250mmとなっており、距離V1と距離V2との関係から、対角位置にあるカメラ間の距離V3=347mmとなるものとする。さらに、第1及び第3カメラ50a,50cのあおり角α1は、α1=27°、第2及び第4カメラ50b,50dのあおり角α2は、α2=15°とする。なお、角度θ3は、仰角θ2と仰角θ1との差で定まるが、上記の場合において定まる仰角θ1,θ2の値から、角度θ3は、約8.1°となる。
また、各カメラ50a,50b,50c,50dは、同一の規格であり、ここでは、一例として、撮像レンズ系については、立体射影方式のものであって、その焦点距離fを、f=2.82mmとする。また、受光素子(撮像素子)については、図10Aに示すように、エリアSEの横サイズWS1を縦サイズHS1とし、アクティブエリアAEの横サイズWS2を縦サイズHS2とする。ここでは、横サイズWS1=5.12mm、縦サイズHS1=3.84mm、横サイズWS2=4.48mm、縦サイズHS2=3.20mmとする。さらに、受光素子(撮像素子)の画素数を2048×1536とする。この場合、図8に示す画素ピッチPHの値は、2.5μmとなる。
以上のような構成の各カメラ50a,50b,50c,50dでは、まず、撮像レンズ系について、立体射影方式であることから、既述のように、下記の式(1)
Figure 2018152022
ここで、焦点距離をf、半画角(あるいは単に画角)をθ、像高をyとする。
を満たす。上式(1)を変形すると、
Figure 2018152022
となる。上式(2)を参照して、図8に示す微小角度Δθを規定すると、
Figure 2018152022
ここで、PHは画素ピッチを示す。
と表されることになる。なお、図10Bは、上式(3)について、横軸を像高y、縦軸を微小角度Δθとしたときのグラフである。ここで、上記のような各数値での設計の場合、点C1に設置されたカメラ50aがスクリーンSCの右隅の位置に相当する点C3を撮影するときの画角は、約57.9°となる。この場合、上式(1)から、像高yが約3.1mmとなり、さらに、画素ピッチPHの値が2.5μmであることから、上式(3)あるいはこれに対応する図10Bのグラフより、微小角度Δθ1は、約0.039°となる。また、点C2に設置されたカメラ50bが点C3を撮影するときの画角は、約59.7°となる。この場合、同様の計算により、像高yが約3.2mmとなり、微小角度Δθ2は、約0.038°となる。
以上のような場合、すなわち角度θ3=8.1°、微小角度Δθ1=0.039°、微小角度Δθ2=0.038°となる場合、図9中において下段で示すような誤差領域ER及びこれを内包する最小円MCとなった。
なお、これと同程度の大きさの誤差領域ER及び最小円MCに収まるような撮像システムを、仮に、上記カメラ50a等を同等の性能を有する2つのカメラをX方向に並べることによって構成しようとすると、カメラ間の距離(横幅の間隔)を600mm程度としなくてはならないことが分かっている。この場合、上記のようなサイズの筐体CAでは、撮像部(カメラ)が大きくはみ出してしまうことになる。むろん、2つのカメラ間の距離を600mm以下、例えば上記と同じく240mm程度とすると、十分な視差情報が取得できない。
以上のように、本実施形態に係るプロジェクターシステム500では、撮像システム50を構成する4つの撮像部であるカメラ50a,50b,50c,50dによって撮像範囲の異なる2組の視差画像を撮像可能とすることで、高い精度での位置検知を可能にする視差情報を、各カメラ間の距離をより短いものとしつつ取得できる。これにより、例えば視差情報を利用して投射画面である被照射領域PLa上の指示体OBを検出することで、インタラクティブな画像投射を実現するにあたって、装置の小型化を図ることができる。
〔第2実施形態〕
以下、図11等を参照して、第1実施形態を変形した第2実施形態について説明する。なお、本実施形態に係るプロジェクターシステム600は、撮像システム250の姿勢を変化させる構成となっていることを除いて、第1実施形態と同様の構成であるので、プロジェクターシステム全体の説明を省略する。また、具体的一構成例(具体的仕様)についても第1実施形態において示した場合と同様であるものとする。
図11は、本実施形態のプロジェクターシステム600を構成するプロジェクター200における撮像システム250の姿勢について示す図であり、図3に対応する図である。また、図12は、撮像システム250を構成する第1〜第4カメラ250a,250b,250c,250dのうち、一対の第1カメラ250aと第2カメラ250bによる視差画像の取得とその撮像範囲について説明するための図であり、図5に対応する図である。
まず、図11に示すように、第1実施形態と異なり、第1〜第4カメラ250a,250b,250c,250dの光軸AX1〜AX4は、XZ面に平行な面について射影してみた場合においても、プロジェクター本体部100pの光軸PXに対して平行となっておらず、傾いている。さらに、第1実施形態と同様に、各カメラ250a,250b,250c,250dは、所定角度範囲内のあおり角で傾いている。
ただし、一対構成となっている第1カメラ250aと第2カメラ250bとは、XZ面に平行な面について射影してみた場合において平行となるように同程度で撮像範囲である+X側に傾いている。同様に、もう一方の一対構成となっている第3カメラ250cと第4カメラ250dとは、XZ面に平行な面について射影してみた場合において平行となるように同程度で撮像範囲である−X側に傾いている。つまり、各カメラ250a,250b,250c,250dは、被照射領域PLaのうち撮像する範囲に対応してそれぞれ傾いている。また、見方を変えると、被照射領域PLa側すなわちスクリーンSC側の第1カメラ250a及び第3カメラ250cは、内側に傾き、スクリーンSCから遠い側の第2カメラ250b及び第4カメラ250dは、外側に傾いている。ここでは、一例として、XZ面に平行な面について射影してみた場合において、各光軸AX1〜AX4は、光軸PXに対して20°傾いているものとする。
この場合、図12に示すように、例えば一対構成の第1カメラ250a及び第2カメラ250bは、第1実施形態の場合(図5参照)と比べて、やや傾いた状態で撮像が行われることになる。これは、第3カメラ250c及び第4カメラ250dにおいても同様である。
図13では、第1実施形態の場合での第1カメラ50a及び第2カメラ50bによる撮像の様子を上段に示し、第2実施形態の場合での第1カメラ250a及び第2カメラ250bによる撮像の様子を下段に示し、これらを比較する図である。図中において、実線の円CR1は、画角80度に相当するラインを示すものであり、破線の円CR2は、必要最大画角を示すラインである。円CR2は、図中に示す被照射領域PLaの半分の領域に相当する必須撮像範囲EIのうち、最も大きな画角を要する位置EEを通る画角のラインである。円CR1を基準に図13の上段と下段とを比較すると、下段の円CR2の方が小さいことが分かる。すなわち、本実施形態の場合、カメラの画角をより小さくできることが分かる。なお、本実施形態の場合も、具体的一構成例(具体的仕様)における誤差領域ER及びこれを内包する最小円MCを規定する微小角度Δθ1,Δθ2や角度θ3の値については、第1実施形態の場合と差が見られなかった。
本実施形態においても、撮像システム250を構成する4つの撮像部であるカメラ250a,250b,250c,250dによって撮像範囲の異なる2組の視差画像を撮像可能とすることで、高い精度での位置検知を可能にする視差情報を、各カメラ間の距離をより短いものとしつつ取得できる。これにより、例えば視差情報を利用して投射画面である被照射領域PLa上の指示体を検出することで、インタラクティブな画像投射を実現するにあたって、装置の小型化を図ることができる。
〔その他〕
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
上記では、撮像システム50,250は、プロジェクター100,200を構成する一部として組み込まれるものとすることもできるが、例えば、撮像システム50,250は、プロジェクター100,200とは別体の撮像装置として存在するものとしてもよい。
また、上記では、具体的一構成例(具体的仕様)に即して説明しているが、これはあくまで一例であり、構成例については種々の多様な場合が考えられる。
また、上記では、プロジェクター制御部や、プロジェクター100に接続可能なPC等において各種処理をなすものとして記載しているが、担わせる処理については、種々の態様が可能である。例えば、各種制御の一部又は全部をPC等の外部接続機器で行う(PC等がプロジェクター制御部を構成する)ものとしてもよい。また、逆に、PCレスとすることも可能である。
また、上記では、キャリブレーションにおいて、パターン画像PTを緑色波長帯域の光で構成されるパターン画像光GLによって投影するものとしているが、パターン画像PTの投影については、緑色波長帯域の光に限らず、他の波長帯域の光を利用することも考えられる。
また、上記では、プロジェクター本体部100pを構成する光源や光変調装置、投射光学系等については、図示や詳細な説明を一部省略しているが、種々の態様が適用可能であり、例えば光源に関しては、上記のほか、例えば高圧水銀ランプ等を利用し、3色の光源に分離して適用することも可能である。光変調装置については、上記のほか、例えば光変調装置についても液晶パネルにカラーフィルターを利用したものや、反射型液晶パネル、デジタル・マイクロミラー・デバイス等により構成するといった種々の態様が考えられる。
AE…アクティブエリア、AX1-AX4…光軸、C1,C2,C3…点、CA…筐体、CD…立体的領域、CR1,CR2…円、D1…第1方向、D2…第2方向、EE…位置、EI…必須撮像範囲、EP1…平面、ER…誤差領域、GL…パターン画像光、LS…レンズ、MC…円、OB…指示体、P1…投射方向、PH…ピッチ、PL…投射光、PLa…被照射領域、PLi…映像画像、PT…パターン画像、PX…光軸、RE…受光素子、SC…スクリーン、SE…エリア、T1…幅、V1,V2,V3…距離、W1…横幅、X1,X2…軸、f…焦点距離、Δθ,Δθ1,Δθ2…微小角度、α1,α2…あおり角、θ1,θ2…仰角、θ3…角度、40…投射レンズ、50…撮像システム、50a…第1カメラ(第1撮像部)、50b…第2カメラ(第2撮像部)、50c…第3カメラ(第3撮像部)、50d…第4カメラ(第4撮像部)、100…プロジェクター、100p…プロジェクター本体部、200…プロジェクター、250…撮像システム、250a,250b,250c,250d…第1〜第4カメラ(第1〜第4撮像部)、500…プロジェクターシステム、600…プロジェクターシステム

Claims (15)

  1. 画像光を投射するプロジェクター本体部と、
    前記プロジェクター本体部からの画像光の投影領域において、撮像範囲の異なる2組の視差画像を撮像可能とする第1撮像部、第2撮像部、第3撮像部及び第4撮像部と
    を備えるプロジェクターシステム。
  2. 前記第1撮像部は、前記プロジェクター本体部の投射光軸に対して、前記プロジェクター本体部の投射方向に垂直な第1方向に離間した位置に配置され、
    前記第2撮像部は、前記投射光軸に対して、前記第1方向と反対の方向である第2方向に離間した位置に配置され、
    前記第1撮像部と前記第2撮像部とにおいて、前記プロジェクター本体部からの画像光の投影領域までの距離が異なっており、
    前記第1撮像部と前記第2撮像部とは、1組の視差画像を撮像する、請求項1に記載のプロジェクターシステム。
  3. 前記第3撮像部は、前記投射光軸に対して前記第2方向に離間した位置に配置され、
    前記第4撮像部は、前記投射光軸に対して前記第1方向に離間した位置に配置され、
    前記第3撮像部と前記第4撮像部とにおいて、前記プロジェクター本体部からの画像光の投影領域までの距離が異なっており、
    前記第3撮像部と前記第4撮像部とは、前記第1撮像部と前記第2撮像部とによる1組の視差画像とは別の1組の視差画像を撮像する、請求項2に記載のプロジェクターシステム。
  4. 前記第1撮像部および前記第3撮像部は、前記第2撮像部および前記第4撮像部よりも投影領域に近い側に配置されている、請求項3に記載のプロジェクターシステム。
  5. 前記第1〜第4撮像部は、所定角度範囲内のあおり角で傾いており、
    前記第1撮像部は、前記第2撮像部よりもあおり角が大きく、
    前記第3撮像部は、前記第4撮像部よりもあおり角が大きい、請求項4に記載のプロジェクターシステム。
  6. 前記第1撮像部と前記第3撮像部とにおいて、前記プロジェクター本体部からの画像光の投影領域までの距離が等しい、請求項3〜5のいずれか一項に記載のプロジェクターシステム。
  7. 前記第2撮像部と前記第4撮像部とにおいて、前記プロジェクター本体部からの画像光の投影領域までの距離が等しい、請求項3〜6に記載のプロジェクターシステム。
  8. 前記第1〜第4撮像部は、前記プロジェクター本体部を収納する筐体の四隅に配置されている、請求項1及び2のいずれか一項に記載のプロジェクターシステム。
  9. 前記第1撮像部及び第2撮像部は、前記プロジェクター本体部を収納する筐体の四隅の対角位置に配置され、
    前記第3撮像部及び第4撮像部は、前記筐体の四隅のうち前記第1撮像部及び第2撮像部とは別の対角位置に配置されている、請求項3に記載のプロジェクターシステム。
  10. 前記第1撮像部及び第2撮像部は、前記プロジェクター本体部からの画像光の投影領域のうち少なくとも半分の領域について撮像し、
    前記第3撮像部及び第4撮像部は、前記プロジェクター本体部からの画像光の投影領域のうち前記第1撮像部及び第2撮像部において撮像されない残りの領域を含む少なくとも半分の領域について撮像する、請求項3〜9のいずれか一項に記載のプロジェクターシステム。
  11. 前記第1撮像部及び第2撮像部は、画像光の投影領域のうち、前記第1方向と前記第2方向とのうちの一方向側の端の領域を含む少なくとも半分の領域を撮像し、
    前記第3撮像部及び第4撮像部は、画像光の投影領域のうち、前記第1方向と前記第2方向とのうちの他方向側の端の領域を含む少なくとも半分の領域を撮像する、請求項3〜9のいずれか一項に記載のプロジェクターシステム。
  12. プロジェクター本体部は、画像光を斜方投射する、請求項1〜11のいずれか一項に記載のプロジェクターシステム。
  13. 前記第1〜第4撮像部は、前記プロジェクター本体部からの画像光の投影領域について撮像する範囲に対応してそれぞれ傾いている、請求項1〜12のいずれか一項に記載のプロジェクターシステム。
  14. 前記第1〜第4撮像部は、前記プロジェクター本体部からの画像光の投影領域を含む撮像領域を撮像して前記撮像領域に存する指示体を検出可能にする、請求項1〜13のいずれか一項に記載のプロジェクターシステム。
  15. 前記第1〜第4撮像部で取得した画像光の情報に基づく画像投射位置と、前記第1〜第4撮像部により検出された指示体の位置とを特定し、特定された指示体の位置の情報を反映した画像投射を行う、請求項1〜14のいずれか一項に記載のプロジェクターシステム。
JP2017049697A 2017-03-15 2017-03-15 プロジェクターシステム Active JP6822234B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017049697A JP6822234B2 (ja) 2017-03-15 2017-03-15 プロジェクターシステム
US15/907,818 US10516864B2 (en) 2017-03-15 2018-02-28 Projector system
CN201810209136.1A CN108632586B (zh) 2017-03-15 2018-03-14 投影仪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017049697A JP6822234B2 (ja) 2017-03-15 2017-03-15 プロジェクターシステム

Publications (3)

Publication Number Publication Date
JP2018152022A true JP2018152022A (ja) 2018-09-27
JP2018152022A5 JP2018152022A5 (ja) 2020-02-27
JP6822234B2 JP6822234B2 (ja) 2021-01-27

Family

ID=63520774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017049697A Active JP6822234B2 (ja) 2017-03-15 2017-03-15 プロジェクターシステム

Country Status (3)

Country Link
US (1) US10516864B2 (ja)
JP (1) JP6822234B2 (ja)
CN (1) CN108632586B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085552A (ja) * 2016-11-21 2018-05-31 セイコーエプソン株式会社 プロジェクターシステム
JPWO2018167999A1 (ja) * 2017-03-17 2020-01-16 パナソニックIpマネジメント株式会社 プロジェクタ及びプロジェクタシステム
CN111258157B (zh) * 2018-11-30 2023-01-10 中强光电股份有限公司 投影机及亮度调整方法
CN111258158B (zh) 2018-11-30 2022-10-25 中强光电股份有限公司 投影机及亮度调整方法
CN110798670A (zh) * 2019-11-11 2020-02-14 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影设备及介质
CN217060959U (zh) * 2022-03-24 2022-07-26 中强光电股份有限公司 互动式投影系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
JP2007271301A (ja) * 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
JP2016114963A (ja) * 2014-12-11 2016-06-23 株式会社リコー 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6329963B1 (en) * 1996-06-05 2001-12-11 Cyberlogic, Inc. Three-dimensional display system: apparatus and method
US20030071813A1 (en) * 1996-06-05 2003-04-17 Alessandro Chiabrera Three-dimensional display system: apparatus and method
US6259450B1 (en) * 1996-06-05 2001-07-10 Hyper3D Corp. Three-dimensional display system apparatus and method
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US20060197756A1 (en) * 2004-05-24 2006-09-07 Keytec, Inc. Multi-mode optical pointer for interactive display system
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101536494B (zh) * 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8941589B2 (en) * 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9823747B2 (en) * 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8370383B2 (en) * 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US7694161B2 (en) * 2006-06-30 2010-04-06 Intel Corporation Uncore thermal management
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
WO2008068456A2 (en) * 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
US7986321B2 (en) * 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
US9495013B2 (en) * 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US8941590B2 (en) * 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8723795B2 (en) * 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US20150371083A1 (en) * 2008-04-24 2015-12-24 Ambrus Csaszar Adaptive tracking system for spatial input devices
US9933852B2 (en) * 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US9971807B2 (en) * 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
CN102576154A (zh) * 2009-10-30 2012-07-11 惠普发展公司,有限责任合伙企业 立体显示系统
JP2012078658A (ja) * 2010-10-04 2012-04-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2012150636A (ja) 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
WO2012135153A2 (en) * 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
JP2014522591A (ja) * 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
US9733789B2 (en) * 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP5869106B2 (ja) * 2012-05-01 2016-02-24 セントラルエンジニアリング株式会社 ステレオカメラ及びステレオカメラシステム
CN102679961B (zh) * 2012-05-23 2013-04-10 武汉大学 便携式四目立体摄影测量系统及方法
CN103677240B (zh) * 2012-09-24 2017-08-25 株式会社理光 虚拟触摸交互方法和虚拟触摸交互设备
CN105190226B (zh) * 2013-03-12 2017-09-19 富士胶片株式会社 图像判定装置、摄像装置、三维计量装置以及图像判定方法
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
JP6232730B2 (ja) * 2013-04-16 2017-11-22 セイコーエプソン株式会社 プロジェクターおよび制御方法
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition
US9838677B1 (en) * 2013-06-27 2017-12-05 Amazon Technologies, Inc. Detecting impact events for dropped devices
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
JP6417690B2 (ja) 2014-01-21 2018-11-07 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法
JP2015167341A (ja) * 2014-02-13 2015-09-24 株式会社リコー マルチプロジェクションシステム
US9471119B2 (en) * 2014-05-13 2016-10-18 International Business Machines Corporation Detection of deleted records in a secure record management environment
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
JP2016177491A (ja) * 2015-03-19 2016-10-06 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2016184362A (ja) * 2015-03-26 2016-10-20 富士通株式会社 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US10122998B2 (en) * 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams
US10067569B2 (en) * 2015-08-14 2018-09-04 Fresenius Medical Care Holdings, Inc. Touchless interface for a medical treatment system
US10408934B2 (en) * 2015-08-19 2019-09-10 Canon Kabushiki Kaisha Object information acquiring apparatus
CN108140358A (zh) * 2015-09-29 2018-06-08 富士胶片株式会社 附带距离图像获取装置的投影装置以及投影方法
CN108028883B (zh) * 2015-09-30 2020-11-03 索尼公司 图像处理装置和图像处理方法
US9549174B1 (en) * 2015-10-14 2017-01-17 Zspace, Inc. Head tracked stereoscopic display system that uses light field type data
CN105518228B (zh) * 2015-10-15 2018-06-01 株式会社小松制作所 位置计测系统、工作机械以及位置计测方法
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
JP6249248B2 (ja) * 2016-03-10 2017-12-20 パナソニックIpマネジメント株式会社 投影装置
CN105654502B (zh) * 2016-03-30 2019-06-28 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
JP6756149B2 (ja) * 2016-05-18 2020-09-16 セイコーエプソン株式会社 プロジェクター
JP2018056799A (ja) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 プロジェクターシステム及び撮像装置
JP2018056800A (ja) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 プロジェクターシステム
US20180198970A1 (en) * 2017-01-12 2018-07-12 Intel Corporation High dynamic range imaging using camera arrays
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values
JP6892286B2 (ja) * 2017-03-03 2021-06-23 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP7236680B2 (ja) * 2018-02-09 2023-03-10 パナソニックIpマネジメント株式会社 投影システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
JP2007271301A (ja) * 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
JP2016114963A (ja) * 2014-12-11 2016-06-23 株式会社リコー 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法

Also Published As

Publication number Publication date
JP6822234B2 (ja) 2021-01-27
CN108632586B (zh) 2021-04-20
US20180270460A1 (en) 2018-09-20
CN108632586A (zh) 2018-10-09
US10516864B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
JP2018152022A (ja) プロジェクターシステム
CN108377378B (zh) 摄像装置
JP6681470B2 (ja) 奥行き知覚3眼カメラシステム
US10602108B2 (en) Projection display unit
WO2014006832A1 (ja) サイズ測定装置及びサイズ測定方法
US20160212408A1 (en) Three-Dimensional Camera Assembly, Terminal Apparatus and Ranging Method
CN108072335B (zh) 三维形状测量装置
TW201533612A (zh) 感測器與投射器之校準技術
JP2010257089A (ja) 光学式位置検出装置
US10148944B2 (en) Calibration method of an image capture system
CN109116663B (zh) 一种结构光模组的平行aa方法、装置及可读存储介质
US9639209B2 (en) Optical touch system and touch display system
TW201738551A (zh) 透明板表面檢查裝置、透明板表面檢查方法、及玻璃板之製造方法
JP2015212927A (ja) 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
WO2018092627A1 (ja) プロジェクターシステム
TWI564773B (zh) 光學觸控系統及其光學觸控裝置
JP2014202661A (ja) 測距装置
JP2018085553A (ja) プロジェクターシステム
JPWO2013153645A1 (ja) 撮像装置及び画像処理装置
JP5943525B2 (ja) 実装用・検査用データ作成装置及び実装用・検査用データ作成方法
JP2016004087A (ja) 撮像装置、実装部品撮像装置
JP2014233005A (ja) 画像表示装置
JP2016031524A (ja) アライメントシステム
TWI423095B (zh) 利用不同時形成的光域之物體偵測系統及方法
JP2013228592A (ja) 画像表示装置及び表示制御装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150