JP2019174513A - 表示装置、及び、表示装置の制御方法 - Google Patents

表示装置、及び、表示装置の制御方法 Download PDF

Info

Publication number
JP2019174513A
JP2019174513A JP2018059463A JP2018059463A JP2019174513A JP 2019174513 A JP2019174513 A JP 2019174513A JP 2018059463 A JP2018059463 A JP 2018059463A JP 2018059463 A JP2018059463 A JP 2018059463A JP 2019174513 A JP2019174513 A JP 2019174513A
Authority
JP
Japan
Prior art keywords
detection
light
unit
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018059463A
Other languages
English (en)
Other versions
JP2019174513A5 (ja
Inventor
啓介 東
Keisuke Azuma
啓介 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018059463A priority Critical patent/JP2019174513A/ja
Priority to CN201910225726.8A priority patent/CN110308825B/zh
Priority to US16/364,736 priority patent/US10719000B2/en
Publication of JP2019174513A publication Critical patent/JP2019174513A/ja
Publication of JP2019174513A5 publication Critical patent/JP2019174513A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2066Reflectors in illumination beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Abstract

【課題】光を利用して操作を検出する装置において、障害物の影響に関する情報をユーザーに提供する。【解決手段】投射部200と、投射部200の表示領域に対応して設定される検出領域に、検出光を放射する検出光照射部410と、照射検出光IDLが検出領域において反射された反射光を受光する撮像部300と、非発光指示体80による操作の検出、及び、検出光を遮る障害物の検出を行い、障害物に関する情報を投射部200により表示させる制御部700と、を備える、プロジェクター100。【選択図】図4

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。
従来、ユーザーの操作による指示位置を、光を利用して検出する装置が知られている(例えば、特許文献1参照)。特許文献1に記載された画像投影装置は、電子ペンの指示位置を検出してインタラクティブ操作を実現する。また、特許文献1の画像投影装置は、障害物を検出した場合に、障害物の影響を受ける領域を、操作を有効とする領域から除くよう設定する。
特開2017−9829号公報
上記従来の構成では、障害物が検出されたことにより操作が行えなくなったことを、ユーザーが認識できない可能性があった。
本発明は、上述した事情に鑑みてなされたものであり、光を利用して操作を検出する装置において、障害物により操作の検出が影響を受ける場合に、障害物の影響に関する情報をユーザーに提供することを目的とする。
上記課題を解決するため、本発明の表示装置は、画像を表示する表示部と、前記表示部が画像を表示する表示領域に対応して設定される検出領域に、検出光を放射する光放射部と、前記検出光が前記検出領域において反射された反射光を受光する受光部と、前記受光部の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を前記表示部により表示させる制御部と、を備える。
本発明によれば、障害物に関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物についての情報を提供できる。
また、本発明は、前記制御部は、前記表示領域における前記障害物の位置を前記表示部により表示させる構成であってもよい。
この構成によれば、障害物の位置に関する情報をユーザーに提供できる。
また、本発明は、前記制御部は、前記検出領域において前記障害物により前記検出光の照射が妨げられる検出支障領域を特定し、前記検出支障領域を前記表示部により表示させる構成であってもよい。
この構成によれば、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
また、本発明は、前記制御部は、前記検出支障領域を示す画像と、前記検出領域における前記障害物の位置を示す画像とを、前記表示部により表示させる構成であってもよい。
この構成によれば、障害物の位置、及び、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
また、本発明は、前記制御部は、前記表示部により、前記検出支障領域における前記指示体の操作の検出を無効とするか否かの設定を求める設定要求を表示させる構成であってもよい。
この構成によれば、操作の検出を無効とするか否かの設定をユーザーに促すことができる。
また、本発明は、操作を受け付ける操作部を備え、前記制御部は、前記設定要求の表示に応じて前記操作部により受け付けた操作に従って、前記検出領域における操作を検出する処理を設定する構成であってもよい。
この構成によれば、ユーザーが、操作の検出に関する設定を行うことができる。
また、本発明は、前記受光部は、前記検出領域を含む範囲を撮像する撮像部であり、前記制御部は、前記撮像部の撮像画像から前記反射光の像を検出することにより、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行う構成であってもよい。
この構成によれば、検出光が反射した反射光を撮像画像から検出することによりユーザーの操作を検出する構成において、ユーザーに、障害物についての情報を提供できる。
また、本発明は、前記制御部は、前記撮像部の撮像画像から検出した前記反射光の像の重心、及び、前記反射光の像のサイズに基づいて、前記障害物の位置およびサイズを推定し、推定した前記障害物の位置およびサイズに基づく画像を前記表示部により表示させる構成であってもよい。
この構成によれば、撮像画像における反射光の像に基づき、障害物の位置およびサイズに関する情報をユーザーに提供できる。
また、上記課題を解決するため、本発明の表示装置の制御方法は、画像を表示する表示装置により、画像を表示する表示領域に対応して設定される検出領域に、検出光を放射し、前記検出光が前記検出領域において反射された反射光を受光し、前記反射光の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を表示する。
本発明によれば、障害物に関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物についての情報を提供できる。
本発明は、上述した表示装置、及び、表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の方法を実行するためにコンピューター(或いはプロセッサー)が実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
投射システムの概略構成図。 投射システムの正面図。 投射システムの側面図。 投射システムを構成するプロジェクター及び指示体のブロック図。 プロジェクターの制御部の機能ブロック図。 プロジェクターの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。 プロジェクターが投射する画像の例を示す図。 プロジェクターが投射するキャリブレーション画像の例を示す図。
[投射システムの概要]
図1は、本発明の一実施形態における投射システム900の斜視図である。投射システム900は、プロジェクター100と、自発光指示体70とを有する。また、投射システム900では、プロジェクター100と組み合わせて非発光指示体80を使用可能である。
投射システム900では、プロジェクター100に対応する位置に、スクリーン板920が配置される。スクリーン板920の前面は、スクリーンSSとして利用される。プロジェクター100は、支持部材910によってスクリーン板920の前方かつ上方に固定されている。なお、図1ではスクリーンSSを鉛直に配置しているが、スクリーンSSを水平に配置してこの投射システム900を使用することも可能である。また、スクリーンSSは、壁面に壁掛けされた幕であってもよいし、家具の一面であってもよく、壁面や床面をスクリーンSSとして利用する態様であってもよい。本実施形態において、スクリーンSSは、画像が投射される部材の表面を指す。
プロジェクター100は、スクリーンSSに画像光を投射することにより、スクリーンSS上に投射画像としての投射画面PSを形成する。投射画面PSは、プロジェクター100によってスクリーンSS上に投射された画像の領域を指す。プロジェクター100の通常の使用状態において、投射画面PSはスクリーンSSに収まるように投射される。
プロジェクター100が投射画面PSを投射する動作は、スクリーンSSに画像を表示する動作と呼ぶことができ、プロジェクター100は表示装置として機能する。プロジェクター100により投射される投射画面PSは、表示画像と呼ぶことができる。
投射画面PSは、例えば、プロジェクター100が記憶し、或いはプロジェクター100が生成する画像データに基づき投射される画像である。プロジェクター100は、表示装置の一態様であり、プロジェクター100が投射画面PSを投射する動作は、表示装置が画像を表示する動作の一態様である。プロジェクター100内で描画された画像がない場合には、プロジェクター100から投射画面PSに光が照射されて、白色画像が表示される。
投射システム900は、プロジェクター100によって投射画面PSをスクリーンSSに投射する表示システムとして機能する。また、投射システム900では、スクリーンSSにおいて、自発光指示体70及び非発光指示体80によって位置指示操作を行うことができ、自発光指示体70及び非発光指示体80により指示された指示位置をプロジェクター100が検出する。
自発光指示体70は、発光可能な先端部71と、使用者が保持する軸部72と、軸部72に設けられたボタンスイッチ73とを有するペン型の指示体である。自発光指示体70の構成や機能については後述する。
投射システム900で利用可能な自発光指示体70の数は、1つであっても複数であってもよく、特に制限されない。非発光指示体80も同様である。非発光指示体80は、発光しないペンや、ユーザーの手指などである。以下、自発光指示体70と非発光指示体80とを区別しない場合は、単に、指示体780とも呼ぶ。本発明の指示体は、非発光指示体80に相当し、自発光指示体70を含んでもよい。
[投射システムの構成]
図2は、投射システム900の正面図であり、図3は投射システム900の側面図である。以下の説明では、スクリーンSSの左右に沿った方向をX方向と定義し、スクリーンSSの上下に沿った方向をY方向と定義し、スクリーンSSの法線に沿った方向をZ方向と定義する。なお、便宜上、X方向を「左右方向」とも呼び、Y方向を「上下方向」とも呼び、Z方向を「前後方向」とも呼ぶ。また、Y方向のうち、プロジェクター100から見て投射画面PSが存在する方向を「下方向」と呼ぶ。
プロジェクター100は、投射画面PSをスクリーンSS上に投射する投射レンズ210と、投射画面PSの領域を撮像する第1カメラ310及び第2カメラ320と、指示体780に検出光を照明する検出光照射部410(光放射部)とを有する。
第1カメラ310及び第2カメラ320の画角、すなわち撮像範囲は、スクリーンSSにおいて、少なくとも投射画面PSを含む範囲である。
検出光照射部410は、支持部材910またはスクリーン板920に固定され、スクリーンSSの上部に配置される。
検出光照射部410は、指示体780の先端部を検出する照射検出光IDLを、スクリーンSSを含む方向に照射する。詳細には、検出光照射部410は、図3に示すように、スクリーンSSに沿って面状に、検出光としての照射検出光IDLを照射する。検出光照射部410が照射する検出光としては、例えば近赤外光が使用される。
検出光照射部410は、例えば、LED等の検出光源と、検出光源が発する検出光をスクリーン面(スクリーン板920の表面)に沿って拡散させて照射検出光IDLとして照射する光学素子とを有する光照射装置である。検出光照射部410はスクリーンSSの上部より、下向きにほぼ180度の範囲に光を出射し、この光はスクリーンSSに沿う光の層を形成する。スクリーンSCの表面と光の層とは接触しないが、近接していることが好ましく、本実施形態では、スクリーンSCの表面と光の層との距離は、概ね10mm〜1mmの範囲内に調整される。
検出光照射部410が照射検出光IDLを照射する領域は、スクリーンSSにおいて、投射画面PSに対応する領域であり、好ましくは投射画面PSを含む領域である。
プロジェクター100は、非発光指示体80による操作を検出する場合、検出光照射部410が照射する照射検出光IDLが非発光指示体80に反射した反射光を、第1カメラ310または第2カメラ320の撮像画像から検出する。この場合、照射検出光IDLが照射される領域であって、第1カメラ310または第2カメラ320の画角に含まれる領域において、非発光指示体80の操作を検出できる。換言すれば、検出光照射部410が照射検出光IDLを照射する領域のうち、第1カメラ310または第2カメラ320の画角に含まれる領域が、非発光指示体80の操作を検出可能な検出領域である。本実施形態では、検出領域を図2に符号DSで示す。検出領域DSは、スクリーンSSにおいて、投射画面PSを含む。プロジェクター100は、検出光照射部410が照射する照射検出光IDLの反射光を利用して、自発光指示体70を検出してもよい。
第1カメラ310及び第2カメラ320は、検出光照射部410が発する検出光の波長を含む波長領域の光を受光して撮像する第1の撮像機能を少なくとも有する。第1カメラ310及び第2カメラ320のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第2の撮像機能を有し、これらの2つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、第1カメラ310及び第2カメラ320の各々は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な、図示しない近赤外フィルター切換機構を備えることが好ましい。第1カメラ310及び第2カメラ320は、左右方向(X方向)の位置が同じで、前後方向(Z方向)に所定の距離を空けて並んで配置されている。第1カメラ310及び第2カメラ320の配置は、本実施形態に限定されない。例えば、前後方向(Z方向)の位置が同じで、左右方向(X方向)に所定の距離を空けて並んで配置されてもよい。また、X,Y,Z全ての方向において位置が異なってもよい。第1カメラ310及び第2カメラ320を、Z方向の位置を変えて配置する構成、すなわち前後方向にずらして配置する構成では、三角測量による3次元位置の算出におけるZ座標の精度が高いため、好ましい。
プロジェクター100は、自発光指示体70または非発光指示体80の指示操作を検出し、指示位置を特定し、指示位置に対応する動作を行うことができる。例えば、プロジェクター100は、自発光指示体70または非発光指示体80の操作に対応して線や図形を描画し、投射画面PSとして投射するホワイトボードモードで動作する。ホワイトボードモードで、プロジェクター100は、描画する図形の属性やプロジェクター100の動作を設定するためのメニューバーを含む画像を投射画面PSとして投射してもよい。
また、プロジェクター100は、ホワイトボードモード以外の他のモードでも動作可能であり、例えば、パーソナルコンピューター等の図示しない画像ソースから入力される画像データに基づき、投射画面PSを投射する動作モードを実行できる。
プロジェクター100が照射検出光IDLを利用して指示体780を検出する場合、障害物Hによって検出が妨げられることがある。照射検出光IDLを遮るような障害物Hが、検出領域DSの内部または検出領域DSと検出光照射部410との間に位置する場合、検出領域DSにおいて照射検出光IDLが届かない領域が生じる。図2には、検出領域DSの内部に障害物Hが存在する例を示す。この例では、検出領域DSの内部において、障害物Hが照射検出光IDLの伝搬に影響を与えるため、符号HAで示す領域に照射検出光IDLが届かない。この領域を、検出支障領域HAと呼ぶ。
また、検出支障領域HAでは、自発光指示体70が使用されて自発光指示体70が指示体信号光PSL(図4)を照射した場合、指示体信号光PSLの伝搬が障害物Hにより妨げられる可能性がある。つまり、検出支障領域HAでは、非発光指示体80だけでなく、自発光指示体70の位置検出も障害物Hの影響を受ける。
図2の例では、照射検出光IDLが届かない検出支障領域HAは、障害物Hに重なる位置、及び、照射検出光IDLの光源である検出光照射部410に対して障害物Hより遠い側に位置する領域を含む。障害物Hが、照射検出光IDLを反射、屈折、或いは吸収する物体である場合、検出支障領域HAに照射検出光IDLが届かないか、照射検出光IDLの伝搬状態が変化する。このため、照射検出光IDLの反射光を撮像部300により撮像できないか、或いは、指示体780の位置の検出精度が低下する。図2に示す障害物Hは一例であり、照射検出光IDLを完全に透過する物体でなければ、形状や大きさを問わず、検出に影響を与える障害物Hとなり得る。より詳細には、図3に示すように面状に照射される照射検出光IDLに重なる位置で検出領域DSの内部または検出領域DSと検出光照射部410との間に位置する物体は、障害物Hとなる。
プロジェクター100は、検出支障領域HAで位置検出に支障が生じることに対応する機能を実行する。具体的には、障害物Hを検出する機能、障害物H及び検出支障領域HAに関する情報を表示する機能、検出支障領域HAにおける検出を行わないように設定する機能、及び、この設定をユーザーに求める機能を備える。
[プロジェクターの構成]
図4は、プロジェクター100と自発光指示体70の内部構成を示すブロック図である。プロジェクター100は、制御部700と、投射部200(表示部)と、投射画像生成部500と、位置検出部600と、撮像部300と、検出光照射部410と、信号光送信部430とを有する。
制御部700は、プロジェクター100内部の各部の制御を行う。また、制御部700は、位置検出部600で検出された自発光指示体70及び/または非発光指示体80の3次元位置の検出、及び、スクリーンSSへの接触検出を行う。制御部700は、自発光指示体70及び/または非発光指示体80の操作により指示された内容を判定し、その指示に基づき投射画像生成部500が投射画像を作成又は変更する処理を制御する。
投射画像生成部500は、投射画像を記憶する投射画像メモリー510を有する。投射画像メモリー510は、投射部200が投射する画像をフレーム単位で格納する、いわゆるフレームメモリーである。
投射画像生成部500は、画像データに基づいて、スクリーンSS上に投射される投射画像を投射画像メモリー510に描画する。投射画像生成部500は、投射画像メモリー510の画像を示す画像信号を光変調部220に出力して、投射部200により投射画面PSを投射させる。投射画像生成部500は、投射画像メモリー510に描画した画像に対する画像処理を実行する。例えば、投射画像生成部500は、投射画面PSの台形歪み等を補正する幾何補正処理、投射画面PSを拡大または縮小するデジタルズーム処理、投射画面PSの色調等を補正する色補正処理等を実行する。
投射部200は、投射画像生成部500で処理された画像をスクリーンSS上に投射する。投射部200は、投射レンズ210、光変調部220、及び、光源230を有する。光変調部220は、投射画像メモリー510から入力される画像信号に従って光源230からの光を変調し、投射画像光IMLを形成する。投射画像光IMLは、典型的には、RGBの3色の可視光を含むカラー画像光であり、投射レンズ210によってスクリーンSS上に投射される。なお、光源230としては、超高圧水銀ランプ等のランプ、LED(発光ダイオード)やレーザーダイオード等の固体光源、或いは他の光源など、種々の光源を採用可能である。また、光変調部220としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部220を備えた構成としてもよい。
信号光送信部430は、同期用の近赤外光信号である装置信号光ASLを送信する。装置信号光ASLは、自発光指示体70が後述する光検出部74により受信可能な光信号である。信号光送信部430は、プロジェクター100の起動中、装置信号光ASLを定期的に送信する。信号光送信部430の位置は、スクリーンSSにおいて自発光指示体70が使用される領域に装置信号光ASLを照射できる位置であればよい。例えば、信号光送信部430は、第1カメラ310または第2カメラ320に近接するようにプロジェクター100の本体に設置されてもよい。また、例えば、信号光送信部430は、検出光照射部410に近接した位置に配置されてもよい。
装置信号光ASLは、例えば、自発光指示体70に対し、先端発光部77から予め定められた発光パターンを有する近赤外光である指示体信号光PSLを送信するタイミングを指定する制御信号である。自発光指示体70は、例えば、装置信号光ASLを受信したタイミングに同期して、指示体信号光PSLを送信する。撮像部300の第1カメラ310及び第2カメラ320は、指示体780の位置検出を行う際に、装置信号光ASLに同期した所定のタイミングで撮像を実行する。このため、プロジェクター100は、自発光指示体70が指示体信号光PSLを発光するタイミングに合わせて、撮像部300による撮像を行える。
撮像部300(受光部)は第1カメラ310及び第2カメラ320を有する。第1カメラ310及び第2カメラ320は、検出光の波長を含む波長領域の光を受光して撮像する。図4に示すように、第1カメラ310及び第2カメラ320は、自発光指示体70が発する指示体信号光PSLを受光し、撮像する。また、第1カメラ310及び第2カメラ320は、検出光照射部410が発した照射検出光IDLが自発光指示体70または非発光指示体80に反射した反射光である反射検出光RDL(反射光)を受光し、撮像する。従って、第1カメラ310及び第2カメラ320のそれぞれの撮像画像から、指示体信号光PSL、及び、反射検出光RDLを検出できる。
位置検出部600は、第1カメラ310及び第2カメラ320の少なくともいずれかの撮像画像から指示体信号光PSL、及び、反射検出光RDLを検出する。位置検出部600は、検出した光の像について撮像画像における位置を特定し、自発光指示体70、及び非発光指示体80の位置を検出する。
第1カメラ310及び第2カメラ320は、例えば、検出光照射部410から照射検出光IDLが照射される第1の期間と、検出光照射部410から照射検出光IDLが照射されない第2の期間と、の両方で撮像を実行する。位置検出部600は、これらの2種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体70と非発光指示体80のいずれであるかを判定することが可能である。
なお、第1カメラ310及び第2カメラ320の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。この場合、スクリーンSS上に投射された投射画面PSをそのカメラで撮像し、その画像を利用して投射画像生成部500がキーストーン補正を実行することが可能である。1台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
位置検出部600は、例えば、第1カメラ310の撮像画像、及び、第2カメラ320の撮像画像を解析し、三角測量を利用して指示体780の先端部の3次元位置座標を算出する。位置検出部600は、上述の第1の期間と第2の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体780が、自発光指示体70と非発光指示体80のいずれであるかを判定する。また、位置検出部600は、算出した指示体780の先端部の3次元位置(座標)、又は自発光指示体70の発光パターンに基づいて、指示体780のスクリーンSSへの接触を検出する。
自発光指示体70は、上述した先端部71、軸部72、及びボタンスイッチ73に加え、光検出部74と、制御部75と、先端スイッチ76と、先端発光部77と、発光量調整部78と、電源部79と、を備える。
制御部75は、自発光指示体70の各部を制御して、装置信号光ASLを受光したことに対応する動作や、自発光指示体70の操作に対応する動作を実行する。
光検出部74は、信号光送信部430が送信する装置信号光ASLを受信する。光検出部74は、装置信号光ASLを受信したタイミングを示す制御信号や、装置信号光ASLをデコードして得られるデータ等を制御部75に出力する。
先端スイッチ76は、自発光指示体70の先端部71が押されるとオン状態になり、先端部71が解放されるとオフ状態になるスイッチである。先端スイッチ76は、通常はオフ状態にあり、先端部71がスクリーンSSに接触するとその接触圧によってオン状態になる。制御部75は、先端スイッチ76がオンである状態と、先端スイッチ76がオフの状態とで、異なる指示体信号光PSLを送信する。具体的には、先端スイッチ76がオフ状態のときには、制御部75は、先端スイッチ76がオフ状態であることを示す特定の第1の発光パターンで先端発光部77を発光させ、第1の発光パターンを有する指示体信号光PSLを発する。一方、先端スイッチ76がオン状態になると、制御部75は、先端スイッチ76がオン状態であることを示す特定の第2の発光パターンで先端発光部77を発光させ、第2の発光パターンを有する指示体信号光PSLを発する。これらの第1の発光パターンと第2の発光パターンは、互いに異なる。このため、プロジェクター100は、位置検出部600により撮像部300の撮像画像を解析して、先端スイッチ76がオンかオフかを識別できる。
ボタンスイッチ73は、先端スイッチ76と同じ機能を有する。制御部75は、ユーザーによってボタンスイッチ73が押された状態で、上記第2の発光パターンで先端発光部77を発光させ、ボタンスイッチ73が押されていない状態で、上記第1の発光パターンで先端発光部77を発光させる。つまり、制御部75は、先端スイッチ76とボタンスイッチ73の少なくとも一方がオンの状態では上記第2の発光パターンで先端発光部77を発光させる。また、先端スイッチ76とボタンスイッチ73の両方がオフの状態では上記第1の発光パターンで先端発光部77を発光させる。なお、ボタンスイッチ73に対して先端スイッチ76と異なる機能が割り当てられた構成であっても良い。
電源部79は、電源として一次電池、二次電池、光電池等の電池を備え、自発光指示体70の各構成に電力を供給する。自発光指示体70は、電源部79からの電源供給をオン/オフする電源スイッチを備えていてもよい。電源部79は、発光量調整部78に制御され、先端発光部77に供給する電流を調整する。
図5は、プロジェクター100が備える制御部700の機能ブロック図である。
制御部700は、プロセッサー710、及び、メモリー720を備える。メモリー720は、プロセッサー710が実行する制御プログラムやデータを不揮発的に記憶する記憶装置であり、フラッシュROM等の半導体記憶素子等で構成される。メモリー720は、プロセッサー710のワークエリアを構成するRAMを含んでもよい。
プロセッサー710は、CPU(Central Processing Unit)、マイコン、その他の演算処理装置で構成される。プロセッサー710は、メモリー720が記憶する制御プログラム721を実行することによって、投射制御部711、通信制御部712、検出制御部713、及び、操作検出部714として機能する。つまり、これらの機能ブロックは、プロセッサー710が、制御プログラム721を実行することにより、ソフトウェアとハードウェアの協働により実現される。
メモリー720は、制御プログラム721のほか、設定データ722、及び、撮像画像データ723を記憶する。
設定データ722は、プロジェクター100の動作に関する設定値を含む。設定データ722に含まれる設定値は、例えば、投射画像生成部500が実行する画像処理に関する設定や、投射画像生成部500が画像処理に用いるパラメーター等である。
撮像画像データ723は、撮像部300が出力する撮像画像データである。撮像部300は、第1カメラ310及び第2カメラ320の少なくともいずれかにより撮像を行う毎に、撮像画像データを制御部700に出力する。制御部700は、撮像画像データを解析する処理を行うため、メモリー720に撮像画像データを一時的に記憶する。
投射制御部711は、投射画像生成部500及び投射部200を制御して、投射画像生成部500により描画された画像を投射部200によって投射画面PSとして投射させる。
通信制御部712は、信号光送信部430を制御して、自発光指示体70に対し制御信号を送信させる。また、通信制御部712は、撮像画像データ723を解析することにより、自発光指示体70が発する赤外線信号を解析する。例えば、制御部75が、先端発光部77が発光するタイミングを、制御データを含むようにエンコードして、指示体信号光PSLを送信する構成であってもよい。この場合、通信制御部712は、撮像画像データ723に指示体信号光PSLの像が写るタイミングを特定してデコードすることにより、指示体信号光PSLに乗せて自発光指示体70が送信した制御データを受信できる。
操作検出部714(操作部)は、ユーザーによるプロジェクター100に対する操作を受け付ける。操作検出部714は、GUI(Graphical User Interface)を構成する画像を投射画像生成部500により生成し、投射部200が投射する場合、GUIに対する自発光指示体70及び非発光指示体80の操作を検出する。例えば、操作検出部714は、アイコンやボタン等、GUIを構成する操作用の画像に対する自発光指示体70及び非発光指示体80の操作を検出する。この場合、操作検出部714は、位置検出部600が検出する操作位置と、投射画像生成部500により生成した投射画面PSの内容とに基づき、操作位置に重なる操作用の画像を特定する。操作検出部714は、特定したアイコンやボタンに対応する処理を実行する。
また、操作検出部714は、撮像部300の撮像画像に基づき、自発光指示体70における先端部71の操作、及び、ボタンスイッチ73の操作を検出する。また、操作検出部714は、プロジェクター100の本体に設けられる操作パネルや、プロジェクター100を操作するためのリモコンの操作を検出する。
検出制御部713は、位置検出部600を制御して、自発光指示体70、及び、非発光指示体80の位置を検出する。また、検出制御部713は、位置検出に関するキャリブレーションを実行する。
[プロジェクターによる位置検出]
ここで、プロジェクター100が自発光指示体70及び非発光指示体80の位置を検出する処理について説明する。
投射システム900において送受信される信号光は、次の5通りである。
(1)投射画像光IML:スクリーンSSに投射画面PSを投射するために、投射レンズ210によってスクリーンSS上に投射される画像光である。投射画像光IMLはユーザーが視認可能な画像を形成するため、可視光である。
(2)照射検出光IDL:自発光指示体70及び非発光指示体80を検出するために、検出光照射部410が照射する近赤外光である。
(3)反射検出光RDL:照射検出光IDLが自発光指示体70及び非発光指示体80に反射した反射光であり、照射検出光IDLと同様に近赤外光である。
(4)装置信号光ASL:プロジェクター100と自発光指示体70との同期をとるために、プロジェクター100の信号光送信部430が発する近赤外光である。
(5)指示体信号光PSL:自発光指示体70が先端発光部77から発する近赤外光である。
本実施形態では、位置検出用のカメラとして、第1カメラ310を利用する例を説明する。この場合、第1カメラ310は、撮像部に相当する。この例では、検出制御部713は、第1カメラ310の撮像画像を取得し、撮像画像から指示体信号光PSLの像を検出することにより、自発光指示体70の位置を検出する。また、検出制御部713は、第1カメラ310の撮像画像から反射検出光RDLの像を検出することにより、非発光指示体80の位置を検出する。また、検出制御部713は、第1カメラ310の撮像画像から反射検出光RDLの像を検出して、自発光指示体70の位置を検出してもよい。また、プロジェクター100は、位置検出用のカメラとして第2カメラ320を用いることも勿論可能である。また、撮像部300が備える第1カメラ310及び第2カメラ320の両方を用いてもよい。
検出制御部713は、キャリブレーション処理として、第1カメラ310の撮像画像における指示体信号光PSLの像の位置と、スクリーンSSにおける自発光指示体70の位置とを対応付けるキャリブレーションデータを生成する。また、第1カメラ310の撮像画像における反射検出光RDLの像の位置と、スクリーンSSにおける非発光指示体80の位置とを対応付けるキャリブレーションデータを生成する。これらのキャリブレーションデータは、設定データ722としてメモリー720に記憶される。
また、検出制御部713は、検出支障領域HAで位置検出に支障が生じることに対応する機能を実行する。すなわち、検出制御部713は、第1カメラ310の撮像画像データから反射検出光RDLの像を検出することにより、障害物Hを検出する。また、検出制御部713は、障害物Hの位置およびサイズをもとに、検出支障領域HAを求める。検出制御部713は、障害物H、及び、検出支障領域HAに関する情報を、投射制御部711により投射画面PSとして表示させる。検出制御部713は、検出支障領域HAにおける操作を検出するか否かの設定を行うことをユーザーに要求する。また、検出制御部713は、ユーザーの操作に従って、検出支障領域HAにおける操作を検出するか否かの設定を行う。この設定は、操作検出部714が、自発光指示体70及び非発光指示体80の操作を検出する処理に適用される。
また、キャリブレーションを実行する際に、検出制御部713は、第1カメラ310の撮像画像を利用して、三角測量を行い、自発光指示体70または非発光指示体80の位置を特定してもよい。
検出制御部713は、位置検出部600を制御し、第1カメラ310が撮像した撮像画像が撮像した撮像画像とのそれぞれから、指示体信号光PSLの像を検出する。ここで、第1カメラ310の位置は、上述したようにスクリーンSSに対してオフセットしている。
検出制御部713は、撮像画像における指示体信号光PSLの像の位置の差と、とに基づき、三角測量の演算処理を実行し、自発光指示体70の位置を特定できる。同様に、検出制御部713は、第1カメラ310の撮像画像において、反射検出光RDLの像の位置を検出する。検出制御部713は、検出した像の位置の差と、とに基づき、三角測量の演算処理を実行し、非発光指示体80の位置を特定できる。これらの処理において、位置検出部600は、検出制御部713の制御に従って三角測量に係る演算処理を実行してもよい。また、位置検出部600が、撮像画像データ723における指示体信号光PSL及び/または反射検出光RDLの像の位置の検出を実行し、検出制御部713が、三角測量に係る演算処理を実行してもよい。
キャリブレーション処理で三角測量による位置検出を実行すると、キャリブレーションの実行後は、第1カメラ310の撮像画像に基づき、三角測量の処理を行わずに自発光指示体70の位置を特定できる。非発光指示体80についても同様である。すなわち、検出制御部713は、設定データ722のキャリブレーションデータに基づき、第1カメラ310の撮像画像から自発光指示体70及び非発光指示体80の位置を検出する。
検出制御部713は、障害物Hを検出する処理を任意のタイミングで実行することが可能である。本実施形態では、一例として、キャリブレーションを実行する際に、障害物Hの検出を含む処理を行う場合について説明する。
[プロジェクターの動作]
図6及び図7は、プロジェクター100の動作を示すフローチャートである。図6はキャリブレーションに関する動作を示し、図7は図6のステップS12の障害物検出処理を詳細に示す。
検出制御部713は、キャリブレーションの開始の指示を検出すると(ステップS11)、障害物Hを検出する障害物検出処理を実行する(ステップS12)。図6では、一例として、非発光指示体80の位置検出に関するキャリブレーションを行う場合を説明するが、自発光指示体70の位置検出に関するキャリブレーションに適用してもよい。
図7に、ステップS12の詳細を示す。
図7に示す動作を正常に実行するためには、動作中にユーザーが自発光指示体70及び非発光指示体80による操作を行わないことが望ましい。このため、図7の動作に先だって、検出制御部713は、投射部200により、自発光指示体70や非発光指示体80やその他物体をスクリーンSSに近づけないようにユーザーに報知するメッセージ等を表示させてもよい。
検出制御部713は、検出光照射部410による照射検出光IDLの照射を開始する(ステップS41)。プロジェクター100は、起動中に照射検出光IDLの照射を実行しているため、図7の動作開始時に、すでに照射検出光IDLを照射している場合は、検出制御部713はステップS41を省略する。
検出制御部713は、撮像部300による撮像を実行させ、撮像画像データを取得する(ステップS42)。ステップS42では、第1カメラ310及び第2カメラ320のいずれか一方のみにより撮像を実行してもよい。また、三角測量を実行できるように、第1カメラ310及び第2カメラ320の両方により撮像を実行してもよい。
検出制御部713は、ステップS42で取得した撮像画像データから反射検出光RDLの像を検出する(ステップS43)。検出制御部713は、反射検出光RDLの像の有無を判定し(ステップS44)、反射検出光RDLの像がない場合は(ステップS44;NO)、本処理を終了して図6に戻る。
撮像画像データに反射検出光RDLの像があると判定した場合(ステップS44;YES)、検出制御部713は、撮像画像データにおける反射検出光RDLの像の範囲を特定し、範囲情報を取得する(ステップS45)。範囲情報は、撮像画像データにおける反射検出光RDLの像の範囲を特定する情報であり、反射検出光RDLの像とそれ以外の境界を特定する情報である。検出制御部713は、ステップS45で取得した範囲情報に基づき、反射検出光RDLの像の座標を示す座標情報を取得する(ステップS46)。例えば、検出制御部713は、範囲情報で表される範囲の重心位置の座標を算出し、算出した座標を座標情報とする。
検出制御部713は、ステップS46で算出した重心位置の座標と、範囲情報とに基づき、検出領域DSにおける障害物Hの位置および障害物Hのサイズを特定する(ステップS47)。ステップS47で、検出制御部713は、例えば、設定データ722に含まれるキャリブレーションデータに基づき、撮像画像データにおける位置を投射画面PSにおける位置に変換することで、障害物Hの位置を特定する。また、ステップS42で第1カメラ310及び第2カメラ320の両方により撮像を実行した場合、検出制御部713は、ステップS47で、三角測量により障害物Hの位置を詳細に特定してもよい。
検出制御部713は、ステップS47で特定した障害物Hの位置、及び、サイズに対応して、障害物Hに関する情報を通知する障害物通知画像を生成する(ステップS48)。
検出制御部713は、ステップS47で特定した障害物Hの位置およびサイズと、検出光照射部410の位置とに基づき、検出支障領域HAを推定する(ステップS49)。検出制御部713は、ステップS49で推定した検出支障領域HAに対応して、検出支障領域HAに関する情報を通知する検出支障領域通知画像を生成する(ステップS50)。
検出制御部713は、ユーザーに障害物Hに関する情報を提供する通知UI(User Interface)、及び、検出支障領域HAに関する設定を促す設定UI(User Interface)を生成する(ステップS51)。通知UIは、ステップS48で生成した障害物通知画像、及び、ステップS50で生成した検出支障領域通知画像を含む。また、設定UIは、ユーザーに対し、検出支障領域HAにおける操作の検出を行わないか、行うかの設定を求めるGUIである。検出制御部713は、ステップS51で生成した通知UI及び設定UIを、投射部200により投射させる(ステップS52)。
図8は、プロジェクター100が投射する画像の例を示す図である。
図8に示す例では、障害物Hの位置に対応して、通知UI150が投射されている。通知UI150は、検出制御部713がステップS51で生成する通知UIの一例であり、通知メッセージ151、障害物通知画像155、及び、検出支障領域通知画像157を含む。
通知メッセージ151は、障害物Hが存在することを文字により通知するメッセージである。通知メッセージ151の位置は特に制限されないが、障害物Hの位置や検出支障領域HAを避けた位置であることが好ましい。
障害物通知画像155は、検出制御部713がステップS48で生成する障害物通知画像の一例である。障害物通知画像155は、障害物Hの位置をユーザーが認識できるように、障害物Hの位置を示す画像であり、矢印を含む各種の図形を用いることができる。障害物通知画像155は、図8に例示するように、障害物Hのサイズを示す円、楕円、矩形などの図形であってもよい。
検出支障領域通知画像157は、検出制御部713がステップS50で生成する検出支障領域通知画像の一例である。検出支障領域通知画像157は、検出領域DSにおいて障害物Hにより検出が妨げられる領域を、投射画面PSにおいて視認できるように示す画像である。図8の例のように、検出支障領域通知画像157は、検出支障領域HAに重なる有色の図形であってもよいし、検出支障領域HAと他の部分との境界を示す図形であってもよい。また、検出支障領域通知画像157は検出支障領域HAと一致する図形でなくてもよく、検出支障領域HAのおよその位置を示す矢印等であってもよい。
また、図8に示す例では、設定UI160が投射されている。設定UI160は、検出制御部713がステップS51で生成する設定UIの一例であり、通知メッセージ161、設定要求メッセージ162、設定ボタン163、164を含む。
通知メッセージ161は、検出支障領域HAが存在することを文字により通知する通知メッセージである。設定要求メッセージ162は、検出支障領域HAにおける位置検出に関して設定することを文字により要求するメッセージである。設定ボタン163、164は、ユーザーが自発光指示体70または非発光指示体80の操作により、検出支障領域HAにおける位置検出に関する設定を行うためのボタンである。図8の例では、設定ボタン163が操作されると、検出支障領域HAを検出領域DSから除外する設定がなされる。この場合、操作検出部714は、第1カメラ310の撮像画像データにおいて、検出支障領域HAに相当する位置で指示体信号光PSLまたは反射検出光RDLの像を検出した場合、この像について位置検出を行わない。
なお、検出支障領域HAを検出領域DSから除外する設定がなされた場合、操作検出部714は、検出支障領域HAで、指示体信号光PSLに基づく位置検出を行ってもよい。つまり、設定UI160の操作による設定は、操作検出部714が非発光指示体80の操作を検出する場合にのみ適用され、自発光指示体70の操作の検出に適用されない構成であってもよい。この場合、検出支障領域HAは、非発光指示体80の操作に限り位置検出を行わない領域となる。また、検出支障領域HAを検出領域DSから除外する設定は、反射検出光RDLに基づく位置検出に限って適用されるということもできる。
設定ボタン164が操作されると、検出制御部713は、検出支障領域HAを検出領域DSから除外しないよう設定する。この場合、検出制御部713は、第1カメラ310の撮像画像データに基づき、検出支障領域HAを含む検出領域DSの全体で、指示体信号光PSL及び反射検出光RDLの像に基づく位置検出を行うように設定データ722を設定する。この場合、操作検出部714は、障害物Hの位置にかかわらず、検出領域DSの全体で自発光指示体70及び非発光指示体80の操作を検出する。
例えば、ユーザーが、障害物Hを除去して検出領域DS全体を使用することを望む場合に、設定ボタン164が操作される。
設定UI160が投射画面PSにおいて投射される位置は特に制限されないが、設定ボタン163、164に対する操作を検出するため、障害物H及び検出支障領域HAに重ならない位置に投射されることが好ましい。
図7に戻り、検出制御部713は、設定UIに対する操作の有無を判定し(ステップS53)、操作がされない場合は(ステップS53;NO)、操作がなされるまで待機する。設定UIに対する操作が行われた場合(ステップS53;YES)、すなわち、設定ボタン163または設定ボタン164を選択する操作を検出した場合、検出制御部713は、操作に従って設定を行う(ステップS54)。設定UI160はGUIであるため、設定ボタン163、164に対する操作は、操作検出部714が検出する。検出制御部713は、操作検出部714が設定ボタン163、164に対する操作を検出することに対応して、ステップS53〜S54の処理を実行する。
ステップS54で、検出制御部713は、検出支障領域HAを、操作を検出しない非検出領域とするか、非検出領域としないかを設定する。非検出領域は、上述のように、検出制御部713が、第1カメラ310の撮像画像データにおいて指示体信号光PSLまたは反射検出光RDLの像を検出した場合に、この像について位置検出を行わない領域である。ステップS54で、検出制御部713は、非検出領域に関する情報を設定データ722に設定する。ステップS54の処理の後、検出制御部713は図6に戻る。なお、非検出領域は、検出支障領域HAと、障害物Hに重なる位置とを含む領域であってもよいし、検出支障領域HAで構成される領域であってもよい。障害物Hに重なる位置でユーザーが操作を行う可能性が高くないため、検出支障領域HAのみを非検出領域としても実用上の懸念はない。
検出制御部713は、ステップS12の障害物検出処理の後、設定データ722を参照し、検出領域DSに非検出領域が設定されているか否かを判定する(ステップS13)。非検出領域が設定されている場合(ステップS13;YES)、検出制御部713は、非検出領域を避けるように、キャリブレーション画像を編集し(ステップS14)、ステップS15に移行する。
キャリブレーション画像は、検出領域DSにおいて非発光指示体80によって指示された位置と、第1カメラ310の撮像画像データにおける位置とを対応付けるための画像である。通常、キャリブレーション画像は、検出領域DSの全体における位置検出に対応する画像である。検出制御部713は、ステップS14で、非検出領域でキャリブレーションが行われないように、例えば、キャリブレーション画像から非検出領域に対応する画像を削除する処理を行う。
また、非検出領域が設定されていない場合(ステップS13;NO)、検出制御部713はステップS15に移行する。
図9は、プロジェクター100が投射するキャリブレーション画像の一例として、キャリブレーション画像180を示す図である。
キャリブレーション画像180は、ユーザーに、検出領域DSにおける特定の位置を非発光指示体80で指示する操作を促すポイント画像181を含む。ポイント画像181は、検出領域DSにおいて等間隔に複数並べて配置される。キャリブレーション画像180に含まれる複数のポイント画像181は、1つずつ順に投射画面PSとして投射され、ユーザーは、ポイント画像181が投射される毎に、新たに投射されたポイント画像181の位置を非発光指示体80で指示する操作を行う。キャリブレーション画像180は、図8に示すように、新たに投射されたポイント画像181aが、他のポイント画像181とは異なる色となっている画像であってもよい。つまり、キャリブレーション画像180は、異なる数のポイント画像181を含む複数の画像の集合ということもできる。
検出制御部713は、キャリブレーション画像180のポイント画像181が投射される毎に、撮像部300の撮像画像データから非発光指示体80を検出する。これにより、検出領域DSの複数の位置で、投射部200が投射する投射画像上の位置と、撮像画像データにおける指示位置とを対応付けることができる。
検出制御部713は、ステップS14で、非検出領域に重なる位置にあるポイント画像181を、キャリブレーション画像180から削除またはマスクする。これにより、非検出領域でポイント画像181が投射されないため、非検出領域を除く検出領域DSでキャリブレーションを実行できる。
図6に戻り、ステップS15で、検出制御部713は、投射部200によりキャリブレーション画像のポイント画像を投射させ(ステップS15)、撮像部300による撮像を実行する(ステップS16)。
検出制御部713は、撮像部300の撮像画像データから反射検出光RDLの像を検出し(ステップS17)、検出した像の重心位置を取得する(ステップS18)。検出制御部713は、取得した像の位置を、ステップS15で投射されたポイント画像と対応づけて一時的にメモリー720に記憶させる(ステップS19)。検出制御部713は、キャリブレーション画像の全てのポイント画像について操作がされたか否かを判定する(ステップS20)。ステップS14でキャリブレーション画像が編集された場合、検出制御部713は、ステップS20で、編集後のキャリブレーション画像に含まれる全てのポイント画像の操作がなされたか否かを判定する。
操作されていないポイント画像がある場合(ステップS20;NO)、検出制御部713はステップS15に戻り、次のポイント画像を投射させる。
全てのポイント画像について操作がされた場合(ステップS20;YES)、検出制御部713は、ステップS19で一時記憶した情報に基づき、キャリブレーションデータを生成し(ステップS21)、本処理を終了する。キャリブレーションデータは、上述のように、撮像画像データにおける位置と投射画面PS上の位置とを対応付けるデータである。
以上説明したように、本実施形態のプロジェクター100は、投射画面PSを表示する投射部200と、投射部200が画像を表示する表示領域に対応して設定される検出領域DSに、照射検出光IDLを放射する検出光照射部410とを備える。また、照射検出光IDLが検出領域DSにおいて反射された反射検出光RDLを受光する撮像部300を備える。また、撮像部300の受光状態に基づいて、検出領域DSにおける非発光指示体80による操作の検出、及び、照射検出光IDLを遮る障害物Hの検出を行い、障害物Hに関する情報を投射部200により表示させる制御部700を備える。そして、ユーザーは、障害物Hに関する情報を容易に知ることができ、それに対して適切な対応をすることにより、プロジェクター100を有効に活用できる。
本発明の表示装置、及び、表示装置の制御方法を適用したプロジェクター100によれば、障害物Hに関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物Hについての情報を提供できる。
制御部700は、投射画面PSの表示領域、すなわちスクリーンSSにおける障害物Hの位置を投射部200により表示させる。例えば、検出制御部713は、スクリーンSSにおける障害物Hの位置をユーザーに通知する障害物通知画像155を表示させる。これにより、障害物Hの位置に関する情報をユーザーに提供できる。
また、制御部700は、検出領域DSにおいて障害物Hにより照射検出光IDLの照射が妨げられる検出支障領域HAを特定し、検出支障領域HAを投射部200により表示させる。例えば、検出制御部713は、スクリーンSSにおける検出支障領域HAの位置やサイズをユーザーに通知する検出支障領域通知画像157を表示させる。これにより、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
制御部700は、検出支障領域HAを示す画像である検出支障領域通知画像157と、検出領域DSにおける障害物Hの位置を示す画像である障害物通知画像155とを、投射部200により表示させる。これにより、障害物Hの位置、及び、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
また、制御部700は、投射部200により、検出支障領域HAにおける非発光指示体80の操作の検出を無効とするか否かの設定を求める設定要求に相当する設定UI160を表示させる。これにより、操作の検出を無効とするか否かの設定をユーザーに促すことができる。
また、プロジェクター100は、操作を受け付ける操作検出部714を備える。制御部700は、操作検出部714により受け付けた設定UI160の操作に従って、検出領域DSにおける操作を検出する処理を設定する。これにより、ユーザーが、操作の検出に関する設定を容易に行うことができる。
また、プロジェクター100は、検出領域DSを含む範囲を撮像する撮像部300を備える。制御部700は、撮像部300の撮像画像から反射検出光RDLの像を検出することにより、検出領域DSにおける非発光指示体80による操作の検出、及び、照射検出光IDLを遮る障害物Hの検出を行う。これにより、反射検出光RDLを撮像画像から検出することによりユーザーの操作を検出する構成において、ユーザーに、障害物Hについての情報を提供できる。
また、制御部700は、撮像部300の撮像画像から検出した反射検出光RDLの像の重心、及び、反射検出光RDLの像のサイズに基づいて、障害物Hの位置およびサイズを推定する。制御部700は、障害物Hの位置およびサイズに基づく画像である障害物通知画像155を投射部200により表示させる。これにより、撮像画像における反射検出光RDLの像に基づき、障害物Hの位置およびサイズに関する情報をユーザーに提供できる。
[他の実施形態]
上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。
上記実施形態において、図7の障害物検出処理は、キャリブレーションに伴い実行される例を説明したが、本発明はこれに限定されない。例えば、自発光指示体70や非発光指示体80を用いた操作や、操作パネル(図示略)やリモコン(図示略)の操作により、障害物検出処理の開始が指示された場合に、プロジェクター100は、図7の動作を実行してもよい。また、プロジェクター100の電源が投入された後、自発光指示体70や非発光指示体80による操作を検出する前に、プロジェクター100が図7の障害物検出処理を実行する構成としてもよい。
また、プロジェクター100は、撮像部300が1台のカメラを有する構成にしてもよいし、3台以上のカメラを有する構成にしてもよい。撮像部300が1台のカメラを有する構成の場合には、カメラで撮像された1個の画像に基づいて自発光指示体70の2次元座標(X,Y)が決定される。非発光指示体80の位置検出のために、スクリーンSSに沿った層状の光を形成する構成を備えてもよい。
また、上記実施形態では、自発光指示体70と非発光指示体80との両方を使用可能な構成のプロジェクター100を例示したが、プロジェクターは、少なくとも非発光指示体80を使用可能であればよい。
また、上記実施形態では、図2に示した照射検出光IDLと、反射検出光RDLと、装置信号光ASLと、指示体信号光PSLとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
また、本発明の表示装置はプロジェクター100に限定されず、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを表示装置として採用してもよい。プラズマディスプレイパネル、OLED(Organic light−emitting diode)、OEL(Organic Electro Luminescence)ディスプレイ等の有機EL表示パネルを備えた表示装置を用いてもよい。
また、図5に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、投射システム900を構成する他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
70…自発光指示体(指示体)、71…先端部、72…軸部、73…ボタンスイッチ、74…光検出部、75…制御部、76…先端スイッチ、77…先端発光部、78…発光量調整部、79…電源部、80…非発光指示体(指示体)、100…プロジェクター(表示装置)、150…通知UI、160…設定UI、200…投射部(表示部)、210…投射レンズ、220…光変調部、230…光源、300…撮像部(受光部、撮像部)、310…第1カメラ、320…第2カメラ、410…検出光照射部(光放射部)、430…信号光送信部、500…投射画像生成部、510…投射画像メモリー、600…位置検出部、700…制御部、710…プロセッサー、711…投射制御部、712…通信制御部、713…検出制御部、714…操作検出部(操作部)、720…メモリー、721…制御プログラム、722…設定データ、723…撮像画像データ、780…指示体、900…投射システム、ASL…装置信号光、DS…検出領域、H…障害物、HA…検出支障領域、IDL…照射検出光、IML…投射画像光、PS…投射画面、PSL…指示体信号光、RDL…反射検出光(反射光)、SS…スクリーン。

Claims (9)

  1. 画像を表示する表示部と、
    前記表示部が画像を表示する表示領域に対応して設定される検出領域に、検出光を放射する光放射部と、
    前記検出光が前記検出領域において反射された反射光を受光する受光部と、
    前記受光部の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を前記表示部により表示させる制御部と、を備える、表示装置。
  2. 前記制御部は、前記表示領域における前記障害物の位置を前記表示部により表示させる、請求項1記載の表示装置。
  3. 前記制御部は、前記検出領域において前記障害物により前記検出光の照射が妨げられる検出支障領域を特定し、前記検出支障領域を前記表示部により表示させる、請求項1または2記載の表示装置。
  4. 前記制御部は、前記検出支障領域を示す画像と、前記検出領域における前記障害物の位置を示す画像とを、前記表示部により表示させる、請求項3記載の表示装置。
  5. 前記制御部は、前記表示部により、前記検出支障領域における前記指示体の操作の検出を無効とするか否かの設定を求める設定要求を表示させる、請求項3または4記載の表示装置。
  6. 操作を受け付ける操作部を備え、
    前記制御部は、前記設定要求の表示に応じて前記操作部により受け付けた操作に従って、前記検出領域における操作を検出する処理を設定する、請求項5記載の表示装置。
  7. 前記受光部は、前記検出領域を含む範囲を撮像する撮像部であり、
    前記制御部は、前記撮像部の撮像画像から前記反射光の像を検出することにより、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行う、請求項1から6のいずれか1項に記載の表示装置。
  8. 前記制御部は、前記撮像部の撮像画像から検出した前記反射光の像の重心、及び、前記反射光の像のサイズに基づいて、前記障害物の位置およびサイズを推定し、推定した前記障害物の位置およびサイズに基づく画像を前記表示部により表示させる、請求項7記載の表示装置。
  9. 画像を表示する表示装置により、
    画像を表示する表示領域に対応して設定される検出領域に、検出光を放射し、
    前記検出光が前記検出領域において反射された反射光を受光し、
    前記反射光の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、
    前記障害物に関する情報を表示する、表示装置の制御方法。
JP2018059463A 2018-03-27 2018-03-27 表示装置、及び、表示装置の制御方法 Withdrawn JP2019174513A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018059463A JP2019174513A (ja) 2018-03-27 2018-03-27 表示装置、及び、表示装置の制御方法
CN201910225726.8A CN110308825B (zh) 2018-03-27 2019-03-25 显示装置以及显示装置的控制方法
US16/364,736 US10719000B2 (en) 2018-03-27 2019-03-26 Display device and method for controlling display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018059463A JP2019174513A (ja) 2018-03-27 2018-03-27 表示装置、及び、表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2019174513A true JP2019174513A (ja) 2019-10-10
JP2019174513A5 JP2019174513A5 (ja) 2021-04-01

Family

ID=68056148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018059463A Withdrawn JP2019174513A (ja) 2018-03-27 2018-03-27 表示装置、及び、表示装置の制御方法

Country Status (3)

Country Link
US (1) US10719000B2 (ja)
JP (1) JP2019174513A (ja)
CN (1) CN110308825B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189222A (ja) * 2020-05-26 2021-12-13 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター
US11249594B2 (en) 2019-09-30 2022-02-15 Seiko Epson Corporation Projector including a light detector and a controller and method for controlling the projector
US11334191B2 (en) 2019-08-27 2022-05-17 Seiko Epson Corporation Operation method and display device that avoid obstacles that block detection light
JP7310649B2 (ja) 2020-02-28 2023-07-19 セイコーエプソン株式会社 位置検出装置の制御方法、位置検出装置、及びプロジェクター

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7119488B2 (ja) * 2018-03-27 2022-08-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2023006798A (ja) * 2021-06-30 2023-01-18 富士フイルム株式会社 投影装置、投影方法、制御装置、及び制御プログラム
WO2023088303A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 投影设备及避障投影方法
CN115474032B (zh) * 2022-09-14 2023-10-03 深圳市火乐科技发展有限公司 投影交互方法、投影设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026227A (ja) * 2007-07-23 2009-02-05 Canon Inc 座標入力装置及びその制御方法、コンピュータプログラム
US20150193000A1 (en) * 2014-01-03 2015-07-09 Egismos Technology Corporation Image-based interactive device and implementing method thereof
WO2016075796A1 (ja) * 2014-11-13 2016-05-19 日立マクセル株式会社 投射型映像表示装置および映像表示方法
JP2017009829A (ja) * 2015-06-23 2017-01-12 株式会社リコー 画像投影装置、画像投影システムおよび映像供給装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746321B2 (en) * 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US8246172B2 (en) * 2006-02-28 2012-08-21 Brother Kogyo Kabushiki Kaisha Image display device
CN101896957B (zh) * 2008-10-15 2013-06-19 松下电器产业株式会社 光投射装置
JP5428600B2 (ja) * 2009-07-09 2014-02-26 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
JP2012108479A (ja) * 2010-10-28 2012-06-07 Seiko Epson Corp 投射型表示装置及びその制御方法
JP2013033206A (ja) * 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
JP2013105171A (ja) * 2011-11-17 2013-05-30 Seiko Epson Corp プロジェクター及びその制御方法
JP6287161B2 (ja) * 2013-12-18 2018-03-07 セイコーエプソン株式会社 投写装置および投写方法
JP6586956B2 (ja) * 2014-09-03 2019-10-09 ソニー株式会社 検出機能付き投射型表示装置
JP6372266B2 (ja) * 2014-09-09 2018-08-15 ソニー株式会社 投射型表示装置および機能制御方法
WO2016103969A1 (ja) * 2014-12-25 2016-06-30 ソニー株式会社 投射型表示装置
JP6477131B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法
CN105763860A (zh) * 2016-01-21 2016-07-13 天津大学 一种能识别前方障碍物并修正输出投影画面的控制方法
JP2018056800A (ja) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 プロジェクターシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026227A (ja) * 2007-07-23 2009-02-05 Canon Inc 座標入力装置及びその制御方法、コンピュータプログラム
US20150193000A1 (en) * 2014-01-03 2015-07-09 Egismos Technology Corporation Image-based interactive device and implementing method thereof
WO2016075796A1 (ja) * 2014-11-13 2016-05-19 日立マクセル株式会社 投射型映像表示装置および映像表示方法
JP2017009829A (ja) * 2015-06-23 2017-01-12 株式会社リコー 画像投影装置、画像投影システムおよび映像供給装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334191B2 (en) 2019-08-27 2022-05-17 Seiko Epson Corporation Operation method and display device that avoid obstacles that block detection light
US11249594B2 (en) 2019-09-30 2022-02-15 Seiko Epson Corporation Projector including a light detector and a controller and method for controlling the projector
JP7310649B2 (ja) 2020-02-28 2023-07-19 セイコーエプソン株式会社 位置検出装置の制御方法、位置検出装置、及びプロジェクター
JP2021189222A (ja) * 2020-05-26 2021-12-13 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター
US11627293B2 (en) 2020-05-26 2023-04-11 Seiko Epson Corporation Method of controlling projector and projector

Also Published As

Publication number Publication date
US20190302594A1 (en) 2019-10-03
US10719000B2 (en) 2020-07-21
CN110308825B (zh) 2023-06-23
CN110308825A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110308825B (zh) 显示装置以及显示装置的控制方法
JP6398248B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
JP6417690B2 (ja) プロジェクター、表示装置、及び、プロジェクターの制御方法
US9817301B2 (en) Projector, projection system, and control method of projector
US10321106B2 (en) Position detection apparatus and contrast adjustment method used with the same
JP6326895B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
KR20120071963A (ko) 영상 촬영 장치 및 이의 영상 촬영 방법
JP6375660B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2015158889A (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP6562124B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
US10955972B2 (en) Detection device and method for controlling detection device
JP6503828B2 (ja) インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法
JP6631281B2 (ja) インタラクティブプロジェクター、及び、そのオートキャリブレーション実行方法
JP6690272B2 (ja) 位置検出システム、自発光指示体、および固有情報取得方法
JP2012053603A (ja) 情報表示システム
JP6340860B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2018132911A (ja) 位置検出装置、検出光の強度を調整する方法
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
JP6291911B2 (ja) 位置検出装置、及び、位置検出方法
JP6690271B2 (ja) 位置検出システム、位置検出装置、および位置検出方法
JP6111682B2 (ja) 表示装置、および、表示装置の制御方法
JP6337558B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2017027424A (ja) インタラクティブプロジェクター及びその設置状態検出方法
JP2019106105A (ja) インタラクティブプロジェクションシステム、インタラクティブプロジェクター、インタラクティブプロジェクターの制御方法
JP2011227267A (ja) 表示装置システム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181121

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210917

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220214