JP2023183998A - 表示方法、及び表示システム - Google Patents

表示方法、及び表示システム Download PDF

Info

Publication number
JP2023183998A
JP2023183998A JP2022097869A JP2022097869A JP2023183998A JP 2023183998 A JP2023183998 A JP 2023183998A JP 2022097869 A JP2022097869 A JP 2022097869A JP 2022097869 A JP2022097869 A JP 2022097869A JP 2023183998 A JP2023183998 A JP 2023183998A
Authority
JP
Japan
Prior art keywords
image
display
display surface
camera
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022097869A
Other languages
English (en)
Inventor
大樹 仙敷
Hiroki Senshiki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2022097869A priority Critical patent/JP2023183998A/ja
Priority to US18/335,178 priority patent/US11997435B2/en
Publication of JP2023183998A publication Critical patent/JP2023183998A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/08—Sequential recording or projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】表示面に対する指示体のタッチを正しく検出し、余分な線の表示を回避する。【解決手段】プロジェクター１０は、第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ及び表示制御部１１０ｅを含む。第１取得部１１０ａは、表示面の第１の撮像画像、及び第２の撮像画像を順次取得する。第２取得部１１０ｂは、第１の撮像画像に含まれる輝点の第１の輝度値及び第１の位置と、第２の撮像画像に含まれる輝点の第２の輝度値及び第２の位置とを取得する。第１判定部１１０ｃは、第２の輝度値が第１の輝度値よりも第１の閾値以上大きく、且つ第２の位置が第１の位置よりもカメラに近いかを判定する。表示制御部１１０ｅは、判定結果が否定であれば、指示体による描線を表す描画画像を含む表示画像を、判定結果が肯定であれば、描画画像を含まない表示画像を、表示面に表示する。【選択図】図７

Description

本開示は、表示方法、及び表示システム、に関する。
インタラクティブプロジェクターは、画像の表示先となる表示面に対して手指等の指示体をタッチさせて文字又は図形を構成する線を描く操作が行われると、当該操作に応じた描線の画像を表示する。表示面に対するタッチは、指示体の先端と表示面との間の距離が所定の閾値以下となった状態のことをいい、指示体の先端と表示面とが実際に接触する状態には限定されない。インタラクティブプロジェクターの一例としては、指示体によるタッチを検出するために表示面に沿って照射されるＩＲ（InfraRed）光等の光を指示体が横切ることにより発生する輝点をカメラにより撮像することで、タッチを検出するものが挙げられる。表示面に沿って照射される光はライトカーテンと称され、ライトカーテンを照射する照射装置はライトカーテンユニット、又はフィンガータッチユニットと称される。特許文献１には、指示体等の操作物による反射光を検出してから、反射光の光量のピーク値の変化が停止した場合に、スクリーン等の表示面へのタッチを検出する技術が開示されている。
特開２０１５－８８０６０号公報
特許文献１に開示の技術には、表示面からの反射光の変化、又は指示体に対する光の当たり方の変化に起因して指示体が表示面にタッチしている状態でもピーク値が変動する場合があり、表示面に対する指示体のタッチを正しく検出できない虞があった。
本開示の表示方法の一態様は、表示面を含む範囲をカメラによって撮像した第１の撮像画像を取得することと、前記第１の撮像画像を取得した後に、前記表示面を含む範囲を前記カメラによって撮像した第２の撮像画像を取得することと、前記表示面に対して線を描くための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、を含む。
また、本開示の表示システムの一態様は、表示面を含む範囲を撮像するカメラと、前記範囲を前記カメラによって撮像した第１の撮像画像を取得することと、前記第１の撮像画像を取得した後に、前記範囲を前記カメラによって撮像した第２の撮像画像を取得することと、前記表示面に対して線を描くための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、を実行する、表示装置と、を含む。
本開示の実施形態による表示システム１の構成例を示す図である。 表示システム１において指示体３０の位置を検出するために照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。 表示システム１において指示体３０の位置を検出するために照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。 指示体３０を用いて描画される線分Ｌ１の一例を示す図である。 線分Ｌ１を描く過程における指示体３０と表示面ＳＳとの位置関係の変化を説明するための図である。 従来のインタラクティブプロジェクターの問題点を説明するための図である。 表示システム１に含まれるプロジェクター１０の構成例を示す図である。 輝点ＰＡ、輝点ＰＢ、及び基準位置Ｐ０の位置関係を説明するための図である。 処理装置１１０がプログラムＰＲＡに従って実行する表示方法の流れを示すフローチャートである。
以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
１．実施形態
図１は、本開示の一実施形態による表示システム１の構成例を示す図である。表示システム１は、プロジェクター１０Ａ及びプロジェクター１０Ｂと、照射装置２０Ａ及び照射装置２０Ｂと、を含む。プロジェクター１０Ａ及びプロジェクター１０Ｂには、図示せぬ画像供給装置が有線又は無線により接続される。プロジェクター１０Ａは、図示せぬ画像供給装置から共有される画像データに応じた表示画像ＰＧＡを、投射スクリーン等の表示面ＳＳに表示する。同様に、プロジェクター１０Ｂは、図示せぬ画像供給装置から共有される画像データに応じた表示画像ＰＧＢを表示面ＳＳに表示する。プロジェクター１０Ａ及びプロジェクター１０Ｂは、表示面ＳＳが設置される部屋の天井に設置される。画像供給装置からプロジェクター１０Ａ及びプロジェクター１０Ｂの各々に供給される画像データとしては、会議等における資料を表す画像データ、又は学校等における教材を表す画像データが挙げられる。画像供給装置の具体例としては、例えばパーソナルコンピューターが挙げられる。
プロジェクター１０Ａは、ユーザーが表示面ＳＳに対して指示体３０を近づけて文字又は図形を描く動作を行うと、ユーザーの描線を示す描画画像を含む表示画像ＰＧＡを表示面ＳＳに表示する。表示画像ＰＧＡは、画像供給装置から共有される画像データの表す画像にユーザーの描線を示す描画画像を重ねた画像である。本実施形態における指示体３０は、ユーザーの手指であるが、タッチペンであってもよい。同様に、プロジェクター１０Ｂは、ユーザーが表示面ＳＳに対して指示体３０を近づけて文字又は図形を描く動作を行うと、ユーザーの描線を示す描画画像を含む表示画像ＰＧＢを表示面ＳＳに表示する。表示画像ＰＧＢも、画像供給装置から共有される画像データの表す画像にユーザーの描線を示す描画画像を重ねた画像である。つまり、プロジェクター１０Ａ及びプロジェクター１０Ｂは、インタラクティブプロジェクターである。以下では、プロジェクター１０Ａとプロジェクター１０Ｂとを区別する必要がない場合には、プロジェクター１０Ａ及びプロジェクター１０Ｂはプロジェクター１０と表記される。なお、以下では、図１に示されるように、表示面ＳＳの法線に沿った座標軸はＺ軸と称され、鉛直方向に沿った座標軸はＹ軸と称され、Ｙ軸及びＺ軸に直交する座標軸はＸ軸と称される。
照射装置２０Ａはプロジェクター１０Ａと対になるフィンガータッチユニットである。照射装置２０Ｂはプロジェクター１０Ｂと対になるフィンガータッチユニットである。図１に示されるように、照射装置２０Ａ及び照射装置２０Ｂは、表示面ＳＳの上方にＸ軸方向に並ぶように配置される。照射装置２０Ａ及び照射装置２０Ｂは、ＩＲ光を発するＩＲ光源を備える。照射装置２０Ａ及び照射装置２０Ｂの各々は、ライトカーテンを形成するＩＲ光を表示面ＳＳに沿って照射する。ユーザーが文字又は図形を描画するために指示体３０を表示面ＳＳに近づけ、指示体３０がライトカーテンを横切ると指示体３０によるライトカーテンの反射光が発生する。この状態において表示面ＳＳを含む所定範囲の画像をカメラにより撮像すると、指示体３０によるライトカーテンの反射光に対応する輝点が当該画像に写る。表示システム１では、この輝点の軌跡を追跡することにより、指示体３０を用いてユーザーが描いた描線が検出される。
図２及び図３は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。図２は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光の様子をＺ軸方向から見た図である。図３は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光の様子をＹ軸方向から見た図である。図２及び図３に示されるように、照射装置２０Ａは、表示面ＳＳに沿って、表示面ＳＳからＺ軸方向に距離ＨＡだけ隔てた位置に扇状にＩＲ光ＬＡを照射する。ＩＲ光ＬＡは本開示における第１の光の一例である。同様に、照射装置２０Ｂは、表示面ＳＳに沿って、表示面ＳＳからＹ軸方向に距離ＨＢだけ隔てた位置に扇状にＩＲ光ＬＢを照射する。ＩＲ光ＬＢは本開示における第２の光の一例である。
図２及び図３に示されるように、ＩＲ光ＬＡにより形成されるライトカーテンと、ＩＲ光ＬＢにより形成されるライトカーテンとは、Ｚ軸方向から見たときに互いに一部が重なりあう。ＩＲ光ＬＡにより形成されるライトカーテンとＩＲ光ＬＢにより形成されるライトカーテンとの間のＺ軸方向の隙間は無いこと、即ち距離ＨＡと距離ＨＢとが一致することが好ましい。しかし、照射装置２０Ａ及び照射装置２０Ｂの各々の初期設定等の相違により距離ＨＡと距離ＨＢとが一致しない場合がある。また、扇状のライトカーテンの端部には湾曲が発生し易く、この湾曲に起因して距離ＨＡと距離ＨＢとが一致しない場合もある。
距離ＨＡと距離ＨＢとが一致しない状況下において、図４に示されるように表示面ＳＳに対して指示体３０を用いて始点ＰＳから終点ＰＥに至る線分Ｌ１が描画されるとする。図５は、線分Ｌ１を描画する過程における指示体３０と表示面ＳＳとの位置関係の変化を説明するための図である。図５における状態ＳＴ１は、指示体３０が表示面ＳＳから十分な距離を隔てた状態であり、状態ＳＴ１における表示面ＳＳの撮像画像には指示体３０に対応する輝点は写らない。
ユーザーが線分Ｌ１を描画するために指示体３０を表示面ＳＳに近づけると、図５における状態ＳＴ２のように指示体３０はＩＲ光ＬＢを横切る。この状態ＳＴ２から更に指示体３０を表示面ＳＳに近づけると、図５における状態ＳＴ３のように指示体３０はＩＲ光ＬＢとＩＲ光ＬＡとを横切る。状態ＳＴ２又は状態ＳＴ３における表示面ＳＳの撮像画像には、指示体３０による反射光に対応する輝点が写る。ユーザーは、ＩＲ光ＬＢとＩＲ光ＬＡとを横切った状態、即ち状態ＳＴ３を維持しつつ指示体３０を表示面ＳＳに沿って始点ＰＳから終点ＰＥまで動かすことで線分Ｌ１を描画する。そして、指示体３０が終点ＰＥに至るとユーザーは指示体３０を表示面ＳＳから遠ざけ、指示体３０と表示面ＳＳとの関係は状態ＳＴ３から状態ＳＴ２へ、更に状態ＳＴ２から状態ＳＴ１へと変化する。
状態ＳＴ２から状態ＳＴ３に変化する過程は、線分Ｌ１の書き始めに対応し、状態ＳＴ３から状態ＳＴ２に変化する過程は線分Ｌ１の書き終わりに対応する。状態ＳＴ２から状態ＳＴ３に変化する過程、及び状態ＳＴ３から状態ＳＴ２に変化する過程では、指示体３０による反射光の光量が大きく変化し、撮像画像における当該反射光に対応する輝点の位置も変化する。従来のインタラクティブプロジェクターでは、この反射光の光量の変化及び輝点の位置の変化が輝点の動きとみなされ、図６に示されるように、始点ＰＳに連なる余分な線分Ｌ２及び終点ＰＥに連なる余分な線分Ｌ３が描画される場合があった。本実施形態におけるプロジェクター１０は、指示体３０を用いて描かれる線の書き始め及び書き終わりにおいて余分な線を描画しないように構成されている。プロジェクター１０は、本開示における表示装置の一例である。
図７は、プロジェクター１０の構成例を示す図である。図７に示されるようにプロジェクター１０は、処理装置１１０、投射装置１２０、カメラ１３０、及び記憶装置１４０、を含む。プロジェクター１０は、処理装置１１０、投射装置１２０、カメラ１３０、及び記憶装置１４０の他に、画像供給装置と有線又は無線により通信するための通信回路、及びユーザーの各種入力操作を受け付けるキーボード等の入力装置を含む。しかし、通信装置、及び入力装置については、本開示との関連が薄いため、図７では図示が省略されている。
処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置１１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置１１０は、記憶装置１４０に記憶されているプログラムＰＲＡに従って作動することにより、プロジェクター１０の制御中枢として機能する。
投射装置１２０は、投射レンズ、液晶駆動部、液晶パネル、及び光源部、を含む。なお、図７では、投射レンズ、液晶駆動部、液晶パネル、及び光源部の図示は省略されている。液晶駆動部は、処理装置１１０から供給される画像データに従って液晶パネルを駆動することにより、この画像データの表す表示画像を液晶パネルに描画する。光源部は、例えば、ハロゲンランプ又はレーザーダイオードなどの光源を含む。光源部からの光は、液晶パネルにおいて画素毎に変調され、投射レンズを介して画像光として投射される。この画像光が表示面ＳＳに投射されることにより、表示面ＳＳに表示画像が表示される。なお、投射装置１２０は、画像光を表示面ＳＳに投射できる構成であればよく、液晶駆動部、及び液晶パネルに代えて、デジタルミラーデバイス（ＤＭＤ）を備える構成であってもよい。液晶パネル、及びＤＭＤは、本開示における表示パネルの一例である。
カメラ１３０は、例えばＩＲカメラであり、表示面ＳＳの中心に光軸が向くように姿勢を調整済である。カメラ１３０は、例えば、レンズ等の光学系にて集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備える。カメラ１３０には、ＩＲ光を受光するためのＩＲ光フィルターが取り付けられている。カメラ１３０は、処理装置１１０による制御の下、所定の周期で表示面ＳＳを含む所定範囲の画像を撮像する。カメラ１３０は、表示面ＳＳを含む所定範囲の画像を撮像する毎に、撮像した画像を表す画像データを処理装置１１０へ出力する。
記憶装置１４０は、処理装置１１０が読み取り可能な記録媒体である。記憶装置１４０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。
記憶装置１４０の不揮発性メモリーには、本開示の表示方法を処理装置１１０に実行させるプログラムＰＲＡが予め記憶されている。また、不揮発性メモリーには、カメラ１３０により撮像される撮像画像上の位置と投射装置１２０により表示される表示画像上の位置とを相互に変換するための変換データが予め記憶されている。この変換データは、周知のキャリブレーションを行うことにより適宜生成され、不揮発性メモリーに記憶される。キャリブレーションとは、カメラ１３０により撮像される撮像画像上の位置を規定するカメラ座標系と投射装置１２０における液晶パネル上の位置を規定するパネル座標系とを対応付けるための処理のことをいう。変換データの具体例としては、カメラ座標系とパネル座標系とを相互変換するための変換行列が挙げられる。記憶装置１４０の揮発性メモリーは、プログラムＰＲＡを実行する際のワークエリアとして処理装置１１０によって利用される。ここで、投射装置１２０が液晶パネルに代えてＤＭＤを備える構成の場合におけるパネル座標系は、ＤＭＤ上の位置を規定する座標系である。
処理装置１１０は、プロジェクター１０の電源投入を契機としてプログラムＰＲＡを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラムＰＲＡの実行を開始する。プログラムＰＲＡに従って作動している処理装置１１０は、図７に示される第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ、及び表示制御部１１０ｅとして機能する。図７に示される第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ、及び表示制御部１１０ｅは、プログラムＰＲＡに従って処理装置１１０を作動させることにより実現されるソフトウェアモジュールである。図７に示される第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ、及び表示制御部１１０ｅの各々が担う機能は次の通りである。
第１取得部１１０ａは、表示面ＳＳを含む所定範囲がカメラ１３０により撮像される毎に、カメラ１３０から出力される画像データを取得する。前述したように、本実施形態では、カメラ１３０は、表示面ＳＳを含む所定範囲を所定の周期で撮像する。つまり、第１取得部１１０ａは、表示面ＳＳを含む所定範囲の第１の撮像画像を表す第１の画像データを取得し、当該第１の画像データを取得した後に、表示面ＳＳを含む所定範囲の第２の撮像画像を表す第２の画像データを取得する。
第２取得部１１０ｂは、第１取得部１１０ａにより取得された画像データを解析することにより、指示体３０によるライトカーテンの反射光に対応する輝点を、当該画像データの表す撮像画像から検出する。第２取得部１１０ｂは、撮像画像において、例えば３画素等の所定の個数以上の画素が属し、且つ各画素の輝度が所定値以上となっている領域を上記輝点に対応する領域として検出する。第２取得部１１０ｂにより第１の撮像画像から検出される輝点は本開示における第１の輝点の一例である。第２取得部１１０ｂにより第２の撮像画像から検出される輝点は本開示における第２の輝点の一例である。
第２取得部１１０ｂは、第１の輝点の輝度を表す第１の輝度値を第１の撮像画像から取得するとともに、第２の輝点の輝度を表す第２の輝度値を第２の撮像画像から取得する。第１の輝度値の具体例としては、第１の撮像画像において第１の輝点に対応する領域に属する画素の輝度値の平均値が挙げられる。第２の輝度値の具体例としては、第２の撮像画像において第２の輝点に対応する領域に属する画素の輝度値の平均値が挙げられる。また、第２取得部１１０ｂは、第１の撮像画像において第１の輝点に対応する領域の輝度の重心位置を算出し、この重心位置を第１の撮像画像における第１の輝点の位置として取得する。輝度の重心位置とは、輝点に対応する領域に属する画素のＸ座標及びＹ座標の各々の座標値を当該画素の輝度値を重みとして重み付け平均することにより求まる値である。第１の撮像画像における第１の輝点の位置は本開示における第１の位置の一例である。また、第２取得部１１０ｂは、第２の撮像画像において第２の輝点に対応する領域の輝度の重心位置を算出し、この重心位置を第２の撮像画像における第２の輝点の位置として取得する。第２の撮像画像における第２の輝点の位置は本開示における第２の位置の一例である。なお、輝点検出の安定性を高めるため、第２取得部１１０ｂは、状態ＳＴ１における表示面ＳＳを撮像して得られる背景画像を、上記撮像画像から除去した後に輝点の検出を行ってもよい。
第１判定部１１０ｃは、第２の輝度値及び第２の位置が以下の第１の条件を満たすか否かを判定する。第１の条件とは、第２の輝度値が第１の輝度値よりも第１の閾値以上大きく、且つ第２の位置が第１の位置よりもカメラ１３０に近い位置である、という条件である。第２の位置が第１の位置よりもカメラ１３０に近い位置とは、パネル座標系においてカメラ１３０の位置に対応する基準位置と当該パネル座標系において第２の位置に対応する第３の位置との間の距離が、基準位置とパネル座標系において第１の位置に対応する第４の位置との間の距離よりも短いことをいう。なお、基準位置については、前述のキャリブレーションの過程で取得することができる。具体的には、カメラ座標系とパネル座標系とを対応付けるためのパターン画像を投射装置１２０から表示面ＳＳに投射し、このパターン画像を含む所定領域をカメラ１３０により撮像することで得られる第３の撮像画像に含まれるパターン画像の表す各パターンの位置に基づいて前述の変換データが生成される。そして、当該変換データを用いてカメラ１３０の撮像レンズの中心を表示面ＳＳに射影することにより基準位置が取得される。また、第３の位置は、変換データを用いて第２の位置をパネル座標系の位置に変換することにより取得される。第４の位置は、変換データを用いて第１の位置をパネル座標系の位置に変換することにより取得される。
図８は、前述の状態ＳＴ３において指示体３０がＩＲ光ＬＡを反射することにより形成される輝点ＰＡ、指示体３０がＩＲ光ＬＢを反射することにより形成される輝点ＰＢ、及び基準位置Ｐ０の位置関係を説明するための図である。なお、距離ＨＡと距離ＨＢとの差が十分に大きければ、輝点ＰＡと輝点ＰＢとは各々別個の２つの輝点として撮像画像に写り、輝点ＰＢの位置は、図８に示されるように、基準位置Ｐ０と輝点ＰＡの位置とを結ぶ直線上の位置となることが一般的である。距離ＨＡと距離ＨＢとの差が十分に大きくなければ、輝点ＰＡと輝点ＰＢとは一体となって一つの輝点として撮像画像に写り、その輝度は輝点ＰＢ単独の輝度よりも明るくなり、且つその位置は輝点ＰＡと輝点ＰＢとの間の位置、となる。状態ＳＴ３においてユーザーが指示体３０を表示面ＳＳに沿って動かすことに起因する輝点の輝度の変動幅は約２０～３０％程度である。
前述の状態ＳＴ２における撮像画像には輝点ＰＢのみが写る。状態ＳＴ２から状態ＳＴ３へ変化するときの輝点の輝度の変動幅は、状態ＳＴ３においてユーザーが指示体３０を表示面ＳＳに沿って動かすことに起因する輝点の輝度の変動幅より大きい。本実施形態では、第１の閾値は、状態ＳＴ３においてユーザーが指示体３０を表示面ＳＳに沿って動かすことに起因する輝度の変動幅よりも大きな値に設定されている。従って、第２の輝度値及び第２の位置が第１の条件を満たすということは、状態ＳＴ２から状態ＳＴ３へ遷移している過程であることを意味する。つまり、第１判定部１１０ｃは、状態ＳＴ２から状態ＳＴ３へ遷移している過程であるか否かを判定するために設けられている。
第２判定部１１０ｄは、第２の輝度値及び第２の位置が以下の第２の条件を満たすか否かを判定する。第２の条件とは、第１の輝度値が第２の輝度値よりも第２の閾値以上輝大きく、且つ第２の位置が第１の位置よりもカメラ１３０から遠い位置である、という条件である。本実施形態における第２の閾値は第１の閾値と同じ値である。なお、第２の閾値は、状態ＳＴ３においてユーザーが指示体３０を表示面ＳＳに沿って動かすことに起因する輝度の変動幅よりも大きな値であれば、第１の閾値とは異なる値であってもよい。第２の位置が第１の位置よりもカメラ１３０から遠い位置とは、基準位置と前述の第３の位置との間の距離が、基準位置と前述の第４の位置との間の距離よりも長いことをいう。第２の条件を満たすということは、状態ＳＴ３から状態ＳＴ２へ遷移している過程であることを意味する。つまり、第２判定部１１０ｄは、状態ＳＴ３から状態ＳＴ２へ遷移している過程であるか否かを判定するために設けられている。
表示制御部１１０ｅは、指示体３０による描線を表す描画画像の表示制御を行う。本実施形態では、表示制御部１１０ｅは、第１判定部１１０ｃによる判定結果が否定であり、且つ第２判定部１１０ｄによる判定結果が否定である場合に、前述の第３の位置に描画画像を配置した第１の表示画像を表す画像データを生成し、投射装置１２０に与える。これに対して、第１判定部１１０ｃによる判定結果が肯定である場合、又は第２判定部１１０ｄによる判定結果が肯定である場合、表示制御部１１０ｅは、前述の第３の位置に描画画像を配置しない第２の表示画像を表す画像データを生成し、投射装置１２０に与える。第１判定部１１０ｃによる判定結果が肯定であるということは、状態ＳＴ２から状態ＳＴ３への遷移の過程であることを意味し、第２判定部１１０ｄによる判定結果が肯定であるということは、状態ＳＴ３から状態ＳＴ２への遷移の過程であることを意味する。本実施形態では、状態ＳＴ２から状態ＳＴ３への遷移の過程、及び状態ＳＴ３から状態ＳＴ２への遷移の過程では、指示体３０による描線を表す描画画像は表示されない。このため、指示体３０を用いて描かれる線の書き始め及び書き終わりにおいて余分な線、即ち図６における線分Ｌ２及び線分Ｌ３が表示されることはない。
また、プログラムＰＲＡに従って作動している処理装置１１０は、図９に示す表示方法を一定の周期で切り返し実行する。図９に示されるように、本実施形態の表示方法は、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、第１判定処理ＳＡ１３０、第２判定処理ＳＡ１４０、第１表示制御処理ＳＡ１５０、及び第２表示制御処理ＳＡ１６０を含む。
第１取得処理ＳＡ１１０では、処理装置１１０は、第１取得部１１０ａとして機能する。第１取得処理ＳＡ１１０では、処理装置１１０は、第１の撮像画像を表す第１の画像データを取得し、第１の画像データを取得した後に、第２の撮像画像を表す第２の画像データを取得する。
第２取得処理ＳＡ１２０では、処理装置１１０は、第２取得部１１０ｂとして機能する。第２取得処理ＳＡ１２０では、処理装置１１０は、第１の画像データを解析することにより、第１の輝度値及び第１の位置を取得する。また、第２取得処理ＳＡ１２０では、処理装置１１０は、第２の画像データを解析することにより、第２の輝度値及び第２の位置を取得する。
第１判定処理ＳＡ１３０では、処理装置１１０は、第１判定部１１０ｃとして機能する。第１判定処理ＳＡ１３０では、処理装置１１０は、第２の輝度値及び第２の位置が第１の条件を満たすか否かを判定する。第２の輝度値及び第２の位置が第１の条件を満たす場合、第１判定処理ＳＡ１３０の判定結果は“Ｙｅｓ”、即ち肯定となる。第１判定処理ＳＡ１３０の判定結果が肯定である場合、処理装置１１０は第１表示制御処理ＳＡ１５０を実行し、本表示方法を終了する。第２の輝度値及び第２の位置が第１の条件を満たさない場合、第１判定処理ＳＡ１３０の判定結果は“Ｎｏ”、即ち否定となる。第１判定処理ＳＡ１３０の判定結果が否定である場合、処理装置１１０は第２判定処理ＳＡ１４０を実行する。
第２判定処理ＳＡ１４０では、処理装置１１０は、第２判定部１１０ｄとして機能する。第２判定処理ＳＡ１４０では、処理装置１１０は、第２の輝度値及び第２の位置が第２の条件を満たすか否かを判定する。第２の輝度値及び第２の位置が第２の条件を満たす場合、第２判定処理ＳＡ１４０の判定結果は“Ｙｅｓ”、即ち肯定となる。第２判定処理ＳＡ１４０の判定結果が肯定である場合、処理装置１１０は第１表示制御処理ＳＡ１５０を実行し、本表示方法を終了する。第２の輝度値及び第２の位置が第２の条件を満たさない場合、第２判定処理ＳＡ１４０の判定結果は“Ｎｏ”、即ち否定となる。第２判定処理ＳＡ１４０の判定結果が否定である場合、処理装置１１０は第２表示制御処理ＳＡ１６０を実行し、本表示方法を実行する。
第１表示制御処理ＳＡ１５０及び第２表示制御処理ＳＡ１６０では、処理装置１１０は表示制御部１１０ｅとして機能する。第１表示制御処理ＳＡ１５０では、処理装置１１０は、第３の位置に描画画像を含まない第１の表示画像を表す画像データを生成し、投射装置１２０に与える。第２表示制御処理ＳＡ１６０では、処理装置１１０は、第３の位置に描画画像を含む第２の表示画像を表す画像データを生成し、投射装置１２０に与える。
本実施形態では、輝点の輝度の変化の大きさに加えて輝点の位置の変化の大きさに基づいて、線の書き始めであるか否か、及び線の書き終わりであるか否かが判定される。このため、本実施形態のプロジェクター１０によれば、特許文献１に開示の技術に比較して表示面ＳＳに対する指示体３０のタッチをより正確に検出することができ、指示体３０を用いて描かれる線の書き始め及び書き終わりにおいて余分な線の表示が回避される。
２．変形
上記実施形態は、以下のように変形され得る。
（１）描線の終点において余分な線が表示されても問題がない場合には、第２判定処理ＳＡ１４０は省略されてもよい。第２判定処理ＳＡ１４０が省略された態様の表示方法では、第１判定処理ＳＡ１３０の判定結果が否定である場合、第２表示制御処理ＳＡ１６０が実行される。なお、描線の始点において余分な線が表示されても問題がない場合には、第１判定処理ＳＡ１３０は省略されてもよく、この場合、第２取得処理ＳＡ１２０に後続して第２判定処理ＳＡ１４０が実行されればよい。また、本開示の表示方法は、基準位置を取得する処理、より具体的にはキャリブレーションを含んでもよい。また、上記実施形態では、パネル座標系における第１の輝点の位置、第２の輝点の位置、及びカメラ１３０に対応する位置に基づいて第１の条件が満たされるか否か、及び第２の条件が満たされるか否かが判定された。しかし、カメラ座標系における第１の輝点の位置、第２の輝点の位置、及びカメラ１３０に対応する位置に基づいて第１の条件が満たされるか否か、及び第２の条件が満たされるか否かが判定されてもよい。第１の輝点の位置、第２の輝点の位置、及びカメラ１３０に対応する位置の位置関係は、パネル座標系であるかカメラ座標系であるかによらず不変だからである。
（２）上記実施形態ではカメラ１３０がプロジェクター１０に含まれたが、カメラ１３０はプロジェクター１０に含まれず、別体であってもよい。上記実施形態は、プロジェクターへの本開示の適用例であったが、本開示の適用対象はプロジェクターには限定されず、フラットパネルディスプレイであってもよい。要は、表示面に対するユーザーの筆記動作に応じた画像を表示する表示装置であれば、本開示の適用が可能である。ここで、プロジェクター１０に代えてフラットパネルディスプレイを用いる構成の場合におけるパネル座標系は、フラットパネルディスプレイが画像を表示するディスプレイパネル上の位置を規定する座標系である。
（３）上記実施形態における第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ及び表示制御部１１０ｅはソフトウェアモジュールであった。しかし、第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ及び表示制御部１１０ｅのうちの何れか一つ或いは複数、又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアモジュールであってもよい。第１取得部１１０ａ、第２取得部１１０ｂ、第１判定部１１０ｃ、第２判定部１１０ｄ及び表示制御部１１０ｅのうちの何れか一つ或いは複数、又は全部がハードウェアモジュールであっても、上記実施形態と同じ効果が奏される。
（４）プログラムＰＲＡは単体で製造されてもよく、有償又は無償で提供されてもよい。プログラムＰＲＡを提供する際の具体的な態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＰＲＡを書き込んで提供する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＰＲＡを提供する態様が挙げられる。これらの態様により提供されるプログラムＰＲＡに従って一般的なコンピューターを作動させることで、当該コンピューターに本開示の表示方法を実行させることが可能になる。
３．本開示のまとめ
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
以下、本開示のまとめを付記する。
（付記１）
本開示の一態様による表示方法は、表示面を含む範囲をカメラによって撮像した第１の撮像画像を取得することと、前記第１の撮像画像を取得した後に、前記表示面を含む範囲を前記カメラによって撮像した第２の撮像画像を取得することと、前記表示面に対して筆記を行うための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、を含む。
第１の条件が満たされたということは、文字又は図形を描くためにユーザーが指示体を表示面に近づけつつある状態にあることを意味する。（付記１）に記載の表示方法では、第１の条件が満たされる場合、指示体による描線を表す描画画像を含まない第１の表示画像が表示面に表示されるので、表示面に対する指示体のタッチを正しく検出することができ、表示面に対する指示体のタッチにより描かれる線の始点に連なる余分な線の表示が回避される。
（付記２）
より好ましい態様の表示方法は、前記第１の輝度値が前記第２の輝度値よりも第２の閾値以上輝大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラから遠い位置である、第２の条件を満たす場合に、前記第１の表示画像を、前記表示面に表示すること、を更に含む（付記１）に記載の表示方法である。
第２の条件が満たされたということは、指示体を用いて文字又は図形を描いているユーザーが描画を終了するために指示体を表示面から遠ざけつつある状態にあることを意味する。（付記２）に記載に表示方法では、第２の条件が満たされる場合、指示体による描線を表す描画画像を含まない第１の表示画像が表示面に表示されるので、表示面に対する指示体のタッチにより描かれた線の終点に連なる余分な線の表示が回避される。
（付記３）
更に好ましい態様の表示方法は、前記第１の表示画像を前記表示面に表示することは、前記表示装置が、前記表示装置の備える表示パネルにより、前記第１の表示画像を前記表示面に表示すること、を含み、前記表示パネルにおける位置を規定するパネル座標系において、前記カメラの位置に対応する基準位置を取得すること、を更に含み、前記第２の位置が前記第１の位置よりも前記カメラに近い位置とは、前記基準位置から前記第３の位置までの距離が前記基準位置から前記パネル座標系において前記第１の位置に対応する第４の位置までの距離よりも短いことである、（付記１）又は（付記２）に記載の表示方法である。
（付記３）に記載に表示方法によれば、パネル座標系においてカメラの位置に対応する基準位置、パパネル座標系において第１の位置に対応する第４の位置、及びパネル座標系において第２の位置に対応する第３の位置に基づいて、第１の条件を満たすか否かを判定することが可能になる。
（付記４）
更に好ましい態様の表示方法は、前記第１の表示画像を前記表示面に表示することは、前記表示装置が、前記表示装置の備える表示パネルにより、前記第１の表示画像を前記表示面に表示すること、を含み、前記表示パネルにおける位置を規定するパネル座標系において、前記カメラの位置に対応する基準位置を取得すること、を更に含み、前記第２の位置が前記第１の位置よりも前記カメラから遠い位置とは、前記基準位置から前記第３の位置までの距離が前記基準位置から前記パネル座標系において前記第１の位置に対応する第４の位置までの距離よりも長いことである、（付記１）又は（付記２）に記載の表示方法である。
（付記４）に記載の表示方法によれば、パネル座標系においてカメラの位置に対応する基準位置、パパネル座標系において第１の位置に対応する第４の位置、及びパネル座標系において第２の位置に対応する第３の位置に基づいて、第２の条件を満たすか否かを判定することが可能になる。
（付記５）
更に好ましい態様の表示方法は、前記基準位置を取得することは、前記表示面にパターン画像を表示することと、前記パターン画像を含む領域を前記カメラにより撮像した第３の撮像画像を取得することと、前記第３の撮像画像に含まれるパターン画像に基づいて前記カメラによる撮像画像上の位置を規定するカメラ座標系と前記パネル座標系とを対応付けることにより、前記基準位置を取得することと、を含む、（付記３）又は（付記４）に記載の表示方法である。
（付記５）に記載の表示方法によれば、パターン画像を投射されている表示面を撮像することで得られる第３の撮像画像に基づいて基準位置を取得することが可能になる。
（付記６）
本開示の一態様による表示システムは、表示面を含む範囲を撮像するカメラと、前記範囲を前記カメラによって撮像した第１の撮像画像を取得することと、前記第１の撮像画像を取得した後に、前記範囲を前記カメラによって撮像した第２の撮像画像を取得することと、前記表示面に対して線を描くための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、を実行する、表示装置と、を含む。
（付記６）に記載の表示システムによれば、（付記１）に記載の表示方法と同様に、第１の条件が満たされる場合には、指示体による描線を表す描画画像を含まない第１の表示画像が表示されるので、表示面に対する指示体のタッチを正しく検出することができ、表示面に対する指示体のタッチにより描かれる線の始点に連なる余分な線の表示が回避される。
１…表示システム、１０，１０Ａ，１０Ｂ…プロジェクター、２０Ａ，２０Ｂ…照射装置、３０…指示体、１１０…処理装置、１１０ａ…第１取得部、１１０ｂ…第２取得部、１１０ｃ…第１判定部、１１０ｄ…第２判定部、１１０ｅ…表示制御部、１２０…投射装置、１３０…カメラ、１４０…記憶装置、ＰＲＡ…プログラム、ＳＳ…表示面。

Claims (6)

  1. 表示面を含む範囲をカメラによって撮像した第１の撮像画像を取得することと、
    前記第１の撮像画像を取得した後に、前記表示面を含む範囲を前記カメラによって撮像した第２の撮像画像を取得することと、
    前記表示面に対して線を描くための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、
    前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、
    前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、
    前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、
    を含む、表示方法。
  2. 前記第１の輝度値が前記第２の輝度値よりも第２の閾値以上輝大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラから遠い位置である、第２の条件を満たす場合に、前記第１の表示画像を、前記表示面に表示すること、
    を更に含む、請求項１に記載の表示方法。
  3. 前記第１の表示画像を前記表示面に表示することは、
    前記表示装置が、前記表示装置の備える表示パネルにより、前記第１の表示画像を前記表示面に表示すること、
    を含み、
    前記表示パネルにおける位置を規定するパネル座標系において、前記カメラの位置に対応する基準位置を取得すること、を更に含み、
    前記第２の位置が前記第１の位置よりも前記カメラに近い位置とは、前記基準位置から前記第３の位置までの距離が前記基準位置から前記パネル座標系において前記第１の位置に対応する第４の位置までの距離よりも短いことである、
    請求項１に記載の表示方法。
  4. 前記第１の表示画像を前記表示面に表示することは、
    前記表示装置が、前記表示装置の備える表示パネルにより、前記第１の表示画像を前記表示面に表示すること、
    を含み、
    前記表示パネルにおける位置を規定するパネル座標系において、前記カメラの位置に対応する基準位置を取得すること、を更に含み、
    前記第２の位置が前記第１の位置よりも前記カメラから遠い位置とは、前記基準位置から前記第３の位置までの距離が前記基準位置から前記パネル座標系において前記第１の位置に対応する第４の位置までの距離よりも長いことである、
    請求項２に記載の表示方法。
  5. 前記基準位置を取得することは、
    前記表示面にパターン画像を表示することと、
    前記パターン画像を含む領域を前記カメラにより撮像した第３の撮像画像を取得することと、
    前記第３の撮像画像に含まれるパターン画像に基づいて前記カメラによる撮像画像上の位置を規定するカメラ座標系と前記パネル座標系とを対応付けることにより、前記基準位置を取得することと、
    を含む、請求項３又は請求項４に記載の表示方法。
  6. 表示面を含む範囲を撮像するカメラと、
    前記範囲を前記カメラによって撮像した第１の撮像画像を取得することと、
    前記第１の撮像画像を取得した後に、前記範囲を前記カメラによって撮像した第２の撮像画像を取得することと、
    前記表示面に対して線を描くための指示体からの反射光により前記第１の撮像画像に含まれる第１の輝点の輝度を示す第１の輝度値と、前記第１の撮像画像における前記第１の輝点の座標を示す第１の位置と、を取得することと、
    前記指示体からの反射光により前記第２の撮像画像に含まれる第２の輝点の輝度を示す第２の輝度値と、前記第２の撮像画像における前記第２の輝点の座標を示す第２の位置と、を取得することと、
    前記第２の輝度値が前記第１の輝度値よりも第１の閾値以上大きく、且つ前記第２の位置が前記第１の位置よりも前記カメラに近い位置である、第１の条件を満たす場合には、前記表示面に表示する画像において前記第２の位置に対応する第３の位置に、前記指示体による前記線を表す描画画像を含まない第１の表示画像を前記表示面に表示することと、
    前記第１の条件を満たさない場合には、前記第３の位置に前記描画画像を含む第２の表示画像を前記表示面に表示することと、を実行する、表示装置と、を含む、
    表示システム。
JP2022097869A 2022-06-17 2022-06-17 表示方法、及び表示システム Pending JP2023183998A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022097869A JP2023183998A (ja) 2022-06-17 2022-06-17 表示方法、及び表示システム
US18/335,178 US11997435B2 (en) 2022-06-17 2023-06-15 Display method and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022097869A JP2023183998A (ja) 2022-06-17 2022-06-17 表示方法、及び表示システム

Publications (1)

Publication Number Publication Date
JP2023183998A true JP2023183998A (ja) 2023-12-28

Family

ID=89168658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022097869A Pending JP2023183998A (ja) 2022-06-17 2022-06-17 表示方法、及び表示システム

Country Status (2)

Country Link
US (1) US11997435B2 (ja)
JP (1) JP2023183998A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625839B2 (ja) * 2010-12-03 2014-11-19 富士通株式会社 プロジェクタ装置、位置検出プログラム及びプロジェクタシステム
US20130342493A1 (en) * 2012-06-20 2013-12-26 Microsoft Corporation Touch Detection on a Compound Curve Surface
US20150261374A1 (en) * 2012-10-26 2015-09-17 Sharp Kabushiki Kaisha Coordinate input device and display device provided with same
JP6102330B2 (ja) * 2013-02-22 2017-03-29 船井電機株式会社 プロジェクタ
JP2015088060A (ja) 2013-10-31 2015-05-07 船井電機株式会社 プロジェクタ
JP6690271B2 (ja) 2016-02-05 2020-04-28 セイコーエプソン株式会社 位置検出システム、位置検出装置、および位置検出方法
US10120111B2 (en) * 2016-12-14 2018-11-06 Google Llc Thin ceramic imaging screen for camera systems

Also Published As

Publication number Publication date
US11997435B2 (en) 2024-05-28
US20230412783A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US9417712B2 (en) Image processing apparatus, computer-readable recording medium, and image processing method
JP3640156B2 (ja) 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP5680976B2 (ja) 電子黒板システム及びプログラム
JP4422851B2 (ja) 座標入力装置及び方法
JP6282758B2 (ja) 投射型映像表示装置および映像表示方法
JP3994672B2 (ja) 画像処理を用いた指示位置の検出
US20120044140A1 (en) Information display system and program, and optical input system, projection-type images and display apparatus
US9213411B2 (en) Input user interface device, projecting device, command deciding method and program storage medium storing command deciding method program
JP2012185630A (ja) 投影装置
JP5817149B2 (ja) 投影装置
JP2009070245A (ja) 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体
CN107239178A (zh) 显示系统、信息处理装置、投影仪及信息处理方法
JP2000276297A (ja) ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
JP2023183998A (ja) 表示方法、及び表示システム
JP6390163B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4728540B2 (ja) 会議等支援用画像投影装置
JP2020160808A (ja) 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
TWI518553B (zh) 具多模式之互動投影系統及其指示裝置與控制方法
JP2020021316A (ja) 制御装置及び制御方法
JP2023183997A (ja) 表示方法、及び表示システム
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018055257A (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR100962511B1 (ko) 전자펜 마우스 및 그 동작 방법
JP2020160807A (ja) 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP2019164221A (ja) プロジェクター、プロジェクションシステム、及び、指示体を検出する方法