JP2020134895A - 表示方法及び表示システム - Google Patents

表示方法及び表示システム Download PDF

Info

Publication number
JP2020134895A
JP2020134895A JP2019032414A JP2019032414A JP2020134895A JP 2020134895 A JP2020134895 A JP 2020134895A JP 2019032414 A JP2019032414 A JP 2019032414A JP 2019032414 A JP2019032414 A JP 2019032414A JP 2020134895 A JP2020134895 A JP 2020134895A
Authority
JP
Japan
Prior art keywords
marker
image
information
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019032414A
Other languages
English (en)
Inventor
田中　雅子
Masako Tanaka
雅子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019032414A priority Critical patent/JP2020134895A/ja
Priority to CN202010111010.8A priority patent/CN111614947A/zh
Priority to US16/799,965 priority patent/US20200275069A1/en
Publication of JP2020134895A publication Critical patent/JP2020134895A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Abstract

【課題】マーカーと画像との対応づけの変更を容易にし、表示面に表示させる画像を容易に変更できるようにする。
【解決手段】端末装置１０により、マーカー３の特徴を示すマーカー情報３３を取得し、表示対象の画像とマーカー情報３３とを対応づける対応情報３５を生成し、プロジェクター１００により、スクリーンＳＣに配置されたマーカー３の位置及び特徴を検出し、検出したマーカー３の特徴に対応するマーカー情報３３と、対応情報３５とに基づき、対応づけられた画像を特定し、検出したマーカー３の位置に基づいて画像の表示位置を決定し、特定した画像を決定した表示位置に表示する。
【選択図】図１

Description

本発明は、表示方法及び表示システムに関する。
従来、表示面に配置されたマーカーを検出し、検出したマーカーに対応づけられた画像を表示する方法が知られている。
例えば、特許文献１に開示の画像表示装置は、画像が投影される投影面に配置された物体をカメラで撮影して撮影データから物体を識別する物体ＩＤを抽出し、抽出した物体ＩＤに対応づけられた物体の属性情報を取得する。また、画像表示装置は、取得した属性情報に基づいて、投影面に投影する画像を生成する。
特開２００７−１１２７６号公報
しかしながら、表示面に表示する画像の数が増加した場合、画像と同数のマーカーを用意するのが難しくなる場合がある。このような場合に、マーカーと画像との対応づけを容易に変更し、表示面に表示する画像を容易に変更可能な方法が望まれていた。
上記課題を解決する一態様は、端末装置により、マーカーの特徴を示すマーカー情報を取得し、前記端末装置により、表示対象の画像と前記マーカー情報とを対応づける対応情報を生成し、検出装置により、表示面に配置されたマーカーを検出し、表示装置により、検出された前記マーカーの特徴を抽出し、抽出した前記特徴に対応する前記マーカー情報と、前記対応情報とに基づき、対応づけられた画像を特定し、前記表示装置により、検出された前記マーカーの位置に基づいて前記画像の表示位置を決定し、前記表示装置により、特定した前記画像を決定した前記表示位置に表示する、表示方法である。
上記表示方法において、前記端末装置により、画像の元となる画像データを取得し、取得した前記画像データと、前記マーカー情報とを対応づける前記対応情報を生成する構成であってもよい。
上記表示方法において、前記表示装置により、抽出した前記マーカーの特徴に対応する前記マーカー情報を取得し、前記表示装置により、前記対応情報に従って前記マーカー情報に対応づけて前記画像データを記憶した記憶装置から、取得した前記マーカー情報に対応づけられた前記画像データを取得して表示する構成であってもよい。
上記表示方法において、前記検出装置により、前記表示面を撮像して撮像画像を生成し、前記表示装置により、生成された前記撮像画像から前記マーカーを検出して前記マーカーの特徴を抽出すると共に、前記マーカーの位置を検出する構成であってもよい。
上記表示方法において、前記表示装置により、生成された複数の前記撮像画像に基づいて前記マーカーの動きを検出し、前記表示装置により、検出した前記マーカーの動きに基づいて前記画像の表示位置及び表示サイズの少なくとも一方を決定する構成であってもよい。
上記表示方法において、前記端末装置により、前記マーカーが撮像された撮像画像から前記マーカー情報を取得する構成であってもよい。
上記表示方法において、前記マーカー情報は、前記マーカーとして使用される物体の形状又は色を含む構成であってもよい。
上記表示方法において、前記マーカーは、画像コードを含み、前記マーカー情報は、前記画像コードをデコードした情報を含む構成であってもよい。
上記課題を解決する別の一態様は、マーカーの特徴を示すマーカー情報を取得する情報取得部と、表示対象の画像と前記マーカー情報とを対応づける対応情報を生成する生成部と、を備える端末装置と、表示面に画像を表示する表示部と、前記表示面に配置された前記マーカーの位置及び特徴を検出する検出部と、検出された前記マーカーの特徴に対応する前記マーカー情報と、前記対応情報とに基づき、対応づけられた画像を特定し、検出した前記マーカーの位置に基づいて前記画像の表示位置を決定する制御部と、特定した前記画像を決定した前記表示位置に表示させる制御部と、を備える表示装置と、を備える、表示システムである。
上記表示システムにおいて、前記端末装置は、画像の元となる画像データを取得するデータ取得部を備え、前記生成部は、前記情報取得部が取得した前記マーカー情報と、前記データ取得部が取得した前記画像データとを対応づける前記対応情報を生成する構成であってもよい。
上記表示システムにおいて、前記端末装置が生成する前記対応情報に従って、前記マーカー情報に対応づけて前記画像データを記憶する記憶装置を備え、前記表示装置は、検出した前記マーカーの特徴に対応する前記マーカー情報を取得し、取得した前記マーカー情報に対応づけられた前記画像データを前記記憶装置から取得して表示する構成であってもよい。
上記表示システムにおいて、前記表示装置は、前記表示面を撮像する撮像部を備え、前記制御部は、前記撮像部が生成した撮像画像から前記マーカーを検出して前記マーカーの位置及び特徴を検出する構成であってもよい。
上記表示システムにおいて、前記制御部は、複数の前記撮像画像に基づいて前記マーカーの動きを検出し、検出した前記マーカーの動きに基づいて前記画像の表示位置及び表示サイズの少なくとも一方を決定する構成であってもよい。
上記表示システムにおいて、前記端末装置は、撮像部を備え、前記情報取得部は、前記撮像部が生成した前記マーカーの撮像画像から前記マーカー情報を取得する構成であってもよい。
上記表示システムにおいて、前記マーカー情報は、前記マーカーとして使用される物体の形状又は色を含む構成であってもよい。
上記表示システムにおいて、前記マーカーは、画像コードを含み、前記マーカー情報は、画像コードをデコードした情報を含む構成であってもよい。
第１実施形態の表示システムの斜視図。 端末装置の構成を示すブロック図。 プロジェクターの構成を示すブロック図。 端末装置とスクリーンとに表示される画像を示す図。 スクリーンに表示される画像を示す図。 スクリーンに表示される画像を示す図。 端末装置の動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。 第２実施形態の表示システムのシステム構成図。 サーバー装置の動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。
［第１実施形態］
［１．表示システムの概要］
図１は、表示システム１Ａの斜視図である。表示システム１Ａは、端末装置１０と、表示装置の一例に相当するプロジェクター１００と、を備える。端末装置１０は、マーカー３の特徴を示すマーカー情報３３と、プロジェクター１００に表示させる表示対象の画像とを対応づける。プロジェクター１００は、表示面であるスクリーンＳＣに配置されたマーカー３の位置や特徴を検出し、検出したマーカー３の特徴に基づいて、端末装置１０により対応づけられた画像を特定し、特定した画像を、マーカー３に対応する位置に表示させる。
マーカー３は、スクリーンＳＣにおいてマーカー３の位置や形状を光学的に検出可能である。図１にはスクリーンＳＣに２個のマーカー３を配置した例を示すが、表示システム１Ａで利用可能なマーカー３の数は２個に限定されるものではなく、１つであってもよいし、３個以上であってもよい。
マーカー３は、例えば、スクリーンＳＣの対象範囲ＩＡの中に表示又は形成された模様、文字、図形等であってもよい。対象範囲ＩＡは、プロジェクター１００のＰＪ撮像部１３９の撮像範囲を示す。また、マーカー３は、スクリーンＳＣとは独立した物体であってもよい。また、複数のマーカー３を用いる場合、マーカー３の各々を認識可能なように、マーカー３の色や、形状、サイズの少なくとも１つが他のマーカー３と異なるとよい。また、マーカー３は、マーカー３の表面に画像コードが形成又は貼付されていてもよい。画像コードは、機械可読な態様で電子データを表すために体系的に作られたコードをいい、例えば、１次元コード、２次元コード、電子透かし情報等が含まれる。１次元コードにはバーコードが含まれ、２次元コードにはＱＲコードが含まれる。ＱＲコードは、登録商標である。
図１には、マーカー３の一例として、ＱＲコードが形成された円盤形状の物体を例示する。マーカー３は、ユーザーが手で移動させることができ、スクリーンＳＣ上の任意の位置に固定できる。例えば、マーカー３は、粘着性材料を有し、スクリーンＳＣに粘着力により固定される。また、例えば、スクリーンＳＣは、磁石を付着させることが可能な材料を用いて構成してもよい。この場合、マーカー３を、永久磁石を組み込んだ構成として、スクリーンＳＣの任意の位置に固定可能としてもよい。また、マーカー３は、静電力でスクリーンＳＣに付着するものであってもよい。その他、マーカー３のスクリーンＳＣに対する固定方法は任意に変更可能である。
端末装置１０は、ユーザーが操作する端末であり、例えば、スマートフォン、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ノートパソコン等を採用できる。
端末装置１０は、マーカー３の特徴を示すマーカー情報３３を取得又は生成し、スクリーンＳＣに表示させる画像データ３１と、マーカー情報３３とを対応づけた対応情報３５を生成する。画像データ３１、マーカー情報３３及び対応情報３５は、図２に示す。マーカー情報３３は、マーカー３を光学的に特定可能な情報である。端末装置１０は、マーカー３を撮像した撮像データに基づいてマーカー３の特徴を光学的に検出し、光学的に検出したマーカー３の特徴に基づいてマーカー情報３３を生成する。マーカー情報３３の詳細については後述する。画像データ３１は、ユーザーにより選択されたデータである。ユーザーは、端末装置１０のユーザーであってもよいし、他の端末装置１０のユーザーであってもよい。
端末装置１０は、プロジェクター１００に無線接続され、プロジェクター１００との間でデータ通信を行う。例えば、端末装置１０は、画像データ３１、マーカー情報３３及び対応情報３５をプロジェクター１００に送信する。
プロジェクター１００は、画像光ＰＬを生成し、生成した画像光ＰＬをスクリーンＳＣに向けて投射する。これによりスクリーンＳＣには、画像光ＰＬに基づく画像が結像する。画像光ＰＬがスクリーンＳＣに結像して表示される画像を投射画像５という。投射画像５は、静止画像及び映像のいずれであってもよい。映像はいわゆる動画像をいう。以下の説明では、静止画像及び映像を総称して投射画像５という。スクリーンＳＣは、例えば、壁面等の平面、或いは、吊り下げ設置された幕であり、プロジェクター１００が発する画像光ＰＬを反射して像を形成可能であればよい。例えば、筆記が可能な黒板やホワイトボードをスクリーンＳＣとして用いてもよい。
プロジェクター１００が画像光ＰＬを投射可能な領域を投射領域ＰＡという。投射領域ＰＡは、プロジェクター１００が画像を表示することが可能な表示可能領域である。プロジェクター１００の通常の使用状態において、投射領域ＰＡはスクリーンＳＣに収まるように投射される。
プロジェクター１００は、ＰＪ撮像部１３９を備え、ＰＪ撮像部１３９が生成した撮像データに基づき、スクリーンＳＣに設定される対象範囲ＩＡにおいて、マーカー３を検出する。プロジェクター１００は、端末装置１０から受信したマーカー情報３３に一致する物体又は表示を検出してマーカー３を特定する。対象範囲ＩＡは、投射領域ＰＡと一致していなくてもよいが、対象範囲ＩＡが投射領域ＰＡを含むことが好ましい。本実施形態では、対象範囲ＩＡと投射領域ＰＡとが一致する場合を例示する。プロジェクター１００は、対象範囲ＩＡにおいて検出したマーカー３について、投射領域ＰＡにおける位置を特定する。
プロジェクター１００は、スクリーンＳＣに配置、形成又は表示されたマーカー３の位置及び特徴を検出する。プロジェクター１００は、検出したマーカー３の特徴に対応したマーカー情報３３に基づいて画像を特定し、検出したマーカー３の位置に基づいてスクリーンＳＣの表示位置を決定する。プロジェクター１００は、決定した表示位置に、特定した画像を表示させる。
［２．端末装置の構成］
図２は、端末装置１０の構成を示すブロック図である。
端末装置１０は、端末無線通信部１１、表示部１３、操作部１５、端末撮像部１７及び端末制御部２０を備える。
端末無線通信部１１は、所定の無線通信規格に従ってプロジェクター１００を含む外部の装置と無線通信を行う。所定の無線通信規格には、例えば、無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、赤外線通信等を採用できる。Ｂｌｕｅｔｏｏｔｈは、登録商標である。
表示部１３は、表示パネル１３ａ及び操作検出部１３ｂを備える。
表示パネル１３ａには、例えば、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部１３は、端末制御部２０の制御に従って、ウインドウやアイコン、ボタン等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像を表示パネル１３ａに表示させる。
操作検出部１３ｂは、表示パネル１３ａに対するタッチ操作を検出するタッチセンサーを備える。タッチセンサーの図示は省略する。表示パネル１３ａ及び操作検出部１３ｂは、タッチパネルとして機能する。操作検出部１３ｂは、ユーザーの指やタッチペンが表示パネル１３ｂに接触した接触位置を検出し、検出した接触位置を示す表示パネル１３ｂの座標を端末制御部２０に出力する。端末制御部２０は、操作検出部１３ｂから入力される座標と、表示パネル１３ｂに表示されたＧＵＩ画像の表示位置とに基づいて入力された操作を特定し、特定した操作に対応した各種処理を実行する。
操作部１５は、ユーザーの操作を受け付けるハードウェアボタンを備える。このハードウェアボタンには、例えば、端末装置１０の電源ボタンや、端末撮像部１７のシャッターを操作するシャッターボタン等が含まれる。操作部１５は、これらのボタンが操作されると、操作されたボタンに対応した操作信号を生成して端末制御部２０に出力する。
端末撮像部１７は、いわゆるデジタルカメラであり、「撮像部」及び「情報取得部」として機能する。端末撮像部１７は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサーを備える。また、端末撮像部１７は、イメージセンサーの受光状態から撮像データを生成するデータ処理回路を備える。端末撮像部１７は、可視光により撮像を行う構成であってもよいし、赤外光や紫外光など、可視領域外の波長の光により撮像を行うものであってもよい。端末撮像部１７は、シャッターボタンの操作を受け付けると、撮像を行って撮像データを生成する。端末撮像部１７は、生成した撮像データを端末制御部２０に出力する。
端末制御部２０は、例えば、プログラムを実行する演算処理装置を備え、ハードウェアとソフトウェアとの協働により端末制御部２０の機能を実現するものであってもよい。また、端末制御部２０は、演算処理機能をプログラムされたハードウェアにより構成されてもよい。本実施形態では端末制御部２０は、一例として、端末記憶部２１と、端末プロセッサー２３とを備える構成を示す。
端末記憶部２１は、データを不揮発的に記憶する不揮発性記憶領域を備える。不揮発性記憶領域には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、アプリケーションプログラム等の制御プログラム２２が記憶される。また、端末記憶部２１は、揮発性記憶領域を備える。この揮発性記憶領域は、端末プロセッサー２３のワークエリアとして機能する。また、揮発性記憶領域には、画像データ３１、マーカー情報３３及び対応情報３５が記憶される。
画像データ３１は、端末装置１０に予め記憶されたデータであってもよいし、外部装置から受信したデータであってもよい。外部装置として、例えば、サーバー装置や、他の端末装置１０が挙げられる。サーバー装置は、インターネット等の広域ネットワークを介して通信可能な装置であってもよいし、端末装置１０が接続されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のプライベートネットワークに接続された装置であってもよい。また、サーバー装置は、端末装置１０と同一のアクセスポイントに接続され、このアクセスポイントを介して通信可能な装置であってもよい。サーバー装置や、他の端末装置１０から画像データ３１を受信するために機能する端末無線通信部１１や、この端末無線通信部１１を制御する通信制御部２３ｃは、「データ取得部」として機能する。通信制御部２３ｃについては後述する。
また、画像データ３１は、端末撮像部１７により撮像された撮像データであってもよいし、端末装置１０にインストールされたアプケーションプログラムにより生成されるデータであってもよい。この場合、端末撮像部１７は、「データ取得部」として機能する。また、アプケーションプログラムにより生成されるデータには、例えば、端末装置１０の表示パネル１３ａに対するタッチ操作によりユーザーが描いた文字や図形、数字、記号が含まれる。この場合、アプケーションプログラムを実行する端末制御部２０は、「データ取得部」として機能する。
端末プロセッサー２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイコン等で構成される演算処理装置である。端末プロセッサー２３は、端末記憶部２１が記憶する制御プログラム２２を実行して端末装置１０の各部を制御する。端末プロセッサー２３は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、端末プロセッサー２３は、端末記憶部２１の一部又は全部や、その他の回路と統合されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）により構成することも可能である。さらに、端末プロセッサー２３は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）との組合せにより構成してもよい。また、端末プロセッサー２３の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
端末制御部２０は、端末プロセッサー２３が制御プログラム２２に記述された命令セットを実行してデータの演算や制御を行うことにより、情報取得部２３ａ、生成部２３ｂ及び通信制御部２３ｃとして機能する。
情報取得部２３ａは、端末撮像部１７と共に「情報取得部」として機能する。情報取得部２３ａは、マーカー３を撮像した撮像データを解析し、マーカー３の特徴を示すマーカー情報３３を抽出する。マーカー３の特徴は、マーカー３の外見上の色や、模様、形状、サイズなど、光学的に識別可能な属性を指す。ここで、光学的に識別可能な属性とは、可視光を利用して検出し、識別できる属性に限定されず、赤外光や紫外光を用いる検出及び識別が可能な属性を含む。
まず、情報取得部２３ａは、表示パネル１３ａに対するタッチ操作により、マーカー３の登録要求を受け付けると、端末撮像部１７に撮像を実行させてマーカー３を撮像させる。ユーザーは、登録したいマーカー３を端末撮像部１７により撮像可能な範囲内に置き、シャッターボタンを押下する。情報取得部２３ａは、シャッターボタンが押下されると、端末撮像部１７に撮像を実行させる。情報取得部２３ａは、端末撮像部１７から入力される撮像データを端末記憶部２１に一時的に記憶させる。
情報取得部２３ａは、撮像データを解析して、マーカー３の特徴を示すマーカー情報３３を生成する。本実施形態では、ＱＲコードが付された物体をマーカー３として使用する場合について説明する。情報取得部２３ａは、撮像データから２次元コードの画像を抽出し、抽出した画像をデコードしてコード情報を取得する。情報取得部２３ａは、取得したコード情報を、マーカー情報３３として端末記憶部２１に記憶させる。
また、ＱＲコード等の画像コードが付されていない物体をマーカー３として用いる場合、情報取得部２３ａは、撮像データを解析して、マーカー３の色や、模様、形状、サイズ等の外見上の特徴をマーカー情報３３として検出してもよい。
例えば、情報取得部２３ａは、マーカー３が撮像された撮像範囲の撮像データをマーカー情報３３としてそのまま用いてもよい。また、情報取得部２３ａは、マーカー３の色や、模様をマーカー情報３３とする場合、予め用意されたサンプル画像の色との比較により、マーカー３の色や配色等を特定してもよい。また、情報取得部２３ａは、マーカー３の形状やサイズをマーカー情報３３とする場合、エッジ抽出によりマーカー３の輪郭を検出し、検出した輪郭に基づいてマーカー３の形状やサイズを特定し、マーカー情報３３を生成してもよい。
生成部２３ｂは、画像データ３１と、マーカー情報３３とを対応づける対応情報３５を生成する。
まず、生成部２３ｂは、表示パネル１３ａに対するタッチ操作により、表示対象の画像の選択要求を受け付けると、端末記憶部２１が記憶する画像データ３１のサムネイル画像を表示パネル１３ａに表示させる。ユーザーは、プロジェクター１００に表示させたい表示対象の画像がサムネイル画像に含まれていない場合、端末装置１０を操作して、例えば、通信ネットワーク上のサーバー装置にアクセスし、サーバー装置から画像データ３１をダウンロードする。また、他の端末装置１０から送信された画像データ３１を表示対象の画像としてもよいし、表示パネル１３ａに対するタッチ操作により、端末装置１０により画像データ３１を生成してもよい。
生成部２３ｂは、画像データ３１が選択されると、選択された画像データ３１と、マーカー情報３３とを対応づけた対応情報３５を生成する。画像データ３１には、画像データ３１を識別する識別情報が設定され、マーカー情報３３にも、マーカー情報３３を識別する識別情報が設定されている。画像データ３１を識別する識別情報を画像識別情報といい、マーカー情報３３を識別する識別情報をマーカー識別情報という。生成部２３ｂは、画像識別情報と、マーカー識別情報とを対応づけて対応情報３５を生成する。
画像識別情報は、例えば、画像データ３１を特定可能なファイル名であってもよいし、生成部２３ｂが付与するものであってもよい。また、マーカー識別情報は、生成部２３ｂが付与してもよい。
生成部２３ｂは、表示パネル１３ａに対するタッチ操作により、表示対象の画像の登録要求を受け付けると、端末記憶部２１に記憶され、マーカー識別情報が対応づけられた画像データ３１のサムネイル画像を表示パネル１３ａに表示させる。
生成部２３ｂは、ユーザーによりサムネイル画像のいずれか１つが選択されると、端末記憶部２１から画像データ３１、マーカー情報３３及び対応情報３５を読み出し、通信制御部２３ｃに出力する。画像データ３１は、選択されたサムネイル画像に対応したデータであり、対応情報３５は、この画像データ３３の画像識別情報を含む情報である。また、マーカー情報３３は、この対応情報３５に含まれるマーカー識別情報のマーカー情報３３である。
通信制御部２３ｃは、端末無線通信部１１を制御してプロジェクター１００との無線通信を実行する。通信制御部２３ｃは、生成部２３ｂから入力された画像データ３１、マーカー情報３３及び対応情報３５をプロジェクター１００に送信する。以下では、プロジェクター１００に送信される画像データ３１、マーカー情報３３及び対応情報３５を総称して登録情報という。
また、生成部２３ｂは、マーカー情報３３に対応づけられた画像データ３１が変更されると、変更された画像データ３１、マーカー情報３３及び対応情報３５を含む登録情報を再度、通信制御部２３ｃに出力する。通信制御部２３ｃは、入力された登録情報をプロジェクター１００に送信する。
［３．プロジェクターの構成］
図３は、プロジェクター１００の構成を示すブロック図である。図３を参照しながらプロジェクター１００の構成について説明する。
プロジェクター１００は、投射部１１０及び駆動部１２０を備える。投射部１１０は、「表示部」の一例に対応し、光源１１１、光変調装置１１３及び光学ユニット１１５を備える。駆動部１２０は、光源駆動回路１２１及び光変調装置駆動回路１２３を備える。光源駆動回路１２１及び光変調装置駆動回路１２３は、バス１０５に接続される。
光源１１１は、ＬＥＤやレーザー光源等の固体光源で構成される。光源１１１は、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプであってもよい。光源１１１は、光源駆動回路１２１により駆動されて発光する。光源駆動回路１２１は、バス１０５に接続され、同じくバス１０５に接続されたＰＪ制御部１５０の制御に従って光源１１１に電力を供給する。
光変調装置１１３は、光源１１１が発する光を光変調素子により変調して画像光ＰＬを生成し、生成した画像光ＰＬを光学ユニット１１５に射出する。光変調装置１１３が備える光変調素子は、例えば、透過型の液晶ライトバルブであってもよいし、反射型の液晶ライトバルブやデジタルミラーデバイスであってもよい。本実施形態では、光変調素子が、透過型の光変調素子である場合を例にして説明する。
光変調装置１１３は、光変調装置駆動回路１２３に接続される。光変調装置駆動回路１２３は、光変調素子の透過率を、画像光ＰＬの元となる画像データ３１に対応した透過率となるように光変調素子を駆動する。
光学ユニット１１５は、レンズやミラー等の光学素子を備え、光変調装置１１３により生成された画像光ＰＬをスクリーンＳＣに投射する。スクリーンＳＣには、画像光ＰＬが結像し、画像光ＰＬに対応した投射画像５が表示される。
プロジェクター１００は、入力インターフェイス１３１、リモコン受光部１３３及び操作パネル１３５を備える。入力インターフェイス１３１は、プロジェクター１００に対する入力を受け付ける。入力インターフェイス１３１は、図示しないリモコンが送信する赤外線信号を受光するリモコン受光部１３３、及びプロジェクター１００の本体に設けられる操作パネル１３５に接続される。入力インターフェイス１３１は、リモコン受光部１３３が受光した信号をデコードして、リモコンによる操作を検出する。また、入力インターフェイス１３１は、操作パネル１３５に対する操作を検出する。入力インターフェイス１３１は、操作内容を示すデータをＰＪ制御部１５０に出力する。
プロジェクター１００は、ＰＪ無線通信部１３７及びＰＪ撮像部１３９を備える。ＰＪ無線通信部１３７は、所定の無線通信規格に従ってプロジェクター１００を含む外部の装置と無線通信を行う。所定の無線通信規格は、例えば、無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ、ＵＷＢ、赤外線通信等を採用できる。
ＰＪ撮像部１３９は、いわゆるデジタルカメラであり、「検出装置」に対応する。また、ＰＪ撮像部１３９は、後述するマーカー検出部１５５ｂと共に「検出部」としても機能する。ＰＪ撮像部１３９は、ＣＭＯＳやＣＣＤ等のイメージセンサーや、イメージセンサーの受光状態から撮像データを生成するデータ処理回路を備える。ＰＪ撮像部１３９は、可視光により撮像を行う構成であってもよいし、赤外光や紫外光など、可視領域外の波長の光により撮像を行うものであってもよい。
ＰＪ撮像部１３９は、ＰＪ制御部１５０の制御により撮像を行って撮像データを生成し、生成した撮像データをＰＪ制御部１５０に出力する。ＰＪ撮像部１３９の撮像範囲、すなわち画角は、スクリーンＳＣに設定された対象範囲ＩＡを含む範囲である。
プロジェクター１００は、画像インターフェイス１４１、画像処理部１４３及びフレームメモリー１４５を備える。画像インターフェイス１４１及び画像処理部１４３は、バス１０５に接続される。
画像インターフェイス１４１は、画像データ３１が入力されるインターフェイスであり、ケーブル７が接続されるコネクター、及びケーブル７を介して画像データ３１を受信するインターフェイス回路を備える。
画像インターフェイス１４１は、画像データ３１を供給する画像供給装置を接続可能である。プロジェクター１００が扱う画像データ３１は、動画像データであっても静止画像データであってもよく、データフォーマットは任意である。
画像処理部１４３には、フレームメモリー１４５が接続される。画像処理部１４３は、画像インターフェイス１４１から入力された画像データをフレームメモリー１４５に展開して処理する。画像処理部１４３が行う処理には、例えば、投射画像５の形状歪みを補正する形状歪み補正処理や、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を重畳するＯＳＤ処理等が含まれる。また、画像処理部１４３は、画像データに対し、輝度や色味を調整する画像調整処理や、画像データのアスペクト比や解像度を光変調装置１１３に合わせて調整する解像度変換処理を行ってもよい。
画像処理部１４３は、画像処理が終了すると、処理後の画像データを光変調装置駆動回路１２３に出力する。光変調装置駆動回路１２３は、入力された画像データに基づいて光変調装置１１３を駆動する駆動信号を生成する。光変調装置駆動回路１２３は、画像データに対応した透過率となるように、生成した駆動信号により光変調装置１１３の光変調素子を駆動する。光源１１１から射出された光が、画像が形成された光変調素子を透過することで画像光ＰＬに変調され、変調された画像光ＰＬが光学ユニット１１５によりスクリーンＳＣに投射される。
プロジェクター１００は、プロジェクター１００の各部を制御するＰＪ制御部１５０を備える。ＰＪ制御部１５０は、例えば、ハードウェアとソフトウェアとの協働によりＰＪ制御部１５０の機能を実現するものであってもよい。或いは、ＰＪ制御部１５０は、演算処理機能をプログラムされたハードウェアにより構成してもよい。本実施形態では一例として、ＰＪ制御部１５０が、ＰＪ記憶部１５１と、ＰＪプロセッサー１５５とを備える構成について説明する。
第１実施形態において、ＰＪ記憶部１５１は「記憶装置」に相当する。ＰＪ記憶部１５１は、データを不揮発的に記憶する不揮発性記憶領域を備える。不揮発性記憶領域には、ＰＪプロセッサー１５５が実行するＯＳや、アプリケーションプログラム等の制御プログラム１５２や、キャリブレーションデータ１５３が記憶される。
また、ＰＪ記憶部１５１は、データを揮発的に記憶する揮発性記憶領域を備える。揮発性記憶領域は、ＰＪプロセッサー１５５のワークエリアとして動作する。また、揮発性記憶領域には、端末装置１０から受信した登録情報である画像データ３１、マーカー情報３３及び対応情報３５が一時的に記憶される。
キャリブレーションデータ１５３は、ＰＪ撮像部１３９が生成する撮像データの座標と、フレームメモリー１４５の座標とを対応づけるデータである。撮像データの座標を撮像座標といい、フレームメモリー１４５の座標をメモリー座標という。キャリブレーションデータ１５３により、撮像データの撮像座標が、対応するフレームメモリー１４５のメモリー座標に変換される。キャリブレーションデータ１５３は、例えば、プロジェクター１００の製造時に生成され、ＰＪ記憶部１５１に記憶される。
ＰＪプロセッサー１５５は、ＣＰＵやマイコン等で構成される演算処理装置である。ＰＪプロセッサー１５５は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成してもよい。また、ＰＪプロセッサー１５５は、ＰＪ記憶部１５１の一部又は全部や、その他の回路と統合されたＳｏＣで構成されてもよい。また、ＰＪプロセッサー１５５は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。また、ＰＪプロセッサー１５５の機能の全てを、ハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。また、ＰＪプロセッサー１５５は、画像処理部１４３の機能を兼ねてもよい。すなわち、画像処理部１４３の機能を、ＰＪプロセッサー１５５が実行してもよい。
ＰＪ制御部１５０は、ＰＪプロセッサー１５５が制御プログラム１５２に記述された命令セットを実行してデータの演算や制御を行う。これにより、ＰＪ制御部１５０は、通信制御部１５５ａ、マーカー検出部１５５ｂ及び表示制御部１５５ｃとして機能する。
通信制御部１５５ａは、ＰＪ無線通信部１３７を制御して端末装置１０との無線通信を実行する。通信制御部１５５ａは、例えば、ＰＪ無線通信部１３７を制御して端末装置１０から送信される登録情報を受信する。登録情報は、ＰＪ制御部１５０の制御によりＰＪ記憶部１５１に記憶される。
ＰＪ制御部１５０は、受信した登録情報に含まれる画像データ３１と、マーカー情報３３とを対応づけてＰＪ記憶部１５１に記憶させる。また、画像データ３１とマーカー情報３３とが対応づけられてＰＪ記憶部１５１に記憶されていれば、対応情報３５はＰＪ記憶部１５１に記憶しておく必要はないが、対応情報３５をＰＪ記憶部１５１に記憶しておいてもよい。本実施形態では、対応情報３５を消去せずにＰＪ記憶部１５１に記憶しておく場合について説明する。
マーカー検出部１５５ｂは、ＰＪ撮像部１３９と共に「検出部」として機能し、スクリーンＳＣに配置されたマーカー３の位置を検出し、マーカー３の特徴を抽出する。
マーカー検出部１５５ｂは、ＰＪ撮像部１３９に撮像を実行させる。ＰＪ撮像部１３９は、対象範囲ＩＡを含む範囲を撮像して撮像データを生成し、生成した撮像データをマーカー検出部１５５ｂに出力する。マーカー検出部１５５ｂは、入力された撮像データをＰＪ記憶部１５１に記憶させる。
マーカー検出部１５５ｂは、ＰＪ記憶部１５１から撮像データを読み出し、読み出した撮像データを解析してマーカー３の画像を検出する。マーカー検出部１５５ｂは、マーカー情報３３が示すマーカー３の特徴に一致する範囲を検出してマーカー３の画像を検出する。
マーカー検出部１５５ｂは、マーカー３の画像を検出すると、検出したマーカー３の画像からマーカー３の特徴を抽出する。本実施形態のマーカー３には、２次元コードが付されている。このため、マーカー検出部１５５ｂは、撮像データを２値化画像に変換し、変換した２値化画像から２次元コードを抽出する。次に、マーカー検出部１５５ｂは、抽出した２次元コードをデコードしてコード情報を取得する。マーカー検出部１５５ｂは、取得したコード情報に一致するマーカー情報３３がＰＪ記憶部１５１に記憶されているか否かを判定する。マーカー検出部１５５ｂは、取得したコード情報に一致するマーカー情報３３がＰＪ記憶部１５１に記憶されている場合、このコード情報に一致するマーカー情報３３と、２次元コードを抽出した撮像データの範囲を示す範囲情報とを表示制御部１５５ｃに出力する。この範囲情報は、撮像座標により特定される情報である。
また、マーカー３に、画像コードが付されていない場合、マーカー検出部１５５ｂは、マーカー情報３３が示す特徴に一致する画像の範囲を撮像データから検出する。マーカー検出部１５５ｂは、例えば、マーカー情報３３が示す色や形状の物体が撮像された範囲を、マーカー３が撮像された範囲として検出する。マーカー検出部１５５ｂは、検出した範囲を示す範囲情報と、この範囲情報の検出に用いたマーカー情報３３とを表示制御部１５５ｃに出力する。
表示制御部１５５ｃは、「制御部」として機能し、マーカー検出部１５５ｂが検出したマーカー３のマーカー情報３３に対応づけられた画像データ３１を取得し、取得した画像データ３１を表示させる表示位置を決定する。
表示制御部１５５ｃは、まず、マーカー検出部１５５ｂが検出したマーカー３の位置を示す範囲情報である撮像座標を、フレームメモリー１４５の座標であるメモリー座標に変換する。表示制御部１５５ｃは、ＰＪ記憶部１５１からキャリブレーションデータ１５３を読み出し、読み出したキャリブレーションデータ１５３により撮像座標をメモリー座標に変換する。
次に、表示制御部１５５ｃは、マーカー情報３３に対応づけられた画像データ３１をＰＪ記憶部１５１から読み出す。次に、表示制御部１５５ｃは、変換したマーカー３のメモリー座標と、読み出した画像データ３１のサイズとに基づき、画像データ３１を展開するフレームメモリー１４５のメモリー座標を決定する。例えば、表示制御部１５５ｃは、画像データ３１の水平方向の中心位置に、マーカー３が位置するように画像データ３１を展開するメモリー座標を決定する。また、表示制御部１５５ｃは、マーカー３と画像データ３１とが垂直方向において予め設定された距離だけ離れ、画像データ３１がマーカー３よりも下に位置するように画像データ３１を展開するメモリー座標を決定する。
表示制御部１５５ｃは、画像データ３１と、決定したメモリー座標とを画像処理部１４３に出力し、画像処理部１４３に画像処理を実行させる。画像処理部１４３は、入力された画像データ３１を、入力されたメモリー座標が示すフレームメモリー１４５の座標に展開する。
図１に示すように、複数のマーカー３がスクリーンＳＣに固定され、マーカー検出部１５５ｂにより複数のマーカー３が検出される場合、フレームメモリー１４５には、マーカー３の各々に対応づけられた画像データ３１が展開される。画像処理部１４３は、展開された画像データ３１に対して画像処理を行い、処理後の画像データ３１をフレームメモリー１４５から読み出して光変調装置駆動回路１２３に出力する。
光変調装置駆動回路１２３が、入力された画像データ３１に基づいて駆動信号を生成し、生成した駆動信号により光変調装置１１３の光変調素子を駆動する。これにより光変調素子の透過率が、画像データ３１に対応した透過率に制御される。光源１１１から射出された光が、画像が形成された光変調素子を透過することで画像光ＰＬが生成され、生成された画像光ＰＬが光学ユニット１１５によりスクリーンＳＣに投射される。
図４は、端末装置１０と、スクリーンＳＣとに表示される画像を示す図である。
例えば、ユーザーの操作により端末装置１０の表示パネル１３ａに表示された画像が、魚の画像５ａから車の画像５ｂに変更されたと仮定する。
端末制御部２０は、表示パネル１３ａの画像を、魚の画像５ａから車の画像５ｂに変更すると、対応情報３５を変更する。すなわち、端末制御部２０は、マーカー情報３３に対応づける画像データ３１を、魚の画像５ａの画像データ３１から車の画像５ｂの画像データ３１に変更する。
また、端末装置１０に複数のマーカー３、すなわちマーカー情報３３が登録されている場合、端末制御部２０は、対応づける画像データ３１を変更する対象となるマーカー情報３３のマーカー３の画像を表示パネル１３ａに表示させてもよい。マーカー３の画像は、マーカー情報３３の登録のときに端末撮像部１７で撮像したマーカー３の撮像データにより生成される画像である。
端末制御部２０は、対応情報３５を書き替え、マーカー情報３３に対応づけた画像データ３１を変更すると、変更された画像データ３１、マーカー情報３３及び対応情報３５を含む登録情報を再度、プロジェクター１００に送信する。
ＰＪ制御部１５０は、端末装置１０から登録情報を受信すると、受信した登録情報をＰＪ記憶部１５１に記憶させる。これにより、プロジェクター１００において、マーカー情報３３に対応づけられた画像データ３１が更新される。
ＰＪ制御部１５０は、登録情報をＰＪ記憶部１５１に記憶させると、ＰＪ撮像部１３９の撮像データを解析して、マーカー情報３３に対応したマーカー３が検出されたか否かを判定する。ＰＪ制御部１５０は、マーカー情報３３に対応したマーカー３が検出されると、このマーカー情報３３に対応づけられた画像データ３１をＰＪ記憶部１５１から読み出し、画像処理部１４３、投射部１１０及び駆動部１２０を制御してスクリーンＳＣに表示させる。従って、プロジェクター１００がスクリーンＳＣに表示する画像が、魚の画像５ａから車の画像５ｂに変更される。
図５は、スクリーンＳＣに表示される画像を示す図である。特に、図５は、マーカー３を移動させた場合の投射画像５の表示位置の変化を示す図である。
図５に破線で示すマーカー３及び投射画像５は、位置を移動する前のマーカー３及び投射画像５を示す。また、図５に実線で示すマーカー３及び投射画像５は、位置を移動した後のマーカー３及び投射画像５を示す。
ＰＪ制御部１５０は、複数の撮像データに基づいてマーカー３の動きを検出し、検出したマーカー３の動きに基づいて投射画像５の表示位置を決定する。
ＰＪ撮像部１３９は、予め設定された一定間隔で撮像を行って撮像データを生成する。このため、マーカー検出部１５５ｂは、ＰＪ撮像部１３９が連続して撮像した撮像データの各々からマーカー３を検出することで、マーカー３の移動を検出することができる。表示制御部１５５ｃは、マーカー検出部１５５ｂから入力されるマーカー３の位置を示す範囲情報の変化に対応して画像データ３１の表示位置を変更する。このため、ユーザーは、スクリーンＳＣに配置するマーカー３の位置を移動させることにより、スクリーンＳＣにおける投射画像５の表示位置を移動させることができる。
図６は、スクリーンＳＣに表示される画像を示す図である。特に、図６は、マーカー３を回転させた場合の画像の変化を示す図である。
図６に破線で示すマーカー３及び投射画像５は、マーカー３を回転させる前の投射画像５を示す。また、図６に実線で示すマーカー３及び投射画像５は、マーカー３を回転させた後の投射画像５を示す。
ＰＪ制御部１５０は、複数の撮像データに基づいてマーカー３の動きを検出し、検出したマーカー３の動きに基づいて投射画像５の表示サイズを決定する。
本実施形態のマーカー３には、ＱＲコードが付されている。マーカー３に付されたＱＲコードをＰＪ撮像部１３９により撮像し、撮像データを解析することで、マーカー３の動きとしての回転を検出することができる。ＱＲコードには、複数の位置検出用パターンが形成されている。撮像データを解析して、位置検出用パターンの配置を特定することで、マーカー３に付されたＱＲコードの回転、及び回転の方向を検出することができる。
マーカー検出部１５５ｂは、一定間隔で撮像される複数の撮像データからマーカー３の画像を検出し、検出したマーカー３の画像を比較してマーカー３の回転方向及び回転角度を検出する。マーカー検出部１５５ｂが検出したマーカー３の回転方向及び回転角度は、表示制御部１５５ｃに入力される。表示制御部１５５ｃは、入力された回転方向及び回転角度に基づき、画像データ３１のサイズを縮小又は拡大させる。
例えば、表示制御部１５５ｃは、図６に示すように、マーカー３のスクリーンＳＣに向かって左方向の回転、すなわちマーカー３の反時計回りの回転を検出した場合、フレームメモリー１４５に展開する画像データ３１のサイズを縮小させる。画像データ３１の縮小率は、マーカー検出部１５５ｂにより検出されたマーカー３の回転角度に比例して設定される。例えば、表示制御部１５５ｃは、マーカー３の回転角度が大きくなるほど、画像データ３１の縮小率を大きく設定する。
また、表示制御部１５５ｃは、図６に示すように、マーカー３のスクリーンＳＣに向かって右方向の回転、すなわちマーカー３の時計回りの回転を検出した場合、フレームメモリー１４５に展開する画像データ３１のサイズを拡大させる。画像データ３１の拡大率は、マーカー検出部１５５ｂにより検出されたマーカー３の回転角度に比例して設定される。表示制御部１５５ｃは、マーカー３の回転角度が大きくなるほど、画像データ３１の拡大率を大きく設定する。
［４．端末装置の動作］
図７は、端末装置１０の動作を示すフローチャートである。
図７に示すフローチャートを参照しながら端末装置１０の動作について説明する。
端末制御部２０は、制御プログラム２２に含まれるアプリケーションプログラムがタッチ操作により選択されると、選択されたアプリケーションプログラムを端末プロセッサー２３により実行する。これにより、アプリケーションプログラムが起動される（ステップＳ１）。
次に、端末制御部２０は、マーカー３の登録要求を受け付けたか否かを判定する（ステップＳ２）。端末制御部２０は、マーカー３の登録要求を受け付けた場合（ステップＳ２／ＹＥＳ）、まず、マーカー３を登録するための操作をガイドする案内を表示パネル１３ａに表示させる。次に、端末制御部２０は、シャッターボタンの操作を受け付けたか否かを判定する（ステップＳ３）。端末制御部２０は、シャッターボタンの操作を受け付けていない場合（ステップＳ３／ＮＯ）、シャッターボタンの操作を受け付けるまで待機する。
端末制御部２０は、シャッターボタンの操作を受け付けると（ステップＳ３／ＹＥＳ）、端末撮像部１７に撮像させて撮像データを生成させる（ステップＳ４）。端末制御部２０は、端末制御部２０が生成した撮像データを端末記憶部２１に記憶させる（ステップＳ５）。
また、端末制御部２０は、端末記憶部２１から撮像データを読み出し、読み出した撮像データをデコードしてコード情報に変換する（ステップＳ６）。端末制御部２０は、変換したコード情報をマーカー情報３３として端末記憶部２１に記憶させる（ステップＳ７）。
また、端末制御部２０は、マーカー３の登録要求を受け付けていない場合（ステップＳ２／ＮＯ）、また、ステップＳ７の処理が終了した場合、画像データ３１の選択要求を受け付けたか否かを判定する（ステップＳ８）。ここで選択される画像データ３１は、プロジェクター１００によりスクリーンＳＣに表示させる画像の元となるデータである。画像データ３１は、ステップＳ１で起動させたアプリケーションプログラムが備える機能により生成したデータであってもよい。また、画像データ３１は、ステップＳ１で起動させたアプリケーションプログラムの制御により、サーバー装置等の外部の装置からダウンロードしたデータであってもよい。
端末制御部２０は、画像データ３１の選択要求を受け付けていない場合（ステップＳ８／ＮＯ）、ステップＳ１５の判定に移行する。また、端末制御部２０は、画像データ３１の選択要求を受け付けた場合（ステップＳ８／ＹＥＳ）、マーカー情報３３を登録済みであるか否かを判定する（ステップＳ９）。端末制御部２０は、マーカー情報３３が登録済みではない場合（ステップＳ９／ＮＯ）、マーカー情報３３の登録を要求する案内を表示パネル１３ａに表示させ（ステップＳ１０）、ステップＳ２に移行する。
また、端末制御部２０は、マーカー情報３３が登録済みである場合（ステップＳ９／ＹＥＳ）、画像データ３１のサムネイル画像を表示パネル１３ａに表示させ、画像データ３１を選択する操作を受け付ける（Ｓ１１）。端末制御部２０は、画像データ３１を選択する操作を受け付けていない場合（ステップＳ１１／ＮＯ）、操作を受け付けるまで待機する。また、端末制御部２０は、画像データ３１を選択する操作を受け付けると、選択された画像データ３１の画像識別情報と、マーカー情報３３のマーカー識別情報とを対応づけて対応情報３５を生成する（ステップＳ１２）。端末制御部２０は、生成した対応情報３５を端末記憶部２１に記憶させる。
次に、端末制御部２０は、画像データ３１の登録要求を受け付けたか否か、又は対応情報３５が変更されたか否かを判定する（ステップＳ１３）。端末制御部２０は、画像データ３１の登録要求を受け付けていない場合、又は対応情報３５が変更されていない場合（ステップＳ１３／ＮＯ）、ステップＳ１５の判定に移行する。
また、端末制御部２０は、画像データ３１の登録要求を受け付けた場合、又は対応情報３５が変更されると（ステップＳ１３／ＹＥＳ）、画像データ３１、マーカー情報３３及び対応情報３５を含む登録情報をプロジェクター１００に送信する（ステップＳ１４）。
次に、端末制御部２０は、アプリケーションプログラムを終了させる終了操作を受け付けたか否かを判定する（ステップＳ１５）。端末制御部２０は、アプリケーションプログラムの終了操作を受け付けた場合（ステップＳ１５／ＹＥＳ）、この処理フローを終了させる。また、端末制御部２０は、アプリケーションプログラムの終了操作を受け付けていない場合（ステップＳ１５／ＮＯ）、ステップＳ２の判定に戻る。
［５．プロジェクターの動作］
図８は、プロジェクター１００の動作を示すフローチャートである。
図８に示すフローチャートを参照しながらプロジェクター１００の動作を説明する。プロジェクター１００は、制御プログラム１５２に含まれるアプリケーションプログラムがリモコンの操作により選択されると、この選択されたアプリケーションプログラムをＰＪ制御部１５０が実行する。これにより、アプリケーションプログラムが起動される（ステップＴ１）。
次に、ＰＪ制御部１５０は、登録情報の登録要求を端末装置１０から受信したか否かを判定する（ステップＴ２）。ＰＪ制御部１５０は、登録要求を受信していない場合（ステップＴ２／ＮＯ）、ＰＪ記憶部１５１に対応情報３５が記憶されているか否かを判定する（ステップＴ５）。
ＰＪ制御部１５０は、ＰＪ記憶部１５１に対応情報３５が記憶されている場合（ステップＴ５／ＹＥＳ）、ステップＴ６の判定に移行する。また、ＰＪ制御部１５０は、ＰＪ記憶部１５１に対応情報３５が記憶されていない場合（ステップＴ５／ＮＯ）、ステップＴ２の判定に戻り、登録情報の登録要求を端末装置１０から受信したか否かを判定する。
ＰＪ制御部１５０は、登録情報の登録要求を端末装置１０から受信すると（ステップＴ２／ＹＥＳ）、端末装置１０から登録情報を受信する（ステップＴ３）。ＰＪ制御部１５０は、受信した対応情報３５に従って画像データ３１とマーカー情報３３とを対応づけてＰＪ記憶部１５１に記憶させる（ステップＴ４）。
次に、ＰＪ制御部１５０は、ＰＪ撮像部１３９が撮像した撮像データを解析して、ＰＪ記憶部１５１に記憶されたマーカー情報３３の特徴に一致するマーカー３を検出する（ステップＴ６）。具体的には、ＰＪ制御部１５０は、撮像データを２値化画像に変換し、変換した２値化画像から２次元コードを抽出する。ＰＪ制御部１５０は、抽出した２次元コードをデコードしてコード情報を取得し、取得したコード情報に一致するマーカー情報３３がＰＪ記憶部１５１に記憶されているか否かを判定する。ＰＪ制御部１５０は、取得したコード情報に一致するマーカー情報３３がＰＪ記憶部１５１に記憶されている場合、マーカー３を検出したと判定する。また、ＰＪ制御部１５０は、取得したコード情報に一致するマーカー情報３３がＰＪ記憶部１５１に記憶されていない場合、マーカー３を検出していないと判定する。
ＰＪ制御部１５０は、マーカー３を検出していない場合（ステップＴ６／ＮＯ）、ステップＴ１２に移行し、アプリケーションプログラムを終了させる操作を受け付けたか否かを判定する（ステップＴ１２）。ＰＪ制御部１５０は、アプリケーションプログラムを終了させる操作を受け付けた場合（ステップＴ１２／ＹＥＳ）、この処理フローを終了させる。また、ＰＪ制御部１５０は、アプリケーションプログラムを終了させる操作を受け付けていない場合（ステップＴ１２／ＮＯ）、ステップＴ２の判定に戻る。
また、ＰＪ制御部１５０は、マーカー３を検出した場合（ステップＴ６／ＹＥＳ）、コード情報が検出された撮像データの範囲を示す撮像座標を、キャリブレーションデータ１５３によりメモリー座標に座標変換する（ステップＴ７）。
次にＰＪ制御部１５０は、抽出したコード情報、すなわち、マーカー情報３３に対応づけられた画像データ３１をＰＪ記憶部１５１から取得する（ステップＴ８）。次に、ＰＪ制御部１５０は、取得した画像データ３１のサイズと、座標変換したメモリー座標とに基づき、画像データ３１を展開するフレームメモリー１４５の展開位置を決定する。ＰＪ制御部１５０は、展開位置を示すフレームメモリー１４５のメモリー座標を生成し、生成したメモリー座標と、画像データ３１とを画像処理部１４３に出力する。
画像処理部１４３は、ＰＪ制御部１５０から入力されたフレームメモリー１４５のメモリー座標に、入力された画像データ３１を展開する。スクリーンＳＣに複数のマーカー３が配置され、撮像データから複数のマーカー情報３３が検出される場合、他のマーカー３に対応づけられた画像データ３１もフレームメモリー１４５に展開される。画像処理部１４３は、フレームメモリー１４５に展開された画像データ３１を読み出して光変調装置駆動回路１２３に出力する。この後、この読み出された画像データ３１に対応した画像光が投射部１１０により生成され、スクリーンＳＣに投射される（ステップＴ１１）。この後、ＰＪ制御部１５０は、ステップＴ６の判定に戻る。
以上説明したように第１実施形態の表示システム１Ａは、端末装置１０により、マーカー３の特徴を示すマーカー情報３３を取得し、表示対象の画像とマーカー情報３３とを対応づける対応情報３５を生成する。
また、プロジェクター１００により、スクリーンＳＣに配置されたマーカー３を検出し、検出したマーカー３の特徴を抽出し、抽出した特徴に対応するマーカー情報３３と、対応情報３５とに基づいて対応づけられた画像を特定する。また、プロジェクター１００は、検出したマーカー３の位置に基づいて画像の表示位置を決定し、特定した画像を決定した表示位置に表示する。
従って、マーカー３と画像データ３１との対応づけが容易となり、スクリーンＳＣに表示させる画像を容易に変更することができる。
また、端末装置１０により、画像データ３１を取得し、取得した画像データ３１と、マーカー情報３３とを対応づける対応情報３５を生成する。
従って、端末装置１０により、プロジェクター１００に表示させる画像を変更することができる。
プロジェクター１００は、対応情報３５に従って、マーカー情報３３に対応づけて画像の元になる画像データ３１をＰＪ記憶部１５１に記憶させる。
また、プロジェクター１００により、検出したマーカー３の特徴に対応するマーカー情報３３を取得し、取得したマーカー情報３３に対応づけられた画像データ３１をＰＪ記憶部１５１から取得して表示する。
従って、プロジェクター１００により、スクリーンＳＣに配置されたマーカー３に対応した画像を表示させることができる。
また、プロジェクター１００により、スクリーンＳＣを撮像して撮像画像を生成し、生成した撮像画像からマーカー３を検出してマーカー３の位置及び特徴を検出する。
従って、マーカー３の位置及び特徴の検出が容易になる。
また、プロジェクター１００により、複数の撮像画像に基づいてマーカー３の動きを検出し、検出したマーカー３の動きに基づいて画像の表示位置及び表示サイズの少なくとも一方を決定する。
従って、マーカー３を動かすことにより、画像の表示位置及び表示サイズの少なくとも一方を変更することができる。
端末装置１０により、マーカー３が撮像された撮像データからマーカー情報３３を取得する。
従って、簡易な構成でマーカー情報３３を取得することができる。
また、マーカー情報３３には、マーカー３として使用される物体の形状又は色が含まれる。
従って、マーカー３の特定が容易になる。
また、マーカー３は、画像コードとしてＱＲコードを含み、マーカー情報３３は、画像コードをデコードした情報が含まれる。
従って、マーカー３の特定がより容易になる。
［第２実施形態］
図９は、第２実施形態の表示システム１Ｂのシステム構成を示す図である。
第２実施形態の表示システム１Ｂは、端末装置１０、プロジェクター１００に加え、サーバー装置２００を備える。この第２実施形態において、サーバー装置２００は、「記憶装置」に相当する。
端末装置１０及びプロジェクター１００は、サーバー装置２００に通信可能に接続される。例えば、同一のＷｉ−Ｆｉのアクセスポイントに、プロジェクター１００、端末装置１０及びサーバー装置２００を接続した構成であってもよい。Ｗｉ−Ｆｉは、登録商標である。また、サーバー装置２００をインターネット等の通信ネットワーク上に配置し、端末装置１０及びプロジェクター１００が通信ネットワークを介してサーバー装置２００にアクセスする構成であってもよい。
この第２実施形態では、端末装置１０は、画像データ３１、マーカー情報３３及び対応情報３５を含む登録情報をサーバー装置２００に送信して、サーバー装置２００に登録する。
［６．サーバー装置の構成］
サーバー装置２００は、通信部２１０、サーバー記憶部２２０及びサーバー制御部２３０を備える。通信部２１０は、通信ネットワークを介して端末装置１０及びプロジェクター１００とのデータ通信を行う。
サーバー記憶部２２０は、例えば、ハードディスクドライブにより構成される。サーバー記憶部２２０は、端末装置１０から受信した対応情報３５に従って、画像データ３１とマーカー情報３３とを対応づけて記憶する。
サーバー制御部２３０は、サーバープロセッサー２３１を備える。サーバープロセッサー２３１は、制御プログラムを実行してサーバー装置２００の各部を制御する。
［７．サーバー装置の動作］
図１０は、サーバー装置２００の動作を示すフローチャートである。
図１０を参照しながらサーバー装置２００の動作について説明する。
サーバー制御部２３０は、端末装置１０から登録情報のアップロード要求を受信したか否かを判定する（ステップＵ１）。サーバー制御部２３０は、登録情報のアップロード要求を受信していない場合（ステップＵ１／ＮＯ）、ステップＵ３の判定に移行する。また、サーバー制御部２３０は登録情報のアップロード要求を受信した場合（ステップＵ１／ＹＥＳ）、端末装置１０からアップロードされる登録情報を受信する。サーバー制御部２３０は、受信した登録情報に含まれる対応情報３５に従って、画像データ３１とマーカー情報３３とを対応づけてサーバー記憶部２２０に記憶させる（ステップＵ２）。
次に、サーバー制御部２３０は、プロジェクター１００からマーカー情報３３を受信したか否かを判定する（ステップＵ３）。サーバー制御部２３０は、マーカー情報３３を受信していない場合（ステップＵ３／ＮＯ）、ステップＵ１の判定に戻る。
また、サーバー制御部２３０は、マーカー情報３３を受信した場合（ステップＵ３／ＹＥＳ）、受信したマーカー情報３３に対応づけられた画像データ３１がサーバー記憶部２２０に記憶されているか否かを判定する（ステップＵ４）。サーバー制御部２３０は、画像データ３１がサーバー記憶部２２０に記憶されていない場合（ステップＵ４／ＮＯ）、プロジェクター１００にエラーを通知する（ステップＵ６）。また、サーバー制御部２３０は、画像データ３１がサーバー記憶部２２０に記憶されている場合（ステップＵ４／ＹＥＳ）、該当する画像データ３１をプロジェクター１００にダウンロードする（ステップＵ５）。
［８．プロジェクターの動作］
図１１は、プロジェクター１００の動作を示すフローチャートである。
図１１に示すフローチャートを参照しながらプロジェクター１００の動作について説明する。
プロジェクター１００は、制御プログラム１５２に含まれるアプリケーションプログラムがリモコンの操作により選択されると、この選択されたアプリケーションプログラムをＰＪ制御部１５０が実行する。これにより、アプリケーションプログラムが起動される（ステップＴ２１）。
ＰＪ制御部１５０は、ＰＪ撮像部１３９に撮像を実行させ（ステップＴ２２）、撮像データを取得する。ＰＪ制御部１５０は、取得した撮像データを解析してマーカー３を検出する（ステップＴ２３）。ＰＪ制御部１５０は、撮像データを処理してコード情報を取得する。ＰＪ制御部１５０は、コード情報を取得した場合、マーカー３を検出したと判定する（ステップＴ２３／ＹＥＳ）。また、ＰＪ制御部１５０は、コード情報を取得できなかった場合、マーカー３を検出できなかったと判定する（ステップＴ２３／ＮＯ）。
ＰＪ制御部１５０は、マーカー３を検出できなかった場合（ステップＴ２３／ＮＯ）、ステップＴ３１の判定に移行する。また、ＰＪ制御部１５０は、マーカー３を検出した場合（ステップＴ２３／ＹＥＳ）、取得したコード情報をマーカー情報３３としてサーバー装置２００にアップロードする（ステップＴ２４）。次に、ＰＪ制御部１５０は、サーバー装置２００から画像データ３１を受信したか否かを判定する（ステップＴ２５）。
ＰＪ制御部１５０は、サーバー装置２００から画像データ３１を受信できなかった場合（ステップＴ２５／ＮＯ）、スクリーンＳＣにエラー表示を表示させる。このエラー表示には、「マーカー３に画像データ３１が対応づけられていません」といったメッセージが含まれる。その後、ＰＪ制御部１５０は、ステップＴ３１の判定に移行する。
また、ＰＪ制御部１５０は、画像データ３１を受信した場合（ステップＴ２５／ＹＥＳ）、コード情報が検出された撮像データの範囲を示す撮像座標を、キャリブレーションデータ１５３によりメモリー座標に座標変換する（ステップＴ２６）。
次にＰＪ制御部１５０は、受信した画像データ３１のサイズと、座標変換したメモリー座標とに基づき、画像データ３１を展開するフレームメモリー１４５の展開位置を決定する（ステップＴ２７）。ＰＪ制御部１５０は、展開位置を示すフレームメモリー１４５のメモリー座標を生成し、生成したメモリー座標と、画像データ３１とを画像処理部１４３に出力する。
画像処理部１４３は、ＰＪ制御部１５０から入力されたフレームメモリー１４５のメモリー座標に、入力された画像データ３１を展開する（ステップＴ２８）。スクリーンＳＣに複数のマーカー３が配置され、撮像データから複数のマーカー情報３３が検出される場合、他のマーカー３に対応づけられた画像データ３１もフレームメモリー１４５に展開される。画像処理部１４３は、フレームメモリー１４５に展開された画像データ３１を読み出して光変調装置駆動回路１２３に出力する。この後、この読み出された画像データ３１に対応した画像光が投射部１１０により生成され、スクリーンＳＣに投射される（ステップＴ２９）。
次に、ＰＪ制御部１５０は、アプリケーションプログラムを終了させる操作を受け付けたか否かを判定する。ＰＪ制御部１５０は、アプリケーションプログラムを終了させる操作を受け付けた場合（ステップＴ３１／ＹＥＳ）、この処理フローを終了させる。また、ＰＪ制御部１５０は、アプリケーションプログラムを終了させる操作を受け付けていない場合（ステップＴ３１／ＮＯ）、ステップＴ２２に戻り、撮像データを取得する。
上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。
例えば、上述した実施形態では、画像データ３１とマーカー３とを対応づける場合を例にして説明したが、マーカー３との対応づけは画像データ３１に限らない。例えば、画像データ３１をプロジェクター１００に出力する装置と、マーカー３とを対応づけてもよい。装置の識別情報は、例えば、プロジェクター１００が認識可能な識別情報であり、例えば、ＭＡＣアドレスやＩＰアドレス、Ｂｌｕｅｔｏｏｔｈアドレス等を用いてもよい。
また、マーカー３の特徴に対応づけてスクリーンＳＣに表示される投射画像５のサイズや投射位置が設定されてもよい。プロジェクター１００は、撮像データから検出したマーカー３の外見上の特徴である色や、模様、形状、サイズに基づいて投射画像５のサイズや投射位置を決定する。また、プロジェクター１００は、検出したコード情報に基づいて投射画像５のサイズや投射位置を決定してもよい。
また、プロジェクター１００は、マーカー３の位置に基づいて決定した表示位置が、投射領域ＰＡからはみ出す場合、画像データ３１を展開するフレームメモリー１４５の位置や、画像データ３１のサイズを変更してもよい。プロジェクター１００は、画像データ３１が投射領域ＰＡからはみ出さないように、画像データ３１を展開するフレームメモリー１４５の位置や、画像データ３１のサイズを変更する。
また、上記した実施形態では、プロジェクター１００がマーカー３を光学的に検出する例を説明したが、本発明はこれに限定されない。例えば、プロジェクター１００は、対象範囲ＩＡにおいてマーカー３を無線通信により検出する構成であってもよい。例えば、マーカー３がＢｌｕｅｔｏｏｔｈや、ビーコン、ＲＦＩＤタグで構成され、プロジェクター１００が、マーカー３からの無線信号を受信することで検出を行ってもよい。
また、上記した実施形態では、「検出装置」に対応するＰＪ撮像部１３９がプロジェクター内部にある例を説明したが、本発明はこれに限定されない。例えば、プロジェクター１００の外部に設置されたデジタルカメラを「検出装置」として用いてマーカー３の撮像を行い、撮像データをプロジェクター１００に送信する構成であってもよい。
また、上記実施形態では、対象範囲ＩＡが投射領域ＰＡに一致する構成を例示したが、本発明はこれに限定されない。対象範囲ＩＡは、投射領域ＰＡの一部を含むことが好ましいが、投射領域ＰＡと一致していなくてもよく、対象範囲ＩＡが投射領域ＰＡ及びその周辺を含んでも良いし、投射領域ＰＡの一部が対象範囲ＩＡとなる構成であってもよい。
また、本発明の表示装置はプロジェクター１００に限定されない。例えば、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを表示装置として用いてもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＯＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を用いてもよい。その他の表示方式を利用する装置にも適用可能である。
また、図２に示した端末装置１０、及び図３に示したプロジェクター１００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、複数のプロセッサーが協働して、一つまたは複数の機能部の機能を実現する構成とすることも可能である。さらに、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、表示システム１を構成する他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、表示方法を、コンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、プロジェクター１００が備えるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ−ｒａｙは、登録商標である。
また、図７、図８、図１０及び図１１に示すフローチャートの処理単位は、端末制御部２０、ＰＪ制御部１５０及びサーバー制御部２３０の処理を理解容易にするために、主な処理内容に応じて分割したものである。このため、図７、図８、図１０及び図１１のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、端末制御部２０、ＰＪ制御部１５０及びサーバー制御部２３０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
３…マーカー、５…投射画像、５ａ…魚の画像、５ｂ…車の画像、７…ケーブル、１０…端末装置、１１…端末無線通信部（データ取得部）、１３ａ…表示パネル、１３ｂ…操作検出部、１５…操作部、１７…端末撮像部（撮像部、情報取得部、データ取得部）、２０…端末制御部（データ取得部）、２１…端末記憶部、２２…制御プログラム、２３…端末プロセッサー、２３ａ…情報取得部、２３ｂ…生成部、２３ｃ…通信制御部（データ取得部）、３１…画像データ、３３…マーカー情報、３５…対応情報、１００…プロジェクター、１０５…バス、１１０…投射部、１１１…光源、１１３…光変調装置、１１５…光学ユニット、１２０…駆動部、１２１…光源駆動回路、１２３…光変調装置駆動回路、１３１…入力インターフェイス、１３３…リモコン受光部、１３５…操作パネル、１３７…ＰＪ無線通信部、１３９…ＰＪ撮像部（検出部、検出装置）、１４１…画像インターフェイス、１４３…画像処理部、１４５…フレームメモリー、１５０…ＰＪ制御部、１５１…ＰＪ記憶部（記憶装置）、１５２…制御プログラム、１５３…キャリブレーションデータ、１５５…ＰＪプロセッサー、１５５ａ…通信制御部、１５５ｂ…マーカー検出部（検出部）、１５５ｃ…表示制御部（制御部）、２００…サーバー装置（記憶装置）、２１０…通信部、２２０…サーバー記憶部、２３０…サーバー制御部、２３１…サーバープロセッサー、ＩＡ…対象範囲、ＰＡ…投射領域、ＳＣ…スクリーン。

Claims (16)

  1. 端末装置により、マーカーの特徴を示すマーカー情報を取得し、
    前記端末装置により、表示対象の画像と前記マーカー情報とを対応づける対応情報を生成し、
    検出装置により、表示面に配置されたマーカーを検出し、
    表示装置により、検出された前記マーカーの特徴を抽出し、抽出した前記特徴に対応する前記マーカー情報と、前記対応情報とに基づき、対応づけられた画像を特定し、
    前記表示装置により、検出された前記マーカーの位置に基づいて前記画像の表示位置を決定し、
    前記表示装置により、特定した前記画像を決定した前記表示位置に表示する、
    表示方法。
  2. 前記端末装置により、画像の元となる画像データを取得し、取得した前記画像データと、前記マーカー情報とを対応づける前記対応情報を生成する、請求項１記載の表示方法。
  3. 前記表示装置により、抽出した前記マーカーの特徴に対応する前記マーカー情報を取得し、
    前記表示装置により、前記対応情報に従って前記マーカー情報に対応づけて前記画像データを記憶した記憶装置から、取得した前記マーカー情報に対応づけられた前記画像データを取得して表示する、請求項２記載の表示方法。
  4. 前記検出装置により、前記表示面を撮像して撮像画像を生成し、
    前記表示装置により、生成された前記撮像画像から前記マーカーを検出して前記マーカーの特徴を抽出すると共に、前記マーカーの位置を検出する、請求項１から３のいずれか一項に記載の表示方法。
  5. 前記表示装置により、生成された複数の前記撮像画像に基づいて前記マーカーの動きを検出し、
    前記表示装置により、検出した前記マーカーの動きに基づいて前記画像の表示位置及び表示サイズの少なくとも一方を決定する、請求項４記載の表示方法。
  6. 前記端末装置により、前記マーカーが撮像された撮像画像から前記マーカー情報を取得する、請求項１から５のいずれか一項に記載の表示方法。
  7. 前記マーカー情報は、前記マーカーとして使用される物体の形状又は色を含む、請求項１から６のいずれか一項に記載の表示方法。
  8. 前記マーカーは、画像コードを含み、前記マーカー情報は、前記画像コードをデコードした情報を含む、請求項１から７のいずれか一項に記載の表示方法。
  9. マーカーの特徴を示すマーカー情報を取得する情報取得部と、表示対象の画像と前記マーカー情報とを対応づける対応情報を生成する生成部と、を備える端末装置と、
    表示面に画像を表示する表示部と、前記表示面に配置された前記マーカーの位置及び特徴を検出する検出部と、検出された前記マーカーの特徴に対応する前記マーカー情報と、前記対応情報とに基づき、対応づけられた画像を特定し、検出した前記マーカーの位置に基づいて前記画像の表示位置を決定する制御部と、特定した前記画像を決定した前記表示位置に表示させる制御部と、を備える表示装置と、
    を備える、表示システム。
  10. 前記端末装置は、画像の元となる画像データを取得するデータ取得部を備え、
    前記生成部は、前記情報取得部が取得した前記マーカー情報と、前記データ取得部が取得した前記画像データとを対応づける前記対応情報を生成する、請求項９記載の表示システム。
  11. 前記端末装置が生成する前記対応情報に従って、前記マーカー情報に対応づけて前記画像データを記憶する記憶装置を備え、
    前記表示装置は、検出した前記マーカーの特徴に対応する前記マーカー情報を取得し、取得した前記マーカー情報に対応づけられた前記画像データを前記記憶装置から取得して表示する、請求項１０記載の表示システム。
  12. 前記表示装置は、前記表示面を撮像する撮像部を備え、
    前記制御部は、前記撮像部が生成した撮像画像から前記マーカーを検出して前記マーカーの位置及び特徴を検出する、請求項９から１１のいずれか一項に記載の表示システム。
  13. 前記制御部は、複数の前記撮像画像に基づいて前記マーカーの動きを検出し、検出した前記マーカーの動きに基づいて前記画像の表示位置及び表示サイズの少なくとも一方を決定する、請求項１２記載の表示システム。
  14. 前記端末装置は、撮像部を備え、
    前記情報取得部は、前記撮像部が生成した前記マーカーの撮像画像から前記マーカー情報を取得する、請求項９から１３のいずれか一項に記載の表示システム。
  15. 前記マーカー情報は、前記マーカーとして使用される物体の形状又は色を含む、請求項９から１４のいずれか一項に記載の表示システム。
  16. 前記マーカーは、画像コードを含み、前記マーカー情報は、画像コードをデコードした情報を含む、請求項９から１４のいずれか一項に記載の表示システム。
JP2019032414A 2019-02-26 2019-02-26 表示方法及び表示システム Pending JP2020134895A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019032414A JP2020134895A (ja) 2019-02-26 2019-02-26 表示方法及び表示システム
CN202010111010.8A CN111614947A (zh) 2019-02-26 2020-02-24 显示方法以及显示系统
US16/799,965 US20200275069A1 (en) 2019-02-26 2020-02-25 Display method and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019032414A JP2020134895A (ja) 2019-02-26 2019-02-26 表示方法及び表示システム

Publications (1)

Publication Number Publication Date
JP2020134895A true JP2020134895A (ja) 2020-08-31

Family

ID=72140161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019032414A Pending JP2020134895A (ja) 2019-02-26 2019-02-26 表示方法及び表示システム

Country Status (3)

Country Link
US (1) US20200275069A1 (ja)
JP (1) JP2020134895A (ja)
CN (1) CN111614947A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119093A (ja) * 2021-02-03 2022-08-16 セイコーエプソン株式会社 設定方法、及びプログラム
WO2022181106A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021158625A (ja) * 2020-03-30 2021-10-07 セイコーエプソン株式会社 設定支援方法、及び設定支援装置
JP7287379B2 (ja) * 2020-12-10 2023-06-06 セイコーエプソン株式会社 表示方法、検出装置、および、プログラム
JP2022099487A (ja) * 2020-12-23 2022-07-05 セイコーエプソン株式会社 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法
JP2022123300A (ja) * 2021-02-12 2022-08-24 セイコーエプソン株式会社 表示方法および表示システム
JP2023043372A (ja) * 2021-09-16 2023-03-29 セイコーエプソン株式会社 画像表示方法、及び、プロジェクター

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
KR101436914B1 (ko) * 2012-07-23 2014-09-11 대구광역시 달서구 가상 체험 시스템
JP6155889B2 (ja) * 2013-06-19 2017-07-05 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、携帯情報端末
JP6314564B2 (ja) * 2014-03-17 2018-04-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP7111416B2 (ja) * 2017-03-24 2022-08-02 日本電気株式会社 携帯端末、情報処理システム、制御方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119093A (ja) * 2021-02-03 2022-08-16 セイコーエプソン株式会社 設定方法、及びプログラム
JP7243748B2 (ja) 2021-02-03 2023-03-22 セイコーエプソン株式会社 設定方法、及びプログラム
WO2022181106A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影装置

Also Published As

Publication number Publication date
CN111614947A (zh) 2020-09-01
US20200275069A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP2020134895A (ja) 表示方法及び表示システム
US9257035B2 (en) Remote control device, remote control system, and storage medium storing control program, and medium to be attached to electrical device
US20170142379A1 (en) Image projection system, projector, and control method for image projection system
JP6503771B2 (ja) プロジェクター及び制御方法
US9524412B2 (en) Lighting apparatus, lighting system and method of registering lighting apparatus
KR102627612B1 (ko) 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
US10536627B2 (en) Display apparatus, method of controlling display apparatus, document camera, and method of controlling document camera
JP4710734B2 (ja) ポインティング装置、ポインティング位置検出方法及びプログラム
US20190278468A1 (en) Electronic apparatus, display device, and method of controlling electronic apparatus
JP2017083550A (ja) 情報処理装置、画像投影システムおよびプログラム
US20200184932A1 (en) Method for controlling display device, display device, and display system
US10172173B2 (en) Information processing system and display device
JP2010183230A (ja) 画像入力装置、画像表示装置、及び画像表示システム
JP6450498B2 (ja) 画像処理装置、画像処理システム、及び画像処理方法
US10104346B2 (en) Projector and control method for projector
JP2020008750A (ja) 表示装置および表示処理方法
CN115834846A (zh) 图像显示方法及投影仪
JP6620979B2 (ja) 携帯端末、投写システム、投写システムの制御方法およびプログラム
JP2016164704A (ja) 画像表示装置および画像表示システム
US11294614B2 (en) Display system and control method
JP6358069B2 (ja) 情報出力制御装置及びプログラム
JP7416231B2 (ja) 設置支援装置、設置支援方法、およびプログラム
JP2020086103A (ja) 表示システム、及び制御方法
JP2022133582A (ja) 表示装置の制御方法、表示装置、および表示システム
JP2017198945A (ja) 投影装置、投影装置の制御方法、プログラム