JP2020160654A - 表示装置の制御方法及び表示装置 - Google Patents

表示装置の制御方法及び表示装置 Download PDF

Info

Publication number
JP2020160654A
JP2020160654A JP2019057883A JP2019057883A JP2020160654A JP 2020160654 A JP2020160654 A JP 2020160654A JP 2019057883 A JP2019057883 A JP 2019057883A JP 2019057883 A JP2019057883 A JP 2019057883A JP 2020160654 A JP2020160654 A JP 2020160654A
Authority
JP
Japan
Prior art keywords
image
display
icon
screen
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019057883A
Other languages
English (en)
Inventor
章博 中島
Akihiro Nakajima
章博 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019057883A priority Critical patent/JP2020160654A/ja
Priority to US16/829,459 priority patent/US11061513B2/en
Publication of JP2020160654A publication Critical patent/JP2020160654A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/18Use of a frame buffer in a display terminal, inclusive of the display panel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Abstract

【課題】表示装置に記憶させる画像の選択と非選択との切り替えをできるだけ簡易な操作により行なう。【解決手段】プロジェクター100は、入力された画像信号Aに基づく画像を、スクリーンSCの子画面60aにピン留めアイコン63aと共に表示させ、入力された画像信号Bに基づく画像を、スクリーンSCの子画面60bにピン留めアイコン63bと共に表示させ、ピン留めアイコン63aが選択された場合、画像信号Aに基づく画像をキャプチャーメモリーに記憶させ、ピン留めアイコン63bが選択された場合、画像信号Bに基づく画像をキャプチャーメモリーに記憶させ、キャプチャーメモリーに記憶させた画像を、スクリーンSCに表示させる。【選択図】図4

Description

本発明は、表示装置の制御方法及び表示装置に関する。
従来、複数の外部装置を接続し、これらの外部装置から入力される画像信号に基づく画像を表示面に表示する表示装置が知られている。
例えば、特許文献1は、指示体により指示された位置情報に基づきディスプレイ内の領域の選択を受け付け、外部装置から入力される第1の映像を領域外に表示し、他の外部装置から入力される第2の映像を領域内に表示する電子黒板を開示する。
特開2017−224985号公報
しかしながら、表示装置が表示面の画像を表示し続けるためには、外部装置も画像を表示し続けなければならない。このため、外部装置は、表示装置に画像を表示させている間、他の処理を実行することができない。そこで、表示面に表示させた画像を表示装置に記憶させ、表示装置が、記憶した画像を表示面に表示することが行なわれている。このような場合、表示面に複数の画像を表示させている場面では、表示装置に記憶させる画像の選択と非選択との切り替えをできるだけ簡易な操作により行ないたいというニーズがある。
上記目的を達成する一態様は、入力された第1の画像信号に基づく画像を、表示面の第1画面に第1アイコンと共に表示させ、入力された第2の画像信号に基づく画像を、前記表示面の第2画面に第2アイコンと共に表示させ、前記第1アイコン又は前記第2アイコンを選択する選択操作を検出し、前記第1アイコンが前記選択操作により選択された場合、前記第1の画像信号に基づく画像を記憶部に記憶させ、前記第2アイコンが前記選択操作により選択された場合、前記第2の画像信号に基づく画像を前記記憶部に記憶させ、前記記憶部に記憶させた画像を、前記表示面に表示させる、表示装置の制御方法である。
上記表示装置の制御方法において、前記記憶部に記憶させた画像を表示させる表示領域の位置及びサイズの指定を受け付け、受け付けた前記指定に基づいて前記表示領域を設定し、設定した前記表示領域に前記記憶部に記憶させた画像を表示させる構成であってもよい。
上記表示装置の制御方法において、前記表示領域に表示させた画像を消去する操作が検出された場合、前記第2の表示態様に変更した前記第1アイコン又は前記第2アイコンを、前記第1の表示態様に変更する構成であってもよい。
上記表示装置の制御方法において、前記表示領域に表示させた画像を消去する操作が検出された場合、前記第2の表示態様に変更した前記アイコンを、前記第1の表示態様に変更する構成であってもよい。
上記表示装置の制御方法において、前記第1の画像信号を前記表示装置に供給する外部装置から、画像の表示を指示する指示信号が入力された場合には、前記第1アイコンが選択されたと判定し、前記第2の画像信号を前記表示装置に供給する外部装置から、画像の表示を指示する指示信号が入力された場合には、前記第2アイコンが選択されたと判定する構成であってもよい。
上記表示装置の制御方法において、前記表示装置が備える撮像部により前記表示面を撮像して撮像データを生成し、生成した前記撮像データに基づいて特定した表示面における指示体の指示位置と、前記表示面における前記第1アイコン及び前記第2アイコンの表示位置とに基づき、前記選択操作を検出する構成であってもよい。
上記目的を達成する別の一態様は、表示面に画像を表示する表示装置であって、画像信号が入力される入力部と、前記入力部に複数の画像信号が入力され場合に、入力された複数の前記画像信号の各々に対応する複数の画像を、前記表示面の複数の画面にアイコンと共に表示させる制御部と、複数の前記画面の各々に表示された前記アイコンのいずれかを選択する操作を検出する検出部と、記憶部と、を備え、前記制御部は、前記アイコンを選択する操作が検出されると、前記操作により選択された前記アイコンが表示された前記画面に表示させた画像を前記記憶部に記憶させ、前記記憶部に記憶させた画像を前記表示面に表示させる、表示装置である。
プロジェクター及びスクリーンの斜視図。 プロジェクターの構成を示すブロック図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態においてスクリーンに表示される表示画像を示す図。 第1実施形態のプロジェクターの動作を示すフローチャート。 第1実施形態のプロジェクターの動作を示すフローチャート。 第2実施形態においてスクリーンに表示される表示画像を示す図。 第2実施形態においてプロジェクターの動作を示すフローチャート。 第3実施形態の携帯機器の構成を示すブロック図。 第3実施形態においてスクリーンに表示される表示画像を示す図。 第3実施形態においてスクリーンに表示される表示画像を示す図。
[第1実施形態]
以下、添付図面を参照しながら実施形態について説明する。
図1は、実施形態のシステム構成図である。本実施形態は、操作デバイスである指示体3と、表示面に画像を表示させる表示装置としてのプロジェクター100とを備える。
指示体3は、使用者が手に持って使用するペン型の指示体であり、発光可能な先端部31、使用者が把持する軸部33等を有する。先端部31には近赤外光を発光するLED(Light Emitting Diode)等の光源が搭載されている。指示体3は、先端部31の接触を検出し、所定の発光間隔で光源を発光させる。
本実施形態では、指示体3がペン型の指示体である場合について説明するが、例えば、使用者の指を指示体3として用いることも可能である。
プロジェクター100は、いわゆる短焦点のプロジェクターであり、表示面であるスクリーンSCの上方の壁面に固定される。プロジェクター100の設置方法は、図1に示す壁掛け設置に限定されず、机や台、床の上に平置きする平置き設置や、プロジェクター100を天井から吊り下げる天吊り設置であってもよい。また、表示面であるスクリーンSCは、壁に固定され又は床面に立設された平板又は幕である。また、表示面は、スクリーンSCに限定されず、例えば、壁面自体をスクリーンとして使用することも可能である。
プロジェクター100は、光学的な画像である画像光PLを生成し、生成した画像光PLをスクリーンSCに投射する。スクリーンSCには、画像光PLに基づく画像が結像する。プロジェクター100が画像光PLを投射可能なスクリーンSCの範囲を投射領域10という。
また、プロジェクター100は、図2に示すように撮像部105を備える。撮像部105は、スクリーンSCを含む範囲を斜め上方から撮像し、少なくともスクリーンSCを含む範囲を撮像して撮像データを生成する。指示体3の発光タイミングに合わせて撮像部105に撮像を実行させることで、撮像データには指示体3の発光が撮像される。プロジェクター100は、撮像データを解析して、指示体3の指示位置を検出する。
図2は、指示体3及びプロジェクター100の構成を示すブロック図である。
まず、指示体3の構成について説明する。指示体3は、信号光送受信部35、操作スイッチ36、制御部37及び電源部38を備える。これらの各部は、軸部33内に収容される。
信号光送受信部35は、赤外線LED等の光源と、プロジェクター100が送信する赤外線信号である装置信号光ASLを受光する受光素子とを備える。信号光送受信部35は、制御部37の制御に従って光源を点灯又は消灯させ、光源を所定の発光パターンで発光させる。
操作スイッチ36は、指示体3の先端部31に内蔵され、押圧された場合にオン状態となる。指示体3は、使用者が棒状の軸部33を手に持って、先端部31をスクリーンSCに接触させるように操作される。指示体3の先端部31が壁やスクリーンSCに接触すると、操作スイッチ36がオンになる。
制御部37は、信号光送受信部35及び操作スイッチ36に接続され、操作スイッチ36のオン又はオフを検出する。制御部37は、操作スイッチ36がオンの場合と、オフの場合とで、信号光送受信部35の光源が点灯するタイミングを変更し、点灯パターンを変更する。プロジェクター100は、指示体3が発する赤外線信号である指示体信号光PSLの発光パターンに基づき、先端部31の位置を検出する。また、プロジェクター100は、指示体3が発する指示体信号光PSLの点灯パターンに基づき、操作スイッチ36がオンしているか否か、すなわち、指示体3が壁やスクリーンSCに押しつけられているか否かを判定する。
電源部38は、電源として乾電池又は二次電池を有し、制御部37、信号光送受信部35及び操作スイッチ36の各部に電力を供給する。指示体3には、電源部38からの電源供給をオン/オフする電源スイッチが搭載される。
次に、プロジェクター100の構成について説明する。
プロジェクター100は、操作部、画像投射系、画像処理系及び制御部150を主要な構成として備える。画像投射系は、画像処理系により処理された画像データに基づいて光学的な画像である画像光PLを生成する。また、画像投射系は、生成した画像光PLをスクリーンSCに投射する。画像処理系は、光学的な画像の元になる画像データを電気的に処理する。
プロジェクター100は、使用者の操作を受け付ける操作部として、リモコン受光部101、信号光送信部103及び撮像部105を備える。信号光送信部103及び撮像部105は、制御部150と共に「検出部」として動作する。
リモコン受光部101は、リモコン7から送信される赤外線信号を受光する。リモコン受光部101は、受光した赤外線信号に対応した操作信号を制御部150に出力する。操作信号は、操作されたリモコン7のスイッチに対応した信号である。
信号光送信部103は、指示体3の発光タイミングを、撮像部105の撮像タイミングに同期させるための信号である装置信号光ASLを出力する。装置信号光ASLは、指示体3の信号光送受信部35により受信可能な近赤外光の信号である。信号光送信部103は、プロジェクター100の起動中、装置信号光ASLを定期的に送信する。
装置信号光ASLは、例えば、指示体3に、指示体信号光PSLを送信させるタイミングを指定する制御信号である。指示体信号光PSLは、予め定められた発光パターンを有する近赤外光である。指示体3は、例えば、装置信号光ASLを受信したタイミングに同期して、予め定められた発光パターンで指示体信号光PSLを送信する。この発光パターンは、操作スイッチ36がオンしている場合と、オフしている場合とで異なる発光パターンである。
撮像部105は、指示体3の先端部31が発する指示体信号光PSLを受光するCMOSやCCDなどの撮像素子、撮像素子に像を結像する光学系、撮像素子の指示体信号光PSLの受光状態から撮像データを生成するデータ処理回路等を備える。
撮像部105は、制御部150の制御により、一定の時間間隔ごとにスクリーンSCを含む範囲を撮像して撮像データを生成する。撮像部105は、生成した撮像データを制御部150に出力する。制御部150は、撮像部105から入力される撮像データを後述するメモリー160に一時的に記憶させる。
画像投射系は、表示部110と、表示部110を駆動する駆動部120とを備える。表示部110は、光源111、光変調装置113及び光学ユニット115を備える。駆動部120は、光源駆動回路121及び光変調装置駆動回路123を備える。
光源111には、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源が用いられる。また、光源111には、LED(Light Emitting Diode))やレーザー光源等の固体光源を用いてもよい。
光源111には、光源駆動回路121が接続される。光源駆動回路121は、光源111及び制御部150に接続され、制御部150の制御に従って光源111に駆動電流やパルスを供給し、光源111を点灯させたり、消灯させたりする。
光変調装置113は、光源111が発する光を変調して画像光PLを生成する光変調素子を備える。光変調装置113は、光変調素子により変調された画像光PLを光学ユニット115に射出する。光変調素子は、例えば、透過型の液晶ライトバルブ、反射型の液晶ライトバルブ、デジタルミラーデバイス等を用いることができる。
光変調装置113には、光変調装置駆動回路123が接続される。光変調装置駆動回路123は、制御部150及び光変調装置113に接続され、制御部150の制御に従って光変調装置113を駆動し、光変調素子にフレーム単位で画像を描画する。例えば、光変調装置113が液晶ライトバルブで構成される場合、光変調装置駆動回路123は液晶を駆動するドライバー回路により構成される。
光学ユニット115は、レンズやミラー等の光学素子を備え、光変調装置113で変調された画像光PLをスクリーンSCに向けて投射する。これによりスクリーンSCには、画像光PLに基づく画像が結像する。
次に、プロジェクター100の画像処理系について説明する。
プロジェクター100は、画像処理系として入力インターフェイス131、無線通信部133、画像処理部135、フレームメモリー137及びキャプチャーメモリー139を備える。
入力インターフェイス131は、外部装置180に接続するための接続部であって、複数のインターフェイスを備える。入力インターフェイス131は、複数のインターフェイスにより複数の外部装置180に接続することができる。入力インターフェイス131は、「入力部」の一例に対応する。
複数のインターフェイスは、例えば、DVI(Digital Visual Interface)や、HDMI、Display Port、HDBaseT等のデジタルインターフェイスであってもよい。また、複数のインターフェイスは、VGA(Video Graphics Array)や、D端子、S端子等のアナログインターフェイスであってもよい。また、複数のインターフェイスは、USB(Universal Serial Bus)やEthernet、IEEE1394等の通信インターフェイスであってもよい。「HDMI」、「HDBaseT」及び「Ethernet」は、登録商標である。
複数のインターフェイスの各々は、ケーブルを接続するコネクターと、ケーブルを介して受信した画像信号を電気的に処理するインターフェイス回路とを備える。インターフェイス回路は、画像信号を受信し、受信した画像信号に含まれる画像データや同期信号を取り出す。画像信号に含まれる画像データは、動画像の画像データであってもよいし、静止画像の画像データであってもよい。インターフェイス回路は、取り出した画像データや同期信号を画像処理部135に出力する。また、インターフェイス回路は、取り出した同期信号を制御部150に出力する。画像処理部135は、入力された同期信号に同期して画像データの1フレームを処理する。制御部150は、入力された同期信号に同期してプロジェクター100の各部を制御する。1フレームとは、1画面分の画像が表示される期間である。また、画像データの1フレームとは、同期信号に含まれる垂直同期信号により規定される垂直走査期間に表示される画像データである。
無線通信部133は、アンテナ、RF回路、ベースバンド回路等を含む通信モジュールである。無線通信部133は、例えば、Bluetooth、Wi−Fiを含む無線LAN、NFC(Near Field Communication)等の無線通信を実行する。Bluetooth及びWi−Fiは登録商標である。無線通信部133は、アンテナで受信した電波からパケットデータを復調し、復調したパケットデータから画像データや同期信号を取り出す。無線通信部133は、取り出した画像データ及び同期信号を画像処理部135に出力し、同期信号を制御部150に出力する。
画像処理部135には、フレームメモリー137が接続される。画像処理部135は、入力された画像データをフレームメモリー137に展開する。フレームメモリー137は、複数のバンクを備える。各バンクは、1フレーム分の画像データを書き込み可能な記憶容量を有する。フレームメモリー137は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)や、DDR(Double-Data-Rate Synchronous Dynamic Random Access Memory)により構成される。例えば、フレームメモリー137は、入力インターフェイス131が備える複数のインターフェイスと、無線通信部133とに対応して複数のバンクを備える。画像処理部135は、複数のインターフェイスや無線通信部133から入力される画像データをフレームメモリー137の複数のバンクのいずれかに記憶させる。
また、画像処理部135には、キャプチャーメモリー139が接続される。キャプチャーメモリー139は、フレームメモリー137と同様に、SDRAMやDDR等により構成される。画像処理部135は、制御部150の制御により、フレームメモリー137に展開された画像データをキャプチャーデータとしてキャプチャーメモリー139に記憶させる。フレームメモリー137に展開した画像データをキャプチャーメモリー139に記憶させる動作を「キャプチャー」という。また、キャプチャーデータに基づき、プロジェクター100がスクリーンSCに表示させる画像を、「キャプチャー画像」という。
フレームメモリー137に展開される画像データは、外部装置180から入力される画像信号に基づく画像データであり、表示部110によりスクリーンSCに表示されるデータである。例えば、プロジェクター100が60Hzの垂直同期信号に同期している場合、フレームメモリー137に展開される画像データは、60Hzの逆数である16.7ミリ秒に1回書き換わる。フレームメモリー137に展開された画像データを、キャプチャーデータとしてキャプチャーメモリー139に記憶させることで、外部装置180から画像信号の入力が停止した後も、プロジェクター100が単独で画像データを表示させることができる。キャプチャーメモリー139は、「記憶部」の一例に対応する。
画像処理部135は、フレームメモリー137に展開した画像データに対して画像処理を行う。画像処理部135が行う画像処理には、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等が含まれる。画像処理部135は、制御部70により指定された処理を実行し、必要に応じて、制御部70から入力されるパラメーターを使用して処理を行う。また、画像処理部135は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。画像処理部135は、制御部70により選択されたバンクに展開された画像データをフレームメモリー137から読み出し、光変調装置駆動回路33に出力する。
画像処理部135、フレームメモリー137及びキャプチャーメモリー139は、例えば、集積回路により構成される。集積回路には、LSI、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-chip)等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、制御部150と集積回路とが組み合わされた構成であってもよい。
次に、制御部150の構成について説明する。制御部150は、メモリー160及びプロセッサー170を備えるコンピューター装置である。メモリー160は、RAM(Random access memory)等の揮発性のメモリーと、ROM(Read Only Memory)やフラッシュメモリー等の不揮発性のメモリーとを備える。
メモリー160は、プロセッサー170が実行する制御プログラム165を記憶する。制御プログラム165には、外部装置180から入力された画像信号に基づく画像をキャプチャーするアプリケーションプログラムが含まれる。以下、このアプリケーションプログラムを画像キャプチャーアプリという。また、メモリー160には、後述する子画面表示アイコン51や、ピン留め子画面表示アイコン52をスクリーンSCに表示させるための画像データが記憶される。
また、メモリー160には、キャリブレーションデータが記憶される。キャリブレーションデータは、撮像部105の撮像データと、スクリーンSCの投射領域10とを対応づけるデータである。より詳細には、撮像データに設定された座標と、フレームメモリー137に設定された座標とを対応づけるデータである。
制御部150は、撮像データを解析して指示体3の指示位置を検出する。ここで検出される指示位置は、撮像データにおける位置である。制御部150は、検出した撮像データの指示位置を示す座標値を、キャリブレーションデータによりフレームメモリー137での座標値に変換する。撮像データの指示位置が、対応するフレームメモリー137の位置に変換されることで、例えば、スクリーンSCにアイコンを表示していた場合、指示体3によりアイコンが選択されたか否かを判定することができる。キャリブレーションデータは、例えば、複数のパターンが形成されたパターン画像をスクリーンSCに表示し、このパターン画像を撮像部105により撮像する。そして、撮像部105により撮像された撮像データでの複数のパターンの位置と、フレームメモリー137に展開されたパターン画像の位置とを対応づけることで生成される。
プロセッサー170は、CPU(Central Processing Unit)やマイコンにより構成される演算処理装置である。プロセッサー170は、制御プログラム165を実行してプロジェクター100の各部を制御する。プロセッサー170は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサー170は、メモリー160の一部又は全部や、その他の回路と統合されたSoC(System on Chip)により構成してもよい。また、プロセッサー170は、プログラムを実行するCPUと、所定の演算処理を実行するDSP(Digital Signal Processor)との組合せにより構成してもよい。さらに、プロセッサー170の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
制御部150は、機能ブロックとして、位置検出部171、操作判定部173及び表示制御部175を備える。これらの機能ブロックは、プロセッサー170が制御プログラム165に記述された命令セットを実行してデータの演算や制御を行なうことにより実現される機能をブロックにより便宜的に示したものである。機能ブロックは、特定のアプリケーションプログラムやハードウェアを示すものではない。
位置検出部171は、信号光送信部103に、装置信号光ASLを一定間隔で送信させる。また、位置検出部171は、装置信号光ASLの送信タイミングに同期して、撮像部105に撮像を実行させる。撮像部105は、スクリーンSCを含む範囲を撮像して撮像データを生成し、生成した撮像データを制御部150に出力する。撮像データは、メモリー160に一時的に記憶される。
位置検出部171は、メモリー160から撮像データを取得し、取得した撮像データを解析して指示体信号光PSLを検出する。位置検出部171は、検出した指示体信号光PSLの位置を示す座標値を、キャリブレーションデータによりフレームメモリー137での座標値に変換する。また、位置検出部171は、指示体信号光PSLが検出された撮像データの撮像タイミングに基づいて指示体信号光PSLの発光パターンを特定し、指示体3がスクリーンSCに接触しているか否かを判定する。
操作判定部173は、位置検出部171により変換されたフレームメモリー137の座標値に基づき、指示体3により行なわれた操作を判定する。例えば、操作判定部173は、指示体信号光PSLが検出されたフレームメモリー137の座標値が、スクリーンSCに表示されたアイコンやボタン等の画像データが展開された位置である場合、このアイコンが選択されたと判定する。
また、操作判定部173は、連続的に撮像された複数の撮像データから指示体信号光PSLが連続して検出された場合、検出された複数の指示体信号光PSLのフレームメモリー137の座標値の軌跡を求める。操作判定部173は、求めた座標値の軌跡に基づき、指示体3により行なわれた操作を特定する。例えば、操作判定部173は、求めた軌跡に基づき、後述する表示領域70を設定する。
表示制御部175は、スクリーンSCに表示させる画像データを選択し、選択した画像データの画像処理を画像処理部135に実行させる。また、表示制御部175は、駆動部120を制御して表示部110に画像光PLを生成させ、生成させた画像光PLをスクリーンSCに投射させる。
図3及び図4は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。特に、図3は、画像キャプチャーアプリが選択された場合に、スクリーンSCに表示される初期画面を示す図である。また、図4は、子画面表示アイコン51が選択された場合に、スクリーンSCに表示される画像を示す図である。
以下の説明では、プロジェクター100に、外部装置180として、外部装置180Aと外部装置180Bとが接続され、外部装置180Aから画像信号Aが供給され、外部装置180Bから画像信号Bが供給されている場合について説明する。画像信号Aは、本発明の「第1の画像信号」に対応し、画像信号Bは、本発明の「第2の画像信号」に対応する。
例えば、使用者がリモコン7を操作して画像キャプチャーアプリを選択すると、プロセッサー170は、選択された画像キャプチャーアプリを実行し、図3に示す初期画面をスクリーンSCに表示させる。この初期画面には、子画面表示アイコン51と、ピン留め子画面表示アイコン52とが表示される。
子画面表示アイコン51は、入力インターフェイス131に入力される画像信号に基づく画像を子画面60に表示させるアイコンである。入力インターフェイス131に入力される画像信号に含まれる画像データを、以下では「入力画像」という。制御部150は、指示体3の指示位置が、子画面表示アイコン51の表示範囲内にあるか否かを判定し、子画面表示アイコン51が選択されたか否かを判定する。制御部150は、子画面表示アイコン51が選択された場合、画像処理部135に、入力画像のサムネイル画像を生成させる。画像処理部135は、フレームメモリー137に展開した入力画像の画像データを縮小してサムネイル画像を生成する。また、画像処理部135は、フレームメモリー137の所定領域に、子画面60を示す画像枠を展開し、展開した画像枠内に生成したサムネイル画像を展開する。これによりスクリーンSCには、子画面60と、子画面60内に表示されたサムネイル画像とが表示される。
図4には、外部装置180A及び180Bから入力される入力画像をサムネイル画像として表示させた状態を示す。例えば、外部装置180Aから入力される入力画像のサムネイル画像が、子画面60aに表示され、外部装置180Bから入力される入力画像のサムネイル画像が、子画面60bに表示されたと仮定する。また、図4には、子画面60aと子画面60bの2つの子画面60を示すが、投射領域10に表示される子画面60の数は、入力インターフェイス131に入力される画像信号の信号数に応じて変更される。子画面60aは、本発明の「第1画面」の一例に対応し、子画面60bは、本発明の「第2画面」の一例に対応する。
各子画面60には、ピン留めアイコン63が表示される。ピン留めアイコン63は、入力画像の画像データを、プロジェクター100にキャプチャーさせるアイコンである。
子画面60aに表示されるピン留めアイコン63をピン留めアイコン63aと表示し、子画面60bに表示されるピン留めアイコン63をピン留めアイコン63bと表示する。例えば、ピン留めアイコン63aが指示体3により選択された場合、子画面60aに表示されたサムネイル画像の元になる画像信号Aの画像データがフレームメモリー137から読み出され、キャプチャーメモリー139に記憶される。ピン留めアイコン63aは、本発明の「第1アイコン」の一例に対応し、ピン留めアイコン63bは、本発明の「第2アイコン」の一例に対応する。
ピン留めアイコン63の表示態様には、第1の表示態様と第2の表示態様とが含まれる。第1の表示態様は、ピン留めアイコン63がピン留めされた状態を示し、第2の表示態様は、ピン留めアイコン63がピン留めされていない状態を示す。ピン留めされていない状態のピン留めアイコン63が指示体3により選択されると、ピン留めアイコン63の表示態様が、ピン留めされていない状態から、ピン留めされた状態に変更される。また、ピン留めされた状態のピン留めアイコン63が指示体3により選択されると、ピン留めアイコン63の表示態様が、ピン留めされた状態から、ピン留めされていない状態に変更される。
ピン留め子画面表示アイコン52も、入力インターフェイス131に入力される入力画像を子画面60に表示させるアイコンである。ただし、ピン留め子画面表示アイコン52が選択された場合、子画面60には、キャプチャーメモリー139にキャプチャーされたキャプチャーデータのサムネイル画像が表示される。ピン留め子画面表示アイコン52が選択された場合、予め設定されたタイミングで入力画像の画像データをキャプチャーメモリー139に記憶させてキャプチャーデータを生成する。予め設定されたタイミングは、例えば、ピン留め子画面表示アイコン52が選択されたタイミングであってもよいし、後述する表示領域70が設定されたタイミングであってもよい。
図5及び図6は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。特に、図5は、指示体3による表示領域70の設定方法を説明するための図である。図6は、ピン留めアイコン63aが選択された場合に、スクリーンSCに表示される画像を示す図である。
子画面表示アイコン51が選択され、子画面60a及び子画面60bにサムネイル画像が表示された後の処理について、図5及び図6を参照しながら説明する。
使用者は、子画面60a及び子画面60bにサムネイル画像が表示されると、次に、表示領域70の設定を行なう。使用者は、指示体3を使用して、入力画像を表示させたい投射領域10の範囲である表示領域70を指定する。使用者は、指示体3の先端部31をスクリーンSCに接触させ、先端部31をスクリーンSCさせたままスクリーンSC上を移動させる。このとき、使用者は、移動させた指示体3の軌跡が、表示領域70の対角線となるように指示体3を移動させる。制御部150は、所定の間隔で連続して撮像される撮像データの各々から指示位置を検出し、検出した指示位置の軌跡を求める。制御部150は、検出した指示位置の軌跡が対角線となる矩形の領域を表示領域70に設定する。
本実施形態では、指示体3の軌跡が表示領域70の対角線となるように指示体3を移動させる場合について説明したが、表示領域70の設定方法は、この方法に限定されない。例えば、予め設定された大きさ及び形状の矩形の表示領域70をスクリーンSCに表示させ、使用者が指示体3を操作して、表示領域70の大きさや形状を変更してもよい。使用者は、指示体3を表示領域70の頂点が表示された位置に接触させ、指示体3を接触させたまま、指示体3を移動させる。制御部150は、移動する指示体3の指示位置が、表示領域70の頂点となるように表示領域70の大きさや形状を変更する。
また、指示体3をスクリーンSCに接触させた状態で移動させ、移動させた指示体3により表示領域70の外周を描くようにしてもよい。
使用者は、表示領域70の設定が完了すると、子画面60a及び子画面60bに表示されたサムネイル画像を参照しながら、設定した表示領域70に表示させる画像を選択する。このとき、使用者は、表示領域70に表示させたい画像が、子画面60a又は子画面60bに表示されていない場合、外部装置180を操作して、表示させたい画像のサムネイル画像を子画面60a又は子画面60bに表示させる。例えば、入力画像が動画像の画像データである場合、外部装置180での動画像の画像データの再生位置が変更されると、子画面60aや子画面60bに表示されるサムネイル画像が変更される。子画面60a又は子画面60bに表示させたい画像のサムネイル画像が表示されると、使用者は、指示体3によりピン留めアイコン63を選択する。
制御部150は、指示体3の指示位置が、ピン留めアイコン63の表示位置に対応する位置であるか否かを判定し、ピン留めアイコン63を選択する選択操作を検出する。制御部150は、ピン留めアイコン63が選択された場合、選択されたピン留めアイコン63が表示された子画面60を特定する。制御部150は、特定した子画面60に表示させたサムネイル画像の元になる画像データをキャプチャーメモリー139に記憶させてキャプチャーデータを生成させる。また、制御部150は、キャプチャーデータを、表示領域70に対応するフレームメモリー137の領域に展開させて、スクリーンSCの表示領域70にキャプチャー画像を表示させる。図6には、ピン留めアイコン63aが選択され、子画面60aに表示されたサムネイル画像の元になる画像データがキャプチャーされ、キャプチャー画像として表示領域70に表示された状態を示す。ピン留めアイコン63aが選択されることで、ピン留めアイコン63aの表示態様が、ピン留めされていない状態から、ピン留めされた状態に変更される。
図7は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。特に、図7は、ピン留め子画面表示アイコン52が選択された場合に、スクリーンSCに表示される画像を示す図である。
制御部150は、指示体3の指示位置が、ピン留め子画面表示アイコン52の表示範囲内にあるか否かを判定して、ピン留め子画面表示アイコン52が選択されたか否かを判定する。制御部150は、ピン留め子画面表示アイコン52が選択された場合、画像処理部135に、入力画像の画像データをキャプチャーメモリー139に記憶させてキャプチャーデータを生成させる。また、制御部150は、画像処理部135に、キャプチャーデータのサムネイル画像を生成させ、生成させたサムネイル画像を子画面60に表示させる。
ピン留め子画面表示アイコン52が選択された場合についても、入力インターフェイス131に、外部装置180A及び外部装置180Bが接続され、これらの外部装置180A及び外部装置180Bから入力画像A及び入力画像Bが入力されていると仮定して説明する。図7に示す子画面60aには、外部装置180Aから入力される画像信号Aに基づく画像をキャプチャーしたキャプチャーデータのサムネイル画像が表示される。また、子画面60bには、外部装置180Bから入力される画像信号Bに基づく画像をキャプチャーしたキャプチャーデータのサムネイル画像が表示される。
図8は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。特に、図8は、表示領域70の設定方法を示す図である。
使用者は、ピン留め子画面表示アイコン52を選択すると、子画面表示アイコン51を選択した場合と同様に、表示領域70を設定する。表示領域70の設定方法は、図5を参照しながら説明したように、指示体3の移動の軌跡が、表示領域70の対角線となるように指示体3を移動させる。制御部150は、指示体3の移動の軌跡を検出し、検出した移動の軌跡を対角線とする領域を表示領域70に設定する。
図9は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。特に、図9は、指示体3による子画面60の選択方法を示す図である。
使用者は、表示領域70の設定が完了すると、子画面60a及び子画面60bに表示されたサムネイル画像を見ながら、表示領域70に表示させる画像を指示体3により選択する。使用者は、選択したサムネイル画像が表示された子画面60内に指示体3を接触させる。制御部150は、指示体3の指示位置が、子画面60の表示範囲に対応する範囲を指示しているか否かを判定して、子画面60が選択されたか否かを判定する。制御部150は、子画面60が選択された場合、選択された子画面60に表示させたサムネイル画像の元になるキャプチャーデータをフレームメモリー137の表示領域70に対応する領域に展開し、スクリーンSCの表示領域70にキャプチャー画像を表示させる。図9には、子画面60bに表示されたサムネイル画像の元になるキャプチャーデータのキャプチャー画像が表示領域70に表示された状態を示す。
図10及び図11は、プロジェクター100の動作を示すフローチャートである。
図10及び図11を参照しながらプロジェクター100の動作を説明する。
まず、制御部150は、リモコン7又は指示体3の操作によりアプリケーションが選択されたか否かを判定する(ステップS1)。このフローチャートでは、アプリケーションプログラムとして画像キャプチャーアプリが選択されたか否かを判定する場合について説明する。制御部150は、画像キャプチャーアプリを選択する操作を受け付けていない場合(ステップS1/NO)、画像キャプチャーアプリが選択されるまで、処理の開始を待機する。
制御部150は、画像キャプチャーアプリを選択する操作を受け付けた場合(ステップS1/YES)、画像キャプチャーアプリを実行して(ステップS2)、処理を開始する。制御部150は、処理を開始すると、スクリーンSCに子画面表示アイコン51及びピン留め子画面表示アイコン52を表示させる。また、制御部150は、撮像部105の撮像データを解析して、指示体3により子画面表示アイコン51又はピン留め子画面表示アイコン52が選択されたか否かを判定する。
制御部150は、指示体3により子画面表示アイコン51が選択された場合(ステップS3/YES)、入力インターフェイス131に入力画像が入力されているか否かを判定する(ステップS4)。制御部150は、入力インターフェイス131に入力画像が入力されていない場合(ステップS4/NO)、例えば、画像信号の入力がありませんといった案内をスクリーンSCに表示させ、入力インターフェイス131に入力画像が入力されるまで待機する。また、制御部150は、入力インターフェイス131に入力画像が入力されている場合(ステップS4/YES)、入力画像を縮小してサムネイル画像を生成する。そして、制御部150は、生成したサムネイル画像を子画面60に表示させる(ステップS5)。ここで、複数の外部装置180が入力インターフェイス131に接続され、これら複数の外部装置180から入力画像が入力されている場合、スクリーンSCには複数の外部装置180に対応して複数の子画面60が表示される。
次に、制御部150は、表示領域70の設定方法を案内する案内表示を表示させる(ステップS6)。例えば、制御部150は、「指示体3を検出して表示領域を設定します。指示体3をスクリーンSCに接触させながら表示領域の対角線を描いてください。」といった案内をスクリーンSCに表示させる。
次に、制御部150は、撮像部105に撮像を実行させる。撮像部105は、予め設定された一定間隔ごとに撮像を行い、撮像データを生成する。撮像データは、制御部150に出力され、制御部150のメモリー160に一時的に記憶される。
制御部150は、メモリー160から撮像データを順次読み出し、読み出した撮像データを解析し、スクリーンSCに接触した指示体3の指示位置を検出する(ステップS7)。制御部150は、スクリーンSCに接触した指示体3の指示位置を検出すると、検出した指示位置をメモリー160に記憶させる(ステップS8)。制御部150は、この処理を、スクリーンSCに接触した指示体3の指示位置が検出されなくなるまで繰り返す。
制御部150は、スクリーンSCに接触した指示体3の指示位置が検出されなくなると(ステップS7/NO)、メモリー160に記憶させた指示位置の座標をつなぎ合わせて軌跡データを生成する(ステップS9)。制御部150は、軌跡データを生成すると、生成した軌跡データが示す軌跡を対角線とする矩形の領域を表示領域70に設定する(ステップS10)。
次に、制御部150は、指示体3によりピン留めアイコン63が選択されたか否かを判定する(ステップS11)。制御部150は、指示体3によりピン留めアイコン63が選択されていない場合(ステップS11/NO)、ステップS11の判定に戻る。
また、制御部150は、指示体3によりピン留めアイコン63が選択された場合(ステップS11/YES)、選択されたピン留めアイコン63の子画面60に表示したサムネイル画像の元になる入力画像の画像データをキャプチャーする(ステップS12)。制御部150は、画像処理部135に、サムネイル画像の元になる入力画像の画像データをキャプチャーメモリー139に記憶させてキャプチャーデータを生成させる(ステップS12)。また、制御部150は、生成したキャプチャーデータを、フレームメモリー137の表示領域70に対応する領域に展開して、スクリーンSCの表示領域70にキャプチャーデータに基づく画像であるキャプチャー画像を表示させる(ステップS13)。
その後、制御部150は、画像キャプチャーアプリを終了させる操作を受け付けたか否かを判定する(ステップS14)。制御部150は、画像キャプチャーアプリを終了させる操作を受け付けていない場合(ステップS14/NO)、ステップS3の判定に戻る。また、制御部150は、画像キャプチャーアプリを終了させる操作を受け付けた場合(ステップS14/YES)、この処理フローを終了させる。
次に、ステップS3において、子画面表示アイコン51が選択されずにピン留め子画面表示アイコン52が選択された場合のプロジェクター100の動作について図11に示すフローチャートを参照しながら説明する。制御部150は、子画面表示アイコン51が選択されていない場合(ステップS3/NO)、ピン留め子画面表示アイコン52が選択されたか否かを判定する(ステップS15)。制御部150は、ピン留め子画面表示アイコン52が選択されていない場合(ステップS15/NO)、ステップS26の判定に移行する。ステップS26の判定については後述する。
制御部150は、ピン留め子画面表示アイコン52が選択された場合(ステップS15/YES)、入力インターフェイス131に入力画像が入力されているか否かを判定する(ステップS16)。制御部150は、入力インターフェイス131に入力画像が入力されていない場合(ステップS16/NO)、例えば、画像信号の入力がありませんといった案内をスクリーンSCに表示させ、入力インターフェイス131に入力画像が入力されるまで待機する。また、制御部150は、入力インターフェイス131に入力画像が入力されている場合(ステップS16/YES)、入力されている入力画像の画像データをキャプチャーメモリー139に記憶させ(ステップS17)、キャプチャーデータを生成させる。そして、制御部150は、生成したキャプチャーデータを縮小してサムネイル画像を生成し、生成したサムネイル画像を子画面60に表示させる(ステップS18)。
この後、制御部150は、子画面表示アイコン51が選択された場合と同様に、案内表示を表示させ(ステップS20)、撮像データを解析してスクリーンSCに接触した指示体3の指示位置を検出する(ステップS21)。制御部150は、スクリーンSCに接触した指示体3の指示位置を検出すると、検出した指示位置をメモリー160に記憶させる(ステップS22)。また、制御部150は、スクリーンSCに接触した指示体3の指示位置が検出されなくなると(ステップS21/NO)、メモリー160に記憶させた指示位置の座標をつなぎ合わせて軌跡データを生成する(ステップS23)。そして、制御部150は、生成した軌跡データが示す軌跡を対角線とする矩形の領域を表示領域70に設定する(ステップS24)。その後、制御部150は、ステップS17で生成したキャプチャーデータをフレームメモリー137の表示領域70に対応する領域に展開して、スクリーンSCの表示領域70にキャプチャー画像を表示させる(ステップS25)。
また、制御部150は、キャプチャー画像をスクリーンSCの表示領域70に表示させると、画像キャプチャーアプリを終了させる操作を受け付けたか否かを判定する(ステップS26)。制御部150は、画像キャプチャーアプリを終了させる操作を受け付けていない場合(ステップS26/NO)、ステップS3の判定に戻る。また、制御部150は、画像キャプチャーアプリを終了させる操作を受け付けた場合(ステップS26/YES)、この処理フローを終了させる。
以上説明したように本実施形態のプロジェクター100は、入力された画像信号Aに基づく画像を、スクリーンSCの子画面60aにピン留めアイコン63aと共に表示させる。また、プロジェクター100は、入力された画像信号Bに基づく画像を、スクリーンSCの子画面60bにピン留めアイコン63bと共に表示させる。
また、プロジェクター100は、撮像部105の撮像データにより、指示体3によりピン留めアイコン63a又はピン留めアイコン63bを選択する選択操作を検出する。
プロジェクター100は、子画面60aに表示させたピン留めアイコン63aが選択操作により選択された場合、画像信号Aに基づく画像をキャプチャーメモリー139に記憶させる。また、プロジェクター100は、子画面60bに表示させたアイコンが選択操作により選択された場合、画像信号Bに基づく画像をキャプチャーメモリー139に記憶させる。その後、プロジェクター100は、キャプチャーメモリー139に記憶させたキャプチャー画像を、スクリーンSCに表示させる。
従って、表示面に複数の画像信号に基づく画像が表示されている場合に、キャプチャーメモリー139にキャプチャーさせる画像の選択を、指示体3を用いた簡易な操作で行なうことができる。
また、プロジェクター100は、キャプチャーメモリー139に記憶させたキャプチャー画像を表示させる表示領域70の位置及びサイズを指定する操作を、指示体3の操作により検出する。
プロジェクター100は、指示体3の操作によりキャプチャー画像を表示させるスクリーンSCの位置及びサイズを指定する操作を検出すると、検出した操作により指定された位置及びサイズの表示領域70をフレームメモリー137に設定する。プロジェクター100は、フレームメモリー137に設定した表示領域70にキャプチャー画像を表示させる。
従って、指示体3の操作により、キャプチャー画像を表示させるスクリーンSCの位置及びサイズを指定することができる。
また、プロジェクター100は、選択操作によりピン留めアイコン63が選択されると、選択されたピン留めアイコン63の表示態様を、ピン留めされた状態を示す表示状態から、ピン留めされていない状態を示す表示状態に変更する。
従って、ピン留めアイコン63がピン留めされた状態にあるのか、ピン留めされていない状態にあるのかを使用者に認識させることができる。
また、プロジェクター100は、画像信号Aをプロジェクター100に供給する外部装置180Aから、画像の表示を指示する指示信号が入力された場合、子画面60aに表示させたピン留めアイコン63aが選択されたと判定する。
また、プロジェクター100は、画像信号Bをプロジェクター100に供給する外部装置180Bから、画像の表示を指示する指示信号が入力された場合、子画面60bに表示させたピン留めアイコン63bが選択されたと判定する。
従って、外部装置180の操作により、スクリーンSCの表示領域70に表示させる画像を選択することができる。
また、プロジェクター100は、プロジェクター100に搭載された撮像部105によりスクリーンSCを撮像して撮像データを生成する。また、プロジェクター100は、生成した撮像データに撮像された指示体3の指示位置と、スクリーンSCにおけるピン留めアイコン63の表示位置とに基づき、選択操作を検出する。
従って、指示体3によりピン留めアイコン63を選択する操作を、簡易な構成により、精度よく検出することができる。
[第2実施形態]
第2実施形態について、添付図面を参照しながら説明する。
第2実施形態のプロジェクター100の構成は、図2に示す第1実施形態のプロジェクター100の構成と同一であるため、プロジェクター100の構成についての説明は省略する。
第2実施形態では、図12に示すように、スクリーンSCの表示領域70に、消去ボタン71を表示させる。消去ボタン71は、表示領域70に表示させたキャプチャー画像を、表示領域70から消去するボタンである。制御部150は、消去ボタン71の操作が検出された場合、キャプチャーメモリー139に記憶させたキャプチャー画像を消去する。
また、制御部150は、消去ボタン71の操作が検出された場合、キャプチャーメモリー139に記憶させたキャプチャーデータをメモリー160に記憶させる。その後、制御部150は、使用者の操作を受け付けた場合、再度、メモリー160からキャプチャーデータを読み出し、読み出したキャプチャーデータをフレームメモリー137に展開させる。フレームメモリー137に展開されたキャプチャーデータは、画像処理部135により読み出されて光変調装置駆動回路123に入力され、光変調装置にキャプチャー画像が展開される。これにより、スクリーンSCには、キャプチャー画像が表示される。
また、消去ボタン71が選択され、フレームメモリー137に展開されたキャプチャー画像が消去されると、このキャプチャー画像に対応したサムネイル画像を表示する子画面60のピン留めアイコン63の表示態様が変更される。具体的には、ピン留めアイコン63がピン留めされた第1の表示態様から、ピン留めされていない第2の表示態様に変更される。
制御部150は、ピン留めアイコン63が、ピン留めされていない状態に変更されると、このピン留めアイコン63が表示された子画面60のサムネイル画像を、入力画像に対応した画像に変更する。従って、ピン留めアイコン63を再度選択することで、新たな画像をキャプチャーし、表示領域70に表示させることができる。
図13は、本実施形態のプロジェクター100の動作を示すフローチャートである。図13に示すフローチャートを参照しながら本実施形態のプロジェクター100の動作を説明する。
上述した第1実施形態では、図11に示すフローチャートのステップS15の判定が否定判定の場合、ステップS26の判定に移行し、画像キャプチャーアプリを終了させる操作を受け付けたか否かを判定した。第2実施形態では、制御部150は、ステップS15の判定が否定判定の場合(ステップS15/NO)、指示体3により消去ボタン71が選択されたか否かを判定する(ステップS31)。
制御部150は、指示体3により消去ボタン71が選択された場合(ステップS31/YES)、消去ボタン71が選択された表示領域70にキャプチャー画像が表示されているか否かを判定する(ステップS32)。制御部150は、表示領域70にキャプチャー画像が表示されていない場合(ステップS32/NO)、ステップS35の判定に移行する。
制御部150は、表示領域70にキャプチャー画像が表示されている場合(ステップS32/YES)、消去ボタン71が選択された表示領域70に表示されたキャプチャー画像の表示を消去する(ステップS33)。さらに、制御部150は、キャプチャー画像のサムネイル画像を表示する子画面60のピン留めアイコン63の表示態様を、ピン留めされていない状態に変更し、ピン留めを解消させる(ステップS34)。
また、制御部150は、消去ボタン71が選択されていない場合(ステップS32/NO)や、表示領域70にキャプチャー画像が表示されていない場合(ステップS32/NO)、ピン留めアイコン63のピン留めを解消させた場合、画像キャプチャーアプリを終了させる操作を受け付けたか否かを判定する(ステップS35)。制御部150は、画像キャプチャーアプリを終了させる操作を受け付けていない場合(ステップS26/NO)、図10のステップS3に戻る。また、制御部150は、画像キャプチャーアプリを終了させる操作を受け付けた場合(ステップS26/YES)、この処理フローを終了させる。
この第2実施形態では、上述した第1実施形態で得られる効果に加えて、以下の効果を得られる。
第2実施形態のプロジェクター100は、表示領域70に表示させたキャプチャー画像を消去する操作が検出された場合、ピン留めアイコン63の表示態様を、ピン留めした状態を示す表示状態から、ピン留めしていない状態を示す表示状態に変更する。
従って、キャプチャー画像を消去する操作により、ピン留めアイコン63の表示態様が変更されるので、子画面60に表示させる画像を変更するときの操作の手間を削減することができる。
[第3実施形態]
上述した第1及び第2実施形態では、表示領域70に表示させる画像を指示体3の操作により選択する場合について説明した。この第3実施形態では、プロジェクター100に接続された外部装置の操作により、表示領域70に表示させる画像を選択する場合について説明する。
第3実施形態では、プロジェクター100に接続し、プロジェクター100に画像信号を供給する装置が、スマートフォンやタブレット等の携帯機器200であり、プロジェクター100と携帯機器200とが無線通信により接続された場合について説明する。
図14は、携帯機器200の構成を示すブロック図である。
図14は、携帯機器200がスマートフォンである場合の構成を示す図である。携帯機器200は、無線通信部210、移動体通信部220、表示部230、音声処理部241、携帯制御部250を備え、これら各部はバス201に接続される。
無線通信部210は、無線LANアクセスポイントや無線LAN通信が可能な外部機器との間で所定の無線LAN規格に従った無線LAN通信を行う。
移動体通信部220は、アンテナや無線通信回路等を備え、移動体通信網を介して移動体通信を行う。移動体通信部220の通信方式は、第3世代移動体通信システムであってもよいし、LTE(Long Term Evolution)であってもよいし、第4世代移動体通信システムであってもよい。LTEは、登録商標である。
表示部230は、表示パネル231と、タッチセンサー233とを備える。
表示パネル231は、液晶パネルや有機ELディスプレイにより構成される。表示部230は、携帯制御部250の制御に従って表示パネル231に画像を表示させる。
タッチセンサー233は、使用者の指又はタッチペンが接触した表示パネル231の位置を検出し、検出した接触位置を示す座標情報を携帯制御部250に出力する。
音声処理部241には、スピーカー243及びマイク245に接続され、音声信号の変復調を行う。音声処理部241は、マイク245から入力される音声信号を変調し、変調後の音声信号を携帯制御部250に出力する。また、音声処理部241は、音声信号を復調し、復調後の音声信号をスピーカー243に出力する。音声処理部241は、例えば音声処理用のプロセッサーによって実現される。
携帯制御部250は、メモリー及びプロセッサーを備えるコンピューター装置である。メモリーは、フラッシュメモリーや、EEPROM(Electronically Erasable and Programmable Read Only Memory)等の不揮発性の記憶装置である。また、メモリーは、SDメモリカードやUSBメモリーにより構成してもよい。メモリーは、OS(Operating System)やアプリケーションプログラム等の制御プログラムを記憶する。
プロセッサーは、CPU(Central Processing Unit)やマイコンにより構成される演算処理装置である。プロセッサーは、メモリーに記憶された制御プログラムを実行して携帯機器200の各部を制御する。プロセッサーは、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサーは、メモリーの一部又は全部や、その他の回路と統合されたSoCにより構成してもよい。また、プロセッサーは、プログラムを実行するCPUと、所定の演算処理を実行するDSPとの組合せにより構成してもよい。さらに、プロセッサーの機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
図15及び図16は、プロジェクター100によりスクリーンSCに表示される表示画像を示す図である。図15及び図16を参照しながら第3実施形態のプロジェクター100の動作を説明する。
まず、携帯機器200の一例である携帯機器200aが、プロジェクター100に無線接続された場合について説明する。携帯機器200aは、プロジェクター100に無線接続されると、画像データを含むパケットデータをプロジェクター100に送信する。プロジェクター100は、無線接続された携帯機器200aからパケットデータを受信すると、受信したパケットデータを復調し、復調したパケットデータから画像データを取り出す。
次に、プロジェクター100は、スクリーンSCに子画面60aを表示させ、この子画面60a内に、取り出した画像データに基づく画像のサムネイル画像を表示させる。また、子画面60aには、ピン留めアイコン63aが表示される。図15には、スクリーンSCに子画面60aが表示された状態を示す。ピン留めアイコン63aの表示態様は、ピン留めされていない態様である。
次に、図16に示すように、携帯機器200bがプロジェクター100に無線接続され、プロジェクター100が、この携帯機器200bからパケットデータを受信したと仮定する。この場合、プロジェクター100は、受信したパケットデータを復調し、復調したパケットデータから画像データを取り出す。
また、プロジェクター100は、子画面60aと並べて子画面60bを表示させる。子画面60bは、新たに接続された携帯機器200bから受信した画像データに基づく画像のサムネイル画像を表示させる子画面である。
プロジェクター100は、携帯機器200に無線接続され、接続された携帯機器200から画像データを受信するごとに、投射領域10に子画面60の表示を追加する。投射領域10に複数の子画面60を表示させる場合、複数の子画面60の並び順が、プロジェクター100が画像データを受信した受信順、又はプロジェクター100との接続順となるように複数の子画面60を表示させるとよい。携帯機器200の使用者に、自身の所持する携帯機器200の画像が表示される子画面60を認識しやすくすることができる。
また、この第3実施形態では、表示領域70は、画像キャプチャーアプリが選択されて起動したときに表示させるものであってもよいし、複数の携帯機器200の使用者の1人が、指示体3を操作して表示領域70を設定してもよい。
使用者は、携帯機器200に表示された画像が、子画面60にサムネイル画像として表示されると、携帯機器200に対してジェスチャー操作を行なって、子画面60に表示されたサムネイル画像をピン留めさせる。例えば、使用者は、携帯機器200の表示パネル231に指をタッチさせ、タッチさせた指を表示パネル231の下から上に移動させるスワイプ操作を行なう。携帯機器200は、スワイプ操作が検出されると、スワイプ操作を示す信号をプロジェクター100に送信する。このスワイプ操作を示す信号が、「画像の表示を指示する指示信号」に相当する。プロジェクター100は、携帯機器200からスワイプ操作を示す信号を受信すると、この信号を受信した携帯機器200から受信した画像データに基づく画像をキャプチャーメモリー139に記憶させてキャプチャーデータを生成する。プロジェクター100は、生成したキャプチャーデータに基づく画像を、フレームメモリー137の表示領域70に対応する領域に展開してスクリーンSCの表示領域70に表示させる。
上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。
例えば、上記実施形態では、表示装置の一例としてプロジェクター100を示したが、本発明の表示装置は、液晶ディスプレイであってもよい。また、プラズマディスプレイパネルや有機ELパネルを備えた表示装置であってもよい。
また、表示装置の制御方法を、表示装置が備えるコンピューターを用いて実現される場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD(Hard Disk Drive)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、Blu−ray Disc、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるRAM(Random Access Memory)、ROM(Read Only Memory)、HDD等の不揮発性記憶装置であってもよい。Blu−rayは、登録商標である。
また、図10、図11及び図13に示すフローチャートの処理単位は、制御部150の処理を理解容易にするために、主な処理内容に応じて分割したものである。このため、図10、図11及び図13のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部150の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
図2に示したプロジェクター100の機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。また、図2に示した通りに独立したハードウェア資源を配置する構成に限定されず、図示した以外の機能部を備える構成であってもよい。
3…指示体、7…リモコン、10…投射領域、31…先端部、33…軸部、33…光変調装置駆動回路、35…信号光送受信部、36…操作スイッチ、37…制御部、38…電源部、51…子画面表示アイコン、52…ピン留め子画面表示アイコン、60、60a、60b…子画面、63、63a、63b…ピン留めアイコン、70…制御部、71…消去ボタン、100…プロジェクター、101…リモコン受光部、103…信号光送信部、105…撮像部、111…光源、113…光変調装置、115…光学ユニット、120…駆動部、121…光源駆動回路、123…光変調装置駆動回路、131…入力インターフェイス、133…無線通信部、135…画像処理部、137…フレームメモリー、139…キャプチャーメモリー、150…制御部、160…メモリー、165…制御プログラム、170…プロセッサー、171…位置検出部、173…操作判定部、180、180A、180B…外部装置、200、200a、200b…携帯機器、201…バス、210…無線通信部、220…移動体通信部、233…タッチセンサー、241…音声処理部、243…スピーカー、245…マイク、250…携帯制御部。

Claims (7)

  1. 入力された第1の画像信号に基づく画像を、表示面の第1画面に第1アイコンと共に表示させ、
    入力された第2の画像信号に基づく画像を、前記表示面の第2画面に第2アイコンと共に表示させ、
    前記第1アイコン又は前記第2アイコンを選択する選択操作を検出し、
    前記第1アイコンが前記選択操作により選択された場合、前記第1の画像信号に基づく画像を記憶部に記憶させ、前記第2アイコンが前記選択操作により選択された場合、前記第2の画像信号に基づく画像を前記記憶部に記憶させ、
    前記記憶部に記憶させた画像を、前記表示面に表示させる、表示装置の制御方法。
  2. 前記記憶部に記憶させた画像を表示させる表示領域の位置及びサイズの指定を受け付け、
    受け付けた前記指定に基づいて前記表示領域を設定し、設定した前記表示領域に前記記憶部に記憶させた画像を表示させる、請求項1記載の表示装置の制御方法。
  3. 前記選択操作により選択された前記第1アイコン又は前記第2アイコンの表示態様を、前記第1アイコン又は前記第2アイコンが前記選択操作により選択される前の表示態様である第1の表示態様から、前記第1の表示態様とは異なる第2の表示態様に変更する、請求項2記載の表示装置の制御方法。
  4. 前記表示領域に表示させた画像を消去する操作が検出された場合、前記第2の表示態様に変更した前記第1アイコン又は前記第2アイコンを、前記第1の表示態様に変更する、請求項3記載の表示装置の制御方法。
  5. 前記第1の画像信号を前記表示装置に供給する外部装置から、画像の表示を指示する指示信号が入力された場合には、前記第1アイコンが選択されたと判定し、前記第2の画像信号を前記表示装置に供給する外部装置から、画像の表示を指示する指示信号が入力された場合には、前記第2アイコンが選択されたと判定する、請求項1から4のいずれか一項に記載の表示装置の制御方法。
  6. 前記表示装置が備える撮像部により前記表示面を撮像して撮像データを生成し、生成した前記撮像データに基づいて特定した表示面における指示体の指示位置と、前記表示面における前記第1アイコン及び前記第2アイコンの表示位置とに基づき、前記選択操作を検出する、請求項1から5のいずれか一項に記載の表示装置の制御方法。
  7. 表示面に画像を表示する表示装置であって、
    画像信号が入力される入力部と、
    前記入力部に複数の画像信号が入力され場合に、入力された複数の前記画像信号の各々に対応する複数の画像を、前記表示面の複数の画面にアイコンと共に表示させる制御部と、
    複数の前記画面の各々に表示された前記アイコンのいずれかを選択する操作を検出する検出部と、
    記憶部と、を備え、
    前記制御部は、前記アイコンを選択する操作が検出されると、前記操作により選択された前記アイコンが表示された前記画面に表示させた画像を前記記憶部に記憶させ、
    前記記憶部に記憶させた画像を前記表示面に表示させる、表示装置。
JP2019057883A 2019-03-26 2019-03-26 表示装置の制御方法及び表示装置 Pending JP2020160654A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019057883A JP2020160654A (ja) 2019-03-26 2019-03-26 表示装置の制御方法及び表示装置
US16/829,459 US11061513B2 (en) 2019-03-26 2020-03-25 Method for controlling display device, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019057883A JP2020160654A (ja) 2019-03-26 2019-03-26 表示装置の制御方法及び表示装置

Publications (1)

Publication Number Publication Date
JP2020160654A true JP2020160654A (ja) 2020-10-01

Family

ID=72605915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019057883A Pending JP2020160654A (ja) 2019-03-26 2019-03-26 表示装置の制御方法及び表示装置

Country Status (2)

Country Link
US (1) US11061513B2 (ja)
JP (1) JP2020160654A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132104B1 (en) * 2020-10-05 2021-09-28 Huawei Technologies Co., Ltd. Managing user interface items in a visual user interface (VUI)
JP2022113262A (ja) * 2021-01-25 2022-08-04 セイコーエプソン株式会社 表示装置の制御方法及び表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2844225B2 (ja) 1989-10-18 1999-01-06 セイコーエプソン株式会社 映像処理装置
JP5067914B2 (ja) 2001-09-13 2012-11-07 シャープ株式会社 モニタ装置
US9015641B2 (en) * 2011-01-06 2015-04-21 Blackberry Limited Electronic device and method of providing visual notification of a received communication
KR101889838B1 (ko) * 2011-02-10 2018-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
KR20140004490A (ko) 2012-07-03 2014-01-13 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9648062B2 (en) * 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
EP3611632A1 (en) * 2015-03-16 2020-02-19 Palantir Technologies Inc. Displaying attribute and event data along paths
JP6583432B2 (ja) 2015-12-25 2019-10-02 株式会社リコー 画像処理装置、画像表示方法、プログラム
JP6729028B2 (ja) 2016-06-15 2020-07-22 株式会社リコー 情報処理装置、電子黒板、プログラム
JP6994905B2 (ja) * 2017-11-01 2022-01-14 シャープ株式会社 画像形成装置および画像形成システム

Also Published As

Publication number Publication date
US20200310591A1 (en) 2020-10-01
US11061513B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
JP5874401B2 (ja) 表示装置、プロジェクター、表示システム及びデバイスの切替方法
CN107667526B (zh) 电子设备及方法
JP6307852B2 (ja) 画像表示装置、及び、画像表示装置の制御方法
US20140062863A1 (en) Method and apparatus for setting electronic blackboard system
JP2013250805A (ja) 表示装置、入力装置及びタッチペン
US20180061372A1 (en) Display apparatus, display system, and control method for display apparatus
US11061513B2 (en) Method for controlling display device, and display device
JP2016189517A (ja) 表示装置、表示装置の制御方法、書画カメラ、及び、書画カメラの制御方法
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
CN111656767B (zh) 电子装置及其操作方法
KR20190041069A (ko) 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
CN104978079B (zh) 双向显示方法以及双向显示装置
JP2018132769A (ja) 画像表示装置、及び、画像表示装置の制御方法
JP2009200846A (ja) 指示システム、指示プログラム及び指示装置
JP7238594B2 (ja) 表示システムの制御方法、及び表示システム
US20200183534A1 (en) Display apparatus, display system, and display method
JP2005122393A (ja) 出力装置及びその制御方法
KR101196760B1 (ko) 제스처 인식을 이용한 단말기 제어 방법 및 그 단말기
JP6943029B2 (ja) 投影装置、投影システム、制御方法及びプログラム
JP2015156167A (ja) 画像投影装置、画像投影装置の制御方法、および画像投影装置の制御プログラム
US11822225B2 (en) Electronic apparatus and control method thereof
JP7238371B2 (ja) 表示装置、表示システム及び表示方法
JP6707945B2 (ja) 表示装置及び表示装置の制御方法
JP2017092849A (ja) 画像表示システム
JP6300053B2 (ja) プロジェクタ装置及びプロジェクタシステム

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200810