JP2018054880A - 表示装置、情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】投射された画像に対してインタラクティブ機能の操作性が優れたプロジェクターを提供する。
【解決手段】プロジェクター１０は、指示動作を検出する位置検出部５０と、指示動作に基づく手書き文字１５０をスクリーンＳＣに投射する投射部２０と、投射された手書き文字１５０の表示方向に基づいて、手書き文字１５０を操作するＵＩ画面１６０の表示方向を決定し、決定した表示方向に基づいてＵＩ画面１６０をスクリーンＳＣに投射させるＵＩ制御部３４と、を備える。
【選択図】図２

Description

本発明は、表示装置、情報処理装置および情報処理方法に関する。

従来、オブジェクト画像を表示している表示画面に対し、ユーザーが手指等でタッチ操作を行う場合、下記特許文献１に示すように、タッチ操作を受け付けるユーザーインターフェイスである操作パッドをオブジェクト画像の近くに表示する表示装置が提案されている。
この表示装置は、操作パッドを表示する場合、操作パッドの表示の向きは矩形状の表示画面に合わせるように決定している。従って、ユーザーが表示画面と正対する場合、表示装置はユーザーと正対する方向に操作パッドを表示する。

特開２０１５−８８０９０号公報

しかしながら、ユーザーが表示画面に対して斜め方向からオブジェクト画像と向き合う場合、操作パッドは表示画面の矩形辺に対して平行に表示されるため、ユーザーは斜め方向から操作パッドを操作することになり、使い勝手が悪く、操作性が低下した。
本発明は、上述の課題に鑑みてなされたものであり、操作性に優れた表示装置を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
本適用例にかかる表示装置は、指示動作を検出する検出部と、前記指示動作に基づく第１の画像を表示する表示部と、前記表示部における前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定する決定部と、前記決定部が決定した前記表示態様に基づいて前記第２の画像を前記表示部に表示させる表示制御部と、を備えることを特徴とする。

このような構成によれば、表示装置は、指示動作に基づく第１の画像を表示し、第１の画像が表示されている表示方向に基づいて、第１の画像を操作するための第２の画像の表示態様を決定し、決定した表示態様に基づいて第２の画像を表示部に表示する。従って、第２の画像の表示態様は、第１の画像の表示方向に基づいて決定されるため、第２の画像の視認性が向上し、第２の画像の操作性の向上を図ることができる。

［適用例２］
上記適用例にかかる表示装置において、前記決定部は、前記表示方向が前記第１の画像と一致するように、前記第２の画像の前記表示態様を決定することが好ましい。

このような構成によれば、第２の画像は第１の画像の表示方向と一致するように表示されるため、第１の画像と正対した状態での第２の画像の操作指示が容易になる。

［適用例３］
上記適用例にかかる表示装置において、前記表示制御部は、前記表示態様に基づいて前記第２の画像を回転させ、回転させた前記第２の画像を前記第１の画像の近傍に表示させることが好ましい。

このような構成によれば、第２の画像は、第１の画像の表示方向と一致し、第１の画像の近傍に表示されるため、第１の画像に対応する第２の画像の視認性が向上する。

［適用例４］
上記適用例にかかる表示装置において、前記第２の画像は、前記第１の画像に対して表示色、拡大、縮小および範囲指定の少なくとも１つが指示可能であることが好ましい。

このような構成によれば、第２の画像から、第１の画像に対して表示色、拡大、縮小および範囲指定の少なくとも１つが指示できる。

［適用例５］
上記適用例にかかる表示装置において、前記決定部は、前記表示部に複数の前記第１の画像が表示されている場合、前記指示動作が指示する前記第１の画像に基づいて前記第２の画像の前記表示態様を決定することが好ましい。

このような構成によれば、複数の第１の画像が表示されている場合、第２の画像の表示態様は指示動作が指示した第１の画像に基づいて決定できる。

［適用例６］
上記適用例にかかる表示装置において、前記決定部は、前記指示動作が複数の前記第１の画像の１つを指示した場合、指示された前記第１の画像の前記表示方向と一致するように前記第２の画像の前記表示態様を決定しても良い。

［適用例７］
上記適用例にかかる表示装置において、前記決定部は、前記指示動作が複数の前記第１の画像を指示した場合、複数の前記第１の画像の方向に基づいて前記第２の画像の前記表示態様を決定しても良い。

［適用例８］
本適用例にかかる情報処理装置は、指示動作に基づいて表示された第１の画像を処理する情報処理装置であって、表示された前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定する決定部と、前記決定部が決定した前記表示態様に基づいて前記第２の画像を表示させる表示制御部と、を備えることを特徴とする。

このような構成によれば、情報処理装置は、指示動作に基づく第１の画像が表示されている表示方向に基づいて、第１の画像を操作するための第２の画像の表示態様を決定し、決定した表示態様に基づいて第２の画像を表示する。従って、第２の画像の表示態様は、第１の画像の表示方向に基づいて決定されるため、第２の画像の視認性が向上し、第２の画像の操作性の向上を図ることができる。

［適用例９］
本適用例にかかる情報処理方法は、指示動作を検出し、前記指示動作に基づく第１の画像を表示し、表示された前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定し、決定した前記表示態様に基づいて前記第２の画像を表示することを特徴とする。

このような方法によれば、検出した指示動作に基づく第１の画像を表示し、第１の画像が表示されている表示方向に基づいて、第１の画像を操作するための第２の画像の表示態様を決定し、決定した表示態様に基づいて第２の画像を表示する。従って、第２の画像の表示態様は、第１の画像の表示方向に基づいて決定されるため、第２の画像の視認性が向上し、第２の画像の操作性の向上を図ることができる。

実施形態１に係るプロジェクションシステムの構成を示す図。 プロジェクターを構成する機能部を示す機能ブロック図。 文字描画機能が起動された場合の処理の流れを示すフローチャート。 スクリーンに投射された第１のＵＩ画面を示す図。 スクリーンに投射された第２のＵＩ画面を示す図。 範囲選択ボタンが選択された場合、スクリーンに投射される画面を示す図。 手書き文字の一部が範囲指定された一例を示す図。 手書き文字の一部の拡大指示を示す図。 手書き文字の一部が拡大された図。 複数の手書き文字が描画された場合のＵＩ画面の投射例を示す図。 手書き文字の下部にアンダーラインが描画された例を示す図。 複数の手書き文字が描画された場合のＵＩ画面の投射例を示す図。 複数の手書き文字を含む閉領域が描画された例を示す図。 実施形態２に係るプロジェクションシステムの構成を示す図。

以下、本発明の実施形態について図面を参照して説明する。

（実施形態１）
図１は、本発明を適用した実施形態１に係るプロジェクションシステム１の構成を示す図である。本実施形態１では、プロジェクションシステム１は、表示装置の１つとしてのプロジェクター１０を有する。
本実施形態１では、プロジェクター１０は、スクリーンＳＣの直上に設置され、斜め下方に向けて画像を投射する短焦点型である。また、本実施形態１で例示するスクリーンＳＣは、壁面に固定されるか、または、床面に立設された、平板または幕である。尚、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０が取り付けられても良い。

尚、プロジェクター１０は、テーブルディスプレイ、即ち、天井から天吊りされて下方に投射し、テーブルのような水平面に設置されたスクリーンＳＣに投射する態様も想定できる。また、プロジェクター１０は、テーブル内部に設置され、テーブル面のスクリーンＳＣを背面から投射する態様も想定できる。また、プロジェクター１０が投射する投射画像は直線で規定する四角形状には限定されず、直線や曲線で規定する円形や多角形の態様も想定できる。例えば、天吊りされたプロジェクター１０の投射面は、丸型のテーブル上であり、ユーザーは、丸型テーブルの形状に合わせて投射された投写画像を囲むように視認する態様も想定できる。

このプロジェクションシステム１では、インタラクティブ機能、即ち、プロジェクター１０が画像を投射するスクリーンＳＣ上において、ユーザー（操作者）が指示体７０を用いて所定の操作を指示することが可能である。
指示体７０は、例えば、ペン型の入力デバイスであり、操作者は指示体７０の軸部７１を把持し、先端をスクリーンＳＣに押しつけるように使用する。指示体７０の先端には押圧操作を検出する操作スイッチ７２が設けられており、操作者が指示体７０の先端をスクリーンＳＣに押し付けた場合に、操作スイッチ７２がオンになる。操作者は、スクリーンＳＣ上の任意の位置で指示体７０の先端をスクリーンＳＣに押しつけることで、位置指示操作を行うことができる。

プロジェクター１０は、後述するように、スクリーンＳＣ上における指示体７０の位置を検出する機能を有する。プロジェクター１０は、操作者が位置指示操作を行った場合に、指示体７０の先端がスクリーンＳＣに接した位置を操作位置として検出する。
プロジェクター１０は、操作者が指示体７０を指示して行う位置指示操作を受け付けて、この操作を投射画像に反映させることができる。具体的には、プロジェクター１０は、ユーザーによる描画動作、即ち、ユーザーにより保持された指示体７０がスクリーンＳＣ上に押し付けられた状態で移動する指示動作に基づいて、第１の画像に相当する手書き文字１５０等をスクリーンＳＣに投射できる。
例えば、図１では、操作者がスクリーンＳＣに対して左下方向から右上方向に指示体７０を移動させることで、手書き文字１５０はスクリーンＳＣに対して左下方向から右上方向に向かって斜めに描画される。
プロジェクター１０は、指示体７０の先端がスクリーンＳＣに押し付けられた場合、描画動作の開始を判定する。また、プロジェクター１０は、スクリーンＳＣから指示体７０の先端が離れて所定時間が経過した場合、描画動作の終了を判定する。
プロジェクター１０は、描画動作により描画された画像を、画像データとして保存することができる。
図２は、プロジェクター１０を構成する各部の機能ブロック図である。
このプロジェクター１０は、画像データが入力される画像データ入力部１１を備えている。
画像データ入力部１１は、例えば、ＵＳＢインターフェイス、有線または無線ＬＡＮインターフェイス等の通信インターフェイスであっても良い。例えば、画像データ入力部１１が備えるＬＡＮインターフェイスに、サーバー装置や他のプロジェクターが接続されても良い。

また、画像データ入力部１１は、アナログ映像信号やデジタル画像データが入力される画像入力端子を備えていても良い。画像入力端子は、ＶＧＡ端子、ＤＶＩ（Digital Visual Interface）、Ｓ映像端子、ＲＣＡ端子、Ｄ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等である。画像データ入力部１１は、これらの画像入力端子に対応するインターフェイス回路や画像処理回路を備えていても良い。また、画像データ入力部１１は、フラッシュメモリー等に記憶された画像データを読み取る読取機能を備えても良い。
プロジェクター１０は、光学的な画像の形成を行う投射部２０と、画像データを処理する画像処理系と、に大別できる。
投射部２０は、画像を表示する表示部に相当し、照明光学系２１、光変調装置２２、および、投射光学系２３を備えて構成されている。照明光学系２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、レーザー光源等からなる光源を備える。また、照明光学系２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていても良い。更に、図示は略すが、投射光の光学特性を高めるためのレンズ群、偏光板、または、光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていても良い。

光変調装置２２は、例えば、ＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。照明光学系２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター、投射光をスクリーンＳＣに向けて反射する凹面鏡等を備えている。投射光学系２３は、光変調装置２２で変調された画像光のズーム調整およびフォーカス調整を行って、レンズ群を通った光を凹面鏡によりスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させる。
投射部２０には、制御部３０の制御に従って投射光学系２３が備える各モーターを駆動する投射光学系駆動部１６、および、制御部３０の制御に従って照明光学系２１が備える光源を駆動する光源駆動部１４が接続されている。なお、投射光学系２３の具体的構成は上記の例に限定されず、例えば凹面鏡を含むミラーを用いない構成により、光変調装置２２で変調された光をレンズによってスクリーンＳＣに投射し、結像させることも可能である。

一方、画像処理系は、プロジェクター１０全体を制御する制御部３０を中心に、記憶部３５、操作検出部１７、画像処理部４０、及び光変調装置駆動部１５を備えている。記憶部３５は、制御部３０が実行する制御プログラム３６、および、制御部３０が処理するデータを記憶する。また、画像処理部４０は、画像データ入力部１１を介して入力された入力画像を処理し、光変調装置駆動部１５は画像処理部４０が処理した画像信号に基づいて光変調装置２２を駆動して描画を行う。
操作検出部１７は、リモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０の操作者が使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。

操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯或いは点滅させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。
制御部３０は、画像データ入力部１１から入力された画像データを画像処理部４０に出力する。
画像処理部４０は、画像入力部４１、画像処理制御部４２、描画処理部４３及びフレームメモリー４４を備えている。
画像入力部４１は、入力された画像データをバッファーリングする。
画像処理制御部４２は、画像入力部４１に入力された画像データに対し、インターレース／プログレッシブ変換、解像度変換、色変換等の各種変換処理を適宜実行し、予め設定されたフォーマットの画像データを生成する。
描画処理部４３は、画像処理制御部４２により処理された画像データに基づいてフレームメモリー４４にフレーム毎の画像を展開する。

フレームメモリー４４に展開された画像データは、光変調装置駆動部１５に出力される。また、描画処理部４３は、フレームメモリー４４に展開された画像データに対し、台形歪み補正や糸巻き型歪み補正を行っても良い。この場合、描画処理部４３は、フレームメモリー４４に展開された画像データを、例えば、台形歪み補正を補償する形状の台形に変形させる。更に、描画処理部４３は、プロジェクター１０が描画を行う動作モードにおいて、指示体７０の操作位置の座標に従って、フレームメモリー４４に展開された画像に図形等の画像を加え、或いは消去する編集を行い、画像を生成または更新する。これにより、指示体７０の操作に応じた画像が描画されてスクリーンＳＣに投射される。
指示体７０は、操作スイッチ７２に加え、赤外線信号を出力する送信部７４を備えている。送信部７４は、例えば赤外ＬＥＤ等の発光部、発光制御回路、電源等を備える。送信部７４は、指示体７０の電源がオンになっている状態で、周期的に赤外線信号を送信する。送信部７４は、操作スイッチ７２の操作状態（オン／オフ）によって赤外線信号を変調し、例えばＩｒＤＡ規格に準拠した方式により操作スイッチ７２のオン／オフを示すデータを送信する。

プロジェクター１０は、指示体７０による指示動作を検出する検出部としての位置検出部５０を備えている。位置検出部５０は、撮像部５１、受信部５２、撮影制御部５３、指示体検出部５４、および座標算出部５５の各部を備えて構成される。
撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する。また、撮像素子としてはＣＣＤやＣＭＯＳが挙げられる。インターフェイス回路は、撮像素子の検出値を読み出して出力する。

撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮影制御部５３の制御により撮像部５１が撮影を実行すると、スクリーンＳＣ上に投射された画像とともに、スクリーンＳＣ上またはその近傍で操作されている指示体７０が撮影される。本実施形態１では、撮像部５１の撮像素子は、赤外光を含む波長域に感度を有する。撮像部５１は、撮像光学系により集光した赤外光の撮影画像データを出力する。
尚、撮像部５１は可視光線の波長域に対する感度を有するものであっても良く、また、撮影対象は指示体７０には限定されず、操作者の手指を撮影しても良い。
受信部５２は、送信部７４が送信した赤外線信号を受信してデコードし、受信データを出力する。受信部５２が出力する受信データは、操作スイッチ７２の操作状態を示すデータを含んでいる。

指示体検出部５４は、撮影制御部５３が生成する撮影画像データに基づいて、指示体７０の位置を検出する。指示体検出部５４は、撮影画像データから指示体７０に似た形状を検出して指示体７０の画像を切り出す処理を実行し、撮影画像データにおける指示体７０の位置を特定する。ここで、指示体検出部５４は、指示体７０の先端が向いている方向を特定しても良い。また、指示体検出部５４は、受信部５２が出力する受信データに基づいて操作スイッチ７２の操作状態を検出する。尚、指示体７０の検出方法は、指示体７０に似た形状を検出する方法には限定されず、ライトカーテンによる反射光の検出方法も想定できる。
ライトカーテンによる反射光の検出方法は、例えば、スクリーンＳＣの表面全体に亘って層状（又はカーテン状）の検出光（例えば、赤外光）を射出し、赤外光を反射する部位を有する指示体７０で反射する反射光を撮影し、撮影した画像における反射光の位置から指示体７０の位置を検出しても良い。ライトカーテンによる反射光の検出方法の詳細は、本発明の要旨ではないため省略する（かかる方式については、例えば、特開２０１５−１５９５２３号公報を参照）。

座標算出部５５は、指示体検出部５４が特定した撮影画像データにおける指示体７０の位置に基づき、指示体７０の先端がスクリーンＳＣ上で指し示している位置の座標、すなわち操作位置の座標を算出する。具体的には、座標算出部５５は、撮影画像データにおける操作位置に基づき、スクリーンＳＣ上に投射部２０が投射画像を投射する領域（投射範囲）を基準とする座標を算出する。座標算出部５５は、算出した操作位置の座標、操作スイッチ７２の操作状態等を示すデータを、制御部３０に出力する。また、座標算出部５５は、撮像部５１により撮影された撮影画像データを制御部３０に出力しても良い。

制御部３０は、記憶部３５に記憶された制御プログラム３６を読み出して実行することにより、投射制御部３１、検出制御部３２、描画オブジェクト解析部３３、及び、ＵＩ制御部３４の機能を実現し、プロジェクター１０の各部を制御する。
制御部３０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等を備え、ＲＯＭに記憶した基本制御プログラムをＤＲＡＭに読み込み、ＣＰＵにより実行して、プロジェクター１０を制御する。また、制御部３０は、記憶部３５に記憶されたプログラムを実行することにより、投射制御部３１、検出制御部３２、描画オブジェクト解析部３３、及び、ＵＩ制御部３４として機能する。

投射制御部３１は、操作検出部１７から入力される操作データに基づいて、操作者が行った操作の内容を取得する。投射制御部３１は、操作者が行った操作に応じて画像処理部４０、光変調装置駆動部１５、投射光学系駆動部１６および光源駆動部１４を制御して、スクリーンＳＣに画像を投射させる。また、投射制御部３１は、投射光学系駆動部１６を制御して、投射光学系２３によるフォーカス調整、ズーム調整、絞り調整等を実行させる。
検出制御部３２は、位置検出部５０を制御して、指示体７０の操作位置の検出を実行させ、操作位置の座標と操作スイッチ７２の操作状態とを検出する。
更に、検出制御部３２は、指示体７０の操作位置および操作スイッチ７２の操作状態に基づいて、描画に関する所定の機能を実行させる。例えば、操作者のリモコン操作により、スクリーンＳＣ上にメニュー（図示略）が重畳して投射され、投射されたメニューの中から操作者が指示体７０を使って文字描画機能のメニューを選択した場合、検出制御部３２は、指示体７０の指示位置に基づいて手書き文字１５０を描画する文字描画機能を起動させても良い。

描画オブジェクト解析部３３は、操作者が指示体７０を操作してスクリーンＳＣ上に描画した文字や図形等のオブジェクトを解析する。例えば、文字描画機能が起動され、オブジェクトとして手書き文字１５０がスクリーンＳＣ上に描画された場合、描画オブジェクト解析部３３は、描画された手書き文字１５０を解析し、スクリーンＳＣ上での手書き文字１５０の描画方向を検出する。尚、描画方向は、手書き文字１５０が書き進められる方向を示し、手書き文字１５０がスクリーンＳＣに表示される表示方向と同一である。
手書き文字１５０の描画方向の検出方法は、例えば、手書き文字１５０の先頭から１文字に相当する画像を抽出し、抽出した画像から周知の光学文字認識技術（ＯＣＲ技術）により文字を抽出し、抽出した文字の傾きを回転補正により算出しても良い。
描画オブジェクト解析部３３は、算出した文字の傾きから手書き文字１５０の描画方向を決定する。
また、描画オブジェクト解析部３３は、手書き文字１５０や図形を画像イメージとして構成する画素群から画像イメージの方向ベクトルを算出し、算出した方向ベクトルに基づいて描画方向を決定しても良い。

また、描画オブジェクト解析部３３は、操作者が指示体７０を把持してオブジェクトを描画する場合、撮像部５１が撮影した指示体７０の傾斜角度に基づいて、描画方向を決定しても良い。この場合、指示体７０を把持して描画する場合の癖や習慣に関する情報を操作者毎に記憶部３５に記憶し、操作者に応じて指示体７０の傾斜角度を補正しても良い。
ＵＩ制御部３４は、描画オブジェクト解析部３３の解析結果に基づいて、スクリーンＳＣに投射するユーザーインターフェイス画面（ＵＩ画面）１６０に関して投射する位置や傾きを制御する。尚、ＵＩ画面１６０は、手書き文字１５０に対して所定の操作を行う機能を有し、第２の画像に相当する。
ＵＩ制御部３４は、文字描画機能の描画動作が終了した場合、手書き文字１５０の描画方向と略一致するように、ＵＩ画面１６０を傾ける回転角度を算出し、算出した回転角度に基づいてＵＩ画面１６０を回転させた状態で手書き文字１５０の近傍に投射させる。尚、ＵＩ制御部３４において、手書き文字１５０の描画方向に対して表示態様の１つである回転角度を決定する機能は決定部に相当し、ＵＩ画面１６０を回転角度に基づいて回転させた状態で投射させる機能は表示制御部に相当する。尚、手書き文字１５０の描画方向に対して決定する表示態様は、回転角度のみには限定されない。例えば、手書き文字１５０の描画方向に応じて、ＵＩ画面１６０において選択可能な機能を変更しても良い。このような例として、手書き文字１５０の描画方向がスクリーンの平行方向に対して傾斜している場合には、ＵＩ画面１６０の機能として、手書き文字１５０の描画方向の傾斜をリセットする機能を選択可能とする態様も想定できる。

図３は、文字描画機能が起動された場合の処理（情報処理方法）の流れを示すフローチャートである。
この処理が開始されると、制御部３０は、操作者による指示体７０の移動に基づいてスクリーンＳＣにオブジェクトを描画する（ステップＳ２００）。
次に、制御部３０は、指示体７０がスクリーンＳＣから離れて所定時間経過したか、否かを判定する（ステップＳ２０２）。
ここで、指示体７０がスクリーンＳＣから離れて所定時間経過していない場合（ステップＳ２０２でＮｏ）、ステップＳ２００に戻り、文字描画機能を継続する。
他方で、指示体７０がスクリーンＳＣから離れて所定時間経過した場合（ステップＳ２０２でＹｅｓ）、制御部３０は、描画されたオブジェクトの描画方向を算出する（ステップＳ２０４）。

次に、制御部３０は、算出した描画方向に基づいてＵＩ画面１６０の回転角度を算出する（ステップＳ２０６）。
次に、制御部３０は、ＵＩ画面１６０を回転角度に応じて回転させ、オブジェクトから所定の距離内の近傍に投射させ（ステップＳ２０８）、一連の処理を終了する。
次に、図４〜図１３を参照し、ＵＩ画面１６０の投射例を説明する。
図４は、文字描画機能の描画動作が終了した場合、スクリーンＳＣに投射される第１のＵＩ画面１６０Ａを示す。
操作者が指示体７０を操作して手書き文字１５０を描画した後、指示体７０をスクリーンＳＣ上から離して所定の時間が経過した場合、検出制御部３２は文字描画機能の描画動作の終了を判定する。ＵＩ制御部３４は、検出制御部３２の終了判定を受けて、第１のＵＩ画面１６０Ａを手書き文字１５０の近傍に投射させる。この場合、ＵＩ制御部３４は、第１のＵＩ画面１６０Ａの向きが手書き文字１５０の描画方向と一致するように、第１のＵＩ画面１６０Ａを回転させる。

この第１のＵＩ画面１６０Ａは、描画した手書き文字１５０を編集するか、否かを問い合わせる画面である。操作者は、手書き文字１５０に対して編集を行いたい場合、はいボタン１６５を指示体７０で指示することにより選択する。他方で、操作者は、手書き文字１５０に対して編集を行わない場合、いいえボタン１６７を指示体７０で指示することにより選択する。
図５は、投射された第１のＵＩ画面１６０Ａに対して、はいボタン１６５が選択された場合、スクリーンＳＣに投射される第２のＵＩ画面１６０Ｂを示す。
この場合、ＵＩ制御部３４は、投射している第１のＵＩ画面１６０Ａに替えて、第２のＵＩ画面１６０Ｂを手書き文字１５０の近傍に投射させる。この場合、ＵＩ制御部３４は、第２のＵＩ画面１６０Ｂの向きが手書き文字１５０の描画方向と一致するように、第２のＵＩ画面１６０Ｂを回転させる。

この第２のＵＩ画面１６０Ｂは、描画した手書き文字１５０に対する編集内容を操作者に選択させる画面である。第２のＵＩ画面１６０Ｂは、選択することで指示可能なボタンとして、範囲選択ボタン１６２、拡縮選択ボタン１６４、戻すボタン１６６、色選択ボタン１６８およびキャンセルボタン１６９を有する。
範囲選択ボタン１６２は、手書き文字１５０に対して編集する範囲を設定するためのボタンである。拡縮選択ボタン１６４は、手書き文字１５０を拡大や縮小するためのボタンである。戻すボタン１６６は、アンドゥ機能、即ち、第２のＵＩ画面１６０Ｂで編集した動作を取り消して、元の状態に戻すためのボタンである。色選択ボタン１６８は、手書き文字１５０の表示色を変更するためのボタンである。キャンセルボタン１６９は、第２のＵＩ画面１６０Ｂによる編集を中断するためのボタンである。

図６は、投射された第２のＵＩ画面１６０Ｂにおいて、範囲選択ボタン１６２が選択された場合、スクリーンＳＣに投射される画面を示す。
ここで、ＵＩ制御部３４は、投射している第２のＵＩ画面１６０Ｂに替えて、範囲指定ウィンドウ１６３Ａを手書き文字１５０の近傍に投射させる。この場合、ＵＩ制御部３４は、手書き文字１５０の描画方向と一致し、かつ、手書き文字１５０の全体を矩形が囲むように範囲指定ウィンドウ１６３Ａを投射させる。
操作者は、範囲指定ウィンドウ１６３Ａの矩形の一辺を指示し、移動させることで範囲指定ウィンドウ１６３Ａが指定する範囲を変更できる。
図７は、範囲指定ウィンドウ１６３Ｂにより手書き文字１５０の一部が範囲指定された一例を示す。

即ち、図７では、範囲指定ウィンドウ１６３Ａにおいて、手書き文字１５０の一部（この場合、「手書き」）を範囲から除外するように、矩形の一辺を移動させた状態を示している。尚、操作者は、矩形を構成する４辺の何れも指示して移動させることができる。
図８は、手書き文字１５０の一部を拡大する場合を示す。操作者は、範囲指定ウィンドウ１６３Ｃのように、手書き文字１５０の一部（この場合、「文字」）を範囲として指定すると共に、矩形の頂点を指示して任意の方向に移動させることで矩形の大きさ、即ち、文字の拡大率や縮小率を指定できる。ＵＩ制御部３４は、指示体７０がスクリーンＳＣ上から離れて所定の時間が経過した場合、範囲の指定終了を検知し、第２のＵＩ画面１６０Ｂを、手書き文字１５０の描画方向と一致させ、手書き文字１５０の近傍に投射させる。ここで、操作者は、第２のＵＩ画面１６０Ｂの拡縮選択ボタン１６４を選択する。

この結果、図９に示すように、範囲指定ウィンドウ１６３Ｃで指定した範囲に含まれる手書き文字１５０の指定部分１５４は、範囲指定ウィンドウ１６３Ｃの大きさに合わせて拡大される。他方で、範囲指定ウィンドウ１６３Ｃで指定されない手書き文字１５０の非指定部分１５２の大きさは変化しない。
上記では、拡縮選択ボタン１６４が選択された場合を説明したが、例えば、色選択ボタン１６８が選択された場合には、範囲指定ウィンドウ１６３Ａに替えて、色指定ウィンドウ（図示は略す）が投射され、操作者は色指定ウィンドウから所望の色を選択すると、範囲指定された手書き文字１５０の所定領域の文字色が所望の色に変更される。
図１０は、文字描画機能により複数の手書き文字１５０Ａ，１５０Ｂが描画された場合の第２のＵＩ画面１６０Ｂの投射例１を示す。この場合、第１の操作者により手書き文字１５０Ｂが最初に描画され、次に、第２の操作者により手書き文字１５０Ａが描画された場合を想定する。この場合、手書き文字１５０Ａが描画されて指示体７０がスクリーンＳＣ上から離れて所定の時間が経過した場合、ＵＩ制御部３４は、第１のＵＩ画面１６０Ａに続いて第２のＵＩ画面１６０Ｂを、手書き文字１５０Ａの描画方向に合致させ、かつ、手書き文字１５０Ａの近傍に投射させる。

ここで、図１１に示すように、操作者が手書き文字１５０Ｂの下部にアンダーライン１５６を描画した場合、ＵＩ制御部３４は、第２のＵＩ画面１６０Ｂを、アンダーライン１５６の描画方向と一致し、かつ、手書き文字１５０Ｂの近傍に投射させる。尚、描画方向は、アンダーライン１５６が描画された最近傍のオブジェクトである手書き文字１５０Ｂと同一方向であっても良い。
図１２は、文字描画機能により複数の手書き文字１５０Ａ，１５０Ｂが描画された場合の第２のＵＩ画面１６０Ｂの投射例２を示す。
この場合、手書き文字１５０Ｂが最初に描画され、次に、手書き文字１５０Ａが描画された場合を想定する。この場合、手書き文字１５０Ａが描画されて指示体７０がスクリーンＳＣ上から離れて所定の時間が経過した場合、ＵＩ制御部３４は、第１のＵＩ画面１６０Ａに続いて第２のＵＩ画面１６０Ｂを、手書き文字１５０Ａの描画方向に合致させ、かつ、手書き文字１５０Ａの近傍に投射させる。

ここで、図１３に示すように、操作者が手書き文字１５０Ａおよび手書き文字１５０Ｂを含む閉領域１５８を指示体７０で描画した場合、ＵＩ制御部３４は、閉領域１５８に含まれる手書き文字１５０Ａおよび手書き文字１５０Ｂのようなオブジェクトの位置に基づいて、第１のＵＩ画面１６０Ａや第２のＵＩ画面１６０Ｂを描画する。
この場合、閉領域１５８に含まれるオブジェクト全体の重心位置や、閉領域１５８の重心位置から最も近いオブジェクト（例えば、手書き文字１５０Ａ）の近傍位置に第２のＵＩ画面１６０Ｂを描画しても良い。また、第１のＵＩ画面１６０Ａや第２のＵＩ画面１６０Ｂの回転角度は、それぞれのオブジェクトの描画方向の合成であっても良い。また、オブジェクト全体の重心位置に最も近いオブジェクトの描画方向に合わせても良い。

以上述べた実施形態１によれば、以下のような効果を奏する。
（１）プロジェクター１０は、指示体７０による指示動作に基づいて描画された手書き文字１５０をスクリーンＳＣに投射して表示し、手書き文字１５０がスクリーンＳＣに表示されている描画方向に基づいて、手書き文字１５０を操作するためのＵＩ画面１６０の描画方向を決定し、決定した描画方向に基づいてＵＩ画面１６０をスクリーンＳＣに表示する。従って、ＵＩ画面１６０の描画方向は、手書き文字１５０の描画方向に基づいて決定されるため、手書き文字１５０を描画したユーザーに対してＵＩ画面１６０の視認性が向上し、ＵＩ画面１６０に対するユーザーの操作性を向上させることができる。
（２）ＵＩ画面１６０は手書き文字１５０の描画方向と一致するように表示されるため、ユーザーは、手書き文字１５０と正対した状態でＵＩ画面１６０からの操作指示を容易にできる。

（３）ＵＩ画面１６０は手書き文字１５０に接近して表示されるため、手書き文字１５０に対応するＵＩ画面１６０の視認性が向上する。
（４）ＵＩ画面１６０から手書き文字１５０に対して表示色、拡大、縮小および範囲指定の少なくとも１つを指示できる。
（５）複数の手書き文字１５０が表示されている場合、ＵＩ画面１６０の描画方向は指示動作が指示した手書き文字１５０に基づいて決定される。

（実施形態２）
次に、本発明の実施形態２について説明する。尚、以下の説明では、既に説明した部分と同じ部分については、同一符号を付してその説明を省略する。
図１４は、プロジェクションシステム１の構成を示す図である。実施形態１では、プロジェクションシステム１はプロジェクター１０を備えた構成、即ち、単体で構成したが、実施形態２では、プロジェクションシステム１はプロジェクター１０およびコンピューター装置１００のように複数の装置で構成する。
コンピューター装置１００は、情報処理装置の１つであり、制御部１０１、記憶部１１０、外部インターフェイス（以下、「外部Ｉ／Ｆ」と略記する）１０９、入力部１０６、表示処理部１０７およびモニター１０８を備える。尚、コンピューター装置１００は、パーソナルコンピューターやタブレット端末の態様を想定する。

制御部１０１は、ＣＰＵ、ＣＰＵが実行する基本制御プログラム等を記憶したＲＯＭ、および、ＣＰＵが実行するプログラムやＣＰＵが処理するデータ等を一時的に格納するＲＡＭ等により実現される。実施形態１では、プロジェクター１０の制御部３０が検出制御部３２、描画オブジェクト解析部３３およびＵＩ制御部３４を備えたが、本実施形態２では、コンピューター装置１００の制御部１０１が検出制御部３２、描画オブジェクト解析部３３およびＵＩ制御部３４を備える。
入力部１０６は、キーボードおよびマウス等のポインティングデバイスを含む入力デバイスによる入力操作を検出する。表示処理部１０７は、入力部１０６が検出した入力操作の内容や制御部１０１による処理結果等をモニター１０８に表示する。また、記憶部１１０は、制御部１０１が実行する制御プログラム１１１を含む各種のプログラム、これらのプログラムにより処理されるデータ等を不揮発的に記憶する。

外部Ｉ／Ｆ１０９は、プロジェクター１０が備えるインターフェイス部（以下、「Ｉ／Ｆ部」と略記する）１２と、ケーブル１ａを介して通信可能に接続される。尚、外部Ｉ／Ｆ１０９は、実施形態１に記載した画像データ入力部１１の機能に加え、プロジェクター１０との間で制御情報等を送受信する機能を有する。
制御部１０１は、制御プログラム１１１を実行することにより、プロジェクター１０を制御する制御信号を生成し、プロジェクター１０に送信する。プロジェクター１０は、制御信号を受信し、制御信号に基づいて種々の動作を実行する。

また、制御部１０１は、プロジェクター１０で投射する画像データを生成し、生成した画像データをプロジェクター１０に送信する。プロジェクター１０は、画像データを受信し、画像データに基づいて画像を投射する。
更に、検出制御部３２は、撮像部５１が検出した指示体７０の指示位置を示す検出情報を受信する。そして、描画オブジェクト解析部３３は、検出情報が示す指示位置に基づいて、操作者が指示体７０を操作してスクリーンＳＣ上に描画したオブジェクトを解析する。ＵＩ制御部３４は、描画オブジェクト解析部３３の解析結果に基づいて、スクリーンＳＣに投射するＵＩ画面１６０に関して投射する位置や傾きをプロジェクター１０の制御部３０に指示する。

この場合、ＵＩ制御部３４はＵＩ画面１６０の回転角度を算出し、算出した回転角度をプロジェクター１０に出力する。即ち、ＵＩ画面１６０を回転させる処理はプロジェクター１０の制御部３０が行うが、この態様には限定されない。
例えば、ＵＩ制御部３４はＵＩ画面１６０の回転角度を算出し、回転角度に基づいて回転させたＵＩ画面１６０を生成し、プロジェクター１０に出力する。プロジェクター１０はコンピューター装置１００から出力されるＵＩ画面１６０を表示しても良い。即ち、コンピューター装置１００のＵＩ制御部３４がＵＩ画面１６０を回転させる処理を行い、プロジェクター１０はＵＩ画面１６０を回転させる処理を行わない態様も想定できる。

以上述べた実施形態２は、実施形態１で述べた効果（１）から（５）に加え、以下の効果を奏する。
（６）検出制御部３２、描画オブジェクト解析部３３およびＵＩ制御部３４がコンピューター装置１００側に構成されるため、手書き文字１５０の回転角度を検出し、ＵＩ画面１６０を検出した回転角度で回転させて手書き文字１５０の近傍に投射する処理を迅速にできる。

以上、本発明を図示した実施形態に基づいて説明したが、本発明は、本実施形態に限定されるものではなく、以下に述べるような変形例も想定できる。
（１）表示手段は、プロジェクター１０による投射には限定されず、液晶表示体を備えたタッチパネルも想定できる。
（２）光変調装置２２は、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、これに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としても良いし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いても良い。あるいは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成しても良い。光変調装置２２として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置２２であれば採用できる。
また、図２に示した制御部３０や、図１４に示した制御部３０，１０１の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。

１…プロジェクションシステム、１ａ…ケーブル、１０…プロジェクター、１１…画像データ入力部、１２…Ｉ／Ｆ部、１４…光源駆動部、１５…光変調装置駆動部、１６…投射光学系駆動部、１７…操作検出部、１８…リモコン受光部、１９…操作パネル、２０…投射部、２１…照明光学系、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…描画オブジェクト解析部、３４…ＵＩ制御部、３５…記憶部、３６…制御プログラム、４０…画像処理部、４１…画像入力部、４２…画像処理制御部、４３…描画処理部、４４…フレームメモリー、５０…位置検出部、５１…撮像部、５２…受信部、５３…撮影制御部、５４…指示体検出部、５５…座標算出部、７０…指示体、７１…軸部、７２…操作スイッチ、７４…送信部、１００…コンピューター装置、１０１…制御部、１０６…入力部、１０７…表示処理部、１０８…モニター、１１０…記憶部、１１１…制御プログラム、１５０…手書き文字、１５０Ａ，１５０Ｂ…手書き文字、１５２…非指定部分、１５４…指定部分、１５６…アンダーライン、１５８…閉領域、１６０…ＵＩ画面、１６０Ａ…第１のＵＩ画面、１６０Ｂ…第２のＵＩ画面、１６２…範囲選択ボタン、１６３Ａ，１６３Ｂ，１６３Ｃ…範囲指定ウィンドウ、１６４…拡縮選択ボタン、１６５…はいボタン、１６６…戻すボタン、１６７…いいえボタン、１６８…色選択ボタン、１６９…キャンセルボタン。

Claims (9)

1. 指示動作を検出する検出部と、
   前記指示動作に基づく第１の画像を表示する表示部と、
   前記表示部における前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定する決定部と、
   前記決定部が決定した前記表示態様に基づいて前記第２の画像を前記表示部に表示させる表示制御部と、を備えることを特徴とする表示装置。
2. 請求項１に記載の表示装置において、
   前記決定部は、前記表示方向が前記第１の画像と一致するように、前記第２の画像の前記表示態様を決定することを特徴とする表示装置。
3. 請求項１乃至２のいずれかに記載の表示装置において、
   前記表示制御部は、前記表示態様に基づいて前記第２の画像を回転させ、回転させた前記第２の画像を前記第１の画像の近傍に表示させることを特徴とする表示装置。
4. 請求項１乃至３のいずれか１項に記載の表示装置において、
   前記第２の画像は、前記第１の画像に対して表示色、拡大、縮小および範囲指定の少なくとも１つが指示可能であることを特徴とする表示装置。
5. 請求項１乃至４のいずれか１項に記載の表示装置において、
   前記決定部は、前記表示部に複数の前記第１の画像が表示されている場合、前記指示動作が指示する前記第１の画像に基づいて前記第２の画像の前記表示態様を決定することを特徴とする表示装置。
6. 請求項５に記載の表示装置において、
   前記決定部は、前記指示動作が複数の前記第１の画像の１つを指示した場合、指示された前記第１の画像の前記表示方向と一致するように前記第２の画像の前記表示態様を決定することを特徴とする表示装置。
7. 請求項５に記載の表示装置において、
   前記決定部は、前記指示動作が複数の前記第１の画像を指示した場合、複数の前記第１の画像の方向に基づいて前記第２の画像の前記表示態様を決定することを特徴とする表示装置。
8. 指示動作に基づいて表示された第１の画像を処理する情報処理装置であって、
   表示された前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定する決定部と、
   前記決定部が決定した前記表示態様に基づいて前記第２の画像を表示させる表示制御部と、を備えることを特徴とする情報処理装置。
9. 指示動作を検出し、前記指示動作に基づく第１の画像を表示し、表示された前記第１の画像の表示方向に基づいて、前記第１の画像を操作する第２の画像の表示態様を決定し、決定した前記表示態様に基づいて前記第２の画像を表示することを特徴とする情報処理方法。

Images