JP2016177121A - 表示システム、画像表示装置及び操作装置 - Google Patents

Abstract

【課題】机上などのほぼ水平な表示面に表示された操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作を行うことができるようにする。【解決手段】表示面に画像を表示する画像表示装置と、画像表示装置を操作者が操作するための操作装置とを備え、画像表示装置で表示面に表示されている表示画像を操作者側から撮影し、その操作者側から撮影された表示画像の撮影結果に基づいて、画像表示装置によって表示面に表示される操作用画像の向きを補正制御する。【選択図】図１０

Description

本発明は、表示システム、画像表示装置及び操作装置に関するものである。

従来、机の天板上面（以下「机上」という。）などのほぼ水平の表示面（以下「水平表示面」という。）に画像を表示可能な画像表示装置が知られている。

特許文献１には、入力画像を第１の角度だけ回転処理した第１の出力画像と、前記入力画像を第１の角度とは異なる第２の角度だけ回転処理した第２の出力画像とを合成し、合成した出力画像を机上に投写する投写型表示装置が開示されている。この投写型表示装置では、机上投写した投写画像を視聴者が取り囲んで見る場合においても、どの視聴者からも視認性がよい画像を投写することができるとされている。

机上などの水平表示面に画像を表示可能な画像表示装置において、複数人が取り囲んで見ている水平表示面に操作用画像を表示し、その中の一人（操作者）が操作用画像を見ながら操作装置を用いて画像表示装置を操作する場合がある。この場合、その操作者の位置によっては操作用画像が正しい向きから回転した状態に見えてしまう。例えば、操作者の位置によっては、操作用画像が上下逆向きに見えたり、画像が９０°傾いて見えたりする。そのため、操作者が操作用画像を正確に読解するのが難しく、操作用画像を見ている操作者の位置によっては操作を円滑に行うことができないおそれがある。

特許文献１の投写型表示装置で上記操作用画像を机上に投写する場合、互いに向きが異なる２つの操作用画像が合成されて机上に投写されることになる。この合成された操作用画像を見ている操作者の位置によっては、操作用画像が正しい向きから回転した状態に見えてしまう。そのため、操作用画像を正確に読解するのが難しく、投写型表示装置を円滑に操作できないおそれがある。

上記課題を解決するために、本発明は、表示面に画像を表示する画像表示装置と、前記画像表示装置を操作者が操作するための操作装置とを備える表示システムであって、前記画像表示装置で表示面に表示されている表示画像を前記操作者側から撮影する撮像手段と、前記撮像手段によって前記操作者側から撮影された前記表示画像の撮影結果に基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正制御する制御手段と、を備えることを特徴とするものである。

本発明によれば、机上などのほぼ水平の表示面に表示された操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作することができる。

本発明の実施形態に係る表示システムの全体構成の一例を示す説明図。 本実施形態の表示システムにおいて投写画像に画像向き判定用パターンを埋め込むときの同期信号及び投写信号の一例を示す説明図。 投写画像に埋め込む画像向き判定用パターンの一例を示す説明図。 机の上面（水平表示面）に投写されている投写画像を互いに異なる２方向からみている操作者の位置の例を示す説明図。 （ａ）及び（ｂ）はそれぞれ、図４の手前側の位置Ｐ１に位置する操作者から見える投写画像及びその投写画像に埋め込まれた画像向き判定用パターンの見え方を示す説明図。 （ａ）及び（ｂ）はそれぞれ、図４の右側の位置Ｐ２に位置する操作者から見える投写画像及びその投写画像に埋め込まれた画像向き判定用パターンの見え方を示す説明図。 本実施形態に係るリモコンの外観の一例を示す斜視図。 本実施形態に係るリモコンの構成の一例を示すブロック図。 本実施形態に係るリモコンのキーコード操作メニューの表示向きの補正内容との関係の一例を示す説明図。 本実施形態に係る表示システムにおける操作者によるリモコン操作時の処理の一例を示すシーケンス図。 投写画像が上下左右が正しい向きで見える位置に操作者がいるときに操作メニュー表示を行うときの説明図。 投写画像が右方向に９０度回転している状態で見える位置に操作者がいるときに操作メニュー表示を行うときの説明図。 他の実施形態に係るリモコンの構成の一例を示すブロック図。 更に他の実施形態に係る表示システムの机上投写時における操作メニュー表示を含む投写画像の向きの回転の一例を示す説明図。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の実施形態に係る表示システムの全体構成の一例を示す説明図である。本実施形態の画像表示装置としてのプロジェクタ１００は、例えば、スクリーン９００の側方に配置し、スクリーン９００の前面側から投写を行うフロント投写やスクリーン９００の背面側から投写を行うリア投写のように垂直表示面に対して投写を行うことができる。また、プロジェクタ１００は、机９１０などの上方に配置し、机９１０の上面などのほぼ水平の水平表示面に対して画像の投写を行うことができる。

図１において、本実施形態の表示システム１０は、画像表示装置としてのプロジェクタ１００と、プロジェクタ１００で投写されている画像を見て操作者が操作するための操作装置としてのリモコン１２０とを備える。プロジェクタ１００は、入力端子１０１と、映像信号制御部１０２と、本体側の操作手段としての操作部１０３と、主制御手段としてのシステム制御部１０４と、記憶手段としての記憶部１０５とを備えている。更に、プロジェクタ１００は、リモコン受信部１０６と、ファン制御部１０７と、冷却手段としてのファン１０８と、ＤＭＤ（デジタルミラーデバイス）制御部１０９と、カラーホイール制御部１１０とを備えている。また、プロジェクタ１００は、回転検出部１１１と、ランプ制御部１１２と、設置角度検出部１１３とを備えている。

入力端子１０１は、ＨＤＭＩ（登録商標）やＶＧＡ等のインターフェースを介してコンピュータやＡＶ機器等の外部装置と接続される。入力端子１０１は複数備えてもよい。映像信号制御部１０２は、入力端子１０１に入力された映像信号の解像度や周波数などを解析する信号判定機能を有する。システム制御部１０４は、入力された映像信号に対してのスケーリング処理などの画像処理やその他各種制御を行う。

ＤＭＤ制御部１０９は、空間光変調手段としてのＤＭＤ（デジタルミラーデバイス）１１４に備えられているミラーのオン／オフを制御する。ＤＭＤ１１４は多数の微小鏡面（マイクロミラー）を平面に配置した表示素子である。カラーホイール制御部１１０は、カラーホイール１１５の回転を制御する。回転検出部１１１は、カラーホイール１１５の回転状態を検出する。ランプ制御部１１２は、光源としてのランプ１１６のオン／オフや点灯パワーなどを制御する。ファン制御部１０７は、ランプ１１６や装置内の温度が所定の温度となるようにファン１０８を制御する。

ランプ１１６から発した光束がカラーホイール１１５を通過してＤＭＤ１１４で変調されて生成された光像は、レンズなどからなる投写光学系１１７によりスクリーン９００や机９１０の表示面に投写される。これらのランプ１１６、ＤＭＤ制御部１０９、ＤＭＤ１１４、カラーホイール制御部１１０及びカラーホイール１１５は、表示面に画像を表示する表示手段として機能する。なお、プロジェクタ１００における投写方式（例えばＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）方式等）や光源の種類（例えば水銀ランプやレーザー光源等）は特定のものに限定されるものではない。

記憶部１０５は、映像信号に対する画像処理やその他各種処理でデータを記憶する。記憶部１０５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリカード、光ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの磁気的、光学的及び電気的に記憶可能な記憶装置の少なくともいずれかにより実現できる。

操作部１０３は、プロジェクタ１００を操作するインターフェースを提供して入力を受け付ける。リモコン受信部１０６は、リモコン１２０からの遠隔操作を受け付ける。ユーザーは、本体側の操作部１０３又はリモコン１２０からプロジェクタ１００の各種設定等を行うことができる。

システム制御部１０４は、プロジェクタ１００内の各部を制御するものであり、制御プログラムなどのプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御装置により実現できる。システム制御部１０４は、リモコン１２０から受信した補正情報に基づいて、操作用画像を含む画像の向きを制御して当該画像を表示するように、ＤＭＤ制御部１０９を介して表示手段としてのＤＭＤ１１４を制御する制御手段としても機能する。

設置角度検出部１１３は、例えば加速度センサや重力センサなどで構成され、プロジェクタ１００の設置角度を検出する。システム制御部１０４は、設置角度検出部１１３によるプロジェクタ１００の設置方向の検出結果に基づいて水平表示面に画像を投写しているか否かを判定してもよい。更に、システム制御部１０４は、水平表示面に画像を投影していると判定した場合にのみ前記補正情報に基づく画像の向きの補正制御を実行してもよい。

図２は、本実施形態の表示システムにおいて投写画像に画像向き判定用パターンを埋め込むときの同期信号及び投写信号の一例を示す説明図である。図２の例は、画像投写時のカラーホイール１１５の回転に応じた投写信号の例を示している。なお、本例において、カラーホイール１１５の構成は、Ｃｙ（シアン）−Ｗ（ホワイト）−Ｒ（レッド）−Ｍ（マゼンタ）−Ｙ（イエロー）−Ｇ（グリーン）−Ｂ（ブルー）の７セグメント構成であるとする。また、カラーホイール１１５のインデックス（Ｉｎｄｅｘ）はＣｙとＷの間に設定されているものとする。

図２に示すように、カラーホイール１１５の１回転毎にインデックス（Ｉｎｄｅｘ）から生成されたカラーホイール同期信号（以下「ＣＷ同期信号」という。）がＷ（ホワイト）区間の直前に入る。ＣＷ同期信号を検出したら、その直後のＷ区間はオフ期間とし、投写信号を出力しないでおく。そして、ｔ１時間が経過した後に、所定の画像向き判定用パターンをｔ２時間出力することで、Ｗ区間に画像向き判定用パターンの投写信号を埋め込む。このように画像向き判定用パターンの投写信号を埋め込むことにより、人の目には見えない一瞬の区間だけ画像向き判定用パターンが表示面に投写される。この表示面に投写された画像向き判定用パターンは、後述のようにリモコン１２０に設けられた撮像手段としてのカメラ（カメラモジュール）で撮影して認識される。

なお、カラーホイール１１５の毎回転時のＷ区間に画像向き判定用パターンを埋め込むと、投写画像の明るさが暗くなってしまう。そのため、例えばＮ回転に１回（例えば、図２の例のように２回転に１回）埋め込むようにし、投写画像の明るさへの影響を最小限に抑えるようにしてもよい。

図３は、投写画像に埋め込む画像向き判定用パターン８１０の一例を示す説明図である。図３は、ドットの数により方向を判定可能な画像向き判定用パターンの例であり、上方向、下方向、右方向及び左方向それぞれのドットの数が１個、２個、３個及び４個になっている。図３のように画像向き判定用パターン８１０が見える場合は、上下左右が正しい向きで見えていると判断できる。もし、例えば画像の左側に２ドット、右側に３ドットと見える場合は、画像が右方向に９０度回転して見えていると判断できる。同様に、上下左右のドットの見え方により、投写画像がどの方向にどの程度傾いて見えているか判断することができる。

なお、投写画像に埋め込まれる画像向き判定用パターンは、図３に示す画像向き判定用パターンの例に限らず、投写画像の向きが判別できるパターンであればよい。

図４〜図６は、机９１０の上面（水平表示面）に対する机上投写時における投写画面を見る位置による投写画像８００及びその投写画像に埋め込まれた画像向き判定用パターンの見え方の一例について説明する図である。図４は、机９１０の上面（水平表示面）に投写されている投写画像を互いに異なる２方向からみている操作者９２１，９２２の位置の例を示す説明図である。図５（ａ）及び（ｂ）はそれぞれ図４の手前側の位置Ｐ１に位置する操作者９２１から見える投写画像８０１及びその投写画像に埋め込まれた画像向き判定用パターン８０１ａの見え方を示す説明図である。また、図６（ａ）及び（ｂ）はそれぞれ図４の右側の位置Ｐ２に位置する操作者９２２から見える投写画像８０２及びその投写画像に埋め込まれた画像向き判定用パターン８０２ａの見え方を示す説明図である。

図４の手前側の正面位置Ｐ１から投写画像８００を見ると、図５（ａ）の投写画像８０１に示すように、操作者９２１にとって上下左右が正しい向きで見える。このとき、投写画像８００に埋め込まれた画像向き判定用パターンも、図５（ｂ）の画像向き判定用パターン８０１ａに示すように、操作者９２１にとって上下左右が正しい向きで見える。

一方、図４の右側の側方位置Ｐ２から投写画像８００を見ると、図６（ａ）の投写画像８０２に示すように、操作者９２２にとって投写画像が右方向に９０度回転した状態で見える。このとき、投写画像８００に埋め込まれた画像向き判定用パターンも、図６（ｂ）の画像向き判定用パターン８０２ａに示すように、操作者９２２にとって右方向に９０度回転した状態で見える。

本実施形態の表示システムでは、投写画像と連動して回転する画像向き判定用パターンの見え方によって投写画像の表示の向きを判定し、操作者が投写画像のメニュー操作する際には操作者の位置から上下左右の向きが正しく見えるよう画像を投写するものである。

図７は、本実施形態に係るリモコン１２０の外観の一例を示す斜視図である。図７において、リモコン１２０の上面には、プロジェクタ１００の操作に使用可能なメニューキーや方向キー等の複数のキー１２１ａを備える。複数のキー１２１ａのいずれかが押下されると、押下されたキーのキーコード情報が、信号送信装置１２２ａからプロジェクタ１００に送信される。このキーコード情報の送信には例えば無線通信である赤外線通信等が使用され、操作者がリモコン１２０を操作してプロジェクタ１００の遠隔操作が可能になっている。また、リモコン１２０の側面には、撮像手段としてのカメラモジュールのレンズ１２３ａが配置され、このカメラモジュールにより、表示面に表示されている投写画像に埋め込まれている画像向き判定用パターンを撮影することができる。

図８は、本実施形態に係るリモコン１２０の構成の一例を示すブロック図である。リモコン１２０は、キー入力部１２１と信号送信部１２２とカメラモジュール１２３とカメラ映像信号入力処理部１２４と画像向き判定部１２５と制御部１２６とを備えている。制御部１２６は、リモコン１２０内の各部を制御するものであり、制御プログラムなどのプログラムを実行可能なＣＰＵなどの制御装置により実現できる。キー入力部１２１にて押下されたキーの情報は、キー入力部１２１から制御部１２６に送られる。また、カメラモジュール１２３で撮影された投写画像の画像データは、カメラ映像信号入力処理部１２４で処理され、投写画像から画像向き判定用パターンが抜き出される。画像向き判定部１２５では、画像向き判定用パターンに基づいて、投写画像がどのような方向で見えているかを判定する。制御部１２６では、押下されたキーの情報と投写画像の見え方（投写画像の画像向き）とに基づいて、操作者が意図しているキー操作のキーコードを決定する。このキーコードにベンダーコード等の情報を付与したパケットからなる操作データが信号送信部１２２からプロジェクタ１００に送信される。

図９は、本実施形態に係るリモコン１２０のキーコードと操作メニューの表示向きの補正内容との関係の一例を示す説明図である。図９中のキーコードは、プロジェクタ１００で投写して表示している投写画像がリモコン１２０を用いる操作者から正しい上下方向で見えるように投写画像の向きを補正する補正情報として用いることができる。ここで、例えば、リモコン１２０のメニューキー押下時、リモコン１２０のカメラモジュール１２３の撮影結果に基づいて図５（ｂ）に示す画像向き判定用パターン８１１を認識した場合は、投写画像の見え方としては上下左右が正しい向きで見えている。この場合、投写画像における操作メニュー表示時の向きはそのままでよいため、キーコードとして「０ｘ１１」が適用される。一方、図６（ｂ）に示す画像向き判定用パターン８１２を認識した場合は、投写画像の見え方としては右方向に９０度回転した状態で見えている。この場合は、投写画像における操作メニューの向きを左方向に９０度回転して表示するよう、キーコードとして「０ｘ３１」が適用される。

なお、図９において、メニューキーや入力キーなど、キー押下により操作メニューを表示する必要があるキーについては、投写画像の向きによってキーコードを変えておく。また、決定キーや方向キーなど、キー押下により操作メニューを表示する必要がないものについては、投写画像の向きによってキーコードを変える必要がないため、単一のキーコードとする。

図１０は、本実施形態に係る表示システムにおける操作者９２０によるリモコン操作時の処理の一例を示すシーケンス図である。
図１０において、リモコン操作により操作メニューを表示するまでの動作処理の概要は、次の（１−１）〜（１−５）のとおりである。
（１−１）操作者９２０がリモコン１２０のメニューキーを押下する。
（１−２）リモコン１２０はカメラで投写画像を撮影する。
（１−３）撮影画像から投写画像の見え方による向きを判定する。
（１−４）リモコン１２０はプロジェクタ１００にキーコードを送信する。
（１−５）プロジェクタ１００は、受信したキーコードから画像の正しい向きを特定し、操作メニューを画像に重ね、操作者からみて投写画像の向きが正しい向きになるように投写画像を回転させてメニューを含む画像を投写する。このとき、回転前の元の画像表示向きの情報を保存しておく。

以上の動作処理により、操作者の位置によらず操作者から見て正しい向きで操作メニューを含む投写画像を表示することが可能になり、操作者が操作メニューを正確に読解することができる。従って、操作者の位置によらず、机上などのほぼ水平の表示面に表示された操作メニューを見ながら操作者がリモコン１２０を用いてプロジェクタ１００を操作する場合に円滑に操作することができる。

また、操作者から見て正しい向きで操作メニューを含む投写画像を投写するにあたり、その操作メニューを含む投写画像を縮小せずに投写することができるので、縮小投写する場合に比して操作メニューの内容が見やすい。これに対し、前述の特許文献１の投写型表示装置で操作メニューを含む投写画像を投写する場合、合成された操作メニューを含む２つの投写画像が縮小されて投写されることになるため、操作メニューの内容が見づらくなるおそれがある。

図１０において、投写画像からメニュー表示を消す場合の動作概要は、次の（２−１）〜（２−３）のとおりである。
（２−１）操作者９２０がリモコン１２０の戻るキーを押下する。
（２−２）リモコン１２０はキーコードをプロジェクタ１００に送信する。
（２−３）プロジェクタ１００は、操作メニューの表示を消し、元の画像表示向きで画像を投写する。

以上により、操作者９２０が操作を終了したら、投写画像の向きが元の画像表示向きに戻る。

なお、操作メニューの表示を消す場合のリモコン１２０のキーは戻るキーに限らず、メニューを抜けて操作メニューの表示を消すのに割り当てられたキー全てを含む。また、例えば操作メニューの表示から一定時間操作がなかったらメニューを抜けて操作メニューの表示を消す、という場合においても同様の処理を行い、投写画像が元の画像表示向きに戻るようにしてもよい。

図１１及び図１２はそれぞれ、机上投写時における投写画面を見る位置による投写画像及びメニュー表示時の見え方について説明する図である。図１１は、投写画像８０１が上下左右が正しい向きで見える位置に操作者がいるときにメニュー表示を行うときの説明図である。図１２は、投写画像８０１が右方向に９０度回転している状態で見える位置に操作者がいるときにメニュー表示を行うときの説明図である。

机上投写時に前述の図４の手前側の正面位置Ｐ１から図１１の上下左右が正しい向きで投写画像８０１が見えている状態で操作メニューを表示した場合、操作者は図１１の投写画像８０１を上下左右の向きが正しい向きで視認できる。そのため、投写画像の表示向きの補正は行われず、操作用画像としての操作メニュー８０３ａを含む投写画像８０３がそのままの向きで表示され、操作者がやりたい操作を円滑に行うことができる。

一方、机上投写時に前述の図４の右側の側方位置Ｐ２から図１２の右方向に９０度傾いた向きで投写画像８０２が見えている状態でメニュー表示した場合、操作者は図１２の投写画像を右方向に９０度傾いた状態で見える。この場合、投写画像を左方向に９０度回転させる投写画像の表示向きの補正は行われ、操作メニュー８０４ａを含む投写画像８０４が左方向に９０度回転させた向きで表示される。これにより、操作メニュー８０４ａを含む投写画像８０４を、操作者から見て上下左右が正しい向きで視認することができ、操作者がやりたい操作を円滑に行うことができる。また、この場合、操作を終了して操作メニューを閉じた場合は、図１２の投写画像８０２のように投写画像の向きが補正前の元の向きに戻されるため、操作者が操作終了時に向きを元に戻す処理を行う必要がない。

図１３は、他の実施形態に係るリモコン１２０の構成の一例を示すブロック図である。なお、前述の図８のリモコンと共通する部分については同じ符号を付し、説明を省略する。

図１３のリモコン１２０は、カメラモジュール１２３の撮影方向と重力の方向である鉛直方向とを基準にしたリモコン１２０の傾き角度を検出する手段としての角度センサ１２７を備えている。角度センサ１２７は、例えば加速度センサや重力センサなどで構成されている。角度センサ１２７は、例えばピッチ角やロール角などの傾き角度を判定するための検出結果を出力する。ここで、上記ピッチ角は、リモコン１２０の撮影方向が水平面から上下方向にどのくらい傾いているか示す傾き角度であり、ロール角は、リモコン１２０の撮影方向の軸の回りの右方向又は左方向にどのくらい傾いているかを示す傾き角度である。角度センサ１２７は、上記ピッチ角やロール角などのリモコン１２０の傾き角度の値そのものを出力してもよい。

リモコン１２０の画像向き判定部１２５は、操作者からみて投写画像がどのような向きで見えているかを判定する際に、角度センサ１２７によるリモコン１２０の傾きの検出結果に基づいてリモコン１２０自体の傾きも判定する。そして、カメラモジュール１２３で撮影した撮影画面における投写画像に対してリモコン自体の傾き角度を補正してから、投写画像の向きを判定する。こうように撮影画面における投写画像に対してリモコン自体の傾き角度を補正することにより、水平表示面に対してリモコン１２０が傾いている場合でも、投写画像の向きを正しく判定することが可能となる。

図１４は、更に他の実施形態に係る表示システムの机上投写時におけるメニュー表示を含む投写画像の向きの回転の一例を示す説明図である。図１４は、表示画面である投写画面８１０のアスペクト比が横長のプロジェクタを用い、その横長の投写画面８１０を側方から操作者が見ている場合の投写画像８０２の表示向きの補正の例を示している。投写画面８１０のアスペクト比が横長のプロジェクタの場合、投写画像を回転させると投写画像の操作メニューの周囲の一部が投写画面からはみ出る可能性がある。このような投写画像の一部はみ出しを回避するために、回転後の投写画像の全体が投写画面に入るように投写画像の全体を縮小して投写するように制御することが考えられる。しかしながら、このように回転後の投写画像の全体が投写画面に入るように縮小して投写する場合、その投写画像に含まれる操作メニューも一緒に縮小されて小さく表示されてしまい、その操作メニューの文字が見辛くなってしまうおそれがある。

そこで、図１４の例では、操作メニューを含む投写画像８０２を回転させる場合、投写画像８０２を縮小せずに、かつ、表示画面である投写画面８１０内に操作メニューが収まるように投写画像を回転させている。例えば、操作メニューを投写画面８１０の中央に表示する場合は、図１４中の左下の投写画像８０５に示すように表示させることで、操作メニュー８０５ａの全体を投写画面８１０内に収まるようにする。また、操作メニューを投写画面８１０の左上に表示する場合は、図１４中の右下の投写画像８０６のように表示させることで、操作メニュー８０６ａの全体を投写画面８１０内に収まるようにする。

なお、図１４に例示したように投写画像８０２を縮小せずに投写画面８１０内に操作メニューが収まるように投写する場合、投写画像の一部が投写画面８１０からハミ出てしまい、ハミ出した部分８０５ｂ，８０６ｂは切れてしまう。しかしながら、回転後の投写画像８０５，８０６において操作メニュー８０５ａ，８０６ａは縮小されないため、操作メニューが小さく表示されて文字が見づらくなってしまうことがなくなる。

なお、上記各実施形態では、表示手段が画像を投写する画像投写手段（画像投写部２００）であるプロジェクタ１の場合について説明したが、本発明は、画像投写手段以外の表示手段を備えた画像表示装置にも同様に適用できる。例えば、本発明は、複数の人が取り囲んでみることできるほぼ水平な表示面に画像を表示する表示手段を備えているものであれば、液晶表示装置などの他の画像表示装置にも同様に適用できる。

また、上記各実施形態では、プロジェクタ１で表示面に表示されている表示画像を操作者側から撮影する撮像手段がリモコン１２０に設けられた場合について説明したが、上記撮像手段はリモコン１２０とは別に備えてもよい。例えば、リモコン１２０とは別に操作者が操作して表示面上の表示画像を撮影可能なカメラ装置を備えてもよい。この場合、その別体のカメラ装置で撮影した表示画像の画像データをリモコン１２０を送信するように構成してもよい。また、上記別体のカメラ装置に、表示画像の撮影結果に基づいて、プロジェクタ１によって表示面に表示する操作用画像の向きを補正する補正情報を決定する補正情報決定手段と、その補正情報をプロジェクタ１に送信する送信手段とを備えてもよい。

また、上記各実施形態では、上記補正情報をリモコン１２０で決定してプロジェクタ１に送信しているが、上記補正情報はプロジェクタ１で決定してもよい。例えば、プロジェクタ１が、リモコン１２０又は上記別体のカメラ装置を使って操作者が表示面上の表示画像を撮影した撮影結果（画像データ）を受信する。そして、プロジェクタ１は、その撮影結果に基づいて、プロジェクタ１によって表示面に表示する操作用画像の向きを補正する補正情報を決定してもよい。また、プロジェクタ１は、上記補正情報を用いないで操作用画像の向きの補正制御を実行してもよい。例えば、プロジェクタ１は、リモコン１２０又は上記別体のカメラ装置から受信した撮影結果（画像データ）に基づいて操作者から見た表示画像の向きを判定し、その判定結果に基づいて、前記表示面に表示される操作用画像の向きを補正制御してもよい。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
表示面に画像を表示するプロジェクタ１００などの画像表示装置と、画像表示装置を操作者が操作するためのリモコン１２０などの操作装置とを備える表示システム１０であって、画像表示装置で表示面に表示されている表示画像を操作者側から撮影するカメラモジュール１２３などの撮像手段と、撮像手段によって操作者側から撮影された表示画像の撮影結果に基づいて、画像表示装置によって前記表示面に表示される操作用画像の向きを補正制御するシステム制御部１０４などの制御手段と、を備える。
これによれば、上記実施形態について説明したように、撮像手段によって操作者側から撮影された表示画像の撮影結果から、操作者側から見た表示画像の向きがわかる。このように表示画像の向きがわかる表示画像の撮影結果に基づいて、表示面に表示される操作用画像の向きを補正制御するので、操作者の位置によらず操作者から見て正しい向きで操作用画像を表示することが可能になる。従って、机上などのほぼ水平の表示面に表示された操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作することができる。
（態様Ｂ）
上記態様Ａにおいて、操作装置は、カメラモジュール１２３などの撮像手段と、撮像手段によって操作者側から撮影された表示画像の撮影結果に基づいて、画像表示装置によって表示面に表示する操作用画像の向きを補正するキーコードなどの補正情報を決定する画像向き判定部１２５などの補正情報決定手段と、補正情報を画像表示装置に送信する信号送信部１２２などの送信手段と、を備え、画像表示装置は、表示面に画像を表示するＤＭＤ１１４及びＤＭＤ制御部１０９などの表示手段と、操作装置から補正情報を受信するリモコン受信部１０６などの受信手段と、前記補正情報に基づいて、表示手段によって表示面に表示する操作用画像の向きを補正制御するシステム制御部１０４などの制御手段と、を備える。
これによれば、上記実施形態について説明したように、操作装置とは別に撮像手段を設けることなく、画像表示装置を操作する操作装置を使って、画像表示装置で表示面に表示されている表示画像を操作者側から撮影することができる。また、画像表示装置は、操作用画像の向きの補正制御に、操作装置から受信した補正情報を用いることができるため、画像表示装置での操作用画像の向きの補正制御が簡易になる。
（態様Ｃ）
上記態様Ａ又はＢにおいて、画像表示装置は、表示手段で表示面に表示する表示画像に画像向き判定用パターンを埋め込むシステム制御部１０４などの手段を備え、前記画像向き判定用パターンを含む表示画像の撮影結果に基づいて、表示面における表示画像の向きを判定し、画像表示装置によって表示面に表示する操作用画像の向きを補正制御する。
これによれば、上記実施形態について説明したように、画像向き判定用パターンに基づいて、操作者から見た表示面上における表示画像の向きを精度よく判定できるため、操作用画像の向きの補正精度を高めることができる。
（態様Ｄ）
上記態様Ａ乃至Ｃのいずれかにおいて、前記撮像手段の撮影方向と鉛直方向とを基準にした撮像手段の傾きを検出する角度センサ１２７などの傾き検出手段と、撮像手段の傾きの検出結果と前記表示画像の撮影結果とに基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正制御する。
これによれば、上記実施形態について説明したように、操作者が表示画像を撮影するときに撮像手段が傾いている場合でも、その撮像手段の傾きを考慮して操作用画像の向きの補正制御を精度よく行うことができる。
（態様Ｅ）
上記態様Ａ乃至Ｄのいずれかにおいて、前記操作用画像を含む表示対象の画像を回転させて前記表示面に表示する場合、回転後の表示対象の画像を縮小せずにかつ前記操作用画像が前記表示面上の表示画面内に収まるように補正制御する。
これによれば、上記実施形態について説明したように、操作用画像の全体を縮小させずに表示できるため、画像表示装置をより円滑に操作することができる。
（態様Ｆ）
上記態様Ａ乃至Ｅのいずれかにおいて、画像表示装置の設置方向を検出する設置角度検出部１１３などの設置方向検出手段と、画像表示装置の設置方向の検出結果に基づいて、前記表示手段がほぼ水平の表示面に画像を表示しているか否かを判定するシステム制御部１０４などの判定手段と、を備え、画像表示装置がほぼ水平の表示面に画像を表示していると判定した場合にのみ、前記表示画像の撮影結果に基づく前記操作用画像の向きの補正制御を実行する。
これによれば、上記実施形態について説明したように、通常のスクリーンなどのほぼ鉛直方向に延在する表示面などの水平表示面以外の他の表示面に画像を表示しているときに、操作用画像を含む画像の向きの無駄な補正制御を回避することができる。
（態様Ｇ）
上記態様Ａ乃至Ｅのいずれかにおいて、前記画像表示装置は、表示面に画像を投写して表示するプロジェクタ１００などの画像投写装置である。
これによれば、上記実施形態について説明したように、机上などの水平表示面に投写した操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作することができるようになる。
（態様Ｈ）
表示面に画像を表示する画像表示装置を操作者が操作するためのリモコン１２０などの操作装置であって、プロジェクタ１００などの画像表示装置で表示面に表示されている表示画像を操作者側から撮影するカメラモジュール１２３などの撮像手段と、前記撮像手段によって前記操作者側から撮影された前記表示画像の撮影結果に基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正する補正情報を決定する画像向き判定部１２５などの補正情報決定手段と、前記補正情報を画像表示装置に送信する信号送信部１２２などの送信手段と、を備える。
これによれば、上記実施形態について説明したように、机上などのほぼ水平の表示面に表示された操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作することができるようになる。また、操作装置とは別に撮像手段を設けることなく、画像表示装置を操作する操作装置を使って、画像表示装置で表示面に表示されている表示画像を操作者側から撮影することができる。
（態様Ｉ）
プロジェクタ１００などの画像表示装置であって、表示面に画像を表示するＤＭＤ１１４及びＤＭＤ制御部１０９などの表示手段と、画像表示装置を操作者が操作するためのリモコン１２０などの操作装置において操作者側から撮影された表示面の表示画像の撮影結果に基づいて決定された補正情報であって画像表示装置によって表示面に表示する操作用画像の向きを補正する補正情報を操作装置から受信するリモコン受信部１０６などの受信手段と、前記補正情報に基づいて、前記表示手段によって表示面に表示する操作用画像の向きを補正制御するシステム制御部１０４などの制御手段と、を備える。
これによれば、上記実施形態について説明したように、机上などのほぼ水平の表示面に表示された操作用画像を見ながら操作装置を用いて操作者が画像表示装置を操作する場合に円滑に操作することができるようになる。また、操作用画像の向きの補正制御に、操作装置から受信した補正情報を用いることができるため、画像表示装置での操作用画像の向きの補正制御が簡易になる。
（態様Ｊ）
上記態様Ｉにおいて、前記表示手段は、表示面に画像を投写して表示するＤＭＤ１１４及びＤＭＤ制御部１０９などの画像投写手段である。
これによれば、上記実施形態について説明したように、机上などの水平表示面に投写した操作用画像を見ながら操作者が操作装置を用いて画像表示装置を操作する場合に円滑に操作することができるようになる。

１０ 表示システム
１００ プロジェクタ（画像投写装置）
１０４ システム制御部
１１３ 設置角度検出部
１２０ リモコン
１２１ キー入力部
１２２ 信号送信部
１２３ カメラモジュール
１２４ カメラ映像信号入力処理部
１２５ 画像向き判定部
１２６ 制御部
１２７ 角度センサ
８００，８０１，８０２，８０３ 投写画像
８０１ａ，８０２ａ 画像向き判定用パターン
８０３ａ，８０４ａ，８０５ａ，８０６ａ 操作メニュー（操作用画像）
８１０ 投写画面（表示画面）
９００ スクリーン
９１０ 机

特開２０１４−０４１３６０号公報

Claims (10)

1. 表示面に画像を表示する画像表示装置と、前記画像表示装置を操作者が操作するための操作装置とを備える表示システムであって、
   前記画像表示装置で表示面に表示されている表示画像を前記操作者側から撮影する撮像手段と、
   前記撮像手段によって前記操作者側から撮影された前記表示画像の撮影結果に基づいて、前記画像表示装置によって前記表示面に表示される操作用画像の向きを補正制御する制御手段と、を備えることを特徴とする表示システム。
2. 請求項１の表示システムにおいて、
   前記操作装置は、
   前記撮像手段と、
   前記撮像手段によって前記操作者側から撮影された前記表示画像の撮影結果に基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正する補正情報を決定する補正情報決定手段と、
   前記補正情報を前記画像表示装置に送信する送信手段と、を備え、
   前記画像表示装置は、
   前記表示面に画像を表示する表示手段と、
   前記操作装置から前記補正情報を受信する受信手段と、
   前記補正情報に基づいて、前記表示手段によって前記表示面に表示する操作用画像の向きを補正制御する制御手段と、を備えることを特徴とする表示システム。
3. 請求項１又は２の表示システムにおいて、
   前記画像表示装置は、前記表示手段で表示面に表示する表示画像に画像向き判定用パターンを埋め込む手段を備え、
   前記画像向き判定用パターンを含む表示画像の撮影結果に基づいて、前記表示面における表示画像の向きを判定し、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正制御することを特徴とする表示システム。
4. 請求項１乃至３のいずれかの表示システムにおいて、
   前記撮像手段の撮影方向と鉛直方向とを基準にした当該撮像手段の傾きを検出する傾き検出手段を備え、
   前記撮像手段の傾きの検出結果と前記表示画像の撮影結果とに基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正制御することを特徴とする表示システム。
5. 請求項１乃至４のいずれかの表示システムにおいて、
   前記操作用画像を含む表示対象の画像を回転させて前記表示面に表示する場合、回転後の表示対象の画像を縮小せずにかつ前記操作用画像が前記表示面上の表示画面内に収まるように補正制御することを特徴とする表示システム。
6. 請求項１乃至５のいずれかの表示システムにおいて、
   前記画像表示装置の設置方向を検出する手段と、
   前記画像表示装置の設置方向の検出結果に基づいて、該画像表示装置がほぼ水平の表示面に画像を表示しているか否かを判定する判定手段と、を備え、
   前記画像表示装置がほぼ水平の表示面に画像を表示していると判定した場合にのみ、前記表示画像の撮影結果に基づく前記操作用画像の向きの補正制御補正制御を実行することを特徴とする表示システム。
7. 請求項１乃至６のいずれかの表示システムにおいて、
   前記画像表示装置、前記表示面に画像を投写して表示する画像投写装置であることを特徴とする表示システム。
8. 表示面に画像を表示する画像表示装置を操作者が操作するための操作装置であって、
   前記画像表示装置で前記表示面に表示されている表示画像を前記操作者側から撮影する撮像手段と、
   前記撮像手段によって前記操作者側から撮影された前記表示画像の撮影結果に基づいて、前記画像表示装置によって前記表示面に表示する操作用画像の向きを補正する補正情報を決定する補正情報決定手段と、
   前記補正情報を前記画像表示装置に送信する送信手段と、を備えることを特徴とする操作装置。
9. 画像表示装置であって、
   表示面に画像を表示する表示手段と、
   当該画像表示装置を操作者が操作するための操作装置において操作者側から撮影された前記表示面の表示画像の撮影結果に基づいて決定された補正情報であって当該画像表示装置によって前記表示面に表示する操作用画像の向きを補正する補正情報を前記操作装置から受信する受信手段と、
   前記補正情報に基づいて、前記表示手段によって前記表示面に表示する操作用画像の向きを補正制御する制御手段と、を備える画像表示装置。
10. 請求項９の画像表示装置において、
    前記表示手段は、前記表示面に画像を投写して表示する画像投写手段であることを特徴とする画像表示装置。