JP2023114603A - 表示方法、表示システム、およびプログラム - Google Patents

Abstract

【課題】ユーザーの利便性の低下を抑制する。【解決手段】表示方法は、プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、第１情報と、投射可能範囲に表示する画像の大きさを示す第２情報と、に基づいて、投射可能範囲において少なくとも１つの物体と画像とが重なる面積が閾値以下である第２領域に、プロジェクターを用いて前記画像を表示することと、を含む。【選択図】図７

Description

本発明は、表示方法、表示システム、およびプログラムに関する。

特許文献１には、プロジェクターの投影可能範囲を撮影して得られる撮影画像内で投影面の候補となり得る領域を投影面候補として特定し、投影面候補内で所定の条件を満たす矩形領域を投影領域候補として決定する技術が開示されている。この技術では、決定された投影領域候補と同じサイズを有する画像が、投影可能範囲内の投影領域候補に対応する領域に投影される。

特開２０１５－１４４３４４号公報

特許文献１の技術では、投影面の候補になり得ない物体が投影可能範囲内に存在する場合、撮影画像内で投影面候補として特定される領域の面積が小さくなるため、投影領域候補として決定される矩形領域のサイズも小さくなる。その結果、実際にプロジェクターによって投影可能範囲に投影される画像のサイズも小さくなるため、ユーザーの利便性が損なわれる虞がある。

本発明の一つの態様の表示方法は、プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、を含む。

本発明の一つの態様の表示システムは、画像を投射する光学装置と、前記光学装置を制御する処理装置と、を含み、前記処理装置は、前記光学装置が前記画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される前記画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記光学装置を用いて前記画像を表示することと、を実行する。

本発明の一つの態様のプログラムは、プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、をコンピューターに実行させる。

本実施形態における表示システムの概略構成を模式的に示す図である。 本実施形態におけるプロジェクターの概略構成を示すブロック図である。 処理装置が実行する各処理を示すフローチャートである。 処理装置が実行する各処理を示すフローチャートである。 カメラ画像と基準画像との差分画像の一例を示す図である。 第１投射範囲において物体と画像とが重なる面積が算出される様子を示す図である。 第２投射範囲において物体と画像とが重なる面積が算出される様子を示す図である。 第３投射範囲において物体と画像とが重なる面積が算出される様子を示す図である。 第４投射範囲において物体と画像とが重なる面積が算出される様子を示す図である。 第５投射範囲において物体と画像とが重なる面積が算出される様子を示す図である。

以下、本開示の一実施形態について図面を参照しながら説明する。
なお、以下の各図面においては各構成要素を見やすくするため、構成要素によって寸法の縮尺を異ならせて示すことがある。

図１は、本実施形態における表示システム１の概略構成を模式的に示す図である。図１に示すように、表示システム１は、プロジェクター２と、カメラ３と、を備える。プロジェクター２は、画像光Ｌを投射面１００に投射することにより、ユーザーＡが視認可能な画像１２０を投射面１００に表示する。投射面１００は、例えば机又はテーブル等の平らな天板の上面である。一例として、投射面１００は、２つの長辺と２つの短辺とを有する矩形状の面である。プロジェクター２は、投射面１００の中央の直上に配置されており、その配置位置から投射面１００に向けて画像光Ｌを投射する。

プロジェクター２が画像光Ｌを投射面１００に投射することは、プロジェクター２が画像１２０を投射面１００に投射することと同義である。従って、以下の説明において、プロジェクター２が画像光Ｌを投射面１００に投射することを、プロジェクター２が画像１２０を投射面１００に投射することと言い換える場合がある。

画像１２０は、投射面１００の面内領域のうち、プロジェクター２が画像１２０を投射することが可能な投射可能範囲１１０の内側に表示される。投射可能範囲１１０は、画像１２０よりも大きく、且つ投射面１００よりも小さい矩形領域である。一例として、投射可能範囲１１０の４辺が投射面１００の４辺から数ｃｍほど内側に位置するように、投射可能範囲１１０の大きさは設定されている。

カメラ３は、例えばＣＣＤ（Charge Coupled Device）カメラ等のデジタルカメラであり、投射面１００における投射可能範囲１１０を撮像する。一例として、カメラ３は、プロジェクター２の筐体の表面に取り付けられている。カメラ３は、プロジェクター２の筐体内に設けられていてもよい。カメラ３は、撮像した投射可能範囲１１０の画像を示す画像データを、不図示の信号ケーブルを介してプロジェクター２に出力する。なお、１つのカメラ３の画角内に投射可能範囲１１０の全体を収められない場合には、複数のカメラ３を用いて投射可能範囲１１０を撮像してもよい。

図２は、本実施形態におけるプロジェクター２の概略構成を示すブロック図である。図２に示すように、プロジェクター２は、光学装置１０と、映像入力インターフェース２０と、操作部３０と、受光部４０と、スピーカー５０と、メモリー６０と、処理装置７０と、を備える。操作部３０及び受光部４０は、プロジェクター２の入力装置である。すなわち、プロジェクター２は、操作部３０及び受光部４０を含む入力装置を備える。

光学装置１０は、処理装置７０によって制御されることにより、カラー画像を表す画像光Ｌを生成して投射面１００に投射する。すなわち、光学装置１０は、画像１２０を投射面１００に投射する。光学装置１０は、第１の画像生成パネル１１と、第２の画像生成パネル１２と、第３の画像生成パネル１３と、ダイクロイックプリズム１４と、投射光学系１５と、を有する。

第１の画像生成パネル１１は、赤色の画像を表す赤色画像光ＬＲを生成してダイクロイックプリズム１４に出射する。第１の画像生成パネル１１は、マトリクス状に配置された複数の画素を有し、複数の画素のそれぞれは赤色光を出射する。処理装置７０によって画素ごとに赤色光の出射光量が制御されることにより、第１の画像生成パネル１１から赤色画像光ＬＲが出射される。

第２の画像生成パネル１２は、緑色の画像を表す緑色画像光ＬＧを生成してダイクロイックプリズム１４に出射する。第２の画像生成パネル１２は、マトリクス状に配置された複数の画素を有し、複数の画素のそれぞれは緑色光を出射する。処理装置７０によって画素ごとに緑色光の出射光量が制御されることにより、第２の画像生成パネル１２から緑色画像光ＬＧが出射される。

第３の画像生成パネル１３は、青色の画像を表す青色画像光ＬＢを生成してダイクロイックプリズム１４に出射する。第３の画像生成パネル１３は、マトリクス状に配置された複数の画素を有し、複数の画素のそれぞれは青色光を出射する。処理装置７０によって画素ごとに青色光の出射光量が制御されることにより、第３の画像生成パネル１３から青色画像光ＬＢが出射される。

例えば、各画像生成パネル１１、１２及び１３は、ＯＬＥＤ（Organic Light Emitting Diode）パネル、又はμＬＥＤ（Micro Light Emitting Diode）パネルなどの自発光型電気光学装置である。なお、各画像生成パネル１１、１２及び１３は、液晶パネル、又はＤＭＤ（Digital Micromirror Device）などの非自発光型電気光学装置であってもよい。各画像生成パネル１１、１２及び１３が非自発光型電気光学装置である場合には、ＬＥＤ等の不図示の光源からの光が、赤色光、緑色光、及び青色光にそれぞれ分離される。赤色光は、第１の画像生成パネル１１に入射する。緑色光は、第２の画像生成パネル１２に入射する。青色光は、第３の画像生成パネル１３に入射する。また、単板の画像生成パネルを用いて、時分割で各色の光を出射させてもよい。

ダイクロイックプリズム１４は、赤色画像光ＬＲと、緑色画像光ＬＧと、青色画像光ＬＢとを合成することにより、カラー画像を表す画像光Ｌを生成して投射光学系１５に出射する。投射光学系１５は、レンズなどの複数の光学素子から構成されており、ダイクロイックプリズム１４から出射される画像光Ｌを投射面１００に拡大投射する。

各画像生成パネル１１、１２及び１３のそれぞれにおいて発光する画素の位置及び数を制御することにより、投射可能範囲１１０内に表示される画像１２０の大きさ及び位置を制御することができる。一例として、図１に示すように、投射面１００の２つの長辺のうち一方の長辺側に着席したユーザーＡの手元に、Ｂ４サイズ程度の大きさを有する画像１２０を表示させることができる。例えば、各画像生成パネル１１、１２及び１３の全画素を発光させた場合、投射可能範囲１１０の全体にわたって画像１２０が表示される。すなわち、各画像生成パネル１１、１２及び１３の全画素を発光させた場合、投射可能範囲１１０と同じ大きさの画像１２０が投射面１００に表示される。

映像入力インターフェース２０は、例えば、ＨＤＭＩ(High-Definition Multimedia Interface：登録商標)、ＤＶＩ(Digital Visual Interface)、およびＵＳＢ(Universal Serial Bus)などの複数の通信規格をサポートするインターフェースである。具体的には、プロジェクター２にはＨＤＭＩ端子、ＤＶＩ端子及びＵＳＢ端子などの入力端子が設けられており、映像入力インターフェース２０は、これらの入力端子を介して入力される映像信号を、処理装置７０が処理可能な信号に変換して処理装置７０に出力する。なお、映像信号には、画像信号、音声信号、及び制御信号などが含まれる。

操作部３０は、プロジェクター２に設けられた複数の操作キーから構成される。例えば、操作キーは、電源キー、メニュー呼び出しキー、方向キー、決定キー、および音量調整キーなどを含む。操作キーは、ハードウェアキーでもよいし、或いはタッチパネルに表示されるソフトウェアキーでもよい。操作部３０は、各操作キーがユーザーＡによって操作されることで生じる電気信号を操作信号として処理装置７０に出力する。

受光部４０は、プロジェクター２のリモートコントローラー（図示省略）から送信される赤外光を受光して電気信号に変換する光電変換回路を含む。受光部４０は、赤外光の光電変換によって得られた電気信号をリモート操作信号として処理装置７０に出力する。リモートコントローラーには、操作部３０と同様に複数の操作キーが設けられている。リモートコントローラーは、リモートコントローラーに設けられた各操作キーがユーザーＡによって操作されることで生じる電気信号を赤外光に変換してプロジェクター２に送信する。つまり、受光部４０から出力されるリモート操作信号は、リモートコントローラーの各操作キーがユーザーＡによって操作されることで生じる電気信号と実質的に同じである。なお、リモートコントローラーが、Bluetooth(登録商標)などの近距離無線通信規格に従って電波信号を送信する場合には、受光器４０の代わりに、電波信号を受信する受信装置を設けてもよい。

スピーカー５０は、処理装置７０によって制御されることにより、所定の音量を有する音声を出力する。メモリー６０は、処理装置７０に各種処理を実行させるのに必要なプログラム及び各種設定データなどを記憶する不揮発性メモリーと、処理装置７０が各種処理を実行する際にデータの一時保存先として使用される揮発性メモリーとを含む。例えば、不揮発性メモリーは、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリーなどである。揮発性メモリーは、例えばＲＡＭ(Random Access Memory)などである。

処理装置７０は、メモリー６０に予め記憶されたプログラムに従ってプロジェクター２の全体動作を制御するプロセッサー等の演算処理装置である。処理装置７０は、操作部３０から入力される操作信号と、受光部４０から入力されるリモート操作信号とに基づいて、光学装置１０及びスピーカー５０を制御する。処理装置７０は、映像入力インターフェース２０から入力される映像信号に基づく画像１２０が表示されるように光学装置１０を制御し、映像信号に基づく音声が出力されるようにスピーカー５０を制御する。プロジェクター２は、必要に応じて複数のプロセッサーを処理装置７０として備えていてもよい。

図２では図示を省略しているが、処理装置７０には、カメラ３から出力される画像データが入力される。処理装置７０は、カメラ３から入力される画像データに基づいて、以下で説明する各処理を実行することにより、投射可能範囲１１０において画像１２０が投射される領域である投射領域を決定し、決定した投射領域に画像１２０を投射する。

上記のように、プロジェクター２は、画像１２０を投射する光学装置１０と、光学装置１０を制御する処理装置７０と、を備える。従って、本実施形態における表示システム１は、少なくとも、光学装置１０と、処理装置７０と、を備える。

図３及び図４は、処理装置７０が実行する各処理を示すフローチャートである。処理装置７０は、メモリー６０からプログラムを読み出して実行することにより、図３及び図４のフローチャートで示される各処理を実行する。処理装置７０は、プログラムに従って各処理を実行するコンピューターの一形態であると言える。処理装置７０が図３及び図４のフローチャートで示される各処理を実行することにより、本実施形態の表示方法が実現される。

図３に示すように、処理装置７０は、カメラ３から入力される画像データに基づいて、カメラ画像を取得する（ステップＳ１）。カメラ画像とは、少なくとも１つの物体が配置された投射可能範囲１１０をカメラ３によって撮像することによって得られた画像である。処理装置７０は、カメラ３から入力される画像データを、カメラ画像の画像データとしてメモリー６０に保存する。

次に、処理装置７０は、メモリー６０からカメラ画像と基準画像とを読み出し、カメラ画像と基準画像との差分画像２００を生成する（ステップＳ２）。「処理装置７０が、メモリー６０からカメラ画像と基準画像とを読み出す」とは、処理装置７０が、カメラ画像の画像データと、基準画像の画像データとをメモリー６０から読み出すことを意味する。

基準画像の画像データは、予めメモリー６０に記憶されている画像データである。基準画像とは、物体が配置されていない投射可能範囲１１０をカメラ３によって撮像することによって得られた画像である。

処理装置７０は、カメラ画像と基準画像との差分画像２００を生成する前に、必要に応じてカメラ画像及び基準画像に対して所定の画像処理を行ってもよい。例えば、カメラ画像及び基準画像に台形歪みが生じている場合には、処理装置７０は、台形補正を行うことにより、カメラ画像及び基準画像を矩形状の画像に変換する。また、例えば、処理装置７０は、カメラ画像及び基準画像に対してブラー処理を行ってもよく、表示システム１の使用環境に合わせて色情報の変換などを行ってもよい。

図５は、カメラ画像と基準画像との差分画像２００の一例を示す図である。図５に示す差分画像２００は、４つの物体が配置された投射可能範囲１１０を撮像することによって得られたカメラ画像を用いて生成された差分画像である。この場合、差分画像２００には、投射可能範囲１１０に配置された４つの物体が占める画像領域である第１領域３００が含まれる。以下の説明では、第１領域３００を物体領域と呼称する場合がある。処理装置７０は、生成した差分画像２００の画像データをメモリー６０に保存する。

図３に戻って説明を続けると、処理装置７０は、上記のように差分画像２００を生成した後、差分画像２００の画像データに基づいて、差分画像２００に含まれる物体領域３００を示す第１情報を取得する（ステップＳ３）。一例として、物体領域３００を示す第１情報とは、物体領域３００に含まれる全画素のアドレスである。以下の説明では、物体領域３００を示す第１情報を物体領域情報と呼称する場合がある。処理装置７０は、取得した物体領域情報をメモリー６０に保存する。

次に、処理装置７０は、メモリー６０から物体領域情報及び画像サイズ情報を読み出し、物体領域情報及び画像サイズ情報に基づいて、第１投射範囲４１０において物体と画像１２０とが重なる面積Ｗ１を算出する（ステップＳ４）。画像サイズ情報とは、投射可能範囲１１０に表示される画像１２０の大きさを示す第２情報である。画像サイズ情報は、予めメモリー６０に記憶されている情報である。第１投射範囲４１０は、画像１２０の大きさに対応する大きさを有する矩形状の領域である。

図６は、第１投射範囲４１０において物体と画像１２０とが重なる面積Ｗ１が算出される様子を示す図である。図６に示すように、一例として、第１投射範囲４１０は、差分画像２００の中央の領域に配置される。差分画像２００の中央の領域は、ユーザーＡから視て、投射可能範囲１１０の中央の領域に対応する領域である。処理装置７０は、物体領域情報及び画像サイズ情報に基づいて、物体領域３００に含まれる画素のうち、第１投射範囲４１０の内側に含まれる画素を特定し、特定した画素の総数を面積Ｗ１として算出する。以下では、「物体と画像１２０とが重なる面積」を重なり面積と呼称する場合がある。処理装置７０は、算出した重なり面積Ｗ１をメモリー６０に記憶させる。

図３に戻って説明を続けると、処理装置７０は、上記のように第１投射範囲４１０における重なり面積Ｗ１を算出した後、重なり面積Ｗ１が閾値Ｗｔｈ以下であるか否かを判定する（ステップＳ５）。閾値Ｗｔｈは、画像１２０が投射可能範囲１１０に配置された物体に重なって表示された場合に、ユーザーＡに許容される重なり面積の下限値である。閾値Ｗｔｈは、予め実験或いはシミュレーション等によって決定された値である。

処理装置７０は、重なり面積Ｗ１が閾値Ｗｔｈ以下であると判定した場合（ステップＳ５：Ｙｅｓ）、第１投射範囲４１０を候補領域として決定する（ステップＳ６）。候補領域とは、投射可能範囲１１０において画像１２０が投射される投射領域の候補となる領域である。例えば、処理装置７０は、重なり面積Ｗ１が閾値Ｗｔｈ以下であると判定した場合、第１投射範囲４１０に紐づけられた第１候補領域フラグを「１」にセットする。第１候補領域フラグは、第１投射範囲４１０が候補領域であるか否かを示すフラグである。

一方、処理装置７０は、重なり面積Ｗ１が閾値Ｗｔｈより大きいと判定した場合（ステップＳ５：Ｎｏ）、ステップＳ６をスキップしてステップＳ７に移行する。処理装置７０は、ステップＳ７に移行すると、物体領域情報及び画像サイズ情報に基づいて、第２投射範囲４２０において物体と画像１２０とが重なる面積Ｗ２を算出する（ステップＳ７）。第１投射範囲４１０と同様に、第２投射範囲４２０は、画像１２０の大きさに対応する大きさを有する矩形状の領域である。

図７は、第２投射範囲４２０において物体と画像１２０とが重なる面積Ｗ２が算出される様子を示す図である。図７に示すように、一例として、第２投射範囲４２０は、差分画像２００の左上の領域に配置される。差分画像２００の左上の領域は、ユーザーＡから視て、投射可能範囲１１０の左上の領域に対応する領域である。処理装置７０は、物体領域情報及び画像サイズ情報に基づいて、物体領域３００に含まれる画素のうち、第２投射範囲４２０の内側に含まれる画素を特定し、特定した画素の総数を重なり面積Ｗ２として算出する。処理装置７０は、算出した重なり面積Ｗ２をメモリー６０に記憶させる。

図３に戻って説明を続けると、処理装置７０は、上記のように第２投射範囲４２０における重なり面積Ｗ２を算出した後、重なり面積Ｗ２が閾値Ｗｔｈ以下であるか否かを判定する（ステップＳ８）。処理装置７０は、重なり面積Ｗ２が閾値Ｗｔｈ以下であると判定した場合（ステップＳ８：Ｙｅｓ）、第２投射範囲４２０を候補領域として決定する（ステップＳ９）。例えば、処理装置７０は、重なり面積Ｗ２が閾値Ｗｔｈ以下であると判定した場合、第２投射範囲４２０に紐づけられた第２候補領域フラグを「１」にセットする。第２候補領域フラグは、第２投射範囲４２０が候補領域であるか否かを示すフラグである。

一方、処理装置７０は、重なり面積Ｗ２が閾値Ｗｔｈより大きいと判定した場合（ステップＳ８：Ｎｏ）、ステップＳ９をスキップしてステップＳ１０に移行する。処理装置７０は、ステップＳ１０に移行すると、物体領域情報及び画像サイズ情報に基づいて、第３投射範囲４３０において物体と画像１２０とが重なる面積Ｗ３を算出する（ステップＳ１０）。第１投射範囲４１０と同様に、第３投射範囲４３０は、画像１２０の大きさに対応する大きさを有する矩形状の領域である。

図８は、第３投射範囲４３０において物体と画像１２０とが重なる面積Ｗ３が算出される様子を示す図である。図８に示すように、一例として、第３投射範囲４３０は、差分画像２００の左下の領域に配置される。差分画像２００の左下の領域は、ユーザーＡから視て、投射可能範囲１１０の左下の領域に対応する領域である。処理装置７０は、物体領域情報及び画像サイズ情報に基づいて、物体領域３００に含まれる画素のうち、第３投射範囲４３０の内側に含まれる画素を特定し、特定した画素の総数を重なり面積Ｗ３として算出する。処理装置７０は、算出した重なり面積Ｗ３をメモリー６０に記憶させる。

図３に戻って説明を続けると、処理装置７０は、上記のように第３投射範囲４３０における重なり面積Ｗ３を算出した後、重なり面積Ｗ３が閾値Ｗｔｈ以下であるか否かを判定する（ステップＳ１１）。処理装置７０は、重なり面積Ｗ３が閾値Ｗｔｈ以下であると判定した場合（ステップＳ１１：Ｙｅｓ）、第３投射範囲４３０を候補領域として決定する（ステップＳ１２）。例えば、処理装置７０は、重なり面積Ｗ３が閾値Ｗｔｈ以下であると判定した場合、第３投射範囲４３０に紐づけられた第３候補領域フラグを「１」にセットする。第３候補領域フラグは、第３投射範囲４３０が候補領域であるか否かを示すフラグである。

一方、処理装置７０は、重なり面積Ｗ３が閾値Ｗｔｈより大きいと判定した場合（ステップＳ１１：Ｎｏ）、ステップＳ１２をスキップしてステップＳ１３に移行する。処理装置７０は、ステップＳ１３に移行すると、物体領域情報及び画像サイズ情報に基づいて、第４投射範囲４４０において物体と画像１２０とが重なる面積Ｗ４を算出する（ステップＳ１３）。第１投射範囲４１０と同様に、第４投射範囲４４０は、画像１２０の大きさに対応する大きさを有する矩形状の領域である。

図９は、第４投射範囲４４０において物体と画像１２０とが重なる面積Ｗ４が算出される様子を示す図である。図９に示すように、一例として、第４投射範囲４４０は、差分画像２００の右上の領域に配置される。差分画像２００の右上の領域は、ユーザーＡから視て、投射可能範囲１１０の右上の領域に対応する領域である。処理装置７０は、物体領域情報及び画像サイズ情報に基づいて、物体領域３００に含まれる画素のうち、第４投射範囲４４０の内側に含まれる画素を特定し、特定した画素の総数を重なり面積Ｗ４として算出する。処理装置７０は、算出した重なり面積Ｗ４をメモリー６０に記憶させる。

図３に戻って説明を続けると、処理装置７０は、上記のように第４投射範囲４４０における重なり面積Ｗ４を算出した後、重なり面積Ｗ４が閾値Ｗｔｈ以下であるか否かを判定する（ステップＳ１４）。処理装置７０は、重なり面積Ｗ４が閾値Ｗｔｈ以下であると判定した場合（ステップＳ１４：Ｙｅｓ）、第４投射範囲４４０を候補領域として決定する（ステップＳ１５）。例えば、処理装置７０は、重なり面積Ｗ４が閾値Ｗｔｈ以下であると判定した場合、第４投射範囲４４０に紐づけられた第４候補領域フラグを「１」にセットする。第４候補領域フラグは、第４投射範囲４４０が候補領域であるか否かを示すフラグである。

一方、処理装置７０は、重なり面積Ｗ４が閾値Ｗｔｈより大きいと判定した場合（ステップＳ１４：Ｎｏ）、ステップＳ１５をスキップしてステップＳ１６に移行する。処理装置７０は、ステップＳ１６に移行すると、物体領域情報及び画像サイズ情報に基づいて、第５投射範囲４５０において物体と画像１２０とが重なる面積Ｗ５を算出する（ステップＳ１６）。第１投射範囲４１０と同様に、第５投射範囲４５０は、画像１２０の大きさに対応する大きさを有する矩形状の領域である。

図１０は、第５投射範囲４５０において物体と画像１２０とが重なる面積Ｗ５が算出される様子を示す図である。図１０に示すように、一例として、第５投射範囲４５０は、差分画像２００の右下の領域に配置される。差分画像２００の右下の領域は、ユーザーＡから視て、投射可能範囲１１０の右下の領域に対応する領域である。処理装置７０は、物体領域情報及び画像サイズ情報に基づいて、物体領域３００に含まれる画素のうち、第５投射範囲４５０の内側に含まれる画素を特定し、特定した画素の総数を重なり面積Ｗ５として算出する。処理装置７０は、算出した重なり面積Ｗ５をメモリー６０に記憶させる。

図３に戻って説明を続けると、処理装置７０は、上記のように第５投射範囲４５０における重なり面積Ｗ５を算出した後、重なり面積Ｗ５が閾値Ｗｔｈ以下であるか否かを判定する（ステップＳ１７）。処理装置７０は、重なり面積Ｗ５が閾値Ｗｔｈ以下であると判定した場合（ステップＳ１７：Ｙｅｓ）、第５投射範囲４５０を候補領域として決定する（ステップＳ１８）。例えば、処理装置７０は、重なり面積Ｗ５が閾値Ｗｔｈ以下であると判定した場合、第５投射範囲４５０に紐づけられた第５候補領域フラグを「１」にセットする。第５候補領域フラグは、第５投射範囲４５０が候補領域であるか否かを示すフラグである。

処理装置７０は、上記ステップＳ１８を実行した後、図４におけるフローチャートのステップＳ１９に移行する。一方、処理装置７０は、重なり面積Ｗ５が閾値Ｗｔｈより大きいと判定した場合（ステップＳ１７：Ｎｏ）、ステップＳ１８をスキップして、図４におけるフローチャートのステップＳ１９に移行する。

図４に示すように、処理装置７０は、ステップＳ１９に移行すると、第１候補領域フラグから第５候補領域フラグの値に基づいて、候補領域が存在するか否かを判定する（ステップＳ１９）。処理装置７０は、第１候補領域フラグから第５候補領域フラグの少なくとも１つの値が「１」である場合に、候補領域が存在すると判定する。処理装置７０は、第１候補領域フラグから第５候補領域フラグの全ての値が「０」である場合に、候補領域が存在しないと判定する。

処理装置７０は、候補領域が存在すると判定した場合（ステップＳ１９：Ｙｅｓ）、第１候補領域フラグから第５候補領域フラグのうち、「１」にセットされたフラグの数をカウントすることにより、候補領域の数が１つであるか否かを判定する（ステップＳ２０）。

処理装置７０は、候補領域の数が１つであると判定した場合（ステップＳ２０：Ｙｅｓ）、その１つの候補領域を投射領域として決定する（ステップＳ２１）。例えば、第１候補領域フラグから第５候補領域フラグのうち、第２候補領域フラグが「１」にセットされ、残りのフラグが「０」にセットされている場合、処理装置７０は、第２投射範囲４２０を投射領域として決定する。

処理装置７０は、候補領域の数が１つではないと判定した場合、すなわち複数の候補領域が存在すると判定した場合（ステップＳ２０：Ｎｏ）、複数の候補領域のうち、最も重なり面積が小さい候補領域を投射領域として決定する（ステップＳ２２）。例えば、第１候補領域フラグから第５候補領域フラグのうち、第２候補領域フラグ及び第５候補領域フラグが「１」にセットされ、残りのフラグが「０」にセットされている場合、処理装置７０は、メモリー６０を参照し、記憶されている第２投射範囲４２０と第５投射範囲４５０とのうち、最も重なり面積が小さい投射範囲を投射領域として決定する。このように、投射領域は、投射可能範囲１１０において重なり面積が閾値Ｗｔｈ以下である複数の候補領域のうちの１つであり、且つ、複数の候補領域のうち、重なり面積が最も小さい候補領域である。

処理装置７０は、ステップＳ２１又はステップＳ２２によって投射領域を決定した後、投射領域の大きさを調整する（ステップＳ２３）。例えば、処理装置７０は、投射領域における重なり面積がゼロより大きい場合、投射領域における重なり面積が閾値Ｗｔｈ以下に保たれる範囲で、投射領域の大きさを拡大する。例えば、処理装置７０は、投射領域における重なり面積がゼロである場合、投射領域における重なり面積がゼロに保たれる範囲で、投射領域の大きさを拡大する。

処理装置７０は、上記のように投射領域の大きさを調整した後、光学装置１０を制御することにより、投射可能範囲１１０内の領域のうち投射領域に対応する領域に、投射領域の大きさに対応する大きさを有する画像１２０を表示する（ステップＳ２４）。

一方、処理装置７０は、候補領域が存在しないと判定した場合（ステップＳ１９：Ｎｏ）、第１投射範囲４１０から第５投射範囲４５０のうち、最も重なり面積が小さい投射範囲に、その投射範囲に対応する大きさを有する画像１２０を表示する（ステップＳ２５）。例えば、第１投射範囲４１０から第５投射範囲４５０のうち、第２投射範囲４２０が最も重なり面積が小さい投射範囲である場合、処理装置７０は、光学装置１０を制御することにより、第２投射範囲４２０に画像１２０を表示する。

（本実施形態の効果）
以上のように、本実施形態の表示方法は、プロジェクター２が画像１２０を投射することが可能な投射可能範囲１１０に配置された少なくとも１つの物体が占める物体領域３００（第１領域）を示す物体領域情報（第１情報）を取得すること（ステップＳ３）と、物体領域情報と、投射可能範囲１１０に表示される画像１２０の大きさを示す画像サイズ情報（第２情報）と、に基づいて、投射可能範囲１１０において少なくとも１つの物体と画像１２０とが重なる面積が閾値Ｗｔｈ以下である投射領域（第２領域）に、プロジェクター２を用いて画像１２０を表示すること（ステップＳ４～Ｓ２４）と、を含む。
本実施形態の表示方法によれば、投射可能範囲１１０において少なくとも１つの物体と画像１２０とが重なる面積（重なり面積）が閾値Ｗｔｈ以下である投射領域に画像１２０が表示される。これにより、たとえ画像１２０が投射可能範囲１１０に配置された物体に重なって表示されたとしても、重なり面積をユーザーＡに許容される限度内に収めながら画像１２０を表示することができるので、物体を避けるように画像１２０のサイズを小さくする必要がない。従って、本実施形態の表示方法によれば、画像サイズの変更に起因してユーザーＡの利便性が低下することを抑制できる。

本実施形態の表示方法において、投射領域は、投射可能範囲１１０において重なり面積が閾値Ｗｔｈ以下である複数の候補領域のうちの１つである。
これにより、重なり面積が閾値Ｗｔｈ以下である複数の候補領域のうちの１つに画像１２０が表示されるため、投射可能範囲１１０において画像サイズを小さくすることなく画像１２０を表示できる領域の選択肢が増える。

本実施形態の表示方法において、投射領域は、複数の候補領域のうち、重なり面積が最も小さい候補領域である。
これにより、複数の候補領域のうち、重なり面積が最も小さい候補領域に画像１２０が表示されるため、物体との重なりに起因する歪みが最も少ない画像１２０をユーザーＡに提供することができる。

本実施形態の表示方法において、画像１２０を表示することは、物体領域情報及び画像サイズ情報に基づいて、画像１２０の大きさに対応する大きさを有する複数の投射範囲（第１投射範囲４１０から第５投射範囲４５０）のそれぞれにおける重なり面積を算出すること（ステップＳ４、Ｓ７、Ｓ１０、Ｓ１３、及びＳ１６）と、複数の投射範囲のうち、重なり面積が閾値Ｗｔｈ以下である投射範囲を、投射領域の候補である候補領域として決定すること（ステップＳ５、Ｓ６、Ｓ８、Ｓ９、Ｓ１１、Ｓ１２、Ｓ１４、Ｓ１５、Ｓ１７、及びＳ１８）と、を含む。
これにより、投射可能範囲１１０に含まれる領域から、重なり面積が閾値Ｗｔｈ以下である候補領域を簡単な処理で効率良く探索することができる。

本実施形態の表示方法は、投射可能範囲１１０に重なり面積が閾値Ｗｔｈ以下である投射範囲が存在しない場合、複数の投射範囲のうち、重なり面積が最も小さい投射範囲に画像１２０を表示すること（ステップＳ１９及びＳ２５）、をさらに含む。
これにより、投射可能範囲１１０に重なり面積が閾値Ｗｔｈ以下である投射範囲が存在しない場合であっても、最小限の重なり面積で画像１２０を表示することができるため、可能な限り歪みが少ない画像１２０をユーザーＡに提供することができる。

本実施形態の表示方法において、画像１２０を表示することは、投射領域における重なり面積がゼロより大きい場合、投射領域における重なり面積が閾値Ｗｔｈ以下に保たれる範囲で、投射領域の大きさを拡大すること（ステップＳ２３）、を含む。
これにより、投射領域における重なり面積がゼロより大きい場合に、投射領域に表示される画像１２０の大きさを可能な限り拡大することができるため、ユーザーＡの利便性がより向上する。

本実施形態の表示方法において、画像１２０を表示することは、投射領域における重なり面積がゼロである場合、投射領域における重なり面積がゼロに保たれる範囲で、投射領域の大きさを拡大すること（ステップＳ２３）、を含む。
これにより、投射領域における重なり面積がゼロである場合に、投射領域に表示される画像１２０の大きさを可能な限り拡大することができるため、ユーザーＡの利便性がより向上する。

本実施形態の表示システム１は、画像１２０を投射する光学装置１０と、光学装置１０を制御する処理装置７０と、を備え、処理装置７０は、光学装置１０が画像１２０を投射することが可能な投射可能範囲１１０に配置された少なくとも１つの物体が占める物体領域３００（第１領域）を示す物体領域情報（第１情報）を取得すること（ステップＳ３）と、物体領域情報と、投射可能範囲１１０に表示される画像１２０の大きさを示す画像サイズ情報（第２情報）と、に基づいて、投射可能範囲１１０において少なくとも１つの物体と画像１２０とが重なる面積が閾値Ｗｔｈ以下である投射領域（第２領域）に、光学装置１０を用いて画像１２０を表示すること（ステップＳ４～Ｓ２４）と、を実行する。
本実施形態の表示システムによれば、画像サイズの変更に起因してユーザーＡの利便性が低下することを抑制できる。

本実施形態のプログラムは、プロジェクター２が画像１２０を投射することが可能な投射可能範囲１１０に配置された少なくとも１つの物体が占める物体領域３００（第１領域）を示す物体領域情報（第１情報）を取得すること（ステップＳ３）と、物体領域情報と、投射可能範囲１１０に表示される画像１２０の大きさを示す画像サイズ情報（第２情報）と、に基づいて、投射可能範囲１１０において少なくとも１つの物体と画像１２０とが重なる面積Ｗが閾値Ｗｔｈ以下である投射領域（第２領域）に、プロジェクター２を用い画像１２０を表示すること（ステップＳ４～Ｓ２４）と、を処理装置７０（コンピューター）に実行させる。
本実施形態のプログラムによれば、画像サイズの変更に起因してユーザーＡの利便性が低下することを抑制できる。

以上、本開示の一実施形態について説明したが、本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

上記実施形態では、複数の候補領域のうち、重なり面積が最も小さい候補領域を投射領域として決定する形態を例示したが、本開示の表示方法はこれに限定されない。例えば、本開示の表示方法において、画像１２０を表示することは、複数の候補領域のなかから１つの候補領域を選択する入力を受け付けること、を含み、投射領域は、上記の１つの候補領域であってもよい。

具体的には、例えば、処理装置７０は、複数の候補領域が存在すると判定した場合（ステップＳ２０：Ｎｏ）、光学装置１０を制御することにより、投射可能範囲１１０において複数の候補領域に対応する領域に画像１２０を順番に表示する。そして、処理装置７０は、操作部３０から入力される操作信号、または受光部４０から入力されるリモート操作信号に基づいて、複数の候補領域のなかから１つの候補領域を選択する入力を受け付けたことを検知した場合、その入力によって選択された１つの候補領域を投射領域として決定する。これにより、ユーザーＡは、複数の候補領域のなかから、自身の立ち位置に適した画像１２０が表示される候補領域を選択することができるため、ユーザーＡの利便性がより向上する。

また、例えば、処理装置７０は、複数の候補領域のなかに、投射可能範囲１１０の中央の領域に対応する候補領域（第１投射範囲）と、投射可能範囲１１０の左上の領域に対応する候補領域（第２投射範囲）とが存在する場合に、予め設定された領域、例えば投射可能範囲１１０の左上の領域に対応する候補領域を投射領域として決定してもよい。複数の候補領域のうち、どれを投射領域として決定するかは、ユーザーＡが操作部３０或いはリモートコントローラーを操作することで設定できるようにしてもよい。

上記実施形態において、投射可能範囲１１０に表示される画像１２０の大きさを示す画像サイズ情報（第２情報）が、予めメモリー６０に記憶された情報である形態を例示したが、本開示の表示方法はこれに限定されない。例えば、本開示の表示方法において、画像１２０を表示することは、画像サイズ情報を決定する入力を受け付けること、を含んでいてもよい。

具体的には、例えば、処理装置７０は、ステップＳ４において、操作部３０から入力される操作信号、または受光部４０から入力されるリモート操作信号に基づいて、画像サイズ情報を決定する入力を受け付けたことを検知した場合、入力された画像サイズ情報と、メモリー６０から読み出した物体領域情報とに基づいて、第１投射範囲４１０において物体と画像１２０とが重なる面積Ｗ１を算出する。これにより、ユーザーＡは、操作部３０或いはリモートコントローラーを操作することにより、所望の画像サイズを指定することができるので、ユーザーＡの利便性がより向上する。

上記実施形態では、光学装置１０及び処理装置７０を内蔵するプロジェクター２を備える表示システム１を例示したが、本開示の表示システムはこれに限定されない。例えば、本開示の表示システムは、プロジェクターと、プロジェクターに接続されるスマートフォンとを備える表示システムであってもよい。この表示システムの場合、カメラ３の代わりに、スマートフォンのカメラを使用できる。この表示システムでは、プロジェクターが画像を投射する光学装置に相当し、スマートフォンが光学装置を制御する処理装置に相当する。この場合、本開示のプログラムは、スマートフォンに各処理を実行させるプログラムである。

本開示の一態様の表示方法は、以下の構成を有していてもよい。
本開示の一態様の表示方法は、プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、を含む。

本開示の一態様の表示方法において、前記第２領域は、前記投射可能範囲において前記面積が前記閾値以下である複数の候補領域のうちの１つであってもよい。

本開示の一態様の表示方法において、前記第２領域は、前記複数の候補領域のうち、前記面積が最も小さい候補領域であってもよい。

本開示の一態様の表示方法において、前記画像を表示することは、前記複数の候補領域のなかから１つの候補領域を選択する入力を受け付けること、を含み、前記第２領域は、前記１つの候補領域であってもよい。

本開示の一態様の表示方法において、前記画像を表示することは、前記第１情報及び前記第２情報に基づいて、前記画像の大きさに対応する大きさを有する複数の投射範囲のそれぞれにおける前記面積を算出することと、前記複数の投射範囲のうち、前記面積が前記閾値以下である投射範囲を、前記第２領域の候補である候補領域として決定することと、を含んでいてもよい。

本開示の一態様の表示方法は、前記投射可能範囲に前記面積が前記閾値以下である投射範囲が存在しない場合、前記複数の投射範囲のうち、前記面積が最も小さい投射範囲に前記画像を表示すること、をさらに含んでいてもよい。

本開示の一態様の表示方法において、前記画像を表示することは、前記第２領域における前記面積がゼロより大きい場合、前記第２領域における前記面積が前記閾値以下に保たれる範囲で、前記第２領域の大きさを拡大すること、を含んでいてもよい。

本開示の一態様の表示方法において、前記画像を表示することは、前記第２領域における前記面積がゼロである場合、前記第２領域における前記面積がゼロに保たれる範囲で、前記第２領域の大きさを拡大すること、を含んでいてもよい。

本開示の一態様の表示方法において、前記画像を表示することは、前記第２情報を決定する入力を受け付けること、を含んでいてもよい。

本開示の一態様の表示システムは、以下の構成を有していてもよい。
本開示の一態様の表示システムは、画像を投射する光学装置と、前記光学装置を制御する処理装置と、を備え、前記処理装置は、前記光学装置が前記画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される前記画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記光学装置を用いて前記画像を表示することと、を実行する。

本開示の一態様のプログラムは、以下の構成を有していてもよい。
本開示の一態様のプログラムは、プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、をコンピューターに実行させる。

１…表示システム、２…プロジェクター、３…カメラ、１０…光学装置、１１…第１の画像生成パネル、１２…第２の画像生成パネル、１３…第３の画像生成パネル、１４…ダイクロイックプリズム、１５…投射光学系、２０…映像入力インターフェース、３０…操作部、４０…受光部、５０…スピーカー、６０…メモリー、７０…処理装置、１００…投射面、１１０…投射可能範囲、１２０…画像、２００…差分画像、３００…物体領域（第１領域）、４１０…第１投射範囲、４２０…第２投射範囲、４３０…第３投射範囲、４４０…第４投射範囲、４５０…第５投射範囲、Ｌ…画像光、Ａ…ユーザー

Claims (11)

1. プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、
   前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、
   を含む、表示方法。
2. 前記第２領域は、前記投射可能範囲において前記面積が前記閾値以下である複数の候補領域のうちの１つである、請求項１に記載の表示方法。
3. 前記第２領域は、前記複数の候補領域のうち、前記面積が最も小さい候補領域である、請求項２に記載の表示方法。
4. 前記画像を表示することは、
   前記複数の候補領域のなかから１つの候補領域を選択する入力を受け付けること、
   を含み、
   前記第２領域は、前記１つの候補領域である、請求項２に記載の表示方法。
5. 前記画像を表示することは、
   前記第１情報及び前記第２情報に基づいて、前記画像の大きさに対応する大きさを有する複数の投射範囲のそれぞれにおける前記面積を算出することと、
   前記複数の投射範囲のうち、前記面積が前記閾値以下である投射範囲を、前記第２領域の候補である候補領域として決定することと、
   を含む、請求項１に記載の表示方法。
6. 前記投射可能範囲に前記面積が前記閾値以下である投射範囲が存在しない場合、前記複数の投射範囲のうち、前記面積が最も小さい投射範囲に前記画像を表示すること、
   をさらに含む、請求項５に記載の表示方法。
7. 前記画像を表示することは、
   前記第２領域における前記面積がゼロより大きい場合、前記第２領域における前記面積が前記閾値以下に保たれる範囲で、前記第２領域の大きさを拡大すること、
   を含む、請求項１から６のいずれか一項に記載の表示方法。
8. 前記画像を表示することは、
   前記第２領域における前記面積がゼロである場合、前記第２領域における前記面積がゼロに保たれる範囲で、前記第２領域の大きさを拡大すること、
   を含む、請求項１から６のいずれか一項に記載の表示方法。
9. 前記画像を表示することは、
   前記第２情報を決定する入力を受け付けること、
   を含む、請求項１から８のいずれか一項に記載の表示方法。
10. 画像を投射する光学装置と、
    前記光学装置を制御する処理装置と、
    を備え、
    前記処理装置は、
    前記光学装置が前記画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、
    前記第１情報と、前記投射可能範囲に表示される前記画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記光学装置を用いて前記画像を表示することと、
    を実行する、表示システム。
11. プロジェクターが画像を投射することが可能な投射可能範囲に配置された少なくとも１つの物体が占める第１領域を示す第１情報を取得することと、
    前記第１情報と、前記投射可能範囲に表示される画像の大きさを示す第２情報と、に基づいて、前記投射可能範囲において前記少なくとも１つの物体と前記画像とが重なる面積が閾値以下である第２領域に、前記プロジェクターを用いて前記画像を表示することと、
    をコンピューターに実行させる、プログラム。

Images