JP2020144413A - 表示方法および表示装置 - Google Patents

Abstract

【課題】物体の認識の処理負荷を低減可能な技術を提供する。【解決手段】第１領域の画像を示す第１部分データと、第２領域のうち第１領域とは異なる領域の画像を示す第２部分データを含む撮像データを取得し、第２部分データを用いず、第１部分データを用いて、第１領域に位置する物体を認識し、物体が第１機能を有する第１指示体であると認識する場合、物体が第１領域から表示面に移動すると、表示面上の物体の位置に応じた部分に第１機能に対応する第１処理が施されている第１画像を表示面に表示し、物体が第１機能とは異なる第２機能を有する第２指示体であると認識する場合、物体が第１領域から表示面に移動すると、表示面上の物体の位置に応じた部分に第２機能に対応し第１処理とは異なる第２処理が施されている第２画像を表示面に表示する。【選択図】図６

Description

本発明は、表示方法および表示装置に関する。

特許文献１には、画像が表示されている表示面上の指示体をデジタルカメラで撮像することによって生成した撮像データ全体を解析することで指示体に関する判断を行い、当該判断の結果に基づいて、描画処理を実行する画像表示装置が記載されている。

特開２０１６−１６４７０４号公報

特許文献１に記載の画像表示装置は、指示体に関する判断を行うために、撮像データ全体を用いる必要があり、処理負荷が大きかった。

本発明に係る表示方法の一態様は、表示装置が実行する表示方法であって、第１領域を含む第２領域を撮像することによって生成された撮像データであって、前記第１領域の画像を示す第１部分データと、前記第２領域のうち前記第１領域とは異なる領域の画像を示す第２部分データを含む前記撮像データを取得し、前記第２部分データを用いず、前記第１部分データを用いて、前記第１領域に位置する物体を認識し、前記物体が第１機能を有する第１指示体であると認識する場合、前記物体が前記第１領域から表示面に移動すると、前記表示面上の前記物体の位置に応じた部分に前記第１機能に対応する第１処理が施されている第１画像を前記表示面に表示し、前記物体が前記第１機能とは異なる第２機能を有する第２指示体であると認識する場合、前記物体が前記第１領域から前記表示面に移動すると、前記表示面上の前記物体の位置に応じた部分に前記第２機能に対応し前記第１処理とは異なる第２処理が施されている第２画像を前記表示面に表示する。

本発明に係る表示装置の一態様は、表示面に画像を表示する表示部と、第１領域を含む第２領域を撮像することによって生成された撮像データであって、前記第１領域の画像を示す第１部分データと、前記第２領域のうち前記第１領域とは異なる領域の画像を示す第２部分データを含む前記撮像データを取得する取得部と、前記第２部分データを用いずに、前記第１部分データを用いて、前記第１領域に位置する物体を認識する認識部と、前記認識部の認識結果に基づいて、前記表示部を制御する表示制御部と、を含み、前記表示制御部は、前記物体が第１機能を有する第１指示体であると認識される場合、前記物体が前記第１領域から表示面に移動すると、前記表示部を制御することによって、前記表示面上の前記物体の位置に応じた部分に前記第１機能に対応する処理が施されている第１画像を前記表示面へ表示させ、前記物体が前記第１機能とは異なる第２機能を有する第２指示体であると認識される場合、前記物体が前記第１領域から前記表示面に移動すると、前記表示部を制御することによって、前記表示面上の前記物体の位置に応じた部分に前記第２機能に対応し前記第１処理とは異なる第２処理が施されている第２画像を前記表示面に表示させる。

プロジェクターシステム１０００を示す図である。 光出力装置３の一例を示す図である。 プロジェクター１の一例を示す図である。 可視光撮像データＤ１の一例を示す図である。 対応表の一例を示す図である。 プロジェクター１の動作の一例を説明するためのフローチャートである。

Ａ：第１実施形態
Ａ１：プロジェクターシステム１０００の概要
図１は、第１実施形態に係るプロジェクター１を含むプロジェクターシステム１０００を示す図である。プロジェクターシステム１０００は、プロジェクター１と、トレー２と、光出力装置３と、を含む。

プロジェクター１は、ホワイトボードＷＢの上端ＷＢ１よりも上方または斜め上方の壁に設置される。プロジェクター１は、壁に設置されずに、例えば、机、テーブルまたは床の上に配置されてもよいし、天井から吊るされてもよい。

プロジェクター１は、ホワイトボードＷＢに画像を投射することによってホワイトボードＷＢに画像を表示する。プロジェクター１は、表示装置の一例である。表示装置は、プロジェクター１に限らず、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のＦＰＤ（Flat Panel Display）、さらに言えばＦＰＤに限らず、他のタイプのディスプレイでもよい。

プロジェクター１は、ホワイトボードＷＢ上の物体Ｐの位置に基づいて、ユーザーによる入力操作を実行するインタラクティブ機能を有する。図１では、物体Ｐとして、黒い色の線を書くための黒色のペンＰ１と、ホワイトボードイレーザーＰ２が示されている。ホワイトボードイレーザーＰ２は、ホワイトボード消しとも称される。以下、黒い色の線を書くための黒色のペンＰ１を「黒色のペンＰ１」と称する。物体Ｐは、黒色のペンＰ１とホワイトボードイレーザーＰ２に限らず、例えば、赤色の線を書くための赤色のペンでもよいし、ホワイトボードＷＢに紙等を固定するためのマグネットでもよい。物体Ｐは、ホワイトボードＷＢ上の位置を指示する指示体とも称される。

プロジェクター１は、インタラクティブ機能によって、ホワイトボードＷＢ上の物体Ｐの軌跡に応じた線をホワイトボードＷＢに投射したり、ホワイトボードＷＢ上の物体Ｐの位置に応じて、ホワイトボードＷＢに投射されている線の一部を消したりする。

ホワイトボードＷＢは、表示面の一例である。表示面は、ホワイトボードＷＢに限らず、例えば、スクリーン、壁、天井、商品または扉でもよい。

トレー２は、物体Ｐが置かれる台である。物体Ｐが置かれる台は、図１に例示されるような板状のトレー２に限らず、例えば、ふち付きの容器でもよい。トレー２は、物体Ｐを支える支え部の一例である。支え部は、トレー２に限らず、例えば、物体Ｐが吊るされるフックでもよい。トレー２は、例えば、ホワイトボードＷＢの下端ＷＢ２よりも下方の壁に固定される。トレー２の位置は、ホワイトボードＷＢの下端ＷＢ２よりも下方に限らず、例えば、ホワイトボードＷＢの横でもよい。また、トレー２は、ホワイトボードＷＢの一部、例えば、ホワイトボードＷＢの下端ＷＢ２に設けられてもよい。

トレー２が物体Ｐを支える場合に物体Ｐが位置する領域は、認識領域Ｒ１として用いられる。認識領域Ｒ１は、物体Ｐを認識するための領域であり、第１領域の一例である。トレー２に置かれた物体Ｐは、ユーザーによって支えられなくても認識領域Ｒ１に位置できる。

プロジェクター１は、認識領域Ｒ１を含む撮像領域Ｒ２を撮像することによって得られる撮像データを用いて、認識領域Ｒ１に位置する物体Ｐを認識する。撮像領域Ｒ２は、第２領域の一例である。撮像領域Ｒ２には、ホワイトボードＷＢが含まれる。

上述の通りトレー２に置かれた物体Ｐは、ユーザーの支えがなくても認識領域Ｒ１に位置できる。このため、認識領域Ｒ１に位置する物体Ｐは、例えば物体Ｐを支えるユーザーの手で一部が隠されることなく、撮像データに示される。プロジェクター１は、この撮像データを用いて物体Ｐを認識するため、ユーザーの手等で一部が隠されている物体Ｐを示す撮像データを用いて物体Ｐを認識する構成に比べて、物体Ｐを認識しやすい。

また、プロジェクター１は、撮像データのうち、認識領域Ｒ１の画像を示す部分データに基づいて、物体Ｐを認識する。このため、撮像データ全体を用いて物体Ｐを認識する構成に比べて、物体Ｐを認識するために使用する撮像データの量を少なくできる。よって、物体Ｐの認識に要する処理負荷を低減できる。

光出力装置３は、ホワイトボードＷＢの上端ＷＢ１よりも上に設置される。光出力装置３は、下向きに赤外光を面状に出射する。

Ａ２．光出力装置３の一例
図２は、光出力装置３の一例を示す図である。光出力装置３は、第１光出力部３１と、第２光出力部３２と、光学装置３３と、を含む。第１光出力部３１および第２光出力部３２は、赤外光を出射するＬＤ（Laser Diode）である。第１光出力部３１および第２光出力部３２の各々は、ＬＤに限らず、例えば、赤外光を出射するＬＥＤ（Light Emitting Diode）でもよい。第１光出力部３１は、ホワイトボードＷＢに向かって左側に設置され、第２光出力部３２は、ホワイトボードＷＢに向かって右側に設置される。光出力装置３に含まれる光出力部の数は２に限らず１以上であればよい。光学装置３３は、第１光出力部３１および第２光出力部３２の各々から出射された赤外光を、ホワイトボードＷＢに沿って面状に拡散させる。

プロジェクター１は、光出力装置３から出射された赤外光のうち、ホワイトボードＷＢ上の物体Ｐによって反射された反射光に基づいて、ホワイトボードＷＢに対する物体Ｐのタッチの有無を判定する。

Ａ３．プロジェクター１の一例
図３は、プロジェクター１の一例を示す図である。プロジェクター１は、操作部１１と、受信部１２と、投射部１３と、カメラ１４と、記憶部１５と、処理部１６とを含む。

操作部１１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部１１は、プロジェクター１の筐体に設けられている。操作部１１は、利用者の入力操作を受け取る。

受信部１２は、不図示のリモートコントローラーへの入力操作に基づく情報を、リモートコントローラーから無線で受信する。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。なお、受信部１２は、スマートフォン等の情報処理装置において動作するアプリケーションに対する操作入力を、情報処理装置から無線で受信してもよい。

投射部１３は、ホワイトボードＷＢに画像を投射することによってホワイトボードＷＢに画像を表示する。投射部１３は、表示部の一例である。投射部１３は、画像処理部１３１と、フレームメモリー１３２と、ライトバルブ駆動部１３３と、光源１３４と、赤色用液晶ライトバルブ１３５Ｒと、緑色用液晶ライトバルブ１３５Ｇと、青色用液晶ライトバルブ１３５Ｂと、投射光学系１３６と、を含む。以下、赤色用液晶ライトバルブ１３５Ｒと、緑色用液晶ライトバルブ１３５Ｇと、青色用液晶ライトバルブ１３５Ｂとを相互に区別する必要がない場合、これらを「液晶ライトバルブ１３５」と称する。

画像処理部１３１は、１または複数のイメージプロセッサー等の回路によって構成される。画像処理部１３１は、例えば、処理部１６から画像データを受け取る。画像処理部１３１は、不図示の画像供給装置から画像データを受け取ってもよい。画像供給装置は、例えば、ＰＣ（Personal Computer）である。画像供給装置は、ＰＣに限らず、例えば、タブレット端末、スマートフォン、ビデオ再生装置、ＤＶＤ（Digital Versatile Disc）プレーヤー、ブルーレイディスクプレーヤー、ハードディスクレコーダー、テレビチューナー装置またはビデオゲーム機でもよい。

画像処理部１３１は、画像データをフレームメモリー１３２に展開する。フレームメモリー１３２は、例えば、ＩＣ（Integrated Circuit）等の回路、またはＲＡＭ（Random Access Memory）等の記憶装置によって構成される。画像処理部１３１は、フレームメモリー１３２に展開された画像データに対して画像処理を施すことによって画像信号を生成する。

画像処理部１３１が実行する画像処理は、例えば、解像度変換処理を包含する。解像度変換処理では、画像処理部１３１は、画像データの解像度を、例えば液晶ライトバルブ１３５の解像度に変換する。画像処理部１３１は、解像度変換処理に加えて、他の画像処理、例えばガンマ補正処理を実行してもよい。

ライトバルブ駆動部１３３は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部１３３は、画像処理部１３１から提供される画像信号に基づいて液晶ライトバルブ１３５を駆動する。

光源１３４は、例えば、ＬＥＤである。光源１３４は、ＬＥＤに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源等でもよい。光源１３４から出射される光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は赤色用液晶ライトバルブ１３５Ｒに入射する。緑色の色光成分は緑色用液晶ライトバルブ１３５Ｇに入射する。青色の色光成分は青色用液晶ライトバルブ１３５Ｂに入射する。

液晶ライトバルブ１３５は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１３５は、マトリクス状に位置する複数の画素１３５ｐを含む矩形の画素領域１３５ａを有する。液晶ライトバルブ１３５では、液晶に対して画素１３５ｐごとに駆動電圧が印加される。ライトバルブ駆動部１３３が、画像信号に基づく駆動電圧を各画素１３５ｐに印加すると、各画素１３５ｐは、駆動電圧に基づく光透過率に設定される。光源１３４から出射される光は、画素領域１３５ａを通ることで変調され画像信号に基づく画像が色光ごとに形成される。液晶ライトバルブ１３５は、光変調装置の一例である。

各色の画像は、図示しない色合成光学系によって画素１３５ｐごとに合成され、カラー画像が生成される。カラー画像は、投射光学系１３６を介して投射される。

カメラ１４は、撮像領域Ｒ２を撮像することによって撮像データを生成する。カメラ１４は、レンズ等の光学系と、光学系にて集光される光を電気信号に変換する撮像素子と、を含む。撮像素子は、例えば、赤外領域および可視光領域の光を受光するＣＣＤ（Charge Coupled Device）イメージセンサーである。撮像素子は、ＣＣＤイメージセンサーに限らず、例えば、赤外領域および可視光領域の光を受光するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。
カメラ１４は、撮像素子に入射する光の一部を遮るフィルターを備えてもよい。例えば、カメラ１４は、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させる構成でもよい。
カメラ１４は、プロジェクター１の内部に設けられていてもよい。また、カメラ１４は、プロジェクター１の外部に別体で設けられ、カメラ１４とプロジェクター１とがデータの送受信ができるように有線または無線のインターフェースにより接続されていてもよい。

カメラ１４が可視光による撮像を行うと、例えば、ホワイトボードＷＢに投射された画像と、撮像領域Ｒ２に位置する物体Ｐが撮像される。以下、可視光によるカメラ１４の撮像によって生成される撮像データを「可視光撮像データＤ１」と称する。可視光撮像データＤ１は、後述するキャリブレーション、物体Ｐの認識および物体Ｐの追跡に使用される。

カメラ１４が赤外光による撮像を行うと、例えば、光出力装置３から出射された赤外光のうち物体Ｐで反射した反射光を示す撮像データが生成される。以下、赤外光によるカメラ１４の撮像によって生成される撮像データを「赤外光撮像データ」と称する。赤外光撮像データは、ホワイトボードＷＢへの物体Ｐのタッチの有無の判定に使用される。

記憶部１５は、処理部１６が読み取り可能な記録媒体である。記憶部１５は、例えば、不揮発性メモリーと揮発性メモリーとによって構成される。不揮発性メモリーとしては、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）が挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。

記憶部１５は、処理部１６によって実行される制御プログラム１５１と、処理部１６が使用する各種のデータ１５２を記憶する。データ１５２には、キャリブレーション画像を示すキャリブレーション画像データが含まれる。キャリブレーション画像には、予め設定された形状のマークが間隔をあけて配置されている。また、データ１５２には、後述する図５に例示されるような対応表が含まれる。

処理部１６は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理部１６は、単数または複数のＣＰＵ（Central Processing Unit）によって構成される。処理部１６の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。処理部１６は、各種の処理を並列的または逐次的に実行する。

処理部１６は、記憶部１５から制御プログラム１５１を読み取り実行することによって、取得部１６０、動作制御部１６１、認識部１６２および表示制御部１６３として機能する。

取得部１６０は、プロジェクター１の内部に設けられたカメラ１４が撮像領域Ｒ２を撮像することによって得られる撮像データを取得する。カメラ１４がプロジェクター１の外部に別体で設けられている場合は、データの送受信を行う有線または無線のインターフェースを介して、取得部１６０は、カメラ１４から撮像データを取得する。取得部１６０は、可視光撮像データＤ１と赤外光撮像データとを取得する。

動作制御部１６１は、例えば、プロジェクター１の種々の動作を制御する。例えば、動作制御部１６１は、キャリブレーションを実行する。キャリブレーションとは、フレームメモリー１３２上の座標と、撮像データ上の座標とを対応づける処理である。フレームメモリー１３２上の座標は、ホワイトボードＷＢに投射される画像上の位置に対応する。フレームメモリー１３２上の位置と、撮像データ上の位置とが対応づけられることで、例えば、ホワイトボードＷＢに投射される画像のうち、物体ＰのホワイトボードＷＢへのタッチ位置に対応する部分を特定することができる。

以下、キャリブレーションについて説明する。
動作制御部１６１は、キャリブレーション画像データを記憶部１５から読み出す。なお、動作制御部１６１は、キャリブレーション画像データを制御プログラム１５１に従って生成してもよい。動作制御部１６１は、画像処理部１３１にキャリブレーション画像データを提供することによって、予め設定された形状のマークが間隔をあけて配置されているキャリブレーション画像をホワイトボードＷＢへ投射させる。

続いて、動作制御部１６１は、キャリブレーション画像をカメラ１４に可視光で撮像させてカメラ１４に可視光撮像データＤ１を生成させる。続いて、動作制御部１６１は、取得部１６０に、可視光撮像データＤ１を取得させる。動作制御部１６１は、可視光撮像データＤ１に表されたマークを検出し、各マークの重心位置を各マークの座標として特定する。

動作制御部１６１は、可視光撮像データＤ１から検出されたマークの座標と、フレームメモリー１３２上のマークの座標との対応づけを行う。動作制御部１６１は、この対応づけにより、撮像データ上の座標とフレームメモリー１３２上の座標とを対応づけるキャリブレーションデータを生成する。
ここまでが、キャリブレーションの説明である。

認識部１６２は、キャリブレーション後に取得部１６０が取得した可視光撮像データＤ１のうち、認識領域Ｒ１の画像を示す部分データＤ２に基づいて、認識領域Ｒ１に位置する物体Ｐつまりトレー２に置かれている物体Ｐを認識する。すなわち、認識部１６２は、可視光撮像データＤ１のうち認識領域Ｒ１とは異なる領域の画像を示す部分データを用いることなく、認識領域Ｒ１の画像を示す部分データＤ２を用いて、認識領域Ｒ１に位置する物体Ｐを認識する。認識領域Ｒ１の画像を示す部分データＤ２は、第１部分データの一例であり、認識領域Ｒ１とは異なる領域の画像を示す部分データは、第２部分データの一例である。
可視光撮像データＤ１のうち、認識領域Ｒ１の画像を示す部分データＤ２が存在する部分Ｅの一例を、図４に例示する。部分Ｅは、ユーザーが操作部１１またはリモートコントローラーを操作することによって予め設定される。なお、プロジェクター１は、部分Ｅを自動的に設定してもよい。例えば、トレー２に識別用の印が付され、動作制御部１６１が、可視光撮像データに示される識別用の印を検出し、識別用の印を基準にして位置が特定される所定の領域を、認識領域Ｒ１として設定してもよい。

認識部１６２は、部分データＤ２に基づいて、さらに言えば、部分データＤ２に示される物体Ｐの特徴に基づいて、例えば、認識領域Ｒ１に位置する物体Ｐの種類を認識する。物体Ｐの種類とは、例えば、物体Ｐに対して人間が認識するような種類を意味する。例えば、黒い色の線を書くための黒い色のペンの形態は様々であるが、人間は、これらを、黒い色の線を書くための黒い色のペンとして、さらに言えば、黒い色の線を書くための黒い色のペンという種類に分類される物体として認識する。

認識部１６２は、黒い色の線を書くための様々な形態の黒い色のペンを、黒色の線を書くという機能を有する第１筆記具として認識する。このため、認識部１６２は、黒色のペンＰ１を第１筆記具として認識する。黒色の線を書くという機能は、第１機能の一例である。第１筆記具は、第１指示体の一例である。第１機能は、黒色の線を書くという機能に限らず、例えば、点線を書くという機能でもよい。

また、認識部１６２は、様々な形態のホワイトボードイレーザーを、投射部１３によってホワイトボードＷＢに表示されている線を消すという機能を有するイレーザーとして認識する。このため、認識部１６２は、ホワイトボードイレーザーＰ２をイレーザーとして認識する。投射部１３によってホワイトボードＷＢに表示されている線を消すという機能は、第２機能の一例である。イレーザーは、第２指示体の一例である。第２機能は、投射部１３によってホワイトボードＷＢに表示されている線を消すという機能に限らず、例えば、第１機能によって書かれた線のみを消すという機能でもよい。ただし、第２機能は第１機能とは異なる。

認識部１６２は、例えば、物体Ｐが存在する認識領域Ｒ１の画像を示す部分データＤ２と、物体Ｐの種類と、の関係を学習した学習モデルによって実現される。

学習モデルは、処理部１６によって実現される統計的モデル、さらに言えば機能ブロックであり、入力Ａに応じた出力Ｂを生成する。学習モデルとしては、例えば、ニューラルネットワーク、典型的には、ディープニューラルネットワークが用いられる。学習モデルは、入力Ａから出力Ｂを特定する演算を処理部１６に実行させるプログラム、例えば、人工知能ソフトウェアを構成するプログラムモジュールと、当該演算に適用される複数の係数Ｋとの組合せによって、処理部１６において実現される。

学習モデルの複数の係数Ｋは、入力Ａと出力Ｂとを対応させた複数の教師データを利用した事前の機械学習によって最適化されている。すなわち、学習モデルは、入力Ａと出力Ｂとの関係を学習した統計的モデルである。

学習モデルは、学習によって特定される複数の係数Ｋと所定の応答関数とを適用した演算を未知の入力Ａに対して実行することによって、複数の教師データから抽出される傾向に基づいて、具体的には、複数の教師データにおける入力Ａと出力Ｂとの関係に基づいて、入力Ａに対して妥当な出力Ｂを生成する。

学習モデルによって構成される認識部１６２は、入力Ａとして、物体Ｐが位置する認識領域Ｒ１の画像を示す部分データＤ２を用い、出力Ｂとして、物体Ｐの種類を用いる。
例えば、認識部１６２は、物体Ｐの種類として第１筆記具を示すデータと、第１筆記具を示す部分データＤ２と、の組である複数の教師データと、物体Ｐの種類としてイレーザーを示すデータと、イレーザーを示す部分データＤ２と、の組である複数の教師データと、を用いて学習されている。さらに、認識部１６２は、物体Ｐの種類として第１筆記具ではない種類を示すデータと、第１筆記具ではない物体を示す部分データＤ２と、の組である複数の教師データと、物体Ｐの種類としてイレーザーではない種類を示すデータと、イレーザーではない物体を示す部分データＤ２と、の組である複数の教師データと、を用いて学習されている。なお、認識部１６２は、物体Ｐの他の種類について学習していてもよい。なお、物体Ｐの種類として、物体Ｐの属性が用いられてもよい。

表示制御部１６３は、認識部１６２の認識結果に基づいて投射部１３を制御する。例えば、表示制御部１６３は、物体Ｐの認識結果に応じた処理が施されている画像を、投射部１３に投射させる。表示制御部１６３は、トラッキング部１６３ａと、タッチ判定部１６３ｂと、操作反映部１６３ｃと、を含む。

トラッキング部１６３ａは、認識部１６２によって認識された物体Ｐを追跡することによって、ホワイトボードＷＢ上の物体Ｐの位置を特定する。例えば、トラッキング部１６３ａは、可視光撮像データを用いて物体Ｐを追跡する。

タッチ判定部１６３ｂは、物体ＰのホワイトボードＷＢへのタッチの有無を判定する。例えば、タッチ判定部１６３ｂは、赤外光撮像データに基づいて、光出力装置３から照射された赤外光のうち、ホワイトボードＷＢ上の物体Ｐによって反射された反射光の有無を判断し、その判断結果に基づいて、ホワイトボードＷＢに対する物体Ｐのタッチの有無を判定する。
例えば、タッチ判定部１６３ｂは、赤外光撮像データが、黒色のペンＰ１で反射された反射光を表している場合、ホワイトボードＷＢへの黒色のペンＰ１のタッチがあると判定する。
一方、最新の赤外光撮像データが、黒色のペンＰ１で反射された反射光を表していない場合、タッチ判定部１６３ｂは、ホワイトボードＷＢに対する黒色のペンＰ１のタッチがないと判定する。

操作反映部１６３ｃは、ホワイトボードＷＢへの物体Ｐのタッチがあることをタッチ判定部１６３ｂが判定する場合、物体Ｐの認識結果に応じた処理が施されている画像を投射部１３に投射させる。以下、「ホワイトボードＷＢへの物体Ｐのタッチがあることをタッチ判定部１６３ｂが判定する場合」を「ホワイトボードＷＢへの物体Ｐのタッチがある場合」と称する。

例えば、操作反映部１６３ｃは、物体Ｐが第１筆記具であると認識される状況において、ホワイトボードＷＢへの物体Ｐのタッチがある場合、まず、トラッキング部１６３ａが追跡している物体Ｐの位置、つまり、可視光撮影データ上の物体Ｐの座標を、キャリブレーションデータを用いて、フレームメモリー１３２上の座標に変換する。

続いて、操作反映部１６３ｃは、フレームメモリー１３２上の物体Ｐの座標位置に、第１筆記具の黒色の線を書くという機能に対応する処理、具体的には、黒色の線を描くという第１処理を画像処理部１３１に実行させる。
このように、画像処理部１３１に実行させる処理を、第１筆記具が有する機能、さらに言えば、物体Ｐが有する機能にて実行される処理と同様にすることによって、プロジェクター１の操作に不慣れなユーザーでも、物体Ｐを用いて直感的にプロジェクター１を操作することが可能になる。

画像処理部１３１は、第１処理を実行すると、第１処理が施されている第１画像を示す第１画像信号をライトバルブ駆動部１３３に供給する。このため、投射部１３は、第１画像をホワイトボードＷＢに表示する。

一方、物体Ｐがイレーザーであると認識される状況において、ホワイトボードＷＢへの物体Ｐのタッチがある場合、操作反映部１６３ｃは、まず、トラッキング部１６３ａが追跡している物体Ｐの位置を、キャリブレーションデータを用いて、フレームメモリー１３２上の座標に変換する。

続いて、操作反映部１６３ｃは、フレームメモリー１３２上の物体Ｐの座標位置に、イレーザーのホワイトボードＷＢに書かれた線を消すという機能に対応する処理、具体的には、投射されている線を消すという第２処理を画像処理部１３１に実行させる。

画像処理部１３１は、第２処理を実行すると、第２処理が施されている第２画像を示す第２画像信号をライトバルブ駆動部１３３に供給する。このため、投射部１３は、第２画像を、ホワイトボードＷＢに表示する。

操作反映部１６３ｃは、物体Ｐの認識結果である物体Ｐの種類と、画像に施される処理と、の対応関係を示す対応表を用いて、物体Ｐの認識結果と、画像に施される処理と、の関係を認識する。対応表は、上述の通り記憶部１５に記憶される。

Ａ４．対応表
図５は、対応表の一例を示す図である。
対応表では、物体Ｐの種類と、画像に施される処理とが、相互に対応づけられている。一例を挙げると、第１筆記具には「黒色の線を描く」という処理が対応づけられている。対応表は、例えば、ユーザーが操作部１１またはリモートコントローラーを操作することによって設定される。対応表は、書き換え可能である。

Ａ５．動作の説明
図６は、プロジェクター１の動作の一例を説明するためのフローチャートである。なお、説明の簡略化のため、記憶部１５には、図５に示す対応表が記憶されているとする。また、キャリブレーションが完了し、キャリブレーションデータが記憶部１５に記憶されているとする。また、投射部１３は、図１に示すようにＫという文字を示す画像をホワイトボードＷＢに表示しているとする。また、カメラ１４は、可視光撮像データと赤外光撮像データとを交互に生成しているとする。

物体Ｐの一例であるホワイトボードイレーザーＰ２をホワイトボードＷＢ上で動かすことによってＫという文字の一部を消そうとする場合、ユーザーは、まず、ホワイトボードイレーザーＰ２をトレー２の上に載せ、ホワイトボードイレーザーＰ２から手を離す。ホワイトボードイレーザーＰ２は、ユーザーに支えられることなく、トレー２の上、つまり認識領域Ｒ１に位置する。カメラ１４は、トレー２の上に位置するホワイトボードイレーザーＰ２を撮像することによって、認識領域Ｒ１にホワイトボードイレーザーＰ２が位置する画像を示す可視光撮像データを生成する。

ステップＳ１０１において取得部１６０は、カメラ１４から最新の可視光撮像データを取得する。

続いて、ステップＳ１０２において認識部１６２は、認識領域Ｒ１に存在する物体Ｐ、つまり、トレー２に置かれているホワイトボードイレーザーＰ２を認識するための処理を実行する。認識領域Ｒ１に存在する物体Ｐを認識する処理は、最新の可視光撮像データのうち、認識領域Ｒ１とは異なる領域の画像を示す部分データを用いることなく、認識領域Ｒ１の画像を示す部分データＤ２を用いて実行する。例えば、認識領域Ｒ１とは異なる領域の画像を示す部分データに対して、物体Ｐが含まれているか否か、物体Ｐが含まれている場合、物体Ｐがどのようなものであるかなどの判定は行わず、部分データＤ２に対してのみ、物体Ｐが含まれているか否か、物体Ｐが含まれている場合、物体Ｐがどのようなものであるかなどの判定を行ってもよい。
認識部１６２は、当該処理を実行することによって、トレー２の上のホワイトボードイレーザーＰ２を、ホワイトボードＷＢに書かれた線を消すという機能を有するイレーザーと認識する。

ステップＳ１０３において、認識部１６２がステップＳ１０２で物体Ｐを認識できたか否かを判定する。ステップＳ１０３において、認識部１６２がホワイトボードイレーザーＰ２を認識できなかった場合、例えば、ホワイトボードイレーザーＰ２がトレー２の端に置かれてトレー２から落ちてしまった場合、処理がステップＳ１０１に戻る。

一方、ステップＳ１０３において認識部１６２がトレー２の上の物体Ｐを認識できた場合、具体的には、認識部１６２がトレー２の上のホワイトボードイレーザーＰ２をイレーザーと認識できた場合、ステップＳ１０４においてトラッキング部１６３ａは、取得部１６０に最新の可視光撮像データを取得させ、最新の可視光撮像データに基づいて、物体Ｐ、つまりホワイトボードイレーザーＰ２を追跡する。トラッキング部１６３ａは、物体Ｐを追跡することによって、物体Ｐの位置を特定する。

なお、認識部１６２が物体Ｐを認識できた場合、動作制御部１６１は、投射部１３に、物体Ｐの認識結果を示す認識結果画像を投射させてもよい。認識結果画像の一例としては、物体Ｐの認識結果を文字で表す画像、例えば「トレー上の物体をイレーザーとして認識しました」という文字を表す画像が挙げられる。認識結果画像は、上述の画像に限らず、例えば、認識結果を絵で表す画像でもよい。

続いて、ユーザーは、トレー２からホワイトボードイレーザーＰ２を手で持ち上げ、ホワイトボードイレーザーＰ２をホワイトボードＷＢにタッチさせ、Ｋという文字の一部を消す動作を開始する。

続いて、ステップＳ１０５においてタッチ判定部１６３ｂは、取得部１６０に最新の赤外光撮像データを取得させ、最新の赤外光撮像データに基づいて、ホワイトボードＷＢへの物体Ｐ、つまりホワイトボードイレーザーＰ２のタッチの有無を判定する。

ステップＳ１０５においてタッチ判定部１６３ｂがホワイトボードＷＢへのホワイトボードイレーザーＰ２のタッチがないと判定する場合、処理がステップＳ１０４に戻る。

一方、ステップＳ１０５においてタッチ判定部１６３ｂが、ホワイトボードＷＢに対するホワイトボードイレーザーＰ２のタッチがあると判定する場合、ステップＳ１０６において操作反映部１６３ｃは、物体ＰであるホワイトボードイレーザーＰ２の認識結果に応じた機能、具体的には、イレーザーの機能に応じた画像処理を画像処理部１３１に実行させる。

ステップＳ１０６では、まず、操作反映部１６３ｃは、対応表を参照することによって、イレーザーに対応する処理を特定する。
続いて、操作反映部１６３ｃは、最新の可視光撮影データにおけるホワイトボードイレーザーＰ２の座標を、キャリブレーションデータを用いて、フレームメモリー１３２上の座標に変換する。なお、操作反映部１６３ｃは、最新の赤外光撮像データにおけるタッチ位置の座標、すなわち、最新の赤外光撮像データにおけるホワイトボードイレーザーＰ２の座標を、キャリブレーションデータを用いて、フレームメモリー１３２上の座標に変換してもよい。
続いて、操作反映部１６３ｃは、フレームメモリー１３２上のホワイトボードイレーザーＰ２の座標位置に存在する線を消すという第２処理を、画像処理部１３１に実行させる。なお、操作反映部１６３ｃは、最新の可視光撮影データから特定したフレームメモリー１３２上のホワイトボードイレーザーＰ２の座標位置と、最新の赤外光撮影データから特定したフレームメモリー１３２上のホワイトボードイレーザーＰ２の座標位置とが一致する場合、第２処理を画像処理部１３１に実行させ、一致しない場合、第２処理を画像処理部１３１に実行させなくてもよい。
画像処理部１３１は、第２処理を実行すると、第２処理が施されている第２画像を示す第２画像信号をライトバルブ駆動部１３３に供給する。以上でステップＳ１０６が終了する。

続いて、ステップＳ１０７において投射部１３は、第２画像信号が示す第２画像をホワイトボードＷＢに表示する。

続いて、ステップＳ１０８において動作制御部１６１は、トラッキング部１６３ａがホワイトボードイレーザーＰ２の追跡に失敗したか否かを判断する。追跡に失敗とは、追跡できなくなったことを意味する。
ステップＳ１０８においてホワイトボードイレーザーＰ２の追跡に失敗していない場合、処理がステップＳ１０４に戻る。
一方、ステップＳ１０８においてホワイトボードイレーザーＰ２の追跡に失敗した場合、例えば、ユーザーがホワイトボードイレーザーＰ２を床に落としてしまいホワイトボードイレーザーＰ２が撮像領域Ｒ２から外れてしまった場合、ステップＳ１０９において動作制御部１６１は、操作部１１または受信部１２が終了操作を受けているか否かを判断する。
ステップＳ１０９において操作部１１と受信部１２のいずれも終了操作を受けていない場合、処理がステップＳ１０１に戻る。
一方、ステップＳ１０９において操作部１１または受信部１２が終了操作を受けている場合、図６に示す処理が終了する。

Ａ６．第１実施形態についてのまとめ
上述の本実施形態に係る表示方法および表示装置は以下の態様を含む。

投射部１３は、ホワイトボードＷＢに画像を表示する。取得部１６０は、認識領域Ｒ１を含む撮像領域Ｒ２を撮像することによって生成された撮像データを取得する。認識部１６２は、撮像データのうち認識領域Ｒ１とは異なる領域の画像を示す部分データを用いることなく、認識領域Ｒ１の画像を示す部分データＤ２を用いて、認識領域Ｒ１に位置する物体Ｐを認識する。
表示制御部１６３は、物体Ｐが第１筆記具であると認識される場合、物体Ｐが認識領域Ｒ１からホワイトボードＷＢに移動すると、投射部１３を制御することによって、ホワイトボードＷＢ上の物体Ｐの位置に応じた部分に第１筆記具が有する機能に対応する黒色の線を描くという処理が施されている第１画像をホワイトボードＷＢへ表示させる。このため、物体Ｐが第１筆記具である場合、第１筆記部のホワイトボードＷＢへのタッチ位置に黒色の線が表示される。
表示制御部１６３は、物体Ｐがイレーザーであると認識される場合、物体Ｐが認識領域Ｒ１からホワイトボードＷＢに移動すると、投射部１３を制御することによって、ホワイトボードＷＢ上の物体Ｐの位置に応じた部分に位置する線を消すという処理が施されている第２画像をホワイトボードＷＢへ表示させる。このため、物体Ｐがイレーザーである場合、イレーザーのホワイトボードＷＢへのタッチ位置に存在する線が消される。

この態様によれば、認識部１６２は、撮像データのうち、認識領域Ｒ１とは異なる領域の画像を示す部分データを用いることなく、認識領域Ｒ１の画像を示す部分データＤ２に用いて、物体Ｐを認識する。このため、撮像データ全体を用いて物体Ｐを認識する構成に比べて、物体Ｐを認識するために使用する撮像データの量を少なくできる。よって、物体Ｐの認識に要する処理負荷を低減できる。

また、認識部１６２は、様々な形態のホワイトボードイレーザーをイレーザーとして認識するため、例えば、プロジェクターシステム１０００に予め含まれていた専用のホワイトボードイレーザーが紛失しても、他のホワイトボードイレーザーをイレーザーとして用いることが可能になる。

また、物体Ｐの種類から連想されやすい処理が画像に対してなされるため、プロジェクター１の操作に不慣れなユーザーでも、物体Ｐを用いて直感的にプロジェクター１を操作することが可能になる。

認識領域Ｒ１は、物体Ｐを支える支え部の一例であるトレー２が物体Ｐを支える場合に物体Ｐが位置する領域である。このため、認識領域Ｒ１に位置する物体Ｐは、例えば物体Ｐを支えるユーザーの手で一部が隠されることなく、撮像データに示される。認識部１６２は、この撮像データを用いて物体Ｐを認識するため、ユーザーの手等で一部が隠されている物体Ｐを示す撮像データを用いて物体Ｐを認識する構成に比べて、物体Ｐを認識しやすくなる。

支え部は、物体Ｐが置かれる台として機能するトレー２である。このため、ユーザーは、物体Ｐをトレー２に載せるという容易な操作で、物体Ｐを認識させることができる。

支え部として、物体Ｐが直接的または紐等を介して間接的に吊るされるフックが用いられてもよい。この場合、ユーザーは、物体Ｐをフックに吊るすという容易な操作で、物体Ｐを認識させることができる。

トラッキング部１６３ａは、物体Ｐを追跡することによって、ホワイトボードＷＢ上の物体Ｐの位置を特定する。このため、物体Ｐの位置だけでなく位置の変化も認識可能になる。

撮像データは、カメラ１４によって生成され、撮像領域Ｒ２には、ホワイトボードＷＢが含まれ、トラッキング部１６３ａは、撮像データに基づいて、ホワイトボードＷＢ上の物体Ｐの位置を特定する。このため、１台のカメラ１４が生成する撮像画像を用いて、物体Ｐの認識と物体Ｐの位置の特定を行える。よって、例えば、物体Ｐの認識用のカメラと、物体Ｐの位置の特定用のカメラとを、別々に有する構成に比べて、構成の簡略化が図れる。

Ｂ．変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｂ１．第１変形例
第１実施形態において、物体Ｐが、スマートフォンのように多くの機能を有する場合、図５に例示される対応表において、物体Ｐの種類に対応づけられる処理を１つに限定することが望ましい。この場合、使用状況に応じて、多くの機能を有する物体Ｐに対応づける処理を変更してもよい。例えば、スマートフォンには、画面上に入力した文字を削除する機能があるため、周囲にホワイトボードイレーザーが存在しない場合、対応表においてスマートフォンにイレーザーと同様の処理を対応づけてもよい。

Ｂ２．第２変形例
第１実施形態および第１変形例において、対応表における物体Ｐの種類と処理との対応づけは、図５に示される例に限らず適宜変更可能である。例えば、物体Ｐの種類として、ホワイトボードＷＢに紙等を固定するためのマグネットが用いられる場合、対応する処理として「マグネットが配置された表示ウィンドウを常に最前面に表示」が用いられてもよい。

Ｂ３．第３変形例
第１実施形態および第１〜第２変形例において、光変調装置の一例として液晶ライトバルブ１３５が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源１３４が発した光を変調可能な構成は、光変調装置として採用できる。

Ｂ４．第４変形例
第１実施形態および第１〜第３変形例において、表示装置として、プロジェクター１ではなくＦＰＤが用いられる場合、光出力装置３の代わりに、タッチパネルが用いられてもよい。また、表示装置としてのＦＰＤは、例えば、タブレット端末またはスマートフォン等の電子機器に搭載されているＦＰＤでもよいし、電子黒板または電子会議システムに用いられているＦＰＤでもよい。

１…プロジェクター、２…トレー、３…光出力装置、１１…操作部、１２…受信部、１３…投射部、１４…カメラ、１５…記憶部、１６…処理部、１６０…取得部、１６１…動作制御部、１６２…識別部、１６３…表示制御部、１６３ａ…トラッキング部、１６３ｂ…タッチ判定部、１６３ｃ…操作反映部、１０００…プロジェクターシステム。

Claims (7)

1. 表示装置が実行する表示方法であって、
   第１領域を含む第２領域を撮像することによって生成された撮像データであって、前記第１領域の画像を示す第１部分データと、前記第２領域のうち前記第１領域とは異なる領域の画像を示す第２部分データを含む前記撮像データを取得し、
   前記第２部分データを用いず、前記第１部分データを用いて、前記第１領域に位置する物体を認識し、
   前記物体が第１機能を有する第１指示体であると認識する場合、前記物体が前記第１領域から表示面に移動すると、前記表示面上の前記物体の位置に応じた部分に前記第１機能に対応する第１処理が施されている第１画像を前記表示面に表示し、
   前記物体が前記第１機能とは異なる第２機能を有する第２指示体であると認識する場合、前記物体が前記第１領域から前記表示面に移動すると、前記表示面上の前記物体の位置に応じた部分に前記第２機能に対応し前記第１処理とは異なる第２処理が施されている第２画像を前記表示面に表示する、
   表示方法。
2. 前記第１領域は、前記物体を支える支え部が前記物体を支える場合に前記物体が位置する領域である、
   請求項１に記載の表示方法。
3. 前記支え部は、前記物体が置かれる台である、
   請求項２に記載の表示方法。
4. 前記支え部は、前記物体が吊るされるフックである、
   請求項２に記載の表示方法。
5. 前記物体を追跡することによって前記表示面上の前記物体の位置を特定する、
   請求項１から４のいずれか１項に記載の表示方法。
6. 前記撮像データは、カメラによって生成され、
   前記第２領域には、前記表示面が含まれ、
   前記撮像データに基づいて、前記表示面上の前記物体の位置を特定する、
   請求項１から５のいずれか１項に記載の表示方法。
7. 表示面に画像を表示する表示部と、
   第１領域を含む第２領域を撮像することによって生成された撮像データであって、前記第１領域の画像を示す第１部分データと、前記第２領域のうち前記第１領域とは異なる領域の画像を示す第２部分データを含む前記撮像データを取得する取得部と、
   前記第２部分データを用いずに、前記第１部分データを用いて、前記第１領域に位置する物体を認識する認識部と、
   前記認識部の認識結果に基づいて、前記表示部を制御する表示制御部と、
   を含み、
   前記表示制御部は、
   前記物体が第１機能を有する第１指示体であると認識される場合、前記物体が前記第１領域から表示面に移動すると、前記表示部を制御することによって、前記表示面上の前記物体の位置に応じた部分に前記第１機能に対応する処理が施されている第１画像を前記表示面へ表示させ、
   前記物体が前記第１機能とは異なる第２機能を有する第２指示体であると認識される場合、前記物体が前記第１領域から前記表示面に移動すると、前記表示部を制御することによって、前記表示面上の前記物体の位置に応じた部分に前記第２機能に対応し前記第１処理とは異なる第２処理が施されている第２画像を前記表示面に表示させる、
   表示装置。

Images