JP2011044061A - 画像表示装置、入力装置、及び画像表示方法 - Google Patents

Abstract

【課題】タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させる。
【解決手段】
背景画像（１７）中のタッチパネルディスプレイ（１４）の領域に相当する画面領域（２０）に、手書きによって更新されるコンピュータ表示画像（１８）をはめ込み、画面領域更新画像（２１）を作成する。作成した画面領域更新画像（２１）と情景画像（１８）を一定の割合で重ねて合成し、半透明提示映像（２３）の１フレームを作成する。
【選択図】図３

Description

本発明は、画像表示装置、入力装置、及び画像表示方法に関し、例えば、手書き入力可能な画像表示装置や電子白板等、手書き入力できる装置に適用することができるものである。

従来、講義、プレゼンテーション等で使用する大画面の画像表示装置として、コンピュータに接続して各種スライド等を表示するものが提供されている。このような装置でスライドを表示する場合、例えば指、手等を使用して表示画面の特定箇所を指示することにより、操作者の自然の動作で聴衆の注意を促し、聴衆の注意を集めることができる。

しかしながら指、手等により表示画面の特定箇所を指示する場合、腕等により遮られて表示画面を部分的に見て取れなくなる。そこで指示棒、レーザーポインタ等を使用して表示画面の特定箇所を指示する方法、マウス等の操作によりカーソルを移動させて表示画面の特定箇所を指示する方法等も採用されている。

またこのようなスライドの表示に関しては、別途、表示画面を撮影して表示するようにして、表示画面を遮る腕等を半透明化して表示する方法も提案されている（視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 ＪＡＩＳＴ Ｒｅｐｏｓｉｔｏｒｙ Ｍ−ＩＳ 平成１４年度（Ｊｕｎ，２００２−Ｍａｒ．２００３）（非特許文献１））。

また近年、講義等ではいわゆる電子白板を使用する場合もあり、電子白板によれば、手書きしながら説明することができ、操作者の挙動により一段と聴取者の注意を喚起することができる。

また近年、講義等では手書き入力可能な画像表示装置を使用する場合もある。ここでこの手書き入力可能な画像表示装置は、例えば液晶表示パネル等の画像表示パネル上に、座標入力手段を構成する透明タッチパネルを配置して構成される。この手書き入力可能な画像表示装置によれば、表示画面上で手書きしながら説明することができ、一段と聴取者の注意を喚起することができる。

視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 ＪＡＩＳＴ Ｒｅｐｏｓｉｔｏｒｙ Ｍ−ＩＳ 平成１４年度（Ｊｕｎ，２００２−Ｍａｒ．２００３） 対話型電子白板を用いた電子化授業への遠隔受講者参加方式の試作 情報処理学会研究報告，Ｖｏｌ．２００２，Ｎｏ．１１９（ＣＥ−６７），ｐｐ３３−４０（２００２．１２）

ところで聴取者の注意を促す操作者の挙動（以下、アノテーションと呼ぶ）は、聴衆の注意を集め、説明を補足するのに有効である。特に電子白板、手書き入力可能な画像表示装置では、手書きできることにより、指等の指示によるアノテーションに比して、一段と聴衆の注意を喚起することができる。またこれらの装置は、手書きしたいという操作者の自然な欲求を満足する装置であることから、操作者にとっても好まれる。

具体的に、図８は、マウスの操作によりアノテーションする場合（マウス）、タブレットの操作によりアノテーションする場合（表示なしペンタブレット）、表示画面に直接書き込んでアノテーションする場合（画面に直接書き込み）について、各手法の使い易さを５段階評価したものである。なおこの図８の評価は、これら３つの手法を何れも経験したことのある複数人の評価を平均値化したものであり、値が大きいもの程、使い易いことを示している。なおマウス、表示なしペンタブレットは、何れもスライドを表示した状態で、カーソル等を操作する場合である。

しかしながらこれら電子白板、画像表示装置を使用する場合、手書きの際に、腕等により遮られて表示画面を部分的に見て取れなくなる問題がある。この問題を解決する１つの方法として、指示棒、レーザーポインタ等を使用する方法も考えられる。しかしながらこれらの方法では結局、手書きが困難になり、その結果、アノテーションが損なわれ、さらには操作者の使い勝手が劣化する問題がある。

そこで、表示画面を介して視聴者が見るときに、直接的に画面に手書きを行いながらも、画面をできるだけ隠していない状況を提示するための手法について考えると、直接的に画面に手書きを行うときに表示画面を隠してしまう操作者の手や体、ペン等（以下、操作体）を見えなくすることが考えられる。

しかし、この場合、操作体を見えなくすることにより、画面を隠すという弊害は除去することができるが、視聴者が見ることができるのは、画面上の手書き内容の変化だけなので、手書きを行っている人の書き込んでいる位置がわかりづらくなってしまう。これにより、映像の変化が乏しくなってしまうため、視聴者の集中力が失い易いという問題を生じることが指摘されている（非特許文献２参照）。

また、現在の講義映像に用いられている表示手法として、手書きが行われている画面を含む情景映像と、手書きが行われているデスクトップ画面を並べて表示する方法がある。この方法であれば、上記で述べた映像の変化の乏しさの問題と画面隠れの問題を解決することができる。

しかし、この手法の場合、出力する画面が２つになってしまうため２画面分の出力領域の確保、及び、それぞれの出力画面の縮小をしなくてはいけないという弊害を生ずる。また、視聴者が２つの画面を交互に見なくてはいけないという問題点があった。

本発明では、上述の課題に鑑みてなされたものであり、手書き入力が可能であって、手書き入力の際に腕等により遮られる入力中の文字等を見て取ることができるようにすることにある。すなわち、本発明は、以下の技術的事項から構成される。

（１） 手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。

（１）の画像表示装置によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

（２） 前記画像表示手段により表示画像が表示されていない前記タブレットを撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする（１）に記載の画像表示装置。

（２）の画像表示装置によると、何も表示されていないタブレットを撮影した背景画像に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像が半透明化される。したがって、更新画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像がディスプレイ等の表示装置に出力される。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。

（３） 前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする（１）に記載の画像表示装置。

（３）の画像表示装置によると、情景画像上に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像のうち、表示画像に重なっている領域だけが半透明化される。このため、更新画像を合成画像として出力する際に、表示画面を遮る操作者の手や腕等の物体だけが半透明化され、表示画面の領域に重なっていない腕や手以外の操作者自身の体幹部等は半透明化されない。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合、タブレットを操作する操作者自身の腕や手以外の姿を聴衆に対しはっきりと見せることができる。したがって、操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消すると共に、操作者自身の姿を聴衆に対し見せることによりアノテーションの効果を向上させることができる。

（４） 前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする（２）又は（３）に記載の画像表示装置。

（４）の画像表示装置によると、表示画像や情景画像の色や明るさ、又は、プレゼンテーションや講義を行う会場の明るさに応じて、情景画像の透明度を変更することができる。これにより、周辺の環境によらずにアノテーションを行うことができ、操作者の使い勝手を向上させることができる。

（５） （１）乃至（４）のいずれか１に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記タブレットの操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示ステップと、
前記タブレットを操作する操作者の映像を前記タブレットと共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。

（５）の画像表示方法によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

（６） 操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。

（６）の入力装置によると、操作者による手書き入力を受け付ける装置として使用することができる。この入力装置は、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

本発明によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

本発明の第１の実施の形態に係る画像表示装置を用いて半透明提示映像を表示している状態を示す図である。 本発明の第１の実施の形態に係る背景画像、情景画像及び、コンピュータ表示画像を示す図である。 本発明の第１の実施の形態に係る画像合成の手順の概略を示す図である。 本発明の第１の実施の形態に係る半透明提示手法の流れを示す図である。 本発明の第１の実施の形態に係る画像取得手順を示す図である。 本発明の第１の実施の形態に係る合成画像の合成手順を示す図である。 本発明の第２の実施の形態に係る画像合成の手順の概略を示す図である。 手書き入力方法の使い易さを５段階評価した図である。

以下、本発明の実施形態について図を用いながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限定されるものではない。

［第１の実施の形態］
［画像表示方法の概要］
はじめに、本発明の第１の実施の形態に係る画像表示装置を用いた画像表示方法の手法の概要について説明する。以降では、この手書きを行うときに表示画面を隠してしまう操作者１１の手や体、ペン等の操作体１２を半透明に表示する画像表示方法の手法を半透明提示手法と呼び、半透明提示手法によって作られた映像を半透明提示映像と呼ぶこととする。

図１は、本発明の実施の形態に係る画像表示装置１０を用いて操作者１１が手書き入力を行っている状態を示す図である。
画像表示装置１０は、手書き入力が可能なタブレットＰＣ（タブレット・パーソナルコンピュータ）１３と、タブレットＰＣ１３を操作する操作者１１の映像をタブレットＰＣ１３と共に撮影するＷｅｂカメラ５０（図６参照）とを有する。

タブレットＰＣ１３は、タッチパネルディスプレイ１４を備え、既存のＰＣで用いられるキーボードやマウスの代わりに、タッチパネルディスプレイ１４と、ペン型ポインティングデバイス１５とにより、マウスによるポインティングデバイス機能と、キーボードによる文字入力機能とを実現することができる。そして、タブレットＰＣ１３のタッチパネルディスプレイ１４に入力された文字１６や絵等をタッチパネルディスプレイ１４において表示する。

［半透明提示手法に必要な映像の概要］
本発明の実施の形態に係る半透明提示手法においては、半透明提示映像を作成するにあたって図２に示すように、３枚の画像を取得する必要がある。１枚目に必要な画像は、手書き入力可能なタブレットＰＣ１３において文字１６や絵等の手書きが行われていない画面を含む背景画像１７である。２枚目に必要な画像は、タブレットＰＣ１３のタッチパネルディスプレイ１４の画面に操作者１１が直接手書きを行っている様子を表した映像の１フレーム毎の画像（以下、情景画像１８と呼ぶ）である。本発明の実施の形態においては、この情景画像１８中の、画面に書き込んでいる操作体１２を半透明に表示する。３枚目に必要な画像は、操作者１１の手書き操作により、タブレットＰＣ１３のタッチパネルディスプレイ１４に表示されている文字１６や絵の画像（以下、コンピュータ表示画像１９と呼ぶ）である。

［画像の合成の概要］
次に、図３を参照して、取得した背景画像１７、情景画像１８、及びコンピュータ表示画像１９を用いて、半透明提示手法に必要な、画像の合成方法の概略について説明する。

まずはじめに、背景画像１７中のタッチパネルディスプレイ１４の領域に相当する画面領域２０に、手書きによって更新されるコンピュータ表示画像１９をはめ込むことによって、画面領域２０のみ更新される画像（以下、画面領域更新画像２１と呼ぶ）を作成する。次に、作成した画面領域更新画像２１と情景画像１８を一定の割合で重ねて合成する。これらの合成処理によって半透明提示映像２３の１フレームを作成する。

［具体的な方法］
次に、本発明の実施の形態に係る画像表示装置１０を用いて、半透明提示映像２３を取得する半透明提示手法の具体的な方法について説明する。

本発明の実施の形態に係る半透明提示手法の開発言語には、．ｎｅｔ ｆｒａｍｅｗｏｒｋの機能を利用するためＣ＃を用いる。画像処理には、現実環境にコンピュータを用いて情報を付加提示する技術を提供する拡張現実（（ＡＲ）Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）アプリケーション開発ライブラリであるＮｙＡＲＴｏｏｌＫｉｔを使用するためＤｉｒｅｃｔ３Ｄ（登録商標）を用いる。

［全体の流れ］
次に、図４を参照して、本実施の形態に係る画像表示装置１０を用いた半透明提示手法を実現する全体の流れについて説明する。まず、半透明提示手法に必要な、背景画像１７と情景画像１８及び、コンピュータ表示画像１９の３枚を取得する（ステップＳ１）。次に、取得した３枚の画像を合成する（ステップＳ２）。次に、その合成した画像をディスプレイ等の表示装置に出力する（ステップＳ３）。次に、画像表示装置１０に設けられた終了ボタンが操作者１１により押されたか否かを判別する（ステップＳ４）。終了ボタンが押されたと判別した場合には半透明提示手法を終了し、終了ボタンが押されたと判別されなかった場合にはステップＳ１の処理に戻る。したがって、画像表示装置１０に設けられた終了ボタン（図示せず）が押されるまでステップＳ１からステップＳ３までの作業を連続的に繰り返すことによって半透明提示映像２３を表示装置に表示し続けることができる。以上が半透明提示手法実現の全体の流れとなる。

ここで、手書きが行われている側のタブレットＰＣ１３のコンピュータをサーバーＰＣ３０、半透明提示映像２３を閲覧する側のコンビュータをクライアントＰＣ４０とすると、クライアントＰＣ４０側で画像の合成を行い、クライアントＰＣ４０側において画像を取得する処理を行う。

サーバーＰＣ３０は、制御装置としてのＣＰＵ、記憶装置としての記憶部、通信装置としての通信部、手書き入力可能なタッチパネルディスプレイ１４が含まれる。記憶部としては、ハードディスクドライブ（ＨＤＤ）や、メモリ（ＲＡＭ、ＲＯＭ等）が挙げられる。また、通信部としては、各種有線及び無線のインターフェース装置が挙げられる。

なお、詳細な説明は省略するが、クライアントＰＣ４０もサーバーＰＣ３０と同様のハードウェア構成を有している。但し、クライアントＰＣ４０は、タッチパネルディスプレイ１４が必ずしも必要ではないため、サーバーＰＣ３０により手書き入力された文字や絵を表示するための表示装置と、キーボード及び、マウス、トラッキングボール等のポインティングデバイスとを備える。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。ハードディスクドライブには、本発明のハードウェアを構成する画像表示装置１０として機能させるための各種プログラム等を記憶する。

［画像取得手順］
次に、図５を参照して、クライアントＰＣ４０側が、半透明提示映像を作成するのに必要な３枚の画像（背景画像１７、情景画像１８、コンピュータ表示画像１９）を取得する手順について説明する。

はじめに、クライアントＰＣ４０のＣＰＵは、撮像手段としてのＷｅｂカメラ５０により、背景画像１７と情景画像１８を撮影して取得する（ステップＳ１１）。具体的には、クライアントＰＣ４０に接続されたＷｅｂカメラ５０により、３０ｆｐｓのフレームレートで、３６０ｘ２４０のサイズの画像を取得する。

次に、クライアントＰＣ４０のＣＰＵは、Ｗｅｂカメラ５０により取得された画像のキャプチャーをＤｉｒｅｃｔＳｈｏｗ（登録商標）を用いて行う（ステップＳ１２）。このキャプチャーにより、背景画像１７と情景画像１８の取得を完了する（ステップＳ１３）。このとき取得する背景画像１７は、あらかじめ手書きが行われていない様子の画像を保存する。また、情景画像１８は、背景画像１７を撮影したときと同じアングルから、手書きが行われている様子を撮影して取得する。

次に、図５を参照して、コンピュータ表示画像１９の取得方法について説明する。はじめに、サーバーＰＣ３０のＣＰＵは、コンピュータ表示画像１９の情報を取得する（ステップＳ２１）。具体的には、サーバーＰＣ３０であるタブレットＰＣ１３のタッチパネルディスプレイ１４に表示されている文字１６や絵の画像を取得する。コンピュータ表示画像１９の取得にはＷｉｎ３２ＡＰＩの機能を用いてＢｉｔｍａｐクラスとして保持する。

次に、サーバーＰＣ３０のＣＰＵは、Ｂｉｔｍａｐクラスの画像データをｂｙｔｅ配列に変換する（ステップＳ２２）。続いて、サーバーＰＣ３０のＣＰＵは、ｂｙｔｅ配列に変換した画像データをリモートオブジェクトとして格納する（ステップＳ２３）。

サーバーＰＣ３０からクライアントＰＣ４０ヘの画像データの引き渡しは、．ｎｅｔ ｆｒａｍｅｗｏｒｋの機能の１つである．ｎｅｔ ｒｅｍｏｔｉｎｇを用いて行う。この．ｎｅｔ ｒｅｍｏｔｉｎｇを用いることにより、ネットワーク間の通信が可能となり、他方のＰＣ側のオブジェクトにアクセスすることができる。

次に、クライアントＰＣ４０のＣＰＵは、その画像データが格納されたサーバーＰＣ３０のリモートオブジェクトにアクセスする（ステップ３１）。次に、クライアントＰＣ４０のＣＰＵは、アクセスしたリモートオブジェクトの画像データを取得する（ステップＳ３２）。次に、クライアントＰＣ４０のＣＰＵは、ｂｙｔｅ配列の画像データを．ｎｅｔ ｆｒａｍｅｗｏｒｋで処理が可能なＩｍａｇｅクラスに変換する（ステップＳ３３）。

以上の工程によって、手書きが行われているコンピュータであるサーバーＰＣ３０であるタブレットＰＣ１３のタッチパネルディスプレイ１４上に表示されているコンピュータ表示画像１９を、閲覧側であるクライアントＰＣ４０において取得することができる（ステップＳ３４）。

［合成画像の合成手順］
次に、図６を参照して、取得した画像に基づき、合成画像を合成する手順について説明する。まず、背景画像１７とコンピュータ表示画像１９を合成して画面領域更新画像２１を作成する方法について述べる。この合成では、背景画像１７中の画面領域２０に、コンピュータ表示画像１９をはめ込む処理を行う。

はじめに、クライアントＰＣ４０のＣＰＵは、前述の通り、背景画像１７、情景画像１８、及びコンピュータ表示画像１９の３枚の画像を取得する（ステップＳ４１）。次に、クライアントＰＣ４０のＣＰＵは、背景画像１７中のタグの認識を行う（ステップＳ４２）。

この処理では、背景画像１７中に存在する画面領域２０を特定することができる。この画面領域２０の特定は、ＡＲアプリケーションの実装用ライブラリであるＡＲＴｏｏｌＫｉｔの．ｎｅｔ ｆｒａｍｅｗｏｒｋに対応したものであるＮｙＡＲＴｏｏｌｋｉｔを用いて行う。このＮｙＡＲＴｏｏｌｋｉｔにより、マーカーの位置と大きさの認識を行い、Ｄｉｒｅｃｔ３Ｄを用いて３Ｄオブジェクトを表示することができる。具体的には、画面領域２０付近にマーカーを配置し、ＮｙＡＲＴｏｏｌｋｉｔによって取得したそのマーカーの情報をもとに、画面領域２０の推定を行う（ステップＳ４３）。また、ＮｙＡＲＴｏｏｌｋｉｔを用いることによって、カメラの位置が変わった場合には、はめ込み中画像の形状変換と画面領域２０の特定を自動的に行う（ステップＳ４４）。これにより、カメラの位置が変わっても、半透明提示手法を継続することができる。

したがって、自動で画面領域の特定を行うことができるため、手動で画面領域２０のサイズや位置を操作者１１が設定する必要もなく、操作者１１の負担を軽減することができる。さらに、このライブラリを用いることにより、マーカーの傾きも認識することができることから、タッチパネルディスプレイ１４の正面以外からのアングルでも半透明提示映像を作成することができる。次に、クライアントＰＣ４０のＣＰＵは、コンピュータ表示画像１９を背景画像１７にはめ込む処理を行う（ステップＳ４５）。そして、このはめ込み処理により画面領域更新画像２１を完成する（ステップＳ４６）。

次に、クライアントＰＣ４０のＣＰＵは、作成した画面領域更新画像２１と情景画像１８をＤｉｒｅｃｔ３Ｄによりアルファブレンディングする処理を行う（ステップＳ４７）。この処理では、Ｄｉｒｅｃｔ３Ｄによりアルファブレンドを調整して情景画像１８を半透明にしながら、画面領域更新画像２１と合成する処理を行う。このとき、クライアントＰＣ４０のＣＰＵは、アルファブレンドを調整することにより、情景画像１８の透明度を自由に変更することができる。この処理が終了することにより、半透明提示映像２３の１フレームを完成することができる。すなわち、ステップＳ４１からステップＳ４７の処理を繰り返し行うことにより、半透明提示映像２３を完成することができる。

［合成画像の出力］
次に、完成した半透明提示映像２３を出力する処理について説明する。クライアントＰＣ４０のＣＰＵは、完成した半透明提示映像２３をＤｉｒｅｃｔ３Ｄを用いてクライアントＰＣの表示装置に出力する。この半透明提示映像２３の出力は、３０ｆｐｓのフレーム間隔で行う。これにより、半透明提示映像２３の動きは自然な動きを保持することができる。

以上の構成によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

［第２の実施の形態］
第１の実施の形態における画像表示装置１０を用いた半透明提示手法では、情景画像１８中の操作体１２すべてを半透明に表示する。つまり、手書きが行われる画面領域２０外の操作体１２も半透明に表示している。そこで、第２の実施の形態における画像表示装置１０を用いた半透明提示手法では、手書きが行われている画面領域２０に重なっている操作体１２だけを半透明に表示して、画面領域２０外の部分は半透明にしないで表示する。以下、第２の実施の形態について、第１の実施の形態と異なる点について説明する。

［第２の実施の形態の画像の合成］
次に、図７を参照して、取得した情景画像１８、及びコンピュータ表示画像１９を用いて、半透明提示手法に必要な、画像の合成方法について説明する。第２の実施の形態では、第１の実施の形態と異なり、情景画像１８とコンピュータ表示画像１９の２つの画像だけを用いることによって半透明提示映像２３を作成することができる。

具体的な処理としては、第１の実施の形態における半透明提示手法で使用した背景画像１７の代わりに、情景画像１８中のタッチパネルディスプレイ１４の領域に相当する画面領域２０に、コンピュータ表示画像１９をはめ込む処理を行う。これにより、手書きが行われている画面領域２０上の操作体１２が消去された画像である画面領域更新画像（２）２１ａを作成する。

次に、作成された画面領域更新画像（２）２１ａと情景画像１８のそれぞれの画素値を、一定の割合で重ねて合成する。第２の実施の形態の画像表示装置１０を用いた合成方法により画像を合成することにより、画面領域２０上の操作体１２だけ半透明で表示され、画面領域２０外の部分の操作者１１は通常に表示される半透明提示映像２３ａの１フレームを作成することができる。

［第３の実施の形態］
第２の実施の形態では、背景画像１７を取得する必要がなく、また、ＮｙＡＲＴｏｏｌｋｉｔを用いることによって、カメラの位置が変わっても画像中にはめ込中画像の形状変換と領域の特定を自動的に行うため、半透明提示手法を続けることができる。

そこで、第３の実施の形態では、クライアントＰＣ４０に通常の表示装置の代わりにヘッドマウントディスプレイとＷｅｂカメラ５０を接続する。したがって、半透明提示映像２３ａを視聴している視聴者に、ヘッドマウントディスプレイとＷｅｂカメラ５０を装着することにより、視聴者が移動しても第２の実施の形態に係る画像表示装置１０を用いた半透明提示手法で見続けることができる。

また、サーバーＰＣ３０に半透明提示映像を出力可能なヘッドマウントディスプレイとＷｅｂカメラ５０を接続する。その結果、操作者も同様にヘッドマウントディスプレイとＷｅｂカメラ５０を装着することにより、操作者が移動しても第２の実施の形態に係る画像表示装置１０を用いた半透明提示手法で見続けることができる。

［第４の実施の形態］
第１の実施の形態では、手書きが行われている画像を情景画像として撮影していたが、第４の実施の形態においては、文字１６や絵が表示されていないタブレットＰＣ１３のタッチパネルディスプレイ１４に手書きをしている情景を撮影する。

具体的には、タブレットＰＣ１３の表示なしタッチパネルディスプレイの画面領域２０にコンピュータ表示画像１９をはめ込み、半透明提示映像２３を作成する。これにより、手書きを行っている操作者１１は、ヘッドマウントディスプレイを通して作成した半透明提示映像を見ることによって、表示なしのタッチパネルディスプレイ上に表示されたコンピュータ表示画像１９に直接的に書き込んでいる感覚を味わうことが可能となる。つまり、第４の実施の形態においては、入力表示一体型タブレットＰＣ同様に直感的な手書きを可能になる、さらに、本発明の実施の形態に係る画像表示装置１０による半透明提示手法の特徴である画面隠れの軽減の効果が得ることができる。

なお本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態に種々の変形を加えた形態とすることができる。

具体的に、上述の実施の形態では、何ら情景画像を処理することなく、半透明化する場合について述べた。しかしながら本発明はこれに限らず、情景画像に各種の画像処理を施して半透明化してもよい。なおこのような画像処理は、エッジ強調処理、色相調整処理、講義している者の画像を特定キャラクタの画像に置き換える処理等を適用することができる。因みに、エッジ強調処理、色相調整処理は、各種の処理手法を広く適用することができ、一段とアノテーションの効果を増大させることができる。また講義している者の画像を特定キャラクタの画像に置き換える処理は、モーションキャプチャの手法を適用することができ、例えば子供等の特定の視聴者に人気のキャラクタの画像に、講義している者の画像を置き換えて、この特定の視聴者の注意を一段と喚起することができる。

また上述の実施例においては、操作者１１は、タッチパネルディスプレイ１４に対し、ペン型ポインティングデバイスを用いて手書きを行っていたがこれに限られない。また、ペン型ポインティングデバイス１５を用いてタッチパネルディスプレイ１４に手書きを行っているが、ペン型ポインティングデバイス１５の代わりに指により直接タッチパネルディスプレイ１４に対し手書きする場合に適用してもよい。また、ペン型ポインティングデバイス１５を用いてタッチパネルディスプレイ１４に手書きを行っているが、マウスやトラックボール等により文字や絵を手書きする場合に適用して、操作中に腕等により遮られる画面を見て取ることができるようにしてもよい。また、サーバーＰＣ３０とクライアントＰＣ４０とが別々の装置に構成されているがこれに限られない。

１０ 画像表示装置
１１ 操作者
１２ 操作体
１３ タブレットＰＣ
１４ タッチパネルディスプレイ
１５ ペン型ポインティングデバイス
１６ 文字
１７ 背景画像
１８ 情景画像
１９ コンピュータ表示画像
２０ 画面領域
２１ 画面領域更新画像
２３ 半透明提示映像
３０ サーバーＰＣ
４０ クライアントＰＣ
５０ Ｗｅｂカメラ

Claims (6)

1. 手書き入力可能なタブレットと、
   前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
   前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
   前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
   前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
2. 前記画像表示手段により表示画像が表示されていない前記タブレットを撮影した背景画像を取得する背景画像取得手段を備え、
   前記画像合成手段は、
   前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
   前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
   前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
   前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項１に記載の画像表示装置。
3. 前記画像合成手段は、
   前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
   前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
   前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
   前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項１に記載の画像表示装置。
4. 前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする請求項２又は３に記載の画像表示装置。
5. 請求項１乃至請求項４のいずれか１項に記載の画像表示装置における画像表示方法において、
   手書き入力可能な前記タブレットの操作に応じて表示画像を更新する画像作成ステップと、
   前記表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示ステップと、
   前記タブレットを操作する操作者の映像を前記タブレットと共に情景画像として撮影する撮像ステップと、
   撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
6. 操作者による手書き入力を受け付ける入力装置において、
   前記入力装置は、
   手書き入力可能なタブレットと、
   前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
   前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
   前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
   前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。

Images