JP2012032961A - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

Abstract

【課題】手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムを提供する。
【解決手段】手書き入力が行われていると判定される場合において、他端末から受信される情報が予め定められた条件を満たすか否かを判定する受信情報判定手段５４と、その判定が肯定される場合には、受信情報に対応するサムネイル画像６２を、表示装置２２の画面におけるタッチパネル２４による入力操作位置から所定の距離範囲内に表示させる同期表示制御手段５６とを、備えたものであることから、タッチパネル２４により手書き入力が行われている際に、利用者の視線が集中している手書き入力に係る部位に追従して他端末からの受信情報に係るサムネイル画像６２を表示させることで、利用者に確実にそのサムネイル画像６２を知覚させることができる。
【選択図】図３

Description

本発明は、画像を表示させる表示部を備えた画像表示装置、画像表示方法、及び画像表示プログラムの改良に関する。

画像を表示させる表示部を備えた画像表示装置が知られている。例えば、画像を表示させると共に利用者の接触に応じて入力を行うタッチパネルディスプレイを備えた画像表示装置がそれである。そのような画像表示装置においては、上記タッチパネルディスプレイに対する接触を維持しつつその接触部位を移動させること等により所謂手書き入力に相当する情報の入力が可能とされる。斯かる画像表示装置において、他端末との間で画像等の情報を共有する技術が提案されている。例えば、特許文献１に記載されたコミュニケーション端末装置がそれである。この技術によれば、他端末との間で情報の送受信を行う通信部を備えると共に、端末相互間で画像データを共有する際、受信された画像データを画面内に縮小表示することにより、次の共有候補の画像を確認してから共有可能とできるとされている。

特開２００４−３４８１８９号公報

しかし、前記従来の技術において、例えば画面に表示されている画像への書き込み等の手書き入力が行われている際に、他端末における処理により共有画像が切り替えられたり、画像データをはじめとする情報が受信された場合には、利用者の視線が手書き入力に係る部位に集中しているため、受信された情報を画面内に縮小表示したとしても気づかないことが考えられる。また、手書き入力を行っている手部によって情報の報知によく用いられるタスクトレイが隠されて視認できない等のおそれがあり、円滑なコミュニケーションを阻害するおそれがあった。このため、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムの開発が求められていた。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムを提供することにある。

斯かる目的を達成するために、本第１発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段とを、備えたことを特徴とするものである。

また、前記目的を達成するために、本第２発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、その手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、その受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程とを、含むことを特徴とするものである。

また、前記目的を達成するために、本第３発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、及び、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段として機能させるものであることを特徴とする画像表示プログラムである。

このように、前記第１発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置を提供することができる。

ここで、前記第１発明において、好適には、前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、前記表示制御手段は、その判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係る部分画像を表示させることができる。

また、好適には、前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、前記表示制御手段は、その音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。

また、好適には、前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末によりその画像の更新があった場合に前記判定を肯定するものであり、前記表示制御手段は、その更新された画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。

また、好適には、前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである。このようにすれば、前記タッチパネルによる軌跡情報の入力操作が中止された際に、不要な前記部分画像が表示され続けるのを好適に抑制することができる。

また、前記第２発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。

また、前記第３発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。

本発明の一実施例である画像表示装置の外観の概要を示す図である。 図１の画像表示装置に備えられた構成を示すブロック線図である。 図１の画像表示装置における制御部に備えられた制御機能の要部を説明する機能ブロック線図である。 図１の画像表示装置による同期表示制御について説明する図である。 図４に示す状態から音声情報の受信があった場合において、他端末により撮像された撮像画像が送信されてきた様子を例示している。 図５に示す撮像画像がサムネイル画像として表示された場合において、そのサムネイル画像が手書き入力操作位置付近にも追加表示される様子を例示している。 図１の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。 図１の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。 図１の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、右手入力に対応している。 図１の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、左手入力に対応している。 図１の画像表示装置における制御部による本実施例の画像表示制御の要部を説明するフローチャートである。 図１１の制御における他端末の情報変更検出制御の要部を説明するフローチャートである。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の一実施例である画像表示装置１０の外観の概要を示す図である。また、図２は、斯かる画像表示装置１０に備えられた構成を説明するブロック線図である。これらの図に示すように、本実施例の画像表示装置１０は、所定の画像（映像）を表示させると共に、利用者の接触操作に応じて入力を行うためのタッチパネルディスプレイ１２を備えている。また、図２に示すように、画像表示装置１０による画像表示制御をはじめとする各種制御を実行する制御部１４と、複数の画像情報（画像ファイル）等、各種情報を記憶する記憶部１６と、他端末例えば他の画像表示装置１０等との間で情報の送受信を行う通信部としての通信インターフェイス１８とを、備えて構成されている。ここで、他の画像表示装置１０とは、図２に示す画像表示装置１０と等価な構成を備えた別の装置であり、通信インターフェイス１８を介して情報の送受信が可能とされる他端末に対応する。また、好適には、図１に示すように、画像表示装置１０にはタッチパネルディスプレイ１２に対する入力子としてのペン２０等が備えられている。

図２に示すように、タッチパネルディスプレイ１２は、そのタッチパネルディスプレイ１２に所定の映像を表示させる表示部（ディスプレイ）としての表示装置２２と、利用者の指や備え付けのペン２０等によるタッチパネルディスプレイ１２への接触により入力を行う入力装置としてのタッチパネル２４とを、備えて構成されている。また、画像表示装置１０には、表示装置２２による画像（映像）の表示制御を行う表示制御部２６と、タッチパネル２４により入力される入力情報を処理する入力制御部２８とが備えられており、それら表示制御部２６及び入力制御部２８により表示装置２２及びタッチパネル２４を介してタッチパネルディスプレイ１２による画像表示制御乃至情報入力制御が実行される。

また、図２に示すように、制御部１４は、中央演算処理装置であるＣＰＵ３０と、読出専用メモリであるＲＯＭ３２と、随時書込読出メモリであるＲＡＭ３４とを、備えて構成されている。すなわち、制御部１４は、ＲＡＭ３４の一時記憶機能を利用しつつＲＯＭ３２に記憶された情報に基づいてＣＰＵ３０により種々の情報処理を実行する所謂マイクロコンピュータであり、表示制御部２６を介してタッチパネルディスプレイ１２（表示装置２２）に所定の画像を表示させる画像表示制御、そのタッチパネルディスプレイ１２（タッチパネル２４）への接触操作に応じて入力制御部２８を介して入力される入力信号を処理する入力処理制御、及び通信インターフェイス１８を介して他端末との間で情報の送受信を行う情報通信制御等、画像表示装置１０に関する各種制御に加えて、後述する本実施例の画像表示制御（同期表示制御）等を実行する。また、記憶部１６は、ハードディスクやフラッシュメモリ等の記憶装置であり、複数の画像情報を記憶する画像データベースをはじめとする各種データベースを備えている。

通信インターフェイス１８は、例えば画像表示装置１０を無線により或いは有線接続にてＬＡＮ４２に接続するＬＡＮインターフェイスである。画像表示装置１０は、この通信インターフェイス１８によりＬＡＮ４２に接続されることで、そのＬＡＮ４２を介して例えば他の画像表示装置１０等の他端末との間で情報の通信が可能とされる。また、好適には、ＬＡＮ４２は図示しないルータ等を介して公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（World Wide Web）等のインターネットに接続可能とされ、画像表示装置１０とインターネットに接続された他端末例えば他の画像表示装置１０との間での通信が可能とされたものである。すなわち、本実施例においては、通信インターフェイス１８が通信部として機能する。

記憶部１６は、画像データベース等の各種データベースを備えている。この画像データベースには、例えば、表示制御部２６を介してタッチパネルディスプレイ１２（表示装置２２）に所定の画像を表示させるための画像情報として、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）等のファイル形式の複数の画像データ（画像ファイル）が、それぞれの識別情報（ファイル名）をインデックスとして記憶されている。なお、表示装置２２は、静止画像のみならず動画を表示させるものであってもよく、画像データベースに記憶される画像情報は、静止画若しくは動画の何れであってもよい。また、ＰＤＦ（Portable Document Format）形式のドキュメントファイルや、Ｅｘｃｅｌ（登録商標）形式のワークシートファイル等が画像データベースに記憶されるものであってもよい。

また、図２に示すように、画像表示装置１０には、通話部３６、撮像部３８、及びセンサ部４０が備えられている。この通話部３６は、例えば、マイクロフォン及びスピーカを備えており、通信インターフェイス１８乃至ＬＡＮ４２等を介しての他端末例えば他の画像表示装置１０等との間の音声通話に際してマイクロフォンにより音声（音波）に対応する機械的な振動を電気信号（音声情報）に変換して通信対象へ送信すると共に、その通信対象から送られてくる音声情報（電気信号）に対応する音声をスピーカにより機械的な振動として出力させる制御を行う。

撮像部３８は、例えば、ＣＣＤ（charge coupled device）等の撮像素子及びレンズを備え、そのレンズから入射される映像をＣＣＤにより検知し、その映像を電子情報（映像データ）として取得する所謂デジタルカメラである。画像表示装置１０による画像乃至映像の撮影に際しては、上記レンズから取り込まれＣＣＤにより電子情報に変換された画像乃至映像が撮像され、記憶部１６等に所定の画像ファイルの形式で記憶される。また、そのようにして撮像された映像は、通信インターフェイス１８乃至ＬＡＮ４２等を介しての他端末例えば他の画像表示装置１０等へ送信される。

センサ部４０は、例えば、画像表示装置１０のフレーム（外枠）すなわちタッチパネルディスプレイ１２以外の部分に設けられ、利用者の手部４４（図４〜図１０を参照）等による接触を検出する接触センサであり、例えば圧力センサや静電容量型センサ等が好適に用いられる。また、好適には、タッチパネルディスプレイ１２の中央（例えば、その平面部における中心線）を基準として画像表示装置１０の左右の何れに利用者の手部４４等による接触があったのかを検出し得るように構成されている。

図３は、前記制御部１４に備えられた制御機能の要部を説明する機能ブロック線図である。この図３に示す手書き入力判定手段５０は、タッチパネル２４による軌跡情報の入力操作が実行中であるか否かを判定する。この軌跡情報とは、タッチパネル２４に対する接触操作に応じて描画される手書き入力情報に相当するものである。すなわち、画像表示装置１０においては、タッチパネル２４の平面部に対してペン２０や利用者の指４４ｆ（図４〜図８を参照）等の入力子を接触させた状態でその接触部位を移動させることにより、自由曲線や直線等を組み合わせた所謂手書き入力（フリードロー）が可能とされており、手書き入力判定手段５０は、斯かる入力操作が行われているか否かを判定する。例えば、タッチパネル２４に対して所定の入力子が接触させられている場合（入力制御部２８によりその接触が検出されている場合）には、軌跡情報の入力操作が実行中であると判定する。

また、手書き入力判定手段５０は、好適には、タッチパネル２４による軌跡情報の入力操作が実行中であると判定される場合において、その軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定する。例えば、センサ部４０による検出結果に基づいて、タッチパネルディスプレイ１２の中央を基準として画像表示装置１０の左右の何れの部位を利用者の手部４４が把持しているのかを判定し、画像表示装置１０の左半分に対応する部位を把持していると判定される場合すなわち左手に対応する手部４４ｌ（図４〜図１０を参照）で把持していると判定される場合には、軌跡情報の入力操作が右手入力によるものであると判定する一方、画像表示装置１０の右半分に対応する部位を把持していると判定される場合すなわち右手に対応する手部４４ｒ（図４〜図１０を参照）で把持していると判定される場合には、軌跡情報の入力操作が左手入力によるものであると判定する。また、画像表示装置１０の縦横方向の変更すなわちタッチパネルディスプレイ１２の中心回りの９０°の回転が行われた場合には、右手による把持部位乃至左手による把持部位も変更されるため、上記判定は、好適には、斯かる画像表示装置１０の縦横方向に基づいて実行される。このため、画像表示装置１０には、重力方向を基準とする画像表示装置１０の縦横方向を検出する重力センサが内蔵されていることが望ましい。

音声通話制御手段５２は、通話部３６乃至通信インターフェイス１８を介しての他端末例えば他の画像表示装置１０との間の音声通話を制御する。すなわち、タッチパネル２４等を介して他の画像表示装置１０との間で音声通話を行うための所定の発信操作が行われた場合や、他の画像表示装置１０からの着信がありタッチパネル２４等を介して所定の受信操作が行われた場合、通信インターフェイス１８乃至インターネット回線等を介してその通信対象との間で音声通話（電話通信）を成立させる。また、その音声通話に際して、通話部３６に備えられたマイクロフォンにより入力される音声情報を通信インターフェイス１８を介して通話相手へ送信すると共に、その通話相手から通信インターフェイス１８を介して受信される音声情報を通話部３６に備えられたスピーカにより出力させる。なお、この音声通話制御手段５２による音声通話と、後述する同期表示制御手段５６による同期表示制御とが併行して実行されることで、他の画像表示装置１０等との間で各利用者の撮像画像（撮像部３８により撮影された映像）を視認しつつ音声情報による通話を行う所謂テレビ電話（テレビ会議）が実現される。

受信情報判定手段５４は、手書き入力判定手段５０の判定が肯定される場合において、通信インターフェイス１８により受信される他端末例えば他の画像表示装置１０からの情報が予め定められた条件を満たすか否かを判定する。好適には、他の画像表示装置１０から音声通話制御手段５２による音声通話に係る音声情報の受信があった場合に上記判定を肯定する。また、好適には、他の画像表示装置１０との間で以下に詳述する同期表示制御手段５６により画像を共有している場合において、斯かる他の画像表示装置１０により共有に係る画像の更新があった場合に上記判定を肯定する。また、好適には、他の画像表示装置１０から画像の送信例えば撮像部３８により撮像された撮像画像の送信があった場合に上記判定を肯定する。

同期表示制御手段５６は、通信インターフェイス１８を介しての他端末例えば他の画像表示装置１０との間の同期表示制御を制御する。この同期表示制御とは、複数の画像表示装置１０におけるタッチパネルディスプレイ１２に共通の画像（以下、共有画像という）を表示させると共に、所定の画像表示装置１０における入力操作によってその共有画像が変更（更新）された場合には、その共有画像を共有している複数の画像表示装置１０それぞれのタッチパネルディスプレイ１２に表示された共有画像を変更する（更新を反映させる）制御である。すなわち、同期表示制御手段５６は、自機を含む複数の画像表示装置１０の間で共有画像として設定された画像に関して、自機におけるタッチパネル２４によりその共有画像を変更する操作が行われた場合には、その変更に係る情報を他の画像表示装置１０へ送信する一方、他の画像表示装置１０により上記共有画像の変更が行われてその変更に係る情報が受信された場合には、その変更に係る情報を自機の表示装置２２に表示された共有画像に反映する制御を行う。

また、同期表示制御手段５６は、受信情報判定手段５２の判定が肯定される場合、すなわち通信インターフェイス１８により受信される他の画像表示装置１０からの情報が予め定められた条件を満たすと判定される場合には、その判定に係る他の画像表示装置１０からの情報に対応する、表示装置２２の画面全体よりも小さい部分画像すなわちサムネイル画像６２（図４〜図１０を参照）を、その表示装置２２の画面におけるタッチパネル２４による軌跡情報の入力操作位置から所定の距離範囲内に（入力操作位置が画面内のどの部分に対応する位置であるかにかかわらず）表示させる。好適には、他の画像表示装置１０から音声通話制御手段５２による通話に係る音声情報の受信があった場合において、その音声情報の送信元である他の画像表示装置１０において撮像されて通信インターフェイス１８により受信される撮像画像を上記部分画像として表示させる。また、好適には、同期表示制御手段５６により他の画像表示装置１０との間で通信インターフェイス１８を介して画像を共有している場合において、斯かる他の画像表示装置１０により共有画像の更新があった場合には、その更新された共有画像を上記部分画像として表示させる。以下、この同期表示制御手段５６による部分画像の表示制御について、図４〜図１０等を用いて詳述する。

図４は、画像表示装置１０による同期表示制御について説明する図であり、タッチパネルディスプレイ１２に所定の画像６０が表示されると共に、他の画像表示装置１０との同期に係る複数（図４では３つ）のサムネイル画像６２ａ、６２ｂ、６２ｃ（以下、特に区別しない場合には単にサムネイル画像６２という）が部分表示された様子を例示している。この図４に示す例では、利用者の左手に対応する手部４４ｌにより画像表示装置１０が把持され、右手に対応する手部４４ｒの指４４ｆを入力子として軌跡情報６４の入力操作が行われている。すなわち、文字「２０１０」に対応する軌跡情報６４の手書き入力を実行中である様子を示しており、「２０１０」の最後の「０」が途中まで描かれている状態である。ここで、画像６０は複数の画像表示装置１０との間の同期表示制御に係る共有画像として設定されており、その画像６０に対応するサムネイル画像６２ａが表示装置２２の画面における右側上部に表示されている。このサムネイル画像６２ａは、図４に示すようにタッチパネルディスプレイ１２の画面全体に表示されている画像の縮小画像に相当するものであり、対象となる画像６０を共有する複数の画像表示装置１０それぞれの表示装置２２に表示される。また、図４に示すように軌跡情報６４の入力が行われている場合、各画像表示装置１０の同期表示制御手段５６によりその軌跡情報６４がサムネイル画像６２ａにリアルタイムで反映される表示制御が実行される。

図５は、図４に示す状態から他の画像表示装置１０の音声通話制御手段５２による音声情報の受信があった場合において、その画像表示装置１０の撮像部３８により撮像された撮像画像が送信されてきた様子を例示している。前述のように、他の画像表示装置１０から音声通話制御手段５２による通話に係る音声情報の受信があった場合には、同期表示制御手段５６によりその音声情報の送信元である他の画像表示装置１０において撮像されて通信インターフェイス１８により受信された撮像画像がサムネイル画像６２ｄとして表示装置２２の画面における一部に表示される。図５に示す例においては、図４に示すサムネイル画像６２ａの代わりに（サムネイル画像６２ａが表示されていた位置に）新たにサムネイル画像６２ｄが表示されている。

図６は、図５に示すように他の画像表示装置１０の撮像部３８により撮像された撮像画像が受信され、サムネイル画像６２ｄとして表示された場合において、そのサムネイル画像６２ｄが軌跡情報６４の入力操作位置付近にも追加表示される様子を例示している。この図６に示すように、同期表示制御手段５６は、他の画像表示装置１０からの受信情報に係るサムネイル画像６２ｄを、表示装置２２の画面におけるタッチパネル２４による軌跡情報６４の入力操作位置（タッチパネル２４に対する入力子の接触部位の座標点）から所定の距離範囲内に表示させる。この所定距離範囲は、好適には、入力中である軌跡情報６４の入力に影響を与えない（サムネイル画像６２の表示によって軌跡情報６４の入力を邪魔しない）範囲に相当する。図６においては、軌跡情報６４に重ねてサムネイル画像６２を表示させる例を示しているが、軌跡情報６４に対応する部位を避けてサムネイル画像６２を表示させるものであってもよい。また、図６に示すように、軌跡情報６４の入力操作が右手入力によるものである場合には、タッチパネル２４における入力子の接触部位に対して左上方にサムネイル画像６２ｄを表示させる。

図７及び図８は、軌跡情報６４の入力操作位置付近に追加表示されたサムネイル画像６２ｄがその入力操作位置の移動に伴い追従して移動させられる様子を例示している。なお、これら図７及び図８乃至後述する図９及び図１０においては、説明の便宜上画面右側における他のサムネイル画像６２を省略している。図７に示すように、表示装置２２の画面端（図７では左端）に近い部位がタッチパネル２４における入力子の接触部位である場合、サムネイル画像６２ｄは画面によってそのサムネイル画像６２ｄが切れない（すなわちサムネイル画像６２ｄ全体が画面内に表示される）限度において最も画面端寄り（図７では左寄り）の位置に表示させられる。そして、図８に示すように、タッチパネル２４による軌跡情報６６の入力操作に伴い、タッチパネル２４に対する入力子の接触部位（表示領域全体に対する座標）が移動させられると、その移動に追従してサムネイル画像６２ｄも移動表示させられる。

同期表示制御手段５６は、好適には、手書き入力判定手段５０による判定結果に基づいて表示装置２２の画面におけるサムネイル画像６２の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する。図９及び図１０は、タッチパネル２４による軌跡情報６６の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像６２ｄの表示位置の違いを説明する図であり、図９が右手入力に、図１０が左手入力にそれぞれ対応している。同期表示制御手段５６は、軌跡情報６６の入力操作が右手入力によるものである場合には、図９に示すように、タッチパネル２４における入力子（図９ではペン２０）の接触部位に対して左上方（例えば、接触部位の左上斜め４５°方向にサムネイル画像６２の中心が位置する部位）にサムネイル画像６２ｄを表示させる。また、軌跡情報６６の入力操作が左手入力によるものである場合には、図１０に示すように、タッチパネル２４における入力子（図１０ではペン２０）の接触部位に対して右上方（例えば、接触部位の右上斜め４５°方向にサムネイル画像６２の中心が位置する部位）にサムネイル画像６２ｄを表示させる。このように、右手入力及び左手入力それぞれに対応してサムネイル画像６２の表示位置を個別に制御することで、軌跡情報６６の入力を行っている手部４４によりサムネイル画像６２が隠されるのを抑制することができる。

また、同期表示制御手段５６は、好適には、手書き入力判定手段５０によりタッチパネル２４に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、受信情報判定手段５４による判定に応じて表示されたサムネイル画像６２の表示を停止する。例えば、タッチパネル２４に対する入力子の接触が解除された（入力制御部２８によりタッチパネル２４に対する接触操作が検出されない状態となった）と判定されてから予め定められた規定時間（例えば、５〜１０秒程度）が経過した場合には、軌跡情報６４等の入力操作部位に追従表示されるサムネイル画像６２の表示を停止し、表示装置２２の画面から消去する。ここで、図４等に示すように画面右側に他のサムネイル画像６２と共に表示されるサムネイル画像６２に関しては継続的に表示させてもよいし、入力操作部位に追従表示されるサムネイル画像６２と共に消去してもよい。

図１１は、画像表示装置１０の制御部１４による本実施例の画像表示制御（同期表示制御）の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、タッチパネル２４による軌跡情報６４等の入力操作が実行中であるか否かが判断される。このＳ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ２において、他端末例えば他の画像表示装置１０からの受信情報に変更があったか否か、すなわち通信インターフェイス１８を介して他の画像表示装置１０から新たな情報が追加で受信されたか否かが判断される。このＳ２の判断が肯定される場合には、ＳＡにおいて、図１２に示す他端末の情報変更検出制御が実行された後、Ｓ４以下の処理が実行されるが、Ｓ２の判断が否定される場合には、Ｓ３において、タッチパネル２４による軌跡情報６４等の入力操作が終了したか否かが判断される。このＳ３の判断が否定される場合には、Ｓ２以下の処理が実行されるが、Ｓ３の判断が肯定される場合には、Ｓ４において、タッチパネル２４により入力された軌跡情報６４が記憶部１６等に記憶（保存）された後、本ルーチンが終了させられる。

図１２は、図１１のＳＡにおける他端末の情報変更検出制御の要部を説明するフローチャートである。先ず、ＳＡ１において、他端末例えば他の画像表示装置１０との間で共有している共有画像に関して、他端末によりその共有画像の変更（更新）があったか否かが判断される。このＳＡ１の判断が肯定される場合には、ＳＡ３以下の処理が実行されるが、ＳＡ１の判断が否定される場合には、ＳＡ２において、他端末例えば他の画像表示装置１０から音声通話に係る音声情報の受信があったか否かが判断される。このＳＡ２の判断が否定される場合には、ＳＡ８以下の処理が実行されるが、ＳＡ２の判断が肯定される場合には、ＳＡ３において、他端末から受信された情報に対応するサムネイル画像６２が生成される。例えば、共有画像の変更があった場合にはその共有画像の縮小画像としてのサムネイル画像６２が、音声通話に係る音声情報の受信があった場合にはその音声情報の送信元である他端末において撮像されて通信インターフェイス１８を介して受信される撮像画像に係るサムネイル画像６２がそれぞれ生成される。次に、ＳＡ４において、タッチパネル２４による軌跡情報６４等の入力操作が右手入力及び左手入力の何れによるものであるかが判断される。この判断は、好適には、センサ部４０による検出結果に基づいて行われる。次に、ＳＡ５において、ＳＡ３にて生成されたサムネイル画像６２を表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させると共に、その入力操作位置の移動に応じてサムネイル画像６２を追従移動させる表示処理が実行される。次に、ＳＡ６において、タッチパネル２４に対する入力子の接触部位が移動させられたか否かが判断される。このＳＡ６の判断が肯定される場合には、ＳＡ５以下の処理が実行されるが、ＳＡ６の判断が否定される場合には、ＳＡ７において、書き込み終了すなわちタッチパネル２４に対する接触操作が終了したと判定されてから所定時間が経過したか否かが判断される。このＳＡ７の判断が否定される場合には、ＳＡ６以下の処理が実行されるが、ＳＡ７の判断が肯定される場合には、ＳＡ８において、ＳＡ５にて表示されたサムネイル画像６２の表示が停止された（非表示とされた）後、図１１に示すメインルーチンへ復帰させられる。

以上、図１１及び図１２に示す制御において、Ｓ１、ＳＡ４、及びＳＡ７が手書き入力判定手段５０の動作乃至手書き入力判定過程に、Ｓ２、ＳＡ１、及びＳＡ２が受信情報判定手段５４の動作乃至受信情報判定過程に、Ｓ４、ＳＡ３、ＳＡ５、ＳＡ６、及びＳＡ８が同期表示制御手段（表示制御手段）５６乃至表示制御過程にそれぞれ対応する。

このように、本実施例によれば、タッチパネル２４による軌跡情報６４等の入力操作が実行中であるか否かを判定する手書き入力判定手段５０（Ｓ１、ＳＡ４、及びＳＡ７）と、その手書き入力判定手段５０の判定が肯定される場合において、通信部としての通信インターフェイス１８により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段５４（Ｓ２、ＳＡ１、及びＳＡ２）と、その受信情報判定手段５４の判定が肯定される場合には、通信インターフェイス１８により受信される他端末からの情報に対応する、表示装置２２の画面全体よりも小さい部分画像であるサムネイル画像６２を、その表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段５６（Ｓ４、ＳＡ３、ＳＡ５、ＳＡ６、及びＳＡ８）とを、備えたものであることから、タッチパネル２４により手書き入力が行われている際に、他の画像表示装置１０等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像６２を表示させることで、利用者に確実にそのサムネイル画像６２を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置１０を提供することができる。

また、前記手書き入力判定手段５０は、タッチパネル２４による軌跡情報６４等の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、同期表示制御手段５６は、その判定結果に基づいて表示装置２２の画面におけるサムネイル画像６２の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであるため、タッチパネル２４により手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係るサムネイル画像６２を表示させることができる。

また、受信情報判定手段５４は、他端末から音声情報の受信があった場合に前記判定を肯定するものであり、同期表示制御手段５６は、その音声情報の送信元である他端末において撮像されて通信インターフェイス１８により受信される撮像画像をサムネイル画像６２として表示させるものであるため、タッチパネル２４により手書き入力が行われている際に、他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。

また、受信情報判定手段５４は、他端末との間で通信インターフェイス１８を介して画像を共有している場合において、他端末によりその画像の更新があった場合に前記判定を肯定するものであり、同期表示制御手段５６は、その更新された画像をサムネイル画像６２として表示させるものであるため、タッチパネル２４により手書き入力が行われている際に、他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。

また、手書き入力判定手段５０によりタッチパネル２４に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、同期表示制御手段５６は、サムネイル画像６２の表示を停止するものであるため、タッチパネル２４による軌跡情報６４等の入力操作が中止された際に、不要なサムネイル画像６２が表示され続けるのを好適に抑制することができる。

また、本実施例によれば、タッチパネル２４による軌跡情報６４等の入力操作が実行中であるか否かを判定する手書き入力判定過程（Ｓ１、ＳＡ４、及びＳＡ７）と、その手書き入力判定過程の判定が肯定される場合において、通信インターフェイス１８により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程（Ｓ２、ＳＡ１、及びＳＡ２）と、その受信情報判定過程の判定が肯定される場合には、通信インターフェイス１８により受信される他端末からの情報に対応する、表示装置２２の画面全体よりも小さいサムネイル画像６２を、その表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させる表示制御過程（Ｓ４、ＳＡ３、ＳＡ５、ＳＡ６、及びＳＡ８）とを、含むことから、タッチパネル２４により手書き入力が行われている際に、他の画像表示装置１０等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像６２を表示させることで、利用者に確実にそのサムネイル画像６２を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。

また、本実施例によれば、画像表示装置１０における制御部１４を、タッチパネル２４による軌跡情報６４等の入力操作が実行中であるか否かを判定する手書き入力判定手段５０、その手書き入力判定手段５０の判定が肯定される場合において、通信インターフェイス１８により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段５４、及びその受信情報判定手段５４の判定が肯定される場合には、通信インターフェイス１８により受信される他端末からの情報に対応する、表示装置２２の画面全体よりも小さいサムネイル画像６２を、その表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段５６として機能させるものであることから、タッチパネル２４により手書き入力が行われている際に、他の画像表示装置１０等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像６２を表示させることで、利用者に確実にそのサムネイル画像６２を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、手書き入力判定手段５０、音声通話制御手段５２、受信情報判定手段５４、及び同期表示制御手段５６は、何れも制御部１４に機能的に備えられたものであったが、その一部乃至全部が同等の機能を奏する個別の制御部として制御部１４とは別体に備えられたものであってもよい。また、画像表示装置１０においては、タッチパネルディスプレイ１２の表示制御乃至入力情報処理を行う表示制御部２６及び入力制御部２８が制御部１４とは別体の制御部として備えられたものであったが、これらはその一方乃至両方が制御部１４に機能的に備えられたものであってもよい。

また、前述の実施例において、受信情報判定手段５４は、通信インターフェイス１８により受信される他端末として、他の画像表示装置１０からの情報が予め定められた条件を満たすか否かを判定するものであったが、例えば、画像表示装置１０との間で共通のアプリケーションにより同期表示制御が可能とされたパーソナルコンピュータや携帯型情報端末等の他端末からの情報が予め定められた条件を満たすか否かを判定するものであってもよい。すなわち、同期表示制御手段５６により表示制御されるサムネイル画像６２は、必ずしも他の画像表示装置１０から受信された情報に対応するものでなくともよい。

また、前述の実施例では、センサ部４０の検出結果に基づいて手書き入力判定手段５０によりタッチパネル２４による軌跡情報６４等の入力操作が右手入力及び左手入力の何れによるものであるかを判定し、その判定結果に基づいてサムネイル画像６２の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する態様について説明したが、例えば、画像表示装置１０の起動時に右手入力及び左手入力の何れであるかをタッチパネル２４等による入力操作により設定可能とし、その設定結果に基づいてサムネイル画像６２の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであってもよい。

また、前述の実施例において、センサ部４０は、画像表示装置１０のフレームに設けられて利用者の手部４４による接触を検出する圧力センサや静電容量型センサ等の接触センサであったが、例えば、入力子としてのペン２０の画像表示装置１０（タッチパネル２４）に対する傾きを検出する重力センサ等であってもよく、その検出結果に対応するペン２０の傾きに基づいて、タッチパネル２４による軌跡情報６４等の入力操作が右手入力及び左手入力の何れによるものであるかを判定可能とするものであってもよい。

また、前述の実施例では、通信インターフェイス１８により受信される他端末からの情報に対応する単一のサムネイル画像６２を、表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させる態様について説明したが、例えば、他端末との共有に係る共有画像の更新と、他端末からの音声情報の検出とが同時に行われた場合等においては、それらの受信情報それぞれに対応する複数のサムネイル画像６２を表示装置２２の画面におけるタッチパネル２４による軌跡情報６４等の入力操作位置から所定の距離範囲内に表示させるものであってもよい。

また、前述した図１２の制御におけるＳＡ５の対応画像表示処理について、入力子が移動する度にサムネイル画像６２の表示位置が細かく変わると逆に確認が難しくなることが考えられる場合には、入力子の移動範囲が予め定められた所定範囲内ならばサムネイル画像６２を動かさない等の処理を行うものであってもよい。また、手書き入力を行っている最中に、追従移動しているサムネイル画像６２が更新されて送られてくる場合も考えられるため、追従移動しているサムネイル画像６２に関して更新があった場合にはそのサムネイル画像６２として更新画像を表示させる等の制御を行うものであってもよい。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１０：画像表示装置、１４：制御部（制御装置）、１８：通信インターフェイス（通信部）、２２：表示装置（表示部）、２４：タッチパネル、５０：手書き入力判定手段、５４：受信情報判定手段、５６：同期表示制御手段（表示制御手段）、６０：画像、６２：サムネイル画像（部分画像）、６４、６６：軌跡情報

Claims (7)

1. 画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、
   前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、
   該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、
   該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段と
   を、備えたものであることを特徴とする画像表示装置。
2. 前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、
   前記表示制御手段は、該判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである請求項１に記載の画像表示装置。
3. 前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、
   前記表示制御手段は、該音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである請求項１又は２に記載の画像表示装置。
4. 前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末により該画像の更新があった場合に前記判定を肯定するものであり、
   前記表示制御手段は、該更新された画像を前記部分画像として表示させるものである請求項１又は２に記載の画像表示装置。
5. 前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである請求項１から４の何れか１項に記載の画像表示装置。
6. 画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、
   前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、
   該手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、
   該受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程と
   を、含むことを特徴とする画像表示方法。
7. 画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、
   前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、
   該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、
   及び、該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段
   として機能させるものであることを特徴とする画像表示プログラム。

Images