JP2018010691A - 表示装置及び表示方法 - Google Patents

Abstract

【課題】ユーザ操作の利便性を向上させる表示装置を提供する。
【解決手段】本発明の表示装置（１００）は、映像表示部（２０）が有する表示領域（１０１）の非映像表示領域（１１２）に対するユーザの操作を受け付けると、当該操作に対応付けられた処理を実行させるための指示を上記映像表示部（２０）に与える操作受付部（１０）を備えている。
【選択図】 図１

Description

本発明は、表示装置に関し、特に、表示画面上の座標を指定することができるユーザインターフェースを搭載する表示装置及び表示方法に関する。

近年、スマートフォンやタブレット端末など、ユーザインターフェースの一つとしてタッチパネルを搭載したタッチパネル付き表示装置が広く知られている。

一般的なタッチパネル付き表示装置では、表示装置と、触れた部分の位置座標を出力するタッチパネルが一体となっている。このようなタッチパネル付き表示装置として、例えば特許文献１に開示されたタッチパネル付き画像表示装置がある。

上記タッチパネル付き画像表示装置では、タッチパネルのセンサ部から取得される座標を、映像処理部で使用されるパラメータに従い、タッチパネル制御部で変換し、当該表示装置に接続された映像の供給元であるＰＣ（パーソナルコンピュータ）へ変換座標を送信することで、タッチパネルのタッチ位置と表示装置に表示されている映像とを対応付けている。

ところで、上記タッチパネル付き画像表示装置は一般的に画像表示領域とタッチパネル領域は同等の面積を有するように配されることが多い。しかしながら、映像供給側は必ずしも画像表示領域全面に対して映像データを送信するとは限らない。

一例としては、画像表示装置がＦＨＤ（Full High Definition、1920×1080）サイズであるのに対して、映像供給側がＸＧＡ（eXtended Graphics Array、1024×768）サイズである場合、画像表示装置内の解像度変換部で、画像表示装置に適した解像度に変換を行うことで表示画像を再生成することがある。

前記の２種類の解像度はアスペクト比が異なるため、画像表示装置の最大解像度で表示するためには縦横偏倍処理を行うことになるが、映像によっては偏倍処理による変形が好ましくない場合もあるため、縦横の倍率は同じで、表示装置の最大解像度になるべく近い解像度に変換することもある。この場合、前記の例であれば、1440×1080の表示解像度となる。

前記例のように実際の表示解像度が画像表示装置の最大解像度と異なる場合、本発明の実施形態の説明で用いる図２に示すように、表示領域１０１内に、映像表示領域１１１の他に非映像表示領域１１２が発生することになる。

ところで、図２に示す映像表示領域１１１は、タッチパネルディスプレイに接続された映像供給装置（例えばＰＣ（パーソナルコンピュータ））から供給される映像サイズに合わせた大きさの領域であるため、当該映像表示領域１１１における座標と、映像供給装置上の座標とが一致する。従って、映像表示領域１１１に対してタッチ操作を行った場合、タッチ操作を行った位置の座標を変換して、映像供給装置に変換座標を送信することで、映像供給装置からタッチ操作に応じて処理された映像がタッチパネルディスプレイに供給されることになる。

特開２００６−７９１６４号公報（２００６年３月２３日公開）

このように、通常、画面に対する操作を行うタッチパネルなどのユーザインターフェースは、画面上に表示されている映像に対する操作を前提としている。このため、ユーザインターフェースデバイスまたはユーザインターフェースを搭載した表示装置側では、操作された座標空間をＰＣ等の映像供給装置側の座標空間に変換する処理を行い、変換座標を映像供給装置側に送信する。非映像表示領域においては、映像供給装置側としては操作を受け付けることができないため、通常は、タッチパネルディスプレイ側でトリミングして映像供給装置に送らないか、映像供給装置側のドライバでトリミングすることになる。このように、従来、非映像表示領域に対するユーザ操作を受け付けることができないという問題が生じる。

つまり、タッチパネルディスプレイ側に非映像表示領域が発生している場合には、当該非映像表示領域はユーザ操作の対象外となり、タッチパネルディプレイにおけるユーザ操作の利便性を低下させるという問題が生じる。

本発明は、上記の課題に鑑みなされたものであって、その目的は、ユーザ操作受付可能な表示装置側に非映像表示領域が発生している場合におけるユーザ操作の利便性を向上させる表示装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る表示装置は、ユーザの操作指示を取得する操作情報取得部と、操作情報取得部によって取得された前記操作指示に従って映像データから表示データを生成する表示データ生成部と、表示データ生成部によって生成された表示データに基づく映像を表示領域に表示する映像表示部と、操作情報取得部によって取得された前記操作指示が前記表示領域の非映像表示領域に含まれるか否かを判定する操作判定部と、操作判定部によって前記操作指示が前記非映像表示領域に含まれることが判定されたとき、前記表示領域に表示された前記映像に対して前記操作指示に対応付けられた処理の実行を前記表示データ生成部に指示する指示部を備える。

本発明の一態様によれば、ユーザ操作受付可能な表示装置側に非映像表示領域が発生している場合におけるユーザ操作の利便性を向上させるという効果を奏する。

本発明の実施形態１に係る表示装置の概略構成ブロック図である。 図１に示す表示装置の表示領域において、映像表示領域と非映像表示領域とを含む画面構成例を示す図である。 図１に示す表示装置をタッチパネルディスプレイに適用した場合の概略構成ブロック図である。 （ａ）は図３に示すタッチパネルディスプレイの非映像表示領域をタッチする前の表示例を示す図であり、（ｂ）は図３に示すタッチパネルディスプレイの非映像表示領域をタッチした後の表示例を示す図である。 本発明の実形態２に係るタッチパネルディスプレイにおいて、非映像表示領域に、映像表示領域を移動させるための移動ボタンを表示させた例を示す図である。 本発明の実施形態２に係るタッチパネルディスプレイにおいて、非映像表示領域に、映像表示領域の拡大縮小をさせるための拡大縮小ボタンを表示させた例を示す図である。 本発明の実施形態３に係るタッチパネルディスプレイの概略構成ブロック図である。 図７に示すタッチパネルディスプレイの表示領域において、複数の映像表示領域を含んだ画面構成例を示す図である。 （ａ）は図７に示すタッチパネルディスプレイの非映像表示領域をタッチする前の表示例を示す図であり、（ｂ）（ｃ）は図７に示すタッチパネルディスプレイの非映像表示領域をタッチした後の表示例を示す図である。

〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。

図１は、本発明の実施形態１に係る表示装置の概略構成ブロック図である。

図２は、上記表示装置における表示領域を示した図である。

本実施形態に係る表示装置は、図２に示すように、映像が表示される映像表示領域１１１及び当該映像表示領域１１１以外の非映像表示領域１１２を含んだ表示領域１０１に対して、ユーザの操作を受け付け、受け付けたユーザの操作に対応付けられた処理を実行するようになっている。

具体的な構成として、図１に示すように、表示装置１００は、映像供給装置２００から供給される映像を表示する映像表示部２０と、当該表示装置１００における、上記映像を表示する映像表示領域１１１及び上記映像表示領域以外の非映像表示領域１１２を含む表示領域１０１に対するユーザの操作を受け付けるユーザインターフェースとしての操作受付部１０とを備えている。

上記操作受付部１０は、上記非映像表示領域１１２に対して行われたユーザの操作を受け付けると、当該操作に対応付けられた処理を実行させるための指示を上記映像表示部２０に与え、上記映像表示部２０は、上記操作受付部１０から与えられた指示に従って生成した映像を表示する。ここで、操作に対応付けられた処理とは、例えば映像表示領域１１１の周囲に実線枠を表示させたり、映像表示領域１１１の周囲に操作ボタン領域を表示させたりすることである。つまり、映像表示部２０は、これらの処理を実行させるための指示が与えられると、対応する処理に応じた映像を生成するようになっている。

上記構成の表示装置１００について、さらに詳細に説明すると以下のようになる。

上記映像表示部２０は、映像受信部２１、表示データ生成部２２、表示制御部２３を含んでいる。

映像受信部２１は、映像供給装置２００から供給される映像信号を受け付けて映像データとして表示データ生成部２２に出力する。

表示データ生成部２２は、入力された映像データを映像表示部２０の解像度やタイミングに合うように再構成して映像表示部２０に表示させるための表示データを生成して、表示制御部２３に出力する。また、表示データ生成部２２は、生成した表示データが映像表示部２０に表示される際の位置情報（座標情報）等を含む表示パラメータを操作判定部１２に送る。

さらに、表示データ生成部２２は、後述するが、操作受付部１０の操作判定部１２からの操作コマンド（操作指示）を受け付けて、この操作コマンドに応じて表示データを生成するようになっている。なお、この操作判定部１２からの操作コマンドに応じた表示データの生成についての詳細は後述する。

表示制御部２３は、表示データ生成部２２からの表示データを映像表示部２０の画面上に表示するための表示制御信号を生成し、当該映像表示部２０に映像供給装置２００から供給された映像を表示させる。

操作受付部１０は、操作情報取得部１１、操作判定部１２、出力信号生成部１３を含んでいる。

操作情報取得部１１は、上記映像表示部２０の表示領域１０１に対して行われたユーザの操作に関する操作情報を取得し、取得した操作情報を操作判定部１２に出力する。

操作判定部１２は、操作情報取得部１１によって取得された操作情報に含まれるユーザの操作位置が、上記映像表示領域１１１に含まれるか、上記非映像表示領域１１２に含まれるかを判定し、上記非映像表示領域１１２に含まれると判定したとき、上記操作情報に含まれる操作内容に対応付けられた処理を実行させるための指示を上記映像表示部２０に与える。

具体的には、操作情報取得部１１からの操作情報と、上述した表示データ生成部２２からの表示パラメータとから、ユーザの操作指示が表示装置１００に対する操作指示か、映像供給装置２００に対する操作指示かを判定し、判定結果を出力信号生成部１３または表示データ生成部２２に出力する。つまり、判定結果が、表示装置１００に対する操作指示である場合には、当該操作指示を出力信号生成部１３に出力し、映像供給装置２００に対する操作指示である場合には、当該操作指示を操作コマンドとして表示データ生成部２２に出力する。

ここで、操作判定部１２は、上記操作情報に含まれる座標と、上記表示パラメータに含まれる座標情報とから、ユーザの操作指示が表示装置１００の表示領域１０１のどの領域、すなわち映像表示領域１１１か非映像表示領域１１２のいずれかの領域に含まれているかを判定し、映像表示領域１１１に含まれていれば、映像供給装置２００に対する操作指示であると判定し、非映像表示領域１１２に含まれていれば、表示装置１００に対する操作指示であると判定する。そして、操作判定部１２は、ユーザの操作位置を示す座標が、上記非映像表示領域１１２に含まれる座標であると判定したとき、当該操作に対応付けられた処理の実行を上記映像表示部２０の表示データ生成部２２に指示する。

出力信号生成部１３は、操作判定部１２からの判定結果を受け取ると、当該判定結果に含まれる映像供給装置２００に対する操作情報（例えばユーザの操作指示を受け付けた映像表示領域１１１における位置（ユーザのタッチ座標など））から、映像供給装置２００の座標系に変換して、操作信号として映像供給装置２００に出力する。

映像供給装置２００は、操作受付部１０からの操作信号を受け付けると、当該操作信号に応じた映像処理を施して得られた映像信号を、表示装置１００の映像表示部２０に出力する。

一方、表示データ生成部２２は、操作判定部１２から操作コマンドを受け取ると、当該操作コマンドに対応付けられた処理を実行して、当該操作コマンドに応じて表示データを生成し、表示制御部２３に出力する。ここで、操作コマンドに対応付けられた処理とは、例えば映像表示領域１１１に表示されている映像の拡大処理、縮小処理などを示すが、これらに限定されるものではない。

上記構成の表示装置１００によれば、ユーザの操作指示が表示領域１０１の映像表示領域１１１で行われた場合だけでなく、非映像表示領域１１２で行われた場合にも、処理が対応付けられているため、非映像表示領域１１２が発生するような場合におけるユーザ操作の利便性を向上させることができる。

以下の各実施形態では、ユーザインターフェースとして、上記操作受付部１０の代わりに、タッチパネル３０を用いたタッチパネルディスプレイ３００の例について説明する。

〔実施形態２〕
以下、本発明の実施の形態について、詳細に説明する。なお、前記実施形態１と同一機能を有する部材についての詳細な説明は省略する。

図３は、図１に示す表示装置１００をタッチパネルディスプレイ３００に適用した場合の概略構成ブロック図である。

（タッチパネルディスプレイ３００）
本実施形態では、図３に示すように、図１に示す表示装置１００の代わりに、タッチパネルディスプレイ３００を用いる。

タッチパネルディスプレイ３００は、映像表示部２０と、タッチパネル３０とを備える。なお、映像表示部２０は、図１に示す表示装置１００の映像表示部２０と同じ構成であり、詳細な説明は省略する。

タッチパネル３０は、前記の操作情報取得部１１の代わりにタッチ情報取得部３１、前記の操作判定部１２の代わりにタッチ操作判定部３２、前記の出力信号生成部１３の代わりに出力情報生成部３３を備えている。

すなわち、タッチ情報取得部３１は、ユーザのタッチ操作をタッチ信号として取得し、取得した操作情報を操作判定部１２に出力する。具体的には、タッチ情報取得部３１は、タッチパネル３０に設けられたタッチセンサ（図示せず）によって、ユーザが当該タッチパネル３０をタッチした位置、すなわち触った位置が電気信号に変換された信号をタッチ信号として取得し、当該タッチ信号からユーザがタッチしたタッチパネル３０の位置、すなわち座標を求めて、当該座標を含んだ情報をタッチ情報としてタッチ操作判定部３２に送る。

タッチ操作判定部３２は、上記タッチ情報取得部３１から取得したタッチ情報と、映像表示部２０の表示データ生成部２２から取得した表示パラメータとをもとに、ユーザのタッチ操作が映像供給装置２００からの映像を表示しているタッチパネルディスプレイ３００の表示領域（以下、映像表示領域１１１とする）に対する操作であるか、前記映像表示領域外（以下、非映像表示領域１１２とする）に対する操作であるかを判別する。

すなわち、タッチ操作判定部３２は、タッチ情報取得部３１からのタッチ情報と、上述した表示データ生成部２２からの表示パラメータとから、ユーザのタッチ指示がタッチパネルディスプレイ３００に対する操作指示か、映像供給装置２００に対する操作指示かを判定し、判定結果を出力情報生成部３３または表示データ生成部２２に出力する。つまり、判定結果が、映像供給装置２００に対する操作指示である場合には、当該操作指示を出力情報生成部３３に出力し、タッチパネルディスプレイ３００に対する操作指示である場合には、当該操作指示を操作コマンドとして表示データ生成部２２に出力する。

具体的には、タッチ操作判定部３２は、タッチ情報取得部３１からのタッチ情報に含まれるタッチパネル３０の座標と、表示データ生成部２２から取得した表示パラメータに含まれる座標情報とから、ユーザがタッチした位置の座標が、タッチパネルディスプレイ３００の表示領域１０１のどの領域、すなわち映像表示領域１１１か非映像表示領域１１２のいずれかの領域に含まれているかを判定する。

そして、タッチ操作判定部３２は、ユーザがタッチした位置の座標が、映像表示領域１１１に含まれていれば、映像供給装置２００に対するタッチ操作であると判定し、出力情報生成部３３に判定結果を出力する。一方、タッチ操作判定部３２は、ユーザがタッチした位置の座標が、非映像表示領域１１２に含まれていれば、タッチパネルディスプレイ３００に対するタッチ操作であると判定し、表示データ生成部２２にタッチ情報に含まれる座標に対応する処理を実行するための操作コマンドを出力する。

出力情報生成部３３は、タッチ操作判定部３２からの判定結果を受け取ると、当該判定結果に含まれる映像供給装置２００に対する操作情報（例えばユーザの操作指示を受け付けた映像表示領域１１１における位置（ユーザのタッチ座標など））から、映像供給装置２００の座標系に変換して、出力タッチ信号として映像供給装置２００に出力する。

出力情報生成部３３では、座標変換を以下のようにして行っている。なお、以下の例は、一例であり、この座標変換方法に限定されるものではない。

出力情報生成部３３は、タッチ操作判定部３２から送られた判定結果に含まれる座標を、映像表示領域１１１に表示されている映像に対応する座標に変換し、変換後の座標を出力タッチ信号として映像供給装置２００に送る。

映像供給装置２００は、タッチパネル３０からの出力タッチ信号を受け付けると、当該出力タッチ信号に応じた映像処理を施した映像信号を、タッチパネルディスプレイ３００の映像表示部２０に出力する。

一方、表示データ生成部２２は、タッチ操作判定部３２から操作コマンドを受け取ると、当該操作コマンドに対応付けられた処理を実行して、当該操作コマンドに応じて表示データを生成し、表示制御部２３に出力する。ここで、操作コマンドに対応付けられた処理とは、例えば映像表示領域１１１に表示されている映像の拡大処理、縮小処理などを示すが、これらに限定されるものではない。

（操作コマンド処理（１）：実線枠の付加処理）
ここで、上記構成のタッチパネルディスプレイ３００における非映像表示領域１１２へのタッチ操作による処理について以下に説明する。

図４の（ａ）は図３に示すタッチパネルディスプレイ３００の表示領域をタッチする前の表示例を示す図であり、（ｂ）は図３に示すタッチパネルディスプレイ３００の表示領域をタッチした後の表示例を示す図である。

タッチ操作判定部３２にて非映像表示領域１１２へのタッチ操作を認識した場合、タッチ操作判定部３２は表示データ生成部２２に対して、非映像表示領域１１２へのタッチ操作であることを操作コマンドとして出力する。

上記操作コマンドは、映像表示領域１１１の周囲に、実線枠１１３を付加する処理である。従って、表示データ生成部２２では、上記操作コマンドを受けて、ＯＳＤ（On-Screen Display）処理により、映像表示領域１１１に接する非映像表示領域１１２の部分に実線枠１１３を付加したものを映像データとして生成し、映像表示部２０に表示させる表示データとして表示制御部２３に出力する。

これにより、図４の（ａ）に示す表示画面のように、表示領域１０１における非映像表示領域１１２と映像表示領域１１１との区別がつきにくい場合であっても、表示領域１０１の所定の領域を操作者がタッチすることにより、図４の（ｂ）に示すように、映像表示領域１１１周辺に対して実線枠１１３が表示されるので、操作者はタッチ操作が非映像表示領域１１２に対して行ったものであると認識できるとともに、映像表示領域１１１と非映像表示領域１１２の境界を明確にすることができ、操作者によるタッチパネルディスプレイ３００の操作性が向上する。

また、実線枠１１３が表示されている状態で、再度、非映像表示領域１１２に対してタッチ操作が行われた場合、表示している実線枠１１３を消すような処理としてもよい。

非映像表示領域１１２を操作したときに表示される実線枠１１３の代わりに、映像表示領域１１１に表示されている映像に対する操作をタッチ操作で行うための操作ボタン領域を非映像表示領域１１２に表示するようにしてもよい。以下に、操作ボタン領域の付加処理の例について説明する。

（操作コマンド処理（２）：操作ボタン領域の付加処理）
タッチ操作判定部３２にて非映像表示領域１１２へのタッチ操作を認識した場合、タッチ操作判定部３２は表示データ生成部２２に対して、非映像表示領域１１２へのタッチ操作であることを操作コマンドとして出力する。ここまでは、上述の操作コマンド処理（１）と同じである。

上記操作コマンドは、映像表示領域１１１の周囲に、当該映像表示領域を移動させるための操作ボタン領域を付加する処理である。従って、表示データ生成部２２では、上記操作コマンドを受けて、ＯＳＤ（On-Screen Display）処理により、操作ボタン領域を付加したものを映像データとして生成し、映像表示部２０に表示させる表示データとして表示制御部２３に出力する。また、操作ボタン領域の表示位置を表示パラメータとしてタッチ操作判定部３２に出力する。

タッチ操作判定部３２は、タッチ情報から操作ボタン領域へのタッチ操作であるかを判定し、操作ボタン領域へのタッチ操作であると認識した場合、対応する操作ボタン領域への操作がなされたことを示す操作コマンドを表示データ生成部２２に対して出力する。

表示データ生成部２２は、上記操作コマンドを受けてこれに応じた処理を行う。

この場合、タッチ操作判定部３２は、非映像表示領域１１２においてユーザのタッチ操作が、操作ボタン以外へのタッチ操作であると判定した場合は、無効なタッチ操作であるとして、タッチ情報出力も操作コマンドも出力しないとしてもよいし、映像表示領域１１１に対する操作であると判定した場合は、該当するタッチ情報を出力情報生成部３３に出力してもよい。

操作ボタンとして、例えば図５に示すように、表示領域１０１の非映像表示領域１１２に上下左右を示す４つのボタン（操作ボタン領域（上）１２１、操作ボタン領域（右）１２２、操作ボタン領域（左）１２３、操作ボタン領域（下）１２４）を表示し、これら４つのボタンへのタッチ操作を映像表示領域１１１の移動指示としてもよい。この場合、上方向を示す操作ボタン領域（上）１２１へのタッチ操作をタッチ操作判定部３２で認識した場合、上方向への映像表示領域１１１の移動コマンドとして操作コマンドを表示データ生成部２２に出力し、表示データ生成部２２にて映像表示部２０上の映像表示領域１１１の表示座標を上方向に移動させるとともに、移動後の映像表示領域１１１の位置情報を表示パラメータとしてタッチ操作判定部３２に出力する。他の操作ボタン領域をタッチ操作した場合も、タッチ操作したボタン領域に対応付けられた方向に応じた処理が施される。

これにより、タッチパネルディスプレイ３００に専用の物理的なスイッチを設けることなく、操作者は映像供給装置２００を介することなく直感的に映像表示領域１１１を移動させる等の画面操作を行うことができる。

また、操作ボタンの例として、図６に示すように、表示領域１０１の非映像表示領域１１２に拡大/縮小を示す、操作ボタン領域（拡大）１３１、操作ボタン領域（縮小）１３２を表示し、これら２つのボタンへのタッチ操作を映像表示領域１１１の拡大、縮小処理するための指示としてもよい。この場合、拡大を示す操作ボタン領域（拡大）１３１へのタッチ操作をタッチ操作判定部３２で認識した場合、映像表示領域１１１の拡大コマンドとして操作コマンドを表示データ生成部２２に出力し、表示データ生成部２２にて映像表示部２０上の映像表示領域１１１の拡大後の位置情報を表示パラメータとしてタッチ操作判定部３２に出力する。操作ボタン領域（縮小）１３２をタッチ操作した場合、映像表示領域１１１の縮小コマンドとして操作コマンドを表示データ生成部２２に出力し、表示データ生成部２２にて映像表示部２０上の映像表示領域１１１の縮小後の位置情報を表示パラメータとしてタッチ操作判定部３２に出力する。

これにより、タッチパネルディスプレイ３００に専用の物理的なスイッチを設けることなく、操作者は映像供給装置２００を介することなく直感的に映像表示領域１１１を移動させる等の画面操作を行うことができる。

（操作コマンド処理（３）：非映像表示領域の連続タッチ操作による映像表示領域の移動処理）
操作コマンド処理（１）（２）では、いずれも、非映像表示領域１１２に操作タッチ領域をＯＳＤ処理により付加することで、当該操作タッチ領域を所望する処理のスイッチとして用いていたが、以下では、操作ボタン領域を付加せず、非映像表示領域１１２に対する連続タッチ操作による移動により、映像表示領域１１１を移動させる操作コマンド処理について説明する。ここで、連続タッチ操作とは、タッチパネル３０上で操作者が最初にタッチしてからタッチの状態を維持することである。従って、連続タッチ操作の移動とは、操作者がタッチパネル３０上でタッチ状態を維持しながら、所望の方向にタッチ位置を移動させることをいう。例えばドラッグ操作が、上記連続タッチ操作に相当する。

タッチ操作判定部３２は、上記タッチ情報から、ユーザのタッチ位置を示す座標が上記非映像表示領域１１２内で移動していると判定したとき、単位時間における座標の移動方向を算出し、当該算出した移動方向への上記映像表示領域１１１の移動を実行させるための指示を上記映像表示部２０に与える。

具体的には、タッチ操作判定部３２は、タッチ情報取得部３１が取得したタッチ情報から、非映像表示領域１１２へのタッチ操作が連続して続いており、かつタッチ座標が移動していることを認識した場合、単位時間におけるタッチ座標の移動方向を算出し、表示データ生成部２２に対して、非映像表示領域１１２への前記算出した移動方向を有するタッチ操作であることを操作コマンドとして出力する。

表示データ生成部２２は、上記操作コマンドを受けて、映像表示データの表示位置を指定された方向に移動させる。

これにより、操作者は、非映像表示領域１１２を連続してタッチ操作するだけで、映像供給装置２００を介することなく、タッチパネルディスプレイ３００上の任意の位置に映像表示領域１１１を移動させることができる。

また、タッチ操作判定部３２では、映像表示領域１１１の移動方向のみではなく移動量も算出し、移動方向とともに操作コマンドとして表示データ生成部２２に出力することで、当該表示データ生成部２２は指定された方向に指定された移動量だけ映像表示領域１１１を移動させるようにしてもよい。

これにより、より応答性能のよい操作を行うことができる。

ここまでの実施形態では、表示装置１００、タッチパネルディスプレイ３００は、映像供給装置２００から一つの映像信号を受け付けて、一つの映像を映像表示領域１１１に表示させるようにしているが、本発明はこれに限定されるものではなく、複数の映像信号を受け付けてもよい。

以下の実施形態では、複数の映像信号を受け付けて表示するタッチパネルディスプレイ３００の例について説明する。

〔実施形態３〕
以下、本発明の実施の形態について、詳細に説明する。なお、前記実施形態２と同一機能を有する部材についての詳細な説明は省略する。

図７は、図３に示すタッチパネルディスプレイに、２つの映像を表示するための構成を追加したタッチパネルディスプレイの概略構成ブロック図である。

図８は、図７に示すタッチパネルディスプレイにおける画面構成の一例を示す図である。

図８に示す画面構成において、表示領域１０１には、第１映像表示領域１１１ａと第２映像表示領域１１１ｂの２つの独立した映像表示領域が配されている。なお、表示領域１０１において、映像表示領域以外の領域を非映像表示領域１１２とする。

上記第１映像表示領域１１１ａには、図７に示す第１映像供給装置２０１からの映像信号が表示され、上記第２映像表示領域１１１ｂには、図７に示す第２映像供給装置２０２からの映像信号が表示される。

図７に示すように、第１映像供給装置２０１からの映像信号は、映像表示部２０の第１映像受信部２１ａに送られ、第２映像供給装置２０２からの映像信号は、映像表示部２０の第２映像受信部２１ｂに送られている。

なお、第１映像供給装置２０１、第２映像供給装置２０２は、前記実施形態２の図３に示した映像供給装置２００と同様にＰＣ等で実現される装置であってもよいし、映像を供給できる装置であれば他の装置であってもよい。

また、上記映像表示部２０内の第１映像受信部２１ａ、第２映像受信部２１ｂは、前記実施形態２の図３に示したタッチパネルディスプレイ３００の映像表示部２０に含まれる映像受信部２１と同じ構成である。

この場合、それぞれの映像供給装置からの映像信号は第１映像受信部２１ａ、第２映像受信部２１ｂにおいてそれぞれ内部で処理する映像データに変換されて、表示データ生成部２２に出力される。表示データ生成部２２はそれぞれの映像データを内部に保持されている配置情報にしたがって配置した一面の映像データに再構成（図８に示す画面構成）して、表示データとして表示制御部２３に出力する。なお、配置情報はタッチ操作を含む外部からの指示により変更可能としてもよい。

ここで、本実施形態では、タッチ操作は第１映像表示領域１１１ａのみに有効であり、出力情報生成部３３からの出力タッチ信号は第１映像供給装置２０１のみに出力される例について説明するが、これに限定されるものではない。本実施形態では、第１映像表示領域１１１ａは、第１映像供給装置２０１に対するタッチ操作が有効な映像表示領域を示す一方、第２映像表示領域１１１ｂは第２映像供給装置２０２に対するタッチ操作が有効でない映像表示領域を示す。表示データ生成部２２は、あらかじめ定められているか、または外部からの設定によっていずれの映像受信部に入力されている映像データに対してタッチ操作が有効であるかを判断する。

（操作コマンド処理：実線枠の付加処理）
上記構成のタッチパネルディスプレイ３００における非映像表示領域１１２へのタッチ操作による実線枠の付加処理について以下に説明する。

図９の（ａ）は、図７に示すタッチパネルディスプレイ３００の非映像表示領域１１２をタッチする前の表示例を示す図であり、（ｂ）（ｃ）は図７に示すタッチパネルディスプレイ３００の非映像表示領域１１２をタッチした後の表示例を示す図である。

ここで、第１映像表示領域１１１ａのみがタッチ操作対象領域であるため、図９の（ａ）に示す状態で、表示領域１０１の非映像表示領域１１２をタッチすると、図９の（ｂ）に示すように、第１映像表示領域１１１ａに実線枠１１３が表示され、第２映像表示領域１１１ｂに実線枠１１３は表示されない。この状態では、第２映像表示領域１１１ｂと非映像表示領域１１２との境界が不明瞭であるため、例えば図９の（ｃ）に示すように、第２映像表示領域１１１ｂを破線枠１１４で囲むようにする。これにより、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂと非映像表示領域１１２とを明確に区別でき、しかも、第１映像表示領域１１１ａと第２映像表示領域１１１ｂのうちどちらがタッチ操作可能な領域であるかも明確にすることができる。

具体的には、タッチ操作判定部３２にて非映像表示領域１１２へのタッチ操作を認識した場合、タッチ操作判定部３２は表示データ生成部２２に対して、非映像表示領域１１２へのタッチ操作であることを操作コマンドとして出力する。

表示データ生成部２２では、上記操作コマンドを受けて、ＯＳＤ（On-Screen Display
）処理により、第１映像表示領域１１１ａに接する非映像表示領域１１２の部分に実線枠１１３を付加したものを映像データとして表示制御部２３に出力する。この場合、表示領域１０１は、図９の（ｂ）に示すような画面構成となる。

また、表示データ生成部２２では、上記操作コマンドを受けて、ＯＳＤ処理により、第１映像表示領域１１１ａに接する非映像表示領域１１２の部分に実線枠１１３を付加するとともに、第２映像表示領域１１１ｂに接する非映像表示領域１１２の部分に破線枠１１４を付加したものを映像データとして表示制御部２３に出力する。この場合、表示領域１０１は、図９の（ｃ）に示すような画面構成となる。

これにより、図９（ａ）に示す表示画面のように、表示領域１０１における非映像表示領域１１２と第１映像表示領域１１１ａ、第２映像表示領域１１１ｂとの区別がつきにくい場合であっても、表示領域１０１の所定の領域を操作者がタッチすることにより、図９の（ｂ）（ｃ）に示すように、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ周辺に対して実線枠１１３、破線枠１１４が表示されるので、操作者はタッチ操作が非映像表示領域１１２に対して行ったものであると認識できるとともに、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂと非映像表示領域１１２の境界を明確にすることができ、操作者によるタッチパネルディスプレイ３００の操作性が向上する。

また、実線枠１１３が表示されている状態で、再度、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ、非映像表示領域１１２のいずれかの領域に対してタッチ操作が行われた場合、表示している実線枠１１３、破線枠１１４を消すような処理としてもよい。

本実施形態においても、前記実施形態１のように、非映像表示領域１１２を操作したときに表示される実線枠１１３、破線枠１１４の代わりに、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂに表示されている映像に対する操作をタッチ操作で行うための操作ボタン領域を非映像表示領域１１２に表示するようにしてもよい。また、操作ボタンは、再度、第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ、非映像表示領域１１２のいずれかの領域をタッチしたときに非表示にしてもよい。

また、本実施形態においても、前記実施形態２のように、タッチ操作を受け付けない第２映像表示領域１１１ｂ、非映像表示領域１１２に対するドラッグ操作に代表される連続するタッチ操作により、第１映像表示領域１１１ａを移動させるとしてもよい。この際、移動対象となる映像表示領域は、第１映像表示領域１１１ａのみでもよいし、第１映像表示領域１１１ａと第２映像表示領域１１１ｂの両方であってもよい。

〔実施形態４〕
本発明の他の実施形態について説明すれば以下の通りである。

本実施形態では、前記実施形態２，３を同時に実現する例について説明する。

すなわち、前記実施形態２、実施形態３は必ずしも排他のものではなく、タッチ操作内容によって判別することで、各機能を使い分けることができるようにすることが可能である。

一例としては、表示領域１０１における非映像表示領域１１２またはタッチ操作無効な映像表示領域（第２映像表示領域１１１ｂ）へのシングルタッチ操作によって実線枠１１３、破線枠１１４の表示、非表示を切り替え、非映像表示領域１１２またはタッチ操作無効な映像表示領域（第２映像表示領域１１１ｂ）へのダブルタッチ操作によって操作ボタンの表示、非表示を切り替え、非映像表示領域１１２またはタッチ操作無効な映像表示領域（第２映像表示領域１１１ｂ）への一定期間以上連続するタッチ操作（長押し操作）により映像表示領域（第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ）の移動を有効にするか、無効にするかの切替えとしてもよい。映像表示領域（第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ）の移動の有効時は無効時と区別できるように画面上に移動有効であることを示す文字や記号などの映像を付加してもよいし、対象となる映像表示領域に対してフィルタ処理などの映像効果をかけることで移動が有効であることを示してもよい。

なお、前記実施形態２〜４では、前記実施形態１の操作受付部１０の具体例として、タッチパネル３０を例に説明しているが、表示画面上の座標を指定することができるユーザインターフェースであれば、タッチパネル３０以外であってもよい。

〔ソフトウェアによる実現例〕
表示装置１００（タッチパネルディスプレイ３００）の制御ブロック（特に操作受付部１０、映像表示部２０およびタッチパネル３０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing
Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、表示装置１００（タッチパネルディスプレイ３００）は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る表示装置は、映像供給装置（２００）から供給される映像を表示する映像表示部（２０）と、上記映像表示部（２０）が有する、上記映像を表示する映像表示領域（１１１）及び上記映像表示領域（１１１）以外の非映像表示領域（１１２）を含む表示領域（１０１）に対するユーザの操作を受け付ける操作受付部（１０）とを備え、上記操作受付部（１０）は、上記非映像表示領域（１１２）に対するユーザの操作を受け付けると、当該操作に対応付けられた処理を実行させるための指示を上記映像表示部（２０）に与え、上記映像表示部（２０）は、上記操作受付部（１０）から与えられた指示に従って生成した映像を表示することを特徴としている。

上記の構成によれば、操作受付部（１０）は、非映像表示領域（１１２）に対するユーザの操作を受け付けると、当該操作に対応付けられた処理を実行させるための指示を映像表示部（２０）に与え、上記映像表示部（２０）は、上記操作受付部（１０）から与えられた指示に従って生成した映像を表示することで、非映像表示領域（１１２）のユーザの操作に対応した映像が表示されることになる。

従って、表示装置に映像表示領域（１１１）の他に非映像表示領域（１１２）が発生している場合におけるユーザ操作の利便性を向上させることができる。

本発明の態様２に係る表示装置は、上記態様１において、上記操作受付部（１０）は、上記映像表示部（２０）の表示領域（１０１）に対して行われたユーザの操作に関する操作情報を取得する操作情報取得部（１１）と、上記操作情報取得部（１１）によって取得された操作情報に含まれるユーザの操作位置が、上記映像表示領域（１１１）に含まれるか、上記非映像表示領域（１１２）に含まれるかを判定する操作判定部（１２）とを備え、上記操作判定部（１２）は、ユーザの操作位置が、上記非映像表示領域（１１２）に含まれると判定したとき、当該操作に対応付けられた処理の実行を上記映像表示部（２０）に指示してもよい。

上記の構成によれば、ユーザ操作が映像表示領域（１１１）に対しての操作なのか、非映像表示領域（１１２）に対しての操作なのかを判定するのに、実際のユーザの操作位置が用いられているため、ユーザの操作位置がどの領域であるのかの特定を容易にできる。

本発明の態様３に係る表示装置は、上記態様２において、上記操作に対応付けられた処理は、映像表示領域（１１１）の周囲に、枠（実線枠１１３）を付加する処理であるのが好ましい。

上記の構成によれば、操作に対応付けられた処理は、映像表示領域（１１１）の周囲に、枠（実線枠１１３）を付加する処理であることで、表示領域（１０１）における映像表示領域（１１１）と非映像表示領域（１１２）とを容易に区別することができる。

本発明の態様４に係る表示装置は、上記態様２において、上記操作に対応付けられた処理は、映像表示領域（１１１）の周囲に、当該映像表示領域（１１１）を移動または拡大・縮小させるための操作ボタン領域（操作ボタン領域（上）１２１、操作ボタン領域（右）１２２、操作ボタン領域（左）１２３、操作ボタン領域（下）１２４、操作ボタン領域（拡大）１３１、操作ボタン領域（縮小）１３２）を付加する処理であるのが好ましい。

上記の構成によれば、上記操作に対応付けられた処理は、映像表示領域の周囲に、当該映像表示領域を移動または拡大・縮小させるための操作ボタン領域を付加する処理であることで、ユーザは各操作ボタン領域をタッチ操作するだけで、映像表示領域（１１１）の移動や拡大・縮小を直感的に行うことが可能となり、ユーザ操作の利便性を向上させることができる。

本発明の態様５に係る表示装置は、上記態様２において、上記操作判定部（１０）は、上記操作情報から、ユーザの操作位置を示す座標が上記非映像表示領域（１１２）内で移動していると判定したとき、単位時間における座標の移動方向を算出し、算出した移動方向への上記映像表示領域（１１１）の移動を実行させるための指示を上記映像表示部（２０）に与えることが好ましい。

上記の構成によれば、ユーザの連続した操作による座標の移動方向及び移動量に応じて映像表示領域（１１１）を移動させることが可能となるので、ユーザは直感的に映像表示領域１１１を移動させることが可能となる。

本発明の態様６に係る表示装置は、上記態様１〜５のいずれか１態様において、上記映像表示部（２０）は、複数の映像供給装置（２０１，２０２）から供給される映像を、それぞれ異なる画面で同時に表示し、上記操作受付部（１０）は、上記映像表示部（２０）が有する、上記映像を表示する複数の映像表示領域（第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ）と、上記映像表示領域（第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ）以外の非映像表示領域（１１２）とを含む表示領域（１０１）に対するユーザの操作を受け付けることが好ましい。

上記の構成によれば、複数の映像が同時に表示され、複数の映像表示領域（第１映像表示領域１１１ａ、第２映像表示領域１１１ｂ）と一つの非映像表示領域１１２とを含む表示領域１０１であっても、態様１〜５のいずれか１態様と同様の作用効果が得られる。

本発明の態様７に係る表示装置は、上記態様１〜６のいずれか１態様において、上記操作受付部（１０）は、上記映像表示部の表示領域を覆うように配されたタッチパネル（３０）であることが好ましい。

本発明の態様８に係る表示装置の表示方法は、映像供給装置から供給される映像を表示すると共に、上記映像を表示する映像表示領域及び上記映像表示領域以外の非映像表示領域を含む表示領域に対するユーザの操作を受け付ける表示装置の表示方法であって、上記非映像表示領域に対するユーザの操作を受け付ける操作受付ステップと、上記操作受付ステップにおいて受け付けた操作に対応付けられた処理を実行させるための指示に従って上記表示装置に表示する映像を生成する映像生成ステップとを含むことを特徴としている。

上記構成の表示装置の表示方法は、態様１と同様の効果を奏する。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、供給側の映像サイズが、映像表示側の表示画面のサイズよりも小さい場合に生じる、非映像表示領域を含んだ表示領域を有し、当該表示領域に対するユーザ操作の受付を可能とする表示装置、例えばスマートフォン、タブレット端末などのユーザインターフェースの一つとしてタッチパネルを搭載した表示装置に利用することができる。

１０ 操作受付部
１１ 操作情報取得部
１２ 操作判定部
１３ 出力信号生成部
２０ 映像表示部
２１ 映像受信部
２１ａ 第１映像受信部
２１ｂ 第２映像受信部
２２ 表示データ生成部
２３ 表示制御部
３０ タッチパネル
３１ タッチ情報取得部
３２ タッチ操作判定部
３３ 出力情報生成部
１００ 表示装置
１０１ 表示領域
１１１ 映像表示領域
１１１ａ 第１映像表示領域
１１１ｂ 第２映像表示領域
１１２ 非映像表示領域
１１３ 実線枠
１１４ 破線枠
１２１ 操作ボタン領域（上）
１２２ 操作ボタン領域（右）
１２３ 操作ボタン領域（左）
１２４ 操作ボタン領域（下）
１３１ 操作ボタン領域（拡大）
１３２ 操作ボタン領域（縮小）
２００ 映像供給装置
２０１ 第１映像供給装置
２０２ 第２映像供給装置
３００ タッチパネルディスプレイ

Claims (4)

1. ユーザの操作指示を取得する操作情報取得部と、
   前記操作情報取得部によって取得された前記操作指示に従って映像データから表示データを生成する表示データ生成部と、
   前記表示データ生成部によって生成された表示データに基づく映像を表示領域に表示する映像表示部と、
   前記操作情報取得部によって取得された前記操作指示が前記表示領域の非映像表示領域に含まれるか否かを判定する操作判定部と、
   前記操作判定部によって前記操作指示が前記非映像表示領域に含まれることが判定されたとき、前記表示領域に表示された前記映像に対して前記操作指示に対応付けられた処理の実行を前記表示データ生成部に指示する指示部を備える、表示装置。
2. 前記指示部は、前記操作判定部によって、前記操作指示が前記非映像表示領域内で移動していると判定されたとき、前記操作指示の指示位置の移動方向に前記表示領域に表示された映像の移動させる指示を前記表示データ生成部に与える、請求項１に記載の表示装置。
3. 前記操作情報取得部を含むタッチパネルをさらに備え、
   前記操作情報取得部は、前記表示領域に対するタッチ情報を前記操作指示として取得する、請求項１または２に記載の表示装置。
4. ユーザの操作指示を取得する操作情報取得部と、前記操作情報取得部によって取得された前記操作指示に従って映像データから表示データを生成する表示データ生成部と、前記表示データ生成部によって生成された表示データに基づく映像を表示領域に表示する映像表示部を備える表示装置の表示方法であって、
   （ａ）前記操作情報取得部によって取得された前記操作指示が前記表示領域の非映像表示領域に含まれるか否かを判定するステップと、
   （ｂ）前記ステップ（ａ）において前記操作指示が前記非映像表示領域に含まれることを判定したとき、前記表示領域に表示された前記映像に対して前記操作指示に対応付けられた処理の実行を前記表示データ生成部に指示するステップを含む、表示方法。

Images