JP2018116605A - 表示制御装置及び表示制御方法 - Google Patents

Abstract

【課題】階層関係が設定された複数のオブジェクトの表示制御において、前面のオブジェクトに隠れている背面のオブジェクトの確認や操作を簡単に行うことができるようにする。【解決手段】表示手段に対しタッチ操作が行われた場合にタッチ位置及びタッチ圧力を検出する検出手段と、検出手段による検出結果に基づき表示手段によるオブジェクトの表示を制御する制御手段と、を備え、制御手段は、第１オブジェクトと、第１オブジェクトの背面にその一部又は全部が隠れるように第２オブジェクトとが表示されているときに、タッチ操作のタッチ圧力に応じて、第１オブジェクトが選択された通常選択状態、第１オブジェクトの背面にある部分の第２オブジェクトを視認可能な態様で表示する背面可視状態、又は、第１オブジェクト及び第２オブジェクトが選択された複数選択状態、とする表示制御装置。【選択図】図１

Description

本発明は、表示制御装置及び表示制御方法に関するものである。

コンピュータやスマートフォン等の表示装置に表示されるウィンドウやアイコン等のオブジェクトには、階層関係が定義されている。複数のオブジェクト同士で表示位置の一部又は全部が同じ場合、背面（下）にあるオブジェクトは、前面（上）にあるオブジェクトに隠されて見えないような態様で表示制御される。これによりあたかもデスクトップに書類を重ねるようなイメージで複数のオブジェクトが表示される。このような階層関係が定義された複数のオブジェクトの表示制御に関し、特許文献１には、前面のオブジェクトにユーザが任意の大きさの透過窓を設定し、透過窓を通して背面のオブジェクトを視認できるようにした技術が開示されている。

特開２０１５−１１４２９号公報

特許文献１に記載の技術では、ユーザが透過窓を設定する操作を行う必要があり煩雑であった。また、透過窓を設定するまで背面のオブジェクトの大きさや位置を把握することができないため、最適な位置に透過窓を設定するために試行錯誤する必要があった。また背面のオブジェクトを選択したり移動させたりといった操作を行うためには、前面のオブジェクト移動させる必要があり、手間がかかっていた。

本発明はこのような課題に鑑みてなされたものであり、階層関係が設定された複数のオブジェクトの表示制御において、前面のオブジェクトに隠れている背面のオブジェクトの確認や操作を簡単に行うことができるようにすることを目的とする。

本発明は、タッチ操作可能な表示手段における画像の表示を制御する表示制御装置であって、
前記表示手段に対しタッチ操作が行われた場合にタッチ位置及びタッチ圧力を検出する検出手段と、
前記検出手段による検出結果に基づき前記表示手段によるオブジェクトの表示を制御する制御手段と、
を備え、
前記制御手段は、第１オブジェクトと、前記第１オブジェクトの背面にその一部又は全部が隠れるように第２オブジェクトとが表示された初期状態において、前記第１オブジェクトに対するタッチ操作が検出された場合、前記タッチ操作のタッチ圧力に応じて、
前記第１オブジェクトが選択された通常選択状態、
前記第１オブジェクトの背面にある部分の前記第２オブジェクトを視認可能な態様で表示する背面可視状態、又は、
前記第１オブジェクト及び前記第２オブジェクトが選択された複数選択状態、
とすることを特徴とする表示制御装置である。

本発明は、タッチ操作可能な表示手段における画像の表示を制御する表示制御方法であ
って、
前記表示手段に対しタッチ操作が行われた場合にタッチ位置及びタッチ圧力を検出する検出工程と、
前記検出工程による検出結果に基づき前記表示手段によるオブジェクトの表示を制御する制御工程と、
を有し、
前記制御工程では、第１オブジェクトと、前記第１オブジェクトの背面にその一部又は全部が隠れるように第２オブジェクトとが表示された初期状態において、前記第１オブジェクトに対するタッチ操作が検出された場合、前記タッチ操作のタッチ圧力に応じて、
前記第１オブジェクトが選択された通常選択状態、
前記第１オブジェクトの背面にある部分の前記第２オブジェクトを視認可能な態様で表示する背面可視状態、又は、
前記第１オブジェクト及び前記第２オブジェクトが選択された複数選択状態、
とすることを特徴とする表示制御方法である。

本発明によれば、階層関係が設定された複数のオブジェクトの表示制御において、前面のオブジェクトに隠れている背面のオブジェクトの確認や操作を簡単に行うことができるようになる。

表示装置の構成を示す概略構成図 複数のオブジェクトの表示の初期状態及び階層関係の例を示す図 前面オブジェクトＡをタッチオンする様子を示す図 背面オブジェクトＢを視認可能な表示例を示す図 背面オブジェクトＢを選択するためのマルチタッチオンする様子を示す図 背面オブジェクトＢを選択した状態の表示例を示す図 背面オブジェクトＢをマルチタッチムーブで移動する様子を示す図 前面オブジェクトＡを選択した状態の表示例を示す図 前面オブジェクトＡをタッチムーブで移動する様子を示す図 タッチ圧力に応じたオブジェクトの表示制御を示すフローチャート 表示装置のシングルタッチによるオブジェクト選択制御の例を示す図 表示装置のシングルタッチによるオブジェクト選択制御の例を示す図

以下、図面を参照して、本発明の実施例を説明する。
図１は、実施例における表示装置１００の構成を示すブロック図である。

表示装置１００は、ＣＰＵ１０１、メモリ１０２、不揮発メモリ１０３、画像処理部１０４、ディスプレイ１０５、記録媒体Ｉ／Ｆ１０６、外部Ｉ／Ｆ１０８、通信Ｉ／Ｆ１０９、タッチセンサ１１１、操作部１１２、圧力センサ１１３、制御部５０を有する。これら各機能部は内部バス１５０によって相互にデータをやり取りできるように接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、不揮発メモリ１０３からプログラムを読み込み、実行することで、後述する各機能部の動作を実現する。以下の説明では、各機能部を動作主体として説明するが、実際にはＣＰＵ１０１がプログラムを実行することでそれらの機能が実現される。

制御部５０は、表示装置１００の全体の動作を制御するとともに、後述する各種処理を
制御する。

メモリ１０２は、データを一時的に記憶する記憶装置である。メモリ１０２は、例えば揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。メモリ１０２は、ＣＰＵ１０１が実行するプログラムを展開する作業エリアや、ＣＰＵ１０１と各機能部との間でやり取りするデータの一時的な記憶エリアとして用いられる。

不揮発メモリ１０３は、データを恒常的に記憶する記憶装置である。不揮発メモリ１０３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ
Ｍｅｍｏｒｙ）等で構成される。不揮発メモリ１０３は、画像データ、音声データ、その他のデータ、ＣＰＵ１０１が実行するための各種プログラム等を記憶する。

画像処理部１０４は、画像データに対し各種の画像処理を行う機能部である。画像処理部１０４は、不揮発メモリ１０３や記録媒体１０７から取得した画像データ、外部Ｉ／Ｆ１０８を介して取得した画像データ、通信Ｉ／Ｆ１０９を介して取得した画像データ等に対し、画像処理を行う。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等がある。画像処理部１０４は、画像処理を行う専用のハードウェアによって構成される。また、ＣＰＵ１０１が画像処理プログラムを実行することで画像処理部１０４の機能を実現する構成として良い。

ディスプレイ１０５は、画像データに基づく画像を表示する装置である。画像データやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する部品データに基づく画像を表示する。ディスプレイ１０５は、不揮発メモリ１０３や記録媒体１０７から取得した画像データ、外部Ｉ／Ｆ１０８を介して取得した画像データ、通信Ｉ／Ｆ１０９を介して取得した画像データ、画像処理部１０４が画像処理した画像データ等に基づく表示を行う。

記録媒体Ｉ／Ｆ１０６は、外部の記録媒体１０７との間でデータの入出力を行うインターフェースである。記録媒体Ｉ／Ｆ１０６は、記録媒体１０７を着脱可能な機構を有し、装着された記録媒体１０７からのデータの読み出し及びデータの書き込みを行う。

記録媒体１０７は、記録媒体Ｉ／Ｆ１０６に着脱されるメモリーカード、ＣＤ、ＤＶＤ等である。

外部Ｉ／Ｆ１０８は、外部機器との間でデータの入出力を行う無線又は有線のインターフェースである。

通信Ｉ／Ｆ１０９は、外部ネットワーク１１０との間でデータの入出力を行う無線又は有線のインターフェースである。

タッチセンサ１１１は、ユーザによってタッチ操作が行われた場合にタッチ位置を検出する。タッチセンサ１１１は透明部材で構成され、ディスプレイ１０５の表示面に貼り付けられ、タッチパネルを構成する。タッチパネルには、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式があるが、いずれでもよい。なお、タッチセンサ１１１は指やペン等の接触を検出するが、指やペン等の接近を検出するセンサを用いてもよい。

操作部１１２は、表示装置１００に対し指示を入力するためのユーザ操作を受け付ける。操作部１１２は、タッチセンサ１１１と圧力センサ１１３による検出結果を取得する。
操作部１１２は、タッチセンサ１１１からユーザのタッチ操作によるタッチ位置を取得し、ユーザがどのようなタッチ操作を行ったか判定し、制御部５０へ出力する。操作部１１２は、タッチセンサ１１１におけるタッチ位置とディスプレイ１０５の表示領域における座標との対応関係に基づき、タッチ位置を表示領域の座標に変換し、制御部５０へ出力する。

操作部１１２は、圧力センサ１１３からユーザのタッチ操作によるタッチ圧力を取得し、制御部５０へ出力する。制御部５０は、操作部１１２から受け取ったタッチ位置及びタッチ圧力に基づき、ディスプレイ１０５に表示するＧＵＩを制御する。これにより、ディスプレイ１０５に表示された画像に直接触れながら表示装置１００を制御しているかのような操作感が実現される。

操作部１１２は、タッチセンサ１１１や圧力センサ１１３の他、ユーザからの指示入力のための操作を受け付ける種々の入力装置から操作情報を取得するよう構成してもよい。入力装置としては、例えばキーボード等の文字入力装置、マウス等のポインティングデバイス、ボタン、ダイヤル、ジョイスティック等がある。

圧力センサ１１３は、ユーザによってタッチ操作が行われた場合にタッチ圧力を検出する。圧力センサ１１３は、タッチ圧力として、ディスプレイ１０５の表示面に対する指やペン等による押圧力の強度を連続的に検出する。圧力センサ１１３は、ディスプレイ１０５の表示面において、指やペン等の押圧によって歪む部分に設置された歪みゲージセンサである。操作部１１２は、歪みゲージセンサからの出力値を取得して、ディスプレイ１０５の表示面に対する押圧力を検出する。なお、圧力センサ１１３の構成はこれに限らない。例えば、圧力センサ１１３は、ディスプレイ１０５の表示面と平行に備えられた静電容量センサにより構成することもできる。静電容量センサは、ディスプレイ１０５の表示面に対する指やペンの押圧によって表示面が歪んだ場合の表示面と指やペンとの間の静電容量値を検出する。操作部１１２は、静電容量値から表示面と指やペンとの間の距離を算出し、この距離に基づいて表示面に対する押圧力を算出する。操作部１１２は、距離を押圧力に換算せず、距離そのものを押圧力に対応する検出値として用いる構成としてもよい。圧力センサ１１３は、ディスプレイ１０５の表示面に対する指やペンによる押圧力を検出できるセンサであれば、他の方式のものでもよい。また、圧力センサ１１３は、タッチパネルと一体に構成されるものであってもよい。

操作部１１２は、タッチセンサ１１１及び圧力センサ１１３の検出結果に基づき、以下のようなタッチ操作を検出することができる。なお、以下に例示するタッチ操作は一例であって、他の種類のタッチ操作を検出できるように構成してもよいし、以下の一部を検出できるように構成してもよい。
（１）タッチダウン：タッチパネルをタッチしていなかった指やペン等のタッチ手段でタッチパネルにタッチする操作であり、タッチ操作の開始を意味する。タッチダウンが検出されるときには、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。
（２）タッチオン：タッチパネルを指やペンでタッチしている状態を維持する操作。
（３）タッチムーブ：タッチパネルをタッチオンしたまま指やペンを移動させる操作。操作部１１２は、タッチ位置の変化に基づき、タッチムーブの移動方向の垂直成分及び水平成分を判定する。タッチムーブが検出されるときには、同時にタッチオンも検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。
（４）タッチアップ：タッチパネルをタッチしていた指やペンをタッチパネルから離す操作であり、タッチ操作の終了を意味する。
（５）タッチオフ：タッチパネルに対し指やペンがタッチしていない状態であり、タッ
チパネルはタッチ操作を待機する状態である。
（６）タップ：タッチパネルに対し、タッチオンとタッチオフを連続して行う操作。
（７）ダブルタップ：タップを２回連続で行う操作。
（８）マルチタッチ：タッチパネルの第１の位置を指やペンがタッチオンしている状態で、さらに第２の位置に指やペンでタッチする操作。
（９）マルチタッチダウン、マルチタッチオン、マルチタッチムーブ：タッチダウン、タッチオン、タッチムーブをマルチタッチで行う操作。
（１０）マルチタッチオフ：マルチタッチしていた指やペンを全てタッチアップする操作。
（１１）フリック：タッチパネルに対し所定速度以上で素早くストロークを描く操作。ストロークとは、タッチダウンから所定距離のタッチムーブを経てタッチアップする操作。フリックは、タッチパネルにおいて指やペンをタッチしたままある程度の距離だけ素早く動かして、そのまま離す操作であり、タッチパネルを指やペンではじくように素早くなぞる操作である。
（１２）ドラッグ：タッチパネルに対し所定速度未満でストロークを描く操作。
（１３）ピンチ：ピンチイン及びピンチアウトの総称。ピンチインは、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作。ピンチアウトは、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を遠ざけるタッチ操作。
（１４）タッチプッシュ：タッチパネルに対し指やペンで押圧する操作。

次に実施例の表示装置においてタッチ操作が行われる場合のオブジェクトの表示制御について、図２〜図１０を参照して説明する。

図２は、ディスプレイ１０５に表示される階層関係が設定された複数のオブジェクトの一例を示す図である。図２（Ａ）は、ディスプレイ１０５における実際の表示の態様を示し、図２（Ｂ）は、オブジェクトの階層関係を示す図である。図２（Ｂ）に示すように、この例では、２つのオブジェクトＡ（第１オブジェクト），オブジェクトＢ（第２オブジェクト）には、オブジェクトＡの背面（下）にオブジェクトＢが位置しているという階層関係が設定されている。この例では、ディスプレイ１０５の表示領域におけるオブジェクトＢの存在する領域は、オブジェクトＡの存在する領域に全て包含される。従って、図２（Ａ）に示すように、ディスプレイ１０５における表示の態様では、オブジェクトＢの全部がオブジェクトＡによって隠れるように表示される。この表示の態様をオブジェクトＡ，Ｂの表示の態様の初期状態とする。なお、オブジェクトＢの存在する領域の一部のみオブジェクトＡの存在する領域に含まれる場合、ディスプレイ１０５における表示の態様では、オブジェクトＢの一部がオブジェクトＡによって隠れるように表示される。なお、図２の例では、オブジェクトＡは透明度ゼロ（不透明）のオブジェクトであるとする。

図３は、図２（Ａ）の初期状態の表示において、ユーザが、オブジェクトＡに対しタッチオンの操作をしている様子を示す図である。

図４は、図３のタッチオンの操作において、ユーザがオブジェクトＡを第１閾値以上のタッチ圧力でタッチオンした場合（以下、強タッチという）の表示例を示す図である。図４に示すように、オブジェクトＡに対し強タッチされた場合、オブジェクトＡの背面にある部分のオブジェクトＢを視認可能な態様で表示する背面可視状態とする。図４の例では、オブジェクトＡの透明度を高くする（半透明にする）ことにより、背面可視状態とする。背面透過状態では、オブジェクトＢの前面（上）にあるオブジェクトＡが透過表示されるため、ユーザは、初期状態では隠れて見えなかったオブジェクトＢの位置や大きさを視認することができる。

図５は、図４の背面可視状態の表示において、ユーザが、オブジェクトＡに対し強タッチしている状態で、強タッチ操作とは異なる指又はタッチ手段によりオブジェクトＢをタッチオンするタッチ操作（マルチタッチオン）が行われた場合を示す図である。この場合、オブジェクトＢを選択された状態とする表示制御が行われる。

図６は、図５のマルチタッチオンの操作が行われた場合の表示制御例を示す図である。
図６（Ａ）は、マルチタッチオンの操作でオブジェクトＢが選択された場合に、オブジェクトＢをオブジェクトＡの前面に表示した状態でオブジェクトＢを強調表示することにより、オブジェクトＢが選択された状態とする表示制御を示す。すなわち、図６（Ａ）では、オブジェクトＡ，Ｂの階層関係（上下関係）を一時的に入れ替えた表示を行う。
図６（Ｂ）は、マルチタッチオンの操作でオブジェクトＢが選択された場合に、オブジェクトＡの透明度を高めた状態でオブジェクトＢを強調表示することにより、オブジェクトＢが選択された状態とする表示制御を示す。

このように、図４の表示により、ユーザは、背面にあるオブジェクトの位置や大きさを簡単に把握できる。さらに図５のマルチタッチ操作に応じて図６に示す表示制御を行うことで、ユーザは、背面にあるオブジェクトＢを、前面にあるオブジェクトＡを移動させる等の手順を経ずに、少ない手間で選択することができる。

図７は、オブジェクトＢに対するマルチタッチムーブ操作によりオブジェクトＢを移動する例を示す図である。図７に示すような、前面オブジェクトＡで隠された背面オブジェクトＢを移動させる操作も、図６に示す表示制御を行うことにより、簡単に行うことが可能となる。

図８は、図３のタッチオン操作において、ユーザがオブジェクトＡを第１閾値より小さいタッチ圧力でタッチオンした場合（以下、弱タッチという）の表示例を示す図である。図８に示すように、オブジェクトＡに対し弱タッチされた場合、オブジェクトＡが選択された状態（通常選択状態）とする。これは、ユーザがタッチしたオブジェクトが選択される通常の表示制御である。図８の例では、オブジェクトＡに一点鎖線の枠を重畳表示してオブジェクトＡを強調することで、オブジェクトＡの通常選択状態としている。なお、オブジェクトＡが選択されていることを示す表示態様は図８の例に限らない。

図９は、オブジェクトＡに対するタッチムーブ操作によりオブジェクトＡを移動する例を示す図である。図９に示すように、オブジェクトＡを移動させることで、背面のオブジェクトＢが視認可能になる。従来技術では、この状態にしなければオブジェクトＢを選択したり移動させたりする編集操作は行えなかった。しかし実施例によれば、図７で説明したように、前面オブジェクトＡを移動させなくても、背面オブジェクトの視認、選択、移動が可能である。

図１０は、実施例での表示装置について示したフローチャートである。このフローチャートは、制御部５０が、操作部１１２から取得するタッチセンサ１１１及び圧力センサ１１３の検出結果に基づいて行う表示制御の手順を示す。

Ｓ１０１において、制御部５０は、画像処理部１０４により階層関係にあるオブジェクトＡ，Ｂを含む画像データ（図２）を生成し、ディスプレイ１０５に表示するよう制御する。このときディスプレイ１０５には図２（Ａ）に示すような表示が行われ、オブジェクトＢの全部がオブジェクトＡの背面に隠れて見えない表示態様となる。この表示状態は、ユーザによるタッチパネルへのタッチ操作を待機する初期状態である。

Ｓ１０２において、制御部５０は、タッチパネルに対しオブジェクトＡをタッチオンす
るタッチ操作（以下、第１タッチ操作という）が行われたか判定する。オブジェクトＡに対する第１タッチ操作が行われた場合はＳ１０３へ遷移し、それ以外の場合はＳ１０２へ遷移する。

Ｓ１０３において、制御部５０は、オブジェクトＡに対する第１タッチ操作が強タッチであったか判定する。制御部５０は、圧力センサ１１３により検出された、オブジェクトＡに対する第１タッチ操作のタッチ圧力の情報を取得し、第１閾値と比較することでこの判定を行う。第１タッチ操作のタッチ圧力が第１閾値以上であれば第１タッチ操作が強タッチであったと判定しＳ１０４へ遷移し、第１閾値より小さければ強タッチではなかったと判定しＳ１２０へ遷移する。

Ｓ１０４において、制御部５０は、画像処理部１０４により、オブジェクトＡを半透明で描画し、ディスプレイ１０５に表示するように制御する（図４）。オブジェクトＡを半透明で表示することにより、オブジェクトＡの背面に配置されているオブジェクトＢが視認可能な態様（背面可視状態）で表示される。なお、背面可視状態を実現する表示態様としては、前面オブジェクトＡの半透明に限らない。例えば、オブジェクトＡの透明度は、オブジェクトＢが視認可能な態様で表示されればどのような透明度（透過率）でもよい。ユーザが背面可視状態における前面オブジェクトＡの透明度を任意に指定できる構成としてもよい。また、前面オブジェクトＡに対する強タッチ操作のタッチ圧力に応じて、背面可視状態における前面オブジェクトＡの透明度を可変とする構成でもよい。

Ｓ１０５において、制御部５０は、タッチパネルに対しマルチタッチオン操作（以下、第２タッチ操作という）が行われたか判定する。第２タッチ操作が行われた場合はＳ１０６へ遷移し、それ以外の場合はＳ１１６へ遷移する。

Ｓ１０６において、制御部５０は、Ｓ１０５で第２タッチ操作された位置がオブジェクトＢであったかを判定する。第２タッチ操作された位置がオブジェクトＢであった場合（図５）はＳ１０７へ遷移し、それ以外の場合はＳ１１５へ遷移する。

Ｓ１０７において、制御部５０は、画像処理部１０４により、オブジェクトＢが選択された状態を描画し、ディスプレイ１０５に表示するよう制御する（図６）。オブジェクトＢが選択された状態の表示態様は、図６（Ａ）のように第２タッチ操作をされたオブジェクトＢをオブジェクトＡよりも一時的に前面（上）に表示し、かつオブジェクトＢを強調表示する方法を採る。なお、図６（Ｂ）のようにオブジェクトＡ，Ｂの階層関係は変更せず、前面のオブジェクトＡの透明度を高くするとともにオブジェクトＢを強調表示する方法でもよい。オブジェクトＢの強調表示の態様は、図６（Ａ）や図６（Ｂ）で示すようにオブジェクトＢに太枠を重畳する方法の他、枠の色を変更する方法、点滅等の時間変化する表示態様等が考えられる。また、マルチタッチオン操作が行われている状態で、オブジェクトＢに対して所定のタッチ操作を行うことで、オブジェクトＡ，Ｂの階層関係を一時的又は固定的に変更する指示を入力できるように構成してもよい。所定のタッチ操作としては、ダブルタップ操作や第３の指やペンによるタッチ操作等が考えられる。

Ｓ１０８において、制御部５０は、タッチパネルに対しマルチタッチムーブ操作が行われたか判定する。マルチタッチムーブ操作が行われた場合はＳ１０９へ遷移し、それ以外の場合はＳ１１０へ遷移する。なお、上記のようにここではオブジェクトＡ，Ｂの階層関係を一時的に変更するタイミングがＳ１０７においてオブジェクトＢを選択するマルチタッチ操作が行われた時点とする例を説明したが、Ｓ１０８においてマルチタッチムーブ操作が行われた時点としてもよい。また、Ｓ１０４の時点で、すなわち背面可視状態の表示態様としてオブジェクトＡ，Ｂの階層関係の変更を行ってもよい。

Ｓ１０９において、制御部５０は、画像処理部１０４により、マルチタッチムーブ操作に応じてオブジェクトＢの位置を移動するよう描画し、ディスプレイ１０５に表示するよう制御する（図７）。

Ｓ１１０において、制御部５０は、第１タッチ操作（オブジェクトＡを強タッチ）、第２タッチ操作（オブジェクトＢを選択するマルチタッチ）がそれぞれタッチアップ、マルチタッチアップされたか判定する。第１タッチ操作及び第２タッチ操作の両方がタッチアップされた場合はＳ１１１へ遷移し、それ以外の場合はＳ１１３へ遷移する。

Ｓ１１１において、制御部５０は、画像処理部１０４により、オブジェクトＢの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＢの選択状態を解除するとともに、Ｓ１０７で一時的に変更したオブジェクトＡ，Ｂの階層関係を元に戻し、オブジェクトＢがオブジェクトＡの背面になるようにする。

Ｓ１１２において、制御部５０は、画像処理部１０４により、オブジェクトＡの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＡの透明度を元の透明度（ここでは不透明）に戻し、背面可視状態を解除する。Ｓ１１１及びＳ１１２により、ディスプレイ１０５の表示は初期状態（タッチ待機状態）に戻る（図３）。

Ｓ１１３において、制御部５０は、第２タッチ操作（オブジェクトＢを選択するマルチタッチ）がタッチアップされたか判定し、タッチアップされていればＳ１１４へ遷移し、されていなければＳ１０８へ遷移する。

Ｓ１１４において、制御部５０は、画像処理部１０４により、オブジェクトＢの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＢの選択状態を解除するとともに、Ｓ１０７で一時的に変更したオブジェクトＡ，Ｂの階層関係を元に戻し、オブジェクトＢがオブジェクトＡの背面になるようにする。このとき、オブジェクトＡに対する強タッチは継続しているので、背面可視状態（オブジェクトＡを半透明表示する態様）は継続される。

Ｓ１１５において、制御部５０は、第２タッチ操作（オブジェクトＢ以外をタッチするマルチタッチ）がタッチアップされたか判定し、タッチアップされていればＳ１０５へ遷移し、されていなければＳ１１５へ遷移する。これにより、オブジェクトＡを強タッチした状態で、オブジェクトＢ以外にマルチタッチした場合には、背面可視状態を維持したまま、オブジェクトＢに対するマルチタッチを待機するよう制御される。

Ｓ１１６において、制御部５０は、第１タッチ操作（オブジェクトＡを強タッチ）がタッチアップされたか判定し、タッチアップされていればＳ１１７へ遷移し、されていなければＳ１１８へ遷移する。

Ｓ１１７において、制御部５０は、画像処理部１０４により、オブジェクトＡの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＡの透明度を元の透明度（ここでは不透明）に戻し、背面可視状態を解除する。Ｓ１１７により、ディスプレイ１０５の表示は初期状態（タッチ待機状態）に戻る（図３）。

Ｓ１１８において、制御部５０は、オブジェクトＡに対する強タッチのタッチ圧力が低下しているか判定する。制御部５０は、圧力センサ１１３により連続的に出力されている、オブジェクトＡに対する第１タッチ操作のタッチ圧力の情報を取得し、第２閾値と比較
することでこの判定を行う。制御部５０は、第１タッチ操作のタッチ圧力が第２閾値以上であれば第１タッチ操作のタッチ圧力は低下していないと判定しＳ１０５へ遷移する。一方、制御部５０は、第１タッチ操作のタッチ圧力が第２閾値より小さければ第１タッチ操作のタッチ圧力が低下したと判定しＳ１１９へ遷移する。これにより、オブジェクトＡに対する強タッチ操作により背面可視状態となった後、強タッチ操作のタッチ圧力が第２閾値より小さくならない限り、背面可視状態が維持される。第１閾値と第２閾値は等しい値としてもよいし、第２閾値が第１閾値より小さい値としてもよい。第２閾値を第１閾値より小さい値とした場合、一旦強タッチにより背面可視状態となった後は、多少強タッチのタッチ圧が低下しても背面可視状態が維持されるようになるため、背面可視状態を維持するためのユーザのタッチ操作の負担が軽減される。これにより、背面可視状態で背面のオブジェクトＢを確認する作業性が向上する。

Ｓ１１９において、制御部５０は、画像処理部１０４により、オブジェクトＡの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＡの透明度を元の透明度（ここでは不透明）に戻し、背面可視状態を解除する。Ｓ１１９により、ディスプレイ１０５の表示は初期状態（タッチ待機状態）に戻る（図３）。

Ｓ１２０において、制御部５０は、画像処理部１０４により、オブジェクトＡが選択された状態を描画し、ディスプレイ１０５に表示するよう制御する（図８）。Ｓ１１９，Ｓ１２０により、一旦強タッチにより背面可視状態となった後、強タッチ操作がタッチアップはしないもののタッチ圧力が大きく低下した場合には、背面可視状態を解除するとともに、前面オブジェクトＡが選択された状態となる。これにより、背面オブジェクトＢの位置や大きさの確認だけした後、前面オブジェクトＡに対する移動等の編集作業を行いたい場合のタッチ操作を簡潔にできる。

Ｓ１２１において、制御部５０は、タッチパネルに対しタッチムーブ操作が行われたか判定し、タッチムーブ操作が行われた場合はＳ１２２へ遷移し、それ以外の場合はＳ１２３へ遷移する。

Ｓ１２２において、制御部５０は、画像処理部１０４により、タッチムーブ操作に応じてオブジェクトＡの位置を移動するよう描画し、ディスプレイ１０５に表示するよう制御する（図９）。

Ｓ１２３において、制御部５０は、第１タッチ操作（オブジェクトＡを弱タッチ）がタッチアップされたか判定し、タッチアップされていればＳ１２４へ遷移し、されていなければＳ１２１へ遷移する。

Ｓ１２４において、制御部５０は、画像処理部１０４により、オブジェクトＡの表示態様を初期状態に戻し、ディスプレイ１０５に表示するよう制御する。制御部５０は、オブジェクトＡの選択状態を解除する。オブジェクトＡの選択状態は、オブジェクトＢの選択状態と同様、枠線等の強調画像を重畳することにより表示される。

以上説明した実施例の表示装置によれば、制御部５０は、圧力センサ１１３による検出結果に基づき、オブジェクトＡに対するタッチ操作のタッチ圧力に応じて、通常選択状態又は背面可視状態となるようにオブジェクトＡ，Ｂの表示態様を制御する。実施例の表示装置によれば、階層関係（上下関係）が規定された複数のオブジェクトの表示において、前面にあるオブジェクトの背面に別のオブジェクトが隠れている場合も、前面オブジェクトを移動させずに背面オブジェクトの位置や大きさを視認することができる。また、背面オブジェクトの移動やその他操作を容易に行うことが可能となり、操作性が向上する。

（変形例）
上記の実施例では、背面可視状態において背面オブジェクトＢを選択するためのタッチ操作としてマルチタッチを行う例を示したが、背面オブジェクトＢを選択するためのタッチ操作はこれに限らない。例えば、前面オブジェクトＡに対する強タッチ操作により背面可視状態となった後、強タッチ操作を行った指又はペン等を画面から離す（タッチアップ）ことにより、オブジェクト選択のための特別な動作モード（編集モードという）に移行するようにしてもよい。その場合の表示制御の一例を図１１に示す。図１１（Ａ）に示すように、オブジェクトＡに対し第１閾値以上のタッチ圧力で強タッチする第１タッチ操作が行われると、オブジェクトＡの透明度を高めることでオブジェクトＢを視認可能に表示する背面可視状態となる。この背面可視状態において第１タッチ操作（オブジェクトＡに対する強タッチ）を行った指又はペンを画面から離すと、図１１（Ｂ）に示すように、背面可視状態の表示態様が維持される。さらに、編集対象のオブジェクトを選択するタッチ操作を受け付ける待機状態となる（編集モード）。編集モードにおいてオブジェクトＢに対しシングルタッチ操作でタッチオンすることで、図１１（Ｃ）に示すようにオブジェクトＢが選択される。図１１（Ｃ）の例では、選択されたオブジェクトＢは一時的にオブジェクトＡと一時的に階層関係が入れ替えられ、オブジェクトＡより前面に表示されている。選択状態のオブジェクトＢの表示態様がこれに限られないのは上述の実施例と同様である。また、編集モードにおいてオブジェクトＡでもＢでもない位置をシングルタッチ操作でタッチオンすることで、図１１（Ｄ）に示すように編集モードを解除し初期状態の表示に戻る。このように、強タッチにより編集モードに移行するように制御することで、シングルタッチ操作でオブジェクト選択及び編集の主要な操作を行うことができ、操作が容易になる。

上記の実施例では、オブジェクトＡに対するタッチ圧力が第１閾値以上であった場合に、オブジェクトＢを可視状態とする例を示した。しかしながら、オブジェクトＡに対し第１閾値以上のタッチ圧力でタッチ操作が行われた場合に、タッチされたオブジェクトＡ及びその近傍にあるオブジェクト（ここではオブジェクトＢ）が選択された複数選択状態としてもよい。このような表示制御を行う場合の表示例を図１２に示す。図１２（Ａ）において前面のオブジェクトＡに対し第１閾値以上のタッチ圧力 によるタッチ操作が行われ
た場合、図１２（Ｂ）に示すように、オブジェクトＡ及びオブジェクトＢが選択された複数選択状態となる。さらに、図１２（Ｂ）の例では、複数選択状態において、オブジェクトＡの背面にある部分のオブジェクトＢを視認可能に表示する背面可視状態とする表示制御を行っている。このような表示制御を行うことで、強いタッチ圧力のシングルタッチ操作で複数のオブジェクトを選択することができ、簡単な操作で階層関係にある複数のオブジェクトを選択することができる。また、前面オブジェクトの背面に隠れているオブジェクトを簡単な操作で視認して確認することができる。これにより、図１２（Ｃ）に示すように、階層関係にある複数のオブジェクトに対する移動等の編集作業を簡単に行うことが可能になる。

図１２では、複数選択状態において背面のオブジェクトＢを背面可視状態とする場合に前面のオブジェクトＡの透明度を高くする表示制御を例示したが、背面可視状態の表示態様はこれに限らない。例えば一時的にオブジェクトＡ，Ｂの階層関係を入れ替え、オブジェクトＢをオブジェクトＡより前面に表示してもよい。複数選択状態で選択対象とするオブジェクトは、オブジェクトＡの背面に一部又は全部があるオブジェクトのうち、強いタッチ圧力のタッチ操作によるタッチ位置に最も近いオブジェクトとしてもよい。

上記の実施例では、ディスプレイを有する装置に本発明を適用した例を説明したが、本発明はディスプレイを有しない装置に適用することもできる。例えば、図１においてディスプレイ１０５及びタッチセンサ１１１以外の機能部と、外部ディスプレイに画像データ
を出力する出力部と、を備える画像出力装置に本発明を適用することもできる。その場合、操作部１１２は、外部ディスプレイに備わるタッチパネルからタッチ操作情報を取得し、取得したタッチ操作情報に基づき、制御部５０が上述の実施例で説明した各種処理を行うよう構成すればよい。

上述した実施例においては、本発明を表示装置に適用した例を説明したが、本発明が適用可能な装置は表示装置に限らない。本発明は、表示装置１００は、例えばディスプレイを備えたパーソナルコンピュータ（以下、ＰＣ）、スマートフォン、タブレット、ゲーム機、デジタルカメラ等の撮像画像プレビュー用のディスプレイを備えた撮像装置等に適用できる。また、ＰＤＡ、携帯電話、端末型画像ビューア、ディスプレイを備えたプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、電子ブックリーダ等、タッチ操作可能な表示手段を有する装置、タッチ操作可能な表示手段に画像データを出力する装置等に適用できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０：制御部、１００：表示装置、１０１：ＣＰＵ、１０５：ディスプレイ、１１１：タッチセンサ、１１３：圧力センサ

Claims (18)

1. タッチ操作可能な表示手段における画像の表示を制御する表示制御装置であって、
   前記表示手段に対しタッチ操作が行われた場合にタッチ位置及びタッチ圧力を検出する検出手段と、
   前記検出手段による検出結果に基づき前記表示手段によるオブジェクトの表示を制御する制御手段と、
   を備え、
   前記制御手段は、第１オブジェクトと、前記第１オブジェクトの背面にその一部又は全部が隠れるように第２オブジェクトとが表示された初期状態において、前記第１オブジェクトに対するタッチ操作が検出された場合、前記タッチ操作のタッチ圧力に応じて、
   前記第１オブジェクトが選択された通常選択状態、
   前記第１オブジェクトの背面にある部分の前記第２オブジェクトを視認可能な態様で表示する背面可視状態、又は、
   前記第１オブジェクト及び前記第２オブジェクトが選択された複数選択状態、
   とすることを特徴とする表示制御装置。
2. 前記制御手段は、前記第１オブジェクトに対する前記タッチ圧力が、
   第１閾値より小さい場合に、前記通常選択状態とし、
   前記第１閾値以上である場合に、前記背面可視状態又は前記複数選択状態とする請求項１に記載の表示制御装置。
3. 前記制御手段は、前記複数選択状態において、さらに前記第１オブジェクトの背面にある部分の前記第２オブジェクトを背面可視状態とする請求項１又は２に記載の表示制御装置。
4. 前記制御手段は、前記第１オブジェクトの透明度を高くすることにより、前記背面可視状態で表示する請求項１〜３のいずれか１項に記載の表示制御装置。
5. 前記制御手段は、前記背面可視状態又は前記複数選択状態とした後、前記タッチ操作のタッチ圧力が第２閾値より小さくならない限り、前記背面可視状態を維持し、又は前記複数選択状態を維持する請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記制御手段は、前記背面可視状態又は前記複数選択状態とした後、前記タッチ操作のタッチ圧力が第２閾値より小さくなった場合、前記背面可視状態を解除し、又は前記複数選択状態を解除する請求項１〜５のいずれか１項に記載の表示制御装置。
7. 前記制御手段は、前記背面可視状態又は前記複数選択を解除するとともに、さらに前記第１オブジェクトが選択された状態とする請求項５又は６に記載の表示制御装置。
8. 前記制御手段は、前記背面可視状態又は前記複数選択状態とした後、前記タッチ操作を行ったユーザの指又はタッチ手段が前記表示手段の画面から離れたことが検出された場合、前記初期状態の表示に戻る請求項１〜７のいずれか１項に記載の表示制御装置。
9. 前記制御手段は、前記背面可視状態とした後、前記タッチ操作を行ったユーザの指又はタッチ手段が前記表示手段の画面から離れたことが検出された場合、前記背面可視状態を維持するとともに、編集対象のオブジェクトを選択するタッチ操作を受け付ける待機状態とする請求項１〜７のいずれか１項に記載の表示制御装置。
10. 前記制御手段は、前記待機状態において前記第２オブジェクトに対するタッチ操作が検
    出された場合、前記第２オブジェクトが選択された状態とする請求項９に記載の表示制御装置。
11. 前記制御手段は、前記待機状態において前記第１オブジェクト及び前記第２オブジェクトではない位置に対するタッチ操作が検出された場合、前記待機状態を解除する請求項９又は１０に記載の表示制御装置。
12. 前記制御手段は、前記背面可視状態とした後、前記第１オブジェクトに対する前記タッチ操作が行われた状態で当該タッチ操作とは異なる指又はタッチ手段により前記第２オブジェクトに対するタッチ操作が行われるマルチタッチ操作が検出された場合、前記第２オブジェクトが選択された状態とする請求項１〜７のいずれか１項に記載の表示制御装置。
13. 前記制御手段は、前記第１オブジェクトの透明度を高めた状態で前記第２オブジェクトを強調表示することにより、前記第２オブジェクトが選択された状態とする請求項１０又は１２に記載の表示制御装置。
14. 前記制御手段は、前記第２オブジェクトを前記第１オブジェクトの前面に表示した状態で前記第２オブジェクトを強調表示することにより、前記第２オブジェクトが選択された状態とする請求項１０又は１２に記載の表示制御装置。
15. 前記制御手段は、前記第２オブジェクトの選択を解除するタッチ操作が検出された場合、前記第２オブジェクトの強調表示を解除する請求項１３に記載の表示制御装置。
16. 前記制御手段は、前記第２オブジェクトの選択を解除するタッチ操作が検出された場合、前記第２オブジェクトを前記第１オブジェクトの背面に戻す請求項１４に記載の表示制御装置。
17. タッチ操作可能な表示手段における画像の表示を制御する表示制御方法であって、
    前記表示手段に対しタッチ操作が行われた場合にタッチ位置及びタッチ圧力を検出する検出工程と、
    前記検出工程による検出結果に基づき前記表示手段によるオブジェクトの表示を制御する制御工程と、
    を有し、
    前記制御工程では、第１オブジェクトと、前記第１オブジェクトの背面にその一部又は全部が隠れるように第２オブジェクトとが表示された初期状態において、前記第１オブジェクトに対するタッチ操作が検出された場合、前記タッチ操作のタッチ圧力に応じて、
    前記第１オブジェクトが選択された通常選択状態、
    前記第１オブジェクトの背面にある部分の前記第２オブジェクトを視認可能な態様で表示する背面可視状態、又は、
    前記第１オブジェクト及び前記第２オブジェクトが選択された複数選択状態、
    とすることを特徴とする表示制御方法。
18. コンピュータを請求項１〜１６のいずれか１項に記載の表示制御装置の各手段として機能させるプログラム。

Images