JP2013069104A - 表示制御装置、方法及びプログラム - Google Patents

Abstract

【課題】表示画像内の指定したい領域を簡単な操作で迅速に抽出できる技術を提供する。
【解決手段】画面に所定画像を表示した状態において、指定軌跡検出手段１１が、記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出し、指定領域抽出手段１２が、この検出された軌跡に基づいた位置及び大きさの領域であって当該画面と同一縦横比の形状の領域を指定領域として抽出し、画像処理手段１３が、指定領域内の表示画像に対して所定の処理を実行する。
【選択図】図２

Description

本発明は、表示画像に対して所定の処理を行うための技術に関する。

表示装置に表示された画像を拡大／縮小する操作技術としては、スライダーの操作で画像を拡大／縮小する技術や、表示画像の一点を指定すると所定倍率に拡大してその指定された一点が画面の中心になるように表示する技術がある。

スライダーを用いた技術は、固定点を中心に画像を拡大／縮小するため、画像を画面より大きくすると、所望の箇所が画面からはみ出てしまい表示されないことがあった。また、画像の一点を指定する技術は、所望の箇所を指定すればその箇所が画面から出てしまうことはないが、指定する毎に所定倍率で拡大するため、所望の大きさに拡大するまでに複数回の指定操作が必要な場合があり、ユーザに負担がかかることがあった。

一方、タッチスクリーンを備えた装置においては、ピンチアウトジェスチャーに応じて表示画像を拡大する技術がある。このピンチアウトジェスチャーの手法は、マルチタッチの接触点間の距離の変化に応じて画像を拡大／縮小するので、直感的な操作による画像処理を可能にしている。

また、特許文献１には、三以上の選択対象項目をサムネール表示する装置においては、タッチパネルを接触した領域が円形状の軌跡を有する場合に、円形状の内側領域に対向する位置に表示された選択対象項目を拡大表示することが開示されている。

特開２０１１−６０１１１号公報

しかし、上記特許文献１に記載された技術は、画面に表示された三以上のサムネール画像の中から選択された画像だけを残して拡大するための技術であり、地図や文書などの一つの画像を拡大するための技術として採用することはできなかった。また、スライダーやピンチアウトジェスチャーによる操作技術では、画像の所望部分を所望の大きさに拡大して画面内に表示するまでには複数工程の操作が必要な場合があるので、ユーザに操作負担がかかっており、この操作負担を軽減する必要があるという課題があった。

上記の課題に対し、本発明の目的は、表示画像内の所望の領域を簡単な操作で迅速に指定できる技術を提供することである。

本発明の表示制御装置は、画像を画面に表示するための表示制御装置であって、前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出手段と、この検出された軌跡に基づいた位置及び大きさの領域であって、当該画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出手段と、を備えたことを特徴とする。

本発明の方法は、画像を表示装置の画面に表示するための方法であって、前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出ステップと、前記検出された軌跡に基づいた位置及び大きさの領域であって当該画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出ステップと、を表示制御装置が実行する方法。

本発明のプログラムは、コンピュータに対して画像を表示装置の画面に表示させるためのプログラムであって、前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出ステップと、前記検出された軌跡に基づいた位置及び大きさの領域であって当該画面と同一縦横比の矩形状の領域を指定領域として抽出する指定領域抽出ステップと、を前記コンピュータに実行させるためのプログラム。

なお、方法やプログラムのカテゴリにおいて、個々のステップを実行する装置又はコンピュータは単体でもよいし、ステップごとにもしくはタイミングごとに異なってもよい。

本発明によれば、表示画像内の指定したい領域を直感的な操作で素早く抽出することが可能になるので、ユーザの操作負担を軽減して利便性を向上させることができる。

本発明の実施形態について構成を示す機能ブロック図。 本発明の実施形態について概要を説明したイメージ図。 本発明の実施形態における処理手順を示すフローチャート。 本発明の実施形態について概要を説明したイメージ図。 本発明の実施形態について概要を説明したイメージ図。 本発明の実施形態について概要を説明したイメージ図。 本発明の実施形態について概要を説明したイメージ図。

本発明を実施するための一形態を図面に基づいて説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項は適宜省略する。

〔１．構成〕
図１に示すように、本実施形態の表示制御装置１（以下、本装置１とする）は、入力装置２からの入力信号に応じて、画像データを生成し表示装置３に出力して画像を表示させる装置である。ここで、入力装置２は、ユーザに操作される指示体の画面上の位置を示す信号を入力するための装置であり、例えば、画面に表示されるポインタを「指示体」として、ボタンが押された時の当該ポインタの画面上の位置が入力されるマウスや、ユーザの指もしくは専用のペンを「指示体」として、当該指示体が画面に直接触れた位置が入力されるタッチパネルなどの、ポインティングデバイスであればよい。また、表示装置３は、画面を有し、本装置１から出力される画像データに基づいて画面に画像を表示する装置である。

本装置１は、画像を表示装置３の画面に表示するための装置であって、入力装置２から入力された信号に基づいて画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出手段１１と、この検知された位置又は軌跡に応じて画像データを生成し当該画像データを表示装置３へ出力する画像処理手段１３を備えている。画像処理手段１３は、指示操作検出手段１１に検出された指示体の画面上の位置又は軌跡に対応して、通信装置４を介してサーバＳから、もしくは、データ記憶手段１４から所定のデータを取得し、そのデータを基に画像データを生成して表示装置３へ出力する機能を備えている。

また、本装置１は、指示操作検出手段１１に検出された軌跡に基づいた位置及び大きさの領域であって画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出手段１２を備え、画像処理手段１３が、この抽出された指定領域内の表示画像に対して予め定められた内容の処理を行う機能を備えている。

図２は、指定領域抽出手段１２による指定領域の抽出の一例を表したイメージ図である。図２は、入力装置２がタッチパネルの場合を例にした図であり、本実施形態の指定領域抽出手段１２は、指示操作検出手段１１によりユーザの指Ａの画面１００上をスライドした軌跡１０１が検出されると、軌跡１０１に基づいた位置及び大きさで画面１００と同一縦横比の矩形領域を指定領域１０２として抽出する。画像処理手段１３は、この抽出された指定領域内の表示画像に対して、拡大，切り取り又は切り抜きなどの予め定められた内容の処理を施す機能を備えている。

このような構成の本装置１によれば、直感的な操作で、所望の位置及び大きさの画像領域を抽出することが可能になる。

〔２．動作及び作用〕
次に、上記のように構成された本装置１の動作を図３のフローチャートに基づいて説明する。

〔２−１．基本動作〕
本装置１では、まず、表示装置３の画面に所定の画像が表示されている状態で、指示操作検出手段１１が、入力装置２からの信号に基づいて画面上の指示体の位置を検知した場合（図３のステップＳ１０の「ＹＥＳ」）、その指示体が画面上を移動したか否かを判定し（ステップＳ２０）、移動した場合にその移動軌跡を検出する（ステップＳ２０の「ＹＥＳ」）。そして、指定領域抽出手段１２が、この検出された軌跡に基づいた領域であって、当該軌跡に基づく位置及び大きさで画面と同一縦横比の形状の領域を指定領域として抽出する（ステップＳ３０）。続いて、画像処理手段１３が、指定領域内の表示画像に対して予め定められた内容の処理を行う（ステップＳ４０）。

このような構成の本装置１によれば、ユーザは指示体で画面上を直感的になぞる操作を行うだけで、画像処理対象の領域の位置及び大きさを指定することが可能になるので、ユーザの操作負担を軽減し、操作性及び利便性を向上させることができる。

〔２−２．指示軌跡検出〕
指示操作検出手段１１は、入力装置２からの信号に基づいて画面上の指示体の位置座標を検知すると共に、その指示体の位置座標の変化を基に、画面上の指示体の移動軌跡を検出する。例えば、入力装置２がタッチパネルを有する場合は、画面上の指示体が触れた位置の座標を検知し、指示体が画面に触れた状態のままスライドし画面から離れるまでのそのスライドした軌跡を検出する。また、入力装置２がマウスを有する場合は、マウスがボタンを押した状態のままスライドされボタンの押下が解放されるまでの画面上のマウスポインタの移動軌跡を検出する。

また、画面上の指示体の軌跡が途中で途切れた場合、途切れた箇所の軌跡を補完して一つの軌跡として検出するようにすれば、ユーザの操作を補助して、操作性を向上させることができる。この場合、具体的には、指示操作検出手段１１は、画面上の指示体の軌跡が途中で途切れている場合、その途切れた間の時間又は距離が予め設定された微小値内であれば、その間の軌跡を補完し一つの軌跡として検出する。このようにすれば、ユーザが指示体を素早く操作したことなどによって指示体の移動軌跡に途切れが生じてしまった場合でも、微小時間内の途切れであれば１つの軌跡に補正して検出するため、操作エラーの発生を抑えて、操作のやり直しが減少し、ユーザの満足度を上げることができる。

〔２−３．指定領域抽出〕
指定領域抽出手段１２は、予め定められた表示画面形状と同一縦横比の形状の領域であって、指示操作検出手段１１に検出された軌跡に基づいた位置及び大きさの領域を指定領域として検出する。この抽出する指定領域は、画面と同一縦横比の矩形形状であれば、例えば、指示操作検出手段１１に検出された軌跡を内側に含み、いずれか一方の対向する二辺が軌跡に接し、他方の対向する各辺から軌跡までのそれぞれの距離が同一の領域であればよい。

このような指定領域を抽出する手法の一例を図４に示している。まず、図４（ａ）に示す軌跡１０５が検出された場合、指定領域抽出手段１２は、図４（ｂ）に示すように、軌跡１０５の縦幅ａ及び横幅ｂを計測し、表示画面の縦横比に基づいて、この縦幅ａ及び横幅ｂのうち、軌跡１０５を内側に含む矩形領域の縦寸又は横寸として採用する幅を選択し、選択した幅を基準にして矩形領域の寸法を決定し矩形領域の大きさを決定する。

図４では、軌跡１０５の縦幅ａが指定領域１０６の縦寸になった場合を示している。そして、図４（ｃ）に示すように、矩形領域の軌跡１０５と接しない各辺から軌跡１０５までのそれぞれの距離ｄ１及びｄ２が同一になるように矩形領域の位置を調整して指定領域１０６に確定する。

このような領域を指定領域とすることによって、画面上の指示体の移動軌跡に合った大きさで当該軌跡を中央に含む領域を抽出できるため、ユーザの意図により合致した位置及び大きさの画像処理領域を簡単な操作で抽出することができる。

さらに、指定領域は、検出された軌跡の重心を中心とし当該軌跡を内側に含む最小の矩形領域であってもよい。このような指定領域の抽出手法の一例を図５に示している。

図５（ａ）に示す軌跡１０５が検出された場合、指定領域抽出手段１２は、図５（ｂ）のように、軌跡１０５の重心点Ｇを算出する。そして、図５（ｃ）のように、重心点Ｇを中心とした画面と同一縦横比の矩形領域であって軌跡１０５を内側に含む最小の領域を指定領域１０７に確定する。

このように、検出された軌跡の重心点と指定領域の中心又は重心を一致させることによって、より少ない工程の情報処理でユーザの意図に合った領域を抽出することが可能になり、指定領域抽出手段１２に係る負荷を抑えることができる。

なお、指定領域抽出手段１２が抽出する指定領域は、検出された軌跡に基づいた領域であって、その軌跡に基づく位置及び大きさの領域であれば、上記例示した各領域に限らず、軌跡を内側に含むが軌跡と接していない領域や、軌跡が外側にはみ出した領域などであってもよい。この指定領域は、画面と同一の縦横比で相似な形状の領域であれば、矩形状に限らず、楕円状などの場合もある。また、この指定領域は、検出された軌跡に基づいて定められる形状であれば、画面形状と完全に相似な形状でなくてもよく、画面と略相似な形状であればよい。

〔２−４．画像処理〕
画像処理手段１３が指定領域内の表示画像に対して実行する処理としては、例えば、指定領域内の表示画像を画面のサイズに拡大して当該画面内に表示する処理や、指定領域内の表示画像のみを切り出して表示する処理などである。

ここで、指定領域内の表示画像を画面サイズに拡大する処理について、具体例を示して説明する。図６に示すように、画面１１０にメッシュ画像を表示した場合、指示操作検出手段１１が軌跡１１１を検出すると、指定領域抽出手段１２が指定領域１１２を抽出する。この指定領域１１２が抽出されると、画像処理手段１３は、図７に示すように、指定領域１１２内の画像が画面いっぱいになるように、メッシュ画像を引き伸ばして拡大する。また、画像処理手段１３は、通常の画像処理機能として、画面上の指示体の移動に従って表示画像をスクロールする機能や、指示体のピンチインジェスチャに応じて画像を縮小する機能などを備え、この通常の画像処理機能を作動するモードと上述した画像拡大機能を作動するモードとを切り替える機能を備えた構成であってもよい。

このように、画面上の指示体の軌跡に基づいて指定領域を抽出し、その指定領域内の画像を画面サイズに拡大するように構成すれば、画面内の拡大して閲覧したい箇所を直感的に指定操作するのみで、所望の部分を所望の倍率で拡大することができる。

以上のように、本実施形態は、画面上の指示体の移動軌跡を検出すると、この軌跡に基づいた位置及び大きさの矩形領域を指定領域として抽出し、この指定領域内の表示画像に対して所定の処理を行うので、ユーザは画面上の所望の位置をなぞるのみで、所望の位置及び大きさの領域を画像処理対象の領域として指定することができる。
したがって、本実施形態の表示制御装置及びその動作方法によれば、表示画像内の指定したい領域を直感的な操作で素早く抽出することが可能になり、ユーザの操作負担を軽減して利便性を向上させることができる。

なお、本装置１の各手段１１，１２，１３，１４の機能又は上記各ステップについては、ＣＰＵなどの中央演算装置とメモリとを備えたコンピュータに対し、メモリに予め記憶（インストール）させた所定のプログラムに従って中央演算装置に情報処理を実行させて、実現させるように構成してもよい。

また、データ記憶手段１４は、ファイルなど任意の形式でデータを記憶するが、ネットワークコンピューティング（クラウド）によるリモート記憶であってもよい。また、このデータ記憶手段１４は、データの格納領域だけでなく、データの入出力や管理などの機能を含む構成であってもよい。また、本実施形態に示すデータ記憶手段１４の単位は説明上の便宜によるもので、適宜、構成を分けたり一体化したりできるものとする。

また、図１の矢印は、データや制御などの流れについて主要な方向を補助的に示すもので、他の流れを否定するものでも、方向の限定を意味するものでもない。例えばデータをある方向に取得する場合、事前のデータリクエストや事後のアクノリッジ（ＡＣＫ）が逆方向に送信される。また、記憶手段以外の各手段は、以下に説明するような情報処理の機能・作用を実現・実行する処理手段であるが、これらは説明のために整理した機能単位であり、実際のハードウェア要素やソフトウェアモジュールとの一致は問わない。

〔３．他の実施形態〕
上記実施形態は例示に過ぎず、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、本出願における構成図、データの図、フローチャートなどは例示に過ぎず、各要素の有無、その配置や処理実行などの順序、具体的内容などは適宜変更可能である。

また、上記実施形態の表示制御装置１を構成する個々の手段１１，１２，１３，１４を、さらにそれぞれ独立した装置で実現する構成であってもよい。また、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出すことで、上記実施形態の表示制御装置１における各手段１１，１２，１３，１４を実現する構成であってもよい。さらに、上記実施形態における各手段１１，１２，１３，１４は、コンピュータに限らず物理的な電子回路など他の情報処理機構で実現してもよい。

１ 表示制御装置
２ 入力装置
３ 表示装置
４ 通信装置
１１ 指示操作検出手段
１２ 指定領域抽出手段
１３ 画像処理手段
１４ データ記憶手段
Ｎ 通信ネットワーク
Ｓ サーバ

Claims (12)

1. 画像を画面に表示するための表示制御装置であって、
   前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出手段と、
   この検出された軌跡に基づいた位置及び大きさの領域であって、当該画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出手段と、
   を備えた表示制御装置。
2. 前記指定領域内の表示画像を前記画面のサイズに拡大して当該画面内に表示する画像処理手段を備えた請求項１に記載の表示制御装置。
3. 前記指定領域が、前記軌跡を内側に含む矩形形状であって、いずれか一方の対向する二辺が前記軌跡に接し他方の対向する各辺から前記軌跡までのそれぞれの距離が同じである請求項１又は２に記載の表示制御装置。
4. 前記指定領域が、前記軌跡の重心を中心とし当該軌跡を内側に含む最小の領域である請求項１又は２に記載の表示制御装置。
5. 画像を表示装置の画面に表示するための方法であって、
   前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出ステップと、
   前記検出された軌跡に基づいた位置及び大きさの領域であって当該画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出ステップと、
   を表示制御装置が実行する方法。
6. 前記指定領域内の表示画像を前記画面のサイズに拡大して当該画面内に表示するステップを、前記表示制御装置が実行する請求項５に記載の方法。
7. 前記指定領域が、前記軌跡を内側に含む矩形形状であって、いずれか一方の対向する二辺が前記軌跡に接する共に他方の対向する各辺から前記軌跡までのそれぞれの距離が同一である請求項５又は６に記載の方法。
8. 前記指定領域が、前記軌跡の重心を中心とし当該軌跡を内側に含む最小の矩形領域である請求項５又は６に記載の方法。
9. コンピュータに対して画像を表示装置の画面に表示させるためのプログラムであって、
   前記画面上の指示体の位置を検知すると共に当該指示体が当該画面上を移動した軌跡を検出する指示操作検出ステップと、
   前記検出された軌跡に基づいた位置及び大きさの領域であって当該画面と同一縦横比の形状の領域を指定領域として抽出する指定領域抽出ステップと、
   を前記コンピュータに実行させるためのプログラム。
10. 前記指定領域内の表示画像を前記画面のサイズに拡大して当該画面内に表示する画像処理ステップを前記コンピュータに実行させるための請求項９に記載のプログラム。
11. 前記指定領域が、前記軌跡を内側に含む矩形形状であって、いずれか一方の対向する二辺が前記軌跡に接する共に他方の対向する各辺から前記軌跡までのそれぞれの距離が同一である請求項９又は１０に記載のプログラム。
12. 前記指定領域が、前記軌跡の重心を中心とし当該軌跡を内側に含む最小の矩形領域である請求項９又は１０に記載のプログラム。

Images