JP2017041255A - 表示処理方法、表示処理プログラム及び表示処理システム - Google Patents

表示処理方法、表示処理プログラム及び表示処理システム Download PDF

Info

Publication number
JP2017041255A
JP2017041255A JP2016177487A JP2016177487A JP2017041255A JP 2017041255 A JP2017041255 A JP 2017041255A JP 2016177487 A JP2016177487 A JP 2016177487A JP 2016177487 A JP2016177487 A JP 2016177487A JP 2017041255 A JP2017041255 A JP 2017041255A
Authority
JP
Japan
Prior art keywords
image
display
displayed
frame image
display processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016177487A
Other languages
English (en)
Other versions
JP6072340B1 (ja
Inventor
拓樹 夏山
Hiroki Natsuyama
拓樹 夏山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Application granted granted Critical
Publication of JP6072340B1 publication Critical patent/JP6072340B1/ja
Publication of JP2017041255A publication Critical patent/JP2017041255A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

【課題】直感的で理解し易い形態で、画像中の任意の位置の拡大や縮小などをその度合いも含めて自在に操作することが可能な表示処理方法、表示処理プログラム及び表示処理システムを提供する。
【解決手段】画像を表示する表示部17と、表示部17と一体にして設けられたタッチパネルとを用いてコンピュータが実行する表示処理方法であって、コンピュータが、少なくとも1つのオブジェクトを含む画像を表示部17に表示し、表示部17で表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、枠画像に沿った操作の方向及び当該操作の量に応じて、少なくともオブジェクトの表示を変更する。
【選択図】図1

Description

本発明は、タッチパネルを備えたスマートフォンなどの情報装置に好適な表示処理方法、表示処理プログラム及び表示処理システムに関する。
近時、スマートフォンやタブレット端末等のタッチパネルを備えた携帯情報端末が広く一般に普及している。この種の装置では、マルチタッチ機能により、タッチパネル上を2本の手指でタッチ操作し、それら手指の間隔を広げるか、または狭めることで、画面で表示している画像全体を拡大するか、または縮小するような「ピンチアウト/ピンチイン」と呼称される機能操作を実現している。
このようなマルチタッチ機能は、直感的な操作により画面の拡大/縮小が可能となる反面、例えば電車内でつり革に捕まりながら片手で操作するような環境下では、装置本体の把持とタッチ操作とを片手で行わなければならず、操作が困難となる。
また上記ピンチアウト/ピンチイン操作とは別に、表示された文字列中の指でなぞった領域を選択してその文字列の拡大画像を別ウィンドウで表示可能にした技術が考えられている。(例えば、特許文献1)
特開2004−152217号公報
上記特許文献に記載された技術では、文字列に対して1本の指でなぞった領域が別ウィンドウに拡大して表示される技術が記載されている。しかしながら、文字列以外の画像に対する応用例、具体的な位置座標の取得の仕方や拡大率、縮小率をどのように設定するか、など詳細な内容については一切記載されておらず、またそれらに関する開示も示唆もされていない。
本発明の目的は、直感的で理解し易い形態で、画像中の任意の位置の拡大や縮小などをその度合いも含めて自在に操作することが可能な表示処理方法、表示処理プログラム及び表示処理システムを提供することにある。
本発明の一態様は、画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを備えた装置が実行する表示処理方法であって、少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示し、上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、上記リング状の枠画像に沿った操作の方向及び当該操作の量に応じて、少なくとも上記オブジェクトの表示を変更する。
本発明によれば、直感的で理解し易い形態で、画像中の任意の位置の拡大や縮小などをその度合いも含めて自在に操作することが可能となる。
図1は、本発明の一実施形態に係るスマートフォンの電子回路の機能構成を示すブロック図である。 図2は、実施形態に係る基本的な画像のズーム操作の処理内容を示すフローチャートである。 図3Aは、実施形態に係るズームリングとズームレバーを用いた画像の表示状態を示す図である。 図3Bは、実施形態に係るズームリングとズームレバーを用いた画像の表示状態を示す図である。 図4Aは、実施形態に係る各種アプリケーションプログラムでのオブジェクト画像の設定例を示す図である。 図4Bは、実施形態に係る各種アプリケーションプログラムでのオブジェクト画像の設定例を示す図である。 図5Aは、実施形態に係る各種アプリケーションプログラムでのオブジェクト画像の設定例を示す図である。 図5Bは、実施形態に係る各種アプリケーションプログラムでのオブジェクト画像の設定例を示す図である。 図6は、実施形態に係る各種アプリケーションプログラムでのオブジェクト画像の設定例を示す図である。 図7Aは、実施形態に係る各種機能設定を行なう場合の画像例を示す図である。 図7Bは、実施形態に係る各種機能設定を行なう場合の画像例を示す図である。 図8は、実施形態に係る各種機能設定を行なう場合の画像例を示す図である。 図9は、実施形態に係る各種機能設定を行なう場合の画像例を示す図である。 図10は、実施形態に係る各種機能設定を行なう場合の画像例を示す図である。 図11は、実施形態に係るシステム構成を示す図である。
以下、本発明をスマートフォンに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るスマートフォン10の電子回路の機能構成を示すブロック図である。図1において、CPU11は、スマートフォン10全体の制御動作を司る。CPU11は、システムバスSBを介して、メインメモリ12、プログラムメモリ13、3G&4G通信部14、無線LAN通信部15、外部メモリカード16、表示部17、タッチパネル入力部18、キー入力部19、音声処理部20、及び画像処理部21が接続される。
CPU11は、プログラムメモリ13に記憶された動作プログラム(オペレーティングシステム(OS)とOS上で動作するアプリケーションプログラム)及び定型データ等を読出し、メインメモリ12に展開して記憶させた上で当該プログラムを実行することにより、このスマートフォン10の動作全体を統括して制御する。
メインメモリ12は、例えばSRAMで構成され、CPU11のワークメモリとして機能する。プログラムメモリ13は、不揮発性のメモリ、例えばフラッシュメモリで構成され、上述した動作プログラムや各種定型データの他、このスマートフォン10の記憶媒体として各種コンテンツ、例えば画像データや楽曲データ等を記憶する。
3G&4G通信部14は、IMT−2000規格に準拠した第3世代移動通信システム、及びIMT−Advance規格に準拠した第4世代移動通信システムに基づき、アンテナ22を介して最寄りの図示しない基地局との間でデータの送受を実行する、デュアルモードで動作する通信部である。
無線LAN通信部15は、例えばIEEE802.11a/b/g/n規格に基づき、アンテナ23を介して最寄りの図示しないアクセスポイント等とデータを送受する。
表示部17は、バックライト付きのTFTカラー液晶パネルとその駆動部とで構成され、各種画像を表示する。
タッチパネル入力部18は、透明電極を用いて表示部17と一体にして構成され、ユーザのタッチ操作に対応した2次元の位置座標情報を生成して出力する。
キー入力部19は、スマートフォン10のケーシングに設けられた、電源キーやカメラ機能のシャッタキーを含むいくつかのキースイッチとその駆動回路で構成される。
音声処理部20は、システムバスSBを介して与えられるデジタル音声データをアナログ化してスピーカ24より出力させる一方で、マイクロホン25から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
画像処理部21は、光学レンズ系26を介して、例えばCCD(Charge Coupled Device:電荷結合素子)などで構成される固体撮像素子27の撮像面に合焦された光像に応じた画像信号をデジタルデータ化し、予め設定されたファイル形式、例えば静止画像であればJPEG(Joint Photographic Experts Group)などによりデータ量を圧縮したファイルデータを作成して出力する。
次に、実施形態でのスマートフォン10の動作について説明する。
なお、以下に示す動作は、CPU11がプログラムメモリ13に記憶された動作プログラム等を読出してメインメモリ12上に展開して記憶させた上で実行する。プログラムメモリ13に記憶された動作プログラムは、スマートフォン10の工場出荷時にプログラムメモリ13に記憶されていたものに限らず、スマートフォン10のユーザがアンテナ22及び3G&4G通信部14、またはアンテナ23及び無線LAN通信部15を介して外部から入力した、より上位の動作プログラムをバージョンアップとしてインストールした場合を含む。
図2は、何らかのアプリケーションプログラムを実行時に、表示部17で表示している画像に対して実行する、基本的な画像のズーム操作に関する処理内容を示すものである。その当初にCPU11は、タッチパネル入力部18からの入力により所定の時間内、例えば0.5[秒]内に略同一の座標位置が連続して2回タッチ操作されたか否かにより、ダブルタップと称される操作がなされたか否かを繰返し判断することで、当該操作がなされるのを待機する(ステップS101)。所定の時間は、ユーザのカスタマイズ設定により任意に可変できる。
実際にダブルタップ操作がなされた場合、CPU11は、タッチパネル入力部18からの入力により当該操作があったことを判断すると(ステップS101のYes)、次いでタップされた位置を中心としたズームリング(リング状の枠画像)及びズームレバー(操作レバー)の画像を生成する(ステップS102)。
これらズームリング及びズームレバーの画像は、プログラムメモリ13内に定型データとして予め記憶されているものとする。
次に、CPU11は、タップ操作があった時点で表示部17に表示していた画像から、タップ位置に対する最寄りのオブジェクト画像を選択する(ステップS103)。オブジェクト画像は、実行中のアプリケーションプログラムによって、表示部17で表示する画像の位置座標と対応付けて階層的に設定されている、いくつかの参照画像から選択される。なお、アプリケーションプログラムが位置座標と対応づけて参照画像を設定していない場合、CPU11は、オブジェクト画像を選択することができない。
ここで、CPU11は、オブジェクト画像を選択することができたか否かにより、オブジェクト画像となる参照画像が当該アプリケーションプログラムで設定されていたか否かを判断する(ステップS104)。
オブジェクト画像となる参照画像がアプリケーションプログラムで設定されており、ステップS103において最寄りの参照画像を選択することができた場合、CPU11は、選択されたオブジェクト画像をズームリング内の円形領域に嵌め込んだ合成画像を生成した上で、タップ位置を中心として表示部17に表示している画像と重畳して表示させる(ステップS105)。
またステップS104でオブジェクトとなる参照画像がアプリケーションプログラムで設定されておらず、ステップS103で最寄りの参照画像を選択することができなかった場合、CPU11は、タップ位置周辺の画像をそのままズームリングの画像中央の円形領域に嵌め込んだ合成画像を生成した上で、タップ位置を中心として表示部17に表示している画像と重畳して表示させる(ステップS106)。
図3Aは、参照画像が設定されていないアプリケーションプログラムの実行中に、ダブルタップ操作に応じてズームリングZRとズームレバーZLの画像を表示させた状態を例示する図である。図3Aでは、全体に目盛りを付したズームリングZRの外周の1箇所、例えば左下側に突出するようにしてズームレバーZLを表示した状態を示している。
ステップS105またはステップS106での処理によりズームリングZR及びズームレバーZLを表示部17で表示させると、CPU11は、ズームリングZR及びズームレバーZLに対する操作がない時間(無操作時間)をカウントする(ステップS107)。CPU11は、カウント値が予め設定した一定値、例えば時間に換算して2[秒]を示すカウント値を経過したか否か判断する(ステップS108)。なお、無操作時間を判断する一定値は、ユーザのカスタマイズ設定により任意に変更できる。
ここで、カウント値が一定値に達していないと判断した場合に(ステップS108のNo)、CPU11は、ズームリングZRの円弧に沿ったズームレバーZLのドラッグ操作(連続するタッチ操作)があるか否かを判断する(ステップS109)。
ここでドラッグ操作がないと判断した場合(ステップS109のNo)、CPU11は、再びステップS107からの処理に戻る。
こうしてステップS107〜S109の操作を繰返し実行することにより、CPU11は、無操作時間をカウントするカウンタの値が一定値に達するか、あるいはズームレバーZLがドラッグ操作されるのを待機する。
ここでズームレバーZLがドラッグ操作されたと判断した場合(ステップS109のYes)、CPU11は、一連のドラッグ操作の方向と量とを取得する(ステップS110)。
そして、取得したドラッグ操作の方向と量に応じて、CPU11は、少なくともズームレバーZL内の画像を変更、例えば拡大または縮小して表示する(ステップS111)。CPU11は、カウントしていた無操作時間のカウント値をリセットした上で(ステップS112)、再びステップS107からの処理に戻る。
図3Bは、図3Aに示した状態から、スマートフォン10のユーザが1本の手指UFでズームレバーZLをズームリングZRの円弧に沿って右回転(時計回り)方向にドラッグ操作した場合を例示している。
アプリケーションプログラムは、例えばズームレバーZLを矢印D1に示すように右回転(時計回り)方向にドラッグ操作した場合に画像を拡大し、反対に矢印D2に示すように左回転(反時計回り)方向にドラッグ操作した場合に画像を縮小するものとする。また、拡大/縮小する画像の範囲は、ズームリングZR内の画像のみならず、表示部17の画面全体に及ぶものとして説明する。
図3Bでは、図3Aの状態からズームレバーZLをズームリングZRの円弧に沿って右回転(時計回り)方向にドラッグ操作したことにより、ズームリングZR内を含む表示部17の画像全体が拡大して表示されている。拡大率は、ドラッグ操作した量に対応する。
すなわちユーザは、ズームレバーZLのドラッグ操作をする過程で、拡大(または縮小)される画像が所望する大きさとなった時点で、ドラッグ操作を中止してタッチパネル入力部18から手指UFを離せばよい。
または、ユーザは、所望する大きさを超えて画像が大きくなりすぎた場合には、その時点でドラッグの方向を逆転して反対方向に少し戻すようにドラッグ操作する。これにより、画像が縮小されることとなり、結果として所望する大きさの画像が得られるようになる。
ズームリングZR及びズームレバーZLが表示されている間は、ドラッグ操作が有効となり、何度でも表示されている画像の拡大/縮小が可能となる。
そして、ドラッグ操作がないままにカウンタの値が一定値に達した場合に(ステップS108のYes)、CPU11は、ズームリングZRとズームレバーZLの画像を消去し、その時点で設定された拡大/縮小率での画像表示を行なった状態で、ステップS101からの処理に戻る。
図3Bでは、ズームレバーZLの操作によりズームリングZR内の画像のみならず、表示部17で表示している画面全体を拡大/縮小するものとして説明したが、本実施形態はこれに限らず、使用するアプリケーションプログラムに応じてズームリングZR内の画像のみを拡大/縮小するものとしてもよい。
さらに図3A及び図3Bでは、表示部17で表示する画像に対応付けて階層的にいくつかの参照画像がオブジェクト画像として設定されていない場合について説明したが、アプリケーションプログラムによって各種のオブジェクト画像を設定し、ドラッグ操作に対して拡大/縮小以外の機能を設定することで、ズームリングZRとズームレバーZLを用いた多様な表現操作が実現できる。
図4A,図4B,図5A,図5B及び図6は、各種アプリケーションプログラムでのオブジェクト画像の設定例を示す。
図4Aは、シューティングゲームで敵のキャラクタを(狙撃銃の)スコープに捕らえた状態を例示している。この場合、敵が存在していると覚しき画像中の位置をダブルタップ操作することにより、最寄りの敵キャラクタの画像がスコープ内に表示され、且つその敵キャラクタの画像中の本来の位置が一対の導線L,Lによって表示されている。
このゲームプログラムが例えば「自動照準機能」を有している場合には、既に敵キャラクタをロックオンしているものとして、敵から撃たれない時間内に、ズームレバーZLの操作により任意に拡大率を可変した上で狙撃ポイントを指定することで、敵キャラクタの任意の位置への狙撃が実行されるようにしても良い。
図4Bは、複数のアバターのキャラクタが表示されている画像において、画像中の位置をダブルタップ操作することにより、最寄りのアバターがズームリングZR内に表示され、且つそのアバターの画像中の本来の位置が一対の導線L,Lによって表示されている。
このアバター画像に対して例えば「回転」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示しているアバターを任意の方向に回転して表示させるようにしても良い。
図5Aは、マップ内のいくつかの観光ポイントから建物を指定して表示させた状態を例示している。この場合、画像中のダブルタップ操作した位置の最寄りの建物が指定され、且つその建物の本来の位置が一対の導線L,Lによって表示されている。
このアプリケーションプログラムが例えば「建物紹介」の機能を有している場合に、ズームレバーZLの操作により、あたかも観光者が建物の内部に移動するかの如く外部から内部に順次移動する画像を表示させるようにしても良い。
図5Bは、動物系ゲームで虎が表示されている画像において、画像中の位置をダブルタップ操作することにより、その虎の正面の顔がズームリングZR内に表示され、且つその顔の本来の位置が一対の導線L,Lによって表示されている。
この虎の画像に対して例えば「拡大/縮小」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示している虎の画像を拡大/縮小して表示させるようにしても良い。
図6は、アクアリウム系のゲーム内で熱帯魚を個別に指定して表示させた状態を例示している。この場合、画像中のダブルタップ操作した位置の最寄りの熱帯魚、例えば「カージナルテトラ」が指定され、且つその水槽中の本来の位置が一対の導線L,Lによって表示されている。
この熱帯魚の画像に対して例えば「回転」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示している熱帯魚を任意の方向に回転して表示させるようにしても良い。
また上記実施形態によるズームリングZRとズームレバーZLは、アプリケーションプログラム中に登場するキャラクタ画像に対する操作のみならず、スマートフォン10の機能設定のための操作に利用可能としても良い。
図7A,図7B、及び図8は、ズームリングZRとズームレバーZLとを用いてスマートフォン10の機能設定を行なう場合の画像例を示す。
図7Aは、スピーカ24から出力させる音量を設定する場合の画面を例示している。この場合、ズームレバーZLの操作により、音量を上下に調整することができる。
図7Bは、表示部17で表示する画像、及び表示部17のバックライトの明るさを設定する場合の画面を例示している。この場合、ズームレバーZLの操作により、明るさの自動調整の度合いを上下に調整できる。
図8は、ブックマーク機能で登録したWebサイトを選択する場合の画面を例示している。この場合、ズームレバーZLの操作により、複数の候補の中からWebサイトを選択できる。
なお実施形態では、動作当初にダブルタップ操作により画像中の位置を指定することで、一連の処理が開始されるものとして説明したが、本発明はそれに限らず、例えば一回のタップ操作を一定時間以上行なうロングタップ操作など、画像中の位置を指定できるような操作であれば、他にも適用することが可能である。
以上詳述した如く本実施形態によれば、直感的で理解し易い形態で、画像中の任意の位置の拡大や縮小などをその度合いも含めて自在に操作することが可能となる。
また、実施形態では、ズームリングZRをドラッグ操作するのではなく、ズームリングZRから突出したズームレバーZLを操作するものとしたので、不用意にズームリングZRにタッチしてしまうことで無用のズーム動作等を行なうことなく、確実に操作が実行できる。
また、実施形態では、タッチ操作の位置により、その時点で表示部17に表示している画像中の当該部分を取得して何らかの操作を行なう場合について説明したが、これにより極めて理解し易く表示中の画像に対する直感的な操作が実現できる。
さらに実施形態では、画像に対して階層的に他の参照画像が関連付けられているものとして、タッチ操作された位置に応じてそれら参照画像の中から最寄りの画像を読出して表示させる場合についても説明した通り、初めに表示された画像と関連した、それまで表示していなかった画像を関連付けて表示させることにより、さらに多様で豊かな表現が可能となる。
また実施形態では、図7A、図7B及び図8で説明した如く、単にアプリケーションプログラム上の画像のみならず、装置の動作条件を設定する画像に関しても同様の操作体系で実現可能としたので、操作感を統一してユーザの負担を軽減できる。
なお実施形態では説明しなかったが、図9に示すように、ズームレバーZL(あるいはズームリングZR)を、ズームリングZRの円弧と直交する径方向にドラッグ操作することにより、図4Aに示している、表示部17内で表示されるズームリングZR自体の径方向の大きさを可変できるようにすることも考えられる。このような操作体系を実現することで、ズームリングZRでの表示範囲を一連の操作中に任意、且つ簡単に可変できるため、ズームリングZRを用いた操作性をより向上できる。
同様に実施形態では説明しなかったが、図10に示すように、ズームレバーZL(あるいはズームリングZR)を、ズームリングZRの円弧に沿った方向以外の方向にドラッグ操作することにより、一旦、図4Bに示すように、表示部17内でズームリングZRを表示させた後、画面中のズームリングZRの位置を上下左右に移動できるようにすることも考えられる。このような操作体系を実現することで、ズームリングZRでの表示位置を一連の操作中に任意、且つ簡単に可変できるため、ズームリングZRを用いた操作性をより向上できる。
なお実施形態は、本発明をスマートフォン10に適用した場合について説明したものであるが、本発明はこれに限らず、モバイルタイプのパーソナルコンピュータやタブレット端末など、タッチパネルを備えた各種携帯情報端末であれば何れにも適用可能となる。
なお、前述した説明では、スマートフォン10が単独で表示処理を実行するものとして説明しているが、図11に示すように、スマートフォン10とインターネット等のネットワーク30を介して接続されたコンピュータ40(例えばWebサーバ)がスマートフォン10等との情報装置と共同して表示処理を実行するようにしても良い。すなわち、コンピュータ40は、図2に示すフローチャートと同様の処理を実行することにより、スマートフォン10のタッチパネル入力部18により出力されるタッチ操作の位置座標情報を、ネットワーク30を介して受信し、この位置座標情報に応じてスマートフォン10の表示部17に表示させる画像を生成して、スマートフォン10に送信する。これにより、スマートフォン10は、前述したように、ユーザ操作に応じた画像を表示させることができる。
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
10…スマートフォン、11…CPU、17…表示部、18…タッチパネル入力部、40…コンピュータ。
本発明の一態様は、画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを備えた装置が実行する表示処理方法であって、少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示し、上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、上記リング状の枠画像に沿った操作の方向及び当該操作の量に応じて上記枠画像内のオブジェクトの表示を変更する。

Claims (12)

  1. 画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを用いてコンピュータが実行する表示処理方法であって、
    上記コンピュータが、
    少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させ、
    上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、
    上記枠画像に沿った操作の方向及び当該操作の量に応じて、少なくとも上記オブジェクトの表示を変更する表示処理方法。
  2. 上記枠画像内に表示されたオブジェクトの本来の位置から上記枠画像へ延在する導線を表示する請求項1に記載の表示処理方法。
  3. 上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、当該オブジェクトに対し自動的に照準を合わせる請求項1又は2に記載の表示処理方法。
  4. 更に、上記枠画像に加えて径方向に突出した操作レバーの画像を表示させ、
    上記操作レバーの画像に対する上記枠画像に沿った連続するタッチ操作を受け付ける請求項1〜3の何れか1項に記載の表示処理方法。
  5. 上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記オブジェクトの表示の拡大率又は縮小率を変更する請求項4に記載の表示処理方法。
  6. 上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記オブジェクトの表示を回転させる請求項4に記載の表示処理方法。
  7. 上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記オブジェクトに対する視点を移動させた画像を表示させる請求項4に記載の表示処理方法。
  8. 上記枠画像もしくは、上記操作レバーに対する、上記枠画像の径方向の連続するタッチ操作を受け付け、
    上記連続するタッチ操作の方向及び当該操作の量に応じて、上記枠画像の大きさを変更する請求項4〜7の何れか1項に記載の表示処理方法。
  9. 上記枠画像もしくは、上記操作レバーに対する、上記枠画像に沿わない連続するタッチ操作を受け付け、
    上記連続するタッチ操作の方向及び当該操作の量に応じて、上記枠画像の表示位置を変更する請求項4〜8の何れか1項に記載の表示処理方法。
  10. 更に、上記表示ユニット及び上記タッチパネルを備える装置の動作条件の設定に関する設定用画像を記憶し、
    上記タッチ操作の方向及び当該操作の量に応じて、上記装置の動作条件の設定状態を変更した上記設定用画像を表示させる請求項1〜9の何れか1項に記載の表示処理方法。
  11. 画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを用いて、コンピュータが実行する表示処理プログラムであって、
    上記コンピュータを、
    少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させ、
    上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、
    上記枠画像に沿った操作の方向及び当該操作の量に応じて、少なくとも上記オブジェクトの表示を変更する手段として機能させる表示処理プログラム。
  12. 画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルと、制御部とを備えた表示処理システムであって、
    前記制御部は、
    少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させる第1の表示制御と、
    上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させる第2の表示制御と、
    上記枠画像に沿った操作の方向及び当該操作の量に応じて、少なくとも上記オブジェクトの表示を変更する第3の表示制御と、を行う表示処理システム。
JP2016177487A 2012-12-26 2016-09-12 表示処理方法、表示処理プログラム及び表示処理システム Active JP6072340B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012282794 2012-12-26
JP2012282794 2012-12-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014554273A Division JP6009584B2 (ja) 2012-12-26 2013-12-04 表示処理方法及び情報装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016250952A Division JP6345757B2 (ja) 2012-12-26 2016-12-26 表示処理方法、表示処理プログラム及び表示処理システム

Publications (2)

Publication Number Publication Date
JP6072340B1 JP6072340B1 (ja) 2017-02-01
JP2017041255A true JP2017041255A (ja) 2017-02-23

Family

ID=51020728

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014554273A Active JP6009584B2 (ja) 2012-12-26 2013-12-04 表示処理方法及び情報装置
JP2016177487A Active JP6072340B1 (ja) 2012-12-26 2016-09-12 表示処理方法、表示処理プログラム及び表示処理システム
JP2016250952A Active JP6345757B2 (ja) 2012-12-26 2016-12-26 表示処理方法、表示処理プログラム及び表示処理システム
JP2018073963A Active JP6886939B2 (ja) 2012-12-26 2018-04-06 情報処理装置の制御方法、制御プログラム及び情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014554273A Active JP6009584B2 (ja) 2012-12-26 2013-12-04 表示処理方法及び情報装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016250952A Active JP6345757B2 (ja) 2012-12-26 2016-12-26 表示処理方法、表示処理プログラム及び表示処理システム
JP2018073963A Active JP6886939B2 (ja) 2012-12-26 2018-04-06 情報処理装置の制御方法、制御プログラム及び情報処理装置

Country Status (3)

Country Link
US (1) US11003351B2 (ja)
JP (4) JP6009584B2 (ja)
WO (1) WO2014103634A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195369B2 (en) 2012-02-06 2015-11-24 Hothead Games, Inc. Virtual opening of boxes and packs of cards
US11003351B2 (en) * 2012-12-26 2021-05-11 Gree, Inc. Display processing method and information device
JP2015046261A (ja) * 2013-08-27 2015-03-12 株式会社東芝 電子機器、プログラムおよび制御システム
JP6241356B2 (ja) * 2014-04-08 2017-12-06 富士通株式会社 電子機器及び情報表示プログラム
JP6345097B2 (ja) * 2014-12-05 2018-06-20 三菱電機株式会社 表示制御システムおよび表示制御方法
USD766314S1 (en) * 2015-05-01 2016-09-13 Microsoft Corporation Display screen with animated graphical user interface
CN105894554B (zh) * 2016-04-11 2019-07-05 腾讯科技(深圳)有限公司 图像处理方法和装置
US9919213B2 (en) * 2016-05-03 2018-03-20 Hothead Games Inc. Zoom controls for virtual environment user interfaces
US10004991B2 (en) 2016-06-28 2018-06-26 Hothead Games Inc. Systems and methods for customized camera views in virtualized environments
US10010791B2 (en) 2016-06-28 2018-07-03 Hothead Games Inc. Systems and methods for customized camera views and customizable objects in virtualized environments
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
CN108363531A (zh) * 2018-01-17 2018-08-03 网易(杭州)网络有限公司 一种游戏中的交互方法及装置
CN109701264A (zh) * 2018-12-21 2019-05-03 努比亚技术有限公司 游戏放大镜控制方法、装置、移动终端及存储介质
JP2021105644A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164005A (ja) * 2004-12-09 2006-06-22 Sharp Corp ファイル情報出力装置およびファイル情報出力プログラム
JP2006271841A (ja) * 2005-03-30 2006-10-12 Atlus Co Ltd ゲームプログラム
JP2007072233A (ja) * 2005-09-08 2007-03-22 Matsushita Electric Ind Co Ltd 情報表示装置
JP2010181940A (ja) * 2009-02-03 2010-08-19 Zenrin Datacom Co Ltd 画像処理装置および画像処理方法
WO2012102159A1 (ja) * 2011-01-27 2012-08-02 シャープ株式会社 文字入力装置および文字入力方法
JP2012203644A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器
JP2012530291A (ja) * 2009-06-10 2012-11-29 クアルコム,インコーポレイテッド 連続的なズーム機能を提供するユーザーインターフェイスの方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2609744B2 (ja) * 1989-07-14 1997-05-14 株式会社日立製作所 画像表示方法及び画像表示装置
JP2000267777A (ja) 1999-03-16 2000-09-29 Internatl Business Mach Corp <Ibm> タッチパネルを用いた数値の入力方法および入力装置
US7009626B2 (en) * 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
JP2003287424A (ja) * 2002-03-28 2003-10-10 Mitsubishi Electric Corp ナビゲーション装置および地図情報表示方法
JP2004152217A (ja) 2002-11-01 2004-05-27 Canon Electronics Inc タッチパネル付き表示装置
EP1774427A2 (en) 2004-07-30 2007-04-18 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US7966573B2 (en) * 2006-02-17 2011-06-21 Microsoft Corporation Method and system for improving interaction with a user interface
US8453060B2 (en) * 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
US7889212B2 (en) * 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US8471823B2 (en) * 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
JP4990753B2 (ja) * 2007-12-28 2012-08-01 パナソニック株式会社 電子機器の入力装置及び入力操作処理方法、並びに入力制御プログラム
US7890257B2 (en) * 2008-01-14 2011-02-15 Research In Motion Limited Using a shape-changing display as an adaptive lens for selectively magnifying information displayed onscreen
JP5312815B2 (ja) * 2008-02-08 2013-10-09 ヤフー株式会社 地図拡大表示装置
JP4872102B2 (ja) 2008-08-25 2012-02-08 国立大学法人 大分大学 コンピュータのコラボトレイ
EP2378402B1 (en) * 2008-12-18 2019-01-23 NEC Corporation Slide bar display control apparatus and slide bar display control method
US20100162163A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Image magnification
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
JP2011028345A (ja) 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
US8335990B2 (en) * 2009-08-18 2012-12-18 Nokia Corporation Method and apparatus for grouping points-of-interest on a map
US20110061009A1 (en) * 2009-09-10 2011-03-10 John David Poisson Flexible user interface for image manipulation for an iamge product
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
US8365074B1 (en) * 2010-02-23 2013-01-29 Google Inc. Navigation control for an electronic device
US9471700B2 (en) * 2010-05-18 2016-10-18 Tksn Holdings, Llc System and method for monitoring changes in databases and websites
JP5510185B2 (ja) 2010-08-20 2014-06-04 ソニー株式会社 情報処理装置、プログラム及び表示制御方法
US9489062B2 (en) * 2010-09-14 2016-11-08 Google Inc. User interfaces for remote management and control of network-connected thermostats
JP2012099093A (ja) * 2010-10-08 2012-05-24 Ag Ltd タッチパッド用の入力デバイス、プログラム、データ処理方法およびデータ処理装置
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
KR101836381B1 (ko) * 2011-01-28 2018-03-08 삼성전자주식회사 터치스크린 단말기에서 화면 디스플레이 제어 방법 및 장치
US10409851B2 (en) * 2011-01-31 2019-09-10 Microsoft Technology Licensing, Llc Gesture-based search
CN102760028B (zh) * 2011-04-28 2016-05-25 腾讯科技(深圳)有限公司 基于Symbian平台的放大镜实现方法和装置
US20130127904A1 (en) * 2011-11-18 2013-05-23 Andrew P. Dove Automatically Displaying Measurement Data Acquired by a Measurement System on a Mobile Device
US20130239031A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Application for viewing images
US8830194B2 (en) * 2012-03-15 2014-09-09 Lenovo (Singapore) Pte. Ltd. Touchscreen virtual track control
JP2012234569A (ja) 2012-08-09 2012-11-29 Panasonic Corp 電子機器、表示方法、及びプログラム
US9262067B1 (en) * 2012-12-10 2016-02-16 Amazon Technologies, Inc. Approaches for displaying alternate views of information
US11003351B2 (en) 2012-12-26 2021-05-11 Gree, Inc. Display processing method and information device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164005A (ja) * 2004-12-09 2006-06-22 Sharp Corp ファイル情報出力装置およびファイル情報出力プログラム
JP2006271841A (ja) * 2005-03-30 2006-10-12 Atlus Co Ltd ゲームプログラム
JP2007072233A (ja) * 2005-09-08 2007-03-22 Matsushita Electric Ind Co Ltd 情報表示装置
JP2010181940A (ja) * 2009-02-03 2010-08-19 Zenrin Datacom Co Ltd 画像処理装置および画像処理方法
JP2012530291A (ja) * 2009-06-10 2012-11-29 クアルコム,インコーポレイテッド 連続的なズーム機能を提供するユーザーインターフェイスの方法
WO2012102159A1 (ja) * 2011-01-27 2012-08-02 シャープ株式会社 文字入力装置および文字入力方法
JP2012203644A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器

Also Published As

Publication number Publication date
JP6072340B1 (ja) 2017-02-01
JP2018106764A (ja) 2018-07-05
JP6345757B2 (ja) 2018-06-20
JP6886939B2 (ja) 2021-06-16
JPWO2014103634A1 (ja) 2017-01-12
JP2017076428A (ja) 2017-04-20
US20150363103A1 (en) 2015-12-17
JP6009584B2 (ja) 2016-10-19
US11003351B2 (en) 2021-05-11
WO2014103634A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
JP6345757B2 (ja) 表示処理方法、表示処理プログラム及び表示処理システム
KR102649254B1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
JP5852017B2 (ja) マルチタスキングを実行する装置及び方法
US10516830B2 (en) Guided image composition on mobile devices
WO2022002053A1 (zh) 拍照方法、装置及电子设备
US10241660B2 (en) Display control apparatus, method for controlling the same, and storage medium
US9582172B2 (en) Display control apparatus and method, image display apparatus, and non-transitory computer readable medium
KR20210042621A (ko) 전자 장치 및 이를 이용한 카메라 배율 조정 방법
US9524537B2 (en) Display control apparatus and method, image display apparatus, and non-transitory computer readable medium for controlling a displayed image
US9430989B2 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display method for displaying images on a divided display
US20130208163A1 (en) Camera shutter key display apparatus and method
JP6647103B2 (ja) 表示制御装置およびその制御方法
CN107172347B (zh) 一种拍照方法及终端
EP2887648B1 (en) Method of performing previewing and electronic device for implementing the same
JP2014030178A (ja) 画像閲覧システム、調停端末、画像閲覧方法および調停方法
JP2023551264A (ja) 写真撮り方法、装置、電子機器及び記憶媒体
WO2022156673A1 (zh) 显示控制方法、装置、电子设备及介质
JP2012248034A (ja) 携帯端末装置、プログラムおよび表示制御方法
TWI627569B (zh) 顯示控制裝置及其控制方法
JP5654634B2 (ja) 壁紙画像の設置方法とデジタルメディアコントローラ
JP6175375B2 (ja) 表示装置、表示方法及びプログラム
WO2020181550A1 (zh) 交互方法、柔性电子装置及可读存储介质
JP2020160738A (ja) 表示装置
JP2017016334A (ja) 情報処理装置、制御方法、及びプログラム
JP2016192592A (ja) 撮像制御装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R150 Certificate of patent or registration of utility model

Ref document number: 6072340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250