JP2015114836A - 画像処理装置、触感制御方法及びプログラム - Google Patents

画像処理装置、触感制御方法及びプログラム Download PDF

Info

Publication number
JP2015114836A
JP2015114836A JP2013256296A JP2013256296A JP2015114836A JP 2015114836 A JP2015114836 A JP 2015114836A JP 2013256296 A JP2013256296 A JP 2013256296A JP 2013256296 A JP2013256296 A JP 2013256296A JP 2015114836 A JP2015114836 A JP 2015114836A
Authority
JP
Japan
Prior art keywords
tactile sensation
drawing object
image processing
unit
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013256296A
Other languages
English (en)
Inventor
中川　浩一
Koichi Nakagawa
浩一 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013256296A priority Critical patent/JP2015114836A/ja
Priority to KR1020140170264A priority patent/KR101749126B1/ko
Priority to US14/557,721 priority patent/US9507422B2/en
Priority to GB1421605.5A priority patent/GB2523875B/en
Priority to CN201410754339.0A priority patent/CN104714733B/zh
Priority to RU2014150027A priority patent/RU2618939C2/ru
Priority to DE102014018429.3A priority patent/DE102014018429A1/de
Publication of JP2015114836A publication Critical patent/JP2015114836A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Abstract

【課題】ユーザが、自身の行なった操作に対応する処理が完了したか否かを確認することができるような仕組みを提供することを目的とする。【解決手段】描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、入力手段の描画オブジェクトに対応する位置にタッチ入力が行われた場合に、描画オブジェクトを消去する消去手段と、消去手段による描画オブジェクトの消去に応じて、刺激を発生させるように触感生成手段を制御する制御手段とを有する。【選択図】図１

Description

本発明は、画像処理装置、触感制御方法及びプログラムに関する。
近年、タッチパネルを搭載した機器が増加している。ユーザが自由に画面上の場所を指定できるその特徴から、これらの機器では、既存画像の編集機能や、お絵描き機能を有するものも多い。お絵描き機能とは、画像そのものをペイントして生成する機能である。お絵描き機能において、ユーザは、線の種類や色を選択し自由に線を描いたり、消しゴム等のアイコンを選択することにより、描いた線を消去したりすることが可能である（例えば特許文献１参照）。
特開２０１２−１２４６１２号公報
しかしながら、お絵描き機能により表示画面に描かれた線に対し、表示画面上に設けられた入力画面へのタッチ入力による消去操作を行う場合には、指によるタッチ操作によりタッチ箇所が隠れてしまう。このため、ユーザは、消したい画像の消去が行われたか否かを確認し難いという問題があった。
本発明はこのような問題点に鑑みなされたもので、ユーザが、自身の行なった操作に対応する処理が完了したか否かを確認することができるような仕組みを提供することを目的とする。
そこで、本発明は、画像処理装置であって、描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われた場合に、前記描画オブジェクトを消去する消去手段と、前記消去手段による前記描画オブジェクトの消去に応じて、前記刺激を発生させるように前記触感生成手段を制御する制御手段とを有する。
本発明によれば、ユーザが、自身の行なった操作に対応する処理が完了したか否かを確認することができるような仕組みを提供することができる。
電子機器を示す図である。 お絵描き機能を説明するための図である。 触感制御処理を示すフローチャートである。 第２の実施形態にかかる触感制御処理を示すフローチャートである。 対応テーブルの一例を示す図である。 変更例にかかる対応テーブルの一例を示す図である。 第３の実施形態にかかる触感制御処理を示すフローチャートである。
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置としての電子機器１００を示す図である。電子機器１００は、携帯電話等により構成することができる。図１に示すように、内部バス１５０に対して、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９及び通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して、撮像部１１２、触感生成部１２２及び触感生成部１２３が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ等）を有している。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が格納されている。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭ等を有している。
画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、画像データに対して各種画像処理を施す。画像処理が施される画像データとしては、不揮発性メモリ１０３や記録媒体１０８に格納された画像データ、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像データ、撮像部１１２で撮像された画像データ等がある。
画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０４は、例えば、特定の画像処理を施すための専用の回路ブロックである。また、画像処理の種別によっては、画像処理部１０４ではなく、ＣＰＵ１０１がプログラムに従って画像処理を実行することもできる。本実施形態にかかるＣＰＵ１０１は、ぼかしフィルタ処理を行う。
ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面等を表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成し、これをディスプレイ１０５に出力するように、電子機器１００の各部を制御する。そして、ディスプレイ１０５は、映像信号に基づいて映像を表示する。
なお、他の例としては、電子機器１００は、ディスプレイ１０５を有さず、ディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースを有することとしてもよい。この場合には、電子機器１００は、外付けのモニタ（テレビ等）に対し画像等を表示するものとする。
操作部１０６は、キーボード等の文字情報入力デバイスや、マウスやタッチパネル１２０等ポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等、ユーザ操作を受け付けるための入力デバイスである。タッチパネル１２０は、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報を出力する入力デバイスである。タッチパネル１２０は、入力画面の一例である。
記憶媒体Ｉ／Ｆ１０７には、メモリーカードやＣＤ、ＤＶＤ等の記録媒体１０８が装着可能である。記憶媒体Ｉ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、装着された記録媒体１０８へのデータの書き込みを行う。
外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１等と通信（電話通信を含む）して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
撮像部１１２は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子、ズームレンズ、フォーカスレンズ、シャッター、絞り、測距部、Ａ／Ｄ変換器等を有するカメラユニットである。撮像部１１２は、静止画及び動画を撮像することができる。撮像部１１２により撮像された画像の画像データは、画像処理部１０４に送信され、画像処理部１０４において、各種処理を施された後、静止画ファイル又は動画ファイルとして記録媒体１０８に記録される。
ＣＰＵ１０１は、タッチパネル１２０から出力されたタッチ位置の座標情報を、内部バス１５０を介して受信する。そして、ＣＰＵ１０１は、座標情報に基づいて、以下の操作や状態を検出する。
・タッチパネル１２０を指やペンで触れる操作（以下、タッチダウンと称する）。
・タッチパネル１２０を指やペンで触れている状態（以下、タッチオンと称する）。
・タッチパネル１２０を指やペンで触れたまま移動する操作（以下、ムーブと称する）。
・タッチパネル１２０へ触れていた指やペンを離す操作（以下、タッチアップと称する）。
・タッチパネル１２０に何も触れていない状態（以下、タッチオフと称する）。
ＣＰＵ１０１はさらに、ムーブを検出した場合には、タッチ位置の座標変化に基づいて、指やペンの移動方向を判定する。具体的には、ＣＰＵ１０１は、タッチパネル１２０上における移動方向の垂直成分及び水平成分それぞれを判定する。
ＣＰＵ１０１はまた、ストローク、フリック及びドラッグの各操作を検出する。ＣＰＵ１０１は、タッチダウンから一定のムーブを経てタッチアップが行われた場合に、ストロークを検出する。ＣＰＵ１０１は、所定距離以上且つ所定速度以上のムーブが検出され、続けてタッチアップが検出された場合に、フリックを検出する。ＣＰＵ１０１はまた、所定距離以上且つ所定速度未満のムーブが検出された場合に、ドラッグを検出する。
なお、フリックは、タッチパネル１２０上に指を触れたまま、ある程度の距離だけ素早く動かし、そのまま指をタッチパネル１２０から離す操作である。すなわち、フリックは、タッチパネル１２０上を指ではじくように素早くなぞる操作である。
タッチパネル１２０は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
荷重検出部１２１は、接着等によりタッチパネル１２０と一体に設けられている。荷重検出部１２１は、歪みゲージセンサであり、タッチ操作の押圧力に応じてタッチパネル１２０が微少量撓む（歪む）ことを利用して、タッチパネル１２０に加わる荷重（押圧力）を検出する。他の例としては、荷重検出部１２１は、ディスプレイ１０５と一体に設けられてもよい。この場合、荷重検出部１２１は、ディスプレイ１０５を介して、タッチパネル１２０に加わる荷重を検出する。
触感生成部１２２は、タッチパネル１２０を操作する指やペン等の操作子に与える触感を生成する。すなわち、触感生成部１２２は、タッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる。触感生成部１２２は、接着等によりタッチパネル１２０と一体に設けられている。触感生成部１２２は、圧電（ピエゾ）素子、より具体的には圧電振動子であり、ＣＰＵ１０１の制御の下、任意の振幅及び周波数で振動する。これにより、タッチパネル１２０が湾曲振動し、タッチパネル１２０の振動が操作子に触感として伝わる。すなわち、触感生成部１２２は、自身が振動することにより、タッチパネル１２０を介して、操作子に触感を与えるものである。
他の例としては、触感生成部１２２は、ディスプレイ１０５と一体に設けられていてもよい。この場合、触感生成部１２２は、ディスプレイ１０５を介して、タッチパネル１２０を湾曲振動させる。
なお、ＣＰＵ１０１は、触感生成部１２２の振幅及び周波数を変更し、様々なパターンで触感生成部１２２を振動させることにより、様々なパターンの触感を生成させることができる。
また、ＣＰＵ１０１は、タッチパネル１２０おいて検出されたタッチ位置と、荷重検出部１２１により検出された押圧力に基づいて、触感を制御することができる。例えば、操作子のタッチ操作に対応し、ＣＰＵ１０１が、ディスプレイ１０５に表示されたボタンアイコンに対応するタッチ位置を検出し、荷重検出部１２１が、所定値以上の押圧力を検出したとする。この場合、ＣＰＵ１０１は、１周期前後の振動を生成する。これにより、ユーザは、あたかも機械的なボタンを押しこんだ際のクリック感のような触感を知覚することができる。
さらにＣＰＵ１０１は、ボタンアイコンの位置へのタッチを検出している状態で所定値以上の押圧力を検出した場合にのみ、ボタンアイコンの機能を実行するものとする。すなわち、ＣＰＵ１０１は、単にボタンアイコンに触れた場合のように弱い押圧力を検知した場合には、ボタンアイコンの機能を実行しない。これにより、ユーザは、機械的なボタンを押しこんだ際と同じような感覚で操作を行うことができる。
なお、荷重検出部１２１は、歪みゲージセンサに限定されるものではない。他の例としては、荷重検出部１２１は、圧電素子を有してもよい。この場合、荷重検出部１２１は、押圧力に応じて圧電素子から出力される電圧に基づいて、荷重を検出する。さらに、この場合の荷重検出部１２１としての圧力素子は、触感生成部１２２としての圧力素子と共通であってもよい。
また、触感生成部１２２は、圧力素子による振動を生成するものに限定されるものではない。他の例としては、触感生成部１２２は、電気的な触感を生成するものであってもよい。例えば、触感生成部１２２は、導電層パネルと絶縁体パネルを有する。ここで、導電層パネルと絶縁体パネルは、タッチパネル１２０と同様に、ディスプレイ１０５に重ね合わされ、平面的に設けられている。そして、ユーザが絶縁体パネルに触れると、導電層パネルに正電荷がチャージされる。すなわち、触感生成部１２２は、導電層パネルに正電荷をチャージすることにより、電気刺激としての触感を生成することができる。また、触感生成部１２２は、ユーザに、クーロン力により皮膚が引っ張られるような感覚（触感）を与えるものであってもよい。
また他の例としては、触感生成部１２２は、正電荷をチャージするか否かを、パネル上の位置毎に選択可能な導電層パネルを有してもよい。そして、ＣＰＵ１０１は、正電荷のチャージ位置を制御する。これにより、触感生成部１２２は、ユーザに「ゴツゴツ感」、「ザラザラ感」、「さらさら感」等、様々な触感を与えることができる。
触感生成部１２３は、電子機器１００の全体を振動させることにより、触感を生成する。触感生成部１２３は、例えば偏心モーター等を有し、公知のバイブレーション機能等を実現する。これにより、電子機器１００は、触感生成部１２３が生成する振動により、電子機器１００を持つユーザの手等に触感を与えることができる。
本実施形態にかかる電子機器１００は、ディスプレイ１０５に表示された描画オブジェクトに対し、タッチパネル１２０へのタッチ操作による消去指示が入力された場合に、タッチ入力を行ったユーザの指等に対し触感を与える触感制御処理を行う。ここで、描画オブジェクトの描画及び消去は、お絵描き機能により実現されるものである。以下、お絵描き機能について説明する。お絵描き機能は、ユーザから、ペンの種類や色の選択を受け付け、画像を描く機能である。
図２は、お絵描き機能実行時にディスプレイ１０５に表示されるお絵描き画面の一例を示す図である。２０１は鉛筆、２０２はクレヨン、２０３はブラシを表すアイコンである。ユーザは、２０１〜２０３のアイコンをタッチすることによってペン種を選択することができる。２０９は、キャンバスである。ここで、ペン種としては、鉛筆、クレヨン、ブラシ等が設定されているものとする。ペン種に応じて、描画される線の種類が異なる。すなわち、ペン種は、線種の一例である。
ユーザが、ペン種を選択した状態でキャンバス２０９にタッチすると、ＣＰＵ１０１は、タッチ入力が行われたタッチ位置に対応するディスプレイ１０５上の位置に、選択したペン種の線を描画する。以下、お絵描き機能により描画されたオブジェクトを描画オブジェクトと称する。描画オブジェクトは、絵や文字等のオブジェクトである。２０４は、消しゴムを表すアイコンである。ユーザが、消しゴムのアイコンをタッチした後、キャンバス２０９をタッチすると、ＣＰＵ１０１は、タッチパネル１２０のタッチ位置に対応するディスプレイ１０５上の位置に描画された線（描画オブジェクト）を消去する。なお、以下においては、タッチ位置に対応するディスプレイ上の位置に描画された描画オブジェクトを、単に、タッチ位置に描画された描画オブジェクトと称する。
２０５〜２０８は、色の選択に用いるパレットである。ユーザが、描きたい色のパレットをタッチすると、ＣＰＵ１０１は、線を描くときの色を選択したパレットの色に変更する。２１０は、ぼかしフィルタを表すアイコンである。ユーザが、ぼかしフィルタのアイコンをタッチした後、キャンバス２０９をタッチすると、ＣＰＵ１０１は、タッチされた個所に描かれている線をその近傍の座標に対してぼかしていくようなフィルタ処理を実行する。
ＣＰＵ１０１は、お絵描き機能により生成された描画オブジェクトを示す手描きデータをメモリ１０２に格納する。手描きデータは、キャンバス２０９を構成するピクセル毎に、ペン種及び色の情報を有している。ここで、色の情報は、Ｒ，Ｇ，Ｂの３色の合成として表し、各色０〜２５５の範囲で色の強さを表すものである。
また、ＣＰＵ１０１は、キャンバス２０９の左上隅を原点とし、垂直方向をＸ軸、水平方向をＹ軸として、Ｘ軸上の座標及びＹ軸上の座標（ピクセル）を指定することにより、キャンバス２０９上の任意の手描きデータにアクセスすることができる。なお、指定された座標位置に手描きデータが存在しない場合には、指定された座標位置に対するペン種及び色の情報は、メモリ１０２に格納されていない。一方、指定された座標位置に手書きデータが存在する場合には、指定された座標に対するペン種及び色の情報が、メモリ１０２に格納されている。
消しゴムアイコンが選択され、消去機能が使用される場合には、ＣＰＵ１０１は、タッチ位置の座標に描かれた線（描画オブジェクト）を消去する。具体的には、ＣＰＵ１０１は、タッチ位置の画素に対し、描画オブジェクトの画素値に替えて、背景色として指定されている色の画素値を設定することにより、描画オブジェクトを消去する。
図３は、電子機器１００による、触感制御処理を示すフローチャートである。触感制御処理は、お絵描き機能において、消しゴムのアイコン２０４が選択された場合に実行される。なお、触感制御処理は、消しゴムのアイコン２０４が選択された状態が継続している間繰り返し実行され、消しゴムアイコン２０４の選択が解除された場合に終了する。なお、触感制御処理は、ＣＰＵ１０１がメモリ１０２又は不揮発性メモリ１０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
Ｓ３０１において、ＣＰＵ１０１は、タッチパネル１２０へのタッチダウンの有無を判定する。ＣＰＵ１０１は、タッチダウンが検出された場合には（Ｓ３０１でＹｅｓ）、処理をＳ３０２へ進める。ＣＰＵ１０１は、タッチダウンが検出されなかった場合には（Ｓ３０１でＮｏ）、触感制御処理は終了する。
Ｓ３０２において、ＣＰＵ１０１は、タッチパネル１２０から、Ｓ３０２の実行時にタッチされているタッチ位置の座標情報（以下、タッチ座標と称する）を特定する。次に、Ｓ３０３において、ＣＰＵ１０１は、Ｓ３０２において特定したタッチ座標に対応するディスプレイ１０５上の位置に描画オブジェクトが存在するか否かを判定する。
ＣＰＵ１０１は、描画オブジェクトが存在する場合には（Ｓ３０３でＹｅｓ）、処理をＳ３０４へ進める。ＣＰＵ１０１は、描画オブジェクトが存在しない場合には（Ｓ３０３でＮｏ）、処理をＳ３０７へ進める。
Ｓ３０４において、ＣＰＵ１０１は、タッチ位置に描画された描画オブジェクトを消去する（消去処理）。次に、Ｓ３０５において、ＣＰＵ１０１は、ユーザに与える触感の強さが強くなるように、触感強度の値に「１」を加算する。ここで、触感強度は、触感生成部１２２により生成される触感の強度を示す情報である。触感強度は、メモリ１０２に格納されているものとする。触感強度が大きい程、ユーザに与えられる触感が大きくなる。ＣＰＵ１０１は、メモリ１０２に格納されている触感強度に基づいて、触感生成部１２２としての圧電素子の振幅及び周波数のうち少なくとも一方を制御する。これにより、触感生成部１２２は、触感強度の異なる触感を生成することができる。
次に、Ｓ３０６において、ＣＰＵ１０１は、メモリ１０２に設定されている触感強度の触感を与えるように触感生成部１２２を制御する（制御処理）。そして、触感生成部１２２は、ＣＰＵ１０１の制御の下、タッチ位置において、メモリ１０２に設定されている触感強度に対応する振動を生成する。すなわち、触感生成部１２２は、入力画面としてのタッチパネル１２０を介して、操作子としての指に触感を与える（触感生成処理）。なお、他の例としては、ＣＰＵ１０１は、Ｓ３０５及びＳ３０６の処理の後に、Ｓ３０４の処理を実行してもよい。
一方、Ｓ３０７において、ＣＰＵ１０１は、触感強度の値を初期値「０」に戻す。これにより、ユーザに与える触感が最も小さくなるように触感強度が変更される。Ｓ３０８において、ＣＰＵ１０１は、タッチパネル１２０におけるタッチアップの有無を判定する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ３０８でＹｅｓ）、処理をＳ３１０へ進める。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ３０８でＮｏ）、処理をＳ３０９へ進める。タッチアップは検出されない場合とは、タッチオン状態が継続している場合である。
Ｓ３０９において、ＣＰＵ１０１は、タッチパネル１２０におけるムーブの有無を判定する。ＣＰＵ１０１は、ムーブを検出した場合（Ｓ３０９でＹｅｓ）、処理をＳ３０２へ進める。すなわち、ＣＰＵ１０１は、触感制御処理を継続する。ＣＰＵ１０１は、ムーブを検出しなかった場合には（Ｓ３０９でＮｏ）、処理をＳ３０８へ進める。すなわち、ＣＰＵ１０１は、タッチアップ又はムーブが検出されるまで待機する。Ｓ３１０において、ＣＰＵ１０１は、触感強度を初期値「０」に戻す。Ｓ３１０の処理は、ユーザの指がタッチパネル１２０から離れたことから消去操作終了とみななし、初期設定に戻す処理である。以上で、触感制御処理が完了する。
以上のように、第１の実施形態にかかる電子機器１００は、描画オブジェクトが消去された場合に、触感を生成する。これにより、電子機器１００は、ユーザに、消去が行われたこと及び消去が行われた位置を直感的に認識させることができる。すなわち、電子機器１００は、ユーザが、自身の行なった操作に対応する処理が完了したか否かを確認することができる仕組みを提供することができる。
さらに、Ｓ３０３〜Ｓ３０９の繰り返し処理において、ムーブが検出される度に触感強度が「１」ずつ増加する。すなわち、ＣＰＵ１０１は、タッチ入力の軌跡の面積（線の長さ）に基づいて、触感強度を決定する。ここで、Ｓ３０５及びＳ３０９の処理は、触感強度決定処理の一例である。
消去対象のオブジェクトが大きい程、また、消去対象の線が太い程、消去のためのタッチ入力の面積は大きくなる。これに対し、本実施形態にかかる電子機器１００は、タッチ入力の軌跡の面積が大きくなる程、触感強度を大きくする。したがって、ユーザは、消去対象の面積が大きくなるにつれて、より強い触感を得ることができる。したがって、本実施形態にかかる電子機器１００は、ユーザにどの部分を消去しているのかを直感的に認識させることができる。
第１の実施形態の第１の変更例としては、ＣＰＵ１０１は、タッチ位置の描画オブジェクトの色を透明色に変更することにより、描画オブジェクトを消去してもよい。例えば、お絵描き機能が画像を複数の表示レイヤにおいて編集可能な機能を有しているとする。この場合には、描画オブジェクトが透明色に変更されることにより、タッチ位置には、下位の表示レイヤの画像が表示されることとなる。また、下位の表示レイヤが存在しない場合には、描画オブジェクトが透明色に変更されることにより、タッチ位置には、タッチボタンやメニュー等のＵＩが透過して表示されることとなる。
第２の変更例としては、ＣＰＵ１０１は、Ｓ３０６において、触感生成部１２２に替えて触感生成部１２３を制御してもよい。具体的には、メモリ１０２には、触感生成部１２３の触感強度が格納されている。そして、ＣＰＵ１０１は、Ｓ３０５において、触感生成部１２３の触感強度の値に「１」を加算し、Ｓ３０６において、メモリ１０２に設定されている触感強度の触感を与えるように触感生成部１２３を制御する。
第３の変更例としては、描画オブジェクトを示す手書きデータは、描画オブジェクトを表現可能な情報であればよく、座標毎のペン種及び色を示す情報に限定されるものではない。他の例としては、手書きデータは、図形の形状と大きさ、回転方向、画像上の位置の情報等を有する情報であってもよい。
第４の変更例としては、タッチパネル１２０は、ディスプレイ１０５と離れた位置に配置されるものであってもよい。この場合も、タッチパネル１２０上の位置とディスプレイ１０５上の位置とが対応付けられており、ＣＰＵ１０１は、タッチパネル１２０の各位置へのタッチ入力に応じて、対応するディスプレイ１０５上の位置に対する指示入力を受け付けることができる。
（第２の実施形態）
次に、第２の実施形態にかかる電子機器１００について説明する。第２の実施形態にかかる電子機器１００は、お絵描き機能により描画された描画オブジェクトを消去する場合に、消去対象の描画オブジェクトのペン種に基づいて、生成させる触感の種類を制御する。以下、第２の実施形態にかかる電子機器１００について、第１の実施形態にかかる電子機器と異なる部分について説明する。
図４は、第２の実施形態にかかる電子機器１００による、触感制御処理を示すフローチャートである。図４に示す触感制御処理の各処理のうち、第１の実施形態にかかる触感制御処理の各処理と同一の処理には、同一番号を付している。
Ｓ３０３において、ＣＰＵ１０１は、タッチ位置に描画オブジェクトが存在するか否かを判定し、存在する場合には、処理をＳ３０４へ進め、存在しない場合には、処理をＳ３０８へ進める。そして、ＣＰＵ１０１は、Ｓ３０４の処理の後、処理をＳ４０１へ進める。Ｓ４０１において、ＣＰＵ１０１は、タッチ位置に描画されている描画オブジェクトのペン種（線種）を特定する（種類特定処理）。具体的には、ＣＰＵ１０１は、メモリ１０２において、Ｓ３０２において取得したタッチ座標に対応付けられているペン種を特定する。
次に、Ｓ４０２において、ＣＰＵ１０１は、Ｓ４０１において特定したペン種に基づいて、触感の種類を、オブジェクトの種類として決定する（種類決定処理）。ＣＰＵ１０１は、具体的には、ペン種と触感の種類とを対応付ける対応テーブルに基づいて、触感の種類を決定する。図５は、対応テーブルの一例を示す図である。図５に示す対応テーブル５０１は、ペン種「鉛筆」に対し、「ゴツゴツ」という触感の種類を対応付けている。また、対応テーブル５０１は、ペン種「クレヨン」に対し、「ザラザラ」という触感の種類、ペン種「ブラシ」に対し、「さらさら」という触感の種類を対応付けている。
図４に戻り、ＣＰＵ１０１は、Ｓ４０２の処理の後、処理をＳ４０３へ進める。Ｓ４０３において、ＣＰＵ１０１は、決定した触感の種類の触感を与えるように、触感生成部１２２を制御する（制御処理）。これに対し、触感生成部１２２は、決定された触感の種類の触感（振動）を生成する（触感生成処理）。
次に、Ｓ３０８において、ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ３０８でＹｅｓ）、触感制御処理を終了し、タッチアップが検出されなかった場合には（Ｓ３０８でＮｏ）、処理をＳ３０９へ進める。
なお、第２の実施形態にかかる電子機器１００のこれ以外の構成及び処理は、第１の実施形態にかかる電子機器１００の構成及び処理と同様である。
以上のように、第２の実施形態にかかる電子機器１００は、ペン種（線種）に応じて触感の種類を変更することができる。したがって、電子機器１００は、ユーザに、消去対象の線種を直感的に認識させることができる。
第２の実施形態の第１の変更例としては、Ｓ４０１において、ＣＰＵ１０１が特定する描画オブジェクトの種類は、ペン種に限定されるものではない。他の例としては、ＣＰＵ１０１は、描画オブジェクトの色相、明度及び彩度のうち少なくとも１つを、描画オブジェクトの種類として特定してもよい。この場合、ＣＰＵ１０１は、色相等と触感の種類とを対応付けた対応テーブルを参照することにより、触感の種類を特定する。
図６は、変更例にかかる対応テーブルの一例を示す図である。図６に示す対応テーブル６０１は、（Ｒ，Ｇ，Ｂ）＝（０，０，０）（黒）に対し、「ゴツゴツ」という触感の種類を対応付けている。対応テーブル６０１はまた、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）（赤）に対し「ザラザラ」という触感の種類、（Ｒ，Ｇ，Ｂ）＝（０，０，２５５）（青）に対し「さらさら」という触感の種類を対応付けている。
第２の変更例としては、ＣＰＵ１０１は、タッチ位置に描画された描画オブジェクトの彩度を算出し、彩度が高くなる程、触感強度を大きくしてもよい。
（第３の実施形態）
次に、第３の実施形態にかかる電子機器１００について説明する。第３の実施形態にかかる電子機器１００は、描画オブジェクトに対しぼかしフィルタをかける場合に、ぼかしの程度に基づいて、触感強度を制御する。以下、第３の実施形態にかかる電子機器１００について、他の実施形態にかかる電子機器と異なる部分について説明する。
図７は、第３の実施形態にかかる電子機器１００による、触感制御処理を示すフローチャートである。図７に示す触感制御処理の各処理のうち、第１の実施形態にかかる触感制御処理の各処理と同一の処理には、同一番号を付している。
Ｓ３０３において、ＣＰＵ１０１は、タッチ位置に描画オブジェクトが存在するか否かを判定し、存在する場合には、処理をＳ７０１へ進め、存在しない場合には、処理をＳ３０８へ進める。Ｓ７０１において、ＣＰＵ１０１は、ぼかし処理が行われていない描画オブジェクトの手書きデータをメモリ１０２に格納する。なお、この手書きデータは、ぼかし処理後の描画オブジェクトの手書きデータとの比較に利用される。
次に、Ｓ７０２において、ＣＰＵ１０１は、タッチ位置及びその近傍の描画オブジェクトに対し、ぼかし処理を行う。なお、ぼかし処理の対象となる範囲は、タッチ位置を基準とする範囲として、予め設定されているものとする。
次に、Ｓ７０３において、ＣＰＵ１０１は、ぼかし処理前後の描画オブジェクトを比較し、両者の差分を算出する。ＣＰＵ１０１は、具体的には、ぼかし処理前後の描画オブジェクトの色情報の差分をＲ，Ｇ，Ｂそれぞれについて算出する。ＣＰＵ１０１は、この処理を、ぼかし処理の対象となる範囲内のすべての座標について行い、その総和を差分として算出する。ここで、差分は、描画オブジェクトのぼかし処理（画像処理）前後の描画オブジェクトの変化の程度の一例である。
次に、Ｓ７０４において、ＣＰＵ１０１は、Ｓ７０３において算出した差分に基づいて、触感強度を決定する（触感強度決定処理）。ＣＰＵ１０１は、具体的には、差分が大きい程触感強度を大きくする。次に、Ｓ７０５において、ＣＰＵ１０１は、Ｓ７０４において決定された触感強度の触感を与えるように触感生成部１２２を制御する（制御処理）。そして、触感生成部１２２は、ＣＰＵ１０１の制御の下、決定された触感強度に対応する振動を生成することにより、操作子に触感を与える（触感生成処理）。
なお、第３の実施形態にかかる電子機器１００のこれ以外の構成及び処理は、他の実施形態にかかる電子機器１００の構成及び処理と同様である。
以上のように、第３の実施形態にかかる電子機器１００は、ぼかし処理前後の描画オブジェクトの変化の程度に応じて、触感強度を決定する。これにより、電子機器１００は、ユーザにぼかし処理による変化の程度を直感的に認識させることができる。
一般に、ぼかしフィルタは同じ個所に何度もかけるほど一回毎の効果は薄れていく。これに対し、本実施形態にかかる電子機器１００は、変化の程度に応じた触感を与えることができる。したがって、ユーザは、ぼかしフィルタを繰り返しかけることが効果的であるか否かを直感的に認識することができる。
第３の実施形態の第１の変更例としては、ぼかし処理は、ＣＰＵ１０１に替えて、画像処理部１０４が実行してもよい。この場合、ＣＰＵ１０１が画像処理部１０４に対しぼかし処理を指示する。そして、画像処理部１０４は、ＣＰＵ１０１の指示に従い、ぼかし処理を実行する。
また、第２の変更例としては、電子機器１００は、ぼかし処理以外の画像処理において、同様に画像処理前後の変化の程度に基づいて、触感強度を制御してもよい。
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上、上述した各実施形態によれば、ユーザが、自身の行なった操作に対応する処理が完了したか否かを確認することができるような仕組みを提供することができる。
本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
１００ 電子機器、１０１ ＣＰＵ、１０２ メモリ、１０３ 不揮発性メモリ、１０５ ディスプレイ、１２０ タッチパネル、１２１ 荷重検出部、１２２，１２３ 触感生成部

Claims (13)

  1. 描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われた場合に、前記描画オブジェクトを消去する消去手段と、
    前記消去手段による前記描画オブジェクトの消去に応じて、前記刺激を発生させるように前記触感生成手段を制御する制御手段と
    を有する画像処理装置。
  2. 前記消去手段は、前記タッチ入力が行われた位置の前記描画オブジェクトの色を背景色に変更することにより、前記描画オブジェクトを消去する請求項１に記載の画像処理装置。
  3. 前記消去手段は、前記タッチ入力が行われた位置の前記描画オブジェクトの色を透明色に変更することにより、前記描画オブジェクトを消去する請求項１に記載の画像処理装置。
  4. 前記タッチ入力の軌跡の面積に基づいて、触感強度を決定する触感強度決定手段をさらに有し、
    前記制御手段は、前記触感強度決定手段により決定された前記触感強度の触感を与えるように前記触感生成手段を制御する請求項１乃至３何れか１項に記載の画像処理装置。
  5. 前記タッチ入力が行われた位置に描画された描画オブジェクトの種類を特定する種類を特定する種類特定手段と、
    前記種類特定手段により特定された種類に基づいて、前記触感の種類を決定する種類決定手段と
    をさらに有し、
    前記制御手段は、前記種類決定手段により決定された前記種類の前記触感を与えるように前記触感生成手段を制御する請求項１乃至４何れか１項に記載の画像処理装置。
  6. 前記種類特定手段は、前記描画オブジェクトの線種を前記種類として特定する請求項５に記載の画像処理装置。
  7. 前記種類特定手段は、前記描画オブジェクトの色相、明度及び彩度のうち少なくとも１つを前記種類として特定する請求項５に記載の画像処理装置。
  8. 描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われ、前記描画オブジェクトに対し画像処理が行われた場合に、前記刺激を発生させるように前記触感生成手段を制御する制御手段と
    を有する画像処理装置。
  9. 前記画像処理前後の前記描画オブジェクトの変化の程度に基づいて、触感強度を決定する触感強度決定手段をさらに有し、
    前記制御手段は、前記触感強度決定手段により決定された前記触感強度の触感を与えるように前記触感生成手段を制御する請求項８に記載の画像処理装置。
  10. 画像処理装置が実行する触感制御方法であって、
    描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成ステップと、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われた場合に、前記描画オブジェクトを消去する消去ステップと、
    前記消去ステップにおける前記描画オブジェクトの消去に応じて、前記刺激を発生させるように前記触感生成ステップを制御する制御ステップと
    を含む触感制御方法。
  11. 画像処理装置が実行する触感制御方法であって、
    描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成ステップと、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われ、前記描画オブジェクトに対し画像処理が行われた場合に、前記刺激を発生させるように前記触感生成ステップを制御する制御ステップと
    を含む触感制御方法。
  12. コンピュータを、
    描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われた場合に、前記描画オブジェクトを消去する消去手段と、
    前記消去手段による前記描画オブジェクトの消去に応じて、前記刺激を発生させるように前記触感生成手段を制御する制御手段と
    して機能させるためのプログラム。
  13. コンピュータを、
    描画オブジェクトを表示する表示手段に対応して設けられた入力手段にタッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる触感生成手段と、
    前記入力手段の前記描画オブジェクトに対応する位置にタッチ入力が行われ、前記描画オブジェクトに対し画像処理が行われた場合に、前記刺激を発生させるように前記触感生成手段を制御する制御手段と
    して機能させるためのプログラム。
JP2013256296A 2013-12-11 2013-12-11 画像処理装置、触感制御方法及びプログラム Pending JP2015114836A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013256296A JP2015114836A (ja) 2013-12-11 2013-12-11 画像処理装置、触感制御方法及びプログラム
KR1020140170264A KR101749126B1 (ko) 2013-12-11 2014-12-02 화상 처리장치, 촉감 제어방법 및 기록매체
US14/557,721 US9507422B2 (en) 2013-12-11 2014-12-02 Image processing device, tactile sense control method, and recording medium
GB1421605.5A GB2523875B (en) 2013-12-11 2014-12-04 Image processing device, tactile sense control method, and recording medium
CN201410754339.0A CN104714733B (zh) 2013-12-11 2014-12-10 图像处理设备及触感控制方法
RU2014150027A RU2618939C2 (ru) 2013-12-11 2014-12-10 Устройство обработки изображений, способ управления тактильными ощущениями и носитель записи
DE102014018429.3A DE102014018429A1 (de) 2013-12-11 2014-12-11 Bildverarbeitungsvorrichtung, Steuerverfahren für taktile Wahrnehmung, und Aufzeichnungsmedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013256296A JP2015114836A (ja) 2013-12-11 2013-12-11 画像処理装置、触感制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015114836A true JP2015114836A (ja) 2015-06-22

Family

ID=53185367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013256296A Pending JP2015114836A (ja) 2013-12-11 2013-12-11 画像処理装置、触感制御方法及びプログラム

Country Status (7)

Country Link
US (1) US9507422B2 (ja)
JP (1) JP2015114836A (ja)
KR (1) KR101749126B1 (ja)
CN (1) CN104714733B (ja)
DE (1) DE102014018429A1 (ja)
GB (1) GB2523875B (ja)
RU (1) RU2618939C2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101542799B1 (ko) * 2013-12-10 2015-08-07 주식회사 하이딥 터치패널 제어장치 및 그의 제어 방법
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
JP6758922B2 (ja) * 2016-06-01 2020-09-23 キヤノン株式会社 電子機器及びその制御方法
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
US10895954B2 (en) * 2017-06-02 2021-01-19 Apple Inc. Providing a graphical canvas for handwritten input
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
DK180081B1 (en) * 2018-06-01 2020-04-01 Apple Inc. Access to system user interfaces on an electronic device
CN109727300A (zh) * 2018-12-18 2019-05-07 Oppo广东移动通信有限公司 图像触感编辑方法、装置、终端及存储介质
JP7218567B2 (ja) * 2018-12-21 2023-02-07 京セラドキュメントソリューションズ株式会社 情報入力装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238523A (ja) * 1991-01-22 1992-08-26 Sony Corp 文字入力装置および方法
JPH11187348A (ja) * 1997-12-22 1999-07-09 Matsushita Electric Ind Co Ltd 記録再生装置および再生装置
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置
JP2011008532A (ja) * 2009-06-25 2011-01-13 Fuji Xerox Co Ltd 位置指示具制御装置、位置指示装置、及びプログラム
JP2011248884A (ja) * 2010-05-21 2011-12-08 Disney Enterprises Inc タッチ面用電気振動
JP2012048497A (ja) * 2010-08-26 2012-03-08 Kyocera Corp 表示装置
WO2013036614A1 (en) * 2011-09-06 2013-03-14 Immersion Corporation Haptic output device and method of generating a haptic effect in a haptic output device
WO2013161113A1 (ja) * 2012-04-27 2013-10-31 国立大学法人電気通信大学 ユーザインタフェース装置
JP2016521891A (ja) * 2013-06-11 2016-07-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 圧力ベースの触覚効果のためのシステム及び方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4531358B2 (ja) * 2003-07-10 2010-08-25 株式会社エヌ・ティ・ティ・ドコモ タッチパネルディスプレイ装置
US20060034481A1 (en) * 2003-11-03 2006-02-16 Farhad Barzegar Systems, methods, and devices for processing audio signals
US8751616B2 (en) * 2004-06-08 2014-06-10 Siemens Industry, Inc. System for accessing and browsing a PLC provided within a network
US20070270658A1 (en) * 2004-09-03 2007-11-22 Frederick Mitchell Quantum memory fusion
US7643008B2 (en) * 2005-02-23 2010-01-05 Nokia Corporation Changing keys drawn on a display and actuating them using a sensor-screen
US7680314B2 (en) * 2005-10-17 2010-03-16 Siemens Medical Solutions Usa, Inc. Devices, systems, and methods for improving image consistency
CN101957684B (zh) * 2006-04-17 2013-05-29 京瓷株式会社 带有显示功能的坐标输入装置
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US9501803B2 (en) * 2007-04-12 2016-11-22 Siemens Industry, Inc. Devices, systems, and methods for monitoring energy systems
US8195844B2 (en) * 2007-09-20 2012-06-05 Siemens Aktiengesellschaft Systems, devices, and/or methods for managing communications
US20130217491A1 (en) * 2007-11-02 2013-08-22 Bally Gaming, Inc. Virtual button deck with sensory feedback
BRPI0804355A2 (pt) 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
US8502864B1 (en) * 2009-07-28 2013-08-06 Robert Watkins Systems, devices, and/or methods for viewing images
JP5645618B2 (ja) 2009-12-24 2014-12-24 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US9417695B2 (en) 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US20150015489A1 (en) * 2010-06-01 2015-01-15 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
JP5645626B2 (ja) 2010-12-06 2014-12-24 キヤノン株式会社 表示制御装置、表示制御方法、プログラム、並びに記憶媒体
US20120182206A1 (en) * 2011-01-17 2012-07-19 Ronald Steven Cok Head-mounted display control with sensory stimulation
EP2518595B1 (en) 2011-04-26 2018-08-15 BlackBerry Limited Electronic device and method of providing tactile feedback
US9360938B2 (en) 2011-04-26 2016-06-07 Blackberry Limited Input device with tactile feedback
US9159168B2 (en) * 2011-10-23 2015-10-13 Technion Research & Development Foundation Limited Methods and systems for generating a dynamic multimodal and multidimensional presentation
EP2929527B1 (en) * 2011-12-06 2020-11-18 E- Vision Smart Optics, Inc. Systems, devices, and/or methods for providing images
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
JP5939005B2 (ja) * 2012-04-11 2016-06-22 株式会社リコー 情報処理装置、印刷制御装置、画像形成システム、印刷制御方法、及びプログラム
US9712738B2 (en) * 2012-04-17 2017-07-18 E-Vision Smart Optics, Inc. Systems, devices, and methods for managing camera focus
US8737035B2 (en) 2012-05-18 2014-05-27 Disney Enterprises, Inc. Magnetically movable objects over a display of an electronic device
KR101905150B1 (ko) * 2012-07-17 2018-10-08 엘지전자 주식회사 이동 단말기
JP2014023061A (ja) * 2012-07-20 2014-02-03 Canon Inc 画像読取装置
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
KR102184288B1 (ko) 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238523A (ja) * 1991-01-22 1992-08-26 Sony Corp 文字入力装置および方法
JPH11187348A (ja) * 1997-12-22 1999-07-09 Matsushita Electric Ind Co Ltd 記録再生装置および再生装置
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置
JP2011008532A (ja) * 2009-06-25 2011-01-13 Fuji Xerox Co Ltd 位置指示具制御装置、位置指示装置、及びプログラム
JP2011248884A (ja) * 2010-05-21 2011-12-08 Disney Enterprises Inc タッチ面用電気振動
JP2012048497A (ja) * 2010-08-26 2012-03-08 Kyocera Corp 表示装置
WO2013036614A1 (en) * 2011-09-06 2013-03-14 Immersion Corporation Haptic output device and method of generating a haptic effect in a haptic output device
WO2013161113A1 (ja) * 2012-04-27 2013-10-31 国立大学法人電気通信大学 ユーザインタフェース装置
JP2016521891A (ja) * 2013-06-11 2016-07-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 圧力ベースの触覚効果のためのシステム及び方法

Also Published As

Publication number Publication date
DE102014018429A1 (de) 2015-06-11
CN104714733A (zh) 2015-06-17
GB201421605D0 (en) 2015-01-21
KR101749126B1 (ko) 2017-06-20
GB2523875A (en) 2015-09-09
GB2523875B (en) 2018-04-11
RU2618939C2 (ru) 2017-05-11
KR20150068292A (ko) 2015-06-19
US9507422B2 (en) 2016-11-29
CN104714733B (zh) 2018-09-11
US20150160729A1 (en) 2015-06-11
RU2014150027A (ru) 2016-07-10

Similar Documents

Publication Publication Date Title
JP2015114836A (ja) 画像処理装置、触感制御方法及びプログラム
JP6300604B2 (ja) 触感制御装置、触感制御方法及びプログラム
JP6071372B2 (ja) 電子機器及び電子機器の制御方法
JP6289100B2 (ja) 情報処理装置、情報処理方法及びプログラム
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
JP2015118605A (ja) 触感制御装置、制御方法及びプログラム
JP6381240B2 (ja) 電子機器、触感制御方法及びプログラム
US20170293361A1 (en) Mobile terminal and method for controlling haptic feedback
US20140285453A1 (en) Portable terminal and method for providing haptic effect
JP5658552B2 (ja) 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP6004693B2 (ja) 表示制御装置及びその制御方法
KR20150104808A (ko) 피드백을 출력하는 전자 장치 및 방법
KR20140111497A (ko) 터치 스크린의 화면에 표시된 아이템을 삭제하는 방법, 저장 매체 및 휴대 단말
US9405370B2 (en) Electronic device and control method thereof
JP7042622B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び、プログラム
JP2015130006A (ja) 触感制御装置、触感制御方法及びプログラム
KR102118091B1 (ko) 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
JP2016009315A (ja) 触感制御装置、触感制御方法及びプログラム
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
JP6433144B2 (ja) 電子機器、触感制御方法及びプログラム
JP6779778B2 (ja) 表示制御装置およびその制御方法
JP2015138416A (ja) 電子機器、その制御方法及びプログラム
JP7331578B2 (ja) 表示装置、画像表示方法、プログラム
JP2014013511A (ja) 表示制御装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180213