CN103927110B - 显示控制设备、显示控制方法和计算机可读记录介质 - Google Patents

显示控制设备、显示控制方法和计算机可读记录介质 Download PDF

Info

Publication number
CN103927110B
CN103927110B CN201410009512.4A CN201410009512A CN103927110B CN 103927110 B CN103927110 B CN 103927110B CN 201410009512 A CN201410009512 A CN 201410009512A CN 103927110 B CN103927110 B CN 103927110B
Authority
CN
China
Prior art keywords
image
display control
decorative picture
touch operation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410009512.4A
Other languages
English (en)
Other versions
CN103927110A (zh
Inventor
大津秀
大津秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103927110A publication Critical patent/CN103927110A/zh
Application granted granted Critical
Publication of CN103927110B publication Critical patent/CN103927110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种显示控制设备，包括：显示控制单元，其在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；检测单元，其检测在所述显示单元上进行的用户的触摸操作；以及处理单元，其执行与涉及预定轨迹的触摸操作相关联的处理。当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，所述显示控制单元显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。

Description

显示控制设备、显示控制方法和计算机可读记录介质
相关申请的交叉引用
本申请要求于2013年1月16日提交的日本优选权专利申请JP2013-005342的权益，在此通过引用并入其整个内容。
技术领域
本技术涉及显示控制设备、显示控制方法和计算机可读记录介质，并且更具体地涉及能够以高可见度呈现反馈的显示控制设备、显示控制方法和计算机可读记录介质。
背景技术
使用触摸面板的GUI(图形用户界面)交互由两个类型的通常操纵(直接操作和手势操作)来进行。
直接操作用于通过轻敲、拖拽、轻弹或其他动作操纵构成GUI的对象(诸如按钮和滑块)。手势操作通过拖拽、轻弹或其他动作在屏幕上绘制预定轨迹，以执行与该轨迹相关联的处理。
响应于直接操作的通常反馈包括照亮被操纵的按钮、改变按钮的颜色和形状等。响应于手势操作的反馈技术在日本未审专利申请公开No.2012-94010中公开，其中响应于手指的移动，在触摸板面表面上安排的多个光点显示部分点亮。
发明内容
具有音乐回放功能的一些装置包括所谓的可视器功能。可视器功能通过在内容(即，歌曲)的回放期间转换图像，提供视觉效果。
如果具有可视器功能的装置响应于手势操作提供反馈，或者例如点亮光点显示部分，如在日本未审专利申请公开No.2012-94010中描述的，那么可能需要一些调节(诸如整个可视器的亮度的减小以及按钮布局的改变)以改进可视性。
已经鉴于这样的情况做出本技术，并且例如使得具有可视器功能的装置响应于手势操作呈现高可视性的反馈。
根据本技术实施例的显示控制设备包括：显示控制单元，其在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；检测单元，其检测在所述显示单元上进行的用户的触摸操作；以及处理单元，其执行与涉及预定轨迹的触摸操作相关联的处理。在该实施例中，当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，所述显示控制单元显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。
所述显示控制单元可以通过可视器功能显示在屏幕内四处移动的装饰图像。
所述显示控制单元可以显示多个装饰图像，并且要显示的反馈图像可以由所有装饰图像构成。
在检测到涉及预定轨迹的触摸操作时，所述显示控制单元可以分别从它们各自位置移动装饰图像，以显示反馈图像。
所述显示控制单元可以显示多个装饰图像，并且转换装饰图像之一以显示反馈图像。
所述显示控制单元可以在装饰图像之上显示关于当前播放的歌曲的信息。
所述显示控制单元可以显示代表由触摸操作进行的轨迹的图像作为装饰图像，并且转换代表轨迹的图像以显示反馈图像。
所述显示控制单元可以在关于当前播放的歌曲的信息之上显示装饰图像。
所述显示控制设备可以还包括：输出控制单元，当检测到涉及预定轨迹的触摸操作时，其输出预定声音。
根据本技术实施例，在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；检测在所述显示单元上进行的用户的触摸操作；以及执行与涉及预定轨迹的触摸操作相关联的处理。当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。
本技术可以呈现具有高可视性的反馈。
附图说明
图1示出根据本技术实施例的电子装置的示例性外观；
图2图示显示单元的示例性结构；
图3图示音乐回放屏幕的示例；
图4图示墙纸图像的示例；
图5图示可视器图像的示例；
图6图示歌曲信息的示例；
图7图示可视器图像的移动的示例；
图8图示图7中图像随后的图像的示例；
图9图示图8中图像随后的图像的示例；
图10图示图9中图像随后的图像的示例；
图11图示图10中图像随后的图像的示例；
图12图示音乐回放屏幕的示例性转换；
图13是示出电子装置的硬件配置的示例的框图；
图14是示出电子装置的功能配置的示例的框图；
图15是描述电子装置的一系列处理的流程图；
图16图示可视器图像的另一示例；
图17图示图16中图像随后的图像的示例；
图18图示图17中图像随后的图像的示例；
图19图示轨迹图像的示例；
图20图示图19中图像随后的图像的示例；
图21图示手势操作的示例；
图22图示轨迹图像的另一示例；
图23图示图22中图像随后的图像的示例；
图24图示音乐回放屏幕的示例性转换；
图25是描述电子装置的另一系列处理的流程图；以及
图26是示出计算机配置的框图。
具体实施方式
在以下，将描述用于执行本技术的实施例。将按以下顺序给出描述。
1.第一实施例(使用可视器图像的反馈的示例)
2.第二实施例(使用轨迹图像的反馈的示例)
<第一实施例(使用可视器图像的反馈的示例)>
[电子装置的示例性外观]
图1示出根据本技术实施例的电子装置的示例性外观。
电子装置1是汽车音频系统或另一类型的电子装置。几乎跨越电子装置1的矩形平行六面体机壳的整个前表面提供显示单元11。电子装置1具有再现存储在内部存储器中的音乐数据的功能。
图2示出显示单元11的示例性结构。
显示单元11包括显示器22和放置在显示器22上的触摸面板21。用户可以通过用手指等触摸显示单元11的表面，输入与音乐再现相关的各种操作指令，诸如一段音乐的选择、回放的开始和暂停。
在电子装置1中提供图形处理器23。图形处理器23在显示器22上显示各条信息，并且在微型计算机(未示出)的控制下将关于由触摸面板21检测到的用户的触摸输入的信息输出到微型计算机。
电子装置1可以是任何类型的装置，只要它可以通过提供在显示器上的触摸面板检测用户的操纵，其除了汽车音频系统外还包括移动电话、平板终端、PC、视频游戏设备等。
[音乐回放屏幕的示例]
图3图示显示单元11上显示的音乐回放屏幕的示例。
例如，当在从电子装置1的菜单屏幕选择音乐回放功能后选择要播放的歌曲时，图3中的音乐回放屏幕出现。在显示单元11上显示关于歌曲的信息，诸如歌曲标题、艺术家名字、专辑标题、过去的时间以及封面，所有这些用由显示为背景的可视器功能创建的图像显示。
因此，电子装置1包括可视器功能，其通过将图像对象转换为预定形状，提供可视效果。
在图3的示例中，可视器功能显示其中彩色圆形图像在屏幕内四处移动的图像。一些圆形图像是有阴影的，并且一些形成图案以代表不同颜色。在适当的情况下，由可视器功能创建的图像称为可视器图像。
音乐回放屏幕由墙纸图像层、可视器图像层、歌曲信息层和手势操作图像层构成，它们从底部起以此顺序布置。
图4图示墙纸图像的示例。
图4中的示例示出预定颜色、单色墙纸图像。用户可以从预先准备的多个图像选择图像，并且将其设置为墙纸图像。
图5图示可视器图像的示例。
图5中的可视器图像包括六个圆圈的图像，即圆形图像31-1到31-6。例如，圆形图像31-1到31-6在颜色上相互不同。圆形图像31-1到31-6图示用于操作的图像，而是用于装饰屏幕的要显示的装饰图像。
图6图示歌曲信息的示例。
歌曲信息包括工具按钮区41、歌曲信息区42、封面图像区43、操作按钮区44和设置信息区45。
工具按钮区41是显示“顶部(Top)”按钮和其它按钮的区域，可以操纵“顶部”按钮以便显示电子装置1的顶部屏幕。歌曲信息区42是显示关于当前正在播放的歌曲的信息的区域，诸如歌曲标题(文件名称)、艺术家名称和专辑标题(文件夹名称)。封面图像区43是显示当前播放的歌曲的封面图像的区域。
操作按钮区44是显示用于控制音乐再现的操作按钮的区域，诸如可以操纵来返回前一歌曲的按钮44-1、可以操纵来播放或暂停歌曲的按钮44-2、可以操纵来进到下一歌曲的按钮44-3、以及可以操纵来改变专辑的按钮44-4、44-5。电子装置1通过专辑来组织歌曲，并且要播放的专辑和歌曲在播放列表中排列。
操作按钮区44还显示可以操纵来选择回放模式的按钮44-6、可以操纵来显示回放菜单的按钮44-7、以及可以操纵来显示设置菜单的按钮44-8。在操作按钮区44中显示的按钮通过直接操作来操纵。
设置信息区45是显示音量、时间等的指示器的区域。
当显示由这些重叠层构成的音乐回放屏幕的同时，用户可以通过手势操作执行与由通过在操作按钮区44中显示的按钮执行的那些操作相同的操作。电子装置1提供有检测用户的触摸操作的轨迹的功能。
例如，向左拖拽移动调用返回前一歌曲以播放的处理。换句话说，向左拖拽移动是“前一歌曲”手势操作，以调用与按钮44-1的相同操作的执行。拖拽是通过用手指触摸屏幕、在保持与屏幕接触的同时移动手指、然后从屏幕移开手指实现的操纵。
向右拖拽移动调用进到下一歌曲以播放的处理。换句话说，向右拖拽移动是“下一歌曲”手势操作，以调用与按钮44-3的相同操作的执行。
向上拖拽移动调用进到当前专辑之前的首个专辑以播放的处理。换句话说，向上拖拽移动是“前一专辑”手势操作，以调用与按钮44-4的相同操作的执行。
向下拖拽移动调用进到当前专辑之后的首个专辑以播放的处理。换句话说，向下拖拽移动是“下一专辑”手势操作，以调用与按钮44-5的相同操作的执行。
在歌曲暂停的同时给出的轻敲恢复播放该歌曲，并且在歌曲播放时给出的轻敲暂停该歌曲。轻敲是通过用手指触摸屏幕，并且在触摸位置周围的限定范围内移开手指实现的操纵。
当检测到手势操作时，显示由可视器图像构成的反馈图像，以指示已经检测到手势操作。
[反馈图像的示例]
将详细进行关于反馈图像的描述。为了容易说明，省略了歌曲信息的图像。
图7图示可视器图像的移动的示例。
如由白色箭头所示，可视器图像包括在相互不同的方向以恒定速度移动的圆形图像31-1到31-6。
圆形图像31-1从当前位置向右上移动，如由箭头#1所示，同时圆形图像31-2从当前位置向左下移动，如由箭头#2所示。圆形图像31-3从当前位置向右下移动，如由箭头#3所示，同时圆形图像31-4从当前位置向右下移动，如由箭头#4所示。圆形图像31-5从当前位置向左上移动，如由箭头#5所示，圆形图像31-6从当前位置向下移动，如由箭头#6所示。
当到达屏幕的边缘时，圆形图像31-1到31-6在不同方向弹回。如上所述，可视器图像是像给出多个圆形图像随机反弹的印象的图像。
图8图示图7中图像随后的图像的示例。
图8描绘圆形图像已经个别地在屏幕的边缘附近移动的状态。在此状态下，如果用户执行从位置P1到位置P2的向右拖拽移动，如由实线箭头所指示的，则检测到“下一歌曲”手势操作，并且如图9所示的箭头图像61出现。箭头图像61是在手势操作图像层上显示的向右箭头的图像。箭头图像61短暂出现。替代箭头图像61，可以配置为显示图10中的图像，并且直到当检测到“下一歌曲”手势操作时。
图10图示图9中图像随后的图像的示例。
如图10所示，圆形图像31-1到31-6从手势操作检测时它们所处的各个位置移动到屏幕的中心附近，并且停止在预定位置以形成如图11所示的反馈图像。
通过横向排列圆形图像31-3、31-1、31-2和31-4，并且在圆形图像31-2上安排圆形图像31-5和在圆形图像31-2下安排圆形图像31-6，形成反馈图像71。以此方式安排圆形图像31-1到31-6，以代表向右箭头。
在执行移动到下一歌曲的处理之后，构成反馈图像71的圆形图像31-1到31-6相互移开，并且恢复作为构成可视器图像的装饰图像的移动。显示反馈图像71的持续时间例如长于显示箭头图像61的持续时间。
图12图示音乐回放屏幕的示例性转换。
当在其中可视器图像显示为歌曲信息的背景的音乐回放屏幕上进行向右拖拽移动时，如图12的上部所示，箭头图像61置于歌曲信息上。
在箭头图像61出现之后，由可视器图像构成的反馈图像71显示为歌曲信息的背景，如下面的箭头#11所示。与反馈图像的显示同步，从扬声器输出预定声音。
当检测到另一手势操作时，代表与该类型的手势操作相关联的形状的反馈图像以类似的方式显示为可视器图像。作为示例，当执行向左拖拽移动，并且检测到“前一歌曲”手势操作时，从圆形图像31-1到31-6形成以向左箭头形状的反馈图像。
可替代地，当执行向上拖拽移动，并且检测到“前一专辑”手势操作时，从圆形图像31-1到31-6形成以向上箭头形状的反馈图像。可替代地，当执行向下拖拽移动，并且检测到“下一专辑”手势操作时，从圆形图像31-1到31-6形成以向下箭头形状的反馈图像。注意到，反馈图像不限于代表箭头的图像。代表手势操作的各种形状的图像可以显示为反馈图像。
如上所述，在电子装置1中，实施GUI，其中从设计的观点看，可视器功能与手势操作的反馈相关联。
用户可以从由可视器图像构成的反馈图像确认检测到用户的手势操作。
使用可视器图像作为反馈图像的组件消除了在提供反馈给用户时降低可视器图像的亮度、改变歌曲信息和按钮的布局、以及一些其它类型的处理的必要。
此外，用整个可视器图像提供反馈可以改进可视性。
将参照流程图描述用于提供上述屏幕表现的电子装置1的一系列处理。
[电子装置的配置示例]
图13是示出电子装置1的硬件配置的示例的框图。
电子装置1包括触摸面板21、显示器22和图形处理器23，并且还包括主微型计算机101和扬声器102。
显示器22可以是LCD(液晶显示器)或有机EL(电致发光)显示器，并且在图形处理器23的控制下呈现各种类型的屏幕，诸如菜单屏幕和音乐回放屏幕。
触摸面板21检测显示单元11的表面上用户的触摸操作，并且输出模拟信号到图形处理器23，以指示已经进行触摸操作的位置。
图形处理器23与主微型计算机101相互通信。图形处理器23基于从主微型计算机101提供的屏幕数据，使得各种屏幕出现在显示器22上。此外，图形处理器23接收从触摸面板21馈送的信号，并且输出指示进行触摸操作的位置(坐标)的信息到主微型计算机101。
主微型计算机101包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)和其它组件。主微型计算机101执行存储在ROM中的程序，并且控制整个电子装置1的操作。
例如，主微型计算机101控制图形处理器23，以便在显示器22上显示音乐回放屏幕。此外，主微型计算机101输出音频信号到扬声器102，以便输出与反馈图像的显示同步的声音。主微型计算机101还再现存储在存储器(未示出)中的音乐数据，以便从扬声器102输出音乐。
扬声器102响应于从主微型计算机101馈送的信号输出声音。
图14是示出电子装置1的功能配置的示例的框图。图14中示出的功能部件的至少一个部件通过由图13中示出的主微型计算机101运行预定程序来实施。
在电子装置1中，实施手势操作检测单元111、显示控制单元112、处理单元113和输出控制单元114。图形处理器23将关于进行触摸操作的坐标的信息馈送到手势操作检测单元111、显示控制单元112和处理单元113。
手势操作检测单元111基于从图形处理器23馈送的信息检测手势操作。例如，手势操作检测单元111识别用户触摸操作的轨迹，并且确定当识别的轨迹匹配预先设置的预定轨迹图案时进行的手势操作。手势操作检测单元111已经预装关于与手势操作(诸如“前一歌曲”操作、“下一歌曲”操作、“前一专辑”操作和“下一专辑”操作)相关联的轨迹的信息。
当检测手势操作时，手势操作检测单元111输出关于由用户执行的手势操作的类型的信息。从手势操作检测单元111输出的信息提供到显示控制单元112、处理单元113和输出控制单元114。
显示控制单元112提供屏幕数据到图形处理器23，以便控制在显示器22上的屏幕表现。当从手势操作检测单元111馈送关于手势操作的类型的信息时，显示控制单元112控制在音乐回放屏幕上显示的可视器图像，以便呈现与手势操作的类型相关联的反馈图像。
显示控制单元112还根据由处理单元113执行的处理，改变显示器22上的屏幕表现。
处理单元113执行与用户的触摸操作相关联的处理。当执行的处理改变屏幕表现时，处理单元113输出关于处理结果的信息到显示控制单元112。
例如，当处理单元113基于从手势操作检测单元111馈送的信息，确定进行“下一歌曲”手势操作时，处理单元113切换到要播放的下一歌曲。此外，输出单元113输出指示选择用于播放的下一歌曲的信息到显示控制单元112。显示控制单元112改变屏幕表现，以便示出关于选择的歌曲的歌曲信息。
当从手势操作检测单元111提供指示进行手势操作的信息时，输出控制单元114控制扬声器102，以便输出预定声音。
[通过电子装置的处理]
参照图15中的流程图，将描述由电子装置1执行的一系列处理。在显示图3中的音乐回放屏幕的同时，开始图15中的处理。
在步骤S1中，触摸面板21检测由用户进行的触摸操作。触摸面板21输出信号到图形处理器23，以便指示执行触摸操作的位置。
在步骤S2中，图形处理器23检测执行触摸操作的坐标。图形处理器23输出关于检测到的坐标的信息到主微型计算机101。
在步骤S3中，手势操作检测单元111基于从图形处理器23馈送的信息，确定用户是否在规定时间段和规定移动范围内放开他的/她的手指。在该实施例中，如果在规定时间段内执行的触摸操作的轨迹在规定移动范围内，则确定出现轻敲，而如果轨迹在规定移动范围外，则确定出现拖拽。
如果在步骤S3中确定用户在规定时间段和规定移动范围内放开他的/她的手指，则处理单元113在步骤S4中执行与轻敲相关联的处理。例如，如果用户轻敲在操作按钮区44中显示的暂停按钮，则处理单元113暂停当前播放的歌曲的回放。
另一方面，如果在步骤S3中确定用户没有在规定时间段和规定移动范围内放开他的/她的手指，则手势操作检测单元111在步骤S5中确定是否执行手势操作。如果触摸操作的轨迹匹配预定轨迹图案，则手势操作检测单元111确定执行手势操作，而如果轨迹不匹配预设的轨迹图案，则手势操作检测单元111确定出现不是手势操作的拖拽。
当在步骤S5中确定执行手势操作时，则手势操作检测单元111在步骤S6中接受手势操作。手势操作检测单元111输出关于接受的手势操作的类型的信息。
在步骤S7中，显示控制单元112在音乐回放屏幕上显示反馈图像，其代表与由用户执行的手势操作的类型相关联的形状。具体地，显示控制单元112通过移动显示为可视器图像的个别圆形图像，示出反馈图像。
在步骤S8中，处理单元113执行与由用户执行的手势操作相关联的处理。
另一方面，如果在步骤S5中确定没有执行手势操作，则手势操作检测单元111在步骤S9中确定执行无效操作。
在步骤S4中执行与轻敲相关联的处理之后，在步骤S8中执行与手势操作相关联的处理之后，或者在步骤S9中确定执行无效操作之后，一系列处理完成。在显示音乐回放屏幕的同时，重复执行上述处理。
通过上述处理，实施GUI，其中从设计的观点看，可视器功能与手势操作的反馈相关联。
[修改]
构成可视器图像的装饰图像的形状不限于圆形形状。
图16示出可视器图像的另一示例。
图16中的可视器图像包括六个矩形框状图像，即框图像151-1到151-6。框图像151-1到151-6从屏幕的左上到接近中部线性排列，并且部分相互重叠。框图像151-1到151-6不是用于操作的图像，而是显示用于装饰屏幕的装饰图像。
框图像151-1到151-6分别从屏幕的左上到右下移动，如由白色箭头#21指示的。当到达预定位置时，最前图像消失，并且作为最后图像再出现。图16中示出的白色箭头#21实际不显示。
当在其上显示可视器图像的音乐回放屏幕上进行向右拖拽移动，并且检测为“下一歌曲”手势操作时，作为向右箭头的图像的箭头图像61短暂出现。即使在该修改中，也可以设计不显示箭头图像61。
此外，如图17所示，框图像151-1到151-6之一，例如，此时在屏幕的中心仅仅显示处于最前位置的框图像151-1。在屏幕的中心显示的框图像151-1转换为反馈图像161，如图18所示。反馈图像161是代表单个向右箭头的图像。
该示例展现包括在可视器图像中的单个框图像是构成反馈图像的组件。
如上所述，各种形状的图像可以用作构成反馈图像的装饰图像。可替代地，不必构成反馈图像的所有装饰图像形成反馈图像，而是一些装饰图像或单个装饰图像可以构成反馈图像。
<第二实施例(使用轨迹图像的反馈的示例)>
接下来，将描述其中用轨迹图像作为反馈图像的组件呈现反馈图像的示例，轨迹图像是代表由用户的触摸操作的轨迹的图像。
在该示例中，构成反馈图像的图像不限于通过可视器功能显示的图像，而是轨迹图像。轨迹图像例如是在歌曲信息层之上的层上显示的预定透明度级别的彩色图像。轨迹图像不是用于操作的图像，而是显示来装饰屏幕的装饰图像。
图19图示轨迹图像的示例。
如图19所示，例如当用户在屏幕上的位置P11执行触摸操作时，轨迹图像201在位置P11周围出现。当用户在到位置P12的右下方向上移动他的/她的手指时，如由图20中的实线箭头所指示的，在连续触摸屏幕的同时，轨迹图像202沿着用户的手指的轨迹出现。
因此，电子装置1呈现代表由用户执行的触摸操作的轨迹的轨迹图像。由已经从图形处理器23接收信息的显示控制单元112进行轨迹图像的表现。
图21图示手势操作的示例。
如由图21中的实线箭头所指示的，如果从位置P21到位置P22执行向右拖拽移动，则如图22所示的轨迹图像211出现，并且由手势操作检测单元111检测到“下一歌曲”手势操作。
图23示出图22中图像随后的图像的示例。
由手势操作检测单元111的“下一歌曲”手势操作的检测使得显示控制单元112转换轨迹图像211，以提供代表与手势操作的类型相关联的形状的反馈图像221。反馈图像221是代表由轨迹图像211构成的向右箭头的图像。
图24图示音乐播放屏幕的示例性转换。
当音乐回放屏幕上进行向右拖拽移动时，如图24的上部所示，轨迹图像211在歌曲信息之上显示。
在轨迹图像211出现之后，通过转换轨迹图像211形成的反馈图像221在歌曲信息之上显示，如下面由箭头#31所示。与反馈图像221的表现同步，从扬声器输出预定声音。
同样地，将检测到其它类型的手势操作时，通过使用轨迹图像显示代表与手势操作的类型相关联的形状的反馈图像。作为示例，当执行向左拖拽移动，并且检测到“前一歌曲”手势操作时，从轨迹图像转换的代表向右箭头的反馈图像出现。
此外，当执行向上拖拽移动，并且检测到“前一专辑”手势操作时，从轨迹图像转换的代表向上箭头的反馈图像出现。当执行向下拖拽移动，并且检测到“下一歌曲”手势操作时，从轨迹图像转换的代表向下箭头的反馈图像出现。注意到，反馈图像不限于代表箭头的图像。代表手势操作的各种形状的图像可以显示为反馈图像。
如上所述，在电子装置1中，实施GUI，其中从设计的观点看，代表用户的触摸操作的轨迹的功能与手势操作的反馈相关联。
用户可以从由轨迹图像构成的反馈图像确认检测到用户的手势操作。
[通过电子装置的处理]
参照图25中的流程图，将描述由电子装置1执行的用于显示由轨迹图像构成的反馈图像的一系列处理。图25中的处理是与图15中所示的那些处理基本相同的处理，并且因此不重复相同描述。
在步骤S11中，触摸面板21检测由用户进行的触摸操作。
在步骤S12中，图形处理器23检测执行触摸操作的坐标。
在步骤S13中，显示控制单元112显示代表触摸操作的轨迹的轨迹图像。
在步骤S14中，手势操作检测单元111确定用户是否在规定时间段和规定移动范围内放开他的/她的手指。
如果在步骤S14中确定用户在规定时间段和规定移动范围内放开他的/她的手指，则处理单元113在步骤S15中执行与轻敲相关联的处理。
另一方面，如果在步骤S14中确定用户没有在规定时间段和规定移动范围内放开他的/她的手指，则手势操作检测单元111在步骤S16中确定是否执行手势操作。
当在步骤S16中确定执行手势操作时，则手势操作检测单元111在步骤S17中接受手势操作。
在步骤S18中，显示控制单元1121显示反馈图像，其代表与由用户执行的手势操作相关联的形状。具体地，显示控制单元112显示从轨迹图像转换的反馈图像。
在步骤S19中，处理单元113执行与由用户执行的手势操作相关联的处理。
另一方面，如果在步骤S16中确定没有执行手势操作，则手势操作检测单元111在步骤S20中确定执行无效操作。
在步骤S15中执行与轻敲相关联的处理之后，在步骤S19中执行与手势操作相关联的处理之后，或者在步骤S20中确定执行无效操作之后，一系列处理完成。在显示音乐回放屏幕的同时，重复执行上述处理。
<修改>
在前述实施例中，响应于在音乐回放屏幕上执行的手势操作，形成描述的反馈图像；然而，其上执行手势操作的屏幕可以是任何其它屏幕。菜单屏幕、静态图像和运动图像的回放屏幕、以及文本输入屏幕是在显示由可视器图像或轨迹图像构成的反馈图像之前，其上执行手势操作的示例。
除了用于构成反馈图像的可视器图像和轨迹图像外，在检测手势操作期间显示的各种类型的装饰图像可以用于形成反馈图像。
[计算机配置的示例]
上述一系列处理可以由硬件或软件实施。为了由软件执行一系列处理，构成软件的程序从程序的记录介质安装在并入专用硬件的计算机或通用个人计算机上。
图26是示出执行上述一系列处理的计算机的硬件配置的示例的框图。
CPU 251、ROM 252和RAM 253用总线254互连。
总线254进一步与输入/输出接口255连接。输入/输出接口255与用键盘、鼠标和其它输入设备实施的输入单元256以及由显示器、扬声器和其它输出设备实施的输出单元257连接。此外，输入/输出接口255与由硬盘、非易失性存储器等实施的存储单元258、由网络接口等实施的通信单元259、以及驱动可移除介质261的驱动器260连接。
在如此配置的计算机中，例如，CPU 251经由输入/输出接口255和总线254将存储单元258中存储的程序加载到RAM 253，并且运行程序，从而执行上述一系列处理。
由CPU 251运行的程序例如从具有存储的程序的可移除介质261或经由诸如局域网、因特网和数字广播的有线或无线传输介质提供，并且安装在存储单元258中。
注意到，要由计算机运行的程序可以是这样的程序，其中以在此描述的顺序按时间序列、并行、或者在诸如进行调用时的必要时间执行处理。
应该理解，本技术不限于前述实施例，并且可以进行各种改变和修改而不背离本技术的精神。
作为示例，本技术可以由其中多个装置经由网络共享和协作处理单个功能的云计算实施。
此外，前述流程图中的每个步骤可以由单个装置执行，或者可以由多个装置共享。
此外，单个步骤可以包括可以由单个装置执行或者可以由多个装置共享的多个处理。
[元件的组合示例]
本技术可以配置如下。
[1]一种显示控制设备，包括：
显示控制单元，其在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测单元，其检测在所述显示单元上进行的用户的触摸操作；以及
处理单元，其执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，所述显示控制单元显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。
[2]如[1]所述的显示控制设备，其中
所述显示控制单元通过可视器功能显示在屏幕内四处移动的装饰图像。
[3]如[2]所述的显示控制设备，其中
所述显示控制单元显示多个装饰图像，并且要显示的反馈图像由所有装饰图像构成。
[4]如[3]所述的显示控制设备，其中
在检测到涉及预定轨迹的触摸操作时，所述显示控制单元分别从它们各自位置移动装饰图像，以显示反馈图像。
[5]如[2]所述的显示控制设备，其中
所述显示控制单元显示多个装饰图像，并且转换装饰图像之一以显示反馈图像。
[6]如[2]到[5]的任一所述的显示控制设备，其中
所述显示控制单元在装饰图像之上显示关于当前播放的歌曲的信息。
[7]如[1]所述的显示控制设备，其中
所述显示控制单元显示代表由触摸操作进行的轨迹的图像作为装饰图像，并且转换代表轨迹的图像以显示反馈图像。
[8]如[7]所述的显示控制设备，其中
所述显示控制单元在关于当前播放的歌曲的信息之上显示装饰图像。
[9]如[1]到[8]的任一所述的显示控制设备，还包括：
输出控制单元，当检测到涉及预定轨迹的触摸操作时，其输出预定声音。
[10]一种显示控制方法，包括：
在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测在所述显示单元上进行的用户的触摸操作；以及
执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。
[11]一种使得计算机执行处理的程序，所述处理包括：
在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测在所述显示单元上进行的用户的触摸操作；以及
执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到涉及预定轨迹的触摸操作时，显示由所述装饰图像构成的反馈图像，并且指示已经检测到涉及预定轨迹的触摸操作。

Claims (11)

1.一种显示控制设备，包括：
显示控制单元，其在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测单元，其检测在所述显示单元上进行的用户的触摸操作；以及
处理单元，其执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到所述涉及预定轨迹的触摸操作时，所述显示控制单元显示由所述装饰图像构成的反馈图像，并且指示已经检测到所述涉及预定轨迹的触摸操作，
其中，所述反馈图像与所述涉及预定轨迹的触摸操作的类型相关联，
其中，所述装饰图像在所述显示单元的屏幕内移动，并且通过将所述装饰图像停止在所述屏幕上的预定位置以形成所述反馈图像。
2.如权利要求1所述的显示控制设备，其中
所述显示控制单元通过可视器功能显示在屏幕内四处移动的所述装饰图像。
3.如权利要求2所述的显示控制设备，其中
所述显示控制单元显示多个装饰图像，并且要显示的反馈图像由所有装饰图像构成。
4.如权利要求3所述的显示控制设备，其中
在检测到所述涉及预定轨迹的触摸操作时，所述显示控制单元分别从它们各自位置移动所述装饰图像，以显示所述反馈图像。
5.如权利要求2所述的显示控制设备，其中
所述显示控制单元显示多个装饰图像，并且转换装饰图像之一以显示所述反馈图像。
6.如权利要求2所述的显示控制设备，其中
所述显示控制单元在所述装饰图像之上显示关于当前播放的歌曲的信息。
7.如权利要求1所述的显示控制设备，其中
所述显示控制单元显示代表由所述触摸操作进行的轨迹的图像作为所述装饰图像，并且转换代表所述轨迹的图像以显示所述反馈图像。
8.如权利要求7所述的显示控制设备，其中
所述显示控制单元在关于当前播放的歌曲的信息之上显示所述装饰图像。
9.如权利要求1所述的显示控制设备，还包括：
输出控制单元，当检测到所述涉及预定轨迹的触摸操作时，其输出预定声音。
10.一种显示控制方法，包括：
在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测在所述显示单元上进行的用户的触摸操作；以及
执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到所述涉及预定轨迹的触摸操作时，显示由所述装饰图像构成的反馈图像，并且指示已经检测到所述涉及预定轨迹的触摸操作，
其中，所述反馈图像与所述涉及预定轨迹的触摸操作的类型相关联，
其中，所述装饰图像在所述显示单元的屏幕内移动，并且通过将所述装饰图像停止在所述屏幕上的预定位置以形成所述反馈图像。
11.一种计算机可读记录介质，其上记录有计算机可执行程序，当所述计算机可执行程序由计算机执行时，使得所述计算机执行显示控制处理，所述显示控制处理包括：
在显示单元上显示装饰图像，所述装饰图像不同于用于操作的图像；
检测在所述显示单元上进行的用户的触摸操作；以及
执行与涉及预定轨迹的触摸操作相关联的处理，其中
当在显示所述装饰图像的同时，检测到所述涉及预定轨迹的触摸操作时，显示由所述装饰图像构成的反馈图像，并且指示已经检测到所述涉及预定轨迹的触摸操作，
其中，所述反馈图像与所述涉及预定轨迹的触摸操作的类型相关联，
其中，所述装饰图像在所述显示单元的屏幕内移动，并且通过将所述装饰图像停止在所述屏幕上的预定位置以形成所述反馈图像。
CN201410009512.4A 2013-01-16 2014-01-09 显示控制设备、显示控制方法和计算机可读记录介质 Active CN103927110B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-005342 2013-01-16
JP2013005342A JP5862967B2 (ja) 2013-01-16 2013-01-16 表示制御装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN103927110A CN103927110A (zh) 2014-07-16
CN103927110B true CN103927110B (zh) 2019-01-18

Family

ID=51145350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410009512.4A Active CN103927110B (zh) 2013-01-16 2014-01-09 显示控制设备、显示控制方法和计算机可读记录介质

Country Status (3)

Country Link
US (1) US9354808B2 (zh)
JP (1) JP5862967B2 (zh)
CN (1) CN103927110B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2397594T3 (es) 2008-09-02 2013-03-08 N.V. Nutricia Composiciones nutricionales con glóbulos lipídicos revestidos
KR102207208B1 (ko) * 2014-07-31 2021-01-25 삼성전자주식회사 음악 정보 시각화 방법 및 장치
US9904463B2 (en) * 2014-09-23 2018-02-27 Sulake Corporation Oy Method and apparatus for controlling user character for playing game within virtual environment
USD880517S1 (en) 2015-08-21 2020-04-07 Sony Corporation Display panel or screen with graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346688A (zh) * 2006-05-03 2009-01-14 索尼计算机娱乐公司 多媒体再现装置和菜单画面显示方法
CN102662571A (zh) * 2012-03-26 2012-09-12 华为技术有限公司 解锁屏幕保护的方法及用户设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
KR100811160B1 (ko) * 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US8482403B2 (en) * 2007-12-12 2013-07-09 Sony Corporation Interacting with devices based on physical device-to-device contact
US8279185B2 (en) * 2009-05-08 2012-10-02 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for positioning icons on a touch sensitive screen
JP2012094010A (ja) * 2010-10-27 2012-05-17 Sharp Corp タッチリモコン
KR101749529B1 (ko) * 2010-11-25 2017-06-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP6089880B2 (ja) * 2013-03-28 2017-03-08 富士通株式会社 情報処理装置，情報処理方法及び情報処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346688A (zh) * 2006-05-03 2009-01-14 索尼计算机娱乐公司 多媒体再现装置和菜单画面显示方法
CN102662571A (zh) * 2012-03-26 2012-09-12 华为技术有限公司 解锁屏幕保护的方法及用户设备

Also Published As

Publication number Publication date
CN103927110A (zh) 2014-07-16
US20140198065A1 (en) 2014-07-17
US9354808B2 (en) 2016-05-31
JP5862967B2 (ja) 2016-02-16
JP2014137675A (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
CN102725711B (zh) 边缘手势
JP3996852B2 (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
US11003304B2 (en) Information display terminal, information display method and program
CN103729108B (zh) 多显示设备及其提供工具的方法
CN106292859B (zh) 电子装置及其操作方法
CN102754352B (zh) 提供多个应用的信息的方法和装置
US8638315B2 (en) Virtual touch screen system
CN103729055B (zh) 多显示设备、输入笔、多显示控制方法和多显示系统
CN102934067B (zh) 信息处理系统、操作输入装置、信息处理装置、信息处理方法
EP2539801B1 (en) Multi-screen dual tap gesture
CN108139778A (zh) 便携式设备和便携式设备的屏幕显示方法
CN103294337A (zh) 电子装置及控制方法
CN104111793A (zh) 利用图像覆盖来减小显示滞后的系统、方法和装置
US20120249762A1 (en) Interactive input system having a 3d input space
WO2012133272A1 (ja) 電子機器
KR20120053335A (ko) 직관적인 폴더 편집 및 열람을 위한 사용자 인터페이스 표시 방법 및 장치
CN103927110B (zh) 显示控制设备、显示控制方法和计算机可读记录介质
WO2013168805A1 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP5875262B2 (ja) 表示制御装置
CN105094331A (zh) 一种信息处理方法及电子设备
CN103080885B (zh) 用于编辑对象布局的方法和装置
CN104714629B (zh) 一种信息处理方法及电子设备
JP2020166589A (ja) アニメーション編集プログラム
KR102410543B1 (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant