CN103941995A - 信息处理装置、信息处理方法 - Google Patents

信息处理装置、信息处理方法 Download PDF

Info

Publication number
CN103941995A
CN103941995A CN201410027685.9A CN201410027685A CN103941995A CN 103941995 A CN103941995 A CN 103941995A CN 201410027685 A CN201410027685 A CN 201410027685A CN 103941995 A CN103941995 A CN 103941995A
Authority
CN
China
Prior art keywords
mode
signal conditioning
image
conditioning package
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410027685.9A
Other languages
English (en)
Other versions
CN103941995B (zh
Inventor
牧野哲司
中込浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103941995A publication Critical patent/CN103941995A/zh
Application granted granted Critical
Publication of CN103941995B publication Critical patent/CN103941995B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种信息处理装置及信息处理方法。信息处理装置具备：描绘单元，指定在对图像的位置进行固定来显示的固定模式中被显示的描绘区域范围内的图像之上，由此描绘线；判断单元，判定所述描绘单元进行的线的描绘中的位置是否位于表示所述描绘区域范围的边界上；切换单元，若由所述判断单元判断为所述描绘中的位置位于表示所述描绘区域范围的边界上，则从所述固定模式切换为所述固定模式以外的规定模式；和显示控制单元，执行基于由所述模式切换单元切换后的模式显示所述图像的控制。

Description

信息处理装置、信息处理方法
本申请主张以2013年1月22日申请的日本国专利出愿2013-009452为基础申请的优先权，本申请援引该基础申请的全部内容。
技术领域
本发明涉及信息处理装置、信息处理方法。
背景技术
在现有技术中，具备大画面的显示部的个人计算机等信息处理装置对照片等图像执行各种图像处理。作为执行这种图像处理的应用程序软件之一，有从图像切出图案数据(对象)的应用程序软件(例如，参照特开平07-271008号公报)。
另一方面，最近，对具备了在液晶显示器上层叠的触摸面板的信息处理装置的需求逐渐变高。信息处理装置基于用户的手指或触摸笔等物体对触摸面板的接触操作，执行与显示在显示部上的对象相关的处理(例如，参照特开平07-334308号公报)。
通过近几年的信息处理领域的显著的高度化，具备这种触摸面板的信息处理装置的小型化得到发展，也出现了以智能手机为代表的可单手保持整个框体程度的信息处理装置。
但是，智能手机等小型信息处理装置反映装置整体的小型化，显示部必然也要变得小型。用户在进行基于手指等物体的接触操作从显示在这种小型化的显示部上的图像选择对象的操作时，需要进行选择的操作和滚动所显示的图像的操作的情况下，存在会失去要选择的操作的连续性的问题。
发明内容
本发明鉴于上述情况而完成，目的在于能够确保操作的连续性的同时容易切换显示图像的模式。
本发明提供一种信息处理装置，具备：描绘单元，指定在对图像的位置进行固定来显示的固定模式中被显示的描绘区域范围内的图像之上，由此描绘线；判断单元，判定所述描绘单元进行的线的描绘中的位置是否位于表示所述描绘区域范围的边界上；切换单元，若由所述判断单元判断为所述描绘中的位置位于表示所述描绘区域范围的边界上，则从所述固定模式切换为所述固定模式以外的规定模式；和显示控制单元，执行基于由所述模式切换单元切换后的模式显示所述图像的控制。
附图说明
图1是表示本发明的实施方式所涉及的信息处理装置的硬件结构的框图。
图2是表示在图1的信息处理装置的功能性结构中的用于执行轨迹描绘图像生成处理的功能性结构的功能框图。
图3A-图3C是表示通过模式切换处理当前模式被切换到固定模式或滚动模式时的概要的信息处理装置的正面视图。
图4A-图4C是表示通过模式切换处理当前模式被切换到固定模式或滚动模式时的概要的信息处理装置的正面视图。
图5A-图5C是表示通过模式切换处理当前模式被切换到固定模式或滚动模式时的概要的信息处理装置的正面视图。
图6是说明具有图2的功能性结构的图1的信息处理装置所执行的轨迹描绘图像生成处理的流程的流程图。
图7是说明具有图2的功能性结构的图1的信息处理装置所执行的滚动模式结束判定处理的流程的流程图。
图8是说明具有图2的功能性结构的其他实施方式的图1的信息处理装置所执行的滚动模式结束判定处理的流程的流程图。
图9是说明具有图2的功能性结构的其他实施方式的图1的信息处理装置所执行的滚动模式结束判定处理的流程的流程图。
具体实施方式
以下，适当参照附图，说明本发明的一实施方式。
图1是表示本发明的实施方式的信息处理装置的硬件结构的框图。信息处理装置1例如构成为智能手机。
信息处理装置1具备CPU(Central Processing Unit)11、ROM(ReadOnly Memory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、触摸面板16、显示部17、存储部18、通信部19和驱动器20。
CPU11按照记录在ROM12中的程序或从存储部18装载到RAM13的程序执行各种处理。
在RAM13中还适当存储CPU11执行各种处理所需的数据等。
CPU11、ROM12及RAM13经由总线14而相互连接着。该总线14还连接着输入输出接口15。输入输出接口15连接着触摸面板16、显示部17、存储部18、通信部19及驱动器20。
触摸面板16构成为在显示部17的显示画面上层叠的静电电容式或电阻膜式的触摸面板，检测被进行触摸操作的位置(以下，称为“触摸位置”)的坐标。在此，触摸操作是指物体(用户的手指或触摸笔等)对触摸面板16的接触或接近的操作。触摸面板16具有对同时期进行的触摸位置的坐标的多处进行检测的所谓多触摸的功能。
显示部17由显示器构成，显示图像。
存储部18由硬盘或者DRAM(Dynamic Random Access Memory)等构成，存储各种图像的数据。
通信部19控制经由包括因特网在内的网络而在与其他装置(未图示)之间进行的通信。
驱动器20中适当地安装有由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动介质31。通过驱动器20从可移动介质31读出的程序根据需要而被安装到存储部18。此外，可移动介质31也可以与存储部18同样地存储在存储部18中存储的图像的数据等各种数据。
这种构成的信息处理装置1的CPU11能够以包括人物等对象区域的图像作为原图像，执行从该原图像切出对象区域的图像处理。以下将这种图像处理称为“切出处理”。
CPU11将通过这种切出处理而从原图像切出的对象区域的数据与不同于原图像的新的图像(新的背景图像等)数据进行合成，从而生成合成图像的数据。
CPU11在执行这种切出处理时，需要从原图像指定作为切出对象的对象区域。因此，CPU11执行如下的一系列处理。
CPU11从存储部18读出原图像的数据，将该原图像显示于显示部17。
在该状态下，用户沿着划分显示于显示部17的图像内的对象区域和其他区域的边界线，进行使用户的手指等移动的触摸操作(模拟了鼠标的拖拉(drag)操作，以下称为“拖拉操作”)。
CPU11在该拖拉操作的轨迹上描绘线。然后，CPU11使显示部17显示描绘在拖拉操作的轨迹上的线被重叠的图像(以下，称为“轨迹描绘图像”)，在存储部18中存储该轨迹描绘图像的数据。
以下，将这种一系列处理称为“轨迹描绘图像生成处理”。
在通过轨迹描绘图像生成处理生成的轨迹描绘图像中，被所描绘的线包围的区域被指定为要在切出处理中切出的对象区域。
图2是表示信息处理装置的功能性结构中用于执行这种轨迹描绘图像生成处理的功能性结构的功能框图。
CPU11控制轨迹描绘图像生成处理的执行的情况下，作为显示控制部41、触摸操作检测部42、描绘部43、判断部44、模式切换部45和存储控制部46发挥功能。
作为存储部18的一区域，设有存储可成为切出处理中的原图像的各种图像的数据的图像存储部51。
显示控制部41从图像存储部51读出规定图像的数据，执行将该图像作为切出处理中的原图像而显示于显示部17的控制。
触摸操作检测部42检测用户对触摸面板16进行了触摸操作的情况，并识别该触摸操作的位置。触摸操作检测部42能够检测物体(用户的手指或触摸笔等)对触摸面板16的接触或靠近的操作(以下，称为“触碰(touch down)”)、从触碰的状态解除物体(用户的手指或触摸笔等)的接触的操作(以下，称为“分离(touch up)”)。触摸操作检测部42能够检测对触摸面板16同时期构成的多次触碰或分离的操作。触摸操作检测部42向描绘部43及模式切换部45传达检测出的分离及触碰的信息。
判断部44通过判断部44判断描绘中的位置是否位于描绘区域范围的边界上。
模式切换部45基于判断部44的判断结果，切换为至少包括使图像固定来进行显示的固定模式、和滚动图像来进行显示的滚动模式的多个模式中的任一模式。
“固定模式”是指，与物体(用户的手指或触摸笔等)对触摸面板16的轻击操作、滑动操作、猛击操作等无关地将图像固定显示于显示部17的模式。
“滚动模式”是指，对应于物体(用户的手指或触摸笔等)对触摸面板16的轻击操作、滑动操作、猛击操作等，在任意的方向上滑动显示于显示部17的图像而进行显示的模式。
若通过判断部44判断为描绘中的图像的位置位于描绘区域范围的边界线上，则模式切换部45将当前模式从固定模式切换为滚动模式。
此外，若检测出在滚动模式中同时期通过触摸操作检测部42进行多个触摸操作的所谓多触摸，则模式切换部45将当前模式切换为固定模式。
此外，模式切换部45根据由触摸操作检测部42连续检测出的2点操作的次数，在包括固定模式和滚动模式的多个模式之中切换为任意的模式。例如，模式切换部45在通过前次触摸操作检测部42连续2次检测到通过2点进行的触摸操作的情况下，将当前模式切换为固定模式。相对于此，模式切换部45在连续3次检测到通过2点进行的触摸操作的情况下，将当前模式切换为滚动模式。模式切换部45向描绘部43及显示控制部41提供切换后的模式的信息。
以下，将通过模式切换部45当前模式被切换为固定模式或滚动模式中的任一模式的处理称为“模式切换处理”。
图3A-图3C、图4A-图4C、图5A-图5C是表示通过模式切换处理将当前模式切换为固定模式或滚动模式时的概要的信息处理装置1的正面视图。
如图3A所示，在显示部17中的描绘区域范围AD，与透射阵列一起重叠显示包括表示人的上半身的对象区域OB的原图像。描绘部43能够基于用户的触摸面板16的操作，将该描绘区域范围AD设定为任意的范围。
在这种图3A的状态下，用户使第1手指UF1接触显示于描绘区域范围AD内的对象区域OB的外周，开始触摸操作。
在此，返回图2可知，描绘部43生成第1手指UF1的接触位置处的线的开始点L1的数据。由此，以下，“描绘部43将生成显示部17的规定位置处的线的数据的处理表现为“在规定位置处描绘线”。
显示控制部41在原图像的对象区域OB中的第1手指UF1的接触位置上重叠地显示线的开始点L1。更具体而言，显示控制部41在透射阵列中的第1手指UF1的接触位置上显示线的开始点L1。
之后，如图3B所示，沿着拖拉操作的第1手指UF1的移动轨迹(对象区域OB的外周)描绘线L2，如图3C所示，在对象区域OB的外周上显示线L2。
通过拖拉操作，手指UF1的位置进一步移动，如图3C所示，若手指UF1的位置、即描绘部43进行的线L2的描绘中的位置到达描绘区域范围AD的边界上，则通过判断部44判定为描绘中的位置位于描绘区域范围AD的边界上，将当前模式从固定模式切换为滚动模式。
另外，由于手指UF1的移动速度变快，有时在通过判断部44判断为位于描绘区域范围AD的边界上之前，手指UF1会超出描绘区域范围AD的边界。为了即使在这种情况下也能够使判断部44适当地判断为位于描绘区域范围AD的边界上，在本实施方式中，可检测进行拖拉操作的同时移动的手指UF1的位置的范围被设定成比描绘区域范围AD还宽的范围AM。以下，将这种范围AM称为移动检测范围AM。
即，描绘部43计算由模式切换部45将当前模式切换为滚动模式时或在即将切换为滚动模式之前使由描绘部43描绘了线的位置滚动移动至规定位置时的相应滚动量。
在本实施方式中，以线L2到达规定的描绘区域范围AD的边界上的规定位置时的该规定位置(图3C所示的位置)作为起点，然后将沿着用户的拖拉操作下的第1手指UF1的移动轨迹而移动的触摸位置停止的点作为终点，将起点到终点滚动移动的移动量作为滚动量来计算。
如图4A所示，显示控制部41按照由描绘部43计算出的滚动量，滚动原图像及重叠在原图像上的线(透射阵列)来显示于显示部17。
之后，如图4B所示，在滚动模式中，在用户分离手指UF1而触摸操作检测部42无法检测出触摸操作的情况下，模式切换部45将当前模式切换为滚动模式。
此外，如图4C所示，在滚动模式中，在用户将手指UF1在规定时间不移动而处于停止状态，从而由触摸操作检测部42检测的触摸位置在规定时间内没有变化的情况下，模式切换部45将当前模式切换为固定模式。用户通过操作触摸面板16，能够预先任意设定该规定时间。
此外，如图5A所示，在滚动模式中，若用户通过不同于手指UF1的其他手指UF2进行触摸操作，从而由触摸操作检测部42在同时期检测到2点的触摸操作，则模式切换部45将当前模式切换为固定模式。此时，用户通过手指UF1保持前次的触摸位置，并且通过其他手指UF2对其他触摸位置进行触摸操作，从而能够进行2点的触摸操作。
此外，如图5B所示，在滚动模式中，若用户通过手指UF1进行拖拉操作，从而由触摸操作检测部42在由显示部17显示的描绘区域范围AD的周边区域检测到触摸操作时，模式切换部45再次将当前模式切换为固定模式。通过将当前模式切换为固定模式，从而用户能够将图像的位置移动到任意的位置，因此如图5C所示，用户能够连续地进行线L2的描绘。
另外，显示控制部41根据被模式切换部45切换的模式，显示不同颜色的图像。在本实施方式中，显示控制部41在由模式切换部45将当前模式切换为滚动模式的情况下，以红色显示描绘区域范围AD的背景图像。相对于此，显示控制部41在由模式切换部45将当前模式切换为固定模式的情况下，以白色显示描绘区域范围AD的背景图像。
总结原图像的滚动显示处理的话，为了指定通过切出处理切出的对象区域，用户需要进行沿着该对象的边界线移动第1手指UF1的拖拉操作。
但是，继续进行的结果是，在描绘的线L2将要到达描绘区域范围AD的端部的状态下，大多情况下是无法继续执行拖拉操作。
因此，需要反复地滚动显示原图像，从而需要不是通过拖拉操作指定(未通过第1手指UF1进行触摸)的边界线始终包含在描绘区域范围AD中。
以往以来，通过拖拉操作，如图3C所示，若第1手指UF1的位置、即描绘部43的线L2的描绘中的位置到达将要到达描绘区域范围AD的端部的状态，则用户中断用于描绘线的拖拉操作，切换拖拉操作的操作模式，通过拖拉操作而滚动了原图像(在该期间，禁止通过拖拉操作描绘线)。
但是，对于用户而言，这样的一系列操作、即反复进行中断用于描绘线的拖拉操作、且切换拖拉操作的操作模式来通过拖拉操作使原图像滚动的动作的操作是复杂且费时间的操作，会成为高负荷。此外，为了切换操作模式而分离手指、或为了自动进行图像的滚动而分离手指之后，即便手指接着触碰到相同的触摸位置，触摸位置偏离的可能性高，因此在确保线的连续性的同时继续进行拖拉操作是困难的。
因此，在本实施方式中，不改变第1手指UF1的触摸位置，而是仅通过执行模式切换处理就能够将当前模式从固定模式切换为滚动模式，能够减轻用户的操作负担。
并且，若存在规定的结束指示，则图2的存储控制部48将在对象区域的边界线上重叠有线L2的原图像的数据存储于图像存储部51，作为轨迹描绘图像的数据。
由此，信息处理装置1的CPU11在之后的任意时刻，使用轨迹描绘图像的数据来执行切出处理，从而能够从该原图像切出对象区域。
接着，参照图6，说明这种图2的功能性结构的信息处理装置1所执行的轨迹描绘图像生成处理。
图6是说明具有图2的功能性结构的图1的信息处理装置1所执行的轨迹描绘图像生成处理的流程的流程图。
轨迹描绘图像生成处理以用户对触摸面板16进行的规定的操作为契机而开始，执行如下的处理。
在步骤S11中，描绘部43基于用户的触摸面板16的操作，设定描绘区域范围AD(图3A-图3C／图4A-图4C／图5A-图5C)。
在步骤S12中，显示控制部41从存储部18读出原图像的数据，在显示部17上显示成为处理对象的原图像(以下，称为“处理对象图像”)。
在步骤S13中，模式切换部45将当前模式切换为固定模式，设置为固定模式。若当前模式被切换为固定模式，则显示控制部41相对于处理对象图像显示沿着基于拖拉操作的手指的移动轨迹而描绘出的线。
在步骤S14中，触摸操作检测部42检测用户对触摸面板16进行的触摸操作。
在步骤S15中，触摸操作检测部42判定在步骤S14中检测出的触摸操作是否为触碰。在没有进行触碰的情况下，在步骤S15中判定为“否”，处理进入步骤S19。将在后面叙述步骤S19以后的处理。在进行了触碰的情况下，在步骤S15中判定为“是”，处理进行步骤S16。
在步骤S16中，触摸操作检测部42判定在同时期是否检测到2点的触摸操作。在该处理中，触摸操作检测部42通过用户利用手指UF1保持前次的触摸位置，并且利用其他指UF2对其他触摸位置进行触摸操作，从而判定是否进行了2点的触摸操作。在同时期检测到2点的触摸操作的情况下，在步骤S16中判定为“是”，处理进行步骤24。将在后面叙述步骤S24以后的处理。在同时期没有检测到2点的触摸操作的情况下，在步骤S16中判定为“否”，处理进行步骤17。
在步骤S17中，判定是否接受了结束指示。在没有接受结束指示的情况下，在步骤S17中判定为“否”，处理返回步骤S14。相对于此，在接受了结束指示的情况下，在步骤S17中判定为“是”，处理进入步骤S18。
在步骤S18中，存储控制部48将描绘了线的处理对象的图像的数据存储到图像存储部51，作为轨迹描绘图像。若该处理结束，则轨迹描绘图像生成处理结束。即，在进行了触碰的情况下，在解除再次触碰、或者存在结束指示之前的期间，反复执行步骤S14至步骤S17的处理，描绘图像生成处理成为待机状态。
在步骤S19中，触摸操作检测部42判定是否进行了拖拉操作。在进行了拖拉操作的情况下，在步骤S19中判定为“是”，处理进入步骤S21。将在后面叙述步骤S21以后的处理。相对于此，在没有进行拖拉操作的情况下，在步骤S19中判断为“否”，处理进入步骤S20。
在步骤S20中，触摸操作检测部42判定是否进行了分离。在没有进行分离的情况下，在步骤S20中判定为“否”，处理返回步骤S14。相对于此，在进行了分离的情况下，在步骤S20中判定为“是”，处理进入步骤S24。将在后面叙述步骤S24以后的处理。
在步骤S21中，模式切换部45判定当前模式是否处于滚动模式中。在没有处于滚动模式中的情况下，即是固定模式的情况下，在步骤S21中判定为“否”，处理进入步骤S26。将在后面叙述步骤S26以后的处理。相对于此，在处于滚动模式中的情况下，在步骤S21中判定为“是”，处理进入步骤S22。
在步骤S22中，模式切换部45进行参照后述的图7所说明的滚动模式结束判定处理。在该处理中，模式切换部45在规定时间内触摸位置未变化的情况下，进行设置用于结束滚动模式的滚动模式结束标记的处理。
在步骤S23中，模式切换部45判定滚动模式是否结束。在该处理中，模式切换部45判定是否设置有滚动模式结束标记，从而判定滚动模式是否结束。在设置有滚动模式结束标记且滚动模式结束的情况下，在步骤S23中判定为“是”，处理进入步骤S24。
在步骤S24中，模式切换部45将当前模式切换为固定模式，设置为固定模式。若该处理结束，则处理返回步骤S14。
在没有设置滚动模式结束标记且滚动模式没有结束的情况下，在步骤S23中判定为“否”，处理进入步骤S25。
在步骤S25中，显示控制部41对应于用户利用物体(用户的手指或触摸笔等)对触摸面板16进行的轻击操作、滑动操作、猛击操作等，进行将正在显示于显示部17的图像在任意的方向上滚动来进行显示的控制。若该处理结束，则处理返回步骤S14。
在步骤S26中，判断部43判定描绘中的触摸位置是否在描绘区域范围AD(图3C)的边界上。在描绘中的触摸位置位于描绘区域范围AD的边界上的情况下，在步骤S26中判定为“是”，处理进入步骤S27。相对于此，在描绘中的触摸位置并未位于描绘区域范围AD的边界上的情况下，在步骤S26中判定为“否”，处理进入步骤S28。
在步骤S27中，模式切换部45将当前模式切换为滚动模式，设置为滚动模式。若该处理结束，则处理返回步骤S14。
在步骤S28中，描绘部43沿着基于用户进行的拖拉操作的手指UF1的移动轨迹而描绘线L2。并且，显示控制部41执行在显示部17上显示所描绘的线的控制。若该处理结束，则处理返回步骤S14。
接着，参照图7，说明这种图2的功能性结构的信息处理装置1所执行的在图6的步骤S22中进行的滚动模式结束判定处理。
图7是说明具有图2的功能性结构的图1的信息处理装置1所执行的滚动模式结束判定处理的流程的流程图。
滚动模式结束判定处理以在图6的步骤S21中判定为处于滚动模式中的情况作为契机而开始，执行如下的处理。
在步骤S41中，触摸操作检测部42检测触摸位置。
在步骤S42中，触摸操作检测部42判定在步骤S41中检测出的触摸位置是否发生了变化。在该处理中，通过用户摇动手指，从而触摸操作检测部42判定触摸位置是否发生移动。在触摸位置发生了变化的情况下，在步骤S42中判定为“是”，结束滚动模式结束判定处理。相对于此，在触摸位置未变化的情况下，在步骤S42中判定为“否”，处理进入步骤S43。
在步骤S43中，触摸操作检测部42判定是否经过了规定时间。在未经过规定时间的情况下，在步骤S43中判定为“否”，处理返回步骤S42。即，在触摸位置未变化的情况下，在经过规定时间之前的期间，反复执行步骤S42及步骤S43的处理，滚动模式结束判定处理成为待机状态。相对于此，在经过了规定时间的情况下，在步骤S43中判定为“是”，处理进入步骤S44。
在步骤S44中，模式切换部45设置滚动模式结束标记。若该处理结束，则滚动模式结束判定处理结束，处理进入图6的步骤S23。
如以上说明，本实施方式的信息处理装置1具备描绘部43、判断部44、模式切换部45和显示控制部41。
描绘部43指定在固定模式中所显示的描绘区域范围AD内的图像之上来描绘线。判断部44判断描绘部43进行的正在描绘线的位置是否位于描绘区域范围AD的边界线上。若通过判断部44判定为描绘中的位置位于描绘区域范围AD的边界上，则模式切换部45从固定模式切换到固定模式以外的规定模式。显示控制部41执行基于被模式切换部45切换的模式而显示图像的控制。
由此，在固定模式中正在描绘的位置处于描绘区域范围AD的边界上的情况下，用户能够自动从固定模式切换到规定模式。因此，即使从固定模式切换到固定模式以外的规定模式，也可以在不改变用户的第1手指UF1的触摸位置的情况下变更操作模式，可减轻操作负担。由此，能够在确保操作的连续性的同时容易切换显示图像的模式。
此外，通过本实施方式的信息处理装置1的模式切换部45切换的规定模式是将图像滚动显示的滚动模式。
由此，在固定模式中正在描绘的位置处于描绘区域范围AD的边界上的情况下，用户能够自动切换为滚动模式。因此，即使从固定模式切换到滚动模式的情况下，也可以在不改变用户的第1手指UF1的触摸位置的情况下变更操作模式，可减轻操作负担。由此，能够在确保操作的连续性的同时容易切换显示图像的模式。
此外，本实施方式的信息处理装置1还具备触摸操作检测部42。
触摸操作检测部42检测物体的接触或接近的操作作为触摸操作。并且，在滚动模式中通过触摸操作检测部42无法检测到触摸操作的情况下，模式切换部45切换到固定模式。
由此，用户通过分离，能够自动地切换为固定模式。因此，只要将用户的手指UF1分离，就能够变更为固定模式，可减轻操作负担。由此，能够在确保操作的连续性的同时容易切换显示图像的模式。
此外，在滚动模式中通过触摸操作检测部42检测到的触摸操作的位置在规定时间内没有发生变化的情况下，本实施方式的信息处理装置1的模式切换部45切换到固定模式。
由此，用户在规定时间内不变换触摸位置就处于待机状态，能够自动切换为固定模式。因此，即使从滚动模式切换为固定模式的情况下，也可以不改变用户的手指UF1的触摸位置就能够变更操作模式，可减轻操作负担。由此，能够在确保操作的连续性的同时容易切换显示图像的模式。
此外，若在滚动模式中在同时期通过触摸操作检测部42检测到多个触摸操作，则本实施方式的信息处理装置1的模式切换部45切换到固定模式。
由此，用户在想要切换为固定模式的情况下，增加或减少正在触碰的手指的数量来改变触摸操作的数量，从而能够容易切换为固定模式。因此，即使从固定模式切换为滚动模式，也能够不改变用户的第1手指UF1的触摸位置，只要通过第2手指UF2追加触摸操作，就能够变更操作模式，可减轻操作负担。由此，能够在确保操作的连续性的同时容易切换显示图像的模式。
此外，本实施方式的信息处理装置1的模式切换部45根据通过触摸操作检测部42连续检测到的2点操作的次数，切换模式。
由此，用户只要改变触摸操作的数量，无需改变触摸位置，只要改变2点操作的触摸操作的数量，就能够滚动图像。因此，不改变触摸位置，也能够确保线的连续性的同时继续进行线的描绘。
另外，本发明并不限于上述的实施方式，能够达到本发明的目的的范围内的变形、改良等都包含在本发明中。
在上述的实施方式中，在滚动模式中通过触摸操作检测部42检测到的触摸操作的位置在规定时间内没有发生变换的情况下，模式切换部45切换到固定模式，但是并不限于此。例如，若在滚动模式中将图像滚动至显示部17的周边区域，则模式切换部45可以切换为固定模式。
例如，如图5B所示，在滚动模式中，通过用户利用手指U"进行拖拉操作，从而若由触摸操作检测部42在被显示部17显示的描绘区域范围AD的周边区域内检测到触摸操作，则模式切换部45再次将当前模式切换为固定模式。通过将当前模式切换为固定模式，从而用户能够将图像的位置移动至任意的位置，因此如图5C所示，用户可以继续进行线L2的描绘。
具有这种构成的模式切换部45的信息处理装置1改变图7的滚动模式结束判定处理，执行图8的滚动模式判定处理。
参照图8，说明在这种图2的功能性结构的信息处理装置1所执行的图6的步骤S22中进行的其他实施方式的滚动模式结束判定处理。
图8是说明具有图2的功能性结构的其他实施方式的图1的信息处理装置1所执行的滚动模式结束判定处理的流程的流程图。
滚动模式结束判定处理以在图6的步骤S21中判定为处于滚动模式中的情况作为契机而开始，执行如下的处理。
在步骤S61中，触摸操作检测部42检测触摸位置。
在步骤S62中，触摸操作检测部42判定在步骤S61中检测出的触摸位置是否为描绘区域范围AD(图5B)的周边区域。在触摸位置不是描绘区域范围AD的周边区域的情况下，在步骤S62中判定为“否”，结束滚动模式结束判定处理。相对于此，在触摸位置为描绘区域范围AD的周边区域的情况下，在步骤S62中判定为“是”，处理进入步骤S63。
在步骤S63中，模式切换部45设置滚动模式结束标记。若该处理结束，则滚动模式结束判定处理结束，处理进入图6的步骤S23。
此外，在上述的实施方式中，在滚动模式中通过触摸操作检测部42检测出的触摸操作的位置在规定时间内未发生变换的情况下，模式切换部45切换到固定模式，但是并不限于此。例如，若在滚动模式中将图像滚动至任意区域，则模式切换部45可切换到固定模式。用户通过操作触摸面板16，从而能够自由设定该任意区域。例如，用户可将显示部17的视角周边、视角的中央设定为任意区域。
具有这种构成的模式切换部45的信息处理装置1代替图7的滚动模式结束判定处理而执行图9的滚动模式判定处理。
参照图9，说明在这种图2的功能性结构的信息处理装置1所执行的图6的步骤S22中进行的其他实施方式的滚动模式结束判定处理。
图9是说明具有图2的功能性结构的其他实施方式的图1的信息处理装置1所执行的滚动模式结束判定处理的流程的流程图。
滚动模式结束判定处理以在图6的步骤S21中判定为处于滚动模式中的情况作为契机而开始，执行如下的处理。
在步骤S81中，触摸操作检测部42检测触摸位置。
在步骤S82中，触摸操作检测部42判定在步骤S81中检测出的触摸位置是否是任意区域。在触摸位置不是任意区域的情况下，在步骤S82中判定为“否”，结束滚动模式结束判定处理。相对于此，在触摸位置是任意区域的情况下，在步骤S82中判定为“是”，处理进入步骤S83。
在步骤S83中，模式切换部45设定滚动模式结束标记。若该处理结束，则滚动模式结束判定处理结束，处理进入图6的步骤S23。
此外，上述的实施方式中，以智能手机为例说明了应用了本发明的信息处理装置1，但是并不特别限于此。
例如，本发明可以普遍地适用于具有显示功能的电子设备中。具体而言，例如，本发明可适用于笔记本型个人计算机、电视接收机、摄像机、便携式导航装置、移动电话、便携式游戏机等。
上述的一系列处理可通过硬件来执行，也可通过软件了来执行。
换言之，图2的功能性结构只是例示，并不特别限于此。即，信息处理装置1具备可将上述的一系列处理作为整体而执行的功能即可，为了实现该功能而使用什么样的功能模块并不特别限于图2的例。
此外，1个功能模块可以是单个硬件，也可以是单个软件，也可以由它们的组合构成。
在通过软件执行一系列处理的情况下，构成该软件的程序可从网络或记录介质安装到计算机等中。
计算机也可以是组装了专用硬件的计算机。此外，计算机也可以通过安装各种程序来执行各种功能的计算机，例如通用的个人计算机。
包括这种程序的记录介质不仅由为了向用户提供程序而与装置主体分开布置的图1的可移动介质31构成，还由在预先组装到装置主体的状态下提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、Blu-ray Disc(蓝光光盘)、光盘、或光磁盘等构成。光盘例如由CD-ROM(Compact Di sk-Read Only Memory)、D V D(Di gital VersatileDisk)等构成。光磁盘由MD(Mini-Disk)等构成。此外，在预先组装到装置主体的状态下提供给用户的记录介质例如由记录有程序的图1的ROM12、或包含在图1的存储部18中的硬盘等构成。
另外，在本说明书中，叙述记录于记录介质的程序的步骤当然包括沿着该顺序按时间序列进行的处理，还包括不一定按时间序列进行的并行或者单独执行的处理。
此外，本说明书中，系统的用语意味着由多个装置或多个单元等构成的整个装置。
以上，说明了本发明的几个实施方式，但是这些实施方式仅仅是例示，并不限定本发明的技术范围。本发明还可以取其他各种实施方式，而且在不超出本发明的宗旨的范围内，可进行省略或替换等各种变更。这些实施方式或其变形包含在本说明书等中记载的发明的范围或宗旨中，并且包含在与权利要求书所记载的发明及其均等的范围内。

Claims (9)

1.一种信息处理装置，具备：
描绘单元，指定在对图像的位置进行固定来显示的固定模式中被显示的描绘区域范围内的图像之上，由此描绘线；
判断单元，判定所述描绘单元进行的线的描绘中的位置是否位于表示所述描绘区域范围的边界上；
切换单元，若由所述判断单元判断为所述描绘中的位置位于表示所述描绘区域范围的边界上，则从所述固定模式切换为所述固定模式以外的规定模式；和
显示控制单元，执行基于由所述模式切换单元切换后的模式显示所述图像的控制。
2.根据权利要求1所述的信息处理装置，其特征在于，
由所述模式切换单元切换的所述规定模式是将所述图像滚动显示的滚动模式。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述信息处理装置还具备触摸操作检测单元，该触摸操作检测单元检测物体的接触或接近的操作来作为触摸操作，
在滚动模式中通过所述触摸操作检测单元在规定时间内未检测到所述触摸操作的情况下，所述模式切换单元切换到固定模式。
4.根据权利要求3所述的信息处理装置，其特征在于，
在滚动模式中，通过所述触摸操作检测单元检测到的触摸操作的位置在规定时间内未发生变化的情况下，所述模式切换单元切换到固定模式。
5.根据权利要求2所述的信息处理装置，其特征在于，
所述信息处理装置还具备触摸操作检测单元，该触摸操作检测单元检测物体的接触或接近的操作来作为触摸操作，
在滚动模式中，在同时期通过所述触摸操作检测单元检测到多个触摸操作的情况下，所述模式切换单元切换到固定模式。
6.根据权利要求1所述的信息处理装置，其特征在于，
若在滚动模式中，将所述图像滚动至任意区域，则所述模式切换单元切换到固定模式。
7.根据权利要求1所述的信息处理装置，其特征在于，
所述规定的范围是由所述显示控制单元显示的显示部的周边区域。
8.根据权利要求3所述的信息处理装置，其特征在于，
所述模式切换单元根据由所述触摸操作检测单元连续地检测到的2点操作的次数，切换模式。
9.一种控制图像的显示的信息处理装置所执行的信息处理方法，该信息处理方法包括：
描绘步骤，指定在对图像的位置进行固定来显示的固定模式中被显示的描绘区域范围内的图像之上，由此描绘线；
判断步骤，判定所述描绘步骤进行的线的描绘中的位置是否位于表示所述描绘区域范围的边界上；
模式切换步骤，若通过所述判断步骤判断为所述描绘中的位置位于表示所述描绘区域范围的边界上，则从所述固定模式切换为所述固定模式以外的规定模式；和
显示控制步骤，执行基于通过所述模式切换步骤切换后的模式显示所述图像的控制。
CN201410027685.9A 2013-01-22 2014-01-21 信息处理装置、信息处理方法 Expired - Fee Related CN103941995B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-009452 2013-01-22
JP2013009452A JP5761216B2 (ja) 2013-01-22 2013-01-22 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103941995A true CN103941995A (zh) 2014-07-23
CN103941995B CN103941995B (zh) 2017-09-22

Family

ID=51189680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410027685.9A Expired - Fee Related CN103941995B (zh) 2013-01-22 2014-01-21 信息处理装置、信息处理方法

Country Status (4)

Country Link
US (1) US9830069B2 (zh)
JP (1) JP5761216B2 (zh)
KR (1) KR101586559B1 (zh)
CN (1) CN103941995B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871173A (zh) * 2017-12-01 2019-06-11 富士施乐株式会社 信息处理装置、信息处理系统
CN111837176A (zh) * 2018-03-28 2020-10-27 Eizo株式会社 显示系统及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425577B2 (ja) * 2015-02-17 2018-11-21 シャープ株式会社 表示機器、表示機器を制御するためのプログラム、およびコンピュータ読み取り可能なデータ記録媒体
JP6721951B2 (ja) * 2015-07-03 2020-07-15 シャープ株式会社 画像表示装置、画像表示制御方法、および、画像表示システム
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
JP6809296B2 (ja) * 2017-03-02 2021-01-06 沖電気工業株式会社 情報処理装置、情報処理システム及びプログラム
EP3667484A1 (en) * 2017-08-22 2020-06-17 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102535567B1 (ko) * 2017-08-22 2023-05-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10871886B2 (en) 2018-05-31 2020-12-22 Apple Inc. Device, method, and graphical user interface for moving drawing objects
JP7490967B2 (ja) * 2020-01-27 2024-05-28 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050088418A1 (en) * 2003-10-28 2005-04-28 Nguyen Mitchell V. Pen-based computer interface system
JP2007025023A (ja) * 2005-07-13 2007-02-01 Xanavi Informatics Corp ナビゲーション装置
CN101030119A (zh) * 2002-09-27 2007-09-05 卡西欧计算机株式会社 用于显示图表和图形的图形显示控制装置
US20110128244A1 (en) * 2009-12-01 2011-06-02 Samsung Electronics Co. Ltd. Mobile device and method for operating the touch panel
CN102591583A (zh) * 2011-01-13 2012-07-18 卡西欧计算机株式会社 电子设备
CN102681721A (zh) * 2011-02-10 2012-09-19 夏普株式会社 显示装置、其操作方法以及控制装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196838A (en) * 1990-12-28 1993-03-23 Apple Computer, Inc. Intelligent scrolling
JPH07271008A (ja) 1994-03-29 1995-10-20 Toppan Printing Co Ltd 絵柄切り抜き方法および装置
JP3202483B2 (ja) 1994-06-06 2001-08-27 日本電気株式会社 座標検出装置
JPH0969037A (ja) * 1995-08-31 1997-03-11 Sharp Corp データ処理装置
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6847386B2 (en) * 2001-06-19 2005-01-25 International Business Machines Corporation Visual cue for on-screen scrolling
US20030169280A1 (en) * 2002-03-08 2003-09-11 Kinpo Electronics, Inc. Method and apparatus of scrolling a screen display corresponding to the movement of a cursor
DE60317913T2 (de) * 2002-09-27 2008-04-03 Casio Computer Co., Ltd. Graphische Anzeigesteuereinrichtung zum Anzeigen von Graphen
US7567239B2 (en) * 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
US7164410B2 (en) * 2003-07-28 2007-01-16 Sig G. Kupka Manipulating an on-screen object using zones surrounding the object
US7434173B2 (en) * 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
TW200717292A (en) * 2005-10-25 2007-05-01 Elan Microelectronics Corp Window-moving method with a variable reference point
US20080129712A1 (en) * 2006-07-31 2008-06-05 Mitchell Van Nguyen Pen-based computer system having variable automatic scroll
TWI417764B (zh) * 2007-10-01 2013-12-01 Giga Byte Comm Inc A control method and a device for performing a switching function of a touch screen of a hand-held electronic device
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
KR101640463B1 (ko) * 2009-05-19 2016-07-18 삼성전자 주식회사 휴대 단말기의 운용 방법 및 이를 지원하는 휴대 단말기
JP2011028635A (ja) 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
US20110039602A1 (en) * 2009-08-13 2011-02-17 Mcnamara Justin Methods And Systems For Interacting With Content On A Mobile Device
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US9317196B2 (en) * 2011-08-10 2016-04-19 Microsoft Technology Licensing, Llc Automatic zooming for text selection/cursor placement
US9335913B2 (en) * 2012-11-12 2016-05-10 Microsoft Technology Licensing, Llc Cross slide gesture
US20140189579A1 (en) * 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030119A (zh) * 2002-09-27 2007-09-05 卡西欧计算机株式会社 用于显示图表和图形的图形显示控制装置
US20050088418A1 (en) * 2003-10-28 2005-04-28 Nguyen Mitchell V. Pen-based computer interface system
JP2007025023A (ja) * 2005-07-13 2007-02-01 Xanavi Informatics Corp ナビゲーション装置
US20110128244A1 (en) * 2009-12-01 2011-06-02 Samsung Electronics Co. Ltd. Mobile device and method for operating the touch panel
CN102591583A (zh) * 2011-01-13 2012-07-18 卡西欧计算机株式会社 电子设备
CN102681721A (zh) * 2011-02-10 2012-09-19 夏普株式会社 显示装置、其操作方法以及控制装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871173A (zh) * 2017-12-01 2019-06-11 富士施乐株式会社 信息处理装置、信息处理系统
CN111837176A (zh) * 2018-03-28 2020-10-27 Eizo株式会社 显示系统及程序
CN111837176B (zh) * 2018-03-28 2023-05-19 Eizo株式会社 显示系统及计算机可读的非暂时性记录介质

Also Published As

Publication number Publication date
JP5761216B2 (ja) 2015-08-12
US20140208277A1 (en) 2014-07-24
CN103941995B (zh) 2017-09-22
KR20140094470A (ko) 2014-07-30
US9830069B2 (en) 2017-11-28
KR101586559B1 (ko) 2016-01-18
JP2014142707A (ja) 2014-08-07

Similar Documents

Publication Publication Date Title
CN103941995A (zh) 信息处理装置、信息处理方法
CN105308550B (zh) 信息显示终端
EP2880626B1 (en) Localisation and mapping
KR101933452B1 (ko) 디바이스 패널들의 상대적 이동을 이용한 사용자 명령들을 입력하는 방법 및 장치
US10042546B2 (en) Systems and methods to present multiple frames on a touch screen
JP5532300B2 (ja) タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
KR101646616B1 (ko) 객체 제어 장치 및 방법
EP2866132B1 (en) Display device, display method and program
JP6272502B2 (ja) 携帯型デバイス上のユーザ操作モードを識別する方法及び携帯型デバイス
US20110248918A1 (en) Method for suspension sensing in interactive display, method for processing suspension sensing image, and proximity sensing apparatus
TW201250609A (en) Gesture recognition using depth images
CN103097996A (zh) 运动控制触屏方法和装置
JPH1173269A (ja) ペン入力装置及びペン入力方法及びペン入力制御プログラムを記録したコンピュータ読み取り可能な記録媒体
EP2341418A1 (en) Device and method of control
EP2431856A1 (en) Display control program, display control system, and display control method
CN104238737A (zh) 能够辨识用户操作的信息处理装置及其控制方法
WO2010017711A1 (zh) 一种图形触摸命令的执行方法、装置及移动终端
CN102163207B (zh) 显示控制设备和显示控制方法
CN103324429A (zh) 显示控制装置及显示控制方法
CN104063167A (zh) 曲线图显示装置以及曲线图显示方法
CN109964202B (zh) 显示控制装置、显示控制方法和计算机可读存储介质
CN104063154A (zh) 信息处理装置及其控制方法
JP5751898B2 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
CN110007748B (zh) 终端的控制方法、处理装置、存储介质及终端
JP5827695B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170922

Termination date: 20210121