CN104281390B - 信息处理装置和存储介质 - Google Patents

信息处理装置和存储介质 Download PDF

Info

Publication number
CN104281390B
CN104281390B CN201410299566.9A CN201410299566A CN104281390B CN 104281390 B CN104281390 B CN 104281390B CN 201410299566 A CN201410299566 A CN 201410299566A CN 104281390 B CN104281390 B CN 104281390B
Authority
CN
China
Prior art keywords
area
attribute
content
paste
droppable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410299566.9A
Other languages
English (en)
Other versions
CN104281390A (zh
Inventor
池田哲男
永野大辅
佐藤大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104281390A publication Critical patent/CN104281390A/zh
Application granted granted Critical
Publication of CN104281390B publication Critical patent/CN104281390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及信息处理装置和存储介质。一种信息处理装置，包括：操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；粘贴内容处理单元，被配置为分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容；以及粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的粘贴内容。

Description

信息处理装置和存储介质
与相关申请的交叉引用
本申请要求提交于2013年7月5的日本优先权专利申请JP 2013-141991的利益，通过引用将其完整内容结合在此。
背景技术
本公开涉及信息处理装置和存储介质。
在相关技术中，在诸如智能电话或平板终端的信息处理装置中，当在多个应用屏幕之间执行拷贝-粘贴时，用户必须指定打算拷贝的范围并且执行拷贝操作，其后必须调用打算粘贴的屏幕并且执行粘贴操作。该操作是费事的。
作为响应，在JP 2005-352730A中，实现了分析用户选择的文本，并且自动显示将要处理的应用的候选的功能。由此，可以省去调用打算粘贴的屏幕(应用)的操作。
发明内容
然而，在上面的JP 2005-352730A中，仍然不能省去用于选择文本(选择拷贝范围)的详细工作的用户努力。进一步，在上面的JP 2005-352730A中，用户必须针对显示的应用候选执行选择处理。
因此，本公开提出一种允许不同屏幕之间的更高效的拷贝-粘贴的信息处理装置和存储介质。
根据本公开的一个实施例，提供了一种信息处理装置，包括操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；粘贴内容处理单元，被配置为分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容；以及粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的粘贴内容。
根据本公开的一个实施例，提供了一种信息处理装置，包括：操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；和粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定所述可投放区域内的粘贴内容，并且所述操作识别单元识别到所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的粘贴内容。
根据本公开的一个实施例，提供了一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；粘贴内容处理单元，被配置为分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容；以及粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的粘贴内容。
根据本公开的一个实施例，提供了一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；以及粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定所述可投放区域内的粘贴内容，并且所述操作识别单元识别到所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的粘贴内容。
如上面解释的，本公开允许不同屏幕之间的更高效的拷贝-粘贴。
附图说明
图1是用于解释根据本公开的实施例的信息处理装置的概况的图；
图2是示出了根据所述实施例的信息处理装置的功能配置的图；
图3是用于解释根据所述实施例的修改处理单元的调整修改处理的图；
图4是用于解释对于根据所述实施例的拖拽开始区域的反馈的图；
图5是用于解释对根据所述实施例的粘贴内容的预览图像的反馈的图；
图6是示出了一个表的图，该表指出了根据所述实施例的属性分析处理方法1中所参照的输入字符类型的定义的例子；
图7是用于解释根据所述实施例的属性分析处理方法2的图；
图8是示出了表220的图，表220指出根据所述实施例的属性分析处理方法3所参照的字符串的正则表达的定义的例子；
图9是示出了根据所述实施例的信息处理装置的操作处理的流程图；
图10A是用于解释拖拽开始区域的属性与可投放区域的属性一致的情况的图；
图10B是用于解释扩展拖拽开始区域的情况的图；
图10C是用于解释扩展拖拽开始区域的情况的图；
图10D是用于解释扩展拖拽开始区域的情况的图；
图11是用于解释从地址簿到web浏览器的拷贝-粘贴执行的例子的图；
图12是用于解释从邮件发送器到待完成列表的拷贝-粘贴执行的例子的图；
图13是用于解释从web浏览器到邮件发送器的拷贝-粘贴执行的例子的图；
图14A是用于解释在信息处理装置处于横向方向的情况下执行的粘贴功能的图；
图14B是用于解释在信息处理装置处于纵向方向的情况下执行的粘贴功能的图；
图15是用于解释根据所述实施例的拖拽操作的辨别的图；
图16是示出了根据所述实施例的信息处理装置的硬件配置的例子的方框图；和
图17是用于解释根据所述实施例的云适应信息处理装置的图。
具体实施方式
以下，将参考所附附图详细描述本公开的优选实施例。注意，在本说明书和所附附图中，具有大体相同的功能和结构的结构元件被以相同参考号表示，并且忽略对这些结构元件的重复解释。
将以下列顺序进行描述。
1.根据本公开的一个实施例的信息处理装置的概况
2.功能配置
2-1.每个配置
2-2.属性分析处理方法
3.操作处理
4.粘贴执行例子
4-1.从地址簿粘贴到web浏览器
4-2.从邮件发送器粘贴到待完成列表
4-3.从web浏览器粘贴到邮件发送器
5.补充
5-1.拖拽操作的辨别
5-2.硬件配置
5-3.云适应类型
6.结论
<<1.根据本公开的实施例的信息处理装置的概况>>
首先，将参考图1解释根据本公开的一个实施例的信息处理装置的概况。如图1所示，在根据所述实施例的信息处理装置1中，在一个表面上提供显示单元14。显示单元14的长宽比没有特别限制，并且可以是例如3∶1。进一步，例如根据所述实施例的信息处理装置1可以是移动终端，诸如平板终端或智能电话。
在显示单元14上，可以并行显示多个不同的应用屏幕。具体地，如图1所示，在显示单元14的第一显示区域20内部署邮件应用程序的屏幕，并且在第二显示区域30内部署地址簿应用程序的屏幕。这里，第一显示区域20和第二显示区域30之间的屏幕比例不局限于图1所示的1∶1，并且可以是2∶1等等。进一步，根据所述实施例的显示单元14具有层叠在其上的触摸传感器，并且检测对显示屏的用户操作。
这里，根据相关技术的方法，当在多个屏幕之间执行文本的拷贝-粘贴时，必须执行到选择模式的转换，通过指定拷贝开始位置和结束位置选择拷贝范围，然后在打算粘贴的位置执行粘贴操作，并且这比较费事。
因此，本实施例提出信息处理装置1，其响应于第一屏幕内的拖拽开始区域和第二屏幕内的可投放区域的相应属性之间的比较结果确定粘贴内容，并且因此允许不同屏幕之间更高效的拷贝-粘贴。
在图1所示的例子中，例如，当拷贝第一显示区域20内显示的文本的一部分，并且将其粘贴在第二显示区域30内时，用户首先用手指3从第一显示区域20内打算拷贝的文本附近开始拖拽操作。然后，手指3移到第二显示区域30内的打算粘贴的位置(例如，输入框31)，并且执行投放操作。
在这个时候，信息处理装置1分析拖拽开始区域和可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容。具体地，信息处理装置1分析第一显示区域20内的以手指3开始拖拽操作的位置(拖拽开始区域)附近的字符串″090-XXXX-XXXX″，并且因此可以获得属性″电话号码″。进一步，信息处理装置1分析第二显示区域30内手指3移入的可投放区域内的输入框31的期望信息，并且因此可以获得属性″电话号码″。后面参考图6到图8描述信息处理装置1的对属性的分析处理方法。
当拖拽开始区域和可投放区域的属性相互一致都是″电话号码″时，信息处理装置1确定粘贴内容是字符串″090-XXXX-XXXX″，并且对如图1所示对可投放区域内的输入框31执行粘贴处理。
因此，根据该实施例，不必执行指定拷贝范围的操作，并且仅仅通过从显示打算拷贝的字符串或图像的屏幕到粘贴屏幕执行拖拽-投放操作，就执行适当的粘贴处理。具体地，信息处理装置1执行这种处理以便粘贴具有与可投放区域(粘贴屏幕)的属性一致的属性的数据。
至此，已经解释了根据本公开的实施例的信息处理装置的概况。随后，将按顺序解释根据本公开的信息处理装置的配置和操作处理。
<<2.功能配置>>
<2-1.每个配置>
图2是示出了根据该实施例的信息处理装置1的功能配置的图。如图2所示，信息处理装置1作为操作识别单元100、粘贴内容处理单元110、反馈单元120和粘贴执行单元130。
(操作识别单元)
操作识别单元100基于来自输入设备(诸如显示单元14上层叠的触摸传感器)的按压/释放/移动信息，识别对显示屏的用户操作。具体地，操作识别单元100识别已经开始一个拖拽操作，操作主体(例如，用户的手指3)已经移到可投放区域，而且已经完成投放操作。进一步，操作识别单元100识别第一应用中的开始拖拽操作的拖拽开始区域(第一显示区域20的屏幕)，以及不同于第一应用的第二应用(第二显示区域30的屏幕)中的可投放区域。
(粘贴内容处理单元)
粘贴内容处理单元110分析拖拽开始区域和可投放区域的属性，并且执行响应于相应属性之间的比较结果确定粘贴内容的处理。具体地，如图2所示，粘贴内容处理单元110作为属性分析处理单元111、属性比较处理单元113和修改处理单元115。
属性分析处理单元111执行分析拖拽开始区域和可投放区域的属性的处理。分析拖拽开始区域和可投放区域的属性的定时没有特别限制。例如，当操作识别单元100识别出已经在可投放区域中执行投放操作时，属性分析处理单元111开始分析拖拽开始区域的属性。进一步，属性分析处理单元111分析可投放区域的属性，并且因此可以决定可以在可投放区域内粘贴什么数据。这里，可投放区域意指可以粘贴某种数据的区域。将在后面描述的″2-2属性分析处理方法″中解释属性分析处理单元111执行的针对属性的具体分析处理方法。
属性比较处理单元113比较拖拽开始区域的属性和可投放区域的属性，并且决定它们是否一致。通过比较两者的属性，属性比较处理单元113可以判断从拖拽开始区域获得的数据是否适合于粘贴目标。在属性比较处理单元113决定属性一致的情况下，粘贴内容处理单元110确定从拖拽开始区域获得的数据作为粘贴内容。这里，从拖拽开始区域获得的数据不局限于文本，并且还可以获得图像作为粘贴内容。在拖拽开始区域的属性和可投放区域的属性不一致的情况下，粘贴内容处理单元110可以扩展拖拽开始区域以便获得属性一致的数据。后面将参考图10描述拖拽开始区域的扩展。
修改处理单元115根据可投放区域的属性执行粘贴内容的修改处理。必要时执行修改处理单元115的处理。例如，在可投放区域的属性是″假名字符″并且粘贴内容包含汉字字符的情况下，修改处理单元115执行将粘贴内容中包含的汉字字符转换为″假名字符″的处理。在可投放区域的属性是″图像″并且指定了可能的粘贴尺寸的情况下，修改处理单元115执行自动/手动调整粘贴内容的处理。下面，将参考图3进行具体解释。
图3是用于解释由修改处理单元115进行的调整修改处理的图。如图3上部所示，web浏览器部署在显示单元14的第一显示区域20，并且地址簿部署在第二显示区域30内。在该情况下，用户以手指3拖拽web浏览器中的图像，并且将其投放到地址簿中的图像框33。在这种情况下，属性分析处理单元111分析从拖拽开始区域获得的数据的属性和可投放区域中期望的信息的属性，然后获得两者的属性″图像″。接着，属性比较处理单元113比较两者的属性，然后决定它们一致都是“图像”。然后，粘贴内容处理单元110确定从拖拽开始区域获得的图像数据为粘贴内容。
这里，在针对图像框33的属性分析结果包含″可能的粘贴尺寸″的情况下，修改处理单元115根据该可能的粘贴尺寸，自动或手动执行调整修改图像数据的处理。在手动的情况下，例如，如图3中部所示，修改处理单元115打开调整对话34，并且允许用户手动设置调整范围。在修改处理单元115自动执行调整的情况下，反馈单元120可以执行调整后的图像数据的预览显示，并且由此用户在粘贴执行之前进行确认。当按压调整对话34中的确定按钮时，或当执行投放操作时，如图3底部所示，由修改处理单元115调整的图像数据被粘贴在图像框33内。
(反馈单元)
反馈单元120产生指示拖拽开始区域的图像和粘贴内容的预览图像中的至少一种，并且在显示单元14上显示它以便执行向用户的反馈处理。下面，将参考图4和图5具体地解释根据该实施例的反馈的例子。
图4是用于解释反馈单元120对拖拽开始区域的反馈的图。如图4所示，当在第一显示区域20中以手指3开始拖拽操作时，操作识别单元100识别拖拽操作的开始区域。这时，基于操作识别单元100的识别结果，反馈单元120产生和显示用于清楚示出拖拽开始区域的高亮显示的图像23。由此，用户可以直观地理解已经正常地识别出拖拽操作的开始，以及识别出的拖拽开始区域的位置。
图5是用于解释反馈单元120对粘贴内容的预览图像的反馈的图。如图5上部所示，当用户的手指3通过拖拽操作从第一显示区域20中的字符串″090-XXXX-XXXX″附近移动到第二显示区域30内的输入框31，并且进入该可投放区域时，反馈单元120产生指示确定的粘贴内容的预览图像41a，并且在输入框31中显示它。
如果粘贴内容没有问题，用户从显示屏释放手指3，从而完成投放操作。当操作识别单元100识别出投放操作时，粘贴执行单元130执行将确定的粘贴内容粘贴到输入框31的处理。因此，用户可以通过在粘贴执行之前显示的预览图像41a确认粘贴内容。
在确定多个粘贴内容的情况下，如图5下部所示，粘贴执行单元130可以产生和显示包含多个粘贴内容候选的预览图像41b。在图5下部所示的例子中，拖拽操作从第一显示区域20中的字符串″090-XXXX-XXXX″附近开始，并且用户的手指3移到第二显示区域30内的输入框32。
这里，第二显示区域30内的输入框32(可投放区域)的属性被分析确定为″姓名″，因此，做出它与拖拽开端区域(字符串″090-XXXX-XXXX″)的属性″电话号码″不符的判断。因此，粘贴内容处理单元110扩展拖拽开始区域以便获得属性一致的数据。后面将参考图10描述拖拽开始区域的扩展。
粘贴内容处理单元110从字符串″090-XXXX-XXXX″向上和向下扩展拖拽开始区域(以下还被称为属性获取区域)，并且由此，如图5下部所示，可以获得属性被分析确定为″姓名″的字符串″Yamada″和″Taro Tanaka″。因为字符串″Yamada″和″Taro Tanaka″两者的属性都与可投放区域的属性一致，所以粘贴内容处理单元110确定这两个数据作为粘贴内容。
然后，反馈单元120产生指示由粘贴内容处理单元110确定的多个粘贴内容的预览图像41b，并且如图5下部所示，在输入框32内显示它。用户从预览图像41b中包含的多个粘贴内容候选中选择任意粘贴内容，并且从选择的候选释放手指3以便完成投放操作。然后，粘贴执行单元130在输入框32内粘贴由用户选择的候选。
至此，已经具体解释了反馈单元120的处理。在根据该实施例的信息处理装置1的功能配置中，反馈单元120不必然是不可缺少的组分，并且没有反馈单元120的配置也落在本公开的范围内。
(粘贴执行单元)
当操作识别单元100识别出可投放区域中的投放操作时，粘贴执行单元130执行在可投放区域内粘贴由粘贴内容处理单元110确定的粘贴内容的处理。
至此，已经解释了根据该实施例的信息处理装置1的功能配置。随后，将具体地解释包括在信息处理装置1的功能配置内的属性分析处理单元111进行的属性分析处理方法。
<2-2.属性分析处理方法>
如上所述，属性分析处理单元111执行分析拖拽开始区域的属性和可投放区域的属性的处理。针对属性的分析方法没有特别的限制，并且例如，可以使用下面参考图6到图8解释的方法。
(2-2-1.属性分析处理方法1)
首先，作为属性分析处理方法1，存在获得屏幕区域的属性的方法。即，在内容创建者预先指定一个屏幕区域内的属性的情况下，属性分析处理单元111可以原样获得该属性。这里，作为在屏幕区域内指定的属性的例子，图6示出了指示输入字符类型的定义的表200、201。
图6所示的表200指示HTML-5字符类型的定义的例子，其配置旨在以PC(个人计算机)或智能电话浏览的网页。例如，在拖拽开始区域/可投放区域的屏幕区域内指定了′input type＝″password″′的情况下，参考字符类型的这些定义的属性分析处理单元111可以原样获得属性为″口令″。在该屏幕区域内指定了‘input type＝“tel”’的情况下，属性分析处理单元111可以原样获得属性为″电话号码″。在该屏幕区域内指定了′input type＝″email″′的情况下，属性分析处理单元111可以原样获得属性为″电子邮件地址″。在该屏幕区域内指定了″img″的情况下，属性分析处理单元111可以原样获得属性为″图像″。
图6所示的表201指出了，对于每个载体，配置旨在以移动电话终端浏览的网页的字符类型的定义的例子。由此，例如，在拖拽开始区域/可投放区域的屏幕区域内指定了′input type＝″text″istyle＝″3″/′的情况下，如果有载体X，属性分析处理单元111可以获得属性为“半尺寸字母字符”。在该屏幕区域内指定了′input type＝″text″format＝″＊N″/′的情况下，如果有一个载体Y，属性分析处理单元111可以获得属性为″半尺寸数字字符″。在该屏幕区域内指定了′input type＝″text″mode＝″hiragana″/′的情况下，如果有一个载体Z，属性分析处理单元111可以获得属性为″全尺寸平假名″。
因此，属性分析处理单元111参考配置网页的程序描述，并且由此可以原样获得预先在该屏幕区域内指定的属性。这里，使用HTML格式的描述作为例子，但是例如，可以类似地处理编程语言内的输入字符指定。
(2-2-2.属性分析处理方法2)
接着，将解释没有在屏幕区域内预先设置属性的情况中的属性分析处理方法。在这种情况下，根据上面描述的属性分析处理方法1，难以获得属性。因此，属性分析处理单元111分析该屏幕区域的结构，并且由此获得属性。下面，参考图7解释通过分析该屏幕区域的结构获得属性的方法(属性分析处理方法2)。
图7是用于解释属性分析处理方法2的图。图7示出了对应于网页内的拖拽开始区域/可投放区域的屏幕区域内的HTML描述210、211、212。所有HTML描述210、211、212涉及′input type＝″text″′，因此，通过其自身并不知道″text″是姓名、地址、电话号码还是邮政编码。因此，属性分析处理单元111分析该屏幕区域的结构，并且由此可以获得该屏幕区域内期望的值的属性。
例如，在图7所示的描述210中，通过获得HTML格式的输入标记的界限，该界限包含描述″姓名″，发现这个框内期望的信息的属性是姓名。进一步，在图7所示的描述211中，通过获得其中描述″输入邮政编码″的缺省值，发现这个框内期望的信息的属性是邮政编码。进一步，在图7所示的描述212中，在相同表结构的一行上可以看到描述″地址″，因此，发现这个框内期望的信息的属性是地址。
因此，属性分析处理单元111分析该屏幕区域的结构，并且由此即使当没有明确定义属性时也可以获得该属性。
(2-2-3.属性分析处理方法3)
接着，将解释没有在屏幕区域内预先指定属性并且该屏幕区域是文本区域的情况下的属性分析处理方法。在这种情况下，属性分析处理单元111可以通过分析文本区域内的文本结构获得该属性。下面，将参考图8解释通过分析文本结构获得属性的属性分析处理方法3。
图8示出了指出字符串的正则表达式的定义的例子的表220。在拖拽开始区域/可投放区域的屏幕区域是文本区域的情况下，属性分析处理单元111执行该文本区域内的字符串是否与表220内指出的正则表达式匹配的判断处理，并且由此可以获得字符串的每个部分的属性。具体地，如图8所示，对于″电话号码″、″电子邮件地址″、″URL″和″邮政编码″，可以获得字符串的属性。
此外，属性分析处理单元111可以使用通过自然语言处理进行的文本挖掘来获得字符串的每个部分的属性。
至此，已经具体解释了根据该实施例的属性分析处理单元111的处理。随后，将参考图9解释根据该实施例的信息处理装置1的操作处理。
<<3.操作处理>>
图9是示出了根据该实施例的信息处理装置1的操作处理的流程图。首先，在步骤S103，信息处理装置1的操作识别单元100识别如图9所示的拖拽操作的开始。
接着，当识别出拖拽操作的开始时(S103/是)，在步骤S106，操作识别单元100存储拖拽操作的开始位置(拖拽开始区域)。以x-y坐标位置指出拖拽操作的开始位置。
接着，在步骤S109，操作识别单元100识别出用户的手指3已经从拖拽操作开始位置移开并且进入可投放区域。具体地，例如，操作识别单元100识别出用户的手指3已经进入了一个区域，在该区域内可以粘贴某种数据并且该区域在不同于该拖拽操作开始的第一应用的第二应用的屏幕(显示区域)内。
接着，当识别出手指3已经进入可投放区域(S109/是)时，在步骤S112，粘贴内容处理单元110的属性分析处理单元111获得该可投放区域的属性。
接着，在步骤S115，属性分析处理单元111获得该拖拽开始区域的属性。
接着，在步骤S118，属性比较处理单元113比较可投放区域的属性和拖拽开始区域的属性，并且判断它们是否一致。
接着，当两者的属性不一致时(S118/否)，在步骤S121，粘贴内容处理单元110判断拖拽开始区域是否可被扩展。
接着，当拖拽开始区域可被扩展时(S121/是)，在步骤S124，粘贴内容处理单元110扩展拖拽开始区域的属性获取区域。粘贴内容处理单元110重复拖拽开始区域的扩展，直到获得与可投放区域的属性一致的属性，或直到变得难以扩展。这里，参考图10A到图10D具体地解释拖拽开始区域的扩展。
在图10A到图10D所示的例子中，邮件应用程序部署在第一显示区域20内，并且地址簿应用程序部署在第二显示区域30内。进一步，在图10A到图10D所示的例子中，用户从相同位置以手指3开始拖拽操作，并且将手指3分别移动到第二显示区域30内的预定输入框35a到35d，以便执行投放操作。这时，响应于输入框35a到35d中的每一个内期望的值的属性(即，可投放区域的属性)和拖拽开始区域的属性之间的比较结果，粘贴内容处理单元110扩展拖拽开始区域。通过属性分析处理单元111获得拖拽开始区域的属性和可投放区域的属性。具体地，因为第一显示区域20的屏幕是文本区域，使用上面描述的属性分析处理方法3进行第一显示区域20的属性分析，并且因为第二显示区域30的屏幕是由程序创建的输入表单区域，使用上面描述的属性分析处理方法1进行第二显示区域30的属性分析。
首先，将参考图10A解释拖拽开始区域的属性与可投放区域的属性一致的情况。在图10A所示的例子中，对应于拖拽开始区域的属性获取区域仅仅是第一显示区域20内的文本区域的字符串″taro.yamada@XXX.ne.jp″，并且属性分析处理单元111分析该属性是″电子邮件地址″。在另一方面，可投放区域是第二显示区域30内的输入框35a，并且属性分析处理单元111分析属性是″电子邮件地址″。在这种情况下，因为两者的属性一致，粘贴内容处理单元110将从拖拽开始区域获得的字符串″taro.yamada@XXX.ne.jp″确定为粘贴内容，并且如图10A所示，在输入框35a内执行该字符串的预览显示。然后，当用户从预览显示释放手指3时，粘贴执行单元130执行该字符串的粘贴。
接着，将参考图10B解释手指3移到输入框35b的情况。对于第二显示区域30内的输入框35b，属性分析处理单元111分析属性是″电话号码″。在另一方面，对于拖拽开始区域内的字符串″taro.yamada@XXX.ne.jp″，分析属性是″电子邮件地址″，因此，属性比较处理单元113判定拖拽开始区域的属性与可投放区域的属性不一致。在这种情况下，粘贴内容处理单元110扩展对应于拖拽开始区域的属性获取区域。
具体地，如图10B所示，拖拽开始区域(属性获取区域)从字符串″taro.yamada@_XXX.ne.jp″扩展到前一行上的字符串″090-XXXX-XXXX″。属性分析处理单元111分析字符串″090-XXXX-XXXX″的属性是″电话号码″，并且因此与可投放区域的属性一致。粘贴内容处理单元110确定字符串″090-XXXX-XXXX″是粘贴内容，并且如图10B所示，使得反馈单元120执行该字符串的预览显示。然后，当用户从预览显示释放手指3时，粘贴执行单元130执行该字符串的粘贴。
将参考图10C解释手指3移到输入框35c的情况。对于第二显示区域30内的输入框35c，属性分析处理单元111分析属性是″姓名″。在另一方面，对于拖拽开始区域内的字符串″taro.yamada@XXX.ne.jp″，分析属性是″电子邮件地址″，因此，属性比较处理单元113判定拖拽开始区域的属性与可投放区域的属性不一致。在这种情况下，粘贴内容处理单元110顺序扩展对应于拖拽开始区域的属性获取区域，并且从拖拽开始区域获得属性与可投放区域的属性一致的数据。
具体地如图10C所示，粘贴内容处理单元110将对应于拖拽开始区域的属性获取区域扩展到字符串″This is Yamada″，并且由此可以获得字符串″Yamada″，分析其属性是″姓名″。粘贴内容处理单元110确定属性一致的字符串″Yamada″作为粘贴内容，并且如图10C所示，使得反馈单元120执行该字符串的预览显示。然后，当用户从预览显示释放手指3时，粘贴执行单元130执行该字符串的粘贴。
接着，将参考图10D解释手指3移到输入框35d的情况。对于第二显示区域30中的输入框35d，属性分析处理单元111分析属性是″姓名的假名批注″。在这种情况下，如图10D所示，粘贴内容处理单元110将对应于拖拽开始区域的属性获取区域扩展到字符串″This isYamada″，分析其属性是″姓名″，并且进一步确定修改处理单元115将字符串″Yamada″转换成的假名字符作为粘贴内容。然后，如图10D所示，执行该字符串的预览显示，并且当用户从预览显示释放手指3时，粘贴执行单元130执行该字符串的粘贴。
至此，已经具体地解释了拖拽开始区域的扩展。接着，回到图9的流程图，将从步骤S127解释后续操作处理。
当拖拽开始区域的属性与可投放区域的属性一致时(S118/是)，或当拖拽开始区域难以扩展时(S121/否)，在步骤S127，粘贴内容处理单元判断是否已经获得可能粘贴的内容。例如，当拖拽开始区域的属性与可投放区域的属性一致时，做出已经获得可能粘贴的内容的判断。在另一方面，当难以扩展拖拽开始区域，并且未能获得属性一致的内容时，做出难以粘贴的判断。这里，即使当未能获得属性一致的内容，如果可投放区域的属性是一种文本，并且拖拽开始区域的属性是一种文本，粘贴内容处理单元110可以判断可以粘贴。
接着，当做出难以粘贴的判断时(S127/否)，在步骤S130，粘贴内容处理单元110清除该粘贴内容。
在另一方面，当做出可以粘贴的判断时(S127/是)，在步骤S133，粘贴内容处理单元110确定粘贴内容。这时，修改处理单元115根据需要修改粘贴内容。
接着，在步骤S136，反馈单元120根据需要产生确定的粘贴内容的预览图像，并且在可投放区域内显示该预览图像。
接着，在步骤S139，粘贴执行单元130判断操作识别单元100是否已经识别出从显示屏释放手指3的操作(投放操作)。
当已经识别出投放操作时(S139/是)，在步骤S142，粘贴执行单元130执行确定的粘贴内容的粘贴。
在另一方面，当没有识别出投放操作时(S139/否)，在步骤S145，操作识别单元100判断用户的手指3是否已经脱离可投放区域。
当已经脱离可投放区域时(S145/是)，重复上面的S109到S139。例如，当手指3如图10A所示移到输入框35a，并且其后手指3离开输入框35a，如图10B所示，移到输入框35b时，重新获得输入框35b的属性S112)，并且执行对拖拽开始区域的属性的比较处理(S115，S118)。
至此，已经具体地解释了根据该实施例的信息处理装置1的操作处理。根据该实施例，响应于拖拽开始区域和可投放区域的属性之间的比较结果，当属性一致时确定粘贴内容。当属性不一致时，自动扩展拖拽开始区域，并且由此可以获得属性一致的内容。由此，可以节省选择粘贴内容的拷贝范围的细节工作的努力，并且更有效地执行不同屏幕之间的拷贝-粘贴。
<<4.粘贴执行的例子>>
随后，将参考图11到图14具体解释根据该实施例的粘贴执行的例子。
<4-1.从地址簿粘贴到web浏览器>
图11是用于解释从地址簿到web浏览器的拷贝-粘贴执行的例子的图。在图11所示的例子中，地址簿应用程序部署在第一显示区域20内，并且web浏览器应用程序部署在第二显示区域30内。
在这种情况下，如图11上部所示，用户以手指3从第一显示区域20内的地址簿拖拽任意项目(例如，″姓名4″)，移动到第二显示区域30内的输入框36，并且由此可以将地址簿内的任意数据粘贴到web浏览器。这时，粘贴内容处理单元110分析拖拽开始区域的属性和可投放区域的属性以便执行比较处理，并且确定粘贴内容。这里，针对第一显示区域20的属性分析使用分析由程序预先指定的属性的属性分析处理方法1，并且针对其中程序未预先指定属性的第二显示区域30的属性分析使用分析屏幕区域的结构并且获得属性的属性分析处理方法2。
当在第一显示区域20开始拖拽操作的手指3移到作为第二显示区域30内的可投放区域的输入框36时，粘贴内容处理单元110的属性分析处理单元111分析可投放区域的属性。这里，使用属性分析处理方法2，基于字符串″电话″，属性分析处理单元111可以分析可投放区域的属性是″电话号码″。
接着，属性分析处理单元111分析拖拽开始区域的属性。具体地，属性分析处理单元111分析与第一显示区域20内的″姓名4″相关联的″姓名4″的地址数据是拖拽开始区域。根据上面的地址数据，粘贴内容处理单元110获得被指定为属性″电话号码″的数据，其与可投放区域的属性相同。然后，粘贴内容处理单元110确定该粘贴内容是具有与可投放区域的属性相同的属性的数据，并且粘贴执行单元130将确定的数据粘贴到可投放区域内。
这里，在作为可投放区域的web浏览器的位置不同于信息处理装置1的位置的情况下(例如，在信息处理装置1的位置是日本，并且web浏览器的位置处于日本以外的国家)，粘贴内容可被以修改处理单元115修改为适合于web浏览器的位置的数据。例如，当粘贴内容是电话号码时，因为web浏览器的位置是日本之外的国家，修改处理单元115将粘贴内容的电话号码修改为国际电话号码。然后，如图11中部所示，反馈单元120在输入框36内显示包含修改前数据″090-XXXX-XXXX″和修改后数据″+81-90-XXXX-XXXX″的预览图像41c。用户移动手指3到出现在预览图像41c内的粘贴内容候选的任何一个，并且然后从那里释放手指以便执行投放操作。由此，如图11下部所示，粘贴内容被粘贴到输入框36。
如上面解释的，当地址簿内的项目被粘贴到web浏览器内的输入表单时，从地址簿数据获得对应于可能的粘贴区域的属性(每个输入框内期望的数据的属性)的适当数据，并且将其粘贴到web浏览器的输入表单内。
<4-2.从邮件发送器粘贴到待完成列表>
接着，将参考图12解释另一个拷贝-粘贴执行的例子。图12是用于解释从邮件发送器到待完成列表的拷贝-粘贴执行的例子的图。在图12所示的例子中，邮件应用程序(也称为邮件发送器)部署在第一显示区域20内，并且待完成列表应用程序部署在第二显示区域30内。将解释用于在这种情况下粘贴电子邮件的内容作为待完成列表的一个项目的操作。这里，对于第一显示区域20，由于文本区域而使用属性分析处理方法3，并且对于第二显示区域30，因为程序预先指定了属性，所以使用属性分析处理方法1。
如图12上部所示，用户以手指3从旨在被粘贴到待完成列表的字符串附近开始拖拽操作，并且移动手指3到第二显示区域30内的待完成列表的屏幕的空间处。响应于这个操作，粘贴内容处理单元110的属性分析处理单元111分析可能的粘贴区域的属性和拖拽开始区域的属性。具体地，属性分析处理单元111分析作为可能的粘贴区域的待完成列表的属性是″一行文本″。接着，粘贴内容处理单元110从拖拽开始区域获得一个字符串，该字符串的属性经属性分析处理单元111分析是″一行文本″，并且然后确定获得的字符串是粘贴内容。
如图12中部所示，通过确定粘贴内容，由部署在第二显示区域30内的待完成列表应用程序产生新的待完成列表，并且反馈单元120在该新的待完成列表中显示粘贴内容的预览图像41d。
然后，用户释放手指3从而完成投放操作，并且由此如图12下部所示，该粘贴内容被粘贴到该新的待完成列表。
如上面解释的，当电子邮件的内容被粘贴到待完成列表时，从电子邮件的主体获得对应于可能的粘贴区域的属性(该待完成列表内期望的数据的属性)的适当数据，并且将其粘贴到待完成列表。在上面描述的例子中，已经解释了从电子邮件主体到待完成列表的粘贴例子。然而，该实施例不局限于从电子邮件的主体粘贴，并且可以类似地进行从另一个文本区域(诸如备忘录屏幕或日程表屏幕)粘贴。
在图12上部所示的例子中，从第一显示区域20中的字符串部分开始拖拽操作。当从一个空白部分开始拖拽操作时，粘贴内容处理单元110扩展拖拽开始区域，直到获取具有属性″一行文本″的字符串。
<4-3.从web浏览器粘贴到邮件发送器>
接着，将参考图13解释另一个拷贝-粘贴执行的例子。图13是用于解释从web浏览器到邮件发送器的拷贝-粘贴执行例子的图。在图13所示的例子中，web浏览器部署在第一显示区域20内，并且邮件应用程序部署在第二显示区域30内。将解释用于将web浏览器的内容粘贴到这种情况下的电子邮件的表单的操作。这里，对于第一显示区域20，因为没有指定网页的输入框的详细属性，使用属性分析处理方法2，并且对于第二显示区域30，因为由程序预先指定了属性，使用属性分析处理方法1。
如图13上部所示，用户以手指3拖拽部署在第一显示区域20内的web浏览器的主体，并且将其移动到第二显示区域30内的邮件发送器。在这种情况下，粘贴内容处理单元110的属性分析处理单元111分析可能的粘贴区域的属性和拖拽开始区域的属性。具体地，首先，属性分析处理单元111分析作为可能的粘贴区域的邮件发送器侧的属性是″附加文件或屏幕快照″。即，邮件发送器侧具有粘贴作为附加文件的功能以及粘贴作为屏幕快照的功能。在这种情况下，如图13中部所示，反馈单元120产生并且显示预览图像41e，并且允许用户选择其利用哪个功能。
接着，例如，用户的手指3移到预览图像41e内的项目″粘贴作为附加文件″，并且从显示屏释放手指3，从而完成投放操作。由此，粘贴内容处理单元110获得拖拽开始区域内的主体和图像作为附加文件，以便确定粘贴内容。然后，如图13下部所示，粘贴执行单元130将确定的主体和图像的附加文件粘贴到电子邮件。这里，粘贴内容处理单元110可以确定拖拽开始区域内的一段文本或一段文本和在该文本附近显示的图像作为粘贴内容。
至此，已经具体解释了从web浏览器到邮件发送器的粘贴。在上面描述的例子中，用户选择多个粘贴功能中的任何一个。然而，该实施例不局限于此，并且可以预先将多个粘贴功能分别与信息处理装置1的方向(姿势)相关联。下面，将参考图14A和图14B进行具体的解释。
图14A是用于解释在信息处理装置1处于横向方向的情况下执行的粘贴功能的图。基于由在信息处理装置1内提供的方向传感器(具体地，陀螺仪传感器和加速度传感器中的至少一个)检测的信息，判断信息处理装置1的方向。在本说明中，如图14A所示，横向方向是信息处理装置1的长侧处于水平时的方向。
在信息处理装置1处于横向方向的情况下，执行预先设置的″作为附加文件的粘贴功能″，并且当web浏览器的主体被以手指3拖拽并且移到邮件发送器侧时，粘贴内容处理单元110获得web浏览器的主体和图像作为附加文件。然后，当在邮件发送器侧(第二显示区域30)内识别出投放操作时，如图14A所示，粘贴执行单元130将web浏览器的主体和图像作为附加文件自动粘贴到电子邮件。
在另一方面，将参考图14B解释信息处理装置1处于纵向方向的情况。图14B是用于解释信息处理装置1处于纵向方向的情况下执行的粘贴功能的图。在本说明书中，如图14B所示，纵向方向是当信息处理装置1的短侧处于水平时的方向。
在信息处理装置1处于纵向方向的情况下，执行预先设置的″作为屏幕快照的粘贴功能″，并且当web浏览器的主体被以手指3拖拽并且移到邮件发送器侧时，粘贴内容处理单元110获得web浏览器的主体和图像的屏幕快照。然后，当在邮件发送器侧(第二显示区域30)内识别出投放操作时，如图14B所示，粘贴执行单元130将web浏览器的主体和图像的屏幕快照自动粘贴到电子邮件。
至此，已经解释了响应于信息处理装置1的方向自动选择粘贴功能的情况。由此，可以节省选择粘贴功能的用户努力。这里，每个粘贴功能与信息处理装置1的方向的关联不局限于上面所述的例子。例如，在信息处理装置1处于横向方向的情况下，可以执行″作为屏幕快照的粘贴功能″，并且在纵向方向的情况下，可以执行″作为附加文件的粘贴功能″。
<<5.补充>>
随后，将参考图15 to图17解释对根据本实施例的信息处理装置1的补充。
<5-1.拖拽操作的辨别>
根据本实施例的信息处理装置1操作识别单元100可以识别用于执行拷贝-粘贴的拖拽操作，以及用于执行屏幕滚动的拖拽操作，同时对它们加以区分。
将参考图15解释根据本实施例的拖拽操作的辨别的例子。图15是用于解释用于执行屏幕滚动的拖拽操作和用于执行拷贝-粘贴的拖拽操作的图。在图15所示的例子中，邮件发送器显示在显示单元14的第一显示区域20内，并且地址簿显示在第二显示区域30内。
如图15所示，根据用于执行拖拽操作的手指的数目，根据本实施例的操作识别单元100区分拖拽操作是屏幕滚动操作还是拷贝-粘贴操作。具体地，例如，如图15上部所示，操作识别单元100识别以一个手指3a执行的普通拖拽操作是屏幕滚动，并且如图15下部所示，识别以两个手指3b执行的拖拽操作是拷贝-粘贴操作。这里，可以基于根据层叠在显示单元14上的触摸传感器检测到的信息所发现的手指与显示屏的接触面积或触摸点数目判断手指的数目。
可替换地，允许操作识别单元100识别普通的拖拽操作是屏幕滚动，并且识别在长按压之后执行的拖拽操作是拷贝-粘贴操作。
因此，通过辨别已有的拖拽操作，根据本实施例的信息处理装置1可以实现与已有的拖拽操作共存的操作输入。由此，当用户执行拷贝-粘贴时，可以节省从屏幕滚动模式转换到粘贴模式的努力。
这里，根据应用的规范，通过显示用于从滚动模式到粘贴模式的转换的按钮，可以明确地执行该转换。
<5-2.硬件配置>
接着，将参考图16解释根据该实施例的上述信息处理装置1的硬件配置。图16是示出了根据该实施例的信息处理装置1的硬件配置的例子的方框图。如图16所示，根据该实施例的信息处理装置1包括CPU(中央处理单元)10、ROM(只读存储器)11、RAM(随机访问存储器)12、输入输出接口13、显示单元14、操作单元16、存储单元17和通信单元18。
中央处理器10根据存储在ROM 11中的程序或从存储单元17加载到RAM 12的程序执行各种处理。具体地，根据该实施例的CPU 10执行图2所示的功能块的处理。在RAM 12中，还适当地存储由CPU 10执行的各种处理所需要的数据等等。CPU 10、ROM 11和RAM 12通过总线彼此连接。还以这个总线连接输入输出接口13。
显示单元14、操作单元16、存储单元17和通信单元18与输入输出接口13连接。输入输出接口13传递为这些连接组件输入或输出的数据，以及通过该总线为CPU 10、ROM 11和RAM 12输入或输出的数据。图16所示的与输入输出接口13连接的组件仅是例子，并且例如，还可以连接方向传感器(陀螺仪传感器、加速度传感器)等等。
显示单元14根据CPU 10的控制显示(回放)各种内容、菜单屏幕、操作屏幕等等。显示单元14被以例如LCD(液晶显示器)或OLED(有机发光二极管)实现。如图1所示，根据该实施例的显示单元14可以根据CPU 10的控制在多个显示区域内显示多个应用屏幕。
操作单元16具有接收用户的操作输入的功能。具体地，操作单元16可被实现在，例如，物理地提供的电源开关或各种操作按钮内，或可以是与显示单元14合成一体的可检测位置的触摸传感器。
存储单元17具有存储各种内容(诸如电子邮件数据、地址簿数据、待完成列表数据、各种应用程序、图像(运动图像、静止图像)和文本文件)的功能。
通信单元18通过无线/有线方式与外部设备连接，并且具有执行数据的发送和接收的功能。例如，通信单元18通过无线局域网、红外线、Wi-Fi(R)等等与无线AP(接入点)连接，并且可通过无线AP连接到网络。然后，从该网络上的预定服务器，通信单元18可以获得用于web浏览器的显示数据，以及构成用于执行根据该实施例的一系列处理的软件的程序。将这样从网络上的预定服务器获得的数据存储在存储单元17内。
<5-3.云适应类型>
在上面解释的根据该实施例的信息处理装置1中，信息处理装置1的CPU 10实现图2所示的功能配置的处理，并且在本地执行该处理。然而，根据该实施例的信息处理装置1不局限于此，并且例如，信息处理装置1可以是云适应类型。下面，将参考图17进行具体的解释。
图17是用于解释云适应信息处理装置1的图。如图17所示，信息处理装置1与网络上的服务器4(云)连接，并且执行数据的发送和接收。
具体地，信息处理装置1识别部署在显示单元14的第一显示区域20内的第一应用中的拖拽开始区域，以及部署在第二显示区域30内的第二应用内的可投放区域(S300)，并且将识别结果发送到服务器4(S303)。
接着，服务器4分析拖拽开始区域的属性和可投放区域的属性以便执行相应属性之间的比较处理，并且响应于比较结果确定将被粘贴到可投放区域的内容(S306)。这里，在上面的S303，还从信息处理装置1发送属性分析所需的信息。进一步，服务器4将确定的粘贴内容发送到信息处理装置1(S309)。根据需要，可以根据可投放区域的属性修改粘贴内容。
然后，当在可投放区域内识别出投放操作时，信息处理装置1在可投放区域内粘贴由服务器4确定的粘贴内容(S312)。
因此，在根据该实施例的信息处理装置1内，主要在云侧执行图2所示的粘贴内容处理单元110处理的处理，并且由此可以减少信息处理装置1的处理负载。
<<6.结论>>
如上所述，根据本公开的实施例的信息处理装置1响应于第一屏幕内的拖拽开始区域和第二屏幕内的可投放区域的属性之间的比较结果确定粘贴内容，并且由此可以更有效地执行不同屏幕之间的拷贝-粘贴。
进一步，根据该实施例的信息处理装置1可以根据可投放区域的属性将粘贴内容修改为适当的数据。
进一步，根据该实施例的信息处理装置1可以显示粘贴内容的预览图像，以便执行向用户的反馈。
本领域技术人员应当理解，根据设计要求及其它因素，可以有在所附权利要求和其同等物的范围内的各种修改、组合子组合和改变。
例如，可以用结合在信息处理装置1内的硬件，诸如CPU 10、ROM 11或RAM 12，实现完成参考图2解释的CPU 10的功能的计算机程序。另外，提供其中存储有计算机程序的计算机可读存储介质。
进一步，本说明书中用于信息处理装置1的处理的步骤不是必须被按所附流程图中公开的顺序的时间顺序处理。例如，可以按不同于流程图描述的顺序的顺序处理或可以并行处理信息处理装置1的处理的步骤。具体地，例如，图9所示的步骤S112和S115可被并行处理，或可被按相反顺序处理。同时，图9所示的步骤S133和S136可被并行处理，或可被按相反顺序处理。
附加地，本技术还可以被如下配置。
(1)一种信息处理装置，包括：
操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；
粘贴内容处理单元，被配置为分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容；以及
粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的粘贴内容。
(2)根据(1)所述的信息处理装置，
其中当所述操作识别单元将执行所述投放操作的区域识别为所述可投放区域时，所述粘贴内容处理单元开始分析所述拖拽开始区域的属性。
(3)根据(1)或(2)的所述信息处理装置，
其中所述操作识别单元能够辨别用于屏幕滚动的拖拽操作和用于拖放的拖拽操作。
(4)根据(1)到(3)中的任何一个的所述信息处理装置，
其中，当所述拖拽开始区域的属性与所述可投放区域的属性的比较结果一致时，所述粘贴内容处理单元从所述拖拽开始区域获得与所述可投放区域的属性一致的内容，并且将获得的内容反映到所述粘贴内容。
(5)根据(1)到(4)中任意一个所述的信息处理装置，
其中，当所述拖拽开始区域的属性与所述可投放区域的属性的比较结果不一致时，所述粘贴内容处理单元通过扩展所述拖拽开始区域来获得与所述可投放区域的属性一致的内容，并且将获得的内容反映到所述粘贴内容。
(6)根据(1)到(5)中的任意一个所述的信息处理装置，
其中所述粘贴内容处理单元根据所述可投放区域的属性修改所述粘贴内容。
(7)根据(1)到(6)中任意一个所述信息处理装置，还包括：反馈产生单元，用于产生指示所述拖拽开始区域的图像和所述粘贴内容的预览图像中的至少一种。
(8)根据(1)到(7)中任意一个所述的信息处理装置，
其中所述粘贴内容处理单元响应于所述信息处理装置的姿势切换所述粘贴内容。
(9)一种信息处理装置，包括：
操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；和
粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定所述可投放区域内的粘贴内容，并且所述操作识别单元识别到所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的粘贴内容。
(10)根据(9)所述的信息处理装置，
其中所述操作识别单元能够辨别用于屏幕滚动的拖拽操作和用于拖放的拖拽操作。
(11)根据(9)或(10)所述的信息处理装置，还包括：反馈产生单元，用于产生指示所述拖拽开始区域的图像和所述粘贴内容的预览图像中的至少一种。
(12)一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：
操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；
粘贴内容处理单元，被配置为分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定粘贴内容；以及
粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的粘贴内容。
(13)一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：
操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；以及
粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域和所述可投放区域的属性，并且响应于相应属性之间的比较结果确定所述可投放区域内的粘贴内容，并且所述操作识别单元识别到所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的粘贴内容。

Claims (13)

1.一种信息处理装置，包括：
操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；
粘贴内容处理单元，被配置为分析所述拖拽开始区域的属性和所述可投放区域的属性，并且基于所述拖拽开始区域的属性和所述可投放区域的属性之间的比较的结果确定要从所述拖拽开始区域粘贴到所述可投放区域的内容；以及
粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的内容。
2.根据权利要求1所述的信息处理装置，
其中当所述操作识别单元将执行所述投放操作的区域识别为所述可投放区域时，所述粘贴内容处理单元开始分析所述拖拽开始区域的属性。
3.根据权利要求1所述的信息处理装置，
其中所述操作识别单元能够辨别用于屏幕滚动的拖拽操作和用于拖放的拖拽操作。
4.根据权利要求1所述的信息处理装置，
其中，当所述比较的结果指示所述拖拽开始区域的属性与所述可投放区域的属性一致时，所述粘贴内容处理单元从所述拖拽开始区域获得与所述可投放区域的属性一致的内容作为要粘贴的内容。
5.根据权利要求1所述的信息处理装置，
其中，当所述比较的结果指示所述拖拽开始区域的属性与所述可投放区域的属性不一致时，所述粘贴内容处理单元扩展所述拖拽开始区域来获得与所述可投放区域的属性一致的内容作为要粘贴的内容。
6.根据权利要求1所述的信息处理装置，
其中所述粘贴内容处理单元根据所述可投放区域的属性修改要粘贴的内容。
7.根据权利要求1所述的信息处理装置，还包括：反馈产生单元，用于产生指示所述拖拽开始区域的图像和要粘贴的内容的预览图像中的至少一种。
8.根据权利要求1所述的信息处理装置，
其中所述粘贴内容处理单元响应于所述信息处理装置的姿势切换要粘贴的内容。
9.一种信息处理装置，包括：
操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；和
粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域的属性和所述可投放区域的属性，并且基于所述拖拽开始区域的属性和所述可投放区域的属性之间的比较的结果确定要在所述可投放区域内粘贴的内容，并且所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的内容。
10.根据权利要求9所述的信息处理装置，
其中所述操作识别单元能够辨别用于屏幕滚动的拖拽操作和用于拖放的拖拽操作。
11.根据权利要求9所述的信息处理装置，还包括：反馈产生单元，用于产生指示所述拖拽开始区域的图像和所述内容的预览图像中的至少一种。
12.一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：
操作识别单元，被配置为识别第一应用内的拖拽开始区域和第二应用内的可投放区域，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；
粘贴内容处理单元，被配置为分析所述拖拽开始区域的属性和所述可投放区域的属性，并且基于所述拖拽开始区域的属性和所述可投放区域的属性之间的比较的结果确定要从所述拖拽开始区域粘贴到所述可投放区域的内容；以及
粘贴执行单元，被配置为当所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述粘贴内容处理单元确定的内容。
13.一种存储有程序的非暂时性计算机可读存储介质，所述程序使得计算机作为：
操作识别单元，被配置为识别第一应用中的拖拽开始区域和第二应用中的可投放区域，并且向外部设备输出识别结果，所述拖拽开始区域是开始拖拽操作的区域，并且所述第二应用不同于所述第一应用；以及
粘贴执行单元，被配置为当所述外部设备分析所述拖拽开始区域的属性和所述可投放区域的属性，并且基于所述拖拽开始区域的属性和所述可投放区域的属性之间的比较的结果确定要在所述可投放区域内粘贴的内容，并且所述操作识别单元识别出所述可投放区域内的投放操作时，在所述可投放区域内粘贴由所述外部设备确定的内容。
CN201410299566.9A 2013-07-05 2014-06-27 信息处理装置和存储介质 Active CN104281390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013141991A JP2015014960A (ja) 2013-07-05 2013-07-05 情報処理装置、および記憶媒体
JP2013-141991 2013-07-05

Publications (2)

Publication Number Publication Date
CN104281390A CN104281390A (zh) 2015-01-14
CN104281390B true CN104281390B (zh) 2020-01-21

Family

ID=52133679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410299566.9A Active CN104281390B (zh) 2013-07-05 2014-06-27 信息处理装置和存储介质

Country Status (3)

Country Link
US (1) US9552151B2 (zh)
JP (1) JP2015014960A (zh)
CN (1) CN104281390B (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN113470641B (zh) 2013-02-07 2023-12-15 苹果公司 数字助理的语音触发器
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN104090648B (zh) * 2014-05-21 2017-08-25 中兴通讯股份有限公司 数据录入方法及终端
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102411890B1 (ko) * 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
KR20160093471A (ko) * 2015-01-29 2016-08-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9961032B2 (en) * 2015-03-13 2018-05-01 Emmerge, Inc. Extended email functionality
US9929996B2 (en) * 2015-03-13 2018-03-27 Emmerge, Inc. Common email database for a plurality of users
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK3380465T3 (da) 2015-11-26 2020-10-26 Novartis Ag Diaminopyridinderivativer
KR20170076489A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 전자장치 및 그의 어플리케이션 프로그램 운용 방법
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN106201741A (zh) * 2016-06-28 2016-12-07 维沃移动通信有限公司 一种内容处理方法及移动终端
KR102532478B1 (ko) * 2016-08-12 2023-05-16 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
CN107844226B (zh) * 2016-09-19 2021-06-04 珠海金山办公软件有限公司 不同界面之间文字内容的切换方法及装置
US10346117B2 (en) * 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
JP6501749B2 (ja) * 2016-12-26 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106959901B (zh) * 2017-03-17 2018-06-26 维沃移动通信有限公司 一种多路径复制粘贴方法及移动终端
WO2018205168A1 (zh) * 2017-05-10 2018-11-15 华为技术有限公司 一种验证码的输入方法及装置
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
WO2019047189A1 (zh) * 2017-09-08 2019-03-14 广东欧珀移动通信有限公司 消息显示方法、装置及终端
US11157130B2 (en) * 2018-02-26 2021-10-26 Adobe Inc. Cursor-based resizing for copied image portions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
CN110221759A (zh) * 2019-05-31 2019-09-10 广州视源电子科技股份有限公司 一种元素拖拽方法、装置、存储介质及交互智能平板
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10996840B1 (en) * 2019-08-26 2021-05-04 Juniper Networks, Inc. Systems and methods for providing user-friendly access to relevant help documentation for software applications
CN110806827A (zh) * 2019-10-30 2020-02-18 北京字节跳动网络技术有限公司 信息处理方法、装置、电子设备及介质
CN114461111B (zh) * 2019-10-31 2022-09-23 华为技术有限公司 启动功能的方法及电子设备
US11301125B2 (en) * 2020-04-24 2022-04-12 Adobe Inc. Vector object interaction
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
FR3117231B1 (fr) * 2020-12-09 2023-11-24 SNCF Voyageurs Procédé d’aide à la saisie de caractères sur une interface utilisateur
US11960447B2 (en) * 2020-12-31 2024-04-16 Google Llc Operating system-level management of multiple item copy and paste

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1790240A (zh) * 2004-12-15 2006-06-21 国际商业机器公司 用于指针拖拽路径操作的设备和方法
CN101763341A (zh) * 2009-12-23 2010-06-30 宇龙计算机通信科技(深圳)有限公司 一种文本协同方法、系统及触摸屏设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186257A1 (en) * 2001-06-08 2002-12-12 Cadiz Jonathan J. System and process for providing dynamic communication access and information awareness in an interactive peripheral display
JP4411528B2 (ja) 2004-06-10 2010-02-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20060212806A1 (en) * 2005-03-18 2006-09-21 Microsoft Corporation Application of presentation styles to items on a web page
US7657840B2 (en) * 2006-11-02 2010-02-02 International Business Machines Corporation System and method for providing a navigable grid to allow for accessible drag-drop in visual modeling tools
KR20110047349A (ko) * 2009-10-30 2011-05-09 주식회사 팬택 휴대용 단말기에서 터치와 가압을 이용하는 사용자 인터페이스 장치 및 방법
CN102662600B (zh) * 2012-04-28 2013-11-27 北京亿中邮信息技术有限公司 一种不同域名下文件相互拖拽的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1790240A (zh) * 2004-12-15 2006-06-21 国际商业机器公司 用于指针拖拽路径操作的设备和方法
CN101763341A (zh) * 2009-12-23 2010-06-30 宇龙计算机通信科技(深圳)有限公司 一种文本协同方法、系统及触摸屏设备

Also Published As

Publication number Publication date
US20150012862A1 (en) 2015-01-08
JP2015014960A (ja) 2015-01-22
CN104281390A (zh) 2015-01-14
US9552151B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
CN104281390B (zh) 信息处理装置和存储介质
US9471219B2 (en) Text recognition apparatus and method for a terminal
JP6427559B6 (ja) 手書き入力のための永久同期システム
US10783001B2 (en) Information processing device, information processing method, and non-transitory computer readable medium
EP2743846A2 (en) Information search method and device and computer readable recording medium thereof
EP3093755A2 (en) Mobile terminal and control method thereof
US9733876B2 (en) Method of printing web page by using mobile terminal and mobile terminal for performing the method
KR20140030361A (ko) 휴대단말기의 문자 인식장치 및 방법
US10108312B2 (en) Apparatus and method for processing information list in terminal device
JP5154533B2 (ja) プログラム生成装置およびプログラム
US20190079785A1 (en) Information processing device, information processing method, and non-transitory computer readable medium
EP2733583A2 (en) Display apparatus and character correcting method therefor
JP5928245B2 (ja) データ処理装置及びプログラム
KR100886044B1 (ko) 콘텐츠 편집 장치 및 이것을 이용한 콘텐츠 편집 방법 및프로그램 제품
CN112269523B (zh) 对象编辑处理方法、装置及电子设备
US10936187B2 (en) Electronic album apparatus, and operation method and operation program for the same
EP4268061A1 (en) Pen command for ink editing
EP3413176A1 (en) Mobile terminal and method for controlling the same
US20200142952A1 (en) Information processing apparatus, information processing method, and storage medium
JP7426759B2 (ja) コンピュータシステム、プログラム、及び方法
JP5660966B2 (ja) しおり出力装置、しおり出力プログラムおよびしおり出力方法ならびに電子書籍閲覧装置
US20170038960A1 (en) Management of data in an electronic device
JP6364718B2 (ja) 情報表示装置、制御方法、及びプログラム
JP2012174267A (ja) 電子装置のページ操作方法
CN107544739A (zh) 在电子终端中管理对象的方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant