CN102483678B - 信息处理设备、信息处理设备控制方法和程序 - Google Patents
信息处理设备、信息处理设备控制方法和程序 Download PDFInfo
- Publication number
- CN102483678B CN102483678B CN201080038509.5A CN201080038509A CN102483678B CN 102483678 B CN102483678 B CN 102483678B CN 201080038509 A CN201080038509 A CN 201080038509A CN 102483678 B CN102483678 B CN 102483678B
- Authority
- CN
- China
- Prior art keywords
- operating area
- image
- moment
- acquiring unit
- complete image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000008859 change Effects 0.000 claims abstract description 74
- 230000004048 modification Effects 0.000 claims description 59
- 238000012986 modification Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 6
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
- G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明的一种信息处理设备通过执行预定应用来产生完整图像；获取用户执行用于输入信息的操作的操作时刻；如果完整图像已经改变，则获取包括完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在改变时刻，完整图像改变；如果在操作时刻和改变时刻之间的差等于或低于预定值，则获取改变区域来作为其中用户正在输入信息的操作区域；以及，通过在完整图像中获取要在信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将操作区域与基准区域组合来产生附操作区域图像。
Description
技术领域
本发明涉及用于使得容易向信息处理设备输入信息的技术。
背景技术
当用户向终端内输入字符等等时，如果终端的屏幕小并且如果在屏幕上显示的区域和用于输入字符等等的区域之间存在距离，则他难以输入字符等等。
具体地，如果终端通过缩小图像的大小来显示所有图像，则在图像中包括的字符等等也缩小，并且用户难以阅读输入的字符等等并且执行输入操作。
为了使得容易阅读字符，在专利文献1中描述的终端的屏幕被划分为两个区域。在一个区域中显示完整句子，并且在另一个区域中放大和显示句子的一部分。
为了使输入便利，如果要显示的图像的大小对于终端的屏幕太大，则在专利文献2中描述的终端改变该图像的大小使得它可以适配屏幕，来显示该图像。
引用列表
专利文献
专利文献1：JP 2004-349965A
专利文献2：JP 2006-276698A
发明内容
技术问题
然而，即使在专利文献1或2中描述的终端(信息处理设备)中，有时用户仍然难以操作该终端
在专利文献1中描述的终端中，当在用于显示完整句子的区域中输入字符时，因为字符在大小上被缩小并且被显示，用户难以输入字符。当向已经指定用于显示放大文本的区域内输入字符时，因为需要将图像滚动到输入位置，用户必须执行的操纵是麻烦的。
在专利文献2中描述的终端中，因为图像的大小调整，句子的布局可能被打断。例如，在大小调整之前在行端部布置的换行位置可能在大小调整后在行的中部。因此，用户在看到与实际图像不同的图像的同时执行输入，并且有时难以执行输入。
本发明的目的是提供一种用于使在信息处理设备中的输入操作便利的技术。
对于问题的解决方案
为了实现上面的目的，本发明的一种信息处理设备包括：
完整图像产生单元，其通过执行预定应用来产生完整图像；
操作时刻获取单元，其获取操作时刻，在该操作时刻，用户执行用于输入信息的操作；
图像改变获取单元，如果由所述完整图像产生单元产生的完整图像已经改变，则图像改变获取单元获取包括该完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在该改变时刻，该完整图像改变；
操作区域获取单元，如果在由所述操作时刻获取单元获取的操作时刻和由所述图像改变获取单元获取的改变时刻之间的差等于或低于预定值，则操作区域获取单元将由所述图像改变获取单元获取的改变区域获取为用户正在输入信息的操作区域；以及
附操作区域图像产生单元，其通过下述方式来产生附操作区域图像：在由所述完整图像获取单元产生的完整图像中获取要在信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将由所述操作区域获取单元获取的操作区域与该基准区域组合。
本发明的一种信息处理设备控制方法包括：
完整图像产生单元通过执行预定应用来产生完整图像；
操作时刻获取单元获取操作时刻，在该操作时刻，用户执行用于输入信息的操作；
如果由所述完整图像产生单元产生的完整图像已经改变，则图像改变获取单元获取包括该完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在该改变时刻，该完整图像改变；
如果在由所述操作时刻获取单元获取的操作时刻和由所述图像改变获取单元获取的改变时刻之间的差等于或低于预定值，则操作区域获取单元将由所述图像改变获取单元获取的改变区域获取为用户正在输入信息的操作区域；以及
附操作区域图像产生单元通过下述方式来产生附操作区域图像：在由所述完整图像获取单元产生的完整图像中获取要在信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将由所述操作区域获取单元获取的操作区域与该基准区域组合。
本发明的一种程序使得计算机执行：
完整图像产生过程，用于通过执行预定应用来产生完整图像；
操作时刻获取过程，用于获取操作时刻，在该操作时刻，用户执行用于输入信息的操作；
图像改变获取过程，用于如果由所述完整图像产生过程产生的完整图像已经改变，则获取包括该完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在该改变时刻，该完整图像改变；
操作区域获取过程，用于如果在由所述操作时刻获取过程获取的操作时刻和由所述图像改变获取过程获取的改变时刻之间的差等于或低于预定值，则将由所述图像改变获取过程获取的改变区域获取为用户正在输入信息的操作区域；以及
附操作区域图像产生过程，用于通过下述方式来产生附操作区域图像：在由所述完整图像获取过程产生的完整图像中获取要在信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将由所述操作区域获取过程获取的操作区域与该基准区域组合。
本发明的有益效果
根据本发明，如果在操作时刻和屏幕改变的改变时刻之间的差等于或低于预定值，则将改变区域作为操作区域，并且通过将操作区域与基准区域组合来产生图像。因此，用户可以在参考基准区域的同时向操作区域内输入信息。由此使输入操作便利。
附图说明
图1是示出第一示例性实施例的终端的配置示例的框图。
图2是示出第一示例性实施例的操作信息的内容的表格。
图3是示出第一示例性实施例的图像改变检测单元的配置示例的框图。
图4是示出第一示例性实施例的图像改变信息的内容的表格。
图5是示出第一示例性实施例的操作区域检测单元的配置示例的框图。
图6是示出第一示例性实施例的显示图像产生单元的配置示例的框图。
图7是示出第一示例性实施例的终端的操作的流程图。
图8是示出第一示例性实施例的操作区域检测处理的流程图。
图9是示出第一示例性实施例的附操作区域图像产生处理的流程图。
图10是示出第一示例性实施例的终端的操作的示例的时序图。
图11A示出第一示例性实施例的完整图像的示例。
图11B示出第一示例性实施例的基准区域的示例。
图12A示出第一示例性实施例的完整图像的示例。
图12B示出第一示例性实施例的操作区域的示例。
图12C示出第一示例性实施例的附操作区域图像的示例。
图13A示出第一示例性实施例的完整图像的示例。
图13B示出第一示例性实施例的操作区域的示例。
图13C示出第一示例性实施例的当前操作区域的示例。
图14是示出第二示例性实施例的终端和计算机的配置示例的框图。
图15是示出第三示例性实施例的终端和计算机的配置示例的框图。
具体实施方式
将参考附图详细描述用于实施本发明的示例性实施例。
图1是示出示例性实施例的终端1的配置的框图。终端1是诸如个人计算机的信息处理设备。如图1中所示，终端1具有操作单元10、按键操作检测单元20、图像改变检测单元30、操作区域检测单元40、显示图像产生单元50和显示单元60。
操作单元10是诸如键盘和鼠标的输入装置。
操作单元10检测操作单元10的操作，产生输入信息，并且将输入信息输入到按键操作检测单元20和显示图像产生单元50内。输入信息是示出用户如何操作操作单元10的信息，并且包括关于用户已经操作的按钮的分类的信息。
当从操作单元10接收输入信息时，按键操作检测单元20从设置在终端1内的时钟(未示出)获取时刻。然后，按键操作检测单元20将所获取的时刻记录为操作时刻，并且从接收的输入信息读出按键的分类。
按键操作检测单元20产生操作信息和操作时刻，该操作信息示出用户已经操作的按键的分类，并且按键操作检测单元20向操作区域检测单元40输出该操作信息。
图2是示出操作信息的内容的表格。参见图2，“操作按键分类”和“操作时刻”以彼此相关联的方式被存储在操作信息中。“操作按键分类”指示用户已经操作的按键的分类。在图2中，示出“数字按键”和“退出按键(ESC按键)”作为操作按键分类的示例。“操作时刻”指示执行与“操作按键分类”对应的按键操作的时刻
图3是示出图像改变检测单元30的配置示例的框图。参见图3，图像改变检测单元30具有图像改变信息获取单元301和完整图像存储单元302。
图像改变信息获取单元301周期地从显示图像产生单元50获取完整图像信息。图像改变信息获取单元301向完整图像存储单元302内存储获取的完整图像信息。
在此，完整图像信息是示出已经通过执行用于在终端1的屏幕上显示图像的应用而产生的未处理的完整图像的图像信息。该应用例如是有产生编辑文本数据的应用。如果通过执行该应用而产生的图像的分辨率大于可以由终端1显示的图像的分辨率，则终端1不能原样显示产生的全部图像。因此，终端1显示被裁剪的图像的一部分或缩小的图像。由图像改变信息获取单元301获取的完整图像信息是用于示出在执行诸如裁剪和缩小的处理之前的完整图像的图像信息。
当第二次和其后获取完整图像信息时，图像改变信息获取单元301从完整图像存储单元302读出前一次获取的完整图像信息，并且将其与这次获取的完整图像信息作比较。
图像改变信息获取单元301检测矩形区域(改变区域)，该矩形区域包括其中在由完整图像信息示出的完整图像中已经出现改变的区域。
然后，图像改变信息获取单元301产生图像改变信息，该图像改变信息包括用于识别检测的改变区域的信息和示出检测的时刻的信息。
在比较完整图像后，图像改变信息获取单元301使用这次获取的完整图像信息更新在完整图像存储单元302中存储的完整图像信息。
图4是示出图像改变信息的内容的表格。参见图4，“改变区域坐标”和“改变时刻”以彼此相关联的方式被存储在图像改变信息中。
“改变区域坐标”是在改变区域的顶点中的两个相对顶点(例如左上顶点和右下顶点)的坐标。“改变时刻”指示检测与“改变区域坐标”对应的改变区域的时刻。
图5是示出操作区域检测单元40的配置示例的框图。参见图5，操作区域检测单元40具有操作区域判定单元401和当前操作区域存储单元402。
操作区域判定单元401从按键操作检测单元20获取操作信息，并且从图像改变检测单元30获取图像改变信息。操作区域判定单元401将与在由操作信息示出的按键中的特定按键对应的操作时刻与由图像改变信息示出的改变时刻作比较。
假定要比较改变时刻和操作时刻的目标按键是用于输入字符的按键。如果在操作信息中示出的按键是通常不用于输入字符的按键，诸如功能按键和退出按键，则从与改变时刻的比较中排除该按键的操作时刻。
如果在操作时刻和改变时刻的差等于或低于预定阈值，则操作区域判定单元401判定由图像改变信息示出的改变区域为操作区域。
在此，操作区域是作为用户在图像改变检测单元30获取完整图像的周期内执行操作的结果而出现改变的区域。例如，改变区域是因为用户执行按键操作以显示输入字符而已经改变的区域。即使用户不执行按键操作，图像也可能改变，例如，当屏幕保护程序运行时图像改变。然而，这样的改变区域不是操作区域。
然后，操作区域判定单元401从当前操作区域存储单元402读出当前操作区域信息。这个当前操作区域信息是用于识别当前操作区域的信息。
将描述当前操作区域。如上所述，图像改变信息获取单元301以预定周期获取完整图像信息，并且操作区域检测单元40通过比较改变时刻和操作时刻而多次检测操作区域。
然后，如果当前操作区域不在终端1的屏幕内，则显示图像产生单元50处理操作区域。当前操作区域是在通过多个检测而检测的操作区域中的最后检测的操作区域。如果已经执行处理，则当前操作区域是处理的操作区域。
操作区域判定单元401判定在读取的当前操作区域和检测的操作区域之间的距离是否等于或低于阈值。在此，在区域之间的距离是在一个区域中的坐标和在另一个区域中的坐标之间的距离。例如，操作区域判定单元401将在当前操作区域的中心坐标和该操作区域的中心坐标之间的距离与阈值作比较。或者，操作区域判定单元401将在当前操作区域的左上顶点的坐标和该操作区域的左上顶点的坐标之间的距离与阈值作比较。
如果在区域之间的距离等于或低于阈值，则操作区域判定单元401使得检测的操作区域作为操作区域候选，并且向显示图像产生单元50输出操作区域候选信息，该信息示出了操作区域候选。
在此，阈值是这样的值，即当该距离高于阈值时检测的操作区域未被包含在当前操作区域中而是在当前操作区域之外。随着文本增加，在屏幕内的操作区域的位置移动。然而，操作区域判定单元401可以通过比较在区域之间的距离在操作区域移动后更新当前操作区域。
图6是示出显示图像产生单元50的配置示例的框图。参见图6，显示图像产生单元50具有完整图像产生单元501和图像处理单元502。
完整图像产生单元501具有诸如用于建立文本的应用的应用。完整图像产生单元501从操作单元10获取输入信息，并且使用该应用产生包括输入信息的内容的完整图像信息。完整图像产生单元501向图像处理单元502和图像改变检测单元30输出产生的完整图像信息。
图像处理单元502从操作区域检测单元40获取操作区域候选信息，并且从完整图像产生单元501获取完整图像信息。然后，如果由操作区域候选信息示出的操作区域候选未被包含在终端1的屏幕内，则图像处理单元502处理该操作区域候选使得它被包含在屏幕内。图像处理单元502也例如通过下述方式来执行图像处理：裁剪由完整图像信息示出的完整图像的一部分以产生包含在终端1的屏幕内的图像。在原始完整图像中的这个图像区域被称为基准区域。
当未检测到操作区域时，图像处理单元502向显示单元60输出示出基准区域的图像数据的基准区域信息。
当检测到操作区域时，图像处理单元502将操作区域候选和基准区域组合，并且使得组合图像成为附操作区域图像(operation-area-attached image)。在执行操作区域候选的处理的情况下，图像处理单元502在已经执行处理后执行该组合。然后，图像处理单元502向显示单元60输出示出产生的附操作区域图像的附操作区域图像信息。图像处理单元502使得在附操作区域图像中的操作区域作为当前操作区域，并且向操作区域检测单元40输出用于识别当前操作区域的当前操作区域信息。
当前操作区域信息例如是示出在当前操作区域的顶点中的两个相对点(例如，左上顶点和右下顶点)的坐标的信息。
接下来，将参考图7来描述终端1的操作。图7是示出终端1的操作的流程图。当已经执行用于建立或编辑文本的应用时开始这个操作。
当执行应用时，显示图像产生单元50以预定周期获取完整图像信息。在第一周期中，显示图像产生单元50裁剪由完整图像信息示出的完整图像的一部分，并且产生可以由终端1显示的基准区域。显示单元60在屏幕上显示基准区域(步骤S1)。当用于获取完整图像的时刻进入下一个周期时，图像改变检测单元30获取完整图像信息(步骤S2)。
当用户操作操作单元10时，按键操作检测单元20获取示出按键的分类和操作时刻的操作信息(步骤S3)。图像改变检测单元30将前一次的完整图像与这次的完整图像作比较，并且获取示出改变区域和改变时刻的图像改变信息(步骤S4)。
操作区域检测单元40执行用于检测操作区域候选的操作区域检测处理(步骤S5)。显示图像产生单元50执行用于在图像上显示检测的操作区域候选的附操作区域图像产生处理(步骤S6)。
终端1判定用于建立文本的应用是否已经结束(步骤S7)。如果该应用还没有结束(步骤S7：否)，则终端返回到步骤S2。如果该应用已经结束(步骤S7：是)，则终端1结束该操作。
图8是示出在图7中的步骤S5的操作区域检测处理的流程图。参见图8，操作区域检测单元40从操作信息获取操作按键的分类，并且仅提取检测目标按键的操作时刻(步骤S51)。检测的目标按键假定为例如是用于输入字符的按键。
操作区域检测单元40判定在检测目标按键的操作时刻和改变时刻之间的差是否等于或低于阈值(步骤S52)。
如果在操作时刻和改变时刻之间的差等于或低于阈值(步骤S52：是)，则操作区域检测单元40将与改变时刻对应的改变区域检测为操作区域(步骤S53)。
操作区域检测单元40读出存储的当前操作区域(步骤S54)。操作区域检测单元40将在检测的操作区域和当前操作区域之间的距离作比较，并且判定检测的操作区域是否在当前操作区域内(步骤S55)。
如果操作区域未在当前操作区域内(步骤S55：否)，则操作区域检测单元40使得检测的操作区域作为操作区域候选。操作区域检测单元40产生示出操作区域候选的顶点的坐标的操作区域候选信息(步骤S56)。
如果在操作时刻和改变时刻之间的差并非等于或低于阈值(步骤S52：否)，并且如果操作区域在当前操作区域内(步骤S55：是)或在步骤S56后，操作区域检测单元40结束操作区域检测处理。
图9是示出在图7中的步骤S6的附操作区域图像产生处理的流程图。参见图9，显示图像产生单元50在由完整图像信息示出的完整图像中获取由操作区域候选信息示出的坐标内的图像(步骤S61)。
显示图像产生单元50判定获取的操作区域候选的垂直和水平像素数是否大于可以在终端1上显示的像素数的K倍(步骤S62)。
如果操作区域候选的垂直和水平像素数大于可以在终端1上显示的像素数的K倍(步骤S62：是)，则处理操作区域候选的图像使得操作区域候选的垂直和水平像素数等于或小于K倍(步骤S63)。
如果操作区域候选的垂直和水平像素数等于或小于可以在终端1上显示的像素数的K倍(步骤S62：否)或在步骤S63之后，显示图像产生单元50组合基准区域和操作区域候选，以产生附操作区域图像，并且将其显示在显示单元60上(步骤S64)。然后，显示图像产生单元50将在附操作区域图像中的操作区域作为当前操作区域存储在操作区域检测单元40内(步骤S65)。在步骤S65后，显示图像产生单元50结束附操作区域图像产生处理。
图10是示出终端1的操作的示例的时序图。参见图10，操作单元10根据用户操作输入输入信息(步骤T 1)。显示图像产生单元50基于输入信息来产生完整图像，并且向图像改变检测单元30输出完整图像。显示图像产生单元50也裁剪完整图像的一部分以产生基准区域(步骤T2)。显示单元60在终端1的屏幕上显示基准区域(步骤T3)。
按键操作检测单元20检测特定按键的操作，并且产生操作信息(步骤T4)。当用于获取完整图像的时刻到达时，图像改变检测单元30获取完整图像(步骤T5)。图像改变检测单元30将这次的完整图像与前一次的完整图像作比较，并且获取改变区域和改变时刻(步骤T6)。
操作区域检测单元40判定在操作时刻和改变时刻之间的差是否等于或低于阈值(步骤T7)。如果在操作时刻和改变时刻之间的差等于或低于阈值(步骤T7：是)，则操作区域检测单元40将改变区域检测为操作区域(步骤T8)。然后，操作区域检测单元40读出当前操作区域(步骤T9)。
操作区域检测单元40判定检测的操作区域是否在当前操作区域内(步骤T10)。如果该操作区域不在当前操作区域内(步骤T10：否)，则操作区域检测单元40向显示图像产生单元50输出该操作区域来作为操作区域候选(步骤T11)。
显示图像产生单元50组合基准区域和操作区域候选，以产生附操作区域图像(步骤T12)。显示单元60显示附操作区域图像(步骤T13)。
然后，显示图像产生单元50将在附操作区域图像中的操作区域作为当前操作区域存储在操作区域检测单元40内(步骤T 14)。
接下来，将参考图11至13来描述终端1的操作结果的示例。图11A示出在因为按键操作而改变之前的完整图像G1的示例。如图1A中所示，当执行用于建立文本的应用时，产生包括窗口W1的完整图像G1。
如图11B中所示，终端1以在终端1的屏幕上可显示的大小来裁剪窗口W1的一部分，并且将其显示为基准区域。
将考虑下述情况：其中，在获取完整图像G1后在下一个周期已经过去之前，输入“ABCD”。在该情况下，产生在窗口W2中的包括输入的“ABCD”的完整图像G2。终端1将完整图像G1和G2作比较，并且提取包括“ABCD”的矩形区域来作为在图12B中所示的改变区域。因为改变时刻和操作时刻相同，所以终端1将该改变区域检测为操作区域。
如图12C中所示，终端1组合操作区域和基准区域以产生附操作区域图像，并且将其显示。例如，终端1将操作区域叠加在基准区域上，使得操作区域位于前部。终端1将在这个附操作区域图像中的操作区域存储为当前操作区域。
将考虑下述情况：其中，在输入“ABCD”后，在用于获取下一个完整图像信息的时刻到来之前，输入“EFGHIJKL”，如图13A中所示。
在该情况下，终端1将包括“EFGHIJKL”的矩形区域检测为操作区域，如图13B中所示。在此，当前操作区域是包括“ABCD”的矩形区域，如图13C中所示。检测的操作区域未被包括在当前操作区域内。因此，终端1基于检测的操作区域和基准区域来产生附操作区域图像信息，并且更新当前操作区域。
虽然在这个示例性实施例中假定输入信息是字符信息，但输入信息可以是除了字符之外的任何信息，只要该信息使得屏幕响应于用户输入操作而改变。例如，除了字符之外的符号或音符也是可能的。
这个示例性实施例的操作单元10对应于本发明的输入单元，并且，这个示例性实施例的完整图像产生单元501对应于本发明的完整图像产生单元。这个示例性实施例的按键操作检测单元20对应于本发明的操作时刻获取单元和按键分类获取单元；这个示例性实施例的操作区域判定单元402对应于本发明的判定单元；并且，这个示例性实施例的当前操作区域存储单元402对应于本发明的当前操作区域存储单元。这个示例性实施例的图像改变检测单元30对应于本发明的图像改变获取单元；这个示例性实施例的操作区域检测单元40对应于本发明的操作区域获取单元；并且，这个示例性实施例的图像处理单元502对应于本发明的附操作区域图像产生单元。
根据这个示例性实施例，如果在操作时刻和屏幕改变的改变时刻之间的差等于或低于预定值，则终端1使得改变区域作为操作区域，并且通过组合该操作区域与基准区域来产生图像，如上所述。因此，用户可以在参考基准区域的同时向操作区域内输入信息。由此使输入操作便利。
而且，因为终端1周期地获取完整图像，所以它可以在一个周期内执行的用户操作后更新操作区域。
因为图像改变检测单元30产生示出改变区域的相对顶点的坐标的信息，所以与产生与示出改变区域的图像本身相关的信息的情况下作比较，产生的信息的数据量更小，并且处理速度更快。
因为操作区域检测单元40将用于输入字符的按键看作检测目标，所以不会出现响应于除了用于输入字符的按键操作之外的按键操作而更新操作区域，使得减少了浪费的处理。
因为显示图像产生单元50处理操作区域，所以能够防止操作区域的内容显示在终端1的屏幕内。
因为如果检测的改变区域不在当前操作区域内则操作区域检测单元40更新当前操作区域，所以即使改变区域响应于用户操作而移动，显示单元60也可以在已经出现移动后显示操作区域。
(第二示例性实施例)
将参考图14来描述第二示例性实施例。图14是示出这个示例性实施例的终端2和计算机3的配置的一般视图。这个示例性实施例的终端2和计算机3与第一示例性实施例的不同在于：在第一示例性实施例中的终端1的功能被分配在两个设备之间。终端2和计算机3是诸如个人计算机的信息处理设备。
在这个示例性实施例中，在终端1的操作单元10、按键操作检测单元20、图像改变检测单元30、操作区域检测单元40、显示图像产生单元50和显示单元60中，终端2具有操作单元10、按键操作检测单元20和显示单元60。
另一方面，计算机3具有剩余的图像改变检测单元30、操作区域检测单元40和显示图像产生单元50。
根据这个示例性实施例，通过功能的分配来减少在一个设备上施加的负荷。也可以分配在故障的情况下的风险。
(第三示例性实施例)
将参考图15来描述第三示例性实施例。图15是示出这个示例性实施例的终端4和计算机5的配置的一般视图。这个示例性实施例的终端4和计算机5与第一示例性实施例的不同在于：在第一示例性实施例中的终端1的功能分配在两个设备之间。终端4和计算机5是诸如个人计算机的信息处理设备。
在这个示例性实施例中，在终端1的操作单元10、按键操作检测单元20、图像改变检测单元30、操作区域检测单元40、显示图像产生单元50和显示单元60中，终端4具有操作单元10、按键操作检测单元20、操作区域检测单元40、显示图像产生单元50和显示单元60。
另一方面，计算机5具有剩余的图像改变检测单元30。
这个示例性实施例的显示图像产生单元50对应于本发明的发送单元。
不必说，可以通过除了在第二和第三示例性实施例中所示的配置之外的配置来分配功能。
已经参考示例性实施例描述了本发明。然而，本发明不限于上面的示例性实施例。可以在本发明的范围内在本发明的配置或细节上做出本领域内的技术人员可以明白的各种改变。
本申请要求基于在2009年8月31日提交的日本专利申请No.2009-200062的优先权，其公开通过对其引用被整体包含在此。
Claims (9)
1.一种信息处理设备，包括：
完整图像产生单元，所述完整图像产生单元通过执行预定应用来产生完整图像；
操作时刻获取单元，所述操作时刻获取单元获取操作时刻，在所述操作时刻，用户执行用于输入信息的操作；
图像改变获取单元，如果由所述完整图像产生单元产生的所述完整图像已经改变，则所述图像改变获取单元获取包括所述完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在所述改变时刻，所述完整图像改变；
操作区域获取单元，如果在由所述操作时刻获取单元获取的所述操作时刻和由所述图像改变获取单元获取的所述改变时刻之间的差等于或低于预定值，则所述操作区域获取单元将由所述图像改变获取单元获取的所述改变区域获取为所述用户正在输入信息的操作区域；以及
附操作区域图像产生单元，所述附操作区域图像产生单元通过下述方式来产生附操作区域图像：在由所述完整图像产生单元产生的所述完整图像中获取要在所述信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将由所述操作区域获取单元获取的所述操作区域与所述基准区域组合，
其中，所述附操作区域图像产生单元判定在所述操作区域的垂直方向上的总像素数或在所述操作区域的水平方向上的总像素数是否等于或大于最大值，并且如果所述总像素数等于或大于所述最大值，则处理所述操作区域使得所述总像素数小于所述最大值，并且组合处理的所述操作区域和所述基准区域。
2.根据权利要求1所述的信息处理设备，其中，所述图像改变获取单元周期地获取由所述完整图像产生单元产生的所述完整图像，并且通过将这次获取的完整图像和前一次获取的完整图像作比较来获取所述改变区域。
3.根据权利要求1所述的信息处理设备，其中
所述图像改变获取单元产生示出所述改变区域的两个相对顶点的坐标的改变区域信息；以及
所述附操作区域图像产生单元基于由所述图像改变获取单元产生的所述改变区域信息来识别所述改变区域。
4.根据权利要求1所述的信息处理设备，进一步包括：按键分类获取单元，所述按键分类获取单元获取分类信息，所述分类信息示出按键的分类，所述操作已通过所述按键执行；其中
如果由所述按键分类获取单元获取的所述按键的所述分类是预定分类，并且如果在所述操作时刻和所述改变时刻之间的差等于或低于所述预定值，则所述操作区域获取单元将所述改变区域获取为所述操作区域。
5.根据权利要求1所述的信息处理设备，其中
所述操作区域获取单元包括：
当前操作区域存储单元，所述当前操作区域存储单元将在由所述附操作区域图像产生单元产生的所述附操作区域图像中的所述操作区域存储为当前操作区域；以及
判定单元，如果在所述操作时刻和所述改变时刻之间的差等于或低于所述预定值，则所述判定单元判定所述改变区域是否被包括于在所述当前操作区域存储单元中存储的所述当前操作区域中，并且如果所述改变区域未被包括在所述当前操作区域中，则所述判定单元获取所述改变区域来作为所述操作区域。
6.根据权利要求1所述的信息处理设备，进一步包括：输入单元，所述输入单元响应于用户操作来输入信息；其中
所述操作时刻获取单元获取通过所述输入单元输入信息的时刻来作为所述操作时刻。
7.根据权利要求1所述的信息处理设备，进一步包括：显示单元，所述显示单元显示由所述附操作区域图像产生单元获取的所述基准区域或由所述附操作区域图像产生单元产生的所述附操作区域图像。
8.根据权利要求1所述的信息处理设备，进一步包括：发送单元，所述发送单元向别的信息处理设备发送由所述完整图像产生单元产生的所述完整图像；其中
所述图像改变获取单元从另一个信息处理设备接收所述完整图像。
9.一种信息处理设备控制方法，包括：
完整图像产生单元通过执行预定应用来产生完整图像；
操作时刻获取单元获取操作时刻，在所述操作时刻，用户执行用于输入信息的操作；
如果由所述完整图像产生单元产生的所述完整图像已经改变，则图像改变获取单元获取包括所述完整图像中已经出现改变的区域的矩形区域作为改变区域，并且获取改变时刻，在所述改变时刻，所述完整图像改变；
如果在由所述操作时刻获取单元获取的所述操作时刻和由所述图像改变获取单元获取的所述改变时刻之间的差等于或低于预定值，则操作区域获取单元将由所述图像改变获取单元获取的所述改变区域获取为所述用户正在输入信息的操作区域；以及
附操作区域图像产生单元通过下述方式来产生附操作区域图像：在由所述完整图像产生单元产生的所述完整图像中获取要在所述信息处理设备的屏幕上显示的矩形区域作为基准区域，并且将由所述操作区域获取单元获取的所述操作区域与所述基准区域组合，其中，
所述附操作区域图像产生单元判定在所述操作区域的垂直方向上的总像素数或在所述操作区域的水平方向上的总像素数是否等于或大于最大值，并且如果所述总像素数等于或大于所述最大值，则处理所述操作区域使得所述总像素数小于所述最大值，并且组合处理的所述操作区域和所述基准区域。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009200062 | 2009-08-31 | ||
| JP2009-200062 | 2009-08-31 | ||
| PCT/JP2010/059455 WO2011024531A1 (ja) | 2009-08-31 | 2010-06-03 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310388973.2A Division CN103558967A (zh) | 2009-08-31 | 2010-06-03 | 信息处理设备和信息处理设备控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102483678A CN102483678A (zh) | 2012-05-30 |
| CN102483678B true CN102483678B (zh) | 2014-06-04 |
Family
ID=43627644
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310388973.2A Pending CN103558967A (zh) | 2009-08-31 | 2010-06-03 | 信息处理设备和信息处理设备控制方法 |
| CN201080038509.5A Expired - Fee Related CN102483678B (zh) | 2009-08-31 | 2010-06-03 | 信息处理设备、信息处理设备控制方法和程序 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310388973.2A Pending CN103558967A (zh) | 2009-08-31 | 2010-06-03 | 信息处理设备和信息处理设备控制方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20120154432A1 (zh) |
| EP (1) | EP2474892A4 (zh) |
| JP (1) | JP5447525B2 (zh) |
| KR (1) | KR101388119B1 (zh) |
| CN (2) | CN103558967A (zh) |
| WO (1) | WO2011024531A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101078958A (zh) * | 2006-05-24 | 2007-11-28 | 胡有文 | 一种设有手写板式代替键盘的电脑 |
| CN101162489A (zh) * | 2007-11-26 | 2008-04-16 | 唐荣华 | 用于保密输入的伪装图片产生方法及其使用方法 |
| CN101414213A (zh) * | 2007-10-19 | 2009-04-22 | 杭州惠道科技有限公司 | 人类语言、文字、符号点划式人机界面 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0772855B2 (ja) * | 1985-07-31 | 1995-08-02 | キヤノン株式会社 | 情報処理方法 |
| JPS6232537A (ja) * | 1985-08-05 | 1987-02-12 | Mitsubishi Electric Corp | 計算機システムのサ−ビス・プロセツサにおける画面処理方法 |
| US5665927A (en) * | 1993-06-30 | 1997-09-09 | Casio Computer Co., Ltd. | Method and apparatus for inputting musical data without requiring selection of a displayed icon |
| JPH0793574A (ja) * | 1993-09-27 | 1995-04-07 | Toshiba Corp | データ処理装置及び表示制御方法 |
| JP2000187544A (ja) * | 1998-12-22 | 2000-07-04 | Seiko Epson Corp | データ入力装置およびその方法並びに記録媒体 |
| US7437670B2 (en) * | 2001-03-29 | 2008-10-14 | International Business Machines Corporation | Magnifying the text of a link while still retaining browser function in the magnified display |
| US20030206193A1 (en) * | 2002-04-17 | 2003-11-06 | Keizo Sato | Communication control system and storage medium for storing image transfer program |
| JP4326836B2 (ja) * | 2003-05-21 | 2009-09-09 | 株式会社エヌ・ティ・ティ・ドコモ | シンクライアントシステム、シンクライアント端末機、中継装置及びシンクライアント端末画面更新方法 |
| KR20040096879A (ko) * | 2004-10-05 | 2004-11-17 | 장중혁 | 디스플레이와 화면 이동 정보 입력 장치가 장착된 기기를 이용한 gui 인터페이스 조작 방법 |
| JP4900640B2 (ja) * | 2005-03-30 | 2012-03-21 | 京セラ株式会社 | 携帯端末装置およびその文書表示制御方法 |
| JP4956938B2 (ja) * | 2005-08-25 | 2012-06-20 | 富士通株式会社 | リモート操作プログラム、方法及び端末装置 |
| JP4957126B2 (ja) * | 2006-08-31 | 2012-06-20 | カシオ計算機株式会社 | クライアント装置およびプログラム |
| US7778953B2 (en) * | 2007-02-19 | 2010-08-17 | Kabushiki Kaisha Toshiba | Document management apparatus and document management method |
| JP4827950B2 (ja) * | 2008-07-31 | 2011-11-30 | 富士通株式会社 | サーバ装置 |
-
2010
- 2010-06-03 KR KR1020127006019A patent/KR101388119B1/ko not_active IP Right Cessation
- 2010-06-03 CN CN201310388973.2A patent/CN103558967A/zh active Pending
- 2010-06-03 EP EP10811584.1A patent/EP2474892A4/en not_active Withdrawn
- 2010-06-03 WO PCT/JP2010/059455 patent/WO2011024531A1/ja active Application Filing
- 2010-06-03 US US13/392,081 patent/US20120154432A1/en not_active Abandoned
- 2010-06-03 CN CN201080038509.5A patent/CN102483678B/zh not_active Expired - Fee Related
- 2010-06-03 JP JP2011528688A patent/JP5447525B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101078958A (zh) * | 2006-05-24 | 2007-11-28 | 胡有文 | 一种设有手写板式代替键盘的电脑 |
| CN101414213A (zh) * | 2007-10-19 | 2009-04-22 | 杭州惠道科技有限公司 | 人类语言、文字、符号点划式人机界面 |
| CN101162489A (zh) * | 2007-11-26 | 2008-04-16 | 唐荣华 | 用于保密输入的伪装图片产生方法及其使用方法 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开2007-058638A 2007.03.08 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101388119B1 (ko) | 2014-04-23 |
| KR20120054053A (ko) | 2012-05-29 |
| JP5447525B2 (ja) | 2014-03-19 |
| CN102483678A (zh) | 2012-05-30 |
| EP2474892A4 (en) | 2015-11-11 |
| JPWO2011024531A1 (ja) | 2013-01-24 |
| US20120154432A1 (en) | 2012-06-21 |
| EP2474892A1 (en) | 2012-07-11 |
| WO2011024531A1 (ja) | 2011-03-03 |
| CN103558967A (zh) | 2014-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101370834B1 (ko) | 디스플레이 장치 및 이의 문자 입력 방법 | |
| US7634718B2 (en) | Handwritten information input apparatus | |
| US4953225A (en) | Handwritten character-recognizing apparatus for automatically generating and displaying character frames | |
| US9990109B2 (en) | Information display terminal | |
| KR20110138212A (ko) | 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법 | |
| EP3046008A1 (en) | Display device and method for providing recommended characters from same | |
| US10452777B2 (en) | Display apparatus and character correcting method thereof | |
| EP2416309B1 (en) | Image display device, image display system, and image display method | |
| DE112007000122T5 (de) | Tastaturen für tragbare elektronische Vorrichtungen | |
| CN105518657A (zh) | 信息处理设备、信息处理方法及程序 | |
| JP2016186717A (ja) | 文字変換装置、その制御方法、プログラム、及び記憶媒体 | |
| CN102483678B (zh) | 信息处理设备、信息处理设备控制方法和程序 | |
| CN111724455A (zh) | 图像处理方法及电子设备 | |
| CN111985183A (zh) | 文字输入方法、装置及电子设备 | |
| CN103744596A (zh) | 显示控制方法和电子设备 | |
| CN115309487A (zh) | 显示方法、装置、电子设备和可读存储介质 | |
| JP2010128567A (ja) | カーソル移動制御方法及び装置、プログラム | |
| CN113778595A (zh) | 文档生成方法、装置和电子设备 | |
| CN113157184A (zh) | 内容显示方法、装置、电子设备和可读存储介质 | |
| CN113486738A (zh) | 指纹识别方法、装置、电子设备和可读存储介质 | |
| CN112764551A (zh) | 词汇显示方法、装置和电子设备 | |
| CN104915105A (zh) | 文字输入方法、装置及终端 | |
| CN108037875A (zh) | 切换输入方式的方法、装置及存储介质 | |
| CN101814000B (zh) | 用于字符输入的基于笔划的输入系统 | |
| CN112860165B (zh) | 文本信息的获取方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: LENOVO INNOVATION CO., LTD. (HONGKONG) Free format text: FORMER OWNER: NEC CORP. Effective date: 20141124 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; TO: HONG KONG, CHINA |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20141124 Address after: Hongkong China Quarry Bay Patentee after: LENOVO INNOVATIONS Co.,Ltd.(HONG KONG) Address before: Tokyo, Japan Patentee before: NEC Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140604 Termination date: 20170603 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |