CN102681664A - 电子装置、信息处理方法、程序和电子装置系统 - Google Patents

Abstract

本发明涉及电子装置、信息处理方法、程序和电子装置系统。根据本发明的便携式电子装置包括：触摸传感器，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；控制部，其基于所述操作信息，生成上面反映了所述操作主体的图片图像；以及图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。根据这样的配置，用户可以在视觉上识别图片图像的同时用自然的操作来执行输入。

Description

电子装置、信息处理方法、程序和电子装置系统

技术领域

本公开涉及电子装置、信息处理方法、程序和电子装置系统。

背景技术

近年来，作为正在移动终端如智能手机中广泛使用的图形用户界面(GUI)，已引入了使用触摸传感器的操作输入装置如触摸面板。触摸面板使用布置在液晶显示器(LCD)屏幕等上的触摸传感器，并且通过直接触摸屏幕来实现直观操作(直接操纵)。例如，JP 2010-262556A描述了一种装置，其装备有两种操作模式，以便进行操作以移动电容性触摸面板上的对象。

发明内容

触摸面板作为操作输入装置是极其有用的，其使得用户能够直接在显示屏上操作，但是另一方面，存在分开地具有显示屏和触摸传感器(触摸垫)的装置，比如像笔记本式计算机所表现的那样。

在分开地具有显示屏和触摸传感器的这种装置中存在如下问题：用户变得难以识别触摸传感器上的操作位置(与手指相接触的位置)和屏幕上的指定位置(例如光标的位置)之间的关系。作为例子，考虑一种便携式终端装置，其中，显示屏设置在前侧，而触摸传感器则设置在后表面上(装置的后侧)。在这样的装置中，由于用户用他/她的手指操作该用户不能看到的装置的后表面，所以用户变得难以识别触摸传感器上的操作位置和屏幕上的指定位置之间的关系。进一步，可能出现如下情况：手指的一部分在未被用户注意到的情况下触摸到触摸传感器，并且可能造成意外操作。

进一步，作为分开地具有显示屏和触摸传感器的装置的另一个例子，考虑一种控制器，其以触摸面板的方式操作置于远处的屏幕上的用户界面(UI)。由于用户在观看这样的装置中的屏幕的同时操作他/她手中的控制器，所以用户变得难以识别触摸传感器上的操作位置和屏幕上的指定位置之间的关系。进一步，同样假定存在如下情况：手指的一部分在未被用户注意到的情况下触摸到触摸传感器，并且造成意外操作。进一步，在采用多触摸输入(其使得以与手指触摸的多个位置相对应的方式显示并操作多个光标成为可能)作为操作输入的情况下，出现如下问题：变得难以掌握多个指定位置(光标位置)之间的绝对位置关系。

另外，存在另一个问题：在使用触摸垫的情况下，即使在手指与触摸传感器相接触的同时显示光标，但是当从触摸传感器释放手指时光标消失，并且不会向屏幕给出反馈。因此，问题在于用户不知道接下来将手指放在哪儿。

考虑到前述境况，希望提供一种新颖且改进的电子装置、信息处理方法、程序和电子装置系统，其使得用户能够在观看显示屏的同时用自然的操作来执行输入，而不会向用户提供不舒适的感觉。

根据本公开的实施例，提供了一种电子装置，该电子装置包括：操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

电子装置可以进一步包括：显示部，其设置在与所述操作表面不同的地方，并且显示其中所述图片图像叠加在原始图像上的图像。

所述操作信息可以是从另一个装置接收的信息，所述另一个装置与所述电子装置分开地设置，并且具有所述操作表面。

所述图像处理部可以基于所述操作信息生成所述操作主体的代表点的位置的信息。所述图像生成部可以生成其中处在所述操作主体的代表点的位置处的图像连同所述图片图像一起叠加在原始图像上的图像。

所述图像处理部可以将所述图片图像生成为通过使原始图像半透明或者通过修整原始图像而获得的图像。

在由所述操作信息获取部检测到的操作信息的信号强度等于或小于预定阈值的情况下，所述图像处理部可以不生成所述图片图像的信息。

在由所述操作信息获取部获取的操作信息的信号强度等于或小于第一阈值的情况下，所述图像处理部可以不生成所述图片图像的信息，并且在由所述操作信息获取部检测到的操作信息的信号强度等于或小于比所述第一阈值大的第二阈值的情况下，所述图像处理部可以不生成所述代表点的位置的信息。

所述图像处理部可以针对所述图片图像的信息执行具有一定强度的第一低通滤波处理，并且还可以针对所述代表点的图像的信息执行第二低通滤波处理。所述第一低通滤波处理的强度可以高于所述第二低通滤波处理的强度。

在由所述操作信息获取部获取的操作信息的信号强度变得等于或小于预定值的情况下，所述图像处理部可以基于过去获取的操作信息的信号强度来估计并生成图片图像。

在由所述操作信息获取部检测到的操作信息的信号强度等于或小于比所述第一阈值大的第二阈值的情况下，可以不接受由所述操作主体执行的输入。

基于所述操作信息，所述图像处理部可以生成预先设置的图形作为图片图像的信息。

基于所述操作信息，所述图像处理部可以生成对应于所述操作表面和所述操作主体之间的距离的图片图像。

所述图像处理部可以生成具有与所述操作信息的信号强度相对应的尺寸的图片图像。

所述图像处理部可以生成具有与所述操作信息的信号强度相对应的密度的图片图像。

在所述图片图像的尺寸等于或小于预定值的情况下，可以不接受由所述操作主体执行的输入。

根据本公开的另一个实施例，提供了一种信息处理方法，该方法包括：基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及生成其中所述图片图像叠加在原始图像上的图像。

根据本公开的另一个实施例，提供了一种用于使计算机起到以下作用的程序：用于基于操作者在操作表面上执行的操作而获取由操作主体输入的操作信息的装置；用于基于所述操作信息而生成上面反映了所述操作主体的图片的图片图像的装置；以及用于生成其中所述图片图像叠加在原始图像上的图像的装置。

根据本公开的另一个实施例，提供了一种电子装置系统，该系统包括：控制器，所述控制器包括：操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；以及传送部，其传送所述操作信息；以及电子装置，所述电子装置包括：接收部，其接收所述操作信息；图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

根据本公开的另一个实施例，提供了一种电子装置系统，该系统包括：控制器，所述控制器包括：操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及传送部，其传送所述图片图像的信息；以及电子装置，所述电子装置包括：接收部，其接收所述图片图像的信息；以及图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

根据上面描述的本公开的实施例，用户变得可以在观看显示屏的同时用自然的操作来执行输入，而不会向用户提供不舒适的感觉。

附图说明

图1是示出根据第一实施例的便携式电子装置的外观的示意图；

图2是示出图1所示的便携式电子装置的配置的框图；

图3是示出在触摸传感器由栅格电容式触摸传感器配置而成的情况下的栅格结构的示意图；

图4是示出在触摸传感器由单元内光学触摸传感器配置而成的情况下的结构的示意图；

图5是示出通过测量由图3所示的电容式触摸传感器扫描的电容而获得的结果的例子的特征图；

图6是示出在图3所示的栅格当中的特定栅格处根据与用户的手指的接近度或相接触的电容大小的特征图；

图7是示出通过触摸传感器获取的电容的示意图；

图8A、图8B、图8C和图8D是每个示出如下状态的示意图：基于像图7所示的那样由触摸传感器获取的电容生成光标的图像，并且在由传送/接收部接收的URL的屏幕上以叠加的方式显示图像；

图9是示出确定重心的方法的例子的示意图；

图10是示出确定一般等高线的方法的例子的示意图；

图11是示出低通滤波处理的框图；

图12是示出低通滤波处理的框图；

图13是示出如下例子的示意图，在所述例子中，基于电容显示光标的代表点，并且还基于电容显示图片图像152，而且另外显示实际手指的形状；

图14是示出其中在将手指带到更加接近于触摸传感器的过程中改变光标周围的图片图像152的范围和密度的显示例子的示意图；

图15是示出在手指从其中使用触摸传感器可以检测到电容的范围移出的情况下的显示例子的示意图；

图16是示出根据当前实施例的便携式电子装置中执行的处理的流程图；

图17是示出根据第二实施例的控制器和电子装置的配置的配置图；

图18是示出根据第二实施例的控制器和电子装置的配置的配置图；

图19是示出第二实施例的配置的框图；

图20是示出其中电子装置是诸如机顶盒之类的装置并且分开地设置显示屏的例子的框图；

图21是示出其中用户用他/她的左手大拇指对触摸传感器的左手侧进行触摸并且用他/她的右手食指对触摸传感器的右手侧进行触摸的状态的示意图；

图22是根据每个栅格的电容大小改变光标的状态的例子；以及

图23是示出其中指示电子装置状态的信息叠加在模拟的手指图像上的例子的示意图。

具体实施方式

在下文中，参考附图来详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构性元件用相同的标号指示，并且省略对这些结构性元件的重复说明。

注意，按照以下顺序给予说明。

1.实施例概要

2.第一实施例

2.1.系统配置例子

2.2.触摸传感器的配置例子

2.3.屏幕上的显示例子

2.4.关于低通滤波处理

2.5.显示手指形状的例子

2.6.其中根据距离改变图片图像的范围和密度的显示例子

2.7.手指从触摸传感器的可检测范围移开的情况下的显示例子

2.8.当前实施例的便携式电子装置中的处理

3.第二实施例(捕捉控制：使用定向传感器用来检测盘方向的例子)

3.1.系统配置例子

3.2.屏幕上的显示例子

1.实施例概要

存在一种分开地具有显示屏和触摸传感器(触摸垫)的装置，如通过笔记本式计算机表现的那样。这样的装置具有使用相对坐标系的触摸垫。

在使用相对坐标系的触摸垫中，触摸垫上的操作位置(与手指相接触的位置)和屏幕上的指定位置(例如光标的位置)并不在一对一的基础上彼此对应。当用户在触摸垫上执行操作以移动光标时，光标在当前光标位置的基础上移动对应于该操作的相对距离。例如，在用户想要将光标从屏幕上的一端移动到另一端的情况下，用户将他/她的手指在触摸垫上移动预定距离并且重复移动该预定距离若干次，从而能够将光标从屏幕上的一端移动到另一端。

另一方面，作为另一种坐标系，考虑绝对坐标系，如通过触摸面板表现的那样。在绝对坐标系的情况下，由于触摸传感器上的指定位置(与手指相接触的位置)和屏幕上的指定位置(例如光标的位置)在一对一的基础上彼此对应，所以例如当用户对触摸传感器的左侧进行触摸时光标移动到屏幕的左侧，而当用户对触摸传感器的右侧进行触摸时光标则移动到屏幕的右侧。

在分开地设置屏幕和触摸垫的情况下，一般地使用相对坐标系，如通过笔记本式计算机表现的那样。然而，根据场景通过使用绝对坐标系，其便利性变高。作为例子，考虑在显示装置的后表面上(装置的后侧)具有附着的触摸传感器的便携式终端装置，如将要在第一实施例中描述的那样。该装置在后表面上具有操作表面，并且前侧的显示屏和操作表面前后彼此对应，因此该装置是所谓的模拟触摸面板状的操作输入装置。当在这样的装置中使用相对坐标系时，光标的位置和手指的位置彼此不同，这使用户迷惑。因此，针对这样的装置使用绝对坐标系，所以可以实现具有高可用性的操作系统。

与触摸面板的情况不同，具有附着到显示装置后表面的触摸传感器的操作系统具有很大的优点在于，屏幕不会被手指隐藏。因此，显示屏不被手指隐藏，并且用户可以执行与使用触摸面板的操作等效的操作。另一方面，由于用户用他/她的手指操作该用户不能看到的装置的后表面，所以可能出现如下情况：手指的一部分在未被用户注意到的情况下触摸到触摸传感器，并且可能造成意外操作。因此，希望在前侧的显示屏上显示手指的位置。

进一步，作为另一个例子，考虑一种控制器，其以触摸面板的方式操作置于远处的屏幕上的用户界面(UI)，如将要在第二实施例中描述的那样。这里，在采用多触摸输入(其使得以与手指触摸的多个位置相对应的方式显示并操作多个光标成为可能)作为操作输入的情况下，如果采用绝对坐标系则操作变得容易，因为多个指定位置(光标位置)之间的绝对位置关系起到重要作用。在这种情况下，习惯于通常在现有的笔记本式PC等的触摸垫中使用的相对坐标的用户可能混淆坐标系的不同。

如上所述，一般而言过去使用指示装置的GUI系统(Windows(注册商标)PC等)使用相对坐标系作为用于操作的坐标系。然而，在试图使用触摸垫来实现直接操纵式操作感觉的情况下，希望使用绝对坐标系，因为有必要直接对操作对象的位置进行操作。另外，同样在执行多触摸操作的情况下，希望使用绝对坐标系，以便不破坏手指之间的位置关系。

进一步，在使用触摸垫的情况下，即使在手指与触摸传感器相接触的同时显示光标，但是当从触摸传感器释放手指时光标消失，并且不会向屏幕给出反馈。因此，可能出现用户不知道接下来将手指放在哪儿的问题。

因此，在下文中将要描述的每个实施例中，由触摸传感器的每个栅格获取的手指的图片信息被可视化并显示在屏幕上。这里，在显示手指的图片信息的情况下，可以使用预定阈值，使得即使当处于非接触的接近状态时也执行显示。进一步，用于指示的光标可以叠加在图片信息上。更进一步，在手指没有与触摸传感器相接触而只是与其接近的情况下，可以使光标不叠加或不起作用。根据这样的配置，可以执行用户手指的地方(在接触之前)的视觉反馈，并且可以增强使用绝对坐标的触摸垫的可操作性。在下文中将会详细地描述每个实施例。

根据本公开的实施例的电子装置可以包括：操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

2.第一实施例

2.1.系统配置例子

当前实施例涉及图形用户界面(GUI)的控制器，并且使用触摸传感器的便携式电子装置将会被给出作为例子并进行描述。图1是示出根据第一实施例的便携式电子装置100的外观的示意图。便携式电子装置100包括设置在壳体108的前表面上的显示部102和布置在其后侧表面上的触摸传感器104。显示部102例如由液晶显示器(LCD)面板等配置而成。进一步，触摸传感器104可以由作为例子但不限于此的电容式触摸传感器配置而成。用户以显示部102面朝上的方式握住便携式电子装置100并操作后表面上的触摸传感器104，这样一来用户就可以移动显示部102上显示的光标，可以选择图标，并且可以执行诸如拖动操作之类的操作。

图2是示出图1所示的便携式电子装置100的配置的框图。如图2所示，便携式电子装置100包括显示部102、触摸传感器104、传送/接收部106、控制部110、图像生成部120和存储器130。

传送/接收部106经由无线通信网络传送/接收信息。触摸传感器104检测与用户手指的接近或接触。触摸传感器104将检测结果传送到控制部110。控制部110基于从触摸传感器104传送的检测结果生成将要显示在显示部102上的信息，并且将信息传送到图像生成部120。这里，由控制部110生成的信息包括下面将要描述的图片图像152和光标的代表点150的图像。控制部110起到用于获取通过触摸传感器104检测的结果的操作信息获取部的作用，并且起到用于生成代表点150和图片图像152的图像处理部的作用。进一步，控制部110基于光标的操作执行诸如内容选择和拖动操作之类的便携式电子装置100的总体处理。图像生成部120将从控制部110传送的信息叠加在通过传送/接收部106接收的图像上或存储器130中存储的图像上，从而生成将要显示在显示部102上的图像的数据。由图像生成部120生成的图像数据被传送到显示部102并显示在显示部102上。存储器130存储与用户手指的检测或接近度有关的信息和图像的信息等。

图2所示的配置可以包括硬件(电路)或中央处理单元(CPU)和用于使其起作用的软件(程序)。在这种情况下，程序可以存储在诸如存储器130之类的便携式电子装置100中包括的存储部中，或者存储在从外部插入的记录介质中。

2.2.触摸传感器的配置例子

图3是示出在触摸传感器104由栅格电容式触摸传感器配置而成的情况下的栅格结构的示意图。如图3所示，触摸传感器104具有以栅格(网格)状的方式布置的电容式传感器，并且以如下方式配置：针对每个栅格顺序地扫描与前表面相接近或相接触的用户手指的电容。

进一步，图4是示出在触摸传感器104由单元内光学触摸传感器配置而成的情况下的结构的示意图。单元内光学触摸传感器包括背光、TFT侧玻璃基板、液晶层(传感器)和相对侧玻璃基板。在使用光学触摸传感器的情况下，如图4所示，光从背光射出，通过液晶层(传感器)检测反射光的强度，并且检测用户的手指与触摸传感器的前表面的接近或接触。

图5是示出通过测量由图3所示的电容式触摸传感器104扫描的电容而获得的结果的例子的特征图。在图5中，为了以易于理解的方式示出，颠倒了通过触摸传感器104获得的电容值的极性。因此，在下文中，将会基于以下进行描述：随着用户的手指更加接近于触摸传感器104，电容值(通过颠倒极性获得的值)变得更小。如图5所示，电容在用箭头A示出的区域中局部变小，并且可以检测出用户的手指在这个区域中与表面相接近或相接触。

图6是示出在图3所示的栅格当中的特定栅格处根据与用户的手指的接近度或相接触的电容大小的特征图。这里，垂直轴表示电容的大小，而水平轴则表示在将手指带到接近于触摸传感器104前表面的过程中的经过时间。进一步，图6所示的数字值每个表示从用户的手指至触摸传感器104的前表面的距离(mm)。如图6所示，通过触摸传感器104检测的电容随着用户的手指更加接近于触摸传感器104的前表面而降低，并且当手指触摸前表面时变成最小。

2.3.屏幕上的显示例子

接下来描述显示部102上的图像的显示。在显示部102上，以叠加的方式显示通过传送/接收部106接收的图像和基于从触摸传感器104传送的检测结果而生成的信息。图7是以等高线的方式示出通过触摸传感器104获取的电容的示意图。这里，示出了在左手大拇指和右手大拇指同时对触摸传感器104进行触摸的情况下获得的结果，并且示出了如下状态：与环境相比，在触摸传感器104的左部和右部的区域B和区域C处，电容值较低。

进一步，图8A至8D是每个示出如下状态的示意图：基于图7所示的电容值生成光标的图像，并且在由传送/接收部106接收的URL的屏幕上以叠加的方式显示图像。这里，示出了如下例子：光标的图像叠加在由传送/接收部106接收的搜索引擎URL的屏幕上。图8A至8D每个示出了如下例子：图7所示的触摸传感器104的每个栅格的电容值被以图形的形式示出并叠加在屏幕上。因此，在图8A至8D中的每一个中，显示了分别对应于右手大拇指和左手大拇指这两个部分的光标。

图8A表示了如下例子：确定具有电容大小的等高线，并且该等高线通过图片图像152(上面反映了手指的图片的图像)来表达并叠加在屏幕上。这里，处在中心部分的白圆圈部分示出了根据操作而移动的光标的代表点(光标的中心)150。代表点150是在执行选择内容或拖动操作等的操作的情况下的参考点。代表点150例如被确定为超过阈值的每个栅格的电容值都向其添加的重心。进一步，在手指与触摸传感器104相接触的部分或其周围，以对应于电容值的形状显示图片图像152部分。因此，图片图像152部分对应于手指的形状。在图片图像152部分中，显示对应于电容值的等高线。进一步，根据电容值显示点，并且将要显示的点的密度随着手指更加接近于触摸传感器104而变得更高。进一步，控制部110可以对图片图像152部分执行半透明或修整处理(加框，并且其内部透明或半透明)，以便不隐藏作为原始图像的GUI和内容。进一步，在图8A中，例如可以根据左手手指和右手手指来改变将要叠加在图像上的代表点150和周围的图片图像152的颜色。

以这种方式，图8A所示的图片图像152部分以模拟的方式示出了与触摸传感器104相接触的手指。当用户在便携式电子装置100的后侧表面上对触摸传感器104进行触摸时，通过在视觉上确认显示在前表面上的显示部102上的代表点150和周围的图片图像152，用户可以在显示部102上显示的屏幕上可视地识别处在后侧表面的手指指示哪个位置。

在图8A的显示中，控制部110基于图7的电容值确定重心，并且生成代表点150的位置。进一步，控制部110基于图7的电容值确定等高线，并且生成与其相对应的图片图像152的信息。图像生成部120使用由控制部110生成的信息，并且将代表点150和图片图像152叠加在通过传送/接收部106接收的URL图像上，从而生成将要显示的图像。

代表点150的位置可以通过具有最小电容大小的重心的位置来表示。图9是示出确定重心的方法的例子的示意图。图9使用阴影示意性示出了每个栅格(在图9中示出了16个栅格)的电容大小，并且具有较大阴影程度的栅格具有较小的检测到的电容。这里，在用(Xcg，Ycg)表示重心坐标的情况下，可以根据以下方程确定重心的位置。

$\mathrm{Xcg}=\left(\underset{i=a}{\overset{n}{\mathrm{\Σ}}}\underset{j=b}{\overset{m}{\mathrm{\Σ}}}(\mathrm{Xi}\×Z(i,j)\right)/\left(\underset{i=a}{\overset{n}{\mathrm{\Σ}}}\underset{j=b}{\overset{m}{\mathrm{\Σ}}}(Z(i,j)\right)$

$\mathrm{Xcg}=\left(\underset{i=a}{\overset{n}{\mathrm{\Σ}}}\underset{j=b}{\overset{m}{\mathrm{\Σ}}}(\mathrm{Yi}\×Z(i,j)/j\right)/\left(\underset{i=a}{\overset{n}{\mathrm{\Σ}}}\underset{j=b}{\overset{m}{\mathrm{\Σ}}}(Z(i,j)\right)$

在上面的方程中，Z(i，j)表示坐标(x，y)＝(i，j)处的电容大小。

图10是示出确定一般等高线的方法的例子的示意图。可以根据以下过程来确定等高线。

(过程1)如图10所示，设置每个通过连接栅格中心而形成的三角形。

(过程2)将每个三角形的三个顶点的电容值的大小相互比较，按照大小对顶点进行排序，并且例如按照电容值的升序分别命名顶点T1、T2和T3。

(过程3)在三角形之一中确定等高线的一端。在这个三角形中，等高线的末端穿过连接顶点T1和T3的边T1-T3。例如，当等高线的值d满足T1＜T3时，等高线的末端穿过边T1-T3上通过用顶点T1和T3的电容值来按比例分配值d而获得的点。

(过程4)确定等高线在这个三角形中的另一端。当等高线的值d满足T1＜d＜T2时，等高线的另一端穿过连接顶点T1和T2的边T1-T2。进一步，当等高线的值d满足T2＜d＜T3时，等高线的另一端穿过连接顶点T2和T3的边T2-T3。更进一步，当等高线的值d满足d＝T2时，等高线的另一端穿过顶点T2。更进一步，当等高线的值d满足d＝T3时，等高线的另一端穿过顶点T3。

以这种方式，针对每个三角形执行上面的过程1至4，这样一来就可以唯一地确定穿过每个三角形的等高线。进一步，通过使用样条曲线来内插如此确定的等高线(多边形)，可以获得弯曲的等高线。

进一步，没有必要以上面直接反映了电容值的形状或大小来输出代表点150和周围的图片图像152的图像，并且可以使图像变形，比如像图8B、图8C和图8D中示出的那样。

图8B示出了与以代表点150作为其中心的等高线相对应的图片图像152的图像的例子，其与图8A相比被减小。使用这样的处理，由于图片图像152的区域变得较小，所以可以防止由屏幕上显示的图片图像152(手指图像)造成的在屏幕中发生忙碌状态。进一步，为了防止屏幕中的忙碌状态，还可以通过增加图片图像152部分的透明度来实现。

图8C示出了如下例子：相对于使用等高线的图片图像152，以逐步的方式在预定方向上转移代表点150。这里，添加了处理，使得随着电容降低，相对于图片图像152向屏幕的上侧转移代表点150。执行这种处理的原因在于，即使用户打算用手指的尖端(在许多情况下位于屏幕的上侧)对触摸传感器104的前表面进行触摸，实际的电容获取数据也会在手指的近似中心(手指肚)处变得最小，并且用户的知觉和代表点150的实际位置之间的不同可能向用户提供不舒适的感觉。通过如图8C所示转移代表点150的位置，可以抑制不舒适的感觉。

图8D示出了如下例子：在图8C的显示中，进一步在左右方向上转移代表点150。注意，在图8D中，图8C中描述的朝上方向上的转移和左右方向上的转移被混合，但是图8D的处理可以只是左右方向上的转移。

在图8D的例子中，添加了处理，使得相对于右光标，随着电容降低，代表点150与实际的电容峰值位置相比更向左转移。进一步，添加了处理，使得相对于左光标，随着电容降低，代表点150与实际的电容峰值位置相比更向右转移。这是因为，以与图8C相同的方式，用他/她的右手对触摸传感器104的前表面进行触摸的用户认识到光标的位置处在实际的峰值位置的左上方，而用他/她的左手对触摸传感器104的前表面进行触摸的用户则认识到光标的位置处在实际的峰值位置的右上方。

进一步，在两个手指(左手手指和右手手指)彼此接近到它们几乎彼此触摸的情况下，假定存在如下情况：如果实际的电容峰值位置被设置成代表点150的位置，则在两个光标之间存在间隙，并且光标难以到达置于光标之间的图标等。然而，通过添加图8D所示的处理，可以避免光标难以到达图标等的情况，因为当两个手指更加接近于彼此(不一定触摸)时，两个代表点150之间的距离可以设置成基本上为零。

在图8D中，以下方法被示例为在朝左方向上或朝右方向上转移代表点150的方法。首先，在对应于相接触的手指的代表点150的坐标首先相对于触摸传感器104的左/右中心线处在右手侧的情况下，确定触摸的手指是右手手指，并且相对于实际的电容峰值位置向左转移代表点150。进一步，在对应于相接触的手指的代表点150的坐标首先相对于触摸传感器104的左/右中心线处在左手侧的情况下，确定触摸的手指是左手手指，并且相对于实际的电容峰值位置向右转移代表点150。

在手指在两个部分与触摸传感器104相接触并且存在两个代表点150的情况下，确定右代表点150对应于右手而左代表点150对应于左手，并且相对于实际的电容峰值位置向左转移右代表点150，而相对于实际的电容峰值位置向右转移左代表点150。

注意，在确定转移方向之后，可以不取决于上面描述的方法而取决于对光标的跟踪来确定转移方向。进一步，在只有一个光标的情况下，可以设置成使得不向左或向右转移光标。

使用绝对坐标系显示了图8所示的代表点150和图片图像152。在这种情况下，由于图片图像152示出了手指图像，所以用户可以从图片图像152的显示中直观地识别它是绝对坐标系。在分开地设置触摸传感器104和显示部102的情况下，尽管变得难以掌握手指的相对位置关系，但是以模拟的方式示出手指的图片图像152的显示可以便利于用户的理解。以这种方式，甚至在多触摸的情况下，用户也可以操作每个光标而不会变得混淆。

进一步，在触摸传感器104设置在后表面上的情况下，尽管假定存在手指无意触摸操作表面的情况，但是以模拟的方式示出手指的图片图像152的显示使得更容易识别屏幕上的哪个位置对应于手指，这样一来就可以防止错误操作。注意，显示并不限于绝对坐标系，也可以是相对坐标系。

2.4.关于低通滤波处理

进一步，在图8中，光标(代表点150)进一步叠加在其中通过图片图像152来表示等高线的模拟手指图像上，并且存在其中电容式传感器具有比较大的噪声的一些情况，以及其中诸如轮廓之类的边缘形状突出的一些情况。为了防止这样的情形，可以向作为将要提出的等高线的基础的每个栅格的电容值执行低通滤波(LPF)处理。

图11和图12每个是示出低通滤波处理的框图。在控制部110中执行低通滤波处理。在图11所示的处理中，当确定光标的代表点150的坐标时，在不对每个栅格的电容值执行低通滤波处理的情况下计算重心(框400，410)，对重心的坐标执行弱低通滤波(在下文中被称为LPF1)处理(框420)，并且经过LPF1之后的坐标被显示为代表点150(框430)。另一方面，在确定通过等高线表示的图片图像152的情况下，对每个栅格的电容值执行强低通滤波(在下文中被称为LPF2)处理(框440)，根据LPF2处理之后的电容值计算图片图像152(框450)，并且显示图片图像152(框460)。

进一步，在图12所示的处理中，在根据每个栅格的电容值计算重心和图片图像152(框500)之后，对重心的代表坐标执行弱低通滤波(LPF1)处理(框520)，并且对图片图像152执行强低通滤波(LPF2)处理(框550)。然后，显示LPF1处理之后的重心(代表点150)(框530)，并且在代表点150的坐标周围呈现LPF2处理之后的图片图像152(框560)。注意，在图11和图12中，还可以省略LPF1处理。

根据这样的处理，尽管与代表点150的移动相比对于通过图片图像152表示的模拟手指图像的移动而言会发生某种等待时间，但是可以抑制图片图像152的图像边缘变得粗糙，并且可以防止边缘变得摇摆不定。进一步，通过用低通滤波而不是对代表点150的坐标计算来确定图片图像152的图像，与代表点150的移动有关的等待时间未被恶化，因此可以维持令人满意的可操作性。另外，由于坐标光标的操作跟随能力高于图片图像152所表示的模拟手指图片，所以可以使得可操作性令人满意。进一步，通过对图片图像152所表示的模拟手指图片执行略微较强的LPF2，其移动被稳定化，并且可以减少屏幕中的忙碌状态。

2.5.显示手指形状的例子

图8根据手指的位置显示了代表点150和图片图像152，并且实际的手指形状还可以连同代表点150一起显示。图13是示出如下例子的示意图，在所述例子中，基于电容显示光标的代表点150，并且还基于电容显示图片图像152，而且另外显示实际手指的形状154。如上所述，由于根据与触摸传感器104的接近度针对每个栅格检测电容，所以在手指更加接近于触摸传感器104的情况下，根据其形状检测电容。因此，如图13所示，可以根据电容生成手指形状的图像，并且图像可以叠加。根据这样的显示，用户可以可靠地在视觉上识别对便携式电子装置100的后表面进行操作的手指的位置，并且可以执行希望的操作。

同样在图13所示的例子中，在每个手指肚的位置处检测到实际的电容峰值，并且代表点150从峰值位置在朝上方向上转移并显示。进一步，在图13所示的例子中，由于右手食指和中指与触摸传感器104相接触，所以代表点150被显示。另一方面，尽管无名指更加接近于触摸传感器104，它也没有与其相接触。因此，无名指的形状154和对应于无名指的图片图像152显示在显示部102上，但是对应于无名指的代表点150未被显示。以这种方式，同样在手指没有与触摸传感器104相接触的情况下，代表点150未被显示而手指的形状154和图片图像152被显示，从而使得用户能够根据显示部102的显示识别各个手指在后表面上的触摸传感器104上的位置。

2.6.其中根据距离改变图片图像的范围和密度的显示例子

图14是示出其中在将手指带到更加接近于触摸传感器104的过程中改变光标周围的图片图像152的范围和密度的状态的示意图。在图14中，3mm、2mm和1mm的距离每个表示触摸传感器104和手指之间的距离。如图14所示，随着手指被带到更加接近于触摸传感器104，图片图像152的面积增加。进一步，随着手指被带到更加接近于触摸传感器104，图片图像152的点的密度根据等高线而增加。然后，当手指触摸到触摸传感器104时，图片图像152的面积变成最大，并且与此同时，作为光标中心的代表点150被显示，并且变得可以使用代表点150来执行诸如图标选择、滚动和拖动之类的操作。根据这样的显示，用户可以在视觉上识别触摸传感器104和手指之间的距离，并且还可以在视觉上识别是否实际上可以执行诸如图标选择之类的操作。

基于图6来进行描述。在电容值等于或大于第一阈值的情况下，不显示图片图像152。进一步，在电容值等于或大于第二阈值的情况下，不显示代表点150。因此，在电容值小于第一阈值并且等于或大于第二阈值的情况下，只显示图片图像152。进一步，在电容值小于第二阈值的情况下，手指与触摸传感器104相接触或者手指和触摸传感器104之间的距离极小，因此代表点150和图片图像152两者都被显示。进一步，在电容值等于或大于第一阈值的情况下，既不显示代表点150也不显示图片图像152。

以这种方式，当手指没有与触摸传感器104相接触但处于相接近的状态时，由于模拟的手指图片(图片图像152)被显示而光标(代表点150)未被显示，所以用户被通知手指位置并且还被通知不能执行操作。以这种方式，当仅呈现手指的图片图像152时，配置可以如下：不能执行诸如选择、确定和拖动之类的自由光标操作。进一步，在图片图像152的尺寸等于或小于预定值的情况下，配置可以如下：不能执行自由光标操作，这样一来当手指的尺寸小时就可以禁止操作，这可以实现诸如儿童锁之类的处理。

在图14中，可以确切地基于电容值来呈现图片图像152。进一步，在不用确切地基于电容值来呈现的情况下，可以使用基于电容大小定义的具有预先准备的不同尺寸的图像模板(圆形和方形等)来呈现图片图像152。在这种情况下，随着电容降低并且手指更加接近于触摸传感器104，使用具有更大面积尺寸的图像模板。这里，可以基于等高线生成诸如卵形之类的形状的纵横比和手指的角度。通过执行这样的处理，即使当用户从触摸传感器104释放他/她的手指时，也可以呈现根据距离的模拟手指图像，只要手指处在其中可以获取手指的电容的范围之内，因此可以防止光标突然消失和用户变得混淆。

2.7.手指从触摸传感器的可检测范围移开的情况下的显示例子

图15是示出在手指从其中使用触摸传感器104可以检测到电容的范围移出的情况下的显示例子的示意图。在其中使用触摸传感器104可以检测到电容的范围处在与触摸传感器104的前表面相距距离d的范围内的情况下，显示被执行，使得在可检测的范围之内，随着手指更加远离触摸传感器104的前表面，图片图像152的范围变得更小，如图14中描述的那样。在手指从可检测的范围移开的情况下，基于过去的手的移动来估计手指的位置，并且在估计的位置处显示图片图像152。控制部110在手指处于可检测范围内时基于电容来检测手指运动的xyz坐标，在手指从可检测范围移开时基于过去在可检测范围之内获取的手指的xyz坐标来估计手指的xyz坐标，并且在对应于估计的z位置的范围内在估计的xy位置处显示图片图像152。这里，x坐标在触摸传感器104的前表面上与y坐标成直角，而z坐标则表示在从触摸传感器104的前表面垂直离开的方向上的坐标。

其中可以在接近的距离内检测到手指的范围在自电容的电容式传感器的情况下与触摸传感器的前表面相距大约4mm，在互电容式传感器的情况下与触摸传感器的前表面相距大约20mm，并且在单元内光学触摸传感器的情况下与前表面相距大约30mm。因此，可能存在如下情况：不能视情况来检测执行操作的手指。在这样的情况下，如图15所示，可以通过以下来减少图片图像152在屏幕上的消失：基于对应于手指的图片图像152消失之前的轨迹，估计手指应当处于的位置，并且呈现图片图像152。估计方法的例子包括涉及以下方面的技术：计算过去n个历史的移动速度的平均值，并且将平均值添加到最新的坐标。如上所述，通过外推由图片图像152表示的模拟手指运动，可以向用户示出手指移动的方向。

2.8.当前实施例的便携式电子装置中的处理

接下来，基于图16来描述根据当前实施例的便携式电子装置100执行的处理。首先，在步骤S10中，用户对触摸传感器104进行触摸。在随后的步骤S12中，触摸传感器104获取每个栅格的电容值，并且将电容传送到控制部110。接下来，在步骤S14中，基于每个栅格的电容值，计算重心的坐标(Xdg，Ycg)。

在这之后，在步骤S16中，对每个栅格的电容值执行低通滤波(LPF2)处理。接下来，在步骤S18中，根据在步骤S16中执行的LPF2处理之后的电容值计算等高线，并且生成图片图像152。

在随后的步骤S20中，使用等高线对图片图像152执行诸如放大、缩小或偏移之类的处理。在这之后，在步骤S22中，对重心的坐标(Xdg，Ycg)执行低通滤波(LPF1)处理，并且计算光标中心(代表点150)的坐标。

接下来，在步骤S24中，呈现使用等高线生成的图片图像152，并且在随后的步骤S26中，呈现光标(代表点150)。在这之后，在步骤S28中，代表点150和图片图像152叠加在原始图像上并显示在显示部102上。

注意，步骤S12至S22的处理主要由控制部110执行，而步骤S24至S28的处理则主要由图像生成部120执行。

如上所述，根据第一实施例，基于触摸传感器104检测的电容值显示光标的中心(代表点150)，并且在代表点150周围显示对应于电容值的图片图像152。因此，用户可以识别显示屏上的模拟手指图像，可以容易地在显示部102上执行操作输入，并且还可以防止错误操作。

特别地，在装备有使用绝对坐标系的触摸垫的电子装置中，针对显示部102执行手指图片信息的视觉反馈，因此在使用其中实际上不能看到手指的后表面操作系统时，变得可以可靠地防止当手指的一部分在未被用户注意到的情况下触摸到触摸传感器时造成错误操作。进一步，针对显示部102执行手指图片信息的视觉反馈，因此变得可以使用户直观地理解绝对坐标系正在被使用。

另外，针对显示部102执行手指图片信息的视觉反馈，因此甚至在从触摸传感器释放手指之后对屏幕的反馈也保持，所以可以防止用户变得不知道接下来将手指放在哪儿。

3.第二实施例

3.1.系统配置例子

接下来描述第二实施例。在第二实施例中，从触摸传感器获得的模拟手指图片图像显示在远地方的屏幕上。图17和图18每个是示出根据第二实施例的控制器200和电子装置300的配置的配置图。控制器200是用于执行对电子装置300的远程控制的装置，并且具有例如置于其中的电容式触摸传感器230。注意，以与第一实施例中相同的方式，触摸传感器230并不限于电容式触摸传感器。

在第二实施例中，当用户使用他/她的手指在控制器200的触摸传感器230上指定位置时，根据位置信息在电子装置300的显示部350上显示光标。进一步，以与第一实施例中相同的方式，连同图片图像152一起显示光标的代表点150。注意，电子装置300表示诸如电视接收机或机顶盒之类的装置，并且并不特别地受限于此。进一步，没有特别地限制控制器200和电子装置300之间的通信模式，并且可以经由无线通信网络等执行通信。

图19是示出第二实施例的配置的框图。如图19所示，控制器200包括控制部210、传送部220、触摸传感器230和存储器240。进一步，电子装置300包括控制部310、图像生成部320、接收部330、存储器340、显示部350和图像接收部360。

进一步，图20是示出其中电子装置300表示诸如机顶盒之类的装置并且分开地配置显示部350的例子的框图。

如图17和图18所示，触摸传感器230设置在控制器200的前侧。以与第一实施例的触摸传感器104相同的方式，触摸传感器230检测与用户手指的接近度或接触。触摸传感器230将检测结果传送到控制部210。控制部210将从触摸传感器230传送的检测结果经由传送部220传送到电子装置300。存储器240临时存储与用户手指的接近度或接触相关的信息等。

当电子装置300的接收部330接收到与用户手指的接近度或接触相关的信息时，接收部330将信息传送到控制部310。控制部310基于从接收部330传送的检测结果生成将要显示在显示部350上的信息，并且将信息传送到图像生成部320。这里，由控制部310生成的信息包括图片图像152和光标的代表点150的图像。控制部310起到用于生成代表点150和图片图像152的图像处理部的作用。进一步，控制部310基于光标的操作执行诸如内容选择和拖动操作之类的电子装置300的总体处理。图像生成部320将从控制部310传送的信息叠加在通过图像接收部360接收的图像上或存储器340中存储的图像上，从而生成将要显示在显示部350上的图像的数据。由图像生成部320生成的图像数据被传送到显示部350并显示在显示部350上。

注意，在上面的描述中，由触摸传感器230检测的结果被从控制器200一侧传送到电子装置300，并且将要显示在显示部350上的信息由电子装置300的控制部310生成，但不限于此。将要显示在显示部350上的信息可以由控制器200的控制部210生成，并且可以被传送到电子装置300。在这种情况下，控制部210起到用于获取通过触摸传感器230检测的结果的操作信息获取部的作用，并且起到用于生成代表点150和图片图像152的图像处理部的作用。电子装置300的图像生成部320将由控制器200的控制部210生成的信息叠加在通过图像接收部360接收的图像上或存储器340中存储的图像上，从而生成将要显示在显示部350上的图像的数据。

分别在图19和图20中示出的配置每个可以包括硬件(电路)或中央处理单元(CPU)和用于使其起作用的软件(程序)。在这种情况下，程序可以存储在诸如存储器240或存储器340之类的控制器200或电子装置300中包括的存储部中，或者存储在从外部插入的记录介质中。

3.2.屏幕上的显示例子

图17和图18每个示出了其中用户使用他/她的左手大拇指对触摸传感器230的左手侧进行触摸的状态。因此，光标的代表点150显示在与显示部350的左手侧相对应的位置。进一步，以与第一实施例中相同的方式，根据电容在光标周围显示图片图像152。在图17和图18中，示出了图8中描述的变形的图像，并且另外计算了具有对应于预定阈值的电容值的区域的边缘(轮廓)，并且边缘被呈现为图片图像152的外框。进一步，图17示出了其中左手大拇指与触摸传感器230上的比较大的区域相接触的状态，而图18则示出了其中左手大拇指与触摸传感器230上的比较小的区域相接触的状态。亦即，图17示出了其中左手大拇指重压在触摸传感器230上的状态，而图18则示出了其中左手大拇指对触摸传感器230进行轻微触摸的状态。注意，图片图像152的外框的形状可以进一步简化，并且可以适配成具有预定半径的卵形或圆形。

图21示出了其中用户用他/她的左手大拇指对触摸传感器230的左手侧进行触摸并且用他/她的右手食指对触摸传感器230的右手侧进行触摸的多触摸状态。在这种情况下，以与用户在触摸传感器230上进行触摸的两个位置相对应的方式，在显示部350的左手侧和右手侧，每个具有在其周围的图片图像152的两个光标代表点150显示在两个部位上。在这种情况下，可以根据触摸传感器230的每个栅格的电容特性来改变光标(代表点150和图片图像152)的呈现表达。例如，通过变更屏幕的右手侧和左手侧之间的光标的颜色，用户变得可以区分用户正在操作左光标和右光标中的哪个光标。

同样在第二实施例中，使用绝对坐标系来显示代表点150和图片图像152，并且手指在触摸传感器230上的位置在一对一的基础上对应于显示部350上的代表点150和图片图像152。由于图片图像152表示手指图像，所以用户可以从图片图像152的显示中直观地识别它是绝对坐标系。在分开地设置触摸传感器230和显示部350的情况下，尽管变得难以掌握手指的相对位置关系，但是以模拟的方式示出手指的图片图像152的显示可以便利于用户的理解。以这种方式，甚至在多触摸的情况下，用户也可以操作每个光标而不会变得混淆。

图22是根据每个栅格的电容大小改变光标的状态的例子。在改变状态的情况下，电子装置300例如执行改变将要呈现的代表点150或图片图像152的颜色和尺寸等的行为，以及改变可以操作的主体的行为。这里，为了改变状态，图片图像152的尺寸可以用作指标。基于通过在同一强度下示出的图片图像152的尺寸(区域尺寸、适配的圆形的直径)是否超过预定阈值来改变状态。以这种方式，例如由于手指的尺寸在成年人和儿童之间不同，所以可以在成年人和儿童之间以不同的颜色来表达图片图像152(模拟的手指)。进一步，在图片图像152的区域尺寸小于预定值的情况下，确定操作由儿童执行并且操作被禁止，这可以实现诸如儿童锁之类的处理。

图23是示出其中指示电子装置300状态的信息叠加在模拟的手指图像(图片图像152)上的例子的示意图。如图23所示，根据诸如“初始状态”和“加载”之类的电子装置300的状态来改变指示模拟手指图像的图片图像152，这样一来用户就可以在视觉上识别电子装置300的状态。进一步，通过变更左右之间的代表点150的颜色，用户变得可以区分用户正在操作左光标和右光标中的哪个光标。根据这样的配置，用户可以用小的视线移动直观地识别装置的状态。

如上所述，根据第二实施例，在其中分开地设置触摸传感器230和显示部350的系统中，基于由触摸传感器230检测的电容值显示光标的中心(代表点150)，并且取决于电容值的图片图像152显示在代表点150周围。以这种方式，用户可以识别显示屏上的模拟手指图像，并且可以容易地执行显示部350上的操作输入，而且还可以防止错误操作。

本领域技术人员应当理解的是，取决于设计要求和其它因素，可以进行各种修改、组合、再组合和变更，它们都处在所附权利要求或其等效含义的范围之内。

本公开包含与2011年3月17日向日本专利局申请的日本优先权专利申请JP 2011-058988中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。

Claims (19)

1.一种电子装置，包括：

操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；

图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及

图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

2.根据权利要求1所述的电子装置，进一步包括：

显示部，其设置在与所述操作表面不同的地方，并且显示其中所述图片图像叠加在原始图像上的图像。

3.根据权利要求1所述的电子装置，其中，所述操作信息是从另一个装置接收的信息，所述另一个装置与所述电子装置分开地设置，并且具有所述操作表面。

4.根据权利要求1所述的电子装置，其中，所述图像处理部基于所述操作信息生成所述操作主体的代表点的位置的信息，并且

所述图像生成部生成其中处在所述操作主体的代表点的位置处的图像连同所述图片图像一起叠加在原始图像上的图像。

5.根据权利要求1所述的电子装置，其中，所述图像处理部将所述图片图像生成为通过使原始图像半透明或者通过修整原始图像而获得的图像。

6.根据权利要求1所述的电子装置，其中，在由所述操作信息获取部检测到的操作信息的信号强度等于或小于预定阈值的情况下，所述图像处理部不生成所述图片图像的信息。

7.根据权利要求4所述的电子装置，其中，在由所述操作信息获取部获取的操作信息的信号强度等于或小于第一阈值的情况下，所述图像处理部不生成所述图片图像的信息，并且在由所述操作信息获取部检测到的操作信息的信号强度等于或小于比所述第一阈值大的第二阈值的情况下，所述图像处理部不生成所述代表点的位置的信息。

8.根据权利要求4所述的电子装置，其中，所述图像处理部针对所述图片图像的信息执行具有一定强度的第一低通滤波处理，并且还针对所述代表点的图像的信息执行第二低通滤波处理，所述第一低通滤波处理的强度高于所述第二低通滤波处理的强度。

9.根据权利要求1所述的电子装置，其中，在由所述操作信息获取部获取的操作信息的信号强度变得等于或小于预定值的情况下，所述图像处理部基于过去获取的操作信息的信号强度来估计并生成图片图像。

10.根据权利要求7所述的电子装置，其中，在由所述操作信息获取部检测到的操作信息的信号强度等于或小于比所述第一阈值大的第二阈值的情况下，不接受由所述操作主体执行的输入。

11.根据权利要求1所述的电子装置，其中，基于所述操作信息，所述图像处理部生成预先设置的图形作为图片图像的信息。

12.根据权利要求1所述的电子装置，其中，基于所述操作信息，所述图像处理部生成对应于所述操作表面和所述操作主体之间的距离的图片图像。

13.根据权利要求12所述的电子装置，其中，所述图像处理部生成具有与所述操作信息的信号强度相对应的尺寸的图片图像。

14.根据权利要求12所述的电子装置，其中，所述图像处理部生成具有与所述操作信息的信号强度相对应的密度的图片图像。

15.根据权利要求13所述的电子装置，其中，在所述图片图像的尺寸等于或小于预定值的情况下，不接受由所述操作主体执行的输入。

16.一种信息处理方法，包括：

基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；

基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及

生成其中所述图片图像叠加在原始图像上的图像。

17.一种用于使计算机起到以下作用的程序：

用于基于操作者在操作表面上执行的操作而获取由操作主体输入的操作信息的装置；

用于基于所述操作信息而生成上面反映了所述操作主体的图片的图片图像的装置；以及

用于生成其中所述图片图像叠加在原始图像上的图像的装置。

18.一种电子装置系统，包括：

控制器，所述控制器包括：

操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；以及

传送部，其传送所述操作信息；以及

电子装置，所述电子装置包括：

接收部，其接收所述操作信息；

图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及

图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

19.一种电子装置系统，包括：

控制器，所述控制器包括：

操作信息获取部，其基于操作者在操作表面上执行的操作，获取由操作主体输入的操作信息；

图像处理部，其基于所述操作信息，生成上面反映了所述操作主体的图片的图片图像；以及

传送部，其传送所述图片图像的信息；以及

电子装置，所述电子装置包括：

接收部，其接收所述图片图像的信息；以及

图像生成部，其生成其中所述图片图像叠加在原始图像上的图像。

Images