CN107665087A - 图像显示装置、图像显示方法以及图像显示系统 - Google Patents

图像显示装置、图像显示方法以及图像显示系统 Download PDF

Info

Publication number
CN107665087A
CN107665087A CN201710624499.7A CN201710624499A CN107665087A CN 107665087 A CN107665087 A CN 107665087A CN 201710624499 A CN201710624499 A CN 201710624499A CN 107665087 A CN107665087 A CN 107665087A
Authority
CN
China
Prior art keywords
mentioned
image display
image
notepaper
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710624499.7A
Other languages
English (en)
Other versions
CN107665087B (zh
Inventor
寺田智
栋朝洋树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017137881A external-priority patent/JP6971671B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN107665087A publication Critical patent/CN107665087A/zh
Application granted granted Critical
Publication of CN107665087B publication Critical patent/CN107665087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图像显示装置，能与其它图像显示装置通信，该其它图像显示装置能显示配置有包含文字的图形的图像，上述图像显示装置具备：图形输入部，其输入图形；图像显示部，其显示配置有上述输入的一个或多个图形的图像；区域确定部，其确定上述显示的图像的一部分区域；图形取得部，其取得上述确定的区域中包含的图形；以及图形发送部，其发送上述取得的图形和在上述其它图像显示装置显示图形的情况下所使用的该图形的属性以显示于上述其它图像显示装置。

Description

图像显示装置、图像显示方法以及图像显示系统
技术领域
本发明涉及图像显示装置等。
背景技术
近年来，设有大型显示器的图像显示装置变得普及，因此将该图像显示装置用作电子黑板而进行会议、教学的情况增多。另一方面，个人持有的中小型的便携终端也在普及，因此已尝试将其与设于会议室、教室的共享大型图像显示装置联动，从而在用户之间顺利地进行信息共享、意见交换，提高会议、教学的便利性。
此时，已公开从各用户自身所利用的平板状的终端装置向上述图像显示装置发送便条的发明(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：特开2010-205137号公报
发明内容
发明要解决的问题
近年来，用户侧的终端装置也在大型化，有时会希望记载多个便条，根据需要使图像显示装置进行显示。但是，以往只不过是记载要发送的便条，而无法从在终端装置中输入的多个图形、便条之中进行选择并发送。
而且，在上述专利文献1中，无法指定所粘贴的便条的属性(例：颜色、大小、形状、重要度、所有者)，因此在将多个便条粘贴于显示装置的情况下，存在显示了多个同样形状的便条而不易查看、重要的便条和不那么重要的便条混杂而不易查看、无法区分是谁写的便条等问题，在顺利交换意见、促进信息共享方面存在障碍。
另外，由于图像显示装置的大型化，因此已提出例如将图像显示装置用作桌子，当场进行输入的利用方法。这种情况下，在对手写的便条赋予属性的情况下，需要每次从菜单、图标进行选择，会产生使用便利性不佳的问题。
为了解决上述问题，本发明提供能从显示的一个或多个图形中选择图形，判断该选择的图形的属性，基于该属性适当地显示图形的图像显示装置等。
用于解决问题的方案
为了解决上述问题，本发明的图像显示装置的特征在于，具备：
图形输入部，其输入包含文字的图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在显示该图形的情况下所使用的图形的属性；以及
图形显示部，其基于上述判断出的图形的属性来显示上述取得的图形。
本发明的图像显示装置能与其它图像显示装置通信，上述其它图像显示装置能显示配置有包含文字的图形的图像，上述图像显示装置的特征在于，具备：
图形输入部，其输入图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在上述其它图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送部，其发送上述取得的图形和该图形的属性以显示于上述其它图像显示装置。
一种图像显示方法，其特征在于，具备：
图形输入步骤，输入包含文字的图形；
图像显示步骤，显示配置有上述输入的一个或多个图形的图像；
区域确定步骤，确定上述显示的图像的一部分区域；
图形取得步骤，取得上述确定的区域中包含的图形；
属性判断步骤，针对上述取得的图形，判断在显示该图形的情况下所使用的图形的属性；以及
图形显示步骤，基于上述判断出的图形的属性来显示上述取得的图形。
一种图像显示装置的图像显示方法，该图像显示装置能与其它图像显示装置通信，上述其它图像显示装置能显示配置有包含文字的图形的图像，上述图像显示方法的特征在于，具备：
图形输入步骤，输入图形；
图像显示步骤，显示配置有上述输入的一个或多个图形的图像；
区域确定步骤，确定上述显示的图像的一部分区域；
图形取得步骤，取得上述确定的区域中包含的图形；
属性判断步骤，针对上述取得的图形，判断在上述其它图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送步骤，发送上述取得的图形和该图形的属性以显示于上述其它图像显示装置。
本发明的图像显示系统包括能显示配置有包含文字的图形的图像的第1图像显示装置和第2图像显示装置，其特征在于，
上述第1图像显示装置具备：
图形输入部，其输入图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在上述第2图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送部，其将上述取得的图形和该图形的属性发送到上述第2图像显示装置，
上述第2图像显示装置显示从上述第1图像显示装置接收到的图形。
发明效果
根据本发明，在图像显示装置中显示配置有一个或多个图形的图像，从显示的图像确定一部分区域。然后，针对所确定的区域中包含的图形，判断在显示该图形的情况下所使用的图形的属性。然后，能基于判断出的图形的属性显示该取得的图形。
附图说明
图1是用于说明第1实施方式的系统整体的图。
图2是用于说明第1实施方式的终端装置的功能构成的图。
图3是用于说明第1实施方式的显示装置的功能构成的图。
图4是用于说明第1实施方式的处理的概要的图。
图5是用于说明第1实施方式的终端装置和显示装置的处理流程的序列图。
图6是用于说明第1实施方式的动作例的图。
图7是用于说明第2实施方式的终端装置的存储部的构成的图。
图8是各实施方式的便笺数据属性判断表的数据结构的一个例子。
图9是用于说明第2实施方式的终端装置和显示装置的处理流程的序列图。
图10是用于说明第2实施方式的动作例的图。
图11是用于说明第4实施方式的动作例的图。
图12是用于说明第5实施方式的终端装置和显示装置的处理流程的序列图。
图13是用于说明第6实施方式的动作例的图。
图14是用于说明第7实施方式的终端装置的处理流程的流程图。
图15是用于说明第7实施方式的动作例的图。
图16是用于说明第8实施方式的终端装置的处理流程的流程图。
图17是用于说明第8实施方式的动作例的图。
图18是用于说明第9实施方式的动作例的图。
图19是用于说明第10实施方式的动作例的图。
图20是用于说明第13实施方式的动作例的图。
图21是用于说明第14实施方式的动作例的图。
图22是用于说明第15实施方式的处理流程的图。
图23是用于说明第15实施方式的动作例的图。
图24是用于说明第15实施方式的动作例的图。
图25是用于说明第16实施方式的处理流程的图。
图26是用于说明第16实施方式的处理流程的图。
图27是用于说明第17实施方式的处理流程的图。
附图标记说明
1：图像显示系统
10：终端装置
100：控制部
110：显示部
120：触摸检测部
130：图像处理部
140：通信部
150：存储部
152：图形数据
154：便笺图像数据
20：显示装置
200：控制部
210：显示部
220：操作输入部
240：通信部
250：存储部
252：图形数据
254：便笺图像数据
256：便笺数据。
具体实施方式
以下，说明使用了本发明的图像显示装置的图像显示系统1。此外，各实施方式是为了便于对本发明进行说明而记载的，本发明的范围不限于以下的实施方式。
[1.第1实施方式]
[1.1系统构成]
首先，对第1实施方式进行说明。在第1实施方式中，图像显示装置构成为包括平板(tablet)等作为可携带型显示装置的终端装置10和大型显示器等固定型显示装置20。
终端装置10与显示装置20构成为能连接。例如，在本实施方式中，以能通过LAN(无线LAN、有线LAN)进行通信的方式连接。作为连接方法，除此以外，还可以用Bluetooth(蓝牙)(注册商标)、ZigBee(注册商标)这样的近距离无线通信等进行连接。即，只要是能使终端装置10与显示装置20进行通信的连接方式即可，方法不论。
[1.2功能构成]
接着，基于附图对功能构成进行说明。
[1.2.1终端装置]
首先，基于图2说明终端装置10的功能构成。终端装置10构成为具备：控制部100、显示部110、触摸检测部120、图像处理部130、通信部140以及存储部150。
控制部100是用于对终端装置10的整体进行控制的功能部。控制部100通过读出并执行存储部150中存储的各种程序来实现各种功能，例如包括CPU(Central ProcessingUnit：中央处理单元)等。
显示部110是显示各种内容等的功能部。例如包括LCD(liquid crystal display：液晶显示器)、有机EL显示器等。另外，在显示部110中，在显示区域整体显示有整体图像，在该整体图像中显示有图形。
触摸检测部120是用于通过检测来自用户的触摸操作来实现操作输入的功能部。例如，与显示部110一体构成而利用触摸面板等实现。检测方法可以使用静电电容方式、电磁感应方式、红外线方式等任意方法，只要能检测触摸操作即可。另外，检测部位可以是1点，也可以是能进行多点检测。
另外，利用触摸检测部120来输入图形。例如，检测从用户输入触摸的坐标，根据检测出的坐标存储轨迹(stroke)信息。然后，基于轨迹信息识别图形，并将该图形存储于图形数据152。另外，将该图形原样地显示于整体图像。
图像处理部130是用于实现图像处理的功能部。图像处理部130例如实现从输入的图形(手写文字)进行文字识别而输出文本文字或者从所显示的整体图像中切出包围区域的图像等各种图像处理。另外，进行从轨迹信息变换为图形或者将矢量数据变换为栅格数据的处理。
该图像处理部130也可以通过如下方式实现：根据需要按每个处理将程序存储于存储部150，根据需要将其读出并执行。
通信部140是终端装置10用于进行通信的功能部。例如，利用IEEE802.11a/b/g/n这样的无线LAN，或者利用Bluetooth等近距离无线通信。此外，也可以利用LTE通信等进行一般的通信。
存储部150是存储有终端装置10的动作所需的各种程序、各种数据的功能部。存储部150例如包括半导体存储器、HDD(Hard Disk Drive：硬盘驱动器)等。
另外，存储部150中除了各种程序以外，还存储有图形数据152和便笺图像数据154。
图形数据152存储有基于通过手描输入(例如轨迹描绘)而存储的轨迹信息的手写文字、手写图形、从其它输入装置(例如扫描仪等)输入的图像、从其它装置接收而存储的图像。
例如，由用户手写输入的轨迹信息汇集起来，从而作为一个成组的图形被存储。另外，还存储来自扫描仪、数字照相机、图像文件等的JPEG数据、BMP数据这样的图像文件。
在此，本说明书中的图形是包含文字、符号的概念。在此，文字(符号)包括用户用触摸笔、手、鼠标等书写的文字即手写文字以及用ASCII码、JIS码、Unicode等表示的文本文字。
因此，图形数据152存储用键盘等输入部输入的文本文字(串)、接收到的文本文字(串)等。在这种情况下，也可以例如将显示区域所处的坐标、作为文本区域的坐标与文本文字(串)一起存储。
另外，有时图形包括多个文字即文字串。即，在手写输入的情况下，将按第1时间间隔输入的轨迹识别为一个手写文字。另外，该手写文字连续输入从而被识别为手写文字串。它们作为图形存储于图形数据152。
另外，各图形也可以存储有显示部110的显示区域中的坐标。并且，各图形按照坐标进行显示，由此作为整体图像显示于显示部110。
便笺图像数据154是由用户从图形切出一部分而生成的数据。可以将切出的一个或多个图形存储为便笺图像数据，也可以将从整体图像切取的图像存储为便笺图像数据。另外，在切出的图形是矢量数据、基于轨迹信息的图形的情况下，也可以先变换为栅格数据再进行切取。
[1.2.2显示装置]
接下来基于图3对显示装置20的功能构成进行说明。如图3所示，显示装置20构成为具备：控制部200、显示部210、操作输入部220、通信部240以及存储部250。
控制部200是用于对显示装置20的整体进行控制的功能部。控制部200通过读出并执行存储部250中存储的各种程序来实现各种功能，例如包括CPU(Central ProcessingUnit)等。
显示部210是显示各种内容等的功能部。例如包括LCD(liquid crystal display：液晶显示器)、有机EL显示器等。另外，显示部210中显示整体图像，其中显示图形。
操作输入部220是用于实现来自用户的操作输入的功能部。例如，由外设的键盘、鼠标、与显示部210一体构成的触摸面板等实现。检测方法可以使用静电电容方式、电磁感应方式、红外线方式等任意方法，只要能检测触摸操作即可。另外，检测部位可以是1点，也可以是能进行多点检测。
通信部240是显示装置20用于进行通信的功能部。例如，利用IEEE802.11a/b/g/n这样的无线LAN，或者利用Bluetooth等近距离无线通信。
存储部250是存储有显示装置20的动作所需的各种程序、各种数据的功能部。存储部250例如包括半导体存储器、HDD(Hard Disk Drive)等。
另外，存储部250中除了各种程序以外，还存储有图形数据252、便笺图像数据254以及便笺数据256。
图形数据252存储在显示装置20中输入的图形和从终端装置10接收到的图形。存储的图形数据会显示于显示部210的显示区域。图形数据252是按与图形数据152相同种类的数据存储的，因此省略详细的说明。
另外，从终端装置10接收的是便笺图像数据254。基于便笺图像数据254，生成并存储便笺数据256。
在此，本实施方式中说明的便笺数据是能将图形作为一个集合进行管理的数据。便笺数据不仅仅是进行显示，还能改变颜色或者在显示区域内移动而进行显示。
便笺数据所包含的可以是便笺图像数据中包含的图形，也可以是从手写文字变换的文本文字。另外，便笺数据也可以是能切换显示/非显示，或者自由进行粘贴、删除等。
另外，便笺数据可以与所显示的其它内容(例如图形、图像)重叠显示，也可以单独显示。
[1.3处理流程]
接下来基于附图对本实施方式的处理流程进行说明。
[1.3.1处理的概要]
首先，对本实施方式的便笺数据的生成进行说明。在此，说明在终端装置10中执行的情况，但是也可以在显示装置20中执行。另外，如后述那样，根据处理，也可以由终端装置10与显示装置20分开执行。
首先，图4(a)显示有作为图形的手写文字串B10“締切り”。手写文字串B10显示在显示部110的显示区域上。
由用户以将该手写文字串B10包围的方式进行选择(确定)。将此时通过选择而确定的区域设为包围区域R10。即，该轨迹是以包围手写文字串B10的方式形成的，因此识别为便笺选择输入。
当识别为便笺选择输入时，取得包围区域的坐标以包含该手写文字串B10。该包围区域的坐标是图4(b)的区域R12的坐标。该区域R12中包含的手写文字串B10被识别为便笺图像数据T10(图4(c))。
被识别为便笺图像数据T10的数据能发送到其它装置。另外，图4(d)是从便笺图像数据T10变换为便笺数据H10的图。在本图中，通过变换为便笺数据H10，手写文字串“締切り”被变换为文本文字串“締切り”。通过变换为文本文字串，能进行文本文字的追加、编辑。另外，便笺数据中存储有颜色信息、形状、所有者、大小这样的便笺属性(便笺附带的信息)。
另外，用包围区域选择的图形也可以是多个。在这种情况下，可以按每个图形显示便笺数据，也可以集中显示为一个便笺数据。另外，在选择了不同种类的图形(例如文字和图像)的情况下，也可以按每个图形显示便笺数据或者取消便笺选择输入。
[1.3.2序列图]
接下来，基于图5对第1实施方式进行说明。图5是表示发送作为便笺数据的基础的便笺图像数据的发送侧的处理和接收便笺图像数据的接收侧的处理的序列图。在本实施方式中，说明将终端装置10作为发送侧，将显示装置20作为接收侧的例子。
首先，在终端装置10中检测出手写输入的情况下(步骤S102；是)，取得输入坐标(步骤S104)。然后将取得的坐标作为轨迹信息进行存储(步骤S106)。
在此，在未形成包围区域的情况下(步骤S108；否)，该存储的轨迹信息作为图形存储于图形数据152。根据该轨迹信息例如作为手写文字(串)进行存储，或者作为线段等进行存储，存储方法利用任意现有技术皆可。
在此，在轨迹形成了包围区域的情况下(步骤S108；是)，判断为便笺选择输入，取得包围区域的坐标(步骤S110)。
在此，作为包围区域的坐标，例如提取包含包围区域的坐标即可。另外，在此，也可以判断包围区域的位置是否是规定的位置(步骤S112)。具体地说，例如也可以在能输入区域之中预先设定能识别为便笺选择输入的位置，在按该位置形成有包围区域的情况下识别为便笺选择输入。
另外，在显示区域整体中执行处理的情况下，也可以不进行步骤S112的判断。即，也可以在步骤S110之后进入步骤S114的处理。
接着，基于包围区域取得便笺图像数据(步骤S112；是→步骤S114)。即，取得包围区域中包含的图形，并作为便笺图像数据而进行取得。然后，将取得的便笺图像数据发送到作为接收侧的显示装置20(步骤S116)。
作为接收侧的显示装置20在接收便笺图像数据时(步骤S150)，基于便笺图像数据变换为便笺数据(步骤S152)。具体地说，在便笺数据中包含手写文字(串)的情况下，进行变换为文本文字(串)的处理。此外，也可以原样作为手写文字(串)进行显示。
接着，决定便笺数据的显示位置(步骤S154)，显示便笺数据(步骤S156)。
作为决定便笺数据的显示位置的方式，可以考虑多个方法。首先，可以考虑预先决定显示便笺数据的位置作为初始设定，将便笺数据显示于该初始设定的位置的方法。除此以外，也可以根据发送了便笺图像数据的终端装置10，决定便笺数据的显示位置。例如，也可以将画面4等分，按每个终端决定进行显示的区域。
[1.4动作例]
接着，使用图6对本实施方式的动作例进行说明。在图6(a)中，在终端装置10的显示区域显示有2个图形。显示有手写文字串B100“アイデア”和手写文字串B110“締切り”。
此时，由用户输入了矩形R100。该输入为包围区域，因此识别为便笺选择输入。矩形R100中包含的手写文字串B100会作为便笺图像数据而被取得。
该便笺图像数据从终端装置10发送到显示装置20。显示装置20基于便笺图像数据显示便笺数据H100(图6(b))。在便笺数据H100中，手写文字串“アイデア”被变换为文本文字串“アイデア”而进行显示。
该便笺数据H100能由用户自由移动，也能由用户改变大小。另外，也能如本实施方式这样，变换为文本文字从而进行文字(串)的编辑。
这样，根据本实施方式，用户能通过进行将所需图形包围的操作，将在一个图像显示装置中输入的图形作为便笺数据发送到其它图像显示装置来进行显示。
由此，例如用户能利用自己所使用的终端装置(例如平板等图像显示装置)进行输入操作。另外，在存在多个用户的情况下，也能从各终端装置输入图形并进行发送。
[2.第2实施方式]
对第2实施方式进行说明。第2实施方式是在便笺选择输入中基于选择输入的方法而对便笺数据的属性也进行识别的处理。即，根据选择输入的区域(包围区域)的属性来识别便笺数据的属性。
此外，本实施方式的系统的构成与上述第1实施方式是相同的，省略其构成等说明。在本实施方式中，以与第1实施方式不同之处为中心进行说明。
[2.1数据构成]
在图7中，将第1实施方式的存储部150替换为存储部150b。如图7所示，存储部150b存储有图形数据152、便笺图像数据154以及便笺数据属性判断表156。
便笺数据属性判断表156是根据作为便笺选择输入而输入的包围区域的属性，在本实施方式中根据包围区域轨迹(形状)，而存储有便笺数据的属性的表。例如，如图8(a)所示，与作为区域属性的轨迹形状(例如“圆形”)相对应地存储便笺数据的属性(例如作为颜色的“红色”)。
此外，在本实施方式中，以颜色作为便笺数据的属性的例子进行说明，但是也可以存储例如大小(字体尺寸)、字体的种类、便笺数据的边界颜色这样的其它显示样式。
[2.2处理流程]
基于图9的序列图说明本实施方式的处理流程。此外，对与第1实施方式相同的处理标注相同的附图标记，省略其说明。
在检测出的轨迹是包围区域，判断为便笺选择输入的情况下(步骤S102～步骤S112；是)，判断包围的轨迹的形状(步骤S202)，根据该判断出的轨迹的形状判断便笺数据的属性(便笺数据属性)(步骤S204)。具体地说，根据便笺数据属性判断表156判断便笺数据属性。
接着，基于包围区域取得便笺图像数据(步骤S114)。然后，将取得的便笺图像数据和便笺数据属性发送到显示装置20(步骤S206)。此外，也可以作为包含其它信息(例如便笺的大小等各种信息)和便笺数据属性的便笺附加信息进行发送。
另外，本实施方式的处理流程是一个例子，也可以在数据不发生矛盾的范围内改变前后顺序。例如，也可以在最初基于包围区域取得便笺图像数据后，判断便笺数据属性(步骤S206→步骤S204)。
显示装置20接收便笺图像数据和便笺数据属性(步骤S252)。然后，变换为便笺数据，决定便笺数据显示位置(步骤S152→S154)。
然后，根据接收到的便笺数据属性来决定便笺数据的属性(步骤S254)。然后，根据决定的便笺数据的属性显示便笺数据(步骤S256)。
[2.3动作例]
基于图10对第2实施方式的动作例进行说明。图10(a)是示出显示装置20显示有第1实施方式中基于从终端装置10发送的便笺图像数据的便笺数据H100的图。
在该状态下，作为手写文字串B110的“締切り”被以轨迹表示的包围区域R110选择。在这种情况下，取得包括手写文字串B110的便笺图像数据，将其发送到显示装置20。另外，此时，还发送便笺数据的属性。
图10(b)是显示装置20显示有从接收到的便笺图像数据变换的便笺数据H110的图。如第1实施方式的便笺数据H100那样，在包围区域的轨迹的形状为矩形的情况下与如本实施方式的便笺数据H110那样包围区域的轨迹的形状为圆形的情况下，便笺数据的属性发生了变化。即，便笺数据H100和便笺数据H110是用不同颜色显示的。
这样，根据本实施方式，用户能通过切换选择图形时选择的形状而容易地切换便笺数据的属性。
另外，用户也可以任意设定决定便笺数据的属性的包围区域的轨迹的形状和便笺数据的属性。由此，能将喜欢的属性(例如颜色)分配给喜欢的形状。
另外也可以是，便笺数据属性判断表156存储于显示装置20，由显示装置20进行便笺数据的属性判断。即，也可以从终端装置10将便笺图像数据和包围区域的轨迹信息发送到显示装置20。然后，可以在显示装置20中，根据该发送的信息判断便笺数据的属性。
[3.第3实施方式]
对第3实施方式进行说明。在第3实施方式中设定了颜色等显示属性作为便笺数据的属性，但是也可以设定内容属性。
在第3实施方式中，将第2实施方式中的图8(a)的便笺数据属性判断表156替换为图8(b)的便笺数据属性判断表。
即，与轨迹形状相对应地存储有属性(例如作为重要度的“高”)。即，能附加重要度这样的内容属性作为便笺数据的属性。这些属性也可以是例如“能消除”、“不能消除”这样的属性、表示所有者的属性(例如在圆形的情况下为A先生，在矩形的情况下为B先生)。
根据该决定的便笺数据的属性显示便笺数据(图9的步骤S254→S256)。由此，便笺数据会进行与便笺数据属性相应的举动。例如，在重要度为“高”的便笺数据被设定为“不能消除”的情况下，用户就无法消除该便笺数据。
另外，显示装置20也可以根据这些属性而使显示形式变更。例如，重要度高的用“红色”显示，或者也可以“变大”显示。
这样，根据本实施方式，除了简单的显示以外，还能基于描绘图案容易地附加便笺数据的属性。
[4.第4实施方式]
对第4实施方式进行说明。在第4实施方式中，在对便笺数据附加属性的情况下，基于轨迹的形状以外的、包围区域的属性进行设定。
在第4实施方式中，将第3实施方式中的图8(b)的便笺数据属性判断表156替换为图8(c)的便笺数据属性判断表。即，包围区域的属性是根据例如“右旋转”、“左旋转”这样的属性而与便笺数据的属性(在本实施方式中为所有者“A”)相对应。
例如，除此以外，包围区域的属性还能设定为例如“用2个手指检测出的包围区域的轨迹”、“与其它操作一起输入了包围区域”。
另外，如上所述，便笺数据的属性也可以设定为大小、颜色、重要度这样的其它属性。
例如，图11示出第4实施方式的动作例。终端装置10中显示有手写文字串B200和手写文字串B210。并且，手写文字串B200被包围区域R200按右旋转选择，手写文字串B210被包围区域R210按左旋转选择。
在此，由包围区域选择并被变换后的便笺数据显示于显示装置20。便笺数据H200与便笺数据H210的属性不同，因此显示也不同。
这样，根据本实施方式，能根据进行便笺选择输入时的包围区域的选择方式而容易地变更便笺数据的属性。
[5.第5实施方式]
第5实施方式是在显示装置20侧进行便笺数据的识别的情况下的实施方式。本实施方式是将第1实施方式的图5所示的处理流程用图12置换后的实施方式。根据图12对本实施方式的处理流程进行说明。
在终端装置10中，显示有包含图形的图像。用包围区域从中选择作为便笺数据的图形，将图像数据发送到显示装置20(步骤S302)。
显示装置20在接收到图像数据时(步骤S310)，根据接收到的图像数据执行图形识别处理(步骤S312)，从图像取得图形。
在此，作为从图像取得图形的方法，可以考虑各种方法，但是在将轨迹信息与图像数据一起发送的情况下，参照轨迹信息对图形进行识别。另外，在图像为矢量数据的情况下，参照矢量数据对图形进行识别。另外，在栅格数据的情况下，从图形的形状识别图形。
在此，在识别出的图形中检测出规定的图形数据的情况下，判断检测出的图形的形状(步骤S314；是→步骤S316)。例如，检测包围区域的形状或者检测包围区域中包含其它图形的情况下的图形的形状。然后，将检测出的形状判断为便笺选择输入，取得检测出的区域中包含的图形作为便笺图像数据(步骤S318)。
然后，从便笺图像数据变换为便笺数据，决定便笺数据的显示位置(步骤S320)，决定便笺数据的属性(步骤S322)。然后，基于变换后的便笺数据、便笺数据的显示位置、属性来显示便笺数据(步骤S324)。
然后，在图像中包含的便笺数据未全部显示的情况下反复执行处理(步骤S326；否→步骤S316)，在已显示的情况下结束本处理(步骤S326；是)。
这样，根据本实施方式，通过从终端装置10成批发送图像，能用显示装置20显示需要的便笺数据。不需要每次发送便笺图像数据，能减少终端装置10、显示装置20间的通信流量。另外，在显示装置20比终端装置10的处理能力高的情况下，能期待能成批处理的效果。
[6.第6实施方式]
接着，对第6实施方式进行说明。第6实施方式是如下情况的实施方式：在基于被选为便笺选择输入的包围区域取得便笺图像数据时，即使图形从包围区域脱离，只要属于同一图形组，就也取得该图形作为便笺图像数据。
在本实施方式中，在第1实施方式的图5的处理流程的步骤S114中，基于包围区域取得便笺图像数据。即，在第1实施方式中，取得了包围区域中包含的图形作为便笺图像数据。
在本实施方式中，在该图形的一部分包含于包围区域中的情况下，取得该图形作为便笺图像数据。
参照图13进行说明。图13的手写文字串B400是由“アイデア”构成了一个图形。即，基于轨迹信息，构成了“ア”等手写文字。并且，手写文字“イ”、“デ”、“ア”汇集起来，构成了手写文字串“アイデア”。
在此，包围区域R400中包含“アイデ”的部分。但是，包含“アイデ”的图形是手写文字串B400“アイデア”。因此，在这种情况下，取得“アイデア”的图形作为包围区域中包含的图形。
然后，显示装置20的显示画面中显示作为便笺数据H400的“アイデア”。即，从手写文字串“アイデア”变换为文本文字串“アイデア”，作为便笺数据进行显示。
这样，根据本实施方式，在用户选择以手写文字串为起首的图形的情况下，选择包含该图形的区域即可。
[7.第7实施方式]
对第7实施方式进行说明。第7实施方式是针对利用包围区域选择的便笺图像数据，在发送前进行选择动作的情况下的实施方式。
第7实施方式是将第1实施方式中用图5表示的终端装置10的处理替换为图14的处理流程后的实施方式。此外，对与图5相同的处理标注相同的附图标记，省略其说明。
在基于包围区域取得便笺图像数据后(步骤S114)，判断是否有对包围区域的触摸操作(步骤S502)。在此，在有触摸操作的情况下，将取得的便笺图像数据发送到显示装置20(步骤S116)。
图15示出本实施方式的动作例。在图15(a)中，利用包围区域R500选择了手写文字串B500。若在该时点，用户在包围区域R500中进行了触摸(触击操作)，则将便笺图像数据发送到显示装置20。由此，如图15(b)所示的那样显示便笺数据H500。
这样，根据本实施方式，在利用包围区域选择了便笺图像数据后用户能在任意的定时发送便笺图像数据。由此，例如在显示多个便笺数据的情况下，用户能按喜欢的顺序使它们进行显示。
此外，步骤S502的处理在步骤S114后执行是一个例子，例如也可以在步骤S114前执行。即，也可以在检测出触摸操作之后取得便笺图像数据。
另外，步骤S502也可以判断作为检测定时的规定的时间定时。例如也可以是，如果在5秒以内没有触摸操作，则取消便笺图像数据(视为未选择)。
[8.第8实施方式]
对第8实施方式进行说明。第8实施方式是针对利用包围区域选择的便笺图像数据，在发送前进行取消动作的情况下的实施方式。
第8实施方式是将第1实施方式中用图5表示的终端装置10的处理流程替换为图16的处理流程后的实施方式。此外，对与图5相同的处理标注相同的附图标记，省略其说明。
在基于包围区域取得便笺图像数据后(步骤S114)，判断是否有对包围区域的区域外的触摸操作(步骤S522)。在此，在有区域外的触摸操作的情况下，取消所取得的便笺图像数据，不将便笺图像数据发送到显示装置20(步骤S524)。
另一方面，在区域外未检测出触摸操作的情况下，发送所取得的便笺图像数据(步骤S522；否→步骤S116)。此外，通过判断是否在规定时间内进行了触摸来进行是否有对区域外的触摸操作的判断。例如，在3秒以内没有触摸的情况下，步骤S522为否，将所取得的便笺图像数据发送到显示装置20。
图17示出本实施方式的动作例。在图17(a)中，利用包围区域R520选择了手写文字串B520。若在该时点，用户触摸了包围区域R520的区域外的P520(触击操作)，则取消利用包围区域R520选择的便笺图像数据。
即，如图17(b)所示，在显示装置20中由于便笺数据被取消而不进行显示。
这样，根据本实施方式，用户能在利用包围区域选择了便笺图像数据后取消便笺图像数据。由此，例如即使在选择了不需要的图形的情况下，也能通过取消而使其不显示于显示装置。
[9.第9实施方式]
对第9实施方式进行说明。第9实施方式是不根据轨迹信息进行便笺选择输入，而是切换为通常的图形输入的实施方式。
本实施方式能与上述实施方式组合来说明，例如对与第8实施方式组合的情况进行说明。
即，在第8实施方式中，在图16的步骤S524中执行了取消便笺图像数据的处理，但是此时也可以基于轨迹信息在终端装置10上实际描绘线图。
图18示出这种情况下的动作例。图18(a)与第8实施方式的图17(a)同样，用包围区域R520选择了手写文字串B520的周围。并且，由用户触摸了包围区域R520的区域外的P520。
在这种情况下，如图18(b)所示，包围区域R520原样以作为线图的图形B522来显示。即，便笺选择输入的轨迹信息原样用作图形描绘的轨迹信息。
这样，根据本实施方式，用户能切换便笺选择输入和图形的描绘输入来进行输入。该切换也可以与其它实施方式组合。例如，可以根据包围区域的形状进行切换，也可以根据包围区域的属性进行切换。另外，在第7实施方式中，也可以设为如下构成：将触摸包围区域内的情况设为图形的描绘输入(即不发送便笺图像数据)，在什么也不做的情况下发送便笺图像数据。
[10.第10实施方式]
对第10实施方式进行说明。第10实施方式是在用包围区域选择了图形后进行菜单显示而进行动作的实施方式。
参照图19对本实施方式的动作例进行说明。图19(a)是利用包围区域R600选择了手写文字串B600的情况下的图。此时，终端装置10的显示画面中进行菜单显示M600。
在此，由用户从菜单显示M600中显示的菜单选择此后的动作，由此决定对便笺图像数据的举动。例如，在选择了“便笺传输”的情况下，如图19(b)所示，显示便笺数据H600。
也可以从菜单选择并设定此时的便笺数据的属性。另外，也可以选择描绘处理、图像传输等各种举动。
这样，根据本实施方式，用户能通过利用菜单显示来选择多个对便笺图像数据的举动。
[11.第11实施方式]
对第11实施方式进行说明。在第11实施方式中，对包围区域中包含图形的情况下识别为便笺图像数据的情况进行说明。
在上述实施方式中，取得包围区域中包含的图形作为便笺图像数据。例如，在第1实施方式的图5中，在步骤S114中，基于包围区域取得了便笺图像数据。
在此，在包围区域中不包含图形数据的情况下，也可以不取得便笺图像数据。
即，在步骤S114中，基于包围区域取得包围区域中包含的图形数据。在这种情况下，在包围区域中不包含图形数据的情况下，会取消便笺选择输入。即，在这种情况下，不取得便笺图像数据，也不向显示装置20发送。
另外，在不取得便笺图像数据的情况下，也可以基于作为包围区域输入的轨迹信息来描绘线段。
根据这种构成，以将包含图形的部位包围的方式进行选择从而将便笺数据显示于显示装置，在不包含图形的情况下描绘线段。
[12.第12实施方式]
对第12实施方式进行说明。第12实施方式是在从终端装置10发送便笺图像数据时发送终端装置10所保有的信息的实施方式。
例如，终端装置10中存储有各种信息。例如，作为终端装置10所保有的信息，存储有IP地址、终端装置固有的识别信息这样的设定信息、登录名(用户名)、手写输入的用户名等用户信息等各种信息。此外，以下将设定信息和用户信息一起作为终端装置10的环境信息进行说明。
在第1实施方式的步骤S116中将终端装置10中存储的这些环境信息发送到显示装置20。
在此，环境信息可以是预先存储的信息，也可以是用户设定、存储的信息。另外，也可以是如终端固有信息(终端的制造识别信息、MAC地址等)这样出厂时设定的信息。
另外，除了登录信息以外，也可以是与手写输入图形相关联的用户信息(用户名)。该用户信息也可以是终端的登录信息或者与输入装置(例如触摸笔等)相关联的信息。
这些环境信息被发送到显示装置20，由此在步骤S152中，能基于环境信息这样的终端装置10所保有的信息，改变便笺的颜色或者改变便笺的大小、透射率这样的属性。
[13.第13实施方式]
对第13实施方式进行说明。第13实施方式是在第12实施方式中基于与便笺图像数据一起发送的属性信息、环境信息而在显示装置20中变更显示形态的实施方式。
具体地说，显示装置20能选择基于属性进行显示，或者进行环境信息的显示(例如将用户名与便笺数据一起显示)。例如，与便笺数据一起显示用户名或者显示进行发送的终端的IP地址、机器名等。
这些属性的有效/无效的切换、环境信息的显示/非显示的切换能在显示装置20中进行。
图20示出本实施方式的动作例。图20(a)是示出使环境信息为“开启”的情况下的显示装置20的图。例如，通过区域R700，将用户显示设定为“开启”。
在这种情况下，在便笺数据H700的附近显示用户名“A”。另外，在便笺数据710的附近显示用户名“B”。
此时，图20(b)是通过对区域R700的选择进行操作来使用户显示成为“关闭”的情况。在图20(b)中，在便笺数据H700、便笺数据H710的附近未显示用户名。
这样，根据本实施方式，能在显示装置20中进行环境信息的显示/非显示。此外，环境信息的显示/非显示的切换也可以由终端装置10进行。另外，例如可以切换作为整体设定的显示/非显示，也可以按每个便笺数据进行切换。另外，也可以根据包围区域的形状来切换显示/非显示。
[14.第14实施方式]
对第14实施方式进行说明。第14实施方式是利用环境信息、属性而切换便笺数据的显示/非显示。
例如，按每个便笺数据分别存储有属性、环境信息。因此，能由用户成批选择想要显示的便笺数据而进行显示或者使其非显示。
图21示出本实施方式的动作例。在图21中，在包围区域R800中，选择了要显示的便笺数据。具体地说，将用户A的便笺数据选择为显示，将用户B的便笺数据选择为非显示。
在这种情况下，例如与图20(a)相比，用户A作为环境信息存储的便笺数据H800被显示，而用户B作为环境信息存储的便笺数据未被显示。
此外，在上述实施方式中，以环境信息为例进行了说明，但是例如也可以指定颜色、形状这样的便笺数据的属性来切换显示/非显示。另外，显示/非显示的切换也可以从终端装置10进行切换。
而且，也可以将多种环境信息、属性进行组合。例如，也可以按A先生的重要度高的便笺数据、B先生的红色的便笺数据这样的组合来切换显示/非显示。
[15.第15实施方式]
对第15实施方式进行说明。在上述实施方式的说明中，对终端装置10和显示装置20进行通信的情况进行了说明，这里对由终端装置10或者显示装置20单体执行处理的情况下的实施方式进行说明。
图22是用于说明由终端装置10或者显示装置20执行的处理的处理流程。是用于仅由各装置实现第2实施方式的动作的处理。此外，在执行图22的处理的装置中，存储有图7所示的存储部150b的数据。
另外，对与图9示出的处理流程相同的处理标注相同的附图标记，省略其说明。在图9中，取得(识别)便笺数据(便笺图像数据、便笺数据属性)的是终端装置10，显示便笺数据的是显示装置20，但是图22的处理是用同一个装置实现的。
即，根据所显示的图形中通过手写输入而包围的轨迹的形状判断便笺数据的属性(步骤S102；是→S104→S106→S108；是→S110→S112；是→S202→S204)。然后，基于包围区域取得便笺图像数据(步骤S114)。
将取得的便笺图像数据变换为便笺数据(步骤S152)，决定便笺数据的显示位置(步骤S154)。另外，在决定便笺数据属性后(步骤S254)，显示便笺数据(步骤S256)。
在此，作为便笺数据显示的内容可以替换原来选择的图形进行显示，也可以进一步显示为其它显示(例如显示于其它区域)。例如，图23示出由终端装置10实现的情况下的画面例的一个例子。
如图23(a)所示，该图是用包围区域R800选择了手写文字串B800的情况下的图。此时，如图23(b)那样，手写文字串B800被替换为便笺数据H800来显示。
图24(a)是分成手写文字输入区域和图形显示区域(便笺数据显示区域)的状态的图。例如，手写文字串B850被输入、显示于显示画面下部的手写文字输入区域。
在此，利用包围区域R850选择手写文字串B850从而显示便笺数据H850。此时，便笺数据H850会与手写文字串B850分开显示。此外，如在上述实施方式中说明的那样，例如图24(b)的便笺数据H850中也能显示作为输入者(所有者)的名称的例如“A先生”。
这样，根据本实施方式，用同一个装置也能执行同样的处理。此外，在本实施方式中替换了第2实施方式的流程而进行说明，但是在其它实施方式中，当然也能对便笺图像数据和便笺数据属性进行判断，基于便笺图像数据和便笺数据属性进行显示。
另外，为了便于说明，变换为便笺数据而进行了说明，但是当然也可以例如基于便笺图像数据和便笺数据的属性而直接显示。
[16.第16实施方式]
对第16实施方式进行说明。说明在第15实施方式的基础上，先作为便笺数据进行存储的实施方式。
图25和图26是用于说明在终端装置10或者显示装置20中执行的处理的处理流程。这是用于仅利用各装置来实现第2实施方式的动作的处理。此外，在执行图25和图26的处理的装置中，存储有图7所示的存储部150b的数据。
另外，对与图9所示的处理流程相同的处理标注相同的附图标记，省略其说明。在图9中，取得(识别)便笺数据(便笺图像数据，便笺数据属性)的是终端装置10，显示便笺数据的是显示装置20，但是图25和图26的处理是用同一个装置实现的。
即，在执行图25的处理时，由用户的操作取得便笺图像数据和便笺数据属性(步骤S102～S114)，存储便笺图像数据和便笺数据属性(步骤S602)。
另外，当执行图26的处理时，读出利用步骤S602存储的便笺图像数据和便笺数据属性(步骤S652)，变换为便笺数据而进行显示(步骤S152～步骤S256)。
这样，根据本实施方式，用同一个装置也能执行同样的处理。此外，在本实施方式中替换了第2实施方式的流程而进行说明，但是在其它实施方式中当然也能将便笺图像数据和便笺数据属性存储于终端装置，基于该存储的便笺图像数据和便笺数据属性进行显示。
另外，通过先存储便笺数据，能在不同的程序、进程间进行便笺数据的交换。另外，通过指定外部存储装置(例如USB存储器等)作为便笺数据的存储目的地，能用未直接连接的其它装置来显示便笺数据。
[17.第17实施方式]
对第17实施方式进行说明。第17实施方式说明在上述实施方式的基础上，发送便笺数据的定时不同的情况。
即，在上述实施方式(例如第1实施方式)中，将包围图形的操作作为触发来发送便笺数据，但是在记入后一定时间内无操作的状态持续的情况下，确定图形，将所确定的图形作为便笺数据进行发送。
在这种情况下，将收入了自上次一定时间内无操作的状态持续的定时起的数据的区域作为矩形区域切出，作为便笺数据进行发送。用图27对本实施方式的处理进行说明。此外，图27替换了图5的处理流程，对同一处理标注相同的附图标记，省略说明。
在存储了轨迹信息后，判断是否经过了一定时间(步骤S702)。在此，在判断为经过了一定时间的情况下，取得成为便笺图像数据的矩形区域的坐标(步骤S704)。然后，在矩形区域的位置为规定区域内的情况下(步骤S706；是)，基于矩形区域取得便笺数据(步骤S708)。
例如，根据图6的例子，通过在手写了“アイデア”后使无操作的状态持续一定时间，从而以将被记载为“アイデア”的部分收入其中的方式切出矩形区域。在切出该矩形区域时，可以切出将该手写收入其中的矩形区域，也可以考虑到手写文字的倾斜而调整切出的矩形区域的角度。通过进行矩形区域的调整，会生成与矩形R100同等的数据。
另外，在步骤S702中便笺判断开启是指，由于需要区分通常的手写输入和便笺数据的输入，因此也可以在通常的手写输入与便笺数据的输入时进行改变输入模式等的操作。在便笺数据的输入模式为“开启”或者选择了便笺数据输入用的笔模式之后进行手写输入的情况下，便笺判断成为开启。然后，在便笺判断为开启的情况下，取得便笺图像数据。
具体地说，能选择进行通常的手写输入的模式(手写输入模式)和进行能变换为便笺数据的手写输入的模式(便笺数据输入模式)。在此，当选择便笺数据输入模式而进行手写输入时，执行本实施方式的处理。即，在手写输入后，经过了规定时间后变换为便笺数据(便笺图像数据)。在此，在作为通常的输入模式的手写输入模式下输入的手写输入即使经过了规定时间也不会被变换为便笺数据(便笺图像数据)。这样，在作为特定的输入模式而选择了例如便笺数据输入模式的情况下，变换为便笺数据。
然后，例如，如第1实施方式中说明的那样，当将所输入的图形包围(利用轨迹形成包围区域)时，变换为便笺数据(便笺图像数据)。此外，在本实施方式中，也可以是进行利用包围所输入的图形的动作在经过规定时间前变换为便笺数据这样的动作。
此外，便笺判断开启可以是便笺数据的输入用模式的切换，也可以是模式开启开关等。另外，也可以在进行规定操作(例如按住笔的按钮进行操作、单手触摸进行手写输入、用2个手指进行操作)的情况下判断为便笺判断开启。
另外，根据系统，也可以在规定区域中进行输入的情况下判断为全是便笺图像数据，手写输入的内容也可以全部变换为便笺图像数据。
另外，在上述实施方式中对“矩形区域”进行了说明，但是只要是包围区域(封闭的区域)即可，也可以是圆形、椭圆形、三角形、梯形等各种形状。另外，用户也可以设定区域的形状。
[18.变形例]
本发明不限于上述各实施方式，能进行各种变更。即，将在不脱离本发明的要旨的范围内适当变更得到的技术方案组合而得到的实施方式也包含于本发明的技术范围。
另外，在上述实施方式中，说明了从终端装置10向显示装置20发送便笺图像数据的情况，但是发送目的地的终端也可以不是显示装置。例如，也可以发送到图像形成装置，由此进行印刷或者保存为PDF。
另外，可以用邮件发送该便笺图像数据，也可以发送(上传)到SNS，还可以保存到云端。另外，也可以将所选择的便笺数据保存于记录介质。
另外，如实施方式中所说明的，将图像显示装置作为终端装置、显示装置进行了说明，但是也能用同一装置构成。另外，当然也可以通过云端将终端装置和显示装置连接起来。
在利用云端的情况下，也可以从终端装置通过云端服务器向显示装置发送便笺图像数据。另外，也可以在云端服务器中执行终端装置、显示装置的一部分处理。
另外，各功能可以用程序构成，也可以用硬件构成。并且，在用程序实现的情况下，可以记录于记录介质，从该记录介质读出并执行程序，也可以保存于网络，下载后执行。
另外，在上述实施方式中，将触摸面板作为触摸检测部，以触摸操作(触击操作)为例进行了说明，但是也可以例如用鼠标等外部输入装置通过点击操作等进行操作。
另外，在上述实施方式中，说明了显示装置具备显示部和操作输入部的例子，但是当然也可以为了实施本实施方式中公开的发明而采用其它方式。例如，也可以利用投影仪作为显示部210，利用人感传感器作为操作检测部220。并且，也可以通过使操作检测部220、显示部210与控制用计算机连接来实现显示系统。
另外，在上述实施方式中，为了便于说明，有些部分是分别单独说明的，但这些部分当然也可以在技术上可行的范围内组合执行。例如，也可以将第17实施方式的操作与其它实施方式组合执行。
这样，本说明书所述的各实施方式能在不发生矛盾的范围内组合实施。
另外，在上述实施方式中，说明了通过选择区域来确定区域。在此，确定区域的方法除了选择以外还包括输入、判断等各种方法。
另外，在实施方式中在各装置中执行的程序是为了实现上述实施方式的功能而对CPU等进行控制的程序(使计算机发挥功能的程序)。并且，由这些装置处理的信息在其处理时临时存储于临时存储装置(例如RAM)中，之后，被存储于各种ROM、HDD、SSD的存储装置，根据需要由CPU读出，进行修改、写入。
另外，在市面上流通的情况下，能将程序保存于可携带型记录介质来进行流通，或者传输到通过互联网等网络连接的服务器计算机。在这种情况下，服务器计算机的存储装置当然也包含于本发明。

Claims (14)

1.一种图像显示装置，其特征在于，具备：
图形输入部，其输入包含文字的图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在显示该图形的情况下所使用的图形的属性；以及
图形显示部，其基于上述判断出的图形的属性来显示上述取得的图形。
2.一种图像显示装置，能与其它图像显示装置通信，上述其它图像显示装置能显示配置有包含文字的图形的图像，上述图像显示装置的特征在于，具备：
图形输入部，其输入图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在上述其它图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送部，其发送上述取得的图形和该图形的属性以显示于上述其它图像显示装置。
3.根据权利要求1或2所述的图像显示装置，其特征在于，
还具备识别上述区域的属性的区域识别部，
上述属性判断部基于上述区域的属性判断上述图形的属性。
4.根据权利要求1或2所述的图像显示装置，其特征在于，
上述区域确定部通过将上述显示的图像的一部分区域包围来确定区域。
5.根据权利要求3所述的图像显示装置，其特征在于，
上述区域的属性是根据区域的形状的信息、描绘包围区域时按右旋转或左旋转来描绘轨迹的信息、描绘轨迹时的手指或者笔的个数信息、是否与其它操作一起输入了包围区域的信息中的至少任意一个信息设定的。
6.根据权利要求3所述的图像显示装置，其特征在于，
上述区域的属性是根据对图像显示装置进行操作的用户的信息、从图像显示装置的输入部输入的信息、图像显示装置所保有的信息中的至少任意一个信息设定的。
7.根据权利要求1或2所述的图像显示装置，其特征在于，
上述图形输入部能切换通常的输入模式和特定的输入模式来进行输入，
上述区域确定部以包含在上述特定的输入模式下输入的图形的方式确定区域。
8.根据权利要求7所述的图像显示装置，其特征在于，
上述区域确定部在输入后经过了规定时间后确定区域。
9.根据权利要求1或2所述的图像显示装置，其特征在于，
上述图形的属性是与大小、颜色、形状、重要度、所有者有关的信息中的至少任意一个信息。
10.一种图像显示方法，其特征在于，具备：
图形输入步骤，输入包含文字的图形；
图像显示步骤，显示配置有上述输入的一个或多个图形的图像；
区域确定步骤，确定上述显示的图像的一部分区域；
图形取得步骤，取得上述确定的区域中包含的图形；
属性判断步骤，针对上述取得的图形，判断在显示该图形的情况下所使用的图形的属性；以及
图形显示步骤，基于上述判断出的图形的属性来显示上述取得的图形。
11.一种图像显示装置的图像显示方法，该图像显示装置能与其它图像显示装置通信，上述其它图像显示装置能显示配置有包含文字的图形的图像，上述图像显示方法的特征在于，具备：
图形输入步骤，输入图形；
图像显示步骤，显示配置有上述输入的一个或多个图形的图像；
区域确定步骤，确定上述显示的图像的一部分区域；
图形取得步骤，取得上述确定的区域中包含的图形；
属性判断步骤，针对上述取得的图形，判断在上述其它图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送步骤，发送上述取得的图形和该图形的属性以显示于上述其它图像显示装置。
12.一种图像显示系统，包括能显示配置有包含文字的图形的图像的第1图像显示装置和第2图像显示装置，其特征在于，
上述第1图像显示装置具备：
图形输入部，其输入图形；
图像显示部，其显示配置有上述输入的一个或多个图形的图像；
区域确定部，其确定上述显示的图像的一部分区域；
图形取得部，其取得上述确定的区域中包含的图形；
属性判断部，其针对上述取得的图形，判断在上述第2图像显示装置显示图形的情况下所使用的该图形的属性；以及
图形发送部，其将上述取得的图形和该图形的属性发送到上述第2图像显示装置，
上述第2图像显示装置显示从上述第1图像显示装置接收到的图形。
13.根据权利要求12所述的图像显示系统，其特征在于，
上述第2图像显示装置基于从上述第1图像显示装置接收到的上述图形的属性来显示上述图形。
14.根据权利要求12所述的图像显示系统，其特征在于，
上述图形发送部还发送环境信息，
上述第2图像显示装置在显示从上述第1图像显示装置接收到的图形时，还显示环境信息。
CN201710624499.7A 2016-07-28 2017-07-27 图像显示装置、图像显示方法以及图像显示系统 Active CN107665087B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016148786 2016-07-28
JP2016-148786 2016-07-28
JP2017-137881 2017-07-14
JP2017137881A JP6971671B2 (ja) 2016-07-28 2017-07-14 画像表示装置、画像表示システム及びプログラム

Publications (2)

Publication Number Publication Date
CN107665087A true CN107665087A (zh) 2018-02-06
CN107665087B CN107665087B (zh) 2021-03-16

Family

ID=61010465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710624499.7A Active CN107665087B (zh) 2016-07-28 2017-07-27 图像显示装置、图像显示方法以及图像显示系统

Country Status (2)

Country Link
US (1) US20180033175A1 (zh)
CN (1) CN107665087B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015321A (zh) * 2019-05-29 2020-12-01 夏普株式会社 信息处理装置、信息处理方法以及记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363149B (zh) * 2019-07-16 2021-12-03 广州视源电子科技股份有限公司 笔迹的处理方法和装置
CN113362410B (zh) * 2021-05-31 2023-04-14 维沃移动通信（杭州）有限公司 绘图方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050223315A1 (en) * 2004-03-31 2005-10-06 Seiya Shimizu Information sharing device and information sharing method
CN1717086A (zh) * 2004-07-02 2006-01-04 三星电子株式会社 在移动终端编辑图像的方法
WO2012147839A1 (ja) * 2011-04-28 2012-11-01 楽天株式会社 サーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体
US20150146986A1 (en) * 2013-03-18 2015-05-28 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
CN105706456A (zh) * 2014-05-23 2016-06-22 三星电子株式会社 用于再现内容的方法和装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761340A (en) * 1993-04-28 1998-06-02 Casio Computer Co., Ltd. Data editing method and system for a pen type input device
JPH07327134A (ja) * 1994-05-31 1995-12-12 Canon Inc 画像処理装置およびその方法
US5818425A (en) * 1996-04-03 1998-10-06 Xerox Corporation Mapping drawings generated on small mobile pen based electronic devices onto large displays
US20030103071A1 (en) * 2001-09-08 2003-06-05 William Lusen User interface system for processing documents for display
JP4050055B2 (ja) * 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
JP2003323587A (ja) * 2002-05-02 2003-11-14 Pfu Ltd 視覚障害者用文書作成方法及び装置並びにプログラム
US7336400B2 (en) * 2002-10-31 2008-02-26 Hewlett-Packard Development Company, L.P. Transforming an input image to produce an output image
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
JP4547990B2 (ja) * 2004-05-25 2010-09-22 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
JP2006018522A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像編集システム及び方法並びにプログラム
US8872843B2 (en) * 2004-07-02 2014-10-28 Samsung Electronics Co., Ltd. Method for editing images in a mobile terminal
US7698638B2 (en) * 2004-09-15 2010-04-13 Microsoft Corporation Systems and methods for automated equation buildup
JP2006197115A (ja) * 2005-01-12 2006-07-27 Fuji Photo Film Co Ltd 撮像装置及び画像出力装置
JP2006350649A (ja) * 2005-06-15 2006-12-28 Nintendo Co Ltd プログラムおよび情報処理装置
US20070067721A1 (en) * 2005-09-19 2007-03-22 International Business Machines Corporation Method and system for navigation in text according to the properties of the text
US20070112785A1 (en) * 2005-11-08 2007-05-17 Autup, Inc. System and method for updating a storage medium
JP2007166287A (ja) * 2005-12-14 2007-06-28 Fuji Xerox Co Ltd 画像処理装置、および画像処理方法
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
US9134947B2 (en) * 2009-03-31 2015-09-15 Ricoh Company, Ltd. Annotating digital files of a host computer using a peripheral device
KR101263332B1 (ko) * 2009-09-11 2013-05-20 한국전자통신연구원 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법
US9134720B2 (en) * 2010-02-12 2015-09-15 Rockwell Automation Technologies, Inc. Macro function block for encapsulating device-level embedded logic
US9196085B2 (en) * 2011-07-07 2015-11-24 Autodesk, Inc. Interactively shaping terrain through composable operations
US20130278505A1 (en) * 2012-04-20 2013-10-24 Giga-Byte Technology Co., Ltd. Wireless input device
JP2014021305A (ja) * 2012-07-19 2014-02-03 Nitto Denko Corp 表示入力装置
KR20140132171A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
KR102157327B1 (ko) * 2013-05-09 2020-09-17 삼성전자주식회사 이미지 형식의 객체를 텍스트 형식으로 변환하는 전자 장치 및 방법
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
KR102143997B1 (ko) * 2013-10-17 2020-08-12 삼성전자 주식회사 단말장치의 정보 리스트 처리장치 및 방법
US9483118B2 (en) * 2013-12-27 2016-11-01 Rovi Guides, Inc. Methods and systems for selecting media guidance functions based on tactile attributes of a user input
WO2015148733A2 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and methods for the real-time modification of videos and images within a social network format
KR20160031334A (ko) * 2014-09-12 2016-03-22 엘지전자 주식회사 이동단말기 및 그 제어방법
US9501853B2 (en) * 2015-01-09 2016-11-22 Adobe Systems Incorporated Providing in-line previews of a source image for aid in correcting OCR errors
US9792263B2 (en) * 2015-03-27 2017-10-17 Konica Minolta Laboratory U.S.A., Inc. Human input to relate separate scanned objects
KR20170037424A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050223315A1 (en) * 2004-03-31 2005-10-06 Seiya Shimizu Information sharing device and information sharing method
CN1717086A (zh) * 2004-07-02 2006-01-04 三星电子株式会社 在移动终端编辑图像的方法
WO2012147839A1 (ja) * 2011-04-28 2012-11-01 楽天株式会社 サーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体
US20150146986A1 (en) * 2013-03-18 2015-05-28 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
CN105706456A (zh) * 2014-05-23 2016-06-22 三星电子株式会社 用于再现内容的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015321A (zh) * 2019-05-29 2020-12-01 夏普株式会社 信息处理装置、信息处理方法以及记录介质

Also Published As

Publication number Publication date
US20180033175A1 (en) 2018-02-01
CN107665087B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN106575360B (zh) 图表数据的增强识别
CN105378599B (zh) 交互式数字显示器
CN108205430A (zh) 双屏移动终端、相应操控方法及存储介质
CN107667333A (zh) 用于利用触笔来操纵用户界面的设备和方法
JP5974976B2 (ja) 情報処理装置及び情報処理プログラム
CN107209863A (zh) 信息处理装置和程序
CN110333758A (zh) 用于控制多个对象的显示的方法及其移动终端
JP5987780B2 (ja) 情報処理装置及び情報処理プログラム
CN107209633A (zh) 电子信息板设备和方法
JP2013041332A (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
CN109478185A (zh) 地图笔记
US9292202B2 (en) Client device, operating method, and recording medium
CN105095564B (zh) 基于建筑信息模型的数据处理方法和装置
CN106445325B (zh) 一种创建群组的方法及装置
CN107665087A (zh) 图像显示装置、图像显示方法以及图像显示系统
JP2009140390A (ja) 指示デバイスおよび指紋認証半導体回路
CN107077243A (zh) 墨水文件的输出方法、输出装置以及程序
CN105849683A (zh) 用于处理通过显示器提供的对象的方法和设备
CN106605199A (zh) 对象管理装置、思考辅助装置、对象管理方法以及计算机可读存储介质
US20130127867A1 (en) Freestyle drawing supported by stencil edge shapes
CN107003804A (zh) 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
CN106528080B (zh) 一种移动终端的应用图标的放置方法和移动终端
WO2010090286A1 (ja) 情報処理システム、情報処理装置および情報処理方法
CN109696971A (zh) 显示装置、显示方法以及记录介质
JP6971671B2 (ja) 画像表示装置、画像表示システム及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant