CN108604173A - 图像处理装置、图像处理系统和图像处理方法 - Google Patents

图像处理装置、图像处理系统和图像处理方法 Download PDF

Info

Publication number
CN108604173A
CN108604173A CN201680081077.3A CN201680081077A CN108604173A CN 108604173 A CN108604173 A CN 108604173A CN 201680081077 A CN201680081077 A CN 201680081077A CN 108604173 A CN108604173 A CN 108604173A
Authority
CN
China
Prior art keywords
screen
image
display
image processing
notebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680081077.3A
Other languages
English (en)
Inventor
渡边绫子
中村滋
及川辰幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN108604173A publication Critical patent/CN108604173A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Abstract

提供一种连接到图像显示装置的图像处理装置,该图像显示装置显示包括叠加在显示图像上的手写数据的视觉信息。图像处理装置显示包括第一屏幕和不同于第一屏幕的第二屏幕的多个屏幕,并使图像显示装置显示从第一屏幕和第二屏幕中选择的屏幕。图像处理装置基于接收从第一屏幕和第二屏幕中选择屏幕的操作或指示生成显示图像的操作的输入的图形用户界面,从第一屏幕和第二屏幕中选择屏幕以生成所选择的屏幕的显示图像。

Description

图像处理装置、图像处理系统和图像处理方法
技术领域
本发明涉及图像处理装置、图像处理系统和图像处理方法。
背景技术
在公司、教育机构、政府机构等举行的会议中,通常使用能够在大显示器上显示背景图像并允许用户在显示的背景图像上绘制笔画图像(诸如字符、数字和/或图形)的电子黑板。
对于实施这种电子黑板的系统,用于实现例如整个系统的小型化和集成以及提高可操作性、处理性和便利性的技术是已知的。作为具体示例,已知一种电子黑板系统,其包括显示字符和图像的显示设备、具有布置在显示设备的正面上的触摸面板表面的触摸输入设备、打印设备和控制设备,该控制设备基于来自触摸输入设备的输入来控制显示设备的显示和打印设备的打印。在这种电子黑板系统中,多个连接终端用于与诸如数码相机、DVD播放机、视频设备等信息处理装置建立连接,并且显示设备可以被用作大屏幕监视器。在这种电子黑板系统中,用户不必使用个人计算机来建立与信息处理装置的连接或操作信息处理装置。以这种方式,可以改善电子黑板系统的可操作性、处理性和便利性(例如,参见专利文献1)。
发明内容
本发明要解决的问题
然而,在包括具有显示器并且连接到与电子黑板相对应的图像显示装置的图像处理装置的系统中,例如,可以在图像显示装置和图像处理装置的显示器上显示不同的屏幕。也就是说,可以存在多个屏幕。在这种情况下,当捕捉屏幕以生成屏幕的显示图像时,图像处理装置可能无法清楚地确定多个屏幕中的哪个屏幕是捕捉目标,使得用户期望的显示图像可能无法生成。
鉴于上述问题,本发明的目的是提供图像处理装置,其能够选择用户期望的作为显示图像的屏幕并生成用户期望的显示图像。
解决问题的方法
根据本发明的一个实施例,提供了一种连接到图像显示装置的图像处理装置,该图像显示装置显示包括叠加在显示图像上的手写数据的视觉信息。该图像处理装置包括显示单元,该显示单元被配置为显示包括第一屏幕和不同于第一屏幕的第二屏幕的多个屏幕,并且使得图像显示装置显示从第一屏幕和第二屏幕中选择的屏幕;以及图像处理单元,该图像处理单元被配置为从第一屏幕和第二屏幕中选择屏幕,以生成所选择的屏幕的显示图像。图像处理单元基于接收从第一屏幕和第二屏幕中选择屏幕的操作,或指示生成显示图像的操作的输入的图形用户界面,来生成所选择的屏幕的显示图像。
本发明的效果
根据本发明的一方面,可以提供一种图像处理装置,其能够选择用户期望作为显示图像的屏幕并生成用户期望的显示图像。
附图说明
图1是根据本发明一个实施例的图像处理系统的示例整体配置图;
图2是示出根据本发明一个实施例的图像处理系统的使用示例的示例概念图;
图3是示出根据本发明一个实施例的图像处理系统的另一使用示例的示例概念图;
图4是根据本发明一个实施例的图像显示装置的示例硬件配置图;
图5是根据本发明一个实施例的图像处理装置的示例硬件配置图;
图6是根据本发明一个实施例的图像处理装置的示例功能配置图;
图7是示出根据本发明一个实施例的图像处理装置显示的示例屏幕的图;
图8是示出根据本发明一个实施例的图像处理装置中设置“复制”时显示的示例屏幕的图;
图9是示出根据本发明一个实施例的图像处理装置显示的应用屏幕和图形用户界面的示例的图;
图10是示出根据本发明一个实施例的图像处理装置显示的图形用户界面的图;
图11是示出根据本发明一个实施例的图像处理装置中设置“扩展”时显示的示例屏幕的图;
图12是示出根据本发明一个实施例的图像处理装置实施的确定处理的流程图;
图13是示出由图像处理装置实施的确定处理的图,该确定处理涉及使用图形用户界面的预定位置;
图14是示出根据本发明一个实施例的图像处理装置显示的图形用户界面的示例性预定位置的图;
图15是示出涉及使用由根据本发明一个实施例的图像处理装置显示的图形用户界面的区域的确定处理的图;
图16是示出在使用Y坐标值的情况下由图像处理装置显示的示例画面的图;以及
图17是示出由根据本发明一个实施例的图像处理装置实施的条件确定处理的流程图。
具体实施方式
下面将参考附图描述本发明的实施例。
<系统示例>
图1是根据本发明实施例的图像处理系统1的整体配置图。注意,在图1中,仅示出了对应于示例图像显示装置的两个电子黑板2a和2b以及诸如电子笔4a和4b的相关联的外围设备,以简化描述。然而,图像处理系统1可以包括三个或更多个电子黑板、电子笔等。在图1中,图像处理系统1包括多个电子黑板2a和2b、多个电子笔4a和4b、USB存储器5a和5b、对应于示例图像处理装置的笔记本PC(Personal Computer、个人计算机)6a和6b、电视(视频)会议终端7a和7b、帐户服务器11和PC 8,它们通过通信网络9可通信地相互连接。另外,多个电子黑板2a和2b分别具有显示器3a和3b。
此外,电子黑板2a能够在显示器3a上显示由电子笔4a(例如,触摸显示器3a的电子笔4a的笔尖或电子笔4a的末端)产生的事件所绘制的图像。注意,电子黑板2a除了响应由电子笔4a产生的事件之外,还能够基于例如由用户的手Ha产生的事件(诸如放大、缩小、翻页等手势)来改变被显示在显示器3a上的图像。响应于该事件,由电子笔4a或手Ha指示的位置信息被输入到电子黑板2a。
USB存储器5a可以被连接到电子黑板2a。例如,电子黑板2a可以从USB存储器5a检索诸如PDF(Portable Document Format,可携式文档格式)文件的电子文件,并且电子黑板2a可以将电子文件记录在USB存储器5a中。此外,笔记本PC 6a经由支持根据诸如DisplayPort(注册商标)、DVI(Digital Visual Interface,数字视频接口)、HDMI(High-Definition Multimedia Interface,高清多媒体接口;注册商标)、或VGA(Video GraphicsArray,视频图形阵列)的标准的通信的电缆10a1连接到电子黑板2a。响应于通过触摸显示器3a产生的事件,电子黑板2a以类似于发送由诸如鼠标或键盘的输入设备产生的事件的事件信息的情况的方式将产生的事件的事件信息发送到笔记本PC 6a,从而控制笔记本PC6a。类似地,电视(视频)会议终端7a经由支持根据任何上述标准的通信的电缆10a2连接到电子黑板2a。注意,笔记本PC 6a和视频会议终端7a可以根据诸如蓝牙(注册商标)的各种无线通信协议中的任何一种由无线通信建立与电子黑板2a的通信。
同时,在另一个地方安装电子黑板2b,电子黑板2b具有显示器3b、电子笔4b、USB存储器5b、笔记本PC 6b、视频会议终端7b以及电缆10b1和10b2,以与上述电子黑板2a和相关设备类似的方式来使用。另外,电子黑板2b能够基于例如由用户的手Hb生成的事件来改变在显示器3b上显示的图像。
这样,一个地点的电子黑板2a的显示器3a上绘制的图像也可以显示在另一地点的电子黑板2b的显示器3b上,反过来,另一地点的电子黑板2b的显示器3b上绘制的图像可以显示在一个地点的电子黑板2a的显示器3a上。如上所述,图像处理系统1可以执行远程共享处理,使得远程位置的图像显示装置能够共享相同图像,因此,当例如在具有远程位置的参与者的会议中使用图像处理系统1时,图像处理系统1可以非常方便。
<术语>
在下面的描述中,多个电子黑板中的电子黑板将统称为“电子黑板2”。此外,多个电子黑板2的显示器中的显示器将统称为“显示器3”。此外,多个电子笔中的电子笔将统称为“电子笔4”。此外,多个USB存储器中的USB存储器将统称为“USB存储器5”。此外,多个笔记本PC中的笔记本PC将统称为“笔记本PC 6”。此外,多个视频会议终端中的视频会议终端将统称为“视频会议终端7”。此外,多个用户的手中的手将统称为“手H”。此外,多根电缆中的电缆将统称为“电缆10”。
注意,尽管将电子黑板描述为根据本实施例的示例图像显示装置,但是本发明不限于此。图像显示装置的其他示例包括电子标牌(数字标牌)、在体育和天气广播中使用的遥测器、远程图像(视频)诊断装置等。此外,尽管将笔记本PC 6描述为根据本实施例的示例图像处理装置,但是本发明不限于此。图像处理装置的其他示例包括台式PC、平板PC、PDA(personal digital assistant,个人数字助理)、数字摄像机、数码相机、游戏机以及能够提供图像帧的其他类型的终端。另外,通信网络9包括因特网、LAN(Local Area Network,局域网),蜂窝电话通信网络等。此外,尽管USB存储器被描述为根据本实施例的示例记录介质,但是本发明不限于此,并且记录介质的其他示例包括SD卡和其他各种类型的记录介质。
视觉信息是指可以由人视觉识别的信息。注意,尽管信息不一定具有任何含义,但在许多情况下,视觉信息包括对观看者具有某种意义的字符、图形、符号和/或其组合。
此外,用户在电子黑板上绘制的手写数据被称为笔画图像。
<图像处理系统使用示例>
例如,用户可以用下面的方式使用图像处理系统。
图2是示出根据本实施例的图像处理系统的使用示例的示例概念图。注意,下面将描述笔记本PC 6和电子黑板2彼此连接的示例。具体地,在本示例中,假定笔记本PC 6和电子黑板2由两根电缆10连接。例如,电缆10中的一个可以是USB电缆10USB,而另一个电缆可以是视频显示电缆10IMG。
USB电缆10USB是用于触摸板的电缆的示例。也就是说,当用户使用电子笔4等在电子黑板2上绘制对象时,指示在绘制时触摸电子黑板2的位置的数据经由USB电缆10USB从电子黑板2发送到笔记本PC 6。
视频显示电缆10IMG发送用于使电子黑板2显示由笔记本PC 6显示的素材(数据)的数据。也就是说,图像显示电缆10IMG将图像数据从笔记本PC 6发送到电子黑板2。
因此,在所示的配置中,显示两个屏幕,包括显示在笔记本PC 6上的屏幕和显示在电子黑板2上的屏幕。下面将描述显示两个屏幕的示例。
在使用电子黑板2时,例如,如果安全性是非常重要的,那么除非用户正在使用实施了安全策略的设备,否则用户可能不被允许使用电子黑板2。具体地,例如,除非在设备中安装了特定的安全软件,否则用户可能无法使用具有通信功能的设备。在这种情况下,为了通过笔记本PC 6使用电子黑板2,用户可以安装用于在笔记本PC 6中使用电子黑板2的应用程序(下文中简称为“应用”)。
也就是说,假设笔记本PC 6对应于具有在所示示例中实施了安全策略的设备,那么用户可以通过在笔记本PC 6上安装应用来使用电子黑板2的各种功能。例如,由应用导入的图像可以由应用显示在电子黑板2上。注意,为了能够使用由应用提供的各种功能,笔记本PC 6显示应用屏幕。例如,当用户输入关于应用屏幕的操作时,笔记本PC 6可以改变例如电子黑板2上显示的屏幕。
捕捉功能是可以使用的应用提供的功能的示例。例如,用户可以在电子黑板2的空白屏幕上绘制对象。可替换地,笔记本PC 6可以捕捉由用户准备的素材并使电子黑板2显示捕捉的素材,并且用户可以在显示在电子黑板2上的显示素材上绘制对象。注意,例如,显示的素材可以是使用诸如PowerPoint(注册商标)的演示程序生成的数据。
图像处理系统也可以用下面的方式来使用。
图3是示出根据本实施例的图像处理系统的另一使用示例的示例概念图。图3的示例与图2的示例的不同之处在于,所谓的台式PC被用作图像处理装置而不是笔记本PC 6。也就是说,在本实施例中使用的图像处理装置不限于笔记本PC,并且例如可以是诸如图3所示的平板PC或台式PC的一些其他类型的信息处理装置。
<硬件配置示例>
例如,电子黑板2可以具有以下硬件配置。
图4是根据本实施例的图像显示装置的示例硬件配置图。如图4所示,电子黑板2可以包括GPU(Graphics Processing Unit,图形处理单元)112、显示控制器113、显示器3、接触传感器115和传感器控制器114。
GPU 112是执行与图像处理有关的计算和控制的计算设备和控制设备。
显示控制器113是执行用于在显示器3上显示从GPU 112输出的输出图像的计算和屏幕显示控制的计算设备和控制设备。
显示器3是显示例如由笔记本PC 6输入的图像等显示图像的输出设备。
传感器控制器114是执行诸如从由接触传感器115输入的传感器数据计算坐标值的计算的计算设备。
接触传感器115是用于检测手H的接触和手H的接触位置的传感器,例如,接触传感器115可以使用红外线屏蔽技术检测手H触摸的位置,并输出指示手H触摸的位置的坐标的传感器数据。具体地,在红外线屏蔽技术中,首先,安装在显示器3的上侧端部的两个光接收/发射设备平行于显示器3照射多条红外线。然后,照射的红外线被提供在显示器3周围的反射构件反射。然后,光接收元件接收反射的红外线。然后,接触传感器115向传感器控制器114输出已经被诸如手H的物体遮蔽的由光接收/发射设备照射的红外线的ID(identification,标识)。这样,传感器控制器114可以基于红外线的ID来指示物体的接触位置的坐标值。
总线120将各个硬件组件彼此电连接。也就是说,总线120可以是所谓的地址总线、数据总线等。
注意,电子黑板2不限于所示的硬件配置。例如,电子黑板2可以包括诸如计算设备、控制设备和/或存储设备的附加设备。
此外,例如,笔记本PC 6可以具有以下硬件配置。
图5是根据本实施例的图像处理装置的示例硬件配置图。
笔记本PC 6主要包括CPU(Central Processing Unit,中央处理单元)101、ROM(Read Only Memory,只读存储器)102、RAM(Random Access Memory,随机存取存储器)103、辅助存储设备104、记录介质读取设备105、输入设备106、显示设备107和通信设备108。下面简要描述上述组件。
CPU 101包括微处理器和外围电路,并且被配置为控制整个笔记本PC 6。ROM 102是用于存储将由CPU 101执行的预定控制程序(软件组件)的存储器。当CPU 101执行存储在ROM 102中的预定控制程序(软件组件)以实施相关控制处理时,RAM 103用作工作区域。
辅助存储设备104是存储包括通用OS、设备信息和防火墙上的设置信息的各种类型的信息的设备。例如,诸如HDD(Hard Disk Drive,硬盘驱动器)等的非易失性存储设备可以被用作辅助存储设备104。注意,上述信息也可以存储在除辅助存储设备104之外的一些其他存储介质中,例如诸如CD-ROM(Compact Disk Read-Only Memory,光盘只读存储器)或DVD(Digital Versatile Disk,数字通用光盘)。存储在这些记录介质中的各种信息可以由计算机经由诸如记录介质读取设备105的驱动设备读取。另外,例如,计算机可以通过在记录介质读取设备105中加载记录介质来获得各种类型的信息。
输入设备106是用于使用户能够执行各种输入操作的设备。例如,输入设备106可以包括鼠标、键盘和布置在显示设备107的显示屏上的触摸板开关。例如,输入设备106可以是用于连接器的接口,该连接器经由电缆从诸如电子黑板的外部设备获取数据。例如,显示设备107可以是LCD(Liquid Crystal Display,液晶显示器)或CRT(Cathode Ray Tube,阴极射线管)。通信设备108是经由网络与外部设备通信的设备。通信设备108支持根据包括有线网络、无线网络等的各种网络配置的通信。
<功能配置示例>
例如,通过将应用安装在笔记本PC 6中,笔记本PC 6可以实施以下功能配置。
图6是根据本实施例的图像处理装置的示例功能配置图。在图6中,笔记本PC 6包括客户单元20和显示单元29。客户单元20包括坐标检测单元22、事件分类单元25、操作处理单元26、手势处理单元27、图像处理单元30和通信控制单元60。
坐标检测单元22获取指示从电子黑板2输入的坐标值的数据。例如,坐标检测单元22可以由输入设备106(图5)或通信设备108(图5)实施。
事件分类单元25基于坐标检测单元22获取的数据(即,坐标值)将与输入到电子黑板2的操作相对应的事件分类为笔画、UI(用户界面)操作或手势操作。例如,事件分类单元25可以由CPU 101(图5)实施。
注意,笔画绘画对应于在电子黑板2上显示笔画图像时发生的事件,并且包括从用户将手H按压在电子黑板2上并且在按压状态下移动电子黑板2上的手H直到用户从电子黑板2释放按压的手H的操作。例如,可以由笔画绘画在电子黑板2上绘制诸如字母“S”或“T”的字符。注意,笔画绘画还包括例如删除或编辑诸如已绘制的字符的笔画图像的事件。
手势操作对应于在电子黑板2上显示笔画图像时发生的事件,并且包括用户利用手H改变正在显示的图像的操作。例如,正在显示的图像可以被放大或缩小、图像的显示区域可以被改变、页面可以被翻页、或者这些改变的组合可以由手势操作来做出。
另外,UI操作对应于对显示在电子黑板2上的UI的操作。
当发生由事件分类单元25分类为UI操作的事件时,操作处理单元26基于已经操作的UI的类型执行处理。UI的类型可以是例如按钮、列表、复选框、文本框等。例如,操作处理单元26可以由CPU 101(图5)实施。
当发生由事件分类单元25分类为手势操作的事件时,手势处理单元27基于手势的类型执行处理。更具体地,当输入放大手势操作时,手势处理单元27执行放大与手势目标对应的图像的处理。例如,手势处理单元27可以由CPU 101(图5)实施。
图像处理单元30包括图像获取单元31、笔画处理单元32、UI图像生成单元33、背景生成单元34、布局管理单元35、显示叠加单元36、页面处理单元37、页面数据存储单元300、文件处理单元40和远程许可证管理表310。
图像获取单元31获取从外部设备获取的视频帧作为图像。图像获取单元31还将图像数据输出到页面处理单元37。图像数据表示来自视频输出设备(例如,笔记本PC 6)的输出图像。
当发生由事件分类单元25分类为笔画绘画的事件时,笔画处理单元32基于笔画绘画事件绘制、删除或编辑图像。注意,由笔画绘画生成的图像对应于笔画图像。
UI图像生成单元33生成在电子黑板2中预设的UI的图像,即图标。
背景生成单元34从页面处理单元37接收表示包括在由页面处理单元37从页面数据存储单元300检索的页面数据中的背景的媒体数据。然后,背景生成单元34将接收到的媒体数据输出到显示叠加单元36。注意,例如,背景可以是普通背景(plain background)或网格背景(grid background)。
布局管理单元35管理从图像获取单元31、笔画处理单元32、UI图像生成单元33和背景生成单元34输出到显示叠加单元36的图像的布局。例如,通过管理图像的布局,布局管理单元35可以提供关于在UI图像和背景图像中显示输出图像和笔画图像的位置的指令,或者不显示(隐藏)特定图像的指令。
显示叠加单元36根据基于来自布局管理单元35的图像布局的指令来布局从图像获取单元31、笔画处理单元32、UI图像生成单元33和背景生成单元34输出的图像。
页面处理单元37将包括在所存储的页面数据中的笔画布置数据(笔画图像中的每个笔画的笔画数据)输出到笔画处理单元32,从而可以再次编辑笔画。另外,页面处理单元37可以删除或复制所存储的页面数据。
当页面处理单元37将页面数据存储在页面数据存储单元300中时,在显示器上显示的输出图像的数据被存储在页面数据存储单元300中。当从页面数据存储单元300检索存储的页面数据时,输出图像的数据被检索为表示背景的媒体数据。然后,页面处理单元37将表示从页面数据存储单元300检索的页面数据中包括的笔画图像的笔画布置数据输出到笔画处理单元32。另外,页面处理单元37将表示从页面数据存储单元300检索的页面数据中包括的背景的媒体数据输出到背景生成单元34。
显示叠加单元36根据基于来自布局管理单元35的图像布局的指令,叠加从图像获取单元31输出的输出图像、从笔画处理单元32输出的笔画图像、从UI图像生成单元33输出的UI图像和从背景生成单元34输出的背景图像。这样,显示叠加单元36可以将输出图像、笔画图像、UI图像和背景图像布置成叠加的图像层,即使当叠加图像时,用户也可以按照上面列举的顺序观看这些叠加的图像层。
文件处理单元40执行输出从诸如USB存储器5的外部设备输入的数据或将数据输出到诸如USB存储器5的外部设备的处理。也就是说,文件处理单元40对USB存储器5等执行输入/输出操作。注意,从USB存储器5输入的文件可以被存储在页面数据存储单元300中,并且可以从页面数据存储单元300检索要输出到USB存储器5的文件。例如,文件处理单元40可以由输入设备106(图5)实施。
远程许可证(license)管理表310管理用于与经由通信网络9等连接的外部设备通信的许可证。例如,远程许可证管理表310可以由辅助存储设备104(图5)实施。
显示单元29将由显示叠加单元36生成的图像显示在诸如显示器的输出设备或与其连接的外部设备上。例如,显示单元29可以由显示设备107(图5)实施。
通信控制单元60经由通信网络9与外部设备通信并发送/接收数据。例如,通信控制单元60可以由通信设备108(图5)实施。
<屏幕示例和设置示例>
下面将描述其中使用Windows(注册商标)作为在笔记本PC 6上运行的OS(Operating System,操作系统)的示例。然而,本发明的实施例不限于其中OS是Windows(注册商标)的情况。也就是说,OS可以是除了Windows(注册商标)之外的一些系统软件。
在以下描述中,假定多个显示器被连接到笔记本PC 6。这种布置的示例包括图2,其中电子黑板2被连接到笔记本PC 6。也就是说,笔记本PC 6将笔记本PC 6的显示设备107(图5)和电子黑板2的显示器3(图4)都识别为在其上要显示屏幕的显示器。在这种情况下,可以将笔记本PC 6设置为在显示器上显示相同的屏幕(下文中称为“复制”)或在显示器上显示不同的屏幕(下文中称为“扩展”)。具体地,在Windows 7(注册商标)被用作OS的情况下,用户可以从“屏幕分辨率”设置菜单中包括的“多重显示”下拉列表中选择“扩展显示屏幕”或“复制显示屏幕”。例如,根据设置,每个显示器上显示的屏幕可以如下。
图7是示出由根据本实施例的图像处理装置显示的示例屏幕的表格。在所示的表格中,上面一行(表示为“复制”的行)示出了当在笔记本PC 6中设置“复制”时在显示器上显示的示例屏幕。另一方面,所示表格中的下面一行(表示为“扩展”的行)示出了当在笔记本PC 6中设置“扩展”时在显示器上显示的示例屏幕。
在下文中,在笔记本PC 6的显示器上显示的屏幕被称为“第一屏幕”。在如图2所示的电子黑板2被连接到笔记本PC 6的示例中,在电子黑板2的显示器3上显示的屏幕被称为“第二屏幕”。
当如上结合图2所述将应用安装在笔记本PC 6中时,笔记本PC 6可以显示例如图7所示的应用屏幕APP。通过输入关于应用屏幕APP的操作,用户可以通过向笔记本PC 6输入操作来使用电子黑板2。
返回参考图7,根据设置,笔记本PC 6可以在第一屏幕与第二屏幕上显示相同屏幕和在第一屏幕与第二屏幕上显示不同屏幕之间切换。具体地,在所示示例中,当实施“复制”设置时,笔记本PC 6在第一屏幕和第二屏幕上显示应用屏幕APP。在该设置中,将在第一屏幕和第二屏幕上显示相同的屏幕,并且因此,例如,当针对在第一屏幕上显示的应用屏幕APP的操作被输入时,经历相同操作的屏幕也可以被显示在第二屏幕上。
另一方面,在所示示例中,当实施“扩展”设置时,笔记本PC 6在第一屏幕上显示桌面屏幕DSK,并且在第二屏幕上显示应用屏幕APP。下面将描述在笔记本PC 6中设置“扩展”设置的情况作为示例。
在该示例中,桌面屏幕DSK被显示在第一屏幕上,并且用户可以输入关于桌面屏幕DSK的操作,以使用例如安装的程序来执行诸如创建文档、编辑图像等的操作。注意,第一屏幕上显示的屏幕不被显示在电子黑板2的显示器3上。因此,即使在第一屏幕上显示进行中的(work-in-progress)屏幕或显示机密数据的屏幕,除了与笔记本PC交互的用户之外,第一屏幕不能被任何人看到,使得与笔记本PC交互的用户可以私下操作笔记本PC 6。
另一方面,例如,由应用屏幕APP将显示在第二屏幕上的屏幕显示给与笔记本PC 6交互的用户和观看电子黑板2的会议的参与者。也就是说,例如,可以由应用屏幕APP在第二屏幕上显示信息以实现信息共享。
此外,在“扩展”设置中,诸如工具栏的GUI(Graphical User Interface,图形用户界面)可以基于用户操作向第一屏幕和第二屏幕移动,或从第一屏幕和第二屏幕移动。也就是说,在“扩展”设置中,用户可以操作GUI,就像第一屏幕和第二屏幕构成一个连续屏幕一样。例如,用户可以由诸如所谓的拖放操作的操作将桌面屏幕DSK上显示的图标移动到应用屏幕APP。
此外,通常,捕捉由操作笔记本PC的用户准备的素材,并且将捕捉的素材图像显示在电子黑板上。下面将描述设置“复制”设置的示例情况和设置“扩展”设置的示例情况。
图8是示出在根据本实施例的图像处理装置中设置“复制”设置的情况下的示例屏幕的图。注意,图8示出了当在笔记本PC中设置“复制”设置时在第一和第二屏幕上显示的示例屏幕。
在以下描述中,“白板模式”是指用户通过操作笔记本PC使用电子黑板的情况,即显示应用屏幕APP的情况。另一方面,“桌面模式”指的是用户在除了使用电子黑板之外的笔记本PC上执行操作的情况,即,应用屏幕APP被最小化并且显示桌面屏幕DSK的情况。
此外,笔记本PC在捕捉处理中生成要在电子黑板上显示的图像(下文中称为“显示图像”)。当然,当用户输入生成显示图像的指令,即执行捕捉处理的操作时,笔记本PC执行捕捉处理。因此,笔记本PC显示使用户能够输入这种指令的GUI。例如,这种GUI可以是如下所述的工具栏CAP。下面将描述在白板模式中显示的工具栏CAP的示例。
图9是示出由根据本实施例的图像处理装置显示的示例GUI的图。图9示出了笔记本PC在白板模式下在应用屏幕APP上显示工具栏CAP的示例情况。注意,例如,可以由用户执行拖放操作来改变工具栏CAP的显示位置。还要注意,工具栏CAP优选地显示在应用屏幕APP上,即最前面。下面将详细描述工具栏CAP。
图10是示出由根据本实施例的图像处理装置显示的工具栏的示例的图。即,图10是图9中的工具栏CAP的放大视图。如图10所示,例如,工具栏CAP可以包括最小化按钮BMIN、结束按钮BEND、捕捉按钮BCAP、白板按钮BWBM和桌面模式按钮BDTM。
下面将描述当用户操作工具栏CAP时执行以下处理的示例。
(1)捕捉桌面屏幕DSK(图7)上显示的屏幕以生成显示图像并将生成的显示图像导入应用屏幕APP的处理;
(2)白板模式和桌面模式之间切换的处理;
(3)最小化工具栏CAP的处理(隐藏在任务栏中);和
(4)结束应用的处理。
当按下工具栏CAP的按钮时,笔记本PC如下执行上述处理(1)至(4)。
当按下最小化按钮BMIN时,笔记本PC最小化工具栏CAP和应用屏幕APP。也就是说,笔记本PC在所谓的任务栏中容纳工具栏CAP和应用屏幕APP。以这种方式,当按下最小化按钮BMIN时,笔记本PC执行上述处理(3)。
按下结束按钮BEND后,笔记本电脑将结束应用。以这种方式,当按下结束按钮BEND时,笔记本PC执行上述处理(4)。
当按下白板按钮BWBM或桌面模式按钮BDTM时,笔记本电脑在白板模式和桌面模式之间切换。具体地,当在显示模式处于白板模式时按下桌面模式按钮BDTM时,笔记本PC从白板模式切换到桌面模式。另一方面,当在显示模式处于桌面模式时按下白板按钮BWBM时,笔记本PC从桌面模式切换到白板模式。以这种方式,当按下白板按钮BWBM或桌面模式按钮BDTM时,笔记本PC执行上述处理(2)。
当按下捕捉按钮BCAP时,笔记本PC从第一屏幕和第二屏幕中选择一个屏幕(图7和图8)并生成表示所选择的屏幕的显示图像。也就是说,当按下捕捉按钮BCAP时,笔记本PC执行上述处理(1)。注意,在如图8所示设置“复制”设置的情况下,无论显示模式是白板模式还是桌面模式,第一屏幕和第二屏幕都是相同的屏幕,因此,不论所选择的屏幕如何,显示图像都将是相同的图像。
另一方面,如下所述,可以设置“扩展”设置。
图11是示出当在根据本实施例的图像处理装置中设置“扩展”设置时的示例屏幕的图。图11示出当在笔记本PC中设置“扩展”设置时在第一屏幕和第二屏幕上显示的示例屏幕。如上面结合图7所述,当设置“扩展”设置时,笔记本PC在第一屏幕和第二屏幕上显示不同的屏幕。如图11所示,在白板模式中,例如,桌面屏幕DSK可以被显示在第一屏幕上和应用屏幕APP可以被显示在第二屏幕上。
另一方面,如图11所示,在桌面模式中,例如,桌面屏幕可以被显示在第一屏幕和第二屏幕上。然而,在第一屏幕上显示的桌面屏幕(下文中称为“第一桌面屏幕DSK1”)和在第二屏幕上显示的桌面屏幕(下文中称为“第二桌面屏幕DSK2”)是不同的屏幕。也就是说,当设置“扩展”设置并且显示模式处于桌面模式时,例如,笔记本PC可以基于用户的操作输入在第一桌面屏幕DSK 1和第二桌面屏幕DSK 2上显示不同的素材。注意,在许多情况下,当设置“扩展”设置并且显示模式处于桌面模式时,用户希望从第一桌面屏幕DSK1和第二桌面屏幕DSK2中选择捕捉目标。
因此,例如,笔记本PC可以基于例如工具栏CAP(图10)的显示位置来确定要选择第一屏幕和第二屏幕中的哪个屏幕,即捕捉目标。具体地,例如,笔记本PC可以由以下处理确定。
图12是示出由根据本实施例的图像处理装置实施的示例确定处理的流程图。例如,当由拖放操作移动工具栏CAP(图10)时,或者当切换显示设置或显示模式时,可以由笔记本PC实施所示的确定处理。
在步骤S01中,笔记本PC确定显示设置是否设置为“复制”或“扩展”。例如,笔记本PC可以获取与用户在OS等中预先设置的显示相关的设置值,并基于获取的设置值确定显示设置是被设置为“复制”还是“扩展”。如果显示设置被设置为“复制”,则笔记本PC进入步骤S02。另一方面,如果显示设置被设置为“扩展”,则笔记本PC进入步骤S05。
在步骤S02中,笔记本PC确定当前显示模式是“白板模式”还是“桌面模式”。例如,笔记本PC可以通过确定最近按下图10的白板按钮BWBM和桌面模式按钮BDTM中的哪个按钮或者通过参考相关的OS设置来进行上述确定。如果确定显示模式是“桌面模式”,则笔记本PC进入步骤S03。另一方面,如果确定显示模式是“白板模式”,则笔记本PC进入步骤S04。
在步骤S03中,笔记本PC基于第一屏幕生成显示图像。也就是说,当实施“复制”设置和“桌面模式”,并且按下捕捉按钮BCAP(图10)时,笔记本PC捕捉桌面屏幕DSK(图8)。更具体地,笔记本PC将表示桌面屏幕DSK的图像存储在RAM 103(图5)中。
在步骤S04中,笔记本PC限制捕捉。例如,笔记本PC可以使捕捉按钮BCAP变灰,禁用捕捉按钮BCAP的使用,或者即使在按下捕捉按钮BCAP时也禁止执行捕捉处理。
当显示模式处于“白板模式”时,用户很可能希望捕捉桌面屏幕DSK,而不管显示设置是否被设置为“复制”或“扩展”。也就是说,因为在应用屏幕APP(图7和图8)上显示的屏幕已经显示在电子黑板上,所以不太可能执行重新捕捉屏幕并在电子黑板上显示其图像的操作。
在步骤S05中,笔记本PC获取工具栏CAP的坐标值。例如,笔记本PC可以获取工具栏CAP的预定位置的显示位置。
图13是示出由根据本实施例的图像处理装置实施的示例确定处理的图,该图像处理装置涉及使用GUI的预定位置。下面将描述关于第一屏幕和第二屏幕实施确定处理的示例。
首先,在本示例中,假定第一屏幕被设置为“1280×800”的分辨率(所谓的WXGA)。另一方面,在本示例中,假设第二屏幕被设置为“1920×1080”的分辨率(所谓的FHD)。另外,假设第一屏幕的左上角被定义为原点(0,0)。此外,在本示例中,假设当设置“扩展”设置时,如图13所示,第一屏幕的右侧边缘和第二屏幕的左侧边缘连接。另外,在本示例中,用户可以由拖放操作在第一屏幕内、第二屏幕内或者向/从第一屏幕和第二屏幕移动工具栏。注意,第一屏幕和第二屏幕的布置不限于本示例,并且在其他示例中,可以切换第一屏幕和第二屏幕的位置。
在步骤S05(图12)中,笔记本PC在图13的屏幕上获取工具栏CAP的预定位置的坐标值。注意,预定位置被预先设置。例如,预定位置可以是工具栏CAP的左上角UL处的点。注意,预定位置可以是除左上角UL之外的点。下面描述可以被设置为预定位置的其他示例位置。
图14是示出由根据本实施例的图像处理装置显示的GUI的示例性预定位置的图。例如,要获取坐标值的预定位置可以是工具栏的左上角UL以外的四个角中的一个角处的点。具体地,如图14所示,例如,预定位置可以是工具栏CAP的左下角UD处的点、右上角RL处的点或者右下角RD处的点。此外,预定位置可以是例如中心IC处的点或用户指定的点。
在步骤S06中,笔记本PC获取与每个屏幕有关的数据。例如,在图13所示的示例中,笔记本PC可以获取指示第一屏幕和第二屏幕的分辨率(区域信息)的数据。结果,在图13所示的示例中,笔记本PC可以确定第一屏幕对应于X轴坐标值范围从“0”到“1279”的区域,即X轴坐标值小于或等于“1279”的区域。另一方面,在图13所示的示例中,笔记本PC可以确定第二屏幕对应于X轴坐标值范围从“1280”到“3200”的区域,即,具有X轴的区域坐标值大于或等于“1280”的区域。
在步骤S07中,笔记本PC确定捕捉目标是第一屏幕还是第二屏幕。例如,笔记本PC可以基于在步骤S06中获取的数据来确定在步骤S05中获取的坐标值是表示第一屏幕中的点还是第二屏幕中的点。
具体地,在图13所示的示例中,笔记本PC在步骤S05中获取左上角UL处的点的坐标值(1158,356)。然后,基于在步骤S06中获取的数据,笔记本PC确定左上角UL处的点的X坐标值是否小于或等于“1279”或大于或等于“1280”。在这种情况下,获取的X坐标值“1158”小于或等于“1279”,并且因此,笔记本PC确定该点在第一屏幕中。也就是说,如果左上角UL处的点位于图13的左侧区域,则笔记本PC确定该点在第一屏幕(步骤S07中的“第一屏幕”)中。另一方面,如果左上角UL处的点位于图13的右侧区域,则笔记本PC确定该点在第二屏幕(步骤S07中的“第二屏幕”)中。
注意,确定捕捉目标是第一屏幕还是第二屏幕的方法不限于使用预定位置的坐标值的上述方法。例如,可以使用如下所述的使用工具栏CAP的区域的确定方法。
图15是示出涉及使用由根据本实施例的图像处理装置显示的GUI的区域的示例确定处理的图。在下面的描述中,在工具栏CAP的整个区域中显示在图13的第一屏幕上的工具栏CAP的区域被称为“第一区域AR1”。另一方面,在工具栏CAP的整个区域中显示在图13的第二屏幕上的工具栏CAP的区域被称为“第二区域AR2”。图15是第一区域AR1和第二区域AR2的示例表示。在所示示例中,当比较第一区域AR1和第二区域AR2时,可以理解第二区域AR2大于第一区域AR1。因此,在这种情况下,笔记本PC确定捕捉目标是第二屏幕(图12的步骤S07中的“第二屏幕”)。
此外,作为另一示例确定方法,可以促进用户输入要捕捉的屏幕。例如,在执行捕捉处理时,笔记本PC可以显示提示用户点击图13中所示的区域(屏幕)中的一个区域的消息。然后,响应于消息的显示,用户可以输入点击包括在图13中所示的区域中的一个区域中的点的操作。然后,在步骤S05(图12)中,笔记本PC可以获取点击的点的坐标值。然后,在步骤S07(图12)中,笔记本PC可以基于在步骤S06(图12)中获取的数据确定点击的点的坐标值是位于第一屏幕还是第二屏幕。换句话说,用户可以点击期望作为捕捉目标的显示的屏幕的区域,并且可以由笔记本PC基于点击的点的坐标值来确定捕捉目标。
作为提示用户输入捕捉目标的另一种方法,例如,可以在执行捕捉处理时显示用于选择捕捉目标的按钮,并且可以提示用户输入选择操作。也就是说,在执行捕捉处理时,笔记本PC可以显示指示“将第一屏幕设置为捕捉目标”的按钮和指示“将第二屏幕设置为捕捉目标”的按钮。然后,笔记本PC可以基于用户按下的按钮来确定已经选择的屏幕,并确定所选择的屏幕对应于捕捉目标。
另外,确定方法不限于使用X坐标值的方法。例如,根据设置等,第一屏幕和第二屏幕可以以下面的方式来连接。
图16是示出在使用Y坐标值的情况下由根据本实施例的图像处理装置显示的示例屏幕的图。如图16所示,第一屏幕和第二屏幕可以垂直地(即,在Y轴方向)被连接。在这种情况下,在步骤S07(图12)中,笔记本PC使用在步骤S05(图12)中获取的坐标值的Y坐标值确定捕捉目标。
返回参考图12,在步骤S08中,笔记本PC确定显示模式是处于“白板模式”还是“桌面模式”。例如,在步骤S08中,笔记本PC可以用与步骤S02相同的方式确定显示模式。如果确定显示模式处于“桌面模式”,则笔记本PC进入步骤S09。另一方面,如果确定显示模式处于“白板模式”,则笔记本PC进入步骤S04。
在步骤S09中,笔记本PC基于第二屏幕生成显示图像。也就是说,当实施“扩展”设置和“桌面模式”,并且按下捕捉按钮BCAP(图10)时,笔记本PC在步骤S07中捕捉已被确定为捕捉目标的桌面屏幕。更具体地,在步骤S09中,笔记本PC捕捉第二桌面屏幕DSK2(图11),即,将表示第二桌面屏幕DSK2的图像存储在RAM 103(图5)中。
在步骤S10中,笔记本PC基于第一屏幕生成显示图像。也就是说,当实施“扩展”设置和“桌面模式”,并且按下捕捉按钮BCAP(图10)时,笔记本PC在步骤S07中捕捉已被确定为捕捉目标的桌面屏幕。更具体地,在步骤S10中,笔记本PC捕捉第一桌面屏幕DSK1(图11)。例如,步骤S10可以执行与步骤S03相同的处理。
利用如上所述的确定处理,用户可以通过移动工具栏CAP来选择要捕捉的屏幕。注意,用户也可以向要被确定为捕捉目标的屏幕输入要显示的移动素材的操作,以实现类似的效果。特别地,当如图11的下面一行所示实施“扩展”设置和“桌面模式”时,用户可能希望在作为捕捉目标的第一桌面屏幕DSK 1(图11)和第二桌面屏幕DSK 2(图11)之间进行选择。因此,在图13所示的示例中,用户可以输入移动工具栏CAP的操作,使得左上角UL的点位于显示将被确定为捕捉目标的屏幕的区域中。然后,当笔记本PC执行如图12所示的确定处理时,笔记本PC可以从用户希望捕捉的第一屏幕和第二屏幕中确定屏幕,即,用户希望作为显示图像的屏幕。
以这种方式,即使当笔记本PC显示多个屏幕时,笔记本PC也能够捕捉用户期望的屏幕作为显示图像,并生成期望的屏幕的显示图像。当通过如上所述捕捉期望的屏幕而生成的显示图像被输入到图像显示装置中时,用户在笔记本PC上准备的素材等可以由图像显示装置显示。
<第二实施例>
例如,本发明的第二实施例可以由与第一实施例的整体配置和硬件配置相似的整体配置和硬件配置实施。下面将描述具有与第一实施例的整体配置和硬件配置基本相同的整体配置和硬件配置的第二实施例的示例实施,并且将省略重复的描述。第二实施例与第一实施例的不同之处在于,实施如下所述的条件确定处理。
<条件确定处理示例>
例如,笔记本PC可以包括条件确定单元,其执行如下所述的屏幕确定处理。例如,条件确定单元可以由CPU 101(图5)实施。
图17是示出由根据本实施例的图像处理装置实施的示例条件确定处理的流程图。注意,条件确定处理是可以在启动应用、改变与屏幕有关的设置等时实施的处理。
在步骤S21中,笔记本PC确定多个屏幕中是否存在满足预定条件的屏幕。下面将描述如图2所示的示例,其中笔记本PC 6在笔记本PC 6的显示器上显示屏幕和电子黑板2的显示器。在这种情况下,例如,根据电子黑板2的规格,电子黑板2可能无法显示要在电子黑板2的显示器上显示的屏幕,除非屏幕满足预定条件。
例如,预定条件可以是屏幕具有预定分辨率或大于或等于预定分辨率的分辨率。下面将描述一个示例,其中,除非屏幕具有“1920×1080”的分辨率(以下称为“FHD”),否则将在电子黑板2的显示器上显示的屏幕不能显示在电子黑板2的显示器上。在本示例中,“FHD分辨率屏幕”被用户设置为笔记本PC中的预定条件。此外,下面将作为示例描述如图11所示的在笔记本PC中设置“扩展”设置的情况。
在本示例中,在步骤S21中,笔记本PC确定第一屏幕和第二屏幕中的一个或两个的分辨率是否对应于FHD分辨率。注意,例如,笔记本PC可以由图12的步骤S06的处理获取每个屏幕的分辨率。在图13所示的示例中,第二屏幕具有“1920×1080”的分辨率,因此,笔记本PC确定第二屏幕是FHD屏幕。因此,对于图13所示的示例屏幕,笔记本PC在步骤S21中确定存在满足预定条件的屏幕(步骤S21中的“是”)。
如果在多个屏幕中存在满足预定条件的屏幕(步骤S21中的“是”),则笔记本PC进入步骤S22。另一方面,如果在多个屏幕中存在满足预定条件的屏幕(步骤S21中的“否”),则笔记本PC进入步骤S24。
在步骤S22中,笔记本PC确定图像显示装置是否连接到笔记本PC。例如,笔记本PC可以通过确定图2的线缆10是否电连接到电子黑板2来确定电子黑板2是否连接到其上。
在本示例中,如果电缆10没有电连接到电子黑板2,则笔记本PC可能无法从电子黑板2接收各种数据。也就是说,即使在电子黑板2上写入数据,也可以不将数据发送到应用。因此,通过在步骤S22中确定电缆10是否电连接,笔记本PC可以减少在应用中没有反映写在电子黑板2上的数据的情况。
如果图像显示装置被连接到笔记本PC(步骤S22中的“是”),则笔记本PC进入步骤S23。另一方面,如果图像显示装置未被连接到笔记本PC(步骤S22中的“否”),则笔记本PC进入步骤S24。
注意,步骤S21和S22可以如图17所示单独被执行,或者,步骤S22的确定标准可以被包括在例如步骤S21的预定条件中。
在步骤S23中,笔记本PC在满足预定条件的屏幕上显示应用屏幕。例如,在图13所示的示例中,第二屏幕是满足预定条件的屏幕。因此,在步骤S23中,笔记本PC在第二屏幕上显示应用屏幕APP(图7)。以这种方式,笔记本PC可以显示例如图7的下面一行(“扩展”列)中指示的屏幕。
在步骤S24中,笔记本PC取消应用的启动。
利用这种条件确定处理,笔记本PC可以从多个屏幕中标识满足预定条件(诸如与屏幕分辨率有关的条件)的屏幕。例如,根据图像显示装置的规格,除非屏幕满足预定条件,否则图像显示装置可能无法显示屏幕。这样,应用屏幕APP(图7)优选地显示在满足预定条件的屏幕上。因此,笔记本PC首先确定是否存在满足预定的条件的屏幕。然后,当存在满足预定条件的屏幕时,笔记本PC在满足预定条件的屏幕上显示应用屏幕APP。
当如上所述在满足预定条件的屏幕上显示应用屏幕APP时,在许多情况下,用户对在满足预定条件的屏幕上显示的应用屏幕APP执行操作。因此,笔记本PC经由应用在图像显示装置上显示可以由图像显示装置显示的屏幕。
在一些情况下,用户可能不知道多个屏幕中的哪个屏幕是满足预定条件的屏幕。在这种情况下,用户在使用图像显示装置时可能无法确定应用屏幕APP应该被显示在哪个屏幕上。因此,通过具有笔记本PC在启动应用时确定是否存在满足预定条件的屏幕,用户可以经由应用可靠地使用图像显示装置。
注意,例如,即使在笔记本PC中设置“复制”设置,除非屏幕的分辨率大于或等于预定分辨率,也可能存在应用屏幕APP不能适合底层屏幕的情况。因此,当在笔记本PC中设置“复制”设置时,也可以实施上述方法。
<其他修改>
尽管以上参考某些示例实施例描述了本发明,但是本发明不限于这些实施例,并且在不脱离本发明的范围的情况下可以进行各种修改和替换。
注意,尽管在上述实施例中使用了术语“电子黑板2”(图2),但是电子黑板2也可以被称为例如“电子信息板”、“电子白板”或“交互式白板”。
此外,尽管在上述实施例中电子黑板2被描述为示例图像显示装置,但是本发明可以在由产生数据并持续使用数据的未指定数量的用户使用的其他各种类型的设备中实施。
此外,电子黑板2的所示配置根据主要功能被划分为处理单元,以便于理解由电子黑板2实施的处理。然而,本发明不受上述划分或处理单元名称的限制。例如,可以根据处理内容将电子黑板2的处理单元划分为更多处理单元。此外,例如,一个处理单元可以被分成多个处理。
此外,图像显示装置和图像处理装置不限于由单个信息处理装置实施。也就是说,图像显示装置和图像处理装置可以由具有两个或更多个信息处理装置的信息处理系统实施。在图像显示装置或图像处理装置中,例如,可以实施分布式处理、冗余处理、并行处理或其组合来执行部分或全部处理。
注意,根据本发明的处理的全部或部分可以由用于使计算机能够执行以诸如汇编器、C、C++、C#、Java(注册商标)等编程语言编写的图像处理方法的程序实施。也就是说,程序是用于使诸如图像处理装置的计算机执行图像处理方法的计算机程序。
另外,程序可以被存储和分布在诸如ROM或EEPROM(Electrically ErasableProgrammable ROM,电可擦除可编程ROM)的计算机可读记录介质中。另外,记录介质可以是EPROM(Erasable Programmable ROM,可擦除可编程ROM)、快闪存储器、软盘、光盘、SD(注册商标)卡、MO等。程序也可以通过例如电通信线路分发。
本申请基于并要求2016年2月12日提交的日本专利申请第2016-025359号的优先权日的权益,其全部内容通过引用合并于此。
附图标记说明
1 图像处理系统
2 电子黑板
3 显示器
4 电子笔
6 笔记本电脑
现有技术文件
专利文件
专利文件1:日本未审查专利公开第2000-43484号。

Claims (8)

1.一种图像处理装置,其被连接到显示包括叠加在显示图像上的手写数据的视觉信息的图像显示装置,所述图像处理装置包括:
显示单元,其被配置为显示包括第一屏幕和不同于第一屏幕的第二屏幕的多个屏幕,并使所述图像显示装置显示从所述第一屏幕和所述第二屏幕中选择的屏幕;和
图像处理单元,其被配置为从所述第一屏幕和所述第二屏幕中选择所述屏幕以生成所选择的屏幕的所述显示图像;
其中,所述图像处理单元基于接收从所述第一屏幕和所述第二屏幕中选择所述屏幕的操作或者指示生成所述显示图像的操作的输入的图形用户界面,来生成所选择的屏幕的所述显示图像。
2.根据权利要求1所述的图像处理装置,其中
所述图像处理单元基于所述图形用户界面的预定位置是显示在所述第一屏幕上还是显示在所述第二屏幕上来生成所述显示图像。
3.根据权利要求2所述的图像处理装置,其中
所述图像处理单元将所述第一屏幕上显示的所述图形用户界面的第一区域与所述第二屏幕上显示的所述图形用户界面的第二区域进行比较,以生成所述显示图像。
4.根据权利要求1至3中任一项所述的图像处理装置,其中
所述显示单元扩展要显示的所述多个屏幕,使得所述第一屏幕和所述第二屏幕是不同的屏幕。
5.根据权利要求1至4中任一项所述的图像处理装置,还包括:
条件确定单元,其从所述多个屏幕中确定是否存在满足预定条件的屏幕;并且
其中,在由所述条件确定单元确定为满足所述预定条件的所述屏幕上显示用于操作所述图像显示装置的应用屏幕。
6.根据权利要求5所述的图像处理装置,其中
所述条件确定单元确定所述多个屏幕是否具有预定分辨率或大于或等于所述预定分辨率的分辨率。
7.一种图像处理系统,包括:至少一个图像显示装置,其显示包括叠加在显示图像上的手写数据的视觉信息;以及至少一个图像处理装置,其被连接到所述图像显示装置,所述图像处理系统包括:
显示单元,其被配置为显示包括第一屏幕和不同于第一屏幕的第二屏幕的多个屏幕,并使所述图像显示装置显示从所述第一屏幕和所述第二屏幕中选择的屏幕;和
图像处理单元,其被配置为从所述第一屏幕和所述第二屏幕中选择所述屏幕以生成所选择的屏幕的所述显示图像;
其中,所述图像处理单元基于接收从所述第一屏幕和所述第二屏幕中选择所述屏幕的操作或者指示生成所述显示图像的操作的输入的图形用户界面,来生成所选择的屏幕的所述显示图像。
8.一种图像处理方法,其由连接到图像显示装置的图像处理装置实施,所述图像显示装置显示包括叠加在显示图像上的手写数据的视觉信息,所述图像处理方法包括:
显示步骤,其中所述图像处理装置显示包括第一屏幕和不同于第一屏幕的第二屏幕的多个屏幕,并使所述图像显示装置显示从所述第一屏幕和所述第二屏幕中选择的屏幕;和
图像处理步骤,其中所述图像处理装置从所述第一屏幕和所述第二屏幕中选择所述屏幕以生成所选择的屏幕的所述显示图像;
其中,在所述图像处理步骤中,所述图像处理装置基于接收从所述第一屏幕和所述第二屏幕中选择所述屏幕的操作或者指示生成所述显示图像的操作的输入的图形用户界面,来生成所选择的屏幕的所述显示图像。
CN201680081077.3A 2016-02-12 2016-11-29 图像处理装置、图像处理系统和图像处理方法 Withdrawn CN108604173A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016025359 2016-02-12
JP2016-025359 2016-02-12
PCT/JP2016/085280 WO2017138223A1 (ja) 2016-02-12 2016-11-29 画像処理装置、画像処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
CN108604173A true CN108604173A (zh) 2018-09-28

Family

ID=59563264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081077.3A Withdrawn CN108604173A (zh) 2016-02-12 2016-11-29 图像处理装置、图像处理系统和图像处理方法

Country Status (5)

Country Link
US (1) US10719228B2 (zh)
EP (1) EP3416039A4 (zh)
JP (1) JP7042622B2 (zh)
CN (1) CN108604173A (zh)
WO (1) WO2017138223A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108469945A (zh) * 2018-03-26 2018-08-31 广州视源电子科技股份有限公司 一种显示终端及其控制方法、装置和存储介质
JP6707621B1 (ja) 2018-12-28 2020-06-10 株式会社ラムダシステムズ 情報処理装置、情報処理方法および情報処理プログラム
JP7310546B2 (ja) 2019-10-30 2023-07-19 株式会社リコー 表示装置、表示方法、プログラム、画像処理システム
US11042222B1 (en) 2019-12-16 2021-06-22 Microsoft Technology Licensing, Llc Sub-display designation and sharing
US11487423B2 (en) * 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11404028B2 (en) 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
US11093046B2 (en) 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US20020075250A1 (en) * 2000-10-10 2002-06-20 Kazuyuki Shigeta Image display apparatus and method, information processing apparatus using the image display apparatus, and storage medium
JP2006146629A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 画面共有システム及び情報処理装置
JP2008193402A (ja) * 2007-02-05 2008-08-21 Sumitomo Electric Ind Ltd 画像表示/処理用端末、システム、プログラム、及び、記憶媒体
CN102147986A (zh) * 2011-04-14 2011-08-10 华中师范大学 一种基于电子双板的远程同步教学系统
CN102413128A (zh) * 2011-11-10 2012-04-11 青岛海信移动通信技术股份有限公司 一种共享电子白板的方法及网络会议系统
US20130307796A1 (en) * 2012-05-16 2013-11-21 Chi-Chang Liu Touchscreen Device Integrated Computing System And Method
US20140365957A1 (en) * 2013-06-07 2014-12-11 Apple Inc. User interfaces for multiple displays

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000043484A (ja) 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
JP2003069767A (ja) * 2001-08-27 2003-03-07 Ricoh Co Ltd 表示システムおよび表示プログラム
JP2007249476A (ja) * 2006-03-15 2007-09-27 Ricoh Co Ltd 情報処理装置および情報処理方法
US8707176B2 (en) * 2007-04-25 2014-04-22 Canon Kabushiki Kaisha Display control apparatus and display control method
JP2012084122A (ja) 2010-09-15 2012-04-26 Ricoh Co Ltd 画像表示装置、画像表示システム、画像表示方法、プログラムおよび記録媒体
CN102446054B (zh) * 2010-09-30 2014-09-10 国际商业机器公司 用于显示网页的方法和系统
JP2013239147A (ja) * 2012-04-20 2013-11-28 Ricoh Co Ltd 表示制御装置
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US20020075250A1 (en) * 2000-10-10 2002-06-20 Kazuyuki Shigeta Image display apparatus and method, information processing apparatus using the image display apparatus, and storage medium
JP2006146629A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 画面共有システム及び情報処理装置
JP2008193402A (ja) * 2007-02-05 2008-08-21 Sumitomo Electric Ind Ltd 画像表示/処理用端末、システム、プログラム、及び、記憶媒体
CN102147986A (zh) * 2011-04-14 2011-08-10 华中师范大学 一种基于电子双板的远程同步教学系统
CN102413128A (zh) * 2011-11-10 2012-04-11 青岛海信移动通信技术股份有限公司 一种共享电子白板的方法及网络会议系统
US20130307796A1 (en) * 2012-05-16 2013-11-21 Chi-Chang Liu Touchscreen Device Integrated Computing System And Method
US20140365957A1 (en) * 2013-06-07 2014-12-11 Apple Inc. User interfaces for multiple displays

Also Published As

Publication number Publication date
WO2017138223A1 (ja) 2017-08-17
US20180321840A1 (en) 2018-11-08
EP3416039A1 (en) 2018-12-19
EP3416039A4 (en) 2019-01-16
US10719228B2 (en) 2020-07-21
JP7042622B2 (ja) 2022-03-28
JPWO2017138223A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108604173A (zh) 图像处理装置、图像处理系统和图像处理方法
US9335860B2 (en) Information processing apparatus and information processing system
US20110246875A1 (en) Digital whiteboard implementation
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
US20130198653A1 (en) Method of displaying input during a collaboration session and interactive board employing same
US20050015731A1 (en) Handling data across different portions or regions of a desktop
CN110297550B (zh) 一种标注显示方法、装置、投屏设备、终端和存储介质
CN106462372A (zh) 在图形用户界面之间传输内容
US11287951B2 (en) Systems and methods for a touchscreen user interface for a collaborative editing tool
KR20090102815A (ko) 다중 디스플레이 환경에서 이미지를 나타내기 위한 장치, 시스템 및 방법
US11209921B2 (en) Electronic blackboard, storage medium, and information display method
JP6051670B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6160305B2 (ja) 画像処理装置、プログラム、画像処理システムおよび画像処理方法
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
US9098947B2 (en) Image processing apparatus and image processing system
US10725653B2 (en) Image processing device, image processing system, and image processing method
US20130127745A1 (en) Method for Multiple Touch Control Virtual Objects and System thereof
EP3416361B1 (en) Image processing device, image processing system and image processing method
JP2019067111A (ja) 表示制御装置及びプログラム
JP2004021595A (ja) 会議支援協調作業システム
US20220147693A1 (en) Systems and Methods for Generating Documents from Video Content
JP2021165905A (ja) 通信装置、通信装置の制御方法、及びプログラム
CN112805685A (zh) 用于在网络协作工作空间中通过网络套接字连接传播丰富笔记数据对象的方法、装置和计算机可读介质
CN113918069A (zh) 信息交互方法、装置、电子设备及存储介质
WO2021062948A1 (zh) 元素添加方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180928

WW01 Invention patent application withdrawn after publication