CN104106037B - 投影仪，图形输入·显示装置，便携终端和程序 - Google Patents

投影仪，图形输入·显示装置，便携终端和程序 Download PDF

Info

Publication number
CN104106037B
CN104106037B CN201280069430.8A CN201280069430A CN104106037B CN 104106037 B CN104106037 B CN 104106037B CN 201280069430 A CN201280069430 A CN 201280069430A CN 104106037 B CN104106037 B CN 104106037B
Authority
CN
China
Prior art keywords
terminal
data
line
portable terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280069430.8A
Other languages
English (en)
Other versions
CN104106037A (zh
Inventor
清水宏
吉泽和彦
铃木基之
西岛英男
益冈信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN104106037A publication Critical patent/CN104106037A/zh
Application granted granted Critical
Publication of CN104106037B publication Critical patent/CN104106037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明防止向白板写入的参加者的位置妨碍白板阅览，为了之后利用包括写入的记录的途中经过的过程而保存参加者全员的写入记录过程。参加者全员的终端将所输入的任意的线描分割为线段并依次发送到上述控制器，此外具有带有触摸面板的终端，其具有在带有触摸面板的终端的显示器上显示从上述控制器发送的线描信息的功能，此外使用内置或能够连接控制器的液晶投影仪，其中该控制器具有如下功能：将从各带有触摸面板的终端发送的线描信息依次记录在数据库中，并追加记录在白板图像的图像存储器中，用上述液晶投影仪在墙面上投影上述图像存储器内容，同时对各带有触摸面板的终端发送上述数据库。

Description

投影仪，图形输入·显示装置，便携终端和程序
技术领域
本发明涉及在会议或发表会等中能够由多名参加者同时通过手写输入自由地进行写入或修正的电子构建的图形输入·显示装置。
背景技术
通常，特别是在要求边提出新的事项边进行的会议和发表会中，优选在如黑板那样大尺寸的屏幕上存在能够通过手写直接写入或订正、删除或变更等、参加者全员能够同时阅览的画面。
一般而言，小规模至中规模的会议等中有效地利用能够在白色的面板上用水性笔书写或订正、擦除的白板。该白板中，进而具有用图像扫描仪读取书写的内容的最终结果、印刷在纸上而保留会议结果的记录(备忘录)的功能的白板得到了使用。
进而，作为将会议结果的记录作为电子信息保存·管理的方法，在现有技术文献的专利文献1中，记载了如下发明：将多个具备手写输入装置的终端装置、和用各终端装置手写输入的信息集中在服务器中，对该服务器的显示窗口内的每个指定区域设定各终端的手写输入区域，显示用各个终端输入的信息。
此外，专利文献2中，记载了适合由静态图像通信装置以数字信号发送用电传书写(Telewriting)装置输入的手写线的数据格式。
现有技术文献
专利文献
专利文献1：日本特开2008-269525号公报
专利文献2：日本特开平6-296210号公报
发明内容
发明想要解决的技术问题
本发明想要解决的技术问题在于，不会因参加者全员一同能够阅览的白板进行书写或编辑作业而妨碍白板的阅览。此外，还在于：设置用于之后阅览连书写的记录的中途过程也包括在内的过程的单元，为了有效率地进行会议和基于会议结果的活动，而提供能够更有效地利用会议中的议论等信息的手段(装置、方法)。
于是，本发明的目的在于，提高使用投影仪和终端的会议等中的用户(使用者)的便利性。
用于解决问题的技术方案
本发明的目的作为其一例能够通过权利要求中记载的结构达成。
发明效果
根据本发明，能够提高使用投影仪和终端的会议等中的用户的便利性。
附图说明
图1是表示构成图形输入·显示装置、便携终端的各设备之间的连接和具体的动作图像的说明图。
图2是说明图形输入·显示装置、便携终端中用于同时输入多条线段而显示的数据的处理和格式(format)的说明图。
图3是表示图形输入·显示装置、便携终端的、从各终端输出数据包、对投影仪发送数据、以及从投影仪对终端再次分发数据包的说明图。
图4是表示图形输入·显示装置、便携终端中对带有触摸面板的终端装置输入线描时的显示方法的说明图。
图5是表示图形输入·显示装置、便携终端的系统结构的框图的例子。
图6是表示图形输入·显示装置、便携终端的智能液晶投影仪的系统结构的框图的例子。
图7是说明图形输入·显示装置的软件的结构与硬件的关系的第一实施例的说明图。
图8是说明表示图形输入·显示装置、便携终端的软件的结构与硬件的关系的第二实施例的说明图。
图9是说明表示使用图形输入·显示装置、便携终端的构成设备，在会议中仅在指定终端彼此之间进行会话的UI的说明图。
图10是表示在图形输入·显示装置、便携终端中，显示正在进行描绘的线是由哪位用户书写的方法的说明图。
图11是表示图形输入·显示装置、便携终端中处理的描绘数据的流的说明图。
图12是用流程图表示图形输入·显示装置、便携终端中对处理的描绘数据的流进行操作的动作的说明图。
图13是表示图形输入·显示装置、便携终端的会议进行途中的白板图像的倒回再现动作的说明图。
图14是表示在图形输入·显示装置、便携终端中，在描绘了参加者描绘的一定单位的全部线描之后一并显示的方法的说明图。
图15是表示图形输入·显示装置、便携终端的终端的显示屏幕(画面)的例子的说明图。
图16是表示图形输入·显示装置、便携终端的禁止利用指定终端进行书写·删除的状态的说明图。
图17是表示图形输入·显示装置、便携终端的按照操作者的意愿暂时停止终端操作的方法的说明图。
图18是表示图形输入·显示装置、便携终端的各终端的操作者个人记录备忘录的情况的画面的说明图。
图19是表示图形输入·显示装置、便携终端的自动誊清标准图形的画面的说明图。
图20是表示图形输入·显示装置、便携终端的文字输入时的画面例的说明图。
图21是表示图形输入·显示装置、便携终端的显示会议参加者的ID的例子的说明图。
图22是表示图形输入·显示装置、便携终端的事先设定会议开始时的画面的情况的例子的说明图。
图23是表示使用图形输入·显示装置、便携终端的构成设备，在会议中仅在指定终端彼此之间进行会话的情况下的终端内结构的说明图。
图24是表示图形输入·显示装置、便携终端的与自动比例尺(scale)变更相关的动作的说明图。
图25是表示图形输入·显示装置、便携终端的使用摄像机确认参加者的动作的说明图。
图26是表示图形输入·显示装置、便携终端的使用摄像机确认参加者的摄像机部的具体动作的说明图。
具体实施方式
以下用附图说明本发明的图形输入·显示装置的具体实施例。
图1是表示构成本发明的图形输入·显示装置、便携终端的各设备之间的连接和具体动作图像的说明图。
在墙面或屏幕上投影白板的装置是智能液晶投影仪10010。它由液晶投影仪10020和控制器10030构成，液晶投影仪10020和控制器10030既可以内置在同一壳体内，也可以是分开构成，从控制器10030用模拟或数字信号向液晶投影仪10020传输投影图像数据的方式，可以是任意的。传输而来的投影图像被投影在墙面上(10011)，成为大画面(大屏幕)的图像，能够由会议的参加者全员阅览。
会议的参加者各自具有使触摸面板和同尺寸的显示器一体化而成的带有触摸面板的终端(10040～10070)，在触摸面板上能够用笔(10041，10042)进行手写线描(线条画)的输入和编辑。
在本实施例中，智能液晶投影仪10010内的控制器与各带有触摸面板的终端(10040～10070)之间，通过无线构成的LAN(Local AreaNetwork：局域网)连接。该LAN环境可以使用一般的办公室等中共享使用的无线LAN环境，但本实施例中，由将控制器10030作为路由器从该控制器得到IP地址仅在被连接的各带有触摸面板的终端(10040～10070)之间形成闭合的连接环境的LAN构成。会议开始时的动作是，通过已经在控制器中注册了MAC地址等的多个带有触摸面板的终端之间分配IP地址，对于会议参加者带来的带有触摸面板的终端，利用控制器上设置的操作开关、通过从控制器对终端输入由液晶投影仪投影的ID码等，由此构建通信连接环境。
以下说明具体动作。对各带有触摸面板的终端(10040～10070)用笔(10041、10042)输入的线，在本例中，是用带有触摸面板的终端(10040)和带有触摸面板的终端(10070)这两台终端同时进行线描的输入的状态。即，最终显示的白板图像上，两条线描同时持续延伸，以与犹如两名参加者同时在以往的白板上物理书写的情况相同的状态显示。
与投影的白板图像10011相同的图像，同时显示在各带有触摸面板的终端(10040～10070)上，会议参加者能够一边观看最新的白板图像，一边对其进行加工·修正。
在投影和带有触摸面板的终端(10040～10070)上显示的图像上，重叠显示有表示参加会议的参加者的各带有触摸面板的终端(10040～10070)的状况的图标(icon)10012。本实施例中有4个终端参加，但本例中的会议系统中最多能够有6个终端参加，其中4号和6号是参加者缺席或者带有触摸面板的终端不工作的状态。参加会议的参加者所具有的各带有触摸面板的终端(10040～10070)，此处是标识为终端ID#1(10040)、终端ID#2(10050)、终端ID#3(10060)、终端ID#5(10070)，其中ID#1(10040)和ID#2(10050)的终端处于正在同时输入线描的状态。
图2是说明本发明的图形输入·显示装置、便携终端中用于同时输入并显示多条线段的数据的处理和格式的说明图。
如图2(a)所示，用笔20001对带有触摸面板的终端输入的线描(线条画)20000，通过终端内的转换处理20010，被转换为由多条直线构成的线段20030的集合体20020。
各线段被作为起点Xstart(以下称为Xs)、Ystart(以下称为Ys)、Xend(以下称为Xe)、Yend(以下称为Ye)处理。
图2(b)表示将输入的线描分割而得到的各线段按每个线段作为数据包(datapacket)20040处理的数据格式。各数据包由输入了该线段的终端的终端ID、起点和终点的坐标、后述的线的粗细、颜色、种类、以及根据橡皮擦、激光指示器(laser pointer)等多种使用方法而定的线条种类的数据构成。
这些线段数据由各终端按照时间轴20050输入。各终端中，在用户看来是一笔输入作为一条线描(图2(a)20060)的，而能够当作书写进行输入，但实际上是按以规定的采样时间间隔分割得到的每个线段，以来自终端1的输入(20060)和来自终端2的输入(20070)混合的状态，由上述控制器10030接收。
接收到的包20040在控制器10030内按接收顺序保存为数据列表，由此按接收顺序时序地向构建白板图像的未图示的影像存储器、各带有触摸面板的终端输出(20080)。接收了输出后的影像存储器按照接收的包数据顺序，在自身的影像存储器内将各线段数据作为图像数据写入。此外，接收的各终端也同样地在自身的影像存储器内将各线段构建为图像数据并输出。
通过该方法，能够进行使多名参加者同时写入的线描在外观上看起来像是同时有多条线在画面(屏幕)上持续延伸的处理。
图3是表示本发明的图形输入·显示装置、便携终端的、从各终端输出数据包、对投影仪发送数据、以及从投影仪对终端再次分发数据包的说明图。
从终端#1(30001)输出的表示线段数据的数据包，在每个规定的采样定时(时刻)生成，如30010、30011、30012所示，按各线段单位发送到智能液晶投影仪的控制器30003。与该发送数据非同步地，从终端#2如30020、30021所示向控制器30003发送同样地在每个规定的采样定时(时刻)静止(生成)的表示线段数据的数据包。
控制器按接收顺序接收并保存这些数据包，按照其顺序在液晶投影仪上显示，并且再次分发到各终端30004。该分发定时(timing)可以按规定的定时间隔动作，例如以按照投影仪或各终端的显示部的显示装置的帧定时对准的速度发送。
由此，在墙面上投影的大屏幕的投影仪图像、和各参加者的带有触摸面板的终端装置的显示部上，用终端#1和终端#2同时写入、并且随着写入而延伸的线能够以在相同画面上同时延伸的方式显示，并且能够在外观上看起来像是从多个终端输入的线描同时被显示一样。
图4是表示本发明的图形输入·显示装置、便携终端中对带有触摸面板的终端装置输入线描时的显示方法的说明图。
如图3中所说明的，利用各终端的触摸面板输入的线段数据，先被发送到控制器，与来自其他终端的输入合成之后，再送到各终端并显示。该情况下，从用笔在触摸面板上画线到实际显示为止，在用笔输入线的时刻与实际在终端上显示的线的显示时刻之间，会发生相当于对控制器的数据的往返、以及控制器对数据合成所需的时间量的轻微延迟，画线并不会立刻显示，造成使用不便。
本实施例中，首先在图4(a)中，带有触摸面板的终端装置，基于用笔输入的线描数据，进行即刻的线显示。通过该终端内数据显示40000，没有上述时间差，即刻显示用笔描绘的线描，所以能够像用铅笔直接书写线描一般，进行自然的输入。
接着，显示从控制器再次分发而来的线段数据。接收数据显示40010以按临摹已在用笔书写时显示的线描的方式，具有上述延迟时间差地追踪的方式显示线描。基本上该线显示与最初用笔写入线描时相同的线，但为了与终端内的显示区分，用区分开颜色或粗细等显示格式的线显示接收的线。从此后起显示的接收数据显示40010是正式向白板写入的线描。
图5是表示本发明的图形输入·显示装置、便携终端的便携终端的系统结构的框图的例子。
本实施例中，便携终端使用一般的计算机系统的结构，以CPU50000为中心，用总线50001连接了各种硬件，各硬件内置有未图示的硬件接口，按照在CPU上运行的程序的控制进行数据的输入、保存、输出等控制。
终端以CPU为核心，由作为显示装置的LCD50010、构建在显示装置上显示的图像的V-RAM(Video-RAM)50050、以在LCD上重叠的状态检测笔或手指的接触作为坐标值的触摸面板50020、保存CPU50000所执行的程序和基本数据的闪存50060、进行终端的电源开/关(ON/OFF)和背光源的调整等的各种开关50030、CPU50000用作工作区的RAM50070、例如摄像机50040等上述触摸面板以外的图像数据的输入装置、以及发送和接收对输入的线描进行转换后的线段数据的无线LAN50080构成。各装置中，如上所述具有未图示的接口，通过与CPU总线50001连接，CPU上运行的程序能够处理各装置的输入输出数据。
图6是表示本发明的图形输入·显示装置、便携终端的智能液晶投影仪的系统结构的框图的例子。
本实施例中，智能液晶投影仪也与图5所示的终端同样，使用一般的计算机系统的结构，以CPU60000为中心，用总线60001连接了各种硬件，各硬件内置有未图示的硬件接口，按照在CPU上运行的程序的控制进行数据的输入、保存、输出等控制。
智能液晶投影仪以CPU为核心，由内置或外接的投影仪60010、构建发送到投影仪进行显示的图像的V-RAM(Video-RAM)60040、进行电源开/关(ON/OFF)和各种操作的各种开关60020、保存CPU60000所执行的程序和基本数据的闪存60050、CPU60000用作工作区的RAM60060、以及对各带有触摸面板的终端赋予IP地址而构建LAN并进行从各终端发送的线段包的接收的再次发送的无线LAN路由器60030构成。各装置中，如上所述具有未图示的接口，通过与CPU总线60001连接，CPU上运行的程序能够处理各装置的输入输出数据。
图7是说明表示本发明的图形输入·显示装置、便携终端的软件的结构与硬件的关系的第一实施例的说明图。
图7(a)表示终端装置的结构，在操作系统(以下称为OS)70010的整体控制下工作，在该OS的管理下，执行白板应用(application)70000。白板应用与OS之间，每个硬件通过应用接口(以下称为API)70001、70002、70003连接，白板应用经由OS与各硬件进行数据的发送和接收。
构成利用触摸面板70021输入的手写线描的数据，通过触摸面板驱动器70011被输入到OS，经由API70001被输入到白板应用。此时，图3中说明的采样定时(时刻)按照指示将触摸面板上的坐标从白板应用导入到OS的定时(时刻)进行，导入笔或手指是接触还是离开了触摸面板、和接触的情况下的坐标，转换为图2中说明的每个线段的包数据，经由API70002、OS70010、LCD驱动器70013，在LCD上显示(70023)。同时经由API70002、OS70010、无线LAN驱动器70012，由无线LAN70022向智能液晶投影仪发送。
图7(b)表示智能液晶投影仪的结构，特别是控制器的结构，在OS70050的整体控制下工作，在该OS的管理下执行白板应用70040。白板应用与OS之间，每个硬件通过应用接口(以下称为API)70041、70042连接，白板应用经由OS与各硬件进行数据的发送和接收。
无线LAN路由器80062中，与各终端连接，从连接的终端发送的构成输入的手写线描的线段数据，通过无线LAN驱动器70052输入到OS，经由API70042输入到白板应用。该数据从多个终端发送，但对其按接收的时间序列顺序进行数据列表化，用白板应用进行保存，同时经由API70041、OS70050通过液晶投影仪驱动器70051发送到液晶投影仪硬件，作为投影画面70061显示。
同时，从多个终端接收的线段数据的集合，经由API70042、OS70050，通过无线LAN驱动器70052利用来自无线LAN路由器70062的电波发射(发送)，向各终端再次分发。
转换为图2中说明的每个线段的包数据，经由API70003、OS70010、LCD驱动器70013，在LCD上显示(70023)。同时，经由API70002、OS70010、无线LAN驱动器70012，由无线LAN70022向智能液晶投影仪发送。
此处，在图7(b)中保存的数据包，在液晶投影仪进行了显示或向各终端进行了再次发送的时刻可以丢弃，但通过保存会议中的所有数据，能够保留为按时序(时间序列)保存会议中对白板写入的内容的会议记录，此外有会议途中参加的终端的情况下，也能够通过发送从会议开始时起的数据包，用白板书写信息确认参加时刻以前的议论(内容)。这通过在图7(a)所示的各终端上也进行保存，能够在会议途中随时重新确认从会议开始时起的议事进程，并且还能够按每个终端保留会议记录。
图8是表示示出本发明的图形输入·显示装置、便携终端的软件结构与硬件的关系的第二实施例的说明图。
图8(a)示出图7(b)的智能液晶投影仪、特别是控制部的结构，其结构与图7(b)的结构相同，省略详细说明。
本实施例中，特征在于，对在液晶投影仪上显示的显示图像进行处理的程序，不是使用白板应用80000，而是使用作为通用的显示程序的web浏览器。
HTML5这样的网页(homepage)描述语言中，除了迄今为止的按图像数据显示图形图像(graph image)的功能以外，还存在如图8(b)所示设定线段的起点和终点、颜色和宽度等属性而显示任意线段的功能。使用该功能，将从白板应用输出的线段数据转换为HTML5的描述语言之后，经由API80002、OS80010、API80031输入到浏览器80030，浏览器80030经由API80031、OS80010、液晶投影仪驱动器80013，被投影作为白板图像80023。
虽然图8中未图示，但终端装置也同样能够通过在图7(a)中加入浏览器和API，使用通用的浏览器，特别是能够提供不依赖于输出设备的硬件规格的方式的设备。
图9是表示使用本发明的图形输入·显示装置、便携终端的构成设备，在会议中仅在指定终端彼此之间进行会话的UI的说明图。
虽然没有图示硬件和通信应用的动作，但通过无线LAN路由器分配IP地址，具有单独的IP地址的终端，例如从终端1对终端5进行会话的请求和会话的情况下，可以进行该IP地址之间的直接通信、或者进行经由白板应用的利用通信路由(route)的通信，无论使用哪一种方法均可。
本实施例中示出2个终端的UI的例子。此处表示从终端1对终端5发出呼叫的情况的事例。
如图1中所说明的，在终端的画面(屏幕)(90000)上部，参加同一会议的终端的ID名90002以图标的形状排列。各终端的区别除了编号以外，也可以用图标的颜色来区分，另外没有参加或电源关闭的终端以用×号勾去的形式显示。然后，本终端的图标周围的框线用粗线显示。
图9(a)中，左侧的终端1要与终端5的用户取得联络的情况下，用笔90001触碰终端5的图标。右侧的终端5的画面(屏幕)90010是还未接受呼叫的状态，所以显示如图1等中说明的与投影的白板相同的画面(90010)。
图9(b)中从终端1开始对终端5进行呼叫时，在终端1的画面(屏幕)上，显示表示正在呼叫的窗口90020。然后，在终端5的画面(屏幕)上，显示表示从终端1发出了呼叫的窗口90021。同时，在终端1的画面(屏幕)上，终端5的图标闪烁，并且在终端5的画面(屏幕)上，终端1的图标闪烁，对用户进行明示呼叫的发生的显示。
此处，终端5响应终端1的呼叫的情况下，例如触碰正在闪烁的终端1的图标即可，此外要取消呼叫的情况下，可以触碰终端1的呼叫窗口90021。终端1要在中途中断呼叫的情况下，可以触碰窗口90020，此外虽然没有图示，但在呼叫中也可以显示在窗口或画面(屏幕)的边角等处另外显示的表示响应呼叫的图标、拒绝呼叫的图标、以及呼叫方中断呼叫的图标，并触碰该图标。
图9(c)是终端5响应终端1的呼叫，开始联络的画面。两个终端上分别显示显示为CHAT-1、CHAT-5的窗口90030、90031。该窗口也可以直接由图9(b)的呼叫显示窗口转移而成。该窗口是仅在终端1与终端5之间进行显示的具有与白板同样功能的输入画面，2个终端通过在该窗口中手写输入文字，而能够进行相互联络。此时的数据的发送和接收方法，能够利用与图1、图2所示的图形输入·显示装置的将输入的线描分割为线段并将其发送和接收的方法相同的方法实现。
窗口90030、90031在此处以覆盖会议整体的白板的形式显示，从而在两个终端之间联络时成为不能够阅览白板的显示。该情况下，例如也能够通过在用笔或手指触碰的状态下拖拽(drag)位于两个终端上显示的窗口上部的写作“CHAT-#5”、“CHAT-#1”的部分，移动窗口的位置，参考背面的会议整体的白板，此外虽然未图示，但也能够通过使窗口成为半透明地覆盖触摸面板整体的显示方式，以在会议整体的白板上追加记录的形式实现仅在两个终端之间进行联络的动作。这些动作能够由图7所示的白板应用执行。
图10是表示本发明的图形输入·显示装置、便携终端中，显示正在进行描绘的线是由哪位用户书写的方法的说明图。
图10(a)表示终端#1的显示画面100000，是正在用笔100001写入画面(屏幕)左侧的线的状态。
图10(b)是用图形输入·显示装置投影的画面和其他终端上显示的画面，左侧是正在由终端#1画线的画面，右侧是终端#1画线完成后的画面，具体而言是笔离开后经过了规定时间后的画面。
正在进行描绘的线，以指示终端#1的颜色、具体而言以显示终端#1的图标的颜色进行画线。然后，画线完成时，该线的颜色切换为预先由终端#1指定的颜色，通常的情况下为物理书写的白板上使用的笔的颜色，例如全员相同的颜色，例如使用黑色书写的情况下，切换为用黑色描绘的线的颜色。在该时刻，终端#1的画线完成，在会议的议事进程上，作为用于议论的画面处理。
此处，假设有终端#1和终端#2等两个以上的终端同时画线的情况下，在左侧的图中，正在分别描绘的线的颜色，以与表示正在描绘的终端ID的图标相同的颜色进行，在描绘结束并分别经过了规定时间时，变化为各终端设定的颜色，表示描绘完成。
图10(c)是表示同时有多个终端进行描绘时的，进行描绘显示的与图10(b)不同的方法的例子。画面(屏幕)左侧描绘的线表示正在用终端#1画线，画面右侧描绘的线表示正在用终端#2画线。
此时，在各所描绘的线的终点、即线随着时间流逝按照各终端的画线而延伸的端点，显示表示终端#1正在描绘的弹出消息100030和100040，随着端点的移动，消息的位置也移动。然后，描绘完成后，在经过了规定时间时，与图10(b)同样地颜色发生变化，在会议的议事进程上，作为用于议论的画面处理。
图11是表示本发明的图形输入·显示装置、便携终端中处理的描绘数据的流的说明图。
本图的说明中说明数据的流，因此该图为数据移动的目的地中软件和硬件混在一起的图。
首先，输入到触摸面板110032的手写描绘，经由触摸面板驱动器110030输入到应用110000。此处，描绘数据被分割为图2中说明的线段，经由无线LAN驱动器110040，由无线LAN110041，发送到智能液晶投影仪的控制器。
控制器接收通过无线LAN110051发送的线段包数据，经由无线LAN驱动器110050输入到应用110010内，在线段数据包110001中统一保存。所保存的线段数据包如图2(b)所示，以混有从多个终端输入的线段包数据的状态被保存。
被保存的线段包数据按保存的顺序被调用(110005)，经由投影仪驱动器110060输入到投影仪110061，作为大画面白板图像110062投影。同时经由无线LAN驱动器110050和无线LAN110051，再次分发到各终端(110004)，经由各终端的无线LAN110041和无线LAN驱动器110040，在终端内的线段包数据110001中统一保存。然后，与控制器同样地，该数据按输入顺序被调用，经由显示器驱动器110010，在终端的LCD110020上显示。
此处，如图4(a)所示，手写输入的描绘数据先发送到控制器后，描绘再次分发的数据的情况下，为了防止手写的时刻(定时)与显示的时刻(定时)中产生时差，描绘操作不自然，而如虚线110002所示，将用触摸面板110032输入的数据发送到控制器的同时也在LCD110020上显示。之后，通过显示送回的数据，如图4(b)所示，能够以追踪实时描绘的线的延伸的方式进行描绘再次分发的描绘数据的显示。
图12是用流程图表示本发明的图形输入·显示装置、便携终端中对处理的描绘数据的流进行操作的说明图。
图12(a)是带有触摸面板的终端中进行描绘数据的输入和发送的部分，与图11的110003对应。即，将用触摸面板接受的描绘作为线段接收(120000)，将其按每个线段发送(120001)。
图12(b)是同样地带有触摸面板的终端中进行描绘数据的输入和发送的部分。这是如图4(a)所示在终端内先显示描绘数据的情况，包括图11的110002。即，将用触摸面板接受的描绘作为线段接收(120010)，在终端的LCD上将其显示(120011)，然后按每个线段发送(120012)。
图12(c)表示接受从投影仪再次发送而来的线段数据的终端的动作，与以图11的对线段包数据110001保存和读取为中心的动作对应。终端首先接收线段数据(120020)，将其保存在线段包数据中(120021)，然后读取该数据(120022)，在LCD上显示读取的线段数据(120023)。
图12(d)是投影仪的接收动作例，与以图11的对线段包数据110011保存和读取为中心的动作对应。投影仪接收从各终端发送而来的线段数据(120030)，每次接收一个包时，都在线段包数据中堆叠(stack、栈)保存(120031)。
图12(e)表示投影仪再次发送数据，与图11的110004对应。在线段包数据中堆叠保存的线段数据中，混有在该时刻来自多个终端的线段数据，但按写入顺序读取(120040)，然后将混有来自各终端的数据的读取数据，再次分发到各个终端。
图13是表示本发明的图形输入·显示装置、便携终端的会议进行途中的白板图像的倒回再现动作的说明图。
图7(b)中说明的线段数据包，如图11、图12中所说明的那样，通过从会议最初起全部进行记录，例如从会议途中参加的参加者能够再次确认从会议开头起的白板写入的进程，此外从最初参加的参加者也能够回放从会议开头起的记录。本实施例中说明用于进行该操作的UI。
图13(a)表示图1的各带有触摸面板的终端的屏幕(画面)。此处，特征在于，在画面(屏幕)左下设置并显示倒回(rewind)指示(130010)按钮。在会议途中触碰倒回指示按钮时，画面如图13(b)所示那样变化。此处，在画面(屏幕)下方显示横轴表示以从会议开始到当前为止的时间为横轴的时间轴的条130020，在其上显示指针(pointer)130040。通过用笔指定该指针并左右拖动，能够使显示的画面从最新画面变化为回溯到规定时间以前的时刻的画面。回溯的时间如130050所示那样显示，此处处于显示距最新时刻12分钟前的画面(屏幕)的状态。
这些动作能够通过图7所示的白板应用执行。
图14是表示本发明的图形输入·显示装置、便携终端中，不是连同描绘过程也包括在内，实时地显示参加者所描绘的线，而是在描绘了一定单位的全部线描之后，再一并显示的方法的说明图。
图14(a)表示某个终端的显示画面140000。此处，右侧描绘的线140011表示参加者使用该终端正在用笔140011输入线描。此处，该终端的动作模式用在图15中后述的方法，切换为SUBMIT模式，在该状态下，在终端描绘的线不是即刻分割为线段并发送，而是在终端的操作者完成了全部的描绘之后，再一并发送，在此之前终端不进行发送。
图14(b)表示图14(a)中参加者正在描绘时的投影仪的投影画面(屏幕)140030。如上所述，因为没有从终端发送描绘数据，所以在投影仪上不进行任何显示。
图14(c)表示图14(a)中操作者完成了一系列描绘，希望显示而用笔或手指触碰“SUBMIT”按钮之后的画面(屏幕)，该画面在投影仪和其他终端上也相同，一并描绘图14(a)中输入的一定端的线描(140040)并显示。此时为了表示是终端#2的用户输入的，而在此处如图10(c)所示，在一并描绘之后的规定时间期间，显示表示由终端#2描绘的弹出消息140041，这与已说明的实施例同样，在规定时间的显示之后，弹出消息消失，显示为预先设定的颜色的线。
图15是表示本发明的图形输入·显示装置、便携终端的终端的显示画面(屏幕)的例子的说明图。
虽然在之前的附图中省略，但进行手写描绘的带有触摸面板的终端装置中，指定手写线的种类等的菜单画面150010以能够选择的形式在屏幕(画面)150000上显示，本实施例中在该屏幕的左侧显示。
显示的菜单的构成元素，除了线条种类(直线、虚线2种)以外，还有橡皮擦、激光指示器(laser pointer)模式的选择菜单。此处，在描绘的线条的种类之外，也可以用笔代替橡皮擦，由此能够擦除已记载的描绘。此时，利用橡皮擦的擦除也作为线段的移动数据进行保存，由此能够保存擦除以前的记述，在图13所示的回放再现时，能够再次确认过去的记述。此外，激光指示器模式的特征在于，在对投影仪投影图像直接进行激光指示器照射以外，还能够在手边的带有触摸面板的终端的屏幕(画面)上进行相同的操作。
之后的构成元素以线条的粗细和线条的颜色各有3种的情况为例进行描述。之后是“DRAW”模式和“SUBMIT”模式的切换按钮，通过选择SUBMIT模式，能够切换为如图14所示的进行一并描绘的模式。
最后是“ENABLE”，这是在其他终端、特别是设定了主终端的情况下、和与液晶投影仪分开，由一个带有触摸面板的终端构成投影仪的控制器的情况下，该终端起到主机的作用，通过来自它的指示能够控制指定的终端的白板写入·删除的允许/禁止，“ENABLE”显示该状况。
图16是表示本发明的图形输入·显示装置、便携终端的用指定的终端的写入·删除的禁止状态的说明图。
图16(a)表示图15中对白板写入·删除受到禁止的终端的屏幕(画面)，图16所示的“ENABLE”的文字变为“DISABLE”(160030)。同时表示输入模式的“DRAW”“SUBMIT”按钮也被掩盖(mask)，表示不能够对终端输入。
图16(b)表示图16(a)中终端#2成为禁止写入·删除状态时的投影仪显示160050，也在其他终端上显示相同内容。
终端#2的图标被规定颜色涂暗，通过其他终端和投影仪显示，其他参加者可以知道终端#2处于不能够参加写入(写入)的状态。
图17是表示本发明的图形输入·显示装置、便携终端的按照操作者的意愿暂时停止终端操作的方法的说明图。
图17(a)中，在会议中中途离开的操作者的终端屏幕(画面)170000上，在菜单画面170010内显示操作者操作的项目。由操作者选择“OFFLINE”，由此不能在该终端上进行写入·删除操作，此外进行控制使得画面上显示的白板图像也不可见。由此，操作者中途离开而离席时，例如直接放下终端时，能够使其他参加者不能进行写入、删除等操作，或者在操作者带出终端，例如放置在自己的座位时，即使通信通过无线LAN处于连接，也能够使会议参加者以外的人不能进行白板的阅览和写入、删除。
图17(b)是因为在会议中中途离开而按下“OFFLINE”后的终端的屏幕(画面)。本实施例中，为了在每次中途离开时实现单独地锁定的功能，而显示离席指示画面170020，促使参加者输入在中途离开后返回时使用的电子签名(sign)。通过输入电子签名、按下离席指示画面右下的“ENTER”，终端屏幕成为中途离开状态的画面，成为以与离席指示画面同样的布局在将白板的描绘全部隐藏的位置显示恢复指示画面的状态。关于所输入的电子签名，检测其特征点并保存数据，用于与图17(c)所示的恢复指示中输入的电子签名对照。
图17(c)是表示对恢复指示画面170040输入电子签名的图，此处表示输入了不同的电子签名的情况。即使输入电子签名并按下“ENTER”，也因为电子签名与图17(b)不同，所以终端显示为“INVALID！”，不允许恢复。正确输入了电子签名的情况下，恢复指示画面消失，返回进行白板显示的离席前的画面。
图18是表示本发明的图形输入·显示装置、便携终端的各终端的操作者个人记录备忘录的情况的屏幕(画面)的说明图。
图18(a)示出了在本实施例中，在菜单画面180000的一部分设置“MEMO”按钮，通过按下该按钮切换为“MEMO”模式。
图18(b)是“MEMO”模式下的对终端的写入画面(屏幕)，180030中记载的线描是仅属于该终端的操作者的备忘录。该备忘录不在图18(c)所示的投影仪画面(屏幕)180040和其他终端上显示。
虽然没有图示，但该备忘录数据的格式与图2起所示的线段包数据相同，特别在包数据中追加保有表示是在另行保存的白板的线段包数据的哪一时刻(显示哪个包时)进行了写入的时间轴方向的关系的链接信息。在进行备忘录的显示时，也能够进行与如图13所示的回放重合的显示，对于会议的全员参考的白板图像和自身的备忘录，不仅限于现在时刻的画面(屏幕)，也能够回放过去画面的显示而进行。
图19是表示本发明的图形输入·显示装置、便携终端的自动誊清标准图形的画面(屏幕)的说明图。
终端屏幕190000中，有时将会议中描绘时要关注的点用圆形记号包围，或者在文字的情况下用双重下划线等强调，存在这种使用标准的描绘形状的线的情况。
这类描绘并不是描绘的线的形状的微小差异特别具有意义，反而是正确描绘的图形更为有效。本实施例中，对于如手写线描190010所示的为了强调图形的一部分而记载的圆形记号，自动识别为不是图形而是强调的标记，从而改写为准确的椭圆作为誊清结果190020，由此能够保持白板写入的手写所致的布局的散乱。该誊清如图19(c)所示也显示在投影仪上。
虽然未图示，但在保存的数据包中，除了分割为线段后保存的方法以外，也可以保存为表达标准图形的包括中心点坐标值和直径值的包数据。
图20是表示本发明的图形输入·显示装置、便携终端的文字输入时的画面(屏幕)例的说明图。
使用白板的会议中，基本上全部用手写进行写入，但输入文字的情况下，将线描作为数字信息处理，所以能够进行防止书写者的文字工整与否所引起的辨认障碍的处理。
图20(a)是首先用手写输入了文字(字符)的终端屏幕200000。因为用手写线描200010输入文字(字符)，所以会带有书写者的个性，大多情况下并不是易于辨认的文字(字符)。此处，如图19(b)所示，通过对输入的文字自动地或者由写入者选择、转换，利用OCR(Optical Character Reader)附带的线描·文字(字符)转换功能，转换为字符码，誊清与该字符码对应的字符串并显示(20020)。由此，在输入难以辨认的文字(字符)时自动地进行转换，由此能够进一步改善使用白板的会议的环境。
虽然未图示，但输入的文字(字符)可以不是作为线描而是作为字符码，与图19(c)中说明的同样地，在保存的数据包中，以字符串的起点坐标、文字(字符)尺寸、字符码串这样的格式保存即可。
图20(c)表示了在输入文字(字符)时从一开始就不使用手写输入，而是用软键盘直接输入文字(字符)进行誊清的方法。例如，特别是在该会议中使用通用的便携终端的情况下，如果使程序构成为使用标准配置搭载的软键盘200030，通过专用的API经由OS导入白板应用，则能够容易地实现誊清的文字(字符)的显示(200040)。输入的文字(字符)数据的保存方法可以与图20(b)中记载的相同。
图21是表示本发明的图形输入·显示装置、便携终端的显示会议参加者的ID的例子的说明图。
以上说明的图中，用终端ID编号表示了在投影仪和终端上显示的会议参加者。在会议开始时，或者各自携带并使用自身保有的便携终端的情况下，能够不显示终端ID，而是直接用个人名图标210010显示参加者的姓名。这在会议开始时，能够通过用图20所示的方法各自输入姓名来实现。
图22是表示本发明的图形输入·显示装置、便携终端的事先设定会议开始时的画面的情况的例子的说明图。
以往的使用白板的会议中，大多情况下在会议开始前由主办者事先在白板上记载题目和日期、议题列表等之后进行会议。本实施例中，表示了在会议开始前，指定的参加者(主办者)预先使用手写描绘和图20等的誊清功能，事先记载议事所需的资料(220010)，举办会议的功能。
事先记载的信息，除了文字和描绘以外，也能够准备从表计算软件的页面复制的工程管理表等图。当然也可以以继续上次会议的形式，描绘直至上次为止保存的线段包数据。
此处，虽然未图示，但如图22所示在表中输入个人名的情况下，因为图21所示的个人名图标中记载了姓名，所以如果还设置能够用笔将其拖动，拖入表中的“Member”而直接写入的UI，则使用方便性好。这都能够用图形输入·显示装置应用的处理来实现。
图23是表示使用本发明的图形输入·显示装置、便携终端的构成设备，在会议中仅在指定终端之间进行会话的情况下的终端内结构的说明图。
本实施例中，表示了进行用图9说明的指定终端之间的会话时，终端内的数据的结构和数据的流。在左侧的第一终端的应用内，存在线段数据包1100001，在右侧的第二终端的应用内，存在线段数据包1100003，这是用图11说明的控制器和所有带有触摸面板的终端共享保有的保存了白板上显示的描绘数据的数据包。
本实施例中，在该数据包以外，第一终端和第二终端还具有与白板数据同样地保存图9(c)中说明的聊天板(chat board)上记载的线描的线段数据包(2300001、2300011)。该数据包是与上述保存有白板上显示的描绘数据的数据包独立的数据包，该数据包记录第一终端和第二终端之间通过线描进行的会话，而不在白板上显示。
该数据包(2300001、2300011)，在如图9(d)的右侧的终端那样同时与多个终端进行会话时，保有对方终端数量的量(的数据包)。
另外，表示该聊天板中记载的线描的线段数据包，也能够以与图14所示的一并描绘的动作相同的方法，将第一终端与第二终端商讨后的结果，直接发送到全员共享的白板数据，由此在白板和全员的终端屏幕上显示，保存在作为会议的议事数据的线段数据包中。
图24是表示本发明的图形输入·显示装置、便携终端的与自动比例尺(scale)变更相关的动作的说明图。
本实施例中，示出了会议的参加者全员共享的白板图像的尺寸不是与便携终端或白板的尺寸对应的固定像素数的尺寸，而是具有更大的图像尺寸的情况下的动作。
图24(a)表示了以上说明的带有触摸面板的终端装置的屏幕(画面)。此处，如图24(b)所示进一步画线，描绘了伸出到图24(a)的画面(屏幕)外的线的情况下，带有触摸面板的终端装置的屏幕(画面)自动地滚动，对更大图像尺寸的白板进行写入。
此时，用投影仪投影的白板图像，如图24(c)所示，为了显示描绘的线描整体而自动地进行尺寸缩小显示。其他终端也与白板同样地自动转移到缩小显示，但也能够从各终端的未图示的菜单切换为放大显示，此外，也能够从各终端对控制器发出放大显示的指示，从如图24(c)所示的缩小显示切换为与图24(b)的终端显示同样的放大显示。
图25是表示本发明的图形输入·显示装置、便携终端的使用摄像机确认参加者的动作的说明图。
智能液晶投影仪10010和会议的参加者使用的带有触摸面板的终端(10040～10070)的动作与图1同样，所以此处省略说明。
本实施例中，特征在于，表示参加者250002的各带有触摸面板的终端(10040～10070)的状况的图标10012显示利用各参加者使用的带有触摸面板的终端(10040～10070)中内置或安装的摄像机250001拍摄的参加者自身的图像。
该图像可以是在会议开始时一次拍摄的静态图像，也可以是在会议中一直拍摄的动态图像，会议参加者成员作为全员的共享信息显示，全员都能够确认参加者是谁、以及是否有不准参加的人参加。
图26是表示本发明的图形输入·显示装置、便携终端的使用摄像机确认参加者的摄像机部的具体动作的说明图。
如图26(a)所示，本实施例中的带有触摸面板的终端10070中，为了能够用于其他用途、例如TV电话等，而在触摸面板侧内置或能够搭载摄像机25001。摄像机25001的朝向通常不可动，是固定的，减少了部件数量，该情况下，为了不过度限制用摄像机25001拍摄的范围，其拍摄视角26001通过广角镜头能够广范围地拍摄。
用该摄像机拍摄参加者时，如图26(b)所示，相对于摄像机的拍摄区域260002，参加者250002被拍得相当小。本实施例中，利用作为摄像机的人脸检测功能已知的技术，在拍摄区域260002中，对参加者的脸部附近的影像260003进行提取、截出，显示在图25所示的图标10012上。由此，能够有效地使用与画面整体相比较小的图标的面积，各参加者能够确认参加者的脸。
如图25所示，拍摄的图像可以是静态图像也可以是动态图像，如果是静态图像，则通信流量(traffic)在图像传输中的占有度只需要会议开始时的临时传输即可。此外，动态图像的情况下，其他参加者能够确认在会议途中参加者替换、或者哪一名参加者正在注视此时的展示(presentation)或白板写入内容等状况，能够更流畅地推进会议。
此外，本实施例也能够如下所述那样表达。即，也能够作为如下所述的程序发挥作用：一种程序，其安装到便携终端，为了与利用标识信息确定的其他便携终端和投影仪进行通信而被执行，上述程序的特征在于：控制触摸面板单元、显示单元和发送和接收单元，使得按规定的间隔将从触摸面板输入的线描(线条画)信息分割成线段，与该线段的起点与终点的坐标值和描绘线的种类、颜色等属性信息一同生成线段数据包，并将其发送到投影仪，控制触摸面板单元、显示单元和发送和接收单元，使得在上述显示单元显示利用上述标识信息标识的其他便携终端的用户信息，确定该用户信息，按规定的间隔将从上述触摸面板输入的线描信息分割成线段，与该线段的起点与终点的坐标值和描绘线的种类、颜色等属性信息一同生成线段数据包，并将其发送到该其他便携终端的用户，控制显示单元和发送和接收单元，使得在上述显示单元显示来自利用上述标识信息标识的其他便携终端的用户的接收数据。此外，上述程序也可以如下：在该程序中，能够执行如下功能：在上述多个便携终端上，在上述终端内的存储器中保存由上述其他便携终端或投影仪分发的数据，通过上述便携终端的操作，沿着时间轴返回到过去，来再现利用线段数据包描绘的线延伸的过程。此外，上述程序也可以如下：该程序具有发起用于仅在上述多个便携终端中的作为任意终端的第一便携终端与同为任意终端的第二便携终端之间进行直接通信的呼叫处理的功能，受到呼叫的第二便携终端的程序具有对第一便携终端的程序的呼叫处理进行响应的功能，第一终端和第二终端的程序能够执行从上述呼叫处理和响应完成的时刻起，使用终端上的触摸面板和显示器，仅在该终端之间发送和接收上述包含文字(字符)和图形的起点与终点的坐标值和描绘线的种类、颜色等属性信息的数据并将其显示的功能。此外，上述程序也可以如下：上述程序能够执行在执行该程序的便携终端的屏幕上，利用ID编号、颜色、图案、影像中的任一个或多个来显示连接到网络的便携终端的ID的列表的功能。此外，上述程序也可以如下：在便携终端中在朝向使用者的方向上内置或搭载有摄像机的情况下，上述程序能够执行控制上述摄像机来拍摄能够确定使用者的影像，并在上述显示的便携终端的ID的列表中，显示能够确定正在使用上述触摸面板的使用者的影像的功能。上述程序也可以如下：能够执行以下处理：内置或搭载于上述便携终端的摄像机所拍摄的能够确定使用者的影像，利用从拍摄的图像中自动检测出能够确定使用者的部位并将其截出而生成的影像。此外，上述程序是本实施例的一例，执行将本实施例的硬件结构作为软件结构的程序的结构也包括在本实施例中。
附图标记说明
10010 智能液晶投影仪
10040 带有触摸面板的终端
20040 线段包数据

Claims (2)

1.一种便携终端，其能够与利用标识信息确定的其他便携终端和投影仪进行通信，并与所述投影仪和所述其他便携终端构成会议记录系统，所述便携终端的特征在于，包括：
显示单元，其显示文字和图形；
触摸面板，其接受来自用户的指示；
发送和接收单元，其与所述其他便携终端和投影仪进行数据的发送和接收；和
分析单元，其进行所述数据的分析来生成显示图像，
基于从所述触摸面板输入的线描信息生成包含属性信息的线段数据包，由所述发送和接收单元发送到投影仪，其中所述属性信息表示文字和图形的线段的起点与终点的坐标值并且包含表示描绘线是描绘线型数据还是擦除线型数据的信息，所述发送和接收单元将从所述其他便携终端或投影仪接收到的线段数据包保存在所述终端内的存储器中，
在所述属性信息表示所述描绘线为描绘线型的情况下，所述线段数据包是用于描绘文字和图形的描绘线型数据，在所述属性信息表示所述描绘线为擦除线型的情况下，所述线段数据包是用于擦除文字和图形的擦除线型数据，
在所述投影仪中，所述擦除线型数据用于将所述投影仪在之前基于从其他便携终端接收到的作为描绘线型数据的关于文字和图形的数据而生成的所述显示图像上的文字和图形擦除，
所述分析单元对从所述投影仪发送来的关于文字和图形的数据进行分析而生成显示图像，
所述显示单元显示所述显示图像，进而，所述显示单元进行表示出从所述会议的开头起的时间轴的显示，并且所述触摸面板能够接受对该时间轴上的任意时刻进行指定的用户指示，在所述触摸面板上被输入了指定期望的时刻的用户指示的情况下，根据所述用户指示，使用保存在所述存储器中的所述描绘线型的线段数据包和所述擦除线型的线段数据包，在所述显示单元上显示从所述会议的开头起的时间序列中由所述用户指示所指定的时刻的显示状态的显示图像，其中所述用户指示所指定的时刻相比所述用户指示的输入时刻为过去的时刻。
2.一种与利用标识信息确定的其他便携终端和投影仪进行通信的便携终端中的显示方法，其中所述便携终端与所述投影仪和所述其他便携终端构成会议记录系统，所述显示方法的特征在于：
控制触摸面板单元、显示单元、发送和接收单元与存储器，使得基于从触摸面板输入的线描信息，生成包含属性信息的线段数据包，由所述发送和接收单元发送到投影仪，其中所述属性信息表示文字和图形的线段的起点与终点的坐标值并且包含表示描绘线是描绘线型数据还是擦除线型数据的信息，使得所述发送和接收单元将从所述其他便携终端或投影仪接收到的线段数据包保存在所述终端内的存储器中，并且，使得所述显示单元进行表示出从所述会议的开头起的时间轴的显示，且所述触摸面板能够接受对该时间轴上的任意时刻进行指定的用户指示，在所述触摸面板上被输入了指定期望的时刻的用户指示的情况下，根据所述用户指示，使用保存在所述存储器中的所述线段数据包，在所述显示单元上显示从所述会议的开头起的时间序列中由所述用户指示所指定的时刻的显示状态的显示图像，其中所述用户指示所指定的时刻相比所述用户指示的输入时刻为过去的时刻，
在所述属性信息表示所述描绘线为描绘线型的情况下，所述线段数据包是用于描绘文字和图形的描绘线型数据，在所述属性信息表示所述描绘线为擦除线型的情况下，所述线段数据包是用于擦除文字和图形的擦除线型数据，
在所述投影仪中，所述擦除线型数据用于将所述投影仪在之前基于从其他便携终端接收到的作为描绘线型数据的关于文字和图形的数据而生成的所述显示图像上的文字和图形擦除。
CN201280069430.8A 2012-02-13 2012-02-13 投影仪，图形输入·显示装置，便携终端和程序 Active CN104106037B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/000927 WO2013121455A1 (ja) 2012-02-13 2012-02-13 プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。

Publications (2)

Publication Number Publication Date
CN104106037A CN104106037A (zh) 2014-10-15
CN104106037B true CN104106037B (zh) 2017-10-03

Family

ID=48983630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280069430.8A Active CN104106037B (zh) 2012-02-13 2012-02-13 投影仪，图形输入·显示装置，便携终端和程序

Country Status (3)

Country Link
US (1) US9640144B2 (zh)
CN (1) CN104106037B (zh)
WO (1) WO2013121455A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122444B2 (en) * 2012-02-08 2015-09-01 Ricoh Company, Ltd. Network accessible projectors that display multiple client screens at once
JP6124169B2 (ja) * 2012-06-08 2017-05-10 クラリオン株式会社 表示装置
KR101909031B1 (ko) * 2012-07-26 2018-10-17 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
JP6160305B2 (ja) * 2012-08-01 2017-07-12 株式会社リコー 画像処理装置、プログラム、画像処理システムおよび画像処理方法
JP5871876B2 (ja) * 2013-09-30 2016-03-01 シャープ株式会社 情報処理装置及び電子会議システム
JP6180888B2 (ja) * 2013-11-07 2017-08-16 株式会社東芝 電子機器、方法およびプログラム
WO2015075931A1 (en) 2013-11-19 2015-05-28 Wacom Co., Ltd. Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication
USD747728S1 (en) * 2014-03-18 2016-01-19 Apple Inc. Display screen or portion thereof with graphical user interface
JP6364893B2 (ja) * 2014-04-01 2018-08-01 日本電気株式会社 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
US10528249B2 (en) * 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
JP6208348B2 (ja) * 2014-06-12 2017-10-04 株式会社東芝 手書き情報を共有するためのシステムおよび方法
KR101648446B1 (ko) * 2014-10-07 2016-09-01 삼성전자주식회사 전자 회의 시스템 및 이의 제어 방법, 그리고 디지털 펜
USD783642S1 (en) * 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN104469078A (zh) * 2014-10-17 2015-03-25 深圳市雅图新媒体科技有限公司 互动投影控制方法和系统
JP6503771B2 (ja) * 2015-02-10 2019-04-24 セイコーエプソン株式会社 プロジェクター及び制御方法
JP6492775B2 (ja) * 2015-03-03 2019-04-03 セイコーエプソン株式会社 表示装置および表示制御方法
JP6515603B2 (ja) * 2015-03-13 2019-05-22 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボードアクセス権付与方法およびそのプログラム
JP6586283B2 (ja) * 2015-03-31 2019-10-02 三菱重工業株式会社 表示装置
US20170031645A1 (en) * 2015-07-29 2017-02-02 Akihiro Mihara Image processing apparatus, image processing system and image processing method
JP6747025B2 (ja) 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
CN105930121B (zh) * 2016-04-19 2019-02-01 广州视睿电子科技有限公司 多客户端的笔迹同步方法和系统
KR101857581B1 (ko) * 2016-04-27 2018-05-14 박재현 턴방식 그림 채팅 방법 및 턴방식 그림 채팅 어플리케이션이 저장된 컴퓨터로 읽을 수 있는 기록 매체
CN106020681A (zh) * 2016-05-05 2016-10-12 乐视控股（北京）有限公司 一种通过触摸屏采集并投影绘画的方法和系统
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
CN106919333B (zh) * 2017-02-21 2020-08-25 海信视像科技股份有限公司 电子书写板上书写内容的记录方法和装置
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
CN107529031B (zh) * 2017-08-18 2021-06-11 广州视源电子科技股份有限公司 一种板书过程的记录方法、装置、设备和存储介质
GB201713301D0 (en) * 2017-08-18 2017-10-04 Revolutioneyes Me Ltd Communication method
JP6992325B2 (ja) * 2017-08-28 2022-01-13 セイコーエプソン株式会社 通信システム、端末装置、及び、通信システムの制御方法
CN107728926A (zh) * 2017-10-31 2018-02-23 四川长虹教育科技有限公司 一种在电子白板实现双触摸通讯模式的方法及系统
JP6510705B2 (ja) * 2018-04-27 2019-05-08 シャープ株式会社 表示装置、表示方法及び表示用プログラム並びに電子黒板
CN109246402A (zh) * 2018-08-20 2019-01-18 张越同 一种多终端输入绘画投影系统
CN109558196A (zh) * 2018-11-21 2019-04-02 北京北纬天辰科技有限公司 一种电子白板资料阅读方法和资料阅读系统
US10976983B2 (en) * 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations
US11042275B2 (en) * 2019-04-08 2021-06-22 Microsoft Technology Licensing, Llc Calling attention to a section of shared data
US11262886B2 (en) 2019-10-22 2022-03-01 Microsoft Technology Licensing, Llc Structured arrangements for tracking content items on a shared user interface
US11205013B2 (en) 2019-10-22 2021-12-21 Microsoft Technology Licensing, Llc Controlling disclosure of identities in communication sessions
JP7310546B2 (ja) * 2019-10-30 2023-07-19 株式会社リコー 表示装置、表示方法、プログラム、画像処理システム
JP2021099430A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
US11245867B2 (en) 2020-01-07 2022-02-08 Benq Corporation Video conference system
TWI767176B (zh) * 2020-01-13 2022-06-11 明基電通股份有限公司 可辨識視訊訊號來源的無線簡報系統
CN112783595A (zh) * 2021-02-02 2021-05-11 北京文香信息技术有限公司 交互书写的显示方法、装置及电子设备
JP2022143264A (ja) * 2021-03-17 2022-10-03 株式会社リコー 表示装置、表示システム、表示制御方法およびプログラム
CN113301315B (zh) * 2021-04-30 2023-04-07 广西佳微科技股份有限公司 一种基于红外线触屏框的投影系统
CN113485591B (zh) * 2021-06-17 2024-02-13 重庆亲笔签数字科技有限公司 一种会场签到系统、方法、电子设备及存储介质
CN114020233B (zh) * 2022-01-06 2022-04-08 广州朗国电子科技股份有限公司 一种会议白板窗口模式书写适配方法、系统、设备及介质
JP7412801B1 (ja) 2022-11-25 2024-01-15 株式会社teamS プログラム及び端末

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525300A (zh) * 2003-02-24 2004-09-01 用于实时白板流技术的系统和方法
CN1555197A (zh) * 2003-12-24 2004-12-15 清华大学深圳研究生院 基于Internet的视频会议共享白板实现方法
CN101567798A (zh) * 2009-05-27 2009-10-28 中兴通讯股份有限公司 基于ip多媒体系统架构的电子白板会议的实现系统及方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63283271A (ja) 1987-05-14 1988-11-21 Fujitsu Ltd 表示装置
US5465370A (en) 1992-01-28 1995-11-07 Kabushiki Kaisha Toshiba Electronic meeting support system
JP3206077B2 (ja) * 1992-02-24 2001-09-04 松下電器産業株式会社 テレライティング装置
JP3421386B2 (ja) 1993-02-10 2003-06-30 株式会社リコー テレライティング装置の通信制御方法および静止画会議通信装置の通信制御方法およびテレライティング装置および静止画会議通信端末装置
JPH07177482A (ja) 1993-12-21 1995-07-14 Canon Inc テレビ会議システム
JP3365133B2 (ja) 1995-03-20 2003-01-08 富士ゼロックス株式会社 テレライティング装置
JP2002055771A (ja) 2000-08-10 2002-02-20 Brother Ind Ltd 通信システム
US7129934B2 (en) * 2003-01-31 2006-10-31 Hewlett-Packard Development Company, L.P. Collaborative markup projection system
JP3840195B2 (ja) 2003-04-11 2006-11-01 キヤノン株式会社 描画装置及びその制御方法
JP4696480B2 (ja) 2004-06-16 2011-06-08 富士ゼロックス株式会社 遠隔会議システム、拠点サーバ及びプログラム
JP4751300B2 (ja) 2006-02-09 2011-08-17 三菱電機株式会社 ビジュアル会議システム
JP2008116874A (ja) * 2006-11-08 2008-05-22 Seiko Epson Corp マルチディスプレイシステム、及びこのシステム上で実行されるプログラム
JP2008269525A (ja) 2007-04-25 2008-11-06 Matsushita Electric Ind Co Ltd 手書き入力装置を備えた端末装置およびそれを用いた文書情報処理システム
US8212856B2 (en) * 2007-05-15 2012-07-03 Radvision Ltd. Methods, media, and devices for providing visual resources of video conference participants
US20080320397A1 (en) * 2007-06-19 2008-12-25 Microsoft Corporation Integrated sharing of electronic documents
JP2010271855A (ja) 2009-05-20 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 描画装置、描画方法、プログラムおよび記録媒体
JP5560604B2 (ja) 2009-07-28 2014-07-30 大日本印刷株式会社 ストローク再生装置及びプログラム
JP2011044877A (ja) * 2009-08-20 2011-03-03 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP5409194B2 (ja) 2009-08-24 2014-02-05 シャープ株式会社 会議システム
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
US9544158B2 (en) * 2011-10-05 2017-01-10 Microsoft Technology Licensing, Llc Workspace collaboration via a wall-type computing device
JP2012011245A (ja) 2011-10-18 2012-01-19 Square Enix Co Ltd 通信端末および通信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525300A (zh) * 2003-02-24 2004-09-01 用于实时白板流技术的系统和方法
CN1555197A (zh) * 2003-12-24 2004-12-15 清华大学深圳研究生院 基于Internet的视频会议共享白板实现方法
CN101567798A (zh) * 2009-05-27 2009-10-28 中兴通讯股份有限公司 基于ip多媒体系统架构的电子白板会议的实现系统及方法

Also Published As

Publication number Publication date
CN104106037A (zh) 2014-10-15
US9640144B2 (en) 2017-05-02
WO2013121455A1 (ja) 2013-08-22
US20150002435A1 (en) 2015-01-01

Similar Documents

Publication Publication Date Title
CN104106037B (zh) 投影仪，图形输入·显示装置，便携终端和程序
US11151768B2 (en) Information processing apparatus, information processing method, and program
CN107168674B (zh) 投屏批注方法和系统
US9980008B2 (en) Meeting system that interconnects group and personal devices across a network
CN102880360B (zh) 红外式多点交互电子白板系统及白板投影标定方法
US20100261466A1 (en) Systems and Methods for Operating a Virtual Whiteboard Using a Mobile Phone Device
CN110096209A (zh) 书写轨迹显示方法及装置
WO2021031462A1 (zh) 一种课件的操作方法、装置、计算机设备和存储介质
CN110609654B (zh) 数据同步显示方法、装置、设备以及远程会议系统
US20140325396A1 (en) Methods and systems for simultaneous display of multimedia during a video communication
CN111580903B (zh) 实时投票方法、装置、终端设备和存储介质
CN113434106A (zh) 一种在线电子白板内容同步分享系统
JP4348831B2 (ja) 手書き入力データ表示システム，座標データ入力装置，表示装置及び手書き入力データ表示装置
CN112578977A (zh) 显示内容批注方法、装置及系统
WO2016006294A1 (ja) 画像表示装置、画像処理システム、及び画像処理方法
CN115118918A (zh) 视频会议的标记方法、系统、终端、服务器及存储介质
CN2485714Y (zh) 能够直接标记屏幕信息的电子教鞭
CN114359442A (zh) 一种多方协作标绘会商系统
CN112565844A (zh) 视频通信方法、装置和电子设备
CN113741775A (zh) 图像处理方法、装置及电子设备
CN112214149A (zh) 智能交互显示装置及其截屏方法、系统及电子设备
JP6161544B2 (ja) 携帯端末
JP2016148858A (ja) システム、プロジェクタ装置および携帯端末
JPH07298227A (ja) 動画像処理装置
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180615

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Osaka Japan

Patentee before: Hitachi Maxell, Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220609

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right