JP2013125553A - Information processor and recording program - Google Patents

Information processor and recording program Download PDF

Info

Publication number
JP2013125553A
JP2013125553A JP2012273359A JP2012273359A JP2013125553A JP 2013125553 A JP2013125553 A JP 2013125553A JP 2012273359 A JP2012273359 A JP 2012273359A JP 2012273359 A JP2012273359 A JP 2012273359A JP 2013125553 A JP2013125553 A JP 2013125553A
Authority
JP
Japan
Prior art keywords
image
display
unit
display unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012273359A
Other languages
Japanese (ja)
Inventor
Tsunehiro Mogi
常浩 茂木
Mahina Nakamura
麻日奈 中村
Yasutsugu Sasaki
康嗣 佐々木
Masanori Sato
真紀 佐藤
Yumiko Okuma
裕美子 大熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba TEC Corp
Original Assignee
Toshiba Corp
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba TEC Corp filed Critical Toshiba Corp
Publication of JP2013125553A publication Critical patent/JP2013125553A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technique with which conferences and meetings can be progressed by natural operation and also proceeding contents can be stored.SOLUTION: An information processor includes a panel type display unit, a touch panel type input unit, and a control unit. The input unit is superimposed and arranged on the display unit, and receives input by contact detection. The control unit causes the display unit to display an image, causes the display unit to draw the movement locus of detection points detected with the input unit by contact, and causes a capture image in a state of being displayed in the display area of the display unit to be stored, including date information, in a storage unit.

Description

この明細書に記載の実施形態は、会議や会合での議事内容を記録する技術に関する。   The embodiment described in this specification relates to a technique for recording agenda contents at a meeting or a meeting.

会議、会合の議事録は、議事内容を別途テキスト化するか、ホワイトボードに書かれた内容を印刷する方法が一般的である。   As for the minutes of meetings and meetings, it is common to make the contents of the proceedings separately text or print the contents written on the whiteboard.

しかしながら、会議中に比較検討のため並べられた状態や、その図を指してコメントされた内容は記録されず、言葉による間接的な記録となり、後日確認する際、わかりにくいものとなる。   However, the states arranged for comparative consideration during the meeting and the contents commented on the figure are not recorded, but are indirectly recorded in words, which is difficult to understand when confirmed later.

実施形態は上述した問題点を解決するためになされたものであり、より自然な操作で会議、会合を進行させることができ、また議事内容を保存する技術を提供することを目的とする。   The embodiment has been made to solve the above-described problems, and an object of the present invention is to provide a technique for allowing a meeting and a meeting to proceed with a more natural operation and for saving the contents of the proceedings.

実施形態の情報処理装置は、パネル式の表示部と、タッチパネル式の入力部と、制御部とを有する。入力部は、表示部に積層配置され、接触検知により入力を受け付ける。制御部は、表示部に画像を表示させ、表示部に、入力部が接触検知した検知点の移動軌跡を描画させ、表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる。   The information processing apparatus according to the embodiment includes a panel type display unit, a touch panel type input unit, and a control unit. The input unit is stacked on the display unit and receives an input through contact detection. The control unit displays an image on the display unit, causes the display unit to draw the movement locus of the detection point detected by the input unit, and displays the captured image displayed in the display area of the display unit as the date / time information. Are stored in the storage unit.

実施形態の卓上型情報処理装置の外観を示す図である。It is a figure which shows the external appearance of the desktop information processing apparatus of embodiment. 実施形態の卓上型情報処理装置のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the desktop information processing apparatus of embodiment. 実施形態の卓上型情報処理装置を上側から視認したときの図、およびタッチパネルディスプレイの表示例を示す図である。It is a figure when the desktop type information processing apparatus of the embodiment is viewed from above, and a diagram showing a display example of a touch panel display. 会議、会合時のタッチパネルディスプレイの表示例を示す図である。It is a figure which shows the example of a display of the touchscreen display at the time of a meeting and a meeting. 管理データの一例を示す図である。It is a figure which shows an example of management data. 会議、会合時の表示動作例、議事録画像を保存するときの動作例を示すフローチャートである。It is a flowchart which shows the example of a display operation at the time of a meeting, a meeting, and the operation example when preserve | saving a minutes image. 会議、会合時の音声を保存するときの動作例を示すフローチャートである。It is a flowchart which shows the operation example when preserve | saving the audio | voice at the time of a meeting and a meeting.

本実施形態では、卓上型の情報処理装置(コンピュータ)について説明する。本実施形態の卓上型情報処理装置は、平らな天板面に、タッチパネルディスプレイを有している。   In this embodiment, a desktop information processing apparatus (computer) will be described. The desktop information processing apparatus of this embodiment has a touch panel display on a flat top plate surface.

タッチパネルディスプレイは、複数接触を同時に検出できるマルチタッチ機能を有し、タッチパネルディスプレイ上に描かれた線を画面上に表示する機能を有している。また卓上型情報処理装置は、複数人のユーザが同時にログインすることが可能である。   The touch panel display has a multi-touch function capable of simultaneously detecting a plurality of contacts, and has a function of displaying a line drawn on the touch panel display on the screen. Also, the desktop information processing apparatus allows multiple users to log in simultaneously.

タッチパネルディスプレイ上に指もしくはタッチペンで線を描くと、その移動軌跡が画面上に表示される。その状態の画像(キャプチャ画像)を日時情報やログインユーザ情報、その時の会話の録音などと一緒に記録することができる。また、個々の画像データに描き込んだものは、その画像データに関連付けて記録され、保存される。ユーザが指やタッチペンなどで書いた線は、削除することもできる。またユーザは、描かれる線の色や太さを事前に用意されたものの中から選択することができる。   When a line is drawn on the touch panel display with a finger or a touch pen, the movement trajectory is displayed on the screen. An image in this state (capture image) can be recorded together with date / time information, logged-in user information, recording of the conversation at that time, and the like. In addition, what is drawn on individual image data is recorded and stored in association with the image data. A line written by a user with a finger or a touch pen can also be deleted. The user can select the color and thickness of the line to be drawn from those prepared in advance.

実施形態の卓上型情報処理装置は、手書き線だけでなく、キーボード(具体的にはキーボードを模した画像)を呼び出して、テキストフォントで書いた文を表示させることもできる。これら手書きやキーボードによる入力は、ディスプレイ上の作業領域すべてに対して受け付けることが可能である。   The desktop information processing apparatus according to the embodiment can display not only a handwritten line but also a keyboard (specifically, an image simulating a keyboard) to display a sentence written in a text font. These handwriting and keyboard input can be accepted for all work areas on the display.

実施形態の卓上型情報処理装置は、音声マイクを備えており、音声そのものの録音を行う。また卓上型情報処理装置は、会議での音声データを音声認識によりをテキスト化して画面に表示する。また音声認識によりテキスト化された会話は、時間情報とともに記録される。   The desktop information processing apparatus according to the embodiment includes a voice microphone and records voice itself. The desktop information processing apparatus converts voice data in a meeting into text by voice recognition and displays the text on a screen. A conversation made into text by voice recognition is recorded together with time information.

卓上型情報処理装置は、タッチパネルディスプレイで表示された画面全体をそのままキャプチャ保存することが可能で、そのデータには日時、卓上型情報処理装置の置かれている場所(会議室など)、ログインユーザの情報、会話の録音内容、音声認識の内容のテキスト情報が付加情報として保存される。   The desktop information processing device can capture and save the entire screen displayed on the touch panel display as it is. The data includes the date and time, the location where the desktop information processing device is located (such as a conference room), and the logged-in user Information, conversation recording contents, and voice recognition text information are stored as additional information.

尚、画面全体のキャプチャは、画面上での動きの変化があった時点で全てを記録するのではなく、手書き入力が完了したと判断した直後や、図示しない画面上のボタンにより画面キャプチャが指示された時点で行われるよう構成してもよい。この場合、キャプチャした日付、時刻も合わせて保存されてもよく、ファイル名に時刻情報(日付の情報も含む)が盛り込まれてもよい。   Note that capturing the entire screen does not record everything when there is a change in movement on the screen, but immediately after it is determined that handwriting input has been completed, or when the screen capture is instructed by a button on the screen (not shown) It may be configured to be performed at the time of being performed. In this case, the captured date and time may be stored together, and time information (including date information) may be included in the file name.

また、画面全体ではなく、そこに表示されている個々のデータの表示の範囲内に書きこまれたものは、そのデータ自身に記録され保存することができる。   Also, what is written within the display range of the individual data displayed on the screen, not the entire screen, can be recorded and stored in the data itself.

音声情報および音声認識によるテキスト情報、画面キャプチャ機能による画像データは、それぞれ時間情報を有しているため、それぞれが時間情報をもとにリンクされた状態でディスプレイ上への表示、音声再生が可能となる。   Voice information, text information by voice recognition, and image data by the screen capture function have time information, respectively, and can be displayed on the display and played back in a linked state based on the time information. It becomes.

以下、図面を参照しつつ、本実施形態の態様について説明する。図1は、実施形態の卓上型情報処理装置100の外観を示した図である。図1に示すように、卓上型情報処理装置100はテーブル型(卓上型)の情報処理装置であり、その天板面上に、操作表示用の大型のタッチパネルディスプレイ50が配置されている。   Hereinafter, aspects of the present embodiment will be described with reference to the drawings. FIG. 1 is a diagram illustrating an appearance of a desktop information processing apparatus 100 according to an embodiment. As shown in FIG. 1, the table-type information processing apparatus 100 is a table-type (table-type) information processing apparatus, and a large touch panel display 50 for operation display is arranged on the top plate surface.

タッチパネルディスプレイ50は、タッチパネル式のシート(入力部)がパネル式の表示部上に積層配置されている。またディスプレイ全面に受光機能があり、表面に置かれた物体、特に表面に文字、絵が印刷されたシートを接触対向させることで、シート上からの反射光を受光してデータ化するスキャナ機能を有する。   The touch panel display 50 includes a touch panel type sheet (input unit) stacked on a panel type display unit. In addition, there is a light receiving function on the entire surface of the display, and a scanner function that receives reflected light from the sheet and converts it into data by contacting and placing an object placed on the surface, especially a sheet printed with characters and pictures on the surface. Have.

卓上型情報処理装置100の下部には、例えば電子写真式の印刷エンジン(後述のプリンタユニット80)が配置されている。卓上型情報処理装置100の一側面には、この印刷エンジンで印刷されたシートの排出口がある。   For example, an electrophotographic print engine (a printer unit 80 to be described later) is disposed below the desktop information processing apparatus 100. On one side of the desktop information processing apparatus 100, there is a discharge port for a sheet printed by the print engine.

タッチパネルディスプレイ50は、装置内の制御部によってコントロールされ、印刷エンジンに対する印刷設定を入力する装置としても機能する。またコンピュータの表示装置としての機能も有している。タッチパネルディスプレイ50は、マルチタッチ機能を有しており、複数の異なる位置での指の動きを検知可能である。   The touch panel display 50 is controlled by a control unit in the apparatus, and also functions as an apparatus for inputting print settings for the print engine. It also functions as a computer display device. The touch panel display 50 has a multi-touch function and can detect the movement of a finger at a plurality of different positions.

卓上型情報処理装置100は、例えば非接触ICカード等による認証により、複数人のユーザの同時ログインを許容する。複数ユーザが使用する際には、ユーザごとに使用可能な領域が区分けされ、ユーザはその領域ごとに使用する。卓上型情報処理装置100を用いて複数人で会議、会合やプレゼンテーション、商談などを行うこともできる。   The desktop information processing apparatus 100 allows simultaneous login of a plurality of users, for example, by authentication using a non-contact IC card or the like. When a plurality of users use it, an area that can be used is divided for each user, and the user uses each area. It is also possible to hold a conference, a meeting, a presentation, a business negotiation, etc. with a plurality of people using the desktop information processing apparatus 100.

図2は、卓上型情報処理装置100内部のハードウェア構成例を示すブロック図である。卓上型情報処理装置100は、図2に示すように、プロセッサ10、DRAM(Dynamic Random Access Memory)20、ROM(Read Only Memory)30、HDD(Hard Disk Drive)40、タッチパネルディスプレイ50、ネットワークI/F(Interface)60、センサユニット70、プリンタユニット80、音声マイク90を有する。これらは通信バスBにより互いに制御信号、データの送受信を行う。図2では、各ユニットを直接的に制御するコントローラ等については図示していない。   FIG. 2 is a block diagram illustrating a hardware configuration example inside the desktop information processing apparatus 100. As shown in FIG. 2, the desktop information processing apparatus 100 includes a processor 10, a DRAM (Dynamic Random Access Memory) 20, a ROM (Read Only Memory) 30, an HDD (Hard Disk Drive) 40, a touch panel display 50, a network I / O. An F (Interface) 60, a sensor unit 70, a printer unit 80, and an audio microphone 90 are included. These devices transmit and receive control signals and data to and from each other via the communication bus B. FIG. 2 does not show a controller or the like that directly controls each unit.

プロセッサ10は、例えばCPU(Central Processing Unit)などの演算処理装置であり、ROM30やHDD40などに格納されているプログラムをDRAM20にロードし、演算実行することで、プログラムに従い様々な処理を行う。DRAM20は、揮発性の主記憶装置である。ROM30は、永続的に記憶する不揮発性の記憶装置であり、システム起動時のBIOS(Basic Input Output System)などが記憶されている。HDD40は、永続的に記憶可能な不揮発性の補助記憶装置であり、ユーザが使用するデータやプログラムはHDD40に記憶される。   The processor 10 is an arithmetic processing unit such as a CPU (Central Processing Unit), for example, and loads a program stored in the ROM 30 or the HDD 40 to the DRAM 20 and executes various processes according to the program. The DRAM 20 is a volatile main storage device. The ROM 30 is a non-volatile storage device that stores permanently, and stores a BIOS (Basic Input Output System) at the time of system startup. The HDD 40 is a nonvolatile auxiliary storage device that can be stored permanently, and data and programs used by the user are stored in the HDD 40.

タッチパネルディスプレイ50は、静電容量方式のタッチパネルの入力部(タッチパネル式の入力部)、およびフラット型パネルの表示部(パネル式の表示部)により構成されている。タッチパネルは、複数の同時接触を検知するマルチタッチに対応しており、接触位置に応じた座標値(X値、Y値)を得ることができる。またフラット型パネルは、表示用の発光素子ととともに読み取り用の撮像素子がパネル全面に備えられており、物体読み取り機能(スキャナ機能)も有する。読み取りの際には、発光素子がシート面を照射し、この反射光を撮像素子が撮像(受光)する。   The touch panel display 50 includes a capacitive touch panel input unit (touch panel type input unit) and a flat panel display unit (panel type display unit). The touch panel supports multi-touch that detects a plurality of simultaneous contacts, and can obtain coordinate values (X value, Y value) according to the contact position. Further, the flat panel is provided with a reading image pickup element on the entire surface of the panel together with a light emitting element for display, and also has an object reading function (scanner function). At the time of reading, the light emitting element irradiates the sheet surface, and the reflected light is imaged (received) by the imaging element.

ネットワークI/F60は、外部機器と通信を担うユニットであり、LAN(Local Area Network)ボード、近距離無線通信を制御するユニットや機構、公衆回線網と接続されるFAXボードなどを含む。センサユニット70は、ユーザが所持するID(identification)カードを検知し、IDカード内に記述されている情報を読み取るユニットである。読み取られた情報は、卓上型情報処理装置100のログイン認証などに用いられる。このIDカードは、非接触型のICカードであり、ユーザの識別情報が少なくとも記憶されている。   The network I / F 60 is a unit responsible for communication with an external device, and includes a LAN (Local Area Network) board, a unit and mechanism for controlling short-range wireless communication, a FAX board connected to a public line network, and the like. The sensor unit 70 is a unit that detects an ID (identification) card possessed by a user and reads information described in the ID card. The read information is used for login authentication of the desktop information processing apparatus 100. This ID card is a non-contact type IC card and stores at least user identification information.

プリンタユニット80は、画像データを印刷するユニットである。プリンタユニット80は、トナーを収容するトナーカートリッジ、シートを収容するカセット、プロセスユニット(感光体ドラム、帯電部、露光部、中間転写ベルトなど)、加熱定着器、排出トレイを有し、カセットに収容されているシートを、プロセスユニット、加熱定着器、排出トレイの順に搬送する搬送部を有する。   The printer unit 80 is a unit that prints image data. The printer unit 80 includes a toner cartridge for storing toner, a cassette for storing sheets, a process unit (photosensitive drum, charging unit, exposure unit, intermediate transfer belt, etc.), a heat fixing device, and a discharge tray. A transport unit that transports the processed sheets in the order of a process unit, a heat fixing device, and a discharge tray.

音声マイク90は、外部で発せられる音声を取得し、デジタル信号に変換するユニットである。変換された信号は、プロセッサ10により所定のフォーマットに変換されてHDD40に保存される。   The sound microphone 90 is a unit that acquires sound emitted outside and converts it into a digital signal. The converted signal is converted into a predetermined format by the processor 10 and stored in the HDD 40.

図3(A)は、卓上型情報処理装置100を上側から視認したときの平面図であり、図3(B)は、タッチパネルディスプレイ50の表示例を示す図である。卓上型情報処理装置100は、複数ユーザの同時ログインを可能としており、複数ユーザのデスクトップ画面を同時に表示させることができる。センサユニット70は、本例では天板付近の四方側面の中央部にそれぞれ配置されている(計4つ)。IDカード200A〜200Dを携帯したユーザがセンサユニット70に近接することで、センサユニット70がIDカード内の情報を読み取り、ログイン認証が行われる。IDカード内の情報が事前にHDD40もしくは外部の認証機構に登録されているものである場合、認証適合となり、そのユーザの居る向きに各個人のデスクトップ画面が表示される(図3(B)参照)。ユーザの居る向きは、いずれのセンサユニット70からIDカード情報が取得されたかにより決定される。   FIG. 3A is a plan view when the desktop information processing apparatus 100 is viewed from above, and FIG. 3B is a diagram illustrating a display example of the touch panel display 50. The desktop information processing apparatus 100 allows multiple users to log in simultaneously, and can simultaneously display the desktop screens of multiple users. In this example, the sensor units 70 are respectively arranged at the center of the four side surfaces near the top plate (four in total). When the user carrying the ID cards 200A to 200D approaches the sensor unit 70, the sensor unit 70 reads information in the ID card, and login authentication is performed. If the information in the ID card is registered in advance in the HDD 40 or an external authentication mechanism, the authentication conforms and the personal desktop screen is displayed in the direction the user is present (see FIG. 3B). ). The direction in which the user is present is determined by which sensor unit 70 the ID card information is acquired from.

またタッチパネルディスプレイ50は、各個人が使用できる範囲を示す境界も表示する。図3(B)の例では破線ラインとしたが、これに類するものであり、使用範囲がユーザに分かるものであればどのような態様でもよい。また図3(B)の例は、4人のユーザが同時に使用している例であり、各ユーザの作業領域は、領域R1〜R4となっている。IDカード200Aを所持しているユーザは領域R1を作業領域として使用し、以下同様にIDカード200Bを所持しているユーザは領域R2を、IDカード200Cを所持しているユーザは領域R3を、IDカード200Dを所持しているユーザは領域R4を、それぞれ作業領域として使用する。   The touch panel display 50 also displays a boundary indicating a range that can be used by each individual. In the example of FIG. 3B, a broken line is used, but it is similar to this, and any mode may be used as long as the usage range can be understood by the user. In addition, the example of FIG. 3B is an example in which four users are using at the same time, and the work areas of each user are areas R1 to R4. A user who owns the ID card 200A uses the area R1 as a work area. Similarly, a user who owns the ID card 200B uses the area R2, and a user who owns the ID card 200C uses the area R3. A user who has the ID card 200D uses the area R4 as a work area.

タッチパネルディスプレイ50は、図3(B)に示すようにユーザの居る位置に応じて、ユーザにとって正規の向きとなるようにデスクトップ画面を表示する。すなわち、ユーザの居る方が画面下方となり、向かい側が画面上方となる向きでデスクトップ画面を表示する。またログイン時のデスクトップ画面は、ユーザが前回ログアウトしたときの状態で表示されてもよく、事前にユーザごとに定義されたデフォルト状態で表示されてもよい。   As shown in FIG. 3B, the touch panel display 50 displays a desktop screen so as to be in a normal orientation for the user in accordance with the position of the user. That is, the desktop screen is displayed in such a direction that the user is at the bottom of the screen and the opposite side is at the top of the screen. Further, the desktop screen at the time of login may be displayed in the state when the user logged out last time, or may be displayed in the default state defined for each user in advance.

次に、卓上型情報処理装置100の会議機能の具体的な態様例について、図4を参照しつつ説明する。図4は、所定のジェスチャー操作により、会議機能を有効にした場合の表示例である。本実施形態のタッチパネルディスプレイ50は、図4の横軸をX、縦軸をYとし、左上端を原点座標(0,0)とした座標系とする。   Next, a specific example of the conference function of the desktop information processing apparatus 100 will be described with reference to FIG. FIG. 4 is a display example when the conference function is enabled by a predetermined gesture operation. The touch panel display 50 of the present embodiment has a coordinate system in which the horizontal axis in FIG. 4 is X, the vertical axis is Y, and the upper left corner is the origin coordinate (0, 0).

会議機能が有効になると、ログイン認証を済ませた全てのユーザのアイコンが表示される(図4のU1〜U3)。卓上型情報処理装置100は、ユーザの不図示のボタン押下や所定のジェスチャー操作により、会議資料の画像をHDD40や外部機器から取得し、タッチパネルディスプレイ50に表示する。図4の例では、P1〜P4の画像が表示されている。このように表示された画像は、ユーザの操作により回転、移動することができる。本実施形態では、タッチパネルディスプレイ50が画像の表示領域内で複数点の接触(例えば親指、人差し指、中指、薬指、小指の5点接触)を検知した場合、各接触点の移動に合わせて当該画像が回転、移動する。ユーザは、同一画像を複数の5本指でタッチし、スライド移動させることで、当該画像がスライド移動する。またユーザは、同一画像を複数の5本指でタッチし、ねじるように指先を移動させることで、当該画像が回転する。この指先の移動検知や表示は、プロセッサ10の制御に依拠する。   When the conference function is enabled, icons of all users who have completed login authentication are displayed (U1 to U3 in FIG. 4). The desktop information processing apparatus 100 acquires an image of the conference material from the HDD 40 or an external device and displays it on the touch panel display 50 by a user pressing a button (not shown) or a predetermined gesture operation. In the example of FIG. 4, images P1 to P4 are displayed. The displayed image can be rotated and moved by a user operation. In the present embodiment, when the touch panel display 50 detects a plurality of points of contact (for example, a five-point contact of the thumb, index finger, middle finger, ring finger, and little finger) in the image display area, the image is adjusted in accordance with the movement of each contact point. Rotate and move. When the user touches the same image with a plurality of five fingers and slides the same image, the image slides. In addition, the user touches the same image with a plurality of five fingers and moves the fingertips so as to twist the image, thereby rotating the image. This fingertip movement detection and display depends on the control of the processor 10.

ユーザは、表示された資料(画像)を参照しつつ会議を進め、必要事項を専用ペンもしくは指先でタッチパネルディスプレイ50上に書き込む。このときの手書き操作の一例を、画像P1を用いて説明する。ユーザは、画像P1を1本の指先でタッチして選択し、この接触を維持しながら他方の手で必要事項を書き込む。書き終わったら、画像P1での接触を解除する(タッチしていた1本の指先を離す)。図4の例では、画像P1がタッチされた状態で、手書きオブジェクトOBJ1(画像P1内にある手書きの円形状、円形状を指し示す矢印、矢印始点にある「これを修正」の文字)が記述され、画像P1の接触が解除されたとする。この操作により、画像P1と手書きオブジェクトOBJ1とが関連付けられる。また同様操作により、手書きオブジェクトOBJ2(画像P1内にある手書きの縦長四角形、縦長四角形を指し示す矢印、矢印始点にある「このRを大きく」の文字画像)も画像P1と関連付けられる。画像と関連付けられた手書きオブジェクトは、当該画像が移動、回転した場合、連動して回転、移動し、当該画像が表示上消去された場合、関連付けられた手書きオブジェクトも表示上消去される。   The user proceeds with the conference while referring to the displayed material (image), and writes necessary items on the touch panel display 50 with a dedicated pen or a fingertip. An example of the handwriting operation at this time will be described using the image P1. The user touches and selects the image P1 with one fingertip, and writes necessary information with the other hand while maintaining this contact. When writing is completed, the contact on the image P1 is released (the fingertip that was touched is released). In the example of FIG. 4, the handwritten object OBJ1 (the handwritten circular shape in the image P1, the arrow pointing to the circular shape, and the “correct this” character at the arrow start point) is described with the image P1 being touched. Assume that the contact of the image P1 is released. By this operation, the image P1 and the handwritten object OBJ1 are associated with each other. Further, by the same operation, the handwritten object OBJ2 (the handwritten vertical rectangle in the image P1, the arrow pointing to the vertical rectangle, the character image of “Large R” at the arrow start point) is also associated with the image P1. When the image is moved or rotated, the handwritten object associated with the image rotates and moves in conjunction with the image. When the image is erased on display, the associated handwritten object is also erased on display.

画像が1本指でタッチされた場合、DRAM20には、手書きオブジェクト用の画像を記憶するための領域が確保される。1本指がタッチされた状態で、他方の手の指先やペン先をスライドさせることで、タッチパネルディスプレイ50はその軌跡像を描画する。このように得られた手書きオブジェクトは、画像の1本指の接触が解除された時点で、透過型の画像形式(描画した図柄以外は透過する形式)でHDD40もしくはDRAM20に保存される。尚、OBJ3は、いずれの画像にも関連付けられていない手書きオブジェクトであり、手書き入力があってから一定時間後もしくは所定のジェスチャーがあった場合に透過型の画像形式で保存される。   When an image is touched with one finger, an area for storing an image for a handwritten object is secured in the DRAM 20. The touch panel display 50 draws the trajectory image by sliding the fingertip or pen tip of the other hand while one finger is touched. The handwritten object obtained in this way is stored in the HDD 40 or the DRAM 20 in a transmissive image format (a format that transmits other than the drawn symbols) when the contact of one finger of the image is released. Note that OBJ3 is a handwritten object that is not associated with any image, and is stored in a transparent image format after a predetermined time or when there is a predetermined gesture after handwritten input.

タッチパネルディスプレイ50は、図4の領域R11に音声データの認識結果をテキストで表示する。またいずれのユーザが発した言葉であるかを識別する機能(話者識別機能)がある場合、ユーザ名もテキストで表示される。音声認識、話者識別は、既存の技術が用いられる。話者識別は、ログイン認証のあったユーザのみを識別対象範囲として検索され、同定される。また図4では明示されていないが、現在日時の情報も領域R11に表示される。   The touch panel display 50 displays the voice data recognition result as text in the region R11 of FIG. In addition, when there is a function (speaker identification function) for identifying which user has spoken, the user name is also displayed in text. Existing techniques are used for voice recognition and speaker identification. In speaker identification, only a user who has performed login authentication is searched and identified as an identification target range. Further, although not explicitly shown in FIG. 4, information on the current date and time is also displayed in the area R11.

タッチパネルディスプレイ50は、領域R12にキーボードを模した画像を表示してユーザの入力を受け付ける。入力された文字は領域R13に表示される。ユーザが領域R13を指先でタッチして回転、移動させた場合に、その動きに追随して領域R13内の表示文字列も回転、移動するという実装でもよい。この場合、ユーザは領域R13をタッチし、その後関連付けたい画像をタッチすることで、これらが関連付けられる。画像と関連付けられたテキストデータもまた、上記の手書きオブジェクトと同様に透過型の画像形式として保存される。画像が回転、移動、消去した際には、透過型の画像形式となったテキストデータも追随して回転、移動、消去する。   The touch panel display 50 displays an image simulating a keyboard in the region R12 and accepts user input. The input characters are displayed in the area R13. When the user touches and rotates and moves the region R13 with the fingertip, the display character string in the region R13 may be rotated and moved following the movement. In this case, the user touches the region R13, and then touches the image to be associated, thereby associating them. The text data associated with the image is also stored as a transparent image format in the same manner as the above handwritten object. When the image is rotated, moved, or deleted, the text data in the transparent image format is also rotated, moved, or deleted.

ユーザは、不図示のダイアログを用いて手書きオブジェクトの線の太さや色を変えることができる。また不図示のダイアログを用いて、事前に定義された図形、図柄、画像を選択し、タッチパネルディスプレイ50に描画させることができる。   The user can change the line thickness and color of the handwritten object using a dialog (not shown). In addition, using a dialog (not shown), it is possible to select a predefined figure, pattern, or image and draw it on the touch panel display 50.

また手書き操作を行っているユーザを識別し、ユーザに応じた色、線の太さで描画する実装でもよい。ユーザの識別については、ユーザ固有の専用ペン(ペンから識別情報が出力される)を使用する運用にしたり、指先接触の場合は、従前の人体通信技術を応用したりする。人体通信の場合、ユーザの指先がタッチパネルディスプレイ50に接触することで、ユーザ所持のIDカードの識別情報を、人体を伝達媒体として取得可能となる。IDカードは、首にぶら下げた状態やポケットにしまった状態であってもよい。当然、IDカードや卓上型情報処理装置100には人体通信を可能にするユニットを含ませることが必要となる。   Moreover, the implementation which identifies the user who is performing handwriting operation and draws with the color according to a user and the thickness of a line | wire may be sufficient. For user identification, a dedicated pen unique to the user (identification information is output from the pen) is used, or in the case of fingertip contact, a conventional human body communication technique is applied. In the case of human body communication, the identification information of the ID card possessed by the user can be acquired using the human body as a transmission medium by the user's fingertip touching the touch panel display 50. The ID card may be hung around the neck or in a pocket. Naturally, the ID card and the desktop information processing apparatus 100 need to include a unit that enables human body communication.

手書きオブジェクトの一部分もしくは全部は、所定のジェスチャーや不図示の消しゴムアイコンが選択された場合、表示上消去される。ユーザは、例えば消しゴムアイコンを選択して、手書きオブジェクト上をペン先や指先でスライドさせることで、スライドした領域の描画が消去される。消去編集した後、手書きオブジェクト画像のファイルがその消去編集後の画像に更新される実装でもよいし、履歴を残すため、新たに別ファイルとして消去編集後の画像が生成される実装でもよい。   Part or all of the handwritten object is erased on the display when a predetermined gesture or an unillustrated eraser icon is selected. For example, the user selects the eraser icon and slides the handwritten object with the pen tip or the fingertip to erase the drawing of the slid area. After erasure editing, the handwritten object image file may be updated to the image after the erasure editing, or an erasure editing image may be newly generated as another file in order to leave a history.

図5(A)は、会議資料用の画像に関しての管理データであり、図5(B)は、手書きオブジェクトに関しての管理データである。これら管理データは、HDD40もしくはDRAM20に記憶される。画像に関しての管理データは、自動採番の画像識別情報(画像ID)、画像のファイル名、現在の画像中心座標値、画像中心を回転軸とした現在の回転角度(X軸を0°とした角度)の各データが対応付けられている(図5(A)参照)。また手書きオブジェクトは、自動採番のオブジェクト識別情報(オブジェクトID)、関連付けられた画像の識別情報(画像ID)、関連付けられた画像の中心座標を基準とした相対座標値、手書きオブジェクト画像のファイル名の各データが対応付けられて記憶される。本例では、図5(B)に示す相対座標値は手書きオブジェクト画像の中心座標値に相応する。また手書きオブジェクト画像のファイル名には、手書きオブジェクトが生成された日時の情報(年、月、日、時、分、秒)が含まれる。尚、図4のOBJ3のように、画像と関連付けられていない手書きオブジェクトは、画像IDの欄がNULL値となる。   FIG. 5A shows management data related to an image for a conference material, and FIG. 5B shows management data related to a handwritten object. These management data are stored in the HDD 40 or the DRAM 20. The management data regarding the image includes the image identification information (image ID) of automatic numbering, the file name of the image, the current image center coordinate value, and the current rotation angle with the image center as the rotation axis (X axis is 0 °). Each data of (angle) is associated (see FIG. 5A). The handwritten object includes automatic identification object identification information (object ID), associated image identification information (image ID), relative coordinate values based on the center coordinates of the associated image, and the file name of the handwritten object image. Are stored in association with each other. In this example, the relative coordinate values shown in FIG. 5B correspond to the center coordinate values of the handwritten object image. The file name of the handwritten object image includes information (date, month, day, hour, minute, second) of the date and time when the handwritten object was generated. Note that a handwritten object that is not associated with an image, such as OBJ3 in FIG. 4, has a NULL value in the image ID column.

図5(B)に示す管理データにより、画像(例えば図4のP1)とオブジェクト画像(例えば図4のOBJ1)とが対応付けられる。画像P1がタッチパネルディスプレイ50上で回転を加えず移動する際、プロセッサ10は、図5(A)に示す座標値を更新する。プロセッサ10は、OBJ1が画像P1との位置関係を相対座標値分で維持しつつ、画像P1と連動して同じ方向に移動するようにタッチパネルディスプレイ50の表示を制御する。OBJ2についても同様である。   The management data shown in FIG. 5B associates an image (for example, P1 in FIG. 4) with an object image (for example, OBJ1 in FIG. 4). When the image P1 moves on the touch panel display 50 without rotation, the processor 10 updates the coordinate values shown in FIG. The processor 10 controls the display of the touch panel display 50 so that the OBJ1 moves in the same direction in conjunction with the image P1 while maintaining the positional relationship with the image P1 by the relative coordinate value. The same applies to OBJ2.

また画像P1がスライド移動せずに回転した際は、プロセッサ10は、図5(A)に示す回転角度を更新する。プロセッサ10は、OBJ1が図5(B)に示す対応関係に基づき同じ角度分回転するようにタッチパネルディスプレイ50の表示を制御する。このときの動作について説明する。プロセッサ10は、まずOBJ1を画像P1と同じ角度で回転させた画像を作成する。プロセッサ10は、相対座標値を用いて、画像P1の中心座標からOBJ1の中心座標までの距離を算出し、算出した距離と回転角度で、OBJ1の移動後の座標値(画像P1の中心座標を基準とした座標値)を算出する。プロセッサ10は、この算出した座標値に、画像P1の中心座標値(図5(A)の座標値)を加算して、表示領域の左上端を原点座標(0,0)とした絶対座標系での座標値を算出する。プロセッサ10は、OBJ1の中心がこの絶対座標系の座標位置にくるように、先に作成したOBJ1の回転画像を表示させる。このようにすることで、位置関係を相対座標値分で維持しつつ、画像P1の回転と連動してOBJ1を回転させることができる。OBJ2についても同様である。   Further, when the image P1 rotates without sliding, the processor 10 updates the rotation angle shown in FIG. The processor 10 controls the display on the touch panel display 50 so that OBJ1 rotates by the same angle based on the correspondence shown in FIG. The operation at this time will be described. The processor 10 first creates an image obtained by rotating OBJ1 at the same angle as the image P1. The processor 10 calculates the distance from the center coordinate of the image P1 to the center coordinate of the OBJ1 using the relative coordinate value, and the coordinate value after the movement of the OBJ1 (the center coordinate of the image P1 is calculated with the calculated distance and the rotation angle). The coordinate value as a reference) is calculated. The processor 10 adds the center coordinate value of the image P1 (coordinate value in FIG. 5A) to the calculated coordinate value, and uses the upper left corner of the display area as the origin coordinate (0, 0). The coordinate value at is calculated. The processor 10 displays the previously created rotated image of OBJ1 so that the center of OBJ1 comes to the coordinate position of this absolute coordinate system. By doing so, the OBJ1 can be rotated in conjunction with the rotation of the image P1, while maintaining the positional relationship by the relative coordinate value. The same applies to OBJ2.

図6は、卓上型情報処理装置100による画像の回転/移動、手書きオブジェクトの描画、キーボードによるテキスト文字の表示の動作例を示すフローチャートである。このフローチャートは、プロセッサ10がHDD40(もしくはROM30)に事前に導入されているプログラムをDRAM20に展開し、プログラムコードに従い各ハードウェアを制御することで実現される。   FIG. 6 is a flowchart illustrating an operation example of image rotation / movement, drawing of a handwritten object, and display of text characters using a keyboard by the desktop information processing apparatus 100. This flowchart is realized by the processor 10 developing a program installed in advance in the HDD 40 (or ROM 30) in the DRAM 20 and controlling each hardware according to the program code.

まず、ユーザにより所定の画像取り込み操作が行われると(ACT001、Yes)、タッチパネルディスプレイ50は、プロセッサ10からの指示に従い当該画像を表示する(ACT002)。取り込み操作は、ダイアログから画像を選択する手法でもよく、他の機器から取得する方法でもよい。またタッチパネルディスプレイ50のスキャナ機能を用いて、資料シートをスキャンして画像を取り込む方法でもよい。プロセッサ10は、取り込まれた画像についての管理データ(図5(A)の1レコード)を作成する。   First, when a predetermined image capturing operation is performed by the user (ACT001, Yes), the touch panel display 50 displays the image according to an instruction from the processor 10 (ACT002). The capturing operation may be a method of selecting an image from a dialog or a method of acquiring from another device. Alternatively, a method of scanning a document sheet and capturing an image using the scanner function of the touch panel display 50 may be used. The processor 10 creates management data (one record in FIG. 5A) for the captured image.

タッチパネルディスプレイ50がユーザの指先などの接触を検知しない場合(ACT003、No)、処理はACT016に移行する。タッチパネルディスプレイ50が接触を検知した場合(ACT003、Yes)、プロセッサ10は、この検知位置がACT002で取り込んだ画像の領域内であるかを判定する(ACT004)。画像領域内である場合(ACT004、Yes)、プロセッサ10は一定期間内(例えば0.5秒内)に同領域内で複数点検知したかを判定する(ACT011)。このACT011の判定で、Noの場合は手書きオブジェクトを描画する処理となり、Yesの場合は画像を移動/回転する処理となる。   When the touch panel display 50 does not detect contact with the user's fingertip (ACT003, No), the process proceeds to ACT016. When the touch panel display 50 detects contact (ACT003, Yes), the processor 10 determines whether this detection position is within the area of the image captured by ACT002 (ACT004). If it is within the image area (ACT004, Yes), the processor 10 determines whether a plurality of points are detected within the same area within a certain period (for example, within 0.5 seconds) (ACT011). In the determination of ACT 011, if No, the handwritten object is drawn, and if Yes, the image is moved / rotated.

複数点検知でない場合(ACT011、No)、プロセッサ10は、システムクロックもしくは外部から現在の時刻情報(日付も含む。以下同様)を取得し(ACT012)、他点の接触位置(ACT003では使用しなかった他方の手の指先接触点)にオブジェクトを描画する(ACT013)。タッチパネルディスプレイ50は、ACT003での接触が解除されるまで、この他点の軌跡を描画する(ACT014、Noのループ)。尚、消しゴムアイコンなどが選択されている場合、ACT013では、当該オブジェクトの一部分もしくは全部の消去処理が行われる。   When not detecting multiple points (ACT011, No), the processor 10 acquires the current time information (including date, the same applies hereinafter) from the system clock or outside (ACT012), and is not used in the contact position of other points (ACT003). The object is drawn at the fingertip contact point of the other hand (ACT013). The touch panel display 50 draws the locus of this other point until the contact at ACT003 is released (ACT014, No loop). If an eraser icon or the like is selected, a part or all of the object is erased in ACT013.

ACT003で行われた接触が解除されると(ACT014、Yes)、プロセッサ10は、ここまで描画された手書きオブジェクトが透過型画像データとしてHDD40もしくはDRAM20に記憶させる(ACT015)。本例では、プロセッサ10は、ACT012で取得される描画開始時刻、およびACT014で接触解除された時刻である終了時刻の情報を、手書きオブジェクトの画像データのファイル名に含ませる。またACT015が実施されるとき、プロセッサ10は、図5(B)に示す管理データ(1レコード分)を作成する。その後処理はACT016に進む。   When the contact made in ACT003 is released (ACT014, Yes), the processor 10 stores the handwritten object drawn so far in the HDD 40 or the DRAM 20 as transparent image data (ACT015). In this example, the processor 10 includes the drawing start time acquired in ACT012 and the end time information that is the time of contact release in ACT014 in the file name of the image data of the handwritten object. When ACT015 is executed, the processor 10 creates management data (for one record) shown in FIG. Thereafter, the process proceeds to ACT016.

このACT003〜ACT015までは、ユーザが例えば左手の1本指で画像をタッチして対応付ける画像を選択し、右手の指先やペン先で手書きオブジェクトを描画する動作となる。   From ACT003 to ACT015, for example, the user selects an image to be associated by touching the image with one finger of the left hand, and draws a handwritten object with the fingertip or pen tip of the right hand.

ACT011の判定に戻る。画像領域内で複数点検知される場合(ACT011、Yes)、タッチパネルディスプレイ50は、検知位置の移動に従い、当該画像を移動もしくは回転させるよう表示する(移動、回転の両方同時でもよい)(ACT021)。プロセッサ10は、各接触点が略同じ方向、且つ略同じ距離分移動する場合は画像の移動として扱い、そうで無い場合は回転として扱う。回転の場合、プロセッサ10は、各接触点の移動方向から回転中心を算出し、この回転中心から任意の接触点(本例では回転中心から最も遠い接触点とする)までの距離、およびこの任意の接触点の移動距離を用いて、回転角度を算出する。タッチパネルディスプレイ10は、この角度で画像を回転させる。ACT021により、図5(A)で示す座標値、回転角度が更新される。   Return to the determination of ACT011. When a plurality of points are detected in the image area (ACT011, Yes), the touch panel display 50 displays the image to be moved or rotated according to the movement of the detection position (both movement and rotation may be performed simultaneously) (ACT021) . The processor 10 treats each contact point as a movement of an image when it moves by substantially the same direction and the same distance, and treats it as a rotation when it does not. In the case of rotation, the processor 10 calculates the rotation center from the moving direction of each contact point, the distance from this rotation center to an arbitrary contact point (in this example, the contact point farthest from the rotation center), and this arbitrary The rotation angle is calculated using the movement distance of the contact point. The touch panel display 10 rotates the image at this angle. ACT021 updates the coordinate values and rotation angles shown in FIG.

移動、回転した画像と対応付けられた手書きオブジェクトがある場合、タッチパネルディスプレイ50は、この画像と同じ移動量、回転角度で、対応付けられた手書きオブジェクトを移動、回転させる(ACT022)。プロセッサ10は、図5(A)、図5(B)の管理データに基づき手書きオブジェクトの移動後の座標を算出し、回転角度を取得して描画の制御を行う。この動作後、処理はACT016に進む。   When there is a handwritten object associated with the moved and rotated image, the touch panel display 50 moves and rotates the associated handwritten object with the same movement amount and rotation angle as the image (ACT022). The processor 10 calculates the coordinates after the movement of the handwritten object based on the management data of FIGS. 5A and 5B, acquires the rotation angle, and controls the drawing. After this operation, the process proceeds to ACT016.

尚、画像回転の場合、本例では画像内の接触点の位置にかかわらずその画像の中心点を回転軸にして回転表示するものとするが、複数の接触点の重心となる点を回転軸として回転表示する、という実装でもよい。この場合、手書きオブジェクト画像も上記重心点を回転軸として回転移動する。   In the case of image rotation, in this example, regardless of the position of the contact point in the image, the center point of the image is rotated and displayed as a rotation axis. It is also possible to implement such as rotating display as In this case, the handwritten object image also rotates around the center of gravity as the rotation axis.

ACT004の判定に戻る。画像領域内で無い場合(ACT004、No)、プロセッサ10は、接触位置がキーボード内(図4の領域R12内)であるかを判定する(ACT031)。キーボード内である場合(ACT031、Yes)、タッチパネルディスプレイ50は、入力された文字を領域R13内に表示する(ACT032)。その後、ACT016に進む。尚、本フローチャートには明示しないが、領域R13もタッチおよびスライド操作により移動、回転を行うことができる実装でもよい。この場合、領域R13がタッチされ、その後画像がタッチされることで、画像との対応付けも行うことができ、画像の動きに従いテキスト画像も移動、回転する。対応付けが行われた後、領域R13は新たなテキスト表示領域となり、新たな入力テキストを表示することができる。   Return to the determination of ACT004. If not in the image area (ACT004, No), the processor 10 determines whether the contact position is in the keyboard (in the area R12 in FIG. 4) (ACT031). When it is in the keyboard (ACT031, Yes), the touch panel display 50 displays the input characters in the region R13 (ACT032). Thereafter, the process proceeds to ACT016. Although not explicitly shown in this flowchart, the region R13 may be mounted so that it can be moved and rotated by a touch and slide operation. In this case, when the region R13 is touched and then the image is touched, the image can be associated with the image, and the text image moves and rotates according to the movement of the image. After the association, the region R13 becomes a new text display region, and a new input text can be displayed.

ACT031の判定に戻る。キーボード内で無い場合(ACT031、No)、本実施形態では、プロセッサ10は手書きオブジェクトの描画処理を行う(ACT041)。この手書きオブジェクトは、いずれの画像にも対応付けられないオブジェクトとなり、図5(B)の画像ID欄がNULL値のオブジェクトとなる。プロセッサ10は、一定期間内に書き込まれた手書きオブジェクトを1つの画像データとして保存し(ACT042)、ACT016に進む。このときプロセッサ10は、図5(B)に示す管理データに当該手書きオブジェクトの1レコードを登録する。   Return to the determination of ACT031. When not in the keyboard (ACT031, No), in this embodiment, the processor 10 performs a drawing process of a handwritten object (ACT041). This handwritten object is an object that is not associated with any image, and the image ID field in FIG. 5B is an object with a NULL value. The processor 10 stores the handwritten object written within a certain period as one image data (ACT042), and proceeds to ACT016. At this time, the processor 10 registers one record of the handwritten object in the management data shown in FIG.

上記各動作は、会議終了の規定ジェスチャー操作や不図示の会議終了ボタン押下などが行われるまで繰り返し行われる(ACT016、Noのループ)。終了操作が行われると(ACT016、Yes)、プロセッサ10は、タッチパネルディスプレイ50に表示されている全領域の画像(キャプチャ画像)をHDD40に保存し(ACT051)、入力されたテキスト(ACT032で入力されたテキスト)を規定の文字コード形式でHDD40に保存する(ACT052)。また、図5(A)、図5(B)に例示する管理データや手書きオブジェクトの画像データもHDD40に永続的に保存される。   Each of the above operations is repeated until a predetermined gesture operation for ending the conference or pressing a conference end button (not shown) is performed (ACT016, No loop). When the end operation is performed (ACT016, Yes), the processor 10 stores the image (capture image) of the entire area displayed on the touch panel display 50 in the HDD 40 (ACT051), and the input text (ACT032) is input. Are stored in the HDD 40 in a prescribed character code format (ACT052). Further, the management data exemplified in FIGS. 5A and 5B and the image data of the handwritten object are also permanently stored in the HDD 40.

プロセッサ10は、ACT051、ACT052で保存される各データのファイル名に、会議の日付、開始時刻、終了時刻のデータ、ログインユーザ名、卓上型情報処理装置100の識別情報を含ませて保存する。ログインユーザ名を含ませることで、会議参加者を特定でき、卓上型情報処理装置100の識別情報を含ませることで、卓上型情報処理装置の置かれている場所(会議室など)を特定することが可能となる。   The processor 10 includes the file name of each data stored in ACT051 and ACT052, and includes the date of the meeting, the data of the start time, the end time, the login user name, and the identification information of the desktop information processing apparatus 100 for storage. By including the login user name, it is possible to identify the conference participants, and by including the identification information of the desktop information processing apparatus 100, the location (conference room, etc.) where the desktop information processing apparatus is located is specified. It becomes possible.

プリンタユニット80は、これら全領域の画像データ、およびテキストデータをシート上に印刷出力する(ACT053)。このときプリンタユニット80は、会議の日付、開始時刻、終了時刻、ログインユーザ名、卓上型情報処理装置100の識別情報を印字する実装でもよい。   The printer unit 80 prints out the image data and text data of all the areas on the sheet (ACT053). At this time, the printer unit 80 may be mounted to print the meeting date, start time, end time, login user name, and identification information of the desktop information processing apparatus 100.

また図6のフローチャートでは、表示領域全域の画像保存はACT051のみとしているが、さまざまなタイミングで表示領域全域のキャプチャ画像を保存してもよい。例えば、一定時間間隔(例えば1分)や、ACT015やACT042が行われる直後、ユーザの所定ジェスチャー操作により、都度行われてもよい。この場合のファイル名も、上記同様形式のファイル名となる。日時情報などのデータをファイル名に付加する実装以外に、キャプチャ画像データ内の画像として付加する実装でもよい。   In the flowchart of FIG. 6, only the ACT051 is stored in the entire display area. However, captured images in the entire display area may be stored at various timings. For example, it may be performed each time a predetermined time interval (for example, 1 minute), or immediately after ACT015 or ACT042 is performed, by a predetermined gesture operation by the user. The file name in this case is also a file name in the same format as described above. In addition to the implementation of adding data such as date and time information to the file name, an implementation of adding data as captured image data may be used.

図7は、音声データの記録を保存する際のフローチャートを示す図である。ユーザにより音声録音ボタン(不図示)が押下されると、プロセッサ10は、規定のファイル形式で音声データの録音を開始する(ACT101)。プロセッサ10は、音声マイク90から音声データの入力がある場合(ACT102、Yes)、現在の日付、時刻の情報を取得し(ACT103)、従前の音声認識技術を用いて音声をテキストデータに変換する(ACT104)。またプロセッサ10は、従前の話者識別技術を用いていずれのユーザ(認証済みのユーザ)が発した音声かを識別する(ACT105)。   FIG. 7 is a diagram showing a flowchart for storing a recording of audio data. When a voice recording button (not shown) is pressed by the user, the processor 10 starts recording voice data in a prescribed file format (ACT 101). When there is input of voice data from the voice microphone 90 (ACT 102, Yes), the processor 10 acquires information on the current date and time (ACT 103), and converts the voice into text data using a conventional voice recognition technique. (ACT104). Further, the processor 10 identifies which user (authenticated user) uttered by using a conventional speaker identification technique (ACT 105).

プロセッサ10は、現在の日時情報、話者名、音声テキストの順となるように整形した文字列を作成し、タッチパネルディスプレイ50はこの文字列を領域R11(図4参照)に表示する(ACT106)。ACT102〜ACT106の動作は、録音停止操作が行われるまで繰り返し実施される(ACT107、Noのループ)。録音停止操作が行われる場合(ACT107、Yes)、プロセッサ10は、録音を停止し(ACT108)、音声データ、領域R11に表示されたテキストデータをHDD40内に保存する(ACT109)。このときに保存される各ファイルの名前には、会議の日付、録音開始時刻、録音終了時刻、ログインユーザ名、卓上型情報処理装置100の識別情報が含まれる。   The processor 10 creates a character string shaped in the order of current date and time information, speaker name, and voice text, and the touch panel display 50 displays this character string in the region R11 (see FIG. 4) (ACT 106). . The operations of ACT102 to ACT106 are repeated until a recording stop operation is performed (ACT107, No loop). When the recording stop operation is performed (ACT 107, Yes), the processor 10 stops recording (ACT 108), and stores the voice data and the text data displayed in the region R11 in the HDD 40 (ACT 109). The name of each file stored at this time includes the date of the conference, the recording start time, the recording end time, the login user name, and the identification information of the desktop information processing apparatus 100.

尚、ACT102の判定で否定である場合(ACT102、No)、処理はACT107に進む。   If the determination in ACT 102 is negative (ACT 102, No), the process proceeds to ACT 107.

上記例では、画像と手書きオブジェクトとを対応付けるために、ユーザが画像をタッチし、その接触が維持されている間に書き込む、という実装としているが、これ以外にも様々な方法が考えられる。他の例としては、ユーザが画像をタッチした後に一定期間内に描かれたものを当該画像と対応させる、という実装がある。   In the above example, in order to associate an image with a handwritten object, the user touches the image and writes while the contact is maintained, but various other methods are conceivable. As another example, there is an implementation in which an image drawn within a certain period after the user touches the image is associated with the image.

また上記例では、日時情報やログインユーザ名、卓上型情報処理装置の識別情報の付加データを、キャプチャ画像などの記録データのファイル名に付加する実装例について説明したが、態様はこれに限定されない。記録データと付加データを対応付けて記憶される実装であればよい。また付加データの種類は、これに限らない。会議名称や会議室名など、卓上型情報処理装置が取得可能なデータであれば、どのようなデータであっても構わない。   In the above example, the implementation example is described in which the date and time information, the login user name, and the additional data of the identification information of the desktop information processing apparatus are added to the file name of the recording data such as the captured image. However, the aspect is not limited thereto. . Any implementation in which the recording data and the additional data are stored in association with each other may be used. The type of additional data is not limited to this. Any data may be used as long as it can be acquired by the desktop information processing apparatus, such as a meeting name and a meeting room name.

上記例では、手書き描画とするか、画像の移動/回転とするかの切り分けは、画像の表示領域内で1本指での接触であるか複数指での接触であるかを判定することで行っているが、その他にも様々な手法がある。一例を示すと、画像の表示領域内をタッチし、例えば円の軌跡を描くジェスチャー操作を行うと、それ以降の一定期間は手書き描画とする、という実装でもよいし、逆に円の軌跡を描くことで画像が回転する、という実装も考えられる。このように、ジェスチャー操作には様々な態様があり、どのようなジェスチャー操作で切り分け制御しても構わない。   In the above example, whether the drawing is handwritten drawing or the movement / rotation of the image is determined by determining whether the contact is made with one finger or a plurality of fingers within the image display area. There are various other methods. For example, if you touch the display area of the image and perform a gesture operation that draws a circular locus, for example, you may use a handwritten drawing for a certain period after that, or conversely draw a circular locus It is also possible to implement that the image rotates. As described above, there are various modes of the gesture operation, and the gesture control may be performed by any gesture operation.

上記例では、キャプチャ画像をタッチパネルディスプレイ50の全表示領域に表示されている状態の画像データとしたが、タッチパネルディスプレイ50の一部の表示領域でもよい。このキャプチャ対象の領域をユーザが指定する実装でも当然構わない。   In the above example, the captured image is image data displayed in the entire display area of the touch panel display 50, but may be a partial display area of the touch panel display 50. Of course, an implementation in which the user specifies the area to be captured may be used.

上記動作をコンピュータに実行させるための記録プログラムや会議プログラムが提供されてもよい。本実施形態を例にして説明すると、HDD40にこのプログラムが事前に記憶されており、プロセッサ10がこのプログラムを読み出してDRAM20に展開し、演算実行する。   A recording program or a conference program for causing a computer to execute the above operation may be provided. This embodiment will be described as an example. This program is stored in advance in the HDD 40, and the processor 10 reads this program, expands it in the DRAM 20, and executes the calculation.

本実施形態では装置内部に発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。   In the present embodiment, the function for implementing the invention is recorded in advance in the apparatus. However, the present invention is not limited to this, and the same function may be downloaded from the network to the apparatus. You may install what was memorize | stored in the apparatus. The recording medium may be any form as long as the recording medium can store the program and can be read by the apparatus, such as a CD-ROM. In addition, the function obtained by installing or downloading in advance may be realized in cooperation with an OS (operating system) inside the apparatus.

制御部は、実施形態のプロセッサ10、DRAM20、通信バス90を少なくとも有する構成に相当する。またプロセッサ10、DRAM20、通信バス90などの各ハードウェアと協働して動作するプログラムは、HDD40(ROM30でもよい)に事前に記憶されており、プロセッサ10によりDRAM20にロードされ、演算実行される。また記憶部は、DRAM20、HDD40に相当する。表示部、入力部は、タッチパネルディスプレイ50に相当する。   The control unit corresponds to a configuration including at least the processor 10, the DRAM 20, and the communication bus 90 of the embodiment. A program that operates in cooperation with the hardware such as the processor 10, the DRAM 20, and the communication bus 90 is stored in advance in the HDD 40 (or may be the ROM 30), and is loaded into the DRAM 20 by the processor 10 and executed. . The storage unit corresponds to the DRAM 20 and the HDD 40. The display unit and the input unit correspond to the touch panel display 50.

以上に詳説したように、本実施形態の態様により、自然な操作で会議、会合を進行させることができ、また議事内容を保存することができる。   As described in detail above, according to the aspect of the present embodiment, it is possible to proceed with meetings and meetings with natural operations, and to save the agenda contents.

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、すべて本発明の範囲内のものである。   The present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-described embodiment is merely an example in all respects and should not be interpreted in a limited manner. The scope of the present invention is indicated by the scope of claims, and is not restricted by the text of the specification. Further, all modifications, various improvements, alternatives and modifications belonging to the equivalent scope of the claims are all within the scope of the present invention.

10 プロセッサ、20 DRAM、30 ROM、40 HDD、50 タッチパネルディスプレイ、51 タッチパネルディスプレイ、52 撮像ユニット、53 発光ユニット、60 ネットワークI/F、70 センサユニット、80 プリンタユニット、90 音声マイク、B 通信バス、卓上型情報処理装置100(情報処理装置)。   10 processor, 20 DRAM, 30 ROM, 40 HDD, 50 touch panel display, 51 touch panel display, 52 imaging unit, 53 light emitting unit, 60 network I / F, 70 sensor unit, 80 printer unit, 90 audio microphone, B communication bus, Desktop information processing apparatus 100 (information processing apparatus).

Claims (6)

パネル式の表示部と、
前記表示部に積層配置され、接触検知により入力を受け付けるタッチパネル式の入力部と、
前記表示部に画像を表示させ、
前記表示部に、前記入力部が接触検知した検知点の移動軌跡を描画させ、
前記表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる制御部と、
を有する情報処理装置。
A panel display,
A touch panel type input unit that is stacked on the display unit and receives input by contact detection;
An image is displayed on the display unit,
Let the display part draw a movement locus of the detection point detected by the input part,
A control unit that stores the captured image displayed in the display area of the display unit in a storage unit including date and time information;
An information processing apparatus.
請求項1に記載の情報処理装置において、
前記制御部は、前記画像と、前記移動軌跡の描画画像とを対応付けて記憶部に記憶させる
情報処理装置。
The information processing apparatus according to claim 1,
The said control part matches the said image and the drawing image of the said movement locus | trajectory, and memorize | stores it in a memory | storage part.
請求項2に記載の情報処理装置において、
前記制御部は、前記表示部で表示されている前記画像が前記入力部の接触検知に基づき移動もしくは回転のいずれか一方もしくは両方するように、前記表示部を制御し、且つ、前記描画画像を、前記対応付けに基づき前記画像の動きに追随して移動、回転するように前記表示部を制御する
情報処理装置。
The information processing apparatus according to claim 2,
The control unit controls the display unit so that the image displayed on the display unit moves or rotates based on contact detection of the input unit, or both, and displays the drawn image. An information processing apparatus that controls the display unit to move and rotate following the movement of the image based on the association.
請求項1乃至3のいずれか1項に記載の情報処理装置において、さらに、
外部の音声を取得する音声マイクを有し、
前記制御部は、前記音声マイクにより得られた音声データを、日時情報を含めて記憶部に記憶させる
情報処理装置。
The information processing apparatus according to any one of claims 1 to 3, further comprising:
Have an audio microphone to capture external audio,
The control unit stores audio data obtained by the audio microphone in a storage unit including date and time information.
請求項4に記載の情報処理装置において、
前記制御部は、前記音声データを、文字列のテキストデータに変換し、
前記表示部は、前記テキストデータを表示する
情報処理装置。
The information processing apparatus according to claim 4,
The control unit converts the voice data into text data of a character string,
The display unit displays the text data.
パネル式の表示部と、前記表示部に積層配置され、接触検知により入力を受け付けるタッチパネル式の入力部とを有するコンピュータに実行させるためのプログラムであり、
前記表示部に画像を表示させ、
前記表示部に、前記入力部が接触検知した検知点の移動軌跡を描画させ、
前記表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる
処理をコンピュータに実行させるための記録プログラム。
A program for causing a computer to have a panel type display unit and a touch panel type input unit that is arranged in a stack on the display unit and receives an input by contact detection,
An image is displayed on the display unit,
Let the display part draw a movement locus of the detection point detected by the input part,
The recording program for making a computer perform the process which memorize | stores the captured image of the state currently displayed in the display area of the said display part in a memory | storage part including date information.
JP2012273359A 2011-12-15 2012-12-14 Information processor and recording program Pending JP2013125553A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201113570994A 2011-12-15 2011-12-15
US61/570,994 2011-12-15

Publications (1)

Publication Number Publication Date
JP2013125553A true JP2013125553A (en) 2013-06-24

Family

ID=48776709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012273359A Pending JP2013125553A (en) 2011-12-15 2012-12-14 Information processor and recording program

Country Status (1)

Country Link
JP (1) JP2013125553A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015091077A (en) * 2013-11-07 2015-05-11 日本電信電話株式会社 Information display device, method and program
WO2015151506A1 (en) * 2014-04-01 2015-10-08 セイコーエプソン株式会社 Bidirectional display method and bidirectional display device
JP2017119393A (en) * 2015-12-28 2017-07-06 コニカミノルタ株式会社 Image formation device, and control program of image formation device
JP2019144800A (en) * 2018-02-20 2019-08-29 富士通株式会社 Input information management, method for input information management, and information processing apparatus
US10410323B2 (en) 2016-09-29 2019-09-10 Seiko Epson Corporation Display apparatus, information processing apparatus, and information processing method for displaying a second image that includes options for manipulating a first image

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146919A (en) * 1993-11-19 1995-06-06 Canon Inc Document creation assisting device
JPH0954673A (en) * 1995-08-11 1997-02-25 Canon Inc Information processor and its system
JP2000047991A (en) * 1998-07-10 2000-02-18 Internatl Business Mach Corp <Ibm> Method and device for making annotation data correspond to application window, system therefor and storage medium for storing program for controlling making annotation data correspond to application window
JP2004094679A (en) * 2002-08-30 2004-03-25 Ricoh Co Ltd Display controller, display device with touch panel, and controlling method and control program for display device with touch panel
JP2004199408A (en) * 2002-12-18 2004-07-15 Fuji Xerox Co Ltd Method for processing document, method for display processing of information, system for display processing of information, management server, client terminal, and program
JP2006091033A (en) * 2004-09-15 2006-04-06 Ricoh Co Ltd Teleconference system
JP2006148730A (en) * 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp Conference system and conference information providing method
WO2010113438A1 (en) * 2009-03-31 2010-10-07 日本電気株式会社 Speech recognition processing system and speech recognition processing method
JP2011523739A (en) * 2008-05-19 2011-08-18 スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッド System and method for collaborative interaction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146919A (en) * 1993-11-19 1995-06-06 Canon Inc Document creation assisting device
JPH0954673A (en) * 1995-08-11 1997-02-25 Canon Inc Information processor and its system
JP2000047991A (en) * 1998-07-10 2000-02-18 Internatl Business Mach Corp <Ibm> Method and device for making annotation data correspond to application window, system therefor and storage medium for storing program for controlling making annotation data correspond to application window
JP2004094679A (en) * 2002-08-30 2004-03-25 Ricoh Co Ltd Display controller, display device with touch panel, and controlling method and control program for display device with touch panel
JP2004199408A (en) * 2002-12-18 2004-07-15 Fuji Xerox Co Ltd Method for processing document, method for display processing of information, system for display processing of information, management server, client terminal, and program
JP2006091033A (en) * 2004-09-15 2006-04-06 Ricoh Co Ltd Teleconference system
JP2006148730A (en) * 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp Conference system and conference information providing method
JP2011523739A (en) * 2008-05-19 2011-08-18 スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッド System and method for collaborative interaction
WO2010113438A1 (en) * 2009-03-31 2010-10-07 日本電気株式会社 Speech recognition processing system and speech recognition processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015091077A (en) * 2013-11-07 2015-05-11 日本電信電話株式会社 Information display device, method and program
WO2015151506A1 (en) * 2014-04-01 2015-10-08 セイコーエプソン株式会社 Bidirectional display method and bidirectional display device
JP2015197782A (en) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 Bidirectional display method and bidirectional display device
JP2017119393A (en) * 2015-12-28 2017-07-06 コニカミノルタ株式会社 Image formation device, and control program of image formation device
US10410323B2 (en) 2016-09-29 2019-09-10 Seiko Epson Corporation Display apparatus, information processing apparatus, and information processing method for displaying a second image that includes options for manipulating a first image
JP2019144800A (en) * 2018-02-20 2019-08-29 富士通株式会社 Input information management, method for input information management, and information processing apparatus

Similar Documents

Publication Publication Date Title
JP2020198105A (en) Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10620898B2 (en) Method to exchange visual elements and populate individual associated displays with interactive content
CN104756065B (en) Information processing unit, information processing method and computer readable recording medium storing program for performing
US20130286435A1 (en) Image processing apparatus, method for controlling the same, and recording medium
JP5974976B2 (en) Information processing apparatus and information processing program
US10067731B2 (en) Method and system for representing a shared digital virtual “absolute” canvas
JP2013125553A (en) Information processor and recording program
KR20140139247A (en) Method for operating object and electronic device thereof
EP3133486A1 (en) Image forming method, image forming device, and computer-readable recording medium therefor
JP5306528B1 (en) Electronic device and handwritten document processing method
JP5622870B2 (en) Information processing device, operation restriction program
US20190332762A1 (en) Method for recording stroke data made on a touch sensitive interactive device
JP7155781B2 (en) Information processing device and information processing program
US20140104639A1 (en) Information processing apparatus and control method therefor, and print apparatus and control method therefor
JP5666546B2 (en) Information processing apparatus and image display program
TWI628636B (en) Method and system to port multi device workspace data
US20180074775A1 (en) Method and system for restoring an action between multiple devices
JP6279732B2 (en) TERMINAL DEVICE, INPUT CONTENT CONTROL METHOD, AND PROGRAM
LU100389B1 (en) Human-computer interface comprising a token
JP5666545B2 (en) Information processing apparatus and image acquisition program
US9952686B2 (en) Desktop information processing apparatus and control method for input device
JP5852876B2 (en) Display system and display program
JP7143580B2 (en) Display device and program
JP2012252495A (en) Information display system
JP2015035049A (en) Information processor, program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111