JP2018005521A - Information processing apparatus, information processing method, and program therefor - Google Patents

Information processing apparatus, information processing method, and program therefor Download PDF

Info

Publication number
JP2018005521A
JP2018005521A JP2016130899A JP2016130899A JP2018005521A JP 2018005521 A JP2018005521 A JP 2018005521A JP 2016130899 A JP2016130899 A JP 2016130899A JP 2016130899 A JP2016130899 A JP 2016130899A JP 2018005521 A JP2018005521 A JP 2018005521A
Authority
JP
Japan
Prior art keywords
information
finger
copy
processing apparatus
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016130899A
Other languages
Japanese (ja)
Inventor
達也 宮野
Tatsuya Miyano
達也 宮野
亜実 鈴木
Ami Suzuki
亜実 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2016130899A priority Critical patent/JP2018005521A/en
Publication of JP2018005521A publication Critical patent/JP2018005521A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To allocate copy information to an arbitrary finger by using a touch panel display part that can be touched to perform finger authentication, make it possible to identify information to be pasted with an operating finger and store the information, and cause a user to have an impression that the finger is allocated with data to read and paste the copy information with an intuitive operation.SOLUTION: The invention of the present application is an information processing apparatus comprising a display part that acquires information on a finger print touching a touch panel and finger information storage means that stores the finger information, and compares the information on the finger print touching the touch panel with the finger print information stored by the finger information storage means to specify a finger to touch the touch panel. A user copies the information through a first predetermined operation with the specified finger, and when the user executes a second predetermined operation with the specified finger, the information processing apparatus pastes the information associated with the specified finger.SELECTED DRAWING: Figure 4

Description

情報処理装置、情報処理方法、およびそのプログラムに関し、特に、タッチすることで指紋認証が可能なタッチパネル表示部を有するユーザインタフェース操作を行う情報処理装置、情報処理方法、およびそのプログラムに関する。   The present invention relates to an information processing device, an information processing method, and a program thereof, and particularly relates to an information processing device, an information processing method, and a program thereof that perform a user interface operation having a touch panel display unit that can perform fingerprint authentication by touching.

近年、タッチパネル液晶上に文書等を表示し編集を行うことのできる機器およびシステムが多く販売されるようになってきている。このような機器では、タッチパネルに多彩でユーザフレンドリーな操作メニューを表示する、いわゆるリッチコンテンツ化されたユーザインターフェイス(以下、UIという)が考えられている。   In recent years, many devices and systems that can display and edit documents on a touch panel liquid crystal have been sold. In such a device, a so-called rich content user interface (hereinafter referred to as UI) that displays a variety of user-friendly operation menus on a touch panel is considered.

このようなUIでは、物理的なキーボードがなく、小さい画面にソフトウェアキーボードを表示して操作しづらいため、いかに直感的なタッチパネルの操作で作業を行わせるかが重要となってきている。   In such a UI, since there is no physical keyboard and it is difficult to display and operate a software keyboard on a small screen, it is important how to perform an operation with an intuitive touch panel operation.

特に、文書を表示して、一部分をコピーし、別の文書にコピーした部分を貼り付ける(ペーストする)作業(コピー&ペーストと呼ばれる)は多く行われる。そのため、このコピー&ペーストの作業を直感的な操作で実現することで作業を効率化するための仕組み(例えば、特許文献2および特許文献3)が考えられている。   In particular, there is a lot of work (called copy and paste) in which a document is displayed, a part is copied, and the copied part is pasted (pasted) into another document. Therefore, a mechanism (for example, Patent Document 2 and Patent Document 3) for improving the efficiency of the work by realizing the copy and paste work by an intuitive operation is considered.

特許文献1には、1つのパネル上で指紋認証を行い、パネル上で同時にタッチした複数の指紋を認識することが可能な電子装置の仕組みが開示されている。   Patent Document 1 discloses a mechanism of an electronic device that can perform fingerprint authentication on one panel and recognize a plurality of fingerprints touched simultaneously on the panel.

特許文献2には、複数の指紋データを登録し、各指紋に役割を割り当て、指紋認証するエリアにタッチした指紋によって動作を切り替える仕組みが開示されている。   Patent Document 2 discloses a mechanism for registering a plurality of fingerprint data, assigning a role to each fingerprint, and switching the operation according to the fingerprint touched on the fingerprint authentication area.

公報番号:US2015/0036065Publication number: US2015 / 0036065 特開2015−138373号公報Japanese Patent Laying-Open No. 2015-138373

しかしながら、特許文献2は、事前に指紋の登録と役割の登録が必要であり、登録作業に手間がかかる。また、この機能について操作前に理解している必要がある。例えば、対象の電子機器を初めて操作するユーザは、事前に指紋の登録と役割の登録をする方法と、その利用方法を理解していないとこの機能を利用することができない。   However, Patent Document 2 requires registration of a fingerprint and a role in advance, which takes time for registration work. Also, this function needs to be understood before operation. For example, a user who operates the target electronic device for the first time cannot use this function unless he / she understands a method for registering a fingerprint and a role in advance and a method for using the method.

また、広く知られている標準的なコピー&ペースト操作では、一つのコピー情報のみを保持し、コピーをされるたびにコピー情報が上書きされ、複数のコピー情報を保持することができない。   In a well-known standard copy and paste operation, only one piece of copy information is held, and copy information is overwritten each time copying is performed, and a plurality of pieces of copy information cannot be held.

そこで、本発明は、標準的なコピー&ペースト操作を残したまま、特許文献1に開示されている複数個所のタッチと複数個所の指紋とを同時検出可能なタッチパネル表示部を用いて、コピー時にタッチしていた指にコピー情報を割り当てて記憶でき、複数の指に別々のコピー情報を記憶でき、ペースト時にタッチされている指に割り当てられているコピー情報を読み出して貼り付けることにより直感的な操作を実現する仕組みを提供することを目的とする。   Therefore, the present invention uses a touch panel display unit that can simultaneously detect a plurality of touches and a plurality of fingerprints, as disclosed in Patent Document 1, while maintaining a standard copy and paste operation. Copy information can be assigned to and stored on the finger that was touched, and separate copy information can be stored on multiple fingers. Intuitive by reading and pasting the copy information assigned to the finger being touched when pasting The purpose is to provide a mechanism to realize the operation.

本願発明は、タッチパネルに接触する指情報を取得する指情報取得手段を有する表示部と、前記指情報取得手段で取得された指情報を記憶する指情報記憶手段とを搭載した情報処理装置であって、前記表示部に接触する指から取得される指情報と、前記指情報記憶手段により記憶された指情報と比較し、接触する指を特定する指特定手段と、第1の所定の操作により、コピーする情報であるコピー情報と、前記指情報取得手段から取得された指情報と、を紐付けて記憶する情報記憶手段と、前記指特定手段で特定される指により、第2の所定の操作が実行されると、該指特定手段で特定される指に紐付けられたコピー情報を出力する情報出力手段と、を有することを特徴とする。   The present invention is an information processing apparatus equipped with a display unit having finger information acquisition means for acquiring finger information in contact with a touch panel and finger information storage means for storing finger information acquired by the finger information acquisition means. The finger information acquired from the finger in contact with the display unit and the finger information stored in the finger information storage means, and the finger specifying means for specifying the finger in contact with the first predetermined operation The information storage means for storing the copy information, which is the information to be copied, and the finger information acquired from the finger information acquisition means, and the finger specified by the finger specifying means, And an information output means for outputting copy information associated with the finger specified by the finger specifying means when the operation is executed.

本願発明によれば、タッチすることで指紋認証が可能なタッチパネル表示部を用いて、コピー情報を任意の指に割り当て、ペーストすべき情報を操作する指によって識別して記憶でき、ユーザーに対して、指にデータが割り当たっているというイメージを持たせることにより直感的な操作でコピー情報を読みだして貼り付けることが可能となる。   According to the present invention, using a touch panel display capable of fingerprint authentication by touching, copy information can be assigned to any finger, and information to be pasted can be identified and stored by the finger operating, By giving an image that data is assigned to a finger, it is possible to read and paste the copy information by an intuitive operation.

本発明に係る情報処理装置の外観の一例を示す外観図である。It is an external view which shows an example of the external appearance of the information processing apparatus which concerns on this invention. 情報処理装置100のハードウェア構成の一例を示すブロック図である。2 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus 100. FIG. 情報処理装置100の機能構成の一例を示す機能構成図である。3 is a functional configuration diagram illustrating an example of a functional configuration of the information processing apparatus 100. FIG. 本発明の実施の形態のコピー操作の概念図である。It is a conceptual diagram of copy operation of embodiment of this invention. 本発明の実施の形態のペースト操作の概要図である。It is a schematic diagram of paste operation of embodiment of this invention. 本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。It is a block diagram showing the clipboard information table of the information processing apparatus of this invention. 本発明のクリップボード用共有メモリの構成図である。It is a block diagram of the shared memory for clipboards of this invention. 本発明の主要操作が行われたときの制御の一例を示すフローチャートである。It is a flowchart which shows an example of control when main operation of this invention is performed. 本発明のタップ判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the tap determination process of this invention. 本発明の指紋仮保存処理の一例を示すフローチャートである。It is a flowchart which shows an example of the fingerprint temporary preservation | save process of this invention. 本発明のバルーン表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of the balloon display process of this invention. 本発明のコピー処理の一例を示すフローチャートである。It is a flowchart which shows an example of the copy process of this invention. 本発明のこの指にコピー処理の一例を示すフローチャートである。It is a flowchart which shows an example of a copy process to this finger | toe of this invention. 本発明のペースト処理の一例を示すフローチャートである。It is a flowchart which shows an example of the paste process of this invention. 本発明の記憶装置204内に記憶される指紋情報の一例を示す模式図である。It is a schematic diagram which shows an example of the fingerprint information memorize | stored in the memory | storage device 204 of this invention.

以下、添付図面を参照しながら、本発明に係る情報処理装置の実施形態について詳細に説明する。   Hereinafter, embodiments of an information processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明に係る情報処理装置の外観の一例を示す外観図である。本発明の情報処理装置100は、例えば、携帯情報端末(PDA)や、スマートフォンのように、タッチパネル機能を持つ表示部101と、ボタン102を備えている。表示部101は、液晶パネルのような表示制御部と、タッチパッドのような位置入力制御部とを組み合わせた電子部品であり、タッチパネルとも呼ばれる。   FIG. 1 is an external view showing an example of the external appearance of an information processing apparatus according to the present invention. The information processing apparatus 100 of the present invention includes a display unit 101 having a touch panel function and a button 102 like a personal digital assistant (PDA) or a smartphone, for example. The display unit 101 is an electronic component that combines a display control unit such as a liquid crystal panel and a position input control unit such as a touch pad, and is also called a touch panel.

表示部101のタッチパネルは、指先と電導膜との間での静電容量の変化をとらえて位置を検出する静電容量方式の投影型であり、複数の位置検出が可能なマルチタッチ機能を備えているマルチタッチスクリーンである。また、タッチ位置と同時に指紋情報を取得する事が可能である。なお、タッチパネルへのタッチと同時に指紋情報を取得する機能は、既知の技術であるため詳細な説明は省略する。   The touch panel of the display unit 101 is a capacitive projection type that detects a position by detecting a change in capacitance between a fingertip and a conductive film, and has a multi-touch function capable of detecting a plurality of positions. Is a multi-touch screen. In addition, fingerprint information can be acquired simultaneously with the touch position. Since the function of acquiring fingerprint information at the same time as touching the touch panel is a known technique, detailed description thereof is omitted.

ボタン102は、情報処理装置で実行されているアプリケーションプログラム(以下、単にアプリケーションと呼ぶ)を終了させるためのボタンである。なお、アプリケーショの起動は、表示部101のタッチパネル機能を用いて、画面に表示されるアプリケーションのアイコンをダブルクリック(2度続けて触る)ことにより実行される。   The button 102 is a button for ending an application program (hereinafter simply referred to as an application) being executed by the information processing apparatus. The application is started by double-clicking (touching twice) an application icon displayed on the screen using the touch panel function of the display unit 101.

情報処理装置100は、他にも通信機能等を備えていてもよいが、本発明とは直接関係がないため説明は省略する。
図2は、情報処理装置100のハードウェア構成を示す図である。
The information processing apparatus 100 may have other communication functions and the like, but will not be described because it is not directly related to the present invention.
FIG. 2 is a diagram illustrating a hardware configuration of the information processing apparatus 100.

図2に示すように、情報処理装置100では、システムバス207を介してCPU(Central Processing Unit)201、RAM(Random Access Memory)203、ROM(Read Only Memory)202、記憶装置204、入出力インタフェース205、マルチタッチスクリーン206が接続される。   As shown in FIG. 2, in the information processing apparatus 100, a central processing unit (CPU) 201, a random access memory (RAM) 203, a read only memory (ROM) 202, a storage device 204, and an input / output interface via a system bus 207. 205, a multi-touch screen 206 is connected.

CPU201は、システムバス207に接続される各デバイスやコントローラを統括的に制御する。   The CPU 201 comprehensively controls each device and controller connected to the system bus 207.

ROM202あるいは記憶装置204は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。   The ROM 202 or the storage device 204 is a control program executed by the CPU 201 such as a basic input / output system (BIOS) or an operating system (OS), a computer-readable program for realizing this information processing method, and various necessary programs. Holds data (including data table).

RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは記憶装置204からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。   The RAM 203 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program or the like necessary for executing the processing from the ROM 202 or the storage device 204 to the RAM 203 and executing the loaded program.

入出力インタフェース205は、マルチタッチスクリーン206からの入力を制御する。マルチタッチスクリーンは、複数の指でタッチされた位置を検出することが可能なタッチパネルであり、前述したように、既知の技術を利用可能である。ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができる。   The input / output interface 205 controls input from the multi-touch screen 206. The multi-touch screen is a touch panel that can detect a position touched by a plurality of fingers, and a known technique can be used as described above. Various instructions can be performed when the user presses (touches with a finger or the like) in accordance with an icon, a cursor, or a button displayed on the touch panel.

指紋検出部207は、マルチタッチスクリーン206からの情報により、タッチパネルに接触された指紋情報(指情報)から、指紋の端点、分岐点などの特徴点の位置とそれらの向きを記憶装置204に記憶する。記憶された特徴点が、入力された指紋データの特徴点がある程度一致していることにより、指紋情報を検出する。   The fingerprint detection unit 207 stores, in the storage device 204, the positions and orientations of feature points such as fingerprint end points and branch points from the fingerprint information (finger information) touched on the touch panel based on information from the multi-touch screen 206. To do. Fingerprint information is detected when the stored feature points coincide with the feature points of the input fingerprint data to some extent.

なお、記憶装置204には、図4で後述するクリップボード情報、図6で後述するクリップボード情報テーブル、および、図15で後述する指紋データが格納されており、かつ、図7で後述するクリップボード用共有メモリの領域も備えている。なお、クリップボード情報(図4)は、RAM203に一時的に保存するように構成してもよい。   The storage device 204 stores clipboard information, which will be described later with reference to FIG. 4, a clipboard information table, which will be described later with reference to FIG. 6, and fingerprint data, which will be described later with reference to FIG. It also has a memory area. The clipboard information (FIG. 4) may be configured to be temporarily stored in the RAM 203.

なお、記憶装置204は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。   The storage device 204 is a medium for permanently storing information, and the form is not limited to a storage device such as a hard disk. For example, a medium such as SSD (Solid State Drive) may be used.

図3は本発明の情報処理装置100が備える機能構成の一例を示す機能構成図である。   FIG. 3 is a functional configuration diagram illustrating an example of a functional configuration included in the information processing apparatus 100 of the present invention.

801は、入出力制御部であり、図2のマルチタッチスクリーン206と入出力インタフェース205により構成され、マルチタッチの検出機能を備えている。   Reference numeral 801 denotes an input / output control unit, which includes the multi-touch screen 206 and the input / output interface 205 in FIG. 2 and has a multi-touch detection function.

802は、入力操作識別部であり、本発明のプログラムを図2のCPU201が実行することにより実現される機能構成である。具体的には、入出力制御部801で検出された表示領域上の物理的な位置から、入力指示の内容を判断する。例えば、タッチされた部分にカーソルを移動させたり、ダブルタッチ(ダブルクリック)された場合に、その位置にあるアイコンに対応するアプリケーションを起動させたりする必要があることを判断する。また、マルチタッチの場合には、マルチタッチされた場合に、それぞれどの位置がタッチされたのかにより、後述するマルチタッチのコピー&ペースト処理が必要であるかを判断する。   Reference numeral 802 denotes an input operation identification unit, which is a functional configuration realized by the CPU 201 of FIG. 2 executing the program of the present invention. Specifically, the content of the input instruction is determined from the physical position on the display area detected by the input / output control unit 801. For example, when the cursor is moved to the touched portion or double-touched (double-clicked), it is determined that it is necessary to start an application corresponding to the icon at that position. In the case of multi-touch, it is determined whether multi-touch copy and paste processing described later is necessary depending on which position is touched when multi-touch is performed.

803は、表示処理部であり、本発明のプログラムを図2のCPU201が実行して、マルチタッチスクリーン206に情報を表示するための機能を備えている。   Reference numeral 803 denotes a display processing unit having a function for displaying information on the multi-touch screen 206 by the CPU 201 of FIG. 2 executing the program of the present invention.

804は、オブジェクト処理部であり、本発明のプログラムを図2のCPU201が実行することにより、入力操作識別部802によって判断された処理を実行する。具体的には、アプリケーションを起動させたり、文字を入力したり、データファイルを記憶装置に保存させたり、ある範囲の文字列を選択させてコピー処理したり、あるいは指定された位置に対してクリップボードに記憶されているコピー情報をペースト処理したりする。
次に図4を参照して、本発明のコピー操作処理について説明する。
Reference numeral 804 denotes an object processing unit, which executes processing determined by the input operation identification unit 802 when the CPU 201 in FIG. 2 executes the program of the present invention. Specifically, you can start an application, input characters, save a data file in a storage device, select a range of character strings to copy, or clip the specified position to the clipboard Or paste the copy information stored in.
Next, the copy operation processing of the present invention will be described with reference to FIG.

図4の左上図は、本情報処理装置100の表示部101に表示される画面を表している。たとえば、ユーザが人差し指301で文字列302をタッチすることにより選択する。すると、タッチにより選択された文字列の領域が選択状態の表示となり、編集バルーン304が表示される。   The upper left diagram of FIG. 4 represents a screen displayed on the display unit 101 of the information processing apparatus 100. For example, the user selects the character string 302 by touching it with the index finger 301. Then, the area of the character string selected by touch is displayed in a selected state, and an edit balloon 304 is displayed.

また、人差し指によるタッチにより、指紋検出部207が人差し指の指紋情報310を検出し、指紋情報310の特徴点を抽出、記憶装置204に記憶する。   The fingerprint detection unit 207 detects the fingerprint information 310 of the index finger by touching with the index finger, extracts the feature points of the fingerprint information 310, and stores them in the storage device 204.

選択状態の文字列302は、タッチされた位置の文字を含む単語が選択されるが、選択されるのは1文字であってもよい。どの単語まで選択するかは既知の技術として存在しており、本発明の主要部でないため詳細な説明は省略するが、一般的には、単語が登録されている辞書が記憶装置204に記憶されており、選択された文字の前後の文字が単語登録されているかを判断することにより文字列の長さを求めている。なお、ユーザが所望とする文字列範囲が選択されていない場合には、ユーザは選択領域の前後にある範囲選択指示部303をつまんでドラッグ操作することにより、文字列を選択する範囲を増やしたり減らしたりすることができる。   In the selected character string 302, a word including the character at the touched position is selected, but one character may be selected. The word to be selected exists as a known technique and is not a main part of the present invention, and thus a detailed description is omitted. Generally, a dictionary in which words are registered is stored in the storage device 204. The length of the character string is obtained by determining whether the characters before and after the selected character are registered as words. When the character string range desired by the user is not selected, the user can increase the range for selecting the character string by dragging the range selection instruction unit 303 before and after the selection area. It can be reduced.

編集バルーン304には、選択されている文字列をクリップボードにコピーするための「コピー」指示、クリップボードに保持されているコピー情報を選択されている位置に貼り付ける「ペースト」指示、選択されている文字列をクリップボードにコピーし、かつ編集対象の文書から削除する「カット」指示が含まれる。この「コピー」(および「カット」も)の処理を行うときに、本発明では、指紋情報毎に識別情報(クリップボード ID)を付与してクリップボードにコピー情報が更新記録される。   In the editing balloon 304, a “copy” instruction for copying the selected character string to the clipboard, a “paste” instruction for pasting the copy information held on the clipboard to the selected position, and the selection are selected. A “cut” instruction to copy the character string to the clipboard and delete it from the document to be edited is included. In the present invention, when this “copy” (and “cut”) processing is performed, identification information (clipboard ID) is assigned to each fingerprint information, and the copy information is updated and recorded on the clipboard.

具体的には、左上図の操作を行った場合には、人差し指の指紋情報310に対応する「クリップボード ID」に「1」が記録され、「コピー情報」に「対象文字列A」が記録される。   Specifically, when the operation shown in the upper left figure is performed, “1” is recorded in the “clipboard ID” corresponding to the fingerprint information 310 of the index finger, and “target character string A” is recorded in the “copy information”. The

次に、右上図について説明する。ユーザが小指305で文字列306をタッチすることにより選択する。すると、タッチされた選択された文字列の領域が選択状態となる。小指によるタッチにより、指紋検出部207が小指の指紋情報311を検出し、指紋情報311の特徴点を抽出、記憶装置204に記憶する。   Next, the upper right view will be described. The user makes a selection by touching the character string 306 with the little finger 305. Then, the touched selected character string area is selected. By the touch with the little finger, the fingerprint detection unit 207 detects the fingerprint information 311 of the little finger, extracts the feature point of the fingerprint information 311, and stores it in the storage device 204.

小指のタッチにより表示される編集バルーン307で「コピー」(および「カット」も)の処理を行うと、小指の指紋情報311に対応する識別情報(クリップボード ID)を付与してクリップボードにコピー情報が更新記録される。   When the “copy” (and “cut”) process is performed with the editing balloon 307 displayed by the touch of the little finger, the identification information (clipboard ID) corresponding to the fingerprint information 311 of the little finger is given and the copy information is stored on the clipboard. It is updated and recorded.

具体的には、右上図の操作を行った場合には、小指の指紋情報311に対応する「クリップボード ID」に「2」が記録され、「コピー情報」に「対象文字列B」が記録される。   Specifically, when the operation shown in the upper right diagram is performed, “2” is recorded in the “clipboard ID” corresponding to the fingerprint information 311 of the little finger, and “target character string B” is recorded in the “copy information”. The

このような操作処理が行われることにより、図4の下図では、クリップボード情報に、「クリップボード ID」とコピー情報とが指紋情報と対応づけられて記憶される。
次に図5を参照して、本発明のペースト操作処理について説明する。
By performing such an operation process, in the lower diagram of FIG. 4, “clipboard ID” and copy information are stored in association with fingerprint information in the clipboard information.
Next, the paste operation process of the present invention will be described with reference to FIG.

図5もまた、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが人差し指401で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン402が表示される。   FIG. 5 also shows a screen displayed on the display unit 101 of the information processing apparatus 100. First, when the user selects by touching the position where the character string is to be pasted with the index finger 401, the cursor moves to the selected position, and an edit balloon 402 is displayed.

編集バルーン402で「ペースト」指示されると、タッチされた指紋情報に対応づけられている識別情報(クリップボード ID)に対応するコピー情報がクリップボードから読みだされ、貼り付けられて表示する。   When “paste” is instructed by the editing balloon 402, copy information corresponding to identification information (clipboard ID) associated with the touched fingerprint information is read from the clipboard, pasted, and displayed.

具体的には、図5で人差し指により「ペースト」の操作を行った場合には、人差し指の指紋情報404を検出し、「クリップボード ID」が「1」に対応する「コピー情報」である「対象文字列A」が読みだされて、文字列403として挿入されて(貼り付けられて)表示される。   Specifically, when the “paste” operation is performed with the index finger in FIG. 5, the fingerprint information 404 of the index finger is detected, and the “target information” whose “clipboard ID” is “copy information” corresponding to “1” "Character string A" is read out and inserted as a character string 403 (pasted) and displayed.

図6は、本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。なお、図6の「クリップボード ID=0(Defalut)」は、指紋情報が認識されない状態(たとえば、タッチペンなど)でコピーされた場合にコピー情報を記憶する際の識別情報である。   FIG. 6 is a configuration diagram showing a clipboard information table of the information processing apparatus of the present invention. Note that “clipboard ID = 0 (Default)” in FIG. 6 is identification information for storing copy information when fingerprint information is copied in a state where the fingerprint information is not recognized (for example, a touch pen).

このクリップボード情報テーブルには、各クリップボードIDに対応して、クリップボード用共有メモリの先頭アドレスおよびクリップボード用共有メモリの使用サイズが定義されている。   In this clipboard information table, the start address of the clipboard shared memory and the use size of the clipboard shared memory are defined corresponding to each clipboard ID.

図7は、本発明のクリップボード用共有メモリの構成図である。図7のクリップボード情報テーブルに従って、クリップボード用共有メモリには図7のように各データが記憶されることになる。   FIG. 7 is a block diagram of the clipboard shared memory of the present invention. According to the clipboard information table of FIG. 7, each data is stored in the clipboard shared memory as shown in FIG.

次に、図8、9、10、11、12、13、14のフローチャートを参照しながら、本発明に係る情報処理装置の詳細な処理について説明する。   Next, detailed processing of the information processing apparatus according to the present invention will be described with reference to the flowcharts of FIGS. 8, 9, 10, 11, 12, 13 and 14.

図8は、情報処理装置の主要操作が行われたときの制御の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 8 is a flowchart illustrating an example of control when a main operation of the information processing apparatus is performed. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

図8のフローチャートは、タッチパネル上にユーザがタッチし、コピー・カットもしくはペーストする領域・位置を指定した段階で開始される処理の流れである。   The flowchart in FIG. 8 is a flow of processing started when the user touches the touch panel and the area / position to be copied / cut or pasted is designated.

まずステップS801において、情報処理装置100のCPU201は、タップ判定と指紋検出を行う。ステップS801のタップ判定処理については、図9で後述するが、要はマルチタッチスクリーン206にタッチされて所定時間を経過したかを判定する処理と、指紋情報を取得する処理である。タッチした状態で所定時間が経過することで、ユーザの操作の意思が確定するので、これをタップ(1回押し)と呼んでいる。   First, in step S801, the CPU 201 of the information processing apparatus 100 performs tap determination and fingerprint detection. The tap determination process in step S801 will be described later with reference to FIG. 9, but in short, is a process for determining whether a predetermined time has elapsed after touching the multi-touch screen 206 and a process for acquiring fingerprint information. When a predetermined time elapses in the touched state, the user's intention to operate is confirmed. This is called a tap (pressed once).

次にステップS802において、情報処理装置200のCPU201は、ユーザによりタップが確定された領域・位置に対するユーザの編集を受け付ける編集バルーンを表示する処理を行う。ステップS802のバルーン表示処理については、図11で後述するが、要は事前に指紋情報と紐付けて記憶されているコピー情報が有るか否かにより、編集バルーンの選択項目を変えて表示する処理である。   In step S <b> 802, the CPU 201 of the information processing apparatus 200 performs a process of displaying an edit balloon that accepts user edits for an area / position for which a tap has been determined by the user. The balloon display process in step S802 will be described later with reference to FIG. 11. In short, the process of displaying the edit balloon with different selection items depending on whether or not there is copy information stored in advance associated with fingerprint information. It is.

次のステップS803において、情報処理装置200のCPU201は、ステップS802でマルチタッチスクリーン206に表示された編集バルーンからユーザの選択を受け付け、受け付けたユーザの選択により条件分岐により処理を分ける。   In the next step S803, the CPU 201 of the information processing apparatus 200 accepts the user's selection from the editing balloon displayed on the multi-touch screen 206 in step S802, and divides the processing by conditional branching according to the accepted user's selection.

ステップS803においてマルチタッチスクリーン206に表示された編集バルーンの「コピー」が選択されると、ステップS804へと処理を遷移する。ステップS804のコピー処理については、図12で後述するが、要はステップS802の編集バルーン表示で指定された領域の情報を所定のバッファ領域にコピーする処理を行う。その後、一連の処理を終える。   If “copy” of the editing balloon displayed on the multi-touch screen 206 is selected in step S803, the process proceeds to step S804. The copy process in step S804 will be described later with reference to FIG. 12, but in short, the process of copying the information of the area specified by the edit balloon display in step S802 to a predetermined buffer area is performed. Then, a series of processing is finished.

また、ステップS803においてマルチタッチスクリーン206に表示された編集バルーンの「この指にコピー」が選択されると、ステップS805へと処理を遷移する。ステップS805のこの指にコピー処理については、図13で後述するが、要はステップS802の編集バルーン表示で指定された領域の情報をタッチされた指紋情報と関連付けてコピーする処理を行う。その後、一連の処理を終える。   If “copy to this finger” of the editing balloon displayed on the multi-touch screen 206 is selected in step S803, the process proceeds to step S805. The copy process for this finger in step S805 will be described later with reference to FIG. 13. In short, the process of copying the area information specified in the edit balloon display in step S802 in association with the touched fingerprint information is performed. Then, a series of processing is finished.

また、ステップS803においてマルチタッチスクリーン206に表示された編集バルーンの「ペースト」が選択されると、ステップS806へと処理を遷移する。ステップS806のペースト処理については、図14で後述するが、要はステップS802の編集バルーン表示で指定された領域・位置に記憶されているコピー情報をペーストする処理を行う。その後、一連の処理を終える。   If “paste” of the editing balloon displayed on the multi-touch screen 206 is selected in step S803, the process proceeds to step S806. The paste process in step S806 will be described later with reference to FIG. 14, but in short, a process of pasting copy information stored in the region / position designated by the edit balloon display in step S802 is performed. Then, a series of processing is finished.

次に、図9のフローチャートを参照しながら、本発明に係る情報処理装置におけるタップ判定処理の詳細について説明する。   Next, details of the tap determination process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図9は、情報処理装置におけるタップ判定処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 9 is a flowchart illustrating an example of a tap determination process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS901では、マルチタッチスクリーン206が、表示領域101中の編集領域にタッチされたか否か判断する。編集領域とは、図4および図5で説明した、画面領域からタイトル領域を除いた、編集対象の文書が表示される領域である。例えば、図4の例では、「コピー対象文字列A」「コピー対象文字列B」「コピー対象文字列C」が表示されている領域である。   First, in step S <b> 901, it is determined whether the multi-touch screen 206 has been touched on the editing area in the display area 101. The edit area is an area in which the document to be edited is displayed, excluding the title area from the screen area, described with reference to FIGS. For example, in the example of FIG. 4, “Copy target character string A”, “Copy target character string B”, and “Copy target character string C” are displayed.

編集領域にタッチされたことが検出された場合には、ステップS902では、タイマーをスタートさせる。図2のハードウェア構成図では図示省略したが、本情報処理装置は、時間を計測できるタイマーを備えている。   If it is detected that the editing area has been touched, a timer is started in step S902. Although not shown in the hardware configuration diagram of FIG. 2, the information processing apparatus includes a timer capable of measuring time.

ステップS903では、タッチされた指紋情報を保存する処理を行う。ステップS903の指紋仮保存処理については、図10で後述するが、要はタッチされた指の指紋情報を検出し、情報処理装置100のRAM203などに仮保存する処理である。   In step S903, the touched fingerprint information is stored. The fingerprint temporary storage processing in step S903 will be described later with reference to FIG. 10, but in short, it is processing for detecting fingerprint information of the touched finger and temporarily storing it in the RAM 203 of the information processing apparatus 100.

次のステップS904では、ステップS902で計測を開始したカウント値である時間が、所定時間を越えたか否かを判断する。所定時間は、例えば「0.5秒」として予め設定されて記憶装置204に保存されている。なお、この所定時間は、ユーザにより任意に設定可能にしてもよい。所定時間を越えていない場合はステップS905に処理を進め、所定時間を越えた場合にはステップS907に処理を進める。   In the next step S904, it is determined whether or not the time corresponding to the count value started in step S902 has exceeded a predetermined time. The predetermined time is preset as, for example, “0.5 seconds” and stored in the storage device 204. The predetermined time may be arbitrarily set by the user. If the predetermined time has not been exceeded, the process proceeds to step S905. If the predetermined time has been exceeded, the process proceeds to step S907.

ステップS905では、マルチタッチスクリーン206がユーザの指のタッチが離されたことを検出するか判定する。タッチが離されたことが検出された場合には、ステップS906に処理を進め、タッチが離されていない場合にはステップS904に処理を戻してタイマーのカウント値が所定時間を越えるまでループを続ける。   In step S905, it is determined whether the multi-touch screen 206 detects that the touch of the user's finger has been released. If it is detected that the touch has been released, the process proceeds to step S906. If the touch has not been released, the process returns to step S904 to continue the loop until the count value of the timer exceeds a predetermined time. .

ステップS906では、所定時間内にタッチが離さされたため、タップは未確定と決定し、タップ確定判定処理を終了する。一方、ステップS907では、タッチされた状態で所定時間が経過したため、タップを確定と決定して、タップ確定判定処理を終了する。   In step S906, since the touch is released within a predetermined time, the tap is determined to be indeterminate, and the tap determination process is terminated. On the other hand, in step S907, since the predetermined time has passed in the touched state, it is determined that the tap is determined, and the tap determination process is terminated.

次に、図10のフローチャートを参照しながら、本発明に係る情報処理装置における指紋仮保存処理の詳細について説明する。   Next, details of the temporary fingerprint storage process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図10は、情報処理装置における指紋仮保存処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 10 is a flowchart illustrating an example of a temporary fingerprint storage process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1001では、マルチタッチスクリーン206にタッチされた指の指紋情報を検出する。指紋情報の検出処理は、読み取った指紋情報から、指紋の端点、分岐点などの特徴点の位置とそれらの向きを検出する処理である。なお、指紋の線の流れをベクトルとして検出して、そのベクトル値を使った検出を行ってもよい。   First, in step S1001, fingerprint information of a finger touched on the multi-touch screen 206 is detected. The fingerprint information detection process is a process for detecting the positions and orientations of feature points such as fingerprint end points and branch points from the read fingerprint information. The flow of fingerprint lines may be detected as a vector, and detection using the vector value may be performed.

ステップS1001で検出した指紋情報を、ステップS1002において、RAM203に仮保存する。仮保存した情報は、「コピー」処理や「この指にコピー処理」の際に、記憶装置204に記憶される。   The fingerprint information detected in step S1001 is temporarily stored in the RAM 203 in step S1002. The temporarily stored information is stored in the storage device 204 at the time of “copy” processing or “copy processing with this finger”.

次に、図11のフローチャートを参照しながら、本発明に係る情報処理装置における指紋仮保存処理の詳細について説明する。   Next, details of the temporary fingerprint storage process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図11は、情報処理装置における指紋仮保存処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 11 is a flowchart illustrating an example of a temporary fingerprint storage process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1101では、登録されている指紋情報の件数により編集バルーンの選択できる表示項目を変えるため、指紋情報が何件登録されているかを取得し、件数により条件分岐を行う。指紋情報の記憶されているデータ例を図15を参照して説明する。   First, in step S1101, in order to change the display items that can be selected by the editing balloon depending on the number of registered fingerprint information, the number of registered fingerprint information is acquired, and conditional branching is performed based on the number of registered fingerprint information. An example of data stored with fingerprint information will be described with reference to FIG.

図15は、本発明に係る情報処理装置の記憶装置204に記憶されている指紋情報の一例である。   FIG. 15 is an example of fingerprint information stored in the storage device 204 of the information processing apparatus according to the present invention.

図15の1501や1502が、ユーザの指紋情報であり、この情報をクリップボードIDと関連付けて記憶している。これら指紋情報の特徴点の位置や特徴点が持つ向きなどが、ステップS1001で検出した指紋情報のそれと一致しているかにより、一致する指紋情報が有るかどうかを判断する。図11のフローチャートの説明に戻る。   Reference numerals 1501 and 1502 in FIG. 15 denote user fingerprint information, which is stored in association with the clipboard ID. It is determined whether there is matching fingerprint information depending on whether the position of the feature point of the fingerprint information, the orientation of the feature point, and the like match those of the fingerprint information detected in step S1001. Returning to the flowchart of FIG.

図11のステップS1101において、指紋情報の登録件数が0件の場合は、ステップS1102へと処理を遷移し、編集バルーンには、「コピー」のみを表示する。この処理は、情報処理装置に指紋情報が登録されていない場合は、最初の登録であり、クリップボードが空であるため、「コピー」のみ選択可能にしている処理である。なお、タッチペンの使用などを考慮する場合は、「コピー」及び「ペースト」を共に表示してもよい。   If the number of registered fingerprint information is 0 in step S1101 of FIG. 11, the process proceeds to step S1102, and only “copy” is displayed in the editing balloon. This process is the first registration when fingerprint information is not registered in the information processing apparatus, and only “copy” can be selected because the clipboard is empty. When considering the use of a touch pen or the like, both “copy” and “paste” may be displayed.

また、ステップS1101において、指紋情報の登録件数が1件の場合は、ステップS1103へと処理を遷移し、ステップS1001で検出された指紋情報が、記憶装置204内に格納されている指紋情報(図15)と一致するかを判断する。ステップS1001で検出された指紋情報が、格納されている指紋情報と一致する場合は、ステップS1104へと処理を遷移し、検出された指紋情報が、格納されている指紋情報と一致しない場合は、ステップS1105へと処理を遷移する。   If the number of registered fingerprint information is one in step S1101, the process proceeds to step S1103, and the fingerprint information detected in step S1001 is stored in the storage device 204 (see FIG. 15) It is determined whether or not it matches. If the fingerprint information detected in step S1001 matches the stored fingerprint information, the process proceeds to step S1104. If the detected fingerprint information does not match the stored fingerprint information, The process transitions to step S1105.

ステップS1104へと処理を遷移すると、検出された指紋情報が、記憶装置204内に格納されている指紋情報と一致しているので、指に対応する情報を貼り付けるのか、もしくは、該当する指に関連するバッファ領域(クリップボード)に新たな情報を記憶させるのかを選ばせるための選択肢として、「コピー」/「ペースト」の表示を編集バルーンに表示する。   When the process proceeds to step S1104, since the detected fingerprint information matches the fingerprint information stored in the storage device 204, information corresponding to the finger is pasted or the corresponding finger is applied. As an option for selecting whether to store new information in the related buffer area (clipboard), the display of “copy” / “paste” is displayed in the editing balloon.

ステップS1105へと処理を遷移すると、検出された指紋情報が、記憶装置204内に格納されている指紋情報と一致していないので、タッチされた指に依存せず、「コピー」や「ペースト」をしたいのか、新たに指紋情報を登録して「この指にコピー」したいのかをユーザに選ばせるための選択肢として、「コピー」/「この指にコピー」/「ペースト」の表示を編集バルーンに表示する。   When the process proceeds to step S1105, since the detected fingerprint information does not match the fingerprint information stored in the storage device 204, the “copy” or “paste” is not dependent on the touched finger. As an option to let the user choose whether to copy fingerprint information and “copy to this finger”, the display of “copy” / “copy to this finger” / “paste” is displayed in the edit balloon. indicate.

ステップS1104かステップS1105の処理が終わると、バルーン表示処理を終了する。   When the process of step S1104 or step S1105 ends, the balloon display process ends.

一方、ステップS1101において、指紋情報の登録件数が2件以上の場合は、ステップS1106へと処理を遷移し、ステップS1001で検出された指紋情報が、記憶装置204内に格納されている指紋情報(図15)の中の情報と一致するかを判断する。ステップS1001で検出された指紋情報が、格納されている指紋情報の中の1つと一致する場合は、ステップS1107へと処理を遷移し、検出された指紋情報が、格納されている指紋情報と一致しない場合は、ステップS1108へと処理を遷移する。   On the other hand, if the number of registered fingerprint information is two or more in step S1101, the process proceeds to step S1106, and the fingerprint information detected in step S1001 is stored in the storage device 204 as fingerprint information ( It is determined whether the information matches the information in FIG. If the fingerprint information detected in step S1001 matches one of the stored fingerprint information, the process proceeds to step S1107, and the detected fingerprint information matches the stored fingerprint information. If not, the process proceeds to step S1108.

ステップS1107へと処理を遷移すると、検出された指紋情報が、記憶装置204内に格納されている指紋情報と一致しているので、指に対応する情報を貼り付けるのか、もしくは、該当する指に関連するバッファ領域(クリップボード)に新たな情報を記憶させるのかを選ばせるための選択肢として、「この指にコピー」/「ペースト」の表示を編集バルーンに表示する。   When the process proceeds to step S1107, since the detected fingerprint information matches the fingerprint information stored in the storage device 204, information corresponding to the finger is pasted or the corresponding finger is applied. As an option for selecting whether or not to store new information in the associated buffer area (clipboard), the display of “copy to this finger” / “paste” is displayed on the editing balloon.

ステップS1108へと処理を遷移すると、検出された指紋情報が、記憶装置204内に格納されている指紋情報とは一致していないので、「ペースト」する情報を持っていない。すなわち、指紋情報に対応するコピー情報を持っていない。そのため、ステップS1108へと処理を遷移した場合は、「この指にコピー」のみを有する編集バルーンに表示する。   When the process transitions to step S1108, the detected fingerprint information does not match the fingerprint information stored in the storage device 204, and therefore does not have information to be “pasted”. That is, it does not have copy information corresponding to fingerprint information. For this reason, when the process transitions to step S1108, it is displayed on an edit balloon having only “copy to this finger”.

ステップS1107かステップS1108の処理が終わると、バルーン表示処理を終了する。   When the process of step S1107 or step S1108 ends, the balloon display process ends.

次に、図12のフローチャートを参照しながら、本発明に係る情報処理装置におけるコピー処理の詳細について説明する。   Next, details of copy processing in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図12は、情報処理装置における指紋仮保存処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 12 is a flowchart illustrating an example of a temporary fingerprint storage process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1201では、選択されているコピーする領域の情報を取得する。   First, in step S1201, information on the selected area to be copied is acquired.

次にステップS1202において、クリップボードIDが1の領域にステップS1201で取得した情報を保存する。図3の例では、308の「対象文字列A」である。   In step S1202, the information acquired in step S1201 is stored in the area where the clipboard ID is 1. In the example of FIG. 3, “target character string A” is 308.

次にステップS1203において、ステップS1001で検出された指紋情報が、記憶装置204内に格納されているクリップボードIDが1の指紋情報(たとえば、図15の1501)と一致するかを判断する。検出された指紋情報が格納されている指紋情報と一致している場合は、図12のコピー処理を抜け、検出された指紋情報が格納されている指紋情報と一致していない場合は、ステップS1204へと処理を移行する。   In step S1203, it is determined whether the fingerprint information detected in step S1001 matches the fingerprint information whose clipboard ID stored in the storage device 204 is 1 (for example, 1501 in FIG. 15). If the detected fingerprint information matches the stored fingerprint information, the copy process of FIG. 12 is skipped. If the detected fingerprint information does not match the stored fingerprint information, step S1204 is performed. The process is transferred to.

ステップS1204では、記憶装置204内に格納されているクリップボードIDが1の指紋情報(たとえば、図15の1501)を、ステップS1001で検出された指紋情報で上書き更新する。この処理により、指の指紋毎にクリップボードを持たせたくないユーザの場合でも、通常のコピー&ペーストが可能となる効果がある。また、指の指紋毎にクリップボードを持たせたいユーザは、次の異なる指での操作で、新たなクリップボード(たとえば、図15の1502)を持たせることができるという効果がある。ステップS1204の処理を終えるとコピー処理を抜ける。   In step S1204, the fingerprint information whose clipboard ID is 1 (for example, 1501 in FIG. 15) stored in the storage device 204 is overwritten and updated with the fingerprint information detected in step S1001. This process has the effect of enabling normal copy and paste even for a user who does not want to have a clipboard for each fingerprint. In addition, there is an effect that a user who wants to have a clipboard for each fingerprint of his / her finger can have a new clipboard (for example, 1502 in FIG. 15) by the operation with the next different finger. When the process of step S1204 is completed, the copy process is exited.

次に、図13のフローチャートを参照しながら、本発明に係る情報処理装置におけるこの指にコピー処理の詳細について説明する。   Next, details of the copy process for this finger in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図13は、情報処理装置における指紋仮保存処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 13 is a flowchart illustrating an example of a temporary fingerprint storage process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1301では、選択されているコピーする領域の情報を取得する。   First, in step S1301, information on the selected area to be copied is acquired.

次にステップS1302において、ステップS1001で検出された指紋情報が、記憶装置204内に格納されている指紋情報の中(たとえば、図15の1501や1502)と一致するものがあるかを判断する。検出された指紋情報が格納されている指紋情報と一致している場合は、ステップS1303へと処理を移行し、検出された指紋情報が格納されている指紋情報と一致していない場合は、ステップS1304へと処理を移行する。   Next, in step S1302, it is determined whether the fingerprint information detected in step S1001 matches the fingerprint information stored in the storage device 204 (for example, 1501 and 1502 in FIG. 15). If the detected fingerprint information matches the stored fingerprint information, the process proceeds to step S1303. If the detected fingerprint information does not match the stored fingerprint information, the process proceeds to step S1303. The process proceeds to S1304.

ステップS1303へと処理を移行すると、ステップS1302において、ステップS1001で検出された指紋情報が一致すると確認された、記憶装置204内に指紋情報に紐付けられるクリップボードIDのデータを、ステップS1301で取得したデータに上書きする。その後、この指にコピー処理を抜ける。   When the process proceeds to step S1303, in step S1302, clipboard ID data associated with the fingerprint information in the storage device 204, which is confirmed to match the fingerprint information detected in step S1001, is acquired in step S1301. Overwrite the data. Thereafter, the copy process is finished with this finger.

一方、ステップS1304へと処理を移行すると、記憶装置204内の指紋情報が空欄であるクリップボードIDのクリップボードにステップS1301で取得した情報を保存する。   On the other hand, when the process proceeds to step S1304, the information acquired in step S1301 is stored in the clipboard with the clipboard ID in which the fingerprint information in the storage device 204 is blank.

次に、ステップS1305において、ステップS1304でクリップボードに記憶した新規のクリップボードIDの指紋情報に、ステップS1001で検出された指紋情報を保存する。この処理により、指の指紋情報毎にクリップボードを割り当てることができ、ユーザはあたかも指ごとに情報を記憶しているようにコピー&ペースト処理を行うことができる。その後、この指にコピー処理を抜ける。   In step S1305, the fingerprint information detected in step S1001 is stored in the fingerprint information of the new clipboard ID stored in the clipboard in step S1304. With this process, a clipboard can be assigned for each fingerprint information of a finger, and the user can perform a copy and paste process as if the information is stored for each finger. Thereafter, the copy process is finished with this finger.

次に、図14のフローチャートを参照しながら、本発明に係る情報処理装置におけるペースト処理の詳細について説明する。   Next, details of the paste processing in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図14は、情報処理装置における指紋仮保存処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 14 is a flowchart illustrating an example of a temporary fingerprint storage process in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1401では、記憶装置204内に格納されている指紋情報の件数が1件か複数かによって処理を分ける。指紋情報が1件の場合、ステップS1402へと処理を移行し、指紋情報が複数の場合、ステップS1403へと処理を移行する。   First, in step S1401, the processing is divided depending on whether the number of fingerprint information stored in the storage device 204 is one or more. If the number of fingerprint information is one, the process proceeds to step S1402, and if there are a plurality of fingerprint information, the process proceeds to step S1403.

ステップS1402へと処理を移行すると、記憶装置204内に記憶されているコピー情報(たとえば、図4の308)等のデータを取得し、ステップS1404へと遷移する。   When the process proceeds to step S1402, data such as copy information (for example, 308 in FIG. 4) stored in the storage device 204 is acquired, and the process proceeds to step S1404.

また、ステップS1403へと処理を移行すると、記憶装置204内に格納されている指紋情報の中(たとえば、図15の1501や1502)で、ステップS1001で検出された指紋情報と一致するクリップボードIDのコピー情報(たとえば、図4の308や309)を取得する。その後、ステップS1404へと遷移する。   When the process proceeds to step S1403, the clipboard ID that matches the fingerprint information detected in step S1001 in the fingerprint information stored in the storage device 204 (for example, 1501 and 1502 in FIG. 15) is displayed. Copy information (for example, 308 and 309 in FIG. 4) is acquired. Thereafter, the process proceeds to operation S1404.

ステップS1404へと処理を遷移すると、ステップS801で指定された領域・位置に取得したコピー情報を貼り付ける。   When the processing transitions to step S1404, the acquired copy information is pasted in the area / position designated in step S801.

以上の処理により、タッチすることで指紋認証が可能なタッチパネル表示部を用いて、コピー情報を任意の指に割り当て、ペーストすべき情報を操作する指によって識別して記憶でき、ユーザーに対して、指にデータが割り当たっているというイメージを持たせることにより直感的な操作でコピー情報を読みだして貼り付けることが可能となる。   Through the above processing, using a touch panel display unit that can perform fingerprint authentication by touching, copy information can be assigned to any finger, and information to be pasted can be identified and stored by operating the finger. By giving the image that the data is assigned to the finger, it is possible to read and paste the copy information by an intuitive operation.

また、他の実施例として、コピー&ペースト以外にも複数個所同時タッチ操作により、操作画面を切り替えることなく、タッチされている指に割り当てられている情報の入れ替え、移動、削除などの操作を行うことも可能である。   As another embodiment, in addition to copy and paste, operations such as replacement, movement, and deletion of information assigned to a touched finger can be performed without switching the operation screen by simultaneously touching multiple locations. It is also possible.

更に、情報の入れ替え、移動に関しては、書式つきのコピー情報から書式情報のみを移動させることも可能であり、それぞれの指にコピー情報と書式情報を別々に保存するという仕組みも実現できる。   Furthermore, regarding the exchange and movement of information, it is also possible to move only the format information from the copy information with the format, and a mechanism for storing the copy information and the format information separately for each finger can be realized.

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。   It should be noted that the configuration and contents of the various data described above are not limited to this, and it goes without saying that the various data and configurations are configured according to the application and purpose.

また、本発明におけるプログラムは、図8〜図14に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図8〜図14の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図8〜図14の各装置の処理方法ごとのプログラムであってもよい。   The program according to the present invention is a program that allows a computer to execute the processing method of the flowcharts shown in FIGS. 8 to 14, and the storage medium according to the present invention is a program that allows the computer to execute the processing method of FIGS. Is remembered. The program in the present invention may be a program for each processing method of each device in FIGS.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing the reading.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。   In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

100 情報処理装置
801 入出力制御部
802 入力操作識別部
803 表示処理部
804 オブジェクト処理部
DESCRIPTION OF SYMBOLS 100 Information processing apparatus 801 Input / output control part 802 Input operation identification part 803 Display processing part 804 Object processing part

Claims (6)

タッチパネルに接触する指情報を取得する指情報取得手段を有する表示部と、前記指情報取得手段で取得された指情報を記憶する指情報記憶手段とを搭載した情報処理装置であって、
前記表示部に接触する指から取得される指情報と、前記指情報記憶手段により記憶された指情報と比較し、接触する指を特定する指特定手段と、
第1の所定の操作により、コピーする情報であるコピー情報と、前記指情報取得手段から取得された指情報と、を紐付けて記憶する情報記憶手段と、
前記指特定手段で特定される指により、第2の所定の操作が実行されると、該指特定手段で特定される指に紐付けられたコピー情報を出力する情報出力手段と、
を有することを特徴とする情報処理装置。
An information processing apparatus equipped with a display unit having finger information acquisition means for acquiring finger information in contact with the touch panel, and finger information storage means for storing finger information acquired by the finger information acquisition means,
Finger information acquired from a finger that comes into contact with the display unit and finger information stored in the finger information storage unit, and a finger specifying unit that specifies a finger that makes contact;
Information storage means for storing copy information, which is information to be copied, and finger information acquired from the finger information acquisition means in association with a first predetermined operation;
An information output means for outputting copy information associated with the finger specified by the finger specifying means when a second predetermined operation is executed by the finger specified by the finger specifying means;
An information processing apparatus comprising:
前記指情報は指紋情報であり、
前記指情報取得手段は、前記指紋情報を取得し、
前記指情報記憶手段は、前記指紋情報の特徴を記憶するものであり、
前記指特定手段は、指情報取得手段により取得された指紋情報の特徴と、前記指情報記憶手段により記憶されている指紋情報の特徴とが一致することにより、接触する指を特定すること
を特徴とする請求項1に記載の情報処理装置。
The finger information is fingerprint information;
The finger information acquisition means acquires the fingerprint information,
The finger information storage means stores the characteristics of the fingerprint information,
The finger specifying means specifies a finger that touches when the characteristics of the fingerprint information acquired by the finger information acquisition means match the characteristics of the fingerprint information stored by the finger information storage means. The information processing apparatus according to claim 1.
前記情報出力手段は、
前記指情報記憶手段により記憶されている指情報の数が0もしくは1の場合、前記指情報によらず、前記第1の所定の操作により、コピー情報を記憶し、前記第2の所定の操作により、コピー情報を出力し、
前記指情報記憶手段により記憶されている指情報の数が複数の場合、前記第1の所定の操作により、前記指情報に紐付けられたコピー情報を記憶し、前記第2の所定の操作により、コピー情報を出力すること
を特徴とする請求項1または2に記載の情報処理装置。
The information output means includes
When the number of finger information stored by the finger information storage means is 0 or 1, copy information is stored by the first predetermined operation regardless of the finger information, and the second predetermined operation is performed. To output copy information,
When there are a plurality of finger information stored by the finger information storage means, the first predetermined operation stores the copy information linked to the finger information, and the second predetermined operation The information processing apparatus according to claim 1, wherein the information processing apparatus outputs copy information.
前記第1の所定の操作とは、タッチ位置の位置情報に従って、記憶する情報を識別する識別情報が対応づけられた指情報により、前記コピー情報として検出し、コピー指示がなされる操作であり、
前記第2の所定の操作とは、前記コピー情報を出力する位置で前記指情報によりタッチされたことを検出し、出力指示がなされる操作であることを特徴とする請求項1乃至3に記載の情報処理装置。
The first predetermined operation is an operation in which copy information is detected as finger information associated with identification information for identifying information to be stored in accordance with position information of a touch position, and a copy instruction is issued.
The second predetermined operation is an operation in which an output instruction is given by detecting that the finger information is touched at a position where the copy information is output. Information processing device.
タッチパネルに接触する指情報を取得する指情報取得手段を有する表示部と、前記指情報取得手段で取得された指情報を記憶する指情報記憶手段とを搭載した情報処理装置における情報処理方法であって、
前記表示部に接触する指から取得される指情報と、前記指情報記憶手段により記憶された指情報と比較し、接触する指を特定する指特定ステップと、
第1の所定の操作により、コピーする情報であるコピー情報と、前記指情報取得手段から取得された指情報と、を紐付けて記憶する情報登録ステップと、
前記指特定ステップで特定される指により、第2の所定の操作が実行されると、該指特定ステップで特定される指に紐付けられたコピー情報を出力する情報出力ステップと、
を有することを特徴とする情報処理方法。
An information processing method in an information processing apparatus equipped with a display unit having finger information acquisition means for acquiring finger information in contact with a touch panel and finger information storage means for storing finger information acquired by the finger information acquisition means. And
A finger identifying step for comparing the finger information acquired from the finger in contact with the display unit with the finger information stored by the finger information storage means, and identifying the finger in contact;
An information registration step of storing the copy information, which is information to be copied, and the finger information acquired from the finger information acquisition means in association with each other by a first predetermined operation;
An information output step of outputting copy information associated with the finger specified in the finger specifying step when a second predetermined operation is executed by the finger specified in the finger specifying step;
An information processing method characterized by comprising:
タッチパネルに接触する指情報を取得する指情報取得手段を有する表示部と、前記指情報取得手段で取得された指情報を記憶する指情報記憶手段とを搭載した情報処理装置に於いて実行可能なプログラムであって、
前記情報処理装置を、
前記表示部に接触する指から取得される指情報と、前記指情報記憶手段により記憶された指情報と比較し、接触する指を特定する指特定手段と、
第1の所定の操作により、コピーする情報であるコピー情報と、前記指情報取得手段から取得された指情報と、を紐付けて記憶する情報記憶手段と、
前記指特定手段で特定される指により、第2の所定の操作が実行されると、該指特定手段で特定される指に紐付けられたコピー情報を出力する情報出力手段ととして機能させることを特徴とするプログラム。
Executable in an information processing apparatus equipped with a display unit having finger information acquisition means for acquiring finger information in contact with the touch panel and finger information storage means for storing finger information acquired by the finger information acquisition means A program,
The information processing apparatus;
Finger information acquired from a finger that comes into contact with the display unit and finger information stored in the finger information storage unit, and a finger specifying unit that specifies a finger that makes contact;
Information storage means for storing copy information, which is information to be copied, and finger information acquired from the finger information acquisition means in association with a first predetermined operation;
When a second predetermined operation is executed by the finger specified by the finger specifying means, the information specifying means functions as an information output means for outputting copy information associated with the finger specified by the finger specifying means. A program characterized by
JP2016130899A 2016-06-30 2016-06-30 Information processing apparatus, information processing method, and program therefor Pending JP2018005521A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016130899A JP2018005521A (en) 2016-06-30 2016-06-30 Information processing apparatus, information processing method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130899A JP2018005521A (en) 2016-06-30 2016-06-30 Information processing apparatus, information processing method, and program therefor

Publications (1)

Publication Number Publication Date
JP2018005521A true JP2018005521A (en) 2018-01-11

Family

ID=60946382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130899A Pending JP2018005521A (en) 2016-06-30 2016-06-30 Information processing apparatus, information processing method, and program therefor

Country Status (1)

Country Link
JP (1) JP2018005521A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159166A1 (en) * 2018-02-13 2019-08-22 Ronen Shilo Selecting data items using biometric features
CN110851047A (en) * 2018-08-21 2020-02-28 西安中兴新软件有限责任公司 Information processing method and device and computer storage medium
JP2020115298A (en) * 2019-01-18 2020-07-30 三菱電機株式会社 Display controller and information display system and display control method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0964342A2 (en) * 1998-06-10 1999-12-15 Nec Corporation Data transfer system and data transfer method and its data transfer terminal
JP2012098844A (en) * 2010-10-29 2012-05-24 Canon Marketing Japan Inc Information processing device and method, and program for the same
JP2013250933A (en) * 2012-06-04 2013-12-12 Canon Inc Information processor and control method thereof
JP2016091355A (en) * 2014-11-06 2016-05-23 セイコーエプソン株式会社 Display device, projector, and display control method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0964342A2 (en) * 1998-06-10 1999-12-15 Nec Corporation Data transfer system and data transfer method and its data transfer terminal
JPH11353281A (en) * 1998-06-10 1999-12-24 Nec Corp Data transfer system and method and data transfer terminal
JP2012098844A (en) * 2010-10-29 2012-05-24 Canon Marketing Japan Inc Information processing device and method, and program for the same
JP2013250933A (en) * 2012-06-04 2013-12-12 Canon Inc Information processor and control method thereof
JP2016091355A (en) * 2014-11-06 2016-05-23 セイコーエプソン株式会社 Display device, projector, and display control method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159166A1 (en) * 2018-02-13 2019-08-22 Ronen Shilo Selecting data items using biometric features
CN110851047A (en) * 2018-08-21 2020-02-28 西安中兴新软件有限责任公司 Information processing method and device and computer storage medium
JP2020115298A (en) * 2019-01-18 2020-07-30 三菱電機株式会社 Display controller and information display system and display control method and program
JP7213696B2 (en) 2019-01-18 2023-01-27 三菱電機株式会社 Display control device, information display system, display control method and program

Similar Documents

Publication Publication Date Title
JP5603945B2 (en) Calculation system using visual clipboard
US10168864B2 (en) Gesture menu
JP5229750B2 (en) Information processing apparatus, information processing method, and program thereof
US20090125848A1 (en) Touch surface-sensitive edit system
US20130080979A1 (en) Explicit touch selection and cursor placement
US20110283212A1 (en) User Interface
US20120144293A1 (en) Display apparatus and method of providing user interface thereof
JP2012524942A (en) Media timeline interaction
JP2009277193A (en) Content control apparatus, content control method, program and recording medium
US20110138316A1 (en) Method for providing function of writing text and function of clipping and electronic apparatus applying the same
US20120306749A1 (en) Transparent user interface layer
US20120159375A1 (en) Contextual tabs and associated functionality galleries
WO2013039023A1 (en) Device and method for processing write-in information of electronic sticky note
CN105426049B (en) A kind of delet method and terminal
JP2018005521A (en) Information processing apparatus, information processing method, and program therefor
US20150363069A1 (en) Display control
US20150338945A1 (en) Information processing device and information updating program
US11113458B2 (en) Concurrently supporting both document-based and object-based undo operations
JP6131004B2 (en) Object display method, program, and apparatus
JP6398706B2 (en) Input method, input device, and program
KR101355846B1 (en) Method for editting contents on e-book
JP6209868B2 (en) Information terminal, information processing program, information processing system, and information processing method
EP2827299A2 (en) Electronic device and image data displaying method
US20150338941A1 (en) Information processing device and information input control program
JP5621866B2 (en) Information processing apparatus, information processing method, and program thereof

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170719

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201208