JP2014186374A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2014186374A
JP2014186374A JP2013058982A JP2013058982A JP2014186374A JP 2014186374 A JP2014186374 A JP 2014186374A JP 2013058982 A JP2013058982 A JP 2013058982A JP 2013058982 A JP2013058982 A JP 2013058982A JP 2014186374 A JP2014186374 A JP 2014186374A
Authority
JP
Japan
Prior art keywords
information
display
target information
keyword
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013058982A
Other languages
English (en)
Other versions
JP6115221B2 (ja
Inventor
Kunihiko Isomura
邦彦 磯村
tatsuji Ichikawa
達司 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013058982A priority Critical patent/JP6115221B2/ja
Priority to US14/217,958 priority patent/US9317145B2/en
Priority to CN201410200259.0A priority patent/CN104063171B/zh
Publication of JP2014186374A publication Critical patent/JP2014186374A/ja
Priority to JP2017053949A priority patent/JP6562020B2/ja
Application granted granted Critical
Publication of JP6115221B2 publication Critical patent/JP6115221B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Abstract

【課題】例えばプレゼンにおいて注目された情報を、その後のプレゼンの為の資料作りに役立つような形態にして記録することが可能な情報処理装置を提供する。
【解決手段】タッチパネル式入力装置13を備えた表示装置12で、プレゼン画面を表示させ、当該画面上でプレゼンする側(店員)がタッチ操作したり拡大操作したり、プレゼンされる側(お客様)がペンタッチ操作すると、タッチ操作、ペンタッチ操作については、タッチ位置の座標に対応した一定範囲の領域の画像から文字認識されたキーワードが抽出され、拡大操作については、拡大領域の画像から文字認識されたキーワードが抽出される。そして、前記プレゼンする側の操作領域に応じて抽出されたキーワードと前記プレゼンされる側の操作領域に応じて抽出されたキーワードとは、それぞれお客様キーワード領域と店員キーワード領域とを有するキーワード記録フォームに分類されて記憶される。
【選択図】 図1

Description

本発明は、情報処理装置、情報処理方法、およびその制御プログラムに関する。
従来、商品説明などのプレゼンテーション(以下、プレゼンと称す)の場において、そのプレゼンに使用した資料の中で実際に何処を主要にプレゼンしたかやクライアントが何処に注目したか等の情報は、プレゼンをした者がそのときの状況を解析し記録していた。
プレゼンテーションなどで要点になった内容を簡単に参加者などが確認できるものとして、プロジェクタによってスクリーンに表示された資料に対し指されたポインタおよびその位置を検知し、検知されたポインタの位置を選択するための選択肢をタッチパネルに表示させる。そして、このタッチパネルにおいて選択肢が選択される毎に当該選択肢に係るポインタの位置に対応した資料をタッチパネルに表示させる画像処理装置が考えられている(例えば、特許文献1参照。)。
データ検索装置であって、表示部に表示されたオブジェクトを当該オブジェクトの表示位置の情報と関連付けて保持しておくことで、この後、タッチパネルにおいてユーザが検索領域をタッチして描画すると、この検索領域の表示位置と関連付けられたオブジェクトを検索して表示部に表示させるものがある(例えば、特許文献2参照。)。
特開2010−261989号公報 特開2012−008917号公報
従来、何らかの情報が表示された画面を対象とし、ユーザ操作に応じて指定された画面上の位置とその位置に表示されていた情報の内容とを関連付けて記憶することで、その後、ユーザ操作に応じた画面上の位置に対応した内容の情報を表示させることが考えられている。
しかしながら、このような従来の技術では、過去に表示させた情報の内容のうち、ユーザが注目した内容の情報が表示されていた位置に基づいて、その注目した内容の情報を単にそのまま再表示させるだけである。
このため、過去に表示された情報の中で注目された内容が何であっかの情報を知ることができない。
本発明は、このような課題に鑑みなされたもので、過去に表示された表示情報において注目された対象を記録し、表示することが可能になる情報処理装置、情報処理方法、およびその制御プログラムを提供することを目的とする。
本発明に係る情報処理装置は、タッチパネルを備えた表示部と、この表示部に表示させるための表示情報を記憶する表示情報記憶手段と、この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段と、この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段と、このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段と、この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段と、この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段と、前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段と、を備えたことを特徴としている。
本発明に係る情報処理方法は、タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するための情報処理方法であって、前記表示部に表示させるための表示情報を表示情報メモリに記憶させること、前記表示情報メモリに記憶された表示情報を前記表示部に表示させること、前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得すること、前記取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定すること、前記設定された範囲の表示情報から対象情報を抽出すること、前記抽出された対象情報を対象情報メモリに記憶させること、前記表示情報の表示を終了した後に、前記対象情報メモリに記憶された対象情報を前記表示部に表示させること、を含むことを特徴としている。
本発明に係るプログラムは、タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、前記表示部に表示させるための表示情報をメモリに記憶させる表示情報記憶制御手段、この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段、この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段、このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段、この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段、この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段、前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段、として機能させることを特徴としている。
本発明によれば、過去に表示された表示情報において注目された対象を記録し、表示することが可能になる。
本発明の情報処理装置の実施形態に係るキーワード抽出装置10の構成を示す機能ブロック図。 前記キーワード抽出装置10のプレゼン資料記憶部14に記憶されるプレゼン画面14gの一例を示す図。 前記キーワード抽出装置10の操作情報記憶部15に記憶されるユーザ操作情報を示す図。 前記キーワード抽出装置10のタッチ操作領域データ記憶部16に記憶されるタッチ操作領域データを示す図。 前記キーワード抽出装置10のキーワードデータ記憶部19に記憶されるキーワードデータを示す図。 前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その1)を示すフローチャート。 前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その2)を示すフローチャート。 前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その3)を示すフローチャート。 前記キーワード抽出装置10のキーワード抽出処理に伴うプレゼン画面14gの具体的表示動作を示す図であり、同図(A)は表示装置12に表示されたプレゼン画面14g上での指によるタッチ操作位置T1〜T3とペンによるタッチ操作位置P1と拡大操作領域Z1とを示す図、同図(B)は前記拡大操作領域Z1の拡大表示画面14gZを示す図。 前記キーワード抽出装置10のキーワード抽出処理に伴う図9におけるプレゼン画面14g上での各タッチ操作情報の具体例を示す図。 前記キーワード抽出装置10のキーワード抽出処理に伴い図10における各タッチ操作情報に対応して作成された各タッチ操作領域情報と当該各領域が重なった場合の拡張領域情報との具体例を示す図。 前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上でのタッチ操作領域16Tnに対応して抽出されたタッチ領域画像GTの具体例を示す図。 前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上での拡大操作領域16Znに対応して抽出された拡大領域画像GZの具体例を示す図。 前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上の各操作領域から抽出されてキーワードデータ記憶部19に登録された各キーワードの具体例を示す図。 前記キーワード抽出装置10のキーワード抽出処理によりキーワードデータ記憶部19に登録されたキーワードを編集して記録するためのキーワード記録処理を示すフローチャート。 前記キーワード抽出装置10のキーワード記録処理において使用されるキーワード記録フォームFkを示す図。 前記キーワード抽出装置10のキーワード記録処理により記録されたキーワード記録フォームFkに基づき新たなプレゼン資料を作成するためのプレゼン資料作成処理を示すフローチャート。 前記キーワード抽出装置10のプレゼン資料作成処理において使用されるプレゼン資料作成フォームFpを示す図。 前記キーワード抽出装置10の他の実施形態に伴うプレゼン画面14gの表示動作を示す図。
以下図面により本発明の実施の形態について説明する。
図1は、本発明の情報処理装置の実施形態に係るキーワード抽出装置10の構成を示す機能ブロック図である。
このキーワード抽出装置10は、以下に説明するタブレット型のPDA、PC、あるいはユーザによる画面上の指定位置を検出可能なプロジェクタシステム等の情報機器により実現される。
本実施形態のキーワード抽出装置10は、タブレット型のPDAにより構成され、このキーワード抽出装置10には、コンピュータ(CPU)からなる全体制御部11、タッチ領域制御部20、ペン領域制御部21、拡大領域制御部22、文字認識制御部23が備えられる。
前記各制御部11,20,21,22,23は、図示しないハードディスクやROMなどのメモリに記憶された装置制御プログラムPRに従い各部の動作を制御するもので、当該装置制御プログラムPRは、例えばバックライト付きカラー液晶表示装置12の画面上に重ねて設けた透明タッチパネルの入力装置13からの入力信号に応じて起動される。
入力装置13は、第1のタッチパネルとしての電磁誘導方式タッチパネルと、第2のタッチパネルとしての静電容量方式タッチパネルと、が表示部12の表示画面上に重畳されて形成された2層式のタッチパネルである。
電磁誘導方式タッチパネルは、電磁誘導方式により、磁界を発生する専用ペンによる表示部12の表示画面上の操作を検出する。
静電容量方式タッチパネルは、静電容量方式により指等による表示部14の表示画面上の操作を検出する。
前記装置制御プログラムPRとしては、装置全体を制御するシステムプログラムの他に、表示装置12に表示されたプレゼン画面(画像)上での指によるタッチ操作、ペンによるタッチ操作、拡大のタッチ操作に応じて指定された領域からキーワードを抽出するためのキーワード抽出処理プログラムPR1、前記抽出されたキーワードを所定のキーワード記録フォームFkに編集して記録するためのキーワード記録処理プログラムPR2、前記記録されたキーワードに基づいて新たなプレゼン資料を作成するためのプレゼン資料作成処理プログラムPR3等が記憶される。
そして、このキーワード抽出装置10には、図示しないハードディスクやRAMなどのメモリに記憶領域が確保されたプレゼン資料記憶部14、操作情報記憶部15、タッチ操作領域データ記憶部16、ペン操作領域データ記憶部17、拡大操作領域データ記憶部18、キーワードデータ記憶部19が備えられる。
前記プレゼン資料記憶部14には、予め作成された、あるいは前記プレゼン資料作成処理プログラムPR3に従い作成されたプレゼン資料の画面(プレゼン画面)14gが記憶される。
図2は、前記キーワード抽出装置10のプレゼン資料記憶部14に記憶されるプレゼン画面14gの一例を示す図である。
前記操作情報記憶部15には、前記入力装置(タッチパネル)13におけるユーザのタッチ操作に応じたプレゼン画面14g上での位置や領域の情報が全体制御部11による制御に従い記憶される。
図3は、前記キーワード抽出装置10の操作情報記憶部15に記憶されるユーザ操作情報を示す図である。
この操作情報記憶部15には、タッチ操作情報アドレス15Tと、拡大操作情報アドレス15Zと、ペン操作情報アドレス15Pとが確保される。
前記タッチ操作情報アドレス15Tには、前記プレゼン画面14g上で、ユーザが指でタッチ操作したタッチ位置1,2,…の座標(X,Y)15T1,15T2,…が記憶される。また、前記拡大操作情報アドレス15Zには、同プレゼン画面14g上で、ユーザが指でマルチタッチ操作して拡大した拡大領域1,2,…の座標(X,Y,SX,SY)15Z1,15Z2,…が記憶される。また、前記ペン操作情報アドレス15Pには、同プレゼン画面14g上で、ユーザがペンでタッチ操作したペンタッチ位置1,2,…の座標(X,Y)15P1,15P2,…が記憶される。
入力装置(タッチパネル)13において、指によるタッチ操作は、静電容量方式タッチパネルにより検出し、ペンによるタッチ操作は、電磁誘導方式タッチパネルにより検出する。
なお、入力装置(タッチパネル)13が静電容量方式タッチパネルの一層の場合、指によるタッチ操作の検出とペンによるタッチ操作の検出を、タッチ位置の中心(X,Y)が閾値以上に広がりを持って検出されるか、そうでないか(ピンポイントで検出されるか)により判断してもよい。
図4は、前記キーワード抽出装置10のタッチ操作領域データ記憶部16に記憶されるタッチ操作領域データを示す図である。
このタッチ操作領域データ記憶部16には、前記全体制御部11およびタッチ領域制御部20による制御に従い前記ユーザが指でタッチ操作した位置1,2,…の座標(X,Y)15T1,15T2,…に対応させて予め設定された矩形サイズの領域1,2,…を示す座標(X,Y,SX,SY)16T1,16T2,…が記憶される。
前記ペン操作領域データ記憶部17には、前記全体制御部11およびペン領域制御部21による制御に従い前記ユーザがペンでタッチ操作した位置1,2,…の座標(X,Y)15P1,15P2,…に対応させて予め設定された矩形サイズの領域1,2,…を示す座標(X,Y,SX,SY)…が、前記タッチ操作領域データ(16)と同様に記憶される。
前記拡大操作領域データ記憶部18には、前記全体制御部11および拡大領域制御部22による制御に従い前記ユーザがマルチタッチ操作して拡大した拡大領域1,2,…の座標(X,Y,SX,SY)15Z1,15Z2,…が、前記拡大操作情報アドレス15Z(図3参照)に記憶された内容のまま転送されて記憶される。
前記キーワードデータ記憶部19には、前記タッチ操作領域データ記憶部16に記憶されたタッチ操作の領域1,2,…の座標(X,Y,SX,SY)16T1,16T2,…、あるいは前記ペン操作領域データ記憶部17に記憶されたペンタッチ操作の領域1,2,…の座標(X,Y,SX,SY)…、あるいは前記拡大操作領域データ記憶部18に記憶された拡大領域1,2,…の座標(X,Y,SX,SY)15Z1,15Z2,…に応じて、前記プレゼン画面14gから切り出された画像内の文字が文字認識制御部23による制御に従い文字認識され、当該文字認識された文字列がキーワードとして記憶される。
この際、本実施形態では、表示装置12に表示されたプレゼン画面14gを指でタッチ操作したり拡大操作したりするユーザをプレゼンする側のユーザ(例えば「店員」)とし、ペンでタッチ操作するユーザをプレゼンされる側のユーザ(例えば「お客様」)として仮定する。
このため、前記キーワードデータ記憶部19では、例えば図5に示すように、前記指によるタッチ操作の領域1,2,…の座標(X,Y,SX,SY)16T1,16T2,…に応じて前記プレゼン画面14gから切り出された画像の文字認識結果、および前記拡大領域1,2,…の座標(X,Y,SX,SY)15Z1,15Z2,…に応じて前記プレゼン画面14gから切り出された画像の文字認識結果を、プレゼンする側(店員)のキーワード19S1,19S2,…として記憶し、また、前記ペンによるタッチ操作の領域1,2,…の座標(X,Y,SX,SY)に応じて前記プレゼン画面14gから切り出された画像の文字認識結果を、プレゼンされる側(お客様)のキーワード19C1,19C2,…として記憶する。
図5は、前記キーワード抽出装置10のキーワードデータ記憶部19に記憶されるキーワードデータを示す図である。
このように構成されたキーワード抽出装置10は、各制御部(CPU)11,20,21,22,23が前記各プログラムPR1,PR2,PR3に記述された命令に従い各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
次に、前記構成によるキーワード抽出装置10の動作について説明する。
(キーワード抽出機能)
図6は、前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その1)を示すフローチャートである。
図7は、前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その2)を示すフローチャートである。
図8は、前記キーワード抽出装置10のキーワード抽出処理プログラムPR1に従い実行されるキーワード抽出処理(その3)を示すフローチャートである。
例えば、プレゼン側のユーザによる入力装置(タッチパネル)13のタッチ操作に応じて、プレゼンテーションの動作モードに設定されると、操作情報記録処理(キーワード抽出処理)が開始される(ステップS1)。
ユーザ操作に応じて、プレゼン資料記憶部14に記憶されている所望のプレゼン画面14gが選択されると、選択されたプレゼン画面14gは表示装置13に表示される(ステップS2)。
この表示装置13に表示されたプレゼン画面14gにおいて、ユーザにより入力装置13がタッチ操作された際に、指によるタッチ操作であると判断されると(ステップS4(タッチ))、当該タッチ操作の判断毎に、そのタッチ位置の座標(X,Y)15T1,15T2,…が操作情報記憶部15のタッチ操作情報アドレス15Tに記録される(ステップS5T)。
また、ペンによるタッチ操作であると判断されると(ステップS4(ペン))、当該タッチ操作の判断毎に、そのタッチ位置の座標(X,Y)15P1,15P2,…が操作情記憶部15のペン操作情報アドレス15Pに記録される(ステップS5P)。
また、マルチタッチによる拡大操作であると判断されると(ステップS4(拡大))、当該拡大操作の判断毎に、その拡大領域の座標(X,Y,SX,SY)15Z1,15Z2,…が操作情報記憶部15の拡大操作情報アドレス15Zに記録される(ステップS5Z)。
このように、表示装置12に表示されたプレゼン画面14g上での入力装置(タッチパネル)13によるタッチ操作に応じて、プレゼンする側である指でタッチ操作された各座標(X,Y)15T1,15T2,…と拡大操作された領域の各座標(X,Y,SX,SY)15Z1,15Z2,…とがそれぞれ操作情報記憶部15のタッチ操作情報アドレス15Tと拡大操作情報アドレス15Zとに記録され、また、プレゼンされる側であるペンでタッチ操作された各座標(X,Y)15P1,15P2,…が同操作情報記憶部15のペン操作情報アドレス15Pに記録されて行く。
この後、当該プレゼンを終了する操作が為されたと判断されると(ステップS3(Yes))、前記操作情報記憶部15のタッチ操作情報アドレス15Tに指のタッチ操作情報が記録されているか否か判断される(ステップS6)。
ここで、前記操作情報記憶部15のタッチ操作情報アドレス15Tに指のタッチ操作情報が記録されていると判断されると(ステップS6(Yes))、当該指のタッチ操作情報である各座標(X,Y)15T1,15T2,…が取得される(ステップS7)。
そして、前記タッチ操作情報アドレス15Tから取得された各座標(X,Y)15T1,15T2,…毎に、当該座標(X,Y)からX方向およびY方向共に±50ドットの矩形サイズにより囲まれる領域が、タッチ操作の領域1,2,…を示す座標(X,Y,SX,SY)16T1,16T2,…として作成され、タッチ操作領域データ記憶部16に記憶される(ステップS8〜S11)。
この際、前記タッチ操作領域データ記憶部16に既に記憶された同じプレゼン画面14g上でのタッチ操作の領域(16Tm)に対して、今回作成されたタッチ操作の領域(16Tn)との間に重なる領域があるか否か判断される(ステップS9)。
そして、重なる領域がないと判断された場合には(ステップS9(No))、前記今回作成されたタッチ操作の領域1,2,…の座標(X,Y,SX,SY)16Tnが前記タッチ操作領域データ記憶部16に追加で記憶される(ステップS10)。
一方、重なる領域があると判断された場合には(ステップS9(Yes))、当該重なる領域があると判断され既に記憶されているタッチ操作の領域(16Tm)に、前記今回作成されたタッチ操作の領域(16Tn)を加えた拡張領域の座標(16Tm+Tn)が前記タッチ操作領域データ記憶部16に更新されて記憶される(ステップS11)。
そして、前記操作情報記憶部15のタッチ操作情報アドレス15Tに次のタッチ操作情報(15Tn)が記録されていると判断される場合は、前記同様のタッチ操作の領域情報(16Tn)としての作成、記憶処理が繰り返される(ステップS6〜S11)。
すると次に、前記操作情報記憶部15のペン操作情報アドレス15Pにペンのタッチ操作情報が記録されているか否か判断される(ステップS12)。
ここで、前記操作情報記憶部15のペン操作情報アドレス15Pにペンのタッチ操作情報が記録されていると判断されると(ステップS12(Yes))、当該ペンのタッチ操作情報である各座標(X,Y)15P1,15P2,…が取得される(ステップS13)。
そして、前記ペン操作情報アドレス15Pから取得された各座標(X,Y)15P1,15P2,…毎に、当該座標(X,Y)からX方向およびY方向共に±50ドットの矩形サイズにより囲まれる領域が、ペン操作の領域1,2,…を示す座標(X,Y,SX,SY),…として作成され、ペン操作領域データ記憶部17に記憶される(ステップS14〜S17)。
この際、前記ペン操作領域データ記憶部17に既に記憶された同じプレゼン画面14g上でのペン操作の領域に対して、今回作成されたペン操作の領域との間に重なる領域があるか否か判断される(ステップS15)。
そして、重なる領域がないと判断された場合には(ステップS15(No))、前記今回作成されたペン操作の領域1,2,…の座標(X,Y,SX,SY)が前記ペン操作領域データ記憶部17に追加で記憶される(ステップS16)。
一方、重なる領域があると判断された場合には(ステップS15(Yes))、当該重なる領域があると判断され既に記憶されているペン操作の領域に、前記今回作成されたペン操作の領域を加えた拡張領域の座標が前記ペン操作領域データ記憶部17に更新されて記憶される(ステップS17)。
そして、前記操作情報記憶部15のペン操作情報アドレス15Pに次のペン操作情報が記録されていると判断される場合は、前記同様のペン操作の領域情報としての作成、記憶処理が繰り返される(ステップS12〜S17)。
すると次に、前記タッチ操作領域データ記憶部16にタッチ操作の領域情報が記憶されているか否か判断される(ステップS18)。
ここで、前記タッチ操作領域データ記憶部16にタッチ操作の領域情報が記録されていると判断されると(ステップS18(Yes))、当該タッチ操作の領域情報である各座標(X,Y,SX,SY)16T1,16T2,…が取得される(ステップS19)。
すると、前記取得されたタッチ操作の領域の各座標(X,Y,SX,SY)16T1,16T2,…毎に、当該領域の座標(X,Y,SX,SY)に対応して前記プレゼン画面14gから切り出された画像が、文字認識制御部23により文字認識される(ステップS20)。
そして、前記文字認識された文字列がプレゼンする側のキーワード19S1,19S2,…としてキーワードデータ記憶部19(図5参照)に登録される(ステップS21)。
また次に、前記ペン操作領域データ記憶部17にペン操作の領域情報が記憶されているか否か判断される(ステップS22)。
ここで、前記ペン操作領域データ記憶部17にペン操作の領域情報が記録されていると判断されると(ステップS22(Yes))、当該ペン操作の領域情報である各座標(X,Y,SX,SY),…が取得される(ステップS23)。
すると、前記取得されたペン操作の領域の各座標(X,Y,SX,SY),…毎に、当該領域の座標(X,Y,SX,SY)に対応して前記プレゼン画面14gから切り出された画像が、文字認識制御部23により文字認識される(ステップS24)。
そして、前記文字認識された文字列がプレゼンされる側(お客様)のキーワード19C1,19C2,…としてキーワードデータ記憶部19(図5参照)に登録される(ステップS25)。
また次に、前記拡大操作領域データ記憶部18に拡大操作の領域情報が記憶されているか否か判断される(ステップS26)。
ここで、前記拡大操作領域データ記憶部18に拡大操作の領域情報が記録されていると判断されると(ステップS26(Yes))、当該拡大操作の領域情報である各座標(X,Y,SX,SY),…が取得される(ステップS27)。
すると、前記取得された拡大操作の領域の各座標(X,Y,SX,SY),…毎に、当該領域の座標(X,Y,SX,SY)に対応して前記プレゼン画面14gから切り出された画像が、文字認識制御部23により文字認識される(ステップS28)。
そして、前記文字認識された文字列がプレゼンする側のキーワード19S1,19S2,…としてキーワードデータ記憶部19(図5参照)に登録される(ステップS29)。
(キーワード抽出機能[実施例])
図9は、前記キーワード抽出装置10のキーワード抽出処理に伴うプレゼン画面14gの具体的表示動作を示す図であり、同図(A)は表示装置12に表示されたプレゼン画面14g上での指によるタッチ操作位置T1〜T3とペンによるタッチ操作位置P1と拡大操作領域Z1とを示す図、同図(B)は前記拡大操作領域Z1の拡大表示画面14gZを示す図である。
図10は、前記キーワード抽出装置10のキーワード抽出処理に伴う図9におけるプレゼン画面14g上での各タッチ操作情報の具体例を示す図である。
図11は、前記キーワード抽出装置10のキーワード抽出処理に伴い図10における各タッチ操作情報に対応して作成された各タッチ操作領域情報と当該各領域が重なった場合の拡張領域情報との具体例を示す図である。
図9(A)に示すように、表示装置12に表示されたプレゼン画面14gにおいて(ステップS1,S2)、プレゼンする側が指により例えば所望の3点T1〜T3をタッチすると、図10に示すように、操作情報記憶部15のタッチ操作情報アドレス15Tには、当該タッチ操作位置T1に対応するXY座標(X=50,Y=200)15T1、タッチ操作位置T2に対応するXY座標(X=100,Y=220)15T2、タッチ操作位置T3に対応するXY座標(X=80,Y=170)15T3が記録される(ステップS4,S5T)。
また、プレゼンする側が例えば拡大したい領域Z1をタッチすると、図10に示すように、操作情報記憶部15の拡大操作情報アドレス15Zには、当該拡大操作領域Z1の左上およびそこからX方向とY方向の範囲に対応する座標(X=200,Y=250,SX=150,SY=100)15Z1が記録される(ステップS4,S5Z)。
さらに、プレゼンされる側(お客様)がペンにより例えば所望の1点P1をタッチすると、図10に示すように、操作情報記憶部15のペン操作情報アドレス15Pには、当該ペン操作位置P1に対応するXY座標(X=200,Y=220)15P1が記録される(ステップS4,S5P)。
この後、プレゼンを終了する操作が為されると(ステップS3(Yes))、まず、前記操作情報記憶部15のタッチ操作情報アドレス15Tから1点目のタッチ操作位置T1に対応する座標(X=50,Y=200)15T1が取得され、図11(A)に示すように、X方向およびY方向共に±50ドットの矩形サイズにより囲まれるタッチ操作領域の座標(X=0,Y=150,SX=100,SY=100)16T1が作成される(ステップS6〜S8)。
この場合、前記1点目のタッチ操作領域(X=0,Y=150,SX=100,SY=100)16T1に重なる他のタッチ操作領域は無いので、当該タッチ操作領域16T1はそのままタッチ操作領域データ記憶部16に記憶される(ステップS9,S10)。
すると次に、前記操作情報記憶部15のタッチ操作情報アドレス15Tから2点目のタッチ操作位置T2に対応する座標(X=100,Y=220)15T2が取得され、図11(B)に示すように、X方向およびY方向共に±50ドットの矩形サイズにより囲まれるタッチ操作領域の座標(X=50,Y=170,SX=100,SY=100)16T2が作成される(ステップS6〜S8)。
この場合、今回作成された前記2点目のタッチ操作領域(X=50,Y=170,SX=100,SY=100)16T2と重なる領域が、前記タッチ操作領域データ記憶部16に既に記憶された前記1点目のタッチ操作領域(X=0,Y=150,SX=100,SY=100)16T1としてあるので、当該既存で重なるタッチ操作領域16T1に2点目のタッチ操作領域16T2を加えて拡張されたタッチ操作領域の座標(0,150,150,120)16T1+T2が、前記タッチ操作領域データ記憶部16に更新されて記憶される(ステップS11)。
すると次に、前記操作情報記憶部15のタッチ操作情報アドレス15Tから3点目のタッチ操作位置T3に対応する座標(X=80,Y=170)15T3が取得され、図11(C)に示すように、X方向およびY方向共に±50ドットの矩形サイズにより囲まれるタッチ操作領域の座標(X=30,Y=120,SX=100,SY=100)16T3が作成される(ステップS6〜S8)。
この場合、今回作成された前記3点目のタッチ操作領域(X=30,Y=120,SX=100,SY=100)16T3と重なる領域が、前記タッチ操作領域データ記憶部16に既に記憶された拡張されたタッチ操作領域(0,150,150,120)16T1+T2としてあるので、当該既存で重なるタッチ操作領域16T1+T2に3点目のタッチ操作領域16T3を加えて拡張されたタッチ操作領域の座標(0,120,150,150)16T1+T2+T3が、前記タッチ操作領域データ記憶部16に更新されて記憶される(ステップS11)。
そして、前記操作情報記憶部15のペン操作情報アドレス15Pに記憶されたペン操作位置P1に対応する座標(200,220)15P1(図10参照)についても、前記タッチ操作位置15Tnに応じたタッチ操作領域16Tnを作成して記憶する処理(ステップS6〜S11)と同様に、当該ペン操作位置P1に応じたペン操作領域が作成され、ペン操作領域データ記憶部17に記憶される(ステップS12〜S17)。
図12は、前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上でのタッチ操作領域16Tnに対応して抽出されたタッチ領域画像GTの具体例を示す図である。
図13は、前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上での拡大操作領域16Znに対応して抽出された拡大領域画像GZの具体例を示す図である。
図14は、前記キーワード抽出装置10のキーワード抽出処理に伴いプレゼン画面14g上の各操作領域から抽出されてキーワードデータ記憶部19に登録された各キーワードの具体例を示す図である。
前記図11で示したように、前記タッチ操作領域データ記憶部16に記憶されたタッチ操作領域の座標(0,120,150,150)16T1+T2+T3が取得されると(ステップS18,S19)、前記プレゼン画面14g(図9(A)参照)から、図12に示すように、当該タッチ操作領域16T1+T2+T3に対応するタッチ領域画像GTが切り出され、文字認識制御部23により文字認識される(ステップS20)。
すると、前記タッチ領域画像GTから文字認識された文字列「ABC・DEFでより多くのお客様獲得」が、図14に示すように、プレゼンする側(T)のキーワード19S1としてキーワードデータ記憶部19に登録される(ステップS21)。
また、前記ペン操作領域データ記憶部17に記憶されたペン操作領域が取得されると(ステップS22,S23)、前記プレゼン画面14gから、当該ペン操作領域に対応するペン領域画像が切り出され、文字認識制御部23により文字認識される(ステップS24)。
すると、前記ペン領域画像から文字認識された文字列が、プレゼンされる側(お客様)(P)のキーワード19C1としてキーワードデータ記憶部19に登録される(ステップS25)。
また、前記拡大操作領域データ記憶部18に記憶された拡大操作領域の座標(200,250,150,100)15Z1が取得されると(ステップS26,S27)、前記プレゼン画面14g(図9(A)(B)参照)から、図13に示すように、当該拡大操作領域15Z1に対応する拡大領域画像GZが切り出され、文字認識制御部23により文字認識される(ステップS28)。
すると、前記拡大領域画像GZから文字認識された文字列「様々な電子マネーに対応」が、図14に示すように、プレゼンする側(Z)のキーワード19S2としてキーワードデータ記憶部19に登録される(ステップS29)。
(キーワード記録機能)
図15は、前記キーワード抽出装置10のキーワード抽出処理によりキーワードデータ記憶部19に登録されたキーワードを編集して記録するためのキーワード記録処理を示すフローチャートである。
図16は、前記キーワード抽出装置10のキーワード記録処理において使用されるキーワード記録フォームFkを示す図である。
前記キーワード抽出処理(図6〜図14参照)に従い、プレゼン画面14g上におけるユーザ(プレゼンする側(店員)/プレゼンされる側(お客様))の各操作領域に応じたキーワードが抽出されてキーワードデータ記憶部19に登録されると、図15におけるキーワード記録処理が実行される。
このキーワード記録処理が起動されると、キーワードデータ記憶部19に記憶された今回のプレゼンテーションに応じたキーワード記録フォーマットFk(図16参照)が読み込まれ(ステップA1)、同キーワードデータ記憶部19(図14参照)にプレゼンされる側(お客様)のキーワード(P)が登録されているか否か判断される(ステップA2)。
ここで、プレゼンされる側(お客様)のキーワード(P)19Cn…が登録されていると判断されると(ステップA2(Yes))、当該キーワード(P)19Cn…が順次取得され(ステップA3)、前記キーワード記録フォーマットFkにおけるお客様キーワード領域Kcに順次追加で記録される(ステップA4)。
そして、前記キーワードデータ記憶部19から取得すべきプレゼンされる側(お客様)のキーワード(P)が無くなったと判断されると(ステップA2(No))、次に、同キーワードデータ記憶部19(図14参照)にプレゼンする側(店員)のキーワード(T)(Z)が登録されているか否か判断される(ステップA5)。
ここで、プレゼンする側(店員)のキーワード(T)19S1,(Z)19S2が登録されていると判断されると(ステップA5(Yes))、当該キーワード(T)19S1,(Z)19S2が順次取得され(ステップA6)、前記キーワード記録フォーマットFkにおける店員キーワード領域Ksに順次追加で記録される(ステップA7)。
そして、前記キーワードデータ記憶部19から取得すべきプレゼンする側(店員)のキーワード(T)(Z)が無くなったと判断されると(ステップA5(No))、前記プレゼンされる側(お客様)のキーワード(P)19C1がお客様キーワード領域Kcに分類され、また前記プレゼンする側(店員)のキーワード(T)19S1,(Z)19S2が店員キーワード領域Ksに分類されて記録されたキーワード記録フォームFkが、キーワードデータ記憶部19に登録される。
(プレゼン資料作成機能)
図17は、前記キーワード抽出装置10のキーワード記録処理により記録されたキーワード記録フォームFkに基づき新たなプレゼン資料を作成するためのプレゼン資料作成処理を示すフローチャートである。
図18は、前記キーワード抽出装置10のプレゼン資料作成処理において使用されるプレゼン資料作成フォームFpを示す図である。
前記キーワード記録処理(図15,図16)に従い、プレゼンされる側(お客様)のキーワード(P)がお客様キーワード領域Kcに分類され、プレゼンする側(店員)のキーワード(T)(Z)が店員キーワード領域Ksに分類されたキーワード記録フォームFkが生成された後に、ユーザ操作に応じて、図17におけるプレゼン資料作成処理が起動されると(ステップB1)、前記キーワード記録フォームFkに記録されたキーワードの一覧を表示させるか、または処理を終了させるかをユーザに促すメッセージが表示される(ステップB2)。
ここで、キーワードの一覧を表示させるメッセージが選択されると(ステップB3(Yes))、前記キーワード記録フォームFkのお客様キーワード領域Kcまたは店員キーワード領域Ksに何れかのキーワードが記録されているか否か判断される(ステップB4)。
先ず、前記キーワード記録フォームFkのお客様キーワード領域Kcにプレゼンされる側(お客様)のキーワード(P)19cn…が記録されていると判断されると(ステップB4,B5(Yes))、当該記録されたプレゼンされる側(お客様)のキーワード(P)19cn…の全てが読み出され、図18に示すように、表示装置12にウインドウ表示されたペンキーワード一覧画面Lkに追加される(ステップB6)。
次に、前記キーワード記録フォームFkの店員キーワード領域Ksにプレゼンする側(店員)のキーワード(T)(Z)19Sn…が記録されていると判断されると(ステップB7(Yes))、当該記録されたプレゼンする側(店員)のキーワード(T)(Z)19Sn…の全てが読み出され、図18に示すように、表示装置12にウインドウ表示されたタッチキーワード一覧画面Mkに追加される(ステップB8)。その後、ペンキーワード一覧画面Lkとタッチキーワード一覧画面Mkを比較し、一致しているものを強調表示し、一覧を表示する(ステップB8a)。
これにより、表示装置12にウインドウ表示された前記ペンキーワード一覧画面Lkと前記タッチキーワード一覧画面Mkとには、前記キーワード記録フォーマットFkに分類されて記録されたプレゼンされる側(お客様)のキーワード(P)19Cn…の全てとプレゼンする側(店員)のキーワード(T)(Z)19Sn…の全てとが分けられて一覧表示されるので、前記プレゼン画面14gによってプレゼンテーションをした際にお客様が注目された内容と店員が強調した内容とを比較することができる。また、一致したキーワードを強調表示しているので、店員とお客様の考えの一致点や相違点が明確になり、今後のプレゼンテーションを行う上で重要性が高いと考えられるキーワードを知ることができる。
この後、前記ペンキーワード一覧画面Lk、前記タッチキーワード一覧画面Mkに一覧表示された各キーワードを対象に、新たなプレゼン資料に載せたいキーワードが選択されると(ステップB9,B10(Yes))、当該選択されたキーワードが同ペンキーワード一覧画面Lk、タッチキーワード一覧画面Mkに隣接して表示させたプレゼン資料フォームFpに入力されて表示される(ステップB11)。
これにより、前記重要性が高いと考えられるキーワードの順番で一覧表示されたキーワード一覧画面Lkから任意に選択されたキーワードが、そのままプレゼン資料フォームFpに入力されて表示され、重要なキーワードの漏れのない新たに且つ適切なプレゼン資料を容易に作成できる。
したがって、前記構成のキーワード抽出装置10のキーワード抽出機能によれば、タッチパネル式の入力装置13を備えた表示装置12において、プレゼン画面14gを表示させ、当該プレゼン画面14g上で、プレゼンする側(店員)が指によりタッチ操作したり拡大操作したり、プレゼンされる側(お客様)がペンによりタッチ操作すると、指タッチ操作、ペンタッチ操作については、そのタッチ位置の座標に対応した一定範囲の領域の画像から文字認識された文字列のキーワードが抽出され、拡大操作については、その拡大領域の画像から文字認識された文字列のキーワードが抽出される。そして、前記プレゼンする側(店員)の操作領域に応じて抽出されたキーワードと前記プレゼンされる側(お客様)の操作領域に応じて抽出されたキーワードとは、それぞれお客様キーワード領域Kcと店員キーワード領域Ksとを有するキーワード記録フォームFkに分類されて記憶される。
このため、プレゼンにおいて注目された情報を、その後のプレゼンの為の資料作りに役立つような形態にして記録することが可能になる。
また、前記構成のキーワード抽出装置10のキーワード抽出機能によれば、前記プレゼン画面14g上での指によるタッチ操作位置に対応した領域と、ペンによるタッチ操作位置に対応した領域について、当該指によるタッチ操作に対応した領域同士が重なった場合、またペンによるタッチ操作に対応した領域同士が重なった場合には、前回のタッチ操作に対応した領域に今回のタッチ操作に対応した領域が加えられ、この拡張された操作領域の画像から文字認識されたキーワードが抽出される。
このため、複数のタッチ操作に対応した領域同士が重なった部分の画像から同じキーワードが別々に文字認識されて抽出されてしまう不具合を無くすことができる。
また、前記各実施形態において、抽出されたキーワードを新たなプレゼン資料フォームFpに使用したが、これに限らず、抽出されたキーワードを選択した場合、図19に示すように、プレゼン画面14gの中のキーワードと一致する文字列を強調表示にしてもよい。この場合、タッチ操作に対応して抽出されたキーワードに対する強調表示とペン操作に対応して抽出されたキーワードに対する強調表示とを、例えば太字と下線とで異なるものにしても良い。このようにする事で、次回プレゼンを行う時に多くのお客様の関心があるキーワードや説明しなくてはいけないキーワードなどが分かり、プレゼンの質を向上することができ、たとえ操作する店員が変わった場合でも、プレゼンの質を維持することができる。
図19は、前記キーワード抽出装置10の他の実施形態に伴うプレゼン画面14gの表示動作を示す図である。
なお、前記各実施形態においては、一回のプレゼンでキーワードを抽出したがこれに限らず、複数回行った後に抽出回数の多いキーワードを一覧表示してもよい。この場合、プレゼンが終了した毎に、キーワード抽出し、その抽出したキーワードと一致したキーワードがあればカウントアップし、抽出回数の多いものを表示する。
なお、前記各実施形態において記載したキーワード抽出装置10による各処理の手法、すなわち、図6〜図8のフローチャートに示すキーワード抽出処理、図15のフローチャートに示すキーワード記録処理、図17のフローチャートに示すプレゼン資料作成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、表示装置(12)を備えた電子機器のコンピュータ(制御装置)は、この外部記憶装置の媒体に記憶されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したプレゼン操作に応じたキーワード抽出機能、キーワード記録機能、プレゼン資料作成機能を実現し、前述した手法による同様の処理を実行することができる。
なお、前記各実施形態において、タッチした場所に基づいてキーワードを抽出したが、抽出する対象情報はこれに限らず、画像を抽出してもよいし、タッチした場所に紐付けられているデータでもよい。
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置(プログラムサーバ)から前記プログラムのデータを表示装置(12)を備えた電子機器のコンピュータ(制御装置)に取り込んで記憶装置に記憶させ、前述したプレゼン操作に応じたキーワード抽出機能、キーワード記録機能、プレゼン資料作成機能を実現することもできる。
本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
タッチパネルを備えた表示部と、
この表示部に表示させるための表示情報を記憶する表示情報記憶手段と、
この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段と、
この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段と、
このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段と、
この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段と、
この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段と、
前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段と、
を備えたことを特徴とする情報処理装置。
[2]
前記タッチパネルは、指による操作を検出する第一タッチパネルと、ペンによる操作を検出する第二タッチパネルと、を備え、
前記タッチ位置取得手段は、前記第一タッチパネルと前記第二タッチパネルとにより検出されるタッチ位置をそれぞれ取得し、
前記対象情報抽出手段は、前記タッチ位置取得手段によって取得された第一タッチパネルと第二タッチパネルのタッチ位置に基づいてそれぞれの対象情報を抽出し、
前記対象情報記憶手段は、前記対象情報抽出手段により抽出された対象情報を第一タッチパネルと第二タッチパネルのそれぞれに対応して記憶し、
前記対象情報表示制御手段は、前記対象情報記憶手段により記憶された対象情報を第一タッチパネルと第二タッチパネルのそれぞれに対応して前記表示部に表示させる
ことを特徴とする[1]に記載の情報処理装置。
[3]
前記範囲設定手段は、
当該範囲設定手段により既に設定された範囲と新たに設定された範囲が重なるか否かを判断する範囲重なり判断手段と、
この範囲重なり判断手段により既に設定された範囲と新たに設定された範囲が重なると判断された場合には、当該各範囲を、前記既に設定された範囲に新たに設定された範囲を加えた範囲に更新して設定する拡張範囲設定手段と、
を有することを特徴とする[1]又は[2]に記載の情報処理装置。
[4]
前記タッチ位置取得手段は、
前記タッチパネルにより検出されるタッチ位置に基づいてユーザ操作の種類を判断する操作種類判断手段を有し、
この操作種類判断手段により判断されたユーザ操作の種類毎に前記タッチパネルにより検出されるタッチ位置を分類して取得し、
前記対象情報記憶手段は、
前記対象情報抽出手段により抽出された対象情報を前記タッチ位置取得手段によりユーザ操作の種類毎に分類されて取得されたタッチ位置に応じた分類にして記憶する、
ことを特徴とする[1]ないし[3]の何れかに記載の情報処理装置。
[5]
前記対象情報表示制御手段は、
前記対象情報記憶手段によりユーザ操作の種類毎に分類されて記憶された対象情報をその分類に応じて予め設定された順番で前記表示部に表示させる、
ことを特徴とする[4]に記載の情報処理装置。
[6]
前記対象情報表示制御手段により前記表示部に表示された対象情報をユーザ操作に応じて選択する対象情報選択手段と、
この対象情報選択手段により選択された対象情報に基づいて新たな表示情報を作成する表示情報作成手段と、
を備えたことを特徴とする[1]ないし[5]の何れかに記載の情報処理装置。
[7]
前記対象情報抽出手段は、前記範囲設定手段により設定された範囲の表示情報を文字認識し、この文字認識結果の文字列を対象情報として抽出する、
ことを特徴とする[1]ないし[6]の何れかに記載の情報処理装置。
[8]
前記表示情報は、プレゼンテーションの資料であることを特徴とする[1]ないし[7]の何れかに記載の情報処理装置。
[9]
前記対象情報表示制御手段は、前記対象情報抽出手段によって抽出された第一タッチパネルと第二タッチパネルに対応した対象情報の内、一致したものを強調表示する、
ことを特徴とする[2]に記載の情報処理装置。
[10]
前記対象情報抽出手段によって抽出された対象情報を前記表示情報の対象情報として強調表示する編集手段と、
を備えたことを特徴とする[2]に記載の情報処理装置。
[11]
前記編集手段は、前記対象情報抽出手段により抽出された対象情報を第一タッチパネルに基づき抽出されたキーワードと第二タッチパネルに基づき抽出されたキーワードとでそれぞれ異なる強調表示にする、
ことを特徴とする[10]に記載の情報処理装置。
[12]
タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するための情報処理方法であって、
前記表示部に表示させるための表示情報を表示情報メモリに記憶させること、
前記表示情報メモリに記憶された表示情報を前記表示部に表示させること、
前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得すること、
前記取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定すること、
前記設定された範囲の表示情報から対象情報を抽出すること、
前記抽出された対象情報を対象情報メモリに記憶させること、
前記表示情報の表示を終了した後に、前記対象情報メモリに記憶された対象情報を前記表示部に表示させること、
を含むことを特徴とする情報処理方法。
[13]
タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記表示部に表示させるための表示情報をメモリに記憶させる表示情報記憶制御手段、
この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段、
この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段、
このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段、
この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段、
この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段、
前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段、
として機能させるためのプログラム。
10 …キーワード抽出装置(情報処理装置)
11 …全体制御部
PR1…キーワード抽出処理プログラム
PR2…キーワード記録処理プログラム
PR3…プレゼン資料作成処理プログラム
12 …表示装置
13 …入力装置
14 …プレゼン資料記憶部
14g…プレゼン画面データ
14gZ…拡大表示画面
15 …操作情報記憶部
15T…タッチ操作情報アドレス
15Tn…タッチ操作位置座標(X,Y)
15Z…拡大操作情報アドレス
15Zn…拡大操作領域座標(X,Y,SX,SY)
15P…ペン操作情報アドレス
15Pn…ペン操作位置座標(X,Y)
16 …タッチ操作領域データ記憶部
16Tn…タッチ操作領域座標(X,Y,SX,SY)
17 …ペン操作領域データ記憶部
18 …拡大操作領域データ記憶部
19 …キーワードデータ記憶部
19Sn…プレゼンする側(店員)のキーワード
19cn…プレゼンされる側(お客様)のキーワード
20 …タッチ領域制御部
21 …ペン領域制御部
22 …拡大領域制御部
23 …文字認識制御部
Tn …タッチ操作位置
Pn …ペン操作位置
Z1 …拡大操作領域
GT …タッチ領域画像
GZ …拡大領域画像
Fk …キーワード記録フォーム
Fp …プレゼン資料フォーム

Claims (13)

  1. タッチパネルを備えた表示部と、
    この表示部に表示させるための表示情報を記憶する表示情報記憶手段と、
    この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段と、
    この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段と、
    このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段と、
    この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段と、
    この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段と、
    前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段と、
    を備えたことを特徴とする情報処理装置。
  2. 前記タッチパネルは、指による操作を検出する第一タッチパネルと、ペンによる操作を検出する第二タッチパネルと、を備え、
    前記タッチ位置取得手段は、前記第一タッチパネルと前記第二タッチパネルとにより検出されるタッチ位置をそれぞれ取得し、
    前記対象情報抽出手段は、前記タッチ位置取得手段によって取得された第一タッチパネルと第二タッチパネルのタッチ位置に基づいてそれぞれの対象情報を抽出し、
    前記対象情報記憶手段は、前記対象情報抽出手段により抽出された対象情報を第一タッチパネルと第二タッチパネルのそれぞれに対応して記憶し、
    前記対象情報表示制御手段は、前記対象情報記憶手段により記憶された対象情報を第一タッチパネルと第二タッチパネルのそれぞれに対応して前記表示部に表示させる
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記範囲設定手段は、
    当該範囲設定手段により既に設定された範囲と新たに設定された範囲が重なるか否かを判断する範囲重なり判断手段と、
    この範囲重なり判断手段により既に設定された範囲と新たに設定された範囲が重なると判断された場合には、当該各範囲を、前記既に設定された範囲に新たに設定された範囲を加えた範囲に更新して設定する拡張範囲設定手段と、
    を有することを特徴とする請求項1又は請求項2に記載の情報処理装置。
  4. 前記タッチ位置取得手段は、
    前記タッチパネルにより検出されるタッチ位置に基づいてユーザ操作の種類を判断する操作種類判断手段を有し、
    この操作種類判断手段により判断されたユーザ操作の種類毎に前記タッチパネルにより検出されるタッチ位置を分類して取得し、
    前記対象情報記憶手段は、
    前記対象情報抽出手段により抽出された対象情報を前記タッチ位置取得手段によりユーザ操作の種類毎に分類されて取得されたタッチ位置に応じた分類にして記憶する、
    ことを特徴とする請求項1ないし請求項3の何れか1項に記載の情報処理装置。
  5. 前記対象情報表示制御手段は、
    前記対象情報記憶手段によりユーザ操作の種類毎に分類されて記憶された対象情報をその分類に応じて予め設定された順番で前記表示部に表示させる、
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記対象情報表示制御手段により前記表示部に表示された対象情報をユーザ操作に応じて選択する対象情報選択手段と、
    この対象情報選択手段により選択された対象情報に基づいて新たな表示情報を作成する表示情報作成手段と、
    を備えたことを特徴とする請求項1ないし請求項5の何れか1項に記載の情報処理装置。
  7. 前記対象情報抽出手段は、前記範囲設定手段により設定された範囲の表示情報を文字認識し、この文字認識結果の文字列を対象情報として抽出する、
    ことを特徴とする請求項1ないし請求項6の何れか1項に記載の情報処理装置。
  8. 前記表示情報は、プレゼンテーションの資料であることを特徴とする請求項1ないし請求項7の何れか1項に記載の情報処理装置。
  9. 前記対象情報表示制御手段は、前記対象情報抽出手段によって抽出された第一タッチパネルと第二タッチパネルに対応した対象情報の内、一致したものを強調表示する、
    ことを特徴とする請求項2に記載の情報処理装置。
  10. 前記対象情報抽出手段によって抽出された対象情報を前記表示情報の対象情報として強調表示する編集手段と、
    を備えたことを特徴とする請求項2に記載の情報処理装置。
  11. 前記編集手段は、前記対象情報抽出手段により抽出された対象情報を第一タッチパネルに基づき抽出されたキーワードと第二タッチパネルに基づき抽出されたキーワードとでそれぞれ異なる強調表示にする、
    ことを特徴とする請求項10に記載の情報処理装置。
  12. タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するための情報処理方法であって、
    前記表示部に表示させるための表示情報を表示情報メモリに記憶させること、
    前記表示情報メモリに記憶された表示情報を前記表示部に表示させること、
    前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得すること、
    前記取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定すること、
    前記設定された範囲の表示情報から対象情報を抽出すること、
    前記抽出された対象情報を対象情報メモリに記憶させること、
    前記表示情報の表示を終了した後に、前記対象情報メモリに記憶された対象情報を前記表示部に表示させること、
    を含むことを特徴とする情報処理方法。
  13. タッチパネルを備えた表示部を有する電子機器のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記表示部に表示させるための表示情報をメモリに記憶させる表示情報記憶制御手段、
    この表示情報記憶手段により記憶された表示情報を前記表示部に表示させる情報表示制御手段、
    この情報表示制御手段により前記表示部に表示情報が表示された状態で、当該表示情報に対するユーザ操作に応じて前記タッチパネルにより検出されるタッチ位置を取得するタッチ位置取得手段、
    このタッチ位置取得手段により取得されたタッチ位置に基づいて前記表示部に表示された表示情報を対象に予め定められた範囲を設定する範囲設定手段、
    この範囲設定手段により設定された範囲の表示情報から対象情報を抽出する対象情報抽出手段、
    この対象情報抽出手段により抽出された対象情報を記憶する対象情報記憶手段、
    前記表示情報の表示を終了した後に、前記対象情報記憶手段により記憶された対象情報を前記表示部に表示させる対象情報表示制御手段、
    として機能させるためのプログラム。
JP2013058982A 2013-03-21 2013-03-21 情報処理装置、情報処理方法、およびプログラム Active JP6115221B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013058982A JP6115221B2 (ja) 2013-03-21 2013-03-21 情報処理装置、情報処理方法、およびプログラム
US14/217,958 US9317145B2 (en) 2013-03-21 2014-03-18 Information processing apparatus, information processing method, and computer readable medium
CN201410200259.0A CN104063171B (zh) 2013-03-21 2014-03-20 信息处理装置、信息处理方法
JP2017053949A JP6562020B2 (ja) 2013-03-21 2017-03-21 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013058982A JP6115221B2 (ja) 2013-03-21 2013-03-21 情報処理装置、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017053949A Division JP6562020B2 (ja) 2013-03-21 2017-03-21 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014186374A true JP2014186374A (ja) 2014-10-02
JP6115221B2 JP6115221B2 (ja) 2017-04-19

Family

ID=51550905

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013058982A Active JP6115221B2 (ja) 2013-03-21 2013-03-21 情報処理装置、情報処理方法、およびプログラム
JP2017053949A Active JP6562020B2 (ja) 2013-03-21 2017-03-21 情報処理装置、情報処理方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017053949A Active JP6562020B2 (ja) 2013-03-21 2017-03-21 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US9317145B2 (ja)
JP (2) JP6115221B2 (ja)
CN (1) CN104063171B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018155831A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909296A (zh) 2016-06-07 2017-06-30 阿里巴巴集团控股有限公司 数据的提取方法、装置及终端设备
JP6739570B2 (ja) * 2018-03-27 2020-08-12 株式会社ノースアイランド プレゼンテーション資料組立システム
KR102399945B1 (ko) * 2021-11-04 2022-05-19 홍진 유아 학습용 전자 장치의 광학 문자 인식 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031548A (ja) * 1996-07-16 1998-02-03 Casio Comput Co Ltd 入力装置
JP2000311040A (ja) * 1998-10-19 2000-11-07 Toshihiko Okabe データ引き渡し装置、データ引き渡し方法、及びデータ引き渡しプログラムを記録した記録媒体
US20060108445A1 (en) * 2004-11-22 2006-05-25 Pinch Daniel R Sprinkler apparatus
JP2006184939A (ja) * 2004-12-24 2006-07-13 Casio Comput Co Ltd 分類情報作成装置、分類情報作成プログラム
JP2007072918A (ja) * 2005-09-08 2007-03-22 Fuji Xerox Co Ltd 情報検索システム
JP2009187290A (ja) * 2008-02-06 2009-08-20 Yamaha Corp タッチパネル付制御装置およびプログラム
JP2011186550A (ja) * 2010-03-04 2011-09-22 Lenovo Singapore Pte Ltd 座標入力装置、座標入力方法、およびコンピュータが実行可能なプログラム
JP2012008917A (ja) * 2010-06-28 2012-01-12 Ntt Docomo Inc 検索装置、検索システム、検索方法、および検索プログラム
JP2012064051A (ja) * 2010-09-16 2012-03-29 Toshiba Corp ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラム
US20130006957A1 (en) * 2011-01-31 2013-01-03 Microsoft Corporation Gesture-based search

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252167A (ja) * 2005-03-10 2006-09-21 Fuji Xerox Co Ltd 文書処理装置
KR100837166B1 (ko) * 2007-01-20 2008-06-11 엘지전자 주식회사 전자기기의 정보 표시 방법 및 그 전자기기
JP2010261989A (ja) 2009-04-30 2010-11-18 Konica Minolta Business Technologies Inc 画像処理装置、表示履歴確認支援方法、およびコンピュータプログラム
JP5000776B1 (ja) * 2011-05-31 2012-08-15 楽天株式会社 情報提供システム、情報提供システムの制御方法、情報提供装置、プログラム、及び情報記憶媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031548A (ja) * 1996-07-16 1998-02-03 Casio Comput Co Ltd 入力装置
US6108445A (en) * 1996-07-16 2000-08-22 Casio Computer Co., Ltd. Character input device using previously entered input and displayed character data
JP2000311040A (ja) * 1998-10-19 2000-11-07 Toshihiko Okabe データ引き渡し装置、データ引き渡し方法、及びデータ引き渡しプログラムを記録した記録媒体
US20060108445A1 (en) * 2004-11-22 2006-05-25 Pinch Daniel R Sprinkler apparatus
JP2006184939A (ja) * 2004-12-24 2006-07-13 Casio Comput Co Ltd 分類情報作成装置、分類情報作成プログラム
JP2007072918A (ja) * 2005-09-08 2007-03-22 Fuji Xerox Co Ltd 情報検索システム
JP2009187290A (ja) * 2008-02-06 2009-08-20 Yamaha Corp タッチパネル付制御装置およびプログラム
JP2011186550A (ja) * 2010-03-04 2011-09-22 Lenovo Singapore Pte Ltd 座標入力装置、座標入力方法、およびコンピュータが実行可能なプログラム
JP2012008917A (ja) * 2010-06-28 2012-01-12 Ntt Docomo Inc 検索装置、検索システム、検索方法、および検索プログラム
JP2012064051A (ja) * 2010-09-16 2012-03-29 Toshiba Corp ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラム
US20130006957A1 (en) * 2011-01-31 2013-01-03 Microsoft Corporation Gesture-based search

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018155831A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
CN110431524A (zh) * 2017-03-16 2019-11-08 株式会社理光 信息处理系统、信息处理装置、信息处理程序和信息处理方法
CN110431524B (zh) * 2017-03-16 2022-10-21 株式会社理光 信息处理系统、信息处理装置、信息处理程序和信息处理方法

Also Published As

Publication number Publication date
US9317145B2 (en) 2016-04-19
JP6115221B2 (ja) 2017-04-19
US20140285451A1 (en) 2014-09-25
JP2017142823A (ja) 2017-08-17
CN104063171A (zh) 2014-09-24
CN104063171B (zh) 2017-05-03
JP6562020B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
JP7174734B2 (ja) タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
JP6562020B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10133466B2 (en) User interface for editing a value in place
TW201243705A (en) Compact control menu for touch-enabled command execution
JP5989903B2 (ja) 電子機器、方法及びプログラム
US20130182005A1 (en) Virtual fashion mirror system
US20220342443A1 (en) Systems and Methods for Prompting a Log-In to an Electronic Device Based on Biometric Information Received from a User
JP2014518486A (ja) 文字入力装置とその文字入力方法及び記憶媒体
KR20170017572A (ko) 사용자 단말 장치 및 이의 제어 방법
JP2015095066A (ja) 情報処理装置及び情報処理プログラム
JP6376241B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9536126B2 (en) Function execution method based on a user input, and electronic device thereof
JP2014002678A (ja) オブジェクト表示方法、プログラム、及び装置
JP6467889B2 (ja) 携帯端末、及びその制御方法、プログラム
JP5345609B2 (ja) タッチパネル式端末、語削除方法及びプログラム
KR20100107611A (ko) 단말 제어 장치 및 방법
JP5811731B2 (ja) ドキュメント閲覧支援システム、ドキュメント閲覧支援方法およびプログラム
KR102181895B1 (ko) 키패드를 이용하여 유알엘 연동 기능을 수행하는 방법 및 장치
CN109478118A (zh) 信息处理装置、信息处理方法以及记录介质
JP2012203645A (ja) 情報処理装置、情報処理方法及びプログラム
JP2017049984A (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP6525022B2 (ja) 携帯情報端末及びプログラム
JP5622283B2 (ja) 電子書籍装置、電子書籍処理方法、およびプログラム
JP2012118794A (ja) 検索装置、検索方法および検索プログラム
JP2017073145A (ja) オブジェクト表示方法、プログラム、及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170306

R150 Certificate of patent or registration of utility model

Ref document number: 6115221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150