JP2012048497A

JP2012048497A - 表示装置

Info

Publication number: JP2012048497A
Application number: JP2010189940A
Authority: JP
Inventors: Kosuke Kido; 浩介木戸
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2010-08-26
Filing date: 2010-08-26
Publication date: 2012-03-08
Anticipated expiration: 2030-08-26
Also published as: WO2012026076A1; US9110529B2; JP5656511B2; US20130154987A1

Abstract

【課題】タッチパネル付きディスプレイに表示されている文字列を指でなぞることにより範囲選択を行う際に、指で文字が隠れていても、選択している文字列の終端を確認することができ、容易に文字列の範囲を選択できる表示装置を提供する。
【解決手段】表示部１に表示されている文字列を、表示部１上に設置されているタッチパネル部２を指でタッチし、文字列上でなぞり操作を行うことで、文字列の範囲選択を行う。選択操作を行う指が、表示されている文字上にあると判断された場合、指の接触位置にある文字の文字種情報を判断する。次に、選択操作を行っている指の位置が、表示されている文字列上のある文字から次の文字に移った際に、各文字に付加されている情報に基づき指に触感を呈示する。文字列の範囲選択の終点は、指のリリースが検出される直前に触感が呈示された文字に設定される。
【選択図】図１

Description

本発明は、タッチパネルを搭載した表示装置に関する。

近年、直感的な入力デバイスとしてタッチパネルを搭載した表示装置が広く用いられている。以前は、タッチパネルは、単一画面で複数種類の操作画面を操ることができるため、券売機やＡＴＭへの利用が多かったが、携帯端末への搭載や、Ｗｉｎｄｏｗｓ（登録商標）７などのタッチパネルインターフェースの登場などにより、急速に市場規模も大きくなっている。
また、ディスプレイ上に表示されている文字をコピー／ペースト等で範囲選択操作を行うという行為は、日常的に行われており、タッチパネルでも常用的に用いられている。
しかしながら、タッチパネルは、パネルの操作面内に凹凸がなく、機械的なボタンやスイッチも備えていないものが一般的であり、ユーザが操作を行った際にフィードバックがないため、操作感に乏しく誤操作が多くなってしまうという問題がある。

そこで、直感的な入力操作が可能であり、操作を行った際の触感を返す入力デバイスとして、例えば、特許文献１では、利用者に出力する情報に含まれる言語情報とその付加属性情報を、視覚だけでなく聴覚、触覚といった異なる知覚器に対して並行して出力することで、効率よく情報を伝達することを目的として、文字列に対して音声で文字列を読み上げることに加えて、文字列に付加された属性に基づいて特定の触覚パターンを触覚ピンによりユーザに提供する音声出力装置を提案している。
また、特許文献１では、触覚ピンによる触覚パターンの提供を応用し、複数の入力欄に入力を行う際に特定の入力欄に対して触覚パターンを提供する方法、ファイルに付加された情報に基づいて触覚パターンを提供する方法なども提案している。
また、特許文献２では、タッチパネルの操作性の向上のために、操作時のキータッチを体感させることを目的として、タッチパネルに対して振動機構を有するペン型入力装置を用意し、ペン型入力装置により押下されたタッチパネル上の位置が文字、図形の表示領域内であるときに、各表示領域に対して設定された振動時間、振動の大きさ、振動パターンをペン型入力装置により提供する方法を提案している。

特開２００５−７７６７４号公報特開２００２−２５９０４４号公報

ところで、タッチパネル付きディスプレイは、ディスプレイに表示されている文字列を指でなぞることにより範囲選択を行う際に、指で文字列が隠れてしまうことで選択する文字列の終端が確認できず、意図していないところで選択を終了してしまい、なかなか目的とする文字列を選択できないという課題がある。
この課題は、従来技術である特許文献１、特許文献２の装置では解決することはできない。なぜなら、特許文献１の装置では、文字認識のために各文字に付加された情報に基づいて触感を呈示する方法を提案しているが、文字を選択する過程については全く検討しておらず、文字があるだけで振動するだけでは意図したところで文字列の範囲選択を終了するということは困難である。
特許文献２の装置では、指で操作することを想定しておらず、またタッチパネルの操作としても特定領域を押下した場合の動作のみで、なぞり操作を行うことで範囲を選択するということは想定されていない。

本発明は、このような課題に鑑みてなされたものであり、本発明の目的は、タッチパネル付きディスプレイに表示されている文字列を指でなぞることにより範囲選択を行う際に、指で文字が隠れていても、選択している文字列の終端を確認することができ、容易に目的とする文字列の範囲を選択することができる表示装置を提供することにある。

上記目的を達成するため、本発明は、文字列を含む情報を表示する表示部と、前記表示部の前面に配設され、前記表示部に表示された文字列に対する押下体の接触操作を受け付けるタッチパネル部と、前記タッチパネル部に接触する押下体に対して触感を呈示する触感呈示部と、前記表示部、前記タッチパネル部、および前記触感呈示部の制御を行う制御部とを有する表示装置であって、前記制御部は、前記タッチパネル部において、受け付けた前記接触操作の接触位置が前記表示部に表示された文字列上であると判断された場合に、前記接触位置にある文字の文字種を判断する文字判断部と、前記タッチパネル部における前記接触操作に基づいて、始点と終点を決定することにより範囲指定を行う範囲指定部と、を有し、前記範囲指定部により範囲指定を行う際に、前記文字判断部から得られる判断結果に基づいて、前記触感呈示部を制御することを特徴とする。

前記文字判断部が判断する文字種は、全角漢字、半角漢字、全角ひらがな、半角ひらがな、全角カタカナ、半角カタカナ、全角英字、半角英字、全角数字、半角数字、全角記号、半角記号、絵文字、句読点、および文字フォント（字体、斜体、太字、文字サイズ、文字色、文字背景色、文字飾り、下線）のうちのいずれかであり、前記文字種毎に異なる触感パターンを記憶する記憶部を有し、前記制御部は、前記文字判断部が判断する文字種に対応する前記記憶部に記憶された触感パターンに基づいて前記触感呈示部に触感を呈示するように指示することが好ましい。

前記制御部は、前記文字判断部が一文字検出する毎に前記触感呈示部に対して触感の呈示を指示することが好ましい。
あるいは、前記制御部は、前記文字判断部が判断した文字種が変わる毎に前記触感呈示部に対して触感の呈示を指示することが好ましい。

また、本発明は、文字列を含む情報を表示する表示部と、前記表示部の前面に配設され、前記表示部に表示された文字列に対する押下体の接触操作を受け付けるタッチパネル部と、前記タッチパネル部に接触する押下体に対して触感を呈示する触感呈示部と、前記表示部、前記タッチパネル部、および前記触感呈示部の制御を行う制御部とを有する表示装置であって、前記制御部は、前記文字列の構造解析を行い、前記タッチパネル部において、受け付けた前記接触操作の接触位置にある前記表示部に表示された単語や語句、文節、あるいは文字種により文字列を区分けする文章解析部と、前記タッチパネル部における接触操作に基づいて、始点と終点を決定することにより範囲指定を行う範囲指定部と、を有し、前記範囲指定部により範囲指定を行う際に、前記文章解析部から得られる区分けに基づいて、前記触感呈示部を制御することを特徴とする。

前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の変わる毎に、前記触感呈示部に対して触感の呈示を指示することが好ましい。
あるいは、前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の最終文字上にくる毎に、前記触感呈示部に対して触感の呈示を指示することが好ましい。

異なる触感パターンを記憶する記憶部を有し、前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の変わる毎に、または前記文章解析部により区分けした区間の最終文字上にくる毎に、前記記憶部に記憶された触感パターンに基づいて隣接区間で少なくとも異なる触感パターンとなるように前記触感呈示部に対して指示することが好ましい。

本発明は、タッチパネル付きディスプレイに表示されている文字列を指でなぞることにより範囲選択を行う際に、タッチパネルを押下する指に対して触感を呈示するので、指で文字が隠れていても、選択している文字列の終端を確認することができ、容易に目的とする文字列の範囲を選択することができる。

本発明の第１の実施形態に係る表示装置の内部構成を概略的に示す機能ブロック図である。文字種別触感テーブルの一例を示す図である。表示部に表示されている文字列を指でなぞることにより範囲選択を行っているときの状態を示す図である。範囲選択の実施例１の動作を説明する図である。範囲選択の実施例２の動作を説明する図である。実施例１および実施例２の動作を説明するフローチャートである。範囲選択の実施例３の動作を説明する図である。範囲選択の実施例４の動作を説明する図である。実施例３および実施例４の動作を説明するフローチャートである。本発明の第２の実施形態に係る表示装置の内部構成を概略的に示す機能ブロック図である。範囲選択の実施例５の動作を説明する図である。実施例５の動作を説明するフローチャートである。範囲選択の実施例６の動作を説明する図である。範囲選択の実施例７の動作を説明する図である。実施例６および実施例７の動作を説明するフローチャートである。範囲選択の実施例８の動作を説明する図である。範囲選択の実施例９の動作を説明する図である。実施例８および実施例９の動作を説明するフローチャートである。

本発明の実施の形態について図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る表示装置の内部構成を概略的に示す機能ブロック図である。表示装置は、例えば、タッチパネルを備えていて文字を入力することのできる携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ（Personal Computer)等である。図１に示すように、表示装置は、表示部１と、タッチパネル部２と、触感呈示部３と、制御部４と、記憶部５を備えている。

表示部１は、文字列を含む情報を表示する。例えば、液晶ディスプレイや有機ＥＬディスプレイなどを指す。タッチパネル部２は、表示部１の前面に配設され、ユーザからの操作を受け付ける。例えば、抵抗膜方式、静電容量方式、光学式等の公知の方式のものを指す。触感呈示部３は、タッチパネル部２を接触する押下体に対して触感を呈示するもので、タッチパネル部２に貼り付ける等でタッチパネル部を振動させるように設置すればよい。例えば、タッチパネル部２を振動させるものであればよく、圧電素子等の振動素子などを指す。なお、本発明では、指やスタイラス等のタッチパネル部２に接触するものを「押下体」とし、タッチパネル部２に押下体を検知することを「接触」とし、押下体がタッチパネル部２に接触されたり、押圧されたりすることで押下体の接触位置信号を発生することを「接触操作の接触位置の入力を受け付ける」とする。

制御部４は、表示部１、タッチパネル部２および触感呈示部３の制御を行う。また、制御部４は、文字判断部６と範囲指定部７を備えている。
文字判断部６は、タッチパネル部２において受け付けたユーザ操作の押下位置が表示部１に表示された文字上であるか否かを判断するとともに、当該文字の文字種を判断する。文字判断部６が判断する文字種は、全角漢字、半角漢字、全角ひらがな、半角ひらがな、全角カタカナ、半角カタカナ、全角英字、半角英字、全角数字、半角数字、全角記号、半角記号、絵文字、句読点、および文字フォント（字体、斜体、太字、文字サイズ、文字色、文字背景色、文字飾り、下線）のうちのいずれかである。
範囲指定部７は、タッチパネル部２におけるユーザ操作に基づいて、始点と終点を決定することにより範囲指定を行う。

制御部４は、範囲指定部７により範囲指定を行う際に、文字判断部６から得られる判断結果に基づいて、触感呈示部３を制御する。なお、制御部４は、文字判断部６の判断する文字種に基づいて異なる触感を呈示するように触感呈示部３に対して指示しても良い。また、制御部４は、文字判断部６が一文字検出する毎に触感呈示部３に対して触感の呈示を指示するようにしても良し、文字判断部６が判断した文字種が変わる毎に触感呈示部３に対して触感の呈示を指示するようにしても良い。

記憶部５は、制御部４での判定結果に対応した触感呈示部３への指示情報を格納する文字種別触感テーブル８と、文字種情報を格納する文字種格納部９を有する。図２に文字種別触感テーブル８の一例を示す。文字種別触感テーブル８には、文字種毎に触感呈示部３が呈示する触感パターンが格納されている。触感パターンを異ならせるには、触感呈示部３として圧電素子を用いた場合、圧電素子への駆動信号となる一定周波数、周期（波長）、振幅等を可変すればよい。
文字種格納部９には、文字種判断に供するための、全角漢字、半角漢字、全角ひらがな、半角ひらがな、全角カタカナ、半角カタカナ、全角英字、半角英字、全角数字、半角数字、全角記号、半角記号、絵文字、句読点、および文字フォント（字体、斜体、太字、文字サイズ、文字色、文字背景色、文字飾り、下線）等の文字種情報が格納されている。

次に、表示装置１０において、表示されている文字列を指でなぞることにより範囲選択を行う動作について説明する。なお、以下の実施例では、例えば、Ｗｅｂブラウジングアプリケーションが起動中として、表示部１には、図３に示すように、現在読み進めているＷｅｂページが表示されているものとする。具体的には、図３では、表示部１に表示された黒文字の文字列"Do you need both a pen and paper?"につき、指Ａがタッチパネル部２に対して“need both a pen"をなぞり、なぞった部分を黒枠で塗りつぶして白文字に反転させている。この場合、範囲指定（選択範囲）の始点はneedの"n"、終点はpenの"n"となる。なお、図面では、表示部１の前面にタッチパネル部が配置されるため、表示部１とタッチパネル部２が同じものを指すようにしている。

（実施例１）
図４は、範囲選択の実施例１の動作を説明する図である。図４に示す実施例１では、表示部１に表示されている文字列を、表示部１上に設置されているタッチパネル部２を指Ａでタッチし、文字列上でなぞり操作を行うことで、制御部４は文字列の範囲選択を行う。そして、制御部４は、選択操作を行う指Ａが、表示されている文字上にあると判断された場合、指Ａの接触位置にある文字の文字種情報を判断する。次に、選択操作を行っている指Ａの位置が、表示されている文字列上のある文字から次の文字に移った際に、各文字の文字種に付加されている情報に基づき触感呈示部３によりタッチパネル部２を介して指Ａに触感を呈示する。これにより、文字列の範囲選択の際の誤操作を少なくすることができる。本実施例１は、文字列の範囲選択の終点は、指のリリースが検出される直前に触感が呈示された文字とした場合であり、図４に示す３行は同じ位置にある文字列を示すもので、矢印が所定時間経過後を意味する。そして、本実施例１では、まず１行目に示すように「追」が選択した範囲の始点となり、２行目に示すように指Ａが「追」から「求」に移る時に指Ａに全角漢字に対応する「ブルッ」という触感を呈示して「追及」を選択した範囲とし、３行目に示すように「求」から「す」に移る時に全角ひらがなに対応する「ブルルッ」という全角漢字と異なる触感を呈示して「追求す」を選択した範囲とする。
なお、本実施例では、全角漢字に対応する触感パターンを「ブルッ」、全角ひらがなに対応する触感パターンを「ブルルッ」としたが、他の文字種も含めてどのようなパターンとしてもよく、全てを異なるパターンとする必要もない。

（実施例２）
図５は、範囲選択の実施例２の動作を説明する図である。実施例２では、図４の実施例１と同様に、文字列の範囲選択操作を行っている指Ａが、表示されている文字列上のある文字から次の文字に移った際に、各文字に付加されている情報に基づき指Ａに触感を呈示するが、文字列の範囲選択の終点は、指Ａのリリースが検出される直前に触感が呈示された文字から１つ前の文字に設定される。具体的には、２行目に示すように指Ａが「追」から「求」に移る時に指Ａに全角漢字に対応する「ブルッ」という触感を呈示して「追」を選択した範囲とし、３行目に示すように「求」から「す」に移る時に全角ひらがなに対応する「ブルルッ」という全角漢字と異なる触感を呈示して「追求」を選択した範囲とする。

図６は、実施例１および実施例２の動作を説明するフローチャートの一例である。まず、制御部４は、ユーザの指Ａがタッチパネル部２へ接触したか否かを検出する（Ｓ１０１）。ここで、「接触」は、上述したようにタッチパネル部２が指Ａを検出する状態を意味する。そして、指Ａがタッチパネル部２へ接触したことを検出した場合（Ｙｅｓの場合）、文字判断部６は、指Ａの接触位置が、表示部１に表示される文字列上であるか否かを判定し（Ｓ１０２）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、指Ａの接触位置にある文字の文字種情報を判定する（Ｓ１０３）。指Ａがタッチパネル部２へ接触したことを検出しない場合（Ｓ１０１でＮｏの場合）、および指Ａの接触位置が文字列上でないと判定した場合（Ｓ１０２でＮｏの場合）は、制御部４は、Ｓ１０１のタッチパネル部２への指Ａの接触検出に戻る。Ｓ１０３で文字の文字種情報を判定した後、範囲指定部７は、判定に用いた文字を文字列範囲選択の始点として設定し（Ｓ１０４）、制御部４は、判定結果に基づいて触感呈示部３に触感の呈示を指示する（Ｓ１０５）。

次に、制御部４は、タッチパネル部２から押下体（本実施例では指Ａ）がリリースされたか否かを検出する（Ｓ１０６）。指Ａのリリースが検出された場合（Ｙｅｓの場合）は、範囲指定部７は、実施例１では、リリースを検出する前に接触していた文字を文字範囲選択の終点として設定し、実施例２では、リリースを検出する前に接触していた文字の隣の文字であり、かつ始点に近い文字を終点として設定する（Ｓ１０７）。

制御部４は、Ｓ１０６で指Ａのリリースが検出されない場合（Ｓ１０６でＮｏの場合）は、押下体の座標の移動（本実施例では指Ａの移動）の検出を判定する（Ｓ１０８）。指Ａの移動が検出された場合（Ｙｅｓの場合）、文字判断部６は、指Ａの移動した先が表示部１に表示される文字列上であるか否かを判定し（Ｓ１０９）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、指Ａの接触位置にある文字の文字種情報を判定する（Ｓ１１０）。Ｓ１０８で指Ａの移動が検出されない場合（Ｎｏの場合）、およびＳ１０９で指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ１０６の指Ａのリリース検出に戻る。更に、Ｓ１１０で文字種情報を判定した後、制御部４は、Ｓ１１０の判定結果に基づいて触感呈示部３に触感の呈示を指示し（Ｓ１１１）、Ｓ１０６の指Ａのリリース検出に戻る。

（実施例３）
図７は、範囲選択の実施例３の動作を説明する図である。実施例３では、表示部１に表示されている文字列を、表示部１上に設置されているタッチパネル部２を指Ａでタッチし、文字列上でなぞり操作を行う際に、文字列の範囲選択を行う指Ａの接触位置にある文字の文字種情報を判断し、指Ａの接触位置が、表示されている文字列上のある文字から次の文字に移った際に、各文字に付加されている文字種情報を比較し、文字種情報が異なっている場合には、文字種情報に基づき指Ａに触感を呈示する。また、文字列の範囲選択の終点は、指Ａのリリースが検出される直前に触感が呈示された文字に設定される。具体的には、１行目に示すように「物」が選択した範囲の始点となり、２行目に示すように指Ａで「物心両面」までを選択した範囲とし、３行目に示すように漢字からひらがなに変化する「物心両面の」の「の」を選択した時に「物心両面の」を選択した範囲とするとともに、指Ａに全角漢字に対応する「ブルッ」という触感を呈示する。なお、図示はしないが、更に指Ａで「幸」まで行くと、「物心両面の幸」を選択した範囲とするとともに、指Ａに全角ひらがなに対応する「ブルルッ」という触感を呈示する。

（実施例４）
図８は、範囲選択の実施例４の動作を説明する図である。実施例４では、実施例３のときと同様に、指Ａの位置が、表示されている文字列上のある文字から次の文字に移った際に、各文字に付加されている文字種情報が異なっている場合に、文字種情報に基づき触感を呈示するが、文字列の範囲選択の終点は、指Ａのリリースを検出する直前に接触していた文字の文字種情報を有する文字列に隣接し、リリースを検出する直前に接触していた文字の文字種情報から１つ前の文字種情報を有する文字に設定される。具体的には、１行目に示すように指Ａが「物」を始点として、２行目に示すように「物心両面」まで選択し、３行目に示すように漢字からひらがなに変化する「物心両面の」の「の」を選択した時に「物心両面」を選択した範囲とするとともに、指Ａに全角漢字に対応する「ブルッ」という触感を呈示する。

図９は、実施例３および実施例４の動作を説明するフローチャートの一例である。まず、制御部４は、ユーザの指Ａがタッチパネル部２へ接触したか否かを検出する（Ｓ２０１）。指Ａがタッチパネル部２へ接触したことを検出した場合（Ｙｅｓの場合）、文字判断部６は、指Ａの接触位置が、表示部１に表示される文字列上であるか否かを判定し（Ｓ２０２）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓ場合）は、指Ａの接触位置にある文字の文字種情報を判定する（Ｓ２０３）。指Ａの接触位置がタッチパネル部２へ接触したことを検出しない場合（Ｓ１０１でＮｏの場合）、および指Ａの接触位置が文字列上でないと判定した場合（Ｓ２０２でＮｏの場合）は、制御部４は、Ｓ２０１のタッチパネルへの指Ａの接触検出に戻る。次に、制御部４は、Ｓ２０３で判定を行った文字種情報を文字種格納部９に保存し（Ｓ２０４）、範囲指定部７は、Ｓ２０３で判定に用いた文字を文字列範囲選択の始点として設定する（Ｓ２０５）。

次に、制御部４は、タッチパネル部２から押下体（本実施例では指Ａ）がリリースされたか否かを検出する（Ｓ２０６）。指Ａのリリースが検出された場合（Ｙｅｓの場合）、範囲指定部７は、実施例３では、リリースを検出する前に接触していた文字を文字範囲選択の終点として設定し、実施例４では、リリースを検出する前に接触していた文字の文字種から１つ前の文字種であり、かつ始点に近い文字を終点として設定する（Ｓ２０７）。

制御部４は、Ｓ２０６で指Ａのリリースが検出されない場合（Ｎｏの場合）は、押下体の座標の移動（本実施例では指Ａの移動）の検出を判定する（Ｓ２０８）。指Ａの移動が検出された場合（Ｙｅｓの場合）、文字判断部６は、指Ａの移動した先が表示部１に表示される文字列上であるか否かを判定し（Ｓ２０９）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、指Ａの接触位置にある文字の文字種情報を判定する（Ｓ２１０）。Ｓ２０８で指の移動が検出されない場合（Ｎｏの場合）、およびＳ２０９で指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ２０６の指Ａのリリース検出に戻る。

次に、Ｓ２１０で文字種情報を判定した後、制御部４は、文字種格納部９に保存された文字種と、Ｓ２１０で判定を行った文字の文字種が同じであるか否かを判定し（Ｓ２１１）、文字種が同じでないと判定した場合（Ｎｏの場合）は、Ｓ２１０の判定結果に基づいて触感呈示部３に触感の呈示を指示する（Ｓ２１２）。文字種が同じであると判定した場合（Ｙｅｓの場合）は、制御部４は、Ｓ２０６の指Ａのリリース検出に戻る。更に、Ｓ２１２で触感の呈示をした後、制御部４は、Ｓ２１０で判定を行った文字種情報を文字種格納部９に上書保存し（Ｓ２１３）、Ｓ２０６の指Ａのリリース検出に戻る。
ここで、図２に示すように触感テーブル８に文字種別に触感パターンを記憶させ、異なる文字種により、Ｓ２１２の触感呈示のパターンを変えるようにしてもよい。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る表示装置について説明する。図１０は、本発明の第２の実施形態に係る表示装置の内部構成を概略的に示す機能ブロック図である。図１０に示すように、表示装置は、表示部１と、タッチパネル部２と、触感呈示部３と、制御部４と、記憶部５を備えている。

制御部４は、表示部１、タッチパネル部２および触感呈示部３の制御を行う。また、制御部４は、文章解析部１０と範囲指定部７を備えている。
文章解析部１０は、表示部１に表示された文字列の構造解析を行い、タッチパネル部２の押下位置に基づく単語や語句、文節、文字種を判断し、文字列を区分けする。文章解析部１０が解析を行う文字種は、全角漢字、半角漢字、全角ひらがな、半角ひらがな、全角カタカナ、半角カタカナ、全角英字、半角英字、全角数字、半角数字、全角記号、半角記号、絵文字、句読点、および文字フォント（字体、斜体、太字、文字サイズ、文字色、文字背景色、文字飾り、下線）のうちのいずれかである。
範囲指定部７は、タッチパネル部２におけるユーザ操作に基づいて、始点と終点を決定することにより範囲指定を行う。

制御部４は、範囲指定部７により範囲指定を行う際に、文章解析部１０から得られる区分けに基づいて、触感呈示部３を制御する。なお、制御部４は、文章解析部１０から得られる区分けに基づいて異なる触感を呈示するように触感呈示部３に対して指示するようにしても良い。この場合、区分けが来る毎に異なる触感パターンを呈示するようにすれば良く、例えば範囲指定をしている間の呈示回数に応じて触感パターンを異なるようにしても良い。また、制御部４は、タッチパネル部２の接触位置が文章解析部１０から得られる区分けが変わる毎に触感呈示部３に対して触感の呈示を指示するようにしても良い。また、制御部４は、タッチパネル部２の接触位置が文章解析部１０から得られる区分けの最終文字上にくる毎、または区分けの最初の文字上にくる毎に、触感呈示部３に対して触感の呈示を指示するようにしても良い。これらは、第１の実施形態と同様に、記憶部５に触感パターン等の必要な情報を記憶させることで実現することができる。また、触感パターンを変える際、呈示する毎に全て異なる触感パターンとしてもよいが、少なくとも区分けられた隣接区間で少なくとも触感パターンを変えるようにすれば文字列の選択範囲の識別をより容易する目的は達せられるため、２つの触感パターンとしてもよい。

表示部１と、タッチパネル部２と、触感呈示部３と、記憶部５は、第１の実施形態と同様であるので、説明は省略する。

（実施例５）
図１１は、範囲選択の実施例５の動作を説明する図である。実施例５では、表示されるＷｅｂページの全ての文章の構造を文字種や単語、文節等の文字境界情報について予め解析しておく。そして、指Ａで文字列の範囲選択を行った際に、指Ａの接触位置にある文字が、予め解析された文字境界情報（区分けされた際の区分け位置の情報）に基づき、各文字境界に隣接した文字であった場合に、触感を呈示する。また、文字列の範囲選択の終点は、リリースが検出される直前に触感が呈示された文字に設定される。具体的には、１行目に示すように「全従業員の物心両面の幸福を追求すると同時に、」という文章の場合、文章解析部１０にて２行目に示すように「全従業員／の／物心両面／の／幸福／を／追求／すると／同時／に／、」のように文字境界情報を入れる。そして、３行目に示すように指Ａが「物」に対応する位置に接触した場合、文字種の境界に隣接する（「の」と「物」の境界に隣接する）ため「ブルッ」と触感を呈示し、４行目に示すように指Ａでなぞっていき、５行目に示すように「物心両面」まで行った時に設定された文字種の境界に隣接する（「面」と「の」の境界に隣接する）ため再び「ブルッ」と触感を呈示する。

図１２は、実施例５の動作を説明するフローチャートの一例である。まず、文章解析部１０は、文章全体の解析を行い、文章を文字種／文節／語句／単語毎に区切った（区分けした）境界を記憶部５に保存する（Ｓ３０１）。次に、制御部４は、押下体（本実施例ではユーザの指Ａ）がタッチパネル部２へ接触したか否かを検出する（Ｓ３０２）。指Ａがタッチパネル部２へ接触したことを検出した場合（Ｙｅｓの場合）、文章解析部１０は、指Ａの接触位置が、表示部１に表示される文字列上であるか否かを判定し（Ｓ３０３）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓ場合）、範囲指定部７は、指Ａの接触位置にある文字を始点として決定する（Ｓ３０４）。指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ３０２のタッチパネルへの指Ａの接触検出に戻る。

次に、文章解析部１０は、指Ａの接触位置にある文字がＳ３０１で解析、保存した境界に隣接した文字であるか否か判定し（Ｓ３０５）、指Ａの接触位置にある文字が境界に隣接した文字であると判定した場合（Ｙｅｓの場合）、指Ａの接触位置にある文字の文字種を判断する（Ｓ３０６）。制御部４は、判断された文字種情報に基づいて触感呈示部３に触感の呈示を指示する（Ｓ３０７）。次に、制御部４は、タッチパネル部２から指Ａがリリースされたか否かを検出する（Ｓ３０８）。また、制御部４は、Ｓ３０５にて、指Ａの接触位置にある文字が境界に隣接した文字でないと判定した場合（Ｎｏの場合）においても、タッチパネル部２から指Ａがリリースされたか否かを検出する（Ｓ３０８）。指Ａのリリースが検出された場合（Ｙｅｓの場合）、範囲指定部７は、Ｓ３０５およびＳ３０６で判定を行った文字を文字範囲選択の終点として設定する（Ｓ３０９）。

制御部４は、Ｓ３０８で指Ａのリリースが検出されない場合（Ｎｏの場合）は、押下体の座標の移動（本実施例では指Ａの移動）の検出を判定する（Ｓ３１０）。指Ａの移動が検出された場合（Ｙｅｓの場合）、文章解析部１０は、指Ａの移動した先が表示部１に表示される文字列上であるか否かを判定し（Ｓ３１１）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、Ｓ３０５の文字が境界位置に隣接しているか否かの判定に戻る。Ｓ３１０で指Ａの移動が検出されない場合（Ｎｏの場合）、および、Ｓ３１１で指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ３０８の指Ａのリリース検出に戻る。

（実施例６）
図１３は、範囲選択の実施例６の動作を説明する図である。実施例６では、表示されるＷｅｂページの全ての文章の構造を文字種や単語、文節等の文字境界情報について予め解析しておく。そして、指Ａで文字列の範囲選択を行い、指Ａの接触位置が、表示されている文字列上のある文字から次の文字に移る際に、文字の間に設定されている文字境界情報を指Ａが跨いだ場合に、文字境界情報に基づいて指Ａに触感を呈示する。また、文字列の範囲選択の終点は、指Ａのリリースが検出される直前に接触していた文字に設定される。具体的には、図１１の２行目までと同様に文字境界情報を入れた後、３行目に示すように指Ａが「物」に対応する位置に接触し、４行目に示すように指Ａでなぞっていき、５行目に示すように「物心両面の」まで行った時に設定された文字境界情報を跨ぐ（すなわち、区分けした区間を跨ぐ）ため「ブルッ」と触感を呈示する。また、この時点でリリースされると、選択範囲は「物心両面の」となる。

（実施例７）
図１４は、範囲選択の実施例７の動作を説明する図である。実施例７では、実施例６のときと同様に文字列の範囲選択を行うが、文字列の範囲選択の終点は、指Ａのリリースを検出する直前に触感が呈示された文字境界情報の隣にあり、文字境界情報を跨ぐ直前に接触された文字に設定される。具体的には、図１４の４行目までと同様に動作した後、５行目に示すように「物心両面の」まで行った時に設定された文字境界情報を跨ぐため「ブルッ」と触感を呈示する。また、この時点でリリースされると、選択範囲は「物心両面」となる。

図１５は、実施例６および実施例７の動作を説明するフローチャートの一例である。まず、文章解析部１０は、文章全体の解析を行い、文章を文字種／文節／語句／単語毎に区切って、記憶部５に保存する（Ｓ４０１）。次に、制御部４は、押下体（本実施例ではユーザの指Ａ）がタッチパネル部２へ接触したか否かを検出する（Ｓ４０２）。指Ａがタッチパネル部２へ接触したことを検出した場合（Ｙｅｓの場合）、文章解析部１０は、指Ａの接触位置が、表示部１に表示される文字列上であるか否かを判定し（Ｓ４０３）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓ場合）、範囲指定部７は、指Ａの接触位置にある文字を始点として決定する（Ｓ４０４）。指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ４０２のタッチパネルへの指Ａの接触検出に戻る。

次に、制御部４は、タッチパネル部２から指Ａがリリースされたか否かを検出する（Ｓ４０５）。指Ａのリリースが検出された場合（Ｙｅｓの場合）、実施例６では、指Ａが接触していた文字を文字範囲選択の終点として設定し、実施例７では、文字境界情報を跨ぐ前に指Ａが接触していた文字を文字範囲選択の終点として設定する（Ｓ４０６）。

制御部４は、Ｓ４０５で指Ａのリリースが検出されない場合（Ｎｏの場合）は、押下体の座標の移動（本実施例では指Ａの移動）の検出を判定する（Ｓ４０７）。指Ａの移動が検出された場合（Ｙｅｓの場合）、文章解析部１０は、指Ａの移動した先が表示部１に表示される文字列上であるか否かを判定し（Ｓ４０８）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、指Ａが文字境界情報を跨いだか否かの検出を行い（Ｓ４０９）、指Ａが文字境界情報を跨いだ場合（Ｙｅｓの場合）は、文字種／文節／語句／単語情報を判定する（Ｓ４１０）。Ｓ４０７で指Ａの移動が検出されない場合（Ｎｏの場合）、および、Ｓ４０８で指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）、および、Ｓ４０９で指Ａが文字境界情報を跨いでいない場合（Ｎｏの場合）は、制御部４は、Ｓ４０５の指Ａのリリース検出に戻る。更に、制御部４は、Ｓ４１０の判定結果に基づいて触感呈示部３に触感の呈示を指示し（Ｓ４１１）、Ｓ４０５の指Ａのリリース検出に戻る。

（実施例８）
図１６は、範囲選択の実施例８の動作を説明する図である。実施例８では、表示されるＷｅｂページの全ての文書の構造を単語、文節などの単語・文節情報に予め解析しておく。そして、指Ａで文字列の範囲選択を行い、指Ａの接触位置が、表示されている文字列上のある文字から次の文字に移った際に、各文字の予め解析を行った単語・文節情報を比較し、異なっている場合には、単語・文節情報に基づき指Ａに触感を呈示する。また、文字列の範囲選択の終点は、リリースを検出する直前に触感が呈示された文字に設定される。具体的には、１行目に示すように「全従業員の物心両面の幸福を追求すると同時に、」という文章の場合、文章解析部１０にて２行目に示すように「全従業員の／物心両面の／幸福を／追求すると／同時に／、」のように単語・文節情報を入れて区切る。そして、３行目に示すように指Ａが「物」に対応する位置に接触し、４行目に示すように指Ａでなぞっていき、５行目に示すように「物心両面の幸」まで行った時に設定された単語・文節情報が異なるため「ブルッ」と触感を呈示する。また、この時点でリリースされると、選択範囲は「物心両面の幸」となる。

（実施例９）
図１７は、範囲選択の実施例９の動作を説明する図である。実施例９では、実施例８のときと同様に文字列の選択を行うが、文字列の範囲選択の終点は、リリースを検出する直前に接触していた文字の単語・文節情報を有する文字列に隣接し、リリースを検出する直前に接触していた文字の単語・文節情報から１つ前の単語・文節情報を有する文字に設定される。具体的には、図１６の４行目までと同様に動作した後、５行目に示すように「物心両面の幸」まで行った時に設定された文字境界情報を跨ぐため「ブルッ」と触感を呈示する。また、この時点でリリースされると、選択範囲は「物心両面の」となる。

図１８は、実施例８および実施例９の動作を説明するフローチャートの一例である。まず、文章解析部１０は、文章全体の解析を行い、文章を文節／語句／単語毎に区切って、記憶部５に保存する（Ｓ５０１）。次に、制御部４は、押下体（本実施例ではユーザの指Ａ）がタッチパネル部２へ接触したか否かを検出する（Ｓ５０２）。指Ａがタッチパネル部２へ接触したことを検出した場合（Ｙｅｓの場合）、文章解析部１０は、指Ａの接触位置が、表示部１に表示される文字列上であるか否かを判定し（Ｓ５０３）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓ場合）、指Ａの接触位置にある文字の文節／語句／単語情報を判定する（Ｓ５０４）。指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ５０２のタッチパネルへの指Ａの接触検出に戻る。次に、制御部４は、Ｓ５０４で判定を行った文節／語句／単語情報を文字種格納部９に保存し（Ｓ５０５）、範囲指定部７は、Ｓ５０４で判定に用いた文字を文字列範囲選択の始点として設定する（Ｓ５０６）。

次に、制御部４は、タッチパネル部２から指Ａがリリースされたか否かを検出する（Ｓ５０７）。指Ａのリリースが検出された場合（Ｙｅｓの場合）、範囲指定部７は、実施例８では、リリースを検出する前に接触していた文字を文字範囲選択の終点として設定し、実施例９では、リリースを検出する直前に接触していた文字の単語・文節情報を有する文字列に隣接し、リリースを検出する直前に接触していた文字の単語・文節情報から１つ前の単語・文節情報を有する文字を文字範囲選択の終点として設定する（Ｓ５０８）。

制御部４は、リリースが検出されない場合（Ｎｏの場合）は、押下体の座標の移動（本実施例では指Ａの移動）の検出を判定する（Ｓ５０９）。指Ａの移動が検出された場合（Ｙｅｓの場合）、文字判断部６は、指Ａの移動した先が表示部１に表示される文字列上であるか否かを判定し（Ｓ５１０）、指Ａの接触位置が文字列上であると判定した場合（Ｙｅｓの場合）は、指Ａの接触位置にある文字の文節／語句／単語情報を判定する（Ｓ５１１）。Ｓ５０９で指Ａの移動が検出されない場合（Ｎｏの場合）、および、Ｓ５１０で指Ａの接触位置が文字列上でないと判定した場合（Ｎｏの場合）は、制御部４は、Ｓ５０７の指Ａのリリース検出に戻る。

次に、制御部４は、文字種格納部９に保存された文節／語句／単語情報と、Ｓ５１１で判定を行った文字の文節／語句／単語情報が同じであるか否かを判定し（Ｓ５１２）、保存された文節／語句／単語情報とＳ５１１で判定を行った文節／語句／単語情報が同じでないと判定した場合（Ｎｏの場合）は、Ｓ５１１の判定結果に基づいて触感呈示部３に触感の呈示を指示する（Ｓ５１３）。保存された文節／語句／単語情報とＳ５１１で判定を行った文節／語句／単語情報が同じであると判定した場合（Ｙｅｓの場合）は、制御部４は、Ｓ５０７の指Ａのリリース検出に戻る。更に、制御部４は、Ｓ５１１で判定を行った文節／語句／単語情報を文字種格納部９に上書保存し（Ｓ５１４）、Ｓ５０７の指Ａのリリース検出に戻る。

このように、タッチパネル付きディスプレイに表示されている文字列を指でなぞることにより範囲選択を行う際に、選択範囲を表示するとともに、タッチパネルを押下する指に対して触感を呈示するので、指で文字が隠れていても、選択している範囲の始点と終点、さらには選択している文字・単語・文節等の区切りを確認することができ、容易に目的とする文字列の範囲を選択することができるようになる。また、上述したリリースのタイミングと範囲選択の終点との関係をユーザが選択できるようにすることで、あるいは上述した種々の呈示パターンや呈示方法を選択できるようにすることで、ユーザにとって使い勝手のよいものとすることができる。

１表示部
２タッチパネル部
３触感呈示部
４制御部
５記憶部
６文字判断部
７範囲指定部
８文字種別触感テーブル
９文字種格納部
１０文章解析部

Claims

文字列を含む情報を表示する表示部と、前記表示部の前面に配設され、前記表示部に表示された文字列に対する押下体の接触操作を受け付けるタッチパネル部と、前記タッチパネル部に接触する押下体に対して触感を呈示する触感呈示部と、前記表示部、前記タッチパネル部、および前記触感呈示部の制御を行う制御部とを有する表示装置であって、
前記制御部は、
前記タッチパネル部において、受け付けた前記接触操作の接触位置が前記表示部に表示された文字列上であると判断された場合に、前記接触位置にある文字の文字種を判断する文字判断部と、
前記タッチパネル部における前記接触操作に基づいて、始点と終点を決定することにより範囲指定を行う範囲指定部と、を有し、
前記範囲指定部により範囲指定を行う際に、前記文字判断部から得られる判断結果に基づいて、前記触感呈示部を制御することを特徴とする表示装置。
前記文字判断部が判断する文字種は、全角漢字、半角漢字、全角ひらがな、半角ひらがな、全角カタカナ、半角カタカナ、全角英字、半角英字、全角数字、半角数字、全角記号、半角記号、絵文字、句読点、および文字フォント（字体、斜体、太字、文字サイズ、文字色、文字背景色、文字飾り、下線）のうちのいずれかであり、
前記文字種毎に異なる触感パターンを記憶する記憶部を有し、
前記制御部は、前記文字判断部が判断する文字種に対応する前記記憶部に記憶された触感パターンに基づいて前記触感呈示部に触感を呈示するように指示することを特徴とする、請求項１に記載の表示装置。
前記制御部は、前記文字判断部が一文字検出する毎に前記触感呈示部に対して触感の呈示を指示することを特徴とする、請求項１に記載の表示装置。
前記制御部は、前記文字判断部が判断した文字種が変わる毎に前記触感呈示部に対して触感の呈示を指示することを特徴とする、請求項１に記載の表示装置。
文字列を含む情報を表示する表示部と、前記表示部の前面に配設され、前記表示部に表示された文字列に対する押下体の接触操作を受け付けるタッチパネル部と、前記タッチパネル部に接触する押下体に対して触感を呈示する触感呈示部と、前記表示部、前記タッチパネル部、および前記触感呈示部の制御を行う制御部とを有する表示装置であって、
前記制御部は、
前記文字列の構造解析を行い、前記タッチパネル部において、受け付けた前記接触操作の接触位置にある前記表示部に表示された単語や語句、文節、あるいは文字種により文字列を区分けする文章解析部と、
前記タッチパネル部における接触操作に基づいて、始点と終点を決定することにより範囲指定を行う範囲指定部と、を有し、
前記範囲指定部により範囲指定を行う際に、前記文章解析部から得られる区分けに基づいて、前記触感呈示部を制御することを特徴とする表示装置。
前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の変わる毎に、前記触感呈示部に対して触感の呈示を指示することを特徴とする、請求項５に記載の表示装置。
前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の最終文字上にくる毎に、前記触感呈示部に対して触感の呈示を指示することを特徴とする、請求項５に記載の表示装置。
異なる触感パターンを記憶する記憶部を有し、
前記制御部は、前記タッチパネル部の接触位置が前記文章解析部により区分けした区間の変わる毎に、または前記文章解析部により区分けした区間の最終文字上にくる毎に、前記記憶部に記憶された触感パターンに基づいて隣接区間で少なくとも異なる触感パターンとなるように前記触感呈示部に対して指示することを特徴とする、請求項５に記載の表示装置。