JP5924579B2 - Viewpoint guidance device and electronic book terminal - Google Patents

Viewpoint guidance device and electronic book terminal Download PDF

Info

Publication number
JP5924579B2
JP5924579B2 JP2012081560A JP2012081560A JP5924579B2 JP 5924579 B2 JP5924579 B2 JP 5924579B2 JP 2012081560 A JP2012081560 A JP 2012081560A JP 2012081560 A JP2012081560 A JP 2012081560A JP 5924579 B2 JP5924579 B2 JP 5924579B2
Authority
JP
Japan
Prior art keywords
information
viewpoint
character
stop
location candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012081560A
Other languages
Japanese (ja)
Other versions
JP2013210907A (en
Inventor
林 潤 平 小
林 潤 平 小
見 和 男 伏
見 和 男 伏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012081560A priority Critical patent/JP5924579B2/en
Publication of JP2013210907A publication Critical patent/JP2013210907A/en
Application granted granted Critical
Publication of JP5924579B2 publication Critical patent/JP5924579B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、電子書籍を閲覧する読者の視点を誘導する視点誘導装置と、この視点誘導装置を内蔵する電子書籍端末とを備える。   The present invention includes a viewpoint guidance device that guides the viewpoint of a reader who browses an electronic book, and an electronic book terminal that incorporates this viewpoint guidance device.

近年、市場の要求や、電子部品の高機能化および低価格化に伴って、電子書籍市場が活性化している。電子書籍は、かさばらずに多くの書籍を持ち運べて、いつでもどこでも簡易に閲覧できるという大きな利点がある。ユーザは、電子書籍のデータ形式に合致した携帯機器やPCなどの種々の電子書籍端末で電子書籍ビューアを起動して、場所および時間を問わず、任意の電子書籍を閲覧することができる。   In recent years, the electronic book market has been activated along with market demands and higher functionality and lower prices of electronic components. Electronic books have the great advantage of being able to carry many books without being bulky and easily browse them anytime and anywhere. A user can start an electronic book viewer on various electronic book terminals such as a portable device or a PC that matches the data format of the electronic book, and can browse any electronic book regardless of location and time.

このように、電子書籍は、携帯が容易であることから、実際の本を閲覧する場合よりも、外乱の多い環境下で閲覧する機会が増える。ところが、歩行中や乗り物の中で電子書籍を閲覧する場合、電子書籍端末を持つ手が揺れたり、人間の視線が電子書籍端末からそれやすくなるため、目と表示画面の距離が変動してしまう。   As described above, since the electronic book is easy to carry, there are more opportunities to browse in an environment with much disturbance than when browsing an actual book. However, when browsing an e-book while walking or in a vehicle, the hand holding the e-book terminal is shaken, or the human gaze is more likely to deviate from the e-book terminal, so the distance between the eyes and the display screen varies. .

また、電子書籍は、屋内だけでなく、屋外で閲覧されることも多く、周囲の明るさも大きく変化する。また、照明光源の種類も、太陽光や蛍光灯、白熱灯など、目への負担が異なる様々な光源の下で読まれる。さらに、電子書籍端末の種類や各ユーザの生活スタイルにより、座って閲覧する場合や、立って閲覧する場合、寝転がって閲覧する場合、急いで閲覧する場合、精読する場合など、閲覧の仕方も様々である。   In addition, electronic books are often viewed not only indoors but also outdoors, and the brightness of the surroundings changes greatly. The type of illumination light source can also be read under various light sources such as sunlight, fluorescent lamps, and incandescent lamps that have different loads on the eyes. In addition, depending on the type of electronic book terminal and the lifestyle of each user, there are various ways to browse, such as when browsing while sitting, browsing while standing, browsing when lying down, browsing quickly, or reading carefully. It is.

紙の書籍は、各頁内の文字の印字態様は固定であり、変更はできない。例えば、視力の弱い人が読む場合でも、その文字のサイズを変更することはできない。このような紙の書籍の物理的制約から、今までは、「紙に印字された文字を読みやすい環境」を読者自身が構築してきた。例えば、暗闇では読めないので読書灯を用意するなどして部屋を明るくしたり、文字が小さくて読めないのでメガネをかけたり、といった行動もその一つである。   For paper books, the printing mode of characters in each page is fixed and cannot be changed. For example, even when a person with weak eyesight reads, the size of the character cannot be changed. Until now, readers themselves have created an “environment that makes it easy to read characters printed on paper” because of the physical constraints of paper books. For example, it is not possible to read in the dark. For example, a reading light is provided to brighten the room, or characters are too small to read and glasses are put on.

これに対して、電子書籍は、本来的には文字の配置を変更可能で、また、文字の拡大縮小や背景色の変更などの表示形態の変更は、一般的なビューアが標準で備えている。   In contrast, e-books can essentially change the arrangement of characters, and general viewers have standard changes in display form such as character enlargement / reduction and background color change. .

ところが、現在の電子書籍の文字の配置は、完成された紙の書籍の組版を再現したものがほとんどである。つまり、文字サイズや背景色を変更することはできても、電子書籍本体の文字配置をわざと変更できなくしていることも多く、文字配置を「動的に変更できる」という前提で考えられた組版の技術は発展途上である。   However, most current electronic book character layouts reproduce a typesetting of a completed paper book. In other words, even though the text size and background color can be changed, it is often the case that the text layout of the e-book itself cannot be changed intentionally, and the typesetting was based on the premise that the text layout can be changed dynamically. This technology is still developing.

特開2009−301206号公報JP 2009-301206 A

http://www.sokudoku.gr.jp/rapid/outline/http://www.sokudoku.gr.jp/rapid/outline/

一般的に、人間の視覚は、図4に示すように視野内の全ての文字にピントが合っていると感じているが、実際は、中心窩とよばれる視野の中心部分のみ解像度が高く、その周辺の周辺視野とよばれる領域では解像度が低くなっており、周辺視野では図示のように大部分がぼやけた状態で視認されている。ここで重要なのは、解像度の高い中心窩は範囲が狭いこと、および解像度の低い周辺視野では文字を「文字」としては認識できないことである。そのため、文字を「読む」ためには、中心窩を読みたい文字に当てる必要がある。   In general, human vision perceives that all characters in the visual field are in focus as shown in FIG. 4, but in reality, only the central part of the visual field called the fovea has a high resolution. The resolution is low in the peripheral so-called peripheral visual field, and most of the peripheral visual field is visually recognized as shown in the figure. What is important here is that the high-resolution fovea has a narrow range, and the character cannot be recognized as a “character” in the peripheral vision with a low resolution. Therefore, in order to “read” a character, it is necessary to hit the character that wants to read the fovea.

図5は非特許文献1に記載された視点トラッキング結果を示す図である。図5のハッチング部分は、読者が中心窩を一定時間動かさなかった場所であり、この動作を本明細書では「停留」と呼ぶ。また、停留場所から次の停留場所までの移動を本明細書ではサッケードと呼ぶ。読者は、読書中に停留とサッケードを繰り返していることがわかる。   FIG. 5 is a diagram illustrating the viewpoint tracking result described in Non-Patent Document 1. The hatched portion in FIG. 5 is a place where the reader has not moved the fovea for a certain period of time, and this operation is referred to as “stop” in this specification. In addition, the movement from one stop location to the next stop location is referred to as a saccade in this specification. Readers can see that they are repeatedly stopping and saccade while reading.

ここで重要なのは、人間の視点は「すべての文字に停留しているわけではない」ことである。このことは、人間が読書中に文字として認識しているのは一部であり、脳の何らかのアルゴリズムによって認識すべき文字と読み飛ばしてもよい文字を区別し、かつ読み飛ばした文字も脳にて補完していることを意味する。つまり、読書の効率を考えると、脳が補完できる文字は読み飛ばすべきで、無駄な停留とサッケードは極力抑制すべきである。   The important point here is that the human perspective is not "not all characters". This is because some humans recognize characters as characters during reading, distinguish between characters that should be recognized by some algorithm of the brain and characters that can be skipped, and characters that are skipped are also in the brain. Means that In other words, considering the efficiency of reading, characters that can be complemented by the brain should be skipped, and unnecessary stops and saccades should be suppressed as much as possible.

図6は読者の停留中の行動を示している。読者は、停留中には、(1)中心窩での文字認識と、(2)周辺視野での次に中心窩を移動させるべき場所の探索(サッケード先探索)と、を同時に実行している。このことは、ある一回の停留でサッケード先が見つけられない場合は、認識する必要のない文字に中心窩を当てながら少しずつ目的の移動先を探っていくという無駄なサッケードが多発することを意味する。   FIG. 6 shows the reader's behavior during the stoppage. The reader is simultaneously performing (1) character recognition in the fovea and (2) searching for a place to move the fovea in the peripheral field of view (saccade destination search) while stationary. . This means that if a saccade destination cannot be found at a single stop, there will be many useless saccades where the target destination is searched little by little while placing the fovea on a character that does not need to be recognized. means.

図7は無駄なサッケードが多発しがちな例を示している。一般的な文書は、限られた紙面に文字を配置するために「改行」を導入し、文字列を分断して紙面に落とし込んでいる。この改行箇所では、行末から次の行の行頭へ視点をジャンプさせる必要がある。つまり、読者は、まず中心窩で「行末」を認識した後、次の行の「行頭」を周辺視野で探索し、サッケードすることで中心窩を行頭に合わせる、といった動作が必要となる。もし行末に中心窩を置いている時点で行頭を捉えられない場合、行頭を探すための無駄なサッケードが多発することになる。   FIG. 7 shows an example in which wasteful saccades tend to occur frequently. In general documents, “line feed” is introduced in order to place characters on a limited page, and the character string is divided and dropped on the page. At this line break, it is necessary to jump the viewpoint from the end of the line to the beginning of the next line. That is, the reader first needs to recognize the “end of line” in the fovea, and then search for the “start of line” in the next line in the peripheral field of view and saccade to align the fovea with the start of the line. If the beginning of the line is not captured when the fovea is placed at the end of the line, there will be many useless saccades to find the line.

電子書籍は、紙の書籍と異なり、各頁内の文字情報や画像情報の表示形態を比較的自由に変更できるにもかかわらず、従来の電子書籍端末は、読者の視点の無駄な停留とサッケードを抑制することを目的として、各頁内の文字情報や画像情報の表示形態を変更するようなことは行っていない。   Unlike electronic books, e-book readers can change the display format of text information and image information within each page relatively freely. In order to suppress this, the display form of character information and image information in each page is not changed.

特許文献1には、ユーザの視線移動を抑制する技術が開示されているが、ユーザの視点検出は行っておらず、ユーザの視点を表示画面内の特定位置に置くことを前提としている。したがって、特許文献1の開示技術を利用しても、上述した視点の無断な停留とサッケードを抑制することはできない。   Patent Document 1 discloses a technique for suppressing the movement of the user's line of sight, but does not detect the user's viewpoint, and assumes that the user's viewpoint is placed at a specific position in the display screen. Therefore, even if the technique disclosed in Patent Document 1 is used, the above-described unauthorized stopping and saccade of the viewpoint cannot be suppressed.

本発明は、上述した問題点を解決するためになされたものであり、読者の視点の無駄な停留とサッケードを抑制して、読者の手を煩わせることなく電子書籍を閲覧しやすくした視点誘導装置および電子書籍端末を提供するものである。   The present invention has been made to solve the above-mentioned problems, and is a viewpoint guidance that makes it easy to browse an electronic book without bothering the reader's hand by suppressing wasteful stopping and saccade of the reader's viewpoint. An apparatus and an electronic book terminal are provided.

上記の課題を解決するために、本発明の一態様では、電子書籍データを表示させる表示画面内における読者の視点を検出する視点検出部と、
前記視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶された停留場所候補に基づいて、前記停留検出部で検出された停留場所の次に前記視点が移動して停留すべき停留場所候補の文字記号数字情報または画像情報を特定する停留場所候補特定部と、
前記特定された停留場所候補の文字記号数字情報または画像情報の表示形態を変更する表示形態変更部と、を備えることを特徴とする視点誘導装置が提供される。
In order to solve the above-described problem, in one aspect of the present invention, a viewpoint detection unit that detects a reader's viewpoint in a display screen that displays electronic book data;
A stop detection unit that detects that the viewpoint has stopped at an arbitrary place in the display screen for a predetermined time or more;
Of the character symbol number information and image information included in the electronic book data, a stop location candidate storage unit that stores character symbol number information and image information that the reader's viewpoint should stop for the predetermined time or more as a stop location candidate,
Based on the stop location candidate stored in the stop location candidate storage unit, the character / numeric information or image information of the stop location candidate to be stopped by moving the viewpoint next to the stop location detected by the stop detection unit A stop location candidate identifying unit that identifies
And a display form changing unit for changing the display form of the character / numeric information or image information of the specified stop location candidate.

また、本発明の一態様では、表示装置と、
読者の視点検出に用いることが可能なセンサと、
サーバとの間で無線通信を行うことが可能な通信部と、
読者が種々の情報を入力する入力部と、
電子書籍データを前記表示装置の表示画面に表示させる表示制御部と、
視点誘導装置と、を備え、
前記視点誘導装置は、
前記表示装置の表示画面内における読者の視点を検出する視点検出部と、
前記視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶された停留場所候補に基づいて、前記停留検出部で検出された停留場所の次に前記視点が移動して停留すべき停留場所候補の文字記号数字情報または画像情報を特定する停留場所候補特定部と、
前記特定された停留場所候補の文字記号数字情報または画像情報の表示形態を変更する表示形態変更部と、を有することを特徴とする電子書籍端末が提供される。
In one embodiment of the present invention, a display device;
A sensor that can be used to detect the reader's viewpoint;
A communication unit capable of wireless communication with the server;
An input section for the reader to input various information;
A display control unit for displaying electronic book data on the display screen of the display device;
A viewpoint guidance device,
The viewpoint guidance device includes:
A viewpoint detector for detecting the viewpoint of the reader in the display screen of the display device;
A stop detection unit that detects that the viewpoint has stopped at an arbitrary place in the display screen for a predetermined time or more;
Of the character symbol number information and image information included in the electronic book data, a stop location candidate storage unit that stores character symbol number information and image information that the reader's viewpoint should stop for the predetermined time or more as a stop location candidate,
Based on the stop location candidate stored in the stop location candidate storage unit, the character / numeric information or image information of the stop location candidate to be stopped by moving the viewpoint next to the stop location detected by the stop detection unit A stop location candidate identifying unit that identifies
There is provided an electronic book terminal comprising: a display form changing unit that changes a display form of the character / numeric information or image information of the specified stop location candidate.

本発明によれば、読者の視点の無駄な停留とサッケードを抑制できるため、読者の手を煩わせることなく電子書籍を閲覧しやすくすることができる。   According to the present invention, wasteful stopping and saccade from the reader's viewpoint can be suppressed, so that it is possible to easily browse an electronic book without bothering the reader.

本発明の一実施形態に係る視点誘導装置1を内蔵する電子書籍端末2の概略構成を示すブロック図。The block diagram which shows schematic structure of the electronic book terminal 2 which incorporates the viewpoint guidance apparatus 1 which concerns on one Embodiment of this invention. 図1の電子書籍端末2の処理動作を示すフローチャート。The flowchart which shows the processing operation of the electronic book terminal 2 of FIG. (a)、(b)および(c)は変更後の表示形態の一例を示す図。(A), (b) and (c) is a figure which shows an example of the display form after a change. 人間の視野の一例を示す図。The figure which shows an example of a human visual field. 非特許文献1に記載された視点トラッキング結果を示す図。The figure which shows the viewpoint tracking result described in the nonpatent literature 1. 読者の停留中の行動を示す図。The figure which shows the action during a reader's stop. 無駄なサッケードが多発しがちな例を示す図。The figure which shows the example in which a useless saccade tends to occur frequently.

以下、本発明の実施の形態について、詳細に説明する。図1は本発明の一実施形態に係る視点誘導装置1を内蔵する電子書籍端末2の概略構成を示すブロック図である。   Hereinafter, embodiments of the present invention will be described in detail. FIG. 1 is a block diagram showing a schematic configuration of an electronic book terminal 2 incorporating a viewpoint guidance device 1 according to an embodiment of the present invention.

図1の電子書籍端末2は、電源を投入すると、ユーザが意識しなくても、定期的にサーバ20と通信を行って、電子書籍データの更新を行う。また、ユーザの指示の下でサーバ20と通信を行って、新たな電子書籍データのダウンロードや削除を行うことも可能である。   When the electronic book terminal 2 in FIG. 1 is turned on, the electronic book data is updated by periodically communicating with the server 20 without being conscious of the user. It is also possible to communicate with the server 20 under the user's instruction to download or delete new electronic book data.

図1の電子書籍端末2は、電子書籍を閲覧することに特化した専用端末でもよいし、汎用のOS(オペレーティングシステム)上で種々のアプリケーションソフトウェア(以下、アプリと呼ぶ)を実行させることができるPCやタブレット、スマートフォン等の電子機器でもよい。汎用のOS上で動作する電子機器を電子書籍端末2として利用する場合、電子書籍ビューアの機能を実現するアプリをOS上で起動することになる。また、PCを電子書籍端末2として利用する場合、そのPCは携帯可能なPCでもよいし、据置型のPCでもよい。このように、電子書籍端末2は、必ずしも携帯可能な電子機器である必要はない。   The electronic book terminal 2 in FIG. 1 may be a dedicated terminal specialized for browsing electronic books, or may execute various application software (hereinafter referred to as applications) on a general-purpose OS (operating system). It may be an electronic device such as a PC, tablet, or smartphone. When an electronic device operating on a general-purpose OS is used as the electronic book terminal 2, an application that realizes the function of the electronic book viewer is started on the OS. When a PC is used as the electronic book terminal 2, the PC may be a portable PC or a stationary PC. Thus, the electronic book terminal 2 is not necessarily a portable electronic device.

図1の電子書籍端末2は、表示装置3と、表示装置3の表示画面に表示させる情報を生成する表示制御部4と、読者の視点検出に用いることが可能なセンサ5と、サーバ20との間で無線通信を行う通信部6と、ユーザが種々の情報を入力する入力部7と、入力部7に入力された情報に基づいてユーザの入力情報を解析する操作解析部8と、電子書籍データを記憶する電子書籍記憶部9と、電子書籍端末2内の各部を制御するメインコントローラ10と、視点誘導装置1とを備えている。   The electronic book terminal 2 of FIG. 1 includes a display device 3, a display control unit 4 that generates information to be displayed on the display screen of the display device 3, a sensor 5 that can be used to detect a reader's viewpoint, and a server 20. A communication unit 6 for performing wireless communication, an input unit 7 for a user to input various information, an operation analysis unit 8 for analyzing user input information based on information input to the input unit 7, and an electronic The electronic book storage part 9 which memorize | stores book data, the main controller 10 which controls each part in the electronic book terminal 2, and the viewpoint guidance apparatus 1 are provided.

メインコントローラ10は、通信部6を介してサーバ20と通信を行う制御や、センサ5からの出力信号を視点誘導装置1に送信する制御や、視点誘導装置1からの出力信号に基づいて表示制御部4に表示画面の変更を指示する処理などを行う。   The main controller 10 performs control for communicating with the server 20 via the communication unit 6, control for transmitting an output signal from the sensor 5 to the viewpoint guidance device 1, and display control based on the output signal from the viewpoint guidance device 1. Processing for instructing the unit 4 to change the display screen is performed.

視点誘導装置1は、視点検出部11と、停留検出部12と、電子書籍メタ情報記憶部13と、停留場所候補特定部14と、表示形態変更部15とを有する。   The viewpoint guidance device 1 includes a viewpoint detection unit 11, a stop detection unit 12, an electronic book meta information storage unit 13, a stop location candidate specification unit 14, and a display form change unit 15.

視点検出部11は、センサ5の出力信号に基づいて表示画面内におけるユーザ(以下、読者と呼ぶ)の視点を検出する。   The viewpoint detection unit 11 detects the viewpoint of the user (hereinafter referred to as a reader) in the display screen based on the output signal of the sensor 5.

停留検出部12は、読者の視点が表示画面内の任意の場所に所定時間以上停留したことを検出する。一般的な人間の文字認識時間は、約0.2〜0.3秒と言われているため、上述した所定時間も、例えば0.2〜0.3秒程度に設定する。   The stop detection unit 12 detects that the reader's viewpoint has stopped at an arbitrary place in the display screen for a predetermined time or more. Since the general human character recognition time is said to be about 0.2 to 0.3 seconds, the above-mentioned predetermined time is also set to about 0.2 to 0.3 seconds, for example.

電子書籍メタ情報記憶部13は、電子書籍データに付随したメタ情報を記憶する。メタ情報には、電子書籍データを表示するための種々の設定情報、例えば、表示画面内の文字数、行数、フォントサイズ、フォント種別、文字装飾情報などが含まれる。この他、電子書籍メタ情報記憶部13は、本実施形態に関連のあるメタ情報を記憶するために、停留場所候補記憶部16と、追加停留情報記憶部17と、読み飛ばし情報記憶部18とを有する。   The electronic book meta information storage unit 13 stores meta information attached to the electronic book data. The meta information includes various setting information for displaying the electronic book data, for example, the number of characters in the display screen, the number of lines, the font size, the font type, and character decoration information. In addition, the electronic book meta-information storage unit 13 stores a stop location candidate storage unit 16, an additional stop information storage unit 17, and a skip information storage unit 18 in order to store meta information related to the present embodiment. Have

停留場所候補記憶部16は、電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する。この停留場所候補記憶部16に記憶される停留場所候補は、サーバ20から定期的に送信されて来る情報である。   The stop location candidate storage unit 16 stores, as character stop location candidates, character symbol number information and image information that should be stopped by the reader's viewpoint for a predetermined time or more, out of the character symbol numeric information and image information included in the electronic book data. The stop location candidates stored in the stop location candidate storage unit 16 are information periodically transmitted from the server 20.

ここで、文字記号数字情報とは、電子書籍端末2で表示可能な任意の文字、記号および数字であり、ASCIIコードのように汎用コード化された情報を指す。これに対して、画像情報とは、図や表、グラフ、写真、イラストなど、汎用コード化されていない種々の画像形式の情報を指す。   Here, the character / symbol / numeric information refers to arbitrary characters, symbols, and numerals that can be displayed on the electronic book terminal 2, and refers to information that is converted into a general-purpose code such as an ASCII code. On the other hand, image information refers to information in various image formats that are not general-purpose coded, such as diagrams, tables, graphs, photographs, and illustrations.

サーバ20は、初期状態では、既知のアルゴリズムを用いて電子書籍データの言語解析を行って、一般の読者が視点を所定時間以上置くと思われる文字記号数字情報と画像情報を特定して、特定した各情報を停留場所候補として停留場所候補記憶部16に記憶する。停留場所候補を選定するに当たっては、上述した言語解析による手法だけでなく、特定の単語(例えば接続詞)を無条件で停留場所候補としたり、繰り返し出現する文字列や段落は停留場所候補から除外したり、個々の読者の過去の履歴を参照したり、読者の年齢や性別等に応じて停留場所候補の選定手法を変える等、任意の手法が採用可能である。   In the initial state, the server 20 performs linguistic analysis of electronic book data using a known algorithm, and identifies and identifies character / numeric information and image information that a general reader is expected to put a viewpoint on for a predetermined time or more. Each piece of information is stored in the stop location candidate storage unit 16 as a stop location candidate. In selecting a stop location candidate, not only the above-mentioned method by language analysis, but also a specific word (for example, a conjunction) is unconditionally selected as a stop location candidate, and repeated character strings and paragraphs are excluded from the stop location candidates. Arbitrary methods can be adopted, such as referring to the past history of individual readers, or changing the selection method of the stop location candidates according to the age and sex of the readers.

また、後述するように、サーバ20は、電子書籍端末2から定期的に送信されてくる情報に基づいて、停留場所候補記憶部16に記憶された停留場所候補を更新するようにしてもよい。このように、停留場所候補記憶部16には学習効果を持たせてもよい。   As will be described later, the server 20 may update the stop location candidates stored in the stop location candidate storage unit 16 based on information periodically transmitted from the electronic book terminal 2. Thus, the stop location candidate storage unit 16 may have a learning effect.

追加停留情報記憶部17は、電子書籍端末2の読者が実際に電子書籍を閲覧する際に視点を所定時間以上停留させた文字記号数字情報および画像情報を停留場所情報として記憶する。読者が視点を所定時間以上停留させる文字記号数字情報および画像情報は、読者ごとに異なっており、サーバ20が予め用意する停留場所候補記憶部16に記憶されている停留場所候補に必ずしも視点を停留させるとは限らない。そこで、本実施形態では、読者が実際に視点を所定時間以上停留させた停留場所情報を追加停留情報記憶部17に記憶させることにしたものである。   The additional stop information storage unit 17 stores, as stop location information, character / numeric information and image information whose viewpoints stop for a predetermined time or longer when the reader of the electronic book terminal 2 actually browses the electronic book. Character / numeric information and image information for which the reader stops the viewpoint for a predetermined time or more are different for each reader, and the viewpoint is not necessarily stopped at the stop location candidate stored in the stop location candidate storage unit 16 prepared in advance by the server 20. Not always. Therefore, in the present embodiment, the stop location information where the reader actually stops the viewpoint for a predetermined time or longer is stored in the additional stop information storage unit 17.

読み飛ばし情報記憶部18は、停留場所候補記憶部16に記憶された停留場所候補のうち、読者が視点を所定時間未満しか停留させなかった停留場所候補を読み飛ばし情報として記憶する。   The skip skip information storage unit 18 stores, as skip skip information, stop location candidates that the reader has stopped at the viewpoint for less than a predetermined time among the stop location candidates stored in the stop location candidate storage unit 16.

追加停留情報記憶部17と読み飛ばし情報記憶部18には、読者が特別な入力操作をしなくても、停留場所情報と読み飛ばし情報がそれぞれ記憶され、これらの情報は定期的にサーバ20に送信される。サーバ20は、電子書籍端末2から送られてきた停留場所情報と読み飛ばし情報を、予め用意していた停留場所候補情報に合成させて、新たな停留場所候補情報を生成して、定期的に電子書籍端末2に送信する。   The additional stop information storage unit 17 and the read skip information storage unit 18 store stop location information and read skip information, respectively, even if the reader does not perform a special input operation. Sent. The server 20 combines the stop location information and skip information sent from the electronic book terminal 2 with previously prepared stop location candidate information to generate new stop location candidate information, and periodically It transmits to the electronic book terminal 2.

図2は図1の電子書籍端末2の処理動作を示すフローチャートである。このフローチャートは、電子書籍端末2の電源を投入して、読者が電子端末ビューアを起動させた時点で開始される。電子端末ビューアが起動している最中は、センサ5は、継続して読者の視点をトラッキングして、視点を検出する。視点を検出する手法には、種々の公知の手法が知られており、いずれの手法を用いてもよい。   FIG. 2 is a flowchart showing the processing operation of the electronic book terminal 2 of FIG. This flowchart is started when the electronic book terminal 2 is turned on and the reader activates the electronic terminal viewer. While the electronic terminal viewer is activated, the sensor 5 continuously tracks the reader's viewpoint and detects the viewpoint. Various known methods are known as the method for detecting the viewpoint, and any method may be used.

例えば、角膜反射方式では、人間の眼球の黒目と白目の反射率の違いを利用して視点の位置を検出する。角膜反射方式で用いられるセンサ5は、発光素子と受光素子を有し、発光素子から赤外光を読者の眼球に照射し、眼球からの反射光を受光素子で受光する。眼球の黒目は反射率が低く、白目は反射率が高い。このため、受光素子を水平(左右)方向に2個設ければ、黒目が右側の受光素子側に移動すると、右側の受光素子が受光する反射光の光量は左側の受光素子が受光する反射光の光量よりも少なくなる。これにより、眼球の左右方向の移動を検出できる。また、眼球が上下に移動した場合も、発光素子と眼球との高低差によって、左右2個の受光素子の反射光の光量の和が増加したり、減少したりするため、その増減量により、眼球が上に移動したか、あるいは下に移動したかを検出できる。   For example, in the corneal reflection method, the position of the viewpoint is detected using the difference in reflectance between the black eye and the white eye of the human eyeball. The sensor 5 used in the corneal reflection method has a light emitting element and a light receiving element, irradiates infrared light from the light emitting element to the reader's eyeball, and receives light reflected from the eyeball by the light receiving element. The black eye of the eyeball has a low reflectance, and the white eye has a high reflectance. For this reason, if two light receiving elements are provided in the horizontal (left and right) direction, when the black eye moves to the right light receiving element, the amount of reflected light received by the right light receiving element is the reflected light received by the left light receiving element. Less than the amount of light. Thereby, the movement of the eyeball in the left-right direction can be detected. Also, even when the eyeball moves up and down, the sum of the amount of reflected light of the two left and right light receiving elements increases or decreases due to the height difference between the light emitting element and the eyeball. It is possible to detect whether the eyeball has moved up or down.

このような視点検出の仕組みを利用して、まずは、センサ5内の2個の受光素子で読者の眼球からの反射光を受光し(ステップS1)、その受光量により、眼球の上下左右の移動を検出し、この検出結果から、読者の表示画面内の視点位置を検出する(ステップS2)。視点位置の検出は、より具体的には、表示装置3の表示画面内での座標位置を特定することにより行う。   Using such a viewpoint detection mechanism, first, reflected light from the reader's eyeball is received by the two light receiving elements in the sensor 5 (step S1), and the eyeball moves up, down, left, and right according to the amount of received light. And the viewpoint position in the reader's display screen is detected from the detection result (step S2). More specifically, the viewpoint position is detected by specifying a coordinate position in the display screen of the display device 3.

視点検出の手法が変われば、上述したステップS1,S2の処理内容も変わる可能性があるが、本実施形態では、公知の手法を用いて視点検出を行うことを前提としているため、他の手法による視点検出の処理手順の説明は割愛する。   If the viewpoint detection method changes, the processing contents of steps S1 and S2 described above may also change. However, in the present embodiment, it is assumed that viewpoint detection is performed using a known method. The description of the viewpoint detection processing procedure by means of is omitted.

センサ5を用いた視点位置の検出処理に並行して、電子書籍ビューアによる電子書籍表示処理と、視点誘導装置1による視点誘導処理とが行われる。この電子書籍表示処理と視点誘導処理も、電子書籍ビューアが起動している最中、継続して行われる。電子書籍表示処理はメインコントローラ10が行う処理であるのに対し、視点誘導処理は視点誘導装置1が行う処理である。   In parallel with the viewpoint position detection process using the sensor 5, an electronic book display process by the electronic book viewer and a viewpoint guidance process by the viewpoint guidance device 1 are performed. The electronic book display process and the viewpoint guidance process are also continuously performed while the electronic book viewer is activated. The electronic book display process is a process performed by the main controller 10, while the viewpoint guidance process is a process performed by the viewpoint guidance device 1.

電子書籍表示処理では、電子書籍記憶部9に記憶された電子書籍データと、電子書籍メタ情報記憶部13に記憶された電子書籍データの付属情報とを読み込んで(ステップS11)、これらの情報に基づいて、表示装置3に電子書籍を表示する(ステップS12)。   In the electronic book display process, the electronic book data stored in the electronic book storage unit 9 and the attached information of the electronic book data stored in the electronic book meta information storage unit 13 are read (step S11). Based on this, the electronic book is displayed on the display device 3 (step S12).

電子書籍データは、上述したように文字記号数字情報と画像情報とで構成されている。文字記号数字情報は、表示形態(フォントの種類、フォントサイズ、強調表示の有無など)を設定変更でき、画像情報の表示形態(サイズなど)も設定変更できる。これら文字記号数字情報や画像情報の表示形態の設定情報は、電子書籍メタ情報記憶部13に記憶されたメタ情報に記述されている。したがって、上述したステップS12では、電子書籍データ内の文字記号数字情報と画像情報の表示形態を、メタ情報に基づいて設定して表示装置3に表示する。   As described above, the electronic book data is composed of character / numeric information and image information. In the character / symbol / numeric information, the display form (font type, font size, presence / absence of highlighting, etc.) can be set and changed, and the display form (size etc.) of the image information can be changed. The setting information of the display form of the character symbol number information and the image information is described in the meta information stored in the electronic book meta information storage unit 13. Therefore, in step S12 described above, the display form of the character / numeric information and the image information in the electronic book data is set based on the meta information and displayed on the display device 3.

表示装置3に電子書籍データを表示している最中に、ステップS2により読者の視点が検出された場合、視点誘導処理が起動する。視点誘導処理では、まず、視点検出部11による視点の検出結果に基づいて、現在の視点に対応する表示画面内での座標位置を特定し、その座標位置に存在する文字記号数字情報または画像情報を特定する(ステップS13)。このステップS13の処理は停留場所候補特定部14により行われる。   If the reader's viewpoint is detected in step S2 while the electronic book data is being displayed on the display device 3, the viewpoint guidance process is activated. In the viewpoint guidance processing, first, based on the detection result of the viewpoint by the viewpoint detector 11, the coordinate position in the display screen corresponding to the current viewpoint is specified, and the character / numeric information or image information existing at the coordinate position is specified. Is specified (step S13). The processing in step S13 is performed by the stop location candidate specifying unit 14.

次に、停留検出部11により、視点が現在の位置に所定時間以上停留したか否かを判定する(ステップS14)。視点が現在の位置に所定時間以上停留せずに移動した場合は、ステップS13の処理に戻る。   Next, the stop detection unit 11 determines whether or not the viewpoint has stopped at the current position for a predetermined time or more (step S14). If the viewpoint has moved to the current position without stopping for a predetermined time or longer, the process returns to step S13.

視点が現在の位置に所定時間以上停留した場合は、その位置を現在の停留位置とみなす。そして、電子書籍メタ情報記憶部13内の停留場所候補記憶部16に記憶された停留場所候補の中から、現在の停留位置の次に停留されるべき停留位置を特定して、その特定した停留位置の表示形態を変更する(ステップS15)。このように、ステップS15では、次の停留位置の表示形態を変更する。このステップS15の処理は表示形態変更部15が行う。   If the viewpoint stops at the current position for a predetermined time or longer, that position is regarded as the current stop position. Then, the stop position to be stopped next to the current stop position is specified from the stop place candidates stored in the stop place candidate storage section 16 in the electronic book meta information storage section 13, and the specified stop is specified. The display form of the position is changed (step S15). Thus, in step S15, the display form of the next stop position is changed. The display form changing unit 15 performs the process in step S15.

上述したステップS15で表示形態を変更する理由は、視点の次の移動先を読者が迷わないように読者に把握させるためであり、変更する表示形態には種々のものが考えられる。   The reason why the display form is changed in step S15 described above is to allow the reader to grasp the next movement destination of the viewpoint so that the reader does not hesitate, and various display forms can be considered.

図3は変更後の表示形態の一例を示す図である。図3(a)は次の停留位置に対応する文字記号数字情報や画像情報(以下、次の停留位置情報)に目印を付ける例を示している。図3(a)では、目印として、次の停留位置情報の上部に黒点マークを付けているが、目印の表示形態は問わない。例えば、下線を付してもよいし、次の停留位置情報を枠で囲んでもよい。   FIG. 3 is a diagram showing an example of the display form after the change. FIG. 3A shows an example of marking the character / numeric information and image information (hereinafter, the next stop position information) corresponding to the next stop position. In FIG. 3A, as a mark, a black dot mark is attached to the upper part of the next stop position information, but the display form of the mark is not limited. For example, it may be underlined or the next stop position information may be surrounded by a frame.

図3(b)は、表示画面内の次の停留位置情報以外の情報をわざと視認しにくくして、視点が自然に次の停留位置情報に向かうようにした例を示している。図3(b)では、次の停留位置情報が図(画像情報)の例を示しているが、次の停留位置情報が文字記号数字情報の場合も、次の停留位置情報以外の情報を視認しにくくしてもよい。   FIG. 3B shows an example in which information other than the next stop position information in the display screen is intentionally made difficult to visually recognize, and the viewpoint is naturally directed to the next stop position information. FIG. 3B shows an example in which the next stop position information is a figure (image information). However, even when the next stop position information is character / numeric information, information other than the next stop position information is visually recognized. It may be difficult to do.

ここで、視認しにくくする具体的な手法は問わない。図3(b)の場合は、次の停留位置情報以外の情報を半透明のハッチングで覆う例を示しているが、これ以外に、輝度を落としてもよいし、視認されにくい色(例えば背景色に近い色)で表示してもよいし、文字サイズを小さくしてもよい。   Here, the specific method of making it difficult to visually recognize is not ask | required. In the case of FIG. 3B, an example is shown in which information other than the next stop position information is covered with semi-transparent hatching. However, in addition to this, the luminance may be reduced or a color that is difficult to be visually recognized (for example, background) (Color close to the color) may be displayed, or the character size may be reduced.

図3(c)は表示画面内の次の停留位置情報の表示色を変える例を示している。この場合、次の停留位置情報の表示色を他の情報の表示色よりも目立つ色(例えば、蛍光色や、背景色とは色調がはっきりと異なる色)で表示して、読者の視点が迷い無く次の停留位置情報に移動するようにするのが望ましい。   FIG. 3C shows an example in which the display color of the next stop position information in the display screen is changed. In this case, the display color of the next stop position information is displayed in a color that is more conspicuous than the display color of other information (for example, a fluorescent color or a color that is clearly different from the background color), and the reader's viewpoint is lost. It is desirable to move to the next stop position information.

この他の表示形態としては、次の停留位置情報を揺動させてもよい。大きくかつ早く揺動させると、読者は次の停留位置情報の内容を識別できずに視点に迷いが生じてしまうおそれがあることから、次の停留位置情報を識別できる程度に、かつ読者の視点が迷い無く次の停留位置情報に向かうように、揺動させるのが望ましい。   As another display form, the next stop position information may be swung. If it is swung large and quickly, the reader may not be able to identify the contents of the next stop position information, and the viewpoint may be confused. It is desirable to swing the head so that it moves toward the next stop position information without hesitation.

あるいは、次の停留位置情報を斜体や太字で表示したり、次の停留位置情報のフォントサイズを他の停留位置情報のフォントサイズよりも大きくしたり、次の停留位置情報のフォントの種類を他の停留位置情報のフォントの種類とは変えてもよい。   Alternatively, the next stop position information is displayed in italics or bold, the font size of the next stop position information is made larger than the font size of other stop position information, the font type of the next stop position information, etc. The font type of the stop position information may be changed.

また、上述した表示形態の種々の例を任意に組み合わせて実施してもよい。例えば、次の停留位置情報に目印を付けるとともに、フォントサイズを変えたり、斜体や太字にしてもよい。また、次の停留位置情報が図(画像情報)の場合は、他の情報を視認しにくくするだけでなく、図のサイズを大きくしてもよい。また、揺動と他の表示形態とを組み合わせてもよい。   Further, various examples of the above-described display forms may be arbitrarily combined. For example, a mark may be attached to the next stop position information, the font size may be changed, and italic or bold may be used. Further, when the next stop position information is a figure (image information), not only is it difficult to visually recognize other information, but the figure size may be increased. Moreover, you may combine rocking | rocking and another display form.

図2のステップS15の処理が終了すると、読者の視点を次に停留させるべき停留位置に視点が近づいたか否かを判定する(ステップS16)。まだ近づいていない場合はステップS15に戻り、一方、近づいた場合、すなわち視点が次の停留位置に到達した瞬間、あるいはその直前に、ステップS15で変更した次の停留位置の表示形態を元に戻す(ステップS17)。これは、読者が視点を新たな場所に移動させた場合は、その場所を読者に把握させる必要はないためであり、以下に説明するように、さらに、その次に移動すべき視点の表示形態を変更する準備を始める。このステップS17の処理は表示形態変更部15が行う。   When the process of step S15 in FIG. 2 is completed, it is determined whether or not the viewpoint has approached the stop position where the reader's viewpoint should be stopped next (step S16). If not yet approaching, the process returns to step S15. On the other hand, if approached, that is, immediately after the viewpoint reaches the next stop position, or immediately before that, the display form of the next stop position changed in step S15 is restored. (Step S17). This is because if the reader moves the viewpoint to a new location, it is not necessary for the reader to grasp the location. Start preparing to change. The display form changing unit 15 performs the process in step S17.

そして、停留検出部12により、読者の視点が所定時間以上停留したか否かを判定する(ステップS18)。視点が所定時間以上は停留しなかった場合はステップS15に戻り、一方、視点が所定時間以上停留した場合には、その場所が停留場所候補記憶部16に記憶されている停留場所候補以外であるか否かを判定する(ステップS19)。停留場所が停留場所候補以外であれば、停留場所の情報を追加停留情報記憶部17に記憶する(ステップS20)。   Then, the stop detection unit 12 determines whether the reader's viewpoint has stopped for a predetermined time or more (step S18). If the viewpoint does not stop for a predetermined time or longer, the process returns to step S15. On the other hand, if the viewpoint stops for a predetermined time or longer, the place is other than the stop place candidates stored in the stop place candidate storage unit 16. It is determined whether or not (step S19). If the stop location is other than the stop location candidate, information on the stop location is stored in the additional stop information storage unit 17 (step S20).

停留場所が停留場所候補のいずれかである場合、あるいはステップS20の処理が終了した場合は、停留場所候補記憶部16に記憶された停留場所候補の中に、視点が停留しなかった場所があるか否かを判定する(ステップS21)。視点が停留しなかった場所がある場合は、その場所を読者が読み飛ばしたと判断して、その停留位置情報を読み飛ばし情報記憶部18に記憶する(ステップS22)。   When the stop location is one of the stop location candidates, or when the process of step S20 is completed, there is a location where the viewpoint has not stopped among the stop location candidates stored in the stop location candidate storage unit 16. It is determined whether or not (step S21). If there is a place where the viewpoint has not stopped, it is determined that the reader has skipped the place, and the stop position information is skipped and stored in the information storage unit 18 (step S22).

ステップS21で停留場所候補の中に視点が停留しなかった場所がないと判定された場合、またはステップS22の処理が終了した場合、表示画面内の最後まで視点が移動したか否かを判定し(ステップS23)、まだ最後でない場合は、ステップS15に戻り、最後まで視点が移動した場合は、次の頁の電子書籍データを表示すべく、ステップS11に戻る。   When it is determined in step S21 that there is no place where the viewpoint has not stopped among the stop place candidates, or when the process of step S22 is completed, it is determined whether the viewpoint has moved to the end of the display screen. (Step S23) If it is not the last yet, return to Step S15, and if the viewpoint has moved to the end, return to Step S11 to display the electronic book data of the next page.

このように、本実施形態では、電子書籍端末2上で電子書籍を閲覧する読者の視点をトラッキングし続けて継続的に視点を検出し、検出された視点位置の文字記号数字情報または画像情報に視点が所定時間以上停留した場合には、その情報を停留位置とみなして、その停留位置の次に視点を移動すべき次の停留位置を特定し、特定した次の停留位置情報の表示形態を変更する。   As described above, in the present embodiment, the viewpoint of the reader who browses the electronic book on the electronic book terminal 2 is continuously tracked and the viewpoint is continuously detected, and the character / numeric information or the image information at the detected viewpoint position is detected. When the viewpoint stops for a predetermined time or longer, the information is regarded as a stop position, the next stop position where the viewpoint is to be moved next is specified after the stop position, and the display form of the specified next stop position information is displayed. change.

これにより、読者は、所定時間以上視点を置いた現在の停留位置から、次に視点を置くべき停留位置を迅速に迷い無く把握できることになり、視点の移動に迷いが生じなくなって、無駄な停留と不要なサッケードが生じなくなることから、速読が可能となる。   As a result, the reader can quickly and easily grasp the stop position where the next viewpoint should be placed from the current stop position where the viewpoint has been placed for a predetermined time or more, so that the movement of the viewpoint will not occur and there will be no waste. Because unnecessary saccades do not occur, speed reading is possible.

また、本実施形態では、停留場所候補記憶部16に記憶されている停留場所候補の文字記号数字情報または画像情報に読者の視点が所定時間以上停留しなかった場合、読者が読み飛ばしたと判断して、読み飛ばし情報記憶部18に記憶するようにしたため、この読み飛ばし情報記憶部18に記憶された情報を後に活用することができる。活用の一例としては、読み飛ばし情報記憶部18に記憶された文字記号数字情報または画像情報は、読者が重要でないから読み飛ばしたと判断して、停留場所候補記憶部16からも該当する情報を削除して停留場所候補記憶部16を更新することが考えられる。あるいは、活用の他の一例としては、読者がその重要性に気づかずに無意識に読み飛ばしたと判断して、読者が後に逆方向に視点を移動させる逆行を行ったときに、読み飛ばし情報記憶部18に記憶されている文字記号数字情報または画像情報を順に読者に提示して、読み飛ばした情報を検索しやすくすることが考えられる。   In the present embodiment, if the reader's viewpoint does not stop for a predetermined time or more in the character / numeric information or image information of the stop location candidate stored in the stop location candidate storage unit 16, it is determined that the reader skips reading. Thus, since the skip information storage unit 18 stores the information, the information stored in the skip information storage unit 18 can be used later. As an example of utilization, the character / symbol / number information or image information stored in the skip information storage unit 18 is determined to have been skipped because the reader is not important, and the corresponding information is deleted from the stop location candidate storage unit 16 as well. Then, it is conceivable to update the stop location candidate storage unit 16. Or, as another example of utilization, when the reader decides that he / she has unintentionally skipped without knowing its importance, and later performs a retrograde to move the viewpoint in the reverse direction, the skip information storage unit It is conceivable that the character / symbol / number information or the image information stored in 18 is presented to the reader in order so that the information skipped can be easily searched.

さらに、本実施形態では、停留場所候補記憶部16に記憶されていなかった場所の文字記号数字情報または画像情報に読者の視点が所定時間以上停留した場合、その情報が停留位置とするべき重要な情報であると判断して追加停留情報記憶部17に記憶するようにしたため、この追加停留情報記憶部17に記憶された情報を後に停留場所候補記憶部16に追加することで、停留場所候補記憶部16に記憶された停留場所候補の精度を向上できる。   Furthermore, in the present embodiment, when the reader's viewpoint is stopped for a predetermined time or more in the character / symbol / numeric information or the image information of the place that is not stored in the stop place candidate storage unit 16, the information should be used as the stop position. Since it is determined to be information and stored in the additional stop information storage unit 17, the information stored in the additional stop information storage unit 17 is added later to the stop location candidate storage unit 16, thereby storing the stop location candidate. The accuracy of the stop location candidates stored in the unit 16 can be improved.

このように、読み飛ばし情報記憶部18と追加停留情報記憶部17は、停留場所候補記憶部16に記憶されている停留場所候補を更新する目的で利用できる。本実施形態では、停留場所候補記憶部16の更新は、サーバ20で行うことを想定しており、読み飛ばし情報記憶部18と追加停留情報記憶部17に記憶された情報は、定期的にサーバ20に送信される。サーバ20は、電子書籍端末2で電子書籍を閲覧する数多くの読者からそれぞれ個別に送られた読み飛ばし情報記憶部18と追加停留情報記憶部17の追加情報に基づいて、停留場所候補記憶部16に記憶される停留場所候補を更新する。数多くの読者の実際の閲覧状況を考慮に入れて停留場所候補を更新することで、停留場所候補の学習効果を高めることができ、より正確な停留場所候補を読者に提供できる。   As described above, the skip information storage unit 18 and the additional stop information storage unit 17 can be used for the purpose of updating the stop location candidates stored in the stop location candidate storage unit 16. In the present embodiment, it is assumed that the stop location candidate storage unit 16 is updated by the server 20, and the information stored in the skip information storage unit 18 and the additional stop information storage unit 17 is periodically updated by the server. 20 is transmitted. The server 20 is based on the additional information of the skip information storage unit 18 and the additional stop information storage unit 17 that are individually sent from a large number of readers who browse the electronic book on the electronic book terminal 2. Update the stop location candidates stored in By updating the stop location candidates in consideration of the actual browsing situation of many readers, the learning effect of the stop location candidates can be enhanced, and more accurate stop location candidates can be provided to the reader.

追加停留情報記憶部17に記憶される追加情報は、各読者の趣向を反映させたものであり、汎用性が低いと考えられる場合もありうる。その場合、必要に応じて、サーバ20は、追加停留情報記憶部17に記憶された追加情報については、各読者ごとに別個に管理するようにし、ある読者の追加情報を別の読者の停留場所候補の更新には用いないようにしてもよい。   The additional information stored in the additional stop information storage unit 17 reflects the taste of each reader, and may be considered to have low versatility. In that case, as necessary, the server 20 manages the additional information stored in the additional stop information storage unit 17 separately for each reader, and adds the additional information of one reader to the stop location of another reader. You may make it not use for the update of a candidate.

なお、本実施形態の機能を限定して、より簡易な構成にしてもよい。例えば、読み飛ばし情報記憶部18と追加停留情報記憶部17の少なくとも一方を省略してもよい。これにより、停留場所候補記憶部16に記憶される停留場所候補の学習効果は薄れてしまうが、視点誘導装置1とサーバ20の処理を軽減できる。   Note that the functions of the present embodiment may be limited to provide a simpler configuration. For example, at least one of the skip information storage unit 18 and the additional stop information storage unit 17 may be omitted. Thereby, although the learning effect of the stop location candidate memorize | stored in the stop location candidate memory | storage part 16 will fade, the process of the viewpoint guidance apparatus 1 and the server 20 can be reduced.

上述した実施形態で説明した視点誘導装置1および電子書籍端末2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、視点誘導装置1および電子書籍端末2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。   At least a part of the viewpoint guidance device 1 and the electronic book terminal 2 described in the above-described embodiment may be configured by hardware or software. When configured by software, a program for realizing at least a part of the functions of the viewpoint guidance device 1 and the electronic book terminal 2 is stored in a recording medium such as a flexible disk or a CD-ROM, and is read and executed by a computer. Also good. The recording medium is not limited to a removable medium such as a magnetic disk or an optical disk, but may be a fixed recording medium such as a hard disk device or a memory.

また、視点誘導装置1および電子書籍端末2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。   Further, a program for realizing at least a part of the functions of the viewpoint guidance device 1 and the electronic book terminal 2 may be distributed via a communication line (including wireless communication) such as the Internet. Further, the program may be distributed in a state where the program is encrypted, modulated or compressed, and stored in a recording medium via a wired line such as the Internet or a wireless line.

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。   The aspect of the present invention is not limited to the individual embodiments described above, and includes various modifications that can be conceived by those skilled in the art, and the effects of the present invention are not limited to the contents described above. That is, various additions, modifications, and partial deletions can be made without departing from the concept and spirit of the present invention derived from the contents defined in the claims and equivalents thereof.

1 視点誘導装置、2 電子書籍端末、3 表示装置、4 表示制御部、5 センサ、6 通信部、7 入力部、8 操作解析部、9 電子書籍記憶部、10 メインコントローラ、11 視点検出部、12 停留検出部、13 電子書籍メタ情報記憶部、14 停留場所候補特定部、15 表示形態変更部、16 停留場所候補記憶部、17 追加停留情報記憶部、18 読み飛ばし情報記憶部、20 サーバ   DESCRIPTION OF SYMBOLS 1 Viewpoint guidance apparatus, 2 Electronic book terminal, 3 Display apparatus, 4 Display control part, 5 Sensor, 6 Communication part, 7 Input part, 8 Operation analysis part, 9 Electronic book memory | storage part, 10 Main controller, 11 Viewpoint detection part, 12 stop detection unit, 13 electronic book meta information storage unit, 14 stop location candidate specifying unit, 15 display form changing unit, 16 stop location candidate storage unit, 17 additional stop information storage unit, 18 skipping information storage unit, 20 server

Claims (14)

電子書籍データを表示させる表示画面内における読者の視点を検出する視点検出部と、
前記視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すると予測される中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶された停留場所候補に基づいて、前記停留検出部で検出された停留場所の次に前記視点が移動して停留すると予測される中心窩に位置する停留場所候補の文字記号数字情報および画像情報の少なくとも一方を特定する停留場所候補特定部と、
前記特定された停留場所候補の文字記号数字情報および画像情報の少なくとも一方の表示形態を変更する表示形態変更部と、を備えることを特徴とする視点誘導装置。
A viewpoint detection unit for detecting the viewpoint of the reader in the display screen for displaying the electronic book data;
A stop detection unit that detects that the viewpoint has stopped at an arbitrary place in the display screen for a predetermined time or more;
Among letter symbols numerical information and image information included in the electronic book data, the reader's point of view at least one of the retention location candidate letter symbols numerical information and image information located in the fovea, which is projected to dwell over the predetermined time A stop location candidate storage unit for storing as,
Based on the stored stationary location candidates to the retention location candidate storage unit, stopping place the viewpoint next to the detected stationary place by the stopping detection unit is located at the fovea, which is projected to stop moving A stop location candidate identifying unit that identifies at least one of the candidate character symbol number information and the image information;
And a display form changing unit that changes a display form of at least one of the character / numeric information and the image information of the specified stop location candidate.
前記停留場所候補記憶部には記憶されておらず、読者の視点が前記所定時間以上停留した中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を記憶する追加停留情報記憶部を備えることを特徴とする請求項1に記載の視点誘導装置。 An additional stop information storage unit that stores at least one of character / numeric information and image information that is not stored in the stop location candidate storage unit and is located in the fovea where the reader's viewpoint is stopped for the predetermined time or more The viewpoint guidance device according to claim 1, wherein: 前記停留場所候補記憶部に記憶されている文字記号数字情報および画像情報の少なくとも一方のうち、読者の視点が所定時間未満しか停留しなかった文字記号数字情報および画像情報の少なくとも一方を記憶する読み飛ばし情報記憶部を備えることを特徴とする請求項1または2に記載の視点誘導装置。 A reading that stores at least one of the character / symbol / number information and the image information that the reader's viewpoint has stopped for less than a predetermined time among at least one of the character / numeric information and the image information stored in the stop location candidate storage unit. The viewpoint guidance device according to claim 1, further comprising a skip information storage unit. 前記停留場所候補記憶部に記憶される停留場所候補は、前記追加停留情報記憶部に記憶された文字記号数字情報および画像情報の少なくとも一方に基づいて更新されることを特徴とする請求項2に記載の視点誘導装置。 The stop location candidate stored in the stop location candidate storage unit is updated based on at least one of the character / numeric information and the image information stored in the additional stop information storage unit. The viewpoint guidance device described. 前記停留場所候補記憶部に記憶される停留場所候補は、前記読み飛ばし情報記憶部に記憶された文字記号数字情報および画像情報の少なくとも一方に基づいて更新されることを特徴とする請求項3に記載の視点誘導装置。 The stop location candidate stored in the stop location candidate storage unit is updated on the basis of at least one of character symbol number information and image information stored in the skip information storage unit. The viewpoint guidance device described. 前記表示形態変更部は、読者の視点が前記特定された停留場所候補に移動した瞬間、または移動する直前に、前記特定された停留場所候補の文字記号数字情報および画像情報の少なくとも一方の表示形態を元に戻すことを特徴とする請求項1乃至5のいずれかに記載の視点誘導装置。 The display form changing unit is configured to display at least one of the character / numeric information and the image information of the specified stop location instant at a moment when the reader's viewpoint moves to the specified stop location candidate or immediately before moving. The viewpoint guiding apparatus according to claim 1, wherein the viewpoint is restored. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方を揺動させることを特徴とする請求項1乃至6のいずれかに記載の視点誘導装置。 The viewpoint guiding apparatus according to claim 1, wherein the display form changing unit swings at least one of character / numeric information and image information of the stop location candidate. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方を強調表示させることを特徴とする請求項1乃至6のいずれかに記載の視点誘導装置。 The viewpoint guiding apparatus according to claim 1, wherein the display form changing unit highlights at least one of character / numeric information and image information of the stop location candidate. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報を含む場合には、文字サイズおよび文字フォントの少なくとも一方を変更することを特徴とする請求項8に記載の視点誘導装置。 9. The viewpoint guiding apparatus according to claim 8, wherein the display form changing unit changes at least one of a character size and a character font when the stop location candidate includes character / symbol / numeric information. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報を含む場合には、該文字記号数字情報に下線、囲み枠または目印を付加することを特徴とする請求項8または9に記載の視点誘導装置。 The said display form change part adds an underline, a surrounding frame, or a mark to this character symbol number information, when the said stop location candidate contains character symbol number information. Viewpoint guidance device. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報を含む場合には、該文字記号数字情報を斜体および太字の少なくとも一方で表示させることを特徴とする請求項8乃至10のいずれかに記載の視点誘導装置。 11. The display mode changing unit according to claim 8, wherein, when the stop location candidate includes character / symbol / numeric information, the display / form changing unit displays the character / symbol / numeric information in at least one of an italic type and a bold type. The viewpoint guidance device described in 1. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方と比べて、前記表示画面内の他の文字記号数字情報および画像情報の少なくとも一方を視認しにくくすることを特徴とする請求項8乃至11のいずれかに記載の視点誘導装置。 The display form changing unit makes it difficult to visually recognize at least one of the other character / symbol / number information and image information in the display screen as compared to at least one of the character / numeric information and image information of the stop location candidate. The viewpoint guidance device according to any one of claims 8 to 11, wherein the viewpoint guidance device is characterized. 表示装置と、
読者の視点検出に用いることが可能なセンサと、
サーバとの間で無線通信を行うことが可能な通信部と、
読者が種々の情報を入力する入力部と、
電子書籍データを前記表示装置の表示画面に表示させる表示制御部と、
視点誘導装置と、を備え、
前記視点誘導装置は、
前記表示装置の表示画面内における読者の視点を検出する視点検出部と、
前記視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すると予測される中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶された停留場所候補に基づいて、前記停留検出部で検出された停留場所の次に前記視点が移動して停留すると予測される中心窩に位置する停留場所候補の文字記号数字情報および画像情報の少なくとも一方を特定する停留場所候補特定部と、
前記特定された停留場所候補の文字記号数字情報および画像情報の少なくとも一方の表示形態を変更する表示形態変更部と、を有することを特徴とする電子書籍端末。
A display device;
A sensor that can be used to detect the reader's viewpoint;
A communication unit capable of wireless communication with the server;
An input section for the reader to input various information;
A display control unit for displaying electronic book data on the display screen of the display device;
A viewpoint guidance device,
The viewpoint guidance device includes:
A viewpoint detector for detecting the viewpoint of the reader in the display screen of the display device;
A stop detection unit that detects that the viewpoint has stopped at an arbitrary place in the display screen for a predetermined time or more;
Among letter symbols numerical information and image information included in the electronic book data, the reader's point of view at least one of the retention location candidate letter symbols numerical information and image information located in the fovea, which is projected to dwell over the predetermined time A stop location candidate storage unit for storing as,
Based on the stored stationary location candidates to the retention location candidate storage unit, stopping place the viewpoint next to the detected stationary place by the stopping detection unit is located at the fovea, which is projected to stop moving A stop location candidate identifying unit that identifies at least one of the candidate character symbol number information and the image information;
An electronic book terminal comprising: a display form changing unit that changes a display form of at least one of the character / numeric information and image information of the specified stop location candidate.
前記停留場所候補記憶部には記憶されておらず、読者の視点が前記所定時間以上停留した中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を記憶する追加停留情報記憶部を備え、
前記通信部は、前記追加停留情報記憶部に記憶された文字記号数字情報および画像情報をサーバに送信することを特徴とする請求項13に記載の電子書籍端末。
It is not stored in the stop location candidate storage unit, and includes an additional stop information storage unit that stores at least one of letter symbol number information and image information located in the fovea where the reader's viewpoint is stopped for the predetermined time or more,
The electronic book terminal according to claim 13, wherein the communication unit transmits the character / symbol / number information and the image information stored in the additional stop information storage unit to a server.
JP2012081560A 2012-03-30 2012-03-30 Viewpoint guidance device and electronic book terminal Active JP5924579B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012081560A JP5924579B2 (en) 2012-03-30 2012-03-30 Viewpoint guidance device and electronic book terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012081560A JP5924579B2 (en) 2012-03-30 2012-03-30 Viewpoint guidance device and electronic book terminal

Publications (2)

Publication Number Publication Date
JP2013210907A JP2013210907A (en) 2013-10-10
JP5924579B2 true JP5924579B2 (en) 2016-05-25

Family

ID=49528657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012081560A Active JP5924579B2 (en) 2012-03-30 2012-03-30 Viewpoint guidance device and electronic book terminal

Country Status (1)

Country Link
JP (1) JP5924579B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6347158B2 (en) * 2014-06-06 2018-06-27 大日本印刷株式会社 Display terminal device, program, and display method
WO2017183129A1 (en) * 2016-04-20 2017-10-26 日産自動車株式会社 Information display method and display control device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682369B2 (en) * 1990-08-27 1994-10-19 工業技術院長 Japanese sentence presentation device for gazing point
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6381339B1 (en) * 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
JP2002169637A (en) * 2000-12-04 2002-06-14 Fuji Xerox Co Ltd Document display mode conversion device, document display mode conversion method, recording medium
JP2003345335A (en) * 2002-05-28 2003-12-03 Minolta Co Ltd Read help image display device
JP2007102360A (en) * 2005-09-30 2007-04-19 Sharp Corp Electronic book device
JP2007141059A (en) * 2005-11-21 2007-06-07 National Institute Of Information & Communication Technology Reading support system and program
JP5143503B2 (en) * 2007-08-28 2013-02-13 任天堂株式会社 Program, information processing apparatus, information processing system, and information processing method

Also Published As

Publication number Publication date
JP2013210907A (en) 2013-10-10

Similar Documents

Publication Publication Date Title
US11335210B2 (en) Apparatus and method for analyzing images
US9229231B2 (en) Updating printed content with personalized virtual data
US9183807B2 (en) Displaying virtual data as printed content
US9459456B2 (en) Display device and control method thereof
US9927949B2 (en) Recognition interfaces for computing devices
US20170186230A1 (en) Text functions in augmented reality
JP6553418B2 (en) Display control method, display control device and control program
US11768909B2 (en) Systems and methods for providing accessible search results
JP5924580B2 (en) Viewpoint guidance device and electronic book terminal
JP5924579B2 (en) Viewpoint guidance device and electronic book terminal
JP5994370B2 (en) Character size changing device and electronic book terminal
US20190251355A1 (en) Method and electronic device for generating text comment about content
JP2017027607A (en) Display format change system and electronic book terminal
EP3951619A1 (en) Information processing device, program, and information provision system
JP2013232072A (en) Display configuration change system and electronic book terminal
JP6286897B2 (en) Document display device, document display method, and document display program
KR101376797B1 (en) Training device and method of point of view and recognition
JP6770613B2 (en) Control program
KR20120051275A (en) Training device of point of view and recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160407

R150 Certificate of patent or registration of utility model

Ref document number: 5924579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02