JP2013101707A - Display program - Google Patents

Display program Download PDF

Info

Publication number
JP2013101707A
JP2013101707A JP2013037661A JP2013037661A JP2013101707A JP 2013101707 A JP2013101707 A JP 2013101707A JP 2013037661 A JP2013037661 A JP 2013037661A JP 2013037661 A JP2013037661 A JP 2013037661A JP 2013101707 A JP2013101707 A JP 2013101707A
Authority
JP
Japan
Prior art keywords
display
text
reading
data
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013037661A
Other languages
Japanese (ja)
Inventor
Kazuhiro Hara
和広 原
Itaru Osada
格 長田
Masahide Yamazoe
雅秀 山添
Masahiro Shimoso
雅弘 下霜
Kazuya Sato
和也 佐藤
Masaaki Uchijima
正明 内島
Yoshiyuki Nagasawa
義之 長沢
Masahiko Tachikawa
雅彦 立川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Social Science Labs Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Social Science Labs Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Social Science Labs Ltd filed Critical Fujitsu Ltd
Priority to JP2013037661A priority Critical patent/JP2013101707A/en
Publication of JP2013101707A publication Critical patent/JP2013101707A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To display in a browser a page that is easy to read in conjunction with text reading by providing a reading processing function for a web page.SOLUTION: A browser 1 determines whether lateral scrolling has occurred during normal display of a page. If lateral scroll has occurred, the browser reduces the lateral width of a display component on the displayed page to be equal to or less than the width of a region of a display screen, and further reconfigures the layout so that the display component fits within a display region. Then, the browser 1 displays the reconfigured page.

Description

本発明は、HTML(HyperText Markup Language)データなどのマークアップ言語で記述されたデータを閲覧するブラウザに関する。なお、関連する発明は、表示したHTMLデータ内のテキストデータを音声合成して出力する読み上げ機能を備えたHTMLデータのブラウザ処理を行うための読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ(ブラウジング装置)、ブラウジング処理方法およびブラウザプログラム記録媒体に関する。   The present invention relates to a browser for browsing data described in a markup language such as HTML (HyperText Markup Language) data. The related invention is a browser program with a reading function and a browser with a reading function (browsing device) for performing browser processing of HTML data having a reading function for synthesizing and outputting text data in the displayed HTML data. The present invention relates to a browsing processing method and a browser program recording medium.

コンピュータのデータ処理機能の一つとして、電子データ化された文書(テキストデータ)などを音声合成して出力するというテキスト読み上げ機能がある。テキスト読み上げ機能により、ユーザは、表示装置や印刷装置によって出力された文書を見る代わりに、スピーカから出力される音声を聞くことによって、その内容を把握することができる。
インターネットのウェブページ(Webページ)などのデータについては、通常、HTMLデータの閲覧装置(ブラウザ)は、所定の表示領域にウェブページのコンテンツを表示するが、テキスト読み上げ機能を備える場合には、ウェブページ内のテキストデータを音声出力することができる。
As one of the data processing functions of a computer, there is a text-to-speech function for synthesizing and outputting an electronic document (text data) or the like. With the text-to-speech function, the user can grasp the contents by listening to the sound output from the speaker instead of viewing the document output by the display device or the printing device.
For data such as web pages (web pages) on the Internet, an HTML data browsing device (browser) normally displays web page content in a predetermined display area. The text data in the page can be output as voice.

読み上げ機能では、ユーザがテキストのどの部分を読み上げているかを確認できるように、読み上げの音声出力に連動させて、読み上げた箇所の前後の文章が明確になるように表示する処理が行われる。一方、ブラウザは、ウェブページの表示サイズがブラウザのコンテンツ表示領域サイズを超える場合には、表示領域サイズに収まる部分を表示し、スクロール機能によって表示部分を切り替えていく。   In the reading-out function, processing is performed in which the text before and after the read-out part is clearly displayed in conjunction with the voice output of the reading-out so that the user can check which part of the text is being read out. On the other hand, when the display size of the web page exceeds the content display area size of the browser, the browser displays a part that fits in the display area size and switches the display part by the scroll function.

一般的なウェブページは、パソコンの表示装置などのある程度大きな画面を想定して作成されているため、カーナビゲーションシステム、携帯電話、PDA(Personal Digital Assistant)のような携帯情報端末など、表示画面が小さい装置で一般的なウェブページを閲覧する場合に、上下左右のスクロールを強いられることになる。そのため、表示画面サイズが制約される装置において、ウェブページの読み上げが行われる場合に、ブラウザは、例えば横書きテキストの読み上げ箇所を表示するために左右(横)スクロールを頻繁に行うことになる。   Since general web pages are created assuming a relatively large screen such as a display device of a personal computer, display screens such as car navigation systems, mobile phones, and portable information terminals such as PDAs (Personal Digital Assistants) When browsing a general web page with a small device, scrolling up, down, left, and right is forced. Therefore, when a web page is read out in an apparatus in which the display screen size is restricted, the browser frequently performs left and right (horizontal) scrolling in order to display, for example, a reading portion of horizontal text.

図18は、ウェブページを表示するコンテンツ表示領域91が小さいブラウザで一般的なHTMLデータ90をスクロール表示し、読み上げる場合の問題を説明するための図である。図18の上部に示すように、ウェブページのHTMLデータ90の表示サイズがコンテンツ表示領域91の横幅を超える場合に、ブラウザが、読み上げ部分92をコンテンツ表示領域91内に表示していなければ、音声出力にともなって読み上げ部分92を表示するために、ウェブページを横スクロールし、図18の下部に示すように、該当する読み上げ部分92がコンテンツ表示領域91内に入るようにウェブページの表示部分を切り替える。さらに、読み上げが進み、該当する読み上げ部分92が移動すると、同様に、ウェブページの表示部分を切り替えて、その読み上げ部分92をコンテンツ表示領域91で表示する。ユーザにとって、表示の頻繁な切り替えは煩わしく感じられる。   FIG. 18 is a diagram for explaining a problem when a general HTML data 90 is scrolled and read out by a browser having a small content display area 91 for displaying a web page. As shown in the upper part of FIG. 18, if the display size of the HTML data 90 of the web page exceeds the width of the content display area 91 and the browser does not display the reading portion 92 in the content display area 91, In order to display the reading portion 92 in accordance with the output, the web page is scrolled horizontally, and the display portion of the web page is changed so that the corresponding reading portion 92 falls within the content display area 91 as shown in the lower part of FIG. Switch. Further, when the reading is advanced and the corresponding reading portion 92 is moved, the display portion of the web page is similarly switched and the reading portion 92 is displayed in the content display area 91. For the user, frequent switching of the display can be annoying.

このような、読み上げ箇所の表示による横スクロールを発生させずにウェブページを表示できるようにするために、従来では、以下のように対処していた。   Conventionally, in order to be able to display a web page without causing horizontal scrolling due to the display of the reading portion, the following measures have been taken.

1)コンテンツ提供者が、所定の装置の表示画面において横スクロールをせずにウェブページが表示できるように、読み上げ対象となるコンテンツについて表示サイズを考慮した読み上げ専用のHTMLデータを提供し、ブラウザは、読み上げ時には読み上げ専用のウェブページを表示していた。   1) The content provider provides read-only HTML data in consideration of the display size of the content to be read so that the web page can be displayed without scrolling horizontally on the display screen of a predetermined device. When reading aloud, a web page dedicated to reading was displayed.

2)ブラウザ側で、ユーザ指定されたHTMLタグ(例えば<B></B>、<I></I>など)や予め定義しておいた特殊タグをもとに、読み上げに適応させた表示となるように、HTMLデータを再構成する。   2) Adapted to reading based on HTML tags specified by the user (for example, <B> </ B>, <I> </ I>, etc.) or special tags defined in advance on the browser side The HTML data is reconstructed to be displayed.

例えば、以下に示す特許文献1の技術では、再構成用の特殊タグをユーザの嗜好に応じた表示形態を記述したユーザプロファイルに予め設定しておき、ブラウザでは、取得したHMTLデータをユーザプロファイルの記述に従って再構成して表示する。ユーザプロファイルに読み上げ用の特殊タグを設定しておくことにより、読み上げに適応させた表示が行えるようになる。   For example, in the technique of Patent Document 1 shown below, a special tag for reconstruction is set in advance in a user profile describing a display form according to the user's preference, and the browser uses the acquired HMTL data as the user profile. Reconfigure and display as described. By setting a special tag for reading in the user profile, display adapted to reading can be performed.

さらに、読み上げ機能では、読み上げ対象となるテキストデータは、すべて音声合成されて出力される。しかし、文字表示による出力を想定したテキストデータをすべて音声出力すると、テキストデータ中の括弧や特殊記号などは、自然な音声の流れを妨げて煩わしく聞こえ、かえって内容の把握を妨げることがある。   Further, in the reading function, all text data to be read out is synthesized by speech and output. However, if all text data that is supposed to be output in character display is output as speech, parentheses and special symbols in the text data may sound annoying because it hinders the natural flow of speech and may hinder understanding of the content.

そのため、例えば以下に示す特許文献2の技術のように、音声合成処理して読み上げる必要がない括弧や特殊記号などを予め設定しておき、テキストデータ内の設定された記号を読み飛ばし、文字のみを読み上げる処理手法がある。   Therefore, for example, as in the technique of Patent Document 2 shown below, parentheses and special symbols that do not need to be read out by speech synthesis processing are set in advance, skipping the set symbols in the text data, and only characters There is a processing method to read out.

特開2003−223463号公報JP 2003-223463 A 特開平11−338673号公報JP 11-338673 A

表示されるコンテンツを注視できないような状況下であっても、ウェブサイトから情報を得たいと考えるユーザは多く、ウェブページのデータの音声出力を聞き、かつ読み上げられた箇所や気になる画像などを表示画面で簡単に確認できるようなブラウザに対する要求は高い。   There are many users who want to obtain information from the website even when the displayed content cannot be watched. There is a high demand for browsers that can be easily confirmed on the display screen.

しかし、表示画面が小さいブラウザで横スクロールが生じるようなウェブページを読み上げた場合に、読み出し部分表示のための画面の切り替りはさらに頻繁になる。ブラウザのコンテンツ表示領域に合わせた読み上げ専用に別のHTMLデータを予め用意することは、コンテンツ提供者にとって大きな負担となる。   However, when a web page that causes horizontal scrolling is read out in a browser with a small display screen, switching of the screen for displaying the read portion becomes more frequent. It is a heavy burden on the content provider to prepare in advance another HTML data dedicated to reading in accordance with the content display area of the browser.

また、特許文献1の技術のように、再構成用の特殊タグを付加したHTMLデータと特殊タグによる表示形態を記述したユーザプロファイルとを用意し、ブラウザでは読み上げに適応させて再構成したウェブページを表示する場合に、再構成されたウェブページでは、元のウェブページの構成が保持されない。さらに、再構成の際に元のウェブページから特定の情報だけが抽出されるため、情報の欠落が生じ、本来の情報を提供できないおそれがある。   Also, as in the technique of Patent Document 1, HTML data to which a special tag for reconstruction is added and a user profile describing a display form using the special tag are prepared, and the browser reconfigures the web page so that it is adapted for reading aloud. Is displayed, the reconfigured web page does not retain the configuration of the original web page. Furthermore, since only specific information is extracted from the original web page at the time of reconfiguration, there is a possibility that information is lost and the original information cannot be provided.

一方、一般的なウェブページは、他のページへのリンク指示や広告バナーなど本来のコンテンツとして得られる情報とは無関係の情報、社名や著作権表示など複数ページで繰り返し表示される情報などが多数含まれている。このようなコンテンツ提供者が本来提供したい情報以外の情報まで読み上げることは冗長であり、かえってユーザの混乱を招くことになる。   On the other hand, general web pages include many information that is not related to the original content such as link instructions to other pages and advertisement banners, and information that is repeatedly displayed on multiple pages such as company name and copyright notice. include. It is redundant to read out information other than the information that the content provider originally wants to provide, which causes confusion for the user.

本発明の目的は、ウェブページ内のテキストデータを音声合成し音声出力する読み上げ機能を備えて、読み上げ専用のHTMLデータを用いることなく、煩わしい画面の切り替えおよびコンテンツの欠落が生じないようにして読み上げに適応したレイアウトでウェブページを表示する読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ、ブラウジング処理方法およびブラウザプログラム記録媒体を提供することである。   It is an object of the present invention to provide a reading function for synthesizing text data in a web page and outputting it as a voice, and without using a dedicated HTML data for reading, so that no troublesome screen switching and content loss occur. A browser program with a reading function, a browser with a reading function, a browsing processing method, and a browser program recording medium for displaying a web page with a layout adapted to the above.

また、本発明の別の目的は、ウェブページ内のテキストデータを音声合成し音声出力する読み上げ機能を備えて、読み上げ対象のウェブページから、本来提供したいコンテンツだけを読み上げることができる読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ、ブラウジング処理方法およびブラウザプログラム記録媒体を提供することである。   Another object of the present invention is to provide a browser with a reading function, which has a reading function for synthesizing text data in a web page and outputting the voice, and can read only the content originally intended to be read from the reading-target web page. A program, a browser with a reading function, a browsing processing method, and a browser program recording medium are provided.

本発明の表示プログラムは,コンピュータに,マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品が非テキスト部品であるときは,該非テキスト部品を縮小して前記表示画面の横方向の表示幅を超えない非テキスト部品を生成して,前記テキスト部品と合わせて表示する処理を,実行させるものである。   According to the display program of the present invention, a display component based on data described in a markup language includes a text component and a non-text component on a computer, and at least one of the text component and the non-text component is displayed on a display screen. If the part exceeding the horizontal display width is a non-text part when the horizontal display width is exceeded, the non-text part is reduced so as not to exceed the horizontal display width of the display screen. A process for generating a non-text part and displaying it together with the text part is executed.

なお,本発明の関連発明である読み上げ機能付きブラウザは、テキストデータを音声合成して音声データとして出力する読み上げ処理手段を備えて、HTMLデータを表示用データに変換して所定の表示領域に表示し、ユーザの要求に応じて前記テキストデータの読み上げ処理を行う読み上げ機能付きブラウザにおいて、前記表示領域に表示する表示用データを横方向へのスクロールが可能な状態で表示しているか否かを判定する横スクロール判定処理手段と、前記表示用データを横方向へのスクロールが可能な状態で表示している場合に、前記表示用データの各表示部品の横幅が前記表示領域の横幅値以下になるようにサイズを変更し、前記変更した表示部品を前記表示領域内に収まるようにレイアウトを再構成する最適化レイアウト処理手段と、前記最適化レイアウト処理手段により再構成した表示用データを、縦方向へのスクロールが可能な状態で前記表示領域に表示し、前記読み上げ処理手段により音声出力された前記表示用データの読み上げ部分を、前記読み上げ部分以外の部分と異なる表示態様で前記表示領域内に表示するスクロール処理手段とを備える。   The browser with a reading function, which is a related invention of the present invention, has a reading processing means for synthesizing text data and outputting it as voice data, converting HTML data into display data and displaying it in a predetermined display area. In a browser with a reading function that reads out the text data in response to a user request, it is determined whether or not display data to be displayed in the display area is displayed in a state in which it can be scrolled in the horizontal direction. The horizontal width of each display component of the display data is equal to or smaller than the horizontal width value of the display area when the horizontal scroll determination processing means is displayed and the display data is displayed in a state where horizontal scrolling is possible. Optimized layout processing for reconfiguring the layout so that the size is changed so that the changed display component fits in the display area And display data reconstructed by the optimized layout processing means is displayed in the display area in a state in which it can be scrolled in the vertical direction, and the display data read out by the read-out processing means is read out. Scroll processing means for displaying the part in the display area in a display mode different from the part other than the read-out part.

本発明は、横スクロール判定処理手段により、例えばインターネットのウェブページなどのHTMLデータを表示用データに変換して所定の表示領域に表示する場合に、前記表示領域に表示する表示用データを横方向へのスクロールが可能な状態で表示しているか否かを判定する。   According to the present invention, when HTML data such as an Internet web page is converted into display data and displayed in a predetermined display area by the horizontal scroll determination processing means, the display data displayed in the display area is displayed in the horizontal direction. It is determined whether or not the screen is displayed in a state where scrolling is possible.

そして、前記表示用データを横方向へのスクロールが可能な状態で表示している場合には、最適化レイアウト処理手段により、前記表示用データの各表示部品の横幅が前記表示領域の横幅値以下になるようにサイズを変更し、変更した前記表示部品を前記表示領域内に収まるようにレイアウトを再構成する。具体的には、前記表示用データの各表示部品の横幅値を求め、前記表示部品のうちテキストデータを表示するテキスト表示部品の横幅値を前記表示領域の横幅値以下に変更し、前記テキスト表示部品以外の表示部品を前記表示領域に収まるように縮小し、前記表示用データを横方向へのスクロールを行わずに表示できるように前記表示部品のレイアウトを再構成する。   When the display data is displayed in a state in which scrolling in the horizontal direction is possible, the width of each display component of the display data is equal to or less than the width value of the display area by the optimized layout processing means. And the layout is reconfigured so that the changed display component fits in the display area. Specifically, the width value of each display component of the display data is obtained, and the width value of the text display component that displays text data among the display components is changed to be equal to or less than the width value of the display area, and the text display The display components other than the components are reduced to fit in the display area, and the layout of the display components is reconfigured so that the display data can be displayed without scrolling in the horizontal direction.

そして、スクロール処理手段により、前記最適化レイアウト処理手段により再構成した表示用データを、縦方向へのスクロールが可能な状態で前記表示領域に表示し、前記読み上げ処理手段により音声出力された前記表示用データの読み上げ部分を、前記読み上げ部分以外の部分と異なる表示態様で前記表示領域内に表示する。   The display data reconstructed by the optimized layout processing means is displayed in the display area in a state where scrolling in the vertical direction is possible by the scroll processing means, and the display is output by voice by the reading processing means. The read-out portion of the data is displayed in the display area in a display mode different from the portions other than the read-out portion.

これにより、本発明のブラウザは、インターネットから取得したウェブページを所定の小画面に表示している場合に、ウェブページのテキストコンテンツの読み上げ処理が開始されると、小画面において横スクロールせずにウェブページを表示できるように表示部品を再構成し、表示領域に再構成したウェブページを表示する。そして、読み上げ処理手段により音声出力されるテキストコンテンツに合わせて、ウェブページのテキストコンテンツを出力された読み上げ部分が目立つような表示態様で表示する。   Thus, when the browser of the present invention displays a web page acquired from the Internet on a predetermined small screen and starts reading out the text content of the web page, the browser does not scroll horizontally on the small screen. The display component is reconfigured so that the web page can be displayed, and the reconfigured web page is displayed in the display area. Then, the text content of the web page is displayed in a display mode in which the read-out portion that is output is conspicuous in accordance with the text content that is output by the speech processing means.

また、本発明の読み上げ機能付きブラウザは、テキストデータを音声合成して音声データとして出力する読み上げ処理手段を備えて、HTMLデータを表示用データに変換して所定の表示領域に表示し、ユーザの要求に応じて前記テキストデータの読み上げ処理を行う読み上げ機能付きブラウザにおいて、1)前記読み上げ処理手段による音声出力を行わないテキストデータの範囲を示す特定記号情報を記憶する手段と、2)前記HTMLデータから前記読み上げ処理手段が読み上げるテキストデータを取得し、前記特定記号情報をもとに前記テキストデータから前記範囲の開始位置を示す特定開始記号および終了位置を示す特定終了記号で囲まれたテキストデータを抽出し、前記抽出したテキストデータを削除する読み飛ばし範囲判定処理手段とを備える。   The browser with a reading function of the present invention includes a reading processing means for synthesizing text data and outputting it as voice data, converting the HTML data into display data and displaying it in a predetermined display area, In a browser with a reading function that reads out the text data in response to a request, 1) means for storing specific symbol information indicating a range of text data not to be output by the reading processing means, and 2) the HTML data Text data to be read out by the reading processing means, and based on the specific symbol information, text data surrounded by a specific start symbol indicating a start position and an end position indicating the end position of the range from the text data. Extraction range determination processing to extract and delete the extracted text data And a stage.

また、本発明は、例えば、前記読み上げ処理手段による音声出力を行わないテキストデータの範囲の開始位置を示す特定開始記号および前記範囲の終了位置を示す特定終了記号との組み合わせを設定した特定記号情報を記憶する手段を備える。特定記号情報は、文字コードで特定可能な記号や文字であり、例えば、”[”と”]”、”*”と”*”、”※”と”※”、”#”と”。”などの組み合わせであってもよい。また、”※※”と”※※”、”※※”と”※”などのように複数の文字や記号を組み合わせたものであってもよい。   In addition, the present invention provides, for example, specific symbol information in which a combination of a specific start symbol indicating a start position of a range of text data not to be output by the reading processing unit and a specific end symbol indicating the end position of the range is set. Means for storing. The specific symbol information is a symbol or character that can be specified by a character code, for example, “[” and “]”, “*” and “*”, “*” and “*”, “#” and “”. ” A combination of these may be used. Also, it may be a combination of a plurality of characters or symbols such as “**” and “**”, “**” and “*”.

そして、小画面に表示したテキストコンテンツの読み上げ処理を行う場合に、ブラウザの読み飛ばし範囲判定処理手段は、前記HTMLデータから前記読み上げ処理手段が読み上げるテキストデータを取得し、前記特定記号情報をもとに前記テキストデータから組み合わせられた前記特定開始記号および前記特定終了記号で囲まれたテキストデータを抽出し、読み上げ処理のためのテキストデータから削除する。   When the text content displayed on the small screen is read out, the skipping range determination processing means of the browser acquires the text data read out by the reading processing means from the HTML data, and based on the specific symbol information. The text data surrounded by the specific start symbol and the specific end symbol combined from the text data is extracted and deleted from the text data for the reading process.

これにより、本発明は、読み上げ対象のテキストコンテンツから、予め設定された特定記号情報を用いて、本来のコンテンツとして提供される情報とは無関係な注意書きや著作権表示などの情報を読み飛ばすことができる。これにより、ユーザは、コンテンツ提供者が本来提供したい情報を効率的に聞くことができる。   As a result, the present invention skips information such as cautions and copyright notices that are unrelated to the information provided as the original content from the text content to be read out, using preset specific symbol information. Can do. As a result, the user can efficiently listen to information that the content provider originally wants to provide.

本発明は、一般的なウェブページの表示サイズに比べて表示画面が小さいデータ処理装置、例えば、カーナビゲーション装置、データ通信機能付き携帯電話やPDAなどの可搬型小型情報端末、情報家電(例えば、システムキッチンに組み込まれたデータ処理装置)などに搭載されるブラウザに利用することができる。これらのデータ処理装置は、運転中や作業中など表示画面に表示されたコンテンツを注視できない状況下で利用される可能性が高い。   The present invention provides a data processing device having a display screen smaller than the display size of a general web page, such as a car navigation device, a portable small information terminal such as a mobile phone with a data communication function or a PDA, an information home appliance (for example, It can be used for browsers installed in data processing devices built into the system kitchen. These data processing devices are highly likely to be used in situations where content displayed on the display screen cannot be watched, such as during driving or working.

本発明によれば、ウェブページは、コンテンツの音声出力に伴って、音声出力された読み上げ部分を中心に横スクロールされることなく小さな表示画面に合わせて表示される。これにより、大きさに制約がある表示画面において読み上げ部分を表示させる場合の頻繁な画面の切り替りを防ぐことができる。このようなコンテンツの表示と連動した読み上げにより、運転中や作業中にウェブページから情報を取得したい場合に、ユーザは、コンテンツを聞きながら、読み上げ箇所を容易に確認することができる。   According to the present invention, a web page is displayed in accordance with a small display screen without being horizontally scrolled around a read-out portion that is output as a sound, as the content is output as a sound. This can prevent frequent screen switching when displaying a read-out portion on a display screen having a size restriction. When the user wants to acquire information from the web page during driving or working by reading out in conjunction with the display of such content, the user can easily confirm the reading-out location while listening to the content.

また、本発明によれば、表示画面が小さい装置向けに読み上げ専用HTMLデータを作成する必要がなく、パソコン向けの一般的なウェブページのコンテンツの読み上げが可能になる。これにより、コンテンツ提供者のコンテンツ作成負担を軽減することができる。   Further, according to the present invention, it is not necessary to create read-only HTML data for a device having a small display screen, and content of a general web page for a personal computer can be read out. Thereby, the content creation burden of the content provider can be reduced.

また、本発明によれば、元のウェブページの情報を欠落させることなく読み上げに連動した表示を行うことができる。これにより、ユーザは、表示画面が小さい装置でも、パソコン向けの一般的なウェブページを閲覧することができる。   Further, according to the present invention, it is possible to perform display linked to reading without losing information of the original web page. Thereby, the user can browse a general web page for a personal computer even with a device having a small display screen.

また、本発明によれば、本来のコンテンツとして提供される情報とは無関係な情報を読み飛ばして音声出力することができる。これにより、ユーザは、ウェブページの有用な情報を効率的に収集することができる。   Further, according to the present invention, it is possible to output information by skipping information unrelated to the information provided as the original content. Thereby, the user can efficiently collect useful information on the web page.

本発明の最良の実施形態における構成例を示す図である。It is a figure which shows the structural example in the best embodiment of this invention. ウェブサイトのサーバから取得したHTMLデータ例を示す図である。It is a figure which shows the example of HTML data acquired from the server of the website. 図2に示すHTMLデータのDOMツリー例を示す図である。It is a figure which shows the DOM tree example of the HTML data shown in FIG. 図2に示すHTMLデータから生成されるウィジェットツリーの例を示す図である。It is a figure which shows the example of the widget tree produced | generated from the HTML data shown in FIG. 図4に示すウィジェットツリーにもとづくウィジェットの配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the widget based on the widget tree shown in FIG. 最適化レイアウト処理前後のコンテンツの表示の相違を示すための図である。It is a figure for showing the difference in the display of the contents before and after optimization layout processing. 図18に示すHTMLデータについて本発明の処理を施した場合の表示例を示す図である。It is a figure which shows the example of a display at the time of performing the process of this invention about the HTML data shown in FIG. 本発明の概要処理フローを示す図である。It is a figure which shows the outline | summary processing flow of this invention. 最適化処理の処理フローを示す図である。It is a figure which shows the processing flow of an optimization process. 図9に示すステップS24の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of step S24 shown in FIG. 図9に示すステップS26の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of step S26 shown in FIG. 図9に示すステップS28の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of step S28 shown in FIG. 図8に示すステップS3の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of step S3 shown in FIG. 一般的なニュース提供サイトのウェブページの表示例を示す図である。It is a figure which shows the example of a display of the web page of a general news provision site. 別の一般的なニュース提供サイトのウェブページの表示例を示す図である。It is a figure which shows the example of a display of the web page of another general news provision site. 読み飛ばし範囲判定処理の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of a skipping range determination process. 読み飛ばし範囲判定処理を行う場合におけるステップS3の読み上げ表示処理の詳細処理フローを示す図である。It is a figure which shows the detailed process flow of the reading-out display process of step S3 in the case of performing a skipping range determination process. ブラウザのスクロール表示における読み上げ箇所の指摘表示の問題を説明するための図である。It is a figure for demonstrating the problem of the indication display of the reading-out location in the scroll display of a browser.

本発明を実施するための最良の形態として、インターネット上のウェブサイトのサーバから取得したHTMLデータを表示装置に表示し、読み上げ処理時に、読み上げに連動してウェブページの最適な表示を行うためにレイアウトを再構成する処理と、所定の特定記号情報をもとにテキストコンテンツから特定した範囲を読み飛ばして音声出力する処理とを行うブラウザの実施例を説明する。   As the best mode for carrying out the present invention, HTML data acquired from a web site server on the Internet is displayed on a display device, and at the time of a reading process, an optimal display of a web page is performed in conjunction with the reading. An embodiment of a browser that performs a process of reconfiguring a layout and a process of skipping a range specified from text content based on predetermined specific symbol information and outputting the sound will be described.

図1に、本発明の最良の実施形態における構成例を示す。   FIG. 1 shows a configuration example in the best embodiment of the present invention.

本発明にかかる読み上げ機能付きブラウザ(ブラウザ)1は、表示装置2、スピーカ3、ブラウジング処理制御部110、通信処理部111、HTML解析処理部112、レイアウト処理部113、画像表示処理部115、読み上げ処理制御部120、横スクロール判定処理部121、最適化レイアウト処理部122、読み上げテキスト取得処理部123、スクロール処理部124、ページ切替処理部125、特定記号情報記憶部126、読み飛ばし範囲判定処理部127、音声合成処理部131、波形生成処理部132、および音声出力処理部133を備える。   A browser (browser) 1 with a reading function according to the present invention includes a display device 2, a speaker 3, a browsing processing control unit 110, a communication processing unit 111, an HTML analysis processing unit 112, a layout processing unit 113, an image display processing unit 115, Processing control unit 120, horizontal scroll determination processing unit 121, optimized layout processing unit 122, reading text acquisition processing unit 123, scroll processing unit 124, page switching processing unit 125, specific symbol information storage unit 126, skipping range determination processing unit 127, a speech synthesis processing unit 131, a waveform generation processing unit 132, and a speech output processing unit 133.

ブラウジング処理制御部110は、HTMLデータを取得して、表示装置2に表示するブラウジング処理に関する一連の処理を制御する処理手段である。また、ブラウジング処理制御部110は、ユーザが、読み上げを要求した場合に、読み上げ処理制御部120へ要求を通知する。   The browsing process control unit 110 is a processing unit that acquires HTML data and controls a series of processes related to the browsing process displayed on the display device 2. In addition, when the user requests reading, the browsing processing control unit 110 notifies the reading processing control unit 120 of the request.

通信処理部111は、HTTPプロトコルにしたがって、ウェブサイトのサーバからHTMLデータを取得する処理手段である。図2に、ウェブサイトのサーバから取得したHTMLデータ例を示す。   The communication processing unit 111 is a processing unit that acquires HTML data from a website server in accordance with the HTTP protocol. FIG. 2 shows an example of HTML data acquired from the website server.

HTML解析処理部112は、HTMLデータのタグを解析し、DOM(Document Object Model)ツリーと呼ばれる形式に変換する処理手段である。   The HTML analysis processing unit 112 is a processing unit that analyzes a tag of HTML data and converts it into a format called a DOM (Document Object Model) tree.

図3に、図2に示すHTMLデータのDOMツリー例を示す。DOMツリーは、HTMLデータの階層関係を示すものである。   FIG. 3 shows an example of the DOM tree of the HTML data shown in FIG. The DOM tree indicates the hierarchical relationship of HTML data.

レイアウト処理部113は、DOMツリーの情報を、タグの情報に従ってレイアウトする処理を行う。レイアウトされたHTMLデータは、ウィジェット(Widget)と呼ばれるGUI(Graphical User Interface)用の表示部品で表現する。   The layout processing unit 113 performs a process of laying out the DOM tree information according to the tag information. The laid out HTML data is expressed by a GUI (Graphical User Interface) display component called a widget.

図4に、図2に示すHTMLデータから生成されるウィジェットツリーの例を示す。ウィジェットツリーは、ウィジェット(表示部品)W1〜W7間の関係を示すものである。   FIG. 4 shows an example of a widget tree generated from the HTML data shown in FIG. The widget tree shows the relationship between the widgets (display parts) W1 to W7.

画像表示処理部115は、ウィジェットツリーに記述されている情報をもとに、HTMLデータを表示装置2に表示する処理手段である。   The image display processing unit 115 is processing means for displaying HTML data on the display device 2 based on information described in the widget tree.

読み上げ処理制御部120は、ブラウザ1のユーザによって、表示装置2に表示されたHTMLデータの読み上げ処理が要求されたときに、読み上げ処理に関する一連の処理を制御する処理手段である。   The reading process control unit 120 is a processing unit that controls a series of processes related to the reading process when the user of the browser 1 requests the reading process of the HTML data displayed on the display device 2.

横スクロール判定処理部121は、表示装置2に現在表示されているウェブページを、横スクロールを行う状態で表示しているか否かを判断する処理手段である。   The horizontal scroll determination processing unit 121 is a processing unit that determines whether the web page currently displayed on the display device 2 is displayed in a state where horizontal scrolling is performed.

最適化レイアウト処理部122は、DOMツリーの情報を、タグの情報に従って、ブラウザ1の所定のコンテンツ表示領域において横スクロールが発生しない状態で表示するようにレイアウトする処理手段である。レイアウトされたHTMLデータは、ウィジェットと呼ばれる表示部品で表現する。   The optimized layout processing unit 122 is a processing unit that lays out the DOM tree information so that it is displayed in a state in which no horizontal scrolling occurs in a predetermined content display area of the browser 1 according to the tag information. The laid out HTML data is expressed by display parts called widgets.

読み上げテキスト取得処理部123は、DOMツリーから、読み上げ処理の対象となるテキストデータを順番に取得する処理手段である。   The read text acquisition processing unit 123 is a processing unit that sequentially acquires text data to be read out from the DOM tree.

スクロール処理部124は、HTMLデータ中のテキストデータの音声出力している部分(読み上げ部分)をスクロールして表示する処理手段である。   The scroll processing unit 124 is a processing unit that scrolls and displays the voice output portion (read-out portion) of the text data in the HTML data.

ページ切替処理部125は、HTMLデータ上に記述されているURLにジャンプする処理手段である。なお、ジャンプするか否かは環境設定で規定することができる。   The page switching processing unit 125 is processing means for jumping to a URL described in HTML data. Note that whether or not to jump can be defined in the environment settings.

特定記号情報記憶部126は、読み上げ処理時に読み飛ばす部分、すなわち読み上げ対象のテキストデータのなかで音声出力しないテキストデータの範囲を特定するための特定記号情報を記憶する処理手段である。特定記号情報は、読み飛ばす開始位置を示す特定開始記号および前記範囲の終了位置を示す特定終了記号との組み合わせとして設定される。   The specific symbol information storage unit 126 is a processing unit that stores specific symbol information for specifying a portion to be skipped during the reading process, that is, a range of text data that is not output in the text data to be read. The specific symbol information is set as a combination of a specific start symbol indicating the start position to skip and a specific end symbol indicating the end position of the range.

読み飛ばし範囲判定処理部127は、読み上げ対象として取得されたテキストデータの文字コードを解析して、特定記号情報をもとに、読み上げ処理時に読み飛ばす範囲を抽出し削除する処理手段である。   The skipping range determination processing unit 127 is a processing unit that analyzes a character code of text data acquired as a reading target, and extracts and deletes a range to be skipped during the reading process based on specific symbol information.

音声合成処理部131は、読み上げテキスト取得処理部123が取得したテキストデータを表音文字列に変換する処理手段である。   The speech synthesis processing unit 131 is a processing unit that converts the text data acquired by the reading text acquisition processing unit 123 into a phonetic character string.

波形生成処理部132は、表音文字列を波形データに変換する処理手段である。   The waveform generation processing unit 132 is processing means for converting a phonetic character string into waveform data.

音声出力処理部133は、波形データを音声としてスピーカ3から出力する処理手段である。
〔最適化レイアウト処理〕
以下に、最適化レイアウト処理をより詳細に説明する。処理するコンテンツは、図2に示すHTMLデータとし、ブラウザ1のコンテンツ表示領域の画面幅は240ピクセルとする。
The audio output processing unit 133 is processing means for outputting the waveform data as audio from the speaker 3.
[Optimized layout processing]
Hereinafter, the optimized layout process will be described in more detail. The content to be processed is HTML data shown in FIG. 2, and the screen width of the content display area of the browser 1 is 240 pixels.

ブラウジング処理制御部110の制御のもと、あるウェブサイトのサーバから取得されたHTMLデータは、図4に示すウィジェットツリーに展開され,図6(A)に示すようなウェブページがコンテンツ表示領域に表示される。コンテンツ表示領域の画面幅は240ピクセルであり、すべてのコンテンツを同時に表示することはできないため、画像表示処理部115は、コンテンツ表示領域で横スクロールができるような表示状態でコンテンツを表示する。なお、これらの一連の処理は、一般的なブラウジング処理であるので説明を省略する。   Under the control of the browsing processing control unit 110, HTML data acquired from a server of a certain website is expanded into a widget tree shown in FIG. 4, and a web page as shown in FIG. 6A is displayed in the content display area. Is displayed. Since the screen width of the content display area is 240 pixels and it is not possible to display all the contents at the same time, the image display processing unit 115 displays the contents in a display state that allows horizontal scrolling in the content display area. Note that a series of these processes is a general browsing process, and a description thereof will be omitted.

このような状態でウェブページが表示されている時に、ユーザから読み上げ処理の要求があると、横スクロール判定処理部121は、横スクロール可能な状態での表示であると判定し、最適化レイアウト処理部122へ判定結果を渡す。   When a web page is displayed in such a state and a user requests a reading process, the horizontal scroll determination processing unit 121 determines that the display is in a state in which horizontal scrolling is possible, and an optimized layout process is performed. The determination result is passed to the unit 122.

最適化レイアウト処理部122は、レイアウト処理部113によって生成された図4のウィジェットツリーをコンテンツ表示領域に表示するために、ウィジェットW1〜W7の配置座標を決定する。ウィジェットツリーの階層構造にしたがって、上位のウィジェットから順番にコンテンツ表示領域の左上から配置し、ウインドウウィジェットW1の幅(以下、画面幅)=240ピクセル内に各ウィジェットが収まるようにサイズ(大きさ)を変更して配置する。図5に、図4のウィジェットツリーにもとづくウィジェットの配置例を示す。   The optimized layout processing unit 122 determines the arrangement coordinates of the widgets W1 to W7 in order to display the widget tree of FIG. 4 generated by the layout processing unit 113 in the content display area. According to the hierarchical structure of the widget tree, the content display area is arranged from the upper left in order from the upper widget, and the size (size) so that each widget fits within the width of the window widget W1 (hereinafter, screen width) = 240 pixels. Change the position. FIG. 5 shows an arrangement example of widgets based on the widget tree of FIG.

まず、イメージウィジェットW2については、イメージウィジェットW2の横幅が画面幅より大きいため、イメージの縦横比率を維持した形状で画面幅に収まるサイズに縮小して配置する。   First, since the width of the image widget W2 is larger than the screen width, the image widget W2 is reduced in size to fit within the screen width in a shape that maintains the aspect ratio of the image.

次に、表ウィジェットW3については、サイズ指定がないため、セルウィジェットW4、W5の最小サイズを求めてから決定する。まず、セルウィジェットW4のサイズを決定するために、中身のウィジェットのサイズを求める。セルウィジェットW4の中身であるイメージウィジェットW6のサイズが、画面幅に収まる大きさであるため、イメージの縮小は行わない。よって、セルウィジェットW4のサイズが定まる。   Next, since the size of the table widget W3 is not specified, the table widget W3 is determined after obtaining the minimum sizes of the cell widgets W4 and W5. First, in order to determine the size of the cell widget W4, the size of the content widget is obtained. Since the size of the image widget W6, which is the contents of the cell widget W4, is large enough to fit within the screen width, the image is not reduced. Therefore, the size of the cell widget W4 is determined.

次に、セルウィジェットW5のサイズを決定するために、同様に、中身のウィジェットのサイズを求める。テキストウィジェットW7の文字列は、NOBR(改行禁止)指定であるが、文字列の折り返しを行わないと画面幅に収まらないため、NOBR指定を無効として、最小セルウィジェットのサイズが1文字分のサイズに決定する。   Next, in order to determine the size of the cell widget W5, the size of the content widget is similarly obtained. The character string of the text widget W7 is designated as NOBR (line feed prohibition), but it does not fit in the screen width unless the character string is folded, so the NOBR designation is invalidated and the size of the minimum cell widget is the size of one character. To decide.

セルウィジェットW4、W5のサイズが決定したことにより表ウィジェットW3のサイズが決定する。しかし、決定した表ウィジェットW3のサイズが画面幅より大きく、セルウィジェットW4、W5の2つのウィジェットを横に配置することができないため、図6(B)に示すように、セルウィジェットW5を、セルウィジェットW4の下に配置するようにセルを分割する。そして、決定したセルウィジェットW4、W5の配置位置に従ってそれぞれのセルウィジェット内をレイアウトする。   When the sizes of the cell widgets W4 and W5 are determined, the size of the table widget W3 is determined. However, since the determined size of the table widget W3 is larger than the screen width and the two widgets of the cell widgets W4 and W5 cannot be arranged side by side, as shown in FIG. The cell is divided so as to be arranged under the widget W4. Then, each cell widget is laid out according to the determined arrangement position of the cell widgets W4 and W5.

図7に、図18に示すHTMLデータ90について本発明の処理を施した場合の表示例を示す。本発明によれば、HTMLデータ90から展開されるウェブページの幅がコンテンツ表示領域の画面幅に収まるように表示処理されるため、横スクロールが発生しない。よって、読み上げ処理時に読み上げ部分を表示する場合には縦スクロールのみで画面が切り替り、頻繁な画面切り替えを発生させないため、ユーザは、容易に読み上げ部分を確認することができる。   FIG. 7 shows a display example when the processing of the present invention is applied to the HTML data 90 shown in FIG. According to the present invention, since the display processing is performed so that the width of the web page developed from the HTML data 90 falls within the screen width of the content display area, horizontal scrolling does not occur. Therefore, when displaying the read-out part during the read-out process, the screen is switched only by vertical scrolling, and frequent screen switching does not occur. Therefore, the user can easily check the read-out part.

図8〜図12に、本発明の処理フローを示す。   8 to 12 show the processing flow of the present invention.

図8に、本発明の概要処理フローを示す。   FIG. 8 shows an outline processing flow of the present invention.

ブラウジング処理制御部110の制御下でHTMLデータを表示処理している際に読み上げ処理の要求があると、本処理が開始される。横スクロール判定処理部121は、横スクロールが発生しているかどうかを判定する(ステップS1)。横スクロールが発生していると判定した場合は、最適化レイアウト処理を行って(ステップS2)、読み上げ処理を行う(ステップS3)。一方、横スクロールが発生していないと判定した場合は、そのまま、読み上げ処理を行う(ステップS3)。   This process is started when there is a request for a reading process during the display process of HTML data under the control of the browsing process control unit 110. The horizontal scroll determination processing unit 121 determines whether horizontal scrolling has occurred (step S1). If it is determined that horizontal scrolling has occurred, an optimized layout process is performed (step S2), and a reading process is performed (step S3). On the other hand, when it is determined that the horizontal scroll has not occurred, the reading process is performed as it is (step S3).

図9は、最適化処理の処理フローを示す。   FIG. 9 shows the process flow of the optimization process.

最適化レイアウト処理部122は、ウィジェットツリーから、レイアウト処理を行うウィジェットを順次取得する(ステップS21)。レイアウトを行うウィジェットがあれば(ステップS22)、そのウィジェットがテキストウィジェットか否かを判定する(ステップS23)。テキストウィジェットであれば、テキストの処理を行う(ステップS24)。テキストウィジェットでなければ、イメージウィジェットまたはフォームウィジェットか否かを判定する(ステップS25)。   The optimized layout processing unit 122 sequentially acquires widgets to be subjected to layout processing from the widget tree (step S21). If there is a widget to be laid out (step S22), it is determined whether or not the widget is a text widget (step S23). If it is a text widget, text processing is performed (step S24). If it is not a text widget, it is determined whether it is an image widget or a form widget (step S25).

そのウィジェットが、イメージウィジェットまたはフォームウィジェット(Textarea,pushButtonなど)であれば、イメージ、フォームの処理を行い(ステップS26)、イメージウィジェットまたはフォームウィジェットのいずれでもなければ、表ウィジェットか否かを判定する(ステップS27)。そのウィジェットが表ウィジェットであれば、表の処理を行い(ステップS28)、表ウィジェットでなければ、ステップS21の処理へ戻る。   If the widget is an image widget or a form widget (Textarea, pushButton, etc.), the image and form are processed (step S26), and if it is not an image widget or a form widget, it is determined whether it is a table widget. (Step S27). If the widget is a table widget, the table is processed (step S28). If not, the process returns to step S21.

また、ステップS22の処理でレイアウトを行うウィジェットがなければ処理を終了する。   If there is no widget for layout in the process of step S22, the process ends.

図10に、図9に示すステップS24の詳細処理フローを示す。   FIG. 10 shows a detailed processing flow of step S24 shown in FIG.

最適化レイアウト処理部122は、テキストウィジェットにおいてタグ<BR>が連続している場合は、タグ<BR>を1つとして処理する(ステップS241)。そして、テキストに未レイアウトの文字列があるか否かを判定する(ステップS242)。未レイアウトの文字列があれば、未レイアウトの文字列を画面幅で分割する(ステップS243)。なお、折り返し抑止(<nowrap><nobr>など)の指定は無効とする。   If the tag <BR> is continuous in the text widget, the optimized layout processing unit 122 processes the tag <BR> as one (step S241). Then, it is determined whether or not there is a non-layout character string in the text (step S242). If there is a non-layout character string, the non-layout character string is divided by the screen width (step S243). It should be noted that the specification of loopback suppression (<nowrap> <nobr> etc.) is invalid.

さらに、分割禁止文字列(英単語、数値、句読点や括弧などの行頭/行末禁則文字など)が分割されたかどうかを判定し(ステップS244)、分割禁止文字列が分割されていれば、さらに配置位置が行頭であるか否かを判定する(ステップS245)。配置位置が行頭でなければ、分割された分割禁止文字列を分割後方へ追い出す(ステップS246)。一方、配置位置が行頭であればそのままにする。一方、分割禁止文字列が分割されていなければ、分割した前方の文字列を配置する(ステップS247)。   Further, it is determined whether or not the prohibited character string (English words, numerical values, punctuation marks, parentheses, etc.) is divided (step S244). If the prohibited character string is divided, further arrangement is performed. It is determined whether or not the position is at the beginning of a line (step S245). If the arrangement position is not the beginning of the line, the divided prohibited character string is driven backward (step S246). On the other hand, if the arrangement position is the beginning of the line, it is left as it is. On the other hand, if the division prohibited character string is not divided, the divided character string is placed (step S247).

また、ステップS242で、テキストに未レイアウトの文字列がなければ、処理を終了する。   In step S242, if there is no unlayed character string in the text, the process ends.

図11に、図9に示すステップS26の詳細処理フローを示す。   FIG. 11 shows a detailed processing flow of step S26 shown in FIG.

最適化レイアウト処理部122は、イメージウィジェットまたはフォームウィジェットが画面幅で収まるか否かを判定する(ステップS261)。イメージウィジェットまたはフォームウィジェットが画面幅で収まらない場合には、イメージまたはフォームを幅値(width)、高さ値(height)の指定の有無にかかわらず、画面幅に縮小する。イメージの高さは、幅と同一の縮小率で縮小する(ステップS262)。一方、イメージウィジェットまたはフォームウィジェットが画面幅で収まる場合には、ステップS263の処理へ進む。   The optimized layout processing unit 122 determines whether the image widget or the form widget fits in the screen width (step S261). If the image widget or form widget does not fit in the screen width, the image or form is reduced to the screen width regardless of whether the width value (width) and height value (height) are specified. The height of the image is reduced at the same reduction ratio as the width (step S262). On the other hand, if the image widget or form widget fits within the screen width, the process proceeds to step S263.

そして、イメージまたはフォームを配置する(ステップS263)。   Then, an image or a form is arranged (step S263).

図12に、図9に示すステップS28の詳細処理フローを示す。   FIG. 12 shows a detailed processing flow of step S28 shown in FIG.

最適化レイアウト処理部122は、表およびセルの解析処理を行い、セル内の最大幅値、最小幅値を取得する(ステップS281)。表が画面幅で収まるか否かを判定する(ステップS282)。表が画面幅で収まらない場合には、表のすべての列で下線が揃うラインを基準にセルをブロック化し、順番を決める(ステップS283)。そして、未処理のセルブロックがあるか否かを判定する(ステップS284)。未処理のセルブロックがあれば、優先度の高い1未処理セルブロックに対して、セル幅の調整、次行への送り出しなどの処理を行い、画面幅に収まるようにする。高さは各セルウィジェット内容の最大の高さで揃える(ステップS285)。そして、ステップS284の処理へ戻る。   The optimized layout processing unit 122 performs table and cell analysis processing, and acquires the maximum width value and the minimum width value in the cell (step S281). It is determined whether or not the table fits in the screen width (step S282). If the table does not fit in the screen width, the cells are blocked based on the line where the underline is aligned in all the columns of the table, and the order is determined (step S283). Then, it is determined whether or not there is an unprocessed cell block (step S284). If there is an unprocessed cell block, processing such as adjustment of the cell width and sending to the next row is performed on one unprocessed cell block having a high priority so as to fit within the screen width. The height is aligned with the maximum height of each cell widget content (step S285). Then, the process returns to step S284.

一方、ステップS282で表が画面幅で収まる場合またはステップS284の処理で未処理のセルブロックがない場合には、ステップS286の処理へ進む。   On the other hand, if the table fits in the screen width in step S282, or if there is no unprocessed cell block in the process of step S284, the process proceeds to step S286.

ステップS286では、表を配置して、処理を終了する。   In step S286, a table is arranged and the process ends.

図13に、図8に示すステップS3の詳細処理フローを示す。   FIG. 13 shows a detailed processing flow of step S3 shown in FIG.

読み上げテキスト取得処理部123は、DOMツリーに読み上げ対象のテキストがあるかどうかを判定する(ステップS31)。読み上げ対象があれば、DOMツリーからテキストを取得し(ステップS32)、読み上げるテキストに対応するウィジェットを求める(ステップS33)。   The reading text acquisition processing unit 123 determines whether there is a text to be read in the DOM tree (step S31). If there is a reading target, the text is acquired from the DOM tree (step S32), and a widget corresponding to the text to be read is obtained (step S33).

そして、ウィジェットの先頭が表示領域内であるかどうかを判定する(ステップS34)。ウィジェットの先頭が表示領域内でなければ、読み上げるテキストの先頭が表示領域内に収まるように縦スクロールし(ステップS35)、読み上げる部分の文字列の色を変更して強調表示する(ステップS36)。さらに、音声合成処理部131、波形生成処理部132、および音声出力処理部131は、読み上げ部分の文字列を音声データに変換して読み上げる(ステップS37)。その後、ステップS31の処理へ戻る。   Then, it is determined whether or not the top of the widget is within the display area (step S34). If the head of the widget is not within the display area, the text is vertically scrolled so that the head of the text to be read is within the display area (step S35), and the character string color of the part to be read is changed and highlighted (step S36). Furthermore, the speech synthesis processing unit 131, the waveform generation processing unit 132, and the speech output processing unit 131 convert the character string in the reading portion into speech data and read it out (step S37). Thereafter, the process returns to step S31.

一方、ウィジェットの先頭が表示領域内であれば、ステップS36の処理へ進む。
〔読み飛ばし範囲判定処理〕
以下に、コンテンツの読み上げ時に、音声出力する必要がない部分を判定する処理を説明する。
On the other hand, if the top of the widget is within the display area, the process proceeds to step S36.
[Skip range judgment process]
In the following, a process for determining a portion that does not need to be output as audio when reading out content will be described.

図14に、一般的なニュース提供サイトのウェブページの表示例を示す。図14に示すウェブページのコンテンツの中で、コンテンツ提供者がユーザ提供したいと考える情報はニュース自体である。ユーザにとって、ニュース分類を表示するタイトル表示部分C1、ニュースの本文を表示する本文表示部分C2が読み上げ対象として必要であり、補足的な情報や著作権表示などを表示する補足情報表示部分C3は不要である。   FIG. 14 shows a display example of a web page of a general news providing site. Among the contents of the web page shown in FIG. 14, the information that the content provider wants to provide is the news itself. For the user, the title display part C1 for displaying the news classification and the text display part C2 for displaying the news text are necessary for reading, and the supplementary information display part C3 for displaying supplementary information and copyright display is unnecessary. It is.

そこで、予め、補足情報などに使用されやすい記号を特定記号情報として設定し、特定記号情報記憶部126に記憶しておく。特定記号情報は、読み飛ばす範囲の開始位置を示す特定開始記号と、読み飛ばす範囲の終了位置を示す特定終了記号との組み合わせとしてもよい。   Therefore, a symbol that is easily used for supplementary information or the like is set in advance as specific symbol information and stored in the specific symbol information storage unit 126. The specific symbol information may be a combination of a specific start symbol indicating the start position of the range to be skipped and a specific end symbol indicating the end position of the range to be skipped.

読み飛ばし判定処理部127は、特定記号情報記憶部126を参照して、読み上げテキスト取得処理部123が取得して一時的な読み上げテキストバッファに格納したテキストデータの文字コードを解析して、特定開始記号を検索し、テキストデータ内に特定開始記号があれば、さらに対応する特定終了記号を検索する。そして、特定開始記号と特定終了記号とに囲まれた文字列を、読み上げ対象のテキストデータから削除する。   The skipping determination processing unit 127 refers to the specific symbol information storage unit 126, analyzes the character code of the text data acquired by the reading text acquisition processing unit 123 and stored in the temporary reading text buffer, and starts specifying If a symbol is searched for and there is a specific start symbol in the text data, a corresponding specific end symbol is further searched. Then, the character string surrounded by the specific start symbol and the specific end symbol is deleted from the text data to be read out.

例えば、特定記号情報として“※”と“※”、“※”と“.(ピリオド)”、“※”と“。(読点)”などの組み合わせを設定しておくとする。読み飛ばし判定処理部127は、読み上げテキスト取得処理部123が取得した図14のタイトル表示部分C1、本文表示部分C2、補足情報表示部分C3のテキストデータから、特定記号情報として設定された文字コードを検索する。補足情報表示部分C3のテキストの先頭文字が「※」であり、最後の文字が「.(ピリオド)」であるので、補足情報表示部分C3のテキストの文字列は、読み上げ対象のテキストから削除される。よって、読み上げテキストバッファには、図14に示すように表示されたウェブページのテキストのうち補足情報表示部分C3が削除されたテキストデータが格納される。そして、音声合成処理部131、波形生成処理部132および音声出力処理部133の処理を介して、読み上げテキストバッファのテキストデータであるタイトル表示部分C1、本文表示部分C2の内容が音声に変換されてスピーカ3から出力される。   For example, a combination of “*” and “*”, “*” and “. (Period)”, “*” and “. (Reading mark)”, etc. is set as specific symbol information. The skip-reading determination processing unit 127 receives the character code set as the specific symbol information from the text data of the title display part C1, the body display part C2, and the supplementary information display part C3 of FIG. 14 acquired by the read-out text acquisition processing part 123. Search for. Since the first character of the text of the supplementary information display portion C3 is “*” and the last character is “. (Period)”, the character string of the text of the supplementary information display portion C3 is deleted from the text to be read out. The Therefore, text data in which the supplementary information display part C3 is deleted from the text of the web page displayed as shown in FIG. 14 is stored in the reading text buffer. Then, the contents of the title display portion C1 and the body display portion C2, which are text data in the read-out text buffer, are converted into speech through the processing of the speech synthesis processing unit 131, the waveform generation processing unit 132, and the speech output processing unit 133. Output from the speaker 3.

さらに、図15に別の一般的なニュース提供サイトのウェブページの表示例を示す。図15のウェブページは、先頭ページの各ニュース見出しC21、C22、C23、…から、それぞれのニュース本文のページを表示させるスタイルである。この場合に、先頭ページの補足情報表示部分C3が、各ニュース本文のページにも表示されているとする。従来の読み上げ処理では、それぞれのページを読み上げるたびに補足情報表示部分C3の内容を読み上げることになる。   Further, FIG. 15 shows a display example of a web page of another general news providing site. The web page in FIG. 15 has a style in which each news body page is displayed from each news headline C21, C22, C23,. In this case, it is assumed that the supplementary information display portion C3 of the first page is also displayed on each news text page. In the conventional reading process, the contents of the supplemental information display portion C3 are read out each time each page is read out.

しかし、前述の処理と同様に、読み飛ばし範囲判定処理部127は、補足情報表示部分C3のテキストデータの先頭文字「※」と最後の文字「。(読点)」の特定記号を検出して、これらの特定記号に囲まれた部分を読み出し、テキストバッファのテキストデータから削除する。よって、ユーザは、有用なニュース本文のみを聞くことができる。   However, similar to the above-described processing, the skip-through range determination processing unit 127 detects the specific symbols of the first character “*” and the last character “. (Reading mark)” of the text data of the supplementary information display portion C3, and The part surrounded by these specific symbols is read and deleted from the text data in the text buffer. Therefore, the user can hear only useful news texts.

図16、図17に、本発明の処理フローを示す。   16 and 17 show the processing flow of the present invention.

図16に、読み飛ばし範囲判定処理の詳細処理フローを示す。   FIG. 16 shows a detailed processing flow of the skipping range determination processing.

読み飛ばし範囲判定処理部127は、読み上げテキストバッファからテキストデータを読み込む(ステップS41)。テキストデータ内から特定開始記号を検索する(ステップS42)。特定開始記号をヒットした場合に(ステップS43)、さらに、テキストデータ内から特定終了記号を検索する(ステップS44)。そして、特定終了記号をヒットした場合に(ステップS45)、テキストデータ内の特定開始記号から特定終了記号までの間の文字列を削除し(ステップS46)、削除したテキストデータを読み上げテキストバッファに書き戻す(ステップS47)。   The skipping range determination processing unit 127 reads text data from the read text buffer (step S41). A specific start symbol is searched from the text data (step S42). When the specific start symbol is hit (step S43), the specific end symbol is searched from the text data (step S44). When the specific end symbol is hit (step S45), the character string between the specific start symbol and the specific end symbol in the text data is deleted (step S46), and the deleted text data is written into the read-out text buffer. Return (step S47).

一方、ステップS43の処理で、特定開始記号をヒットしなかった場合には、ステップS47の処理を行う。   On the other hand, if the specific start symbol is not hit in the process of step S43, the process of step S47 is performed.

図17に、読み飛ばし範囲判定処理を行う場合におけるステップS3の読み上げ表示処理の詳細フローを示す。   FIG. 17 shows a detailed flow of the reading-out display process in step S3 when the skip-out range determination process is performed.

図17に示す処理フローのステップS51〜S57の処理は、図13に示す処理フローのステップS31〜S37の各ステップの処理に対応する。読み飛ばし範囲判定処理を行う場合の読み上げ表示処理では、ステップS52およびステップS53の処理の間に、ステップS58の処理を行う点が異なる。   The processing in steps S51 to S57 in the processing flow illustrated in FIG. 17 corresponds to the processing in steps S31 to S37 in the processing flow illustrated in FIG. In the reading-out display process in the case of performing the skipping range determination process, the point that the process of step S58 is performed is different between the processes of step S52 and step S53.

ステップS58の処理では、読み飛ばし範囲判定処理(読み飛ばし処理)後のテキストに読み上げる文字列があるか否かを判定する。読み上げる文字列があれば、ステップS53の処理へ進み、読み上げる文字列がなければ、ステップS51の処理へ戻る。   In the process of step S58, it is determined whether or not there is a character string to be read out in the text after the skip-out range determination process (read-out process). If there is a character string to be read, the process proceeds to step S53. If there is no character string to be read, the process returns to step S51.

以上、本発明をその実施の形態により説明したが、本発明はその主旨の範囲において種々の変形が可能であることは当然である。   As mentioned above, although this invention was demonstrated by the embodiment, it cannot be overemphasized that various deformation | transformation are possible for this invention in the range of the main point.

また、本発明は、コンピュータにより読み取られ実行される処理プログラムとして実施することができる。本発明を実現する処理プログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。   Further, the present invention can be implemented as a processing program that is read and executed by a computer. The processing program for realizing the present invention can be stored in an appropriate recording medium such as a portable medium memory, a semiconductor memory, and a hard disk that can be read by a computer. It is provided by transmission / reception using various communication networks via a communication interface.

本発明は、一般的なウェブページの表示サイズに比べて表示画面が小さいデータ処理装置、例えば、カーナビゲーション装置、データ通信機能付き携帯電話やPDAなどの可搬型小型情報端末、情報家電(例えば、システムキッチンに組み込まれたデータ処理装置)などに搭載されるブラウザに利用することができる。これらのデータ処理装置は、表示画面に表示されたコンテンツを注視できない状況下で利用される可能性が高く、読み上げ箇所の確認が容易にできるウェブページ読み上げ機能に対する要求は高い。   The present invention provides a data processing device having a display screen smaller than the display size of a general web page, such as a car navigation device, a portable small information terminal such as a mobile phone with a data communication function or a PDA, an information home appliance (for example, It can be used for browsers installed in data processing devices built into the system kitchen. These data processing devices are highly likely to be used in situations where the content displayed on the display screen cannot be watched, and there is a high demand for a web page reading function that makes it easy to check the reading position.

1 ブラウザ
2 表示装置
3 スピーカ
110 ブラウジング処理制御部
111 通信処理部
112 HTML解析処理部
113 レイアウト処理部
115 画像表示処理部
120 読み上げ処理制御部
121 横スクロール判定処理部
122 最適化レイアウト処理部
123 読み上げテキスト取得処理部
124 スクロール処理部
125 ページ切替処理部
126 特定記号情報記憶部
127 読み飛ばし範囲判定処理部
131 音声合成処理部
132 波形生成処理部
133 音声出力処理部
DESCRIPTION OF SYMBOLS 1 Browser 2 Display apparatus 3 Speaker 110 Browsing process control part 111 Communication process part 112 HTML analysis process part 113 Layout process part 115 Image display process part 120 Read-out process control part 121 Horizontal scroll determination process part 122 Optimization layout process part 123 Read-out text Acquisition processing unit 124 Scroll processing unit 125 Page switching processing unit 126 Specific symbol information storage unit 127 Skipping range determination processing unit 131 Speech synthesis processing unit 132 Waveform generation processing unit 133 Audio output processing unit

Claims (4)

コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品が非テキスト部品であるときは,該非テキスト部品を縮小して前記表示画面の横方向の表示幅を超えない非テキスト部品を生成して,前記テキスト部品と合わせて表示する処理を,実行させる
ことを特徴とする表示プログラム。
Computer
When a display component based on data described in a markup language includes a text component and a non-text component, and at least one of the text component and the non-text component exceeds the horizontal display width of the display screen, If the part that exceeds the horizontal display width of the display screen is a non-text part, the non-text part is reduced to generate a non-text part that does not exceed the horizontal display width of the display screen, and the text A display program that executes processing to be displayed together with parts.
コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品がテキスト部品であるときは,該テキスト部品の改行位置を変更して前記表示画面の横方向の表示幅を超えないテキスト部品を生成して,前記非テキスト部品と合わせて表示する処理を,実行させる
ことを特徴とする表示プログラム。
Computer
When a display component based on data described in a markup language includes a text component and a non-text component, and at least one of the text component and the non-text component exceeds the horizontal display width of the display screen, If the part that exceeds the horizontal display width of the display screen is a text part, the line break position of the text part is changed to generate a text part that does not exceed the horizontal display width of the display screen. A display program that executes processing to display with non-text parts.
コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の双方が表示画面の横方向の表示幅を超える場合に,表示部品がテキスト部品であるか非テキスト部品であるかに応じて異なる処理により,前記表示画面の横方向の表示幅を超えないテキスト部品および非テキスト部品を生成して双方を表示する処理を実行させ,
前記異なる処理は,改行位置の変更処理および縮小処理を含み,前記テキスト部品については改行位置の変更処理を適用し,前記非テキスト部品については縮小処理を適用することを実行させる
ことを特徴とする表示プログラム。
Computer
A display component based on data described in a markup language includes a text component and a non-text component, and both the text component and the non-text component exceed the display width in the horizontal direction of the display screen. Depending on whether is a text part or a non-text part, a process for generating and displaying both a text part and a non-text part that do not exceed the horizontal display width of the display screen is executed.
The different processing includes a line feed position change process and a reduction process, wherein the line break position change process is applied to the text part, and the reduction process is applied to the non-text part. Display program.
前記表示する処理の際に,前記テキスト部品と前記非テキスト部品を前記表示画面の横方向の表示幅に収まるように配置変更する処理を行う
ことを特徴とする請求項1ないし請求項3のいずれか一項に記載の表示プログラム。
4. The process of rearranging the text part and the non-text part to fit within a display width in a horizontal direction of the display screen is performed during the display process. 5. The display program according to one item.
JP2013037661A 2013-02-27 2013-02-27 Display program Pending JP2013101707A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013037661A JP2013101707A (en) 2013-02-27 2013-02-27 Display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013037661A JP2013101707A (en) 2013-02-27 2013-02-27 Display program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011153588A Division JP2011216112A (en) 2011-07-12 2011-07-12 Display program

Publications (1)

Publication Number Publication Date
JP2013101707A true JP2013101707A (en) 2013-05-23

Family

ID=48622187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013037661A Pending JP2013101707A (en) 2013-02-27 2013-02-27 Display program

Country Status (1)

Country Link
JP (1) JP2013101707A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162002A (en) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd Internet browsing device
JP2000115527A (en) * 1998-10-09 2000-04-21 Canon Inc Electronic document reading device, electronic document displaying method, information terminal device, data displaying method and storing medium
JP2002007269A (en) * 2000-06-27 2002-01-11 Kddi Research & Development Laboratories Inc Proxy server and method for re-editing page and recording medium recorded with program therefor
JP2005527057A (en) * 2002-09-05 2005-09-08 オペラ ソフトウェア エイエスエイ Presentation of HTML content on the small screen terminal display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162002A (en) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd Internet browsing device
JP2000115527A (en) * 1998-10-09 2000-04-21 Canon Inc Electronic document reading device, electronic document displaying method, information terminal device, data displaying method and storing medium
JP2002007269A (en) * 2000-06-27 2002-01-11 Kddi Research & Development Laboratories Inc Proxy server and method for re-editing page and recording medium recorded with program therefor
JP2005527057A (en) * 2002-09-05 2005-09-08 オペラ ソフトウェア エイエスエイ Presentation of HTML content on the small screen terminal display

Similar Documents

Publication Publication Date Title
US20070157081A1 (en) Browser with screen-reading function and browsing processing method
US7984376B2 (en) Frame page displaying method, frame page displaying device, and program
JP4697491B2 (en) Web content browsing information display device, method, and program
JP4691023B2 (en) Method, terminal device, and program for dynamic image enlargement / reduction display during browsing
US20070279437A1 (en) Method and apparatus for displaying document image, and information processing device
JP5056810B2 (en) Information processing apparatus and control program thereof
KR101472844B1 (en) Adaptive document displaying device and method
US20090319888A1 (en) Method and device for dynamically wrapping text when displaying a selected region of an electronic document
JP2007507033A (en) Improved drawing of navigation objects
JP5235671B2 (en) Terminal device, content display method, and content display program
KR20080091864A (en) Improved presentation of large objects on small displays
EP1868080A1 (en) Content converting device, content display device, content browsing device, content converting method, content browsing method, computer program and computer readable storage medium
WO2007018102A1 (en) Mobile information device and mobile information device display method
US7925142B2 (en) Apparatus for presenting information and method thereof
JP2007011513A (en) Document display device, document display method, program and storage medium
JP3879369B2 (en) Proxy server for re-editing page, method and recording medium recording program
JP2009271777A (en) Information processor, text display program, and text display method
JP2011216112A (en) Display program
JP2012212473A (en) Information processor and its control program
Paternò et al. Automatically adapting web sites for mobile access through logical descriptions and dynamic analysis of interaction resources
JP2012123598A (en) Information processor, display method and program
KR100491613B1 (en) Device and method for close-up web document having frame and and recording the method
JP2010134780A (en) Information processing apparatus and control program thereof
JPH10162002A (en) Internet browsing device
JP2013101707A (en) Display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150617

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150625

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150814