JP2020149424A - Display device, display control program and display control method - Google Patents
Display device, display control program and display control method Download PDFInfo
- Publication number
- JP2020149424A JP2020149424A JP2019047038A JP2019047038A JP2020149424A JP 2020149424 A JP2020149424 A JP 2020149424A JP 2019047038 A JP2019047038 A JP 2019047038A JP 2019047038 A JP2019047038 A JP 2019047038A JP 2020149424 A JP2020149424 A JP 2020149424A
- Authority
- JP
- Japan
- Prior art keywords
- display
- block
- area
- displayed
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 204
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims description 84
- 238000010586 diagram Methods 0.000 description 27
- 230000010365 information processing Effects 0.000 description 26
- 238000013461 design Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 102220614300 F-box only protein 4_S12A_mutation Human genes 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 102220614306 F-box only protein 4_S12E_mutation Human genes 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 102220024392 rs267607495 Human genes 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態は、表示装置、表示制御プログラムおよび表示制御方法に関する。 Embodiments of the present invention relate to display devices, display control programs, and display control methods.
近年、スマートフォンやスマートウォッチ、タブレット、携帯電話等の携帯型の端末装置は、様々な情報を画面に表示可能である。画面に様々な情報が表示されると、例えばシニア層などのユーザーでは、画面に表示されている文字が読み難いと感じることがある。このようなユーザーに対し、画面に表示されている文字等の表示内容を読み易くする技術としては、ユーザーから拡大操作を受け付けた場合に表示内容を拡大表示するものが知られている。 In recent years, portable terminal devices such as smartphones, smart watches, tablets, and mobile phones can display various information on the screen. When various information is displayed on the screen, users such as seniors may find it difficult to read the characters displayed on the screen. As a technique for making it easier for such a user to read the display contents such as characters displayed on the screen, there is known a technique for enlarging the display contents when an enlargement operation is received from the user.
表示内容の拡大操作を受け付けるために通常用意されている操作方法としては、例えば、画面に触れる操作、押ボタン式のメカニカルスイッチを押す操作、指紋認証機能等の諸機能を実現するために用意されたセンサに触れる操作などが挙げられる。画面に触れて行う拡大操作としては、例えば、２つの指先を画面に接触させた状態で指同士の間隔を広げるピンチアウト、画面を指先で連打するダブルタップ、画面を指先で長押しするロングタップなどが挙げられる。通常、ユーザは、拡大したい表示内容が画面からはみ出さないようにこれらの操作を行うが、表示内容の種類、拡大操作の操作性、その他の原因により、拡大したい表示内容の一部が画面に収まらないことがある。拡大した表示内容が、例えば、一定の長さで改行されている文章であり、画面に拡大表示された文章の各行の先頭或いは末尾が画面からはみ出ている場合、ユーザは、当該文章を読むために、一行を読んでいる途中で画面内でスライドさせるか、或いは、表示内容の縮小操作を行うことになる。 As the operation method usually prepared for accepting the operation of enlarging the display content, for example, it is prepared for realizing various functions such as an operation of touching the screen, an operation of pressing a push button type mechanical switch, and a fingerprint authentication function. The operation of touching the sensor can be mentioned. Enlargement operations performed by touching the screen include, for example, pinch-out to widen the distance between fingers with two fingertips in contact with the screen, double tap to repeatedly hit the screen with fingertips, and long tap to press and hold the screen with fingertips. And so on. Normally, the user performs these operations so that the display content to be enlarged does not protrude from the screen, but depending on the type of display content, the operability of the enlargement operation, and other causes, a part of the display content to be enlarged is displayed on the screen. It may not fit. If the enlarged display content is, for example, a sentence with line breaks of a certain length, and the beginning or end of each line of the enlarged display on the screen extends beyond the screen, the user can read the sentence. In addition, while reading a line, slide it on the screen or reduce the displayed content.
そこで、開示の技術の１つの側面は、一覧性を維持した拡大表示を容易に行うことが可能な表示技術を提供することを目的とする。 Therefore, one aspect of the disclosed technology is to provide a display technology capable of easily performing enlarged display while maintaining listability.
開示の技術の１つの側面は、次のような表示装置によって例示される。本表示装置は、表示部の表示画面に対するタッチ操作を検出する検出部と、表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備える。 One aspect of the disclosed technology is illustrated by the following display devices. This display device has a detection unit that detects a touch operation on the display screen of the display unit, and a state in which the content displayed on the display screen has a plurality of blocks of display objects extracted based on the color difference from the background color. When a touch operation on any of a plurality of blocks is detected, the center of the block on which the touch operation is performed is set in the display screen in at least one of the vertical direction and the horizontal direction of the block. It is provided with a display processing unit that is arranged so as to be in the center of the display area and displays at least a part of the block in the display area at a predetermined enlargement ratio.
本表示装置は、一覧性を維持した拡大表示を容易に行うことが可能である。 This display device can easily perform enlarged display while maintaining listability.
以下、図面を参照して、実施形態にかかる表示装置、表示制御プログラムおよび表示制御方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する表示装置、表示制御プログラムおよび表示制御方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。 Hereinafter, the display device, the display control program, and the display control method according to the embodiment will be described with reference to the drawings. Configurations having the same function in the embodiment are designated by the same reference numerals, and duplicate description will be omitted. The display device, the display control program, and the display control method described in the following embodiments are merely examples, and the embodiments are not limited. In addition, the following embodiments may be appropriately combined within a consistent range.
図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図１に示すように、情報処理装置１は、制御部１０、通信部１１、音声入出力部１２、記憶部１３、操作部１４および表示部１５を有する。情報処理装置１は、表示装置の一例であり、例えばスマートフォンやタブレット端末などを適用できる。本実施形態では、情報処理装置１は、一例として、スマートフォンであるものとする。
FIG. 1 is a block diagram showing a functional configuration example of the information processing apparatus according to the embodiment. As shown in FIG. 1, the
制御部１０は、ＣＰＵ（Central Processing Unit）などの情報処理装置１全体の処
理を司る処理部であり、記憶部１３からプログラム１３Ａを読み出してプロセスを実行する。制御部１０は、プロセスを実行することで、検出部１０Ａおよび表示処理部１０Ｂの機能構成を実現し、例えば表示部１５に表示を行わせる表示制御を実現する。
The
通信部１１は、制御部１０の制御のもと、アンテナ１１Ａを用いて、他の移動機や基地局装置と無線通信を実行する。具体的には、通信部１１は、ＬＴＥ（Long Term Evolution）通信やＷｉＦｉ（登録商標、Wireless Fidelity）通信などの通信方式を用いて、
他の移動機や基地局装置との無線通信を行う。例えば、通信部１１は、制御部１０の制御のもと、ウェブブラウザでの選択操作により選択されたウェブサイトの情報の送受信をＬＴＥ通信やＷｉＦｉ通信を介して行う。
Under the control of the
Performs wireless communication with other mobile devices and base station devices. For example, under the control of the
音声入出力部１２は、制御部１０から入力された音声をスピーカ１２Ａより出力する。また、音声入出力部１２は、音声をマイク１２Ｂより集音して制御部１０に出力する。
The voice input /
記憶部１３は、メモリやＳＳＤ（Solid State Drive）などの記憶装置である。記憶
部１３は、プログラム１３Ａおよび定義情報１３Ｂを格納する。定義情報１３Ｂは、プログラム１３Ａがプロセスを実行する際に読み出される各種の定義内容を示す情報である。定義情報１３Ｂの内容は、ユーザーなどにより事前に登録される。例えば、定義情報１３Ｂには、アプリケーションごとに設定された検出対象領域を示す検出対象領域情報や、拡大表示の可否を示す拡大可否情報、ユーザ操作により設定された表示倍率（大・中・小）の設定情報などがある。
The
操作部１４は、操作キーや表示部１５の表示画面に重畳して配設されたタッチパネルなどであり、ユーザーからの各種入力を受け付けて制御部１０へ出力する。表示部１５は、液晶画面などであり、制御部１０の制御のもと各種情報を表示画面に表示する。
The
検出部１０Ａは、操作部１４において行われたユーザーの操作をもとに、表示部１５の表示画面における操作を検出する。具体的には、検出部１０Ａは、表示部１５の表示画面に重畳して配設されたタッチパネルよりユーザーのタッチ操作を検出する。例えば、制御部１０は、ユーザーの操作による表示画面についての拡大操作などを検出する。
The
表示処理部１０Ｂは、検出部１０Ａによる検出結果をもとに、表示部１５における表示画面上での操作を受け付け、受け付けた操作に応じた表示を行うなど、表示部１５の表示画面における表示制御にかかる表示制御処理を行う。例えば、表示処理部１０Ｂは、ウェブブラウザにおいてウェブサイトを表示するＷＥＢ画面における表示制御を行う。
The
表示処理部１０Ｂは、検出部１０Ａより表示画面における拡大操作を検出した場合、表示画面に表示するコンテンツにおいて背景と区別される表示物、すなわち写真や文字などを拡大表示する。以下、表示処理部１０Ｂにおける拡大表示の詳細を説明する。図２は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。
When the
図２に示すように、処理が開始されると、表示処理部１０Ｂは、ウェブブラウザ等のアプリケーションによる表示部１５へのコンテンツの画面表示を行う（Ｓ１）。コンテンツが表示部１５に表示されると、ユーザーは、当該コンテンツにある文字や絵などの表示物を読むことが可能となる。
As shown in FIG. 2, when the processing is started, the
次いで、表示処理部１０Ｂは、表示画面１５０に表示されている画面の更新状態を監視し、画面の更新停止を判定する（Ｓ２）。画面の更新状態の監視とは、表示部１５に表示されているコンテンツの表示状態の変化の有無を判定するものである。情報処理装置１では、表示部１５に表示するコンテンツの拡大表示を行うために、表示部１５に表示されているコンテンツのイメージデータを解析して拡大表示する後述の各種処理（Ｓ３〜Ｓ１２）を実行する。よって、表示処理部１０Ｂは、本ステップＳ２において、画面のスクロール操作や回転操作などによって、表示部１５に表示されている画面が時間的に変化している途中であるかを否かを監視することで、更新途中の画面に対する無用な処理が行われないようにする。
Next, the
図３は、画面更新の確認処理の一例を示すフローチャートである。すなわち、表示処理
部１０Ｂは、まず、表示部１５に表示されている画面（「画Ａ」とする）のキャプチャを行う（Ｓ２Ａ）。次いで、表示処理部１０Ｂは、予め設定された時間（例えば、数ｍｓｅｃ〜数百ｍｓｅｃ）が経過するまで待機する（Ｓ２Ｂ）。そして、表示処理部１０Ｂは、表示部１５に表示されている画面（「画Ｂ」とする）のキャプチャを行う（Ｓ２Ｃ）。
FIG. 3 is a flowchart showing an example of the screen update confirmation process. That is, the
次いで、表示処理部１０Ｂは、キャプチャした２つの画面を比較し、同一性の検証を行う。すなわち、表示処理部１０Ｂは、キャプチャした２つの画面の各画素のＲＧＢ値を比較する処理（Ｓ２Ｆ）を縦横（Ｓ２Ｄ、Ｓ２Ｅ、Ｓ２Ｇ、Ｓ２Ｈ）に行う。表示処理部１０Ｂは、ステップＳ２Ｆの処理で否定判定を行った場合、ステップＳ２Ａでキャプチャした画面（画Ａ）を、ステップＳ２Ｃでキャプチャした画面（画Ｂ）に置き換える（Ｓ２Ｉ）。ステップＳ２Ａでキャプチャした画面（画Ａ）とステップＳ２Ｃでキャプチャした画面（画Ｂ）の各画素のＲＧＢ値が全て一致している場合、全ての画素の比較が完了した時点で、ステップＳ２ＤからステップＳ２Ｈまでの一連のループ処理が終了するため、表示処理部１０Ｂは、ステップＳ２ＡからステップＳ２Ｈまでの一連の処理、すなわち、ステップＳ２の処理を終了する。
Next, the
図４は、画面更新の有無を解説した図である。例えば、図４（Ａ）に示すように、画面に接触している指Ｈがスライドするフリック操作が行われている場合、ステップＳ２Ａでキャプチャした画面（画Ａ）とステップＳ２Ｃでキャプチャした画面（画Ｂ）とを比較すると、特定の位置にある画素が文字色を表す場合と背景色を表す場合とでＲＧＢ値が変化する。よって、表示処理部１０Ｂは、ステップＳ２Ｆにおいて否定判定を行う。一方、例えば、図４（Ｂ）に示すように、画面に対する操作が何ら行われていない場合、当該画素のＲＧＢ値は変化しない。よって、表示処理部１０Ｂは、ステップＳ２Ｆにおいて肯定判定を行い、全画素のＲＧＢ値の比較が完了すると、ステップＳ２の処理を終了する。
FIG. 4 is a diagram illustrating the presence / absence of screen update. For example, as shown in FIG. 4A, when a flick operation in which the finger H in contact with the screen slides is performed, the screen captured in step S2A (image A) and the screen captured in step S2C ( Comparing with the image B), the RGB value changes depending on whether the pixel at a specific position represents the character color or the background color. Therefore, the
ウェブブラウザのように表示物をスクロール可能な画面において、ユーザがフリック操作を行うと、当該画面に表示されているコンテンツは、ユーザが指を離してもスクロールがしばらく続く。スクロールが続いている間、画面の表示内容が変化し続ける。よって、スクロールが続いている間、表示処理部１０Ｂは、ステップＳ２Ｆにおいて否定判定を行う。そして、スクロールが停止すると、表示処理部１０Ｂは、ステップＳ２Ｆにおいて肯定判定を行い、全画素のＲＧＢ値の比較が完了すると、ステップＳ２の処理を終了する。すなわち、表示処理部１０Ｂは、画面更新が無くなったと判断できる。
When the user performs a flick operation on a screen such as a web browser that can scroll the displayed object, the content displayed on the screen continues to scroll for a while even if the user releases the finger. While scrolling continues, what is displayed on the screen keeps changing. Therefore, while scrolling continues, the
なお、画面更新の有無の判定は、画面全域を比較する形態に限定されるものではない。画面更新の有無の判定は、図４（Ｃ）に示すように、画面を複数の領域に分割し、特定の領域を対象に行ってもよい。または、分割した複数の領域毎に画面更新の有無の判定を行い、更新領域の割合から画面全体の更新有無を判断してもよい。例えば、動画やアニメーション表示、スクロール表示が画面の特定の領域で行われている場合に、画面更新の有無の判定を、当該特定の領域以外の領域を対象に行えば、判定対象の領域における画面更新の有無を判定することが可能となる。 The determination of whether or not the screen is updated is not limited to the form of comparing the entire screen. As shown in FIG. 4C, the presence / absence of screen update may be determined by dividing the screen into a plurality of areas and targeting a specific area. Alternatively, it may be determined whether or not the screen is updated for each of the plurality of divided areas, and whether or not the entire screen is updated may be determined from the ratio of the updated areas. For example, when video, animation display, and scroll display are performed in a specific area of the screen, if the presence or absence of screen update is determined for an area other than the specific area, the screen in the area to be determined is determined. It is possible to determine whether or not there is an update.
また、画面更新の有無の判定は、ＲＧＢ値の比較を用いたものに限定されるものではない。画面更新の有無の判定は、例えば、画素の輝度を用いたものであってもよい。 Further, the determination of the presence / absence of screen update is not limited to the one using the comparison of RGB values. The determination of the presence or absence of screen update may be performed using, for example, the brightness of the pixels.
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、以降の処理を、ステップＳ２Ｃでキャプチャした画面（画Ｂ）を使って行うが、ステップＳ２Ａでキャプチャした画面（画Ａ）を使って行ってもよい。
This will be described again with reference to the flowchart of FIG. The
表示処理部１０Ｂは、ステップＳ２の処理を終えると、次に、検出対象領域の設定を行う（Ｓ３）。すなわち、表示処理部１０Ｂは、定義情報１３Ｂを参照し、アプリケーショ
ンごとに設定された検出対象領域情報の中から、拡大操作が行われた際に表示部１５に拡大表示させる領域の情報である検出対象領域情報を取得する。具体的には、表示処理部１０Ｂは、フォアグラウンドのプロセスとして表示部１５に画面表示中のアプリケーションの情報を取得し、定義情報１３Ｂにおける検出対象領域情報の中から画面表示中のアプリケーションに該当するものを取得する。
When the
図５は、検出対象領域を解説した図である。例えば、図５において上側の図に示すように、表示部１５にウェブブラウザが画面表示されている場合、表示部１５の画面には、インターネット上のコンテンツを表示する表示領域の他に、当該表示領域のコンテンツをスクロールするためのスクロールバーやメニュー表示、操作ボタン等を表示するための表示領域が存在する。スクロールバーやメニュー表示、操作ボタンは、ユーザーが閲覧するコンテンツではないため、本実施形態の拡大表示の対象としていない。よって、表示処理部１０Ｂは、検出対象領域情報を取得することにより、図５において下側の図に示すように、表示部１５に画面表示中のアプリケーションがコンテンツを表示している領域を検出対象領域として設定する。
FIG. 5 is a diagram illustrating a detection target area. For example, as shown in the upper diagram in FIG. 5, when a web browser is displayed on the screen of the
なお、図５では、表示部１５の画面の横方向をｘ、縦方向をｙとし、画素の座標を（ｘ，ｙ）としている。そして、表示処理部１０Ｂが取得する検出対象領域情報として、当該座標系における位置と形状を示す情報、すなわち、検出対象領域の左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）が例示されている。しかし、検出対象領域は、矩形の形態に限定されるものではない。検出対象領域は、例えば、円形、台形、その他の形態であってもよい。
In FIG. 5, the horizontal direction of the screen of the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ３の処理を終えると、次に、検出対象領域について画面キャプチャを行い、検出対象領域において背景部分に対応する背景色を、画面キャプチャによって取得した画像データから検出する（Ｓ４）。図６は、背景色の検出処理の一例を示すフローチャートである。図６に示すように、背景色の検出処理が開始されると、表示処理部１０Ｂは、縦方向に１画素ずつ処理する縦のループ（ｙ＝０,Ｈｅｉｇｈｔ−１，１）処理を行う（Ｓ４Ａ〜Ｓ４Ｅ）。
This will be described again with reference to the flowchart of FIG. After completing the process of step S3, the
縦のループ処理内では、表示処理部１０Ｂは、横方向に１画素ずつ処理する横のループ（ｘ＝０,Ｗｉｄｔｈ−１，１）処理を行う（Ｓ４Ｂ〜Ｓ４Ｄ）。これにより、表示処理
部１０Ｂは、検出対象領域における各画素の色情報を取得する（Ｓ４Ｃ）。
In the vertical loop processing, the
Ｓ４Ｅに次いで、表示処理部１０Ｂは、取得した各画素の色情報をもとに、検出対象領域を占める割合が最も大きい色を背景色と確定し（Ｓ４Ｆ）、処理を終了する。
Following S4E, the
具体的には、表示処理部１０Ｂは、検出対象領域に含まれる全種類の色（Ｒ，Ｇ、Ｂ）のヒストグラムを算出し、それぞれの色がどの割合で使用されているかを算出する。なお、ヒストグラムを算出する際の色の幅は、所定の幅があってもよい。
Specifically, the
次いで、表示処理部１０Ｂは、算出した割合が所定値以上（例えば８％以上）の色を抽出し、抽出した色のうち、最も割合が大きい色を背景色とする。
Next, the
例えば、色の割合が次のとおりとする。
（Ｒ，Ｇ、Ｂ）＝（２５５，２５５，２５５）：６１％
（Ｒ，Ｇ、Ｂ）＝（１０１，１２１，１１０）：１２％
（Ｒ，Ｇ、Ｂ）＝（０５１，０５１，０５１）：５％
（Ｒ，Ｇ、Ｂ）＝（０００，１０８，２０４）：１％
For example, the color ratio is as follows.
(R, G, B) = (255, 255, 255): 61%
(R, G, B) = (101, 121, 110): 12%
(R, G, B) = (051,051,051): 5%
(R, G, B) = (000,108,204): 1%
この場合、表示処理部１０Ｂは、８％以上の色として、（Ｒ，Ｇ、Ｂ）＝（２５５，２５５，２５５）、（１０１，１２１，１１０）の色を抽出する。次いで、表示処理部１０Ｂは、８％以上かつ最も割合が大きい、（Ｒ，Ｇ、Ｂ）＝（２５５，２５５，２５５）を背景色とする。
In this case, the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ４の処理を終えると、次に、表示物の検出を行う（Ｓ５）。表示物とは、コンテンツを構成しており、且つ、背景と区別されるものであり、例えば、文字、絵、写真、マーク等が該当する。
This will be described again with reference to the flowchart of FIG. When the
図７は、表示物の検出処理を解説した図である。検出対象領域の画面の左上隅を原点とし、横方向をｘ、縦方向をｙとした状態において、ｙ＝０の行について最も左の画素（ｘ＝０）から右へ向かって順に画素の色と背景色との比較を行い、背景色と一致する最も左（ｘが最小）の画素をｙ＝０の背景画素とする。ｙ＝０の行について最も右の画素に至っても背景色と一致する画素が無かった場合は、ｙ＝０の行で最も左の画素（ｘ＝０）を背景画素とする。次に、背景画素の右隣りの画素から最も右の画素まで順に背景画素とのコントラスト比を算出し、コントラスト比が所定比以上（例えば、３：１以上）かを判定する。この処理を、全てのｙ（検出対象領域の画面の上端から下端まで）について行う。図８は、コントラスト比が所定比以上と判定された画素の一例を示した図である。コントラスト比が画素毎に算出されるため、コントラスト比が所定比以上と判定された画素をイメージで表すと、例えば、図８に示されるように、文字を構成する非背景色の画素が特定される。 FIG. 7 is a diagram illustrating a display object detection process. With the origin at the upper left corner of the screen in the detection target area, x in the horizontal direction, and y in the vertical direction, the pixel colors in order from the leftmost pixel (x = 0) to the right for the row with y = 0. Is compared with the background color, and the leftmost pixel (x is the smallest) that matches the background color is defined as the background pixel with y = 0. If there is no pixel that matches the background color even if the rightmost pixel is reached in the row of y = 0, the leftmost pixel (x = 0) in the row of y = 0 is set as the background pixel. Next, the contrast ratio with the background pixel is calculated in order from the pixel to the right of the background pixel to the rightmost pixel, and it is determined whether the contrast ratio is equal to or more than a predetermined ratio (for example, 3: 1 or more). This process is performed for all y (from the upper end to the lower end of the screen of the detection target area). FIG. 8 is a diagram showing an example of pixels whose contrast ratio is determined to be equal to or higher than a predetermined ratio. Since the contrast ratio is calculated for each pixel, when the pixels for which the contrast ratio is determined to be equal to or higher than the predetermined ratio are represented by an image, for example, as shown in FIG. 8, the pixels of the non-background color constituting the character are specified. To.
次いで、表示処理部１０Ｂは、コントラスト比が所定比以上の画素について、互いに近接する画素同士を抽出し、抽出された各画素群のそれぞれにおいて、近接する画素の上下左右で最も外側の画素によって画定される範囲内を表示物領域と設定する。そして、表示処理部１０Ｂは、画面の座標系における表示物領域の位置と形状を示す表示物領域情報として、表示物領域の左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）を記憶部１３に格納する。図９は、表示物領域について解説した図である。例えば、検出対象領域に６つのひらがなが存在していた場合、表示処理部１０Ｂは、図９に示されるように、当該検出対象領域において６つの表示物領域を設定する。そして、表示処理部１０Ｂは、６つの表示物領域のそれぞれの位置と形状を示す表示物領域情報を記憶部１３に格納する。なお、ここでは、ひらがなの文字が表示されている領域を表示物領域として設定したが、表示物領域として設定される表示物は、絵や写真といった文字以外の場合もある。また、図９では、表示物領域の境界を示す境界線が図示されているが、当該境界線は本実施形態を解説するために示した仮想の線であり、当該境界線は表示部１５に画面表示されない。
Next, the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ５の処理を終えると、次に、ブロックの検出を行う（Ｓ６）。ブロックとは、一乃至複数の表示物が集まる領域であり、例えば、文字列で構成される文章ブロックと、絵や写真などで構成される非文章ブロックが挙げられる。
This will be described again with reference to the flowchart of FIG. When the
表示処理部１０Ｂは、検出対象領域内の表示物領域同士の距離から、近接する表示物領域を結合し、上下左右で最も外側の画素で確定される範囲内をブロックとして設定する。そして、表示処理部１０Ｂは、画面の座標系におけるブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）を記憶部１３に格納する。図１０は、ブロックの検出処理を解説した第１の図である。
The
例えば、図１０において検出対象領域の上側の部分に示すように、当該検出対象領域に文字列が存在していた場合、表示処理部１０Ｂは、表示物領域同士の距離から、文字列故に近接している文字の表示物領域同士を結合し、結合体の上下左右で最も外側の画素で確定される範囲内をブロック（以下、「文章ブロック」という）として設定する。そして、表示処理部１０Ｂは、画面の座標系における当該文章ブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）を記憶部１３に格納する。
For example, as shown in the upper part of the detection target area in FIG. 10, when the character string exists in the detection target area, the
また、例えば、図１０において検出対象領域の下側の部分に示すように、当該検出対象領域に写真が存在していた場合、表示処理部１０Ｂは、表示物領域同士の距離、および、表示物領域内の背景色の割合から、当該写真を単体の表示物とし、当該単体の表示物の上下左右で最も外側の画素で確定される範囲内をブロック（以下、「非文章ブロック」という）として設定する。そして、表示処理部１０Ｂは、画面の座標系における当該非文章ブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）を記憶部１３に格納する。
Further, for example, as shown in the lower portion of the detection target area in FIG. 10, when a photograph exists in the detection target area, the
なお、図１０では、ブロックの境界を示す境界線が図示されているが、当該境界線は本実施形態を解説するために示した仮想の線であり、当該境界線は表示部１５に画面表示されない。また、図１０では、文字列で構成される文章ブロックと、写真で構成される非文章ブロックの２つが検出対象領域において設定される様子が図示されていたが、表示処理部１０Ｂは、文字列の表示物で構成される文章ブロックを検出対象領域に２つ以上設定する場合もある。また、表示処理部１０Ｂは、写真等の文字以外の表示物で構成される非文章ブロックを検出対象領域に２つ以上設定する場合もある。
Although the boundary line indicating the boundary of the block is shown in FIG. 10, the boundary line is a virtual line shown for explaining the present embodiment, and the boundary line is displayed on the screen on the
図１１は、ブロックの検出処理を解説した第２の図である。例えば、図１１において検出対象領域の上側の部分と下側の部分のそれぞれに示すように、当該検出対象領域に文字列が複数箇所に存在していた場合、表示処理部１０Ｂは、表示物領域同士の距離から、文字列故に近接している文字の表示物領域同士を結合し、結合体の上下左右で最も外側の画素で確定される範囲内を文章ブロックとして設定する。よって、図１１において検出対象領域の上側の部分と下側の部分のそれぞれに示すように、表示処理部１０Ｂは、文字の表示物領域同士であっても、互いの距離が比較的離れている文字の表示物領域同士については結合を行わず、別個の文章ブロックとして設定する。そして、表示処理部１０Ｂは、画面の座標系における当該各文章ブロックの位置と形状を示すブロック領域情報として、各ブロックの左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）を記憶部１３に格納する。
FIG. 11 is a second diagram illustrating the block detection process. For example, as shown in the upper portion and the lower portion of the detection target area in FIG. 11, when the character strings exist in a plurality of places in the detection target area, the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ６の処理を終えると、次に、ステップＳ６で検出した一乃至複数の各文章ブロックの書字方向の検出を行う（Ｓ７）。表示処理部１０Ｂは、各文章ブロック内において隣り合う表示物領域同士の間隔（以下、「文字間隔」という）を算出し、算出した文字間隔に基づいてその文章ブロックの書字方向が縦書きと横書きの何れであるかを検出する。
This will be described again with reference to the flowchart of FIG. After completing the process of step S6, the
図１２は、書字方向の検出方法を解説した図である。表示処理部１０Ｂは、各文章ブロック内において隣り合う表示物領域同士の間隔を算出する。横方向（Ｘ軸方向）における表示物同士の間隔（ｗ００、ｗ０１・・・）は、例えば、各表示物の右上隅のＸ座標とその右側にある他の表示物の左上隅のＸ座標との差分から算出してもよいし、或いは、その他の部位同士の各座標の差分から算出してもよい。また、縦方向（Ｙ軸方向）における表示物同士の間隔（ｈ００、ｈ０１、ｈ０２・・・）は、例えば、各表示物の右下隅のＹ座標とその下側にある他の表示物の右上隅のＹ座標との差分から算出してもよいし、或いは
、その他の部位同士の各座標の差分から算出してもよい。
FIG. 12 is a diagram illustrating a method of detecting the writing direction. The
次いで、表示処理部１０Ｂは、文章ブロック内において横方向に沿って隣り合う表示物領域同士の間隔の平均値（Ｗａｖｅ）と、文章ブロック内において縦方向に沿って隣り合う表示物領域同士の間隔の平均値（ｈａｖｅ）とを比較する。そして、表示処理部１０Ｂは、平均値（ｈａｖｅ）が平均値（Ｗａｖｅ）より大きければ当該文章ブロックの書字方向は横書きと判定し、平均値（Ｗａｖｅ）が平均値（ｈａｖｅ）より大きければ当該文章ブロックの書字方向は縦書きと判定する。表示処理部１０Ｂは、判定結果を記憶部１３のブロック領域情報に追加する。
Next, the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ７の処理を終えると、次に、画面全体の特徴の検出を行う（Ｓ８）。画面全体の特徴とは、コンテンツを画面表示した場合にユーザが感じる見やすさの度合いを定量的に表したものであり、後述する拡大表示における拡大率の決定に用いられる。表示処理部１０Ｂは、既述した各表示物領域について、当該領域の属性情報（例えば、文字の大きさ、間隔、濃さ（コントラスト）、書字方向など）を取得し、これらの情報から画面の見やすさの特徴を捉える。
This will be described again with reference to the flowchart of FIG. When the
図１３は、画面全体の特徴の検出処理の一例を示すフローチャートである。画面全体の特徴の検出処理では、図１３に示すように、表示処理部１０Ｂは、表示物領域情報を取得する（Ｓ８Ａ）。各表示物領域の左上隅の座標（ｘ０，ｙ０）、横幅（Ｗｉｄｔｈ）、高さ（または縦幅）（Ｈｅｉｇｈｔ）等の表示物領域情報については、ステップＳ５で記憶部１３に格納した情報を参照することにより取得される。次いで、表示処理部１０Ｂは、計算で用いる変数（高さ合計）を初期化する（Ｓ８Ｂ）。そして、表示処理部１０Ｂは、文章ブロックや非文章ブロック等のブロック毎に、各ブロックにおける各表示物領域の高さの合計を、各表示物の高さに適当な重みを乗算しながら積算するループ処理を行う（Ｓ８Ｃ〜Ｓ８Ｅ）。
FIG. 13 is a flowchart showing an example of the detection process of the feature of the entire screen. In the feature detection process of the entire screen, as shown in FIG. 13, the
次いで、表示処理部１０Ｂは、上記のループ処理（Ｓ８Ｃ〜Ｓ８Ｅ）で得た値を用いて見やすさ度合いの算出を行う（Ｓ８Ｆ）。具体的には、表示処理部１０Ｂは、各ブロックにおける各表示物領域の重み付きの高さの合計を当該ブロック内の表示物領域数で除算することにより、当該ブロック内にある表示物領域の重み付きの高さの平均値を算出する。そして、表示処理部１０Ｂは、各ブロックの当該平均値の合計値をブロック数で除算した値を、見やすさ度合いとする。
Next, the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ８の処理を終えると、次に、アイコン提示の前処理を行う（Ｓ９）。アイコン提示の前処理とは、ステップＳ８で検出された画面全体の特徴（見やすさ度合い）から、後述する拡大表示を行う場合の拡大方法の確定とアイコン提示の有無、提示するアイコンの種類を決定する処理である。
This will be described again with reference to the flowchart of FIG. When the
図１４は、アイコン提示の前処理の一例を示すフローチャートである。アイコン提示の前処理が開始されると、図１４に示すように、表示処理部１０Ｂは、定義情報１３Ｂを参照し、表示部１５の画面に表示中のアプリケーションに関する拡大可否情報を取得する（Ｓ９Ａ）。次いで、表示処理部１０Ｂは、取得した拡大可否情報に基づき、表示部１５の画面に表示中のアプリケーションが、拡大表示に対応可能であるか否かの判別を行う（Ｓ９Ｂ）。次いで、表示処理部１０Ｂは、拡大回数の取得を行う（Ｓ９Ｃ）。ステップＳ９Ｃの実行時、表示部１５の画面が既に拡大表示の状態になっていれば、表示処理部１０Ｂは、後述する拡大操作が行われた回数の値を取得する。次いで、表示処理部１０Ｂは、ステップＳ８で算出した見やすさ度合いを取得する（Ｓ９Ｄ）。次いで、表示処理部１０Ｂ
は、拡大回数および見やすさ度合いに基づき、画面の拡大方法（縦横拡大率、表示中心、拡大操作方法）と、画面に提示するアイコンの種類や位置を決定する（Ｓ９Ｅ）。縦横の拡大率は、定義情報１３Ｂに設定されている表示倍率（大・中・小）の設定情報、及び、設計時に予め定められている標準の拡大率を基に決定される。表示処理部１０Ｂは、決定した拡大方法やアイコンの種類、位置の情報を記憶部１３に記憶させる。
FIG. 14 is a flowchart showing an example of preprocessing for icon presentation. When the preprocessing of the icon presentation is started, as shown in FIG. 14, the
Determines the screen enlargement method (vertical / horizontal enlargement ratio, display center, enlargement operation method) and the type and position of the icon presented on the screen based on the number of enlargements and the degree of visibility (S9E). The vertical and horizontal enlargement ratios are determined based on the display magnification (large / medium / small) setting information set in the
再び図２のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ９の処理を終えると、次いで、ステップＳ９で決定したアイコンを表示部１５の画面に提示する（Ｓ１０）。図１５は、アイコンが表示された画面の一例を示した図である。表示処理部１０Ｂは、ステップＳ１の処理で図１５（Ａ）に示すような画面表示を行い、ステップＳ２からステップＳ９までの一連の処理を実行すると、図１５（Ｂ）に示すようなアイコン１５１を表示部１５の表示画面１５０に提示する。
This will be described again with reference to the flowchart of FIG. When the
そして、後述する処理が実行されることにより、アイコン１５１に対するタップ操作（「タッチ操作」の一例であり、画面を１回だけ押す操作である）が行われると、表示処理部１０Ｂは、図１５（Ｃ）に示すように、拡大表示機能が無効な非アクティブの状態であることを示すグレーアウト表示だったアイコン１５１を、拡大表示機能が有効なアクティブの状態であることを示す明瞭な表示のアイコン１５２に変更すると共に、表示画面１５０に表示しているコンテンツを拡大する。また、表示処理部１０Ｂは、図１５（Ｃ）の画面でコンテンツの何れかの部位がタップ操作されると、図１５（Ｄ）に示すように、アイコン１５２を、位置変更操作がブロック単位で可能な旨を表したアイコン１５３に変更すると共に、当該タップ操作が行われた部位に対応するブロックの拡大表示を行う。拡大表示されるブロックの拡大率は、ステップＳ９Ｅで決定された拡大率である。
Then, when a tap operation (an example of a "touch operation", which is an operation of pressing the screen only once) is performed on the
アイコン１５２は、表示画面１５０に表示されているコンテンツのを拡大表示可能な旨を表している。拡大表示可能な旨を表すデザインの一例として、アイコン１５２では、文字（「Ａ」）と、当該文字の上側において当該文字から放射状に広がる複数の線とを有するデザインが採用されている。このようなデザインであれば、ユーザは、当該デザインから文字の拡大表示を想起するため、拡大表示が可能な旨を直感的に把握することができる。このアイコン１５２に対するタップ操作が行われると、表示処理部１０Ｂは、拡大表示機能を解除した状態、すなわち、すなわち、図１５（Ａ）に示す画面の状態に画面表示１５０を戻す。
The
アイコン１５３は、コンテンツの拡大表示される部位の位置変更操作がブロック単位で可能な旨を表している。位置変更操作がブロック単位で可能な旨を表すデザインの一例として、アイコン１５３では、略矩形を形成する４つの角を有するデザインが採用されている。このようなデザインであれば、ユーザは、当該デザインからブロックを想起するため、位置変更操作がブロック単位で可能な旨を直感的に把握することができる。なお、アイコン１５３は、位置変更操作がブロック単位で可能な旨を表すものであるが、ブロック単位の位置変更操作を受け付けるボタンではない。アイコン１５３に対するタップ操作が行われると、表示処理部１０Ｂは、ブロックの拡大表示を行う前の状態、すなわち、図１５（Ｃ）に示す画面の状態に画面表示１５０を戻す。
The
再び図２のフローチャートに沿って説明する。ステップＳ１０の処理の後にアイコン１５１がユーザ操作によって押されると、表示処理部１０Ｂは、コンテンツの拡大表示を行い、コンテンツにある全ての表示物の上下端と左右端が表示画面１５０の縁に位置（フィット）するように、コンテンツの表示を横方向と縦方向にそれぞれ拡大する（図１５（Ｃ）を参照）。そして、表示処理部１０Ｂは、表示画面１５０に表示されているコンテンツの何れかの部位に対するタップ操作を検知すると（Ｓ１１）、以下の処理を実行することにより、タップ操作が行われた部位に対応するブロックの拡大表示を行う（図１５（Ｄ）
を参照）。
This will be described again with reference to the flowchart of FIG. When the
See).
図１６は、拡大表示の処理を示す第１のフローチャートである。表示処理部１０Ｂは、ステップＳ１１のタップ操作が行われた位置（座標）を取得する（Ｓ１２Ａ）。次いで、表示処理部１０Ｂは、ステップＳ６の処理によって記憶部１３に格納されているブロック領域情報を参照し、ステップＳ１２Ａで取得したタップ操作の位置が、文章ブロックとして設定した範囲内であるか否かの判定を行う（Ｓ１２Ｂ）。そして、タップ操作の位置が文章ブロックであった場合、表示処理部１０Ｂは、ステップＳ１２Ｂで肯定を行った後、表示情報の算出処理を実行する。
FIG. 16 is a first flowchart showing a process of enlarged display. The
図１７は、拡大表示の処理を示す第２のフローチャートである。表示処理部１０Ｂは、ステップＳ１２Ｂで肯定判定を行った後、ステップＳ６の処理によって記憶部１３に格納されているブロック領域情報を参照する（Ｓ１２ＣＡ）。次いで、表示処理部１０Ｂは、参照したブロック領域情報を基に、当該文章ブロックの書字方向を判別する（Ｓ１２ＣＢ）。
FIG. 17 is a second flowchart showing the enlarged display process. After making an affirmative determination in step S12B, the
表示処理部１０Ｂは、ステップＳ１２ＣＢの処理で当該文章ブロックの書字方向が縦書きと判別すると、当該文章ブロックの分割方向を横方向に設定する（Ｓ１２ＣＣ）。ここで、文章ブロックの分割とは、当該文章ブロックを拡大表示すると当該文章ブロックが画面に収まらない場合に、拡大表示された当該文章ブロックの見やすさを向上するために当該文章ブロックを複数個に分割して表示するために行う処理である。
When the
表示処理部１０Ｂは、分割方向を横方向に設定すると、次に、ステップＳ９Ｅで決定した拡大率を記憶部１３から取得する（Ｓ１２ＣＤ）。そして、表示処理部１０Ｂは、当該文章ブロックを当該拡大率で拡大した場合の横幅を画面の横幅で除算し、分割数を算出する（Ｓ１２ＣＥ）。そして、表示処理部１０Ｂは、算出した分割数で当該文章ブロックを分割した場合の各分割エリアの座標とサイズを算出し、当該算出結果を記憶部１３に記憶させる（Ｓ１２ＣＦ）。
When the
また、表示処理部１０Ｂは、ステップＳ１２ＣＢの処理で当該文章ブロックの書字方向が横書きと判別すると、当該文章ブロックの分割方向を縦方向に設定する（Ｓ１２ＣＧ）。そして、表示処理部１０Ｂは、ステップＳ９Ｅで決定した拡大率を記憶部１３から取得する（Ｓ１２ＣＨ）。そして、表示処理部１０Ｂは、当該文章ブロックを当該拡大率で拡大した場合の高さ（縦幅）を画面の高さ（縦幅）で除算し、分割数を算出する（Ｓ１２ＣＩ）。そして、表示処理部１０Ｂは、算出した分割数で当該文章ブロックを分割した場合の各分割エリアの座標とサイズを算出し、当該算出結果を記憶部１３に記憶させる（Ｓ１２ＣＪ）。
Further, when the
再び図１６のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ１２ＣＥで算出した分割数を取得する（Ｓ１２Ｄ）。そして、表示処理部１０Ｂは、分割数が２以上であるか否かの判別を行う（Ｓ１２Ｅ）。そして、表示処理部１０Ｂは、分割数が２以上であれば、ステップＳ１２Ａで取得したタップ位置の情報を基に、当該文章ブロック内におけるタップ位置を取得する（Ｓ１２Ｆ）。そして、表示処理部１０Ｂは、当該文章ブロック内におけるタップ位置に基づき、ステップＳ１２ＣＪで算出した各分割エリアのうちタップ位置に対応する分割エリアを特定する。そして、表示処理部１０Ｂは、特定した分割エリアの中心を画面の中心に配置し、ステップＳ１２ＣＨで取得した拡大率で画面に表示させる（Ｓ１２Ｇ）。次いで、表示処理部１０Ｂは、表示切替の処理を行う（Ｓ１２Ｈ）。
This will be described again with reference to the flowchart of FIG. The
図１８は、拡大表示の処理を示す第３のフローチャートである。表示処理部１０Ｂは、
ステップＳ１２ＣＣまたはＳ１２ＣＧで設定した分割方向の情報に基づき、ステップＳ１２Ｇで拡大表示した文章ブロックの分割方向を判別する（Ｓ１２ＨＡ）。
FIG. 18 is a third flowchart showing the enlarged display process. The
Based on the information on the division direction set in step S12CC or S12CG, the division direction of the sentence block enlarged and displayed in step S12G is determined (S12HA).
表示処理部１０Ｂは、ステップＳ１２ＨＡの処理で当該文章ブロックの分割方向が横方向と判別すると、次に、ステップＳ１２ＣＪの処理で記憶部１３に記憶された各分割エリアの座標とサイズの情報を基に、ステップＳ１２Ｇで画面に表示した分割エリアの左側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う（Ｓ１２ＨＢ）。そして、表示処理部１０Ｂは、ステップＳ１２ＨＢの処理で肯定判定を行った場合、図１５（Ｄ）に示す左スクロールボタン１５４を画面に表示する（Ｓ１２ＨＣ）。次に、表示処理部１０Ｂは、ステップＳ１２Ｇで画面に表示した分割エリアの右側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う（Ｓ１２ＨＤ）。表示処理部１０Ｂは、ステップＳ１２ＨＤの処理で肯定判定を行った場合、図１５（Ｄ）に示す右スクロールボタン１５５を画面に表示する（Ｓ１２ＨＥ）。そして、表示処理部１０Ｂは、これらのスクロールボタンがタップ操作されると、タップ操作された方の分割エリアが画面に現れるように文章ブロックを左または右へスライドする。
When the
また、表示処理部１０Ｂは、ステップＳ１２ＨＡの処理で当該文章ブロックの分割方向が縦方向と判別すると、次に、ステップＳ１２ＣＪの処理で記憶部１３に記憶された各分割エリアの座標とサイズの情報を基に、ステップＳ１２Ｇで画面に表示した分割エリアの上側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う（Ｓ１２ＨＦ）。そして、表示処理部１０Ｂは、ステップＳ１２ＨＦの処理で肯定判定を行った場合、上スクロールボタンを画面に表示する（Ｓ１２ＨＧ）。次に、表示処理部１０Ｂは、ステップＳ１２Ｇで画面に表示した分割エリアの下側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う（Ｓ１２ＨＨ）。表示処理部１０Ｂは、ステップＳ１２ＨＨの処理で肯定判定を行った場合、下スクロールボタンを画面に表示する（Ｓ１２ＨＩ）。そして、表示処理部１０Ｂは、これらのスクロールボタンがタップ操作されると、タップ操作された方の分割エリアが画面に現れるように文章ブロックを上または下へスライドする。
Further, when the
再び図１６のフローチャートに沿って説明する。表示処理部１０Ｂは、ステップＳ１２Ｂの処理において否定判定を行った場合、すなわち、タップ操作されたのが非文章ブロックであった場合、当該非文章ブロックを、当該非文章ブロックにおけるタップ位置を画面の中心に配置し、ステップＳ９Ｅで決定した拡大率で画面に表示させる（Ｓ１２Ｉ）。また、表示処理部１０Ｂは、ステップＳ１２Ｅの処理において否定判定を行った場合、すなわち、タップ操作されたのが文章ブロックであった分割するサイズでなかった場合、当該文章ブロックを、当該非文章ブロックの中心を画面の中心に配置し、ステップＳ９Ｅで決定した拡大率で画面に表示させる（Ｓ１２Ｊ）。
This will be described again with reference to the flowchart of FIG. When the
本実施形態の情報処理装置１では、表示部１５にコンテンツが表示される度に上記一連の処理（Ｓ１〜Ｓ１２）が実行されることで、以下のような拡大表示が実現される。
In the
図１９は、本実施形態の情報処理装置１で実現される拡大表示の第１例を示した図である。例えば、図１９（Ａ）に示されるように、表示画面１５０に縦書きの文章ブロックＢ１が存在し、当該文章ブロックＢ１が拡大表示しても横幅が画面に収まる大きさであったと仮定する。図１９（Ａ）において文章ブロックＢ１を示す矩形の破線は、説明の便宜上付した仮想線であり、表示画面１５０に実際には表示されない。このような文章ブロックＢ１に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｊの処理を実行し、図１９（Ｂ）に示されるように、文章ブロックＢ１全体を表示画面１５０に収まる大きさで拡大表示させる。
FIG. 19 is a diagram showing a first example of an enlarged display realized by the
図２０は、本実施形態の情報処理装置１で実現される拡大表示の第２例を示した図である。例えば、図２０に示されるように、表示画面１５０に横書きの文章ブロックＢ２が存在し、当該文章ブロックＢ２が拡大表示すると縦幅が画面に収まらない大きさであったと仮定する。
FIG. 20 is a diagram showing a second example of the enlarged display realized by the
このような文章ブロックＢ２において、図２０（Ａ１）に示されるように、当該文章ブロックＢ２の上端付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２０（Ｂ１）に示されるように、文章ブロックＢ２の上端付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＩの処理を実行し、下スクロールボタン１５７を表示画面１５０の下端付近に表示させる。
In such a sentence block B2, as shown in FIG. 20 (A1), when the tap operation by the finger H is performed on the vicinity of the upper end of the sentence block B2, the
また、このような文章ブロックＢ２において、図２０（Ａ２）に示されるように、当該文章ブロックＢ２の中央部付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２０（Ｂ２）に示されるように、文章ブロックＢ２の中央部付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＧとステップＳ１２ＨＩの処理を実行し、上スクロールボタン１５６を表示画面１５０の上端付近に、下スクロールボタン１５７を表示画面１５０の下端付近に表示させる。
Further, in such a sentence block B2, as shown in FIG. 20 (A2), when the tap operation by the finger H is performed on the vicinity of the central portion of the sentence block B2, the
また、このような文章ブロックＢ２において、図２０（Ａ３）に示されるように、当該文章ブロックＢ２の下端付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２０（Ｂ３）に示されるように、文章ブロックＢ２の下端付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＧの処理を実行し、上スクロールボタン１５６を表示画面１５０の上端付近に表示させる。
Further, in such a sentence block B2, as shown in FIG. 20 (A3), when the tap operation by the finger H is performed on the vicinity of the lower end of the sentence block B2, the
図２１は、本実施形態の情報処理装置１で実現される拡大表示の第３例を示した図である。例えば、図２１に示されるように、表示画面１５０に縦書きの文章ブロックＢ３が存在し、当該文章ブロックＢ３が拡大表示すると横幅が画面に収まらない大きさであったと仮定する。
FIG. 21 is a diagram showing a third example of the enlarged display realized by the
このような文章ブロックＢ３において、図２１（Ａ１）に示されるように、当該文章ブロックＢ３の左端付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２１（Ｂ１）に示されるように、文章ブロックＢ３の左端付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＥの処理を実行し、右スクロールボタン１５５を表示画面１５０の右端付近に表示させる。
In such a sentence block B3, as shown in FIG. 21 (A1), when the tap operation by the finger H is performed on the vicinity of the left end of the sentence block B3, the
また、このような文章ブロックＢ３において、図２１（Ａ２）に示されるように、当該文章ブロックＢ３の中央部付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２１（Ｂ２）に示されるように、文章ブロックＢ３の中央部付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＣとステップＳ１２ＨＥの処理を実行し、左スクロールボタン１５４を表示画面１５０の左端付近に、右スクロールボタン１５５を表示画面１５０の右端付近に表示させる。
Further, in such a sentence block B3, as shown in FIG. 21 (A2), when a tap operation by the finger H is performed on the vicinity of the central portion of the sentence block B3, the
また、このような文章ブロックＢ３において、図２１（Ａ３）に示されるように、当該文章ブロックＢ３の右端付近に対して指Ｈによるタップ操作が行われると、表示処理部１０Ｂは、ステップＳ１２Ｇの処理を実行し、図２１（Ｂ３）に示されるように、文章ブロ
ックＢ３の右端付近の分割ブロックを表示画面１５０に収まる大きさで拡大表示させる。また、表示処理部１０Ｂは、ステップＳ１２ＨＣの処理を実行し、左スクロールボタン１５４を表示画面１５０の左端付近に表示させる。
Further, in such a sentence block B3, as shown in FIG. 21 (A3), when the tap operation by the finger H is performed on the vicinity of the right end of the sentence block B3, the
本実施形態の情報処理装置１であれば、画面に表示するコンテンツを、一覧性を維持した状態で拡大表示することが可能な状態になると、当該拡大表示が可能となったことを示すアイコンが表示される。そして、当該アイコンによって拡大表示可能となったことを知ったユーザは、文章の部分をタップ操作することにより、各行の両端が画面に収まる状態で拡大表示された文章を読むことができる。すなわち、拡大表示された文章の各行の先頭或いは末尾が画面からはみ出ず、一覧性を維持した状態の拡大表示が行われる。よって、ユーザは、当該文章を読むために、一行を読んでいる途中で画面内でスライドさせたり、或いは、表示内容の縮小操作を行わなくても、拡大された文章を読むことが可能となる。
In the
スマートフォンやスマートウォッチ、タブレット、携帯電話等の携帯機器では、表示画面の情報を拡大して見やすくする際、従来技術の拡大方法では、拡大後の情報が画面内に収まらず、連続する文章が途切れてしまったり、画像の一部が、見えなくなってしまうという問題が生じていた。一方、上記実施形態の情報処理装置１では、見やすさ向上と情報の一覧性との両立を図るために、上述したように、表示画面のキャプチャー画像を取得し、その画像に含まれる色のヒストグラムを算出して背景色を特定したあと、背景色に対するコントラストの変化から文章ブロックを検出することによって、ユーザがタップ操作で指定した文章ブロックの一覧性を維持しながら拡大表示を行う。また、文章ブロック内の属性（ブロックのサイズ、文字を書き進める方向（縦書き／横書き）、列幅／行高）によって、画面の拡大率、および、文章ブロックの分割表示数を決定し、１回、または、複数回に分けてブロック表示することで、見やすさと一覧性との両立を図る。
In mobile devices such as smartphones, smart watches, tablets, and mobile phones, when the information on the display screen is enlarged to make it easier to see, with the conventional enlargement method, the enlarged information does not fit on the screen and continuous sentences are interrupted. There was a problem that a part of the image could not be seen. On the other hand, in the
なお、本実施形態の情報処理装置１において、表示処理部１０Ｂは、文章ブロックを複数の分割エリアに分割する場合、ステップＳ１２Ｇの処理において、各分割エリアのうちタップ位置に対応する分割エリアを拡大表示していた。しかし、表示処理部１０Ｂは、文章ブロックを複数の分割エリアに分割する場合であっても、ステップＳ１２Ｇの処理において、各分割エリアのうち当該文章ブロックの文章の先頭行が位置する分割ブロックを表示するようにしてもよい。このような変形例の場合、例えば、文章ブロックが縦書きであれば、表示処理部１０Ｂは、ステップＳ１２Ｇの処理において、各分割エリアのうち当該文章ブロックにおいて最も右側にある分割ブロックを表示する。また、例えば、文章ブロックが横書きであれば、表示処理部１０Ｂは、ステップＳ１２Ｇの処理において、各分割エリアのうち当該文章ブロックにおいて最も上側にある分割ブロックを表示する。このような変形例であれば、ユーザは、タップ操作を行って拡大表示された文章ブロックの文章を、先頭行から直ちに読み進めることができる。
In the
また、上記実施形態では、文章ブロック及び非文章ブロックに対する操作の一例として、タップ操作が例示されていたが、文章ブロック及び非文章ブロックに対する操作は、タップ操作に限定されない。文章ブロック及び非文章ブロックに対する操作は、例えば、非タッチ操作、すなわち、タッチパネルとは別途に用意されたメカニカルスイッチによる選択操作、マウス等のポインティングデバイスによるクリック操作、その他の操作によるものであってもよい。 Further, in the above embodiment, the tap operation is exemplified as an example of the operation for the sentence block and the non-sentence block, but the operation for the sentence block and the non-sentence block is not limited to the tap operation. The operation for the sentence block and the non-sentence block may be, for example, a non-touch operation, that is, a selection operation by a mechanical switch prepared separately from the touch panel, a click operation by a pointing device such as a mouse, or other operations. Good.
また、上記実施形態では、ブロックの拡大表示が、当該ブロックの中心を表示画面１５０の中心に配置した状態で行われていたが、表示処理部１０Ｂは、例えば、表示画面１５０の一部に画定した表示領域の中心にブロックの中心を配置した状態で、当該表示領域内に当該ブロックを拡大表示するようにしてもよい。
Further, in the above embodiment, the enlarged display of the block is performed in a state where the center of the block is arranged at the center of the
また、上記実施形態では、アイコンが表示画面１５０の右下に配置されていたが、アイコンは、ユーザの設定操作等により、適宜の位置へ変更することもできる。
Further, in the above embodiment, the icon is arranged at the lower right of the
また、上記実施形態では、拡大表示可能な旨を表すデザインの一例として、図１５（Ｃ）にアイコン１５２を例示したが、拡大表示可能な旨を表すデザインはこれに限定されない。アイコン１５２は、例えば、「Ａ」以外の文字と、当該文字から放射状に広がる複数の線とを有するものであってもよいし、或いは、その他のデザインであってもよい。
Further, in the above embodiment, the
また、上記実施形態では、位置変更操作がブロック単位で可能な旨を表すデザインの一例として、図１５（Ｄ）にアイコン１５３を例示したが、位置変更操作がブロック単位で可能な旨を表すデザインはこれに限定されない。アイコン１５３は、例えば、略矩形を形成する４つの角を有するデザイン以外のデザインであってもよい。
Further, in the above embodiment, the
また、上記実施形態では、４種類のスクロールボタン１５４〜１５７が押された場合に画面がスクロールしていたが、情報処理装置１は、スクロールボタンが表示された状態または非表示の状態において、スクロールボタンの付近をタップ操作した場合にスクロールが行われるようにしてもよい。
Further, in the above embodiment, the screen is scrolled when the four types of
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated parts does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each part is not limited to the one shown in the figure, and all or part of them are functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured.
また、情報処理装置１で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一
部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
Further, the various processing functions performed by the
また、記憶部１３のプログラム１３ａについては、最初から記憶部１３に記憶させておかなくてもよい。例えば、情報処理装置１に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラム１３ａを記憶させる。そして、情報処理装置１がこれらの可搬用の物理媒体からプログラム１３ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して情報処理装置１に接続される他のコンピュータまたはサーバ装置などにプログラム１３ａを記憶させておき、情報処理装置１がこれらからプログラム１３ａを取得して実行するようにしてもよい。
Further, the program 13a of the
また、本願は、以下の付記的事項を開示する。
（付記１）
表示部の表示画面に対するタッチ操作を検出する検出部と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備える、
表示装置。
（付記２）
前記表示処理部は、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
付記１に記載の表示装置。
（付記３）
前記表示処理部は、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記１または２に記載の表示装置。
（付記４）
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記３に記載の表示装置。
（付記５）
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
付記３または４に記載の表示装置。
（付記６）
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
付記３から５の何れか一項に記載の表示装置。
（付記７）
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
付記３に記載の表示装置。
（付記８）
前記表示処理部は、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出する、
付記１から７の何れか一項に記載の表示装置。
（付記９）
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータに実行させる、
表示制御プログラム。
（付記１０）
前記表示処理では、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
付記９に記載の表示制御プログラム。
（付記１１）
前記表示処理では、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記９または１０に記載の表示制御プログラム。
（付記１２）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると
前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記１１に記載の表示制御プログラム。
（付記１３）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
付記１１または１２に記載の表示制御プログラム。
（付記１４）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールさせ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールさせる、
付記１１から１３の何れか一項に記載の表示制御プログラム。
（付記１５）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
付記１１に記載の表示制御プログラム。
（付記１６）
前記表示処理では、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出させる、
付記９から１５の何れか一項に記載の表示制御プログラム。
（付記１７）
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータが実行する、
表示制御方法。
（付記１８）
前記表示処理では、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示し、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示する、
付記１７に記載の表示制御方法。
（付記１９）
前記表示処理では、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示し、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示する、
付記１７または１８に記載の表示制御方法。
（付記２０）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示する、
付記１９に記載の表示制御方法。
（付記２１）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示する、
付記１９または２０に記載の表示制御方法。
（付記２２）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
付記１９から２１の何れか一項に記載の表示制御方法。
（付記２３）
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示し
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示する、
付記１９に記載の表示制御方法。
（付記２４）
前記表示処理では、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出する、
付記１７から２３の何れか一項に記載の表示制御方法。
In addition, the present application discloses the following additional matters.
(Appendix 1)
A detector that detects touch operations on the display screen of the display
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is provided with a display processing unit that displays the image in the display area at a predetermined enlargement ratio.
Display device.
(Appendix 2)
The display processing unit
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the left and right of the sentence block. Arranged so that the center in the direction is the center of the display area, at least a part of the sentence block is displayed on the display screen at the predetermined enlargement ratio so that the width of the sentence block fits in the width of the display area.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The text block is arranged so that the center in the vertical direction is the center of the display area, and at least a part of the text block is displayed on the display screen at the predetermined enlargement ratio so that the vertical width of the text block fits in the vertical width of the display area. To display
The display device according to
(Appendix 3)
The display processing unit
If the touch-operated block has a size that fits in the display area when displayed at the predetermined enlargement ratio, the entire area of the block is displayed in the display area at the predetermined enlargement ratio.
When the touch-operated block has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block is divided into a size that can be displayed in the display area at the predetermined enlargement ratio. One of the plurality of divided areas is displayed in the display area at the predetermined enlargement ratio.
The display device according to
(Appendix 4)
When the block on which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit has a size that can be displayed in the display area at the predetermined enlargement ratio. Of the plurality of divided areas obtained by dividing the block, the divided area corresponding to the position in the block where the touch operation is performed is displayed in the display area at the predetermined enlargement ratio.
The display device according to
(Appendix 5)
When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit converts the divided area into the display area at the predetermined enlargement ratio. Along with displaying, a sign suggesting movement for moving the display to another divided area adjacent to the divided area is displayed on the display screen.
The display device according to
(Appendix 6)
When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit may be used.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Displays the divided area in the display area at the predetermined enlargement ratio that fits in the width of the display area, and displays a vertical movement sign suggesting a vertical direction to another divided area adjacent to the divided area on the display screen. Display, scroll to the touched side of the screen area,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The divided area is displayed in the display area at a predetermined enlargement ratio whose vertical width fits in the vertical width of the display area, and a lateral movement sign suggesting a horizontal direction to another divided area adjacent to the divided area is displayed. Display on the display screen and scroll to the touched side of the screen area,
The display device according to any one of
(Appendix 7)
When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit may be used.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Is displayed in the display area at the uppermost division area among the plurality of division areas at the predetermined enlargement ratio that fits in the width of the display area, and the block to which the touch operation is performed has a color difference from the background color. When the display object is a sentence block estimated to be a vertically written character string from the array of display objects extracted based on the above, the predetermined enlargement ratio that the vertical width of the sentence block fits in the vertical width of the display area. The rightmost divided area among the plurality of divided areas is displayed in the display area.
The display device according to
(Appendix 8)
When the block to which the touch operation is performed is a sentence block in which the display object is presumed to be a character string from the array of display objects extracted based on the color difference from the background color, the display processing unit is concerned. Calculate the predetermined enlargement ratio based on the attribute information related to the sentence block.
The display device according to any one of
(Appendix 9)
Detection processing that detects touch operations on the display screen of the display unit,
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is displayed in the display area at a predetermined enlargement ratio, and the computer is executed.
Display control program.
(Appendix 10)
In the display process,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the left and right of the sentence block. Arranged so that the center in the direction is the center of the display area, at least a part of the sentence block is displayed on the display screen at the predetermined enlargement ratio so that the width of the sentence block fits in the width of the display area.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The text block is arranged so that the center in the vertical direction is the center of the display area, and at least a part of the text block is displayed on the display screen at the predetermined enlargement ratio so that the vertical width of the text block fits in the vertical width of the display area. To display
The display control program according to
(Appendix 11)
In the display process,
If the touch-operated block has a size that fits in the display area when displayed at the predetermined enlargement ratio, the entire area of the block is displayed in the display area at the predetermined enlargement ratio.
When the touch-operated block has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block is divided into a size that can be displayed in the display area at the predetermined enlargement ratio. One of the plurality of divided areas is displayed in the display area at the predetermined enlargement ratio.
The display control program according to
(Appendix 12)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block can be displayed in the display area at the predetermined enlargement ratio. Of the plurality of divided areas obtained by dividing the block, the divided area corresponding to the position in the block where the touch operation is performed is displayed in the display area at the predetermined enlargement ratio.
The display control program according to
(Appendix 13)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the divided area is displayed in the display area at the predetermined enlargement ratio. At the same time, a sign suggesting movement for moving the display to another division area adjacent to the division area is displayed on the display screen.
The display control program according to
(Appendix 14)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Displays the divided area in the display area at the predetermined enlargement ratio that fits in the width of the display area, and displays a vertical movement sign suggesting a vertical direction to another divided area adjacent to the divided area on the display screen. Display, scroll to the touched side of the screen area,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The divided area is displayed in the display area at a predetermined enlargement ratio whose vertical width fits in the vertical width of the display area, and a lateral movement sign suggesting a horizontal direction to another divided area adjacent to the divided area is displayed. Display on the display screen and scroll to the touched side of the screen area,
The display control program according to any one of
(Appendix 15)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Is displayed in the display area at the uppermost division area among the plurality of division areas at the predetermined enlargement ratio that fits in the width of the display area, and the block to which the touch operation is performed has a color difference from the background color. When the display object is a sentence block estimated to be a vertically written character string from the array of display objects extracted based on the above, the predetermined enlargement ratio that the vertical width of the sentence block fits in the vertical width of the display area. The rightmost divided area among the plurality of divided areas is displayed in the display area.
The display control program according to
(Appendix 16)
In the display process, when the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a character string from the array of display objects extracted based on the color difference from the background color, the sentence is concerned. The predetermined enlargement ratio is calculated based on the attribute information about the block.
The display control program according to any one of
(Appendix 17)
Detection processing that detects touch operations on the display screen of the display unit,
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is displayed in the display area at a predetermined magnification, and the computer executes the display process.
Display control method.
(Appendix 18)
In the display process,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the left and right of the sentence block. Arranged so that the center in the direction is the center of the display area, at least a part of the sentence block is displayed on the display screen at the predetermined enlargement ratio so that the width of the sentence block fits in the width of the display area.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The text block is arranged so that the center in the vertical direction is the center of the display area, and at least a part of the text block is displayed on the display screen at the predetermined enlargement ratio so that the vertical width of the text block fits in the vertical width of the display area. indicate,
The display control method according to Appendix 17.
(Appendix 19)
In the display process,
When the touch-operated block has a size that fits in the display area when displayed at the predetermined enlargement ratio, the entire area of the block is displayed in the display area at the predetermined enlargement ratio.
When the touch-operated block has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block is divided into a size that can be displayed in the display area at the predetermined enlargement ratio. One of the plurality of divided areas is displayed in the display area at the predetermined enlargement ratio.
The display control method according to Appendix 17 or 18.
(Appendix 20)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block can be displayed in the display area at the predetermined enlargement ratio. Of the plurality of divided areas obtained by dividing the block, the divided area corresponding to the position in the block where the touch operation is performed is displayed in the display area at the predetermined enlargement ratio.
The display control method according to Appendix 19.
(Appendix 21)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the divided area is displayed in the display area at the predetermined enlargement ratio. At the same time, a sign suggesting movement for moving the display to another division area adjacent to the division area is displayed on the display screen.
The display control method according to Appendix 19 or 20.
(Appendix 22)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Displays the divided area in the display area at the predetermined enlargement ratio that fits in the width of the display area, and displays a vertical movement sign suggesting a vertical direction to another divided area adjacent to the divided area on the display screen. Display, scroll to the touched side of the screen area,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The divided area is displayed in the display area at a predetermined enlargement ratio whose vertical width fits in the vertical width of the display area, and a lateral movement sign suggesting a horizontal direction to another divided area adjacent to the divided area is displayed. Display on the display screen and scroll to the touched side of the screen area,
The display control method according to any one of Appendix 19 to 21.
(Appendix 23)
In the display process, when the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Displays the uppermost divided area among the plurality of divided areas at the predetermined enlargement ratio that fits in the width of the display area in the display area, and the block to which the touch operation is performed has a color difference from the background color. When the display object is a sentence block estimated to be a vertically written character string from the array of display objects extracted based on the above, the predetermined enlargement ratio that the vertical width of the sentence block fits in the vertical width of the display area. Displays the rightmost divided area among the plurality of divided areas in the display area.
The display control method according to Appendix 19.
(Appendix 24)
In the display process, when the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a character string from the array of display objects extracted based on the color difference from the background color, the sentence is concerned. Calculate the predetermined enlargement ratio based on the attribute information related to the block.
The display control method according to any one of Appendix 17 to 23.
１・・情報処理装置
１０・・制御部
１０Ａ・・検出部
１０Ｂ・・表示処理部
１１・・通信部
１１Ａ・・アンテナ
１２・・音声入出力部
１２Ａ・・スピーカ
１２Ｂ・・マイク
１３・・記憶部
１３Ａ・・プログラム
１３Ｂ・・定義情報
１４・・操作部
１５・・表示部
１５０・・表示画面
１５１・・アイコン
１５２・・アイコン
１５３・・アイコン
１５４・・左スクロールボタン
１５５・・右スクロールボタン
１５６・・上スクロールボタン
１５７・・下スクロールボタン
Ｂ１・・文章ブロック
Ｂ２・・文章ブロック
Ｂ３・・文章ブロック
Ｈ・・指
1 ...
Claims (10)
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備える、
表示装置。 A detector that detects touch operations on the display screen of the display
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is provided with a display processing unit that displays the image in the display area at a predetermined enlargement ratio.
Display device.
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
請求項１に記載の表示装置。 The display processing unit
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the left and right of the sentence block. Arranged so that the center in the direction is the center of the display area, at least a part of the sentence block is displayed on the display screen at the predetermined enlargement ratio so that the width of the sentence block fits in the width of the display area.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The text block is arranged so that the center in the vertical direction is the center of the display area, and at least a part of the text block is displayed on the display screen at the predetermined enlargement ratio so that the vertical width of the text block fits in the vertical width of the display area. To display
The display device according to claim 1.
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させる、
請求項１または２に記載の表示装置。 The display processing unit
If the touch-operated block has a size that fits in the display area when displayed at the predetermined enlargement ratio, the entire area of the block is displayed in the display area at the predetermined enlargement ratio.
When the touch-operated block has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the block is divided into a size that can be displayed in the display area at the predetermined enlargement ratio. One of the plurality of divided areas is displayed in the display area at the predetermined enlargement ratio.
The display device according to claim 1 or 2.
請求項３に記載の表示装置。 When the block on which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit has a size that can be displayed in the display area at the predetermined enlargement ratio. Of the plurality of divided areas obtained by dividing the block, the divided area corresponding to the position in the block where the touch operation is performed is displayed in the display area at the predetermined enlargement ratio.
The display device according to claim 3.
請求項３または４に記載の表示装置。 When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit converts the divided area into the display area at the predetermined enlargement ratio. Along with displaying, a sign suggesting movement for moving the display to another divided area adjacent to the divided area is displayed on the display screen.
The display device according to claim 3 or 4.
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物
の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
請求項３から５の何れか一項に記載の表示装置。 When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit may be used.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. Displays the divided area in the display area at the predetermined enlargement ratio that fits in the width of the display area, and displays a vertical movement sign suggesting a vertical direction to another divided area adjacent to the divided area on the display screen. Display, scroll to the touched side of the screen area,
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a vertically written character string from the array of display objects extracted based on the color difference from the background color, the sentence block The divided area is displayed in the display area at a predetermined enlargement ratio whose vertical width fits in the vertical width of the display area, and a lateral movement sign suggesting a horizontal direction to another divided area adjacent to the divided area is displayed. Display on the display screen and scroll to the touched side of the screen area,
The display device according to any one of claims 3 to 5.
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
請求項３に記載の表示装置。 When the block to which the touch operation is performed has a size that does not fit in the display area when displayed at the predetermined enlargement ratio, the display processing unit may be used.
If the block on which the touch operation is performed is a sentence block in which the display object is presumed to be a horizontally written character string from the array of display objects extracted based on the color difference from the background color, the width of the sentence block is wide. The block in which the uppermost divided area among the plurality of divided areas is displayed in the display area at the predetermined enlargement ratio within the width of the display area and the touch operation is performed has a color difference from the background color. When the display object is a sentence block estimated to be a vertically written character string from the array of display objects extracted based on the above, the predetermined enlargement ratio that the vertical width of the sentence block fits in the vertical width of the display area. The rightmost divided area among the plurality of divided areas is displayed in the display area.
The display device according to claim 3.
請求項１から７の何れか一項に記載の表示装置。 When the block to which the touch operation is performed is a sentence block in which the display object is presumed to be a character string from the array of display objects extracted based on the color difference from the background color, the display processing unit is concerned. Calculate the predetermined enlargement ratio based on the attribute information related to the sentence block.
The display device according to any one of claims 1 to 7.
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータに実行させる、
表示制御プログラム。 Detection processing that detects touch operations on the display screen of the display unit,
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is displayed in the display area at a predetermined enlargement ratio, and the computer is executed.
Display control program.
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータが実行する、
表示制御方法。 Detection processing that detects touch operations on the display screen of the display unit,
When a touch operation on any of the plurality of blocks is detected in a state where the content displayed on the display screen has a plurality of blocks of the display object extracted based on the color difference from the background color, the touch is performed. The operated block is arranged so that the center of the block in at least one of the vertical and horizontal directions is the center of the display area set in the display screen, and at least a part of the block. Is displayed in the display area at a predetermined magnification, and the computer executes the display process.
Display control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019047038A JP7328771B2 (en) | 2019-03-14 | 2019-03-14 | Display device, display control program and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019047038A JP7328771B2 (en) | 2019-03-14 | 2019-03-14 | Display device, display control program and display control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020149424A true JP2020149424A (en) | 2020-09-17 |
| JP7328771B2 JP7328771B2 (en) | 2023-08-17 |
Family
ID=72430568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019047038A Active JP7328771B2 (en) | 2019-03-14 | 2019-03-14 | Display device, display control program and display control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7328771B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007256529A (en) * | 2006-03-22 | 2007-10-04 | Ricoh Co Ltd | Document image display device, information processor, document image display method, information processing method, document image display program, recording medium, and data structure |
| JP2008287735A (en) * | 2008-07-28 | 2008-11-27 | Akita Univ | Method of recognizing signboard and sign using color image |
| JP2009182544A (en) * | 2008-01-30 | 2009-08-13 | Hitachi Ltd | Video information processor |
| JP2009272714A (en) * | 2008-04-30 | 2009-11-19 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium with the program stored |
| JP2015046054A (en) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | Image display device, control method, and computer program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101164A (en) | 1999-09-29 | 2001-04-13 | Toshiba Corp | Document image processor and its method |
| JP2013252622A (en) | 2012-06-05 | 2013-12-19 | Canon Inc | Image forming device, method, and program |
-
2019
- 2019-03-14 JP JP2019047038A patent/JP7328771B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007256529A (en) * | 2006-03-22 | 2007-10-04 | Ricoh Co Ltd | Document image display device, information processor, document image display method, information processing method, document image display program, recording medium, and data structure |
| JP2009182544A (en) * | 2008-01-30 | 2009-08-13 | Hitachi Ltd | Video information processor |
| JP2009272714A (en) * | 2008-04-30 | 2009-11-19 | Ricoh Co Ltd | Image processing apparatus, image processing method, program, and recording medium with the program stored |
| JP2008287735A (en) * | 2008-07-28 | 2008-11-27 | Akita Univ | Method of recognizing signboard and sign using color image |
| JP2015046054A (en) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | Image display device, control method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7328771B2 (en) | 2023-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10671282B2 (en) | Display device including button configured according to displayed windows and control method therefor | |
| US10120538B2 (en) | Providing subpages in a touch panel user interface | |
| US20150339018A1 (en) | User terminal device and method for providing information thereof | |
| US20130002706A1 (en) | Method and apparatus for customizing a display screen of a user interface | |
| CN110347317B (en) | Window switching method and device, storage medium and interactive intelligent panel | |
| KR20160037647A (en) | User Terminal Device and Method for controlling the user terminal device thereof | |
| US20140143717A1 (en) | Electronic device and page zooming method thereof | |
| EP3215915B1 (en) | User terminal device and method for controlling user terminal device thereof | |
| KR20150134674A (en) | User terminal device, and Method for controlling for User terminal device, and multimedia system thereof | |
| US20150063785A1 (en) | Method of overlappingly displaying visual object on video, storage medium, and electronic device | |
| CN112099707A (en) | Display method and device and electronic equipment | |
| US20150033181A1 (en) | Information processing apparatus, information processing method, and program | |
| CN108475172B (en) | Information display method and device and terminal equipment | |
| TW201642115A (en) | An icon adjustment method, an icon adjustment system and an electronic device thereof | |
| JP2013238934A (en) | Information processing device, control method and control program for information processing device, and recording medium | |
| KR20150039552A (en) | Display manipulating method of electronic apparatus and electronic apparatus thereof | |
| CN110417984B (en) | Method, device and storage medium for realizing operation in special-shaped area of screen | |
| JP2015148857A (en) | Information browsing device, object selection control program, and object selection control method | |
| CN106201407A (en) | A kind of data display method and terminal | |
| CN105760064A (en) | Method Of Displaying Content And Electronic Device Implementing Same | |
| CN109766530B (en) | Method and device for generating chart frame, storage medium and electronic equipment | |
| US11861157B2 (en) | Methods, systems, and media for presenting offset content | |
| JP7328771B2 (en) | Display device, display control program and display control method | |
| JP7233263B2 (en) | Display device, display control program and display control method | |
| WO2018068364A1 (en) | Method and device for displaying page, graphical user interface, and mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7328771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |