JP2005056286A - Display enlarging method and display enlarging program in web browser - Google Patents

Display enlarging method and display enlarging program in web browser Download PDF

Info

Publication number
JP2005056286A
JP2005056286A JP2003288355A JP2003288355A JP2005056286A JP 2005056286 A JP2005056286 A JP 2005056286A JP 2003288355 A JP2003288355 A JP 2003288355A JP 2003288355 A JP2003288355 A JP 2003288355A JP 2005056286 A JP2005056286 A JP 2005056286A
Authority
JP
Japan
Prior art keywords
screen
display screen
hook
enlargement
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003288355A
Other languages
Japanese (ja)
Inventor
Akiko Nobe
昭子 野邊
Original Assignee
Nec Engineering Ltd
日本電気エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Engineering Ltd, 日本電気エンジニアリング株式会社 filed Critical Nec Engineering Ltd
Priority to JP2003288355A priority Critical patent/JP2005056286A/en
Publication of JP2005056286A publication Critical patent/JP2005056286A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an enlarging function suitable for a touch panel environment while maintaining a browser function. <P>SOLUTION: When a browser application is started in use of the Internet, a hook procedure is installed inside a hook chain. When an enlargement instruction is given during display of a screen in a terminal, information used for coordinate conversion is set to a hook function DLL, and the display screen is divided into a standard display screen and an enlarged display screen and enlargement objective area information is maintained. The browser application checks whether the standard screen is touched once every fixed time. If the standard screen is touched, the enlargement objective area is decided and the enlargement objective area information is maintained while an enlarged screen is displayed. When the display screen is touched, an OS notifies the hook procedure of a mouse event. The hook function DLL checks whether the touch is made inside the enlarged display screen from the coordinate information advised to the hook procedure to convert the touch into mouse coordinates. The hook function DLL moves the touch on the display screen to the mouse coordinates. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、インターネットを閲覧する場合のウェブブラウザにおける拡大表示に関する。   The present invention relates to an enlarged display in a web browser when browsing the Internet.
一般的なホームページは、パーソナルコンピュータ上でマウス操作を前提としてデザインされていることが多く、細かな表記はお年寄りなどには見づらいものである。また、細かなボタン類はタッチパネル上で指による選択が困難であることが多い。   The general homepage is often designed on the premise of mouse operation on a personal computer, and the detailed notation is difficult for the elderly to see. Further, it is often difficult to select fine buttons with a finger on the touch panel.
この種の問題を解決する従来技術として、画面上に表示されている一部をビットマップとして抽出し、拡大表示画面におけるブラウザ機能を保持しながら、リンクのテキストを拡大して表示することにより細かな表記も見やすくしているものが知られている(例えば、特許文献1参照)。   As a conventional technique for solving this type of problem, a portion of the text displayed on the screen is extracted as a bitmap, and the link text is enlarged and displayed while maintaining the browser function on the enlarged display screen. It is known that easy notation is also easy to see (see, for example, Patent Document 1).
特開2002−373043(第1ー11頁、図1)JP 2002-373043 (pages 1-11, FIG. 1)
しかしながら、上述した従来技術は、小さい表示を見えやすくすることが主目的であり、拡大画面は、単に拡大されたビットマップが表示されているだけである。従って、拡大表示の内容は最新表示をしないので、拡大表示画面には表示内容の更新ないしは変更が反映されない。このため、例えば、街頭におけるように端末等でマウスを使用できない環境の下では、インターネットを閲覧する際、拡大画面上でチェックボックス,ラジオボタン等のコントロールにタッチしてもその操作は実行できず、また、プルダウンメニューにおいても開いたメニューの内容が表示されないという問題点がある。   However, the above-described prior art is mainly intended to make a small display easy to see, and the enlarged screen simply displays an enlarged bitmap. Therefore, since the contents of the enlarged display are not updated, the display contents are not updated or changed on the enlarged display screen. For this reason, for example, in an environment where a mouse cannot be used on a terminal or the like as in the street, when browsing the Internet, the operation cannot be performed even if a check box, radio button, or other control is touched on the enlarged screen. Also, there is a problem that the contents of the opened menu are not displayed in the pull-down menu.
本発明の目的は、ブラウザ機能を保持しながらタッチパネル環境に適した拡大機能を実現するウェブブラウザにおける拡大表示方法を提供することにある。   An object of the present invention is to provide an enlarged display method in a web browser that realizes an enlargement function suitable for a touch panel environment while maintaining the browser function.
本発明のウェブブラウザにおける拡大表示方法は、端末に、OSおよびウェブブラウザとともに、ウェブブラウザの拡大表示アプリケーションであるブラウザアプリケーションおよびフック機能DLLを格納しておく段階と、インターネット利用時にブラウザアプリケーションが起動されると、フックチェイン内に前記フック機能DLL内のプロシージャであるフックプロシージャをインストールする段階と、ウェブブラウザアプリケーションにより端末で画面を表示中に拡大指示がされると、ウェブブラウザアプリケーションがフック機能DLLへ座標変換に使用する拡大画面座標,標準画面座標,拡大率および基点の種類を設定して、標準画面座標と拡大画面座標にしたがって表示画面を標準表示画面と拡大表示画面に分割し、拡大率と基点の種類とで定まる拡大対象エリア情報を保持してタイマーをスタートさせる段階と、タイマーがスタートすると、ブラウザアプリケーションは、一定時間毎に、標準画面内にタッチがあったかをチェックし、あれば拡大率と基点で拡大対象エリアを決定して、既存のものを含めて拡大対象エリア情報を保持し画面を拡大表示する段階と、表示画面がタッチされると、OSはフックプロシージャにマウスイベントを通知する段階と、フック機能DLLがフックプロシージャに通知された座標情報を元にタッチが拡大表示画面であるかを確認してマウス座標に変換する段階と、フック機能DLLが表示画面のタッチをマウス座標へ移動する段階とを有することを特徴とする。   The enlarged display method in the web browser of the present invention includes a stage in which a browser application, which is an enlarged display application of the web browser, and a hook function DLL are stored in the terminal together with the OS and the web browser, and the browser application is activated when the Internet is used. Then, when a hook procedure which is a procedure in the hook function DLL is installed in the hook chain, and when an enlargement instruction is displayed while the screen is displayed on the terminal by the web browser application, the web browser application enters the hook function DLL. Set the enlargement screen coordinates, standard screen coordinates, enlargement ratio, and base point type to be used for coordinate conversion, and divide the display screen into the standard display screen and the enlargement display screen according to the standard screen coordinates and the enlargement screen coordinates. The stage to start the timer by holding the enlargement target area information determined by the type of point, and when the timer starts, the browser application checks if there is a touch within the standard screen at regular intervals, and if so, the enlargement rate When the display screen is touched, the OS notifies the mouse event to the hook procedure. The step of the hook function DLL confirms whether the touch is an enlarged display screen based on the coordinate information notified to the hook procedure, and converts the touch to the mouse coordinate. The hook function DLL converts the touch of the display screen to the mouse coordinate. And moving.
本発明によれば、拡大表示中に拡大対象エリア情報を保持して拡大表示画面と標準表示画面との間の座標変換を実施し、かつ座標変換実施後に拡大表示画面を拡大対象エリア情報によって最新表示し直すことにより、表示内容の更新ないしは変更が拡大表示画面に反映することが可能になるので、従来は利用できなかった拡大表示中のコンテンツ内ラジオボタン,チェックボックス,チェックボックス等が利用できるようになるという効果を得ることができるようになる。   According to the present invention, enlargement display area information is held during enlargement display, coordinate conversion between the enlargement display screen and the standard display screen is performed, and the enlargement display screen is updated with the enlargement target area information after the coordinate conversion is performed. By redisplaying, it is possible to reflect the update or change of the display contents on the enlarged display screen, so the radio buttons, check boxes, check boxes, etc. in the enlarged display that could not be used before can be used. The effect of becoming can be obtained.
本発明のウェブブラウザにおける拡大表示方法では、先ず、インターネット接続可能な端末にOSおよびウェブブラウザとともに、ウェブブラウザの拡大表示アプリケーションであるブラウザアプリケーションおよびフック機能DLLを格納しておく。端末においてインターネット利用時にブラウザアプリケーションが起動されると、フックチェイン内にフック機能DLL内のプロシージャであるフックプロシージャをインストールする。   In the enlarged display method in the web browser of the present invention, first, a browser application which is an enlarged display application of the web browser and a hook function DLL are stored together with the OS and the web browser in a terminal which can be connected to the Internet. When the browser application is activated when the Internet is used in the terminal, a hook procedure that is a procedure in the hook function DLL is installed in the hook chain.
そして、ウェブブラウザアプリケーションにより端末で画面を表示中に拡大表示指示がされると、次のようにして拡大表示機能を実行する。ブラウザアプリケーションは、フック機能DLLへ座標変換に使用する拡大画面座標,標準画面座標,拡大率および基点の種類を設定して、標準画面座標と拡大画面座標にしたがって表示画面を標準表示画面と拡大表示画面に分割し、拡大率と基点の種類とで定まる拡大対象エリア情報を保持してタイマーをスタートさせる。   When an enlarged display instruction is given while the screen is displayed on the terminal by the web browser application, the enlarged display function is executed as follows. The browser application sets the enlarged screen coordinates, standard screen coordinates, magnification rate, and base point type used for coordinate conversion to the hook function DLL, and the display screen is displayed in accordance with the standard screen coordinates and the enlarged screen coordinates. The screen is divided into screens, the area information to be enlarged determined by the enlargement ratio and the type of the base point is held, and the timer is started.
タイマーがスタートすると、ブラウザアプリケーションは、一定時間毎に、標準画面内にタッチがあったかをチェックし、あれば拡大率と基点で拡大対象エリアを決定して、既存のものを含めて拡大対象エリア情報を保持し画面を拡大表示する。   When the timer starts, the browser application checks whether there is a touch within the standard screen at regular intervals, and if so, determines the enlargement target area based on the enlargement rate and base point, and the enlargement target area information including the existing ones Hold and zoom in on the screen.
表示画面がタッチされると、OSがフックプロシージャにマウスイベントを通知する。フック機能DLLは、フックプロシージャに通知された座標情報を元にタッチが拡大表示画面であるかを確認して、表示画面のタッチをマウス座標に移動する。   When the display screen is touched, the OS notifies the mouse event to the hook procedure. The hook function DLL confirms whether the touch is an enlarged display screen based on the coordinate information notified to the hook procedure, and moves the touch on the display screen to the mouse coordinates.
図1は本発明のウェブブラウザにおける拡大表示方法を実施するためのシステム構成を示す。図1において、端末10は、例えばパーソナルコンピュータであって、インターネット20が利用できる。端末10が備えるメモリ11には、オペレーティングシステム(OS)12,ウェブブラウザ13,ウェブブラウザコントロールを使用したブラウザアプリケーション14およびフック機能DLL15が格納されている。   FIG. 1 shows a system configuration for carrying out an enlarged display method in a web browser of the present invention. In FIG. 1, a terminal 10 is a personal computer, for example, and the Internet 20 can be used. A memory 11 provided in the terminal 10 stores an operating system (OS) 12, a web browser 13, a browser application 14 using a web browser control, and a hook function DLL 15.
OS12は、例えば「Windows(登録商標)2000」であり、ウェブブラウザ13は、例えば「InternetExplorer」(登録商標)である。ブラウザアプリケーション14とは、ウェブブラウザ13の機能を利用できるコントロールを使用して、ウェブブラウザと同等の機能とともに拡大表示機能を備えたアプリケーションをいう。また、フック機能DLL15とは、フック機能、すなわちマウスイベント等システムメッセージに対する監視機能を実行するためのダイナミック・リンク・ライブラリ(Dynamic Rink Library)をいう。   The OS 12 is, for example, “Windows (registered trademark) 2000”, and the web browser 13 is, for example, “Internet Explorer” (registered trademark). The browser application 14 is an application having an enlarged display function as well as a function equivalent to that of the web browser by using a control capable of using the function of the web browser 13. The hook function DLL 15 is a dynamic link library for executing a hook function, that is, a monitoring function for system messages such as mouse events.
ブラウザアプリケーション14は、図2に示すように、端末10の表示画面30を標準表示画面(拡大率1の画面)31と拡大表示画面32の2つに分ける機能を有する。コントロールパネル33は表示画面30に対する様々な制御を行うためのものである。   As shown in FIG. 2, the browser application 14 has a function of dividing the display screen 30 of the terminal 10 into a standard display screen (screen with an enlargement ratio of 1) 31 and an enlarged display screen 32. The control panel 33 is for performing various controls on the display screen 30.
図3は、標準表示画面31と2種類の拡大表示画面32との関係を示す。図3(a)に示すように、標準表示画面31は左上隅を原点とする座標系を有し、黒点で示すタッチされた位置(x,y)を基点として、図3(b)に示す拡大表示画面32または図3(c)に示す拡大表示画面32を表示する。図3(b)の拡大表示画面32は中央を基点にして標準表示画面31をビットマップとして切り抜くパターン、図3(c)の拡大表示画面32は左上隅を基点にして標準表示画面31をビットマップとして切り抜くパターンで、それぞれ標準表示画面31を拡大表示する。   FIG. 3 shows the relationship between the standard display screen 31 and the two types of enlarged display screens 32. As shown in FIG. 3A, the standard display screen 31 has a coordinate system with the upper left corner as the origin, and is shown in FIG. 3B with the touched position (x, y) indicated by a black dot as a base point. The enlarged display screen 32 or the enlarged display screen 32 shown in FIG. The enlarged display screen 32 in FIG. 3B is a pattern in which the standard display screen 31 is cut out as a bitmap from the center, and the enlarged display screen 32 in FIG. The standard display screen 31 is enlarged and displayed in a pattern cut out as a map.
ブラウザアプリケーション14は、拡大表示後、タイマによる一定の時間間隔で、指定されているエリアを指定倍率のままで再表示することにより拡大表示画面32を更新する。例えば、新たにソフトウェアキーボードが表示される等のように、表示画面の構成やサイズが変わった場合、またはスクロール動作で画像が更新された場合、一定の時間間隔の再表示で拡大表示画面32を更新する。   After the enlarged display, the browser application 14 updates the enlarged display screen 32 by redisplaying the designated area with the designated magnification at regular time intervals by a timer. For example, when the configuration or size of the display screen is changed, such as when a new software keyboard is displayed, or when the image is updated by a scroll operation, the enlarged display screen 32 is redisplayed at regular time intervals. Update.
また、ブラウザアプリケーション14は、基点が移動した時に再表示を実施する。基点が移動する時とは、標準表示画面31が直接タッチされた時や、拡大表示画面32がタッチされて座標変換が実施され、後述のように、その結果として標準表示画面31がタッチされたことになった時である。   Further, the browser application 14 performs re-display when the base point moves. When the base point moves, the standard display screen 31 is touched directly, or the enlarged display screen 32 is touched to perform coordinate transformation, and as a result, the standard display screen 31 is touched as described later. When it comes to it.
再表示の際、標準表示画面31と拡大表示画面32は、ブラウザアプリケーション14からフック機能DLL15に通知される5つの情報、すなわち、拡大画面座標,標準画面座標,基点の位置,拡大率および基点の種類(左上隅または中央)を元にフック機能DLL15によって座標変換を行い、標準表示画面31と拡大表示画面32を関連づける。   At the time of redisplay, the standard display screen 31 and the enlarged display screen 32 have five pieces of information notified from the browser application 14 to the hook function DLL 15, that is, enlarged screen coordinates, standard screen coordinates, base point position, enlargement rate, and base point. Coordinate conversion is performed by the hook function DLL 15 based on the type (upper left corner or center), and the standard display screen 31 and the enlarged display screen 32 are associated with each other.
なお、拡大画面座標とは拡大表示画面32の範囲を指定する座標、標準画面座標とは標準表示画面31の範囲を指定する座標、拡大率とは拡大表示画面32における標準表示画面31からの拡大率をいい、拡大指示や基点の種類とともにコントロールパネル33から指示される。また、基点の位置は表示画面30上でタッチされることによって指定される。   The enlarged screen coordinates are coordinates that specify the range of the enlarged display screen 32, the standard screen coordinates are coordinates that specify the range of the standard display screen 31, and the enlargement ratio is the magnification from the standard display screen 31 on the enlarged display screen 32. The rate is indicated by the control panel 33 together with the enlargement instruction and the type of the base point. Further, the position of the base point is specified by being touched on the display screen 30.
図4は、上述の座標変換のイメージを示す図である。拡大表示画面32のある位置がタッチされると、マウスイベントがOS12からフックプロシージャへ通知され、ブラウザアプリケーション14およびフック機能DLL15によって座標変換が実行される。これにより、拡大表示画面32上で発生したマウスイベントは、実際には標準表示画面31上で処理され、そこで起る事象は拡大表示画面32上にも展開される。したがって、標準表示画面31上で起る事象が、あたかも拡大表示画面32上で処理されたようにみえることになる。   FIG. 4 is a diagram showing an image of the coordinate conversion described above. When a certain position on the enlarged display screen 32 is touched, a mouse event is notified from the OS 12 to the hook procedure, and coordinate conversion is executed by the browser application 14 and the hook function DLL 15. Thus, a mouse event that has occurred on the enlarged display screen 32 is actually processed on the standard display screen 31, and an event that occurs there is also developed on the enlarged display screen 32. Therefore, an event that occurs on the standard display screen 31 seems to have been processed on the enlarged display screen 32.
以下、図5〜図9に示すフローチャートを用いて処理の流れを詳しく説明する。   Hereinafter, the processing flow will be described in detail with reference to the flowcharts shown in FIGS.
インターネット20の利用を開始するとき、ブラウザアプリケーション14が起動されると、フックチェイン内にフックプロシージャ(フック機能DLL15内プロシージャ)をインストールする(図5のステップA1)。   When the use of the Internet 20 is started, when the browser application 14 is activated, a hook procedure (procedure in the hook function DLL 15) is installed in the hook chain (step A1 in FIG. 5).
ウェブブラウザアプリケーション14によって端末10で表示画面30を表示中に、コントロールパネル33において拡大表示指示がされると(図5のステップK)、拡大表示を実施する。拡大表示指示には拡大画面座標,標準画面座標,拡大率および基点の種類が伴う。   When an enlargement display instruction is given on the control panel 33 while the display screen 30 is being displayed on the terminal 10 by the web browser application 14 (step K in FIG. 5), enlargement display is performed. The enlargement display instruction is accompanied by enlargement screen coordinates, standard screen coordinates, enlargement ratio, and type of base point.
ブラウザアプリケーション14はフック機能DLL15へ座標変換に使用する拡大画面座標,標準画面座標,拡大率および基点の種類を設定する(ステップA2)。   The browser application 14 sets the enlarged screen coordinates, standard screen coordinates, enlargement ratio, and base point type used for coordinate conversion to the hook function DLL 15 (step A2).
次に、ブラウザアプリケーション14は、図2に示したように、標準画面座標と拡大画面座標にしたがって表示画面30を標準表示画面31と拡大表示画面32に分割する(ステップA3)。そして、拡大率と基点の種類とで定まる拡大対象エリア情報を保持して(ステップA4)、タイマーをスタートさせる(ステップA5)。なお、表示画面30は、拡大表示終了の指示があるまで、常に、標準表示画面31と拡大表示画面32とを表示する。   Next, as shown in FIG. 2, the browser application 14 divides the display screen 30 into the standard display screen 31 and the enlarged display screen 32 according to the standard screen coordinates and the enlarged screen coordinates (step A3). Then, the enlargement target area information determined by the enlargement rate and the type of the base point is held (step A4), and the timer is started (step A5). The display screen 30 always displays the standard display screen 31 and the enlarged display screen 32 until an instruction to end the enlarged display is given.
図6はタイマーが起動された場合のブラウザアプリケーション14の処理を示す。この処理は一定の時間間隔で繰り返される。ブラウザアプリケーション14は、標準表示画面31内にタッチがあるかを確認する(図6のステップB1)。その結果、タッチがあり(ステップB1でYES)、基点の種類が中央であれば(ステップB2でYES)、中央を基点として拡大率により拡大対象エリアを決定する(ステップB3)。また、基点の種類が左上隅であれば(ステップB2でNO)、拡大対象エリア情報を基に左上隅を基点として拡大率により拡大対象エリアを決定する(ステップB4)。   FIG. 6 shows the processing of the browser application 14 when the timer is started. This process is repeated at regular time intervals. The browser application 14 confirms whether there is a touch in the standard display screen 31 (step B1 in FIG. 6). As a result, if there is a touch (YES in step B1) and the type of the base point is the center (YES in step B2), the enlargement target area is determined based on the enlargement rate with the center as the base point (step B3). If the type of the base point is the upper left corner (NO in step B2), the enlargement target area is determined based on the enlargement ratio using the upper left corner as the base point based on the enlargement target area information (step B4).
ステップB3またはステップB4で決定された拡大対象エリアの情報は保持する(ステップB5)。そして、ステップB5で保持している拡大対象エリア情報による拡大表示をすることにより、画面を再表示する(ステップB6)。この結果、図6で示す処理が繰り返される時間間隔内で、例えば、新たにソフトウェアキーボードが表示されたときや、スクロール動作で画像が更新された場合にも拡大表示画面32を更新することができる。   Information on the enlargement target area determined in step B3 or step B4 is held (step B5). Then, the screen is redisplayed by performing enlarged display based on the enlargement target area information held in step B5 (step B6). As a result, the enlarged display screen 32 can be updated within a time interval in which the process shown in FIG. 6 is repeated, for example, when a new software keyboard is displayed or when an image is updated by a scroll operation. .
なお、標準表示画面31内にタッチがなかった場合には(ステップB1でNO)、図5のステップA4で保持している拡大対象エリア情報による拡大表示をすることにより、画面を再表示する(ステップB6)。しかし、他のタイマー起動時に標準表示画面31内にタッチがあると(ステップB1でYES)、ステップB3またはステップB4で決定された拡大対象エリアの情報は保持し(ステップB5)、その内容で画面を再表示する(ステップB6)。   If there is no touch in the standard display screen 31 (NO in step B1), the screen is redisplayed by performing enlarged display using the enlargement target area information held in step A4 in FIG. 5 ( Step B6). However, if the standard display screen 31 is touched when another timer is activated (YES in step B1), the information on the enlargement target area determined in step B3 or step B4 is retained (step B5), and the content is displayed on the screen. Is displayed again (step B6).
図7は拡大表示中にユーザからの種種の指示があった場合の処理を示す。ユーザはコントロールパネル33を使用して、拡大率変更,画面分割方法変更および終了の各指示をすることができる。   FIG. 7 shows processing when there are various types of instructions from the user during enlarged display. The user can use the control panel 33 to give instructions for changing the enlargement ratio, changing the screen division method, and ending.
拡大率変更の指示があると(図7のステップC1でYES)、ブラウザアプリケーション14は拡大対象エリア情報を変更する(ステップC2)。変更された拡大対象エリア情報は保持され(図5のステップA4,図6のステップB5)、これに基づいて画面再表示される(図6のステップB6)。   When there is an instruction to change the enlargement ratio (YES in step C1 in FIG. 7), the browser application 14 changes the enlargement target area information (step C2). The changed enlargement target area information is held (step A4 in FIG. 5 and step B5 in FIG. 6), and the screen is redisplayed based on this (step B6 in FIG. 6).
また、画面分割方法の変更があると(ステップC3でYES)、ブラウザアプリケーション14は画面を再分割し(ステップC4)、拡大対象エリア情報を変更する(ステップC2)。   If there is a change in the screen division method (YES in step C3), the browser application 14 subdivides the screen (step C4) and changes the enlargement target area information (step C2).
また、拡大表示の終了指示があると(ステップC5でYES)、ブラウザアプリケーション14は図9に示す終了処理を行う(ステップC6)。   When there is an instruction to end the enlarged display (YES in step C5), the browser application 14 performs the end process shown in FIG. 9 (step C6).
図8は、拡大表示中に標準表示画面31または拡大表示画面32がタッチされた場合の処理を示す。先に説明したように、拡大表示指示があるとフックチェイン内にフックプロシージャインストールされている(図5のステップA1)。これにより、OS12内のすべてのスレッド(thread)に関連付けられたマウスイベントを監視することになり、拡大表示画面32上でマウスイベントが発生すると、OS12からフックプロシージャに対して、マウスイベントが通知される(図8のステップD1)。   FIG. 8 shows processing when the standard display screen 31 or the enlarged display screen 32 is touched during enlarged display. As described above, when there is an enlarged display instruction, the hook procedure is installed in the hook chain (step A1 in FIG. 5). As a result, mouse events associated with all threads in the OS 12 are monitored. When a mouse event occurs on the enlarged display screen 32, the mouse event is notified from the OS 12 to the hook procedure. (Step D1 in FIG. 8).
フック機能DLL15は、ブラウザアプリケーション14から通知された座標情報を元に、マウスイベントが発生した場所が拡大表示画面32内かどうか確認する(ステップD2)。その結果、拡大表示画面内でなければ(ステップD2でNO)、座標変換を行う必要がないので本処理を終了する。一方、拡大表示画面内であれば(ステップD2でYES)、図4に示したイメージの座標変換が行われる。   Based on the coordinate information notified from the browser application 14, the hook function DLL 15 checks whether the place where the mouse event has occurred is in the enlarged display screen 32 (step D2). As a result, if it is not within the enlarged display screen (NO in step D2), it is not necessary to perform coordinate conversion, and thus this processing ends. On the other hand, if it is within the enlarged display screen (YES in step D2), the coordinate conversion of the image shown in FIG. 4 is performed.
先ず、設定されている座標変換情報(図5のステップA4)を元に、基点が中央か左上隅かを確認する(ステップD3)。フック機能DLL15は、その結果を踏まえて座標変換を実施し(ステップD4)、それをマウス座標に変換する(ステップD5)。マウス座標は、例えば画面解像度512×128のピクセルをマウス座標65,535×65,535で表現する。次いで、フック機能DLL15は、マウス座標にマウスポインタを移動し(ステップD6)、実際のマウス操作に擬似するマウス左ボタンダウン(ステップD7)とマウス左ボタンアップ(ステップD8)のイベントを発生させる。   First, based on the set coordinate conversion information (step A4 in FIG. 5), it is confirmed whether the base point is the center or the upper left corner (step D3). The hook function DLL 15 performs coordinate conversion based on the result (step D4), and converts it into mouse coordinates (step D5). As the mouse coordinates, for example, pixels with a screen resolution of 512 × 128 are represented by mouse coordinates 65,535 × 65,535. Next, the hook function DLL 15 moves the mouse pointer to the mouse coordinates (step D6), and generates a mouse left button down (step D7) and mouse left button up (step D8) event that simulates an actual mouse operation.
そして、他のメッセージプロシージャーに通知せずに処理を終了とする。これは、例えば、プルダウンメニューが開いている場合、処理の終了が通知されると、プルダウンメニューを閉じてしまってリストボックスにおけるメニューの選択ができなくなるのを阻止するためである。   Then, the process ends without notifying other message procedures. This is because, for example, when the pull-down menu is open, when the end of processing is notified, the pull-down menu is closed to prevent the menu from being selected in the list box.
図9は拡大表示終了時の処理を示す。ブラウザアプリケーション14は、図2に示したように標準表示画面31と拡大表示画面32に分割されている表示画面30を元に戻し(図9のステップE1)、図6に示したタイマー処理を終了させる(ステップE2)。   FIG. 9 shows processing at the end of the enlarged display. The browser application 14 restores the display screen 30 divided into the standard display screen 31 and the enlarged display screen 32 as shown in FIG. 2 (step E1 in FIG. 9), and ends the timer process shown in FIG. (Step E2).
本発明のウェブブラウザにおける拡大表示方法を実施するためのシステム構成を示す図The figure which shows the system configuration for enforcing the enlarged display method in the web browser of this invention ウェブブラウザアプリケーションにより表示画面を標準表示画面と拡大表示画面に分割した図Diagram of display screen divided into standard display screen and enlarged display screen by web browser application 標準表示画面31と基点の違いによる2種類の拡大表示画面32との関係を示す図The figure which shows the relationship between the standard display screen 31 and two types of expansion display screens 32 by the difference in a base point. 拡大表示画面と標準表示画面の座標変換のイメージを示す図The figure which shows the image of coordinate conversion of an enlarged display screen and a standard display screen 拡大表示指示があった場合の処理を示すフローチャートFlow chart showing processing when there is an enlarged display instruction タイマーが起動された場合の処理を示すフローチャートFlow chart showing processing when timer is started 拡大表示中にユーザからの種種の指示があった場合の処理を示すフローチャートFlowchart showing processing when there are various types of instructions from the user during enlarged display 拡大表示中に標準表示画面31または拡大表示画面32がタッチされた場合の処理を示すフローチャートA flowchart showing processing when the standard display screen 31 or the enlarged display screen 32 is touched during enlarged display. 拡大表示終了指示があった場合の処理を示すフローチャートThe flowchart which shows a process when there exists an enlarged display termination instruction
符号の説明Explanation of symbols
10 端末
11 メモリ
12 OS
13 ウェブブラウザ
14 ブラウザアプリケーション
15 フック機能DLL
20 インターネット
30 表示画面
31 標準表示画面
32 拡大表示画面
33 コントロールパネル
10 terminal 11 memory 12 OS
13 Web browser 14 Browser application 15 Hook function DLL
20 Internet 30 Display Screen 31 Standard Display Screen 32 Enlarged Display Screen 33 Control Panel

Claims (2)

  1. 端末に、OSおよびウェブブラウザとともに、ウェブブラウザの拡大表示アプリケーションであるブラウザアプリケーションおよびフック機能DLLを格納しておく段階と、
    インターネット利用時にブラウザアプリケーションが起動されると、フックチェイン内に前記フック機能DLL内のプロシージャであるフックプロシージャをインストールする段階と、
    ウェブブラウザアプリケーションにより前記端末で画面を表示中に拡大指示がされると、前記ウェブブラウザアプリケーションが前記フック機能DLLへ座標変換に使用する拡大画面座標,標準画面座標,拡大率および基点の種類を設定して、標準画面座標と拡大画面座標にしたがって表示画面を標準表示画面と拡大表示画面に分割し、拡大率と基点の種類とで定まる拡大対象エリア情報を保持してタイマーをスタートさせる段階と、
    タイマーがスタートすると、前記ブラウザアプリケーションは、一定時間毎に、前記標準画面内にタッチがあったかをチェックし、あれば前記拡大率と基点で拡大対象エリアを決定して、既存のものを含めて拡大対象エリア情報を保持し画面を拡大表示する段階と、
    前記表示画面がタッチされると、前記OSは前記フックプロシージャにマウスイベントを通知する段階と、
    前記フック機能DLLが、前記フックプロシージャに通知された座標情報を元にタッチが拡大表示画面であるかを確認してマウス座標に変換する段階と、
    前記フック機能DLLが、前記表示画面のタッチをマウス座標へ移動する段階とを有することを特徴とするウェブブラウザにおける拡大表示方法。
    A stage in which a browser application that is an enlarged display application of the web browser and a hook function DLL are stored in the terminal together with the OS and the web browser;
    When a browser application is activated when using the Internet, installing a hook procedure that is a procedure in the hook function DLL in the hook chain;
    When an enlargement instruction is given while the screen is displayed on the terminal by the web browser application, the web browser application sets the enlargement screen coordinates, standard screen coordinates, enlargement ratio, and base point type used for coordinate conversion to the hook function DLL Then, the display screen is divided into the standard display screen and the enlarged display screen according to the standard screen coordinates and the enlarged screen coordinates, and the timer is started by holding the enlargement target area information determined by the enlargement ratio and the type of the base point,
    When the timer starts, the browser application checks whether there is a touch in the standard screen at regular intervals, and if so, determines the enlargement target area based on the enlargement rate and the base point, and enlarges the existing ones. Hold the target area information and enlarge the screen,
    When the display screen is touched, the OS notifies the hook procedure of a mouse event;
    The hook function DLL confirms whether the touch is an enlarged display screen based on the coordinate information notified to the hook procedure, and converts it into mouse coordinates;
    A method of enlarging display in a web browser, wherein the hook function DLL includes a step of moving a touch on the display screen to mouse coordinates.
  2. OSおよびウェブブラウザとともに、ウェブブラウザの拡大表示アプリケーションであるブラウザアプリケーションおよびフック機能DLLを格納している端末における拡大表示プログラムであって、
    インターネット利用時にブラウザアプリケーションが起動されると、フックチェイン内に前記フック機能DLL内のプロシージャであるフックプロシージャをインストールするステップと、
    ウェブブラウザアプリケーションにより前記端末で画面を表示中に拡大指示がされると、前記ウェブブラウザアプリケーションが前記フック機能DLLへ座標変換に使用する拡大画面座標,標準画面座標,拡大率および基点の種類を設定して、標準画面座標と拡大画面座標にしたがって表示画面を標準表示画面と拡大表示画面に分割し、拡大率と基点の種類とで定まる拡大対象エリア情報を保持してタイマーをスタートさせるステップと、
    タイマーがスタートすると、前記ブラウザアプリケーションは、一定時間毎に、前記標準画面内にタッチがあったかをチェックし、あれば前記拡大率と基点で拡大対象エリアを決定して、既存のものを含めて拡大対象エリア情報を保持し画面を拡大表示するステップと、
    前記表示画面がタッチされると、前記OSは前記フックプロシージャにマウスイベントを通知するステップと、
    前記フック機能DLLが、前記フックプロシージャに通知された座標情報を元にタッチが拡大表示画面であるかを確認してマウス座標に変換するステップと、
    前記フック機能DLLが、前記表示画面のタッチをマウス座標へ移動するステップとを有することを特徴とする拡大表示プログラム。
    An expansion display program in a terminal storing a browser application and a hook function DLL, which are an expansion display application of a web browser, together with an OS and a web browser
    When a browser application is activated when using the Internet, a hook procedure which is a procedure in the hook function DLL is installed in the hook chain;
    When an enlargement instruction is given while the screen is displayed on the terminal by the web browser application, the web browser application sets the enlargement screen coordinates, standard screen coordinates, enlargement ratio, and base point type used for coordinate conversion to the hook function DLL Then, dividing the display screen into a standard display screen and an enlarged display screen according to the standard screen coordinates and the enlarged screen coordinates, holding the enlargement target area information determined by the enlargement ratio and the type of the base point, and starting a timer;
    When the timer starts, the browser application checks whether there is a touch in the standard screen at regular intervals, and if so, determines the enlargement target area based on the enlargement rate and the base point, and enlarges the existing ones. Holding target area information and enlarging the screen;
    When the display screen is touched, the OS notifies the hook procedure of a mouse event;
    The hook function DLL confirms whether the touch is an enlarged display screen based on the coordinate information notified to the hook procedure, and converts it into mouse coordinates;
    And a step of moving the touch on the display screen to a mouse coordinate by the hook function DLL.
JP2003288355A 2003-08-07 2003-08-07 Display enlarging method and display enlarging program in web browser Pending JP2005056286A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003288355A JP2005056286A (en) 2003-08-07 2003-08-07 Display enlarging method and display enlarging program in web browser

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003288355A JP2005056286A (en) 2003-08-07 2003-08-07 Display enlarging method and display enlarging program in web browser

Publications (1)

Publication Number Publication Date
JP2005056286A true JP2005056286A (en) 2005-03-03

Family

ID=34367025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003288355A Pending JP2005056286A (en) 2003-08-07 2003-08-07 Display enlarging method and display enlarging program in web browser

Country Status (1)

Country Link
JP (1) JP2005056286A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521037A (en) * 2008-03-04 2010-06-17 アップル インコーポレイテッド Touch event model programming interface
JP2010524095A (en) * 2008-03-04 2010-07-15 アップル インコーポレイテッド Touch event handling for web pages
JP2012178175A (en) * 2012-05-16 2012-09-13 Panasonic Corp Display controller, electronic device, display control method, and program
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
WO2013010369A1 (en) * 2011-07-21 2013-01-24 深圳市万兴软件有限公司 Method and apparatus for acquiring audio/video link address in webpage
US8429557B2 (en) 2007-01-07 2013-04-23 Apple Inc. Application programming interfaces for scrolling operations
JP2013517557A (en) * 2010-01-13 2013-05-16 マイクロソフト コーポレーション Enhanced application display capabilities
JP2013093068A (en) * 2013-02-22 2013-05-16 Panasonic Corp Display control device, display control method and program
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US8560975B2 (en) 2008-03-04 2013-10-15 Apple Inc. Touch event model
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8711103B2 (en) 2007-09-12 2014-04-29 Nec Corporation Information display device and program storing medium
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198225A (en) * 1996-01-16 1997-07-31 Canon Inc Display device and displaying method
JPH09265375A (en) * 1996-03-27 1997-10-07 Canon Inc Method and device for processing document
JP2002373043A (en) * 2001-03-29 2002-12-26 Internatl Business Mach Corp <Ibm> Method and device for expanding one part of document inside browser, and program therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198225A (en) * 1996-01-16 1997-07-31 Canon Inc Display device and displaying method
JPH09265375A (en) * 1996-03-27 1997-10-07 Canon Inc Method and device for processing document
JP2002373043A (en) * 2001-03-29 2002-12-26 Internatl Business Mach Corp <Ibm> Method and device for expanding one part of document inside browser, and program therefor

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481785B2 (en) 2007-01-07 2019-11-19 Apple Inc. Application programming interfaces for scrolling operations
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US9448712B2 (en) 2007-01-07 2016-09-20 Apple Inc. Application programming interfaces for scrolling operations
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US10817162B2 (en) 2007-01-07 2020-10-27 Apple Inc. Application programming interfaces for scrolling operations
US9760272B2 (en) 2007-01-07 2017-09-12 Apple Inc. Application programming interfaces for scrolling operations
US8661363B2 (en) 2007-01-07 2014-02-25 Apple Inc. Application programming interfaces for scrolling operations
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
US8429557B2 (en) 2007-01-07 2013-04-23 Apple Inc. Application programming interfaces for scrolling operations
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US9575648B2 (en) 2007-01-07 2017-02-21 Apple Inc. Application programming interfaces for gesture operations
US9639260B2 (en) 2007-01-07 2017-05-02 Apple Inc. Application programming interfaces for gesture operations
US8711103B2 (en) 2007-09-12 2014-04-29 Nec Corporation Information display device and program storing medium
JP2015092367A (en) * 2008-03-04 2015-05-14 アップル インコーポレイテッド Touch event model programming interface
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US8411061B2 (en) 2008-03-04 2013-04-02 Apple Inc. Touch event processing for documents
JP2010521037A (en) * 2008-03-04 2010-06-17 アップル インコーポレイテッド Touch event model programming interface
US9971502B2 (en) 2008-03-04 2018-05-15 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US8836652B2 (en) 2008-03-04 2014-09-16 Apple Inc. Touch event model programming interface
US8560975B2 (en) 2008-03-04 2013-10-15 Apple Inc. Touch event model
JP2012164336A (en) * 2008-03-04 2012-08-30 Apple Inc Touch event model programming interface
CN104808942A (en) * 2008-03-04 2015-07-29 苹果公司 Touch Event Processing for Web Pages
US9720594B2 (en) 2008-03-04 2017-08-01 Apple Inc. Touch event model
US8723822B2 (en) 2008-03-04 2014-05-13 Apple Inc. Touch event model programming interface
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
JP2010524095A (en) * 2008-03-04 2010-07-15 アップル インコーポレイテッド Touch event handling for web pages
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8682602B2 (en) 2009-03-16 2014-03-25 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
US8428893B2 (en) 2009-03-16 2013-04-23 Apple Inc. Event recognition
JP2013517557A (en) * 2010-01-13 2013-05-16 マイクロソフト コーポレーション Enhanced application display capabilities
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
WO2013010369A1 (en) * 2011-07-21 2013-01-24 深圳市万兴软件有限公司 Method and apparatus for acquiring audio/video link address in webpage
JP2012178175A (en) * 2012-05-16 2012-09-13 Panasonic Corp Display controller, electronic device, display control method, and program
JP2013093068A (en) * 2013-02-22 2013-05-16 Panasonic Corp Display control device, display control method and program
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer

Similar Documents

Publication Publication Date Title
JP2005056286A (en) Display enlarging method and display enlarging program in web browser
JP4533943B2 (en) Information processing apparatus, display control method, and program
US7533351B2 (en) Method, apparatus, and program for dynamic expansion and overlay of controls
JP4912397B2 (en) Display object layout change device
KR101472844B1 (en) Adaptive document displaying device and method
JP2014516445A (en) Compact control menu for touch-enabled command execution
JP2004192573A (en) Information processor and information display method
US20110141144A1 (en) Content display magnification changing method and content display magnification changing program
JP2003167659A (en) Information processor and method for displaying information object
JP2004094423A (en) Window control method and system
JPH11167478A (en) Warning display method and distributed control system using it
JP4812077B2 (en) DATA DISPLAY METHOD, DATA DISPLAY DEVICE, AND PROGRAM
JP2943734B2 (en) Mouse cursor with enlarged display frame
JP2007079947A (en) Display device and program for use therewith
JP2006155216A (en) Monitor screen display method
JP2004029933A (en) Display controller and display control method
JP4179197B2 (en) Linked content simultaneous browsing method, linked content simultaneous browsing device, and linked content simultaneous browsing program
JP2004030296A (en) Multiwindow display device
JPH10312407A (en) Drawing display device
JP2007207048A (en) Image processing method
JP6536666B2 (en) Drawing control device, control program therefor, and drawing control method
JP2007293895A (en) Program for making computer execute display method of information object
JP2006189574A (en) Collaborative work system for large screen display apparatus, and management method of display region
JP2004220191A (en) Graphic display method and graphic processing device
JP5193969B2 (en) Map display apparatus and method for simultaneously displaying different maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081226