JP2015026151A

JP2015026151A - Information processing device, information processing method, data structure, and information processing program

Info

Publication number: JP2015026151A
Application number: JP2013154215A
Authority: JP
Inventors: 宮崎　泰彦; Yasuhiko Miyazaki; 泰彦宮崎; 徹郎徳永; Tetsuo Tokunaga
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-07-25
Filing date: 2013-07-25
Publication date: 2015-02-05
Anticipated expiration: 2033-07-25
Also published as: JP6086490B2

Abstract

PROBLEM TO BE SOLVED: To allow description of program with no awareness of a process that is executed in an asynchronous manner.SOLUTION: In a case where a return value that is transmitted from remote browsers 2A, 2B is required to be waited, execution of JavaScript by an execution part 14 is interrupted, and it is restarted when the return value is obtained from the remote browsers 2A, 2B. Thus, with no aware of asynchronous process between a content display device 1 and the remote browsers 2A, 2B, a JavaScript code of WEB content can be described.

Description

本発明は、非同期的な処理を扱う技術に関する。 The present invention relates to a technique for handling asynchronous processing.

Ｗｅｂコンテンツをよりダイナミックにするために、ＷｅｂコンテンツにＪａｖａＳｃｒｉｐｔ（登録商標）と呼ばれるスクリプトを記述することが知られている。ＪａｖａＳｃｒｉｐｔでは、状態に応じた動作を記述するために、オブジェクトのメソッドを呼び出したり、オブジェクトのプロパティ値を取得するなど、状態を示す値を取得することが可能である。例えば、動画を再生するためのエレメントを参照するオブジェクトをｖｉｄｅｏという変数に割り当て、そのエレメントが特定タイプの動画再生が可能かどうかを確認するメソッド（ｃａｎＰｌａｙＴｙｐｅ）を呼び出したり、現在の再生位置のプロパティ値（ｃｕｒｒｅｎｔＴｉｍｅ）を取得することができる。図７，８にＪａｖａＳｃｒｉｐｔの例を示す。図７の例では、ｖｉｄｅｏエレメントのｃａｎＰｌａｙＴｙｐｅメソッドの戻り値を変数ｔｙに代入している。エレメントから得られる値は、図８の例のｃｕｒｒｅｎｔＴｉｍｅプロパティのように、変数に代入せずに条件文中に記載したり、加減乗除などの式の一部として使用することも可能である。 In order to make Web content more dynamic, it is known to write a script called JavaScript (registered trademark) in Web content. In JavaScript, in order to describe the operation according to the state, it is possible to obtain a value indicating the state, such as calling an object method or obtaining a property value of the object. For example, an object that refers to an element for playing a movie is assigned to a variable called video, and a method (canPlayType) for checking whether or not the element can play a particular type of movie, or a property value of the current playback position (CurrentTime) can be acquired. 7 and 8 show an example of JavaScript. In the example of FIG. 7, the return value of the canPlayType method of the video element is assigned to the variable ty. A value obtained from an element can be described in a conditional statement without being assigned to a variable, or can be used as a part of an expression such as addition, subtraction, multiplication, and division as in the currentTime property in the example of FIG.

非特許文献１では、Ｗｅｂコンテンツの一部を複数のデバイスのブラウザに表示させることが提案されている。非特許文献１では、Ｗｅｂサーバとデバイスの間に中間ブラウザを配置し、中間ブラウザがデバイス間の通信やＪａｖａＳｃｒｉｐｔを実行することで、複数のデバイスを連携させている。Ｗｅｂコンテンツの一部を複数のデバイスのブラウザに表示させることで、例えば、Ｗｅｂコンテンツ中に動画を表示する部分と動画を操作する部分が含まれる場合、動画の表示をテレビのブラウザで行い、動画の操作をスマートフォンのブラウザで行うことが可能となる。この場合、スマートフォン上の操作が中間ブラウザに送られて、中間ブラウザがテレビにその操作内容に対応する動作を実行させる。 Non-Patent Document 1 proposes that a part of Web content is displayed on browsers of a plurality of devices. In Non-Patent Document 1, an intermediate browser is arranged between a Web server and a device, and the intermediate browser executes communication between devices and JavaScript to link a plurality of devices. By displaying a part of Web content on the browsers of multiple devices, for example, when the Web content includes a part for displaying a moving image and a part for operating the moving image, the moving image is displayed on the TV browser, and the moving image is displayed. Can be performed with the browser of the smartphone. In this case, an operation on the smartphone is sent to the intermediate browser, and the intermediate browser causes the television to execute an operation corresponding to the operation content.

中茂睦裕、他４名、“中間ブラウザによるマルチデバイス連携技術の提案”、第８７回ＧＮ研究発表会、情報処理学会、２０１３年３月、第2013-GN-87巻、第6号、p.1-6Yasuhiro Nakamoge and 4 others, “Proposal of multi-device collaboration technology using an intermediate browser”, 87th GN Research Conference, Information Processing Society of Japan, March 2013, 2013-GN-87, No. 6, p.1-6

非特許文献１の技術では、中間ブラウザが異なるデバイス上のブラウザ（以下、「リモートブラウザ」という）に展開されているエレメントの状態を取得するためには、そのデバイスとの通信が不可欠である。具体的には、図７で示したＪａｖａＳｃｒｉｐｔは中間ブラウザで実行されるが、ｖｉｄｅｏエレメントがリモートブラウザに展開されている場合は、ｃａｎＰｌａｙＴｙｐｅメソッドを起動するのはリモートブラウザとなる。そこで、リモートブラウザ上でｃａｎＰｌａｙＴｙｐｅメソッドを起動するための通信電文ＲＥＱ１と、そのメソッドの返却値を通知するための通信電文ＲＥＳ１を予め決めておき、中間ブラウザでｃａｎＰｌａｙＴｙｐｅメソッドが実行されるときに、中間ブラウザからリモートブラウザへＲＥＱ１を送信し、リモートブラウザから中間ブラウザへ返信されたＲＥＳ１から返却値を取り出し、ｃａｎＰｌａｙＴｙｐｅメソッドの返却値とする。同様に、図８の例では、ｃｕｒｒｅｎｔＴｉｍｅプロパティを参照するための通信電文ＲＥＱ２と、ｃｕｒｒｅｎｔＴｉｍｅプロパティの値を通知するための通信電文ＲＥＳ２を予め決めておき、中間ブラウザでｃｕｒｒｅｎｔＴｉｍｅプロパティが参照されたときに、中間ブラウザからリモートブラウザへＲＥＱ２を送信し、リモートブラウザから中間ブラウザへ返信されたＲＥＳ２から返却値を取り出し、ｃｕｒｒｅｎｔＴｉｍｅプロパティの値とする。 In the technique of Non-Patent Document 1, in order to acquire the state of an element deployed in a browser (hereinafter referred to as “remote browser”) on a device with a different intermediate browser, communication with the device is indispensable. Specifically, the JavaScript shown in FIG. 7 is executed by the intermediate browser. However, when the video element is expanded in the remote browser, it is the remote browser that starts the canPlayType method. Therefore, a communication message REQ1 for starting the canPlayType method on the remote browser and a communication message RES1 for notifying the return value of the method are determined in advance, and when the canPlayType method is executed in the intermediate browser, REQ1 is transmitted from the browser to the remote browser, the return value is extracted from RES1 returned from the remote browser to the intermediate browser, and is set as the return value of the canPlayType method. Similarly, in the example of FIG. 8, when the communication message REQ2 for referring to the currentTime property and the communication message RES2 for notifying the value of the currentTime property are determined in advance, and the currentTime property is referred to by the intermediate browser Then, REQ2 is transmitted from the intermediate browser to the remote browser, the return value is extracted from RES2 returned from the remote browser to the intermediate browser, and is set as the value of the currentTime property.

非特許文献１では、中間ブラウザとリモートブラウザとの間の通信にＷｅｂＳｏｃｋｅｔを用いている。ＷｅｂＳｏｃｋｅｔ通信をＪａｖａＳｃｒｉｐｔにより処理するためには、通信電文を受信した際に呼び出されるコールバック関数を事前に定義する必要がある。そのため、リモートブラウザで展開されたエレメントのメソッドの起動、プロパティ値の取得をする場合、返却値を取り出すコールバック関数を記述する必要がある。具体的には、図７の３行目の変数ｔｙはリモートブラウザからＲＥＳ１を受信したタイミングで代入されるので、図７の４行目の変数ｔｙの値を出力する部分は、リモートブラウザからＲＥＳ１を受信したタイミングで実行する必要がある。そのため、図７の例は、図９に示すように、リモートブラウザからＲＥＳ１を受信したときに実行されるコールバック関数を分けて記述する必要がある。なお、図９の３行目のｒｅｑｕｅｓｔ＿ｃａｎＰｌａｙＴｙｐｅは、中間ブラウザ上でｃａｎＰｌａｙＴｙｐｅメソッドを起動する代わりに、リモートブラウザへＲＥＱ１を送信し、かつ、ＲＥＱ１受信時に、第２引数で指定した関数ｃａｌｌｂａｃｋ１を呼び出すよう指定したメソッドである。さらに、図８の例は、ｆｌａｇの値に応じて８行目のｃｏｎｓｏｌｅ．ｌｏｇ（ｆｌａｇ）を実行するタイミングが変わる。具体的には、ｆｌａｇの値が１でｃｕｒｒｅｎｔＴｉｍｅプロパティを参照する場合はリモートブラウザからＲＥＳ２を受信してｃｕｒｒｅｎｔＴｉｍｅプロパティの値を取得したときがｃｏｎｓｏｌｅ．ｌｏｇ（ｆｌａｇ）を実行するタイミングとなり、ｆｌａｇの値が１以外でｃｕｒｒｅｎｔＴｉｍｅプロパティを参照しない場合はｓａｐｍｌｅ２を呼び出したときがｃｏｎｓｏｌｅ．ｌｏｇ（ｆｌａｇ）を実行するタイミングとなる。そのため、図８のＪａｖａＳｃｒｉｐｔを中間ブラウザに対応するように単純に書き換えることさえも困難であるという問題があった。 In Non-Patent Document 1, WebSocket is used for communication between an intermediate browser and a remote browser. In order to process WebSocket communication with JavaScript, it is necessary to define in advance a callback function that is called when a communication message is received. Therefore, it is necessary to write a callback function that retrieves the return value when invoking a method of an element expanded in a remote browser and acquiring a property value. Specifically, since the variable ty in the third line in FIG. 7 is substituted at the timing when RES1 is received from the remote browser, the part that outputs the value of the variable ty in the fourth line in FIG. It is necessary to execute at the timing of receiving. Therefore, in the example of FIG. 7, as shown in FIG. 9, it is necessary to separately describe the callback function that is executed when RES1 is received from the remote browser. Note that request_canPlayType on the third line in FIG. 9 specifies that instead of invoking the canPlayType method on the intermediate browser, REQ1 is sent to the remote browser, and the function callback1 specified by the second argument is called when REQ1 is received. Method. Furthermore, the example of FIG. 8 shows console.console on the eighth line according to the value of flag. The timing for executing log (flag) changes. Specifically, when the flag value is 1 and the currentTime property is referenced, the time when the RES2 is received from the remote browser and the value of the currentTime property is acquired is console. log (flag) is executed. When the value of flag is other than 1 and the currentTime property is not referred to, the time when sapple2 is called is console. It is the timing to execute log (flag). Therefore, there is a problem that it is difficult to simply rewrite JavaScript in FIG. 8 so as to correspond to the intermediate browser.

また、従来のＷｅｂコンテンツは１つのブラウザで閲覧されることを前提としており、エレメントのプロパティの値を参照する処理などを非同期的に処理する必要はなかった。非特許文献１の技術を用いてＷｅｂコンテンツをリモートブラウザに表示させる場合、ＪａｖａＳｃｒｉｐｔが中間ブラウザで実行されることを考慮し、リモートブラウザで非同期的に行われる処理に対応させてＪａｖａＳｃｒｉｐｔを記述しなければならないという問題があった。 In addition, it is assumed that conventional Web content is browsed by a single browser, and there is no need to asynchronously process a process for referring to an element property value. When displaying Web content on a remote browser using the technology of Non-Patent Document 1, considering that JavaScript is executed by an intermediate browser, JavaScript must be described in correspondence with processing that is performed asynchronously by the remote browser. There was a problem that had to be done.

本発明は、上記に鑑みてなされたものであり、非同期的に行われる処理を意識させずにプログラムの記述を可能とすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to make it possible to describe a program without being aware of processing performed asynchronously.

第１の本発明に係る情報処理装置は、非同期的に行われる処理を含むスクリプトを実行する情報処理装置であって、前記スクリプトを実行する実行手段と、前記実行手段が実行する処理が他の装置において実行される処理の返却値を用いる場合、ＩＤを生成して当該ＩＤを含む通信電文を前記他の装置へ送信して処理を行わせるとともに、前記ＩＤをキーとして前記スクリプトの実行を再開するのに必要なデータをテーブルに登録した上で前記実行手段に前記スクリプトの実行を中断させる実行中断手段と、前記他の装置から前記ＩＤと前記返却値を含む通信電文を受信したときに、当該通信電文から前記ＩＤと前記返却値を取り出し、前記ＩＤをキーとして前記テーブルから前記スクリプトの実行を再開するのに必要なデータを取得し、前記実行手段に前記返却値を渡して前記スクリプトの実行を再開させる実行再開手段と、を有することを特徴とする。 An information processing apparatus according to a first aspect of the present invention is an information processing apparatus that executes a script including a process that is performed asynchronously. The execution unit that executes the script and the process that the execution unit executes are different from each other. When using the return value of the process executed in the apparatus, an ID is generated, a communication message including the ID is transmitted to the other apparatus to perform the process, and the execution of the script is resumed using the ID as a key. When receiving the communication message including the ID and the return value from the other device, and the execution interruption means for interrupting the execution of the script by the execution means after registering the data necessary to do The ID and the return value are extracted from the communication message, and the data necessary to resume execution of the script is acquired from the table using the ID as a key. Passing said return value to the execution unit and having a an execution resumption means for resuming the execution of the script.

上記情報処理装置において、前記他の装置において実行される処理は、前記スクリプトを実行する実行手段によってアクセスされるエレメントが備えたメソッドが前記他の装置に処理を行わせるものであって、当該メソッド内で前記スクリプトの実行を中断させることを特徴とする。 In the information processing apparatus, the process executed in the other apparatus is such that a method included in an element accessed by an execution unit that executes the script causes the other apparatus to perform the process. The execution of the script is interrupted.

第２の本発明に係る情報処理方法は、非同期的に行われる処理を含むスクリプトを実行する情報処理装置による情報処理方法であって、前記スクリプトを実行するステップと、前記ステップにおいて実行する処理が他の装置において実行される処理の返却値を用いる場合、ＩＤを生成して当該ＩＤを含む通信電文を前記他の装置へ送信して処理を行わせるとともに、前記ＩＤをキーとして前記スクリプトの実行を再開するのに必要なデータをテーブルに登録した上で前記スクリプトの実行を中断させるステップと、前記他の装置から前記ＩＤと前記返却値を含む通信電文を受信したときに、当該通信電文から前記ＩＤと前記返却値を取り出し、前記ＩＤをキーとして前記テーブルから前記スクリプトの実行を再開するのに必要なデータを取得し、前記返却値を渡して前記スクリプトの実行を再開させるステップと、を有することを特徴とする。 An information processing method according to a second aspect of the present invention is an information processing method by an information processing apparatus that executes a script including processing that is performed asynchronously, and includes a step of executing the script and a processing executed in the step When using a return value of processing executed in another device, an ID is generated and a communication message including the ID is transmitted to the other device to perform processing, and the script is executed using the ID as a key. When the communication message including the ID and the return value is received from the other device, the step of interrupting the execution of the script after registering the data necessary for restarting the table in the table, from the communication message The ID and the return value are extracted, and the data necessary to resume execution of the script is acquired from the table using the ID as a key. Characterized by having the steps of: resuming execution of the script by passing the return value.

上記情報処理方法において、前記他の装置において実行される処理は、前記スクリプトを実行するステップにおいてアクセスされるエレメントが備えたメソッドが前記他の装置に処理を行わせるものであって、当該メソッド内で前記スクリプトの実行を中断させることを特徴とする。 In the information processing method, the processing executed in the other device is a method provided in an element accessed in the step of executing the script, causing the other device to perform processing. And the execution of the script is interrupted.

第３の本発明に係るデータ構造は、イベント発生時に明示的な中断および再開ができる状態で実行されるスクリプトによってアクセスされるデータ構造であって、スクリプトの実行を中断する処理を行うメソッドを備えたエレメントと、前記メソッドが呼び出される度に生成されるＩＤをキーとして前記スクリプトの実行を再開するのに必要なデータを格納するテーブルと、を有することを特徴とする。 A data structure according to a third aspect of the present invention is a data structure that is accessed by a script that is executed in a state that can be explicitly interrupted and resumed when an event occurs, and includes a method that performs processing for interrupting execution of the script. And a table for storing data necessary for resuming execution of the script with an ID generated each time the method is called as a key.

第４の本発明に係る情報処理プログラムは、上記情報処理装置の各手段としてコンピュータを機能させることを特徴とする。 An information processing program according to a fourth aspect of the present invention causes a computer to function as each unit of the information processing apparatus.

本発明によれば、非同期的に行われる処理を意識させずにプログラムの記述を可能とすることができる。 According to the present invention, it is possible to describe a program without being aware of processing performed asynchronously.

本実施の形態におけるコンテンツ表示装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content display apparatus in this Embodiment. ＤＯＭデータ記憶部に記憶されるＤＯＭの例を示す図である。It is a figure which shows the example of DOM memorize | stored in a DOM data storage part. ＪａｖａＳｃｒｉｐｔの実行を明示的に中断、再開できるように書き換えたｄｉｓｐａｔｃｈＥｖｅｎｔ関数の実装例を示す図である。It is a figure which shows the implementation example of the dispatchEvent function rewritten so that execution of JavaScript could be suspended and resumed explicitly. ＪａｖａＳｃｒｉｐｔの実行を中断して再開する処理の流れを示すシーケンス図である。FIG. 10 is a sequence diagram showing a flow of processing for interrupting and resuming execution of JavaScript. 非同期的に行われるメソッドの実装例を示す図である。It is a figure which shows the example of mounting of the method performed asynchronously. リモートブラウザからプロパティの値を取得するＧｅｔｔｅｒ関数の実装例を示す図である。It is a figure which shows the implementation example of the Getter function which acquires the value of a property from a remote browser. ＷＥＢコンテンツに含まれるＪａｖａＳｃｒｉｐｔの例を示す図である。It is a figure which shows the example of JavaScript contained in a web content. ＷＥＢコンテンツに含まれるＪａｖａＳｃｒｉｐｔの例を示す図である。It is a figure which shows the example of JavaScript contained in a web content. 図７に示すＪａｖａＳｃｒｉｐｔを非同期的に行われるメソッドに対応させて記述した例を示す図である。FIG. 8 is a diagram illustrating an example in which JavaScript shown in FIG. 7 is described in association with a method that is performed asynchronously.

以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施の形態におけるコンテンツ表示装置の構成を示す機能ブロック図である。本実施の形態におけるコンテンツ表示装置１は、ＷＥＢコンテンツを取得し、取得したＷＥＢコンテンツを分割してリモートブラウザ２Ａ，２Ｂそれぞれに送信し、リモートブラウザ２Ａ，２ＢそれぞれにＷＥＢコンテンツの一部を表示させる。例えば、動画を表示するＷＥＢコンテンツを受信し、テレビなどのリモートブラウザ２Ａに動画を表示させ、スマートフォンなどのリモートブラウザ２Ｂに操作ボタンを表示させることで、ユーザは、手元のスマートフォンで操作をしながらテレビで動画を見ることが可能となる。なお、図１では、一例として２つのリモートブラウザ２Ａ，２Ｂを示したが、これに限るものではない。 FIG. 1 is a functional block diagram showing the configuration of the content display device in the present embodiment. The content display apparatus 1 according to the present embodiment acquires WEB content, divides the acquired WEB content, transmits it to the remote browsers 2A and 2B, and displays a part of the WEB content on each of the remote browsers 2A and 2B. . For example, by receiving WEB content for displaying a moving image, displaying the moving image on a remote browser 2A such as a television, and displaying an operation button on the remote browser 2B such as a smartphone, the user can operate with the smartphone at hand. It will be possible to watch videos on TV. In FIG. 1, two remote browsers 2A and 2B are shown as an example, but the present invention is not limited to this.

図１に示すコンテンツ表示装置１は、ＷＥＢコンテンツ評価部１１、ＤＯＭデータ記憶部１２、ＤＯＭデータ送信部１３、実行部１４、ＤＯＭアクセス部１５、ブラウザ通信部１６、およびイベント受信部１７を備える。コンテンツ表示装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはコンテンツ表示装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、コンテンツ表示装置１の各部について説明する。 The content display device 1 shown in FIG. 1 includes a WEB content evaluation unit 11, a DOM data storage unit 12, a DOM data transmission unit 13, an execution unit 14, a DOM access unit 15, a browser communication unit 16, and an event reception unit 17. Each unit included in the content display device 1 may be configured by a computer including an arithmetic processing device, a storage device, and the like, and the processing of each unit may be executed by a program. This program is stored in a storage device included in the content display device 1, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or provided through a network. Hereinafter, each part of the content display device 1 will be described.

ＷＥＢコンテンツ評価部１１は、Ｗｅｂサーバ（図示せず）などからＷＥＢコンテンツを取得し、ＷＥＢコンテンツに含まれる、ＨＴＭＬデータ、ＣＳＳ（ＣａｓｃａｄｉｎｇＳｔｙｌｅＳｈｅｅｔ）データをＤＯＭデータ記憶部１２へ送り、ＪａｖａＳｃｒｉｐｔコードを実行部１４に送る。 The WEB content evaluation unit 11 acquires the WEB content from a Web server (not shown), etc., sends HTML data and CSS (Cascading Style Sheet) data included in the WEB content to the DOM data storage unit 12, and generates a JavaScript code. The data is sent to the execution unit 14.

ＤＯＭデータ記憶部１２は、ＨＴＭＬデータを解析して、ツリー状のデータ構造であるＤＯＭ（ＤｏｃｕｍｅｎｔＯｂｊｅｃｔＭｏｄｅｌ）に展開して記憶する。ＨＴＭＬデータの１つのタグがＤＯＭの１つのエレメントを構成し、タグで囲まれた部分が子エレメントとなる。また、ＤＯＭデータ記憶部１２は、ＤＯＭのエレメントを表示する態様を指定するＣＳＳデータも記憶する。 The DOM data storage unit 12 analyzes the HTML data, expands and stores it in a DOM (Document Object Model) that is a tree-like data structure. One tag of HTML data constitutes one element of DOM, and a portion surrounded by the tags is a child element. The DOM data storage unit 12 also stores CSS data that designates a mode for displaying DOM elements.

ＤＯＭデータ送信部１３は、ＤＯＭデータ記憶部１２に記憶されたＤＯＭからリモートブラウザ２Ａ，２Ｂそれぞれに表示させるＷＥＢコンテンツの一部に対応する部分木を判定し、リモートブラウザ２Ａ，２Ｂそれぞれに対応する部分木を送信する。リモートブラウザ２Ａ，２Ｂへ送信する部分木を判定する方法としては、例えばＨＴＭＬデータ中にｄｅｖｉｃｅという属性を設けておき、ｄｅｖｉｃｅ属性の値に基いて判定する。図２に、ＤＯＭデータ記憶部１２に記憶されるＤＯＭの例を示す。同図に示すＤＯＭには、ｄｅｖｉｃｅ属性に“ＴＶ”と“ｐｈｏｎｅ”が設定されたエレメントが存在する。ｄｅｖｉｃｅ属性に“ＴＶ”が設定されたエレメントをルートとする部分木Ａをリモートブラウザ２Ａに送信し、ｄｅｖｉｃｅ属性に“ｐｈｏｎｅ”が設定されたエレメントをルートとする部分木Ｂをリモートブラウザ２Ｂに送信する。 The DOM data transmission unit 13 determines a partial tree corresponding to a part of the WEB content to be displayed on each of the remote browsers 2A and 2B from the DOM stored in the DOM data storage unit 12, and corresponds to each of the remote browsers 2A and 2B. Send a subtree. As a method for determining a subtree to be transmitted to the remote browsers 2A and 2B, for example, an attribute “device” is provided in HTML data, and the determination is made based on the value of the device attribute. FIG. 2 shows an example of the DOM stored in the DOM data storage unit 12. In the DOM shown in the figure, there is an element in which “TV” and “phone” are set in the device attribute. A subtree A whose root is an element having a device attribute “TV” is transmitted to the remote browser 2A, and a subtree B whose root is an element whose device attribute is “phone” is transmitted to the remote browser 2B. To do.

ＤＯＭデータ記憶部１２、ＤＯＭデータ送信部１３を構成する方法としては、サーバサイド上のＪａｖａＳｃｒｉｐｔ実行環境として知られているｎｏｄｅ．ｊｓというプラットフォームを用いることができる。ｎｏｄｅ．ｊｓには、ＪａｖａＳｃｒｉｐｔでＤＯＭを操作するＪＳＤＯＭと呼ばれるソフトウェアライブラリも知られている。 As a method of configuring the DOM data storage unit 12 and the DOM data transmission unit 13, a node.node known as Java Script execution environment on the server side is used. A platform called js can be used. node. A software library called JSDOM that operates DOM with JavaScript is known as js.

実行部１４は、Ｗｅｂコンテンツに含まれるＪａｖａＳｃｒｉｐｔコードを実行する。ＤＯＭのエレメントでイベントが発生した際には対応するイベントリスナを実行する。イベントリスナは、イベントが発生したときに実行されるＪａｖａＳｃｒｉｐｔで記載されたプログラムである。 The execution unit 14 executes the JavaScript code included in the Web content. When an event occurs in a DOM element, the corresponding event listener is executed. The event listener is a program written in JavaScript that is executed when an event occurs.

ＤＯＭアクセス部１５は、実行部１４がＤＯＭのエレメントにアクセスする際に、アクセス対象のＤＯＭ（部分木）を保持するリモートブラウザ２Ａ，２Ｂに通知してリモートブラウザ２Ａ，２Ｂに自身が保持するＤＯＭへアクセスさせて返却値を受け取る。なお、エレメントのメソッドを呼び出して返却値がある場合や、エレメントのプロパティを参照する場合など、リモートブラウザ２Ａ，２Ｂから返却値を受信する場合は、リモートブラウザ２Ａ，２Ｂに自身が保持するＤＯＭに対するアクセスを実行させる通信電文を送信した後、実行部１４にＪａｖａＳｃｒｉｐｔの実行を中断させて、リモートブラウザ２Ａ，２Ｂから返却値を受け取った後で、ＪａｖａＳｃｒｉｐｔの実行を再開させる。ＪａｖａＳｃｒｉｐｔの実行を中断して再開する処理の詳細については後述する。 When the execution unit 14 accesses the DOM element, the DOM access unit 15 notifies the remote browsers 2A and 2B that hold the DOM (partial tree) to be accessed, and holds the DOM itself in the remote browsers 2A and 2B. To get the return value. When a return value is received from the remote browsers 2A and 2B, such as when an element method is called and there is a return value, or when an element property is referenced, the remote browser 2A or 2B has its own DOM After transmitting the communication message for executing the access, the execution unit 14 interrupts the execution of JavaScript, receives the return value from the remote browsers 2A and 2B, and then restarts the execution of JavaScript. Details of the processing for interrupting and resuming execution of JavaScript will be described later.

ブラウザ通信部１６は、リモートブラウザ２Ａ，２Ｂとの間で通信を行い、変更するＤＯＭデータ、メソッドの実行を要求する通信電文などを送信し、メソッドの返却値やプロパティの値を含む通信電文などを受信する。ブラウザ通信部１６は、例えばＷｅｂＳｏｃｋｅｔサーバとして構築しておき、リモートブラウザ２Ａ，２Ｂとの間でＷｅｂＳｏｃｋｅｔコネクションを確立してデータを送受信する。 The browser communication unit 16 communicates with the remote browsers 2A and 2B, transmits DOM data to be changed, a communication message for requesting execution of a method, a communication message including a return value of a method and a property value, and the like. Receive. The browser communication unit 16 is constructed as a WebSocket server, for example, and establishes a WebSocket connection with the remote browsers 2A and 2B to transmit and receive data.

イベント受信部１７は、リモートブラウザ２Ａ，２Ｂ上で発生した、ボタンクリック等のイベント通知を受信し、ＤＯＭデータ記憶部１２に記憶したＤＯＭの対応するエレメントで擬似的に同種のイベントを発生させて、ＤＯＭデータ記憶部１２に記憶したＤＯＭのエレメントに登録されているイベントリスナを実行部１４に実行させる。リモートブラウザ２Ａ，２Ｂが保持するＤＯＭのエレメントに、イベントが発生した時にイベント通知をコンテンツ表示装置１へ送信する処理をイベントリスナとして登録しておくことで、リモートブラウザ２Ａ，２Ｂで発生したイベントをコンテンツ表示装置１で処理できる。 The event receiving unit 17 receives event notifications such as button clicks generated on the remote browsers 2A and 2B, and generates pseudo-similar events with corresponding elements of the DOM stored in the DOM data storage unit 12. The event listener registered in the DOM element stored in the DOM data storage unit 12 is executed by the execution unit 14. By registering, as an event listener, a process for sending an event notification to the content display device 1 when an event occurs in the DOM element held by the remote browsers 2A and 2B, an event that has occurred in the remote browsers 2A and 2B is registered. It can be processed by the content display device 1.

次に、ＪａｖａＳｃｒｉｐｔの実行を中断して再開する処理について説明する。 Next, processing for interrupting and resuming execution of JavaScript will be described.

明示的にプログラムを中断、再開する技術としてＦｉｂｅｒと呼ばれる技術がある。Ｆｉｂｅｒにおいては、実行中のプログラムが、明示的な中断要求をすることで、プログラム実行継続に必要なデータを一時記憶域に保存してから実行を停止する。停止したプログラムは、明示的な再開要求をすることで、一時記憶域からデータを復元して実行を再開する。本実施の形態では、Ｆｉｂｅｒをｎｏｄｅ．ｊｓ上で実装したｎｏｄｅ−ｆｉｂｅｒｓと呼ばれるライブラリを用いた。ｎｏｄｅ−ｆｉｂｅｒｓでは、中断する可能性のあるプログラムをｎｏｄｅ−ｆｉｂｅｒｓにおけるＦｉｂｅｒオブジェクト内で実行し、プログラムの中でＦｉｂｅｒ．ｙｉｅｌｄ関数を呼び出すことでプログラムの実行が中断される。また、その中断状態を保持しているＦｉｂｅｒオブジェクトに対してｒｕｎメソッドを呼び出すことで、中断しているプログラムが再開される。 As a technique for explicitly interrupting and resuming a program, there is a technique called Fiber. In Fiber, when a program being executed makes an explicit interruption request, data necessary for continuing program execution is saved in a temporary storage area, and then execution is stopped. The stopped program makes an explicit restart request to restore data from the temporary storage area and resume execution. In this embodiment, Fiber is set to node. A library called node-fibers implemented on js was used. In node-fibers, a program that may be interrupted is executed in a Fiber object in node-fibers, and Fiber. Execution of the program is interrupted by calling the yield function. In addition, the suspended program is resumed by calling the run method for the Fiber object holding the suspended state.

実行部１４においてＪａｖａＳｃｒｉｐｔの実行を明示的に中断、再開できるように、イベントリスナを起動するためのｄｉｓｐａｔｃｈＥｖｅｎｔ関数を図３のように書き換えて、イベントが発生したときに、イベントリスナがＦｉｂｅｒオブジェクト内で実行されるようにする。これにより、イベントリスナはＦｉｂｅｒオブジェクト内で実行されて、プログラムの実行を明示的に中断、再開することが可能となる。 In the execution unit 14, the dispatchEvent function for starting the event listener is rewritten as shown in FIG. 3 so that the execution of JavaScript can be explicitly interrupted and resumed. When an event occurs, the event listener is set in the Fiber object. To be executed. As a result, the event listener is executed in the Fiber object, and the execution of the program can be explicitly interrupted and resumed.

図４は、ＪａｖａＳｃｒｉｐｔの実行を中断して再開する処理の流れを示すシーケンス図である。以下、実装例を参照しつつ、ＪａｖａＳｃｒｉｐｔの実行を中断して再開する処理について説明する。 FIG. 4 is a sequence diagram showing a flow of processing for interrupting and resuming execution of JavaScript. Hereinafter, a process for interrupting and restarting the execution of JavaScript will be described with reference to an implementation example.

実行部１４によりリモートブラウザ２Ａ，２Ｂにおいて非同期的に行われるメソッドが呼び出されると、実行を再開するＦｉｂｅｒオブジェクトを識別するために用いるＩＤを生成し（ステップＳ１１）、生成したＩＤを埋め込んだ要求電文をリモートブラウザ２Ａ，２Ｂへ送信し（ステップＳ１２）、ＩＤをキーとしてテーブルにＦｉｂｅｒオブジェクトを登録した後（ステップＳ１３）、実行部１４にＪａｖａＳｃｒｉｐｔの実行を中断させる（ステップＳ１４）。ここまでの処理により、リモートブラウザ２Ａ，２Ｂに要求電文が送信され、実行部１４で実行されているＪａｖａＳｃｒｉｐｔの処理が中断される。リモートブラウザ２Ａ，２Ｂにおいて非同期的に行われるメソッドについては、リモートブラウザ２Ａ，２Ｂに処理を要求した後でプログラムの実行を中断するようにＤＯＭアクセス部１５を実装する。非同期的に行われるメソッドの実装例を図５に示す。図５に示す実装例では、２行目でＩＤを生成し、３行目でＩＤとともに処理内容をリモートブラウザ２Ａ，２Ｂに送信し、４行目でＩＤにＦｉｂｅｒオブジェクトを関連つけて記憶している。３行目のＲＥＱ１は、リモートブラウザ２Ａ，２Ｂに処理させる内容を示す値である。リモートブラウザ２Ａ，２Ｂに処理を要求した後は、５行目でＦｉｂｅｒ．ｙｅｉｌｄ関数を呼び出して該当メソッドを呼び出したＪａｖａＳｃｒｉｐｔの実行を中断する。この時点で、実行部１４はＪａｖａＳｃｒｉｐｔの実行を中止し、イベント発生を待つ処理など他の処理を行う。 When a method executed asynchronously in the remote browsers 2A and 2B is called by the execution unit 14, an ID used to identify a Fiber object that resumes execution is generated (step S11), and a request message in which the generated ID is embedded Is transmitted to the remote browsers 2A and 2B (step S12), and the Fiber object is registered in the table using the ID as a key (step S13), and then the execution unit 14 interrupts the execution of JavaScript (step S14). Through the processing so far, the request message is transmitted to the remote browsers 2A and 2B, and the JavaScript processing executed by the execution unit 14 is interrupted. For methods that are performed asynchronously in the remote browsers 2A and 2B, the DOM access unit 15 is implemented so as to interrupt the execution of the program after requesting the remote browsers 2A and 2B to perform processing. FIG. 5 shows an implementation example of the method performed asynchronously. In the implementation example shown in FIG. 5, an ID is generated in the second line, the processing content is transmitted to the remote browsers 2A and 2B in the third line, and a Fiber object is stored in association with the ID in the fourth line. Yes. REQ1 on the third line is a value indicating the contents to be processed by the remote browsers 2A and 2B. After requesting the processing to the remote browsers 2A and 2B, the Fiber. The execution of JavaScript that called the yield function and called the corresponding method is interrupted. At this point, the execution unit 14 stops the execution of JavaScript and performs other processes such as a process of waiting for an event to occur.

リモートブラウザ２Ａ，２Ｂは、要求電文を受信すると（ステップＳ２１）、要求電文で指定された処理を実行し（ステップＳ２２）、要求とともに受信したＩＤと得られた返却値をコンテンツ表示装置１へ送信する（ステップＳ２３）。図５に示す実装例では、ＲＥＱ１に対応する通信電文ＲＥＳ１にＩＤと返却値を埋め込んで送信する。 When the remote browsers 2A and 2B receive the request message (step S21), the remote browsers 2A and 2B execute the process specified by the request message (step S22), and transmit the ID received together with the request and the obtained return value to the content display device 1. (Step S23). In the implementation example shown in FIG. 5, the communication message RES1 corresponding to REQ1 is embedded with an ID and a return value.

コンテンツ表示装置１は、リモートブラウザ２Ａ，２ＢからＩＤと返却値を受信すると（ステップＳ３１）、ＩＤをキーとしてテーブルからＦｉｂｅｒオブジェクトを取得し（ステップＳ３２）、返却値を引数に入れて特定したＦｉｂｅｒオブジェクトのｒｕｎメソッドを呼び出すことで中断しているＪａｖａＳｃｒｉｐｔの実行を再開させる（ステップＳ３３）。ＪａｖａＳｃｒｉｐｔの実行が再開されると、図５の実装例の５行目の変数ｒｅｔに返却値が代入されて、ｒｅｑ＿ｃａｎＰｌａｙＴｙｐｅ関数からの返却値として呼び出し元に渡される。図５に示したｒｅｑ＿ｃａｎＰｌａｙＴｙｐｅ関数をオリジナルのｃａｎＰｌａｙＴｙｐｅに置き換えておけば、ＷＥＢコンテンツに含まれるＪａｖａＳｃｒｉｐｔコードでは、リモートブラウザ２Ａ，２Ｂの処理を待つ記載をする必要がなくなり、ｃａｎＰｌａｙＴｙｐｅ関数を記載しておくだけで、リモートブラウザ２Ａ，２Ｂに処理を実行させて返却値を受信する処理が実行される。 When the content display apparatus 1 receives the ID and the return value from the remote browsers 2A and 2B (step S31), the content display apparatus 1 acquires a Fiber object from the table using the ID as a key (step S32), and specifies the Fiber specified by putting the return value in the argument. The execution of JavaScript that has been interrupted is resumed by calling the run method of the object (step S33). When execution of JavaScript is resumed, the return value is substituted into the variable ret on the fifth line in the implementation example of FIG. 5 and passed to the caller as the return value from the req_canPlayType function. If the req_canPlayType function shown in FIG. 5 is replaced with the original canPlayType function, the JavaScript code included in the WEB content does not need to wait for the processing of the remote browsers 2A and 2B, and only the canPlayType function is described. Thus, a process of receiving the return value by causing the remote browsers 2A and 2B to execute the process is executed.

ｖｉｄｅｏ．ｃｕｒｒｅｎｔＴｉｍｅなどリモートブラウザ２Ａ，２Ｂが保持するエレメントのプロパティ値へのアクセスについては、ＪａｖａＳｃｒｉｐｔのＧｅｔｔｅｒ関数を定義する方法を用いる。図６に、プロパティの値を得るＧｅｔｔｅｒ関数の例を示す。図６の実装例の処理の内容は、図５の実装例の処理の内容とほぼ同じであり、リモートブラウザ２Ａ，２ＢへＲＥＱ２を送信してプロパティの値を問い合わせた後、リモートブラウザ２Ａ，２ＢからＲＥＳ２を受信してプロパティの値が得られるまでＪａｖａＳｃｒｉｐｔの実行を中断する。 video. For accessing property values of elements held by the remote browsers 2A and 2B such as currentTime, a method of defining a JavaScript Getter function is used. FIG. 6 shows an example of a Getter function for obtaining a property value. The processing content of the implementation example of FIG. 6 is almost the same as the processing content of the implementation example of FIG. 5. After sending REQ2 to the remote browsers 2A and 2B and inquiring the property value, the remote browsers 2A and 2B The execution of JavaScript is suspended until the value of the property is obtained by receiving RES2.

なお、ＤＯＭＡＰＩとして規定されている値を返却するメソッドやプロパティ値の参照すべてに対して上述のプログラムの実行を中断・再開する処理が必要というわけではない。例えば、エレメントには、そのＩＤを参照するための“ｉｄ”というプロパティがあるが、このｉｄプロパティの値は、ＤＯＭデータ記憶部１２とリモートブラウザ２Ａ，２Ｂによって差異が生じるものではないため、ＤＯＭデータ記憶部１２上で参照すればよい。ＤＯＭデータ記憶部１２上を参照するときは遅延が生じないので、値が得られるまでＪａｖａＳｃｒｉｐｔの実行を中断する処理を行わなくてもよい。したがって、ＤＯＭアクセス部１５では、各ＤＯＭＡＰＩに対して、リモートブラウザ２Ａ，２Ｂ上でのメソッドの起動、プロパティ値の参照が必要となるものに対してのみ、上述のｒｅｑ＿ＸＸＸＸＸ、ｇｅｔ＿ＸＸＸＸＸを実装すればよい。 Note that it is not necessary to suspend / restart the above-described program execution for all methods or property value references that return values defined as DOM APIs. For example, the element has a property “id” for referring to the ID, but the value of this id property does not cause a difference between the DOM data storage unit 12 and the remote browsers 2A and 2B. Reference may be made on the data storage unit 12. Since no delay occurs when referring to the DOM data storage unit 12, it is not necessary to perform processing for interrupting the execution of JavaScript until a value is obtained. Therefore, in the DOM access unit 15, if the above req_XXXX and get_XXXX are implemented only for those that require the method activation and property value reference on the remote browsers 2A and 2B for each DOM API. Good.

以上説明したように、本実施の形態によれば、リモートブラウザ２Ａ，２Ｂから送信される返却値を待つ必要がある場合に、実行部１４によるＪａｖａＳｃｒｉｐｔの実行を中断させて、リモートブラウザ２Ａ，２Ｂから返却値が得られたときに実行を再開させることで、コンテンツ表示装置１とリモートブラウザ２Ａ，２Ｂ間の非同期処理について意識することなくＷＥＢコンテンツのＪａｖａＳｃｒｉｐｔコードを記述することができる。このことにより、ＷＥＢコンテンツの一部をリモートブラウザに送信する場合でも、ＷＥＢコンテンツを１つのブラウザで表示させるときと同様の同期処理の態様でＷＥＢコンテンツに含まれるＪａｖａＳｃｒｉｐｔコードを記述することができる。 As described above, according to the present embodiment, when it is necessary to wait for a return value transmitted from the remote browsers 2A and 2B, the execution of the JavaScript by the execution unit 14 is interrupted and the remote browsers 2A and 2B are interrupted. By restarting the execution when the return value is obtained from, the JavaScript code of the WEB content can be described without being aware of the asynchronous processing between the content display device 1 and the remote browsers 2A and 2B. As a result, even when a part of the WEB content is transmitted to the remote browser, the JavaScript code included in the WEB content can be described in the same manner of synchronization processing as when the WEB content is displayed by one browser.

１…コンテンツ表示装置
１１…ＷＥＢコンテンツ評価部
１２…ＤＯＭデータ記憶部
１３…ＤＯＭデータ送信部
１４…実行部
１５…ＤＯＭアクセス部
１６…ブラウザ通信部
１７…イベント受信部
２Ａ，２Ｂ…リモートブラウザ DESCRIPTION OF SYMBOLS 1 ... Content display apparatus 11 ... WEB content evaluation part 12 ... DOM data storage part 13 ... DOM data transmission part 14 ... Execution part 15 ... DOM access part 16 ... Browser communication part 17 ... Event reception part 2A, 2B ... Remote browser

Claims

An information processing apparatus that executes a script including processing performed asynchronously,
Execution means for executing the script;
When the process executed by the execution unit uses a return value of a process executed in another device, an ID is generated and a communication message including the ID is transmitted to the other device to perform the process. Execution interrupting means for causing the execution means to interrupt the execution of the script after registering data necessary for resuming the execution of the script with the ID as a key;
When the communication message including the ID and the return value is received from the other device, the ID and the return value are extracted from the communication message, and the execution of the script is resumed from the table using the ID as a key. Execution resumption means for obtaining data necessary for the execution, passing the return value to the execution means, and resuming execution of the script;
An information processing apparatus comprising:

The process executed in the other apparatus is a method in which a method included in an element accessed by an execution unit that executes the script causes the other apparatus to perform the process, and the execution of the script is performed in the method. The information processing apparatus according to claim 1, wherein the information processing apparatus is interrupted.

An information processing method by an information processing apparatus that executes a script including processing performed asynchronously,
Executing the script;
When the process executed in the step uses a return value of the process executed in another device, an ID is generated and a communication message including the ID is transmitted to the other device to perform the process. Suspending the execution of the script after registering the data necessary for resuming the execution of the script in the table using as a key;
When the communication message including the ID and the return value is received from the other device, the ID and the return value are extracted from the communication message, and the execution of the script is resumed from the table using the ID as a key. Obtaining necessary data, passing the return value and resuming execution of the script;
An information processing method characterized by comprising:

The processing executed in the other device is a method in which the method provided in the element accessed in the step of executing the script causes the other device to perform processing, and the execution of the script is executed in the method. 4. The information processing method according to claim 3, wherein the information processing is interrupted.

A data structure accessed by a script that is executed in a state that can be explicitly suspended and resumed when an event occurs,
An element with a method that performs processing to interrupt execution of the script;
A table for storing data necessary to resume execution of the script with an ID generated every time the method is called as a key;
A data structure characterized by comprising:

An information processing program for causing a computer to function as each unit of the information processing apparatus according to claim 1.