JP2015518194A

JP2015518194A - Web page application control

Info

Publication number: JP2015518194A
Application number: JP2015500448A
Authority: JP
Inventors: ホーク，トム; ウォルドマン，ローレンス; リン，エイミー; キャンベル，ジョニー; プリッシュ，シャハル; バッタジン，ダニエル; ゴードン，ハリソン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2012-03-13
Filing date: 2013-02-25
Publication date: 2015-06-25
Anticipated expiration: 2033-02-25
Also published as: KR20140132731A; EP2825947A1; WO2013138052A1; JP6093432B2; EP2825947A4; KR102099995B1; CN104169853B; CN104169853A

Abstract

コンテンツのカスタム化、編集、共有、分析、エクスポート、および／または注釈付けというような、ウェブ・ページ・コンテンツの一部に対するアクションをユーザーが実行することを可能にするために、ウェブ・ページ行動制御（ＷＰＢＣ）メニューが、レンダリングされたウェブ・ページ上に設けられる。ユーザーは、レンダリングされたウェブ・ページ上で一意のジェスチャーを行うことによって、および／またはウェブ・ページ・コンテンツの一部を選択することによって、メニューを自動的にアクティブ化することができる。ＷＰＢＣメニューは、選択されたウェブ・ページ・コンテンツの部分を変更および管理するために選択することができるアプリケーションのリストを供給することができる。アプリケーションは、別のユーザー・インターフェースにおいておよび／または直接レンダリングされたウェブ・ページにおいてウェブ・ページ・コンテンツを管理するための機能全てを提供することができる。更に、スプレッドシートの表プロパティのような、レンダリングされたウェブ・ページ上におけるデーターの提示操作を、自然なジェスチャーによって可能にすることができる。【選択図】図３Web page behavior control to allow users to perform actions on portions of web page content, such as content customization, editing, sharing, analysis, export, and / or annotation A (WPBC) menu is provided on the rendered web page. The user can automatically activate the menu by performing a unique gesture on the rendered web page and / or by selecting a portion of the web page content. The WPBC menu can provide a list of applications that can be selected to modify and manage selected portions of web page content. The application can provide all of the functionality for managing web page content in a separate user interface and / or in a directly rendered web page. In addition, data presentation operations on rendered web pages, such as spreadsheet table properties, can be enabled by natural gestures. [Selection] Figure 3

Description

[0001] ウェブ・アプリケーションは、広範囲の種々のサービスおよびデーターをユーザーにネットワークを介して提供する。データーは、異なる場所で収集され、処理され、格納される。ウェブ・アプリケーションは、そのデーターを引き出し、提示用にそれを定式化し、ウェブ・ページをレンダリングするためにクライアント・デバイスにおけるブラウザーにそれを供給する。ウェブ・ページには静的なものもあり、データーは非対話的である。他には、ウェブ・ベース・モジュールのリンクまたはアクティブ化によって、追加の情報のような何らかの対話処理を提供できるものもある。一般には、しかしながら、ウェブ・ページは、ウェブ・ページ著作者によって決められたフォーマットおよび量でデーターを提示する。 [0001] Web applications provide a wide variety of services and data to users over a network. Data is collected, processed and stored at different locations. The web application retrieves the data, formulates it for presentation, and supplies it to the browser on the client device for rendering the web page. Some web pages are static and the data is non-interactive. Others can provide some interaction, such as additional information, by linking or activating web-based modules. In general, however, web pages present data in a format and quantity determined by the web page author.

[0002] 一般に、従来のウェブ・ページにおけるデーターは、対話処理が限られており、ウェブ・ページの著作者がその用途(usefulness)をユーザーに対して規制することによって定められる。ページの著作者が明示的にコンテンツに対するエクスポート、即ち、「データー・フィード」機能を提供しても、ユーザーは、そのデーターにアクセスし変更するためには、外部アプリケーションにナビゲートし、従前の入力方法を使用して、レンダリングされたウェブ・ページ上に提示されたデーターを管理するというような、様々な比較的複雑な動作を実行しなければならない。加えて、ウェブ・ページ自体にデーターの１つの提示を提供し、一層豊富な提示において提供されるデーターとユーザーが対話処理することを可能にすることは、難しい作業(undertaking)である。更に、ジェスチャーおよびタッチ・ベースの対話処理が増々普及しつつあるが、ウェブ・ページとの自然なジェスチャー・ベースの対話処理は、通例、ウェブ・ページの制御および設定の選択に限定される。 [0002] Generally, data in a conventional web page is limited in interactive processing, and is determined by the author of the web page regulating its usefulness to the user. Even if the author of the page explicitly provides an export or “data feed” function for the content, the user can navigate to the external application and enter the previous input to access and modify the data. The method must be used to perform a variety of relatively complex operations, such as managing data presented on rendered web pages. In addition, providing a single presentation of data on the web page itself and allowing the user to interact with the data provided in the richer presentation is a difficult undertaking. Furthermore, while gesture and touch-based interaction is becoming increasingly popular, natural gesture-based interaction with web pages is typically limited to web page control and selection of settings.

[0003] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として使用されることを意図するのでもない。 [0003] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the detailed description. This summary is not intended to identify key or essential features of the claimed subject matter, nor is it intended to be used as an aid in determining the scope of the claimed subject matter. .

[0004] 実施形態は、ジェスチャーおよび／またはタッチ・ベース入力によってコンテンツのカスタム化、編集、共有、分析、エクスポート、および／または注釈付けというような、ウェブ・ページ・コンテンツの一部に対するアクションをユーザーが実行することを可能にするために、レンダリングされたウェブ・ページ上にウェブ・ページ行動制御（ＷＰＢＣ）メニューを提供することを目的とする。ＷＰＢＣメニューは、レンダリングされたウェブ・ページ上において一意のジェスチャーを検出することによって、および／またはウェブ・ページ・コンテンツの一部の選択によって、自動的にアクティブ化することができる。ＷＰＢＣメニューは、アプリケーションのリストを提供することができ、選択されたウェブ・ページ・コンテンツのその一部を変更および管理するために、これらのアプリケーションから選択することができる。アプリケーションは、別のユーザー・インターフェースにおいて、および／またはレンダリングされたウェブ・ページ上において直接ウェブ・ページ・コンテンツを管理する機能全てを提供することができる。更に、スプレッドシートの表プロパティというような、レンダリングされたウェブ・ページ上におけるデーターの提示操作を、自然ジェスチャーによって可能にすることもできる。 [0004] Embodiments allow users to take actions on portions of web page content, such as content customization, editing, sharing, analysis, export, and / or annotation via gesture and / or touch-based input. Is intended to provide a web page behavior control (WPBC) menu on the rendered web page. The WPBC menu can be automatically activated by detecting a unique gesture on the rendered web page and / or by selecting a portion of the web page content. The WPBC menu can provide a list of applications and can be selected from these applications to modify and manage that portion of the selected web page content. The application can provide all the functionality of managing web page content directly in a separate user interface and / or on a rendered web page. In addition, data presentation operations on rendered web pages, such as spreadsheet table properties, can be made possible by natural gestures.

[0005] これらおよびその他の特徴ならびに利点は、以下の詳細な説明を読み、添付図面を検討することによって明白になろう。尚、以上の概略的な説明および以下の詳細な説明は双方共、説明を目的とするのであり、特許請求される形態を限定するのではないことは言うまでもない。 [0005] These and other features and advantages will become apparent upon reading the following detailed description and studying the accompanying drawings. It should be noted that both the above general description and the following detailed description are for the purpose of explanation, and do not limit the claimed form.

図１は、利用可能なアクションのウェブ・ページ行動制御メニューの一例のアクティブ化および提示を示す。FIG. 1 illustrates an example activation and presentation of a web page behavior control menu of available actions. 図２は、選択されたコンテンツに基づく、利用可能な項目のウェブ・ページ行動制御メニューのアクティブ化の一例を示す。FIG. 2 shows an example of the activation of the web page behavior control menu for available items based on the selected content. 図３は、ジェスチャー・アクションを使用した、ウェブ・ページ行動制御メニューのアクティブ化の一例を示す。FIG. 3 shows an example of activation of a web page behavior control menu using gesture actions. 図４は、マルチタッチ可能デバイスにおけるウェブ・ページの複数のコンテンツ部分の選択の一例を示す。FIG. 4 illustrates an example of selection of multiple content portions of a web page on a multi-touch capable device. 図５は、ウェブ・ページの選択されたコンテンツを変更し動かすためのジェスチャー・アクションの一例を示す。FIG. 5 shows an example of a gesture action for changing and moving selected content of a web page. 図６は、マルチタッチ可能デバイスにおけるウェブ・ページの選択されたコンテンツを融合するためのジェスチャー・アクションの一例を示す。FIG. 6 shows an example of a gesture action for fusing selected content of a web page on a multi-touch capable device. 図７は、ウェブ・ページ上で行われるズーミング・ジェスチャーの一例を示す。FIG. 7 shows an example of a zooming gesture performed on a web page. 図８は、実施形態によるシステムを実現することができるネットワーク接続環境である。FIG. 8 shows a network connection environment in which the system according to the embodiment can be realized. 図９は、実施形態を実現することができる計算動作環境の一例のブロック図である。FIG. 9 is a block diagram of an exemplary computing operation environment in which the embodiment can be implemented. 図１０は、実施形態にしたがってウェブ・ページ行動拡張制御メニューを提供するプロセスの論理流れ図を示す。FIG. 10 illustrates a logical flow diagram of a process for providing a web page behavior extension control menu according to an embodiment.

[0016] 以上で端的に説明したように、コンテンツのカスタム化、編集、共有、分析、エクスポート、および／または注釈付けというような、ウェブ・ページ・コンテンツの一部に対するアクションをユーザーが実行することを可能にするために、レンダリングされたウェブ・ページ上にウェブ・ページ行動制御（ＷＰＢＣ）メニューを提供する。ＷＰＢＣメニューは、アプリケーションのリストを提供することができ、選択されたウェブ・ページ・コンテンツのその一部を変更および管理するために、これらのアプリケーションから選択することができる。アプリケーションは、ジェスチャーおよびタッチ入力を使用して、別のユーザー・インターフェースにおいて、および／またはレンダリングされたウェブ・ページ上において直接ウェブ・ページ・コンテンツを管理する機能全てを提供することができる。以下の詳細な説明では、その一部をなす添付図面を参照する。添付図面では、具体的な実施形態または例が、例示として示される。本開示の主旨や範囲から逸脱せずに、これらの形態が組み合わされてもよく、他の形態が利用されてもよく、構造的な変更を行ってもよい。したがたって、以下の詳細な説明は、限定的な意味で捕らえてはならず、本発明の範囲は添付した特許請求の範囲およびその均等物によって定められるものとする。 [0016] As described briefly above, a user performs an action on a portion of web page content, such as content customization, editing, sharing, analysis, export, and / or annotation. Provides a web page behavior control (WPBC) menu on the rendered web page. The WPBC menu can provide a list of applications and can be selected from these applications to modify and manage that portion of the selected web page content. An application can provide all of the functionality of managing web page content directly in a separate user interface and / or on a rendered web page using gestures and touch input. In the following detailed description, reference is made to the accompanying drawings that form a part hereof. In the accompanying drawings, specific embodiments or examples are shown by way of illustration. These forms may be combined, other forms may be used, and structural changes may be made without departing from the spirit and scope of the present disclosure. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is defined by the appended claims and their equivalents.

[0017] 実施形態は、パーソナル・コンピュータにおけるオペレーティング・システムにて実行するアプリケーション・プログラムと合わせて実行するプログラム・モジュールという一般的なコンテンツで説明されるが、他のプログラム・モジュールとの組み合わせでも形態を実現できることは当業者には認められよう。 The embodiment will be described in the general content of a program module that is executed together with an application program that is executed by an operating system in a personal computer. However, the embodiment may be combined with other program modules. Those skilled in the art will recognize that can be realized.

[0018] 一般に、プログラム・モジュールは、ルーチン、プログラム、コンポーネント、データー構造、および特定のタスクを実行するかまたは特定の抽象データー型を実装する他のタイプの構造を含む。更に、ハンド・ヘルド、デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベースのプログラマブル消費者用電子機器、ミニコンピューター、メインフレーム・コンピューター、およびこれらに相当する計算デバイスを含む、他のコンピューター・システム構成とでも、実施形態が実施されてもよいことは、当業者には認められよう。また、実施形態は分散型計算環境において実施することもでき、この場合、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが実行される。分散型計算環境では、プログラム・モジュールはローカルおよびリモート双方の記憶デバイスに配置されてもよい。 [0018] Generally, program modules include routines, programs, components, data structures, and other types of structures that perform particular tasks or implement particular abstract data types. And other computer system configurations, including handhelds, devices, multiprocessor systems, microprocessor-based programmable consumer electronics, minicomputers, mainframe computers, and equivalent computing devices; However, those skilled in the art will appreciate that the embodiments may be implemented. Embodiments can also be practiced in distributed computing environments where tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote storage devices.

[0019] 実施形態は、コンピューター実装プロセス（方法）、計算システム、あるいはコンピューター・プログラム製品またはコンピューター読み取り可能媒体というような製品として実現することもできる。コンピューター・プログラム製品は、コンピューター・システムによって読み取り可能であり、コンピューター・プログラムをエンコードするコンピューター記憶媒体とすることができる。コンピューター・プログラムは、コンピューターまたは計算システムにプロセス例（１つまたは複数）を実行させる命令を含む。コンピューター読み取り可能記憶媒体は、例えば、揮発性コンピューター・メモリー、不揮発性メモリー、ハード・ドライブ、フラッシュ・ドライブ、フロッピー・ディスク、またはコンパクト・ディスク、およびこれらに相当する記憶媒体の内１つ以上によって実現することができる。 [0019] Embodiments may also be implemented as a product, such as a computer-implemented process (method), a computing system, or a computer program product or computer-readable medium. A computer program product can be read by a computer system and can be a computer storage medium that encodes a computer program. A computer program includes instructions that cause a computer or computing system to execute example process (s). A computer-readable storage medium is realized by one or more of, for example, volatile computer memory, nonvolatile memory, hard drive, flash drive, floppy disk, or compact disk, and equivalent storage media can do.

[0020] 本明細書全体を通じて、「プラットフォーム」という用語は、ウェブ・ページを介したウェブ・ページおよびデーターの提示のためのソフトウェアおよびハードウェア・コンポーネントの組み合わせとすることができる。プラットフォームの例には、複数のサーバーにまたがってホストされ実行されるサービス、１つのサーバー上で実行されるアプリケーション、およびこれらに相当するシステムが含まれるが、これらに限定されるのではない。一般に、「サーバー」という用語は、通例ではネットワーク接続環境において１つ以上のソフトウェア・プログラムを実行する計算デバイスを指す。しかしながら、サーバーは、ネットワークにおいてサーバーと見なされる１つ以上の計算デバイス上で実行される仮想サーバー（ソフトウェア・アプリケーション）として実現されてもよい。これらの技術および動作例についての更なる詳細を以下に示す。 [0020] Throughout this specification, the term "platform" may be a combination of software and hardware components for presentation of web pages and data via web pages. Examples of platforms include, but are not limited to, services that are hosted and run across multiple servers, applications that run on one server, and equivalent systems. In general, the term “server” refers to a computing device that typically executes one or more software programs in a networked environment. However, the server may be implemented as a virtual server (software application) that runs on one or more computing devices that are considered servers in the network. Further details on these techniques and example operations are provided below.

[0021] 実施形態によれば、タッチ可能またはジェスチャー可能入力デバイスおよび表示画面を、ユーザー・インターフェースを介してユーザーから入力を受けるために利用することができる。このタッチ入力デバイスおよび表示画面は、ユーザーによるタッチまたはジェスチャー入力を認識することを可能にする任意の技術を利用することができる。例えば、熱、指圧、高速撮影カメラ(high capture rate camera)、赤外線光、光取り込み、同調電磁誘導(tuned electromagnetic induction)、超音波受信機、変換マイクロフォン、レーザー距離計、シャドー・キャプチャー(shadow capture)等を含む技術であってもよいが、これらに限定されるのではない。タッチ可能またはジェスチャー可能デバイスのユーザー・インターフェースは、ウェブ・ページ・コンテンツ、ウェブ・ページ・コンテンツを管理するためのアプリケーション、およびウェブ・ページ・コンテンツと対話処理するためのアクションのメニューを表示することができる。ユーザーは、ジェスチャーを使用して、ユーザー・インターフェースと対話処理して、ウェブ・ページ・コンテンツを管理することができる。ユーザーのジェスチャーは、デバイス（タッチ）との物理的相互作用によって、またはユーザーが直接デバイスにタッチすることなく、ユーザーの光学的取り込みまたは同様の取り込みによって、例えば、ビデオ・キャプチャー・デバイスによって取り込むことができる。このような入力デバイスの一例に、ＷＡ、RedmondのMicrosoft CorporationによるKinect（登録商標）モーション・キャプチャー・デバイスがある。ウェブ・ページ・コンテンツと対話処理するためのアクションのメニューは、文書、表、スプレッドシート、チャート、リスト、および任意のコンテンツ（例えば、オーディオ、ビデオ等）というような、ウェブ・ページ・コンテンツを管理および編集するためのアプリケーションへのアクセスを与えるために使用することができる。タッチ可能またはジェスチャー可能入力デバイスは、タッチまたはジェスチャー可能計算デバイスに特定の機構を利用すればよいが、従前のマウスおよびキーボードとでも動作することができる。本明細書において使用されるようなタップ・アクションまたはスワイプ・アクションというようなタッチ入力および／またはジェスチャーは、ユーザーによって、指、ペン、マウス、または同様のデバイスを介して、更には予め定められたキーボード入力の組み合わせまたは音声コマンドを介して供給することができる。 [0021] According to embodiments, touchable or gestureable input devices and display screens can be utilized to receive input from a user via a user interface. This touch input device and display screen can utilize any technique that allows a user to recognize a touch or gesture input. For example, heat, acupressure, high capture rate camera, infrared light, light capture, tuned electromagnetic induction, ultrasonic receiver, conversion microphone, laser rangefinder, shadow capture However, the present invention is not limited to these. The user interface of a touchable or gestureable device may display a menu of web page content, an application for managing web page content, and an action for interacting with web page content it can. Users can use gestures to interact with the user interface to manage web page content. User gestures can be captured by physical interaction with the device (touch) or by user optical capture or similar capture, for example by a video capture device, without the user touching the device directly it can. An example of such an input device is the Kinect® motion capture device by Microsoft Corporation, WA, Redmond. A menu of actions for interacting with web page content manages web page content such as documents, tables, spreadsheets, charts, lists, and any content (eg, audio, video, etc.) And can be used to give access to applications for editing. A touchable or gestureable input device may utilize a mechanism specific to touch or gestureable computing devices, but can also work with conventional mice and keyboards. Touch inputs and / or gestures, such as tap or swipe actions as used herein, are further predetermined by the user via a finger, pen, mouse, or similar device. It can be supplied via a combination of keyboard inputs or voice commands.

[0022] 図１は、実施形態による、利用可能なアクションのウェブ・ページ行動制御メニューの一例のアクティブ化および提示を示す。ウェブ・ページ例１００は、メニュー項目１０２、グラフィカル制御手段１０４、ならびに２つのコンテンツ部分例１１０および１１６のような標準的なウェブ・ページ・エレメントを含む。ウェブ・ページ１００上に提示されるデーターとの対話処理は、一般に、ウェブ・ページの著作者（またはウェブ・ページを提供するウェブ・アプリケーション）によって設定される境界によって制限される。例えば、コンテンツ部分１１０は、車のリスト、それらの製造年、価格等を提示する。ウェブ・ページは、これらのデーターの一部（または全部）におけるリンクを介して追加の情報を提供することもできるが、このページを見ているユーザーは、リストのフォーマットおよび構成に限定される。更に、ウェブ・ページの著作者によって機能が提供されなければ、ユーザーは、データーの更なる分析を、結果、他の表、またはチャートの形態でも見ることができず、リスト上の個々の項目を変更／並び替え／フィルタリング／定式化することも、データーに注釈を付けることもできない。 [0022] FIG. 1 illustrates an example activation and presentation of a web page behavior control menu of available actions, according to an embodiment. Web page example 100 includes standard web page elements such as menu item 102, graphical control means 104, and two example content portions 110 and 116. Interaction with data presented on the web page 100 is generally limited by the boundaries set by the author of the web page (or the web application that provides the web page). For example, the content portion 110 presents a list of cars, their year of manufacture, price, etc. Web pages can also provide additional information via links in some (or all) of these data, but users viewing this page are limited to the format and structure of the list. Furthermore, if the functionality is not provided by the author of the web page, the user will not be able to see further analysis of the data, as a result, in the form of other tables or charts, and view individual items on the list. It cannot be modified / sorted / filtered / formulated nor annotated with data.

[0023] 実施形態によるウェブ・ページは、１つ以上のウェブ・ページ行動拡張（ＷＰＢＥ）制御エレメント（１０６、１０８、および１１４）を含むことができ、これらは、提示されたデーターまたは他のデーター（例えば、ウェブ・ページを提示するウェブ・アプリケーションにまたはから入手可能であるが表示されない暗示データー(implied data)、あるいは他の場所に格納されている関連データー）に対して、ユーザーが種々のアクションを実行することを可能にすることができる。ＷＰＢＥ制御エレメント１０６は、ウェブ・ページ全体に関連する制御エレメントの一例である。つまり、ＷＰＢＥ制御エレメント１０６によって提供されるアクションは、ウェブ・ページ全体に適用可能である。ＷＰＢＥ制御エレメント１０８および１１４は、それぞれ、コンテンツ部分１１０および１１６に関連する。つまり、これらのエレメントは、これらそれぞれのコンテンツ部分に適用可能なアクションを提供する。ＷＰＢＥ制御エレメントによって提供されるアクションはコンテンツ部分毎に別々であってもよいが、これらは同じであってもよい。 [0023] A web page according to an embodiment may include one or more web page behavior extension (WPBE) control elements (106, 108, and 114), which may be presented data or other data. Various actions on the user (for example, implied data that is available to or from a web application that presents a web page but is not displayed, or related data stored elsewhere) Can be performed. The WPBE control element 106 is an example of a control element related to the entire web page. That is, the action provided by the WPBE control element 106 is applicable to the entire web page. WPBE control elements 108 and 114 are associated with content portions 110 and 116, respectively. That is, these elements provide actions that can be applied to their respective content portions. The actions provided by the WPBE control element may be separate for each content part, but they may be the same.

[0024] ウェブ・ページ１００は、通例、クライアント・デバイスにおいてブラウジング・アプリケーションによってレンダリングすることができ、クライアント・デバイスは、パーソナル・コンピュータ、タブレット・コンピュータ、ラップトップというような任意の計算デバイス、スマート・フォンのような移動体デバイス、サーバー、車載計算デバイス、およびネットワークを介してウェブ・サーバーに接続される他のものを含むことができる。計算デバイスの例は、タッチまたはジェスチャー可能であるとよく、ユーザーが、タッチ・アクションによっておよび／または光学的に（またはそれ以外で）取り込まれるジェスチャーによって、クライアント・デバイスのブラウジング・アプリケーションにおいてレンダリングされるウェブ・ページ１００と対話処理できるとよい。タッチ・アクションおよびジェスチャーの例には、タップ・アクションまたはスワイプ・アクションを含むことができ、これらは、ユーザーによって、指、ペン、マウス、タッチ感応インターフェース、光学的取り込み(optical capture)、または同様のデバイスによって、更には予め定められたキーボード入力の組み合わせまたは音声コマンドによって供給することができる。 [0024] The web page 100 can typically be rendered by a browsing application on a client device, which can be any computing device such as a personal computer, tablet computer, laptop, smart Mobile devices such as phones, servers, in-vehicle computing devices, and others connected to a web server via a network can be included. Examples of computing devices may be touchable or gestureable and are rendered in a browsing application on the client device by a user by gestures that are captured by touch actions and / or optically (or otherwise) It may be possible to interact with the web page 100. Examples of touch actions and gestures can include tap actions or swipe actions, which are depending on the user, finger, pen, mouse, touch sensitive interface, optical capture, or similar It can be supplied by the device or even by a predetermined keyboard input combination or voice command.

[0025] ウェブ・ページの第２例１１８は、ユーザーに利用可能なアクションのリストに対するＷＰＢＥ制御エレメント１０６のアクティブ化を示す。ユーザーは、タッチまたはジェスチャー・アクション１１２を使用して、ＷＰＢＥ制御エレメント１０６をアクティブ化することができる。例えば、ユーザーは、ＷＰＢＥ制御エレメント１０６をアクティブ化するためには、ＷＰＢＥ制御エレメント１０６に向かってタップする、スワイプする、または同様にジェスチャーすればよい。また、ＷＰＢＥエレメントを選択するためには、他のアクションを利用してもよく、既に説明したように、指、ペン、マウス、または同様のジェスチャー・キャプチャー・デバイスを使用して、アクションを供給すればよい。ＷＰＢＥ制御エレメント１０６がユーザーによってアクティブ化されると、利用可能なアクションのウェブ・ページ行動制御（ＷＰＢＣ）メニュー（テキスト、グラフィック、または組み合わせ）１２０をユーザーに提供することができる。例えば、利用可能なアクションのＷＰＢＣメニュー１２０は、種々のアプリケーションのアイコンを含むことができ、これらによって、コンテンツの表示、編集、カスタム化、分析等を行うことができる。このようなアプリケーションの例には、ワード・プロセッシング・アプリケーション１２２、スプレッドシート・アプリケーション１２４、およびプレゼンテーション・アプリケーション１２６を含むことができる。アプリケーションの他の例には、描画アプリケーション、ブラウジング・アプリケーション、コンテンツ集計アプリケーション、および同様のものを含むことができる。これらのアプリケーションは、ローカルでも、ウェブ・ベースでも、埋め込みでもよい。 [0025] A second example web page 118 illustrates activation of the WPBE control element 106 for a list of actions available to the user. The user can activate the WPBE control element 106 using a touch or gesture action 112. For example, the user may tap, swipe, or similarly gesture toward the WPBE control element 106 to activate the WPBE control element 106. In addition, other actions may be used to select the WPBE element, and as previously described, the action can be supplied using a finger, pen, mouse, or similar gesture capture device. That's fine. When the WPBE control element 106 is activated by the user, a web page behavior control (WPBC) menu (text, graphic, or combination) 120 of available actions may be provided to the user. For example, the WPBC menu 120 of available actions can include icons for various applications, which can display, edit, customize, analyze, etc. content. Examples of such applications may include a word processing application 122, a spreadsheet application 124, and a presentation application 126. Other examples of applications can include drawing applications, browsing applications, content aggregation applications, and the like. These applications can be local, web-based, or embedded.

[0026] ユーザーは、ＷＰＢＥ制御エレメント１０６に関連するウェブ・ページ・コンテンツ部分１１０を管理および編集するために、ＷＰＢＣメニュー１２０上に提示されたアプリケーションから１つを選択することができる。アプリケーション１２２、１２４、１２６から１つを選択すると、レンダリングされたウェブ・ページ１００の代わりに、または別のユーザー・インターフェース上に、コンテンツの一層豊富な／一層対話処理に適した(more interactive)表現をユーザーに提示することができる。例えば、ハイパーテキスト・マークアップ言語（ＨＴＭＬ）表が、スプレッドシート表と置き換えられてもよく、ユーザーが、表示されたデーターを、とりわけ、ソートする、フィルタリングする、定式化する、分析する、およびグラフに表すことができる。他の例では、ＷＰＢＣメニュー１２０からアプリケーションの１つを選択すると、選択されたアプリケーションを別のユーザー・インターフェースにおいて起動することができ、ユーザーが、選択されたアプリケーションの機能全てを使用してコンテンツおよびデーターと対話処理することが可能になる。別のアプリケーション・ユーザー・インターフェースにおいてコンテンツを編集した後、ユーザーは、変更したコンテンツを保存してウェブ・ページ１１８に戻ることができ、ウェブ・ページ１１８上に、変更されたコンテンツを表示することができる。 [0026] A user can select one of the applications presented on the WPBC menu 120 to manage and edit the web page content portion 110 associated with the WPBE control element 106. Selecting one of the applications 122, 124, 126, more interactive representation of the content instead of the rendered web page 100 or on another user interface Can be presented to the user. For example, a hypertext markup language (HTML) table may be replaced with a spreadsheet table so that a user can sort, filter, formulate, analyze, and graph displayed data, among others. Can be expressed as In another example, selecting one of the applications from the WPBC menu 120 can launch the selected application in another user interface, allowing the user to use all of the selected application's functions and content and Allows interaction with data. After editing the content in another application user interface, the user can save the changed content and return to the web page 118 and display the changed content on the web page 118. it can.

[0027] 実施形態では、コンテンツの表示、編集、カスタム化、分析等を行うのに適したアプリケーションが、ＷＰＢＥ制御エレメント１０８上におけるアクション（タッチ、ジェスチャー、その他）によって、またはウェブ・ページ上に表示されたコンテンツの少なくとも一部の選択時に、ＷＰＢＣメニュー１２０の表示を必要とせずに、直接アクティブ化されるのでもよい。例えば、テーブルの一部の選択、および／またはＷＰＢＥ制御エレメント上におけるジェスチャー（または一意のジェスチャー）に応答して、表の選択された部分をコンテンツとして、スプレッドシート・アプリケーション１２４がアクティブ化されるのでもよい。すると、ユーザーは、スプレッドシート・アプリケーション１２４の機能全てを使用して、選択されたコンテンツに対してタスクを実行することができる。勿論、ワード・プロセッシング・アプリケーション１２２、スプレッドシート・アプリケーション１２４、プレゼンテーション・アプリケーション１２６、描画アプリケーション、ブラウジング・アプリケーション、コンテンツ集計アプリケーションというような、他のタイプのコンテンツおよびアプリケーションでも使用することができる。 [0027] In an embodiment, an application suitable for displaying, editing, customizing, analyzing, etc. content is displayed by action (touch, gesture, etc.) on the WPBE control element 108 or on a web page When selecting at least a portion of the selected content, it may be activated directly without requiring the display of the WPBC menu 120. For example, in response to selecting a portion of the table and / or a gesture (or unique gesture) on the WPBE control element, the spreadsheet application 124 is activated with the selected portion of the table as content. But you can. The user can then perform tasks on the selected content using all the functions of the spreadsheet application 124. Of course, other types of content and applications can also be used, such as word processing application 122, spreadsheet application 124, presentation application 126, drawing application, browsing application, content aggregation application.

[0028] 図２は、実施形態による、選択されたコンテンツに基づく利用可能な項目のウェブ・ページ行動制御メニューのアクティブ化の例を示す。ウェブ・ページ例２００は、ユーザーに利用可能なアクションを提供するときの動的な手法を示す。以前に説明したように、ウェブ・ページ例２００は、メニュー項目、グラフィック制御手段、およびウェブ・ページ・コンテンツ例２１０というような、標準的なウェブ・ページ・エレメントを含む。ユーザーは、ウェブ・ページ・コンテンツ２１０の内、ユーザーが変更および管理することを望むかもしれない部分２０８を選択することができる。ウェブ・ページ・コンテンツ２１０の部分２０８の選択を検出すると、利用可能なアクションのウェブ・ページ行動制御（ＷＰＢＣ）メニュー（テキスト、グラフィック、または組み合わせ）２２０を、自動的にユーザーにユーザー・インターフェース上に提示することができ、このインターフェースは、提示されたデーターおよび他のデーター（例えば、ウェブ・ページを提示するウェブ・アプリケーションにまたはから入手可能であるが表示されない暗示データー(implied data)、あるいは他の場所に格納されている関連データー）を含むウェブ・ページ・コンテンツ２１０の選択された部分２０８に対して、ユーザーが種々のアクションを実行することを可能にすることができる。 [0028] FIG. 2 illustrates an example of activating a web page behavior control menu for available items based on selected content, according to an embodiment. The example web page 200 illustrates a dynamic approach when providing available actions to a user. As previously described, the example web page 200 includes standard web page elements such as menu items, graphic control means, and example web page content 210. The user can select a portion 208 of the web page content 210 that the user may wish to change and manage. Upon detecting selection of portion 208 of web page content 210, a web page behavior control (WPBC) menu (text, graphic, or combination) 220 of available actions is automatically displayed on the user interface to the user. This interface can be used to display presented data and other data (eg, implied data that is available to or from but not displayed in a web application that presents a web page, or other The user may be able to perform various actions on the selected portion 208 of the web page content 210 that includes relevant data stored in the location.

[0029] 提示されるＷＰＢＣメニュー２２０は、ウェブ・ページ・コンテンツ２１０の選択された部分２０８に関連するメニューの一例である。つまり、ＷＰＢＣメニュー２２０を介して提供されるアクションは、ウェブ・ページ・コンテンツ２１０の選択された部分２０８に適用可能である。利用可能なアクションのＷＰＢＣメニュー２２０は、ワード・プロセッシング・アプリケーション２２２、スプレッドシート・アプリケーション２２４、およびプレゼンテーション・アプリケーション２２６、ならびに他のコンテンツ集計アプリケーションというような、種々のアプリケーションに対するアイコンを含むことができ、これらによって、コンテンツを表示する、編集する、カスタム化する、分析する等ができる。これらのアプリケーションは、ローカルでも、ウェブ・ベースでも、埋め込みでもよい。 [0029] The presented WPBC menu 220 is an example of a menu associated with a selected portion 208 of the web page content 210. That is, the action provided via the WPBC menu 220 is applicable to the selected portion 208 of the web page content 210. The WPBC menu 220 of available actions can include icons for various applications, such as a word processing application 222, a spreadsheet application 224, and a presentation application 226, and other content aggregation applications, With these, contents can be displayed, edited, customized, analyzed, and the like. These applications can be local, web-based, or embedded.

[0030] ユーザーは、ウェブ・ページ・コンテンツ２１０の選択された部分２０８を管理および編集するために、ＷＰＢＣメニュー２２０上に提示されたアプリケーションから１つを選択することができる。アプリケーション２２２、２２４、２２６から１つを選択すると、選択されたアプリケーションに関連するユーザー・インターフェースにおいてコンテンツを提示することができ、レンダリングされたウェブ・ページ２２０の代わりにまたは別のユーザー・インターフェース上に、一層豊富な／一層対話処理に適したコンテンツの表現をユーザーに提示することができる。 [0030] The user can select one of the applications presented on the WPBC menu 220 to manage and edit the selected portion 208 of the web page content 210. Selecting one of the applications 222, 224, 226 can present the content in the user interface associated with the selected application, instead of the rendered web page 220 or on another user interface. Therefore, it is possible to present a user with a richer expression of content suitable for abundant / more interactive processing.

[0031] 第２のウェブ・ページ例２５０は、ウェブ・ページ・コンテンツ２１０の選択された部分２０８と対話処理するために利用可能なアクションをユーザーに提供するときにける他の手法を示す。このシナリオでは、利用可能なアクションのドロップダウン・メニューまたはホバーオン(hover-on)メニュー２３０を、ウェブ・ページ・コンテンツの部分２０８の選択の検出に応答して、提示することができる。また、利用可能なアクションのドロップダウン・メニューまたはホバーオン・メニュー２３０は、図１に関連して既に説明したように、ウェブ・ページまたはウェブ・ページ上に表示されるコンテンツの一部に関連すると考えられるＷＰＢＥ制御エレメント２０６のアクティブ化に応答して提供されるのでもよい。主メニュー上における項目から１つを選択したことに応答して、１つ以上の追加のメニュー・レベル（例えば、メニュー２３２）が表示されてもよい。勿論、オーディオのような、他の提示形態も、ユーザーに利用可能なアクションを提示するときに採用することもできる。図２の主メニュー上に提示されたアクション、および副メニュー（またはユーザー・インターフェース）上のリストは、ウェブ・ページを提示するウェブ・アプリケーションの能力、ユーザーのローカル・ブラウザー・アプリケーションまたはシステムの能力、および／またはユーザーの好み／使用履歴に基づいて決定すればよい。 [0031] The second example web page 250 illustrates another approach in providing a user with available actions to interact with a selected portion 208 of web page content 210. In this scenario, a drop-down menu of available actions or a hover-on menu 230 may be presented in response to detecting selection of a portion 208 of web page content. Also, the available action drop-down menu or hover-on menu 230 is considered to relate to a web page or a portion of content displayed on the web page, as already described in connection with FIG. May be provided in response to activation of the WPBE control element 206. In response to selecting one of the items on the main menu, one or more additional menu levels (eg, menu 232) may be displayed. Of course, other presentation forms, such as audio, can also be employed when presenting available actions to the user. The actions presented on the main menu of FIG. 2 and the list on the submenu (or user interface) are the ability of the web application to present the web page, the ability of the user's local browser application or system, And / or based on user preference / usage history.

[0032] 図３は、ジェスチャー・アクションを使用した、ウェブ・ページ行動制御メニューのアクティブ化の一例を示す。ウェブ・ページ・コンテンツ３１０を表示するウェブ・ページ例３００上に示すように、ユーザーがウェブ・ページ・コンテンツ３１０と対話処理することを可能にするために、ウェブ・ページ・コンテンツ３１０を管理および編集するためのＷＰＢＣメニュー３２０を提示することができる。一実施形態例では、ＷＰＢＣメニュー３２０は、ウェブ・ページ表示のユーザー・インターフェース上におけるユーザーによる一意のジェスチャー３０８またはタッチ・アクションによってアクティブ化することができる。一意のジェスチャー３０８は、ＷＰＢＣメニュー２２０をアクティブ化するために使用することができ、ウェブ・ページと対話処理するための他のジェスチャーと混同しないのであれば、任意のジェスチャーでよい。更に、一意のジェスチャー３０８は、特定的にＷＰＢＣメニューをアクティブ化するための一意のジェスチャー・アクションの内任意のものとなるように構成可能であってもよい。 [0032] FIG. 3 shows an example of activation of a web page behavior control menu using gesture actions. Manage and edit web page content 310 to allow a user to interact with web page content 310, as shown on example web page 300 that displays web page content 310. WPBC menu 320 can be presented. In one example embodiment, the WPBC menu 320 may be activated by a unique gesture 308 or touch action by the user on the web page display user interface. The unique gesture 308 can be any gesture that can be used to activate the WPBC menu 220 and is not confused with other gestures for interacting with the web page. Further, the unique gesture 308 may be configurable to be any of the unique gesture actions that specifically activate the WPBC menu.

[0033] 一実施形態例では、ユーザーはウェブ・ページ３００上において、表示されたウェブ・ページ・コンテンツ３１０の部分３１２を選択することができ、この部分３１２の選択後に、ユーザーは、ウェブ・ページ・コンテンツ３１０の選択された部分３１２に関連するＷＰＢＣメニュー３２０をアクティブ化するために、ユーザー・インターフェース表示上のいずれの場所でも一意のジェスチャー３０８を実行することができる。ＷＰＢＣメニュー３２０は、例えば、ワード・プロセッシング・アプリケーション、スプレッドシート・アプリケーション、およびプレゼンテーション・アプリケーションを表す、アイコン３２２、３２４、および３２６を含むことができる。加えて、ユーザーは、ユーザーが変更および管理することを望むウェブ・ページ・コンテンツ３１０上でまたはその隣で、一意のジェスチャー３０８を実行するのでもよく、一意のジェスチャー３０８は、この一意のジェスチャー３０８が実行されたウェブ・ページ・コンテンツ３１０に関連するＷＰＢＣメニュー３２０を自動的にアクティブ化することができる。以前に説明したように、ＷＰＢＣメニュー３２０は、アプリケーションおよび／またはアクションのリストを提示することができ、ユーザーはこれらから選択して、ウェブ・ページ・コンテンツ３１０上でユーザーが種々のアクションを実行することを可能にする。 [0033] In one example embodiment, the user can select a portion 312 of the displayed web page content 310 on the web page 300, after which the user can select the web page A unique gesture 308 can be performed anywhere on the user interface display to activate the WPBC menu 320 associated with the selected portion 312 of the content 310. The WPBC menu 320 may include icons 322, 324, and 326 representing, for example, word processing applications, spreadsheet applications, and presentation applications. In addition, the user may perform a unique gesture 308 on or next to the web page content 310 that the user wishes to modify and manage, and the unique gesture 308 is the unique gesture 308. Can automatically activate the WPBC menu 320 associated with the web page content 310 on which is executed. As previously described, the WPBC menu 320 can present a list of applications and / or actions from which the user can select and perform various actions on the web page content 310. Make it possible.

[0034] 図４は、実施形態による、マルチタッチまたはマルチジェスチャー可能デバイスにおけるウェブ・ページの複数のコンテンツ部分の選択の一例を示す。ウェブ・ページ例４００は、ウェブ・ページ２００または３００と同様であり、ジェスチャー可能クライアント・デバイスにおいてブラウジング・アプリケーションによってウェブ・ページがレンダリングされ、ユーザーがタッチ・アクションおよびジェスチャーによって、ウェブ・ページ１００上のコンテンツと対話処理できるようになっている。このジェスチャー可能クライアント・デバイス例は、ユーザーが、ウェブ・コンテンツ４１０を選択する、収集する、およびこれと対話処理するために、２つの手というような、２つ以上の入力方法を使用することができるように、マルチジェスチャー可能であるとよい。タッチ・アクションおよびジェスチャーの例には、タップ・アクション、スワイプ・アクション、およびホールド・アクションを含むことができ、これらは、ユーザーによって、指、ペン、マウス、または同様のジェスチャー・キャプチャー・デバイスによって、更には予め定められたキーボード入力の組み合わせまたは音声コマンドによって供給することができる。 [0034] FIG. 4 illustrates an example of selection of multiple content portions of a web page in a multi-touch or multi-gesture capable device, according to an embodiment. The example web page 400 is similar to the web page 200 or 300, where a web page is rendered by a browsing application on a gesture enabled client device, and a user can touch the web page 100 with touch actions and gestures. You can interact with the content. This example gestible client device allows a user to use more than one input method, such as two hands, to select, collect and interact with web content 410. Multi-gestures should be possible so that they can. Examples of touch actions and gestures can include tap actions, swipe actions, and hold actions, which are by the user, by a finger, pen, mouse, or similar gesture capture device, Furthermore, it can be supplied by a predetermined keyboard input combination or voice command.

[0035] 実施形態によるシステムでは、ユーザーはウェブ・ページ・コンテンツ４１０を管理するために、アプリケーションに送る複数のコンテンツ部分を選択し収集することができる。マルチジェスチャー可能デバイスは、ユーザーが第１入力方法またはアクションを使用して対話処理することを望む、ウェブ・ページ・コンテンツ４１０の２つ以上の部分４１２、４１４を選択し、ウェブ・ページ・コンテンツ４１０の位置部分を選択および保持し、第２入力方法またはアクションを使用して利用可能なアクションのＷＰＢＣメニュー４２０から所望のアプリケーションおよび／またはアクションを選択することを可能にすることができる。 [0035] In a system according to an embodiment, a user can select and collect multiple content portions to send to an application in order to manage web page content 410. The multi-gesture enabled device selects two or more portions 412, 414 of the web page content 410 that the user wishes to interact with using the first input method or action, and the web page content 410 Can be selected and retained to allow the user to select a desired application and / or action from the WPBC menu 420 of available actions using the second input method or action.

[0036] 一実施形態例では、ユーザーが第１選択４１６を使用して変更および／または管理することを望む、ウェブ・ページ・コンテンツ４１０の第１部分４１４およびウェブ・ページ・コンテンツ４１０の第２部分４１２を、ユーザーが選択することができる。ユーザーが第１選択４１６を使用してウェブ・ページ・コンテンツ４１０の１つ以上の部分を選択して、選択部分４１２、４１４を選択し保持する一方、この選択の検出時にＷＰＢＣメニュー４２０を自動的に提供することができる。ユーザーの他方の手（または他の入力方法）によって第２選択４０８を使用して、ＷＰＢＣメニュー４２０上に提示されたアクションからユーザーが選択することを可能にすることができる。既に説明したように、ＷＰＢＣメニュー４２０からのアプリケーションおよび／またはアクションの選択を検出したとき、選択されたアプリケーションは、一層豊富な／一層対話処理に適した表現で選択されたコンテンツを表示する別のユーザー・インターフェースにおいて起動することができ、または代わりに、選択されたコンテンツの一層豊富な／一層対話処理に適した表現が、レンダリングされたウェブ・ページの代わりに表示されてもよい。ＷＰＢＣメニュー４２０は、例えば、ワード・プロセッシング・アプリケーション、スプレッドシート・アプリケーション、およびプレゼンテーション・アプリケーションを表すアイコン４２２、４２４、および４２６を含むことができる。 [0036] In an example embodiment, a first portion 414 of web page content 410 and a second portion of web page content 410 that the user desires to modify and / or manage using first selection 416. Portion 412 can be selected by the user. The user uses the first selection 416 to select one or more portions of the web page content 410 to select and retain the selection portions 412, 414 while automatically detecting the WPBC menu 420 upon detection of this selection. Can be provided. The second selection 408 can be used by the user's other hand (or other input method) to allow the user to select from the actions presented on the WPBC menu 420. As described above, upon detecting selection of an application and / or action from the WPBC menu 420, the selected application displays another content that displays the selected content in a richer / more interactive representation. Alternatively, a richer / more interactive representation of the selected content may be displayed instead of the rendered web page, which can be launched in the user interface. The WPBC menu 420 may include icons 422, 424, and 426 representing, for example, word processing applications, spreadsheet applications, and presentation applications.

[0037] 図５は、実施形態にしたがって、ウェブ・ページの選択されたコンテンツを変更し動かすためのジェスチャー・アクション例を示す。以前に説明したように、ウェブ・ページ例５００は、標準的なウェブ・ページ・エレメントおよび１つ以上のコンテンツ部分を含む。ウェブ・ページ５００上に提示されたデーターとの対話処理は、一般に、ウェブ・ページの著作者（またはウェブ・ページを提供するウェブ・アプリケーション）によって設定された境界に限定される。例えば、コンテンツ部分５１０は、車のリスト、その製造年、価格等がある表を提示する。このウェブ・ページは、データーの一部（または全部）上にあるリンクを介して追加の情報を提供することができるが、ページを見るユーザーは、リストのフォーマットおよび構成に限定され、ユーザーは、関連アプリケーションの機能全てを使用して、表またはコンテンツを編集、変更、または対話処理することができない場合がある。更に、ユーザーは、データーの更なる分析を、結果、他の表、またはチャートの形態で見ることができず、リスト上の個々の項目を変更／ソート／フィルタリング／定式化することができず、ウェブ・ページの著作者によって機能が提供されなければ、データーに注釈を付けることもできない。 [0037] FIG. 5 illustrates example gesture actions for modifying and moving selected content of a web page, according to an embodiment. As previously described, the example web page 500 includes a standard web page element and one or more content portions. The interaction with the data presented on the web page 500 is generally limited to the boundaries set by the author of the web page (or the web application that provides the web page). For example, the content portion 510 presents a table with a list of cars, their year of manufacture, price, and the like. This web page can provide additional information via links on some (or all) of the data, but the user viewing the page is limited to the format and structure of the list, You may not be able to edit, change, or interact with a table or content using all the functionality of the related application. In addition, the user cannot see further analysis of the data in the form of results, other tables or charts, cannot change / sort / filter / formulate individual items on the list, If the function is not provided by the author of the web page, the data cannot be annotated.

[0038] 実施形態によるシステムでは、ウェブ・ページ５００は、表、チャート、文書、グラフィクス、および他のコンテンツを含む、ウェブ・ページ・コンテンツとユーザーが対話処理することを可能にするために、ウェブ・ページが関連アプリケーションの機能全てを有することができるように、レンダリングされたコンテンツ部分５１０を変換(transform)することができる。コンテンツ部分５１０に対してアプリケーション機能全てを可能にすると、ユーザーは、外部アプリケーションにナビゲートすることなく、直接ウェブ・ページ上において提示されたコンテンツおよび他のデーターに対して種々のアクションを実行することを可能にすることができる。 [0038] In a system according to an embodiment, the web page 500 is a web page 500 that allows a user to interact with web page content, including tables, charts, documents, graphics, and other content. The rendered content portion 510 can be transformed so that the page can have all the functionality of the associated application. Enabling all application functions for the content portion 510 allows the user to perform various actions on the content and other data presented directly on the web page without navigating to external applications Can be made possible.

[0039] ウェブ・ページ５００は、実施形態にしたがって、ウェブ・ページ・コンテンツに対してアプリケーション機能全てを可能にする例を示す。図示するシナリオでは、車のリストの表から選択されたコンテンツ部分５１０を、ウェブ・ページ上において同じデーターを含むスプレッドシート５１２に変換することができる。コンテンツ部分５１０は、ＷＰＢＣメニュー５２０を利用して変換することができ、ＷＰＢＣメニュー５２０は、ウェブ・ページ上におけるコンテンツの選択を検出したときに、既に説明したように、ウェブ・ページ上における一意のジェスチャーに応答して、および／またはＷＰＢＥ制御エレメントのアクティブ化に応答して、自動的に表示することができる。ユーザーは、提示されたＷＰＢＣメニューから関連アプリケーションを選択することができ、この選択に応答してウェブ・ページ・コンテンツを自動的に変換することができる。 [0039] Web page 500 illustrates an example of enabling all application functionality for web page content, according to an embodiment. In the illustrated scenario, a content portion 510 selected from a car list table can be converted to a spreadsheet 512 containing the same data on a web page. The content portion 510 can be converted using the WPBC menu 520, and the WPBC menu 520 is unique when it detects a selection of content on the web page, as described above. It can be displayed automatically in response to a gesture and / or in response to activation of a WPBE control element. The user can select an associated application from the presented WPBC menu and can automatically convert web page content in response to this selection.

[0040] 一シナリオ例では、ユーザーはウェブ・ページ・コンテンツの一部を選択することができ、更に自動的に表示されるＷＰＢＣメニューから、ユーザーは、ウェブ・ページ・コンテンツにおいて表を編集するためにスプレッドシート・アプリケーション５２４を選択することができ、コンテンツ部分５１０をスプレッドシート５１２に自動的に変換することができる。コンテンツ部分５１０をスプレッドシート５１２に変換することにより、コンテンツがスプレッドシート・アプリケーションにおいて開いたかのように、ユーザーがウェブ・ページ・コンテンツ上で直接スプレッドシート・アクションを実行することを可能にすることができる。例えば、ユーザーは、コンテンツ部分５１０において表示されたデーターに対して、選択および編集（５３２）、定式化、ソート、分析、および他のスプレッドシート機能を実行することができる。変換されたスプレッドシート５１２は、ウェブ・ページ・コンテンツ上に別のユーザー・インターフェースとして表示されてもよく、または代わりに、ウェブ・ページ・コンテンツ自体が変換され、変換されたスプレッドシートが、コンテンツ部分５１０が元々レンダリングされた場所を占めるようにしてもよい。 [0040] In one example scenario, the user can select a portion of the web page content and from the automatically displayed WPBC menu, the user can edit the table in the web page content. The spreadsheet application 524 can be selected and the content portion 510 can be automatically converted to a spreadsheet 512. Converting the content portion 510 to a spreadsheet 512 can allow the user to perform spreadsheet actions directly on the web page content as if the content were opened in a spreadsheet application. . For example, the user can perform selection and editing (532), formulation, sorting, analysis, and other spreadsheet functions on the data displayed in the content portion 510. The converted spreadsheet 512 may be displayed as a separate user interface on the web page content, or alternatively, the web page content itself is converted and the converted spreadsheet is converted into a content portion. 510 may occupy the originally rendered location.

[0041] 追加の実施形態では、アプリケーション機能全てを可能にするためにウェブ・ページ・コンテンツが変換されるとき、コンテンツがスプレッドシート・アプリケーションにおいて開いているかのように、選択、移動、融合、フィルタリング、および同様のアクションというようなアクションをデーターに対してユーザーが実行することを可能にすることができる。例えば、図示するシナリオでは、ユーザーは、例えば、タップおよびホールド・ジェスチャーを使用して、スプレッドシート５１２における表の行を選択する（５３４）ことができ、そして選択した行をドラッグして、新たな表５３０を形成する新たな位置５３６にこれらを動かすことができる。新たな表５３０は、選択されたウェブ・ページ・コンテンツと、これが元々レンダリングされた場所で置き換わることができる。項目の選択、編集および移動というような同様のアクションも、テキストおよびグラフィック項目、ならびにウェブ・ページ・コンテンツに含まれる項目の組み合わせに対して実行することができる。 [0041] In additional embodiments, when web page content is transformed to allow all application functionality, selection, navigation, blending, and filtering as if the content were open in a spreadsheet application , And similar actions can be performed on the data by the user. For example, in the illustrated scenario, the user can select (534) a table row in spreadsheet 512 using, for example, a tap and hold gesture, and drag the selected row to create a new These can be moved to a new position 536 that forms table 530. The new table 530 can replace the selected web page content with the location where it was originally rendered. Similar actions, such as item selection, editing and moving, can also be performed on text and graphic items, and combinations of items included in web page content.

[0042] 図６は、実施形態にしたがって、ウェブ・ページの選択されたコンテンツを融合するためのジェスチャー・アクション例を示す。以前に説明したように、実施形態によるウェブ・ページは、ユーザーが、表、チャート、文書、グラフィクス、および他のコンテンツを含むウェブ・ページ・コンテンツと直接対話処理することを可能にするために、このウェブ・ページが関連アプリケーションの機能全てを有するように、レンダリングされたウェブ・ページ・コンテンツを変換することができる。ウェブ・ページ６００は、実施形態にしたがって、ウェブ・ページ・コンテンツ６１０上においてアプリケーション機能全てを可能にするシナリオ例を示す。アプリケーション機能全てを可能にするためにウェブ・ページ・コンテンツが変換されると、ウェブ・ページ上のデーターに対して、ユーザーが直接、選択、移動、融合、フィルタリング、および他の同様のアプリケーション・アクションを実行することを可能にすることができる。 [0042] FIG. 6 illustrates an example gesture action for fusing selected content of a web page, according to an embodiment. As previously described, the web page according to the embodiment allows a user to interact directly with web page content including tables, charts, documents, graphics, and other content. The rendered web page content can be converted so that the web page has all the functionality of the associated application. Web page 600 illustrates an example scenario that enables all application functions on web page content 610 according to an embodiment. Once the web page content is transformed to enable all application functionality, the user can directly select, move, merge, filter, and other similar application actions on the data on the web page Can be performed.

[0043] 図示するシナリオでは、ユーザーはウェブ・ページ・コンテンツ６０４、６１０の２つ以上の部分を選択することができる。これらのコンテンツは、車のリストおよび関連情報を含むウェブ表であってもよい。選択に応答して、選択されたウェブ・ページ・コンテンツに対して利用可能なアクションのＷＰＢＣメニュー６２０を自動的に表示することができる。コンテンツを選択し、スプレッドシート・アプリケーション６２４のようなアクションをＷＰＢＣメニュー６０６から選択すると（６１２）、ウェブ・ページ・コンテンツ６０４、６１０の選択された部分を、自動的に、ウェブ・ページ上と同じデーターを含みスプレッドシート機能全てを有するスプレッドシートに変換することができる。一旦スプレッドシート機能全てを可能にするスプレッドシートに変換されると、選択されたウェブ・ページ・コンテンツを直接ウェブ・ページ上で変更および操作するために、ユーザーがタッチ入力またはジェスチャーを使用することを可能にすることができる。 [0043] In the illustrated scenario, the user can select two or more portions of web page content 604, 610. These contents may be web tables containing a list of cars and related information. In response to the selection, a WPBC menu 620 of actions available for the selected web page content can be automatically displayed. When content is selected and an action such as spreadsheet application 624 is selected from WPBC menu 606 (612), the selected portion of web page content 604, 610 is automatically the same as on the web page. It can be converted into a spreadsheet that contains data and has all the spreadsheet functions. Once converted to a spreadsheet that enables all of the spreadsheet functions, allow users to use touch input or gestures to modify and manipulate selected web page content directly on the web page. Can be possible.

[0044] 更に、ウェブ・ページ・コンテンツがマルチジェスチャー可能デバイスにレンダリングされて、ユーザーが、ウェブ・ページ・コンテンツを選択し、収集し、これと対話処理するために、２つの手というような、２つ以上の入力方法を使用できるようにしてもよい。図示するシナリオでは、ユーザーは１つの手または第１アクション６０８を使用して、変換されたウェブ・ページ・コンテンツの第１部分を選択および保持することができ、更に他方の手または第２アクション６１４を使用して、変換されたウェブ・ページ・コンテンツ・データーの第２部分を選択することができる。ユーザーは、新たな表６１８を形成する２つの選択された部分を融合するために、ウェブ・ページ・コンテンツ６０４、６１０の２つの選択された部分を一緒に保持しドラッグすることができる。融合されたコンテンツ部分を有する新たな表６１８は、ウェブ・ページ・コンテンツと、それが元々レンダリングされた場所で置き換わることができる。項目を選択、移動、および融合するというような同様のアクションも、テキストおよびグラフィクス項目、ならびに項目の組み合わせに対しても同様に実行することができる。第１および第２アクション６０８、６１４、ならびに任意の他のジェスチャーも、タッチ・ベース・インターフェースによって、あるいは光学的または他の間接的取り込みメカニズムによって、ユーザーが物理的に計算デバイスにタッチすることなく、取り込むこともできる。 [0044] Furthermore, the web page content is rendered on a multi-gesture capable device so that the user can select, collect and interact with the web page content, such as two hands, Two or more input methods may be used. In the illustrated scenario, the user can use one hand or first action 608 to select and retain the first portion of the converted web page content, and the other hand or second action 614. Can be used to select a second portion of the converted web page content data. The user can hold and drag the two selected portions of the web page content 604, 610 together to fuse the two selected portions that form the new table 618. A new table 618 with the merged content portion can replace the web page content and where it was originally rendered. Similar actions such as selecting, moving, and merging items can be performed on text and graphics items and combinations of items as well. The first and second actions 608, 614, and any other gestures can also be made without touching the computing device physically by the user, either by a touch-based interface or by an optical or other indirect capture mechanism. It can also be imported.

[0045] 図７は、実施形態にしたがって、ウェブ・ページ上で実行されるズーミング・ジェスチャーの一例を示す。以前に説明したように、実施形態によるウェブ・ページは、ユーザーが、表、チャート、文書、グラフィクス、および他のコンテンツを含むウェブ・ページ・コンテンツと直接対話処理することを可能にするために、このウェブ・ページが関連アプリケーションの全機能を有するように、レンダリングされたウェブ・ページ・コンテンツを変換することができる。ウェブ・ページ・コンテンツ上でアプリケーション機能全てを可能にすることによって、外部アプリケーションにナビゲートすることなく、直接ウェブ・ページ上において提示されたコンテンツおよび他のデーターに対してユーザーが種々のアクションを実行することを可能にすることができる。アクションの例には、選択および編集、定式化、ソート、分析、移動、融合、フィルタリング、ズーミング、およびデーター上における他の同様のアックションを実行することを含むことができる。 [0045] FIG. 7 illustrates an example of a zooming gesture performed on a web page, according to an embodiment. As previously described, the web page according to the embodiment allows a user to interact directly with web page content including tables, charts, documents, graphics, and other content. The rendered web page content can be converted so that the web page has the full functionality of the associated application. By enabling all application functions on web page content, users can perform various actions on content and other data presented directly on the web page without navigating to external applications Can be made possible. Examples of actions can include selecting and editing, formulating, sorting, analyzing, moving, fusing, filtering, zooming, and performing other similar actions on the data.

[0046] 一実施形態例では、線図７００において実証されるように、ウェブ・ページ７０２はウェブ・ページ・コンテンツ７１０、７１２、７１６の内１つ以上の部分を提示することができる。ユーザーがタッチ入力およびジェスチャーを使用してデーターと対話処理してウェブ・ページ・コンテンツを変更および操作できるように、ウェブ・ページ上において直接アプリケーション機能全てを可能にするために、ウェブ・ページ・コンテンツを変換することができる。スプレッドシート・アプリケーションと対話処理するためのジェスチャー例には、例えば、スワイプ・ジェスチャー、カット／ペースト・ジェスチャー、挿入ジェスチャー、ボルテックス・ジェスチャー(vortex gesture)、グリップ・ジェスチャー、チャート・ジェスチャー、トレンド・ライン・ジェスチャー、コメント・ジェスチャー、ズーム・ジェスチャー、ソート・ジェスチャー、取り消し／再実行ジェスチャー等を含むことができる。 [0046] In one example embodiment, as demonstrated in diagram 700, web page 702 may present one or more portions of web page content 710, 712, 716. Web page content to allow all application functions directly on the web page so that the user can interact with the data using touch input and gestures to modify and manipulate the web page content Can be converted. Examples of gestures for interacting with spreadsheet applications include, for example, swipe gestures, cut / paste gestures, insert gestures, vortex gestures, grip gestures, chart gestures, trend line Gestures, comments / gestures, zoom gestures, sort gestures, undo / redo gestures, etc. can be included.

[0047] 図示するシナリオでは、ウェブ・ページ７０２は、ズーミング前における、変換されたウェブ・ページ・コンテンツ７１０、７１２、７１６を表示し、ウェブ・ページ７２０は、ズーム・ジェスチャー７０６の動作を実行した後における、拡大図(zoomed view)を表示する。一実施形態によれば、ズームイン動作は、ズーム・ジェスチャー７０６によって示されるように、ユーザーがその指の内２本を広げるときに検出することができる。ズームアウト・ジェスチャーは、ユーザーがその指の内２本を閉じるときに検出することができる。図示例では、ユーザーがウェブ・ページ・コンテンツ７１０の一部の上でズーム・ジェスチャー７０６を実行すると、拡大図ウェブ・ページ７２０が図を拡大して、ユーザー・インターフェースが、拡大されたウェブ・ページ・コンテンツの部分７２４を表示し、ウェブ・ページ・コンテンツの残りが表示ウィンドウ(viewing window)の外側にはみ出す。また、ユーザーは、拡大図のウェブ・ページ７２０に対してズームアウト・ジェスチャーを実行して、ズーミング前の元のウェブ・ページ７０２に戻すこともできる。 [0047] In the illustrated scenario, the web page 702 displays the transformed web page content 710, 712, 716 before zooming, and the web page 720 performed a zoom gesture 706 action. A later enlarged view (zoomed view) is displayed. According to one embodiment, a zoom-in operation can be detected when the user spreads two of his fingers, as indicated by zoom gesture 706. A zoom-out gesture can be detected when the user closes two of his fingers. In the illustrated example, when the user performs a zoom gesture 706 over a portion of the web page content 710, the zoomed-in web page 720 zooms in on the diagram, and the user interface is expanded. The content portion 724 is displayed and the rest of the web page content protrudes outside the viewing window. The user can also perform a zoom-out gesture on the enlarged web page 720 to return to the original web page 702 before zooming.

[0048] 図１から図７において説明したユーザー・インターフェース・エレメントおよび対話処理の例は、例示に限られ、実施形態に対する限定を構成するのではない。レンダリングされたウェブ・ページにおいてコンテンツを管理するためのウェブ・ページ行動制御メニューには、本明細書において説明した原理を使用して、他のユーザー・インターフェース、インターフェース・エレメント、提示、および構成を実装することもできる。 [0048] The example user interface elements and interaction described in FIGS. 1-7 are illustrative only and do not constitute a limitation on the embodiment. The web page behavior control menu for managing content in rendered web pages implements other user interfaces, interface elements, presentations, and configurations using the principles described herein You can also

[0049] 図８は、実施形態を実現することができるネットワーク接続環境の一例である。ウェブ・ページ行動制御メニューおよび関連するアクションを提供するプラットフォームは、１つ以上のサーバー８２４またはホストされたサービスのような１つのサーバー（例えば、ウェブ・サーバー）８２６において実行されるソフトウェアによって実現することができる。このプラットフォームは、スマート・フォン８２３、ラップトップ・コンピュータ８２２、またはデスクトップ・コンピュータ８２１（「クライアント・デバイス」）のような個々の計算デバイスにおけるクライアント・アプリケーションと、ネットワーク（１つまたは複数）８２０を介して通信することができる。 FIG. 8 is an example of a network connection environment in which the embodiment can be realized. A platform that provides web page behavior control menus and associated actions can be implemented by software running on one or more servers 824 or one server (eg, web server) 826, such as a hosted service. Can do. The platform includes client applications on individual computing devices, such as a smart phone 823, a laptop computer 822, or a desktop computer 821 (“client device”), and a network (s) 820. Can communicate.

[0050] 以上で説明したように、１つ以上のＷＰＢＥ制御エレメントを、著作者によって、またはクライアント・デバイス８２１〜８２３におけるローカル・ブラウザーによって、ウェブ・ページに埋め込むことができる。アクティブ化すると、ＷＰＢＣメニューは、ユーザーに利用可能なアクションおよびアプリケーションのリストを提示することができ、ユーザーがこのメニューからアプリケーションおよび／またはアクションを選択すると、選択されたアプリケーションの機能全てを使用して、レンダリングされたウェブ・ページのカスタム化、編集、分析、格納等をユーザーが行うことを可能にすることができる。ユーザーは、タッチ入力およびジェスチャーを使用して、ウェブ・ページ上においてウェブ・ページ・コンテンツがレンダリングされた場所で直接、そして別のユーザー・インターフェースにおいて、そのウェブ・ページ・コンテンツを変更および管理することができる。 [0050] As described above, one or more WPBE control elements can be embedded in a web page by the author or by a local browser at the client device 821-823. When activated, the WPBC menu can present a list of available actions and applications to the user, and when the user selects an application and / or action from this menu, it uses all the features of the selected application. It can allow the user to customize, edit, analyze, store, etc. the rendered web page. The user may modify and manage the web page content directly on the web page where the web page content is rendered, and in another user interface, using touch input and gestures Can do.

[0051] 変更されたウェブ・ページ・コンテンツのローカル・バージョンはクライアント・デバイス８２１〜８２３の内任意のものにおいて格納することができるが、コンテンツは離れて格納されて（例えば、データー・ストア８２９に）、元のウェブ・ページ・コンテンツが変化するに連れて更新されてもよい。ウェブ・ページを提供するプラットフォームが、直接またはデーターベース・サーバー８２８を介して、ウェブ・サイトに関連するデーター（例えば、公開された、暗示された、または関係するコンテンツ）をデーター・ストア８２９に格納し、そしてデーター・ストア８２９から引き出すのでもよい。 [0051] The local version of the modified web page content can be stored on any of the client devices 821-823, but the content is stored remotely (eg, in the data store 829). ), And may be updated as the original web page content changes. The platform that provides the web page stores data related to the web site (eg, published, implied, or related content) directly or through the database server 828 in the data store 829. And may be pulled from the data store 829.

[0052] ネットワーク（１つまたは複数）８２０は、サーバー、クライアント、インターネット・サービス・プロバイダー、および通信媒体の任意のトポロジーを含むことができる。実施形態によるシステムは、静的または動的トポロジーを有することができる。ネットワーク（１つまたは複数）８２０は、企業ネットワークのような安全なネットワーク、ワイヤレス・オープン・ネットワークのような安全でないネットワーク、またはインターネットを含むことができる。また、ネットワーク（１つまたは複数）８２０は、公衆電話交換網（ＰＳＴＮ）またはセルラ・ネットワークというような、他のネットワークを介した通信を調整することもできる。更に、ネットワーク（１つまたは複数）８２０は、Bluetoothまたは同様のものというような、短距離ワイヤレス・ネットワークも含むことができる。ネットワーク（１つまたは複数）８２０は、本明細書において説明したノード間において通信を提供する。一例として、そして限定ではなく、ネットワーク（１つまたは複数）８２０は、音響、ＲＦ、赤外線および他のワイヤレス媒体というような、ワイヤレス媒体を含むことができる。 [0052] The network (s) 820 may include any topology of servers, clients, Internet service providers, and communication media. A system according to embodiments may have a static or dynamic topology. The network (s) 820 can include a secure network such as a corporate network, an insecure network such as a wireless open network, or the Internet. The network (s) 820 can also coordinate communications over other networks, such as a public switched telephone network (PSTN) or a cellular network. Further, the network (s) 820 can also include short range wireless networks such as Bluetooth or the like. The network (s) 820 provides communication between the nodes described herein. By way of example and not limitation, the network (s) 820 can include wireless media, such as acoustic, RF, infrared, and other wireless media.

[0053] 計算デバイス、アプリケーション、データー・ソース、およびデーター分散システムの多くの他の構成も、ウェブ・ページ行動制御メニューおよびウェブ・ページ行動拡張制御を実現するために採用することもできる。更に、図８において説明したネットワーク接続環境は、例示を目的にするに過ぎない。実施形態は、アプリケーション、モジュール、およびプロセスのいずれの例にも限定されない。 [0053] Many other configurations of computing devices, applications, data sources, and data distribution systems may also be employed to implement web page behavior control menus and web page behavior enhancement controls. Furthermore, the network connection environment described in FIG. 8 is for illustrative purposes only. Embodiments are not limited to any examples of applications, modules, and processes.

[0054] 図９および関連する説明は、実施形態を実現することができる適した計算環境の端的で全体的な説明を行うことを意図している。図９を参照すると、計算デバイス９００のような、実施形態によるアプリケーションのための計算動作環境例のブロック図が示されている。基本的な構成では、計算デバイス９００が、ウェブ・アプリケーションを実行するサーバーであり、少なくとも１つの処理ユニット９０２とシステム・メモリー９０４とを含むのであればよい。また、計算デバイス９００は、プログラムを実行するときに協働する複数の処理ユニットを含むのでもよい。計算デバイスの正確な構成およびタイプに依存して、システム・メモリー９０４は揮発性（ＲＡＭのような）、不揮発性（ＲＯＭ、フラッシュ・メモリー等のような）、またはこれら２つの何らかの組み合わせであればよい。システム・メモリー９０４は、通例、ワシントン州、RedmondのMICROSOFT CORPORATIONからのWINDOWS（登録商標）オペレーティング・システムのような、プラットフォームの動作を制御するのに適したオペレーティング・システム９０５を含む。また、システム・メモリー９０４は、プログラム・モジュール９０６、ウェブ・アプリケーション９２２、ジェスチャー・エンジン９２４、およびコンテンツ管理エンジン９２６のような、１つ以上のソフトウェア・アプリケーションも含むことができる。 [0054] FIG. 9 and the associated description are intended to provide a brief and comprehensive description of a suitable computing environment in which embodiments may be implemented. Referring to FIG. 9, a block diagram of an example computing operating environment for an application, such as computing device 900, according to an embodiment is shown. In a basic configuration, the computing device 900 may be a server that executes a web application and includes at least one processing unit 902 and system memory 904. The computing device 900 may also include a plurality of processing units that cooperate when executing a program. Depending on the exact configuration and type of computing device, system memory 904 can be volatile (such as RAM), non-volatile (such as ROM, flash memory, etc.), or some combination of the two. Good. System memory 904 typically includes an operating system 905 suitable for controlling the operation of the platform, such as the WINDOWS® operating system from MICROSOFT CORPORATION of Redmond, Washington. The system memory 904 can also include one or more software applications, such as a program module 906, a web application 922, a gesture engine 924, and a content management engine 926.

[0055] ウェブ・アプリケーション９２２は、テキスト、グラフィック、オーディオ、ビデオ、および他のデーターをユーザーに、そのクライアント・ブラウジング・アプリケーションを介してウェブ・ページとして提示する任意のアプリケーションまたはサービスであればよい。ウェブ・アプリケーション９２２は、ウェブ・ページに埋め込まれたＷＰＢＥ制御エレメント、およびＷＰＢＣメニューを提供することができ、ユーザーがウェブ・ページ上でコンテンツの部分を選択し、関連アプリケーションの機能全てを使用してウェブ・コンテンツを管理および変更することを可能にする。ユーザーは、タッチ入力およびジェスチャーを使用して、ウェブ・ページ・コンテンツを変更および管理して、既に説明したように、ジェスチャー・エンジン９２４を介して、ウェブ・コンテンツに対して選択、移動、編集、フィルタリング、融合、および他の同様のアクションを実行することができるとよい。加えて、コンテンツ管理エンジン９２６は、関連アプリケーションの機能全てを有することができるように、表、チャート、文書、グラフィクス、および他のコンテンツを含むウェブ・ページ・コンテンツとユーザーが対話処理することを可能にするために、レンダリングされたウェブ・ページ・コンテンツを変換することができる。この基本的構成は、図９では、破線９０８内部にあるコンポーネントによって示される。 [0055] The web application 922 may be any application or service that presents text, graphics, audio, video, and other data to the user as a web page via its client browsing application. The web application 922 can provide WPBE control elements and WPBC menus embedded in the web page, allowing the user to select a piece of content on the web page and use all the functionality of the associated application. Allows you to manage and modify web content. Users can use touch input and gestures to modify and manage web page content and select, navigate, edit, and edit web content via gesture engine 924 as described above. It may be possible to perform filtering, fusion, and other similar actions. In addition, the content management engine 926 allows users to interact with web page content including tables, charts, documents, graphics, and other content so that it can have all the functionality of the related application. To render the rendered web page content. This basic configuration is illustrated in FIG. 9 by the components within dashed line 908.

[0056] 計算デバイス９００は、追加の機構(feature)または機能(functionality)を有することもできる。例えば、計算デバイス９００は、例えば、磁気ディスク、光ディスク、またはテープというような、追加のデーター記憶デバイス（リムーバブルおよび／または非リムーバブル）を含んでもよい。このような追加のストレージは、図９では、リムーバブル・ストレージ９０９および非リムーバブル・ストレージ９１０によって例示される。コンピューター読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような、情報の格納のためのいずれかの方法または技術で実現される。システム・メモリー９０４、リムーバブル・ストレージ９０９、および非リムーバブル・ストレージ９１０は全て、コンピューター読み取り可能媒体の例である。コンピューター読み取り可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは所望の情報を格納するために使用することができ計算デバイス９００によってアクセスすることができる他のあらゆる媒体を含むが、これらに限定されるのではない。このようなコンピューター読み取り可能記憶媒体はいずれも、計算デバイス９００の一部であってもよい。また、計算デバイス９００は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、ジェスチャー・キャプチャー・デバイス、および相当の入力デバイスというような、入力デバイス（１つまたは複数）９１２も有することができる。ディスプレイ、スピーカー、プリンター、およびその他のタイプの出力デバイスというような、出力デバイス（１つまたは複数）９１４も含むことができる。これらのデバイスは、全て当技術分野では周知であり、ここで長々と論ずる必要はない。 [0056] The computing device 900 may have additional features or functionality. For example, the computing device 900 may include additional data storage devices (removable and / or non-removable) such as, for example, a magnetic disk, optical disk, or tape. Such additional storage is illustrated in FIG. 9 by removable storage 909 and non-removable storage 910. Computer-readable storage media can include volatile and nonvolatile, removable and non-removable media for the storage of information such as computer readable instructions, data structures, program modules, or other data. Implemented by any method or technique. System memory 904, removable storage 909, and non-removable storage 910 are all examples of computer-readable media. Computer readable storage media: RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile disk (DVD) or other optical storage, magnetic cassette, magnetic tape, magnetic disk storage Or any other magnetic storage device or any other medium that can be used to store desired information and that can be accessed by computing device 900. Any such computer readable storage media may be part of computing device 900. The computing device 900 may also have input device (s) 912, such as a keyboard, mouse, pen, voice input device, touch input device, gesture capture device, and equivalent input device. . Output device (s) 914 may also be included, such as displays, speakers, printers, and other types of output devices. All these devices are well known in the art and need not be discussed at length here.

[0057] また、計算デバイス９００は、通信接続９１６も内蔵することができる。通信接続９１６は、本デバイスが、分散型計算環境におけるワイヤレス・ネットワーク、衛星リンク、セルラ・リンク、および相当のメカニズムを介してというようにして、他のデバイス９１８と通信することを可能にする。他のデバイス９１８は、ウェブ・サービス、分析サービス、データー記憶サービスを実行するコンピューター・デバイス（１つまたは複数）、および相当するデバイスを含むことができる。通信接続（１つまたは複数）９１６は、通信媒体の一例である。通信媒体は、搬送波のような変調データー信号または他の伝達メカニズムにおいて、その中に、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターを含むことができ、あらゆる情報配信媒体を含む。「変調データー信号」という用語は、その信号内に情報をエンコードするようなやり方で、その特性の１つ以上が設定または変更された信号を意味する。一例として、そして限定ではなく、通信媒体は、有線ネットワークまたは直接有線接続というような有線媒体と、音響、ＲＦ、赤外線、および他のワイヤレス媒体というようなワイヤレス媒体とを含む。 [0057] The computing device 900 may also incorporate a communication connection 916. Communication connection 916 allows the device to communicate with other devices 918, such as via wireless networks, satellite links, cellular links, and other mechanisms in a distributed computing environment. Other devices 918 can include web device, analysis service, computer device (s) that perform data storage services, and corresponding devices. Communication connection (s) 916 is an example of communication media. Communication media can include computer-readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transport mechanism, including any information delivery media. . The term “modulated data signal” means a signal that has one or more of its characteristics set or changed in such a manner as to encode information in the signal. By way of example and not limitation, communication media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media.

[0058] また、実施形態例は方法も含む。これらの方法は、本文書において記載された構造を含む、任意の数の方法でも実現することができる。このような方法の１つは、本文書において記載されたタイプのデバイスの機械動作(machine operation)によって行われる。 [0058] The example embodiments also include methods. These methods can be implemented in any number of ways, including the structures described in this document. One such method is performed by machine operation of a device of the type described in this document.

[0059] 他のオプションの方法は、前述の方法の個々の動作の内１つ以上を、一部を実行する１人以上の人間の操作者と共に実行することである。これらの人間の操作者は一緒にいる必要はなく、各々が、プログラムの一部を実行する装置を有するだけでよい。 [0059] Another optional method is to perform one or more of the individual operations of the foregoing method with one or more human operators performing some. These human operators do not have to be together, each need only have a device that executes part of the program.

[0060] 図１０は、実施形態にしたがってウェブ・ページ行動拡張制御を提供するプロセス１０００の論理流れ図を示す。プロセス１０００は、ウェブ・サーバーまたはクライアント・デバイスにおいて実行されるウェブ・アプリケーション、ジェスチャー・エンジン、およびコンテンツ管理エンジンによって実現することができる。 [0060] FIG. 10 shows a logic flow diagram of a process 1000 for providing web page behavior enhancement control according to an embodiment. Process 1000 may be implemented by a web application, gesture engine, and content management engine running on a web server or client device.

[0061] プロセス１０００は動作１０１０から開始し、ここでウェブ・ページをＷＰＢＥ制御エレメントと共に提示する。動作１０２０において、ＷＰＢＥＣのアクティブ化を検出することができる。ＷＰＢＥＣは、タップまたはスワイプというような、ＷＰＢＥＣ上におけるユーザー・アクションによってアクティブ化することができる。実施形態では、ＷＰＢＥ制御エレメントが提示されず、ウェブ・ページ上に表示されたコンテンツの一部をユーザーが選択したことを検出すると、ＷＰＢＥＣのアクティブ化が自動的に暗示される場合もある。ＷＰＢＥ制御エレメントのアクティブ化を検出すると、動作１０３０において、ウェブ・ページ行動制御メニューを提示することができる。ＷＰＢＣは、選択されたウェブ・ページ・コンテンツと対話処理するために利用可能なアクションおよびアプリケーションのリストを提示することができる。また、ＷＰＢＣメニューは、ウェブ・ページをレンダリングするブラウザーの能力、ウェブ・アプリケーションの能力、ユーザーの好み、および／または使用パターン（１つまたは複数）に基づいて、ＷＰＢＥ制御エレメントのアクティブ化のときに、利用可能なアクションのリストを提示することもできる。 [0061] Process 1000 begins at operation 1010 where a web page is presented with a WPBE control element. In act 1020, WPBEC activation may be detected. The WPBEC can be activated by a user action on the WPBEC, such as a tap or swipe. In an embodiment, WPBE control activation may be automatically implied upon detecting that the WPBE control element is not presented and the user has selected a portion of the content displayed on the web page. Upon detecting the activation of the WPBE control element, a web page behavior control menu can be presented at operation 1030. The WPBC can present a list of available actions and applications to interact with the selected web page content. In addition, the WPBC menu is based on the WPBE control element activation based on the browser's ability to render a web page, the ability of the web application, user preferences, and / or usage pattern (s). You can also present a list of available actions.

[0062] 動作１０４０において、ユーザーは、タッチまたはジェスチャー・アクションを使用して、選択したコンテンツと対話処理するために、関連するアクションおよび／またはアプリケーションを選択することができ、選択されたアプリケーションをアクティブ化することができる。動作１０５０において、ユーザーがタッチ入力およびジェスチャーを使用してウェブ・ページ・コンテンツの選択した部分を変更および管理することができるように、タッチまたはジェスチャー・ベースのデーター操作を可能にすることができる。アクションの例は、選択、編集、フィルタリング、移動、融合、ズーミング、およびコンテンツを管理するための同様のアクションとすればよい。 [0062] At operation 1040, the user can select an associated action and / or application to interact with the selected content using touch or gesture actions, and activate the selected application. Can be At act 1050, touch or gesture-based data manipulation can be enabled so that the user can change and manage selected portions of the web page content using touch input and gestures. Examples of actions may be similar actions for selecting, editing, filtering, moving, merging, zooming, and managing content.

[0063] 動作１０６０において、ウェブ・ページ・コンテンツにおいてジェスチャー・ベースの操作のために選択され可能にされた部分を、元のレンダリングされたウェブ・ページ上にまたは別のユーザー・インターフェースとして提示することができる。ユーザーがウェブ・ページ・コンテンツを別のユーザー・インターフェースにおいて変更するとき、変更されたウェブ・ページ・コンテンツを格納し、元のレンダリングされたウェブ・ページに関連するコンテンツが変化するに連れて、格納されたウェブ・ページ・コンテンツを更新すればよい。動作１０７０において、ウェブ・ページ上で直接ジェスチャー入力によってウェブ・ページ・コンテンツを操作することを可能にするために、ウェブ・ページ・コンテンツを変換することができる。ウェブ・ページ・コンテンツを変換すると、外部アプリケーションにナビゲートすることなく、ウェブ・ページ上において直接提示されたコンテンツ上においてユーザーが種々のアクションを実行することを可能にするために、ウェブ・ページ・コンテンツ上でアプリケーション機能全てを可能にすることができる。 [0063] In act 1060, presenting the portion of the web page content that has been selected and enabled for gesture-based manipulation on the original rendered web page or as another user interface Can do. When the user changes the web page content in another user interface, store the modified web page content and store it as the content associated with the original rendered web page changes The updated web page content may be updated. In act 1070, the web page content may be converted to allow the web page content to be manipulated by gesture input directly on the web page. Translating web page content allows the user to perform various actions on content presented directly on the web page without navigating to external applications. All application functions can be enabled on the content.

[0064] プロセス１０００に含まれる動作は、例示を目的とするに限る。実施形態にしたがってレンダリングされたウェブ・ページ上でコンテンツを管理するためのウェブ・ページ行動制御メニューは、ステップがそれよりも少ないまたは多い同様のプロセスによって実現することもでき、更に本明細書において説明した原理を使用して異なる動作順序でも実現することができる。 [0064] The operations included in process 1000 are for illustrative purposes only. A web page behavior control menu for managing content on a web page rendered in accordance with an embodiment can be implemented by a similar process with fewer or more steps and is further described herein. Using this principle, different operation sequences can be realized.

[0065] 以上の明細書、例、およびデーターは、実施形態の構成(composition)の製造および使用について、完全な説明に配慮する。構造的特徴および／または方法論的動作に特定的な文言で、主題について説明したが、添付した特許請求の範囲に定められている主題は、必ずしも、前述した特定の特徴や動作には限定されないことは言うまでもない。逆に、前述した特定の特徴および動作は、特許請求の範囲および実施形態を実現する形態例として開示したのである。 [0065] The above specification, examples, and data contemplate a complete description of the manufacture and use of the composition of the embodiments. Although the subject matter has been described in terms specific to structural features and / or methodological operations, the subject matter defined in the claims below is not necessarily limited to the specific features and operations described above. Needless to say. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims and embodiments.

Claims

A method performed at least in part on a computing device to perform gesture-based manipulation of content presented on a rendered web page, comprising:
Presenting a web page behavior extension (WPBE) control element on the rendered web page;
When the activation of the WPBE control element is detected by a gesture,
Activating an application suitable for managing the presented content;
Presenting a web page behavior control (WPBC) menu displaying one or more applications suitable for manipulating the content presented on the rendered web page;
Detecting an application selection from the WPBC menu;
Activating the selected application to manage the presented content;
Performing one of the following:
Displaying the presented content in another user interface associated with the suitable application and one of the selected applications to allow gesture-based operation;
Including a method.

The method of claim 1, wherein the presented content comprises at least one from a set comprising text data, spreadsheet data, graphical data, and video data.

The method of claim 2, further comprising:
Detecting a selection of a portion of the content presented on the rendered web page;
Automatically presenting the web page behavior control (WPBC) menu in response to selection of a portion of the presented content, wherein the WPBC menu is the selected of the presented content. Displaying available applications to manage a part of
Including a method.

The method of claim 2, wherein the presented content is customized, analyzed, edited, selected, moved, zoomed, filtered, sorted, fused, and formulated for the content presented on the rendered web page. A method operated by one or more of the processes.

The method of claim 1, further comprising:
Enabling manipulation of the presented content by gesture input on the other user interface when the presented content is displayed on another user interface associated with the selected application; ,
Saving changes to the presented content upon completion of the operation;
Displaying the modified content on the rendered web page;
Including a method.

A server for gesture-based manipulation of content presented on a web page rendered by a client application,
Memory,
A processor coupled to the memory and executing a web application, the web page behavior extension (WPBE) control element rendered by the client application, together with instructions stored in the memory, on the web page Supply, processor,
The web application includes:
Allowing the user to interact with the user interface and gesture input associated with the web page;
Web page behavior displaying one or more applications for manipulating the presented content upon detecting one of activation of the WPBE control element and selection of a portion of the presented content Present the control (WPBC) menu,
Detecting application selection from the WPBC menu by gesture input;
Activate the selected application to manage the presented content;
Displaying the presented content in another user interface associated with the selected application to enable manipulation;
Configured as a server.

7. The server of claim 6, wherein the WPBE control element is associated with the entire web page and one of one or more portions of the presented content displayed on the web page.

The server of claim 6, wherein the web application further comprises:
Public content presented on the web page, implied content that is available but not presented on the web page, as well as a word processing application, spreadsheet application, drawing application supplied by the WPBC menu, One or more of a presentation application, a content aggregation application, and a browsing application allow at least one operation from a set including related content from a data store related to the rendered web page Configured as a server.

The server of claim 6, wherein the web application further comprises:
Allowing the selection of two or more parts of the presented content simultaneously,
Automatically presenting the WPBC menu displaying one or more applications for managing the selected portion of the presented content upon detecting selection of the two or more portions of the presented content And
Detecting the selection of an application from the WPBC menu;
Activating the selected application to manipulate the two or more selected portions of the presented content;
Configured as a server.

A computer-readable storage medium storing instructions for performing gesture-based operations for manipulation of spreadsheet content presented on a rendered web page, the instructions comprising:
Activation of an embedded web page behavior extension (WPBE) control element, selection of a portion of the presented spreadsheet content displayed on the rendered web page, and the rendered web page by gesture input A web that displays one or more applications for managing the presented spreadsheet content displayed on the rendered web page upon detecting one of the unique gestures associated with the page Automatically presents the Page Action Control (WPBC) menu,
Detecting the selection of an application from the WPBC menu;
Enabling manipulation of the presented spreadsheet content by gesture input in one of the rendered web page and another user interface of the application selected from the WPBC menu;
A computer-readable storage medium.