JP2008547128A5 - - Google Patents

Download PDF

Info

Publication number
JP2008547128A5
JP2008547128A5 JP2008519301A JP2008519301A JP2008547128A5 JP 2008547128 A5 JP2008547128 A5 JP 2008547128A5 JP 2008519301 A JP2008519301 A JP 2008519301A JP 2008519301 A JP2008519301 A JP 2008519301A JP 2008547128 A5 JP2008547128 A5 JP 2008547128A5
Authority
JP
Japan
Prior art keywords
user
metadata
sros
sro
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008519301A
Other languages
English (en)
Other versions
JP2008547128A (ja
JP5249755B2 (ja
Filing date
Publication date
Priority claimed from US11/168,913 external-priority patent/US7774713B2/en
Application filed filed Critical
Publication of JP2008547128A publication Critical patent/JP2008547128A/ja
Publication of JP2008547128A5 publication Critical patent/JP2008547128A5/ja
Application granted granted Critical
Publication of JP5249755B2 publication Critical patent/JP5249755B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (19)

  1. プロセス内で動的なユーザエクスペリエンスを提供するコンピュータ化された方法であって、
    前記プロセスの機能を公開するために、1つまたは複数のアクションのセマンティックリッチオブジェクト(SRO)をユーザに対して示すステップであって、前記アクションを実行するために、前記SROはそれぞれ、前記プロセスのアクションに関連付けられたメタデータと、当該アクションのための実行環境に関連したデータとを含むステップと、
    前記プロセス内で所望のアクションを行うために前記SROの少なくとも1つを選択するための対話的ジェスチャを前記ユーザから受け取るステップであって、前記所望のアクションは、受け取られた前記対話的ジェスチャの機能、および選択された少なくとも1つの前記SROに関連付けられた前記アクションとして示されるステップと、
    前記受け取られた対話的ジェスチャに応答して、前記所望のアクションが、前記プロセスの実行環境で利用することが可能であるかどうかを判定するために、前記選択された少なくとも1つのSROから前記メタデータを抽出するステップとを備えることを特徴とする方法。
  2. 前記SROはそれぞれ、前記アクションを実行するためのコードをさらに含み、前記メタデータを抽出するステップは、前記受け取られたジェスチャに応答して、前記所望のアクションが前記プロセスの実行環境で利用可能であるかどうかを判定するために、前記含まれるコードを実行するステップを含むことを特徴とする請求項1に記載のコンピュータ化された方法。
  3. 前記受け取られた対話的ジェスチャに応答して、前記抽出されたメタデータに基づいて、前記ユーザが前記プロセスと情報のやりとりを行うために利用することが可能なアクションのセットを提供するステップをさらに備えることを特徴とする請求項1に記載のコンピュータ化された方法。
  4. 前記利用可能なアクションのセットを提供するステップは、前記SROを通じて公開される前記利用可能なアクションのセットを、フォーム方式のユーザインタフェースで表示するステップ、および、前記ユーザが前記プロセスと情報のやりとりを行うための前記利用可能なアクションのセットを選択的に表示するユーザインタフェースを生成するステップのうち少なくとも1つを備え、前記プロセスは、アプリケーションプログラム、アプリケーションソフトウェア、およびワークフロー処理アプリケーション、の1つまたは複数を含むことを特徴とする請求項3に記載のコンピュータ化された方法。
  5. 前記抽出されたメタデータおよび前記受け取られた対話的ジェスチャに基づいて前記所望のアクションを行うステップをさらに備え、前記ユーザからの前記受け取られた対話的ジェスチャを解釈するためのセマンティックルールのセットを定義するステップをさらに備えることを特徴とする請求項1に記載のコンピュータ化された方法。
  6. ユーザからの照会に応答して複数のSROを提供するステップをさらに備え、前記抽出されたメタデータを、前記プロセスの実行の遂行履歴、前記プロセスの実行とユーザの過去における情報のやりとり、およびプロセス実行モデル、の1つまたは複数と互いに関連付けるステップをさらに備えることを特徴とする請求項1に記載のコンピュータ化された方法。
  7. 前記対話的ジェスチャを前記SROそれぞれの前記メタデータに対応付けるステップをさらに備え、前記選択されたSROおよび前記1つまたは複数の他のSROで表されるアクションを含んだ意味文章として、利用可能なアクションのセットを作成するために、前記選択されたSROの前記抽出されたメタデータを1つまたは複数の他のSROのメタデータに関連付けるステップをさらに備えることを特徴とする請求項1に記載のコンピュータ化された方法。
  8. 1つまたは複数のコンピュータ可読媒体は、請求項1に記載のコンピュータ化された方法を行うコンピュータ実行可能命令を含むことを特徴とする請求項1に記載のコンピュータ化された方法。
  9. ユーザがプロセスと情報のやりとりを行うための振る舞いを能動的に生成するシステムであって、
    1つまたは複数のセマンティックリッチオブジェクト(SRO)を記憶するメモリであって、前記SROはそれぞれ、振る舞いと当該振る舞いの実行環境とに対応するメタデータを含み、前記SROはそれぞれ、前記振る舞いの実行に関連するデータも含むメモリと、
    1つまたは複数の前記SROを前記ユーザに示すインタフェースであって、前記ユーザから1つまたは複数のSROの選択を受け取るようにさらに設定されているインタフェースと、
    前記インタフェースからの前記受け取られた選択を、前記選択されたSRO中の記憶されたメタデータに関連付けることにより、前記ユーザが利用可能な振る舞いのセットを生成するコンピュータ実行可能命令を実行するプロセッサとを備え、
    前記インタフェースは、前記実行環境で前記プロセスと情報のやりとりを行うために、前記生成された振る舞いのセットを前記ユーザに提供することを特徴とするシステム。
  10. 前記ユーザから前記1つまたは複数のSROの選択を受け取るためのユーザ選択装置を有するユーザインタフェースをさらに備えることを特徴とする請求項9に記載のシステム。
  11. 前記プロセッサはさらに、前記インタフェースからの前記受け取られた選択を、前記SROそれぞれの前記記憶されたメタデータに対応付けるように構成されることを特徴とする請求項9に記載のシステム。
  12. 発話行為のセットを、前記SROそれぞれの前記記憶されたメタデータに対応付けるデータ構造をさらに備えることを特徴とする請求項11に記載のシステム。
  13. 前記インタフェースは、前記ユーザから1つのSROの選択を受け取って、1つまたは複数の他のSROに関連付け、前記プロセッサは、前記受け取られた選択と、前記1つのSROと前記1つまたは複数の他のSROの前記記憶されたメタデータとに基づいて、前記ユーザが利用可能な振る舞いのセットを生成して、前記1つのSROを前記1つまたは複数の他のSROに関連付けるように構成されることを特徴とする請求項9に記載のシステム。
  14. 前記プロセッサはさらに、前記記憶されたメタデータおよび前記インタフェースからの前記受け取られた選択に基づいて、前記振る舞いの実行に関連する前記記憶されたデータを実行して前記振る舞いのセットを生成するように構成されることを特徴とする請求項9に記載のシステム。
  15. 前記インタフェースは、前記ユーザからの照会に応答して1つまたは複数のSROを提供し、前記プロセスの実行環境に基づいて、前記SROの前記生成された振る舞いのセットを選択的に提供し、フォーム方式のユーザインタフェースを介して前記ユーザから1つまたは複数のSROの選択を受け取るように構成され、
    前記プロセッサはさらに、前記記憶されたメタデータを、前記プロセスの実行の遂行履歴、前記プロセスの実行とユーザの過去における情報のやりとり、およびプロセス実行モデル、の1つまたは複数と互いに関連付けるように構成されることを特徴とする請求項9に記載のシステム。
  16. 前記プロセッサはさらに、前記インタフェースを介した前記ユーザからの前記受け取られた選択を解釈するためのセマンティックルールのセットを定義するように構成され、前記プロセッサは、前記定義されたセマンティックルールのセットに基づいて、前記所望の振る舞いのセットが、前記プロセスの実行環境で利用可能であるかどうかを判定することにより、前記利用可能な振る舞いのセットを生成することを特徴とする請求項9に記載のシステム。
  17. セマンティックリッチオブジェクトのデータ構造が記憶されたコンピュータ可読媒体であって、
    前記セマンティックリッチオブジェクトに関連する前記データを記憶するオブジェクトデータフィールドと、
    前記オブジェクトデータフィールドに記憶されている前記セマンティックリッチオブジェクトに関連する前記データを操作するために、プロセスに関連付けられた1つまたは複数のアクションを表すメタデータを含む、前記セマンティックリッチオブジェクトの第1のデータフィールドと、
    前記オブジェクトデータフィールドに記憶されている前記セマンティックリッチオブジェクトに関連する前記データを操作するために、前記プロセスの実行環境を表すメタデータを含む、前記セマンティックリッチオブジェクトの第2のデータフィールドであって、前記第1のデータフィールドは、前記第2のデータフィールドに関連付けられて、前記プロセスの実行環境で行われる利用可能なアクションのセットを定義する第2のデータフィールドと
    セマンティックルールのセットを表すメタデータを含む、前記セマンティックリッチオブジェクトの第3のデータフィールドであって、前記オブジェクトデータフィールドに記憶されている前記セマンティックリッチオブジェクトに関連する前記データを操作するために、前記セマンティックルールは、前記第1のデータフィールドの前記メタデータおよび前記第2のデータフィールドの前記メタデータに関連付けられた1つまたは複数の対話的ジェスチャを定義する第3のデータフィールドとを備えることを特徴とするコンピュータ可読媒体。
  18. 前記第3のデータフィールドのメタデータは、対話的ジェスチャのセットおよび発話行為のセットを表すメタデータを含み、前記対話的ジェスチャのセットおよび前記発話行為のセットは、前記第1のデータフィールドの前記メタデータおよび前記第2のデータフィールドの前記メタデータに対応付けられていることを特徴とする請求項17に記載のコンピュータ可読媒体。
  19. プロセスの周辺サービス定義のセット、対話的ジェスチャPIN、プロセス拡張可能性メソッド、プロセスオブジェクトモデル、前記プロセスの実行の遂行履歴、前記プロセスの実行とユーザの過去における情報のやりとり、前記振る舞いの実行、およびプロセス実行モデル、の1つまたは複数に関連付けられたメタデータを含む1つまたは複数のデータフィールドをさらに備えることを特徴とする請求項17に記載のコンピュータ可読媒体。
JP2008519301A 2005-06-28 2006-05-16 セマンティックリッチオブジェクトによる動的なユーザエクスペリエンス Expired - Fee Related JP5249755B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/168,913 US7774713B2 (en) 2005-06-28 2005-06-28 Dynamic user experience with semantic rich objects
US11/168,913 2005-06-28
PCT/US2006/018930 WO2007001668A2 (en) 2005-06-28 2006-05-16 Dynamic user experience with semantic rich objects

Publications (3)

Publication Number Publication Date
JP2008547128A JP2008547128A (ja) 2008-12-25
JP2008547128A5 true JP2008547128A5 (ja) 2009-07-02
JP5249755B2 JP5249755B2 (ja) 2013-07-31

Family

ID=37569105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008519301A Expired - Fee Related JP5249755B2 (ja) 2005-06-28 2006-05-16 セマンティックリッチオブジェクトによる動的なユーザエクスペリエンス

Country Status (9)

Country Link
US (1) US7774713B2 (ja)
EP (1) EP1896942A4 (ja)
JP (1) JP5249755B2 (ja)
KR (1) KR20080017414A (ja)
CN (1) CN101495965B (ja)
BR (1) BRPI0612139A2 (ja)
MX (1) MX2007015894A (ja)
RU (1) RU2417408C2 (ja)
WO (1) WO2007001668A2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US7818350B2 (en) 2005-02-28 2010-10-19 Yahoo! Inc. System and method for creating a collaborative playlist
US7844820B2 (en) * 2005-10-10 2010-11-30 Yahoo! Inc. Set of metadata for association with a composite media item and tool for creating such set of metadata
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8095565B2 (en) * 2005-12-05 2012-01-10 Microsoft Corporation Metadata driven user interface
US8341597B2 (en) 2007-01-17 2012-12-25 International Business Machines Corporation Editing source code
US20090187531A1 (en) * 2008-01-21 2009-07-23 Microsoft Corporation User experience for viewing business data via personal information application
US8549475B1 (en) * 2008-07-08 2013-10-01 Adobe Systems Incorporated System and method for simplifying object-oriented programming
KR100980683B1 (ko) * 2008-09-01 2010-09-08 삼성전자주식회사 휴대단말기의 메뉴 리스트 생성을 위한 사용자 인터페이스 제공 방법 및 장치
EP2342642A1 (en) * 2008-09-04 2011-07-13 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
US8914397B2 (en) * 2008-12-04 2014-12-16 Microsoft Corporation Rich-context tagging of resources
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US9218126B2 (en) 2009-09-21 2015-12-22 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8700592B2 (en) 2010-04-09 2014-04-15 Microsoft Corporation Shopping search engines
US9785987B2 (en) 2010-04-22 2017-10-10 Microsoft Technology Licensing, Llc User interface for information presentation system
US9043296B2 (en) 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
US8793706B2 (en) 2010-12-16 2014-07-29 Microsoft Corporation Metadata-based eventing supporting operations on data
WO2012098534A1 (en) 2011-01-23 2012-07-26 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8959082B2 (en) 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US8738391B2 (en) 2011-11-22 2014-05-27 International Business Machines Corporation Using non-textual notation for describing service related human experience based on a hierarchal model of human needs
US8954330B2 (en) 2011-11-28 2015-02-10 Microsoft Corporation Context-aware interaction system using a semantic model
US8994755B2 (en) 2011-12-20 2015-03-31 Alcatel Lucent Servers, display devices, scrolling methods and methods of generating heatmaps
US9031975B2 (en) 2012-11-06 2015-05-12 Rockwell Automation Technologies, Inc. Content management
US9355193B2 (en) 2012-11-06 2016-05-31 Rockwell Automation Technologies, Inc. Object design data model
US8898634B2 (en) 2012-11-06 2014-11-25 Rockwell Automation Technologies, Inc. Customized object design for industrial automation application
US9563861B2 (en) 2012-11-06 2017-02-07 Rockwell Automation Technologies, Inc. Integration of workflow and library modules
US9135000B2 (en) * 2012-11-06 2015-09-15 Rockwell Automation Technologies, Inc. Runtime process diagnostics
KR101351561B1 (ko) * 2013-05-08 2014-01-15 주식회사 아몬드 소프트 빅 데이터 추출 시스템 및 방법
US9431008B2 (en) 2013-05-29 2016-08-30 Nuance Communications, Inc. Multiple parallel dialogs in smart phone applications
US9984086B2 (en) 2014-08-05 2018-05-29 International Business Machines Corporation Performing actions on objects as a result of applying tags to the objects
US9813305B2 (en) * 2014-08-05 2017-11-07 International Business Machines Corporation Enabling a tag to show status
CN110268711B (zh) 2016-11-17 2021-07-02 英特尔公司 用于编码宽视图视频的球面旋转的方法及装置
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US10838746B2 (en) 2017-05-18 2020-11-17 Aiqudo, Inc. Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US11056105B2 (en) * 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
EP3635578A4 (en) 2017-05-18 2021-08-25 Aiqudo, Inc. SYSTEMS AND PROCEDURES FOR CRWODSOURCING ACTIONS AND COMMANDS
US10768954B2 (en) 2018-01-30 2020-09-08 Aiqudo, Inc. Personalized digital assistant device and related methods

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0495310A3 (en) * 1991-01-17 1993-03-24 International Business Machines Corporation A process control method and apparatus
JPH05324339A (ja) * 1992-05-20 1993-12-07 Pfu Ltd 連携処理制御方式
FR2696574B1 (fr) 1992-10-06 1994-11-18 Sextant Avionique Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
JP2505974B2 (ja) * 1992-12-08 1996-06-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 複数の適用業務プログラムを統合化グラフィカル・ユ―ザ・インタフェ―ス処理環境へ統合化するための方法
JPH07114464A (ja) * 1993-10-20 1995-05-02 Fujitsu Ltd オブジェクト指向データ処理システム
JPH07319698A (ja) * 1994-05-24 1995-12-08 Fuji Xerox Co Ltd プログラム実行装置
US5831606A (en) * 1994-12-13 1998-11-03 Microsoft Corporation Shell extensions for an operating system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6115646A (en) * 1997-12-18 2000-09-05 Nortel Networks Limited Dynamic and generic process automation system
US6377288B1 (en) * 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US6484155B1 (en) * 1998-07-21 2002-11-19 Sentar, Inc. Knowledge management system for performing dynamic distributed problem solving
WO2000014618A2 (en) * 1998-08-24 2000-03-16 Fujitsu Limited Workflow system and method
JP3276079B2 (ja) * 1998-09-14 2002-04-22 松下電器産業株式会社 平面型入力装置
JP3798170B2 (ja) * 1999-02-08 2006-07-19 シャープ株式会社 グラフィカル・ユーザ・インターフェイスを備えた情報処理システム
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
AU1333801A (en) 1999-10-13 2001-04-23 Troba, Inc. Electronic shopping management: task models
AU2001239425A1 (en) 2000-03-31 2001-10-15 British Telecommunications Public Limited Company Resource modelling
US7712024B2 (en) * 2000-06-06 2010-05-04 Microsoft Corporation Application program interfaces for semantically labeling strings and providing actions based on semantically labeled strings
US7421645B2 (en) * 2000-06-06 2008-09-02 Microsoft Corporation Method and system for providing electronic commerce actions based on semantically labeled strings
JP2002205440A (ja) * 2001-01-10 2002-07-23 Sharp Corp 入力表示装置およびその制御方法
US7546602B2 (en) * 2001-07-10 2009-06-09 Microsoft Corporation Application program interface for network software platform
US20030132944A1 (en) 2001-10-03 2003-07-17 Sun Microsystems, Inc. User control of generalized semantic zooming
US20030093551A1 (en) 2001-10-17 2003-05-15 Graham Taylor Adaptive software interface
US7089287B2 (en) * 2002-01-16 2006-08-08 Xerox Corporation Message-based system having embedded information management capabilities
US7644006B2 (en) 2002-06-21 2010-01-05 Hewlett-Packard Development Company, L.P. Semantically investigating business processes
US7249019B2 (en) * 2002-08-06 2007-07-24 Sri International Method and apparatus for providing an integrated speech recognition and natural language understanding for a dialog system
US20040083199A1 (en) * 2002-08-07 2004-04-29 Govindugari Diwakar R. Method and architecture for data transformation, normalization, profiling, cleansing and validation
US20040078105A1 (en) * 2002-09-03 2004-04-22 Charles Moon System and method for workflow process management
US7660820B2 (en) 2002-11-12 2010-02-09 E.Piphany, Inc. Context-based heterogeneous information integration system
US7640267B2 (en) * 2002-11-20 2009-12-29 Radar Networks, Inc. Methods and systems for managing entities in a computing device using semantic objects
US20040207659A1 (en) * 2003-04-02 2004-10-21 International Business Machines Corporation Program creation by combining web services using graphic user interface controls
US20040249824A1 (en) * 2003-06-05 2004-12-09 International Business Machines Corporation Semantics-bases indexing in a distributed data processing system
US7685568B2 (en) 2003-07-22 2010-03-23 Sap Ag Service management of a service oriented business framework
US7890964B2 (en) * 2005-04-22 2011-02-15 Sap Ag Methods and apparatus for contextual awareness in a groupware client

Similar Documents

Publication Publication Date Title
JP2008547128A5 (ja)
RU2007149562A (ru) Динамический опыт пользователя посредством семантически богатых объектов
CN107491181A (zh) 语言输入的动态短语扩展
CN109891374B (zh) 用于与数字代理的基于力的交互的方法和计算设备
CN107430502A (zh) 由帮助信息动态推断用于软件应用的语音命令
US9910641B2 (en) Generation of application behaviors
CN105843734A (zh) 一种自动化测试方法、装置及计算设备
JP4736713B2 (ja) プロジェクトメンバーの選定を支援するシステムと方法
WO2020060641A1 (en) Proactive notification of relevant feature suggestions based on contextual analysis
CN112558824A (zh) 一种页面显示方法、装置、以及计算机存储介质
JP5619979B2 (ja) マインドマップユーザインターフェースを含む電子機器、及びこれを利用したマインドマップ作成方法
JP2007025497A (ja) 教育支援プログラムおよび教育支援装置
CN113407284A (zh) 导航界面的生成方法、装置、存储介质及电子设备
JP6640068B2 (ja) ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム
EP2867796A1 (en) User events/behaviors and perceptual computing system emulation
US8667296B1 (en) Generating a password from a media item
JP2011145996A (ja) レビューワ評価装置、レビューワ評価方法、及びプログラム
CN106984044A (zh) 用于启动预设流程的方法及设备
EP3374879A1 (en) Provide interactive content generation for document
Schmidt et al. On enriching ajax with semantics: The web personalization use case
EP3014426B1 (en) Self-revealing symbolic gestures
CN108460077B (zh) 一种指标分析方法、系统以及计算机可读存储介质
JP2020161012A (ja) 情報処理装置、制御方法、プログラム
Schuler et al. Rule-based generation of mobile user interfaces
JP6797038B2 (ja) ソフトウェア素材選定支援装置及びソフトウェア素材選定支援プログラム