JP2019114245A - 層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法 - Google Patents
層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2019114245A JP2019114245A JP2018223019A JP2018223019A JP2019114245A JP 2019114245 A JP2019114245 A JP 2019114245A JP 2018223019 A JP2018223019 A JP 2018223019A JP 2018223019 A JP2018223019 A JP 2018223019A JP 2019114245 A JP2019114245 A JP 2019114245A
- Authority
- JP
- Japan
- Prior art keywords
- user
- layer
- graphical object
- visual montage
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本明細書で説明される実施形態は、ユーザ(例えば、視覚的モンタージュの視聴者)に関連付けられた周囲環境情報に基づいて、複数の層を有する視覚的モンタージュを生成することによって、グランスインターフェースを改善することの問題を解決する。複数の層はそれぞれ、状態、イベント、人物、活動、および/または提示される周囲環境からの任意の他の情報または概念を表すそれぞれの時間範囲およびオーナメントのセットと関連付けられてもよい。周囲環境は、例えば、ユーザの地理的位置および物理的環境、地元の天気、ユーザの社会活動データ、およびユーザのモバイルアプリケーションからの情報を含む、ユーザを取り囲むデジタルおよび現実世界の両方を含む。
周囲環境に基づいて視覚的モンタージュを生成する場合、システムは、時間対空間マッピング、空間対空間マッピング、および/または論理対機能対空間マッピングを実行し得る。システムは、周囲環境から異なる情報をクラスタリングし、クラスタ化された情報を視覚的モンタージュ内の空間的関係にマッピングし得る。システムは、情報のクラスタからグラフィカルオブジェクトへのマッピングのための閾値を定義することができる。システムは、ユーザのクラスタリング構成情報を自動的に決定し、および/または情報のクラスタリングのための選好を指定するユーザ入力を受信し得る。
迅速な理解を容易にするために、視覚化は、一次メッセージを一目で把握する感覚を提供し、時間の許す限り二次メッセージおよび他のメッセージのさらなるイントロスペクションを与えるべきである。例えば、社会的活動が最も重要であるように、表現されたアプリケーションで行われる多くの社会活動がある場合、視覚化はその側面を非常に明確にすべきである。ユーザが視覚化を通じて、多くの社会活動が存在すると知覚する場合、ユーザはその社会活動に従事したいと望むことがある。このように、本システムは、所望のユーザ対話をもたらす情報を提供する。
本明細書で開示される視覚化手順フレームワーク1)は、階層的フォーカス要素を表し、複数の同じ階層要素をサポートし、2)よく理解された表現の使用をサポートし、3)知覚的、注釈的、および協調的な方法による魅力的な提示を提供し、4)組成の最小セットを通して表現力を最大にする。
図1は、一実施形態による、層化された視覚的モンタージュを通して環境情報を提供するための例示的なシステム100を示すブロック図を提示する。ユーザ102は、モバイルデバイス104を動作させ得る。モバイルデバイス104は、内部センサを含み得、通信ネットワーク110を介してアクセス可能な外部センサ106およびセンサ108等の他のセンサにアクセスすることもできる。内部センサおよび/または外部センサは、例えば、周囲雑音デシベルレベル、周囲温度、空気圧、および/または周囲環境の他の特性を検出するセンサであってもよい。センサは、システムが視覚的モンタージュを生成するために使用できるデータを提供する。
周囲視覚化モンタージュ技術は、グランス(ウェアラブル)、バースト(モバイル)、または環境(デスクトップまたはウォールディスプレイ)インターフェースに好適である。これは、分析サービスの付属物として機能することができ、詳細の代わりに、に大きい絵またはシステムウェルネスビューに関心を持つ上位レベルのステークホルダーのニーズに対応し得る。ユーザは、周囲視覚化モンタージュを使用して、最初の検索を指示するか、または表示画像に基づいて分析にドリルダウンし得る。視覚的モンタージュは、迅速かつ効率的な対話型情報伝達手段を提供する。
図2は、一実施形態による、層化された視覚的モンタージュを生成し、ユーザ対話に応答する例示的な方法を示すフローチャートを提示する。異なる実施形態は、以下に記載される動作と異なり得、本発明の実施形態は、以下に記載される例示的な実施形態に限定されない。いくつかの実施形態では、システムは、以下の動作を異なる順序で実行してもよく、または異なる動作の1つの動作について以下に説明する動作を実行してもよい。
図3は、一実施形態による例示的な層化された視覚的モンタージュを示すブロック図300を提示する。例示的なシナリオでは、システムは、ソーシャルチームの物理的および会話的活動を伝達するためのモバイルアプリケーションにおいて周囲視覚化を生成し得る。モバイルアプリケーションの設計仕様およびモバイルアプリケーションの画面ショットの例は、以下に説明されるとおりであり得る。
図8は、一実施形態による、視覚的モンタージュの層の分解図を示すブロック図800を提示する。この図は、展開された場合に現れる層を図示する。ベース層802は、青空804と、時刻を表す太陽806の位置とを含む。太陽は、時刻に応じて日中に動き得る。層に描写された斜面808、810は、それぞれの層の時間範囲に関連付けられている。オーナメント812は、活動に参加する人々のグループを示す。また、コーチ814は、ユーザに対してメッセージ816を通信している。
図10は、一実施形態による例示的な視覚化装置1000を示すブロック図を提示する。装置1000は、有線または無線通信チャネルを介して互いに通信することができる複数のモジュールを備えることができる。装置1000は、1つ以上の集積回路を使用して実現されてもよく、図10に示されるモジュールよりも少ないかまたは多いモジュールを含んでもよい。さらに、装置1000は、コンピュータシステムに統合されてもよく、または他のコンピュータシステムおよび/または装置と通信することができる別個の装置として実現されてもよい。
図11は、一実施形態による、例示的な視覚化システム1100を示す。視覚化システム1102は、プロセッサ1104、メモリ1106、および記憶装置1108を含む。メモリ1106は、管理されたメモリとして働く揮発性メモリ(例えば、RAM)を含むことができ、1つ以上のメモリプールを記憶するのに使用され得る。さらに、コンピュータおよび通信システム1102は、ディスプレイデバイス1110、キーボード1112、およびポインティングデバイス1114に結合されることができる。
Claims (10)
- 視覚的モンタージュを生成するためのコンピュータ実装方法であって、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザの周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも1つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含む、方法。 - 1つ以上のグラフィカルオブジェクトとのユーザ対話に対する応答を指定する規則を決定することと、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記選択されたグラフィカルオブジェクトに関連付けられた規則を実行して、前記ユーザに応答を提供することと、をさらに含む、請求項1に記載の方法。 - 選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記グラフィカルオブジェクトによって表されるデバイスを制御することをさらに含む、請求項1に記載の方法。
- 特定のグラフィカルオブジェクトに関連付けられた時間の変化を判定することに応答して、前記グラフィカルオブジェクトを前記視覚的モンタージュの別の層に移動させることをさらに含む、請求項1に記載の方法。
- 前記複数の層が、少なくともフォアグラウンド層およびバックグラウンド層を含み、前記フォアグラウンド層が、最も新しい時間範囲に関連付けられ、前記バックグラウンド層が、最も古い時間範囲に関連付けられる、請求項1に記載の方法。
- 視覚的モンタージュを生成するためのコンピューティングシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるとき、前記1つ以上のプロセッサに、方法を実行させる命令を記憶した前記1つ以上のプロセッサに結合された非一時的コンピュータ可読媒体と、を備え、前記方法が、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザの周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも1つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含む、システム。 - 前記方法が、
1つ以上のグラフィカルオブジェクトとのユーザ対話に対する応答を指定する規則を決定することと、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記選択されたグラフィカルオブジェクトに関連付けられた規則を実行して、前記ユーザに応答を提供することと、をさらに含む、請求項6に記載のシステム。 - 前記方法が、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記グラフィカルオブジェクトによって表されるデバイスを制御することをさらに含む、請求項6に記載のシステム。 - 前記複数の層が、少なくともフォアグラウンド層およびバックグラウンド層を含み、前記フォアグラウンド層が、最も新しい時間範囲に関連付けられ、前記バックグラウンド層が、最も古い時間範囲に関連付けられる、請求項6に記載のシステム。
- コンピュータによって実行されるとき、前記コンピュータに、視覚的モンタージュを生成するための方法を実行させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザの周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも1つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含む、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/853,434 US10379718B2 (en) | 2017-12-22 | 2017-12-22 | System and method for providing ambient information to user through layered visual montage |
US15/853,434 | 2017-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114245A true JP2019114245A (ja) | 2019-07-11 |
JP7261569B2 JP7261569B2 (ja) | 2023-04-20 |
Family
ID=64665220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018223019A Active JP7261569B2 (ja) | 2017-12-22 | 2018-11-29 | 層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10379718B2 (ja) |
EP (1) | EP3503034A1 (ja) |
JP (1) | JP7261569B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318751A (ja) * | 2000-01-18 | 2001-11-16 | Seiko Epson Corp | 表示装置及び携帯型情報処理装置並びに情報記録媒体及び電子機器 |
US20070132767A1 (en) * | 2005-11-30 | 2007-06-14 | William Wright | System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5915044A (en) * | 1995-09-29 | 1999-06-22 | Intel Corporation | Encoding video images using foreground/background segmentation |
US7982738B2 (en) * | 2004-12-01 | 2011-07-19 | Microsoft Corporation | Interactive montages of sprites for indexing and summarizing video |
KR101456652B1 (ko) * | 2007-02-01 | 2014-11-04 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템 |
US9901829B2 (en) * | 2008-07-15 | 2018-02-27 | Pamela Barber | Digital imaging method and apparatus |
US20120136762A1 (en) * | 2010-11-24 | 2012-05-31 | Stefan Wissenbach | Systems, Methods, and Media for Lifestyle Management |
US9824296B2 (en) * | 2011-11-10 | 2017-11-21 | Canon Kabushiki Kaisha | Event detection apparatus and event detection method |
US9154601B2 (en) * | 2013-07-15 | 2015-10-06 | Microsoft Technology Licensing, Llc | Intelligent user interfaces for multiple SIM cards |
KR101683809B1 (ko) * | 2015-01-16 | 2016-12-08 | 네이버 주식회사 | 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치 |
KR102354319B1 (ko) * | 2015-01-30 | 2022-01-21 | 삼성전자주식회사 | 오브젝트를 표시하기 위한 방법 및 전자 장치 |
US10402045B2 (en) * | 2015-12-08 | 2019-09-03 | King.Com Ltd. | Controlling an image displayed on a user interface of a computer device |
US10074161B2 (en) * | 2016-04-08 | 2018-09-11 | Adobe Systems Incorporated | Sky editing based on image composition |
US10347217B2 (en) * | 2016-08-19 | 2019-07-09 | Intel Corporation | Placement of graphic elements of GUI with region of interest |
US10659759B2 (en) * | 2016-08-29 | 2020-05-19 | Stratus Systems, Inc. | Selective culling of multi-dimensional data sets |
-
2017
- 2017-12-22 US US15/853,434 patent/US10379718B2/en active Active
-
2018
- 2018-11-29 JP JP2018223019A patent/JP7261569B2/ja active Active
- 2018-12-12 EP EP18212119.4A patent/EP3503034A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318751A (ja) * | 2000-01-18 | 2001-11-16 | Seiko Epson Corp | 表示装置及び携帯型情報処理装置並びに情報記録媒体及び電子機器 |
US20070132767A1 (en) * | 2005-11-30 | 2007-06-14 | William Wright | System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface |
Also Published As
Publication number | Publication date |
---|---|
US10379718B2 (en) | 2019-08-13 |
EP3503034A1 (en) | 2019-06-26 |
JP7261569B2 (ja) | 2023-04-20 |
US20190196694A1 (en) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11924283B2 (en) | Moving content between virtual and physical displays | |
US20230143891A1 (en) | Controlling physical displays based on usage of wearable extended reality appliances | |
BRPI1006510A2 (pt) | interface gráfica inteligente com dispositivo manual sem fios | |
US11877203B2 (en) | Controlled exposure to location-based virtual content | |
WO2022170222A1 (en) | Content sharing in extended reality | |
US20220246135A1 (en) | Information processing system, information processing method, and recording medium | |
JP7261569B2 (ja) | 層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法 | |
Tomitsch et al. | Information sky: Exploring the visualization of information on architectural ceilings | |
Uskenbayeva | CHINIBAYEV YERSAIN GULISLAMOVICH | |
Fuentes Bongenaar | Data Physicalization for Communication of Real-time Library Occupancy at the University of Twente: A Participatory Design Approach | |
Olsen | Expanding the Information Fidelity of Calm Technology Devices Through Techniques of Information Visualization | |
Baldauf et al. | How to raise the voice anytime anywhere: technological fundamentals for enabling pervasive participation | |
WO2023146837A9 (en) | Extended reality for collaboration | |
Storz | A Distributed Systems Infrastructure for Open Public Display Research Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181212 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211124 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230203 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230215 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |