JP2013033471A - コンテキスト適応型ユーザインターフェイスシステム - Google Patents
コンテキスト適応型ユーザインターフェイスシステム Download PDFInfo
- Publication number
- JP2013033471A JP2013033471A JP2012160949A JP2012160949A JP2013033471A JP 2013033471 A JP2013033471 A JP 2013033471A JP 2012160949 A JP2012160949 A JP 2012160949A JP 2012160949 A JP2012160949 A JP 2012160949A JP 2013033471 A JP2013033471 A JP 2013033471A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display
- passive
- program product
- computer program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】装置の表示バッファから画像データを取得するステップと、画像データを分析して、画像データの能動領域及び受動領域を識別するステップと、受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、装置上に表示する画像データを、ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップとにより、表示するグラフィック要素を提示する。
【選択図】図1
Description
本開示の1つの態様は、ビデオデータなどの画像データの表示とともにグラフィック要素を提示するための位置及び表示属性を決定することに関する。表示する画像データを動的に分析し、画像データのコンテンツに基づいて1又はそれ以上のグラフィック要素を提示するための方法及び装置を提供する。本明細書で説明する実施形態の1つの利点は、ユーザにとって重要な又は望ましいデータのオーバーレイを避けながら、表示された画像データにオーバーレイするグラフィック要素を提示する能力であると考えることができる。装置が表示するコンテンツに基づいて、装置コマンド、デジタルビデオ記録(DVR)、及び再生コマンド、チャネルリスト、番組ガイド及び放送情報へのアクセスなどのグラフィック要素を位置付けることができる。同様に、ソーシャル・ネットワーク・アプリケーション・メッセージ、eメール、ダイアログボックス、インスタントメッセージ・アプリケーション、ウェブログなどの1又はそれ以上のような、メッセージのためのグラフィック要素を提示することもできる。表示する画像データを分析することで、画像データの画面レイアウト及び特定のユーザインターフェイスの配置上へのオーバーレイを防ぐことができる。
ここで図を参照すると、図1に、1又はそれ以上の実施形態でグラフィック要素を提示するために使用できる画像データ取得のグラフィック表現を示している。図1は、装置のバッファに記憶された、装置が表示するコンテンツに関連できる画像データ100を含む。例えば、画像データ100は、装置による表示前にフレームバッファに記憶されたビデオ画像データに関連することができる。1つの実施形態によれば、1又はそれ以上のグラフィック要素を提示するために、画像データ100を動的に分析して、画像データの受動領域及び/又は能動領域を決定することができる。装置による画像データ100の分析に基づいて、画像データ100の既存のコンテンツとともに1又はそれ以上のグラフィック要素を提示することができる。
Claims (30)
- 表示するグラフィック要素を提示する方法であって、
装置の表示バッファから画像データを取得するステップと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するステップと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップと、
を含むことを特徴とする方法。 - 前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項1に記載の方法。 - 前記画像データを取得するステップが、前記画像データを1又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項1に記載の方法。 - 前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項1に記載の方法。 - 前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項1に記載の方法。 - 前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも1つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項1に記載の方法。 - 前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項1に記載の方法。 - 前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い1又はそれ以上の画像データを含む、
ことを特徴とする請求項1に記載の方法。 - 前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い1又はそれ以上の画像データを含む、
ことを特徴とする請求項1に記載の方法。 - 前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記表示する画像データを修正するステップが、前記表示の出力に1又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記受動領域の特性に基づいて、グラフィック要素の1又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項1に記載の方法。 - 画像データを提示するためのコンピュータ実行可能コードを含む、コンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
装置の表示バッファから画像データを取得するためのコンピュータ可読コードと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するためのコンピュータ可読コードと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するためのコンピュータ可読コードと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するためのコンピュータ可読コードと、
を含むことを特徴とするコンピュータプログラム製品。 - 前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データを取得するステップが、前記画像データを1又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも1つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い1又はそれ以上の画像データを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い1又はそれ以上の画像データを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記表示する画像データを修正するステップが、前記表示の出力に1又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 前記受動領域の特性に基づいて、グラフィック要素の1又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項15に記載のコンピュータプログラム製品。 - 表示バッファと、
前記表示バッファに結合されたプロセッサと、
を備え、前記プロセッサが、
表示バッファから画像データを取得し、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別し、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定し、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正する。 - 前記装置が、ディスプレイ装置、パーソナル通信装置、ハンドヘルドコンピュータ装置、及び一般的コンピュータ装置の1又はそれ以上に関する、
ことを特徴とする請求項29に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/180,850 US8446432B2 (en) | 2011-07-12 | 2011-07-12 | Context aware user interface system |
US13/180,850 | 2011-07-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033471A true JP2013033471A (ja) | 2013-02-14 |
JP5685224B2 JP5685224B2 (ja) | 2015-03-18 |
Family
ID=47481732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160949A Active JP5685224B2 (ja) | 2011-07-12 | 2012-07-02 | コンテキスト適応型ユーザインターフェイスシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8446432B2 (ja) |
JP (1) | JP5685224B2 (ja) |
KR (1) | KR101360721B1 (ja) |
CN (1) | CN102880381B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110110433A (ko) * | 2010-04-01 | 2011-10-07 | 삼성전자주식회사 | 영상 표시 장치 및 영상 표시 방법 |
US9348479B2 (en) * | 2011-12-08 | 2016-05-24 | Microsoft Technology Licensing, Llc | Sentiment aware user interface customization |
US9378290B2 (en) | 2011-12-20 | 2016-06-28 | Microsoft Technology Licensing, Llc | Scenario-adaptive input method editor |
CN104428734A (zh) | 2012-06-25 | 2015-03-18 | 微软公司 | 输入法编辑器应用平台 |
US8959109B2 (en) | 2012-08-06 | 2015-02-17 | Microsoft Corporation | Business intelligent in-document suggestions |
WO2014032244A1 (en) | 2012-08-30 | 2014-03-06 | Microsoft Corporation | Feature-based candidate selection |
CN105580004A (zh) | 2013-08-09 | 2016-05-11 | 微软技术许可有限责任公司 | 提供语言帮助的输入方法编辑器 |
US10346023B2 (en) | 2014-02-27 | 2019-07-09 | Dropbox, Inc. | Selectively emphasizing digital content |
US9836205B2 (en) | 2014-02-27 | 2017-12-05 | Dropbox, Inc. | Activating a camera function within a content management application |
US10503453B2 (en) * | 2014-10-30 | 2019-12-10 | Dropbox, Inc. | Interacting with digital content using multiple applications |
US9870623B2 (en) * | 2016-05-14 | 2018-01-16 | Google Llc | Segmenting content displayed on a computing device into regions based on pixels of a screenshot image that captures the content |
CN106101810B (zh) * | 2016-08-15 | 2019-09-20 | 青岛海信电器股份有限公司 | 用于智能电视的界面主题变换方法、装置及智能电视 |
KR102163443B1 (ko) | 2016-11-07 | 2020-10-08 | 스냅 인코포레이티드 | 이미지 변경자들의 선택적 식별 및 순서화 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033210A (ja) * | 2004-07-14 | 2006-02-02 | Alpine Electronics Inc | 画像表示装置および方法 |
JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822123A (en) * | 1993-09-09 | 1998-10-13 | Davis; Bruce | Electronic television program guide schedule system and method with pop-up hints |
WO2001054113A1 (de) * | 2000-01-21 | 2001-07-26 | Siemens Aktiengesellschaft | Verfahren zum gleichzeitigen überlappungsfreien darstellen von mindestens zwei datenvisualisierungsfenstern auf der anzeigefläche eines monitors einer datenverarbeitungsanlage |
US6971068B2 (en) | 2001-07-26 | 2005-11-29 | International Business Machines Corporation | Dialog box positioning |
JP2006155343A (ja) * | 2004-11-30 | 2006-06-15 | Sanyo Electric Co Ltd | 表示装置、及び、表示プログラム |
KR20070020994A (ko) * | 2005-08-17 | 2007-02-22 | 삼성전자주식회사 | 영상신호 변환장치 및 그 방법 |
US7437678B2 (en) * | 2005-10-27 | 2008-10-14 | International Business Machines Corporation | Maximizing window display area using window flowing |
US7770109B2 (en) | 2005-12-16 | 2010-08-03 | Microsoft Corporation | Adaptive layout for content |
KR20110046928A (ko) * | 2009-10-29 | 2011-05-06 | 엘지전자 주식회사 | 영상의 디스플레이 장치 및 방법 |
-
2011
- 2011-07-12 US US13/180,850 patent/US8446432B2/en active Active
-
2012
- 2012-06-15 KR KR1020120064071A patent/KR101360721B1/ko active IP Right Grant
- 2012-06-29 CN CN201210229626.0A patent/CN102880381B/zh not_active Expired - Fee Related
- 2012-07-02 JP JP2012160949A patent/JP5685224B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033210A (ja) * | 2004-07-14 | 2006-02-02 | Alpine Electronics Inc | 画像表示装置および方法 |
JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US20130016113A1 (en) | 2013-01-17 |
KR101360721B1 (ko) | 2014-02-07 |
US8446432B2 (en) | 2013-05-21 |
CN102880381A (zh) | 2013-01-16 |
JP5685224B2 (ja) | 2015-03-18 |
KR20130008454A (ko) | 2013-01-22 |
CN102880381B (zh) | 2015-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5685224B2 (ja) | コンテキスト適応型ユーザインターフェイスシステム | |
KR102442170B1 (ko) | 디스플레이 장치의 이의 디스플레이 방법 | |
JP4331240B2 (ja) | 電子機器および画像表示方法 | |
US10909307B2 (en) | Web-based system for capturing and sharing instructional material for a software application | |
JP2009089065A (ja) | 電子機器および顔画像表示装置 | |
JP2009076982A (ja) | 電子機器および顔画像表示方法 | |
JP2009081699A (ja) | 電子機器および顔画像抽出制御方法 | |
JP5323260B2 (ja) | 制御端末装置及びリモート制御システム | |
JP2009182876A (ja) | 電子機器および表示処理方法 | |
JP5330551B2 (ja) | 電子機器および表示処理方法 | |
JP5232291B2 (ja) | 電子機器および顔画像表示方法 | |
TWI672946B (zh) | 播放視頻的方法及裝置 | |
JP5377624B2 (ja) | 電子機器および顔画像表示装置 | |
JP5349651B2 (ja) | 電子機器、顔画像抽出制御方法およびプログラム | |
CN115373786A (zh) | 多媒体播放方法、装置、设备和存储介质 | |
JP5038836B2 (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130909 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131017 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140124 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20140320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5685224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |