JP2018510396A - ユーザインタフェースの色を管理するための方法及びグラフィックプロセッサ - Google Patents
ユーザインタフェースの色を管理するための方法及びグラフィックプロセッサ Download PDFInfo
- Publication number
- JP2018510396A JP2018510396A JP2017531214A JP2017531214A JP2018510396A JP 2018510396 A JP2018510396 A JP 2018510396A JP 2017531214 A JP2017531214 A JP 2017531214A JP 2017531214 A JP2017531214 A JP 2017531214A JP 2018510396 A JP2018510396 A JP 2018510396A
- Authority
- JP
- Japan
- Prior art keywords
- color
- user interface
- multimedia
- frame
- dominant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
電子装置によって提供される少なくとも1つのマルチメディアフレームに亘って表示されるユーザインタフェースの色を管理するための自動化方法及びグラフィックプロセッサ。ユーザインタフェースは、少なくとも1つの所定の色を有する少なくとも1つのグラフィカルアイテムを備える。方法は、電子装置のグラフィックプロセッサによって、少なくとも1つのマルチメディアフレームを備えるデジタルマルチメディアコンテンツを分析するステップと、少なくとも1つのマルチメディアフレームの少なくとも一部において支配的な色の配列を定義するデータブロックをデジタルマルチメディアコンテンツから抽出するステップと、色選択を管理する少なくとも1つの既定の基準に従って少なくとも1つのマルチメディアフレームの一部の支配的な色の配列をフィルタリングするステップと、結果として生じる支配的な色の配列を取得するステップと、グラフィックプロセッサに結合されたユーザインタフェース生成器によって、結果として生じる支配的な色の配列から少なくとも1つの支配的な色を少なくとも1つのグラフィカルアイテムに適用することによって少なくとも1つのグラフィカルアイテムを生成するステップであって、少なくとも1つの支配的な色は、その上に少なくとも1つのグラフィカルアイテムが表示される少なくとも1つのマルチメディアフレームの一部において可視になるように選択されるステップとを備える。【選択図】図5
Description
本発明は、静止画像、動画像、又はビデオコンテンツによって形成された、背景に亘って表示されるグラフィカルエレメント、テキスト、及び画像を備えるユーザインタフェースの色を管理し、更新するための自動化方法及びグラフィックプロセッサに関する。
ユーザフレンドリーなグラフィカルユーザインタフェースは、簡単で且つ直観的な使用の実現性に加えて、快適で審美的な外観を有する魅力的なグラフィカル効果を提供する。ユーザインタフェースは、概して、テキスト文字列、グラフィカルアイコン、グラフィカルオブジェクト、階調度(gradients)、及び画像を備えるアイテムを表示する。アイテムのリストを表示する共通の方法は、静的な背景としてグラフィカルユーザインタフェースの第1のグラフィックス層と、スクローリング方式で背景に亘ってアイテムを表示する第2のグラフィックス層とを構成することである。背景は、ハイライト、階調度、又はフレームなどの特殊効果によって周辺エリアから区別される所定のエリアを有していてもよい。所定のエリアに亘って表示されるアイテムは、興味のあるアイテムとして取り扱われる。このような表示は、アイテムが第2のグラフィックス層上に表示される方法を変更しない。アイテムのリストを表示する別の方法は、アイテムを表示するグラフィカルユーザインタフェースの第1のグラフィックス層と、第1の層(first layer)に亘ってスクローリング方式でシンボル又はフレームを表示する第2のグラフィックス層とを構成することである。シンボルが表示されるアイテムは、興味のあるアイテムとして取り扱われる。このような表示は、アイテムが第1のグラフィックス層上に表示される方法を変更しない。
コンピュータ、モバイル装置、セットトップボックスに関連するテレビジョンセットなどの電子装置の分野における技術の発展につれて、装置を用いるユーザの体験を容易にするために様々なタイプのユーザインタフェースが開発されている。昨今、キーボードに取って代わるグラフィックユーザーインターフェースUIを提供するために、多くの電子装置にはタッチスクリーンが実装される。従って、UIは、例えば、ウィンドウ、スクロールバー、アイコン、コントロールボタンなどのような、様々なタイプのメニュー及び画像を含む。
ビデオ中心の装置(video centric devices)及びビデオディスプレイ環境において、コンテンツの量は、相当に増加されており、関連する技術のアナログ放送環境に対して比較されるように、コンテンツの種類は、多様化される。ユーザインタフェース(Uls(Ulの複数形))は、ほとんどは、オンスクリーンディスプレイ(OSD:On Screen Display)方式で2次元的に構成される。しかしながら、Ulsの2次元構成には制限がある。情報が平面的な方式で表示されるので、ユーザは、UIの認識及び使用において不便を感じる。例えば、多くの情報を含むUI又は平面的な方式で表示されるメインメニュー及びサブメニューを含むUIが提供されると、UIのすべて若しくは一部が見え隠れし得る若しくは判読不能になり得るように、メニューは、例えば、テレビジョンセットのメイン画面上に表示された背景画像又はビデオコンテンツのフレーム上に重ねられるかもしれない。従って、自動化されて且つユーザにとってより容易なスマートなやり方で、ユーザインタフェースにおいて用いられる色を管理し更新することができる方法及びシステムに対するニーズがある。
ビデオディスプレイ環境に関して、米国特許第8872969号明細書は、少なくともビデオフレームの一部分の色パラメータ、及び/又は、少なくとも表示される前にビデオフレームに関連づけられたサブタイトルの一部分の色パラメータの動的な相対調整の方法を開示する。方法は、データ処理装置のメモリ内のビデオフレームのサブタイトルに関連するデータから個別にビデオフレームに関連するデータを格納するステップと、メモリに対して通信可能に連結されたプロセッサを通じて、ビデオフレームに関連するデータの色パラメータをサブタイトルに関連するデータの色パラメータと比較するステップとを備える。方法は、また、少なくともサブタイトルに関連するデータの一部分の色パラメータ、及び/又は、少なくともビデオフレームに関連するデータの一部分の色パラメータを比較に基づいて動的に調整するステップを含む。更に、方法は、ビデオフレームに関連するデータ上のサブタイトルに関連するデータを、それをディスプレイ装置上にレンダリングする前に動的調整に続いて、オーバーレイするステップを含む。
本開示の実施形態は、請求項1に記載の電子装置によって提供される、少なくとも1つのマルチメディアフレームに亘って表示されるユーザインタフェースの色を管理するための自動化方法を提案する。
本開示の更なる目的は、請求項7に記載の電子装置によって提供される、少なくとも1つのマルチメディアフレームに亘って表示されるユーザインタフェース内の色を自動的に管理するように構成されたグラフィックプロセッサに関する。
マルチメディアフレームは、マルチメディアコンテンツによって提供されるヒトの肉眼で見ることができる静止画像又は動画像のいずれかとしての開示との関連で定義される。
本発明の方法及びグラフィックプロセッサは、ビデオ中心の民生用電子装置上に表示される動的なユーザインタフェースに関する。ユーザインタフェースは、ディスプレイ画面上の様々な色、形状、サイズ、及び位置を有する1セットのグラフィカルアイテムを含む。ユーザは、電子装置のハードウェア及びソフトウェア構成に従って単一又は1セットのグラフィカルアイテムからオブジェクト又は関数を選択することができることになる。目標は、いかなる時でも、マルチメディアフレームのサイズを変更せずに、又はその一部をトリミングせずに、ディスプレイ上にビデオコンテンツを示すことから構成される。このような目標を実現するために、透光性のユーザインタフェースを用いることは、好ましいオプションとすることができる。同時に、この透光性は、背景マルチメディアフレーム色と不一致であるユーザインタフェースの色であって、且つ、目立つユーザエクスペリエンスを提供するユーザインタフェースの色をもたらす。
マルチメディアコンテンツ又はマルチメディアフレームという用語は、また、現実のシーンが、カメラによって、ユーザインタフェースのグラフィカルアイテムが表示され得るマルチメディアフレームを生成する場合を含む、ということが留意されるべきである。例えば、スマートグラス又はウインドスクリーンによって見られるシーンは、ユーザによって活用されるためにテキスト及び/又はグラフィックスの形式でユーザインタフェースアイテムのための背景として用いられてもよい。
本発明は、非限定的な例として提供された添付の図面を参照する以下の詳細な説明によって、より一層理解されることになる。
概して、ビデオ中心の装置の画面上に表示された画像は、いくつかの重ね合わせられた層の形式でレンダリングされる。各層は、ビデオ装置内の異なるソースによって提供される情報を含む。図1は、最下層又は背景層BLが画面の全表面を占めるが、その一方でユーザインタフェースUIの更なる層が画面の全表面を必ずしも網羅せずに画面上の既定の位置に配置されてもよい、マルチメディアコンテンツソースによって提供された層状のマルチメディアフレームの一例を図示する。ユーザインタフェースUIは、図、アニメ化エレメント、ロゴ、画像ボックス、ボタンなどのグラフィカルアイテムを含むグラフィック層GLと、テキスト、英数字、表意文字、シンボル、様々な形状のフレームなどを含むテキスト層TLとを備えてもよい。
ユーザインタフェース層の色成分は、ディスプレイ上のこれらの層及びそれらのグラフィカルアイテムをレンダリングするアプリケーションによって設定される。アプリケーションは、例えば、既定の順序で層上に配置されたスタック化ウィンドウの形式でグラフィカルアイテムを生成する。ユーザインタフェースウィンドウの色がアプリケーションによって設定されている一方で、第1の層における背景画像の色が事前設定される。従来のユーザインタフェースにおいて、重なりの場合にいくつかのウィンドウ又はそのアイテムが下層にあるウィンドウの色に亘る不十分なコントラストにより隠される又は表示されることができるように、ウィンドウの色は静的な方法において定義される。
図2の図解は、特定の色のセットを各々が有するウィンドウW1、W2、及びW3の形式でユーザインタフェースグラフィックスが表示される背景色AVを有するディスプレイの例を図示する。表示順AV、W1、W2、W3は、背景画像AVが最下層及び最上層上のウィンドウW3上に配置される層スタックに対応する。
例えば、インタラクティブマルチメディアコンテンツのレンダリング装置のグラフィックプロセッサによって、又はマルチメディア復号器によって、処理されるデジタルマルチメディアコンテンツは、画像合成を定義する圧縮形式のデジタルビデオデータブロックを含む。ビデオ圧縮のための1つの既知の技術は、MPEG(Motion Picture Experts Group)圧縮アルゴリズムと称される。このアルゴリズムにおいて、動画ビデオの各フレームは、独立的に又は以前に表示されたフレームからの転換として記載される。従って、ビデオシーンは、全体のシーンを示す単一の独立したフレームによって、それが最初に出現するように記載されてもよく、例えば、役者が移動するにつれてシーンの転換を記載する長い一連の転換フレーム(long series of change frames)がその後に続く。このような技術を用いて、伝送チャンネルにおけるビデオデータのスループットは、シーンの一定のエレメント(constant element)の冗長な伝達を除去することによってかなり増加される。
MPEGアルゴリズムは、Iフレームと呼ばれる単一の独立したビデオフレームによって、又は、初期のIフレームと1つ以上の次の転換フレームとの組み合わせによって、画像を記載することができ、ここで、1つ以上の次の転換フレームは、以前に表示された画像への転換を記載するPフレームと、そのコンテンツを特定するために現フレームと先行フレーム及び後続フレームとの間の差分を記載するBフレームとを備える。典型的には、Pフレームデータは、既に表示されているコンテンツのグラフィックプロセッサのフレームバッファ内に記載され、結果として、表示された画像に対する修正に繋がる。
静止画像又は動画像とすることができる背景画像の色合成情報は、本発明の方法によるグラフィックプロセッサによって分析されるIフレームデータブロック内に主に含まれる。この分析は、背景画像の支配的な色の配列又はセットkn=(C1、C2、C3、…、Cn)を定義するデータブロックの抽出によって生じ、ここで、図3によって示されるように、C1が最も支配的でない色でありCn、が最も支配的な色である。
更なる実施形態によれば、グラフィックプロセッサによって受信され処理されるマルチメディアコンテンツは、例えば、GoogleのVP8、VP9、RealVideo、マイクロソフトのASFなどのMPEG以外のアルゴリズムを用いることによって符号化されたビデオデータブロックを備えてもよい。グラス又はウインドスクリーンに関連づけられたカメラによって提供される画像は、概して、各フレームが支配的な色配列を得るために分析され得るように圧縮されない。アナログビデオコンテンツは、支配的な色情報を抽出するように処理されたデジタルビデオデータブロックに変換されてもよい。
支配的な色は、スペクトラム内の他の色に対するその高輝度又は高強度によって定義される。支配的な色強度値は、数学的な強度分布曲線式を用いて決められてもよい。
グラフィックプロセッサは、マルチメディアコンテンツによって提供される背景マルチメディアフレームの一部又は全体に亘って表示される特定のアプリケーションによって動かされるユーザインタフェース生成器によって提供される1つ以上のグラフィカルアイテムを受信する。
ユーザインタフェースグラフィカルアイテムの支配的な色は、背景画像の当該部分の色に対して可視になるように少なくとも背景画像の一部の支配的な色の配列の関数(function of the array of dominant colors)kn=(C1、C2、C3、…、Cn)において修正されてもよい。配列の1つ以上の色が、従って、動的に、即ち背景画像部の支配的な色が変わる度に、変更されてもよい。
背景画像の支配的な色の配列は、背景画像の品質、ユーザの好み、マルチメディアコンテンツのジャンル、Iフレームの配列内で利用可能な支配的な色、などの1つ以上の色選択基準に従ってフィルタリングされてもよい。背景画像の品質は、インチ当たりの画素数などの解像度、圧縮率、シャープネス、運動規則性(motion regularity)などによって定義されてもよい。
特に、ユーザインタフェース生成器は、背景マルチメディアフレームの支配的な色配列の関数において色が動的に置換されてもよい、いくつかのグラフィカルアイテム及び他のグラフィカルアイテムのためのデフォルト色を提供してもよい。オプションによれば、色の変更は、突然の色の切り換えを防止するために既定の期間内に色を変更するように構成された色フェーダによって行なわれてもよい。色の変更は、従って、それほど支配的でない色による漸進的な遷移(progressive transition)を導入することによって和らぐ。
マルチメディアコンテンツソースによって提供された背景マルチメディアフレームの支配的な色を迅速に変更する場合、ユーザインタフェースアイテムの色がマルチメディアコンテンツのジャンルの関数内でフィルタリングされてもよい。グラフィックプロセッサは、スリラーなどのアクション映画によってユーザインタフェースアイテムのデフォルト色を、明るくて刺激的な色、即ち配列の最も支配的な色に置き換えることができてもよい。例えば子ども用の物語に関連する映画に亘るユーザインタフェースアイテムの色は、柔らかなライトカラー(soft light color)に変更されてもよい。
ユーザインタフェースのグラフィカルアイテムが出現する時に、例えば、色のセットが、実行中のユーザによって対話方式で選択された特定色に限定されても良いように、ユーザの好みも、また、背景マルチメディアフレーム色をフィルタリングするために用いられてもよいし、又は、好みの色は、予め格納された設定に基づいてもよい。
ある時間間隔における色変更の回数も、また、背景層の色に応じてユーザインタフェースアイテム上に適用されてもよい。
色の変更は、従って、快適な審美さ(pleasant esthetic)を有する可視のユーザインタフェースを提示するために、グラフィカルアイテムのために選択される1セットの色を提供するために先行する背景マルチメディアフレームの分析の後に動的に行なわれる。グラフィカルアイテムの色は、従って、ユーザインタフェース層が異なる支配的な色を伴う部分を表示してもよい背景マルチメディアフレームを横断する場合と同様に背景マルチメディアフレームが変わる場合に色が変わってもよいように、背景マルチメディアフレームに適合する。
例えば、青色の背景部分を通過するラインなどの黄色のグラフィカルアイテムは、それが赤い背景部分を通過する時にシアンに変わることになる。更なる例によれば、矩形などのグラフィカルアイテムは当該辺が表示される背景マルチメディアフレーム部分の支配的な色に応じて各々の辺ごとに異なる色を有してもよい。背景ビデオフレーム上のサブタイトルは、サブタイトル文字が表示される背景ビデオフレームの部分に応じて各文字上に異なる色を有してもよい。白色の背景及び黒色の背景部分に亘って表示される文字は、白色の背景部分上に黒色で、黒色の背景部分上に白色として、出現することになる。これらの状況において、背景ビデオフレームの色が何であるにせよ、サブタイトルは常に可視のままである。
更なる実施形態によれば、ラインなどのグラフィカルアイテムは、例えば、ディスプレイ画面上のラインによって横切られたすべての個別の部分の上で可視になるように適合する「平均」色を有してもよい。この例において、分析及びフィルタリングからもたらされる色配列は、背景マルチメディアフレームの支配的な色によるユーザインタフェースグラフィカルアイテムの色の変更のために適切な可視色を選択するのを可能にする。
ユーザインタフェースアイテムが背景の支配的な色に適合する色を既に有する場合で、且つ付加的なフィルタリング基準が背景マルチメディアフレームの支配的な色配列に以前に適用されていない場合、色の変更は行なわれない。
本発明による例示的なグラフィックプロセッサGPは、図4によって示される。ビデオ処理ソフトウェアによって動かされるグラフィックプロセッサGPは、好ましくは、ビデオ中心の電子装置内に実装されてもよい。 ビデオ中心の装置は、ユーザの家庭内の、例えば、セットトップボックス、メディアプレーヤ、ゲームプレーヤ、テレビジョンセット、又は同種のものなどのビデオゲートウェイ装置であってもよい。
グラフィックプロセッサGPは、例えば、Iフレーム、Bフレーム、及びPフレームのビデオデータブロックを提供するインタラクティブマルチメディアコンテンツのレンダリング装置IMRD、テレビジョンセットディスプレイ画面DSに結合されたディスプレイドライバDD、及びユーザインタフェース生成器UIGなどの周辺装置に結合されてもよい。
インタラクティブマルチメディアコンテンツのレンダリング装置IMRDは、例えば、少なくとも1つのマルチメディアフレームからIフレームを備えるデジタルマルチメディアコンテンツデータを分析するように構成されたコンテンツ分析器CAに対して、マルチメディアコンテンツデータを転送する。少なくともテレビジョンセットDSの画面上に表示された少なくとも1つのマルチメディアフレームの一部に対応する支配的な色配列は、その後、Iフレームから抽出され、コンテンツ分析器CAの出力に結合されたフィルタFに転送される。フィルタFは、色選択を管理する少なくとも1つの既定の基準に従って少なくとも1つのマルチメディアフレームの一部の抽出された支配的な色の配列をフィルタリングし、結果として生じる支配的な色の配列を取得するように構成される。
グラフィックプロセッサGPは、フィルタFの出力とユーザインタフェースグラフィカルアイテムを生成するユーザインタフェース生成器UIGの出力とに結合された動的なユーザインタフェースデータ処理装置UIPを更に備える。動的なユーザインタフェースデータ処理装置UIPは、少なくとも1つのマルチメディアフレームをオーバーレイするユーザインタフェースUIを形成するためにグラフィカルアイテムをアセンブルする。
グラフィカルアイテムの支配的な色は、その上にグラフィカルアイテムが表示される少なくとも1つのマルチメディアフレームの一部において可視になるような方法でフィルタFの出力において取得された結果として生じる支配的な色の配列に基づいて選択される。
ユーザインタフェース生成器UIGは、ユーザとの対話を可能にするビデオ中心の装置内で動作するアプリケーションによって動かされてもよい。アセンブルされたグラフィカルアイテムを備えるユーザインタフェースUIは、好ましくは、ディスプレイドライバDDによって、マルチメディアコンテンツに亘って表示される。従って、ユーザインタフェースUIのグラフィカルアイテムは、色の関数において、又は表示されたマルチメディアフレームの一部若しくは全体において修正されてもよい支配的な色を有する。
ユーザインタフェース生成器UIGは、支配的な色分析器CAによって提供される支配的な色配列内のグラフィカルアイテムの色選択を管理する上述のフィルタリング基準の少なくとも1つに従ってユーザインタフェースグラフィカルアイテムのために支配的な色配列から1つ以上の色を選択する。
適合する色を有するユーザインタフェースUIは、マルチメディアフレームに亘ってディスプレイ画面DS上に表示されるために、動的なユーザインタフェースビデオデータプロセッサUIPによってディスプレイドライバDDに転送される。
オプションによれば、グラフィックプロセッサGPは、動的なユーザインタフェースデータ処理装置UIPの出力とディスプレイドライバDDの入力との間に挿入された色フェーダCFを更に備える。この色フェーダCFはそれほど支配的でない色による漸進的な遷移を導入することによって既定の期間内にユーザインタフェースを構成するグラフィカルアイテムの色を変更するように構成される。
図5のフローチャートは、マルチメディアコンテンツの品質及びマルチメディアコンテンツのジャンルに基づいたユーザインタフェースアイテムの色選択を管理する基準を用いる本発明による方法の実施形態を図示する。ユーザの好みも、また、ユーザインタフェースグラフィカルアイテムの色選択を考慮に入れる。
インタラクティブマルチメディアコンテンツのレンダリング装置によって提供されるマルチメディアコンテンツの復号化及び分析の後、支配的な色配列に関連するIフレームが抽出され、ユーザインタフェースグラフィカルアイテムの色転換に対する参照として用いられる。抽出された色配列Kは、色配列K2を取得するためにマルチメディアコンテンツジャンルに従って更にフィルタリングされてもよいフィルタリングされた色配列K1を取得するためにマルチメディアコンテンツの品質に関連するパラメータによって、例えば、予め格納されたユーザの好みとして、ユーザ設定によってフィルタリングされてもよい。
図5の例において、色選択は、コンテンツの品質、コンテンツのジャンル、コンテンツ画像の支配的な色などの既定の基準に従って抽出された支配的な色配列に適用されたフィルタによって実行される。例えば、スポーツに関連するコンテンツの場合には、フィルタは、ユーザインタフェースグラフィカルアイテムの色の置換を可能にするために用いられる最も支配的な色を保つために最も支配的でない色を除去する。
例において、色のセットK2は、その後、生成されたアプリケーションユーザインタフェース内のグラフィカルアイテムの色を、必要であれば、変更するために用いられる。ユーザインタフェースグラフィカルアイテムの色の変更は、ユーザエクスペリエンスの邪魔をする突然の色の切り換えを防止するためにディスプレイドライバDDに結合された色フェーダCFを通じて実行されてもよい。色の変更が必要でなければ、生成されたアプリケーションユーザインタフェースは、ビデオコンテンツの画像に亘ってディスプレイ画面上に直接表示される。
例えばスマートグラス又はウインドスクリーンを通じて現実のシーンによって提供された背景のビジュアルコンテンツの場合には、ビデオストリーミングサーバ、光学的ディスク又はハードディスクなどのビデオデータソースに接続されたマルチメディアコンテンツのレンダリング装置によってビデオコンテンツが受信される場合とは反対にIフレームは作成されない。
但し、現実のシーン上に向けられたカメラは、色合成から支配的な色配列の情報を抽出するために分析されることができる背景マルチメディアフレームを提供してもよい。現実のシーン上に出現するユーザインタフェースグラフィカルアイテムの色は、従って、永続的にまた変わる背景マルチメディアフレームの支配的な色の関数内で連続的に変わってもよい。
Claims (12)
- デジタルマルチメディアコンテンツを処理するように構成されたグラフィックプロセッサ(GP)を備える電子装置によって提供される少なくとも1つのマルチメディアフレームに亘って表示されるユーザインタフェース(UI)のための色を管理するための自動化方法であって、前記ユーザインタフェース(UI)は少なくとも1つの所定の色を有する少なくとも1つのグラフィカルアイテムを備え、前記方法は、
・前記グラフィックプロセッサ(GP)によって、前記少なくとも1つのマルチメディアフレームを備える前記デジタルマルチメディアコンテンツを分析するステップと、
・前記少なくとも1つのマルチメディアフレームの少なくとも一部において支配的な色の配列を定義するデータブロックを、前記デジタルマルチメディアコンテンツから、抽出するステップと、
・色選択を管理する少なくとも1つの既定の基準に従って前記少なくとも1つのマルチメディアフレームの前記一部の前記支配的な色の配列をフィルタリングするステップと、
・結果として生じる支配的な色の配列を取得するステップと、
・前記グラフィックプロセッサ(GP)に結合されたユーザインタフェース生成器(UIG)によって、前記結果として生じる支配的な色の配列から少なくとも1つの支配的な色を前記少なくとも1つのグラフィカルアイテムに適用することによって少なくとも1つのグラフィカルアイテムを生成するステップであって、前記少なくとも1つの支配的な色は、その上に少なくとも1つのグラフィカルアイテムが表示される前記少なくとも1つのマルチメディアフレームの前記一部において可視になるように選択されるステップと
を備える方法。 - 前記グラフィックプロセッサ(GP)によって、前記少なくとも1つのマルチメディアフレームをオーバーレイするユーザインタフェース(UI)を形成する1セットのグラフィカルアイテムを組み立てるステップであって、前記グラフィカルアイテムの支配的な色は、前記ユーザインタフェース(UI)の前記グラフィカルアイテムによって網羅された前記少なくとも1つのマルチメディアフレームの前記一部において可視になるように選択されるステップを更に備えることを特徴とする請求項1に記載の方法。
- 前記グラフィックプロセッサ(GP)は、Iフレームデータブロックを備えるビデオトランスポートストリームによって提供されたマルチメディアコンテンツを分析し、前記Iフレームデータブロックから、前記少なくとも1つのマルチメディアフレームの前記一部において支配的な色の情報を抽出することを特徴とする請求項1に記載の方法。
- 前記マルチメディアコンテンツは、スマートグラス又はウインドスクリーン内に実装されたカメラによって提供され、前記少なくとも1つのマルチメディアフレームの前記一部における支配的な色の情報は、色合成から抽出されることを特徴とする請求項1に記載の方法。
- 前記少なくとも1つのマルチメディアフレームの前記支配的な色の配列は、前記ユーザインタフェースのグラフィカルアイテムが表示される時に対話式の方式で導入されたユーザの好みに従って、又は予め格納された設定に基づいて、フィルタリングされることを特徴とする請求項1に記載の方法。
- 前記少なくとも1つのマルチメディアフレームの前記支配的な色の配列は、前記少なくとも1つのマルチメディアフレームによって表現されるマルチメディアコンテンツの品質又はジャンルに従ってフィルタリングされることを特徴とする請求項1〜4のいずれか1項に記載の方法。
- デジタルマルチメディアコンテンツを処理するように構成された電子装置によって提供される少なくとも1つのマルチメディアフレームに亘って表示されるユーザインタフェース(UI)のための色を自動的に管理するように構成されたグラフィックプロセッサ(GP)であって、前記ユーザインタフェース(UI)は少なくとも1つの所定の色を有する少なくとも1つのグラフィカルアイテムを備え、前記グラフィックプロセッサは、
前記少なくとも1つのマルチメディアフレームを備える前記デジタルマルチメディアコンテンツを分析し、前記デジタルマルチメディアコンテンツから、前記少なくとも1つのマルチメディアフレームの少なくとも一部における支配的な色の配列を定義するデータブロックを抽出するように構成されたコンテンツ分析器(CA)と、
前記コンテンツ分析器(CA)の出力に結合されたフィルタ(F)であって、色選択を管理する少なくとも1つの既定の基準に従って前記少なくとも1つのマルチメディアフレームの前記一部の前記支配的な色の配列をフィルタリングし、結果として生じる支配的な色の配列を取得するように構成された前記フィルタ(F)と、
前記フィルタ(F)の出力に結合された動的なユーザインタフェースデータ処理装置(UIP)であって、前記動的なユーザインタフェースデータ処理装置(UIP)は、ユーザインタフェース生成器(UIG)から受信された1セットのグラフィカルアイテムをアセンブルするように構成され、前記アセンブルされたグラフィカルアイテムは、前記少なくとも1つのマルチメディアフレームをオーバーレイするユーザインタフェース(UI)を形成し、前記グラフィカルアイテムの前記支配的な色は、その上に前記グラフィカルアイテムが表示される前記少なくとも1つのマルチメディアフレームの前記一部において可視になるように前記結果として生じる支配的な色の配列に基づいて選択される前記動的なユーザインタフェースデータ処理装置(UIP)と
を備えるグラフィックプロセッサ。 - 前記コンテンツ分析器(CA)は、Iフレームデータブロックを備えるビデオトランスポートストリームによって提供されたマルチメディアコンテンツを分析し、前記Iフレームデータブロックから、前記少なくとも1つのマルチメディアフレームの前記一部において支配的な色の情報を抽出するように構成されることを特徴とする請求項7に記載のグラフィックプロセッサ。
- 前記コンテンツ分析器(CA)は、スマートグラス又はウインドスクリーン内に実装されたカメラによって提供されたマルチメディアコンテンツを分析し、前記少なくとも1つのマルチメディアフレームの前記一部における支配的な色の情報を、色合成から、抽出するように構成されることを特徴とする請求項7に記載のグラフィックプロセッサ。
- 前記フィルタ(F)は、前記少なくとも1つのマルチメディアフレームの前記支配的な色の配列を、前記ユーザインタフェースのグラフィカルアイテムが表示される時に対話式の方式で実行中に導入されたユーザの好みに従って、又は予め格納された設定に基づいて、フィルタリングするように構成されることを特徴とする請求項7〜9のいずれか1項に記載のグラフィックプロセッサ。
- 前記フィルタ(F)は、前記少なくとも1つのマルチメディアフレームによって表現されるマルチメディアコンテンツの品質又はジャンルに従って前記少なくとも1つのマルチメディアフレームの前記支配的な色配列をフィルタリングするように構成されることを特徴とする請求項7〜10のいずれか1項に記載のグラフィックプロセッサ。
- 前記動的なユーザインタフェースデータ処理装置(UIP)の出力に結合された色フェーダ(CF)であって、それほど支配的でない色による漸進的な遷移を導入することによって既定の期間内にグラフィカルアイテムの色を変更するように構成される前記色フェーダ(CF)を更に備えることを特徴とする請求項7〜11のいずれか1項に記載のグラフィックプロセッサ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14197598.7 | 2014-12-12 | ||
EP14197598 | 2014-12-12 | ||
PCT/EP2015/079369 WO2016092059A1 (en) | 2014-12-12 | 2015-12-11 | Method and graphic processor for managing colors of a user interface |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018510396A true JP2018510396A (ja) | 2018-04-12 |
Family
ID=52101137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017531214A Pending JP2018510396A (ja) | 2014-12-12 | 2015-12-11 | ユーザインタフェースの色を管理するための方法及びグラフィックプロセッサ |
Country Status (11)
Country | Link |
---|---|
US (1) | US10964069B2 (ja) |
EP (1) | EP3230955A1 (ja) |
JP (1) | JP2018510396A (ja) |
KR (1) | KR20170093848A (ja) |
CN (1) | CN107004285A (ja) |
AU (1) | AU2015359323B2 (ja) |
BR (1) | BR112017011272A2 (ja) |
CA (1) | CA2968472A1 (ja) |
MX (1) | MX2017007462A (ja) |
SG (1) | SG11201704261SA (ja) |
WO (1) | WO2016092059A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10152804B2 (en) * | 2015-02-13 | 2018-12-11 | Smugmug, Inc. | System and method for dynamic color scheme application |
US9858686B2 (en) | 2016-02-10 | 2018-01-02 | Google Llc | Dynamic color determination for user interface components of a video player |
EP3258465A1 (en) * | 2016-06-17 | 2017-12-20 | Ningbo Geely Automobile Research & Development Co., Ltd. | A method for automatic adaptation of a user interface |
US10388250B2 (en) | 2017-04-18 | 2019-08-20 | Google Llc | Methods, systems, and media for modifying user interface colors in connection with the presentation of a video |
US10534973B2 (en) * | 2017-04-18 | 2020-01-14 | Google Llc | Methods, systems, and media for color palette extraction for video content items |
CN107122199A (zh) * | 2017-07-04 | 2017-09-01 | 京东方科技集团股份有限公司 | 一种显示栏的显示控制方法及装置 |
DK179931B1 (en) * | 2017-09-09 | 2019-10-11 | Apple Inc. | DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR DISPLAYING AN AFFORDANCE ON A BACKGROUND |
US11295497B2 (en) * | 2019-11-25 | 2022-04-05 | International Business Machines Corporation | Dynamic subtitle enhancement |
CN111796896A (zh) * | 2020-06-29 | 2020-10-20 | 京东方科技集团股份有限公司 | 应用页面的主题切换方法及相关设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6317128B1 (en) * | 1996-04-18 | 2001-11-13 | Silicon Graphics, Inc. | Graphical user interface with anti-interference outlines for enhanced variably-transparent applications |
DE69842020D1 (de) | 1997-01-31 | 2011-01-05 | Hitachi Ltd | Bildanzeigesystem mit der Veranlagung zur Modifikation von Anzeigeeigenschaften in einem bestimmten Anzeigebereich |
US6486894B1 (en) * | 1999-11-18 | 2002-11-26 | International Business Machines Corporation | Contrasting graphical user interface pointer |
US6813313B2 (en) * | 2000-07-06 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for high-level structure analysis and event detection in domain specific videos |
CN100409358C (zh) * | 2000-09-08 | 2008-08-06 | 皇家菲利浦电子有限公司 | 提供一种彩色滑动条的再现装置 |
NZ525956A (en) | 2003-05-16 | 2005-10-28 | Deep Video Imaging Ltd | Display control system for use with multi-layer displays |
CN1977542B (zh) * | 2004-06-30 | 2010-09-29 | 皇家飞利浦电子股份有限公司 | 利用感知规律提取主色以产生来自视频内容的环境光 |
JP2009500941A (ja) * | 2005-07-08 | 2009-01-08 | エルジー エレクトロニクス インコーポレイティド | 情報を圧縮/圧縮解除するためにビデオ信号のコーディング情報をモデリングする方法 |
US8532800B2 (en) * | 2007-05-24 | 2013-09-10 | Mavs Lab. Inc. | Uniform program indexing method with simple and robust audio feature enhancing methods |
JP2010193030A (ja) * | 2009-02-17 | 2010-09-02 | Seiko Epson Corp | 画像処理のための装置、システム、方法、プログラム |
EP2230839A1 (en) * | 2009-03-17 | 2010-09-22 | Koninklijke Philips Electronics N.V. | Presentation of video content |
US8675019B1 (en) * | 2009-12-03 | 2014-03-18 | Innoventions, Inc. | View navigation guidance system for hand held devices with display |
US20110304636A1 (en) * | 2010-06-14 | 2011-12-15 | Acer Incorporated | Wallpaper image generation method and portable electric device thereof |
US20110319160A1 (en) * | 2010-06-25 | 2011-12-29 | Idevcor Media, Inc. | Systems and Methods for Creating and Delivering Skill-Enhancing Computer Applications |
US8847973B2 (en) * | 2010-12-15 | 2014-09-30 | Microsoft Corporation | Automatic adjustment of computer interface colors using image processing |
US8897552B2 (en) * | 2012-08-01 | 2014-11-25 | Microsoft Corporation | Setting an operating-system color using a photograph |
US9397844B2 (en) * | 2012-09-11 | 2016-07-19 | Apple Inc. | Automated graphical user-interface layout |
US8872969B1 (en) | 2013-09-03 | 2014-10-28 | Nvidia Corporation | Dynamic relative adjustment of a color parameter of at least a portion of a video frame/image and/or a color parameter of at least a portion of a subtitle associated therewith prior to rendering thereof on a display unit |
CN105580013A (zh) * | 2013-09-16 | 2016-05-11 | 汤姆逊许可公司 | 通过搜索多个用户评论并将其覆盖到内容中来浏览视频 |
EP3015952B1 (en) * | 2014-10-30 | 2019-10-23 | 4tiitoo GmbH | Method and system for detecting objects of interest |
-
2015
- 2015-12-11 JP JP2017531214A patent/JP2018510396A/ja active Pending
- 2015-12-11 CA CA2968472A patent/CA2968472A1/en not_active Abandoned
- 2015-12-11 BR BR112017011272A patent/BR112017011272A2/pt not_active Application Discontinuation
- 2015-12-11 SG SG11201704261SA patent/SG11201704261SA/en unknown
- 2015-12-11 AU AU2015359323A patent/AU2015359323B2/en not_active Expired - Fee Related
- 2015-12-11 KR KR1020177015997A patent/KR20170093848A/ko unknown
- 2015-12-11 CN CN201580067673.1A patent/CN107004285A/zh active Pending
- 2015-12-11 MX MX2017007462A patent/MX2017007462A/es unknown
- 2015-12-11 WO PCT/EP2015/079369 patent/WO2016092059A1/en active Application Filing
- 2015-12-11 EP EP15808573.8A patent/EP3230955A1/en not_active Withdrawn
- 2015-12-11 US US15/535,337 patent/US10964069B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3230955A1 (en) | 2017-10-18 |
US10964069B2 (en) | 2021-03-30 |
SG11201704261SA (en) | 2017-06-29 |
AU2015359323A1 (en) | 2017-06-15 |
CA2968472A1 (en) | 2016-06-16 |
AU2015359323B2 (en) | 2018-10-18 |
KR20170093848A (ko) | 2017-08-16 |
WO2016092059A1 (en) | 2016-06-16 |
BR112017011272A2 (pt) | 2017-12-26 |
US20170365072A1 (en) | 2017-12-21 |
CN107004285A (zh) | 2017-08-01 |
MX2017007462A (es) | 2017-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2015359323B2 (en) | Method and graphic processor for managing colors of a user interface | |
US11726645B2 (en) | Display apparatus for classifying and searching content, and method thereof | |
JP4670494B2 (ja) | 表示装置及び表示画質設定方法 | |
US11551638B2 (en) | Methods, systems, and media for modifying user interface colors in connection with the presentation of a video | |
JP5539313B2 (ja) | テレビジョン受像機および方法 | |
CN102210145B (zh) | 清晰度控制方法和使用该方法的图像显示装置 | |
EP2610802A1 (en) | Method for producing advertisement content using a display device and display device for same | |
CN103841454B (zh) | 用于处理视频信号以用于显示的方法和装置 | |
JP2010507832A (ja) | オンスクリーンディスプレイの動的に調整可能な要素 | |
CN105340285B (zh) | 用于使用集成内容源来呈现媒体内容的方法、系统以及介质 | |
EP3099081B1 (en) | Display apparatus and control method thereof | |
US8613012B2 (en) | Method and device for displaying a message on a screen of a television | |
CN105933764A (zh) | 广播接收装置及其控制方法 | |
JP2016532386A (ja) | ビデオを表示する方法及びビデオを表示する装置 | |
US10534973B2 (en) | Methods, systems, and media for color palette extraction for video content items | |
JP5189205B2 (ja) | 画像処理装置、画像処理装置の制御方法、画像処理装置の制御プログラム、および制御プログラムを記録した記録媒体 | |
CN107743710B (zh) | 显示装置及其控制方法 | |
JP2005532743A (ja) | 表示される画像の一部を隠すシステムおよび方法 | |
JP2011061670A (ja) | 要約コンテンツを表示する表示装置、方法及びプログラム | |
KR20240011779A (ko) | 조정 가능한 사용자 인터페이스(ui) 요소를 통한 수화 비디오의 디스플레이 | |
CN115866304A (zh) | 一种显示设备及投屏数据显示方法 | |
KR101645247B1 (ko) | 방송 채널 표시 방법 및 그를 이용한 디스플레이 장치 | |
CN115623276A (zh) | 一种显示设备及广告插播方法 | |
JP2011229191A (ja) | 映像処理装置及び映像表示装置 | |
CN107027061A (zh) | 电视系统与多媒体播放方法 |