JP2018507580A - 配向化画像符号化、送信、復号および表示 - Google Patents

配向化画像符号化、送信、復号および表示 Download PDF

Info

Publication number
JP2018507580A
JP2018507580A JP2017532806A JP2017532806A JP2018507580A JP 2018507580 A JP2018507580 A JP 2018507580A JP 2017532806 A JP2017532806 A JP 2017532806A JP 2017532806 A JP2017532806 A JP 2017532806A JP 2018507580 A JP2018507580 A JP 2018507580A
Authority
JP
Japan
Prior art keywords
image
oriented
display device
composite image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017532806A
Other languages
English (en)
Other versions
JP6557343B2 (ja
Inventor
ファン・ブルーク,シフールト
ハイセゲムス,ラファエル
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2018507580A publication Critical patent/JP2018507580A/ja
Application granted granted Critical
Publication of JP6557343B2 publication Critical patent/JP6557343B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

コンテンツサーバからの配向された画像を配向可能ディスプレイデバイス上に表示するための方法であって、前記方法は、− 前記コンテンツサーバから、複数の配向された画像を表す情報を含む複合画像を受信するステップであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、受信するステップと、− 前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータを決定するステップと、− 前記少なくとも1つの決定されたディスプレイデバイスパラメータに基づいて、前記複合画像から、配向された画像を抽出するステップと、− 前記抽出された配向された画像を前記配向可能ディスプレイデバイス上に表示するステップとを含む、方法。

Description

本発明の分野は、配向された画像を配向可能ディスプレイデバイス上に表示することに関する。特定の実施形態は、配向された画像を表示するための方法および配向可能ディスプレイデバイスと、複合画像を符号化するための方法および画像エンコーダと、複合画像を配向可能ディスプレイデバイスに与えるための方法およびコンテンツサーバと、コンピュータプログラム製品とに関する。
たとえば、TV、PC、タブレット、スマートフォンおよびスマートウォッチのような異なるフォームファクタをもつ極めて多くのディスプレイデバイスは、ユーザエージェントがコンテンツをディスプレイデバイスの特性に適応させることを可能にするレスポンシブウェブデザイン(RWD)を必要とする。そのような適応は、ページレイアウトおよびスタイルに対して適用されるが、画像に対しても適用される。したがって、ディスプレイデバイス特性のセットに適応された画像のセットを与えるために、単一の参照画像が、ウェブアプリケーションの(1人または複数の)開発者によってクロップされ、サイズ決定され、アートディレクション(art direct)される。ユーザエージェントは、次いで、ディスプレイデバイスの特性に最もよく適する(たとえば、マニフェストファイルにリストされた)画像のセットからの画像を自動的に選択することができる。
しかしながら、ユーザが自分のデバイスを回転するとき、ウェブアプリケーションのRWDは変化することになる。これは、画像選択プロセスに影響を及ぼし、したがって、マニフェストファイルにリストされたオーサリングされた画像のセットから選択される画像に影響を及ぼし得る。この画像選択プロセスは、たとえばJavaScript(登録商標)を使用して、ウェブアプリケーション開発者によって扱われる。その場合、ウェブアプリケーション開発者は、一般に、異なる配向をもつ新しい画像を要求することに頼る。
さらに、RWDが与えられず、ユーザが自分のディスプレイデバイスを縦方向モードで持ち上げるとき、ユーザエージェントは、一般に、表示幅を合わせるために横方向画像をクロップし、センタリングすることになり、ピクチャの上および下の未使用スペースは、一般に、黒または白に塗られることになる。同様の挙動が、縦方向モードで保存された画像に適用される。良好なビューを得るために、ユーザは、自分のディスプレイデバイスを相応に配向する必要があることになる。
本発明の実施形態の目的は、特に配向可能ディスプレイデバイスを回転するとき、前記配向可能ディスプレイデバイス上に画像を表示するときの遅延を低減することである。本発明の実施形態の他の目的は、画像を格納するためのストレージ要件を減少させること、およびレスポンシブウェブデザイン(RWD)のパラダイムに従うことである。
本発明の第1の態様によれば、コンテンツサーバからの配向された画像を配向可能ディスプレイデバイス上に表示するための方法が提供される。前記方法は、好ましくは前記配向可能ディスプレイデバイスにおいて実行される、以下のステップ、すなわち、前記コンテンツサーバから、好ましくは単一の主題に関係する、複数の配向された画像を表す情報を含む複合画像を受信するステップであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、受信するステップと、前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータを決定するステップと、前記少なくとも1つの決定されたディスプレイデバイスパラメータに基づいて、前記複合画像から、配向された画像を抽出するステップと、前記抽出された配向された画像を前記配向可能ディスプレイデバイス上に表示するステップとを含む。少なくとも1つのディスプレイデバイスパラメータは、好ましくはディスプレイデバイス配向を含む。
本明細書のコンテキストでは、「配向可能」という単語は、ディスプレイデバイスなど、物体が「配向され得る」、すなわち、ある配向からおよびそれに回転され得ることを意味するととられる。何かを「配向すること」という単語は、何かが他の指定された位置に対して整合または配置されることを意味するととられる。「配置すること」という単語は、何かが特定の場所にまたは方法で置かれるかまたは配列されることを意味するととられる。
このようにして、複数の配向された画像を表す情報を含む複合画像を受信することによって、ディスプレイデバイスは、その複合画像から、それの決定されたディスプレイデバイスパラメータと最もよく対応する配向された画像をインテリジェントに抽出することができる。これは、前記受信するステップおよび前記抽出するステップ以外に余分のデータ送信および要求処理を必要としない。これは、単一のファイルに基づいてユーザエクスペリエンスを改善するので、および追加のウェブアプリケーションプログラミング論理が必要とされないので、これはまた、RWDのパラダイムに従う。
一実施形態では、本方法は、前記コンテンツサーバに画像を要求するステップを含む。前記受信するステップは、前記要求に応答して実施される。
このようにして、単一の要求が単一の応答を生じさせ、遅延を低減する。
別の実施形態では、本方法は、前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータの変化を検出するステップを含む。本方法は、前記変化の検出に応答して、前記複合画像から他の配向された画像を抽出するステップと、前記他の配向された画像を前記配向可能ディスプレイデバイス上に表示するステップとをさらに含む。
このようにして、自分の配向可能ディスプレイデバイスを回転(すなわち、ロール)またはパン(すなわち、上、下、左、および/または右に移動)する(すなわち、それの配向を変更する)ユーザが、ディスプレイデバイスの新しい配向に対応する新しい画像を要求し、受信し、処理するのを待つ必要がないように、表示環境の変化が検出され、考慮に入れられる。
別の実施形態では、前記少なくとも1つのデバイスパラメータは、ディスプレイデバイス配向、ディスプレイデバイス可視スクリーン領域、ディスプレイデバイス回転速度、ディスプレイデバイス回転加速度、ディスプレイデバイスパンニング方向、ディスプレイデバイスパンニング速度、およびディスプレイデバイスパンニング加速度のうちのいずれか1つまたは複数を含む。
このようにして、複合画像からある配向された画像を抽出することに関連するパラメータが考慮に入れられる。
本発明の別の態様によれば、複合画像を符号化するための方法が提供される。前記方法は、好ましくは画像エンコーダにおいて実行される、以下のステップ、すなわち、好ましくは単一の主題に関係する少なくとも1つの画像について、複数の異なって配向された領域を決定するステップと、前記複数の異なって配向された領域に対応する複数の配向された画像を表す情報を生成するステップと、配向可能ディスプレイデバイスへの送信のために、前記生成された情報を含む複合画像を符号化するステップとを含む。
上記で説明した考慮事項および利点が、必要な変更を加えて、複合画像を符号化するための方法の実施形態のためにも適用されることを、当業者は理解されよう。また、複合画像を符号化するための方法の実施形態は、前記複合画像を保持する電子画像ファイルフォーマットを生成し、容易な伝送および操作を可能にし得る。
本発明の別の態様によれば、複合画像を配向されたディスプレイを有する配向可能ディスプレイデバイスに与えるための方法が提供される。前記方法は、好ましくはコンテンツサーバにおいて実行される、以下のステップ、すなわち、好ましくは単一の主題に関係する、複数の配向された画像を表す情報を含む複合画像を取得するステップであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、取得するステップと、前記複合画像を前記配向可能ディスプレイデバイスに送信するステップとを含む。
上記で説明した考慮事項および利点が、必要な変更を加えて、複合画像を与えるための方法の実施形態のためにも適用されることを、当業者は理解されよう。特に、複合画像を与えるための方法の実施形態は、画像エンコーダなど、エンティティから前記複合画像を取得し、複合画像を符号化するための方法の実施形態のステップを実施し得ることを、当業者は理解されよう。
一実施形態では、複合画像を与えるための方法は、前記配向可能ディスプレイデバイスから画像についての要求を受信するステップを含む。前記送信するステップは、前記受信に応答して実施される。
上記で説明した方法のうちのいずれかの一実施形態では、前記複合画像は、複数の別個の配向された画像を含む。
このようにして、配向された画像のうちの少なくともいくつかは互いに別個であり、すなわち、コンテナとして機能する複合画像内に独立して格納されるので、それらは、他の配向された画像から独立して抽出され得る。
上記で説明した方法のうちのいずれかの一実施形態では、前記複合画像は複数の配向インジケータを含み、前記配向された画像の各々は、それのそれぞれの配向を示す対応する配向インジケータに関連付けられる。
このようにして、抽出されるべき最も適切な配向された画像が、容易に認識され、抽出され得る。さらに発展した実施形態では、複合画像は、少なくとも3つの異なる配向を示す、少なくとも3つの配向インジケータを含み得る。
上記で説明した方法のうちのいずれかの一実施形態では、前記複合画像は、複数のエントロピーコード化された配向された画像のうちの少なくとも1つが、それらの画像のうちの少なくとも1つの他の画像の少なくとも1つの実質的に等しい部分への少なくとも1つの参照を含んでいる、前記複数のエントロピーコード化された配向された画像を含む。追加または代替として、前記複合画像は、少なくとも1つのベース画像と、各差分画像が、それの対応するベース画像とは異なる少なくとも1つの画像部分を含んでいる、少なくとも1つの対応する差分画像とを含む。追加または代替として、前記複合画像は、少なくとも1つの部分画像と、それの対応する部分画像のための配置を示す少なくとも1つの対応する組成指示とを含む。
このようにして、複合画像のファイルサイズが低減され、データストレージおよびデータ送信要件を改善することができる。
上記で説明した方法のうちのいずれかの一実施形態では、前記複合画像は、少なくとも1つの主画像と、前記少なくとも1つの主画像から少なくとも1つの配向された画像を生成するために構成された少なくとも1つの画像式とを含む。
このようにして、複数の配向された画像は、前記少なくとも1つの画像式を使用して効率的に表され得る。
さらに発展した実施形態では、前記少なくとも1つの画像式は、配向された画像の原点の少なくとも1つの軌跡、好ましくは連続円、楕円、または矩形を含む。代替または追加として、各画像式は原点と配向とサイズとを含む。
このようにして、複数の配向された画像は、前記少なくとも1つの主画像から生成されるべき配向された画像のための任意の1つまたは複数(すなわち、有限に多数または無限に多数)の原点を含み得る、前記少なくとも1つの軌跡を使用して効率的に表され得る。
本発明の別の態様によれば、コンテンツサーバからの配向された画像を表示するための配向可能ディスプレイデバイスが提供される。前記ディスプレイデバイスは、受信機と、パラメータモジュールと、抽出器と、ディスプレイとを備える。受信機は、前記コンテンツサーバから、好ましくは単一の主題に関係する、複数の配向された画像を表す情報を含む複合画像を受信するために構成され、各配向された画像は、前記複合画像の異なって配向された領域を表す。パラメータモジュールは、前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータを決定するために構成される。少なくとも1つのディスプレイデバイスパラメータは、好ましくはディスプレイデバイス配向を含む。抽出器は、前記パラメータモジュールからの出力に基づいて、前記複合画像から、配向された画像を抽出するために構成される。ディスプレイは、前記抽出された配向された画像を表示するために構成される。
上記で説明した考慮事項および利点が、必要な変更を加えて、配向可能ディスプレイデバイスの実施形態のためにも適用されることを、当業者は理解されよう。
本発明の別の態様によれば、複合画像を符号化するための画像エンコーダが提供される。前記画像エンコーダは、配向モジュールとエンコーダモジュールとを備える。配向モジュールは、好ましくは単一の主題に関係する少なくとも1つの画像について、複数の異なって配向された領域を決定するために構成される。エンコーダモジュールは、前記複数の異なって配向された領域に対応する複数の配向された画像を表す情報を生成することと、配向可能ディスプレイデバイスへの送信のために、前記生成された情報を含む複合画像を符号化することとを行うために構成される。
上記で説明した考慮事項および利点が、必要な変更を加えて、画像エンコーダの実施形態のためにも適用されることを、当業者は理解されよう。
本発明の別の態様によれば、複合画像を配向可能ディスプレイデバイスに与えるためのコンテンツサーバが提供される。前記コンテンツサーバは、プロセッサと送信機とを備える。プロセッサは、好ましくは単一の主題に関係する、複数の配向された画像を表す情報を含む複合画像を取得するために構成され、各配向された画像は、前記複合画像の異なって配向された領域を表す。送信機は、前記複合画像を前記配向可能ディスプレイデバイスに送信するために構成される。
上記で説明した考慮事項および利点が、必要な変更を加えて、コンテンツサーバの実施形態のためにも適用されることを、当業者は理解されよう。特に、コンテンツサーバは、たとえば、前記オリジンサーバ中に含まれる画像エンコーダから、またはリモート画像エンコーダから、または別のコンテンツサーバから前記複合画像を取得し得る。また、コンテンツサーバは、前記複合画像があらかじめ記憶されていることがある、前記コンテンツサーバのローカルメモリストレージから前記複合画像を取得し得る。
本発明の別の態様によれば、上記で説明した少なくとも1つの配向可能ディスプレイデバイスと、上記で説明した少なくとも1つのコンテンツサーバと、上記で説明した少なくとも1つの画像エンコーダとを備えるシステムが提供される。随意に、前記少なくとも1つの画像エンコーダは、前記少なくとも1つのコンテンツサーバ中に含まれ得る。
本発明の別の態様によれば、プログラムがコンピュータ上で実行されたとき、方法を実施するためのコンピュータ実行可能命令を含むコンピュータプログラム製品が提供され、方法は、上記で説明した方法のうちのいずれか1つのステップを含む。
上記で説明した考慮事項および利点が、必要な変更を加えて、コンピュータプログラム製品の実施形態のためにも適用されることを、当業者は理解されよう。
添付の図面は、本発明による、現在好ましい非限定的で例示的な実施形態を示すために使用される。添付の図面とともに以下の発明を実施するための形態を読めば、本発明による実施形態の特徴の上記および他の利点ならびに本発明の目的がより明らかになり、本発明がより良く理解されよう。
本発明によるシステムの一実施形態を概略的に示す図である。 本発明による方法の一実施形態において使用される例示的な複合画像を概略的に示す図である。 本発明による方法の一実施形態において使用される例示的な複合画像を概略的に示す図である。 本発明による方法の一実施形態において使用される例示的な複合画像を概略的に示す図である。 本発明による方法の一実施形態において使用される例示的な複合画像を概略的に示す図である。 本発明による方法の2つの実施形態を概略的に示す図である。 本発明による方法の一実施形態において使用される例示的な複合画像を概略的に示す図である。
ユーザエージェントは、デバイスの現在の回転に基づいて画像のセットから正しい画像を自動的に選択するための手段を有しない。ウェブアプリケーション開発者は、デバイスの現在の回転に基づいて画像のセットからどの画像を選択すべきかをユーザエージェントに通知するための手段を有しない。したがって、縦方向画像および横方向画像は、たとえばJavaScriptを使用して、ウェブアプリケーション開発者によって扱われる。ユーザが自分のデバイスを回転するとき、ウェブアプリケーションのRWDは変化することになる。これは、画像選択プロセスに影響を及ぼし、したがって、マニフェストファイルにリストされたオーサリングされた画像のセットから選択される画像に影響を及ぼし得る。
ウェブアプリケーション開発者が、新しい異なって配向された画像を要求することに頼るとき、画像選択および要求のための追加のJavaScript論理が、ユーザエージェントにおいてすでに利用可能であるRWD選択プロセスを部分的に消滅させる。新しい画像のプリフェッチが行われない場合、要求はまた、ウェブアプリケーションのレンダリングを遅延させ得る。さらに、新たに選択された画像(たとえば縦方向)は、初期画像(たとえば横方向)との大きい重複を有し得る。したがって、両方の画像を別個のウェブリソースとして扱うことは、実際に必要とされるよりも多くの帯域幅を必要とし、画像を転送することにかかる時間を増加させ、(中間)サーバおよびユーザエージェントにおけるストレージ要件を増加させ、モバイルユーザデバイスのバッテリー消耗レートを増加させる(およびしたがって、全体的バッテリー寿命を減少させる)ことになる。
代替的に、オーサリング時間において、縦方向画像と横方向画像とは、単一の画像に合成され、「画像スライス」または「スプライト」とも呼ばれるCSS画像フラグメント(Image Fragment)を使用して、JavaScript論理によってその単一の画像から導出され得る。ウェブ開発者は、次いで、デバイス配向に応じて、合成された画像から画像フラグメントを選択することができる。この場合も、追加のウェブアプリケーション論理が、ユーザエージェントにおいてすでに利用可能であるRWD選択プロセスを部分的に消滅させる。また、CSS画像フラグメントは、水平矩形選択のみをサポートする。したがって、ユーザが自分のスクリーンを45度回転するとき、すでに合成された縦方向または横方向モードとの大きい重複を有し得る、さらに別の画像をスプライトに組み込むこと以外の他のソリューションはない。この方法は、きめの細かい画像回転のために最適化されない。したがって、きめの細かい回転は、実際に必要とされるよりも多くの帯域幅を必要とし、画像を転送することにかかる時間を増加させ、(中間)サーバおよびユーザエージェントにおけるストレージ要件を増加させ、モバイルユーザデバイスのバッテリー消耗レートを増加させる(およびしたがって、全体的バッテリー寿命を減少させる)ことになる。
したがって、本発明による実施形態は、新しい画像フォーマット、すなわち、好ましくは単一の主題に関係する、複数の配向された画像を表す情報を含む複合画像であって、各配向された画像が、前記複合画像の異なって配向された領域を表す、複合画像の使用を提案する。
複数の配向された画像を使用することによって、複数の画像を別々に送信する必要なしに、配向可能ディスプレイデバイスの1つまたは複数のディスプレイデバイスパラメータに応じて、適切な配向された画像が抽出され、表示され得る。
それの配向された画像が、必ずしもそうではないが好ましくは単一の主題に関係する、複合画像を有することによって、連続移動を使用してディスプレイデバイスを扱うとき、ディスプレイデバイスが、閲覧されている複合画像の適切に移動された領域を表示するというユーザ予想に対応する、そのようなディスプレイデバイスパラメータに応じて、有用な様式で1つまたは複数の配向された画像を抽出し、表示する(すなわち、表示されるとき、より効果的な様式でディスプレイデバイスのディスプレイを埋める)ことが可能である。
各配向された画像に、前記複合画像の異なって配向された領域を表させることによって、そのようなディスプレイデバイスパラメータに応じて、複合画像の対応して配向された領域を表す適切な配向された画像を抽出し、表示することが可能である。
図1に、ディスプレイ4をもつ配向可能ディスプレイデバイス1を備えるシステムを示す。配向可能ディスプレイデバイス1は配向5を有する。配向可能ディスプレイデバイス1は、全体としての配向可能ディスプレイデバイス1を配向することが必ず固定ディスプレイ4をも配向するように、固定ディスプレイ4を含んでいることがあること、または、配向可能ディスプレイデバイス1は、別々に配向可能なディスプレイ4が、全体としての配向可能ディスプレイデバイス1から独立して配向され得るように、別々に配向可能なディスプレイ4を含んでいることがあることを、当業者は理解されよう。後者は、たとえば、配向可能上部ディスプレイをもつスマートウォッチの場合であり得る。
図1は、さらに、システムが第1のコンテンツサーバ2Aと第2のコンテンツサーバ2Bとを備えることを示している。配向可能ディスプレイデバイス1は、接続6Aを介して第1のコンテンツサーバ2Aに接続され、第1のコンテンツサーバ2Aは、接続6Bを介して第2のコンテンツサーバ2Bに接続される。第2のコンテンツサーバ2Bは、画像エンコーダ3を備え、データストレージ7に接続される。他の実施形態では、単一のコンテンツサーバ、たとえばコンテンツサーバ2Bのみが存在し得、接続6Aと接続6Bとは論理的中断なしに結合され得る。
この特定の例では、配向可能ディスプレイデバイス1が、関連する画像を格納しない第1のコンテンツサーバ2Aに画像を要求する。第1のコンテンツサーバ2Aは、その画像を今度は第2のコンテンツサーバ2Bに要求する。第2のコンテンツサーバ2Bは、好ましくは単一の主題に関係し、複合画像9の複数の異なって配向された領域に対応する、複数の配向された画像を表す情報を含む前記複合画像9を符号化するように構成された画像エンコーダ3をたまたま備えている。他の実施形態では、画像エンコーダ3は、単一の主題に関係しない複数の配向された画像を表す情報を含む複合画像を符号化するように構成され得る。画像エンコーダ3は、あらかじめ複合画像9をすでに符号化していることがあり、それは、データストレージ7にすでに格納されていることがある。その場合、第2のコンテンツサーバ2Bは、データストレージ7から複合画像9を取得し、それを接続6Bおよび6A上で第1のコンテンツサーバ2Aを介して送信し、最終的に配向可能ディスプレイデバイス1に送信する。複合画像9があらかじめ符号化されていない場合、第2のコンテンツサーバ2Bは、画像エンコーダ3から直接複合画像9を取得し、アクセスが将来容易なように複合画像9をデータストレージ7に格納すべきか否かを選定し得る。同様に、第1のコンテンツサーバ2Aは、アクセスが将来容易なように複合画像9のローカルコピーを格納すべきか否かを選定し得る。このようにして、配向可能ディスプレイデバイス1は複合画像9を受信する。配向可能ディスプレイデバイス1は、たとえば、加速度計、重力センサー、磁力計、および/またはジャイロスコープなどの位置および動きセンサーを使用して、ディスプレイデバイス配向5など、少なくとも1つのディスプレイデバイスパラメータを決定し、ならびに/あるいは、ディスプレイデバイスの可視スクリーン領域、すなわち、ディスプレイ上に表示される親コンテナ内の画像のための利用可能スペースを表すディスプレイデバイスパラメータを決定する。前記決定された少なくとも1つのディスプレイデバイスパラメータに基づいて、配向可能ディスプレイデバイス1は、次いで、複合画像9から、配向可能ディスプレイデバイス1の現在の状態に最もよく対応する配向された画像を抽出する。たとえば、縦方向に配向された画像9Aの配向10Aが、決定されたディスプレイデバイス配向5に瞬間的に最もよく対応し、したがって、配向可能ディスプレイデバイス1のユーザに最良の閲覧エクスペリエンスを与え得るので、縦方向に配向された画像9Aが抽出され、ディスプレイ4上に表示され得る。
代替または追加として使用され得る、ディスプレイデバイス配向5以外のディスプレイデバイスパラメータは、ディスプレイデバイス可視スクリーン領域、ディスプレイデバイス回転速度、ディスプレイデバイス回転加速度、ディスプレイデバイスパンニング方向、ディスプレイデバイスパンニング速度、およびディスプレイデバイスパンニング加速度のうちのいずれか1つまたは複数を含み得る。
ディスプレイデバイス配向5は、水平方向に対する角度として表され得るが、垂直方向に、地磁界に対する、および/あるいは(空間的に)太陽の位置に、またはビーコンに対するユーザの位置に対する角度としても表され得る。
動的応答性を与えるために、配向可能ディスプレイデバイス1は、少なくとも1つのディスプレイデバイスパラメータの変化を検出し得る。特に、配向可能ディスプレイデバイス1は、ディスプレイデバイス配向5の変化を検出し得、その変化を検出したことに応答して、それは、複合画像9から別のより適している配向された画像(たとえば、配向された画像9B)を抽出し、ディスプレイ4上に表示され得る。複合画像がすでに要求され、受信されているので、データの新しい送信を要求する必要はなく、複合画像9から別の配向された画像を抽出することが可能である。これは、ユーザ閲覧エクスペリエンスが動的でなめらかであることを保証し、また、配向可能ディスプレイデバイス1を回転するとき、ウェブ開発者が、画像を選択するための追加のプログラミング論理を与える必要がないこと、および新しい画像がサーバ2A−Bから取り出される必要がないことを保証し、これは、追加の要求およびラウンドトリップ時間、全体的帯域幅消費、ストレージ要件、ならびにバッテリーエネルギー消費を節約する。
図1は、さらに、複合画像9の例示的な概略表現をも示している。複合画像9は、複数の配向された画像9A−Cを表す情報を含む。この例では、個別軸8Aに沿って示された3つの配向された画像9A−Cがある。各配向された画像9A−Cは好ましくは単一の主題に関係し、これは、各配向された画像が、好ましくは同じ全体的シーンの異なって配向された領域を示すことを意味する。他の実施形態では、画像9A−Cは2つ以上の主題に関係し得る。この例に示された各配向された画像9A−Cは、2次元軸8B−Cに沿って角度配向10A−Cを有する。図1中の複合画像9の情報の視覚表現は、理解を助けるものであり、決して限定としてとられるべきでないことを、当業者は理解されよう。特に、3つの別個の配向された画像9A−Cの包含は、多くの手法のうちの1つにすぎない。さらに、軸8A−Cのおよび配向された画像9A−Cの、サイズおよび角度は例示にすぎない。
配向された画像9Aは縦方向配向10Aで示され、配向された画像9Bは横方向配向10Bで示され、配向された画像9Cは対角方向配向10Cで示されている。この特定の例では、3つの配向された画像9A−Cが複合画像9内に表されている。他の実施形態では、複合画像内に表される2つの配向された画像、たとえば特に、縦方向に配向された画像と横方向に配向された画像とがあり得る。他の実施形態では、複合画像が配向可能ディスプレイデバイス1のよりきめの細かい配向をサポートするように、複合画像内に表される4つまたはそれ以上の配向された画像、たとえば、縦方向に配向された画像、横方向に配向された画像、および縦方向と横方向との間のあらゆる15°ステップ配向のための配向された画像があり得る。
複合画像は複数の配向インジケータを含み得、各配向された画像は、それのそれぞれの配向を示す対応する配向インジケータに関連付けられ得る。例示的な配向インジケータは、2価、3価またはより高い価数の指示、たとえば、ストリング指示「portrait(縦方向)」、「landscape(横方向)」、「left−diagonal(左対角方向)」および「right−diagonal(右対角方向)」、あるいは度数指示「0°」、「90°」、「45°」、および「135°」、およびさらに、「15°」、「30°」、「60°」、「75°」など、あるいは、単に整数指示「0」、「1」および「2」が、たとえば、それぞれ「portrait」、「landscape」および「diagonal」の配向に対応するように適切にあらかじめ定義されている場合、これらの指示を含み得る。
複合画像は、新しいコンテナファイルフォーマット、または既存の画像ファイルフォーマット中に複数の配向された画像を含んでいる既存のコンテナファイルフォーマット(たとえば、RIFF(リソースインターチェンジファイルフォーマット)またはGIF(グラフィックスインターチェンジフォーマット)コンテナあるいはCSS(カスケーディングスタイルシート)スプライト)であり得る。
いくつかの実施形態では、配向された画像がコンテナ中に現れる順序は、あらかじめ定義され得る。たとえば、最初に、縦方向に配向された画像、続いて、横方向に配向された画像、続いて45°画像、続いて315°(−45°)画像などが与えられ得る。各配向された画像は画像配向インジケータに関連付けられ得る。上記で指定したような、あるコンテナのための画像配向インジケータは、別個のファイル中で与えられ得るか、または複合画像内の各対応する配向された画像にリンクされ得る。
CSSスプライトのためのさらに発展した実施形態では、配向可能ディスプレイデバイスは、CSSファイル中の画像配向インジケータを使用して、(たとえば、ディスプレイデバイスによって決定された実際のディスプレイデバイス配向に基づいて)画像フラグメントを自動的に選択することができる。画像配向インジケータは画像フラグメントとして与えられ得る。いくつかの例が以下で与えられる。
− 例示的な画像フラグメント1:image(‘sprites.svg#landscape=0,0,1024,768’)。
− 例示的な画像フラグメント2:image(‘sprites.svg#45Degrees=0,768,1267,1267’)。CSSにおいて定義された画像フラグメントは常に水平方向に矩形であるので、画像は透過部分を含んでいることがある。
− 例示的な画像フラグメント3:image(‘sprites.svg#portrait=0,2035,768,1024’)。
他の実施形態では、複合画像中の1つまたは複数の配向された画像は1つまたは複数の部分に区分され得、ある配向された画像の1つまたは複数の部分は別の配向された画像の1つまたは複数の部分に等しく、各部分は一意にアドレス指定可能であり得る。さらに発展した実施形態では、配向された画像中の重複部分のためのマッピング情報が画像エンコーダに与えられ、画像デコーダによる使用のために関連情報が複合画像に格納され得る。コーデックヒントが、効果的に、複合画像の圧縮された画像サイズを低減し、ストレージ要件を低減し、配向可能ディスプレイデバイス上で実行しているユーザエージェントによって要求されたとき、帯域幅およびレイテンシを低減し、ユーザにとっての待ち時間を低減することになる。
たとえば、横方向に配向された画像と縦方向に配向された画像とを含んでいるCSSスプライト複合画像中の両方の配向された画像間に重複があるとき、ヒントは、両方のエリアを共通として定義することになる。一例が以下で与えられる。
− コーデックヒント:sprites.svg#landscape@128,128,768,768=sprites.svg#portrait@128,2163,768,768
配向された画像が現れるあらかじめ定義された順序をもついくつかの実施形態では、複合画像は、最初に、縦方向に配向された画像と、続いて、縦方向に配向された画像と横方向に配向された画像との間の差分画像と、続いて(または先行して)、横方向に配向された画像中で使用されない縦方向に配向された画像の部分の記述またはその逆とを含んでいることがある。
いくつかの実施形態では、たとえばアニメーションを可能にするために、配向された画像はアニメーション画像であり得る。
また他の実施形態では、たとえばズーム機能を可能にするために、配向された画像はプログレッシブ画像であり得る。
図2に、本発明による方法の実施形態において使用するための例示的な複合画像40を示す。特に、縦方向に配向された画像45と横方向に配向された画像42とを表す情報が含まれる、行41−43および列44−46の行列分割をもつ複合画像40が示されている。縦方向に配向された画像45と横方向に配向された画像42との間の差分画像はセクション21および23であり、横方向モードにおいて使用されない部分は12および32であろう。
図3に、本発明による方法の実施形態において使用するための別の例示的な複合画像40を示す。特に、行41−43および列44−46の行列分割をもつ複合画像40は、2つの配向された画像、すなわち、セクション12、13、22、23、32および33を含む縦方向に配向された画像と、セクション21および22を含む(すなわち、この例では、セクション23を含まない)横方向に配向された画像とを表す情報を含む。縦方向に配向された画像と横方向に配向された画像との間の差分画像はセクション21であり、横方向モードにおいて使用されない部分は、12、13、23、32および33であろう。
特定の実施形態では、複合画像は、部分と組成情報とが付随する単一の画像を含んでいることがある。さらに発展した実施形態では、単一の画像は、情報を含んでいない部分が、たとえば(透過)空白としてコーディングされる、画像のセットの組成物であり得る。図2の例示的な複合画像では、空白部分は、11、13、31、および33であろう。図3の例示的な複合画像では、空白部分は、11および31であろう。
他の実施形態では、たとえば、最初に、縦方向に配向された画像が与えられ、2番目に、横方向に配向された画像のための差分が与えられ得る。各配向された画像は画像配向インジケータに関連付けられ得る。上記で指定したような、あるコンテナのための画像配向インジケータは、別個のファイル中で与えられ得るか、または複合画像内の各対応する配向された画像にリンクされ得る。さらに発展した実施形態では、各コンテナ部分が画像配向インジケータの後にあり得る。さらなる実施形態では、画像配向インジケータは、テキストストリング、たとえば、「portrait(縦方向)」、「landscape(横方向)」、および「difference(差分)」として与えられ得る。さらに発展した実施形態では、画像配向インジケータは、ブール、たとえば、縦方向の場合は0(「zero」)、差分画像の場合は1(「one」)、および使用されない縦方向に配向された画像の部分の場合は2(「two」)として与えられ得る。
他の実施形態では、配向された画像の一意の部分ならびに重複部分が複合画像中で与えられ、個々の配向された画像部分の組成に関する情報が同様に与えられる。図2中の図では、横方向に配向された画像は、部分21=左、22=中、および23=右を含み、縦方向に配向された画像は、部分12=上、22=中、および32=下を含む。図3中の図では、横方向に配向された画像は、部分21=左、22=中、および23=右を含み、縦方向に配向された画像は、部分12=左上、13=右上、22=中左、23=中右、32=左下、および33=右下を含む。
他の実施形態では、各部分について、その部分がどのモードに(すなわち、どの配向された画像に)属するかが示される。図2中の図では、部分11はどのモードにも属さず、部分12は縦方向モードに属し、部分21は横方向モードに属し、部分22は縦方向および横方向モードに属する。代替実施形態では、全列が縦方向モードのために使用され得、全行が横方向モードのために使用され得る。
別の実施形態では、複合画像は、縦方向に配向された画像と横方向に配向された画像との間の共通部分である重複画像と、続いて、共通画像と横方向に配向された画像との間の差分画像と、続いて、共通画像と縦方向に配向された画像との間の差分画像と、続いて、共通部分がどこに挿入されるべきかを示す、配向された画像の各々のためのロケーションインジケータ(たとえば、それぞれ、横方向に配向された画像または縦方向に配向された画像のための水平方向または垂直方向におけるピクセルオフセット)とを含んでいることがある。特定の実施形態では、画像中の共通部分のためのピクセルは、すべて、単一色(たとえば黒)および/または100%透過であり得る。
いくつかの実施形態では、たとえばきめの細かい制御を可能にするために、(たとえば度単位での)配向インジケータ、ならびに関連する配向された画像サイズおよびピクセルオフセットが与えられ得る。CSSスプライト複合画像含有ファイルフォーマットを使用する実施形態では、配向可能ディスプレイデバイス上で実行しているユーザエージェントは、CSSファイル中の画像配向インジケータを使用して、実際のデバイス配向および/または他の決定されたディスプレイデバイスパラメータに基づいて、画像フラグメント(すなわち、配向された画像)を自動的に選択することができる。画像配向インジケータは(非標準)画像フラグメントとして与えられ得る。いくつかの例が以下で与えられる。
− 例示的な画像フラグメント1:image(‘sprites.svg#00=250,121,768,1024,0’)/*縦方向*/
− 例示的な画像フラグメント2:image(‘sprites.svg#45=820,20,768,1024,45’)。
− 例示的な画像フラグメント3:image(‘sprites.svg#90=1146,250,768,1024,90’)/*横方向*/
最後のパラメータは、フラグメントインジケータとして度数を使用するとき、随意であり得ることに留意されたい。
いくつかの実施形態では、複合画像は2D領域およびピクセルオフセットであり、画像サイズおよび画像配向は、領域の境界上で自動的に決定され得る。例示的な2D領域は、水平および垂直画像サイズに対応する楕円であり、ピクセルオフセットは、楕円、または縦方向に配向された画像と横方向に配向された画像とが等しい比率であるとき、円の境界上で自動的に決定される。これは図4に示されており、複合画像50は、ここでは円の形態の主画像と、各々が複合画像50の異なって配向された領域を表す、複数の配向された画像60を表す情報とを含む。複数の配向された画像60のうちの7つの配向された画像が、マーキング61、62などを使用して、この図に示されている。配向された画像60は、複合画像50の主画像に基づいて表されるので、複合画像50をもつ1つのデータファイルのみが送信される必要があるとともに、1つの受信されたデータファイルから複数の配向された画像60を抽出することが手際よく可能になることを、当業者は理解されよう。
図5では、ここでも図4の場合のように円の形態の主画像と、各々が複合画像50の異なって配向された領域を表す、複数の配向された画像を表す情報とを同じく含む、複合画像50が示されている。詳細には、情報は、それぞれ、縦方向に配向された画像、45°に配向された画像および横方向に配向された画像である、マーキング61、62および63で示された3つの配向された画像を表す。一例として、情報は、以下の画像フラグメント形式、すなわち、(1)image(‘sprites.svg#00)、(2)image(‘sprites.svg#45)および(3)image(‘sprites.svg#90)で複合画像50中に含まれ得る。エンコーダは、画像をより効率的に符号化するために、前述の情報を考慮に入れ得る。
いくつかの実施形態では、ピクセルオフセット、画像サイズ、および配向は、1つまたは複数の数式によって与えられ得る。数式は、原点(すなわち、ピクセルオフセット)の軌跡、ならびに/または、画像サイズおよび配向など、種々のパラメータを記述し得る。さらに発展した実施形態では、ベクトルのオーサリングされたセットが、画像オフセット、画像サイズ、画像比、および配向をマークするために与えられ得る。
図6に、本発明による方法の2つの実施形態を概略的に示す。左側に、配向された画像を配向可能ディスプレイデバイス1上に表示するための方法の一実施形態が示されている。右側に、たとえば、コンテンツサーバ2Aにおいて実施される、複合画像を配向可能ディスプレイデバイス1に与えるための方法の一実施形態が示されている。また、これらの2つの実施形態間の相互関係が示されている。
最初に、配向可能ディスプレイデバイス1(以降「デバイス1」)が、71において、随意にコンテンツサーバ2Aに画像を要求する。要求は、破線矢印72として示されている。要求72は、73において、もちろん同じく随意に、コンテンツサーバ2A(以降「サーバ2A」)において受信される。サーバ2Aは、次に、74において、好ましくは単一の主題に関係し、各々が複合画像の異なって配向された領域を表す、複数の配向された画像を表す情報を含む前記複合画像を取得する。サーバ2Aは、その後、75において複合画像を送信する。複合画像の送信は、破線矢印76として示されている。複合画像送信76は、77において、デバイス1において受信される。
デバイス1は、78において、1つまたは複数のディスプレイデバイスパラメータを決定する。これは、77において複合画像を受信するより前に、同時に、またはその後に行われ得、必要に応じて繰り返され得る。
デバイス1は、79において、1つまたは複数の決定されたディスプレイデバイスパラメータに基づいて、複合画像から、配向された画像を抽出し、80において、抽出された配向された画像をそれのディスプレイ4上に表示する。
随意に、ここで示された実施形態はまた、デバイス1が、81において、デバイス1のディスプレイデバイスパラメータの1つまたは複数の変化を検出するステップを含む。1つまたは複数の変化が検出された場合、デバイス1は、それに応じて、79において、配向された画像を再び抽出し、80において表示する。
図7に、本発明による方法の一実施形態において使用される例示的な複合画像90を概略的に示す。4つの配向された画像91−94を表す情報を含む複合画像90が示されているが、複合画像90に含まれる情報によって表される、4つよりも少ないまたは多い配向された画像があり得ることを、当業者は理解されよう。複合画像90および、結果として、配向された画像91−94は、好ましくは単一の主題に関係する。
この特定の例では、配向可能ディスプレイデバイスの並進および回転が、それぞれ、一方では並進について、配向された画像91および92によって示され、他方では回転について、配向された画像93および94によって示されている。特に、配向された画像91−94は、複合画像90の異なって配向された領域(すなわち、画像領域)を表す。
配向された画像92は、配向された画像91に対して右へ並進(すなわち、パン)された複合画像90の領域を表す。ユーザが、配向された画像91を表示しながら、配向可能ディスプレイデバイスを右へ並進運動で移動した場合、ディスプレイデバイスは、それの配置の変化を検出し得、新しい、より適切な配向された画像92を抽出し得、したがって、ディスプレイデバイスのディスプレイは複合画像90の知覚可能で有用なピクチャを保持する。
配向された画像94は、配向された画像93に対して時計回りに回転された複合画像90の領域を表す。ユーザが、配向された画像91を表示しながら、配向可能ディスプレイデバイスを時計回りに回転運動で移動した場合、ディスプレイデバイスは、それの配向の変化を検出し得、新しい、より適切な配向された画像94を抽出し得、したがって、ディスプレイデバイスのディスプレイは複合画像90の知覚可能で有用なピクチャを保持する。
並進と回転とはまた組み合わせられ得ること、および、代替または追加として、配向可能ディスプレイデバイスへの他のタイプの入力またはそれの他のタイプの状態も、複合画像の1つまたは複数の配向された画像を抽出し、表示するために使用され得ることを、当業者は理解されよう。
その上、配向可能ディスプレイデバイスはまた、回転および/または並進の速度および/または加速度に関係する1つまたは複数のディスプレイデバイスパラメータを決定し得る。
この特定の例では、配向された画像94は、部分94Aが複合画像90の境界の外側にある状態で、たまたま広がっている。本方法のいくつかの実施形態は、配向可能ディスプレイデバイスによって抽出され、表示される配向された画像94が、できる限り多くの有用なピクチャエリアを保持するように、複合画像90の異なる部分94Bを代用することによって、そのような偶発的な事態を補償し得る。他の実施形態は、部分94Aを異なる様式で、たとえば、黒色または白色エリアとして表示することによって、部分94Aが利用不可能であることを代替的に示し得る。
様々な上述の方法のステップが、プログラムされたコンピュータによって実施され得ることを、当業者は容易に認識されよう。本明細書では、いくつかの実施形態はまた、機械またはコンピュータ可読であり、命令の機械実行可能またはコンピュータ実行可能プログラムを符号化し、前記命令が、前記上述の方法のステップの一部または全部を実施する、プログラム記憶デバイス、たとえばデジタルデータ記憶媒体をカバーするものとする。プログラム記憶デバイスは、たとえば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的可読デジタルデータ記憶媒体であり得る。実施形態はまた、上述の方法の前記ステップを実施するようにプログラムされたコンピュータをカバーするものとする。
説明および図面は本発明の原理を示しているにすぎない。したがって、当業者は、本明細書では明示的に説明または図示されていないが、本発明の原理を具現化し、本発明の趣旨および範囲内に含まれる、様々な構成を考案することができることが諒解されよう。さらに、本明細書で具陳されたすべての例は、主に、本発明の原理、および当技術分野を助成するために(1人または複数の)発明者によって与えられた概念を読者が理解するのを助けるという教育上の目的のみを明確に意図しており、そのような特に具陳された例および条件に限定されないものと解釈されるべきである。その上、本発明の原理、態様、および実施形態、ならびにそれらの特定の例を具陳した本明細書のすべての記述は、それらの均等物を包含するものとする。
「プロセッサ」として標示された機能ブロックを含む、図に示された様々な要素の機能は、専用ハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用によって提供され得る。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、またはそのうちの一部が共有され得る複数の個別プロセッサによって提供され得る。その上、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に指すと解釈されるべきではなく、限定はしないが、デジタル信号プロセッサ(DSP)ハードウェア、ネットワークプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ソフトウェアを記憶するための読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性記憶装置を暗黙的に含み得る。従来および/またはカスタムの他のハードウェアも含まれ得る。同様に、図に示されたいかなるスイッチも概念的なものにすぎない。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理との相互作用によって、さらには手動で実行され得、特定の技法は、コンテキストからより明確に理解されるように、実装者によって選択可能である。
本明細書のいかなるブロック図も、本発明の原理を具現化する例示的な回路の概念図を表すことを、当業者は諒解されたい。同様に、いかなるフローチャート、流れ図、状態遷移図、擬似コードなども、コンピュータ可読媒体で実質的に表現され、コンピュータによってそのように実行され得る、様々なプロセスを表すことが諒解されよう。
本発明の原理が特定の実施形態に関して上記で提示されたが、この説明は、例として行われたにすぎず、添付の特許請求の範囲によって決定される保護の範囲の限定として行われたものではないことを理解されたい。

Claims (15)

  1. コンテンツサーバからの配向された画像を配向可能ディスプレイデバイス上に表示するための方法であって、前記方法は、
    − 前記コンテンツサーバから、複数の配向された画像を表す情報を含む複合画像を受信するステップであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、受信するステップと、
    − 前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータを決定するステップと、
    − 前記少なくとも1つの決定されたディスプレイデバイスパラメータに基づいて、前記複合画像から、配向された画像を抽出するステップと、
    − 前記抽出された配向された画像を前記配向可能ディスプレイデバイス上に表示するステップと
    を含む、方法。
  2. 前記コンテンツサーバに画像を要求するステップを含み、
    前記受信するステップが、前記要求に応答して実施される、
    請求項1に記載の方法。
  3. − 前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータの変化を検出するステップと、
    − 前記変化の検出に応答して、前記複合画像から他の配向された画像を抽出するステップと、
    − 前記他の配向された画像を前記配向可能ディスプレイデバイス上に表示するステップと
    を含む、請求項1または2に記載の方法。
  4. 前記少なくとも1つのデバイスパラメータが、ディスプレイデバイス配向、ディスプレイデバイス可視スクリーン領域、ディスプレイデバイス回転速度、ディスプレイデバイス回転加速度、ディスプレイデバイスパンニング方向、ディスプレイデバイスパンニング速度、およびディスプレイデバイスパンニング加速度のうちのいずれか1つまたは複数を含む、請求項1から3のいずれか一項に記載の方法。
  5. 複合画像を符号化するための方法であって、前記方法が、
    − 好ましくは単一の主題に関係する少なくとも1つの画像について、複数の異なって配向された領域を決定するステップと、
    − 前記複数の異なって配向された領域に対応する複数の配向された画像を表す情報を生成するステップと、
    − 配向可能ディスプレイデバイスへの送信のために、前記生成された情報を含む複合画像を符号化するステップと
    を含む、方法。
  6. 複合画像を配向可能ディスプレイデバイスに与えるための方法であって、前記方法は、
    − 複数の配向された画像を表す情報を含む複合画像を取得するステップであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、取得するステップと、
    − 前記複合画像を前記配向可能ディスプレイデバイスに送信するステップと
    を含む、方法。
  7. 前記配向可能ディスプレイデバイスから画像についての要求を受信するステップを含み、
    前記送信するステップが、前記受信に応答して実施される、
    請求項6に記載の方法。
  8. 前記複合画像が複数の配向インジケータを含み、前記配向された画像の各々が、それのそれぞれの配向を示す対応する配向インジケータに関連付けられる、請求項1から7のいずれか一項に記載の方法。
  9. 前記複合画像が、以下の構成、すなわち、
    − 複数のエントロピーコード化された配向された画像のうちの少なくとも1つが、それらの画像のうちの少なくとも1つの他の画像の少なくとも1つの実質的に等しい部分への少なくとも1つの参照を含んでいる、前記複数のエントロピーコード化された配向された画像、
    − 少なくとも1つのベース画像、および各差分画像が、それの対応するベース画像とは異なる少なくとも1つの画像部分を含んでいる、少なくとも1つの対応する差分画像、ならびに、
    − 少なくとも1つの部分画像、およびそれの対応する部分画像のための配置を示す少なくとも1つの対応する組成指示
    のうちの少なくとも1つを含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記複合画像が、少なくとも1つの主画像と、前記少なくとも1つの主画像から少なくとも1つの配向された画像を生成するために構成された少なくとも1つの画像式とを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記少なくとも1つの画像式が、配向された画像の原点の少なくとも1つの軌跡、好ましくは連続円を含み、および/または各画像式が原点と配向とサイズとを含む、請求項10に記載の方法。
  12. コンテンツサーバからの配向された画像を表示するための配向可能ディスプレイデバイスであって、前記ディスプレイデバイスは、
    − 前記コンテンツサーバから、複数の配向された画像を表す情報を含む複合画像を受信するために構成された受信機であって、各配向された画像が、前記複合画像の異なって配向された領域を表す、受信機と、
    − 前記配向可能ディスプレイデバイスの少なくとも1つのディスプレイデバイスパラメータを決定するために構成されたパラメータモジュールと、
    − 前記パラメータモジュールからの出力に基づいて、前記複合画像から、配向された画像を抽出するために構成された抽出器と、
    − 前記抽出された配向された画像を表示するために構成されたディスプレイと
    を備える、ディスプレイデバイス。
  13. 複合画像を符号化するための画像エンコーダであって、前記画像エンコーダが、
    − 好ましくは単一の主題に関係する少なくとも1つの画像について、複数の異なって配向された領域を決定するために構成された配向モジュールと、
    − 前記複数の異なって配向された領域に対応する複数の配向された画像を表す情報を生成することと、配向可能ディスプレイデバイスへの送信のために、前記生成された情報を含む複合画像を符号化することとを行うために構成されたエンコーダモジュールと
    を備える、画像エンコーダ。
  14. 複合画像を配向可能ディスプレイデバイスに与えるためのコンテンツサーバであって、前記コンテンツサーバは、
    − 複数の配向された画像を表す情報を含む複合画像を取得するために構成されたプロセッサであって、各配向された画像が、前記複合画像の異なって配向された領域を表す、プロセッサと、
    − 前記複合画像を前記配向可能ディスプレイデバイスに送信するために構成された送信機と
    を備える、コンテンツサーバ。
  15. プログラムがコンピュータ上で実行されたとき、方法を実施するためのコンピュータ実行可能命令を含むコンピュータプログラム製品であって、方法が、請求項1から11のいずれか一項に記載の方法のうちのいずれか1つのステップを含む、コンピュータプログラム製品。
JP2017532806A 2014-12-19 2015-12-15 配向化画像符号化、送信、復号および表示 Expired - Fee Related JP6557343B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14307109.0A EP3035326B1 (en) 2014-12-19 2014-12-19 Encoding, transmission , decoding and displaying of oriented images
EP14307109.0 2014-12-19
PCT/EP2015/079796 WO2016096860A1 (en) 2014-12-19 2015-12-15 Encoding, transmission, decoding and displaying of oriented images

Publications (2)

Publication Number Publication Date
JP2018507580A true JP2018507580A (ja) 2018-03-15
JP6557343B2 JP6557343B2 (ja) 2019-08-07

Family

ID=52394056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532806A Expired - Fee Related JP6557343B2 (ja) 2014-12-19 2015-12-15 配向化画像符号化、送信、復号および表示

Country Status (5)

Country Link
US (1) US20170337903A1 (ja)
EP (1) EP3035326B1 (ja)
JP (1) JP6557343B2 (ja)
CN (1) CN107004027A (ja)
WO (1) WO2016096860A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864925B2 (en) * 2016-02-15 2018-01-09 Ebay Inc. Digital image presentation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141570A (ja) * 2010-12-16 2012-07-26 Sony Corp 画像生成装置、プログラム、画像表示システム、および画像表示装置
WO2014034256A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 表示制御装置、表示制御システムおよび表示制御方法
WO2014066887A1 (en) * 2012-10-26 2014-05-01 Intel Corporation Streaming with coordination of video orientation (cvo)
WO2015005367A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像復号装置および方法
WO2015008774A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および方法
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448372A (en) * 1991-12-18 1995-09-05 Eastman Kodak Company Storage and retrieval of digitized photographic images
US5973664A (en) * 1998-03-19 1999-10-26 Portrait Displays, Inc. Parameterized image orientation for computer displays
KR100676328B1 (ko) * 2000-06-28 2007-01-30 삼성전자주식회사 피아이피 기능을 갖는 디지탈 영상표시기기의 피봇장치
KR100651938B1 (ko) * 2004-08-16 2006-12-06 엘지전자 주식회사 영상 배향 제어장치, 방법 및 매체
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
CN101543062B (zh) * 2006-12-13 2011-05-25 夏普株式会社 数字电视广播系统及便携式电话机
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5413250B2 (ja) * 2010-03-05 2014-02-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9256974B1 (en) * 2010-05-04 2016-02-09 Stephen P Hines 3-D motion-parallax portable display software application
US8872855B2 (en) * 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US20130155305A1 (en) * 2011-12-19 2013-06-20 Sony Corporation Orientation of illustration in electronic display device according to image of actual object being illustrated
WO2013094211A1 (ja) * 2011-12-21 2013-06-27 パナソニック株式会社 表示装置
JP5872923B2 (ja) * 2012-02-22 2016-03-01 株式会社マイクロネット Ar画像処理装置及び方法
JP5813031B2 (ja) * 2013-03-25 2015-11-17 富士フイルム株式会社 携帯端末
US9530187B2 (en) * 2013-06-13 2016-12-27 Apple Inc. Controlling element layout on a display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141570A (ja) * 2010-12-16 2012-07-26 Sony Corp 画像生成装置、プログラム、画像表示システム、および画像表示装置
WO2014034256A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 表示制御装置、表示制御システムおよび表示制御方法
WO2014066887A1 (en) * 2012-10-26 2014-05-01 Intel Corporation Streaming with coordination of video orientation (cvo)
WO2015005367A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像復号装置および方法
WO2015008774A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および方法
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム

Also Published As

Publication number Publication date
CN107004027A (zh) 2017-08-01
EP3035326A1 (en) 2016-06-22
EP3035326B1 (en) 2019-07-17
US20170337903A1 (en) 2017-11-23
WO2016096860A1 (en) 2016-06-23
JP6557343B2 (ja) 2019-08-07

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
CN110495166B (zh) 一种计算机实现的方法、计算装置以及可读存储介质
US8917286B2 (en) Image processing device, information processing device, image processing method, and information processing method
CN106537894B (zh) 用于回放全景视频内容的系统和方法
US11119719B2 (en) Screen sharing for display in VR
KR102492565B1 (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
RU2722584C2 (ru) Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей
US20180165830A1 (en) Method and device for determining points of interest in an immersive content
TW201730841A (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
JP6360296B2 (ja) 画像送信装置、画像提示システム、制御方法、及びプログラム
US20130271452A1 (en) Mechanism for facilitating context-aware model-based image composition and rendering at computing devices
CN108174174A (zh) Vr视频显示方法、装置及终端
TW201921918A (zh) 影像處理裝置及檔案生成裝置
US10540826B2 (en) Method of playing virtual reality image and program using the same
JP6557343B2 (ja) 配向化画像符号化、送信、復号および表示
WO2018069215A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
WO2018086960A1 (en) Method and device for transmitting data representative of an image
EP3310052A1 (en) Method, apparatus and stream for immersive video format
EP3310053A1 (en) Method and apparatus for coding transparency information of immersive video format
US11962743B2 (en) 3D display system and 3D display method
EP3310057A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190711

R150 Certificate of patent or registration of utility model

Ref document number: 6557343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees