JP2014511517A - 遅延画像復号 - Google Patents
遅延画像復号 Download PDFInfo
- Publication number
- JP2014511517A JP2014511517A JP2013550496A JP2013550496A JP2014511517A JP 2014511517 A JP2014511517 A JP 2014511517A JP 2013550496 A JP2013550496 A JP 2013550496A JP 2013550496 A JP2013550496 A JP 2013550496A JP 2014511517 A JP2014511517 A JP 2014511517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- computer
- usage type
- images
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003111 delayed effect Effects 0.000 title description 11
- 238000000034 method Methods 0.000 claims description 17
- 230000003139 buffering effect Effects 0.000 claims 2
- 230000001934 delay Effects 0.000 abstract description 2
- 238000009877 rendering Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
- H04N1/00214—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
- H04N1/00217—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission only involving computer data transmission protocols, e.g. SMTP, WAP or HTTP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/333—Mode signalling or mode changing; Handshaking therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
- H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
- H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00464—Display of information to the user, e.g. menus using browsers, i.e. interfaces based on mark-up languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
- H04N1/00954—Scheduling operations or managing resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0034—Details of the connection, e.g. connector, interface
- H04N2201/0037—Topological details of the connection
- H04N2201/0039—Connection via a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/333—Mode signalling or mode changing; Handshaking therefor
- H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
- H04N2201/33314—Mode signalling or mode changing; Handshaking therefor of a particular mode of reading or reproducing mode
- H04N2201/33321—Image or page size, e.g. A3, A4
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
- Facsimiles In General (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一又は複数の実施形態では、画像の復号を、経験則に基づき遅延させ、後で、その画像に関連する利用タイプ又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
Description
本発明は画像の復号に関する。
一般的に、画像を含むウェブページをウェブブラウザが要求した場合、その画像はダウンロードされ、ダウンロードされた時に復号される。画像の復号には、その画像の、コンピュータシステムのビデオハードウェアを用いてレンダリングできる形式への展開（expanding）や解凍が必要である。画像の解凍によりＣＰＵのリソースとオーバーヘッドが消費される。また、画像の解凍によりメモリリソースも消費され得る。
しかし、状況によっては、参照画像はレンダリングされなかったり、視聴されないこともある。こうした場合、画像の復号により、ＣＰＵリソース、オーバーヘッド、及びメモリが無駄になってしまう。
本欄では、発明の詳細な説明で詳しく説明するコンセプトの一部を選んで、簡単に説明する。本欄は、特許を請求する主題の重要な特徴や本質的な特徴を特定するものではなく、特許を請求する主題の範囲を限定するものでもない。
一又は複数の実施形態では、画像の復号を、経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
複数の図面にわたり同じ数字を用いて同じ機能を示した。
一又は複数の実施形態による、ここに説明する様々な原理を利用できる動作環境を示す図である。
一又は複数の実施形態による方法のステップを説明するフロー図である。
一又は複数の実施形態によるビューポートの一例を示す図である。
一又は複数の実施形態をインプリメントするのに利用できるシステムの一例を示す図である。
概要
一又は複数の実施形態では、画像の復号を、経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
一又は複数の実施形態では、画像の復号を、経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
以下の説明では、「動作環境」セクションを設け、一又は複数の実施形態で利用できる環境を説明する。その後、「画像復号器モジュール動作」セクションで、一又は複数の実施形態による画像復号器モジュールの動作を説明する。最後に、「システム例」セクションにおいて、一又は複数の実施形態による、利用可能なシステムの一例を説明する。
ここで、一又は複数の実施形態をインプリメントできる動作環境の一例を考える。
動作環境
図１は、一又は複数の実施形態による動作環境１００を示す。環境１００は計算装置１０２を含む。計算装置１０２は、一又は複数のプロセッサ１０４と、一又は複数のコンピュータ読み取り可能記憶媒体１０６と、コンピュータ読み取り可能媒体上にあってプロセッサにより実行可能な一又は複数のアプリケーション１０８とを有する。コンピュータ読み取り可能記憶媒体は、限定ではなく例として、計算装置に付随するすべての形式の揮発性及び不揮発性のメモリ及び／又は記憶媒体を含む。かかる媒体には、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク、リムーバブルメディアなどが含まれる。計算装置の具体例は図４を参照して説明する。
図１は、一又は複数の実施形態による動作環境１００を示す。環境１００は計算装置１０２を含む。計算装置１０２は、一又は複数のプロセッサ１０４と、一又は複数のコンピュータ読み取り可能記憶媒体１０６と、コンピュータ読み取り可能媒体上にあってプロセッサにより実行可能な一又は複数のアプリケーション１０８とを有する。コンピュータ読み取り可能記憶媒体は、限定ではなく例として、計算装置に付随するすべての形式の揮発性及び不揮発性のメモリ及び／又は記憶媒体を含む。かかる媒体には、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク、リムーバブルメディアなどが含まれる。計算装置の具体例は図４を参照して説明する。
また、計算装置１０２は、ウェブブラウザ１１０の形式のソフトウェアアプリケーションを含む。任意の好適なウェブブラウザを用いることができる。その例は、本出願の譲受人その他から入手可能である。また、コンピュータ読み取り可能記憶媒体１０６は、上記の動作及び以下に説明する動作をする画像復号器モジュール１１１を含む。画像復号器モジュールは、ウェブブラウザ１１０に組み込むこともできるが、ウェブブラウザにより利用されるスタンドアロンコンポーネントであってもよい。
動作時、画像復号器モジュール１１１は、画像ダウンロードが画像復号からデカップリングされるフレームワークの一部を形成する。画像復号器モジュールは、ダウンロードされた画像をいつレンダリングのために効率的に復号するか、インテリジェントに確認（intelligently ascertain）するように構成されている。少なくともある実施形態では、画像の復号を、画像復号器モジュール１１１により経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき開始する。例えば、画像復号器モジュールは、利用履歴及び優先システムを用いて、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
また、環境１００は、インターネットなどのネットワーク１１２と、コンテンツを送受信できる一又は複数のウェブサイト１１４とを含む。かかるコンテンツは、画像復号器モジュール１１１により処理される画像を含むウェブページを含む。
計算装置１０２は、限定ではなく例として、デスクトップコンピュータ、ポータブルコンピュータ、ネットブック、パーソナルデジタルアシスタント（ＰＤＡ）等のハンドヘルドコンピュータ、携帯電話などの、任意の好適な計算装置として実施できる。
動作環境の一例を説明したので、ここで一又は複数の実施形態による画像復号器モジュールの一例の動作を説明する。
画像復号器モジュールの動作
図２は、一又は複数の実施形態による画像復号器モジュール１１１（図１）の動作のある態様を示す。
図２は、一又は複数の実施形態による画像復号器モジュール１１１（図１）の動作のある態様を示す。
ステップ２００において、一又は複数の符号化画像をダウンロードする。このステップは任意の好適な方法で実行してもよい。例えば、少なくともある実施形態では、ブラウザナビゲーションに応じて、好適に構成されたウェブブラウザにより画像をダウンロードできる。ステップ２０２において、ダウンロードされた画像に付随するメタデータを復号する。ダウンロードされた画像そのものでははく、その画像に付随するメタデータを復号することにより、画像復号に先立って、サイズ情報、透明度などの画像に付随する有用な情報を確認できる。例えば、メタデータから確認されるサイズ情報を用いて、画像復号に先立って、ページレイアウトを前処理できる。さらに、サイズ情報を用いて、ある画像の復号を遅延させるかどうか、確認することができる。例えば、あるサイズ閾値（例えば、２５６ｋＢ）より小さい画像は、ダウンロードしてすぐに復号できる。同様に、あるサイズ閾値より大きい画像は、後で何時復号されるか決定される。
ステップ２０４において、符号化画像の復号を遅延する場合、その符号化画像をバッファする。バッファされる画像には「低」、「普通」、「高」などの優先度を割り当てることができる。優先度は下記の処理により変更できる。
ステップ２０６において、画像に関連する利用タイプ、又はその画像の利用の尤度を確認する。
ステップ２０８において、他の計算をしつつ、利用タイプに応じて、符号化画像を要求に応じて非同期又は同期で復号する。このステップは、好適に構成されたウェブブラウザが復号キュー内で画像を前倒し処理（advance）するように、その画像の優先度を高くすることによって行っても良い。利用タイプの例は、下記の「利用タイプ例」セクションで説明する。
代替的又は追加的に、ステップ２１０において、符号化画像が利用されそうであれば、その符号化画像を要求に応じて非同期で又は同期して復号する。同様に、このステップは、好適に構成されたウェブブラウザが復号キュー内で画像を前倒し処理（advance）するように、その画像の優先度を高くすることによって行っても良い。この処理をどう行うかの例は、下記の「利用の尤度」セクションで説明する。
ここで、一又は複数の実施形態による利用タイプの例について考える。言うまでもなく、説明する利用タイプは単なる例であり、特許請求する主題をこれらの具体的な利用タイプに限定するものではない。そのため、特許請求する主題の精神と範囲から逸脱することなく、他の利用タイプを用いることができる。
利用タイプの例
一又は複数の実施形態では、画像に関連する利用タイプにより、その画像を、低優先度を付与して遅延復号できるか、高優先度を付与して画像の復号を要求に応じて実行するか、決定できる。
一又は複数の実施形態では、画像に関連する利用タイプにより、その画像を、低優先度を付与して遅延復号できるか、高優先度を付与して画像の復号を要求に応じて実行するか、決定できる。
復号を要求に応じて行いユーザ体験を向上する一利用タイプは、いわゆる初期化動作（initialization operation）に関連する。具体的に、画像が初期ビューに表示される場合、その画像の復号は要求に応じて行われ、及び／又は画像を漸進的にレンダリングできる。例えば、ユーザがまったく初めてあるページにナビゲートされ、そのページに関連する画像がまだ復号されていないと仮定する。この場合、最初のビューに表示されるべき画像を検出し、その画像が復号されるまで、ページのレンダリングは遅らされる。一又は複数の実施形態では、遅延閾値を例えば１００ｍｓと定めて、ページレンダリングをどのくらい遅らせるか制御するのに用いる。遅延のタイプとしては任意の好適なものを用いることができる。
復号を要求に応じて実行できる他の一利用タイプは、ユーザインターラクションに関連する。具体的に、あるシナリオでは、インターラクティブなフィードバックによりユーザ体験を向上できる。例えば、ユーザがウェブページに現れつつあるオブジェクト上にカーソルを重ねると、サムネイル画像が表示され、カーソルが重ねられたオブジェクトに関連する追加情報がユーザに提供される。例えば、デスクトップユーザインタフェースがその下部にタスクバーを有していてもよい。ある場合には、タスクバー中に表示されるオブジェクトが、カーソルをタスクバーオブジェクト上に重ねる「オンホバー」動作によりアクセスできる関連するサムネイル画像を有していてもよい。これらの場合には、サムネイル画像を正確に及び適時にレンダリングできるように、サムネイル画像に関連する画像を予め復号してもよい。
復号を要求に応じて実行できる他の一利用タイプは、画像が現在表示されていなくても、復号画像にアクセスする必要がある動作に関連する。かかる一動作は印刷動作である。具体的に、ウェブページを印刷する時、命令が生成され、プリンタに送信され、そのプリンタにそのウェブページの印刷ができるようにする。例えば、ユーザが１００頁の文書にナビゲートされ、その文書中の様々な画像に遅延復号が指定されると仮定する。ユーザが３頁から印刷動作を開始し、まだ視聴されていない９１頁に現れる様々な画像が復号されていないとき、印刷される文書はこれらの画像を含まない。こうした状況では、他の状況であっても、遅延復号を指定された画像は、文書がプリンタに送信される前に、要求に応じて復号できる。こうすることにより、その文書中に現れる画像が正確に印刷される。
復号を要求に応じて実行できる他の一利用タイプは、いわゆるフィルタ動作に関連する。具体的に、あるウェブブラウザにより、ウェブページの一部を選択し、又はクリップすることができ、選択された部分にビジュアル効果を適用することができる。例えば、ウェブページの一部を選択し、回転でき、それに透明フィルタをかけることができる。選択されたウェブページの部分が、復号されていない画像を含む場合、フィルタ動作は不完全であるか、又は場合によっては失敗する。こうした状況では、ウェブページの一部がフィルタ動作のために選択され、まだ復号されていない画像を含む場合、これらの画像は、フィルタ動作が適用される前に、要求に応じて同期して復号される。
復号を要求に応じて実行できる他の一利用タイプは、ＨＴＭＬ５の一部である＜ｃａｎｖａｓ＞要素に関連する。言うまでもなく、＜ｃａｎｖａｓ＞要素を用いてＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプトを用いてグラフィックスを描くことができる。例えば、グラフを描いたり、写真を合成したり、単純あるいは複雑なアニメーションを表示したりできる。一又は複数の実施形態では、＜ｃａｎｖａｓ＞要素に関して用いられる画像を、利用する前に同期して要求に応じて復号できる。
復号を要求に応じて実行できる利用タイプの例を説明したが、ここで一又は複数の実施形態による「利用の尤度」シナリオを検討する。
利用の尤度
一又は複数の実施形態では、画像復号器モジュール１１１（図１）は、遅延復号をすると指定された画像が利用されそうか確認する。利用されそうであれば、その画像を要求に応じて復号できる。これにより、例えば、画像をレンダリングする必要があるが、その画像がまだ復号されていないという状況の発生を減らすことができる。利用尤度の決定は、任意の好適な方法で行える。以下、例を挙げる。
一又は複数の実施形態では、画像復号器モジュール１１１（図１）は、遅延復号をすると指定された画像が利用されそうか確認する。利用されそうであれば、その画像を要求に応じて復号できる。これにより、例えば、画像をレンダリングする必要があるが、その画像がまだ復号されていないという状況の発生を減らすことができる。利用尤度の決定は、任意の好適な方法で行える。以下、例を挙げる。
一又は複数の実施形態では、画像の利用尤度は、現在のビューに対する画像の位置的近接性や論理的近接性を考慮して、確認できる。
一例として、図３の場合を考える。図３には、ウェブブラウザに関連するビューポート３００を示した。このビューポート内には、３つの画像３０２、３０４及び３０６がある。また、画像３０２、３０４及び３０６があるウェブページに関連するさらに別のコンテンツは、矢印３０８の方向にページング又は下向きスクロールをすることにより、又は矢印３１０の方向に横方向にスクロールをすることにより、見ることができる。一又は複数の実施形態では、まだ見えない画像がレンダリングされた画像に近接した位置にあり、ページングや下向きスクロールにより、又は横方向スクロール操作によりアクセスできる場合、そのまだ見えない画像をバックグラウンドで要求に応じて復号することができる。位置的近接性は任意の好適な方法で確認できる。例えば、ある実施形態では、まだ見えない画像は、一又は複数のページを進む又は戻る操作で見えるようになる場合、表示されている画像と位置的に近接していると考えられる。
論理的近接性は、見えない画像が、表示されている画像と関係を有し、表示された画像に関連してアクセスされそうか判断することにより確認できる。例えば、表示された画像と関連するスライドショーに含まれる見えない画像（unseen image）は、そのスライドショーを視聴するユーザによりアクセスされる可能性が高い。代替的に又は追加的に、見えない画像が表示された画像を通して、又はそれを用いてアクセスできるように、画像がリンクされていてもよい。代替的に又は追加的に、論理的近接性は、ユーザが「エンド」キーを押すことにより、又は同様の「文書の終わり」操作をインプリメントすることにより、どの画像がアクセスされ得るか確認することにより、確認できる。
こうした状況では、他の計算を行いつつ、同期して又は非同期で要求に応じて画像を復号することにより、例えば、画像があってもまだ復号されていないウェブページの部分にユーザがページダウンする状況を減らす役に立つ。
一又は複数の実施形態では、画像の利用尤度は、個々の画像に関連する、その画像の利用頻度を記述する履歴を保持することにより確認できる。よって、より頻繁に利用又はレンダリングされる画像は要求に応じて復号され、それほど利用又はレンダリングされない画像は、遅延復号が指定される。例えば、ある画像は１０回ダウンロードされそのうち９回レンダリングされたことを示す履歴を有し、他の画像は１０回ダウンロードされそのうち３回レンダリングされたことを示す履歴を有する場合、最初の画像はより高い優先度を付与され、適切であれば、要求に応じて、同期して又は非同期で復号される。
一又は複数の実施形態では、画像の利用尤度を、画像に関して実行される動作のタイプにより確認できる。例えば、画像は、レンダリング又はアクセスの動作の一部であるとき、要求に応じて復号できる。これには、ある画像の復号優先度を高くして、すぐに復号されるようにすることが含まれる。
代替的に又は追加的に、一又は複数の実施形態では、決定された優先度及び／又は利用尤度に基づき、それをサポートする画像はプログレッシブレベルまで、及び画像を完全に復号するほどコストがかからない小さいサイズまで復号できる。また、利用可能であれば、ＧＰＵｍｉｐｍａｐサポートを用いて、レンダリング時に利用可能な／復号されたサイズを用いて画像をレンダリングしてもよい。
画像復号器モジュールの一例の動作を説明したので、ここで上記の実施形態をインプリメントするのに用いることができるシステムの一例を検討する。
システム例
図４は、上記の様々な実施形態をインプリメントするのに用いることができる計算装置４００の一例を示している。計算装置４００は、例えば、図１の計算装置１０２であっても、その他の好適な計算装置であってもよい。
図４は、上記の様々な実施形態をインプリメントするのに用いることができる計算装置４００の一例を示している。計算装置４００は、例えば、図１の計算装置１０２であっても、その他の好適な計算装置であってもよい。
計算装置４００は、一又は複数のプロセッサ又は処理部４０２と、一又は複数のメモリ及び／又は記憶コンポーネント４０４と、一又は複数の入出力（Ｉ／Ｏ）装置４０６と、及び様々なコンポーネント及び装置が互いに通信できるバス４０８とを含む。バス４０８は、メモリバス又はメモリコントローラ、ペリフェラルバス、アクセラレーテッドグラフィックスポート、及び様々なバスアーキテクチャを用いたプロセッサ又はローカルバスを含む複数タイプのバス構成のいずれでもよい。バス４０８は有線バス及び無線バスを含み得る。
メモリ／記憶コンポーネント４０４は、一又は複数のコンピュータ記憶媒体を表す。コンポーネント４０４は、（ＲＡＭ（random access memory）などの）揮発性媒体、及び／又は（ＲＯＭ（read only memory）、フラッシュメモリ、光ディスク、磁気ディスクなどの）不揮発性媒体を含み得る。コンポーネント４０４は、（ＲＡＭ、ＲＯＭ、固定ハードディスクドライブなどの）固定媒体、及び（フラッシュメモリドライブ、リムーバブルハードディスクドライブ、光ディスクなどの）リムーバブル媒体を含み得る。
一又は複数の入力力装置４０６により、ユーザは計算装置４００にコマンドと情報を入力でき、ユーザ及び／又は他のコンポーネントや装置に情報を提供できる。入力装置の例には、キーボード、カーソル制御装置（例えば、マウス）、マイクロホン、スキャナなどが含まれる。出力装置の例には、ディスプレイ装置（例えば、モニタやプロジェクタ）、スピーカ、プリンタ、ネットワークカードなどが含まれる。
ここでは、ソフトウェアやプログラムモジュールの一般的なコンテクストで、様々な技術を説明する。一般的に、ソフトウェアには、あるタスクを実行したり、ある抽象的データタイプをインプリメントするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。これらのモジュールや技術のインプリメンテーションは、コンピュータ読み取り可能媒体に格納でき、又はコンピュータ読み取り可能媒体の形式で伝送できる。コンピュータ読み取り可能媒体は、計算装置によりアクセスできる任意の利用可能な媒体である。限定ではなく例として、コンピュータ読み取り可能媒体は「コンピュータ読み取り可能記憶媒体」を含む。
「コンピュータ読み取り可能記憶媒体」には、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータなどの情報を記憶するための任意の方法や技術でインプリメントされた、揮発性および不揮発性、取り外し可能および取り外し不可能媒体を含む。コンピュータ読み取り可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）その他の光ディスク記憶媒体、磁気カセット、磁気テープ、磁気ディスク記憶その他の磁気記憶デバイス、またはその他の、所望の情報の記憶に使える任意の媒体を含むが、これらに限定されない。
結論
上記の通り、画像の復号を、経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
上記の通り、画像の復号を、経験則（heuristics）に基づき遅延させ、後で、その画像に関連する利用タイプ（use type）又はその画像が利用される尤度に基づき、開始するフレームワークを提供する。例えば、利用履歴及び優先システムにより、現在レンダリングされている画像及び／又はレンダリングされそうな画像を、ダウンロードされたが利用されていない履歴を有する画像の前に復号することができる。したがって、画像のダウンロードを画像の復号とデカップリングすることにより、ＣＰＵリソースとメモリをより効率的に利用できる。
本主題を個別の構造的特徴及び／又は方法動作を用いて説明したが、言うまでもなく、添付した特許請求の範囲に規定する主題は、上記の特定の特徴や動作には必ずしも限定されない。上記の特定の特徴や動作は、請求項を実施する形式例を開示するものである。
Claims (10)
- コンピュータにより実施される方法であって、
クライアント装置において、ウェブページに関連する一又は複数の符号化画像をダウンロードするステップと、
前記クライアント装置において、前記一又は複数の符号化画素得をバッファするステップと、
前記一又は複数の符号化画像に関連する利用タイプを確認するステップと、
ある利用タイプの一又は複数の符号化画像を要求に応じて同期して又は非同期で復号するステップとを有する、方法。 - 前記ダウンロードするステップの後に、前記一又は複数の符号化画像に関連するメタデータを復号する、前記メタデータは前記一又は複数の符号化画像に関連するサイズ情報を含む、復号するステップをさらに有する、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプは初期化動作に関連する、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプはサムネイル画像の利用に関連する、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプは、関連する符号化画像が現在表示されていなくても、復号画像にアクセスする必要がある動作に関連する、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプは、関連する符号化画像が現在表示されていなくても、復号画像にアクセスする必要がある動作に関連する、前記一利用タイプは印刷動作を含む、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプはフィルタ動作に関連する、
請求項１に記載のコンピュータにより実施される方法。 - 一利用タイプは＜ｃａｎｖａｓ＞要素に関連する、
請求項１に記載のコンピュータにより実施される方法。 - 一又は複数のコンピュータ読み取り可能媒体であって、コンピュータにより実行されると、前記コンピュータに、
クライアント装置において、ウェブページに関連する一又は複数の符号化画像をダウンロードするステップと、
前記クライアント装置において、前記一又は複数の符号化画素得をバッファするステップと、
前記一又は複数の符号化画像の少なくとも一つに関連する利用タイプを確認するステップと、
前記一又は複数の符号化画像の少なくとも他の一つに関連する利用の尤度を確認するステップと、
ある利用タイプの一又は複数の符号化画像の前記少なくとも一つを要求に応じて同期して又は非同期で復号するステップと、
前記一又は複数の符号化画像の少なくとも他の一つが利用されそうなとき、前記一又は複数の符号化画像の少なくとも他の一つを要求に応じて同期して又は非同期で復号するステップと
を有する方法を実行させるコンピュータ読み取り可能命令を記憶した媒体。 - 一利用タイプは、関連する符号化画像が現在表示されていなくても、復号画像にアクセスする必要がある動作に関連する、
請求項９に記載の一又は複数のコンピュータ読み取り可能記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/009,332 | 2011-01-19 | ||
| US13/009,332 US8548263B2 (en) | 2011-01-19 | 2011-01-19 | Delayed image decoding |
| PCT/US2012/021003 WO2012099757A2 (en) | 2011-01-19 | 2012-01-12 | Delayed image decoding |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014511517A true JP2014511517A (ja) | 2014-05-15 |
| JP2014511517A5 JP2014511517A5 (ja) | 2015-02-12 |
| JP6038812B2 JP6038812B2 (ja) | 2016-12-07 |
Family
ID=46353196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013550496A Active JP6038812B2 (ja) | 2011-01-19 | 2012-01-12 | 遅延画像復号 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US8548263B2 (ja) |
| EP (1) | EP2666102A4 (ja) |
| JP (1) | JP6038812B2 (ja) |
| KR (1) | KR101954464B1 (ja) |
| CN (1) | CN102547450B (ja) |
| WO (1) | WO2012099757A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7451267B2 (ja) | 2020-04-08 | 2024-03-18 | キヤノンメディカルシステムズ株式会社 | 装置およびプログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5837606B2 (ja) * | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
| US8548263B2 (en) | 2011-01-19 | 2013-10-01 | Microsoft Corporation | Delayed image decoding |
| CA2792685C (en) * | 2011-10-18 | 2017-08-22 | Research In Motion Limited | Method of modifying rendered attributes of list elements in a user interface |
| US10824680B2 (en) * | 2012-10-02 | 2020-11-03 | The Boeing Company | Panoptic visualization document access control |
| KR20150073354A (ko) * | 2013-12-23 | 2015-07-01 | 삼성전자주식회사 | 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치 |
| CN106210576A (zh) * | 2016-07-13 | 2016-12-07 | 青岛海信电器股份有限公司 | 显示系统、内容显示装置以及内容显示方法 |
| CN106407009A (zh) * | 2016-09-06 | 2017-02-15 | 青岛海信电器股份有限公司 | 一种图片显示方法和装置 |
| CN108268579B (zh) * | 2017-01-19 | 2021-06-08 | 阿里巴巴（中国）有限公司 | 落地页显示内容的显示方法、装置 |
| CN112256995A (zh) * | 2020-10-23 | 2021-01-22 | 四川长虹电器股份有限公司 | 改善浏览器内存的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11225168A (ja) * | 1997-03-17 | 1999-08-17 | Matsushita Electric Ind Co Ltd | 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置 |
| JP2002288690A (ja) * | 2001-03-26 | 2002-10-04 | Jinyama Shunichi | 情報処理方法及びシステム、携帯情報端末装置、サーバシステム並びに情報処理用ソフトウェア |
| JP2004280441A (ja) * | 2003-03-14 | 2004-10-07 | Canon Inc | 情報端末装置 |
| JP2005262652A (ja) * | 2004-03-18 | 2005-09-29 | Seiko Epson Corp | 画像出力指示装置、画像出力装置、画像保存装置、画像出力システム、画像出力指示方法および画像出力方法 |
| JP2010231281A (ja) * | 2009-03-25 | 2010-10-14 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6144727A (en) * | 1997-08-29 | 2000-11-07 | Anip, Inc. | Method and system for global telecommunications network management and display of market-price information |
| US5903816A (en) | 1996-07-01 | 1999-05-11 | Thomson Consumer Electronics, Inc. | Interactive television system and method for displaying web-like stills with hyperlinks |
| US6487588B1 (en) | 1996-09-23 | 2002-11-26 | International Business Machines Corporation | Web browser which automatically loads selected types of graphics |
| US6430591B1 (en) | 1997-05-30 | 2002-08-06 | Microsoft Corporation | System and method for rendering electronic images |
| US6233358B1 (en) * | 1998-07-13 | 2001-05-15 | Intel Corporation | Image compression using directional predictive coding of the wavelet coefficients |
| US6408387B1 (en) * | 1999-01-22 | 2002-06-18 | Intel Corporation | Preventing unauthorized updates to a non-volatile memory |
| US6593925B1 (en) * | 2000-06-22 | 2003-07-15 | Microsoft Corporation | Parameterized animation compression methods and arrangements |
| US8060581B2 (en) | 2000-07-19 | 2011-11-15 | Akamai Technologies, Inc. | Dynamic image delivery system |
| FI20002063A (fi) | 2000-09-19 | 2002-03-20 | Domiras Oy | Menetelmä kuvainformaation siirtämiseksi ja esittämiseksi |
| US6879725B2 (en) | 2001-01-26 | 2005-04-12 | International Business Machine Corporation | Method, system, and program for decoding a section from compressed data |
| US7162080B2 (en) | 2001-02-23 | 2007-01-09 | Zoran Corporation | Graphic image re-encoding and distribution system and method |
| US20030079226A1 (en) | 2001-10-19 | 2003-04-24 | Barrett Peter T. | Video segment targeting using remotely issued instructions and localized state and behavior information |
| JP5568465B2 (ja) | 2008-09-18 | 2014-08-06 | パナソニック株式会社 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム |
| US8482439B2 (en) * | 2008-12-26 | 2013-07-09 | Kyushu Institute Of Technology | Adaptive differential pulse code modulation encoding apparatus and decoding apparatus |
| US8548263B2 (en) | 2011-01-19 | 2013-10-01 | Microsoft Corporation | Delayed image decoding |
-
2011
- 2011-01-19 US US13/009,332 patent/US8548263B2/en active Active
-
2012
- 2012-01-12 JP JP2013550496A patent/JP6038812B2/ja active Active
- 2012-01-12 KR KR1020137018574A patent/KR101954464B1/ko active IP Right Grant
- 2012-01-12 WO PCT/US2012/021003 patent/WO2012099757A2/en active Application Filing
- 2012-01-12 EP EP12736747.2A patent/EP2666102A4/en not_active Ceased
- 2012-01-19 CN CN201210017085.5A patent/CN102547450B/zh active Active
-
2013
- 2013-09-30 US US14/041,871 patent/US8873875B2/en active Active
-
2014
- 2014-10-27 US US14/524,968 patent/US9195772B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11225168A (ja) * | 1997-03-17 | 1999-08-17 | Matsushita Electric Ind Co Ltd | 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置 |
| JP2002288690A (ja) * | 2001-03-26 | 2002-10-04 | Jinyama Shunichi | 情報処理方法及びシステム、携帯情報端末装置、サーバシステム並びに情報処理用ソフトウェア |
| JP2004280441A (ja) * | 2003-03-14 | 2004-10-07 | Canon Inc | 情報端末装置 |
| JP2005262652A (ja) * | 2004-03-18 | 2005-09-29 | Seiko Epson Corp | 画像出力指示装置、画像出力装置、画像保存装置、画像出力システム、画像出力指示方法および画像出力方法 |
| JP2010231281A (ja) * | 2009-03-25 | 2010-10-14 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7451267B2 (ja) | 2020-04-08 | 2024-03-18 | キヤノンメディカルシステムズ株式会社 | 装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012099757A3 (en) | 2013-01-10 |
| JP6038812B2 (ja) | 2016-12-07 |
| KR101954464B1 (ko) | 2019-03-05 |
| US8873875B2 (en) | 2014-10-28 |
| US8548263B2 (en) | 2013-10-01 |
| EP2666102A2 (en) | 2013-11-27 |
| CN102547450A (zh) | 2012-07-04 |
| WO2012099757A2 (en) | 2012-07-26 |
| CN102547450B (zh) | 2015-05-06 |
| KR20140012629A (ko) | 2014-02-03 |
| US9195772B2 (en) | 2015-11-24 |
| US20120183233A1 (en) | 2012-07-19 |
| US20150043834A1 (en) | 2015-02-12 |
| EP2666102A4 (en) | 2016-12-28 |
| US20140029862A1 (en) | 2014-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6038812B2 (ja) | 遅延画像復号 | |
| EP2805258B1 (en) | Low resolution placeholder content for document navigation | |
| CN107209693B (zh) | 缓冲器优化 | |
| US8913068B1 (en) | Displaying video on a browser | |
| AU2011264509B2 (en) | Adaptive image rendering and use of imposter | |
| JP5976689B2 (ja) | タスク・ベースのアドレス・バーおよびタブのスケーリング | |
| US20190158934A1 (en) | Video frame capturing method and device | |
| CN105869199B (zh) | 用于处理动画的装置和方法 | |
| US20180373403A1 (en) | Client device, control method, and storage medium | |
| US20090195553A1 (en) | Server-based rasterization of vector graphics | |
| EP3295306B1 (en) | Converting flash content to html content by generating an instruction list | |
| US11295492B2 (en) | Electronic device and server related to rendering of web content and controlling method thereof | |
| US10331330B2 (en) | Capturing objects in editable format using gestures | |
| US20160124916A1 (en) | Image decoding method and apparatus for browser | |
| WO2017215516A1 (zh) | 确定解码任务的方法和装置 | |
| US9830202B1 (en) | Storage and process isolated web widgets | |
| US11983235B2 (en) | Dynamic resource usage web browser | |
| US9767593B2 (en) | Apparatus and method for processing animation | |
| US20180090174A1 (en) | Video generation of project revision history | |
| US9483443B2 (en) | Tiled display list | |
| US9075432B2 (en) | Method and apparatus for sharing content | |
| US10453179B1 (en) | Scaled image generation | |
| KR102384198B1 (ko) | 웹 컨텐츠의 렌더링과 관련된 전자 장치, 서버 및 제어 방법 | |
| US8976189B2 (en) | Drawing operations using multiple graphics interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141218 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141218 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161102 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6038812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |