JP2018519769A - ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイス - Google Patents

ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイス Download PDF

Info

Publication number
JP2018519769A
JP2018519769A JP2018505537A JP2018505537A JP2018519769A JP 2018519769 A JP2018519769 A JP 2018519769A JP 2018505537 A JP2018505537 A JP 2018505537A JP 2018505537 A JP2018505537 A JP 2018505537A JP 2018519769 A JP2018519769 A JP 2018519769A
Authority
JP
Japan
Prior art keywords
video content
rendered
image
extracted
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018505537A
Other languages
English (en)
Other versions
JP6751754B2 (ja
Inventor
オスキャル ミルトン,
オスキャル ミルトン,
エーミル ブロリーン,
エーミル ブロリーン,
Original Assignee
アドトークス アクツィエボラーグ
アドトークス アクツィエボラーグ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アドトークス アクツィエボラーグ, アドトークス アクツィエボラーグ filed Critical アドトークス アクツィエボラーグ
Publication of JP2018519769A publication Critical patent/JP2018519769A/ja
Application granted granted Critical
Publication of JP6751754B2 publication Critical patent/JP6751754B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は、ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイスに関する。本発明の一態様では、ディスプレイ上でビデオコンテンツをレンダリングするように構成されたデバイス(20、40)が提供される。このデバイスは、処理ユニット(41)およびメモリ(42)を備え、このメモリは、処理ユニットによって実行可能な命令(43)を含み、それにより、デバイスは、ディスプレイ上で視覚コンテンツを表示するために指定されたいくつかの面のうちの1つの面(30)中でビデオコンテンツをレンダリングし、一方、ビデオコンテンツから抽出された少なくとも1つの画像を、面のうちの少なくとも1つの別の面(31)中でレンダリングすること、および、上記の少なくとも1つの画像がビデオコンテンツから抽出された位置に対応する時点(t4)にビデオコンテンツが達したときに、面のうちの上記の別の面(31)中でビデオコンテンツをレンダリングし、それにより上記の少なくとも1つの画像を置き換えること、を行うように動作する。【選択図】図3b

Description

本発明は、ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイスに関する。
テレビジョン(TV)セット、コンピュータ、スマートフォン、タブレット、広告掲示版などのディスプレイデバイス上でビデオコンテンツを再生またはレンダリングするための技術が長く知られており、この技術は、リソースを信号伝送および視覚化に向けて効果的に利用するための新しいディジタル技術によって、着実に進化しつつある。表示されるビデオコンテンツは、テレビジョン放送、映画、広告材料、Youtubeカットなどの形である場合がある。
例えば、今日の比較的小さいリソース制約では、ビデオコンテンツの表示は種々の機器上で素早く開始することができ、いくつかの機器は、どんな邪魔なアーチファクトの発生もなしに、表示されたビデオコンテンツをディスプレイデバイス全体にわたってユーザが移動させることすら可能にする。
上に論じたようにビデオコンテンツを表示することに伴う問題は、ビデオコンテンツのフォーマットが、ディスプレイデバイス上で視覚コンテンツを表示するために指定された面のフォーマットと、しばしば異なることである。例えば、コンピュータ画面上でレンダリングされることになるビデオコンテンツは、16:9(1.78:1)、すなわち幅16ユニットおよび高さ9ユニットのアスペクト比を有することがあるが、ビデオコンテンツが表示されることになるコンピュータ画面のエリアは、6:1のアスペクト比を見込む。したがって、16:9ビデオコンテンツが、その比率が維持された状態でコンピュータ画面の6:1エリア上で表示される場合、16:9ビデオコンテンツの比率とコンピュータ画面の6:1エリアの比率とが異なるせいで、表示された16:9ビデオコンテンツの各側に、利用されない大きいセクションがあることになる。反対に、16:9ビデオコンテンツが、コンピュータ画面の6:1エリアの幅全体を利用するように適合された場合、16:9フォーマットのビデオコンテンツの大きい部分がエリア外にあることになり、したがってこの部分は見えない。
本発明の目的は、当技術分野におけるこの問題を解決するかまたは少なくとも軽減することであり、ディスプレイデバイスの利用可能な視聴エリアをよりよく活用するようにディスプレイデバイス上でビデオコンテンツをレンダリングするための改善された方法およびデバイスを提供することである。
この目的は、本発明の第1の態様により、ディスプレイデバイス上でビデオコンテンツをレンダリングする方法によって解決される。この方法は、ディスプレイデバイス上で視覚コンテンツを表示するために指定されたいくつかの面のうちの1つの面中でビデオコンテンツをレンダリングし、一方、ビデオコンテンツから抽出された少なくとも1つの画像を、面のうちの少なくとも1つの別の面中でレンダリングすることを含む。方法はさらに、少なくとも1つの画像がビデオコンテンツから抽出された時点にビデオコンテンツが達したときに、面のうちの上記の別の面中でビデオコンテンツをレンダリングし、それにより少なくとも1つの画像を置き換えることを含む。
この目的は、本発明の第2の態様により、ディスプレイ上でビデオコンテンツをレンダリングするように構成されたデバイスによって解決される。このデバイスは処理ユニットおよびメモリを備え、このメモリは、処理ユニットによって実行可能な命令を含む。それにより、デバイスは、ディスプレイ上で視覚コンテンツを表示するために指定されたいくつかの面のうちの1つの面中でビデオコンテンツをレンダリングし、一方、ビデオコンテンツから抽出された少なくとも1つの画像を、面のうちの少なくとも1つの別の面中でレンダリングすること、および、上記の少なくとも1つの画像がビデオコンテンツから抽出された位置に対応する時点にビデオコンテンツが達したときに、面のうちの上記の別の面中でビデオコンテンツをレンダリングし、それにより上記の少なくとも1つの画像を置き換えること、を行うように動作する。
したがって、ディスプレイデバイス上で視覚コンテンツを表示するために指定されたいくつかの面のうちの第1の面中で、ビデオコンテンツがレンダリングされ、一方、ビデオコンテンツから抽出された少なくとも1つの画像が、面のうちの第2の面中でレンダリングされる。ビデオコンテンツは、第2の面の画像がビデオコンテンツから抽出された位置に対応する時点に達するまで、第1の面中で再生することになる。達した時点で、ビデオコンテンツは有利にも、ディスプレイデバイスの第1の面から第2の面に「移動される」ことになり、ビデオコンテンツは、第2の面中でレンダリングされ、したがって、この時点まで第2の面中でレンダリングされていた画像に取って代わることになる。
有利にも、レンダリングされたビデオコンテンツは、再生を終了するまで、ビデオ表示に指定された面にわたって移動されることになり、その結果、ディスプレイデバイスの利用可能な視聴エリアがよりよく利用される。さらに、ビデオコンテンツから抽出された少なくとも1つの画像を有する面が配置され、画像がビデオコンテンツから抽出された位置に対応する時点にビデオコンテンツのレンダリングが達したときにビデオコンテンツが移動されてこの画像に取って代わるが、このように面を配置することによって、シームレスで滑らかな移行が、有利にも行われることになる。面の配置は、実際には、ディスプレイデバイスの利用可能な視聴エリアの寸法に応じて任意の形をとることができ有利である。
本発明の一実施形態では、ビデオコンテンツから抽出された複数の画像が、それぞれの面中で1つずつ、使用されることになる。ビデオコンテンツは、面のうちの1つの面中でレンダリングされることになり、レンダリングされた複数の画像のうちの1つがビデオコンテンツから抽出された位置に対応する時点にビデオコンテンツが達したとき、ビデオコンテンツは、対応する画像を含む面に移動され、そこでレンダリングされることになる。この場合、ビデオコンテンツは、レンダリングされた複数の画像のうちの別の画像がビデオコンテンツから抽出された位置に対応する時点に達するまで、レンダリングされることになる。再び、ビデオコンテンツは移動されることになるが、今度は、画像のうちの上記の別の画像を含む面に移動され、この面中でこの画像に取って代わることになる。これが、ビデオコンテンツがすべての利用可能な面中でレンダリングされ終わるまで、またはビデオコンテンツが再生を終えるまで、継続することになる。終えた瞬間、ビデオコンテンツは通常、最初にレンダリングされた第1の面中で再び最初から開始する(または、新しいビデオコンテンツが同様にしてレンダリングされる)。有利にもこれは、ディスプレイデバイスの利用可能な視聴エリアの非常に効果的な利用をもたらし、面は、ディスプレイデバイスの利用可能な視聴エリアを最もよく活用するように、適切な方式で配置されることが可能である。
一般に、特許請求の範囲において使用されるすべての用語は、本明細書に明示的な別段の定義がない限り、技術分野におけるこれらの用語の通常の意味に従って解釈されるべきである。「要素、装置、コンポーネント、手段、ステップなど」へのすべての言及は、明示的な別段の記述がない限り、要素、装置、コンポーネント、手段、ステップなどの、少なくとも1つのインスタンスに言及するものとしてオープンに解釈されるべきである。本明細書で開示される任意の方法のステップは、明示的な記述がない限り、開示される厳密な順序で実施される必要はない。
次に、添付の図面を参照しながら、本発明について例として述べる。
本発明の一実施形態による、いくつかの画像が抽出され得る、ディスプレイデバイス上でレンダリングされることになるビデオコンテンツを示す図である。 特定の視覚コンテンツを表示するために指定されたエリアを有する従来技術ディスプレイデバイスを示す図である。 本発明の一実施形態による、ビデオコンテンツをレンダリングする方法のフローチャートである。 図2のディスプレイデバイスの指定された表示エリアであって、ただし図3aの実施形態によるビデオコンテンツをレンダリングする方法が実装される表示エリアを示す図である。 本発明による、ビデオコンテンツをレンダリングする方法のさらに他の実施形態を示す図である。 ビデオコンテンツおよび画像がレンダリングされる面の代替配置を示す図である。 ディスプレイデバイス上でコンテンツをレンダリングする方法を実施するための、本発明の一実施形態によるデバイスを示す図である。 ディスプレイデバイス上でコンテンツをレンダリングする方法を実施するための、本発明のさらに他の実施形態によるデバイスを示す図である。
次に、本発明のいくつかの実施形態が示される添付の図面を参照しながら、以下で本発明についてより完全に述べる。しかし、本発明は、多くの異なる形で具体化されることが可能であり、本明細書に記載の実施形態に限定されると解釈されるべきではない。そうではなく、これらの実施形態は、本開示が十分かつ完全なものとなり本発明の範囲を当業者に完全に伝えるものとなるように、例として提供される。本記述の全体を通して、同じ番号は同じ要素を指す。
図1は、本発明の一実施形態による、ディスプレイデバイス上でレンダリングされることになる、ビデオコンテンツから抽出された画像を示す。図1は、異なる時間位置t1〜t12に位置する任意数の画像1〜12がビデオコンテンツから抽出され得る、ビデオコンテンツを示す。
図2は、ディスプレイデバイス20上で特定の視覚コンテンツを表示するために指定されたエリア21を伴って構成された、コンピュータ画面などの従来技術ディスプレイデバイス20を示す。ここで、このようなエリア21中では、エリア21の寸法のせいで、ビデオコンテンツを適合させるのが困難である。この特定の説明的な例では、指定された表示エリア21中でビデオコンテンツ22を表示したいコンテンツプロバイダは、図2に示されるようにビデオコンテンツ22をレンダリングすることになり、それにより、表示エリア21を非効果的に使用することになる。
図3aは、本発明の一実施形態による、ビデオコンテンツをレンダリングする方法のフローチャートを示す。この例示的な実施形態は、ビデオコンテンツが表示される3つの面を実装することに留意されたい。しかし、表示エリア21のより効率的な使用は、有利にも、ビデオコンテンツを2つの面中で表示するときにもすでに得られることが理解される。
図3bは、図2のディスプレイデバイス20の指定された表示エリア21であって、ただし図3aの実施形態によるビデオコンテンツをレンダリングする方法が実装される表示エリア21を示す。
ここで、第1のステップS101で、t1からt4の範囲にわたるビデオコンテンツが、ディスプレイデバイス20上で視覚コンテンツを表示するために指定されたエリア21の第1の面30中でレンダリングされ、一方、ビデオコンテンツから抽出された少なくとも1つの画像が、面のうちの別の面中でレンダリングされる。この特定の実施形態では、第1の画像4が第2の面31中でレンダリングされ、一方、第2の画像8が第3の面32中でレンダリングされる。
ステップS102で、第1の面30中でレンダリングされたビデオコンテンツが、第2の面31中の第1の画像4がビデオコンテンツから抽出された位置に対応する時点t4に達したとき、ビデオコンテンツは、代わりに第2の面31中でレンダリングされる。したがって、ビデオコンテンツは、この時点t4まで第2の面31中でレンダリングされていた第1の画像4に、取って代わることになる。前述のように、2つの面30、31を使用することは、有利にも、ディスプレイデバイス20の表示エリア21をよりよく活用することになる。
第3のステップS103で、第2の面31中でレンダリングされたビデオコンテンツが、第3の面32中の第2の画像8がビデオコンテンツから抽出された位置に対応する時点t8に達したとき、ビデオコンテンツは、第3の面32中でレンダリングされる。ビデオコンテンツは、第2の画像8が最初にビデオコンテンツから抽出された時点t8まで第3の面32中でレンダリングされていた第2の画像8に、取って代わることになる。
有利にも、レンダリングされたビデオコンテンツは、再生を終了する(この特定の例ではt12で)まで、ビデオ表示のために指定された3つの面30、31、32にわたって移動されることになり、その結果、ディスプレイデバイス20の利用可能な視聴エリア21がよりよく利用される。図3bで見られるように、ビデオコンテンツが3つの面30、31、32にわたって移動するようにすることによって、視聴エリア21の全体が有利にも利用される。さらに、ビデオコンテンツから抽出されたそれぞれの画像4、8を有する面31、32が配置され、画像4、8がビデオコンテンツから抽出された位置に対応する時点t4、t8にビデオコンテンツのレンダリングが達したときにビデオコンテンツが移動されて、画像4、8に取って代わり、画像4、8と「ブレンド」するが、このように面を配置することによって、シームレスで滑らかな移行が、有利にも行われることになる。
したがって、例えば16:9ビデオコンテンツが6:1視聴エリア中でレンダリングされる場合、3つの面30、31、32(これらの面にわたってビデオコンテンツが移動されることになる)は、ほぼ完全に6:1エリアを満たし、未使用の視聴空間は小さいセクションしか残らないことになる。
図4は、本発明による、ビデオコンテンツをレンダリングする方法のさらに他の実施形態を示す。ステップS102で、第1の面30中でレンダリングされたビデオコンテンツが、第2の面31中の第1の画像4がビデオコンテンツから抽出された位置に対応する時点t4に達したとき、ビデオコンテンツは、代わりに第2の面31中でレンダリングされる。したがって、ビデオコンテンツは、この時点t4まで第2の面31中でレンダリングされていた第1の画像4に、取って代わることになる。しかし、この実施形態では、第1の画像4(すなわち、コンテンツが実行時間t4に達しつつあるときにビデオコンテンツから抽出されたことになる画像)は、第1の面30中でレンダリングされることになる。
これに対応して、ステップS103で、第2の面31中でレンダリングされたビデオコンテンツが、第3の面32中の第2の画像8がビデオコンテンツから抽出された位置に対応する時点t8に達したとき、ビデオコンテンツは第3の面32中でレンダリングされる。ビデオコンテンツは、第2の画像8が最初にビデオコンテンツから抽出された時点t8まで第3の面32中でレンダリングされていた第2の画像8に、取って代わることになり、第2の画像8は、第2の面31中でレンダリングされることになる。有利にも、これは、3つの面30、31、32中でレンダリングされているビデオコンテンツのさらに滑らかな移行をもたらすことになる。
ステップS102で第1の面30中で示されるのは、必ずしも、ビデオコンテンツから抽出された最後の画像4であるとは限らず(または、これに対応して、ステップS103で第2の面31中で示されるのは、最後の画像8であるとは限らず)、それぞれの最後の画像4、8に外観が類似する画像であってもよいことに留意されたい。一実施形態では、代わりにレンダリングされるのは、それぞれの後続画像5および9であってもよく、または、ビデオコンテンツが後続の面中の画像に取って代わる時点で発生するビデオコンテンツの画像の位置から過度に隔たっていない、ビデオコンテンツから抽出された任意の画像であってもよい。
例えば、ビデオコンテンツが後続の面中の画像に取って代わる時点から0.5秒まで隔たった(任意の方向に)時点に対応する位置の画像が、ビデオコンテンツから抽出されてよい。さらに、この画像が、例えばテキスト情報の形で追加情報を含むことを想定することもできる。
本発明のさらに他の実施形態では、ビデオコンテンツの最後の位置のうちの1つから抽出された画像、例えば図4の例では画像11または12が、ディスプレイデバイス上で視覚コンテンツを表示するために指定されたいくつかの面30、31、32のうちの最後の面32中でレンダリングされ、最後の面32中では、ビデオコンテンツが表示されることはない。
図5は、ビデオコンテンツおよび画像がレンダリングされる面の代替配置を示す。前述のように、ディスプレイデバイスの利用可能な視聴エリアの寸法に応じて、面を配置する多くの方法を想定することができる。図5の代替配置では、図3および4に関して述べたような3つの面ではなく、4つの面が使用される。
第1のステップS101で、t1からt3の範囲にわたるビデオコンテンツが、ディスプレイデバイス20上で視覚コンテンツを表示するために指定されたエリア21の第1の面30中でレンダリングされ、一方、ビデオコンテンツを形成する第1の画像3が第2の面31中でレンダリングされ、第2の画像6が第3の面32中でレンダリングされ、第3の画像9が第4の面33中でレンダリングされる。
ステップS102で、第1の面30中でレンダリングされたビデオコンテンツが、第2の面31中の第1の画像3がビデオコンテンツから抽出された位置に対応する時点t3に達したとき、ビデオコンテンツは、代わりに第2の面31中でレンダリングされる。したがって、ビデオコンテンツは、時間t3まで第2の面31中でレンダリングされていた第1の画像3に、取って代わることになる。図4に示した実施形態に関して前に論じたように、第1の画像3(すなわち、コンテンツが実行時間t3に達しつつあるときにビデオコンテンツから抽出されたことになる画像)は、任意選択で、第1の面30中でレンダリングされることになる。
第3のステップS103で、第2の面31中でレンダリングされたビデオコンテンツが、第3の面32中の第2の画像6がビデオコンテンツから抽出された位置に対応する時点t6に達したとき、ビデオコンテンツは第3の面32中でレンダリングされる。ビデオコンテンツは、第2の画像6が最初にビデオコンテンツから抽出された時点t6まで第3の面32中でレンダリングされていた第2の画像6に、取って代わることになる。第2の画像6は、第2の面31中でレンダリングされることになる。
最後に、第4のステップS104で、第3の面32中でレンダリングされたビデオコンテンツが、第4の面33中の第3の画像9がビデオコンテンツから抽出された位置に対応する時点t9に達したとき、ビデオコンテンツは第4の面33中でレンダリングされる。ビデオコンテンツは、第3の画像9が最初にビデオコンテンツから抽出された時点t9まで第4の面33中でレンダリングされていた第3の画像9に、取って代わることになり、一方、第3の画像9は、第3の面32中でレンダリングされることになる。
図6は、ディスプレイデバイス20上でコンテンツをレンダリングする前述の方法を実施するための、本発明の一実施形態によるデバイス40を示す。デバイス40は、例えば、インターネットなどの適切なネットワーク50を介してディスプレイデバイス20(例えばTVセット)と通信するサーバの形で具体化される場合がある。
実際には、デバイス40における方法は通常、1つまたは複数のマイクロプロセッサの形で具体化された処理ユニット41によって実施され、このマイクロプロセッサは、マイクロプロセッサに関連する適切な記憶媒体42(ランダムアクセスメモリ(RAM)、フラッシュメモリ、またはハードディスクドライブ)にダウンロードされたコンピュータプログラム43を実行するように構成される。処理ユニット41は、コンピュータ実行可能命令を含む適切なコンピュータプログラム43が記憶媒体42にダウンロードされて処理ユニット41によって実行されたとき、本発明の実施形態による方法を遂行するように構成される。記憶媒体42はまた、コンピュータプログラム43を含むコンピュータプログラム製品である場合もある。代替として、コンピュータプログラム43は、ディジタル多用途ディスク(DVD)やメモリスティックなど、適切なコンピュータプログラム製品を用いて記憶媒体42に転送される場合もある。さらに他の代替として、コンピュータプログラム43は、ネットワークを介して記憶媒体42にダウンロードされる場合もある。処理ユニット41は、代替として、ディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)などの形で具体化される場合もある。
ディスプレイデバイスがTVセット20である場合、本発明によるサーバ40は通常、レンダリングを管理し、TVセット20上で適切なビデオコンテンツを表示することになる。したがって、TVセット20上で表示されるビデオコンテンツおよび画像は、サーバ40からリモートに管理され、一方、TVセット20は、サーバ40によって制御されるようにコンテンツを表示する。
図7は本発明のさらに他の実施形態を示すが、この実施形態では、前述のような処理ユニット41、記憶媒体42、およびコンピュータプログラム43を用いて、本発明によるレンダリングがディスプレイデバイス20自体(ここではスマートフォンの形である)において管理される。この実施形態では、コンピュータプログラム43(おそらくアプリ)が、サーバなどの中央デバイス40からインターネットを介して転送されるものとすることができる。コンピュータプログラム43は、処理ユニット41上で実行されたとき、本発明によりビデオコンテンツ(おそらくサーバ40から受け取られた)をレンダリングする方法をスマートフォン20に実施させる。したがって、図6に示された実施形態とは対照的に、ビデオコンテンツをレンダリングする方法は、レンダリングされる実際のビデオコンテンツがサーバ40などの中央デバイスから提供されるであろうにもかかわらず、スマートフォン20においてローカルに実施される。
本発明を、少数の実施形態に関して主に上述した。しかし、当業者によってすぐに認識されるように、上に開示した実施形態以外の実施形態も、添付の特許請求の範囲によって定義される本発明の範囲内で等しく可能である。

Claims (16)

  1. ディスプレイデバイス上でビデオコンテンツをレンダリングする方法であって、
    前記ディスプレイデバイス上で視覚コンテンツを表示するために指定されたいくつかの面のうちの1つの面中で前記ビデオコンテンツをレンダリングし、一方、前記ビデオコンテンツから抽出された少なくとも1つの画像を、前記面のうちの少なくとも1つの別の面中でレンダリングすること(S101)、および、
    前記少なくとも1つの画像が前記ビデオコンテンツから抽出された位置に対応する時点に前記ビデオコンテンツが達したときに、前記面のうちの前記別の面中で前記ビデオコンテンツをレンダリングし、それにより前記少なくとも1つの画像を置き換えること(S102)、
    を含む方法。
  2. 前記ビデオコンテンツから抽出された少なくとも1つの画像を前記面のうちの少なくとも1つの別の面中でレンダリングするステップがさらに、
    前記ビデオコンテンツから抽出された複数の画像をレンダリングすることを含み、前記複数の画像のうちの各画像が前記面のうちのそれぞれの面中でレンダリングされ、
    前記複数の画像のうちのいずれか1つが前記ビデオコンテンツから抽出された位置に対応する時点に前記ビデオコンテンツが達したとき、前記ビデオコンテンツが、前記時点に対応する前記位置で抽出されている前記複数の画像のうちの前記1つの画像の面中でレンダリングされる、請求項1に記載の方法。
  3. 前記ビデオコンテンツが別の面中でレンダリングされる前にレンダリングされた前記面中で、前記ビデオコンテンツが前記別の面中でレンダリングされるときに達する前記時点に対応する前記位置で前記ビデオコンテンツから抽出された前記画像に外観が類似する画像をレンダリングすることをさらに含む、請求項1または2に記載の方法。
  4. 前記ビデオコンテンツが別の面中でレンダリングされる前にレンダリングされた前記面中で、前記ビデオコンテンツが前記別の面中でレンダリングされるときに達する前記時点に対応する前記位置で前記ビデオコンテンツから抽出された前記画像をレンダリングすることをさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記ビデオコンテンツが別の面中でレンダリングされる前にレンダリングされた前記面中で、前記ビデオコンテンツが前記別の面中でレンダリングされるときに達する前記時点に対して次の後続位置で前記ビデオコンテンツから抽出された画像をレンダリングすることをさらに含む、請求項1から3のいずれか一項に記載の方法。
  6. 前記別の面中でレンダリングされる前記ビデオコンテンツが、前記ビデオコンテンツによって置き換えられる前に前記別の面中でレンダリングされた前記画像と比較して次の後続時点に対応する位置から開始する、請求項1から5のいずれか一項に記載の方法。
  7. 前記ディスプレイデバイス上で視覚コンテンツを表示するために指定された前記いくつかの面のうちの最後の面中で、前記ビデオコンテンツの最後の位置のうちの1つから抽出された画像をレンダリングすることをさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. ディスプレイ上でビデオコンテンツをレンダリングするように構成されたデバイス(20、40)であって、処理ユニット(41)およびメモリ(42)を備え、前記メモリが、前記処理ユニットによって実行可能な命令(43)を含み、それにより前記デバイスが、
    前記ディスプレイ上で視覚コンテンツを表示するために指定されたいくつかの面のうちの1つの面(30)中で前記ビデオコンテンツをレンダリングし、一方、前記ビデオコンテンツから抽出された少なくとも1つの画像を、前記面のうちの少なくとも1つの別の面(31)中でレンダリングすること、および、
    前記少なくとも1つの画像が前記ビデオコンテンツから抽出された位置に対応する時点(t4)に前記ビデオコンテンツが達したときに、前記面のうちの前記別の面(31)中で前記ビデオコンテンツをレンダリングし、それにより前記少なくとも1つの画像を置き換えること、
    を行うように動作する、デバイス(20、40)。
  9. 前記ビデオコンテンツから抽出された複数の画像をレンダリングするようにさらに動作し、前記複数の画像のうちの各画像が前記面のうちのそれぞれの面(31、32)中でレンダリングされ、
    前記複数の画像のうちのいずれか1つが前記ビデオコンテンツから抽出された位置に対応する時点(t4、t8)に前記ビデオコンテンツが達したとき、前記ビデオコンテンツが、前記時点(t4、t8)に対応する前記位置で抽出されている前記複数の画像のうちの前記1つの画像の面(31、32)中でレンダリングされる、請求項8に記載のデバイス(20、40)。
  10. 前記ビデオコンテンツが別の面(31)中でレンダリングされる前にレンダリングされた前記面(30)中で、前記ビデオコンテンツが前記別の面(31)中でレンダリングされるときに達する前記時点(t4)に対応する前記位置で前記ビデオコンテンツから抽出された前記画像に外観が類似する画像をレンダリングするようにさらに動作する、請求項8または9に記載のデバイス(20、40)。
  11. 前記ビデオコンテンツが別の面(31)中でレンダリングされる前にレンダリングされた前記面(30)中で、前記ビデオコンテンツが前記別の面(31)中でレンダリングされるときに達する前記時点(t4)に対応する前記位置で前記ビデオコンテンツから抽出された前記画像をレンダリングするようにさらに動作する、請求項8から10のいずれか一項に記載のデバイス(20、40)。
  12. 前記ビデオコンテンツが別の面(31)中でレンダリングされる前にレンダリングされた前記面(30)中で、前記ビデオコンテンツが前記別の面(31)中でレンダリングされるときに達する前記時点(t4)に対して次の後続位置(t5)で前記ビデオコンテンツから抽出された画像をレンダリングするようにさらに動作する、請求項8から10のいずれか一項に記載のデバイス(20、40)。
  13. 前記別の面(31)中でレンダリングされる前記ビデオコンテンツが、前記ビデオコンテンツによって置き換えられる前に前記別の面(31)中でレンダリングされた前記画像と比較して次の後続時点(t5)に対応する位置から開始する、請求項8から12のいずれか一項に記載のデバイス。
  14. 前記ディスプレイデバイス上で視覚コンテンツを表示するために指定された前記いくつかの面のうちの最後の面(32)中で、前記ビデオコンテンツの最後の位置のうちの1つから抽出された画像をレンダリングするようにさらに動作する、請求項8から13のいずれか一項に記載のデバイス(20、40)。
  15. コンピュータ実行可能命令を含むコンピュータプログラム(43)であって、前記コンピュータ実行可能命令が、デバイス(20、40)に備わる処理ユニット(41)上で実行されたときに、請求項1から7のいずれか一項に記載のステップを前記デバイスに実施させるためのものである、コンピュータプログラム(43)。
  16. コンピュータ可読媒体(42)を備えるコンピュータプログラム製品であって、請求項15に記載のコンピュータプログラム(43)が前記コンピュータ可読媒体に含まれる、コンピュータプログラム製品。
JP2018505537A 2015-04-16 2016-04-15 ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイス Expired - Fee Related JP6751754B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1550457-4 2015-04-16
SE1550457A SE538522C2 (en) 2015-04-16 2015-04-16 Method and device for rendering video content and an image on a display
PCT/EP2016/058389 WO2016166314A1 (en) 2015-04-16 2016-04-15 Method and device for rendering video content on a display

Publications (2)

Publication Number Publication Date
JP2018519769A true JP2018519769A (ja) 2018-07-19
JP6751754B2 JP6751754B2 (ja) 2020-09-09

Family

ID=55963293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505537A Expired - Fee Related JP6751754B2 (ja) 2015-04-16 2016-04-15 ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイス

Country Status (9)

Country Link
US (1) US10341599B2 (ja)
EP (1) EP3284250A1 (ja)
JP (1) JP6751754B2 (ja)
CN (1) CN107710737B (ja)
AU (1) AU2016249929B2 (ja)
BR (1) BR112017022245A2 (ja)
CA (1) CA2982738A1 (ja)
SE (1) SE538522C2 (ja)
WO (1) WO2016166314A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022543159A (ja) * 2019-08-09 2022-10-07 北京字節跳動網絡技術有限公司 画像特殊効果処理方法、装置、電子装置及びコンピュータ読み取り可能な記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770760B (zh) * 2017-05-19 2024-01-12 渊慧科技有限公司 视觉交互网络系统及其方法、训练方法和计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060059514A1 (en) 2004-09-10 2006-03-16 Eric Hsiao Method and apparatus for utilizing blank space on a high definition television screen
RU2494566C2 (ru) * 2009-04-30 2013-09-27 Сони Корпорейшн Устройство и способ управления отображением
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
CN202257507U (zh) * 2011-10-09 2012-05-30 辛锡友 分屏触控一体机
GB2504106A (en) * 2012-07-18 2014-01-22 Co Solve Ltd Display of multiple moving image thumbnails for use in reviewing videos

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022543159A (ja) * 2019-08-09 2022-10-07 北京字節跳動網絡技術有限公司 画像特殊効果処理方法、装置、電子装置及びコンピュータ読み取り可能な記憶媒体
US11805219B2 (en) 2019-08-09 2023-10-31 Beijing Bytedance Network Technology Co., Ltd. Image special effect processing method and apparatus, electronic device and computer-readable storage medium

Also Published As

Publication number Publication date
SE1550457A1 (sv) 2016-09-06
US20180359444A1 (en) 2018-12-13
JP6751754B2 (ja) 2020-09-09
US10341599B2 (en) 2019-07-02
CN107710737B (zh) 2020-06-05
CA2982738A1 (en) 2016-10-20
AU2016249929B2 (en) 2019-11-21
EP3284250A1 (en) 2018-02-21
BR112017022245A2 (pt) 2018-07-10
WO2016166314A1 (en) 2016-10-20
AU2016249929A1 (en) 2017-11-02
CN107710737A (zh) 2018-02-16
SE538522C2 (en) 2016-09-06

Similar Documents

Publication Publication Date Title
JP6479142B2 (ja) ユーザ介入なくレイアウトに従った画像識別及び編成
CN105306997B (zh) 移动终端播放方式切换方法及装置
US11620784B2 (en) Virtual scene display method and apparatus, and storage medium
JP2015029307A5 (ja)
JP6157758B2 (ja) 情報処理装置及び動画再生方法及び動画再生プログラム
CN106569700B (zh) 一种截图方法以及截图装置
JP6751754B2 (ja) ディスプレイ上でビデオコンテンツをレンダリングするための方法およびデバイス
JP2018530023A (ja) 動的アイコンマッピングに基づいたコンテンツの表示及びナビゲートシステム及び方法
US9380189B2 (en) Method of providing information configuration function in video play device and video play device
JP2015046707A5 (ja)
CN105122826B (zh) 用于由移动计算设备显示带注释的视频内容的系统和方法
FR3052008A1 (fr) Navigation dans une pluralite de contenus video
US20160308847A1 (en) Presentations based on aggregated content
US9245365B2 (en) Dynamic digital image compositing using image templates
CN102123246B (zh) 一种滚屏设计中滚屏节点的生成方法和装置
JP2016504852A5 (ja)
KR102092156B1 (ko) 표시 장치의 영상 인코딩 방법
CN112866779A (zh) 视频展示方法、装置、计算机设备和介质
US20190080672A1 (en) Data processing devices, data processing methods, and computer-readable media
KR102571349B1 (ko) 동영상의 복수의 선택 영역 확대 시스템 및 방법
EP3029950A1 (en) System and method for graphical user interface mosaic
KR20170112244A (ko) 리얼툰 제공 서비스 시스템
NL2016098B1 (en) Method and device for of providing a multitude of video streams.
JP2016122261A5 (ja)
CN104853256A (zh) 一种视频播单的菜单展示方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6751754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees