JP2005049834A - メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム - Google Patents

メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム Download PDF

Info

Publication number
JP2005049834A
JP2005049834A JP2004182973A JP2004182973A JP2005049834A JP 2005049834 A JP2005049834 A JP 2005049834A JP 2004182973 A JP2004182973 A JP 2004182973A JP 2004182973 A JP2004182973 A JP 2004182973A JP 2005049834 A JP2005049834 A JP 2005049834A
Authority
JP
Japan
Prior art keywords
display
scaling
media data
moving image
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004182973A
Other languages
English (en)
Inventor
Tadamasa Toma
正真 遠間
Yoshinori Matsui
義徳 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004182973A priority Critical patent/JP2005049834A/ja
Publication of JP2005049834A publication Critical patent/JP2005049834A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas

Abstract

【課題】 動画を含む複数メディアからなるマルチメディアデータを多様な表示方法で表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムを提供する。
【解決手段】 メディアデータ表示装置85は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、スケーリング判定部87と、スケーリング部89と、表示部19とを備えている。スケーリング判定部87は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。スケーリング部89と表示部19とは、マルチメディアデータを表示する手段であって、スケーリング判定部87の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する。
【選択図】 図14

Description

本発明は、メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム、特に、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムに関する。
近年、インターネットなどの通信網を通じて、ビデオ、オーディオあるいはテキストデータなどを配信する技術の開発が行われている。例えば、デジタル化されたビデオ、オーディオあるいはテキストデータなどをRTP(Real time Transport Protocol)、HTTP/TCP(Hyper Text Transport Protocool、 Transmission Control Protocol)などの通信プロトコルに従ってパケット化し伝送する方式である。映像音声の符号化方式としてMPEG−4を用い、ファイルの形式としてMP4(ISO/IEC 14496−1:2001)ファイルを用いたビデオ、オーディオあるいはテキストデータなどの配信についての従来技術(例えば、特許文献1参照。)が知られている。なお、RTPやTS(Transport Stream、デジタル放送で使用)の場合はMP4ファイルはそのまま伝送されず符号化データそのものがパケット化されて伝送されるが、HTTP/TCPの場合はMP4ファイルがそのまま伝送される。
従来、MP4ファイルに多重化されたビデオを表示する際には、MP4ファイルが有するビデオの表示領域サイズとビデオの画像サイズとに基づいて表示が行われる。すなわち、ビデオの表示領域サイズとビデオの画像サイズとが異なる場合に、ビデオの画像サイズをビデオの表示領域サイズにスケーリングして表示することが必要とされている。
図29〜図32を用いて、MP4ファイルの構造について説明しつつ、ビデオの表示領域サイズとビデオの画像サイズとについて説明を加える。
図29は、MP4ファイルのファイル構造を説明する説明図である。MP4ファイルは、Boxと呼ばれるオブジェクトの集合体である。Boxは、階層的に配置され(図29(a)参照)、それぞれのBoxは、[size]、[type]および[データ]から構成される(図29(b)参照)。[size]は、Boxのデータサイズを示す。[type]は、Boxを識別するアルファベット4文字(例えば、後述する‘moov’あるいは‘trak’など)を格納する。[データ]は、[type]に対応したデータを格納する。また、多くのBoxでは、さらに[version]および[flags]を格納している(図29(c)参照)。このデータ構造により、認識できない[type]のBoxが取得されても、そのBoxを無視してスキップし、処理を進めることが可能となっている。
図30は、MP4ファイルのデータ格納方法を説明する説明図である。MP4ファイルは、File Type Box(以下、‘ftyp’という)、Movie Box(以下、‘moov’という)およびMedia Data Box(以下、‘mdat’という)を備えている。
‘ftyp’は、MP4ファイルの先頭に配置され、MP4ファイルが準拠するスペックを示す識別子([major_brand]あるいは[compatible_brand]など)を示す。例えば、3GPP(Third Generation Partnership Project)規格準拠の場合は、[3gp4]あるいは[3gp5]が使用される。‘moov’は、ヘッダ情報を格納し、MP4ファイルに1つ備えられる。具体的には、‘moov’は、MP4ファイルに含まれるメディアの再生にかかる情報(タイムスケール、デュレーションなど)を格納したMovie Header Box(以下、‘mvhd’という)(図示せず)と、メディア毎のヘッダ情報(フレームサイズ、フレームデュレーション、初期化情報、データ格納場所など)を格納したTrack Box(以下、‘trak’という)とを有している。例えば、オーディオとビデオを含むMP4ファイルでは、オーディオ用、ビデオ用といったメディア毎に独立した‘trak’が存在する。‘mdat’は、各メディアのデータをサンプルと呼ばれるメディアの再生単位(例えば、ビデオであればフレームなど)で格納する。‘mdat’内におけるサンプルの格納位置は、‘moov’により指定される。以下では、各メディアのヘッダ情報は全て‘moov’に格納される構造をもつMP4ファイルについて説明する。なお、MP4では、メディアデータを複数の区間に分割し、分割した単位毎にヘッダ情報を付加していく構造(フラグメントと呼ばれる)も定義されているが、ここでは説明を省略する。
図31は、‘trak’の構造を説明する説明図である。‘trak’は、Track Header Box(以下、‘tkhd’という)およびMedia Box(以下、‘mdia’という)を有している。
‘tkhd’は、ビデオであればビデオ表示領域のサイズ(Wp,Hp)を備えており、テキストであればビデオ表示領域の左上の点を基準として表現した、テキスト表示領域の左上の点の座標(Tx,Ty)およびテキスト表示領域のサイズ(Wt,Ht)を備えている。ここで、図32に、ビデオ表示領域300とテキスト表示領域301との位置関係を示す。表示画面302中に、ビデオ表示領域300が設定されている。ビデオ表示領域300は、サイズ(Wp,Hp)を有している。テキスト表示領域301は、ビデオ表示領域300の左上の点を基準とした座標(Tx,Ty)において、サイズ(Wt,Ht)を有している。
‘mdia’(図31参照)は、Media Header Box(以下、‘mdhd’という)(図示せず)、Handler Reference Box(以下、‘hdlr’という)およびMedia Information Box(以下、‘minf’という)を有している。‘mdhd’は、‘trak’に格納されるメディアの再生にかかる情報(タイムスケール、デュレーションなど)を格納する。‘hdlr’は、‘trak’に格納されるメディアの種類を示す識別子(ビデオ[vide]、オーディオ[soun]、テキスト[text]などのhandler_type)を格納する。MP4ファイルの再生時には、‘hdlr’を参照することにより、‘trak’に格納されるメディアの種類を判別する。
‘minf’は、Video Media Header Box(以下、‘vmhd’という)(図示せず)、Data Information Box(以下、‘dinf’という)(図示せず)およびSample Table Box (以下、‘stbl’という)などを格納している。‘vmhd’は、ビデオの表示にかかる基本的な情報を有している。‘dinf’は、‘trak’に格納されるメディアの情報の格納位置を示すData Reference Box(以下、‘dref’という)(図示せず)などを有している。
‘stbl’は、Sample Size Box(以下、‘stsz’という)、Decoding Time to Sample Box(以下、‘stts’という)、Sample Description Box(以下、‘stsd’という)、Sample To Chunk Box(以下、‘stsc’という)(図示せず)およびChunk Offset Box(以下、‘stco’という)(図示せず)などを有している。
‘stsz’は、サンプル毎のサイズを格納している。‘stts’は、サンプル毎の再生時間長を格納している。‘stsd’は、ビデオであれば、Visual Sample Entryと呼ばれるサンプルの再生情報を格納している。Visual Sample Entryは、例えば、ビデオの画像サイズ(Wv,Hv)などを格納している。‘stsc’は、Visual Sample Entryと各サンプルとを関連付ける情報を格納している。
図33に、上記で説明したMP4ファイルのデータ構造をまとめて示す。ビデオの表示領域サイズ(Wp,Hp)とビデオの画像サイズ(Wv,Hv)とは、それぞれ‘tkhd’および‘stsd’の[データ]として格納されている。
図34および図35を用いて、従来のビデオのスケーリング表示について説明する。
図34は、従来のMP4ファイルのメディアデータ表示装置10の構造を説明するブロック図である。メディアデータ表示装置10は、例えば、サーバに蓄積されたMP4ファイルをHTTPによりダウンロードして再生する装置やSDカードなどの記録媒体に蓄積されたMP4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ(PC)、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。メディアデータ表示装置10は、データ取得部11とヘッダ分離部12とサンプル情報取得部13とサンプル取得部14と復号部15とフレームメモリ16と基本表示情報取得部17とスケーリング部18と表示部19とを備えている。
データ取得部11は、MP4ファイルを取得する。ヘッダ分離部12は、MP4ファイルから、‘stts’、‘stsc’、‘stsz’および‘stco’などのサンプルに関する情報と、‘tkhd’および‘stsd’などの表示に関する情報とを分離する。サンプル情報取得部13は、‘stts’、‘stsc’、‘stsz’および‘stco’などのサンプルに関する情報を取得する。サンプル取得部14は、サンプル情報取得部13の取得したサンプルに関する情報から、サンプルのサイズ、格納位置、復号・表示時間などを取得する。さらに、サンプル情報取得部13から取得した情報に基づいて、データ取得部11にサンプルのデータを要求する。復号部15は、サンプル取得部14が取得したサンプルのデータをサンプル毎に復号化する。フレームメモリ16は、復号化されたサンプルのデータを、例えば、フレーム毎に記憶する。基本表示情報取得部17は、‘tkhd’および‘stsd’などの表示に関する情報を取得する。ここで、‘tkhd’には、ビデオの表示領域サイズ(Wp,Hp)が含まれており、‘stsd’には、ビデオの画像サイズ(Wv,Hv)が含まれている。
スケーリング部18は、基本表示情報取得部17からビデオの表示領域サイズ(Wp,Hp)およびビデオの画像サイズ(Wv,Hv)を取得する。さらに、フレームメモリ16が記憶する画像サイズ(Wv,Hv)のフレームデータを表示領域サイズ(Wp,Hp)にfillモードでスケーリングする。表示部19は、スケーリング部18からビデオの表示領域サイズ(Wp,Hp)およびスケーリング後のフレームデータを取得し、ビデオの表示用データを表示用メモリ(図示せず)などに書き込む。
図35は、スケーリングについて説明する説明図である。フレームメモリ16が記憶するフレームデータ305の画像サイズ(Wv,Hv)と基本表示情報取得部17が取得する表示領域サイズ(Wp,Hp)とが異なる場合に、フレームデータ305は、ビデオ表示領域300にfillモードでスケーリングされる。
特開2002−199370号公報(第6頁)
従来のメディアデータ表示装置10では、ビデオは、‘tkhd’に示されるビデオの表示領域サイズ(Wp,Hp)にスケーリングされて表示される。このため、表示が画一的になり、多様な表示方法を実現することが難しい。また、従来のメディアデータ表示装置10では、ビデオの表示に際して、1秒あたり数〜数十回のスケーリングが必要となり、CPUへの負荷が高く、電力消費も高く、特に、低消費電力、低処理量が求められる携帯端末では問題となる。
本発明の課題は、動画を含む複数メディアからなるマルチメディアデータを多様な表示方法で表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムを提供することを課題とする。
本発明の他の課題は、端末の能力、使用時などの条件によって表示方法を切り替えるメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムを提供することを課題とする。
請求項1に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、スケーリング判定手段と、メディアデータ表示手段とを備えている。スケーリング判定手段は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する。
ここで、マルチメディアデータとは、例えば、ビデオ、オーディオ、テキストあるいは静止画などを多重して格納するMP4ファイルなどである(以下、この欄において同じ)。
本発明のメディアデータ表示装置では、スケーリング判定手段がスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリング表示せずに動画の表示を行うことも可能であり、その場合は装置への処理負荷が軽減される。
請求項2に記載のメディアデータ表示装置は、請求項1に記載のメディアデータ表示装置であって、スケーリング判定手段は、マルチメディアデータが有するスケーリング判定情報に基づいて、判定を行う。
本発明のメディアデータ表示装置では、スケーリング判定情報に基づいて、スケーリング判定手段がスケーリングの有無を決定する。ここで、スケーリング判定情報には、マルチメディアデータの作成者のスケーリング表示に対する意図が表れているため、動画はマルチメディアデータの作成者の意図を反映して表示される。
請求項3に記載のメディアデータ表示装置は、請求項2に記載のメディアデータ表示装置であって、スケーリング判定情報は、スケーリングを行うか否かを示すフラグ情報である。
本発明のメディアデータ表示装置では、フラグ情報に基づいて、スケーリング判定手段がスケーリングの有無を決定する。
請求項4に記載のメディアデータ表示装置は、請求項1に記載のメディアデータ表示装置であって、スケーリング判定手段は、搭載されたバッテリーの残量に基づいて、判定を行う。スケーリング判定手段は、例えば、バッテリー残量が少ない場合、スケーリング表示を行わない。
本発明のメディアデータ表示装置では、バッテリー残量に応じて、スケーリング表示を行うか否かを判定するため、例えば、バッテリー残量が少ない場合にスケーリング表示を行わないとすると、電力の消費を抑えることができ、その結果メディアデータ表示装置の使用時間を延ばすことが可能となる。
請求項5に記載のメディアデータ表示装置は、請求項1に記載のメディアデータ表示装置であって、スケーリング判定手段は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかを設定させるスケーリング設定手段を有している。ここで、スケーリング設定手段は、例えば、スケーリングの有無を直接指定させるものであっても良いし、メディアデータ表示装置の動作設定を行わせ、間接的にスケーリングの有無を指定させるものであっても良い。
本発明のメディアデータ表示装置では、スケーリング設定手段に対する使用者の設定に応じて、スケーリング判定手段がスケーリング表示を行うか否かを判定するため、動画は使用者のスケーリングに対する意図を反映して表示される。
請求項6に記載のメディアデータ表示装置は、請求項1に記載のメディアデータ表示装置であって、スケーリング判定手段は、動画の属性に基づいて、判定を行う。ここで、動画の属性とは、例えば、動画の画像サイズやフレームレートなどである。
本発明のメディアデータ表示装置では、例えば、フレームレートが高いなど、メディアデータ表示装置の処理負荷が高い場合に、スケーリング判定手段がスケーリングを行わないと決定する。これにより、メディアデータ表示装置に過剰な処理負荷をかけることが防がれる。
請求項7に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、スケーリング手段と、メディアデータ表示手段とを備えている。スケーリング手段は、表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、スケーリング手段によりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示装置では、指定されたスケーリング方式によりスケーリング手段が動画のスケーリングを行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、多様な方式でスケーリング表示される。
請求項8に記載のメディアデータ表示装置は、請求項7に記載のメディアデータ表示装置であって、スケーリング手段は、マルチメディアデータからスケーリング指定情報を取得する。
ここで、スケーリング指定情報とは、例えば、採用されるスケーリングの方式を示すフラグ情報や、採用されるスケーリングの方式を示す番号情報などである。
本発明のメディアデータ表示装置では、スケーリング手段がマルチメディアデータからスケーリング指定情報を取得するため、動画はマルチメディアデータの作成者の意図を反映してスケーリング表示される。
請求項9に記載のメディアデータ表示装置は、請求項7又は8において、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定手段をさらに備えている。メディアデータ表示手段は、スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する
本発明のメディアデータ表示装置では、スケーリング判定手段がスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリング表示せずに動画の表示を行うことも可能であり、その場合は装置への処理負荷が軽減される。
請求項10に記載のメディアデータ表示装置は、請求項7に記載のメディアデータ表示装置であって、スケーリング指定情報を設定させるスケーリング方式設定手段をさらに備える。
本発明のメディアデータ表示装置では、スケーリング方式設定手段によりスケーリング方式が設定されるため、動画は、メディアデータ表示装置の使用者の意図を反映してスケーリング表示される。
請求項11に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、スケーリング判定ステップと、メディアデータ表示ステップとを備えている。スケーリング判定ステップは、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリング判定ステップの判定結果に基づいて、動画を表示する。
本発明のメディアデータ表示方法では、スケーリング判定ステップでスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせずに動画の表示を行うことも可能であり、その場合は処理負荷が軽減される。
請求項12に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、スケーリングステップと、メディアデータ表示ステップとを備えている。スケーリングステップは、表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示方法では、指定されたスケーリング方式によりスケーリングステップで動画のスケーリングを行う。このため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、多様な方式でスケーリング表示される。
請求項13に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、スケーリング判定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。スケーリング判定ステップは、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリング判定ステップの判定結果に基づいて、動画を表示する。
本発明のメディアデータ表示プログラムでは、スケーリング判定ステップでスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことも可能であり、その場合は処理負荷が軽減される。
請求項14に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。スケーリングステップは、表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示プログラムでは、指定されたスケーリング方式によりスケーリングステップで動画のスケーリングを行う。このため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、多様な方式でスケーリング表示される。
本発明では、動画を含む複数メディアからなるマルチメディアデータを多様な表示方法で表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムが提供される。
本発明では、端末の能力、使用時などの条件によって表示方法を切り替えるメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムが提供される。
以下の各実施形態においては、メディアデータ表示装置によるメディアデータ表示方法を説明する。なお、以下の各実施形態ではビデオを例に表示方法の説明を行うが、JPEG(Joint Photographic Experts Group)などの静止画についても同様の表示方法を適用することができる。
[第1実施形態]
図1〜図3を用いて、本発明の第1実施形態について説明する。
図1は、本発明の第1実施形態としてのメディアデータ表示装置20の構造を説明するブロック図である。メディアデータ表示装置20は、例えば、サーバに蓄積されたMP4ファイル(図29〜図33参照。以下、「発明の実施の形態」において同じ。)をHTTPによりダウンロードして再生する装置やSDカードなどの記録媒体に蓄積されたMP4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ(PC)、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。
従来のメディアデータ表示装置10では、MP4ファイルが有するビデオは、‘stsd’が格納する画像サイズ(Wv,Hv)に関わらず、‘tkhd’が格納する表示領域サイズ(Wp,Hp)にスケーリングして表示される。一方、メディアデータ表示装置20は、スケーリング部18(図34参照)を備えず、MP4ファイルが有するビデオをスケーリングしないで表示する。
ここで、MP4ファイルは、ビデオ表示領域のサイズをメディアデータ表示装置20において自由に設定させる場合には、‘tkhd’が格納する表示領域サイズ(Wp,Hp)に特別の値(例えば、(Wp,Hp)=(0,0)など)を格納することとする。すなわち、MP4ファイルが表示領域サイズ(Wp,Hp)に特別の値を有する場合には、ビデオ表示領域のサイズは、MP4ファイル中では指定されないことを示している。
(1)メディアデータ表示装置20の構成
図1に示す本発明のメディアデータ表示装置20において、図34に示す従来のメディアデータ表示装置10と相違する部分について説明する。なお、従来のメディアデータ表示装置10と同様の動作を行う部分については、同じ符号を付し、説明を省略する。
メディアデータ表示装置20は、表示領域変換部21と端末表示画面サイズ取得部22とを備えている点においてメディアデータ表示装置10と相違している。端末表示画面サイズ取得部22は、表示部19が出力するビデオの表示用データを表示する表示画面(図示せず)の表示画面サイズ(Wd,Hd)を取得する。表示領域変換部21は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)を取得する。さらに、表示領域変換部21は、表示領域サイズ(Wp,Hp)の値と、表示画面サイズ(Wd,Hd)の値に基づいて、ビデオ表示領域の設定を行う。表示部19は、フレームメモリ16が記憶するビデオのフレームデータを、表示領域変換部21が設定するビデオ表示領域において表示するよう表示用データを出力する。
(2)表示領域変換部21の動作
表示領域変換部21のビデオ表示領域の設定について、さらに詳しく説明を加える。
表示領域変換部21は、基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示さない場合、取得した表示領域サイズ(Wp,Hp)をビデオ表示領域のサイズとして設定する。
一方、表示領域変換部21は、基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示す場合、表示画面サイズ(Wd,Hd)をビデオ表示領域のサイズとして設定する。
図2を用いて、表示用データにおけるフレームデータとビデオ表示領域との関係について説明する。フレームデータ24は、画像サイズ(Wv,Hv)を有しており、ビデオ表示領域25において、スケーリングされずに表示される。ビデオ表示領域25のサイズは、表示領域変換部21により表示領域サイズ(Wp,Hp)あるいは表示画面サイズ(Wd,Hd)のいずれかに設定されている。
図2では、フレームデータ24は、ビデオ表示領域25にセンタリングして表示されている。ここで、フレームデータ24のビデオ表示領域25に対する位置は、表示部19により決定されている。
(3)メディアデータ表示装置20におけるメディアデータ表示方法
図3を用いて、メディアデータ表示装置20におけるメディアデータ表示方法について説明する。
表示領域変換部21は、端末表示画面サイズ取得部22から表示画面サイズ(Wd,Hd)を取得する(ステップS26)。さらに、表示領域変換部21は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)を取得する(ステップS27)。
表示領域変換部21は、基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示さない場合(ステップS28)、取得した表示領域サイズ(Wp,Hp)をビデオ表示領域のサイズとして設定する(ステップS29)。一方、表示領域変換部21は、基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示す場合(ステップS28)、表示画面サイズ(Wd,Hd)をビデオ表示領域のサイズとして設定する(ステップS30)。
表示部19は、フレームメモリ16が記憶するフレームデータをスケーリングしないでビデオ表示領域に表示するよう表示用データを出力する(ステップS31)。
(4)メディアデータ表示装置20の効果
従来のメディアデータ表示装置10では、ビデオの表示に際して、1秒あたり数〜数十回のスケーリングが必要となり、CPUへの負荷が高く、電力消費も高い。一方、本願発明の実施形態としてのメディアデータ表示装置20では、スケーリングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことは、メディアデータ表示装置20が携帯端末などにおいて備えられる場合に特に有効な効果となる。
また、取得した表示領域サイズ(Wp,Hp)が特別の値を示す場合に、メディアデータ表示装置20では、ビデオ表示領域のサイズを表示画面の大きさに応じて設定することが可能となる。このため、適切な大きさでビデオの表示を行うことが可能となる。
また、MPEG−4 AVC(Advanced Video Coding)では、ビデオの途中でフレームデータの画像サイズ(Wv,Hv)が変化する。このようなビデオを表示する際に、メディアデータ表示装置20では、必ずしも(Wp,Hp)にスケーリングする必要ないため、フレームデータの画像サイズ(Wv,Hv)に応じた表示を行うことが可能となる。
(5)メディアデータ表示装置20の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(5−1)表示領域変換部21の第1変形例
(5−1−1)
基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示す場合、表示領域変換部21は、表示画面サイズ(Wd,Hd)とテキストや静止画などの‘trak’が有する表示領域サイズとを取得し、ビデオ表示領域のサイズを設定するものであっても良い。
この場合、他メディアの表示領域を考慮してビデオ表示領域を設定することが可能となる。
(5−1−2)
基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示す場合、表示領域変換部21は、メディアデータ表示装置20の処理能力(CPUの周波数、メモリ量、データ転送速度、バス速度)に応じて、ビデオ表示領域のサイズを設定するものであっても良い。
この場合、処理能力に余裕があれば、より広い領域においてビデオの表示を行うことが可能となる。
(5−1−3)
基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示す場合、表示領域変換部21は、予め設定されたサイズにビデオ表示領域を設定するものであってもよい。具体的には、メディアデータ表示装置20は、ユーザにビデオ表示領域のサイズを設定させるサイズ設定部をさらに備え、設定されたサイズにビデオ表示領域を設定する、あるいは、省電力モードなどといったメディアデータ表示装置20の動作状況に応じて設定されたサイズにビデオ表示領域を設定するものであっても良い。
この場合、ユーザの意図するビデオの表示を行うことが可能となる。
(5−2)表示領域変換部21の第2変形例
基本表示情報取得部17から取得した表示領域サイズ(Wp,Hp)が特別の値(0,0)を示さない場合であって、表示領域サイズ(Wp,Hp)と表示画面サイズ(Wd,Hd)とが異なるサイズである場合に、表示領域変換部21は、表示画面サイズ(Wd,Hd)にビデオ表示領域のサイズを設定するものであっても良い。
この場合、常に表示画面に対して適切なサイズでビデオの表示を行うことが可能となる。
(5−3)表示部19の変形例
図2の説明において、「フレームデータ24は、ビデオ表示領域25にセンタリングして表示されている」と記載した。ここで、必ずしもセンタリングして表示する必要はない。
また、図2の説明において、「フレームデータ24のビデオ表示領域25に対する位置は、表示部19により決定される」と記載した。ここで、メディアデータ表示装置20は、フレームデータ24の表示位置を決定する表示位置決定部を備えていてもよい。この際、表示部19は、表示位置決定部から表示位置を取得し、表示用データを出力する。
[第2実施形態]
図4〜図13を用いて、本発明の第2実施形態について説明する。
図4は、本発明の第2実施形態としてのメディアデータ表示装置35の構造を説明するブロック図である。メディアデータ表示装置35は、例えば、サーバに蓄積されたMP4ファイルをHTTPによりダウンロードして再生する装置やSDカードなどの記録媒体に蓄積されたMP4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ(PC)、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。
メディアデータ表示装置35は、図1を用いて説明したメディアデータ表示装置20と同様、スケーリング部18(図34参照)を備えず、MP4ファイルが有するビデオをスケーリングしないで表示する。
ここで、メディアデータ表示装置35が取得するMP4ファイルは、ビデオのフレームデータ毎に優先的に表示する領域を指定するSample Display Center Box(以下、‘stdc’という)を‘stbl’に格納しているとする。
図5に‘stdc’のシンタックス例を示す。‘stdc’は、図29(b)を用いて説明したBoxと同様の構造を有している。ここで、[entry_count]は、‘stdc’に含まれるエントリ数を示している。[sample_count]は、[display_center_x]および[display_center_y]の値が同一である、連続するサンプルの数を示している。[display_center_x]および[display_center_y]は、それぞれのサンプル毎(例えば、フレームデータ毎)に優先的に表示する領域の中心のX座標およびY座標を示している。以下、(display_center_x,display_center_y)で表される座標を優先表示座標といい、(dcx,dcy)と記載する。なお、優先領域の指定方法は本方法に制限されるものではなく、例えば、同一対角線上にある2頂点の座標を示すこととしてもよい。また、優先度を順位付けして指定することとしてもよい。さらに、優先度以外の指標により画像領域を分類することとしてもよいし、優先領域の指定をさらに大きな単位、例えば、複数のサンプルのグループであるチャンク単位やトラック単位で行うこととしてもよい。
(1)メディアデータ表示装置35の構成
図4に示す本発明のメディアデータ表示装置35において、図34に示す従来のメディアデータ表示装置10と相違する部分について説明する。なお、従来のメディアデータ表示装置10と同様の動作を行う部分については、同じ符号を付し、説明を省略する。
メディアデータ表示装置20は、拡張表示情報取得部37と表示位置決定部38とを備えている点においてメディアデータ表示装置10と相違している。さらに、ヘッダ分離部36は、MP4ファイルが有する‘stdc’を認識し、分離することが可能である。
拡張表示情報取得部37は、ヘッダ分離部36が分離する‘stdc’を取得し、フレームデータ毎の優先表示座標(dcx,dcy)を出力する。表示位置決定部38は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)および‘stsd’が格納する画像サイズ(Wv,Hv)を取得し、拡張表示情報取得部37から、優先表示座標(dcx,dcy)を取得する。表示位置決定部38は、画像サイズ(Wv,Hv)のフレームデータの優先表示座標(dcx,dcy)と表示領域サイズ(Wp,Hp)のビデオ表示領域の中心とが一致するように、ビデオ表示領域におけるフレームデータの表示位置を決定する。表示部19は、フレームメモリ16が記憶するフレームデータを、表示位置決定部38が決定する表示位置において表示するよう表示用データを出力する。
図6を用いて、表示用データにおけるフレームデータ45とビデオ表示領域46との関係について説明する。なお、図6は表示領域サイズ(Wp,Hp)が画像サイズ(Wv,Hv)より大きく、したがって動画の全体が表示されている。フレームデータ45は、画像サイズ(Wv,Hv)を有しており、ビデオ表示領域46において、スケーリングされずに表示される。ビデオ表示領域46は、表示領域サイズ(Wp,Hp)を有している。フレームデータ45の表示位置は、優先表示座標(dcx,dcy)とビデオ表示領域の中心点とが一致するように決定される。
(2)メディアデータ表示装置35におけるメディアデータ表示方法
図7を用いて、メディアデータ表示装置35におけるメディアデータ表示方法について説明する。
ヘッダ分離部36は、MP4ファイルから‘tkhd’、‘stsd’および‘stdc’を分離する(ステップS48)。表示位置決定部38は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)と‘stsd’が格納する画像サイズ(Wv,Hv)とを取得し、拡張表示情報取得部37から、‘stdc’が格納する優先表示座標(dcx,dcy)を取得する(ステップS49)。さらに、表示位置決定部38は、取得した表示領域サイズ(Wp,Hp)と画像サイズ(Wv,Hv)と優先表示座標(dcx,dcy)とに基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する(ステップS50)。表示部19は、フレームメモリ16が記憶するフレームデータを、表示位置決定部38が決定する表示位置において、スケーリングしないで表示するよう表示用データを出力する(ステップS51)。
(3)メディアデータ表示装置35の効果
従来のメディアデータ表示装置10では、ビデオの表示に際して、1秒あたり数〜数十回のスケーリングが必要となり、CPUへの負荷が高く、電力消費も高い。一方、本願発明の実施形態としてのメディアデータ表示装置35では、スケーリングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことは、メディアデータ表示装置35が携帯端末などにおいて備えられる場合に特に有効な効果となる。
メディアデータ表示装置35では、表示位置決定部38が動画表示位置を決定するため、表示部19が動画を適切な位置に表示することができる。
さらに、メディアデータ表示装置35では、サンプル毎(フレームデータ毎)に重要な部分を優先的に表示させることが可能となる。特に、表示領域サイズ(Wp,Hp)が画像サイズ(Wv,Hv)よりも小さい場合に、サンプル毎に優先的に表示する領域を切り替えることになり、コンテンツ提供者の意図を反映した視覚的効果の高い表示が可能となる。なお、この効果は、優先領域の指定がさらに大きな単位、例えば、複数のサンプルのグループであるチャンク単位やトラック単位で行なわれる場合にも同様である。さらに、優先領域の指定をチャンク単位やトラック単位で行う場合には、サンプル毎に行う場合に比べて、処理負荷を削減することが可能となる。
また、MPEG−4 AVC(Advanced Video Coding)では、ビデオの途中でフレームデータの画像サイズ(Wv,Hv)が変化する。このようなビデオを表示する際に、メディアデータ表示装置35では、フレームデータの画像サイズ(Wv,Hv)に応じた表示を行うことが可能となる。
本発明の前提となるMP4ファイルでは、新しく定義された‘stdc’を有している。このため、‘stdc’に対応しない従来のメディアデータ表示装置10において、‘stdc’を有するMP4ファイルを取得した場合、‘stdc’は認識されず、スキップされる。すなわち、従来のメディアデータ表示装置10の表示には影響を与えず、‘stdc’を認識可能な装置には、新しい機能を実現させるMP4ファイルのデータ構造が提供されている。
(4)メディアデータ表示装置35の変形例
(4−1)表示位置決定部38の変形例
(4−1−1)
表示位置決定部38は、画像サイズ(Wv,Hv)が表示領域サイズ(Wp,Hp)よりも小さい際には、優先表示座標(dcx,dcy)とビデオ表示領域の中心とが一致するように表示位置を決定した場合に、ビデオ表示領域に余裕があれば、決定した表示位置を自動的に調整するものであってもよい。
図8を用いて、フレームデータ52とビデオ表示領域53との関係について説明する。図8(a)に、フレームデータ52の優先表示座標(dcx,dcy)とビデオ表示領域53の中心とが一致するように表示位置を決定した場合のフレームデータ52とビデオ表示領域53との位置関係を示す。この場合、ビデオ表示領域53には、表示余裕54があり、フレームデータ52には、非表示領域55がある。
そこで、優先表示座標(dcx,dcy)をビデオ表示領域53内に含み、かつ、フレームデータ52のできるだけ広い領域が表示されるように、フレームデータ52の表示位置を調整する。図8(b)に調整後のフレームデータ52とビデオ表示領域53との位置関係を示す。
図9を用いて、フレームデータ52’とビデオ表示領域53’との関係の他の例について説明する。なお、図8の例では画像サイズ(Wv,Hv)が表示領域サイズ(Wp,Hp)よりも小さかったが、この例では画像サイズ(Wv,Hv)が表示領域サイズ(Wp,Hp)よりも大きい。図9(a)に、フレームデータ52’の優先表示座標(dcx,dcy)とビデオ表示領域53’の中心とが一致するように表示位置を決定した場合のフレームデータ52’とビデオ表示領域53’との位置関係を示す。この場合、ビデオ表示領域53’には、表示余裕54’があり、フレームデータ52’には、非表示領域55’がある。
そこで、優先表示座標(dcx,dcy)をビデオ表示領域53’内に含み、かつ、フレームデータ52’のできるだけ広い領域が表示されるように、フレームデータ52’の表示位置を調整する。図9(b)に調整後のフレームデータ52’とビデオ表示領域53’との位置関係を示す。この場合は、フレームデータ52’の全ては表示されないが、優先表示領域が確実に表示され、さらに灰色の領域56’が表示される。
これにより、コンテンツ提供者の意図を反映した視覚的効果の高い表示が可能となることに加え、ビデオ表示領域を有効に利用し、より多くの情報を表示することが可能となる。
(4−1−2)
表示位置決定部38は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)と‘stsd’が格納する画像サイズ(Wv,Hv)とを取得し、表示領域サイズ(Wp,Hp)が画像サイズ(Wv,Hv)よりも大きい場合には、‘stdc’をスキップするものであってもよい。その場合は、下記の(4−2)の動作にしたがって表示を行う。
(4−2)‘stdc’を利用しない場合の表示位置決定について
MP4ファイルが‘stdc’を備えない場合、あるいはメディアデータ表示装置が‘stdc’を認識できない装置である場合にも、ビデオ表示領域におけるビデオの表示位置を決定することが必要である。
(4−2−1)
MP4ファイルが‘stdc’を備えない場合のメディアデータ表示装置35の動作について説明する。
表示位置決定部38は、拡張表示情報取得部37からフレームデータ毎の優先表示座標(dcx,dcy)が取得できない場合、ビデオ表示領域の所定の点(左上、右上、左下、右下あるいは中心など)と、フレームデータの所定の点(左上、右上、左下、右下あるいは中心など)とが一致するようにフレームデータの表示位置を決定する。
これにより、MP4ファイルが‘stdc’を備えない場合であっても、フレームデータの表示位置を決定することが可能となる。
(4−2−2)
さらに、メディアデータ表示装置は、‘stdc’を解釈できない場合は、ユーザの指定によりフレームデータの表示位置を決定してもよい。
<1>
図10は、第2実施形態の変形例としてのメディアデータ表示装置56の構造を説明するブロック図である。メディアデータ表示装置56は、図1を用いて説明したメディアデータ表示装置20と同様、スケーリング部18(図34参照)を備えず、MP4ファイルが有するビデオをスケーリングしないで表示する。
図10に示すメディアデータ表示装置56における、図34に示す従来のメディアデータ表示装置10と相違する部分について説明する。なお、従来のメディアデータ表示装置10と同様の動作を行う部分については、同じ符号を付し、説明を省略する
メディアデータ表示装置56は、表示位置設定部57と表示位置決定部58とを備えている点においてメディアデータ表示装置10と相違している。
表示位置設定部57は、ユーザにフレームデータの表示位置を設定させる。例えば、表示位置を[中央、上寄せ、下寄せ、右寄せ、左寄せ]などの中から選択させる。表示位置決定部58は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)と‘stsd’が格納する画像サイズ(Wv,Hv)とを取得する。さらに、表示位置設定部57の設定に基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する。表示部19は、フレームメモリ16が記憶するフレームデータを、表示位置決定部58が決定する表示位置において表示するよう表示用データを出力する。
<2>
図11(a)を用いて、表示用データにおけるフレームデータ61とビデオ表示領域62との関係について説明する。フレームデータ61は、画像サイズ(Wv,Hv)を有しており、ビデオ表示領域62において、スケーリングされずに表示される。ビデオ表示領域62は、表示領域サイズ(Wp,Hp)を有している。フレームデータ61の表示位置は、表示位置設定部57により[上寄せ]が選択された場合、フレームデータ61の上辺とビデオ表示領域の上辺とが一致するように表示位置が決定される。また、左右の位置は、ビデオ表示領域62に対して、フレームデータ61がセンタリングされるように決定される。
なお、図11(a)は、表示領域サイズ(Wp,Hp)が画像サイズ(Wv,Hv)よりも大きい場合について示している。表示領域サイズ(Wp,Hp)が画像サイズ(Wv,Hv)よりも小さい場合、フレームデータ63のうちビデオ表示領域64に含まれる部分だけが表示される。図11(b)は、表示位置設定部57により[上寄せ]が選択された場合のフレームデータ63とビデオ表示領域64との関係について示している。
<3>
このメディアデータ表示装置56では、ユーザの意図を反映したより効果的な表示を行うことが可能となる。
<4>
なお、表示位置設定部57は、ユーザに表示位置を[中央、上寄せ、下寄せ、右寄せ、左寄せ]などの中から選択させるだけでなく、表示位置のデータ(レイアウトおよびサイズなど)を入力させるものであってもよい。
(4−2−3)
メディアデータ表示装置は、MP4ファイルが有するビデオ以外のメディア(テキスト、静止画など)の表示位置に基づいてフレームデータの表示位置を決定してもよい。
なお、メディアデータ表示装置が‘stdc’を解釈できる際にも、ユーザー設定や予め決められた表示方法に従って表示することとしてもよい。
<1>
図12は、第2実施形態の変形例としてのメディアデータ表示装置70の構造を説明するブロック図である。メディアデータ表示装置70は、図1を用いて説明したメディアデータ表示装置20と同様、スケーリング部18(図34参照)を備えず、MP4ファイルが有するビデオをスケーリングしないで表示する。
図12に示すメディアデータ表示装置70において、図34に示す従来のメディアデータ表示装置10と相違する部分について説明する。なお、従来のメディアデータ表示装置10と同様の動作を行う部分については、同じ符号を付し、説明を省略する
メディアデータ表示装置70は、表示位置決定部71を備えている点においてメディアデータ表示装置10と相違している。
表示位置決定部71は、基本表示情報取得部17から、ビデオの‘tkhd’が格納する表示領域サイズ(Wp,Hp)と‘stsd’が格納する画像サイズ(Wv,Hv)とを取得する。さらに、テキストの‘tkhd’が格納するテキスト表示領域の表示位置(Tx,Ty)とテキスト表示領域の表示領域サイズ(Wt,Ht)とを取得する。さらに、表示位置決定部71は、取得した情報にも基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する。具体的には、テキスト表示領域の上端とフレームデータの下端とを一致させるように上下方向の位置を決定し、テキスト表示領域の中心とフレームデータの中心とを一致させるように左右方向の位置を決定する。表示部19は、フレームメモリ16が記憶するフレームデータを、表示位置決定部71が決定するビデオの表示位置において表示するよう表示用データを出力する。
図13を用いて、表示用データにおけるフレームデータ76とビデオ表示領域77とテキスト表示領域78との位置関係を説明する。表示画面79において、表示領域サイズ(Wp,Hp)を有するビデオ表示領域77が設定されている。さらに、ビデオ表示領域77の左上の点を基準として、座標(Tx,Ty)において、表示領域サイズ(Wt,Ht)を有するテキスト表示領域78が設定されている。
ここで、画像サイズ(Wv,Hv)を有するフレームデータ76の上下方向の表示位置は、テキスト表示領域78の上方向に隣接するように決定される。また、フレームデータ76の左右方向の表示位置は、フレームデータ76の中心とテキスト表示領域78の中心との左右方向の位置が一致するように決定される。
<2>
このメディアデータ表示装置70では、フレームデータの表示位置は、MP4ファイルが有するビデオ以外のメディア(テキスト、静止画など)の表示位置に基づいて決定される。このため、それぞれのメディアが適切な位置に表示され、情報表示の視認性が向上する。
なお、フレームデータは、テキスト表示領域の上方向に隣接するよう表示されると記載したが、本発明の効果は、特に上方向に限定されるものではなく、下方向であっても、その他の方向であっても良い。
また、テキストの‘tkhd’が格納するテキスト表示領域の表示位置(Tx,Ty)とテキスト表示領域の表示領域サイズ(Wt,Ht)とだけでなく、テキスト表示領域中におけるテキストサンプルの表示位置に基づいてフレームデータの表示位置を決定するものであっても良い。
[第3実施形態]
図14〜図22を用いて、本発明の第3実施形態について説明する。
図14は、本発明の第3実施形態としてのメディアデータ表示装置85の構造を説明するブロック図である。メディアデータ表示装置85は、例えば、サーバに蓄積されたMP4ファイルをHTTPによりダウンロードして再生する装置やSDカードなどの記録媒体に蓄積されたMP4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ(PC)、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。
メディアデータ表示装置85は、MP4ファイルから取得される情報に基づいて、ビデオのフレームデータをスケーリングするか否かを決定する。
ここで、メディアデータ表示装置85が取得するMP4ファイルは、[第2実施形態]において図5を用いて説明した‘stdc’を備えることがあるとする。さらにメディアデータ表示装置85が取得するMP4ファイルは、サンプル毎(フレームデータ毎)にスケーリング方法を指定するSample Scale Box(以下、‘stsl’という)を‘stbl’に備えることがあるとする。なお、スケーリング方法の指定はサンプル毎に限定されるものではなく、さらに大きな単位、例えば、複数のサンプルのグループであるチャンク単位やトラック単位で指定することとしてもよい。この場合、サンプル毎にスケーリング方法を指定する場合に比べて、処理負荷を削減することが可能となる。
図15に‘stsl’のシンタックス例を示す。‘stsl’は、図29(b)を用いて説明したBoxと同様の構造を有している。ここで、[fill_flag]がセットされている場合には、fillモードでのスケーリングを指定する。[hidden_flag]がセットされている場合には、hiddenモードでのスケーリングを指定する。[meet_flag]がセットされている場合には、meetモードでのスケーリングを指定する。[slice_x_flag]がセットされている場合には、X軸(画面左右方向)にsliceモードでのスケーリングを指定する。[slice_y_flag]がセットされている場合には、Y軸(画面上下方向)にsliceモードでのスケーリングを指定する。なお、‘stsl’では、[fill_flag]、[hidden_flag]、[meet_x_flag]、[meet_y_flag]、[slice_x_flag]、[slice_y_flag]の中で最大1つのフラグが必ずセットされている。
図16を用いて、それぞれのスケーリング方法について説明を加える。
fillモードは、画像サイズ(Wv,Hv)のフレームデータ(図16(a)参照)を表示領域サイズ(Wp,Hp)にスケーリングして表示するモードである(図16(b)参照)。
hiddenモードは、画像サイズ(Wv,Hv)のフレームデータ(図16(a)参照)のスケーリングは行わずに、表示領域サイズ(Wp,Hp)のビデオ表示領域の範囲で表示できる部分を表示するモードである(図16(c)参照)。より詳しくは、(Wv<Wp)又は(Hv<Hp)である場合には、ビデオ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。一方、(Wv>Wp)又は(Hv>Hp)である場合には、(Wp,Hp)からはみ出すフレームデータはクリップされる。
meetモードは、フレームデータのアスペクト比(画像の縦・横サイズの比、[Wv:Hv])を保ったまま、縦/横サイズのいずれか一方が、ビデオ表示領域と等しくなるまでスケーリングして表示するモードである。ビデオ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。このモードでは、フレームデータはクリップされない。
sliceモードは、フレームデータのアスペクト比(画像の縦・横サイズの比、[Wv:Hv])を保ったまま、縦、あるいは横サイズが、ビデオ表示領域と等しくなるまでスケーリングして表示する。ビデオ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。このモードでは、フレームデータはクリップされることがある。
(1)メディアデータ表示装置85の構成
図14に示す本発明のメディアデータ表示装置85において、図34に示す従来のメディアデータ表示装置10と相違する部分について説明する。なお、従来のメディアデータ表示装置10と同様の動作を行う部分については、同じ符号を付し、説明を省略する。
メディアデータ表示装置85は、拡張表示情報取得部86とスケーリング判定部87とを備えている点においてメディアデータ表示装置10と相違している。さらに、ヘッダ分離部88は、MP4ファイルが有する‘stdc’および‘stsl’を認識し、分離することが可能である。また、スケーリング部89は、スケーリング判定部87の判定結果に基づいて、スケーリングを行うことが可能である。
拡張表示情報取得部86は、ヘッダ分離部88が分離する‘stdc’および‘stsl’を取得する。スケーリング判定部87は、拡張表示情報取得部86が‘stsl’を取得した場合に、スケーリングを行うと判定する。スケーリング部89は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)および‘stsd’が格納する画像サイズ(Wv,Hv)を取得し、拡張表示情報取得部37から、‘stdc’が格納する優先表示座標(dcx,dcy)(図5参照)および‘stsl’が格納するスケーリング方法を取得する。さらに、スケーリング部89は、スケーリング判定部87の判定結果を取得し、判定結果が肯定的であれば、スケーリングを実行する。スケーリングされたフレームデータは、フレームデータの表示領域サイズ(Wp,Hp)とともに表示部19に出力される。
(2)スケーリング部89の動作
スケーリング部89のスケーリング動作について説明を加える。スケーリング部89は、‘stdc’が格納する優先表示領域の情報に基づいて、スケーリングを行う。具体的には、‘stdc’は、優先表示領域の中心点の座標である優先表示座標(dcx,dcy)を格納している。そこで、スケーリング部89は、優先表示座標(dcx,dcy)から、優先表示領域を見積もり、優先表示領域が表示領域サイズ(Wp,Hp)のビデオ表示領域に表示されるよう自動的に表示位置を調節する。さらに具体的には、スケーリング部89は、優先領域が欠けないような適切なスケーリング方法を選択する。
図17を用いて、さらに具体的に説明する。画像サイズ(Wv,Hv)のフレームデータ90に対して、優先表示座標(dcx,dcy)が取得されているとする(図17(a)参照)。スケーリング部89は、優先表示座標(dcx,dcy)を中心とする領域のうち、フレームデータ90内における最大領域を優先表示領域91とする(図17(b)参照)。この場合、優先表示領域91はフレームデータ90の左下部分である。スケーリング部89が取得したスケーリング方法がfillモードである場合、スケーリング部89は、優先表示領域91を例えばx方向にsliceモードでスケーリングし、表示領域サイズ(Wp,Hp)と同じサイズとする(図17(c)参照)。その結果、優先表示領域91が表示される。
さらに、図18を用いて、他の実施例について説明する。画像サイズ(Wv,Hv)のフレームデータ90’に対して、優先表示座標(dcx,dcy)が取得されているとする(図18(a)参照)。スケーリング部89は、優先表示座標(dcx,dcy)を中心とする領域のうち、フレームデータ90’内における最大領域を優先表示領域91’とする(図18(b)参照)。この場合は、優先表示領域91’はフレームデータ90’の左上である。この実施例では、画像サイズ(Wv,Hv)の縦横比が表示領域サイズ(Wp,Hp)の縦横比と異なっており(前記実施例に比べてHvに対してWvが短い)、しかも優先表示領域91’がフレームデータ90’の左上に位置している。したがって、この実施形態でsliceモードを採用し、x方向にsliceモードでスケーリングすると、優先表示領域91’が欠けて表示されてしまう。
そこで、スケーリング方法としてfillモードが選択され、その結果、スケーリング部89は、優先表示領域91’をfillモードでスケーリングし、表示領域サイズ(Wp,Hp)と同じサイズとする(図18(c)参照)。このように、スケーリング部89が優先表示座標(dcx,dcy)から優先表示領域を見積もり、優先表示領域91’が表示領域サイズ(Wp,Hp)のビデオ表示領域に表示されるように適切なスケーリング方法を選択するため、優先表示領域91’が確実に表示される。
なお、‘stdc’が存在しない場合には、画像の左上と表示領域の左上とを一致させた状態を基準としてスケーリングを行う。ここで、画像の左下、右上、右下、あるいは中心と、表示領域の左下、右上、右下、あるいは中心を一致させた状態をスケーリングの基準とすることとしてもよいし、基準状態をユーザが設定することとしてもよい。
(3)メディアデータ表示装置85におけるメディアデータ表示方法
図19を用いて、メディアデータ表示装置85におけるメディアデータ表示方法について説明する。
ヘッダ分離部88は、MP4ファイルから‘tkhd’、‘stsd’、‘stdc’および‘stsl’を分離する(ステップS95)。スケーリング部89は、基本表示情報取得部17から、‘tkhd’が格納する表示領域サイズ(Wp,Hp)および‘stsd’が格納する画像サイズ(Wv,Hv)を取得し、拡張表示情報取得部37から、‘stdc’が格納する優先表示座標(dcx,dcy)および‘stsl’が格納するスケーリング方法を取得する(ステップS96)。スケーリング判定部87は、拡張表示情報取得部86が‘stsl’を取得した場合に、スケーリングを行うと判定する(ステップS97)。スケーリングを行うと判定された場合、スケーリング部89は、フレームメモリ16が記憶するフレームデータの優先表示領域を表示領域サイズ(Wp,Hp)にスケーリングして出力する(ステップS98)。スケーリングを行わないと判定された場合、スケーリング部89は、フレームメモリ16が記憶するフレームデータの優先表示領域をスケーリングせずに出力する(ステップS99)。
ここで、‘stsl’が存在する際にも、スケーリングモードとしてhiddenモードが設定されている際にはスケーリングは行われない。また、MP4ファイル内に‘stsl’が存在するが、端末が‘stsl’を解釈できない場合には、‘tkhd’に示される表示領域サイズ(Wp,Hp)にfillモードでスケーリングすることとしてもよい。
以上では、‘stsl’が存在する際には、必ず‘stsl’に示されるスケーリング動作に従ってスケーリングして表示することとしたが、‘stsl’のスケーリング動作に従うかどうかを端末側で選択できるようにするための情報を追加することとしてもよい。この情報を‘stsl’内で設定する際のシンタックス例を図20に示す。ここで、[constraint_flag]がセットされている際には、必ず‘stsl’に示されるスケーリング動作に従ってスケーリングすることを示し、セットされていなければ、スケーリングするかどうかを端末で選択できることを示す。従って、[constraint_flag]がセットされていなければ、端末のバッテリー残量、あるいはユーザ設定内容などの情報を元に、スケーリングするかどうかを判定することとしてもよい。
さらに、‘stsl’が存在しない場合には必ず表示領域サイズ(Wp,Hp)にfillモードでスケーリングすることとすれば、‘stdc’は‘stsl’が存在する場合にのみ使用される。このため、メディアデータ表示装置85が取得するMP4ファイルは、‘stsl’が存在する場合にのみ、‘stdc’を格納できることとしてもよい。
このように動作することにより、従来のMP4ファイルを再生する際の表示動作と後方互換性を保ちつつ、‘stsl’および‘stdc’を解釈できる端末に対しては表示動作に関する拡張機能を提供することができる。
(4)メディアデータ表示装置85の効果
メディアデータ表示装置85では、スケーリングの有無を‘stsl’に基づいて判断することが可能となる。ここで、‘stsl’は、スケーリング方法を示すBoxである。このため、‘stsl’があれば、MP4ファイルの提供者はフレームデータがスケーリング表示されること意図していると考えられる。すなわち、MP4ファイルの提供者の意図を反映した表示が可能となる。
従来のメディアデータ表示装置10では、ビデオの表示に際して、1秒あたり数〜数十回のスケーリングが必要となり、CPUへの負荷が高く、電力消費も高い。一方、メディアデータ表示装置85では、必ずしもスケーリングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことは、メディアデータ表示装置85が携帯端末などにおいて備えられる場合に特に有効な効果となる。
なお、本発明の前提となるMP4ファイルでは、新しく定義された‘stsl’を有している。このため、‘stsl’に対応しない従来のメディアデータ表示装置10において、‘stsl’を有するMP4ファイルを取得した場合、‘stsl’は認識されず、スキップされる。すなわち、従来のメディアデータ表示装置10の表示には影響を与えず、‘stsl’を認識可能な装置には、新しい機能を実現させる、MP4ファイルのデータ構造が提供されている。
(5)メディアデータ表示装置85の変形例
(5−1)メディアデータ表示装置85の変形例
(5−1−1)
メディアデータ表示装置85は、スケーリング判定部87を備えず、常にスケーリング表示を行うものであっても良い。ここでは、スケーリング部は、スケーリング表示を行うと判定されたスケーリング部89と同様の動作を常に行うこととなる。
また、拡張表示情報取得部86が‘stsl’および‘stdc’を取得しない場合に、スケーリング部89は、fillモードではなく、meetモードあるいはsliceモードでスケーリングを行うものであっても良い。
さらに、fillモード、meetモードあるいはsliceモードでスケーリングを行う場合には、1/2、1/4、2、3倍など整数倍率でのみスケーリングするものであっても良い。
例えば、1/2倍にスケーリングする際には、隣接する2画素毎に順に処理できるなど、スケーリング時の処理が簡単化され、結果として省電力となる。
(5−1−2)
メディアデータ表示装置85は、拡張表示情報取得部86およびスケーリング判定部87を備えず、ユーザの指定によりスケーリングの有無およびスケーリングの方法を決定するものであっても良い。
図21は、第3実施形態の変形例としてのメディアデータ表示装置100の構造を説明するブロック図である。図21に示すメディアデータ表示装置100において、図14に示すメディアデータ表示装置85と相違する部分について説明する。なお、メディアデータ表示装置85と同様の動作を行う部分については、同じ符号を付し、説明を省略する。
メディアデータ表示装置100は、メディアデータ表示装置85が備える拡張表示情報取得部86とスケーリング判定部87とを備えない点、およびスケーリング方法設定部101を備えている点において、メディアデータ表示装置85と相違している。スケーリング方法設定部101は、ユーザにスケーリング方法(fillモード、meetモードあるいはsliceモードなど)を設定させる。また、スケーリング部102は、スケーリング方法設定部101が設定したスケーリング方法により、フレームメモリ16が記憶する画像サイズ(Wv,Hv)のフレームデータを表示領域サイズ(Wp,Hp)のビデオ表示領域にスケーリングする。
これにより、スケーリングの有無およびスケーリング方法に対して、ユーザの意志を反映することが可能となる。
(5−2)スケーリング判定部87の変形例
(5−2−1)
スケーリング判定部87は、拡張表示情報取得部86が‘stsl’を取得したことによるスケーリングの有無の判定に変えて、あるいは加えて、搭載されたバッテリーの残量に応じてスケーリングの有無を判定するものであっても良い。すなわち、スケーリング判定部87は、図示しないバッテリー管理部からバッテリー残量を取得し、スケーリングの有無を判定することとなる。
バッテリーの残量が少ない場合に、バッテリーの残量によるスケーリングの有無の判定を優先させることにより、スケーリングによる電力消費を抑え、メディアデータ表示装置85の使用可能時間を延ばすことが可能となる。
また、バッテリーの残量が多い場合には、‘stsl’の取得の有無にかかわらず、スケーリング表示することも可能である。
(5−2−2)
スケーリング判定部87は、拡張表示情報取得部86が‘stsl’を取得したことによるスケーリングの有無の判定に変えて、あるいは加えて、ユーザの設定に応じてスケーリングの有無を切り替えても良い。すなわち、スケーリング判定部87は、図示しないスケーリング設定部からの設定により、スケーリングの有無を切り替えることとなる。
具体的には、ユーザは、メディアデータ表示装置を搭載する携帯端末などのメニュー画面における「スケーリング」メニューでスケーリングの有無を指定することとしてもよいし、「省電力設定」メニューで、省電力モードが選ばれた場合にスケーリングしないこととしてもよい。
また、‘stsl’の取得の有無にかかわらず、ユーザの設定を常に優先させてもよい。
(5−2−3)
スケーリング判定部87は、MP4ファイルから取得される‘stsl’以外の情報からスケーリングの有無を判定しても良い。
<1>
スケーリング判定部87は、拡張表示情報取得部86が‘stdc’を取得し、かつ‘stsl’を取得しない場合には、スケーリングを行わないものであっても良い。
<2>
スケーリング判定部87は、基本表示情報取得部17が取得する‘ftyp’に基づいて、スケーリングの有無を判定しても良い。例えば、ある特定のスペックを示す識別子([major_brand]あるいは[compatible_brand]など)が含まれているか否かにより、スケーリングの有無を判定してもよい。
<3>
スケーリング判定部87は、基本表示情報取得部17が取得する‘mvhd’あるいは‘tkhd’に基づいて、スケーリングの有無を判定しても良い。
例えば、‘tkhd’のデュレーション、および‘stsz’など‘stbl’内のBoxから得られるトラック内の総サンプル数、あるいは‘stts’に示されるサンプルのデュレーションにもとづいて、フレームデータのフレームレートを判断し、フレームレートがある設定値以下(例えば、設定値1frame/sに対して、フレームレートが0.5frame/s)の場合に、スケーリングを行うものであっても良い。
また、メディアデータ表示装置85が、1フレームの復号・表示処理に割り当て可能な時間(例えば15frame/sの場合、1/15秒)に対して、復号に要する時間とスケーリングに要する時間が割り当て可能な時間以下になる場合に、スケーリングを行うものであっても良い。
この場合、メディアデータ表示装置85の処理量に応じて、スケーリングの有無を切り替えることが可能となる。
(6)その他
(6−1)
MP4ファイルにおいて、‘stsl’は、‘stbl’に格納されサンプル毎にスケーリング方法を指定すると記載した。ここで、‘stsl’は、‘trak’に格納され、トラック毎に同一のスケーリング方法を指定するものであっても良い。なお、トラック単位でスケーリング方法を示す際のシンタックス例を図22に示す。このとき、‘stsl’は‘trak’直下に配置されることが望ましい。また、複数のサンプルのグループであるチャンク単位でスケーリングの方法が指定されてもかまわない。
(6−2)
上記実施形態で説明した‘stdc’と‘stsl’とは、同じBoxに含まれる情報であってもよい。例えば、メディアデータ表示装置85が取得するMP4ファイルにおいて、‘stdc’が格納する優先領域の情報などは、‘stsl’に含まれていてもよい。また、その逆も同様である。
(6−3)
図15や図20に示したシンタックスでは、スケーリング方法は、フラグ情報として指定される。
ここで、スケーリング方法は、例えば、8ビットで表される[scale_method]の値により指定されてもよい。より具体的には、fillモード、hiddenモード、meetモード、X軸(画面左右方向)のsliceモード、Y軸(画面上下方向)のsliceモードのそれぞれに対して、[1]〜[5]のいずれかの値が与えられる。
また、これに限らず、スケーリング方法を特定するための情報であれば、どのような形式が用いられてもよい。
さらに、この場合、[scale_method]の残りの値、例えば、128〜255の値は、ユーザ指定領域として、以下のように用いることが可能である。
(6−3−1)
ユーザ指定領域は、上記実施形態で説明したスケーリング方法や優先領域の情報以外の、スケーリング方法や優先領域の情報、を示すために用いられてもよい。
<1>
例えば、3GPP(3rd Generation Partnership Project)などの標準規格、あるいはサービス事業者の運用規格、により定められたスケーリング方法や優先領域の情報を示すために用いられてもよい。この場合、標準規格、あるいは運用規格に割り振られた固有の番号がユーザ指定領域に格納される。
<2>
また、例えば、トラックの画像を表示する際の優先順位を示すために用いられてもよい。具体的には、[scale_method]の特定ビット(上位3ビットなど)を用いて優先順位が示される。これにより、例えば、テキストトラックの優先度が2、ビデオトラックの優先度が1である際には、オーバーレイするなどしてテキストを優先的に表示するなどの動作が可能となる。
<3>
また、例えば、TV放送、あるいはダウンロード/ストリーミングコンテンツなどのメインコンテンツの補助データとしてMP4ファイルを送信する際に、補助データであることを示すために用いられてもよい。具体的には、補助データは予め定められた方法で表示するなど、補助データとメインコンテンツで表示方法を切り替えることが可能となる。
(6−3−2)
ユーザ指定領域は、以下のような情報を示すために用いられてもよい。
<1>
例えば、スクロールに関する情報を示すために用いられてもよい。スクロールに関する情報とは、具体的には、デフォルト(スクロールしない状態)の表示領域を示す情報や、端末がスクロール機能を有し、かつ画像の全領域を一度に表示できない場合には、スクロール機能を有効にすべきかどうかを示すフラグ情報などを含む情報である。これにより、例えば、スクロールにより表示すべき画像がスケーリングされ、不適切に表示されることが防止される。言い換えれば、スクロールにより表示すべき画像を適切に表示することが可能となる。
<2>
また、例えば、マルチメディアデータの表示を行う端末の能力に関連づけられた複数の表示関連情報を示すために用いられてもよい。ここで、表示関連情報とは、サンプルの表示に関連する情報であり、例えば、‘stbl’に格納される情報などである。より詳しくは、表示関連情報は、Visual Sample Entryに含まれる情報や、上記した‘stsl’に含まれる情報や、‘stdc’に含まれる情報などである。
このユーザ指定領域は、例えば、端末の能力に関連づけられた複数の‘stsl’により複数の表示関連情報を示すものであってもよいし、‘stsl’に複数のエントリを有することで端末の能力に関連づけられた複数の表示関連情報を示すものであってもよい。複数の‘stsl’を使用する際には、それぞれ1つの‘stsl’を格納したVisual Sample Entryを複数個もつことにしてもよい。
表示関連情報と端末の能力との関連づけは、例えば、表示関連情報毎に、High,Medium,Lowなど端末の能力の識別子を付加することにより行われる。表示を行う端末では、能力が高い場合には、Highに相当する情報、能力が低い場合には、Lowに相当する情報に基づいて表示が行われる。
これにより、端末の能力に応じた表示関連情報を取得することが可能となり、例えば、マルチメディアデータの表示を行う受信端末の能力に応じて、最適な表示方法により表示を行うことが可能となる。
また、同一MP4ファイルを複数端末で同時に視聴するような場合に、最も能力の低い端末に対応する表示関連情報に基づいて表示が行われる。この場合、能力の異なる複数の端末の全てにおいて、同一の表示を行うことが可能となる。なお、それぞれの端末の能力は、予め定められた端末間の通信により交換される。
<3>
また、例えば、メインコンテンツと補助データ(上記(6−3−1)<3>参照)とを同時に表示する際の位置関係、レイヤ、スケーリング方法などを指定する情報を示すために用いられてもよい。
[第4実施形態]
本発明の第4実施形態として、メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムの応用例と、それを用いたシステムとを図23〜図26を用いて説明する。
図23は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図23のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113で取り込んだ符号化データをMP4ファイルとして蓄積しておき、そのファイルを伝送する。また、カメラ付き携帯電話で撮影した動画像を符号化して多重化し、多重化データをサーバex103に送信することも可能である。なお、撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。このように、本発明を配信システムに適用される場合は、予め蓄積されたMP4ファイルをHTTP用ストリーミングサーバから配信する。つまり、符号化データそのものをパケット化して配信するのではなく、MP4ファイルそのものを伝送する。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。なお、以上に述べたようにライブ配信を行うためには、MP4ファイルをリアルタイムで作成することが必要となり、フラグメント化したMP4ファイルを用いることになる。そして、フラグメント化したMP4を用いれば、HTTP/TCPを利用した、ライブ配信に近い低遅延の配信が可能である。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態のメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示方法をコンピュータを実現するメディアデータ表示プログラムを用いてもよい。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示したメディアデータ表示方法を実現するメディアデータ表示プログラムを備えていてもよい。
一例として携帯電話について説明する。
図24は、上記実施形態のメディアデータ表示装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図25を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。
また、画像復号化部ex309は、上記実施形態のメディアデータ表示装置としての役割を果たす。
このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
さらに、上記実施形態のメディアデータ表示方法を実現するメディアデータ表示プログラムを備えていてもよい。また、図26に示すように、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームの多重化データを読み取り、復号化する再生装置ex403にも上記実施形態のメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示方法を実現するメディアデータ表示プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態のメディアデータ表示装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内にメディアデータ表示装置を組み込んでも良い。また、アンテナex411を有する車ex412で放送衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
さらに、画像信号を符号化して多重化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。さらにSDカードex422に記録することもできる。レコーダex420が上記実施形態のメディアデータ表示装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408に表示することができる。
なお、カーナビゲーションex413の構成は例えば図25に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態のメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示方法を実現するメディアデータ表示プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
[その他]
上記[第1実施形態]〜[第4実施形態]にそれぞれ記載した内容は、その要旨を逸脱しない範囲で種々の変形、組み合わせが可能である。
(1)
[第1実施形態]において図1を用いて説明した表示領域変換部21および端末表示画面サイズ取得部22は、[第2実施形態]において図4を用いて説明したメディアデータ表示装置35において備えられていても良い。
この場合、表示位置決定部38は、表示領域変換部21が設定するビデオ表示領域において、優先表示領域を表示することとなる。
(2)
[第1実施形態]において図1を用いて説明した表示領域変換部21および端末表示画面サイズ取得部22は、[第3実施形態]において図14あるいは図21を用いて説明したメディアデータ表示装置85あるいはメディアデータ表示装置100において備えられていても良い。この場合、スケーリング部89あるいはスケーリング部102は、表示領域変換部21が設定するビデオ表示領域に対して、フレームデータをスケーリングすることとなる。そのため動画表示領域設定機能とスケーリング機能の両方が実現される。そして、スケーリング部がスケーリング判定手段からの判定結果に基づいてスケーリングを行わない場合は第1実施形態と同様の効果が得られる。
また、[第2実施形態]において図4を用いて説明した表示位置決定部38をさらに備え、スケーリングしない場合には、表示位置を決定して表示させることとしても良い。
(3)
MP4ファイルは、ビデオ、オーディオ、あるいはテキストデータを多重して記録することに用いられることもある。例えば、携帯電話などのカメラにより撮影したビデオ、オーディオをMP4ファイルとして記録するといった用途に用いられる。
上記実施形態で記載した‘stdc’および‘stsl’は、MP4ファイルの記録に際して、MP4ファイルの作成者によりあらかじめ設定されることが可能である。また、ビデオ表示領域の表示領域サイズ(Wp,Hp)についても、ビデオの記録中に設定されることが可能である。ここで、記録されるビデオの画像サイズ(Wv,Hv)が変化する場合には、画像サイズ(Wv,Hv)の最大値を表示領域サイズ(Wp,Hp)として設定することも可能である。
これにより、ビデオの表示に際して、メディアデータ表示装置に余裕のある表示領域サイズ(Wp,Hp)を設定することが可能となる。
(4)
MPEG−2 VideoのPan−scanと‘stdc’を用いた優先表示領域の表示とを組み合わせて使用しても良い。
MPEG−2 VideoのPan−scanにおいては、ビデオ画像の中心とディスプレイの中心との差分値を設定することにより、表示すべき領域を指定する。
ここで、Pan−scanは、復号した画像フレームのうち、指定された領域のみを切り出して表示するために用いられる。すなわち、ビデオ表示領域に余裕がある場合でも指定領域以外のビデオを表示しない。
一方、‘stdc’では、表示画面が小さく、かつスケーリング機能を持たない装置において、優先して表示されるべき領域の中心を示すことにより効果的な表示を行うことを目的としている。すなわち、表示する範囲を制限しているものではなく、ビデオ表示領域に余裕がある場合には、ビデオ表示領域全体にビデオを表示することが可能である。
そこで、Pan−scanと‘stdc’を用いた優先表示領域の表示を組み合わせ、Pan−scanで切り出した指定領域が、表示画面よりも大きいサイズである場合に、切り出した領域のどこに優先度があるかを設定し、そこを中心に表示することが可能となる。
(5)
上記各実施形態では、フラグメントを使用しないMP4ファイルについて述べたが、フラグメント化したMP4ファイルにおいても同様の表示動作が可能である。なお、フラグメント化したMP4ファイルにおいてサンプル毎に表示情報を設定する際には、表示情報は各フラグメント内で設定されることとなる。
(6)
上記各実施形態では、表示関連情報として優先領域、あるいはスケーリング情報を使用したが、他の表示関連情報の使用を制限するものではない。また、表示効果の設定など他の表示関連情報と組み合わせることとしてもよい。
(7)
上記各実施形態では、優先領域の指定やスケーリング方法の指定は、チャンク単位で行われてもよい、と記載した。
図27〜図28を用いて、これらの指定をチャンク単位で行う場合について詳しく説明を行う。
‘mdat’内に格納されているサンプルは、1以上のサンプル毎にチャンクと呼ばれる単位にグループ化されており、チャンクとサンプルエントリとを関連付けることにより、チャンク単位の情報が示される。ここで、サンプルエントリとは、‘stsd’内のエントリであり、例えば、サンプルを復号化する際の初期化情報が格納される。特に、ビデオトラック用のサンプルエントリは、Visual Sample Entryと呼ばれる。また、チャンクとサンプルエントリとの関連付けは、‘stsc’内に記載されている。
上記実施形態で説明した優先領域やスケーリング方法を指定する情報(‘stdc’,‘stsl’など)は、‘stbl’の直下ではなく、‘stsd’のVisual Sample Entry内に格納されていてもよい。これにより、チャンク毎に‘stsc’を参照することにより、‘stdc’、‘stsl’などの表示関連情報をチャンク単位で切り替えることが可能となる。
ここで、図27を用いて、‘stsd’のVisual Sample Entry内に格納される‘stsl’のシンタックスを示す。図27に示す‘stsl’は、図29(b)を用いて説明したBoxと同様の構造を有しており、優先領域やスケーリング方法を指定する情報が同じBoxに含まれている点に特徴を有している。以下、シンタックスの内容について説明を加える。
[constraint_flag]は、‘stsl’が含むスケーリング方法に従った表示を行うか否かについて示すための情報であり、上記実施形態で図20を用いて説明したのと同様である。例えば、フラグONの場合(例えば、ビットが値[1]を示す場合)、後述する[scale_method]に示される方法によりスケーリングが行われる。また例えば、フラグOFFの場合(例えば、ビットが値[0]を示す場合)、スケーリング動作は、端末側が選択することができ、スケーリングせずに表示を行ってもよい。またスケーリングして表示を行う場合であっても、必ずしも[scale_method]に示される方法に従わなくてもよい。
[scale_method]は、スケーリング方法を示すための情報であり、値によりスケーリング方法が割り当てられている。割り当ての一例を以下に示す。例えば、値[1]により‘fill’モードが指定される。値[2]により‘hidden’モードが指定される。値[3]により、‘meet’モードが指定される。値[4]により‘slice_x’モードが指定される。値[5]により‘slice_y’モードが指定される。
ここで、[scale_method]に対しては、8ビットの領域が割り当てられている。この場合に、例えば、値[128〜255]をユーザ指定領域として用いることが可能な点は、上記実施形態で説明したのと同様である。
[display_center_x]および[display_center_y]は、上記実施形態と同様の情報であり、優先領域を指定するための情報である。それぞれの情報は、デフォルト値として値[0]を格納する。
図28では、1−30,31−120,121−180番目のサンプルがそれぞれ1,2,3番目のチャンクに格納されている。さらに、各チャンクは、それぞれ1,2,3番目のサンプルエントリを参照する。各サンプルエントリでは、異なる優先領域の中心座標、あるいは異なるスケーリング方法を格納しており、チャンク毎にそれらを切り替えて表示を行うことが可能となる。
なお、上記説明で、‘stdc’,‘stsl’などは、‘stsd’のVisual Sample Entry内に格納されている、と記載した。ここで、‘stdc’,‘stsl’などは‘stbl’の直下に配置されていてもよい。この場合、それぞれの‘stdc’,‘stsl’などと、それぞれのチャンクとを関連づける情報が、別途格納される。また、ISO Base Format(ISO/IEC 14496−12)のAmendment1、あるいはAVC File Format(ISO/IEC 14496−15)において規格化されたSample to Group Box(‘sbgp’)とSample Group DescriptionBox(‘sgpd’)を用いて、‘stdc’,‘stsl’などとチャンクを関連付けてもよい。このとき、‘stdc’,‘stsl’などの情報を格納するVisual Sample Group Entryのタイプが新規に定義される。
[付記]
上記実施形態に記載の発明は、次の様に表現することも可能である。
〈付記の内容〉
(付記1)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
前記動画の表示位置である動画表示位置を決定する動画表示位置決定手段と、
前記マルチメディアデータを表示する手段であって、前記動画表示位置決定手段により決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、
を備えるメディアデータ表示装置。
(付記2)
前記マルチメディアデータは、前記表示画面における前記動画以外のメディアの表示位置を示すメディア表示位置情報を有し、
前記動画表示位置決定手段は、前記メディア表示位置情報に応じて、前記動画表示位置を決定する、
付記1に記載のメディアデータ表示装置。
(付記3)
前記動画表示位置を設定可能な動画表示位置設定手段をさらに備え、
前記動画表示位置決定手段は、前記動画位置設定手段の設定に基づいて、前記動画表示位置を決定する、
付記1に記載のメディアデータ表示装置。
(付記4)
前記マルチメディアデータは、前記動画において優先的に表示される領域である優先表示領域を示す優先表示領域情報を有し、
前記動画表示位置決定手段は、前記優先表示領域情報に基づいて、前記動画表示位置を決定する、
付記1に記載のメディアデータ表示装置。
(付記5)
前記マルチメディアデータは、前記表示画面中において前記動画を表示可能な動画表示領域を示す動画表示領域情報を有し、
前記優先表示領域情報は、前記優先表示領域の中心を示す情報であり、
前記動画表示位置決定手段は、前記動画表示領域情報と前記優先表示領域情報とに基づいて、前記動画表示領域の中心と前記優先表示領域の中心とが一致するように前記動画表示位置を決定する、
付記4に記載のメディアデータ表示装置。
(付記6)
前記マルチメディアデータは、前記表示画面中において前記動画を表示可能な動画表示領域を示す動画表示領域情報を有し、
前記動画表示位置決定手段は、前記優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように前記動画表示位置を決定する、
付記4又は5に記載のメディアデータ表示装置。
(付記7)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定手段と、
前記マルチメディアデータを表示する手段であって、前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、
を備えるメディアデータ表示装置。
(付記8)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定手段と、
前記マルチメディアデータを表示する手段であって、前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、
を備えるメディアデータ表示装置。
(付記9)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定手段と、
前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリング手段と、
前記マルチメディアデータを表示する手段であって、前記スケーリング手段によりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示手段と、
を備えるメディアデータ表示装置。
(付記10)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定手段と、
前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリング手段と、
前記マルチメディアデータを表示する手段であって、前記スケーリング手段によりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示手段と、
を備えるメディアデータ表示装置。
(付記11)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
前記動画の表示位置である動画表示位置を決定する動画表示位置決定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示位置決定ステップにより決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法。
(付記12)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法。
(付記13)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法。
(付記14)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、
前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法。
(付記15)
動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、
前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法。
(付記16)
コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
前記メディアデータ表示プログラムは、コンピュータに、
前記動画の表示位置である動画表示位置を決定する動画表示位置決定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示位置決定ステップにより決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法を行わせるものである、
メディアデータ表示プログラム。
(付記17)
コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
前記メディアデータ表示プログラムは、コンピュータに、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法を行わせるものである、
メディアデータ表示プログラム。
(付記18)
コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
前記メディアデータ表示プログラムは、コンピュータに、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、
前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法を行わせるものである、
メディアデータ表示プログラム。
(付記19)
コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
前記メディアデータ表示プログラムは、コンピュータに、
前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、
前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法を行わせるものである、
メディアデータ表示プログラム。
(付記20)
コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
前記メディアデータ表示プログラムは、コンピュータに、
前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、
前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
を備えるメディアデータ表示方法を行わせるものである、
メディアデータ表示プログラム。
〈付記の説明〉
付記1に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示位置決定手段と、メディアデータ表示手段とを備えている。動画表示位置決定手段は、動画の表示位置である動画表示位置を決定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示位置決定手段により決定された動画表示位置において、動画を画像サイズを変更せずに表示する。
ここで、表示位置とは、例えば、動画の全体が表示される場合には、表示画面内における位置を意味し、動画の一部が表示される場合には、動画内における表示部位の位置を意味している(以下、この欄において同じ)。また、マルチメディアデータとは、例えば、ビデオ、オーディオ、テキストあるいは静止画などを多重して格納するMP4ファイルなどである(以下、この欄において同じ)。
本発明のメディアデータ表示装置では、メディアデータ表示手段が画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、装置への処理負荷が軽減される。さらに、このメディアデータ表示装置では、動画表示位置決定手段が動画表示位置を決定するため、動画は適切な位置に表示される。
付記2に記載のメディアデータ表示装置は、付記1に記載のメディアデータ表示装置であって、マルチメディアデータは、表示画面における動画以外のメディアの表示位置を示すメディア表示位置情報を有している。動画表示位置決定手段は、メディア表示位置情報に応じて、動画表示位置を決定する。ここで、動画以外のメディアとは、例えば、テキストや静止画などである。
本発明のメディアデータ表示装置では、動画以外のメディアの表示位置に基づいて動画の表示位置を決定するため、動画は、動画以外のメディアの表示位置との関係で適切な位置に表示される。
付記3に記載のメディアデータ表示装置は、付記1に記載のメディアデータ表示装置であって、動画表示位置を設定可能な動画表示位置設定手段をさらに備えている。動画表示位置決定手段は、動画位置設定手段の設定に基づいて、動画表示位置を決定する。
本発明のメディアデータ表示装置では、動画表示位置を設定可能な動画表示位置設定手段をさらに備えており、動画表示位置決定手段は動画位置設定手段の設定に基づいて動画表示位置を決定するため、例えば、ユーザが動画表示位置決定手段を設定すると、動画はユーザが意図する表示位置に表示される。
付記4に記載のメディアデータ表示装置は、付記1に記載のメディアデータ表示装置であって、マルチメディアデータは、動画において優先的に表示される領域である優先表示領域を示す優先表示領域情報を有している。動画表示位置決定手段は、優先表示領域情報に基づいて、動画表示位置を決定する。ここで、優先表示領域情報は、例えば、優先表示領域の中心の座標を指定する。
本発明のメディアデータ表示装置では、マルチメディアデータは優先表示領域情報を有しており、動画表示位置決定手段は優先表示領域情報に基づいて動画表示位置を決定するため、動画の重要度が高いと考えられる領域が表示される。
付記5に記載のメディアデータ表示装置は、付記4に記載のメディアデータ表示装置であって、マルチメディアデータは、表示画面中において動画を表示可能な動画表示領域を示す動画表示領域情報を有している。優先表示領域情報は、優先表示領域の中心を示す情報である。動画表示位置決定手段は、動画表示領域情報と優先表示領域情報とに基づいて、動画表示領域の中心と優先表示領域の中心とが一致するように動画表示位置を決定する。
本発明のメディアデータ表示装置では、優先表示領域情報は優先表示領域の中心を示す情報であり、動画表示位置決定手段は動画表示領域の中心と優先表示領域の中心とが一致するように動画表示位置を決定するため、動画の重要度の高いと考えられる領域が適切に表示される。
付記6に記載のメディアデータ表示装置は、付記4又は5に記載のメディアデータ表示装置であって、マルチメディアデータは、表示画面中において動画を表示可能な動画表示領域を示す動画表示領域情報を有している。動画表示位置決定手段は、優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように動画表示位置を決定する。
本発明のメディアデータ表示装置では、動画表示位置決定手段は、優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように動画表示位置を決定するため、動画は、マルチメディアデータの作成者の意図を反映しつつ、動画表示領域を有効に利用して表示される。
付記7に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示領域設定手段により設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。なお、本願発明は、スケーリング手段を有し、スケーリングをする/しないを選択できる装置にも適用できる。
本発明のメディアデータ表示装置では、メディアデータ表示手段が画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、装置への処理負荷が軽減される。さらに、動画表示領域設定手段が所定の場合に動画表示領域を所定のサイズに設定するため、動画はメディアデータ表示装置にとって適切な動画表示領域において表示される。
付記8に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示領域設定手段により設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。なお、本願発明は、スケーリング手段を有し、スケーリングをする/しないを選択できる装置にも適用できる。
本発明のメディアデータ表示装置では、メディアデータ表示手段が画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、装置への処理負荷が軽減される。さらに、動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記9に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、スケーリング手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリング手段は、動画表示領域設定手段により設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、スケーリング手段によりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示装置では、動画表示領域設定手段がマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリング手段が動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記10に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、スケーリング手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリング手段は、動画表示領域設定手段により設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、スケーリング手段によりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示装置では、動画表示領域設定手段がマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリング手段が動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記11に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、動画表示位置決定ステップと、メディアデータ表示ステップとを備えている。動画表示位置決定ステップは、動画の表示位置である動画表示位置を決定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示位置決定ステップにより決定された動画表示位置において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示方法では、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、このメディアデータ表示方法では、動画表示位置決定ステップで動画表示位置を決定するため、動画は適切な位置に表示される。
付記12に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、動画表示領域設定ステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示方法では、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせずに動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで所定の場合に動画表示領域を所定のサイズに設定するため、動画は適切な動画表示領域において表示される。
付記13に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、動画表示領域設定ステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示方法では、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷を軽減することが可能となる。さらに、動画表示領域設定ステップで動画表示領域を所定のサイズに設定するため、動画はユーザの利用する装置の動画表示領域において適切に表示される。
付記14に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を前記動画表示領域内に表示する。
本発明のメディアデータ表示方法では、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステップが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記15に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示する方法であって、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示方法では、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステップが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記16に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、動画表示位置決定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示位置決定ステップは、動画の表示位置である動画表示位置を決定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示位置決定ステップにより決定された動画表示位置において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示プログラムでは、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、このメディアデータ表示プログラムでは、動画表示位置決定ステップで動画表示位置を決定するため、動画は適切な位置に表示される。
付記17に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示プログラムでは、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで動画が表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで所定の場合に動画表示領域を所定のサイズに設定するため、動画は適切な動画表示領域において表示される。
付記18に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。
本発明のメディアデータ表示プログラムでは、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで動画が表示される。また、スケーリングせずに動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで動画表示領域を所定のサイズに設定するため、動画は、ユーザの利用する装置の動画表示領域において適切に表示される。
付記19に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を前記動画表示領域内に表示する。
本発明のメディアデータ表示プログラムでは、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステップが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
付記20に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を動画表示領域内に表示する。
本発明のメディアデータ表示プログラムでは、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステップが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。
本発明に係るメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムは、動画を含む複数メディアからなるマルチメディアデータを多様な表示方法で表示画面に表示することができ、上記分野において有用である。
本発明に係る第1実施形態としてのメディアデータ表示装置のブロック構成図 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第1実施形態) メディアデータ表示方法を示すフローチャート(第1実施形態) 本発明に係る第2実施形態としてのメディアデータ表示装置のブロック構成図 ‘stdc’のシンタックスを表す図(第2実施形態)。 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第2実施形態) メディアデータ表示方法を示すフローチャート(第2実施形態) 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第2実施形態) 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第2実施形態) 第2実施形態の変形例としてのメディアデータ表示装置のブロック構成図 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第2実施形態の変形例) 第2実施形態の変形例としてのメディアデータ表示装置のブロック構成図(第2実施形態の変形例) 表示用データにおけるフレームデータとビデオ表示領域との関係を示す図(第2実施形態の変形例) 本発明に係る第3実施形態としてのメディアデータ表示装置のブロック構成図 ‘stsl’のシンタックスを示す図(第3実施形態) 各種スケーリング方法を示す図(第3実施形態) スケーリング部の動作を説明するための図(第3実施形態) スケーリング部の動作を説明するための図(第3実施形態) メディアデータ表示方法を示すフローチャート(第3実施形態) ‘stsl’のシンタックスを示す図(第3実施形態) 第3実施形態の変形例としてのメディアデータ表示装置のブロック構成図 ‘stsl’のシンタックスを示す図(第3実施形態) コンテンツ供給システムの全体構成を示すブロック図(第4実施形態) 動画像符号化方法、動画像復号化方法を用いた携帯電話の例(第4実施形態) 携帯電話のブロック図(第4実施形態) ディジタル放送用システムの例(第4実施形態) ‘stsl’のシンタックスを示す図(その他) Visual Sample Entryから表示関連情報を取得する方法について説明する説明図(その他) 従来技術としてのMP4ファイル構造 MP4ファイルのデータ格納方法(従来技術) Track Boxの構造(従来技術) ビデオ表示領域とテキスト表示領域との位置関係を示す図(従来技術) MP4ファイルのデータ構造(従来技術) 従来のメディアデータ表示装置のブロック構成図(従来技術) スケーリングを説明する図(従来技術)
符号の説明
20,35,56,70,100 メディアデータ表示装置
21 表示領域変換部
22 端末表示画面サイズ取得部
24,45,52,61,63,76 フレームデータ
25,46,53,62,64,77 ビデオ表示領域
37 拡張表示情報取得部
38,58,71 表示位置決定部
57 表示位置設定部
78 テキスト表示領域
85 メディアデータ表示装置
86 拡張表示情報取得部
87 スケーリング判定部
89,102 スケーリング部
91 優先表示領域
101 スケーリング方法設定部

Claims (14)

  1. 動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
    前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定手段と、
    前記マルチメディアデータを表示する手段であって、前記スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示するメディアデータ表示手段と、
    を備えるメディアデータ表示装置。
  2. 前記スケーリング判定手段は、前記マルチメディアデータが有するスケーリング判定情報に基づいて、前記判定を行う、
    請求項1に記載のメディアデータ表示装置。
  3. 前記スケーリング判定情報は、スケーリングを行うか否かを示すフラグ情報である、
    請求項2に記載のメディアデータ表示装置。
  4. 前記スケーリング判定手段は、搭載されたバッテリーの残量に基づいて、前記判定を行う、
    請求項1に記載のメディアデータ表示装置。
  5. 前記スケーリング判定手段は、前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかを設定させるスケーリング設定手段を有している、
    請求項1に記載のメディアデータ表示装置。
  6. 前記スケーリング判定手段は、前記動画の属性に基づいて、前記判定を行う、
    請求項1に記載のメディアデータ表示装置。
  7. 動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、
    前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリング手段と、
    前記マルチメディアデータを表示する手段であって、前記スケーリング手段によりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示手段と、
    を備えるメディアデータ表示装置。
  8. 前記スケーリング手段は、前記マルチメディアデータから前記スケーリング指定情報を取得する、
    請求項7に記載のメディアデータ表示装置。
  9. 前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定手段をさらに備えており、
    前記メディアデータ表示手段は、前記スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する、
    請求項7又は8に記載のメディアデータ表示装置。
  10. 前記スケーリング指定情報を設定させるスケーリング方式設定手段をさらに備える、
    請求項7に記載のメディアデータ表示装置。
  11. 動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
    前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定ステップと、
    前記マルチメディアデータを表示するステップであって、前記スケーリング判定ステップの判定結果に基づいて、前記動画を表示するメディアデータ表示ステップと、
    を備えるメディアデータ表示方法。
  12. 動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、
    前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
    前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
    を備えるメディアデータ表示方法。
  13. コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
    前記メディアデータ表示プログラムは、コンピュータに、
    前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定ステップと、
    前記マルチメディアデータを表示するステップであって、前記スケーリング判定ステップの判定結果に基づいて、前記動画を表示するメディアデータ表示ステップと、
    を備えるメディアデータ表示方法を行わせるものである、
    メディアデータ表示プログラム。
  14. コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、
    前記メディアデータ表示プログラムは、コンピュータに、
    前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、
    前記マルチメディアデータを表示するステップであって、前記スケーリングステップによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデータ表示ステップと、
    を備えるメディアデータ表示方法を行わせるものである、
    メディアデータ表示プログラム。


JP2004182973A 2003-07-11 2004-06-21 メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム Withdrawn JP2005049834A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004182973A JP2005049834A (ja) 2003-07-11 2004-06-21 メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003273146 2003-07-11
JP2004182973A JP2005049834A (ja) 2003-07-11 2004-06-21 メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム

Publications (1)

Publication Number Publication Date
JP2005049834A true JP2005049834A (ja) 2005-02-24

Family

ID=34056006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004182973A Withdrawn JP2005049834A (ja) 2003-07-11 2004-06-21 メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム

Country Status (6)

Country Link
US (1) US20060139379A1 (ja)
EP (1) EP1647968A4 (ja)
JP (1) JP2005049834A (ja)
KR (1) KR20060029137A (ja)
CN (1) CN1823368A (ja)
WO (1) WO2005006305A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345122B2 (en) 2006-02-20 2013-01-01 Nikon Corporation Image playback method, music processing method, image playback apparatus, and computer program product
JP2016502296A (ja) * 2012-10-26 2016-01-21 インテル コーポレイション ビデオ方位に基づくマルチメディア適応

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4262164B2 (ja) * 2004-08-06 2009-05-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US7733405B2 (en) * 2005-02-10 2010-06-08 Seiko Epson Corporation Apparatus and method for resizing an image
KR100724956B1 (ko) * 2005-12-13 2007-06-04 삼성전자주식회사 이동 통신 단말의 배경화면 표시 방법
TWI473016B (zh) * 2008-07-16 2015-02-11 Sisvel Internat S A 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體
WO2010041669A1 (ja) * 2008-10-07 2010-04-15 シャープ株式会社 表示装置、表示方法、プログラム、および記録媒体
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US9215423B2 (en) 2009-03-30 2015-12-15 Time Warner Cable Enterprises Llc Recommendation engine apparatus and methods
US8813124B2 (en) 2009-07-15 2014-08-19 Time Warner Cable Enterprises Llc Methods and apparatus for targeted secondary content insertion
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8701138B2 (en) 2010-04-23 2014-04-15 Time Warner Cable Enterprises Llc Zone control methods and apparatus
DE102011050093B4 (de) * 2011-05-04 2014-02-13 Advan International Corporation Verfahren und Vorrichtung zur Verarbeitung des Bildes eines medizinischen Monitors
CN102768830B (zh) * 2011-05-06 2015-07-01 阿德旺国际公司 医疗用显示器的图像处理方法及装置
US20130227283A1 (en) 2012-02-23 2013-08-29 Louis Williamson Apparatus and methods for providing content to an ip-enabled device in a content distribution network
US9426123B2 (en) 2012-02-23 2016-08-23 Time Warner Cable Enterprises Llc Apparatus and methods for content distribution to packet-enabled devices via a network bridge
KR101644422B1 (ko) * 2012-03-13 2016-08-02 삼성전자주식회사 디스플레이 장치, 소스 장치 및 방법
US8838149B2 (en) 2012-04-02 2014-09-16 Time Warner Cable Enterprises Llc Apparatus and methods for ensuring delivery of geographically relevant content
US9467723B2 (en) 2012-04-04 2016-10-11 Time Warner Cable Enterprises Llc Apparatus and methods for automated highlight reel creation in a content delivery network
CN102810294A (zh) * 2012-08-01 2012-12-05 京东方科技集团股份有限公司 一种显示方法、装置及系统
JP6446217B2 (ja) * 2014-09-24 2018-12-26 株式会社スクウェア・エニックス 画像表示プログラム、画像表示方法、及び、画像表示システム
US10116676B2 (en) 2015-02-13 2018-10-30 Time Warner Cable Enterprises Llc Apparatus and methods for data collection, analysis and service modification based on online activity
KR20180128888A (ko) * 2015-07-24 2018-12-04 에테하 취리히 지각 다운스케일링 방법을 사용하여 이미지를 다운스케일링하기 위한 이미지 처리 시스템
WO2017069551A1 (en) * 2015-10-23 2017-04-27 Samsung Electronics Co., Ltd. Image displaying apparatus and method of operating the same
US11212593B2 (en) 2016-09-27 2021-12-28 Time Warner Cable Enterprises Llc Apparatus and methods for automated secondary content management in a digital network
US10560726B2 (en) * 2017-07-26 2020-02-11 CodeShop BV System and method for delivery and caching of personalized media streaming content
US10972744B2 (en) * 2018-11-12 2021-04-06 Analog Devices International Unlimited Company Image scaling

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60192479A (ja) * 1984-03-14 1985-09-30 Matsushita Electric Ind Co Ltd テレビジヨン信号受信装置
JPH0895536A (ja) * 1994-09-21 1996-04-12 Sony Corp 表示制御装置
US6204887B1 (en) * 1998-12-11 2001-03-20 Hitachi America, Ltd. Methods and apparatus for decoding and displaying multiple images using a common processor
JP2001186251A (ja) * 1999-12-27 2001-07-06 Nec Corp 携帯情報端末装置及び電源電力供給制御方法
JP2002050998A (ja) * 2000-07-31 2002-02-15 Ntt Docomo Inc 移動無線端末装置
JP4187425B2 (ja) * 2000-09-11 2008-11-26 富士フイルム株式会社 画像制御装置およびディジタルカメラ
JP2003122339A (ja) * 2001-10-11 2003-04-25 Toshiba Corp 移動通信端末
JP2003150145A (ja) * 2001-11-09 2003-05-23 Nec Corp 画像表示方法および携帯情報機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345122B2 (en) 2006-02-20 2013-01-01 Nikon Corporation Image playback method, music processing method, image playback apparatus, and computer program product
JP2016502296A (ja) * 2012-10-26 2016-01-21 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
US10523982B2 (en) 2012-10-26 2019-12-31 Intel Corporation Multimedia adaptation based on video orientation

Also Published As

Publication number Publication date
EP1647968A1 (en) 2006-04-19
KR20060029137A (ko) 2006-04-04
US20060139379A1 (en) 2006-06-29
EP1647968A4 (en) 2008-09-17
CN1823368A (zh) 2006-08-23
WO2005006305A1 (ja) 2005-01-20

Similar Documents

Publication Publication Date Title
JP2005049834A (ja) メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム
US9124858B2 (en) Content processing apparatus for processing high resolution content and content processing method thereof
KR100980964B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
CN100493205C (zh) 动态图像编码方法及动态图像解码方法
JP4709154B2 (ja) リムーバブル装置および記録再生端末
JP4921476B2 (ja) メディアコンテンツの管理
JP2011091847A (ja) 動画像復号化方法、動画像復号化装置、プログラムおよび記録媒体
JP2014143727A (ja) 動画像復号化装置及びその方法
US20090006955A1 (en) Method, apparatus, system and computer program product for selectively and interactively downloading a media item
JPWO2006054507A1 (ja) 動画像符号化方法及び動画像復号方法
KR20030062345A (ko) 화상 부호화 방법 및 화상 복호화 방법
JP2008160837A (ja) プレビュー機能を有するマルチメディアデータのエンコーディング/デコーディング方法及び装置
KR20050088918A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP2003169337A (ja) 画像符号化方法および画像復号化方法
JP4892628B2 (ja) 画像符号化方法、画像符号化装置および画像符号化プログラム
JP6692087B2 (ja) 配信方法、およびシステム
JP5171662B2 (ja) 画像符号化方法および画像符号化装置
WO2004004357A1 (ja) 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP4197641B2 (ja) 画像符号化方法
JP2004228617A (ja) 動画像符号化装置および動画像復号化装置
JP2005303480A (ja) 動画像復号化方法および動画像復号化装置
JP4628216B2 (ja) 画像復号化方法、画像復号化装置および画像復号化プログラム
JP2005079965A (ja) 代表点情報符号化方法および代表点情報復号化方法
KR20090111253A (ko) 리치미디어 콘텐츠의 장면 구성을 위한 장치 및 방법
JP2004166116A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070330

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070330

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20081007