JP2007037068A - 映像データ再生装置及び映像データ生成装置 - Google Patents

映像データ再生装置及び映像データ生成装置 Download PDF

Info

Publication number
JP2007037068A
JP2007037068A JP2005227579A JP2005227579A JP2007037068A JP 2007037068 A JP2007037068 A JP 2007037068A JP 2005227579 A JP2005227579 A JP 2005227579A JP 2005227579 A JP2005227579 A JP 2005227579A JP 2007037068 A JP2007037068 A JP 2007037068A
Authority
JP
Japan
Prior art keywords
video
video data
playback
picture
instruction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005227579A
Other languages
English (en)
Other versions
JP4364176B2 (ja
Inventor
Shuichi Watabe
秀一 渡部
Jiro Kiyama
次郎 木山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005227579A priority Critical patent/JP4364176B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to EP20100158792 priority patent/EP2200298B1/en
Priority to CN2006800222212A priority patent/CN101204089B/zh
Priority to ES10158779T priority patent/ES2432020T3/es
Priority to CN201010145398.XA priority patent/CN101808245B/zh
Priority to CN2010101454183A priority patent/CN101808215B/zh
Priority to KR1020097020218A priority patent/KR100967503B1/ko
Priority to EP20100158803 priority patent/EP2200299B1/en
Priority to US11/920,937 priority patent/US8401368B2/en
Priority to KR1020107001633A priority patent/KR100992767B1/ko
Priority to KR20087001254A priority patent/KR101027381B1/ko
Priority to EP20100158811 priority patent/EP2200301B1/en
Priority to EP20060766652 priority patent/EP1906663B1/en
Priority to CN2010101453706A priority patent/CN101808212B/zh
Priority to ES10158803T priority patent/ES2432021T3/es
Priority to CN201010145399A priority patent/CN101808214A/zh
Priority to ES06766652T priority patent/ES2384112T3/es
Priority to EP20100158809 priority patent/EP2200300B1/en
Priority to EP20100158779 priority patent/EP2200297B1/en
Priority to PCT/JP2006/311841 priority patent/WO2006137292A1/ja
Priority to KR1020097005603A priority patent/KR100947153B1/ko
Priority to CN2010101453833A priority patent/CN101808213B/zh
Publication of JP2007037068A publication Critical patent/JP2007037068A/ja
Application granted granted Critical
Publication of JP4364176B2 publication Critical patent/JP4364176B2/ja
Priority to US12/798,178 priority patent/US9319654B2/en
Priority to US12/798,175 priority patent/US20100195983A1/en
Priority to US12/798,225 priority patent/US20100202760A1/en
Priority to US12/798,235 priority patent/US20100220973A1/en
Priority to US12/798,176 priority patent/US20100195984A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】 ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態に対して、提供者の意図を反映した再生形態とすることを可能にする映像データ再生装置及び映像データ生成装置等を提供すること。
【解決手段】 映像データから特殊再生時の再生形態を指示するフラグを読み出すフラグ読出部１０１と、２つの映像データを復号する復号部１０２、１０３と、復号映像を合成して出力する合成部１０６と、上記フラグの値により復号部１０２、１０３、及び合成部１０６の動作を制御する管理部１０９とを備え、上記フラグの値によってピクチャ・イン・ピクチャ再生時の特殊再生の再生形態を管理する。
【選択図】 図１

Description

本発明は、複数の映像データが入力され、該複数の映像データを復号して得られる複数の復号映像を合成した再生映像を出力する映像データ再生装置及び複数の映像データから得られる複数の復号映像を合成して再生映像を出力するのに利用される該映像データの映像データ生成装置等に関する。
ネットワークインフラの高速化や記録メディアの大容量化によって、ユーザやユーザが扱う映像機器が一度に扱える映像データの絶対量は飛躍的に増加している。それに伴い、複数の映像データを使って実現される様々な機能や、それらに基づく高度アプリケーションも登場しつつある。そのような機能の１つにピクチャ・イン・ピクチャとよばれる機能がある。「ピクチャ・イン・ピクチャ」は、画面（親画面）の中に小さな子画面を重ねて２つの映像を同時に表示する機能である。例えば、親画面の映像と別のアングルから撮影された映像を子画面中に表示する「マルチアングル表示」や、親画面の映像に関する付加情報をコメンタリ形式で表示する「コメンタリ表示」（例えば、映画に関する撮影秘話などを収録した監督のコメンタリ映像等を表示する）に用いられる。
このピクチャ・イン・ピクチャ機能は、例えば、図１７に示されるように、２つの映像データを２つの異なるレイヤ上にそれぞれ復号し、それらの復号映像を重ね合せることといった処理により実現される。
また、図１８はピクチャ・イン・ピクチャ機能における子画面の映像の表示形態の違いを示すもので、子画面には矩形映像１８０１の他、任意形状からなる映像１８０２が用いられることもある。ピクチャ・イン・ピクチャの機能及び実現方法については、例えば特許文献１等に記載されている。
特開２００５−１２３７７５号公報
ピクチャ・イン・ピクチャでは、２つの映像が同時に再生されて表示される。このため、ピクチャ・イン・ピクチャ表示時に、例えば親画面の映像に対して高速再生などの特殊再生が指示された場合に、子画面の映像が親画面の映像に追従して特殊再生するのか、あるいは特殊再生しないのかといったことには従来制限がなく、再生機器の実装依存であった。従って、映像を提供する側で特殊再生時の動作を制限することはできなかった。ここで、特殊再生とは、２倍速、４倍速といった映像の高速再生の他、スロー再生、コマ送り再生、逆再生など、通常再生と異なった映像の再生形態のことをいう。
図１９に、映像コンテンツを提供者から消費者に配信する場合の代表的な３つのルート（放送、通信（ネットワーク）、パッケージ流通）を示す。また、複合的な配信手段として、基本部分を放送又はパッケージ流通で送り、追加分を通信（ネットワーク）で送るといったことも行われる。このようにしてピクチャ・イン・ピクチャを含んだ映像を提供者から消費者に配信する際、用途（アプリケーション）によっては、映像の提供者側でピクチャ・イン・ピクチャの特殊再生時の再生形態を提供者の意図した通りに指定したい要求がある。
例えば、子画面に表示される映像は特典映像であり、高速再生せずに最後まで視聴することを視聴条件として設定する、といった要求である。それに対して、従来のピクチャ・イン・ピクチャでは、特殊再生時の再生形態が上述のように再生機器側任せであり、提供者側のそのような要求を実現する方法がなかった。
本発明は上記の問題を鑑みてなされたものであり、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態に対して、提供者の意図を反映した再生形態とすることを可能にする映像データ再生装置及び映像データ生成装置等を提供するものである。
以上の課題を解決するために、第１の発明は、複数の映像データが入力され、該複数の映像データを復号して得られる複数の復号映像を合成した再生映像を出力する映像データ再生装置であって、前記複数の映像データを復号して前記複数の復号映像を得る復号手段と、前記複数の復号映像を合成して前記再生映像を得る合成手段と、前記複数の映像データの少なくとも１つから前記再生映像の再生形態を指示する指示情報を読み出す指示情報読出手段と、前記指示情報読出手段により読み出された指示情報に従って、前記復号手段あるいは前記合成手段の少なくとも１つの動作を制御することにより前記再生形態を管理する管理手段と、を備えることを特徴とする。
第２の発明は、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データを復号して得られる複数の復号映像を合成した再生映像を出力する映像データ再生装置であって、前記複数の映像データを復号して前記複数の復号映像を得る復号手段と、前記複数の復号映像を合成して前記再生映像を得る合成手段と、前記管理データから前記再生映像の再生形態を指示する指示情報を読み出す指示情報読出手段と、前記指示情報読出手段により読み出された指示情報に従って、前記復号手段あるいは前記合成手段の少なくとも１つの動作を制御することにより前記再生形態を管理する管理手段と、を備えることを特徴とする。
また、第３の発明は、第１又は第２の発明において、前記再生映像は、ピクチャ・イン・ピクチャ形式の映像であることを特徴とする。
また、第４の発明は、第３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第５の発明は、第３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
また、第６の発明は、第３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で子画面の映像が特殊再生時に、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第７の発明は、第１又は第２の発明において、前記再生映像は、２画面表示形式の映像であることを特徴とする。
また、第８の発明は、第７の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第９の発明は、第７の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が表示されるか否かを示した情報であることを特徴とする。
第１０の発明は、複数の映像データから得られる複数の復号映像を合成して再生映像を出力するのに利用される、該映像データの映像データ生成装置であって、入力された映像を符号化し、符号化された映像データを得る符号化手段と、前記映像データに、前記再生映像の再生形態を指示する指示情報を書き込む指示情報書込手段と、を備えることを特徴とする。
第１１の発明は、複数の映像データから得られる複数の復号映像を合成して再生映像を出力するのに利用される、該映像データの映像データ生成装置であって、入力された映像を符号化し、符号化された映像データを得る符号化手段と、前記映像データに関する管理データを生成する生成手段と、前記管理データに、前記再生映像の再生形態を指示する指示情報を書き込む指示情報書込手段と、を備えることを特徴とする。
また、第１２の発明は、第１１の発明において、前記映像データと、前記指示情報が書き込まれた前記管理データとを多重化した多重化データを生成する多重化データ生成手段を更に備えることを特徴とする。
また、第１３の発明は、第１０から第１２の何れか一つの発明において、前記再生映像は、ピクチャ・イン・ピクチャ形式の映像であることを特徴とする。
また、第１４の発明は、第１３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第１５の発明は、第１３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
また、第１６の発明は、第１３の発明において、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で子画面の映像が特殊再生時に、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第１７の発明は、第１０から第１２の何れか一つの発明において、前記再生映像は、２画面表示形式の映像であることを特徴とする。
また、第１８の発明は、第１７の発明おいて、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が特殊再生されるか否かを示した情報であることを特徴とする。
また、第１９の発明は、第１７の発明おいて、前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が表示されるか否かを示した情報であることを特徴とする。
本発明では、親画面の映像の特殊再生時における、子画面の映像の再生形態（親画面の特殊再生に追従させるか否か）を示した指示フラグを、子画面の映像の映像データ中に含める。あるいは、親画面、子画面の映像データと独立した管理データ内に格納する。こうして、映像データの配信時などに、指示フラグによる指示情報を映像データとともに扱う。映像再生装置では、上記格納された指示フラグを読み出して利用することにより、提供者の意図した通りにピクチャ・イン・ピクチャ時の特殊再生を行う（子画面映像を親画面映像と追従して特殊再生する、あるいは独立して再生する）ことが可能となる。その結果、ピクチャ・イン・ピクチャ時の再生形態が再生機器の実装に不依存となる。
（第１の実施形態）
まず、本発明の第１の実施形態にかかる映像再生装置を、図１乃至図１２を用いて説明する。
図１は、本発明の第１の実施形態にかかる映像再生装置１の概略構成を示した機能ブロック図である。映像再生装置１は、２つの映像データ（符号化映像ストリーム）を入力とし、それらを復号、復号映像を合成した映像を出力表示する。なお、本明細書では以下、ピクチャ・イン・ピクチャ表示において親画面に表示される映像を「メイン映像」、子画面として表示される映像を「サブ映像」と呼んで区別する。
映像再生装置１は、サブ映像の映像データから後述する指示フラグを読み出すためのフラグ読出部１０１、映像データそれぞれについて符号化データを復号するための復号部１０２と１０３、同じくそれぞれの復号映像を保持して合成タイミングに応じて出力するためのバッファ（ＢＦ）１０４と１０５、それら復号映像を合成するための合成部１０６、出力映像を表示する表示部１０７、ユーザからの入力を受け付ける入力部１０８、並びに、復号部１０２、１０３の復号処理を制御するための復号管理部１０９を備えて構成されている。また、上記合成部１０６には、サブ映像の復号映像について、合成用に表示サイズや表示位置を調整するための調整部１１０が含まれる。
本実施形態にかかる映像再生装置１では、フラグ読出部１０１において、後述する指示フラグが映像データから読み出されて出力される。実際の映像データの復号では、付随するオーディオデータの分離や、映像に付随する管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報等）の読み出しが必要な場合があるが、図１では説明の簡便のため、それらの分離、読み出しについては省略する。
まず初めに、フラグ読出部１０１で、サブ映像の映像データから、特殊再生時の再生形態を指示する指示フラグが読み出される。この読み出された指示フラグは、復号管理部１０９に入力されて、ピクチャ・イン・ピクチャ映像の特殊再生時に利用される。指示フラグの具体的内容については後で詳しく説明する。
まず、通常再生時の動作について説明する。通常再生の場合、メイン映像の映像データ及び（指示フラグ読み出し後の）サブ映像の映像データは、それぞれ復号部１０２、１０３に入力されて順次復号される。そして、復号された各映像は、バッファ（ＢＦ）１０４、１０５に一時蓄積されたのち、出力タイミングを調整された上で合成部１０６に送られる。
合成部１０６は、内部に調整部１１０を含んで構成されている。そして、合成部１０６に入力される２つの復号映像のうち、サブ映像にあたる復号映像がＢＦ１０５から調整部１１０に入力される。調整部１１０では、サブ映像をメイン映像へ重ね合せる前処理として、サブ映像の画像サイズの変更や表示位置の設定を行う。これらサブ映像（子画面）の画像サイズや表示位置の値は、合成パラメータとして映像再生装置１が予め持っているか、又は、ユーザによって入力される。あるいは、ユーザとのインタラクションを通して決定されるものであってもよい。こうして調整されたサブ映像は、ＢＦ１０４から入力されるメイン映像にあたる復号映像上に重ねて合成される。
なお、合成する際、サブ映像の透過度を設定して、メイン映像が透けて見えるようにしてもよい。この透過度も合成パラメータとして映像再生装置１が予め持っているか、もしくはユーザとのインタラクションを通して決定されることとなる。
こうして合成部１０６で合成されて出力されたピクチャ・イン・ピクチャ映像は、表示部１０７を通してモニタなどに表示される。
次に、特殊再生が指示された場合の動作について説明する。映像再生装置１は入力部１０８を備えており、ユーザからの特殊再生指示を受け付ける。入力部１０８は、特殊再生の指示入力を受け取ると、その指示内容を示す特殊再生指示情報に変換し、当該特殊再生指示情報を復号管理部１０９に送る。
復号管理部１０９には、入力部１０８からの特殊再生指示情報と共に、フラグ読出部１０１でサブ映像の映像データから読み出された特殊再生時の再生形態を示す指示フラグが入力されている。復号管理部１０９は、上記特殊再生指示情報を受け取ると、２つの復号部１０２、１０３、並びに合成部１０６の処理を制御して、図２から図５に示すような再生形態のいずれかでピクチャ・イン・ピクチャ時の特殊再生を実行する。この時、フラグ読出部１０１から入力された指示フラグは、どの再生形態で特殊再生するかを決定するために用いられる。
図２に示す再生形態（Ａ）は、メイン映像の特殊再生が指示された場合に、メイン映像に追従してサブ映像も特殊再生される再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２、１０３双方に対して、同期して特殊再生（のための復号処理の実行）を指示する。指示を受けた復号部１０２、１０３は、例えば高速再生の場合、復号するフレームデータを間引き、例えばＩフレームのみを復号して出力することで、メイン映像、サブ映像双方の高速再生を実現する。出力された復号映像は、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
なお、このように同期して特殊再生するのを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せておくといった処理を加えてもよい。更に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格で規定されたフレーム間予測符号化方式のデータ構造であるＧｏＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造まで含めて、メイン映像とサブ映像のデータ構造を合せるようにしてもよい。ＧｏＰ構造まで含めてメイン映像とサブ映像のデータ構造を合せることで、Ｐフレームなども含めた滑らかな特殊再生での同期が可能となる。
図３に示す再生形態（Ｂ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、通常再生に復帰したメイン映像と同じ時刻位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通用再生（のための復号処理の実行）を指示すると共に、復号部１０３に、通常再生に復帰したメイン映像と同じ時刻位置からサブ映像の映像データの復号を指示する。そして、通常再生復帰後は、メイン、サブの復号画像が合成部１０６に入力され、合成されて出力、表示される。
図２、図３の再生形態は、メイン映像とサブ映像とが同期して再生される場合を示した例である。即ち、図２、図３の再生形態では、メイン映像とサブ映像とが同一の時刻基準によって再生されている。
図４に示す再生形態（Ｃ）は、メイン映像の特殊再生が指示された場合に、メイン映像のみを特殊再生し、サブ映像は通常再生のまま再生し表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。復号部１０３は通常再生のまま復号が行われる。そして、復号部１０２から出力された特殊再生されたメイン映像と、復号部１０３から出力された通常再生されたサブ映像とは、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
図５に示す再生形態（Ｄ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、停止した時間位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通常再生（のための復号処理の実行）を指示すると共に、復号部１０３に、特殊再生が開始されてサブ映像の復号が停止された位置からのサブ映像の復号を指示する。そして、通常再生復帰後は、メイン映像とサブ映像とが合成部１０６に入力され、合成されて出力、表示される。
図４、図５の再生形態は、メイン映像とサブ映像との再生が特殊再生を行った時に非同期となる場合を示した例である。即ち、図４、図５の再生形態では、メイン映像とサブ映像とが異なる時刻基準によって再生される。
ここで、指示フラグについて説明する。フラグ読出部１０１で読み出され復号管理部１０９へ入力される指示フラグは、上記したどの再生形態で特殊再生するかを決定するために用いられる。即ち、サブ映像の映像データに含まれる指示フラグの値によって、サブ映像をメイン映像と同期させるか（図２、図３）、非同期とするか（図４、図５）を制御する。本明細書では、設定される指示フラグの例として、次の３種類を定義する。
「再生形態指示フラグ」：
メイン映像が特殊再生時、サブ映像を追従して特殊再生させるか、追従しないで独立に再生（例えば通常再生）させるかを示す２値のフラグ。
「追従再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像が追従して特殊再生することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像の特殊再生と独立に再生（例えば通常再生）される。
「独立再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像がメイン映像に追従しないで独立に再生（例えば通常再生）することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像に追従して特殊再生される。
映像データはこれらの指示フラグのいずれか１つ又は複数を含み、それあるいはそれらの値によって映像再生装置１におけるピクチャ・イン・ピクチャにおける特殊再生時の再生形態が決定される。図６の表に、それら指示フラグの値と、採り得る再生形態（Ａ）（図２）、再生形態（Ｃ）（図４）との具体的な対応関係を示した。
図６の表６０１は、再生形態指示フラグの値「独立」「追従」と、再生形態指示フラグが「独立」もしくは「追従」の時に映像再生装置１が採り得る再生形態との関係を示している。再生形態指示フラグが「独立」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。再生形態指示フラグが「追従」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。
なお、同期して特殊再生を行うことを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せるといった処理を加えている場合、このフラグの値は直接、Ｉフレーム位置を合せているか（フラグの値は「追従」）、合せていないか（フラグの値は「独立」）を表していると捉えることもできる。
図６の表６０２は、追従再生禁止フラグの値「真」「偽」と、追従再生禁止フラグが「真」もしくは「偽」の時に映像再生装置１が採り得る再生形態との関係を示している。追従再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。一方、追従再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
また、図６の表６０３は、独立再生禁止フラグの値「真」「偽」と、独立再生禁止フラグが「真」もしくは「偽」の際に映像再生装置１が採り得る再生形態との関係を示している。独立再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。一方、独立再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
なお、ここに示した指示フラグは一例であり、いずれも「０」、「１」の２値フラグであるが、多値からなるさらに複雑な指示フラグを定義して用いることも可能である。例えば、追従再生を禁止し独立再生を許可するフラグであって、かつ、図５のようにサブ映像の再生を止める形式での独立再生は禁止し、図４のようにサブ映像を通常再生し続ける形式の独立再生のみを許可する、といった指示フラグを設けることもできる。
言い換えれば、上記した、再生が「追従」か「独立」かを示す「０」、「１」の２値フラグ以外に、メイン映像が特殊再生時にサブ映像の表示を続けるか（図２、図４）、あるいはメイン映像が特殊再生時にはサブ映像を表示しないか（図３、図５）、を示した「表示」か「非表示」かを表す「０」、「１」の２値フラグを用意し、それらフラグの値の組合せによって図２から図５の再生形態（Ａ）〜（Ｄ）のいずれか１つを一意に指定することも可能である。前者（再生が「追従」か「独立」かを示すフラグ）を「再生指示フラグ」、後者（サブ映像が「表示」か「非表示」かを示すフラグ）を「表示指示フラグ」と呼んで区別してもよい。
例えば、再生指示フラグを「追従」とし、表示指示フラグを「表示」とすると、図２の再生形態（Ａ）が選ばれる。このような再生では、メイン映像に合成されたサブ映像が完全にメイン映像の一部であるように見せることができ、見かけ上、メイン映像とサブ映像の区別が付かないように見せる効果を持つ。このため、映像提供者がそのような効果を望む場合には、各指示フラグを上記のように設定する。反対に、サブ映像をメイン映像と異なる付加映像であることを明示したい場合には、再生指示フラグを「追従」とし、表示指示フラグを「非表示」として、図３の再生形態（Ｂ）を選ぶ。
また、再生指示フラグを「独立」とし、表示指示フラグを「表示」とすると、図４の再生形態（Ｃ）が選ばれる。これは、例えば、サブ映像１回の再生にかかる実再生時間が厳密に決められているような、優先度の極めて高いサブ映像に対して適用される再生形態であり、サブ映像１回の再生の間、サブ映像の再生を停止しない。一方、再生指示フラグを「独立」とし、表示指示フラグを「非表示」とした図５の再生形態（Ｄ）では、メイン映像が特殊再生の間、サブ映像の再生並びに表示を停止し、メイン映像が通常再生に復帰後に、停止位置から続きのサブ映像を再生し表示する。このため、機器を操作している間にうっかりサブ映像を見逃してしまうといった状況を回避できて、サブ映像を落ち着いて見せるのに適している。
このように、映像データに付随して与えられる指示フラグによって、映像再生装置１における特殊再生時の再生形態を指定することができる。この指示フラグは、映像データの提供者側でサブ映像の映像データを生成する際に付加される。
図７に、映像データ生成装置１１の概略構成を示す機能ブロック図を示した。映像データ生成装置１１は、符号化部７０１とフラグ設定部７０２、及びフラグ書込部７０３を含む。映像提供者の指示入力は、フラグ設定部７０２で指示フラグに変換される。入力された映像は、符号化部７０１で符号化されて映像データ（符号化映像ストリーム）に変換される。その後、フラグ書込部７０３を通して映像データ（符号化映像ストリーム）に指示フラグが格納される。
映像提供者は、指示フラグを映像データ（符号化映像ストリーム）に埋め込むことにより、提供者の意図した再生形態で映像再生装置でのピクチャ・イン・ピクチャの特殊再生を可能とする。また、図８に、図７の映像データ生成装置１１で生成される映像データの例を示し、特に指示フラグの埋込位置の例を示した。図８に示すように、指示フラグは、映像データ（符号化映像ストリーム）中のシーケンスヘッダに埋め込むか（８０１）、各パケットヘッダに埋め込むか（８０２）、又は、符号化映像ストリームに対する管理情報（プレイリスト情報など）が映像データ内に記録されている場合に、管理情報内に指示フラグを格納する（８０３）。但し、指示フラグの映像データ内の埋込位置はこれに限るものではない。
上記した第１の実施形態にかかる映像再生装置１では、入力された映像データ（符号化映像ストリーム）中に指示フラグが含まれている例を示したが、これに限られない。例えば、映像データのデータストリームと共に、映像データストリームを管理するための管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報）を記録したデータストリーム（管理データストリーム）が与えられ、それらが多重化された多重化データが入力される場合に、映像データストリームでなく管理データストリーム内に指示フラグが格納されて入力されることとしても良い。
また、上記した映像再生装置１に入力される映像データでは、指示フラグがサブ映像の映像データに含まれている例を示したが、これに限らず、メイン映像の映像データ側に指示フラグを格納して入力されることも想定される。その場合の指示フラグは、そのメイン映像の映像データに対して任意のサブ映像の映像データが組み合わされた時、そのメイン映像の特殊再生に対して任意のサブ映像が追従するか否かを示すフラグとなる。
図９に、それら入力パターンの違いを整理して図示した。９１、９２は、指示フラグを含む２つの映像データ（符号化映像ストリーム）を入力する場合を示したもので、９１は図１のαと同一のものである。９３、９４は、指示フラグを含む管理データ（ストリーム）を映像データ（ストリーム）と多重化した多重化データを入力する場合を示したものである。分離部９０３及び９０４は、多重化されたデータから管理データを分離する為の機能部である。なお、分離された管理データの扱いについてはここでは説明を省略する。また、９１、９３は指示フラグがサブ映像側の映像データ（もしくは対応する管理データ）に含まれる場合、９２、９４は指示フラグがメイン映像側の映像データ（もしくは対応する管理データ）に含まれる場合を示している。いずれも出力は２つの映像データと指示フラグであり、図１のα部分に置き換えて接続されるものである。
なお、図９の９３や９４では、多重化データが映像データと管理データの２つのデータストリームのみで構成されているように描いているが、実際にはオーディオのデータストリームなど他のデータストリームが多重化されていてもよい。図９では簡便のため、それらについては図示していない。
また、図１０は、多重化データを構成する映像データ（符号化映像ストリーム）及び管理データストリームの例を示した図である。図１０に示すように、指示フラグは、映像データ（符号化映像ストリーム）に関する再生管理情報（プレイリスト情報など）内に埋め込むか（１００１）、あるいは映像データ（符号化映像ストリーム）に関する復号管理情報（符号化方式情報など）に格納する（１００２）。ただし、指示フラグの管理データ内の埋込位置はこれに限るものではない。
図１の２つの復号部１０２と１０３とは、同一の復号能力を持ったものであってもよいし、それぞれ別個の復号能力を持ったものであってもよい。第１の実施形態にかかる映像再生装置１では、入力された時点でそれぞれの映像データが、メイン映像用の映像データであるか、サブ映像用の映像データであるかが決まっている。したがって、メイン映像よりも解像度が低い（画像サイズが小さい）サブ映像専用の映像データを定義することができ、そのような場合、サブ映像の映像データが入力される復号部１０３には、サブ映像専用の映像データ復号用に低解像度映像を復号する専用のものを用いることもできる。
また、図１の映像再生装置１において、入力される映像データが、符号化されていない映像データであるといったケースも想定され得る。その場合では、映像データの復号は必要でないため、復号部１０２、１０３は復号を行う機能ブロックではなく、入力された映像データを適宜切り分けて出力する機能ブロック（分離部１０２’、１０３’）に置換えられる。また、復号管理部１０９は、前記の機能ブロック（分離部１０２’、１０３’）が映像データを切り分けて出力するのを管理するための機能ブロック（分離管理部１０９’）に置換えられる。
また、図１に示した映像再生装置１の合成部１０６は、サブ映像の調整のみを行い、メイン映像の調整は行わない（即ちメイン映像は全画面表示）ものであった（図１１（ａ））が、合成部１０６はこれに限らず、図１１（ｂ）に示すように、メイン映像側にも調整部１１１０を設け、調整して出力する合成部１１０６に置き換えることもできる。図１２に、合成部１１０６に置き換えた場合の出力映像の例を示した。この場合、図１２の１２０２に示したようにメイン映像を任意の大きさに変更したり、あるいは１２０３に示したようにメイン、サブの２つの映像を重ね合わさずに、並べて２画面表示するといった画面構成にすることもできる。
本発明の映像再生装置では、ピクチャ・イン・ピクチャ表示用途以外に、図１２の１２０３に示したような２画面表示させる映像再生装置においても適用可能である。すなわち、指示フラグを映像データに埋め込むことで、一方の映像の特殊再生に対して他方の映像を追従して特殊再生させるか否かといった制御を加えることができ、映像提供者側の意図した２画面表示映像の特殊再生を行うことが可能となる。
上記した本発明の第１の実施形態にかかる映像再生装置１では、映像データと共に、ピクチャ・イン・ピクチャで特殊再生時の再生形態を示した情報である指示フラグが入力され、指示フラグに基づいて上記特殊再生時の再生形態が決定される。したがって、映像の提供者が映像データを生成する際に指示フラグを映像データに付随させて送ることにより、提供者の意図した再生形態でピクチャ・イン・ピクチャ再生時の特殊再生を映像再生装置に行わせることができる。
なお、本実施形態にかかる映像再生装置１、図９の９１の場合には、入力された時点で各映像データがメイン映像用か、サブ映像用かが決まっているが、サブ映像用として生成された映像データをメイン映像の映像データとして入力することもできる。その場合、映像データに格納されている指示フラグは無視される。また同様に、図９の９２の場合には、メイン映像用として生成された指示フラグを含む映像データをサブ映像の映像データとして入力することもできる。その場合にも、映像データに格納されている指示フラグは無視される。また、映像再生装置１にデフォルトの再生形態を設けて、指示フラグがメイン映像、サブ映像のいずれからも読み出されなかった場合に、デフォルトの再生形態で特殊再生するように設定してもよい。
また、上記第１の実施形態で説明した指示フラグは、メイン映像が特殊再生された際のサブ映像の挙動を示したフラグであるが、逆に、サブ映像の特殊再生が指示された場合のメイン映像の挙動を示す指示フラグを定義することもできる。このことについて以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
また、サブ映像の挙動を示して映像提供者の意図を伝えるフラグとしては、上記特殊再生時の再生形態を示した指示フラグ以外に、サブ映像の移動・拡大を禁止するフラグなども合せて格納するようにしてもよい。このサブ映像の移動・拡大を禁止するフラグは、サブ映像の表示サイズ、表示位置がユーザによって変更可能である再生装置において適用される。サブ映像の拡大・移動を禁止するフラグの値が「真」であるとき、メイン映像に対してサブ映像の表示サイズ、表示位置を固定とし、ユーザの指示を受け付けなくする。
また、上記第１の実施形態の映像再生装置１では、特殊再生の実現方法として復号部の処理を制御する方法を示したが、特殊再生の実現方法はこれに限らない。例えば、高速再生の例では、上記実施形態で示した復号部で間引く処理以外にも、全てのフレームを復号した後で、バッファ１０４、１０５から出力される復号画像をタイミングの調整と合せて間引くといった方法でも高速再生を実現することができる。即ち、図１に示した映像再生装置１は特殊再生を実現するための装置の一構成形態であり、これ以外にも特殊再生を実現する装置構成をとることができ、それらについても同様に本発明の指示フラグによる特殊再生の制御を適用可能である。このことについても以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
（第２の実施形態）
次に、本発明の第２の実施形態にかかる映像再生装置２を、図１３を用いて説明する。
図１３は、本発明の第２の実施形態にかかる映像再生装置２の概略構成を示した機能ブロック図である。映像再生装置２は、各映像データから指示フラグを読み出すためのフラグ読出部１３０１と１３０２、復号部１３０３と１３０４、バッファ（ＢＦ）１３０５と１３０６、合成部１３０７、表示部１３０８（調整部１３１２と１３１３を含む）、表示部１３０８、入力部１３０９、復号管理部１３１０、並びに、合成部１３０７で実行される合成処理を制御するための合成管理部１３１１とを備えて構成される。このうち、フラグ読出部１３０１、１３０２はいずれも図１に示したフラグ読出部１０１と同等の機能を持ち、また、復号部１３０３、１３０４、バッファ１３０５、１３０５、表示部１３０８はそれぞれ、図１に示した復号部１０２、１０３、バッファ１０４、１０５、表示部１０７と同等の機能を持つものである。さらに、調整部１３１２、１３１３は図１に示した調整部１１０と同等の機能を持つ。以下、第１の実施形態にかかる映像再生装置１との相違を中心に、第２の実施形態にかかる映像再生装置２の動作を説明する。
上記した第１の実施形態にかかる映像再生装置１では、２つの入力映像データについて、入力される段階で、いずれがメイン映像用でいずれがサブ映像用かが予め決められた上で入力されていた。これは、サブ映像専用の映像データ、例えば、メイン映像に対するおまけ映像や撮影秘話のちょっとしたコメンタリ映像など、メイン映像再生をしない映像データがある場合に最も有効である。
これに対して、第２の実施形態にかかる映像再生装置２は、２つの入力映像データについて、入力段階でメイン用かサブ用かに分けずに、入力後、映像の合成段階で２つの映像の合成を調整することでメイン映像、サブ映像を決定するようにしたものである。これは、頻繁にメイン映像再生とサブ映像再生を切り替えるような用途、例えば、マルチアングル表示で表示映像を頻繁に切り替えるような場合に最も有効となる。
このために、映像再生装置２は、映像再生装置１にない新たな機能ブロック、合成管理部１３１１を有している。
入力部１３０９は、特殊再生指示以外に、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１３０９は、映像選択の指示を受け取ると、映像選択指示情報を発行し、合成管理部１３１１に伝える。
合成管理部１３１１は、上記映像選択指示情報にていずれがメイン表示でいずれがサブ表示となるかを知り、それぞれの調整部１３１２、１３１３に対して、上記映像選択指示情報で示されたメイン映像表示、サブ映像表示に対応する合成パラメータを各々に送る。また、重ねる際の上下関係（メイン映像の上にサブ映像を重ねる）を合成部１３０７に通知する。また透過度の設定などを合せて送ってもよい。さらに、いずれがサブ映像として選択されているかを示した選択情報を復号管理部１３１０に送る。
フラグ読出部１３０１、１３０２では、入力されたそれぞれの映像データから指示フラグを読み出し、読み出された指示フラグのいずれも復号管理部１３１０に入力される。
復号管理部１３１０は、ユーザからの特殊再生指示を受けて入力部１３０９が発行した特殊再生指示情報を受け取ると、合成管理部１３１１から受け取っている上記選択情報（いずれがサブ映像として選択されているかを示した情報）を参照して、入力されている２つの指示フラグのうちサブ映像にあたる映像データの指示フラグを知り、該指示フラグに基づいて、第１の実施形態で示したのと同様にピクチャ・イン・ピクチャ再生時の特殊再生の再生形態を決定する。
映像再生装置２では、入力される２つの映像データはいずれもメイン映像、サブ映像として再生することが可能な映像データである。したがって、映像再生装置２では、復号部１３０３、１３０４は全く等価な機能を有する。
（第３の実施形態）
次に、本発明の第３の実施形態にかかる映像再生装置３を、図１４乃至図１６を用いて説明する。
図１４は、本発明の第３の実施形態にかかる映像再生装置３の概略構成を示した機能ブロック図である。映像再生装置３は、複数の映像データが多重化された多重化データを複数の映像データと管理データその他に分離するための分離部１４０１、管理データから指示フラグを読み出すフラグ読出部１４０２、２つの復号部１４０３と１４０４、２つのバッファ（ＢＦ）１４０５と１４０６、合成部１４０７（調整部１４１１を含む）、表示部１４０８、入力部１４０９、並びに復号管理部１４１０を備えて構成される。このうち、復号部１４０３、１４０４、バッファ１４０５、１４０５、合成部１４０７、調整部１４１１、表示部１４０８及び復号管理部１４１０はそれぞれ、図１に示した映像再生装置１の復号部１０２、１０３、バッファ１０４、１０５、合成部１０６、調整部１１０、表示部１０７及び復号管理部１０９と同等の機能を持つものである。即ち、第３の実施形態にかかる映像再生装置３は、第１の実施形態にかかる映像再生装置１と比べて、分離部１４０１、フラグ読出部１４０２（映像再生装置１ではフラグ読出部１０１）、及び入力部１４０９（映像再生装置１では入力部１０８）のみが異なっている。以下、第１、第２の実施形態にかかる映像再生装置１、２との相違を中心に、第３の実施形態にかかる映像再生装置３の動作を説明する。
上記した映像再生装置１及び２では、映像データ（符号化映像ストリーム）内、もしくは映像データと１対１に対応する管理データストリーム内に指示フラグが格納されており、その指示フラグは、対応する映像データに対して、その映像データがピクチャ・イン・ピクチャ再生でサブ映像表示される際の特殊再生時の再生形態を制御するものであった。それに対して、本第３の実施形態にかかる映像再生装置３は、複数の映像データ（符号化映像ストリーム）に対して、それらを管理する管理データストリームが独立して与えられる状況で、その管理データストリームに格納された指示フラグによってピクチャ・イン・ピクチャ再生での特殊再生時の再生形態を制御する。
即ち、映像再生装置３で扱われる指示フラグは、入力されたいずれかの映像データに対する再生形態を示すものではなく、一方がメイン映像データとして、他方がサブ映像データとして決定されたのちに、決定されたサブ映像の再生形態を制御するように動作する。このため、映像再生装置１では予めメイン映像、サブ映像の映像データが決定後に入力され、また、映像再生装置２では合成段階でメイン映像かサブ映像かが決定されるのに対して、映像再生装置３では、分離部１４０１で多重化データの分離時にいずれがメイン映像でいずれがサブ映像かが決定されて、復号部１４０３、１４０４以降の処理に引き継がれる。
本実施形態にかかる映像再生装置３は、２つの映像データ（符号化映像ストリーム）並びに指示フラグを含む管理データストリームが多重化された多重化データを入力として、２つの映像データの復号画像を合成した映像として表示するものである。図１５に、この入力される多重化データを生成するための映像データ生成装置３１の概略構成を示す機能ブロック図を示す。
図１５の映像データ生成装置３１は、２つの符号化部１５０１と１５０２、管理情報生成部１５０３、フラグ設定部１５０４、フラグ書込部１５０５、及び多重化部１５０６を備えて構成される。
入力された２つの映像は符号化部１５０１、１５０２でそれぞれ映像データ（符号化映像ストリーム）に変換される。フラグ設定部１５０４は映像提供者から指示される再生形態に対応した指示フラグを生成し、生成された指示フラグはフラグ書込部１５０５で、管理情報生成部１５０３で生成された管理情報（管理データストリーム）に書き込まれる。
管理データストリームに格納されている管理情報は、映像データ（符号化映像ストリーム）の符号化方式を示す情報など各映像データに対応して記録される情報（復号管理情報）や、映像の時間的な切出しと連結情報により複数の映像データの再生を指定するプレイリスト情報など共通の情報（再生管理情報）などが含まれる。
また、図１６に、図１５の映像データ生成装置３１で生成されるデータの多重化前のデータの例（指示フラグの埋込位置の例）を示す。図１６に示すように、指示フラグは、管理データストリームの共通の再生管理情報内に格納される（１６０１）。これらの映像データ、管理データは多重化部１５０６で多重化されて多重化データが形成される。
図１５に示した映像データ生成装置３１で生成される多重化データを入力した後、図１４の映像再生装置３の分離部１４０１の動作は次のようになる。
第２の実施形態の映像再生装置２と同様に、入力部１４０９は、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１４０９は、映像選択の指示を受け取ると、対応する映像選択指示情報を発行し、分離部１４０１に伝える。
分離部１４０１は、入力された多重化データを２つの映像データ並びに管理データに分離した後、上記受け取った映像選択指示情報に従って、メイン映像に指定された映像データを復号部１４０３に、サブ映像に指定された映像データを復号部１４０４に入力する。また、分離部１４０１から出力された管理データは、フラグ読出部１４０２に入力され、指示フラグが読み出される。読み出された指示フラグは、復号管理部１４１０に入力され、ピクチャ・イン・ピクチャ再生における特殊再生時の再生形態を制御する。以降は、第１の実施形態で説明したのと同様の動作となる。
なお、本第３の実施形態の図１４乃至図１６では、多重化データが映像データ（符号化映像ストリーム）及び管理データ（管理データストリーム）のみからなるように説明しているが、実際にはオーディオデータなどの他のデータが多重化されていることもある。ここでは説明の簡便のため、そのような映像データ及び管理データ以外のデータについては図示を省略した。
また、映像再生装置３に入力される映像データ（符号化データストリーム）及び管理データ（管理データストリーム）は多重化されて入力されるように図示したが、必ずしも多重化されている必要はない。２つの映像データ及び１つの管理データが別個のチャンネルを通して入力されて、それらを処理するように構成しても構わない。即ち、本第３の実施形態にかかる映像再生装置３は、いずれかの映像データに依存しない、複数の映像データに対して共通に扱える指示フラグが、管理データを通して装置に与えられることがポイントであり、それ以外ではない。
なお、上記した本発明の各実施形態では、放送や通信といった伝送路を経由して入力される映像データ（及び管理データ）が映像再生装置を通して直接再生される状況を想定して、本発明の各実施形態にかかる映像再生装置を説明したが、本発明が適用可能な状況はこれに限らず、例えば、映像データ（及び管理データ）が予め記録媒体に記録されており、記録媒体に記録された映像データ（及び管理データ）を逐次読み出して再生するといった状況においても同様に適用可能である。図１９のパッケージ流通における適用がそれにあたる。また、伝送路を経由して一旦記録媒体に記録された後、記録された映像データ（及び管理データ）を読み出して再生する状況についても同様である。即ち、本発明は、各実施形態で詳細に説明した指示フラグを含んだ映像データ、あるいは管理データが記録された記録媒体に対して、またそのような記録媒体を再生する映像再生装置に対しても、適用可能である。
また、本発明の各実施形態において説明した映像データ（あるいは管理データ）に格納される指示フラグは、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態について、映像提供者の意図を反映させるための固定の情報として記載した。しかしながら、この映像データ（あるいは管理データ）に格納される指示フラグを、再生側において、ユーザの再生時の好みを記録しておくためのフィールドとして利用することも可能である。あるいは、映像再生装置の再生能力によって制限される値に、上記指示フラグを映像再生装置側で書き換えるといったことも起こり得る。このような書き換えは、放送や通信などの伝送路を通して入力された映像データ（及び管理データ）を記録媒体に記録する際や、記録媒体から映像データ（及び管理データ）を逐次読み出して再生するといった際に、映像再生装置が指示フラグの格納フィールドの値を書き換えることで行われる。この書き換え処理は、ユーザが直接入力しても、あるいはＪａｖａ（登録商標）等のプログラムで動的に変更できるようにしてもよい。即ち、本発明は、指示フラグの値が最終的に何処で設定されたかに拘らず、各実施形態で詳細に説明した指示フラグを含む映像データ、あるいは管理データの映像再生装置に対して適用可能である。
なお、ここで開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明の第１の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。 本発明の第１の実施形態にかかる映像再生装置で、特殊再生時の再生形態を示した説明図である。 本発明の第１の実施形態にかかる映像再生装置で、特殊再生時の別の再生形態を示した図である。 本発明の第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。 本発明の第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。 本発明の第１の実施形態にかかる映像再生装置で扱われる指示フラグの値と特殊再生時の再生形態との対応関係を示した表である。 本発明の第１の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。 本発明の第１の実施形態で扱われる映像データの概略構造を示した説明図である。 本発明の第１の実施形態にかかる映像再生装置の別の構成を示した機能ブロック図である。 本発明の第１の実施形態で扱われる映像データの別の概略構造を示した説明図である。 本発明の第１の実施形態にかかる映像再生装置のさらに別の構成を示した機能ブロック図である。 本発明の第１の実施形態で再生される映像の画面表示例を示した説明図である。 本発明の第２の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。 本発明の第３の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。 本発明の第３の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。 本発明の第３の実施形態で扱われる映像データの概略構造を示した説明図である。 従来のピクチャ・イン・ピクチャ機能の実現方式を示した説明図である。 従来のピクチャ・イン・ピクチャ機能を示した例である。 従来の映像コンテンツの配信を説明した説明図である。
符号の説明
１ 映像再生装置
１０１ フラグ読出部
１０２、１０３ 復号部
１０４、１０５ バッファ（ＢＦ）
１０６ 合成部
１０７ 表示部
１０８ 入力部
１０９ 復号管理部
１１０ 調整部

Claims (19)

  1. 複数の映像データが入力され、該複数の映像データを復号して得られる複数の復号映像を合成した再生映像を出力する映像データ再生装置であって、
    前記複数の映像データを復号して前記複数の復号映像を得る復号手段と、
    前記複数の復号映像を合成して前記再生映像を得る合成手段と、
    前記複数の映像データの少なくとも１つから前記再生映像の再生形態を指示する指示情報を読み出す指示情報読出手段と、
    前記指示情報読出手段により読み出された指示情報に従って、前記復号手段あるいは前記合成手段の少なくとも１つの動作を制御することにより前記再生形態を管理する管理手段と、
    を備えることを特徴とする映像データ再生装置。
  2. 複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データを復号して得られる複数の復号映像を合成した再生映像を出力する映像データ再生装置であって、
    前記複数の映像データを復号して前記複数の復号映像を得る復号手段と、
    前記複数の復号映像を合成して前記再生映像を得る合成手段と、
    前記管理データから前記再生映像の再生形態を指示する指示情報を読み出す指示情報読出手段と、
    前記指示情報読出手段により読み出された指示情報に従って、前記復号手段あるいは前記合成手段の少なくとも１つの動作を制御することにより前記再生形態を管理する管理手段と、
    を備えることを特徴とする映像データ再生装置。
  3. 前記再生映像は、ピクチャ・イン・ピクチャ形式の映像であることを特徴とする請求項１又は２に記載の映像データ再生装置。
  4. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項３に記載の映像データ再生装置。
  5. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が表示されるか否かを示した情報であることを特徴とする請求項３に記載の映像データ再生装置。
  6. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で子画面の映像が特殊再生時に、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項３に記載の映像データ再生装置。
  7. 前記再生映像は、２画面表示形式の映像であることを特徴とする請求項１又は２に記載の映像データ再生装置。
  8. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に他方の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項７に記載の映像データ再生装置。
  9. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に他方の映像が表示されるか否かを示した情報であることを特徴とする請求項７に記載の映像データ再生装置。
  10. 複数の映像データから得られる複数の復号映像を合成して再生映像を出力するのに利用される該映像データの映像データ生成装置であって、
    入力された映像を符号化し、符号化された映像データを得る符号化手段と、
    前記映像データに、前記再生映像の再生形態を指示する指示情報を書き込む指示情報書込手段と、
    を備えることを特徴とする映像データ生成装置。
  11. 複数の映像データから得られる複数の復号映像を合成して再生映像を出力するのに利用される該映像データの映像データ生成装置であって、
    入力された映像を符号化し、符号化された映像データを得る符号化手段と、
    前記映像データに関する管理データを生成する管理データ生成手段と、
    前記管理データ生成手段により生成された管理データに、前記再生映像の再生形態を指示する指示情報を書き込む指示情報書込手段と、
    を備えることを特徴とする映像データ生成装置。
  12. 前記映像データと、前記指示情報が書き込まれた前記管理データとを多重化した多重化データを生成する多重化データ生成手段を更に備えることを特徴とする請求項１１に記載の映像データ生成装置。
  13. 前記再生映像は、ピクチャ・イン・ピクチャ形式の映像であることを特徴とする請求項１０から１２の何れか一項に記載の映像データ生成装置。
  14. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１３に記載の映像データ生成装置。
  15. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生時に、子画面の映像が表示されるか否かを示した情報であることを特徴とする請求項１３に記載の映像データ生成装置。
  16. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で子画面の映像が特殊再生時に、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１３に記載の映像データ生成装置。
  17. 前記再生映像は、２画面表示形式の映像であることを特徴とする請求項１０から１２の何れか一項に記載の映像データ生成装置。
  18. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が特殊再生されるか否かを示した情報である請求項１７に記載の映像データ生成装置。
  19. 前記再生形態は、特殊再生時の再生形態を指し、前記指示情報は、前記２画面表示形式の映像で一方の映像が特殊再生時に、他方の映像が表示されるか否かを示した情報である請求項１７に記載の映像データ生成装置。
JP2005227579A 2005-06-20 2005-08-05 映像データ再生装置及び映像データ生成装置 Active JP4364176B2 (ja)

Priority Applications (27)

Application Number Priority Date Filing Date Title
JP2005227579A JP4364176B2 (ja) 2005-06-20 2005-08-05 映像データ再生装置及び映像データ生成装置
EP20100158809 EP2200300B1 (en) 2005-06-20 2006-06-13 Video synthesizing apparatus for trick-play reproduction in a picture-in-picture or double-frame display mode
CN201010145399A CN101808214A (zh) 2005-06-20 2006-06-13 视频数据再生装置、视频数据生成装置及记录介质
CN201010145398.XA CN101808245B (zh) 2005-06-20 2006-06-13 视频数据再生方法
CN2010101454183A CN101808215B (zh) 2005-06-20 2006-06-13 视频数据再生装置、视频数据生成装置及记录介质
KR1020097020218A KR100967503B1 (ko) 2005-06-20 2006-06-13 영상 데이터 재생 장치, 영상 데이터 생성 장치 및 기록 매체
EP20100158803 EP2200299B1 (en) 2005-06-20 2006-06-13 System comprising a video synthesizing apparatus and a recording medium and video data generating apparatus for special mode reproduction in a dual-frame display format.
US11/920,937 US8401368B2 (en) 2005-06-20 2006-06-13 Video data reproducing apparatus, video data generating apparatus and recording medium
KR1020107001633A KR100992767B1 (ko) 2005-06-20 2006-06-13 영상 데이터 재생 장치, 영상 데이터 생성 장치 및 기록 매체
KR20087001254A KR101027381B1 (ko) 2005-06-20 2006-06-13 영상 데이터 재생 장치, 영상 데이터 생성 장치 및 기록 매체
EP20100158811 EP2200301B1 (en) 2005-06-20 2006-06-13 Video data reproducing device, video data generating device, and recording medium for trick-play reproduction in a picture-in-picture mode
CN2006800222212A CN101204089B (zh) 2005-06-20 2006-06-13 视频数据再生装置、视频数据生成装置
CN2010101453706A CN101808212B (zh) 2005-06-20 2006-06-13 视频数据再生装置、视频数据生成装置及记录介质
ES10158803T ES2432021T3 (es) 2005-06-20 2006-06-13 Sistema que comprende un aparato de síntesis de vídeo, y un medio de grabación y un aparato para generación de medios de vídeo para reproducción en modo especial en un formato de presentación de doble marco
EP20100158792 EP2200298B1 (en) 2005-06-20 2006-06-13 Video data reproducing device, video data generating device, and recording medium for trick-play reproduction in a picture-in-picture mode
ES06766652T ES2384112T3 (es) 2005-06-20 2006-06-13 Dispositivo de reproducción de datos de video, dispositivo de generación de datos de video, y medio de grabación
ES10158779T ES2432020T3 (es) 2005-06-20 2006-06-13 Sistema que comprende un aparato de reproducción de datos de vídeo, y un medio de grabación para reproducción en modo especial en un modo cuadro en cuadro o en modo de presentación de doble marco
EP20100158779 EP2200297B1 (en) 2005-06-20 2006-06-13 System comprising a video data reproducing apparatus and a recording medium for special mode reproduction in a picture-in-picture or double-frame display mode
PCT/JP2006/311841 WO2006137292A1 (ja) 2005-06-20 2006-06-13 映像データ再生装置、映像データ生成装置及び記録媒体
KR1020097005603A KR100947153B1 (ko) 2005-06-20 2006-06-13 영상 데이터 재생 장치, 영상 데이터 생성 장치 및 기록 매체
CN2010101453833A CN101808213B (zh) 2005-06-20 2006-06-13 视频数据再生装置、视频数据生成装置及记录介质
EP20060766652 EP1906663B1 (en) 2005-06-20 2006-06-13 Video data reproducing device, video data generating device, and recording medium
US12/798,178 US9319654B2 (en) 2005-06-20 2010-03-31 Video data reproducing apparatus, video data generating apparatus and recording medium
US12/798,176 US20100195984A1 (en) 2005-06-20 2010-03-31 Video data reproducing apparatus, video data generating apparatus and recording medium
US12/798,235 US20100220973A1 (en) 2005-06-20 2010-03-31 Video data reproducing apparatus, video data generating apparatus and recording medium
US12/798,175 US20100195983A1 (en) 2005-06-20 2010-03-31 Video data reproducing apparatus, video data generating apparatus and recording medium
US12/798,225 US20100202760A1 (en) 2005-06-20 2010-03-31 Video data reproducing apparatus, video data generating apparatus and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005179791 2005-06-20
JP2005227579A JP4364176B2 (ja) 2005-06-20 2005-08-05 映像データ再生装置及び映像データ生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009163383A Division JP2009296604A (ja) 2005-06-20 2009-07-10 映像データ再生装置、映像データ生成装置及び記録媒体

Publications (2)

Publication Number Publication Date
JP2007037068A true JP2007037068A (ja) 2007-02-08
JP4364176B2 JP4364176B2 (ja) 2009-11-11

Family

ID=37570321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005227579A Active JP4364176B2 (ja) 2005-06-20 2005-08-05 映像データ再生装置及び映像データ生成装置

Country Status (7)

Country Link
US (6) US8401368B2 (ja)
EP (6) EP2200300B1 (ja)
JP (1) JP4364176B2 (ja)
KR (4) KR101027381B1 (ja)
CN (5) CN101808215B (ja)
ES (3) ES2432020T3 (ja)
WO (1) WO2006137292A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132774A1 (ja) 2007-04-13 2008-11-06 Panasonic Corporation 動画像復号化方法、動画像復号化装置および電子機器
JP2009296604A (ja) * 2005-06-20 2009-12-17 Sharp Corp 映像データ再生装置、映像データ生成装置及び記録媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007153738A (ja) 2005-11-30 2007-06-21 Kuraray Co Ltd １，３−ブタジエンを含む混合物およびその製造方法
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
WO2010001609A1 (ja) * 2008-07-04 2010-01-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法
EP2306729B1 (en) 2008-07-31 2013-08-14 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream
US8321401B2 (en) 2008-10-17 2012-11-27 Echostar Advanced Technologies L.L.C. User interface with available multimedia content from multiple multimedia websites
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
CN105635772A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 画中画视频播放方法和支持画中画视频播放的移动终端
CN109743635B (zh) * 2018-11-08 2020-05-22 北京微播视界科技有限公司 评论回复方法、装置、设备和存储介质
CN111432260A (zh) * 2020-03-31 2020-07-17 腾讯科技（深圳）有限公司 多路视频画面的同步方法、装置、设备及存储介质
WO2023049915A1 (en) * 2021-09-27 2023-03-30 Bytedance Inc. Method, device, and medium for video processing
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288444A (ja) * 1987-05-20 1988-11-25 Sanyo Electric Co Ltd ビデオテ−プレコ−ダ
DE69636819T2 (de) * 1995-08-21 2007-10-04 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren zur Wiedergabe einer optischen Multimedia-Platte die einem Titel-Entwickler das Koordinieren der Verwendung besonderer Wiedergabefunktionen erlaubt
JPH0965225A (ja) 1995-08-24 1997-03-07 Hitachi Ltd テレビジョン装置及びその表示方法
EP0838948B1 (en) * 1996-05-09 2000-03-15 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk, reproducing device, and reproducing method capable of superposing sub-video upon main video in well-balanced state irrespective of position of main video on screen
JP3269000B2 (ja) * 1997-03-31 2002-03-25 三洋電機株式会社 映像信号処理回路
US6212680B1 (en) * 1998-03-04 2001-04-03 Kabushiki Kaisha Toshiba Multi-channel electronic programming guide and soft picture-in-picture acquisition for use with digital television
DK1050049T3 (da) * 1998-11-16 2014-08-18 Koninkl Philips Nv Fremgangsmåde og indretning til optagelse af realtidsinformation
US6317164B1 (en) * 1999-01-28 2001-11-13 International Business Machines Corporation System for creating multiple scaled videos from encoded video sources
US6223089B1 (en) * 1999-03-15 2001-04-24 Raylar Design, Inc. Method and apparatus for controlling computers remotely
JP2000358217A (ja) 1999-06-14 2000-12-26 Matsushita Electric Ind Co Ltd デジタル放送システムおよびデジタルビデオ記録再生装置
EP1343168A4 (en) * 2000-12-05 2006-03-22 Matsushita Electric Ind Co Ltd RECORDING / PLAYBACK AND RECORDING MEDIUM
JP4086477B2 (ja) 2001-03-23 2008-05-14 三洋電機株式会社 コンテンツ符号化方法及びコンテンツ配信方法及びコンテンツ受信端末装置
JP2002344893A (ja) 2001-05-14 2002-11-29 Hitachi Ltd ディジタル放送送信装置並びに受信装置
KR100752482B1 (ko) 2001-07-07 2007-08-28 엘지전자 주식회사 멀티채널 스트림 기록 재생장치 및 방법
JP2003289509A (ja) 2002-01-22 2003-10-10 Matsushita Electric Ind Co Ltd 蓄積コンテンツ再生装置、その再生方法、その再生プログラムおよびその媒体、コンテンツ送受信システム、および特定フレーム情報ファイル
US20030184679A1 (en) * 2002-03-29 2003-10-02 Meehan Joseph Patrick Method, apparatus, and program for providing slow motion advertisements in video information
US7849487B1 (en) 2002-05-31 2010-12-07 Microsoft Corporation Review speed adjustment marker
MXPA05003234A (es) * 2002-09-26 2005-07-05 Koninkl Philips Electronics Nv Aparato para recibir una senal de informacion digital.
US20050185936A9 (en) * 2002-11-08 2005-08-25 Ich-Kien Lao Mobile and vehicle-based digital video system
US20040168185A1 (en) 2003-02-24 2004-08-26 Dawson Thomas Patrick Multimedia network picture-in-picture
JP4285099B2 (ja) * 2003-06-19 2009-06-24 パナソニック株式会社 データ再生方法及びデータ再生装置
AU2004305792B2 (en) * 2003-09-12 2007-10-04 Opentv, Inc. Method and system for controlling recording and playback of interactive applications
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
EP1758122B1 (en) * 2004-06-18 2010-09-08 Panasonic Corporation Reproduction device, program, and reproduction method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296604A (ja) * 2005-06-20 2009-12-17 Sharp Corp 映像データ再生装置、映像データ生成装置及び記録媒体
JP2010161809A (ja) * 2005-06-20 2010-07-22 Sharp Corp 映像合成装置、記録媒体、プログラム及び映像データ生成装置
JP2010161808A (ja) * 2005-06-20 2010-07-22 Sharp Corp 記録媒体及びプログラムが記録された記録媒体
JP2010161807A (ja) * 2005-06-20 2010-07-22 Sharp Corp 記録媒体、映像データ再生装置及び映像データ生成装置
JP2010206803A (ja) * 2005-06-20 2010-09-16 Sharp Corp 映像合成装置及びプログラム
WO2008132774A1 (ja) 2007-04-13 2008-11-06 Panasonic Corporation 動画像復号化方法、動画像復号化装置および電子機器

Also Published As

Publication number Publication date
CN101808212A (zh) 2010-08-18
EP2200300B1 (en) 2013-10-09
US8401368B2 (en) 2013-03-19
WO2006137292A1 (ja) 2006-12-28
CN101808215A (zh) 2010-08-18
EP2200299A3 (en) 2010-08-11
US9319654B2 (en) 2016-04-19
EP2200299A2 (en) 2010-06-23
EP2200298A3 (en) 2010-08-11
CN101808213B (zh) 2012-10-24
KR20090033499A (ko) 2009-04-03
US20100195983A1 (en) 2010-08-05
EP2200297B1 (en) 2013-07-24
EP1906663A1 (en) 2008-04-02
CN101808215B (zh) 2012-11-28
US20100220973A1 (en) 2010-09-02
KR20100027234A (ko) 2010-03-10
KR100967503B1 (ko) 2010-07-07
JP4364176B2 (ja) 2009-11-11
KR100947153B1 (ko) 2010-03-12
EP2200299B1 (en) 2013-07-24
EP2200300A2 (en) 2010-06-23
EP2200297A3 (en) 2010-08-11
US20090232479A1 (en) 2009-09-17
KR100992767B1 (ko) 2010-11-05
CN101808212B (zh) 2012-11-21
EP2200300A3 (en) 2010-08-11
EP1906663B1 (en) 2012-04-18
EP2200298B1 (en) 2013-10-02
US20100202760A1 (en) 2010-08-12
EP2200301B1 (en) 2013-10-02
EP2200297A2 (en) 2010-06-23
ES2384112T3 (es) 2012-06-29
EP1906663A4 (en) 2010-03-24
US20100195985A1 (en) 2010-08-05
ES2432020T3 (es) 2013-11-29
EP2200301A3 (en) 2010-08-11
EP2200301A2 (en) 2010-06-23
CN101808245B (zh) 2015-11-25
KR101027381B1 (ko) 2011-04-11
CN101808245A (zh) 2010-08-18
CN101808214A (zh) 2010-08-18
CN101808213A (zh) 2010-08-18
US20100195984A1 (en) 2010-08-05
KR20090107093A (ko) 2009-10-12
EP2200298A2 (en) 2010-06-23
ES2432021T3 (es) 2013-11-29
KR20080025152A (ko) 2008-03-19

Similar Documents

Publication Publication Date Title
JP4364176B2 (ja) 映像データ再生装置及び映像データ生成装置
JP4408845B2 (ja) 映像合成装置及びプログラム
JP2010161807A (ja) 記録媒体、映像データ再生装置及び映像データ生成装置
JP4800353B2 (ja) 映像合成装置、プログラム及び記録媒体
JP4964319B2 (ja) 映像合成装置、プログラム及び記録媒体
JP5148651B2 (ja) 記録媒体及び表示用データのデータ生成装置
JP4964320B2 (ja) 映像合成装置及び記録媒体
JP4964318B2 (ja) 記録媒体及び表示用データのデータ生成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4364176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4