JP2013225914A - 符号化方法及び復号方法 - Google Patents

符号化方法及び復号方法 Download PDF

Info

Publication number
JP2013225914A
JP2013225914A JP2013134980A JP2013134980A JP2013225914A JP 2013225914 A JP2013225914 A JP 2013225914A JP 2013134980 A JP2013134980 A JP 2013134980A JP 2013134980 A JP2013134980 A JP 2013134980A JP 2013225914 A JP2013225914 A JP 2013225914A
Authority
JP
Japan
Prior art keywords
picture
access point
gop
information
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013134980A
Other languages
English (en)
Other versions
JP5355815B2 (ja
Inventor
Tomoaki Ryu
智明 龍
Kazuhiko Nakane
和彦 中根
Masaaki Shimada
昌明 島田
Etsuhisa Yamada
悦久 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=35782625&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013225914(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013134980A priority Critical patent/JP5355815B2/ja
Publication of JP2013225914A publication Critical patent/JP2013225914A/ja
Application granted granted Critical
Publication of JP5355815B2 publication Critical patent/JP5355815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H04N9/8081Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction
    • H04N9/8082Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Abstract

【課題】GOPの長さを長くしても、ランダムアクセスを可能とする。
【解決手段】ランダムアクセス可能なアクセスポイントとして用いられるPピクチャーを、当該Pピクチャーが属する前記映像情報単位の先頭のIピクチャー、またはBピクチャーを用いずに予測された以前のPピクチャーに基づいて、アクセスポイントPピクチャーとして符号化し、前記アクセスポイントPピクチャーの後続のピクチャーとして、直前の前記アクセスポイントPピクチャー、あるいは当該アクセスポイントPピクチャーから予測されたPピクチャーまたはBピクチャーに基づいて予測され、直前の前記アクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャーおよびBピクチャーを符号化する。
【選択図】図1

Description

この発明は、ランダムアクセス可能な映像情報記録媒体、並びに、映像データを映像情報記録媒体に記録する記録装置及び記録方法、ランダムアクセス可能な映像情報記録媒体から映像データを再生する再生装置及び再生方法に関するものである。本発明はまた、符号化装置及び方法、並びに復号化装置及び方法に関する。
蓄積媒体の容量を大きくすることなく、効率的にかつ簡単な方法で画像データの特殊再生を行う方式として、符号化された画像データをMPEG方式に準拠したフォーマットでパケット化して蓄積媒体に書き込む際に、Iピクチャーデータの少なくとも一部が格納されているパケットに対してIピクチャーインデックスを設定し、特殊再生時にはそのIピクチャーインデックスが設定されているパケットのみを読み出すようにした方式が提案されている(例えば、特許文献1等)。
特開平9−98430号公報(第4−10頁、第1−15図)
近年、MPEG4−AVC(H.264)をはじめとする、低ビットレートで符号化しても十分な画質が確保できる新しい符号化方式が普及し始めている。低ビットレートで高画質を実現するには、符号量の多いIピクチャーの枚数をできるだけ少なくすることが必要である。
一方、GOPの先頭フレームは必ず、Iピクチャーである必要があるため、Iピクチャーの枚数を減らすことは、GOPの長さが大きくなることに等しい。例えば携帯端末用のテレビ放送である、「1セグ放送」においては、最大5秒間のGOPまで許されている。
このように、GOPの長さが大きくなってくると、ランダムアクセス時には別のフレームを参照することなくデコードできるIピクチャーから再生を行うことが必要であるため、アクセス可能なポイントとして指定できる位置が大幅に減少することとなる。この場合、ユーザーが録画した映像に対してタイムサーチ等を行ったとしても、アクセス可能なポイントとして指定されている箇所がGOPの先頭にあるIピクチャーにしか存在しないため、ユーザーがある時点からの映像再生を希望したとしても、その位置に正確にアクセスすることが困難となり、希望した時点からずれた時間からの再生しか行えないといった不便が生じることとなる。また、GOPの長さが例えば5秒間に設定されている場合、その中間にランダムアクセスを行おうとすると、目的のピクチャーが再生されるまでに、最悪の場合2秒以上かかるといった問題もある。
本発明は、上記のような問題を解決するためになされたもので、GOPの長さを長くしても、ランダムアクセスを可能とすることを目的とする。
本発明は、
フレーム内符号化画像であるIピクチャー、1枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるPピクチャー、及び2枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像情報単位により構成される映像データを記録する符号化方法において、
ランダムアクセス可能なアクセスポイントとして用いられるPピクチャーを、当該Pピクチャーが属する前記映像情報単位の先頭のIピクチャー、またはBピクチャーを用いずに予測された以前のPピクチャーに基づいて、アクセスポイントPピクチャーとして符号化し、
前記アクセスポイントPピクチャーの後続のピクチャーとして、直前の前記アクセスポイントPピクチャー、あるいは当該アクセスポイントPピクチャーから予測されたPピクチャーまたはBピクチャーに基づいて予測され、直前の前記アクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャーおよびBピクチャーを符号化し、
アクセスポイントとなる前記Iピクチャーの時間情報と位置情報とを対応付けて記憶し、かつアクセスポイントとなる前記Iピクチャーのサイズ情報を含むエントリーポイントマップを生成することを特徴とする。
本発明によれば、GOPの長さを長くしても、ユーザーの希望する時点からの映像再生をスムーズに行うことができ、ランダムアクセスが可能となる。
(a)及び(b)は実施の形態1のGOPの構成を説明するための図である。 実施の形態1における、1GOPの中に2つのPピクチャーのアクセスポイントを設定した場合のGOPの構成例である。 実施の形態1における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。 実施の形態1,4,5の再生装置の構成を示す図である。 実施の形態1における、光ディスクにおける映像ファイルとEntry_map()中の各管理データとの関係を示す図である。 実施の形態2における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。 実施の形態2における、GOP内のピクチャーの参照とfram_numの関係を示す図である。 実施の形態3のGOPの構成を説明するための図である。 実施の形態3の再生装置の構成を示す図である。 実施の形態3における、各GOP内のアクセス情報が記述される“GOP_access_info”の構造を示す図である。 実施の形態3における、各GOP内のアクセス情報が記述される“GOP_access_info”の構造の他の例を示す図である。 実施の形態3における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。 実施の形態4における、表示順に並んだピクチャーの配列とランダムアクセス用に並び替えた記録時の配列との関係を示す図である。 実施の形態4における、GOP_structure()の構造を示す図である。 実施の形態4における、Entry_map()と各ピクチャーの配列との関係を表す図である。 実施の形態5における、表示順に並んだピクチャーの配列とランダムアクセス及び早送り再生用に並び替えた記録時の配列との関係を示す図である。 実施の形態5における、ランダムアクセスと早送り再生とに対応したインデックス情報の構造図である。
以下、実施の形態を図面を参照しながら説明する。
映像情報記録媒体として光ディスクである場合について主として示すが、ハードディスクや半導体メモリ等の記録媒体であってもよい。
また、本実施の形態では30フレーム/秒の映像をMPEG4−AVC(Advanced Video Codec)の符号化方式により、ディジタル映像データに圧縮して記録が行われる場合について説明する。ディジタル映像データの各フレームは、Iピクチャー、Pピクチャー、Bピクチャーの3種類の符号化画像のいずれかにより構成されている。Iピクチャーは、1フレーム内で符号化されるフレーム内符号化画像である。Pピクチャーは、1枚のフレームを複数のブロックに分割して各ブロックに対して別の1枚のフレームから予測される予測符号化画像、即ち、1枚のフレームから予測されるブロックの集合体である。Bピクチャーは、1枚のフレームを複数のブロックに分割して各ブロックに対して別の2枚のフレームを参照して予測する予測符号化画像、即ち、2枚のフレームから予測されるブロックの集合体である。また、少なくとも1つのIピクチャーを含むとともにIピクチャーを先頭にして1つ又は複数枚のPピクチャー及び1つ又は複数枚のBピクチャーを含んでなる映像単位としてGOP(Group of Picture)を構成し、映像データはこのGOPが複数集まって構成されている。ただし、MPEG4−AVCにおいてGOPは規格で規定されていないが、このようなGOPの概念をMPEG4−AVCに適用したものをここではGOPと呼び、GOPの長さを1.0秒に設定されていることを前提として説明を行う。
実施の形態1.
図1は、GOPの構成を説明するための図である。図において、IはIピクチャー、PはPピクチャー、BはBピクチャーを表す。一番左にあるI1ピクチャーが時間的に最も古い時間のピクチャーであり、右に行くほど新しい時間のピクチャーとなっており、表示順に配列されている。図中、矢印は各ピクチャーを符号化する際の、予測、参照の関係を示す。I,P,Bに続く番号は各ピクチャーを識別するための番号であり、I,P,Bごとに、時間的に古いものから番号が振られている。
図1(a)は、MPEG4−AVCで符号化した場合のGOPの構成例である。図1(a)を用いて各ピクチャーがデコードされる手順について説明を行う。なお、表示順は図1に示したとおりであるが、記録媒体等に記録する際にはデコード順に記録されている。
例えば、図1(a)においては、I1、P1、B1、B2、B3、B4、P2・・・の順で記録媒体に記録されている。
図1(a)において、I1は単独でデコード可能なピクチャーであり、且つ最初のピクチャーであるため、まず第一にデコードされる。デコードされたIピクチャーは、後のデコードに必要であるため、デコーダー内のフレームメモリーに一旦蓄積される。次に、P1がデコードされ、デコードされたPピクチャーもフレームメモリーに一旦蓄積される。
続いて、B1が、既にデコードされたI1、P1を参照しデコードされ、一旦フレームメモリーに蓄積される。ここでフレームメモリー内のI1は破棄される。次に、B1とP1とを参照してB2がデコードされ、一旦フレームメモリーに蓄積される。そして、B3がP1とB2とを参照してデコードされ、フレームメモリーに一旦蓄積され、フレームメモリー内のB3は破棄される。次に、P1とB3とを参照してB4がデコードされ、フレームメモリー内に一旦蓄積され、フレームメモリー内のピクチャーはB4を除いて破棄される。次にB4から予測されるP2がデコードされ、フレームメモリー内に一旦蓄積される。以下同様にして、次々とデコードが進んでいく。
以上のように、一つのピクチャーを復号するには、時間的に前方向及び/又は後方向のピクチャーを必要とするが、この仕組みが、ランダムアクセスへの大きな障害となっている。ここでP2に注目をする。P2のデコードにはB4が必要で、B4のデコードにはB3とP1が必要である。B3のデコードにはP1とB2が必要で、B2のデコードにはB1とP1が必要である。更にB1のデコードには、I1とP1が必要となる。よってP2より再生を開始しようとした場合、P2より以前にある、I1、B1、B1、P1、B3、B4のすべてのピクチャーをデコードした後でないと、デコードすることができないことがわかる。なお、MPEG2の場合は、MPEG4−AVCと違い、参照や予測に使うピクチャーの自由度がないため、P2から再生を行うには、I1、P1をデコードすることでP2はデコード可能である。このことはMPEG4−AVCで符号化された映像は、ランダムアクセス性に欠けることを意味する。低ビットレートで符号化する場合、符号化効率を上げるために、GOPの長さを長めにすることが一般的である。例えばGOPの長さを5秒程度にとった場合、その中間にランダムアクセスを行おうとすると、目的のピクチャーが再生されるまでに、最悪の場合2秒以上かかる場合が考えられる。
従って、MPEG4−AVCのように、参照や予測に用いるピクチャーに自由度が大きい符号化方式においては、GOPの途中にアクセスしようとする場合、多くのピクチャーをデコードする必要があるため、再生を開始するまでに時間を要する。その結果、ユーザーが希望する時点から再生しようとしても、再生が開始するまでに時間がかかったり、希望の時間からずれた時間より再生し始めたりといった不便が生じることとなる。
この問題を解決するには、符号化時にある程度の制約を与える必要がある。しかし、大きな制約を与えることは、MPEG4−AVCの良さを損なうことになるため、必要最小限にすべきである。図1(b)は、アクセスポイントAPとなるピクチャーを符号化する際に、ある制約条件を加えて符号化したGOPの構成である。各ピクチャーは、左から表示順に配列されている。このGOPでは、アクセスポイントAP以降のピクチャーを符号化する条件として、次の3つの制約を加えている。
1.アクセスポイントAPとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントAPとなるPピクチャーは、必ずGOP先頭のIピクチャーから予測する。
3.アクセスポイントAPのPピクチャー以降のピクチャーは、アクセスポイントAP以前のピクチャーから予測したり、参照したりしない。但しGOP先頭のIピクチャーは除く。
ここで、アクセスポイントAPとは、例えばユーザーが希望する時点等の、映像情報の任意の位置から再生するいわゆるランダムアクセスを行う際のアクセス可能な位置(ポイント)である。再生専用型光ディスクの場合にはディスクのオーサリング時に位置指定が行われ、追記可能型又は書換え可能型光ディスクの場合には当該光ディスクへの映像データを記録する際に記録装置が自動的に指定する。
図1(b)において、アクセスポイントAPであるP4から再生を行うには、まずGOP先頭のI1をデコードし、次にP4をデコードするだけでよい。P4以降のピクチャーは、P4よりも前のピクチャーを参照、予測に使っていないため、これ以降は通常のシーケンスでデコードすることで、連続した再生が可能である。
上記の制約条件で符号化すると、アクセスポイントAPであるP4から再生を行うには、GOP先頭のI1のデータを読み出してデコードするだけでよく、P4より以前のピクチャーを読み出したりデコードする必要がない。ここで、ディスクの読み出し速度を10Mbps、符号化レートを10Mbpsとし、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を10:6:1、シーク時間を100msecと仮定する。この時、I1とP4のデータサイズの合計は上記の条件で、約1.3Mbitとなり、これを読み出すために必要な時間は130msecである。I1を読み出した後、P4へアクセスするため、更に100msec分余計に時間を要するため合計230msec程度を要する。
上記の説明は、PピクチャーのアクセスポイントAPがGOP中に一つの場合について説明したが、GOPの中に複数のPピクチャーのアクセスポイントを設定することも可能である。図2は、1GOPの中に2つのPピクチャーのアクセスポイントAP1,AP2を設定した場合のGOPの構成例である。最初のPピクチャーのアクセスポイントAP1であるP4は、上述したPピクチャーのアクセスポイントAPが一つの場合と同じであるため、説明を省略する。2番目のアクセスポイントAP2はP8である。P4はI1より予測して符号化されているが、2つめのアクセスポイントAP2のP8の場合、I1からの時間的な距離が大きくなる。一般に予測するピクチャーの時間的距離が大きくなるほど、予測精度が低下して、画質劣化を引き起こす。よって2番目のアクセスポイントAP2以降のPピクチャーについては、Iピクチャーから予測するよりも、その1つ前のアクセスポイントAP1の位置にあるPピクチャーから予測する方がよい。2番目のアクセスポイントAP2の位置にあるP8の場合、1番目のアクセスポイントAP1のP4から予測することで、符号化を行う。但し、場合によっては、I1から予測した場合のほうが、符号効率が良くなる場合もあるので、必ずしも一つ前のアクセスポイントから予測する必要はない。
よって、2番目以降のPピクチャーのアクセスポイントの符号化条件は以下のようになる。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたはアクセスポイントとなるPピクチャーから予測する。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
2番目のアクセスポイントAP2のP8から再生を開始する場合、まずGOPの先頭であるI1を再生する。次に1番目のアクセスポイントAP1であるP4を読み出し復号する、さらにP8を読み出し復号することで、それ以降は通常に再生することができる。アクセスポイントAPが1箇所の場合と違って、複数アクセスポイントが存在する場合は、GOP先頭のIピクチャー、目的のアクセスポイント以前のアクセスポイントになっているPピクチャーを再生する必要があるため、GOP内の後ろのアクセスポイントになるに従って、再生開始までの時間を要するが、このような制約条件を加えずに符号化した場合と比較して、十分早く映像を再生することが可能である。
以上の符号化条件において、GOP途中のアクセスポイントから迅速な再生を行うために、以下のようなインデックス情報を映像データ中に配置する。図3は、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。図3において、Entry_map()は、アクセスポイントに必要な情報が格納されたデータ領域であり、ナビゲーションデータの一部を構成している。ナビゲーションデータとは、記録媒体内の映像ファイル等のコンテンツの再生を制御するための制御情報や管理情報全般のことを指し、アクセスポイントのインデックス情報もこの中に含まれる。
図3の“number_of_IAP”には、動画ファイル中に存在するIピクチャーのアクセスポイントの総数が記述される。動画ファイルは複数のGOPにより構成されているが、GOPの先頭のIピクチャーは必ずしもアクセスポイントにする必要はないので、GOPの数と“number_of_IAP”の数は一致する必要は無いが、GOPの総数を超えることはない。
図3において、“number_of_IAP”の次のforループ文は、“number_of_IAP”の数だけ繰り返されるループである。この中に、1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでの、以下のようなアクセスポイント情報が記述される。なお、数秒程度のGOPの場合、GOP先頭のIピクチャーは必ずアクセスポイントとして指定されるため、GOPごとのアクセスポイント情報とみなしてよい。
図3の“I_PTS_AP[IAP_id]”は、アクセスポイント先頭の再生タイミングを意味する表示時間情報であるIピクチャーのPresentation Timeが記述される。ここでのPresentation Timeは、MPEG2の各ピクチャーに記述されるPTSでもよいし、映像ファイルの先頭からの相対的な時間を示す値でもよい。ここで、括弧内の[IAP_id]は、“number_of_IAP”のうちの、あるIピクチャーのアクセスポイントの番号を意味し、例えば、“I_PTS_AP[IAP_id]”は[IAP_id]で特定されるIピクチャーのアクセスポイントについての“I_PTS_AP”情報という意味である。以下においても同様の意味であるため以下の説明では省略する。
次の“I_SCN_AP”は、アクセスポイント先頭のIピクチャーについての映像ファイル内での位置情報、またはディスク内での位置情報を意味する情報である。本実施の形態では、アクセスポイント先頭のIピクチャーについての、映像ファイルの先頭アドレスからの相対セクター数が記述される。ここではセクター数としてあるが、バイト数等であってもよく、映像ファイルの先頭からの位置、またはディスクの絶対位置が特定できる情報であればよい。“Size_of_IAP”は、アクセスポイント先頭のIピクチャーのデータサイズを意味する情報である。ここではIピクチャーの最終バイトが存在するセクターの、当該Iピクチャーの存在するGOP先頭からの相対セクター数が記述される。以上の3つのアクセスポイント情報により、アクセスポイント先頭のIピクチャーの先頭位置、表示時刻、データサイズを知ることが可能となる。
更に図3において、“number_of_PAP”は、1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイントの総数、一般的には次のGOP先頭までのPピクチャーのアクセスポイントの総数、が記述される。次のforループ文は、この“number_of_PAP”の数だけ繰り返されるループである。“P_PTS_AP[IAP_id][PAP_id]”は、上記“I_PTS_AP”と同様のものであり、アクセスポイントとなるPピクチャーの表示タイミングを意味するPresentation Timeが記述される。
ここでのPresentation Timeは、MPEG2の各ピクチャーに記述されるPTSでもよいし、映像ファイルの先頭からの相対的な時間を示す値でもよい。一般に映像データ以外のデータ量は小さいほどよい。クロック周波数を90kHzとすると絶対的なPTSの場合は、33bitのデータ量が必要であるが、GOPの最大長を5秒とすると、相対的なPTSに要するデータ量は19bitに削減されるため、“P_PTS_AP[IAP_id][PAP_id]”の値は、GOP先頭からの相対的な時間とするほうがよい。本実施の形態では、映像ファイル先頭からの相対的なPresentation Timeとしている。ここで、括弧内の[IAP_id][PAP_id]は、IAP_idで特定される1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイント(“number_of_PAP”)のうちの、あるPピクチャーのアクセスポイントの番号に対応する情報であることを意味する。例えば、“P_PTS_AP[IAP_id][PAP_id]”は、[IAP_id]で特定される1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイントのうちの、あるPピクチャーのアクセスポイント[PAP_id]で特定される“P_PTS_AP”情報という意味である。以下においても同様の意味であるため以下の説明では省略する。
次の“P_SCN_AP”は、上記“I_SCN_AP”と同様のものであり、そのPピクチャーについての、アクセスポイント先頭のGOP内の位置情報または、映像ファイル内での位置情報である。ここではIピクチャーのアクセスポイント先頭からの相対セクター数が記述される。“Size_of_PAP”は、“Size_of_IAP”と同様に、アクセスポイントのPピクチャーのデータサイズを意味する情報である。ここではアクセスポイントとなるPピクチャーの最終バイトが位置するセクターの、当該Pピクチャー先頭からの相対セクター数が記述される。上記の3つの情報から、アクセスポイントとなるPピクチャーの動画先頭位置、表示時刻、データサイズを知ることが可能となる。
以上のようにアクセスポイントのインデックス情報を構成することにより、各アクセスポイントの位置情報、時間情報、ピクチャーサイズを知ることが可能となる。次に上記インデックス情報を利用してアクセスポイントからの再生を行う手順について説明をする。
図4は再生装置100の構成を示す図であり、図5は光ディスクにおける映像ファイルとEntry_map()中の各管理データとの関係を示す図である。
通常の再生シーケンスを説明する。ユーザーからの再生指示が、ユーザーインターフェース(I/F)部101からCPU102に入力されると、光ディスクからデータを読み出すドライブ103を制御するドライブ制御部104へ、ナビゲーションデータ1の読み出し命令が出される。読み出されたナビゲーションデータ1はドライブ制御部104を経由してワークメモリー105へ転送される。CPU102、ドライブ制御部104、ワークメモリー105はアドレスバス、データバスで構成されるシステムバス106でCPU102と接続されており、CPU102からの命令、各ブロック間のデータの転送は、このシステムバス106を使って行われる。CPU102は、ワークメモリー105に展開されたナビゲーションデータ1より、ユーザーからの再生指定された番組に関する管理情報を抽出する。CPU102は、この抽出された管理情報に従って、映像データ2から再生に必要な映像ファイル3のデータ読み出しをドライブ制御部104に指示し、ドライブ103によって所望のデータが読み出される。読み出されたデータは、システムバス106を経由して、符号化されたデータを復号するデコーダー107に付帯するバッファメモリー108へ、一旦蓄積される。CPU102は、映像や音声が途切れなく再生できるように、バッファメモリー108が空になったり、オーバーフローしないよう制御を行う。
一旦バッファメモリー108に蓄積されたデータはデコーダー107で映像信号に復号され、TV等の表示装置109へ出力される。
次に、ユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。ユーザーから時間指定されたサーチ命令がユーザーI/F部101から出されると、CPU102は、ワークメモリー105に蓄積された、ナビゲーションデータ1のEntry_map()を参照する。ここでEntry_map()中の“I_PTS_AP”の中で、ユーザーの指定した時間に最も近いアクセスポイントであるIピクチャーについての時間情報をI_PTS_AP(k)とする。また、“P_SCN_AP”の中で、最も近いアクセスポイントであるPピクチャーj(jは1以上の整数で、Iピクチャーから数えてj番目のPピクチャーのアクセスポイントとする。)についての時間情報を“P_PTS_AP(j)”とする。ここで、上記IピクチャーはGOP(k)4に含まれるとする。
現在再生中の映像ファイル3の先頭アドレスは、記録媒体のファイルシステムから認識できる。よって映像ファイル3の先頭アドレスに、上記Iピクチャーについての位置情報である“I_SCN_AP(k)”を加算したアドレスが、目的のアクセスポイントを含むGOP(k)4の先頭に位置するIピクチャーの絶対アドレスとなる。CPU102は、その絶対アドレスからのデータ読み出しを、ドライブ制御部104へ命令する。ここで読み出されるデータ量は、当該Iピクチャーについてのデータサイズである“Size_of_IAP”に記述されたセクター分である。このように位置情報とデータサイズとに基づいて読み出された当該Iピクチャーのデータは、ドライブ制御部104から、バッファメモリー108へ一旦蓄積される。
このようにして、Iピクチャーの読み出しが完了すると、CPU102は、映像ファイルの先頭アドレスに、上記Iピクチャーについての位置情報である“I_SCN_AP(k)”と、すぐ次のアクセスポイントでありかつPピクチャーについての位置情報である“P_SCN_AP(1)”(図示せず)とを加算したアドレスからのデータ読み出しを、ドライブ制御部104に命令する。ここで読み出されるデータ量は“Size_of_PAP(1)”に記述されたセクター分である。このように位置情報とデータサイズとに基づいて読み出された当該Pピクチャーのデータは、ドライブ制御部104から、バッファメモリー108へ一旦蓄積される。
Pピクチャーjを再生するには、GOP(k)4のIピクチャーと、それ以降のアクセスポイントのPピクチャーAP(1)〜AP(j)を読み出せばよいため、以上の動作をj回分繰り返す。このようにして、目的のアクセスポイント“P_PTS_AP(j)”に到達する。
CPU102は、目的のアクセスポイントから最短で映像が出力できるようタイミングを計算し、バッファメモリー108に蓄積されたデータをデコーダー107へ転送し、デコードをスタートさせる。以上の手順により、ユーザーの指定した時間からの再生が行われる。なお、ユーザーが再生すべき時刻を指定するタイムサーチを行う場合について示したが、再生すべきピクチャーやアドレス自体を指定してもよく、本発明の再生指定位置はこれらの再生指定時刻やアドレス、再生指定映像等を含むものである。
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するアクセスポイントのPピクチャーから予測符号化することによって、符号化効率を保持することができる。
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上とランダムアクセス性とを両立することが可能となる。
実施の形態2.
実施の形態1において、GOP内に存在するアクセスポイントの表示時間情報として、GOPの先頭からの相対的な時間情報である、“P_PTS_AP[IAP_id][PAP_id]”を利用したが、さらにデータサイズの小さい情報を利用して時間情報を取得する方法について説明をする。図6は、新しい“Entry_map()”の構造を示す図である。図16の“Entry_map()”と異なる点は、“P_PTS_AP[IAP_id][PAP_id]”の代わりに、“frame_num[IAP_id][PAP_id]”を利用している点である。“frame_num”はMPEG4−AVCストリームのslice_headerに記述されるパラメーターである。“frame_num”は参照ピクチャーがデコードされる度にインクリメントされる情報であり、4bitから16bitの値をとる。図7はGOP内のピクチャーの参照とfram_numの関係を示す図である。図7に示すように、“frame_num”の値は、参照ピクチャーがデコードされる度に、一ずつインクリメントされる。この時のアクセスポイントの表示順番は、次式によって算出される。
Display_order[IAP_id][PAP_id]
=(frame_num[IAP_id][PAP_id]
−frame_num[IAP_id])*M
数式中のMはPピクチャーの間隔を示す値で、図7の場合M=3となる。上記数式に従って計算すると、アクセスポイントの表示順番は15枚目と計算することができる。PTSのクロック周波数を90Hz、フレーム周波数を24Hzと仮定すると、フレーム間のPTSの差は90000/24=3750となるため、GOP先頭のピクチャーからの相対的なPTSの値は次式により算出される。
P_PTS_AP[IAP_id][PAP_id]
=Display_order[IAP_id][PAP_id]*3750
但し、上記2つの式のような計算を可能とするには、エンコード時に次の条件を満たすことが必要である。
1.Bピクチャーは参照ピクチャーとしない。
2.参照ピクチャーのre−orderが発生する参照をしない。
3.GOP内の参照ピクチャーと参照ピクチャーの間のBピクチャーの枚数は固定値とする。
以上の条件が満たされていれば、“frame_num”の値からアクセスポイントの表示時間を容易に計算することが可能である。“frame_num”のデータ量は最大16bitであるが、必ずしもすべてのbit数を利用する必要は無い。例えば、GOPの長さを最大5秒、フレーム周波数を30Hz、M=3とすると、GOP中に存在するフレーム数は最大150枚となり、そのうちPピクチャーは50枚とある。よって“frame_num”の下位6bitがあれば、Iピクチャーからの相対的なフレーム数を計算することが可能である。
以上、説明したようにエンコード時に所定の条件が満たされている場合、“frame_num”からアクセスポイントとなるPピクチャーの表示時間を容易に計算することができ、PTSを利用した場合に比較して、映像データ以外のデータ量を減らすことが可能である。また、本実施の形態では、“frame_num”からアクセスポイントの表示時間を計算したが、デコード順を表す情報であれば、同様にアクセスポイントの表示時間を計算することができる。
実施の形態3.
実施の形態1において、GOP途中のPピクチャーによるアクセスポイントへのアクセス手法について説明したが、符号化の方式を制御することで更に、高画質でアクセス速度も速く再生する方法を本実施の形態では説明する。
実施の形態1では、アクセスポイントのPピクチャーの予測に用いるピクチャーはGOP先頭のIピクチャーまたは、アクセスポイントとなっているPピクチャーであった。一般にPピクチャーの符号量を減らすためには、極力時間的に近いピクチャーから予測するほうが、符号量を抑えることができる。よって同じビットレートで符号化した場合、先頭のIピクチャーから予測するよりも、近くのピクチャーから予測したほうが、より高画質に符号化できる。アクセスポイントは0.5秒、1.0秒といった単位で設定されるが、これだけ時間的に離れたピクチャーから予測すると、Pピクチャーの符号量が多くなる可能性が高い。よってGOP途中に、アクセスポイントを設定しないケースと比較して、高画質の点から不利になることが予想される。
実施の形態1では、ディスクからの読み出しレートと、符号化のビットレートとが比較的近い場合について説明をしたが、読み出しレートが符号化のレートを大きく上回る場合は、目的のアクセスポイントまでのデータをシーク動作無しに、比較的短い時間で、データの読み出しが可能であるため、次に挙げる条件でエンコードをすることで、比較的近いPピクチャーからアクセスポイントの予測が可能となり、高画質化を図ることが可能である。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたは当該アクセスポイント以前のPピクチャーから予測され、アクセスポイントとなるPピクチャーのデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
実施の形態1と異なる点は、アクセスポイントとなるPピクチャーがIピクチャーとアクセスポイント間のPピクチャーとの間のPピクチャーから予測され、アクセスポイントのPピクチャーをデコードするのに必要な、過去のピクチャーの中にBピクチャーを含まないようにエンコードされる点である。図8は上記の条件下でエンコードした場合の、GOPの構成を説明するための図である。図8において、アクセスポイントであるP5は、P4より予測され、P4はP3、P3はP2、P2はI1より予測される。即ち、上記の条件でエンコードすることにより、アクセスポイントP5をデコードするには、I1、P2、P3、P4の4枚のピクチャーをデコードするだけでよい。なお、図8において、P1はアクセスポイントとなるP5のデコードに必要なピクチャーではないため、P1に基づいて他のBピクチャーを予測してもよい。
実施の形態1でも説明したが、何の制約もなしにエンコードをした場合は、P5以前の18枚のデコードをする必要があり、これに比較すると大幅にデコードするピクチャーの枚数を減らすことができる。
ここで、ディスクの読み出し速度を10Mbps、符号化レートを2Mbps、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を10:6:1、Pピクチャーのデコードに要する時間を20msecと仮定する。I1からP5までのデータ量は約1.5Mbitであり、これを読み出すためには、約150msecが必要である。一方P5までをデコードするために必要な時間は約100msecとなる。この場合は、読み出し時間の方が支配的であるため、150msec後にP5のデコードが開始可能である。この様に、符号化レートが読み出しレートに比べ非常に小さい場合は、上記の条件で符号化することにより、短時間にアクセスポイントからの再生が可能である。仮に符号化レートが実施の形態1と同じ10Mbpsである場合は、データの読み出しに要する時間は5倍の約750secとなるため実用的でない。
次に連続して読み出された一連のピクチャーデータの中から、アクセスポイントP5をデコードするのに必要なPピクチャーを選択する方法について、図9、図10又は図11を用いて説明する。図9は再生装置120の構成を示す図であり、図10は各GOP内のアクセス情報が記述される“GOP_access_info”の構造を示す図である。
図9の再生装置120において、図4の再生装置100と異なる点は、バッファメモリー108に蓄積されたデータがデコーダー107に出力される際に、アクセスポイントのデコードに際して、必要なピクチャーであるか否かを示す情報に従ってデコーダー107に出力するピクチャーを選択するピクチャー選択部110を介して行われる点である。
ピクチャーの選択はLSIの中で自動的に処理されるため、“GOP_access_info”は、図5の映像ファイル3中において、各アクセスポイントのIピクチャーよりも先頭側に配置する。MPEG4−AVCの場合、SEI(Supplemental Enhancement Information)内のユーザー領域に記述するのが一般的である。SEIは、映像ファイル中に分散して存在する、各アクセスポイントのIピクチャーよりも先頭側に配置された管理情報領域である。
図10において、“ref_IAP_id”は、例えば図3に示したEntry_map()中の、アクセスポイントとなっている個々のIピクチャーを特定するための番号が記述されているが、“ref_IAP_id”は特に必要な情報ではない。次の“number_of_P_picture_in_GOP”は、“ref_IAP_id”で特定されるアクセスポイントのIピクチャーからGOP内の最終のアクセスポイントまでのPピクチャーの総数が記述される。次のforループは“number_of_P_picture_in_GOP”の数だけ繰り返されるループである。“frame_num”は実施の形態2で説明したように、この情報からPピクチャーの表示時間情報が計算される。ここでは“frame_num”を用いているが、実施の形態1のようにPTSを使ってよい。“P_SCN_AP”は対象のピクチャーのGOP先頭からの、相対的なセクター数を示す情報である。これを利用して目標となるアクセスポイントであるPピクチャーのデータの所在場所を直接算出し、素早くアクセスすることができる。
“picture_type”には、個々のPピクチャーが、次のアクセスポイントのPピクチャーをデコードするために必要なPピクチャーであるのか、アクセスポイントそのものであるのか、を示す属性情報が記述される。例えばアクセスポイントであるPピクチャーである場合は、“2”、次のアクセスポイントをデコードするのに必要なPピクチャーである場合“1”、いずれでもない場合は“0”が記述される。以上の情報から、GOP内にあるアクセスポイントとなるPピクチャーの表示時間とその位置情報、アクセスポイントのデコードに必要なPピクチャーの表示時間とその位置情報を知ることが可能となる。
図11において、“ref_IAP_id”は、例えば図3に示したEntry_map()中の、アクセスポイントとなっている個々のIピクチャーを特定するための番号が記述されている。次の“number_of_PAP”は、“ref_IAP_id”で特定されるアクセスポイントのIピクチャーから次のアクセスポイントのIピクチャー内の、Pピクチャーのアクセスポイントの総数が記述される。次のforループは“number_of_PAP”の数だけ繰り返されるループである。”P_PTS_AP[PAP_id]”及び“P_SCN_AP[PAP_id]”は、実施の形態1と同様に、アクセスポイントとなっているPピクチャーを識別する番号(識別情報)[PAP_id]で特定される表示時間情報と位置情報である。ここで、“P_PTS_AP”はユーザーがタイムサーチを指定した場合にその指定時間と最も近いアクセスポイントのPピクチャーを特定するために必要であるが、“P_SCN_AP”は特に必要ではない情報である。ただし、“P_PTS_AP”の代わりに“P_SCN_AP”を用いてもよいし、両方を併用してもよい。“number_of_P_picture”はアクセスポイントとアクセスポイントの間に存在するPピクチャーの総数が記述される。次のforループは“number_of_P_picture”の数だけ繰り返されるループである。“picture_type”は、個々のPピクチャーが、次のアクセスポイントのPピクチャーをデコードするために必要か否かを示す属性情報が記述される。例えば必要なピクチャーである場合“1”、必要ない場合“0”が記述される。ここで、最後に“[PAP_id][P_id]”が付されているのは、アクセスポイントのPピクチャー[PAP_id]で特定されるか、又はPピクチャー[P_id]で特定される情報のいずれかを意味する。
図9において、Entry_map()中の“I_SCN_AP”で記述されたアドレスから読み出されたデータが、バッファメモリー108に一旦蓄積された後、ピクチャー選択部110へ送られる。ピクチャー選択部110では、前記“picture_type”情報に従って、アクセスポイントP5をデコードするのに必要なピクチャーだけを選択して、デコーダー107へ転送する。なお、一般に各ピクチャーの境界は各ピクチャーの先頭にあるヘッダー情報で識別することが可能であるため、各ピクチャーの位置情報を付加する必要はないが、そのようなヘッダー情報が無い場合は“GOP_access_info”中に各ピクチャーの位置情報を付加すればよい。
本実施の形態ではピクチャー選択部110はデコーダー107の前に配置するだけでなく、バッファメモリー108の前段に配置して、バッファメモリー108に蓄積する前にデコードに必要なピクチャーのデータを選択しても同様の効果が得られる。
次にユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。図12は実施の形態3のEntry_map()を表す図である。図12において、実施の形態1と異なるのは、“number_of_PAP”以下の記述が存在しない点、及びI_SCN_AP[IAP_id]の代わりにSEI_SCN_AP[IAP_id]が配置されている点である。ここで、SEI_SCN_AP[IAP_id]は、アクセスポイントのIピクチャーを識別する番号[IAP_id]で特定されるアクセスポイントのIピクチャーのすぐ前に配置されているSEIについての映像ファイル内での位置情報、またはディスク内での位置情報を意味する情報である。本実施の形態では、アクセスポイントのIピクチャーのすぐ前に配置されているSEIについての、映像ファイルの先頭アドレスからの相対セクター数が記述される。ここではセクター数としてあるが、バイト数等であってもよく、映像ファイルの先頭からの位置、またはディスクの絶対位置が特定できる情報であればよい。
実施の形態3においては、前述したように、アクセスポイントとなっているIピクチャーからシーク動作なしでPピクチャーのアクセスポイントのデータ読み出しを行うため、GOP中のPピクチャーのアクセスポイントへ直接シークする必要がない。よってEntry_map()にはIピクチャーのアクセスポイント情報だけがあればよい。また、アクセスポイントとなっているIピクチャーを読み出すために、当該アクセスポイントのIピクチャーから次のアクセスポイントのIピクチャーまでの間の管理情報が記録されているSEIをまず最初に読み出す必要があるため、図12に示したように、Entry_map()には、当該SEIの位置情報であるSEI_SCN_APを記録しておく。
ユーザーから再生希望時点又は再生希望映像が指定されると、実施の形態1の場合と同様に、まず、コンテンツデータ領域とは別に記録されている管理領域であるEntry_map()にアクセスして、指定された時間に最も近いアクセスポイントのIピクチャーが特定される。次に、この特定されたIピクチャーのアクセスポイント情報、特に当該SEIの位置情報であるSEI_SCN_APをもとに、このIピクチャーのアクセスポイントに対応する番号“ref_IAP_id”の“GOP_access_info”にアクセスされる。
実施の形態1とは異なり、特定されたアクセスポイントのIピクチャーの“I_PTS_AP(k)”で指定されるアドレスから連続的にデータは読み出される。さらに目的の時間に最も近いPピクチャーのアクセスポイントまでの読み出されたデータについては、アクセスポイントをデコードするのに必要なPピクチャーのみがデコードされ、それ以降に読み出されたデータはすべてデコードされ、目的の時間に最も近いPピクチャーのアクセスポイントからの再生が行われる。
図10及び図11において、GOP_access_info()が映像ファイル中に存在する場合について説明したが、この情報をナビゲーション情報のEntry_map()中に記述しても、同様の機能を実現することは可能である。但し、ナビゲーション情報はCPU102で解釈することが一般的であるため、Entry_map()中に記述した場合、例えばGOPの先頭へアクセスする度に、CPU102からピクチャー選択部110へ、ピクチャーの選択情報を設定することが必要となる。
以上のように、読み出しレートが符号化レートを大きく上回る場合において、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報を記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。更に、次のアクセスポイントのデコードに必要なピクチャーであるかを示す属性情報を記録しておくことによって、デコードに必要か否かの判断が容易になる。
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持とランダムアクセス性とを両立することが可能となる。
実施の形態4.
実施の形態3において、読み出しレートに比べて符号化レートが小さい場合について説明をしたが、符号化レートが読み出しレートに近づいてくると、データの読み出し時間が大きくなり実用的でなくなる。符号化レートを8Mbps、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を4:2:1、と仮定する。この時、図8のアクセスポイントP5までのデータ量は、約5Mbitとなりデータの読み出しに500msecを要し、符号化レートが小さいときに比較して、読み出しに要する時間が大幅に大きくなる。これを解消するためには、アクセスポイントのPピクチャーのデコードに必要なデータだけを読み出して、不必要なデータの読み出しを行わないことが必要となる。例えば図8のアクセスポイントP5までのデータ量からP5のデコードに必要の無いデータを除いたデータ量は、約2.5Mbitとなり、読み出しの時間を半減することが可能となる。このようにアクセスポイントのデコードに必要なデータのみを読み出すことは、以下の条件でエンコードすることで実現することが可能となる。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたは当該アクセスポイント以前のPピクチャーから予測され、アクセスポイントとなるPピクチャーをデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
4.アクセスポイントのPピクチャーを予測符号化するのに使用した、即ち、デコードするために必要なPピクチャーを、IピクチャーまたはアクセスポイントのPピクチャーの直後に連続して配置する。
実施の形態1と異なる点は、上記のうち2番目の条件においてアクセスポイントがアクセスポイント以外のPピクチャーからも予測することができる点と、新たに4番目の条件が加わった点である。実施の形態1では、シークに時間を要するため、Iピクチャー又はアクセスポイントのPピクチャーから予測していたが、上記4番目の条件のようにアクセスポイントをデコードするために必要なPピクチャーを連続して配置することで、より近くのPピクチャーから予測することが可能となり、アクセスポイントのPピクチャーの符号量を下げることができる。
なお、MPEG4−AVCでは、デコーダーへはデコードされるべき順番に入力することが定められているが、記録時には、自由にピクチャーの配列を構成することが可能である。本実施の形態では、ランダムアクセスに適した、新しいGOPの構造を提案することで、上記の矛盾を解決するものである。図13は表示順(再生順)に並んだピクチャーの配列(上段)とランダムアクセス用に並び替えた記録時の配列(下段)との関係を示す図である。
図13において、アクセスポイントAPの位置にあるP4はP3から予測して符号化される。P3はP1より、P1はI1より予測して符号化される。よってP4をデコードするには、I1、P1、P3がデコードできればよいので、I1の後にP1、P3を配列する。この時P4のデコードに必要のないP2は、この配列に入れる必要はない。P3以降は、デコードされる順に配列する。言い換えると、デコードされる順番に配列したものから、アクセスポイントAPの位置にあるP4のデコードに必要なPピクチャーを抜き出して、抜き出されたPピクチャーをIピクチャーの直後に配列させ、残りのピクチャーは、ぬけたPピクチャーの分を前詰めにして、配列をすることに等しい。
上記のように、デコード順に配列されていない場合は、デコーダーに送る前に、デコード順に並び替える必要がある。図14は並び替えを行うために必要な情報であるGOP_structure()の構造を示す図である。GOP_structure()はナビゲーションデータ1(図5)を構成する情報の一部である。本実施の形態では一つの動画ファイルに一つのGOP_structure()が存在する場合について説明をする。
“number_of_GOP”は動画ファイル中に存在するGOPの総数が記述される。次のforループは、GOPの数だけ繰り返されるループである。“GOP_PTS[GOP_id]”は、GOP先頭のピクチャーの再生タイミング情報であるPresentation Timeである。ここで、[GOP_id]は、個々のGOPを特定する番号である[GOP_id]の情報であることを意味し、以下同様であるため省略する。
“number_of_picture”には、GOP内に含まれるピクチャーの総数が記述される。次のforループは“number_of_picture”の数だけ繰り返されるループである。“decode_order[GOP_id][picture_id]”は、GOP内でのピクチャーのデコードされる順番が記述される。ここで、[GOP_id][picture_id]は、[GOP_id]で特定されるGOPのなかの、個々のピクチャーを特定する番号である[picture_id]の情報であることを意味し、以下同様であるため省略する。CPU102はこのピクチャーをデコードする順番の情報を元に、読み出されたデータをバッファメモリー108内で並び替え、デコード順にデコーダー107へ転送する。なお、本実施の形態ではGOP_structure()が図5のナビゲーションデータ1内にある場合について説明をしたが、必ずしもナビゲーションデータ1として扱う必要はない。例えば、各GOPの先頭(映像データよりも先頭側)に制御情報を記録する領域を確保し、そこに記述してもよいし、また、MPEG4−AVCの場合、SEI(Supplemental Enhancement Information)内のユーザー領域に記述しても同様の効果が得られる。この場合、“number_of_GOP”は必要ないため、“number_of_GOP”のループ内に記述された情報だけでよい。
次にユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。図15はEntry_map()と各ピクチャーの配列との関係を表す図である。
ユーザーから再生希望時点又は再生希望映像が指定されると、実施の形態1の場合と同様に、指定された時間に最も近い“I_PTS_AP(k)”で指定されるアドレスからデータの読み出しが開始される。ここ読み出されるデータ量は、“Size_of_IAP”に記述されているセクター数であるが、実施の形態1ではIピクチャーの総セクター数が記述されているのに対して、実施の形態4では、当該Iピクチャーのアクセスポイントの次のアクセスポイントAPのデコードに必要なピクチャーのデータサイズ、即ち、P4をデコードするのに必要なピクチャーのデータサイズが記述されている点が異なる。図15においては、I1のセクター数にI1に続くP1、P2、P3の総セクター数を加算した値である。“Size_of_PAP”もまた同様であり、アクセスポイントAPの位置にあるP4の次のアクセスポイント(図示せず)のデコードに必要なピクチャーのデータサイズ、ここでは、P4、P5、P6、P7の総セクター数を加算した値が記述される。動作については実施の形態1と同様なので説明を省略する。
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
アクセスポイントとなるピクチャーがPピクチャーである場合、当該Pピクチャーを予測符号化するために使用した、即ち、デコードに必要なIピクチャー及び/又はPピクチャーを固めて配置するようにピクチャーの配列を入れ替えることによって、GOP途中のアクセスポイントまでのアクセス時間を短縮することができる。
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
更に、各GOP(映像単位)ごとにピクチャーをデコードする順番を記録することによって、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持とランダムアクセス性とを両立することが可能となる。
実施の形態5.
長時間のGOPを設定することは、これまで説明したランダムアクセスによる再生だけでなく、早送り再生等の特殊再生においても大きな影響を与える。MPEG4−AVC方式において長時間のGOPを設定した場合、Iピクチャーの間隔が数秒間に広がってしまうため、Iピクチャーのみを再生するような早送り再生時の再生品位が大きく低下する問題がある。本実施の形態では、実施の形態4にさらに改良を加え、品位の良い早送り再生を実現する方法について説明をする。以下、実施の形態4と異なる点のみ説明し、同様の点については特に説明を行わない。
一般に、なめらかな早送り再生を実現するのは、Iピクチャーだけでなく、GOPの途中にあるPピクチャーも再生することが要求される。例えばDVDの場合、GOPの先頭から3枚目までのPピクチャーの位置情報がナビゲーションデータの中に記述されており、早送り再生時にはこれを利用してスムーズな早送り再生を実現している。DVDの場合は、1GOPは一般に0.5秒に設定されており、1GOP内のPピクチャーは4枚程度である。よって、GOP先頭から3枚分のPピクチャーの位置情報を用いてこれらのみPピクチャーを再生する場合、ほぼGOP内のPピクチャーが網羅されることになるため、スムーズな早送り再生が可能である。しかし、数秒間を超えるGOPを設定した場合、GOP内のPピクチャーの枚数自体が増えるため、先頭から3枚程度のPピクチャーについてのみ位置情報に基づいて再生したとしても、スムーズな早送り再生は困難である。また仮にすべてのPピクチャーの位置情報が解ったとしても、前にも説明したように、光ディスクのシーク速度が遅いため、すべてのPピクチャーを読み出すことは、現実的でない。
実施の形態4では、ランダムアクセスを実現するために、アクセスポイントのピクチャー直後に、次のアクセスポイントのデコードに必要なPピクチャーを配列した。アクセスポイントのデコードに必要なPピクチャーが、早送り再生に必要なPピクチャーと完全に一致する訳ではないため、この配列のままではスムーズに早送り再生は実現できないが、早送りに必要なPピクチャーもこの配列の中に入れ込むことで、繰り返しシーク動作をすることなく、GOP内のPピクチャーを読み出すことができることがわかる。
本実施の形態における、ランダムアクセスと早送り再生を両立する、エンコード時の制約条件は以下のようになる。
1.アクセスポイントとなるピクチャー、早送りに利用するピクチャーは、IピクチャーまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャー、早送りに利用するPピクチャーは、GOP先頭のIピクチャーまたはPピクチャーから予測され、アクセスポイントとなるPピクチャーをデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
4.アクセスポイントをデコードするために必要なPピクチャーと早送り時に表示するピクチャーを、IピクチャーまたはアクセスポイントのPピクチャーの直後に連続して配置する。
図16を用いて、実施の形態4に改良を加え、品位のよい早送り再生を実現するデータの配列方法、および再生方法について説明する。図16は、表示順に並んだピクチャーの配列(上段)とランダムアクセス及び早送り再生用に並び替えた記録時の配列(下段)との関係を示す図である。アクセスポイントAPであるP5をデコードするために必要なPピクチャーを、P1、P3とし、早送り再生時にデコードすべきPピクチャーをP1、P4とする。このような場合、デコード順の配列は、下段に示すように、I1の直後に、P1、P3、P4を連続して配列する。どちらにも利用されないP2のようなPピクチャーは、この配列には加えない。アクセスポイントAPにアクセスをする場合は、I1、P1、P3をデコードし、早送り再生時には、I1、P1、P4をデコードする。このように、目的に応じてデコードするPピクチャーを選択する必要があるため、上記実施の形態で説明したEntry_map()に、改良を加える必要性がある。図17は、ランダムアクセスと早送り再生とに対応したインデックス情報の構造図である。
図17において、斜体で書かれた部分が、上記の実施の形態のEntry_map()と異なる部分であり、異なる部分についてのみ説明する。図17において、number_of_P_pictureはランダムアクセスと早送りに必要なすべてのPピクチャーの枚数が記述される。次のforループはnumber_of_P_pictureの数だけ繰り返されるループである。“attribute”は、例えばピクチャーがトリックプレイに使われる場合、“01”、ランダムアクセスに使われる場合は“10”、両方に使われるのであれば“11”といった具合に、ピクチャーの属性情報、即ちランダムアクセスと早送りのいずれか又は両方に使用されるか否かを示すフラグである。例えば、図16の場合、P1、P3、P4はそれぞれ、“11”、“10”、“01”と記述されることになる。このようにピクチャーそれぞれに、トリックプレイ、ランダムアクセスに必要か否かの情報を付加することで、ランダムアクセス、早送り再生それぞれに必要なPピクチャーを判別することが可能となる。なお、図17において、“attribute”の後の[IAP_id][P_id]、[IAP_id][PAP_id][P_id]はそれぞれ、[IAP_id]で特定されるIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでの中の[P_id]で特定されるPピクチャーの情報、及び、[IAP_id]で特定されるIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでにおける、[PAP_id]で特定されるPピクチャーのアクセスポイントから次のPピクチャーのアクセスポイントまでの中の[P_id]で特定されるPピクチャーの情報を意味する。
また、Size_of_IAP、Size_of_PAPの値は、実施の形態4では、ランダムアクセスに必要な総セクター数、即ち、当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーのデータサイズを記述していたが、本実施の形態では、当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーと早送り再生に必要なピクチャーとの合計のデータサイズ(総セクター数)となる点が異なる。
早送り再生がユーザーにより指示されると、次のGOPの先頭から早送り再生動作に移行する。“Size_of_IAP”のデータを読み出す所までの動作はランダムアクセスと全く同様である。ここで読み出されたピクチャーは、次のアクセスポイントからのデコードのため、すべてデコードされるが、実際に再生されるのは“attribute”で早送り再生用に指定されたピクチャーのみである。“Size_of_IAP”で指定されたデータの読み出しが完了すると、シーク動作を行い、次のPピクチャーのアクセスポイントから“Size_of_PAP”で指定されたデータを読み出す。以下、ユーザーから早送り再生の中止が出されるまで、同じ動作が繰り返される。以上の動作により、スムーズな早送り再生が実現される。ランダムアクセス時の動作は、“Size_of_IAP”、“Size_of_PAP”で指定されたデータサイズについて読み出されたピクチャーの中から、上記“attribute”に従い次のアクセスポイントのデコードに必要なピクチャーを選択する点が異なるだけで、その他の動作は全く同じであるため、説明は省略する。なお、デコードされたピクチャーのなかから図4のデコーダー107において“attribute”に従ってピクチャーを選択して再生される場合について説明したが、デコーダー107へ送信する前に、実施の形態3に示したピクチャー選択部110により選択した後でデコーダー107へ送信してもよい。
本実施の形態においては、実施の形態4にさらに改良を加えて良好な早送り再生を実現する方法について説明したが、ピクチャーの順序を並びかえる必要のない実施の形態3において、ランダムアクセスと早送りのいずれか又は両方に使用されるか否かを示すフラグ“attribute”を、実施の形態3において示した“picture_type”の代わりに追加することにより、実施の形態3においても早送り再生を実現することができる。
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャー、及び早送り等の特殊再生に必要なピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを適当な間隔で指定するとともに、スムーズな特殊再生が可能となる。
また、アクセスポイントとなるピクチャー、及び特殊再生に必要なピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
アクセスポイントとなるピクチャー又は前記特殊再生に必要なピクチャーのいずれか又は両方がPピクチャーである場合、当該Pピクチャーを予測符号化するために使用した、即ち、デコードに必要なIピクチャー及び/又はPピクチャーを固めて配置するようにピクチャーの配列を入れ替えることによって、GOP途中のアクセスポイントまでのアクセス時間を短縮することができる。
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
更に、次のアクセスポイントのデコードに必要なピクチャーであるか、若しくは早送り再生等の特殊再生に必要なピクチャーであるか、又はその両方に必要なピクチャーであるかを示す属性情報を記録することによって、ランダムアクセスと特殊再生のいずれに使用されるPピクチャーであるかを容易に判別することができ、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
また、実施の形態4で示したように、各GOP(映像単位)ごとにピクチャーをデコードする順番とを記録しておけば、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持、ランダムアクセス性及びスムーズな特殊再生を両立することが可能となる。
以下に、本発明の特徴を要約する。
(1) フレーム内符号化画像であるIピクチャー、1枚のフレームから予測されるブロックの集合体の予測符号化画像であるPピクチャー及び2枚のフレームから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像単位により構成される映像データが記録され、ランダムアクセス可能な映像情報記録媒体であって、
前記ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーのデコード順を示す情報と、
ピクチャーが当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーであるか、アクセスポイントとなるピクチャーであるかを示す属性情報とが配置されることを特徴とする映像情報記録媒体。
(2) 前記アクセスポイントとなるピクチャーは、前記Iピクチャー又は前記Pピクチャーであることを特徴とする上記第(1)項記載の映像情報記録媒体。
(3) フレーム内符号化画像であるIピクチャー、1枚のフレームから予測されるブロックの集合体の予測符号化画像であるPピクチャー及び2枚のフレームから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像単位により構成される映像データを記録し、
ランダムアクセス可能な位置として指定されるアクセスポイントのピクチャーのデコード順を示す情報と、
ピクチャーが当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーであるか、アクセスポイントとなるピクチャーであるかを示す属性情報とが配置されることを特徴とする映像情報記録方法。
(4) 前記アクセスポイントとなるピクチャーは、前記Iピクチャー又は前記Pピクチャーであることを特徴とする上記第(3)項記載の映像情報記録方法。
(5) 上記第(1)項に記載の映像情報記録媒体に記録されてなる映像データを再生する情報再生装置であって、
前記映像情報記録媒体から前記デコード順を示す情報と前記属性情報とを取得する手段と、
前記取得された表示時間情報に基づいて、ユーザの再生指定位置に最も近いアクセスポイントを特定し、前記ピクチャーを取得する手段と、
前記属性情報に基づいて、前記取得したピクチャーから再生すべきピクチャーを選択して前記アクセスポイントとなるピクチャーからの再生を行う手段とを備えることを特徴とする映像情報再生装置。
(6) 上記第(1)項に記載の映像情報記録媒体に記録されてなる映像データを再生する情報再生方法であって、
前記映像情報記録媒体から前記表示時間情報と前記属性情報とを取得し、
前記取得されたデコード順を示す情報に基づいて、ユーザの再生指定位置に最も近いアクセスポイントを特定し、前記ピクチャーを取得し、
前記属性情報に基づいて、前記取得したピクチャーから再生すべきピクチャーを選択して前記アクセスポイントとなるピクチャーからの再生を行うことを特徴とする映像情報再生方法。
AP,AP1,AP2 アクセスポイント、 1 ナビゲーションデータ、 2 映像データ、 3 映像ファイル、 4 GOP(k)、 100,120 再生装置、 101 ユーザーインターフェース(I/F)部、 102 CPU、 103 ドライブ、 104 ドライブ制御部、 105 ワークメモリー、 106 システムバス、 107 デコーダー、 108 バッファメモリー、 109 表示装置、 110 ピクチャー選択部。

Claims (2)

  1. フレーム内符号化画像であるIピクチャー、1枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるPピクチャー、及び2枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像情報単位により構成される映像データを記録する符号化方法において、
    ランダムアクセス可能なアクセスポイントとして用いられるPピクチャーを、当該Pピクチャーが属する前記映像情報単位の先頭のIピクチャー、またはBピクチャーを用いずに予測された以前のPピクチャーに基づいて、アクセスポイントPピクチャーとして符号化し、
    前記アクセスポイントPピクチャーの後続のピクチャーとして、直前の前記アクセスポイントPピクチャー、あるいは当該アクセスポイントPピクチャーから予測されたPピクチャーまたはBピクチャーに基づいて予測され、直前の前記アクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャーおよびBピクチャーを符号化し、
    アクセスポイントとなる前記Iピクチャーの時間情報と位置情報とを対応付けて記憶し、かつアクセスポイントとなる前記Iピクチャーのサイズ情報を含むエントリーポイントマップを生成することを特徴とする符号化方法。
  2. 請求項1に記載の符号化方法を用いて符号化された映像データを復号する復号方法において、
    任意の指定位置から再生を行う場合、当該エントリーポイントマップを参照して前記指定位置に対応するピクチャーを含む前記映像情報単位にアクセスし、前記指定位置に対応するピクチャーのデコードを行うことを特徴とする復号方法。

JP2013134980A 2004-07-01 2013-06-27 符号化方法及び復号方法 Active JP5355815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013134980A JP5355815B2 (ja) 2004-07-01 2013-06-27 符号化方法及び復号方法

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2004195476 2004-07-01
JP2004195476 2004-07-01
JP2004205250 2004-07-12
JP2004205250 2004-07-12
JP2004214080 2004-07-22
JP2004214080 2004-07-22
JP2004229683 2004-08-05
JP2004229683 2004-08-05
JP2004238482 2004-08-18
JP2004238482 2004-08-18
JP2013134980A JP5355815B2 (ja) 2004-07-01 2013-06-27 符号化方法及び復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013053786A Division JP5449594B2 (ja) 2004-07-01 2013-03-15 記録媒体再生システム

Publications (2)

Publication Number Publication Date
JP2013225914A true JP2013225914A (ja) 2013-10-31
JP5355815B2 JP5355815B2 (ja) 2013-11-27

Family

ID=35782625

Family Applications (37)

Application Number Title Priority Date Filing Date
JP2006523761A Active JP4180095B2 (ja) 2004-07-01 2005-06-21 記録装置、及び記録方法、及び再生装置及び再生方法
JP2006326554A Active JP4219952B2 (ja) 2004-07-01 2006-12-04 映像データの記録装置、記録方法、再生装置、および再生方法
JP2010094959A Active JP4833348B2 (ja) 2004-07-01 2010-04-16 符号化装置及び方法、並びに復号化装置及び方法、並びに記録媒体再生システム
JP2011041634A Active JP4833371B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041557A Active JP4833361B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041537A Active JP4833359B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041547A Active JP4833360B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041569A Active JP4833363B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041616A Active JP4833366B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041633A Active JP4833370B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、及び再生方法
JP2011041592A Active JP4833365B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041642A Active JP4885318B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041628A Active JP4833369B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041553A Active JP4885317B2 (ja) 2004-07-01 2011-02-28 記録装置、および記録方法
JP2011041636A Active JP4833372B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041625A Active JP4833368B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041641A Active JP4833374B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041562A Active JP4833362B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041638A Active JP4833373B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041580A Active JP4833364B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041624A Active JP4833367B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011165551A Active JP5236049B2 (ja) 2004-07-01 2011-07-28 再生装置、再生方法及び記録媒体
JP2013053786A Active JP5449594B2 (ja) 2004-07-01 2013-03-15 記録媒体再生システム
JP2013134980A Active JP5355815B2 (ja) 2004-07-01 2013-06-27 符号化方法及び復号方法
JP2013134728A Active JP5355811B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134689A Active JP5355810B2 (ja) 2004-07-01 2013-06-27 記録方法及び復号装置
JP2013134819A Active JP5355813B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134789A Active JP5355812B2 (ja) 2004-07-01 2013-06-27 再生装置及び記録媒体
JP2013135024A Active JP5414932B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134870A Active JP5355814B2 (ja) 2004-07-01 2013-06-27 符号化方法及び復号方法
JP2013224832A Active JP5653506B2 (ja) 2004-07-01 2013-10-30 記録媒体再生システム
JP2014036789A Active JP5519084B1 (ja) 2004-07-01 2014-02-27 再生システム
JP2014189780A Active JP5797316B2 (ja) 2004-07-01 2014-09-18 符号化方法、及び復号方法
JP2015139455A Active JP6005808B2 (ja) 2004-07-01 2015-07-13 再生装置、及び記録媒体
JP2016144170A Active JP6193452B2 (ja) 2004-07-01 2016-07-22 符号化方法、及び復号方法
JP2017141628A Active JP6403846B2 (ja) 2004-07-01 2017-07-21 記録方法、及び再生方法
JP2018164297A Active JP6571846B2 (ja) 2004-07-01 2018-09-03 記録方法、及び再生方法

Family Applications Before (23)

Application Number Title Priority Date Filing Date
JP2006523761A Active JP4180095B2 (ja) 2004-07-01 2005-06-21 記録装置、及び記録方法、及び再生装置及び再生方法
JP2006326554A Active JP4219952B2 (ja) 2004-07-01 2006-12-04 映像データの記録装置、記録方法、再生装置、および再生方法
JP2010094959A Active JP4833348B2 (ja) 2004-07-01 2010-04-16 符号化装置及び方法、並びに復号化装置及び方法、並びに記録媒体再生システム
JP2011041634A Active JP4833371B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041557A Active JP4833361B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041537A Active JP4833359B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041547A Active JP4833360B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041569A Active JP4833363B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041616A Active JP4833366B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041633A Active JP4833370B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、及び再生方法
JP2011041592A Active JP4833365B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041642A Active JP4885318B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041628A Active JP4833369B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041553A Active JP4885317B2 (ja) 2004-07-01 2011-02-28 記録装置、および記録方法
JP2011041636A Active JP4833372B2 (ja) 2004-07-01 2011-02-28 符号化装置及び方法、並びに復号化装置及び方法
JP2011041625A Active JP4833368B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041641A Active JP4833374B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041562A Active JP4833362B2 (ja) 2004-07-01 2011-02-28 記録媒体再生システム
JP2011041638A Active JP4833373B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041580A Active JP4833364B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011041624A Active JP4833367B2 (ja) 2004-07-01 2011-02-28 記録装置、記録方法、再生装置、および再生方法
JP2011165551A Active JP5236049B2 (ja) 2004-07-01 2011-07-28 再生装置、再生方法及び記録媒体
JP2013053786A Active JP5449594B2 (ja) 2004-07-01 2013-03-15 記録媒体再生システム

Family Applications After (13)

Application Number Title Priority Date Filing Date
JP2013134728A Active JP5355811B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134689A Active JP5355810B2 (ja) 2004-07-01 2013-06-27 記録方法及び復号装置
JP2013134819A Active JP5355813B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134789A Active JP5355812B2 (ja) 2004-07-01 2013-06-27 再生装置及び記録媒体
JP2013135024A Active JP5414932B2 (ja) 2004-07-01 2013-06-27 記録媒体再生システム
JP2013134870A Active JP5355814B2 (ja) 2004-07-01 2013-06-27 符号化方法及び復号方法
JP2013224832A Active JP5653506B2 (ja) 2004-07-01 2013-10-30 記録媒体再生システム
JP2014036789A Active JP5519084B1 (ja) 2004-07-01 2014-02-27 再生システム
JP2014189780A Active JP5797316B2 (ja) 2004-07-01 2014-09-18 符号化方法、及び復号方法
JP2015139455A Active JP6005808B2 (ja) 2004-07-01 2015-07-13 再生装置、及び記録媒体
JP2016144170A Active JP6193452B2 (ja) 2004-07-01 2016-07-22 符号化方法、及び復号方法
JP2017141628A Active JP6403846B2 (ja) 2004-07-01 2017-07-21 記録方法、及び再生方法
JP2018164297A Active JP6571846B2 (ja) 2004-07-01 2018-09-03 記録方法、及び再生方法

Country Status (7)

Country Link
US (48) US7706668B2 (ja)
EP (20) EP3157252B1 (ja)
JP (37) JP4180095B2 (ja)
KR (1) KR100833402B1 (ja)
HK (6) HK1159370A1 (ja)
TW (1) TWI295894B (ja)
WO (1) WO2006003814A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0117926D0 (en) * 2001-07-23 2001-09-12 Nds Ltd Method for random access to encrypted content
JP4170952B2 (ja) 2004-01-30 2008-10-22 株式会社東芝 半導体記憶装置
EP3157252B1 (en) 2004-07-01 2019-10-30 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method
WO2006026812A2 (en) 2004-09-07 2006-03-16 Sensear Pty Ltd Apparatus and method for sound enhancement
GB2437592A (en) 2006-04-10 2007-10-31 Skype Ltd Indicating communication events on an alternative interface whilst running an application on another interface
US7933472B1 (en) 2006-04-26 2011-04-26 Datcard Systems, Inc. System for remotely generating and distributing DICOM-compliant media volumes
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP4810298B2 (ja) * 2006-05-09 2011-11-09 キヤノン株式会社 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法
JP4974583B2 (ja) * 2006-05-09 2012-07-11 キヤノン株式会社 画像符号化装置及び符号化方法
KR100765787B1 (ko) * 2006-06-15 2007-10-12 삼성전자주식회사 압축 부호화된 영상 데이터 스트림의 재생 방법 및 그 장치
JP4784466B2 (ja) * 2006-10-04 2011-10-05 三菱電機株式会社 映像情報再生方法
JP4322944B2 (ja) * 2007-10-31 2009-09-02 株式会社東芝 映像再生装置、映像再生方法及び映像再生処理用プログラム
KR101520659B1 (ko) * 2008-02-29 2015-05-15 엘지전자 주식회사 개인용 비디오 레코더를 이용한 영상 비교 장치 및 방법
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
TW201101843A (en) * 2009-04-28 2011-01-01 Panasonic Corp Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
KR20120050725A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 데이터 재생 방법 및 장치
US8744249B2 (en) 2011-06-17 2014-06-03 Apple Inc. Picture selection for video skimming
JP2013021574A (ja) * 2011-07-12 2013-01-31 Sharp Corp 生成装置、配信サーバ、生成方法、再生装置、再生方法、再生システム、生成プログラム、再生プログラム、記録媒体およびデータ構造
JP2013038766A (ja) * 2011-07-12 2013-02-21 Sharp Corp 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US8832987B2 (en) * 2011-10-26 2014-09-16 Michael A. Addis Systems and methods for aiding the insertion of detachable firearm magazines
US9683796B2 (en) 2011-10-26 2017-06-20 Michael A. Addis Systems for aiding the insertion of detachable firearm magazines and methods thereof
WO2013157797A1 (ko) * 2012-04-15 2013-10-24 삼성전자 주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
EP2665259A1 (en) * 2012-05-17 2013-11-20 Samsung Electronics Co., Ltd Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
US9225978B2 (en) * 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US9591303B2 (en) 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
WO2014069920A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Recording medium, reproducing device for providing service based on data of recording medium, and method thereof
EP3104614A4 (en) * 2014-02-03 2017-09-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
JP6546197B2 (ja) 2014-06-18 2019-07-17 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 従属ランダムアクセスポイントピクチャ
CN106464886B (zh) * 2014-06-18 2021-03-30 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码
US10542288B2 (en) 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
WO2016002140A1 (ja) * 2014-07-03 2016-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2016111199A1 (ja) * 2015-01-09 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
CN105847722B (zh) * 2015-01-16 2019-04-12 杭州海康威视数字技术股份有限公司 一种视频存储方法和装置、读取方法和装置以及存取系统
CN104703027B (zh) * 2015-03-17 2018-03-27 华为技术有限公司 视频帧的解码方法和装置
US9667606B2 (en) 2015-07-01 2017-05-30 Cyphermatrix, Inc. Systems, methods and computer readable medium to implement secured computational infrastructure for cloud and data center environments
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10341561B2 (en) 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding
US10063872B2 (en) * 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
FR3041850B1 (fr) * 2015-09-30 2018-05-25 Vogo Procede d'encodage de flux de donnees video basees sur des groupements d'images (gop)
US10402120B2 (en) * 2016-07-15 2019-09-03 Advanced Micro Devices, Inc. Memory controller arbiter with streak and read/write transaction management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0845249A (ja) * 1994-07-29 1996-02-16 Sharp Corp 符号化データ管理装置
JP2001285877A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 圧縮符号化データ復号装置および復号方法
JP2004187264A (ja) * 2002-10-11 2004-07-02 Ntt Docomo Inc 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797404B2 (ja) * 1989-04-20 1998-09-17 ソニー株式会社 動画像データの記録方式
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP2747268B2 (ja) 1995-01-30 1998-05-06 株式会社東芝 ナビゲーションデータに従ってデータを再生する方法及びその装置、ナビゲーションデータを備えたデータを記録媒体に記録する方法及びその装置
JP3329979B2 (ja) * 1995-02-24 2002-09-30 株式会社日立製作所 光ディスク及び光ディスク再生装置
KR100256663B1 (ko) * 1995-04-11 2000-05-15 니시무로 타이죠 데이타 기록 매체
JP3484834B2 (ja) 1995-07-28 2004-01-06 ソニー株式会社 データ符号化/復号化方法および装置
JP3330797B2 (ja) 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
EP0882358A2 (en) * 1996-02-20 1998-12-09 SAS Institute, Inc. Method and apparatus for transitions, reverse play and other special effects in digital motion video
JP4389365B2 (ja) * 1999-09-29 2009-12-24 ソニー株式会社 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体
WO2001033832A1 (fr) * 1999-10-29 2001-05-10 Fujitsu Limited Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images
US7212726B2 (en) * 2000-09-15 2007-05-01 International Business Machines Corporation System and method of processing MPEG streams for file index insertion
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
EP1670259A3 (en) * 2002-01-23 2010-03-03 Nokia Corporation Grouping of image frames in video coding
JP3852366B2 (ja) * 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US7826718B2 (en) * 2002-08-09 2010-11-02 Broadcom Corporation Method and apparatus to facilitate the efficient implementation of trick modes in a personal video recording system
FR2849332A1 (fr) * 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif et decodage et d'affichage en marche arriere d'images mpeg, circuit pilote video et boitier decodeur incorporant un tel dispositif
JP4096310B2 (ja) * 2003-06-18 2008-06-04 ソニー株式会社 情報作成装置および方法、再生装置および方法、並びにプログラム
EP3157252B1 (en) * 2004-07-01 2019-10-30 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0845249A (ja) * 1994-07-29 1996-02-16 Sharp Corp 符号化データ管理装置
JP2001285877A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 圧縮符号化データ復号装置および復号方法
JP2004187264A (ja) * 2002-10-11 2004-07-02 Ntt Docomo Inc 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Also Published As

Publication number Publication date
US20140044409A1 (en) 2014-02-13
EP1763240B1 (en) 2013-04-24
JP4833366B2 (ja) 2011-12-07
US9093113B2 (en) 2015-07-28
EP2348719A3 (en) 2011-08-17
EP2348709A2 (en) 2011-07-27
JP4885318B2 (ja) 2012-02-29
HK1159379A1 (en) 2012-07-27
US20080069531A1 (en) 2008-03-20
JP2011120289A (ja) 2011-06-16
JP2013219828A (ja) 2013-10-24
JP2011155661A (ja) 2011-08-11
KR20070028395A (ko) 2007-03-12
EP3157252A1 (en) 2017-04-19
US20080056677A1 (en) 2008-03-06
US8824870B2 (en) 2014-09-02
EP2348709B1 (en) 2014-01-01
EP2348720A3 (en) 2011-08-17
US20140044410A1 (en) 2014-02-13
US20150139623A1 (en) 2015-05-21
EP2348712A3 (en) 2011-08-03
JP2015181309A (ja) 2015-10-15
EP2348716B1 (en) 2015-01-21
US8995825B2 (en) 2015-03-31
EP2348711A3 (en) 2011-08-17
US10218936B2 (en) 2019-02-26
JP6005808B2 (ja) 2016-10-12
HK1159371A1 (en) 2012-07-27
JP4833362B2 (ja) 2011-12-07
US20150139625A1 (en) 2015-05-21
US20080069533A1 (en) 2008-03-20
US20080056681A1 (en) 2008-03-06
US20140037271A1 (en) 2014-02-06
US20160006976A1 (en) 2016-01-07
US20140044418A1 (en) 2014-02-13
EP2348717B1 (en) 2015-01-28
EP2348722A3 (en) 2011-08-03
JP2011120287A (ja) 2011-06-16
JP2011147158A (ja) 2011-07-28
HK1159370A1 (en) 2012-07-27
JP4833363B2 (ja) 2011-12-07
US8712214B2 (en) 2014-04-29
EP2348722A2 (en) 2011-07-27
JP2011147157A (ja) 2011-07-28
EP2348715A3 (en) 2011-08-03
US20180054591A1 (en) 2018-02-22
US9076485B2 (en) 2015-07-07
EP2348708A2 (en) 2011-07-27
JP5519084B1 (ja) 2014-06-11
US7747141B2 (en) 2010-06-29
US20150139628A1 (en) 2015-05-21
EP2348719A2 (en) 2011-07-27
JP2014131335A (ja) 2014-07-10
EP2892226B1 (en) 2017-01-11
JP4219952B2 (ja) 2009-02-04
JP2013236384A (ja) 2013-11-21
JP2018207526A (ja) 2018-12-27
US20080069529A1 (en) 2008-03-20
JP2011160434A (ja) 2011-08-18
US8886020B2 (en) 2014-11-11
US9076486B2 (en) 2015-07-07
EP2348723A2 (en) 2011-07-27
EP2348711B1 (en) 2015-01-28
EP2348710A3 (en) 2011-08-17
EP2348707A3 (en) 2011-08-03
US20150147051A1 (en) 2015-05-28
US7747138B2 (en) 2010-06-29
WO2006003814A1 (ja) 2006-01-12
US20140044411A1 (en) 2014-02-13
KR100833402B1 (ko) 2008-05-28
JP4833365B2 (ja) 2011-12-07
EP2348707A2 (en) 2011-07-27
EP2348709A3 (en) 2011-08-03
JP4833374B2 (ja) 2011-12-07
US20060291807A1 (en) 2006-12-28
EP2348710B1 (en) 2015-07-29
EP1763240A1 (en) 2007-03-14
US20080069530A1 (en) 2008-03-20
EP2348714A2 (en) 2011-07-27
US9002181B2 (en) 2015-04-07
JP4833364B2 (ja) 2011-12-07
JP5355811B2 (ja) 2013-11-27
US20080063371A1 (en) 2008-03-13
JP4833373B2 (ja) 2011-12-07
JP2011120288A (ja) 2011-06-16
US20140064702A1 (en) 2014-03-06
HK1159378A1 (en) 2012-07-27
JP2011147154A (ja) 2011-07-28
JP4833371B2 (ja) 2011-12-07
US8606086B2 (en) 2013-12-10
US7747140B2 (en) 2010-06-29
JP5414932B2 (ja) 2014-02-12
US20140044422A1 (en) 2014-02-13
US8831411B2 (en) 2014-09-09
JP2017212748A (ja) 2017-11-30
JP2013225912A (ja) 2013-10-31
US10582148B2 (en) 2020-03-03
JP2013229918A (ja) 2013-11-07
US20080069534A1 (en) 2008-03-20
US7706668B2 (en) 2010-04-27
JP2011155663A (ja) 2011-08-11
US9093111B2 (en) 2015-07-28
EP2348711A2 (en) 2011-07-27
JP4833360B2 (ja) 2011-12-07
US9171576B2 (en) 2015-10-27
JP2011160435A (ja) 2011-08-18
EP2892226A1 (en) 2015-07-08
US7809249B2 (en) 2010-10-05
JP5355812B2 (ja) 2013-11-27
US7778527B2 (en) 2010-08-17
EP2348721B1 (en) 2015-02-18
JP2007116729A (ja) 2007-05-10
JP5355810B2 (ja) 2013-11-27
JP2015027094A (ja) 2015-02-05
JP2016201834A (ja) 2016-12-01
US8837917B2 (en) 2014-09-16
US9064536B2 (en) 2015-06-23
EP2348719B1 (en) 2015-01-21
US8891943B2 (en) 2014-11-18
EP2348710A2 (en) 2011-07-27
EP2348712B1 (en) 2015-01-21
US8923687B2 (en) 2014-12-30
JP4833361B2 (ja) 2011-12-07
JP4885317B2 (ja) 2012-02-29
US8824869B2 (en) 2014-09-02
EP2348720B1 (en) 2015-04-01
US20080063360A1 (en) 2008-03-13
EP2348720A2 (en) 2011-07-27
US20080063372A1 (en) 2008-03-13
US9848162B2 (en) 2017-12-19
JP4833372B2 (ja) 2011-12-07
US20150139626A1 (en) 2015-05-21
EP2348718B1 (en) 2015-02-25
EP2348723A3 (en) 2011-08-03
US7801417B2 (en) 2010-09-21
JP4180095B2 (ja) 2008-11-12
EP2348721A3 (en) 2011-08-03
EP2348717A2 (en) 2011-07-27
JP5355815B2 (ja) 2013-11-27
EP2348717A3 (en) 2011-08-03
US20080069535A1 (en) 2008-03-20
TW200607359A (en) 2006-02-16
JP2013153510A (ja) 2013-08-08
JP6571846B2 (ja) 2019-09-04
US20150179217A1 (en) 2015-06-25
US7809247B2 (en) 2010-10-05
JP5797316B2 (ja) 2015-10-21
EP2348713A3 (en) 2011-08-03
JP4833370B2 (ja) 2011-12-07
JP5355814B2 (ja) 2013-11-27
US7783167B2 (en) 2010-08-24
JP2011155662A (ja) 2011-08-11
US9111569B2 (en) 2015-08-18
EP2348723B1 (en) 2015-02-18
US20140044176A1 (en) 2014-02-13
US7835628B2 (en) 2010-11-16
JP5355813B2 (ja) 2013-11-27
JP2012005135A (ja) 2012-01-05
EP2348722B1 (en) 2015-01-21
EP2348721A2 (en) 2011-07-27
US9064535B2 (en) 2015-06-23
JP4833348B2 (ja) 2011-12-07
JP2011147155A (ja) 2011-07-28
EP2348718A2 (en) 2011-07-27
EP2348713A2 (en) 2011-07-27
EP2348715A2 (en) 2011-07-27
US20110019977A1 (en) 2011-01-27
US20080069537A1 (en) 2008-03-20
US20140044175A1 (en) 2014-02-13
JP2011160436A (ja) 2011-08-18
JP2011147153A (ja) 2011-07-28
US8891944B2 (en) 2014-11-18
US20080069536A1 (en) 2008-03-20
US20140044415A1 (en) 2014-02-13
US20140044419A1 (en) 2014-02-13
HK1159377A1 (en) 2012-07-27
US20150139622A1 (en) 2015-05-21
US20140044174A1 (en) 2014-02-13
JP2013219829A (ja) 2013-10-24
US20150139620A1 (en) 2015-05-21
JP4833367B2 (ja) 2011-12-07
US7769276B2 (en) 2010-08-03
US7747142B2 (en) 2010-06-29
US20140044416A1 (en) 2014-02-13
EP1763240A4 (en) 2008-09-03
US20190149764A1 (en) 2019-05-16
EP2348715B1 (en) 2015-01-28
TWI295894B (en) 2008-04-11
US9076487B2 (en) 2015-07-07
JP2011160437A (ja) 2011-08-18
US20080069532A1 (en) 2008-03-20
JP2011147156A (ja) 2011-07-28
JP2013236383A (ja) 2013-11-21
JP4833368B2 (ja) 2011-12-07
EP2348707B1 (en) 2014-01-01
EP2348714B1 (en) 2015-02-18
US8934760B2 (en) 2015-01-13
EP2348716A2 (en) 2011-07-27
US7783173B2 (en) 2010-08-24
US7769273B2 (en) 2010-08-03
EP2348714A3 (en) 2011-08-17
JP5236049B2 (ja) 2013-07-17
JP2014057338A (ja) 2014-03-27
US8934761B2 (en) 2015-01-13
US7809248B2 (en) 2010-10-05
JP2011120290A (ja) 2011-06-16
US20150139621A1 (en) 2015-05-21
US20150139624A1 (en) 2015-05-21
EP2348713B1 (en) 2015-07-29
US20080095233A1 (en) 2008-04-24
JP4833359B2 (ja) 2011-12-07
JPWO2006003814A1 (ja) 2007-08-09
JP5653506B2 (ja) 2015-01-14
JP2010161817A (ja) 2010-07-22
EP2348716A3 (en) 2011-08-03
JP2011155664A (ja) 2011-08-11
US8897624B2 (en) 2014-11-25
US20140044408A1 (en) 2014-02-13
JP6403846B2 (ja) 2018-10-10
EP2348708A3 (en) 2011-08-03
JP5449594B2 (ja) 2014-03-19
US20080075434A1 (en) 2008-03-27
EP2348712A2 (en) 2011-07-27
US9093112B2 (en) 2015-07-28
US8886019B2 (en) 2014-11-11
HK1159376A1 (en) 2012-07-27
US7801416B2 (en) 2010-09-21
EP2348708B1 (en) 2014-01-01
US20080063370A1 (en) 2008-03-13
US20140044417A1 (en) 2014-02-13
US20140050461A1 (en) 2014-02-20
JP6193452B2 (ja) 2017-09-06
US8842976B2 (en) 2014-09-23
JP4833369B2 (ja) 2011-12-07
EP2348718A3 (en) 2011-08-17
EP3157252B1 (en) 2019-10-30
US7747139B2 (en) 2010-06-29
US7742684B2 (en) 2010-06-22

Similar Documents

Publication Publication Date Title
JP6571846B2 (ja) 記録方法、及び再生方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130827

R150 Certificate of patent or registration of utility model

Ref document number: 5355815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250