JP2007324964A - 符号化画像記録再生装置及び符号化画像記録再生方法 - Google Patents

符号化画像記録再生装置及び符号化画像記録再生方法 Download PDF

Info

Publication number
JP2007324964A
JP2007324964A JP2006153208A JP2006153208A JP2007324964A JP 2007324964 A JP2007324964 A JP 2007324964A JP 2006153208 A JP2006153208 A JP 2006153208A JP 2006153208 A JP2006153208 A JP 2006153208A JP 2007324964 A JP2007324964 A JP 2007324964A
Authority
JP
Japan
Prior art keywords
image
intra
speed
coded
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006153208A
Other languages
English (en)
Inventor
Yoshio Ezure
美穂 江連
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006153208A priority Critical patent/JP2007324964A/ja
Publication of JP2007324964A publication Critical patent/JP2007324964A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

【課題】 動き予測法を用い高能率で圧縮符号化され、媒体に記録された動画像データから、動きのスムーズな高速度再生画像を得る符号化画像記録再生装置を実現する。
【解決手段】 入力されるトランスポートストリームから各イントラ符号化画像ごとの開始時刻及び符号量を検出するイントラ画像検出手段16と、各イントラ符号化画像の開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成手段18と、記録手段17、19と、再生手段31、33と、外部よりの再生操作に基づく高速度再生画像の生成を間引かれたイントラ画像により行う場合には、イントラ画像テーブルを参照し、候補とされる複数のイントラ画像のうち符号量の少ないイントラ画像を指定して記録媒体から再生させる制御信号を出力する再生制御手段32と、再生したイントラ画像を用いて高速度再生画像を生成する画像生成手段35とを備えて構成した。
【選択図】 図1

Description

本発明は、記録再生装置に関し、特に圧縮符号化された動画データや音声データを光ディスク等の記録媒体に記録し、記録された動画データや音声データを高速度で再生及び復号化して高速度な動画を得ることのできる符号化画像記録再生装置及び符号化画像記録再生方法に関する。
最近になり、MPEG(moving picture experts group)−2方式により符号化されたディジタル画像信号の放送が普及し、高精細、高品質な画像を家庭で視聴できるようになってきた。ディジタル画像信号を記録、再生するDVDや、高精細なディジタル画像の記録再生を行うBRやHD−DVDの製品化もなされつつある。
一方、BRやHD−DVDはDVDよりも数倍大きな容量のディジタル画像信号が記録可能であり、高精細画像の他に、マルチビューやマルチプログラムなどのディジタル画像も記録、再生できる。それらのディジタル画像に対しても高品質な特殊再生や逆再生ができることは好ましい。
特許文献1には、MPEG−2方式による画像データの記録再生装置において、Iピクチャデータを確実に得て、特殊再生をスムーズに行うことができる記録再生装置が開示されている。記録媒体に記録を行うビデオ符号化データから、Iピクチャ検出部によりIピクチャを含むPESパケットを検出し、インデックスファイル作成ブロックにおいて、Iピクチャデータを含むPESパケットについて、記録開始からのバイト数やパケット長などのインデックスファイルを作成し、オーディオビデオハードディスクに記録する。特殊再生時には、ナビゲーション制御ブロックにてインデックスファイルを取得し、このインデックスファイルをもとにPESパケットからIピクチャデータを確実に得て特殊再生をスムーズに行うようにした記録再生装置が開示されている。
特開2000−224543号公報
しかしながら、特許文献1に開示されている記録再生装置では、例えば15倍速以下の再生速度で再生する特殊再生の場合はIピクチャ、及びIピクチャに続くPピクチャやBピクチャのデータを得て高速再生することは出来るものの、例えば15倍速を超えた高速再生の場合では復号化すべき符号化効率が低くデータ量の大きなイントラ符号化画像のデータを連続的に読み込んで復号化するための時間が不足し、動きのスムーズな再生画像を得る記録再生装置を実現することはできなかった。
そこで、本発明は、上記のような問題点を解消するためになされたもので、例えば15倍速を超えた高速再生の場合では復号化すべき符号化効率が低くデータ量の大きなイントラ符号化画像のデータを連続的に読み込んで復号化し、動きのスムーズな再生画像を得ることを可能とする符号化画像記録再生装置及び符号化画像記録再生方法を提供することを目的とする。
本願発明における第1の発明は、イントラ予測及びインター予測を用い符号化して入力されたイントラ符号化画像とインター符号化画像を備えた符号化画像を記録媒体に記録した後、前記符号化画像を前記記録媒体から読み出し、標準再生速度よりも早い再生速度である高速再生速度で前記符号化画像を再生する符号化画像記録再生装置において、前記入力された符号化画像から前記イントラ符号化画像を検出し、検出した前記イントラ符号化画像ごとの符号化開始時刻と符号量とを検出するイントラ画像検出手段と、前記イントラ画像検出手段で検出された前記イントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成手段と、前記符号化画像及び前記イントラ画像テーブルを前記記録媒体に記録する記録手段と、前記イントラ画像テーブルを再生して得るイントラ画像テーブル再生手段と、外部からの操作により前記記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力する制御手段と、前記制御手段から出力された制御信号で指定される指定速度で前記記録媒体から前記符号化画像を読み出す際に、前記指定速度による再生が前記イントラ符号化画像を順次再生する高速順次再生速度の場合は前記記録媒体に記録される前記イントラ符号化画像を順に読み出させ、前記指定速度による再生が前記高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は前記イントラ画像テーブル再生手段で再生して得た前記イントラ画像テーブルを参照し、前記イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させる読み出し制御手段と、前記読み出し制御手段により指定されるイントラ符号化画像の読み出しを前記イントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う符号化画像読み出し手段と、を備えることを特徴とする符号化画像記録再生装置を提供する。
第2の発明は、イントラ予測及びインター予測を用い符号化して入力されたイントラ符号化画像とインター符号化画像を備えた符号化画像を記録媒体に記録した後、前記符号化画像を前記記録媒体から読み出し、標準再生速度よりも早い再生速度である高速再生速度で前記符号化画像を再生する符号化画像記録再生方法において、前記入力された符号化画像から前記イントラ符号化画像を検出し、検出した前記イントラ符号化画像ごとの符号化開始時刻と符号量とを検出するイントラ画像検出ステップと、前記イントラ画像検出ステップで検出された前記イントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成ステップと、前記符号化画像及び前記イントラ画像テーブルを前記記録媒体に記録する記録ステップと、前記イントラ画像テーブルを再生して得るイントラ画像テーブル再生ステップと、外部からの操作により前記記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力する制御ステップと、前記制御ステップで出力された制御信号で指定される指定速度で前記記録媒体から前記符号化画像を読み出す際に、前記指定速度による再生が前記イントラ符号化画像を順次再生する高速順次再生速度の場合は前記記録媒体に記録される前記イントラ符号化画像を順に読み出させ、前記指定速度による再生が前記高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は前記イントラ画像テーブル再生ステップで再生して得た前記イントラ画像テーブルを参照し、前記イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させる読み出し制御ステップと、
前記読み出し制御ステップにより指定されるイントラ符号化画像の読み出しを前記イントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う符号化画像読み出しステップと、を有することを特徴とする符号化画像記録再生方法を提供する。
本発明によれば、入力された符号化画像からイントラ符号化画像を検出し、検出したイントラ符号化画像ごとの符号化開始時刻と符号量とを検出し、イントラ画像検出手段で検出されたイントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成し、符号化画像及びイントラ画像テーブルを記録媒体に記録し、イントラ画像テーブルを再生して得、外部からの操作により記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力し、出力された制御信号で指定される指定速度で記録媒体から符号化画像を読み出す際に、指定速度による再生がイントラ符号化画像を順次再生する高速順次再生速度の場合は記録媒体に記録されるイントラ符号化画像を順に読み出させ、指定速度による再生が高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は再生して得たイントラ画像テーブルを参照し、イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させ、指定されるイントラ符号化画像の読み出しをイントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う構成を備えているので、例えば15倍速を超えた高速再生の場合では復号化すべき符号化効率が低くデータ量の大きなイントラ符号化画像のデータを連続的に読み込んで復号化し、動きのスムーズな再生画像を得ることを可能とする符号化画像記録再生装置及び符号化画像記録再生方法を実現できる。
以下に本発明の実施例に係る符号化画像記録再生装置について図1〜図8を用いて説明する。
図1は、本発明の実施に係る符号化画像記録再生装置の構成例を示すブロック図である。図2は、本発明の実施に係る符号化画像記録再生装置の要部の構成例(その1)を示す図である。図3は、本発明の実施に係る符号化画像記録再生装置の要部の構成例(その2)を示す図である。図4は、本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その1)である。図5は、本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その2)である。図6は、本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その3)である。図7は、本発明の実施に係るナビ情報ファイルのヘッダ部のフォーマット例(その1)を示すである。図8は、本発明の実施に係るナビ情報ファイルのヘッダ部のフォーマット例(その2)を示すである。
その符号化画像記録再生装置は例えば15倍速を超えた高速再生の場合では復号化すべき符号化効率が低くデータ量の大きなイントラ符号化画像のデータを連続的に読み込んで復号化し、動きのスムーズな再生画像を得ることを可能とする符号化画像記録再生装置を実現するという目的を、入力された符号化画像からイントラ符号化画像を検出し、検出したイントラ符号化画像ごとの符号化開始時刻と符号量とを検出し、イントラ画像検出手段で検出されたイントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成し、符号化画像及びイントラ画像テーブルを記録媒体に記録し、イントラ画像テーブルを再生して得、外部からの操作により記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力し、出力された制御信号で指定される指定速度で記録媒体から符号化画像を読み出す際に、指定速度による再生がイントラ符号化画像を順次再生する高速順次再生速度の場合は記録媒体に記録されるイントラ符号化画像を順に読み出させ、指定速度による再生が高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は再生して得たイントラ画像テーブルを参照し、イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させ、指定されるイントラ符号化画像の読み出しをイントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行うようにして実現した。
符号化画像記録再生装置の構成について述べる。
図1に示す符号化画像記録再生装置10は、デマルチプレクサ部11、PSI(Program Specific Information)検出部12、PCR(Program Clock Reference)検出部13、PES(Packetized Elementary Stream)パケット検出部14、PESヘッダ検出部15、I(Intra-coded)ピクチャ検出部16、ストリーム記録部17、ナビ情報ファイル生成部18、及びナビ情報ファイル記録部19よりなる記録装置部1と、ナビ情報記録領域21、及びストリーム記録領域22を有する記録媒体2と、ナビ情報再生部31、再生制御部32、ストリーム再生部33、デマルチプレクサ部34、及びA・Vデコーダ部35よりなる再生装置部3と、ユーザインタフェース41とより構成される。
図2に示すナビ情報ファイル生成部18は、Iピクチャ開始位置検出器181、Iピクチャ終了位置検出器182、Iピクチャサイズ演算器183、Iピクチャマップ生成器184、及びナビ情報ファイル記述器185より構成される。
図3に示す再生制御部32は、再生速度検出器321、Iピクチャマップ取得器322、Iピクチャ組合せ候補作成器323、各組合せデータ量積算器324、データ量比較器325、再生用Iピクチャ指定器326、及びIピクチャ再生制御器327より構成される。
符号化画像記録再生装置10の動作について述べる。
まず、記録装置部1のストリーム記録部17に入力されるビットストリームはMPEG(moving picture experts group)−2のビデオ方式により圧縮符号化がなされた画像信号であり、その画像信号はMPEG−2のシステム方式によりTS(Transport Stream)信号としてパケット化のなされた信号である。入力されたビットストリームはストリーム記録部17を介して記録媒体2のストリーム記録領域22に記録されると共に、記録装置部1のデマルチプレクサ部11にも供給される。デマルチプレクサ部11は、ビットストリームのTS信号ヘッダに記述されるパケットの識別情報を基に、ビットストリームをそれぞれの識別される信号ごとに分離する。PSI検出部12は分離して得られたPSI(Program Specific Information)信号からマルチビューやマルチプログラムに関する情報を得る。PCR検出部13は分離されたPCR(Program Clock Reference)信号から、画像信号を再生するための時刻情報を得る。PESパケット検出部14はデマルチプレクサ部11で分離されたビデオ信号からPES(Packetized Elementary Stream)信号を検出する。PESヘッダ検出部15は、PESパケット検出部14で検出されたPES信号のヘッダを解析し、そのPES信号は映像、音声、乃至は補助データなどのどの情報であるかを検出する。Iピクチャ検出部16は、MPEG−2のビデオ方式により圧縮符号化がなされ、I(Intra-coded)ピクチャ、P(Predictive-coded)ピクチャ、及びB(Bidirectionally predictive-coded)ピクチャで構成されるピクチャのうち、Iピクチャが存在する部分の位置を検出する。検出される位置はSPN(Source Packet Number)などが用いられて特定される。
ナビ情報ファイル生成部18は、PSI検出部12で検出されたマルチビューやマルチプログラムに関するプログラム情報、PCR検出部13で検出された画像や音声信号を再生するための時刻情報、及びIピクチャ検出部16で検出されたIピクチャの位置情報を基にして高速度な特殊再生をする際に用いる、再生すべきIピクチャのマップ情報を作成する。
MPEG−2方式で符号化されて生成されるPピクチャ及びBピクチャはIピクチャから動き予測して符号化データを生成するため、P、Bピクチャ単独では復号画像を得ることが出来ない。高速再生時に特殊再生画像を得るためには必ずIピクチャから再生する必要がある。Iピクチャマップ情報は、符号化された画像を間引いて高速再生する際に、間引かれた直後に再生する画像をIピクチャから復号開始させるように再生制御するためのマップである。
MPEG−2方式で符号化されて生成されるGOP構造のピクチャの配列は、Iピクチャから開始され、通常は15枚のピクチャ後に再びIピクチャが配置される。従って、Iピクチャのみを再生すると15倍速の高速度の特殊再生画像が得られる。2つのIピクチャのうちの片方の1つを再生すれば30倍速、4つのIピクチャのうちの1つを再生すれば60倍速の高速再生画像が得られる。即ち、Iピクチャを一つ置きに再生すれば30倍速2つ置きに再生して45倍速、3つ置きに再生して60倍速の特殊再生画像が得られる。
MPEG−2で符号化されるI、P、Bそれぞれのピクチャの符号量はIピクチャが最も大きく、次いでPピクチャ、Bピクチャの順となる。Iピクチャは空間的冗長度のみを削減しているのに比しPピクチャ及びBピクチャは空間的冗長度に加えて時間的冗長度の削減を行っていることによる。高速再生時には符号量の大きなIピクチャを再生するため、再生装置部3のA・Vデコーダ部35における信号処理時間が不足することがある。その場合は、例えば1秒間に復号するIピクチャの数を少なくすることにより駒落ちした高速再生画像として再生される。滑らかな高速再生画像が得られない。
ナビ情報ファイル生成部18は、Iピクチャ検出部16で検出されるIピクチャの符号量と、入力されるビットストリームのソースパケットナンバー(SPN)とを関係付けたナビ情報ファイルを生成する。ナビ情報ファイル記録部19はナビ情報ファイル生成部18で生成されたナビ情報ファイルを、記録媒体2のナビ情報記録領域21に記録する。
再生装置部3のストリーム再生部33は記録媒体2のストリーム記録領域22に記録されたビットストリームを再生し(読み出し)、ナビ情報再生部31は記録媒体2のナビ情報記録領域21に記録されたナビ情報ファイルを再生する。再生制御部32はユーザインタフェース41が操作されて選択された再生方法を認識し、認識された再生方法を実行させるための制御信号を発行する。ストリーム再生部33は再生制御部32から発行された制御信号に従って、記録媒体2のストリーム記録領域22に記録されている、所定のSPNの付されるTS信号を取得する。
ユーザインタフェース41で高速度再生が指定される場合に、再生制御部32はナビ情報再生部31により取得されたナビ情報ファイルを参照しながら、再生すべきIピクチャを特定する。ソースパケットナンバー(SPN)で特定されたIピクチャはストリーム再生部33で再生が行われる。15倍速未満の高速度再生の場合は指定されるIピクチャの他に、そのIピクチャの記述されるGOP内に記録されるBピクチャやPピクチャも再生される。
デマルチプレクサ部34は、再生されたそれらのピクチャの画像データや、画像に付随される音声データ、そして補助データをそれぞれの情報の種類に応じて分離する。A・Vデコーダ部35は、分離して得られた音声データを図示しない音声復号化器で復号化して音声信号を得、分離して得られた画像データは図示しない画像復号化器で復号化して動画信号が得られる。音声信号及び動画信号は再生装置部3から出力される。
記録装置部1は、入力されるビットストリームからIピクチャの記録が開始される位置を示すソースパケットナンバーと、そのIピクチャのデータ量とを関連付けたナビ情報ファイルを作成して記録媒体2に記憶(記録)する。再生装置部3は、使用者によりユーザインタフェース41が操作され、高速度再生がなされる場合に再生制御部32は再生して得られたナビ情報ファイルを参照し、ストリーム記録領域22に記録されるビットストリームから所望のIピクチャを選択して再生させる。15倍速を越える高速度再生の場合は間引いたIピクチャを再生する。間引く際には、符号量の小さい方のIピクチャを選択して再生する。駒落ちが少なく、滑らかな動きの高速再生画像を得ることが出来る。
上述の方法は、ビットストリームがマルチプログラムである場合やマルチビュープログラムである場合にも応用できる。マルチプログラムやマルチビュープログラムはPMTが複数あることにより再生される言語情報が異なったり、再生されるストーリが異なったり、更にはクイズや教育用の場合では使用者により操作された選択肢により異なった番組部分が再生される。そのようなマルチプログラムやマルチビュープログラムに対応したビットストリームが入力される場合であっても、複数あるプログラムの流れに従ったナビ情報ファイルを作成することにより、マルチプログラムやマルチビュープログラムの高速度な特殊再生を駒落ちが少なく、滑らかな動きの再生画像として得ることが出来る。
さらに、ナビ情報ファイルを参照して行う特殊再生は、高速度再生のほかにバック再生(逆再生)も滑らかな動きの再生画像として得ることが出来る。バック再生の場合もIピクチャから再生を開始する必要がある。ナビ情報ファイルに記述されるIピクチャの位置情報(SPN)を参照しつつ所望のIピクチャを指定し、再生することが出来る。
次に、詳細に説明する。
図2を参照し、ナビ情報ファイル生成部18について述べる。
まず、Iピクチャ検出部16でIピクチャが検出された場合は、そのIピクチャのソースパケットナンバー(SPN)がIピクチャ開始位置検出器181及びIピクチャ終了位置検出器182に入力される。Iピクチャ開始位置検出器181はそのSPNをIピクチャの開始位置であるとして検出する。Iピクチャ終了位置検出器182は続いて入力されるSPNを監視する。MPEG−2方式により生成されたビットストリームの場合はIピクチャの終了を示すIピクチャ終了データは伝送されない。そこで、Pピクチャ、又はBピクチャの開始を示すビットストリームが到来した際に、Iピクチャ終了位置検出器182はその手前でIピクチャが終了しているとして検出し、SPNを取得する。Iピクチャサイズ演算器183はIピクチャ終了時のSPNからIピクチャ開始時のSPNを減じる。減算して得られるSPNの個数がIピクチャのデータサイズに対応する。
Iピクチャマップ生成器184は、Iピクチャ検出部より供給されるIピクチャの検出信号と、Iピクチャサイズ演算器183より供給されるIピクチャのサイズ信号とによりSPNで示される位置から開始されるIピクチャのデータサイズを関連付けられる。そして、PCR検出部13からはプログラムクロックレファレンス(PCR=Program Clock Reference)の時間情報をシステムタイムクロック(STC=System time clock)に関連付けて知ることが出来る。
さらに、Iピクチャマップ生成器184には、PSI(Program Specific Information)検出部12が検出したマルチプログラムやマルチビュープログラムなどのプログラムの種類に係る情報が供給される。そのプログラムの種類に係る情報は、PSI検出部12が、入力されるビットストリームからPAT(Program Association Table)を検出し、検出されたPATを解析してPMT(Program Map Table)を得、得られたPMTに記述されるPID(Packet ID)を取得する。
ナビ情報ファイル記述器185は、Iピクチャマップ生成器184から供給されるIピクチャの存在する時刻(PCR)、位置(SPN)及びIピクチャのデータ量を関連付け、その関連付けた結果をマルチプログラムやマルチビュープログラムなどのプログラムの種類毎に記述したテーブルをナビ情報ファイルとして生成する。生成されたナビ情報ファイルはナビ情報ファイル記録部19に供給される。
図3を参照し、ナビ情報ファイル生成部18で生成されたナビ情報ファイルを用いて再生装置部3の再生制御を行う再生制御部32について述べる。
まず、Iピクチャマップ取得器322はナビ情報再生部31からナビ情報ファイルを取得する。再生速度検出器321は、ユーザインタフェース41から特殊再生の再生速度情報を得る。Iピクチャ組合せ候補作成器323は再生速度検出器321で得られた再生速度情報を基に再生すべきI、P、及びBピクチャの候補を指定する。その候補は、再生速度が15倍速未満の場合には再生すべきIピクチャ、及びそのIピクチャが存在するGOP内にあるPピクチャやBピクチャを指定する。再生速度が15倍速、即ち高速順次再生速度の場合には1GOP毎に1つのIピクチャを指定して再生する。再生速度が15倍速を越える場合はナビ情報ファイルを参照し、再生すべきIピクチャのPCR、及びSPNを指定する。再生速度に応じてそのIピクチャが存在するGOPにあるPピクチャやBピクチャを指定して再生する。再生速度が30倍速の場合には、2つのGOPごとに1つのIピクチャを指定する。45倍速の場合は3つのGOPごとに1つを、60倍速の場合には4つのGOPごとに1つのIピクチャを指定する。即ち、再生速度が30倍速の場合は2つのIピクチャをイントラ画像ブロックとし、再生速度が60倍速の場合は4つのIピクチャをイントラ画像ブロックとし、イントラ画像ブロックから1つのIピクチャを取得して再生する。
15倍速を超える速度で特殊再生をする場合には、再生するIピクチャはイントラ画像ブロックの中から1つのIピクチャを指定するようにして、Iピクチャの間引き再生を行う。nを15とする場合に、再生用として指定するピクチャの順には次に示す(1)〜(4)の候補がある。
(1) 0、 4n、 8n、 12n、 ・・・
(2) n、 (4+1)n、 (8+1)n、 (12+1)n、 ・・・
(3) 2n、 (4+2)n、 (8+2)n、 (12+2)n、 ・・・
(4) 3n、 (4+3)n、 (8+3)n、 (12+3)n、 ・・・
Iピクチャ組合せ候補作成器323は、再生速度検出器321で検出された再生速度を基に間欠的に再生するIピクチャの組合せが何通りあるかを検出し、全ての組合せの候補を作成する。各組合せデータ量積算器324は、Iピクチャマップ取得器322のナビ情報ファイルに格納されるIピクチャの位置と符号量のテーブルを用い、全ての組合せ候補毎にIピクチャ符号量の積算値を求める。データ量比較器325は求められた積算値の中で最も符号量の小さな候補の組合せを検出する。Iピクチャ組合せ候補作成器323は、データ量比較器325で得られたIピクチャの全組合せ候補の中から最も小さな積算符号量を与える候補を指定する。再生用Iピクチャ指定器326は、指定された候補を基に、ナビ情報ファイルに記述される再生すべきIピクチャの位置や時間情報を決定する。Iピクチャ再生制御器327は決定されたIピクチャを再生するためのPCRやSPNなどの制御信号をストリーム再生部33に対して供給する。
以上は、4nごとに規則的に配列されるIピクチャの中から候補を選択する例である。候補の選択はほぼ4n毎に配列されるIピクチャの中から最も符号量の小さいIピクチャを指定して高速再生を行う方法がある。その場合は、再生されるIピクチャと次に再生されるIピクチャとの間隔を例えば3n〜5nの間の値とし、且つ間隔の平均値が約4nになるようにして指定する方法である。この場合の方が符号量の小さなIピクチャ同士を指定して再生することができる。そのためA・Vデコーダ部35での復号処理のための時間を小さく出来る。また、再生するピクチャの間隔は2n以下のIピクチャが含まれないようにしているため、高速再生画像の滑らかさは遜色ない品質に保たれる。
図4を参照して符号化画像記録再生装置10の記録装置部1の信号の流れについて述べる。
まず、S(ステップ)51で入力されるビットストリームからTS(Transport Stream)パケットを取得する。S52で、TSパケットの同期符号である0x47(16進数表記で47の値。以下同様に表現する。)をサーチする。0x47の値が192バイトごとに3回検出された場合にはtransport_error_indicatorフラグが立っているか否かをチェックする。フラグが立っていない場合にはS53でアライバルタイムスタンプを取得し、ナビ情報ファイル生成部18の図示しない記憶領域に保存する。S54でSPN(Source Packet Number)を取得してSPNを記憶領域に保存すると共にSPNを1増加させる。S55で、PAT(Program Association Table)、PMT(Program Map Table)、SIT(Service Information Table)、PCR(Program Clock Reference)、ビデオ信号のPID(Packet ID)、及びオーディオ信号のPIDを検出する。S56で検出されたPIDに従って取得されたTS信号を振り分ける。
PIDがオーディオ信号の場合にはS57でオーディオ信号のヘッダを解析する。ビットストリームの再生方法がマルチビューである場合には、それらのビューごとのオーディオ信号についてオーディオ信号に付されるヘッダを解析する。S58で解析して得られたサンプリング周波数等に係る符号化パラメータの情報はナビ情報ファイル生成部18に供給される。S59でオーディオ信号のタイプが取得され、後記のSIT(Service Information Table)で得られるオーディオタイプと比較される。オーディオ信号のタイプに係る情報はナビ情報ファイル生成部18に供給される。
図5を参照してPIDがビデオ信号である場合について説明する。
まずS56において、PIDがビデオ信号のPIDであるとして検出された場合に、S62でPacket_start_code_prefixが検出される。Packet_start_code_prefixは、0x000001で示される24ビットのPESパケット開始コードである。その検出の後、S63でstream_idの検出及びstream_idの解析を行う。stream_idはエレメンタリストリームの種類と番号を特定する識別コードである。S64で、stream_idがPES_start_codeであるとして検出された場合にはS65でstream_idをナビ情報ファイル生成部18に保存すると共に、S66でPTS(Presentation Time Stamp)で示される表示時刻情報を得て、PES_start_codeと関連付けてナビ情報ファイル生成部18に保存する。
S64で、stream_idがSequence_header(SQH)であるとして検出された場合は、S67でそのSequence_headerを解析する。S68では、解析した結果を基に、画像の縦横の画素数に係るVideo_format、画面縦横比のAspect_ratio、そして毎秒フレーム数に係るFrame_rateなどの情報を得る。S69でGOPの開始位置を検出し、S71でGOPの終了位置を検出する。それらの検出された情報はS61でナビ情報ファイル生成部18に保存される。
stream_idがPES_start_code及びSequency_headerでない場合には、S72でGOP_start_codeであるか、又はPicture_startであるかが検出される。GOP_start_codeの場合にはS73でGOPヘッダが解析される。S74でClosed_flagが検出される。検出結果及び解析結果、はS61でナビ情報ファイル生成部18に保存される。
S72でstream_idがPicture_startであるとして検出された場合に、S75でピククチャヘッダが解析される。S76でピクチャタイプがIピクチャかPピクチャであるかが検出される。Pピクチャの場合にはS61で解析結果がナビ情報ファイル生成部18に保存される。検出結果がIピクチャの場合にはS77でIピクチャのスタート位置が検出される。S78でBピクチャ又はPピクチャの開始を検出することにより、その手前の位置がIピクチャのエンド位置であるとして検出される。S79では、Iピクチャのサイズが算出される。サイズはIピクチャの開始から終了までのSPN(Source Packet Number)により算出される。Iピクチャのスタート位置及びIピクチャのサイズに係る情報は関連付けられ、S61でナビ情報ファイル生成部18に保存される。
図6を参照してPIDがVideo、Audio以外のPIDである場合の流れについて述べる。
S81で、PIDがPAT(Program Association Table)のPIDであるとして検出された場合は、S82でPATの記述内容を解析する。S83で記述されているPMT(Program Map Table)を得ると共に、PMTに記述されるPIDはS84でナビ情報ファイル生成部18に供給される。
ここで、記録装置部に入力されるビットストリームがマルチプログラムのビットストリームであり、ユーザインタフェース41が操作されて所望のPMTに記述されるPIDが選択される場合がある。S85のPMTの解析時に、S84で選択されたPIDの検出を行う。S86で、検出されたPIDのPCR(Program Clock Reference)を抽出する。S87でES(Elementary Stream)の数を検出し、S88でstream_typeを取得し、PID、PCR、ESの数、及びstream_typeはS61でナビ情報ファイル生成部18に保存される。
S81でPAT、PMT以外のPIDを有するとして検出されたTSパケットは、S89でPCR(Program Clock Reference)であるか、又はSIT(Service Information Table)であるかが検出される。PCRとして検出された場合はS91でPCRの値が抽出される。S92でTSパケットに不連続フラグが立っているか否かが検出される。フラグが立っている場合にはS93で前のPCRとの差分値を基にしたナビ情報ファイルを作成するため、不連続フラグの付されるTSパケットはナビ情報ファイル生成部18に保存される。不連続フラグが立っていない場合は手前のPCRとの差分値が求められ、求められた差分値はナビ情報ファイル生成部18に保存される。
S89でPIDがSITとして検出された場合は、S94でそのSITが解析される。マルチビュービットストリームの場合はESが複数個存在するため、それぞれのストリームのグループ関係を調べる。S95で、Componet_groupの記述子が検出される。S96でAudio_Componentの記述子が検出される。それらの記述子はS61でナビ情報ファイル生成部18に保存される。
以上により、S61でナビ情報ファイル生成部18は、再生が想定されるビットストリームのマルチビューやマルチプログラムなどのディジタル画像を再生するに際し、高速度な特殊再生や逆再生を行う場合に必要とされるナビ情報ファイルを作成する。
図7、図8を参照してナビ情報ファイルの記述フォーマットについて述べる。
同図に示す記述フォーマットはビットストリームを32ビット(4バイト)毎に行を変えて示したものである。4行、即ち16バイトのデータがナビ情報ファイルのヘッダである。ヘッダに続いてナビ情報本体部が記述される。
ナビ情報には、PAT、PMT、PCR、GOP_START、及びGOP_ENDなどの情報がある。ここでは代表的な例としてPMTとGOP_STARTのナビ情報について述べる。
図7はPMTのナビ情報の記述フォーマットについて示したものである。まず、ナビ情報ファイルのヘッダについて説明する。
ヘッダ部128ビット(16バイト)の最初の8ビットはナビ情報ファイルの先頭を示す固定値のIndicatorである。次の8ビットは予約ビット、続く16ビットはナビ情報ファイルの長さを記述する。次の32ビットのSPN(Source Packet Number)は、このナビ情報ファイルに対応するビットストリーム入力であるTSパケットのSPNである。次のTP_extra_headerの32ビットは、このナビ情報ファイルに対応するTSパケットの4バイトに記述されるTP_extra_headerである。PIDの16ビットは同様に対応するTSパケットのPIDであり、次に予約ビットが8ビット配置される。
第5行目以降はPMTを示すナビ情報ファイルの本体部である。
16ビットのPCR_PIDはこのナビ情報ファイルに対応するTSパケットのPCR_PIDで、Num_of_StreamはPMT内に記述されるESの数である。次の行にはPMT内に記述されるelementary_streamの情報が記述される。その情報は動画のエレメンタリストリーム数を32ビット×2行、音声のエレメンタリストリーム数を32ビット×2行、そして補助データのエレメンタリストリーム数を32ビットの合計5行で記述する。次に、コンポーネントグループが複数存在する場合にはそれらのグループ情報を記述する。グループ情報はグループの数を8ビットで、ストリームの数を8ビットで、そして残りの16ビットにはパディングビット(無効ビット)が記述される。
図8を参照してGOP_STARTのナビ情報記述フォーマットについて述べる。
最初の横32ビット及び縦4行に記述される情報はナビ情報ファイルのヘッダであり、図7に示したヘッダと同一である。次のGOP_typeは、GOPがシーケンスヘッダ及びIピクチャから開始される場合は0x01(16進法表示で01)、シーケンスヘッダなしでIピクチャが開始される場合は0x02、シーケンスヘッダに続いてPピクチャで開始される場合は0x03を記述する。EP_Video_typeはビットストリームがDVB(Digital Video Broadcasting)の場合は0x02、その他は0x01を記述する。Closed_flagはこのナビ情報に対応するGOPがClosed_GOPの場合は0x01を、それ以外は0x00を記述する。I_TP_sizeはIピクチャのサイズを、開始ソースパケットナンバ(SPN)から終了SPNを減じたパケット数で記述する。I_PTSはGOP_typeで指定されるIピクチャのPTS(Presentation Time Stamp)を記述する。B_PTSは、GOPがClosed_GOPの場合はGOPの先頭となるBピクチャのPTSを、それ以外の場合は0xffffffffを記述する。
以上、ナビ情報ファイル生成部18で生成するナビ情報ファイルについて記述フォーマットを含めて述べた。符号化画像記録再生装置10の再生装置部3は、記録装置部1で生成され、ナビ情報再生部31により得られるナビ情報ファイルを参照することにより、ユーザインタフェース41が操作されて高速度な特殊再生やバック再生の指示がなされた場合であっても、再生制御部32はナビ情報ファイルに記述されるIピクチャの位置及びIピクチャのデータサイズを基にスムーズな動きを有する特殊再生画像を得るために再生すべきデータ量が少ないIピクチャの指定を行うため、A・Vデコーダ部35は効率よく多くのIピクチャを再生する様に制御される。動きの滑らかな高速度の特殊再生画像やバック再生画像を得ることが出来る。加えて、ナビ情報ファイルは、PMTに記述されるマルチプログラムやマルチビューのプログラムに対してもナビ情報ファイルを作成してナビ情報記録領域21に記述するようにしているため、マルチプログラムやマルチビューのプログラムにおけるタイムサーチ画像を短い検索時間でサーチして再生できると共に、その後のマルチプログラムやマルチビューのプログラム再生中に高速度の特殊再生やバック再生の操作がなされる場合であってもA・Vデコーダ部35での、符号化効率の低いIピクチャの復号時間を短く出来るため、滑らかな動きの動画像を再生することが出来る。
以上のように、本実施例で示した符号化画像記録再生装置10によれば、イントラ予測及びインター予測を用い符号化して入力されたイントラ符号化画像とインター符号化画像を備えた符号化画像を記録媒体2に記録した後、前記符号化画像を前記記録媒体から読み出し、標準再生速度よりも早い再生速度である高速再生速度で前記符号化画像を再生するに際し、入力された符号化画像からイントラ符号化画像を検出し、検出したイントラ符号化画像ごとの符号化開始時刻と符号量とを検出するイントラ画像検出手段16、18と、イントラ画像検出手段で検出されたイントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成手段18と、符号化画像及びイントラ画像テーブルを記録媒体に記録する記録手段19と、イントラ画像テーブルを再生して得るイントラ画像テーブル再生手段31と、外部からの操作により記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力する制御手段41と、制御手段から出力された制御信号で指定される指定速度で記録媒体から符号化画像を読み出す際に、指定速度による再生がイントラ符号化画像を順次再生する高速順次再生速度の場合は記録媒体に記録されるイントラ符号化画像を順に読み出させ、指定速度による再生が高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合はイントラ画像テーブル再生手段で再生して得たイントラ画像テーブルを参照し、イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させる読み出し制御手段32と、読み出し制御手段により指定されるイントラ符号化画像の読み出しをイントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う符号化画像読み出し手段33とを備えているので、例えば15倍速を超えた高速再生の場合では復号化すべき符号化効率が低くデータ量の大きなイントラ符号化画像のデータを連続的に読み込んで復号化し、動きのスムーズな再生画像を得ることを可能とする符号化画像記録再生装置を実現できる。
本発明の実施に係る符号化画像記録再生装置の構成例を示すブロック図である。 本発明の実施に係る符号化画像記録再生装置の要部の構成例(その1)を示す図である。 本発明の実施に係る符号化画像記録再生装置の要部の構成例(その2)を示す図である。 本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その1)である。 本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その2)である。 本発明の実施に係る符号化画像記録再生装置の動作例をフローチャートで示した図(その3)である。 本発明の実施に係るナビ情報ファイルのヘッダ部のフォーマット例(その1)を示すである。 本発明の実施に係るナビ情報ファイルのヘッダ部のフォーマット例(その2)を示すである。
符号の説明
1 記録装置部
2 記録媒体
3 再生装置部
10 符号化画像記録再生装置
11 デマルチプレクサ部
12 PSI検出部
13 PCR検出部
14 PESパケット検出部
15 PESヘッダ検出部
16 Iピクチャ検出部
17 ストリーム記録部
18 ナビ情報ファイル生成部
19 ナビ情報ファイル記録部
21 ナビ情報記録領域
22 ストリーム記録領域
31 ナビ情報再生部
32 再生制御部
33 ストリーム再生部
34 デマルチプレクサ部
35 A・Vデコーダ部
41 ユーザインタフェース
181 Iピクチャ開始位置検出器
182 Iピクチャ終了位置検出器
183 Iピクチャサイズ演算器
184 Iピクチャマップ生成器
185 ナビ情報ファイル記述器
321 再生速度検出器
322 Iピクチャマップ取得器
323 Iピクチャ組合せ候補作成器
324 各組合せデータ量積算器
325 データ量比較器
326 再生用Iピクチャ選択器
327 Iピクチャ再生制御器

Claims (2)

  1. イントラ予測及びインター予測を用い符号化して入力されたイントラ符号化画像とインター符号化画像を備えた符号化画像を記録媒体に記録した後、前記符号化画像を前記記録媒体から読み出し、標準再生速度よりも早い再生速度である高速再生速度で前記符号化画像を再生する符号化画像記録再生装置において、
    前記入力された符号化画像から前記イントラ符号化画像を検出し、検出した前記イントラ符号化画像ごとの符号化開始時刻と符号量とを検出するイントラ画像検出手段と、
    前記イントラ画像検出手段で検出された前記イントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成手段と、
    前記符号化画像及び前記イントラ画像テーブルを前記記録媒体に記録する記録手段と、
    前記イントラ画像テーブルを再生して得るイントラ画像テーブル再生手段と、
    外部からの操作により前記記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力する制御手段と、
    前記制御手段から出力された制御信号で指定される指定速度で前記記録媒体から前記符号化画像を読み出す際に、前記指定速度による再生が前記イントラ符号化画像を順次再生する高速順次再生速度の場合は前記記録媒体に記録される前記イントラ符号化画像を順に読み出させ、前記指定速度による再生が前記高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は前記イントラ画像テーブル再生手段で再生して得た前記イントラ画像テーブルを参照し、前記イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させる読み出し制御手段と、
    前記読み出し制御手段により指定されるイントラ符号化画像の読み出しを前記イントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う符号化画像読み出し手段と、
    を備えることを特徴とする符号化画像記録再生装置。
  2. イントラ予測及びインター予測を用い符号化して入力されたイントラ符号化画像とインター符号化画像を備えた符号化画像を記録媒体に記録した後、前記符号化画像を前記記録媒体から読み出し、標準再生速度よりも早い再生速度である高速再生速度で前記符号化画像を再生する符号化画像記録再生方法において、
    前記入力された符号化画像から前記イントラ符号化画像を検出し、検出した前記イントラ符号化画像ごとの符号化開始時刻と符号量とを検出するイントラ画像検出ステップと、
    前記イントラ画像検出ステップで検出された前記イントラ符号化画像ごとの符号化開始時刻と符号量とを関連付けたイントラ画像テーブルを生成するテーブル生成ステップと、
    前記符号化画像及び前記イントラ画像テーブルを前記記録媒体に記録する記録ステップと、
    前記イントラ画像テーブルを再生して得るイントラ画像テーブル再生ステップと、
    外部からの操作により前記記録媒体に記録された符号化画像の再生速度を指定して読み出させるための制御信号を出力する制御ステップと、
    前記制御ステップで出力された制御信号で指定される指定速度で前記記録媒体から前記符号化画像を読み出す際に、前記指定速度による再生が前記イントラ符号化画像を順次再生する高速順次再生速度の場合は前記記録媒体に記録される前記イントラ符号化画像を順に読み出させ、前記指定速度による再生が前記高速順次再生速度よりも高い速度であり複数のイントラ符号化画像からなるイントラ画像ブロックごとに1つのイントラ符号化画像を再生する高速再生速度の場合は前記イントラ画像テーブル再生ステップで再生して得た前記イントラ画像テーブルを参照し、前記イントラ画像ブロックの中から符号量が小さい方のイントラ符号化画像を指定して読み出させる読み出し制御ステップと、
    前記読み出し制御ステップにより指定されるイントラ符号化画像の読み出しを前記イントラ画像テーブルに記述されるイントラ符号化画像の符号化開始時刻を基に行う符号化画像読み出しステップと、
    を有することを特徴とする符号化画像記録再生方法。
JP2006153208A 2006-06-01 2006-06-01 符号化画像記録再生装置及び符号化画像記録再生方法 Withdrawn JP2007324964A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006153208A JP2007324964A (ja) 2006-06-01 2006-06-01 符号化画像記録再生装置及び符号化画像記録再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006153208A JP2007324964A (ja) 2006-06-01 2006-06-01 符号化画像記録再生装置及び符号化画像記録再生方法

Publications (1)

Publication Number Publication Date
JP2007324964A true JP2007324964A (ja) 2007-12-13

Family

ID=38857359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006153208A Withdrawn JP2007324964A (ja) 2006-06-01 2006-06-01 符号化画像記録再生装置及び符号化画像記録再生方法

Country Status (1)

Country Link
JP (1) JP2007324964A (ja)

Similar Documents

Publication Publication Date Title
KR101138047B1 (ko) 동화상 부호화 방법 및 장치
JP4211947B2 (ja) 多重化装置および再生装置
US7792417B2 (en) Data processor
WO1998013769A1 (fr) Procede de production d'un train multimedia permettant une reproduction selective de donnees video et systeme auteur a disque optique multimedia
WO2008072669A1 (ja) 動画像符号化方法、動画像符号化装置、動画像記録方法、記録媒体、動画像再生方法、動画像再生装置および動画像再生システム
JP2005348314A (ja) データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
US6339675B1 (en) Synchronization lag control apparatus and method
JP4779981B2 (ja) デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
JP2007533054A (ja) ストリーム記録再生装置
JP2002010254A (ja) 特徴点検出方法および記録再生装置
JP2008294638A (ja) 伝送システム、記録装置、伝送方法、記録方法、およびプログラム
JP3529679B2 (ja) 記録再生装置
JP2007324964A (ja) 符号化画像記録再生装置及び符号化画像記録再生方法
JP2006157855A (ja) 情報記録媒体、画像符号化方法、および画像復号方法
US20070122120A1 (en) Multi-av stream playback method and playback apparatus
JP2009171277A (ja) 情報データストリームの記録装置、及び方法
JP2002033712A (ja) パケット処理装置及びそのパケット出力方法
JP3975503B2 (ja) 情報再生装置及び再生方法
JP5110135B2 (ja) 記録媒体
JP4729983B2 (ja) 再生装置および再生方法、プログラム、並びに、データ構造
JP2010148091A5 (ja)
JP2009232319A (ja) 動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラム
JP2005198203A (ja) 映像信号記録再生装置および方法
JP3823426B2 (ja) 情報信号処理装置及び方法
JP2007259029A (ja) 映像信号記録装置、記録媒体、及び映像信号再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100303