JPH11289515A - 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 - Google Patents

画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体

Info

Publication number
JPH11289515A
JPH11289515A JP8910298A JP8910298A JPH11289515A JP H11289515 A JPH11289515 A JP H11289515A JP 8910298 A JP8910298 A JP 8910298A JP 8910298 A JP8910298 A JP 8910298A JP H11289515 A JPH11289515 A JP H11289515A
Authority
JP
Japan
Prior art keywords
image signal
image
recording
identification information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8910298A
Other languages
English (en)
Inventor
Makoto Yamada
誠 山田
Miki Abe
三樹 阿部
Eiichiro Morinaga
英一郎 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP8910298A priority Critical patent/JPH11289515A/ja
Priority to US09/281,165 priority patent/US6754272B2/en
Publication of JPH11289515A publication Critical patent/JPH11289515A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00098—Systems or arrangements for the transmission of the picture signal via a television channel, e.g. for a series of still pictures with or without sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 インターバル静止画を実現する。 【解決手段】 制御部は、ＭＰＥＧ２規格のビットスト
リーム内のビデオシーケンスに設けられたユーザデータ
領域から画像信号の再生形態及び他の記録単位との関係
を識別する識別情報を読み出す識別情報読み出しと、上
記識別情報に応じた再生形態にて画像信号の再生を行わ
せる制御とを機能的に行っている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ＭＰＥＧ２ビデオ
を使用した大画面静止画若しくは高画質静止画像又はイ
ンターバル静止画若しくはサムネール動画のＭＰＥＧ２
（Moving Pictures Experts Group Phase2）規格のビッ
トストリームシンタックス（bitstream syntax）の表現
についての画像信号処理装置及び方法、画像信号記録装
置及び方法並びに記録媒体に関する。
【０００２】
【従来の技術】ＭＰＥＧ２（Moving Pictures Experts
Group Phase2）は放送やＡＶ機器などに用いられる符号
化方式であり、画像／音声／データなどの情報圧縮技術
として広く用いられるようになっている。
【０００３】近年の記録再生装置では、１４０８×９６
０等の１００万画素クラスのＣＣＤ固体撮像素子を備え
た高画質記録再生装置が提供されている。このような高
画質記録再生装置で撮影された静止画を大画面静止画又
は高画質静止画で表現したい場合がある。
【０００４】
【発明が解決しようとする課題】しかし、従来の高画質
記録再生装置では、ＭＰＥＧ２ビデオ規格の中で決めら
れたサイズの大画面静止画しか表現できないために、表
現サイズの自由度がなかった。
【０００５】例えばＭＰＥＧ２のＭＰ＠ＭＬ（メインプ
ロファイル／メインレベル）で表現できる最大画像は７
２０（Ｈ）×５７６（Ｖ）であるため、このような高画
質記録再生装置で撮影された大画面静止画を表現するに
は、別のハードウェアを用意する必要があり、コスト高
となっていた。
【０００６】また、これら従来のＭＰＥＧ２ビデオ規格
を用いた静止画の表現方法では、１枚／秒，１枚／分，
１枚／３０分とか、フレーム間隔を自由には設定できな
かった。
【０００７】よって本発明の課題は、ＭＰＥＧ２ビデオ
規格で決められている枠の中では表現できない大画面静
止画、インターバル静止画、サムネール静止画等を実現
するため、静止画の記録再生機能をユーザが任意に設定
することができるような画像信号処理装置及び方法、画
像信号記録装置及び方法並びに記録媒体を提供すること
を目的とする。
【０００８】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像信号処理装置は、画像信号が符
号化された画像信号について少なくとも復号の処理を行
う画像信号処理装置において、上記ビットストリーム内
の所定の記憶単位内に設けられた固有情報領域から画像
信号の再生形態及び他の記録単位との関係を識別する識
別情報を読み出す識別情報読み出し手段と、上記識別情
報に応じた再生形態にて画像信号の再生を行わせる制御
手段とを有するものである。
【０００９】本発明に係る画像信号処理方法は、画像信
号が符号化された画像信号について少なくとも復号の処
理を行う画像信号処理方法において、上記ビットストリ
ーム内の所定の記憶単位内に設けられた固有情報領域か
ら画像信号の再生形態及び他の記録単位との関係を識別
する識別情報を読み出す識別情報読み出し工程と、上記
識別情報に応じた再生形態にて画像信号の再生を行わせ
る制御工程とを有するものである。
【００１０】本発明に係る画像信号記録装置は、画像信
号が符号化された画像信号について少なくとも符号化の
処理を行う画像信号記録装置において、上記ビットスト
リーム内の所定の記憶単位内に設けられた固有情報領域
に画像信号の再生形態及び他の記録単位との関係を識別
する識別情報を書き込む識別情報書き込み手段と、上記
画像信号の記録を上記識別情報に応じた記録形態にて行
うように制御する制御手段とを有するものである。
【００１１】本発明に係る画像信号記録方法は、画像信
号が符号化された画像信号について少なくとも符号化の
処理を行う画像信号記録方法において、上記ビットスト
リーム内の所定の記憶単位内に設けられた固有情報領域
に画像信号の再生形態及び他の記録単位との関係を識別
する識別情報を書き込む識別情報書き込み工程と、上記
画像信号のを上記識別情報に応じた記録形態にて行うよ
うに制御する制御工程とを有するものである。
【００１２】本発明に係る記録媒体は、画像信号が符号
化されたビットストリームが記録されてなる記録媒体に
おいて、上記ビットストリーム内に設けられた固有情報
領域に上記画像信号の再生形態を識別する識別情報が記
録されたものである。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。
【００１４】本発明の実施の形態として、図１に示す画
像信号をＭＰＥＧ２（Moving Pictures Experts Group
Phase2）規格のビットストリームに符号化するＭＰＥＧ
符号化器、及び図２に示すＭＰＥＧ２規格のビットスト
リームを画像信号に復号するＭＰＥＧ復号器について説
明する。
【００１５】ＭＰＥＧ２符号器は、図１に示すように、
入力される画像に所定の処理を施す入力処理部１１と、
入力処理部１１からのデータに加算を行う加算器２０
と、加算器２０からのデータに離散コサイン変換を施す
離散コサイン変換（Discrete Cosine Transformation;D
CT）部１４と、離散コサイン変換部１４からの離散コサ
イン係数を量子化する量子化部１５と、ローカルデコー
ドや動き予測，動き補償を行うローカルデコーダ・動き
補償部１９とを有している。
【００１６】入力処理部１１は、外部から供給される画
像信号をＡ／Ｄ変換し、順次得られるフレームデータを
マクロブロック単位に分割して出力する。マクロブロッ
クとは、１６（Ｈ）×１６（Ｖ）ピクセルのブロックで
ある。なお、静止画にあっては、フレームデータは、例
えば、１コマ単位でしか入力されず、また全てＩピクチ
ャとして処理される。
【００１７】加算器２０は、入力処理部１１からのデー
タと、ローカルデコーダ動き補償部１９からのスイッチ
ＳＷ１を介して得られるデータとの差分をとる。離散コ
サイン変換部１４では、加算器２０からのデータに離散
コサイン変換を施して離散コサイン係数とする。量子化
部１５は、離散コサイン変換部１４からの離散コサイン
係数を量子化する。
【００１８】ローカルデコーダ・動き補償部１９は、Ｐ
ピクチャ，Ｂピクチャの場合の予測画像を得るためのも
のであり、量子化器より供給される量子化された画像デ
ータに対して、逆量子化処理及び逆ＤＣＴ変換を施し、
動き補償を行う。動き補償が行われた画像データは、ス
イッチＳＷ１を介して加算器２０に与えられ、入力画像
との差分が取られる。ただし、静止画のようにＩピクチ
ャのみを用いる場合には、スイッチＳＷ１を開（オフ）
にして、入力されたフレームデータにはＩピクチャタイ
プを割り当てる。
【００１９】また、ＭＰＥＧ符号化器は、設定が行われ
る設定部３２と、このＭＰＥＧ符号化器の各部に対する
制御を行う制御部１８と、可変長符号化を行う可変長符
号化部１６と、データを一時的に保持するバッファ１７
とを有している。
【００２０】設定部３２は、時間間隔の設定や録画（Ｒ
ｅｃ）のスタートなどについて入力操作による設定が行
われる。
【００２１】制御部１８は、このＭＰＥＧ符号化器の各
部に対する制御を統括して行う部分である。制御部１８
は、例えば、スイッチＳＷ１の開閉、及び可変長符号化
部１６における処理を制御している。この制御部１８
は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ等からなるいわゆ
るマイコンとして構成することができる。
【００２２】可変長符号化部１６は、制御部１８の制御
の下に、量子化部１５からのデータに可変長符号化を施
す。バッファ１７は、可変長符号化部１６からの符号化
データを一時的に保持し、この符号化データを出力信号
として出力する。バッファ１７から出力される符号化デ
ータは、図示しない記録再生装置に記録される。
【００２３】一方、ＭＰＥＧ復号器は、図２に示すよう
に、入力される符号化データを一時的に蓄積するバッフ
ァ２１と、バッファ２１からの符号化データを可変長復
号化する可変長復号化部２２と、可変長復号化部２２か
らのデータを逆量子化する逆量子化部２３と、逆量子化
部２３にて逆量子化されたデータを逆離散コサイン変換
する逆離散コサイン変換部２４と、画像データに対して
動き補償を行う動き補償部２９と、逆離散コサイン変換
部２４及び動き補償部２９からのデータを加算する加算
器３０とを有している。
【００２４】図示しない記録再生装置によって再生され
た符号化データは、バッファ２１に一時的に保持され
る。バッファ２１からの符号化データは、可変長符号化
部２２に入力され、マクロブロック符号化情報を復号さ
れる。
【００２５】そして、可変長符号化部２２にて可変長復
号化されたデータは、逆量子化部２３にて離散コサイン
変換係数に復号され、この離散コサイン変換係数は逆離
散コサイン変換部２４にて画素空間データに変換され
る。
【００２６】動き補償部２９は、可変長符号化部２２よ
り供給される動きベクトル、加算器３０から図示しない
フレームメモリに記憶され、該フレームメモリから読み
出されたか画像データに基づいて、動き補償したデータ
を生成する。動き補償部２９からの動き補償を施された
画像データは、スイッチＳＷ２を介して加算器３０に与
えられる。なお、上述したような静止画の再生時には、
スイッチＳＷ２は開（オフ）とされて、Ｉピクチャのみ
が繰り返し再生される。
【００２７】加算器３０は、逆ＤＣＴ部２４により逆Ｄ
ＣＴが施されたデータと、動き補償器２９からの動き補
償されたデータとを加算する。この加算器３０からのデ
ータは、動き補償器２９及び図示しないフレームメモリ
にも与えられる。
【００２８】また、ＭＰＥＧ復号化器は、このＭＰＥＧ
復号器の各部を制御する制御部２８と、加算器３０から
のデータに表示制御を行う表示制御部２５と、画像を記
憶するメモリ２６と、表示制御部２５からのデータに所
定の変換を施して画像出力として出力する出力変換部２
７とを有している。
【００２９】制御部２８は、このＭＰＥＧ符号器の各部
を統括して制御する部分である。この制御部２８は、例
えば、可変長復号化器２２からのデータに基づいて、ス
イッチＳＷ２の開閉、表示制御部２５における処理等に
対する制御を行う。
【００３０】表示制御部２５では、画像データに対する
所定の処理を行う。この表示制御部２５における処理と
しては、例えば、制御部２８からの制御の下に、複数の
画面による大画面の合成が挙げられる。このような、画
像に対する処理については、後に詳細に説明する。メモ
リ２６は、表示制御部２５の制御の下に画像を記憶す
る。
【００３１】出力処理部２７は、表示制御部２５からの
画像データをＤ／Ａ変換した画像信号を出力信号として
出力する。
【００３２】続いて、上述したＭＰＥＧ符号器及びＭＰ
ＥＧ復号器における画像信号の処理について説明する。
これらＭＰＥＧ符号器及びＭＰＥＧ復号器は、画像信号
のＭＰＥＧ規格のビットストリームに対する符号化／復
号を行うものである。
【００３３】ＭＰＥＧ２では、入力される画像／音声／
データなどのデータをビットレートに基づいて符号化行
う。画像では、画像をｍ×ｎのブロックに分割して、直
交関数で変換して信号電力を集中させ、全体情報量を圧
縮する。
【００３４】ＭＰＥＧ２規格にてビットストリームに符
号化された画像データは、シーケンス層からブロック層
までの階層構造をとる。
【００３５】すなわち、ＭＰＥＧ２規格によるビットス
トリームは、一連の同じ属性をもつ画面グループのシー
ケンス層、ランダムアクセスの単位となる画面グループ
の最小単位のＧＯＰ（Group of Pictures ）層、１枚の
画面に共通な属性のピクチャ層、１枚の画面を任意に分
割した小画面に共通の情報のスライス層、スライス層を
さらに分割した画素ブロック（マクロブロック）に共通
の情報のマクロブロック層、及び変換係数そのもののブ
ロック層から構成される。
【００３６】ここで、ピクチャ層については、メイン・
レベル・メイン・フォーマットに従ってＮＴＳＣ方式の
テレビジョン信号については７０４（Ｈ）×４８０
（Ｖ）画像をその対象とする。
【００３７】各画面（ピクチャ）には、画面内符号化画
面であるＩ（Intra ）ピクチャ、表示順序に順方向の順
方向に予測符号化される順方向予測符号化画面Ｐ（Pred
ictive）ピクチャ，表示順序に順方向及び逆方向の双方
向に予想符号化される双方向符号化画像であるＢ（Bidi
rectionally predictive）ピクチャのピクチャタイプが
あり、これら複数のピクチャをまとめてＧＯＰ（Group
of Pictures）層を形成している。
【００３８】ＭＰＥＧ２のビデオシーケンス（video se
quence ）の中では解像度等を換えることはできない。
ＭＰＥＧ２のビデオシーケンスは、図３に示すように、
シーケンスヘッダ（sequence header ）にて始まり、シ
ーケンスエンド（sequence end）で終わり、Ｂ，Ｂ，
Ｉ，Ｂ，Ｂ，Ｐピクチャ・・からなる。このような解像
度を変更する最小単位であるビデオシーケンスは、スタ
ート−エンド（start-end ）間で一つの動画を表す。
【００３９】動画は、図３に示したように、ビデオシー
ケンスの集合として定義される動画シーケンス、すなわ
ちムービーシーケンス（movie sequence）を用いて表現
される。静止画は、ビデオシーケンスの不連続なフレー
ムの集合（Ｉピクチャ等）を定義して、その集合を静止
画の集合とすることで表現される。静止画についてのビ
デオシーケンスの集合は、静止画シーケンス、すなわち
スチルシーケンスとされる。
【００４０】このようにビデオシーケンスを利用するこ
とで、画像信号についての複数種類の再生形態、及び他
のビデオシーケンスとの関係すなわち動画及び静止画を
含む複数種類のモードが実現される。
【００４１】画像信号のモードである再生形態は、ＭＰ
ＥＧ２のビットストリームの固有情報であるユーザデー
タ（user_data ）を参照することにより識別される。
【００４２】具体的には、図４に示すように、ＭＰＥＧ
２のビットストリームのビデオシーケンス（video sequ
ence）のシーケンスヘッダ（sequence_header ）のユー
ザデータ（user_data ）が利用される。すなわち、シー
ケンスごとに定義できるユーザデータエリアのバイト１
（byte 1）および新たに定義されるバイト２（byte 2）
に識別情報が書き込まれる。
【００４３】シーケンスヘッダのユーザデータは、図５
に示すように定義される。
【００４４】ユーザデータの内のバイト１は、スタート
ＩＤ（start ID）に第７ビットｂ７、エンドＩＤ（end
ID）に第６ビット、ビットストリームＩＤ（Ｂｉｔ ｓ
ｔｒｅａｍ ＩＤ）に第３ビットｂ３及び第４ビットｂ
４、シーケンスＩＤ（Ｓｅｑｕｅｎｃｅ ＩＤ ）に第
２ビットｂ２，第１ビットｂ１及び第０ビットｂ０が用
いられる。なお、第５ビットｂ５は無定義である。
【００４５】スタートＩＤとして“１”ならば、動画又
は静止画シーケンスの最初のビデオシーケンスであると
定義し、エンドＩＤとして“１”ならば、動画又は静止
画シーケンスの最後のビデオシーケンスと定義する。な
お、数字の末尾の“ｂ”は２進（binary）表示であるこ
とを示している。
【００４６】ビットストリームＩＤとして“００”なら
ば、動画又は静止画シーケンスの最初のビデオシーケン
スであると定義し、エンドＩＤとして“１”ならば、動
画又は静止画シーケンスの最後のビデオシーケンスと定
義する。ビットストリームＩＤとして“００”ならば、
ＭＰＥＧ２（ＭＤ ＤＡＴＡ２）と定義し、“０１”な
らば、ＭＰＥＧ２（ＭＰ＠ＭＬ）と定義する。
【００４７】すなわち、ビットストリームＩＤ“００”
とは、フレームレートが３０Ｈｚで２コマ取るとかＭＰ
ＥＧ２で規定される範囲で表現されるものであり、“０
０”は、ＭＰＥＧ２規格枠外で時間間隔が任意に開いた
ときに、表現されるものである。
【００４８】動画モードについては、シーケンスＩＤと
して“０００”ならば、ムービーシーケンス（Movie se
quence）のショットモード（Shot mode）とし、“００
１”ならば、ムービーシーケンスのノーマルモード（No
rmal mode）とし、“０１０”ならば、ムービーシーケ
ンスのロングプレイモード（Long play mode ）とす
る。
【００４９】ここで、ムービーシーケンスについては、
リアルタイム再生を要求しないショットモード（Shot m
ode）、リアルタイム再生を要求するノーマルモード（N
ormal mode ）、及びプログレッシブ（Progressive ）
画像のエンコードを前提とした長時間録画モードである
ロングプレイモード（Long play mode）を有している。
【００５０】ショットモードは、例えばメモリを用いて
高ビットレートで圧縮したい場合などに用いられる。シ
ョットモードのビットレートは１５Ｍｂｐｓである。
【００５１】ノーマルモードは、ＭＰＥＧ２のＭＰ＠Ｍ
Ｌには完全には準拠していない。ノーマルモードのビッ
トレートは平均４Ｍｂｐｓである。ロングプレイモード
は、プログレッシブ画像に対応する長時間モードであ
り、ビットレートは平均１Ｍｂｐｓ以下である。
【００５２】このように、画像信号のモードは、ＭＰＥ
Ｇ２のビットストリームのユーザデータにより識別され
る。
【００５３】続いて、画像信号の静止画モードについて
説明する。
【００５４】最初に、所定時間間隔毎に静止画を撮影す
るインターバル静止画について説明する。
【００５５】静止画において、１秒おき，５秒おき，１
分おきなどの所定の間隔で、すなわちあるインターバル
で静止画を取っておきたい場合が生じる。
【００５６】この具体例では、図６に示すように、連続
した動画像のフレームの集合から、１枚の静止画を再生
時に生成する。これらは関連のある画像の集合と見なす
ことができるため、１つの静止画シーケンスとしてまと
めて定義する。この場合のインターバルの間隔は、勿論
１秒おき，１分おき，３０分おきなどユーザが自由に設
定できるようにする。
【００５７】時間間隔すなわちインターバルの設定に
は、図７に示すように、ビデオシーケンスの中にあるグ
ループオブピクチャズヘッダ（group_of_pictures_head
er）のタイムコード（time_code ）を利用する。このタ
イムコードには、フレーム，秒，分，および時間まで入
れられるようになっているため、ここを使って、最初の
ビデオシーケンスの時には全て“００”を書き込んで次
のビデオシーケンスまでの空いている時間を入れてお
く。
【００５８】このようにして、図６に示したように、不
連続なフレームの集合を、タイムインターバル撮影に用
いる。例えば、１分おきに撮るとすると、分というバイ
トを使って、最初は“００”にして、次は“１分”、
“２分”、“３分”と入れていく。このようにして、ユ
ーザが撮像時間の間隔を任意に設定する。
【００５９】また、ユーザが時間間隔をグルーピングし
て設定し、シャッタを押す度に、システムが自動的に時
間間隔（連続撮影）をカウントしてそれを埋め込むこと
にしてもよい。
【００６０】再生時には、最初の１枚を再生した後、タ
イムコードを見て、タイムコードが“１分”となってい
れば、一分後に次の１枚を自動的に再生するようにす
る。また、このように再生時間を加工することにより、
音楽に併せて連続する静止画を再生する音楽ソフトを制
作することもできる。これにより、本発明を利用した記
録再生装置のフィーチャーアップを図ることができる。
【００６１】なお、インターバル撮影については、ムー
ビーシーケンスのロングプレイモードを用いるので、シ
ーケンスＩＤは“１１０”である。
【００６２】ここで、タイムインターバル撮影を実現す
る画像信号処理装置について説明する。この画像信号処
理装置は、図１に示したＭＰＥＧ符号化器及び図２に示
したＭＰＥＧ復号器において、スイッチＳＷ１及びスイ
ッチＳＷ２をそれぞれ閉じたものである。これらのＭＰ
ＥＧ符号器及びＭＰＥＧ復号器の各部についての説明は
先に行ったので、同一の符号を付して詳しい説明は省略
する。
【００６３】ＭＰＥＧ符号化器は、図１に示したよう
に、入力され画像に所定の処理を施す入力処理部１１
と、加算器２０と、加算器２０からのデータに離散コサ
イン変換（Discrete Cosine Transform ;DCT）を施して
離散コサイン変換係数とする離散コサイン変換部１４
と、離散コサイン変換部１５からの離散コサイン係数を
量子化する量子化部１５と、量子化部１５からのデータ
に対してローカルデコーダ，動き補償，動き予測を施し
て加算器２０に出力するローカルデコーダ・動き補償部
１９とを有している。ここで、ローカルデコーダ・動き
補償部１９から加算器２０までの経路にあるスイッチＳ
Ｗ１は、常に閉じられている。
【００６４】また、ＭＰＥＧ符号化器は、時間間隔設定
や録画（Ｒｅｃ）スタートなどの所定の設定が行われる
設定部３２と、このＭＰＥＧ符号化器の各部を制御する
制御部１８と、量子化部１５にて量子化されたデータを
可変長符号化する可変長符号化部１６と、可変長符号化
部１６からの符号化データを一時的に保持するバッファ
１７とを有している。
【００６５】一方、ＭＰＥＧ復号器は、図２に示したよ
うに、符号化データを一時的に保持するバッファ２１
と、バッファ２１からの符号化データを可変長復号化す
る可変長復号化部２２と可変長復号化器２２からのデー
タを逆量子化して逆量子化部２３と、逆量子化部２３に
て逆量子化されたデータを逆離散コサイン変換する逆離
散コサイン変換部２４と、加算器３０と、可変長復号部
２２からのデータに対する動き補償を行い加算器３０に
出力する動き補償部２９とを有している。ここで、動き
補償部２９から加算器３０までの経路にあるスイッチＳ
Ｗ２は、常に閉じられている。
【００６６】また、ＭＰＥＧ復号器は、このＭＰＥＧ復
号器の全体を制御する制御部２８と、画像の表示を制御
する表示制御部２５と、表示制御部２５の制御の下に画
像を記憶するメモリ２６と、表示制御部からのデータに
所定の処理を施して画像信号として出力する出力処理部
２７とを有している。
【００６７】続いて、サムネール動画について説明す
る。サムネール動画とは、動画から抜き取った画像につ
いて、画面サイズを小さくして全体の情報を減らし、検
索等に用いる、動画用のサムネールである。
【００６８】サムネール動画では、撮影した動画の中か
ら、例えばＩピクチャ（intra coded picture）だけを
抜き取って、それを小さい画像にして、Ｉピクチャだけ
の固まりとして表現する。これは、静止画集合体として
扱うが、いわゆるパラパラマンガ風の動画に近いもので
ある。
【００６９】続いて、大画面静止画について説明する。
大画面静止画とは、例えば４分割のように、大きい画面
を小さく分割してそれぞれの分割画面をディスク上に記
録するものである。この大画面静止画により、ＭＰＥＧ
２ビデオ規格の中で決められたサイズを越えた大画面
が、高画質記録再生装置の記録時に大画面を例えば４分
割した画面にて記録される。
【００７０】再生時はそれらを集めて大きい画面を再生
するようになっている。そうした時に、１枚の映像から
完成した静止画が得られないので、４つの映像を集めて
１つの大きい画像を表現する。すなわち、大画面静止画
はビデオシーケンスの不連続なフレームの集合を利用し
て合成される。
【００７１】図８に示すように、新たに定義するバイト
２（byte 2）として、第７ビットｂ７から第４ビットｂ
４までを水平位置（H position ）と、第３ビットｂ３
から第０ビットｂ０までを垂直位置（V position）とし
て、ポジションを表す。
【００７２】このバイト２は、図９中の（ａ）に示す、
複数のビデオシーケンスから構成される静止画シーケン
スであるスチルシーケンスにおいて、“００”がビデオ
シーケンスＶＳ１に、“０１”がビデオシーケンスＶＳ
２に、“１０”がビデオシーケンスＶＳ３に、“１１”
がビデオシーケンスＶＳ３にそれぞれ対応している。
【００７３】そして、１４０８×９６０の大画面を構成
する７０８×４８０の４個の画面について、図９中の
（ｂ）に示すように、バイト“００”ならばＤ１ポジシ
ョンの画像とし、“０１”ならばＤ２ポジションの画像
とし、“１０”ならばＤ３ポジションの画像とし、“１
０”ならばＤ４ポジションの画像と定義する。再生時に
は、このバイト２を見てエンコードして大画面静止画を
生成する。
【００７４】すなわち、規定するサイズで別々にエンコ
ードして大画面静止画を生成する場合において、ビデオ
シーケンスの不連続なフレームの集合を利用して、Ｄ
１，Ｄ２，Ｄ３，Ｄ４ポジションの順で取り出し、ポジ
ション順にエンコードして大画面静止画を表現する。
【００７５】なお、タイムインターバル撮影と、本発明
の大画面静止画モードとを区別するため、バイト２が
“００”ならば、Ｄ１ポジションの画像のみであるた
め、タイムインターバル撮影と定義する。
【００７６】ＭＰＥＧ２では、ビデオシーケンス（vide
o sequence）は、シーケンスヘッダ（sequence header
）にて始まり、シーケンスエンド（sequance end）に
て終了するように規定されている。そして、このビデオ
シーケンスの中でエンコードするサイズが一意的に決定
されている。
【００７７】ここで、上述のように、大きい画面を小さ
く分割してそれぞれ圧縮する画像信号処理装置について
説明する。この画像信号処理装置は、図１０に示すＭＰ
ＥＧ符号器及び図１１に示すＭＰＥＧ復号器から構成さ
れる。
【００７８】ＭＰＥＧ符号器は、図１０に示すように、
入力画像に所定の処理を施す入力処理部１１と、メモリ
１２に対する所定の処理を行うメモリ制御部１２と、メ
モリ１３を制御するメモリ制御部１２と、メモリ制御部
１２からの信号を離散コサイン変換する離散コサイン変
換（Discrete Cosine Transformation;DCT）部１３と、
離散コサイン変換部１３からの離散コサイン係数を量子
化する量子化部１５とを有している。
【００７９】入力処理部１１は、外部から供給される画
像信号をＡ／Ｄ変換し、順次得られるフレームデータに
Ｉピクチャを割り当てた後、フレームデータをマクロブ
ロック単位に分割して出力する。マクロブロックとは、
１６（Ｈ）×１６（Ｖ）ピクセルのブロックである。ま
た、静止画にあっては、フレームデータは、例えば１コ
マ／秒しか入力されない。
【００８０】メモリ制御部１２では、例えば１４０８
（Ｈ）×９６０（Ｖ）ピクセルの画像をメモリ１３に記
憶する。そして、メモリからＤ１，Ｄ２，・・のよう
に、大画面を構成する所定のポジションの画面だけ順次
取り出して可変長符号化に送る。メモリ１３は、画像を
フレーム単位で記憶するフレームメモリである。
【００８１】離散コサイン変換部１３は、メモリ１３か
ら取り出されたマクロブロックを離散コサイン変換処理
して量子化部１５に送る。
【００８２】量子化部１５は、離散コサイン変換部１３
からの離散コサイン変換係数を量子化して可変長符号化
部１６に送る。
【００８３】また、ＭＰＥＧ符号化器は、量子化部１５
からの量子化データを可変長符号化する可変長符号化部
１６と、可変長符号化部１６からの符号化データを一時
的に保持するバッファ１７と、このＭＰＥＧ符号化器の
各部を制御する制御部１８を有している。
【００８４】可変長符号化部１６では、量子化部１５か
ら得られた量子化データにユーザデータを付加して所定
方式で可変長符号化し、得られた符号化データをバッフ
ァ１７に送る。
【００８５】バッファ１７は、可変長符号化部１６から
の符号化データを一時的に保持し、この保持する符号化
データを出力する。バッファ１７から出力される符号化
データは、図示しない記録再生装置に記録される。
【００８６】制御部１８は、このＭＰＥＧ符号化器の各
部を制御する。制御部１８は、メモリ制御部１２からこ
の制御部１８は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等に
て構成されるいわゆるマイコンにて実現される。
【００８７】一方、ＭＰＥＧ復号器は、図１１に示すよ
うに、入力される符号化データを一時的に蓄積するバッ
ファ２１と、バッファからの２１からの符号化データを
可変長復号化する可変長復号化部２２と、可変長復号化
部２２からのデータを逆量子化する逆量子化部２３と、
逆量子化部２３にて逆量子化されたデータを逆離散コサ
イン変換する逆離散コサイン変換部２４とを有してい
る。
【００８８】図示しない記録再生装置によって再生され
た符号化データは、バッファ２１に一時的に保持され
る。
【００８９】バッファ２１からの符号化データは、可変
長符号化部２２に入力され、マクロブロック符号化情報
を復号される。
【００９０】そして、可変長符号化部２２からに可変長
復号化されたデータは、逆量子化部２３にて離散コサイ
ン変換係数に復号され、この離散コサイン変換係数は逆
離散コサイン変換部２４にて画素空間データに変換され
る。
【００９１】また、ＭＰＥＧ復号化器は、逆離散コサイ
ン変換部２４からのデータに表示制御を行う表示制御部
２５と、画像を記憶するメモリ２６と、表示制御部から
のデータに所定の変換を施して画像出力として出力する
出力変換部２７とを有している。
【００９２】制御部２８は、可変長符号化部２２から、
ユーザデータ（user_data ）を取り出して表示制御部２
５に送る。表示制御部２５では、ユーザデータを基にＤ
１，Ｄ２，Ｄ３，Ｄ４ポジションを混合して１枚の大画
面静止画を生成する。メモリ２６は、表示制御部２５の
制御の下に画像を記憶する。
【００９３】出力処理部２７は、表示制御部２５からの
画像データをＤ／Ａ変換した画像信号を出力する。
【００９４】続いて、いわゆるパノラマ合成について説
明する。パノラマ合成とは、撮影領域を換えた複数の画
面から、大画面を合成するものである。
【００９５】複数の画像をつなぎ合わせてパノラマ合成
画像を生成するには、図１２中のＡに示す７０４×３６
０の複数のフレーム、ｆ0，ｆ3，ｆ6，ｆ9，・・フレー
ムの動きベクトルを検出して、図１２中のＢに示すよう
に、これらｆ0，ｆ3，ｆ6，ｆ9，・・の位置を判断して
当該位置を決定する。そして、図１２中のＣに示すよう
に、１４０８×７２０の大画面に合成する。
【００９６】すなわち、ビデオシーケンスに連続して入
力された映像を動画として扱う。そして、図１３中のＡ
に示すように、例えば３０コマ／秒で入力されるｆ0，
ｆ1，ｆ2 フレーム間動きベクトル（ＭＶ0，ＭＶ1）を
算出する。動きが止まっているときにはフレーム間動き
ベクトル（ＭＶ0，ＭＶ1）は“０”となる。そして、図
１３中のＢに示すように、所定の条件により静止画を抽
出する。
【００９７】画像を撮影する記録再生装置を少し動かせ
ば、ｆ2，ｆ3フレーム間の動きベクトル（ＭＶ2 ）が検
出される。この画面全体の動きベクトルをｘ，ｙ方向に
渡って検出する。また、動きベクトルは、被写体につい
てではなく、記録再生装置そのものの動きに対応する。
【００９８】このようにして、検出された動きベクトル
は、ビデオシーケンスのユーザデータ（user_data ）部
分に書き込まれる。このユーザデータは、以下のように
定義されている。
【００９９】すなわち、図１４に示すユーザデータにお
いては、バイト１（byte 1）は、スタートＩＤ（start
ID）に第７ビットｂ７、エンドＩＤ（end ID）に第６ビ
ット、ビットストリームＩＤ（Bit stream ID）に第３
ビットｂ３及び第４ビット、シーケンスＩＤ（Sequence
ID ）に第２ビットｂ２，第１ビットｂ１及び第０ビッ
トｂ０が用いられる。なお、第５ビットｂ５は無定義で
ある。このバイト１については上述したので、説明を省
略する。
【０１００】新たに、ユーザデータのバイト２（byte
2）〜バイト３（byte 3）をアサインして、ｍｖｘを定
義し、バイト４（byte 4）〜バイト５（byte 5）をアサ
インしてｍｖｙを定義する。
【０１０１】すなわち、バイト３の第０ビットｂ０〜第
７ビットまで、及びバイト２の第８ビットｂ８から第１
１ビットｂ１１までをｍｖｘとする。また、バイト５の
第０ビットｂ０から第７ビットｂ７まで、及びバイト４
の第８ビットｂ８〜第１１ビットｂ１１までをｍｖｙに
アサインする。
【０１０２】そして、ｍｖｘ〔１１：０〕には水平方向
の動きベクトル値を入力し、ｍｖｙ〔１１：０〕には垂
直方向の動きベクトルを入力する。
【０１０３】このように、複数枚の静止画像を順次撮影
する場合において、各フレーム間の動きベクトル量を検
出して、その動きベクトル量を、ＭＰＥＧのビデオシー
ケンスの中のユーザデータにおいて定義するものであ
る。
【０１０４】続いて、複数の画面からの大画面の合成に
ついて説明する。
【０１０５】ここでは、図１５に示すように、幾つかの
動画のフレームを取っておき、これらの動画のフレーム
から静止画を生成する。すなわち、記録時は動画のまま
記録してしまって、再生時に動画の幾つかのフレームの
中から一枚の静止画を作る方法である。
【０１０６】具体的には、連続した２フレームから、一
枚の静止画を再生時に生成する方法である。つまり、走
査線を飛び越し操作するインターレーススキャンのＣＣ
Ｄ個体撮像素子で撮像することを想定すると、動きのあ
る画像を撮影すると動いている部分はぶれてしまう。そ
れで、２フレーム画を使って、フレーム間の差分を検出
して動いている部分はフィールド補正する形で、動いて
いない部分は両フィールドから生成するようにして一枚
のフレームを生成する。
【０１０７】以上説明したように、本実施の形態による
静止画は、ＭＰＥＧ２のＭＰ＠ＭＬで表現できない大画
面静止画又は高画質静止画を実現するに際して、先に提
案したビデオシーケンスの不連続なフレームの集合（Ｉ
ピクチャ等）を利用するものである。
【０１０８】ＭＰＥＧ２のビデオ規格で決められている
枠の中では表現できないインターバル静止画又はサムネ
ール静止画を表現するに際し、ＭＰＥＧ２のストリーム
をどう埋め込むかが問題になる。静止画は、具体的に
は、ＭＰＥＧ２のＩピクチャを使って表現される。
【０１０９】ここで、従来、ＭＰＥＧ２ビデオ規格を用
いた静止画の表現方法としては、図１６に示すように、
ビデオシーケンスの一枚のＩフレームだけを使って静止
画が表現されていた。すなわち、ＭＰＥＧのビデオシー
ケンスの中のＩピクチャを定義して、そのＩピクチャを
静止画とする方法が知られてた。この方法は、例えば、
いわゆるビデオＣＤにて用いられている。
【０１１０】また、従来、ＭＰＥＧ２ビデオ規格を用い
た静止画の表現方法としては、３０コマ／秒，２４コマ
／秒のように、幾つかのフレームレートでフレーム間隔
が開いたものは定義されていた。
【０１１１】次に、画像信号処理方法の一連の工程につ
いて、図１７に示すフローチャートを参照して説明す
る。この一連の工程は、画像信号のＭＰＥＧ２符号規格
によるビットストリームに対する符号化／復号を行うも
のである。
【０１１２】最初のステップＳ１においては、画像信号
からビットストリームへの符号化を行う。その際に、ス
テップＳ２において、画像信号の再生形態の識別情報
を、ビットストリーム内に設けられた固有情報であるユ
ーザデータ（user_data ）領域に記録する。そして、ス
テップＳ３に進む。
【０１１３】ステップＳ３においてはビットストリーム
の固有情報領域から識別情報を読み出し、ステップＳ４
においてはステップＳ３にて読み出した識別情報による
再生形態によって画像信号を復号する。そして、この一
連の工程を終了する。
【０１１４】次に、記録媒体について説明する。この記
録媒体は、例えば、いわゆるＣＤ−ＲＯＭ、いわゆるＭ
Ｄ等の媒体として提供されるものである。
【０１１５】この記録媒体は、上述したようなＭＰＥＧ
２規格によりビットストリームに符号化された画像信号
が記録されてなるものである。そして、この記録媒体に
は、ビットストリーム内に設けられた固有情報であるユ
ーザデータ（user_data ）領域に、上述したような、動
画又は静止画の再生形態を識別する識別情報が記録され
ているものである。
【０１１６】なお、本発明は、上述の実施の形態には限
定されない。例えば、上述の実施の形態においては画像
信号の例としてＮＴＳＣ方式のテレビジョン信号を例に
挙げたが、本発明がこれらの実施の形態に限定されない
ことはいうまでもない。
【０１１７】
【発明の効果】以上説明したように、本発明によれば、
ＭＰＥＧ２のＭＰ＠ＭＬ（メインプロファイル／メイン
レベル）で表現できない大画面静止画又は高画質静止画
を実現するに際して、ビデオシーケンスの不連続なＩピ
クチャ等のフレームの集合を利用するようにしたため、
特別なハードウェアを必要とすることなく、所望の大画
面静止画やパノラマ合成を実現することが可能になる。
【０１１８】また、本発明によれば、従来のＭＰＥＧ２
ビデオ規格では限られた間隔でしか表現できなかった静
止画のインターバル間隔をユーザが任意に設定できるよ
うにする。このため、従来のＭＰＥＧ２ビデオ規格で決
められている枠の中では表現できなかったインターバル
静止画、サムネール動画、パノラマ合成を実現すること
が可能となる。また、再生時間を自由に加工できるた
め、例えば、音楽に合わせて連続する静止画を再生する
ように音楽ソフトを制作することも可能となり、本発明
を利用した記録再生装置の機能向上を図ることができ
る。
【０１１９】さらに、本発明によれば、複数枚の静止像
を順次撮影してそれらをつなぎ合わせることによって、
１枚のパノラマ合成画像を再生するようにしたため、普
通のＣＣＤ固体撮像素子を用いたパノラマ撮影が可能と
なる。また、Ｉフレームなどのフレーム間の動きベクト
ル量を検出して、その動きベクトル量予め設定された値
を越えた場合に限ってエンコード処理をするようにした
ため、全てのフレームを採用する場合に比べて、パノラ
マ合成画像を生成する際の処理効率を向上することがで
きる。
【図面の簡単な説明】
【図１】ＭＰＥＧ符号器の構成を示すブロック図であ
る。
【図２】ＭＰＥＧ復号器の構成を示すブロック図であ
る。
【図３】ムービーシーケンスの構成を示す図である。
【図４】ビデオシーケンスの構成を示す図である。
【図５】ユーザデータの構造を示す図である。
【図６】不連続なフレームの集合を示す図である。
【図７】グループオブピクチャズヘッダ（Group of pic
tures header）の構成を示す図である。
【図８】バイト２も定義されたユーザデータの構造を示
す図である。
【図９】不連続なフレームの集合を示す図である。
【図１０】大画面を分割するＭＰＥＧ符号器の構成を示
すブロック図である。
【図１１】大画面を分割するＭＰＥＧ復号器の構成を示
すブロック図である。
【図１２】パノラマ合成を説明する図である。
【図１３】動きベクトルを説明する図である。
【図１４】パノラマ合成についてのユーザデータの構造
を示す図である。
【図１５】連続したフレームの集合を示す図である。
【図１６】１フレームで構成されるスチルシーケンスを
示す図である。
【図１７】画像信号処理方法の一連の工程を示すフロー
チャートである。
【符号の説明】
１２ メモリ制御部、１４ 離散コサイン変換部、１５
量子化部、１６ 可変長符号化部、１８ 制御部、２
２ 可変長復号化部、２３ 逆量子化部、２４逆離散コ
サイン変換部、２５ 表示制御部、２８ 制御部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１０年４月２２日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正内容】
【０００８】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像信号処理装置は、画像信号を符
号化したビットストリームについて少なくとも復号の処
理を行う画像信号処理装置において、上記ビットストリ
ーム内の所定の記録単位内に設けられた固有情報領域か
ら画像信号の再生形態及び他の記録単位との関係を識別
する識別情報を読み出す識別情報読み出し手段と、上記
識別情報に応じた再生形態にて画像信号の再生を行わせ
る制御手段とを有するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正内容】
【０００９】本発明に係る画像信号処理方法は、画像信
号を符号化したビットストリームについて少なくとも復
号の処理を行う画像信号処理方法において、上記ビット
ストリーム内の所定の記録単位内に設けられた固有情報
領域から画像信号の再生形態及び他の記録単位との関係
を識別する識別情報を読み出す識別情報読み出し工程
と、上記識別情報に応じた再生形態にて画像信号の再生
を行わせる制御工程とを有するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正内容】
【００１０】本発明に係る画像信号記録装置は、画像信
号を符号化したビットストリームについて少なくとも符
号化の処理を行う画像信号記録装置において、上記ビッ
トストリーム内の所定の記録単位内に設けられた固有情
報領域に画像信号の再生形態及び他の記録単位との関係
を識別する識別情報を書き込む識別情報書き込み手段
と、上記画像信号の記録を上記識別情報に応じた記録形
態にて行うように制御する制御手段とを有するものであ
る。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正内容】
【００１１】本発明に係る画像信号記録方法は、画像信
号を符号化したビットストリームについて少なくとも符
号化の処理を行う画像信号記録方法において、上記ビッ
トストリーム内の所定の記録単位内に設けられた固有情
報領域に画像信号の再生形態及び他の記録単位との関係
を識別する識別情報を書き込む識別情報書き込み工程
と、上記画像信号の記録を上記識別情報に応じた記録形
態にて行うように制御する制御工程とを有するものであ
る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正内容】
【００１２】本発明に係る記録媒体は、画像信号を符号
化したビットストリームが記録されてなる記録媒体にお
いて、上記ビットストリーム内に設けられた固有情報領
域に上記画像信号の再生形態を識別する識別情報が記録
されたものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正内容】
【００１４】本発明の実施の形態として、図１に示す画
像信号を符号化してＭＰＥＧ２（Moving Pictures Expe
rts Group Phase2）規格のビットストリームにするＭＰ
ＥＧ符号化器、及び図２に示すＭＰＥＧ２規格のビット
ストリームを画像信号に復号するＭＰＥＧ復号器につい
て説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正内容】
【００３３】ＭＰＥＧ２では、入力される画像／音声／
データなどのデータをビットレートに基づいて符号化を
行う。画像では、画像をｍ×ｎのブロックに分割して、
直交関数で変換して信号電力を集中させ、全体情報量を
圧縮する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正内容】
【００３４】画像データをＭＰＥＧ２規格にて符号化し
たビットストリームは、シーケンス層からブロック層ま
での階層構造をとる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正内容】
【００４０】このようにビデオシーケンスを利用するこ
とで、画像信号についての複数種類の再生形態、及び他
のビデオシーケンスとの関係すなわち動画及び静止画を
少なくとも１つ含む複数種類のモードが実現される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正内容】
【００４４】ユーザデータの内のバイト１は、スタート
ＩＤ（start ID）に第７ビットｂ７、エンドＩＤ（end
ID）に第６ビットｂ６、ビットストリームＩＤ（Bit st
reamID）に第３ビットｂ３及び第４ビットｂ４、シーケ
ンスＩＤ（Sequence ID ）に第２ビットｂ２，第１ビッ
トｂ１及び第０ビットｂ０が用いられる。なお、第５ビ
ットｂ５は無定義である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正内容】
【００６３】ＭＰＥＧ符号化器は、図１に示したよう
に、入力され画像に所定の処理を施す入力処理部１１
と、加算器２０と、加算器２０からのデータに離散コサ
イン変換（Discrete Cosine Transformation;DCT）を施
して離散コサイン変換係数とする離散コサイン変換部１
４と、離散コサイン変換部１５からの離散コサイン係数
を量子化する量子化部１５と、量子化部１５からのデー
タに対してローカルデコーダ，動き補償，動き予測を施
して加算器２０に出力するローカルデコーダ・動き補償
部１９とを有している。ここで、ローカルデコーダ・動
き補償部１９から加算器２０までの経路にあるスイッチ
ＳＷ１は、常に閉じられている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正内容】
【００７８】ＭＰＥＧ符号器は、図１０に示すように、
入力画像に所定の処理を施す入力処理部１１と、メモリ
１３に対する所定の処理を行うメモリ制御部１２と、メ
モリ１３を制御するメモリ制御部１２と、メモリ制御部
１２からの信号を離散コサイン変換する離散コサイン変
換（Discrete Cosine Transformation;DCT）部１４と、
離散コサイン変換部１４からの離散コサイン係数を量子
化する量子化部１５とを有している。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正内容】
【００８０】メモリ制御部１２では、例えば１４０８
（Ｈ）×９６０（Ｖ）ピクセルの画像をメモリ１３に記
憶する。そして、メモリ１３からＤ１，Ｄ２，・・のよ
うに、大画面を構成する所定のポジションの画面だけ順
次取り出して可変長符号化に送る。メモリ１３は、画像
をフレーム単位で記憶するフレームメモリである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正内容】
【００８１】離散コサイン変換部１４は、メモリ１３か
ら取り出されたマクロブロックを離散コサイン変換処理
して量子化部１５に送る。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正内容】
【００８２】量子化部１５は、離散コサイン変換部１４
からの離散コサイン変換係数を量子化して可変長符号化
部１６に送る。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正内容】
【００８６】制御部１８は、このＭＰＥＧ符号化器の各
部を制御する。制御部１８は、例えば、メモリ制御部１
２からのデータに基づいて可変長符号化部１６を制御す
る。この制御部１８は、例えば、ＣＰＵ、ＲＯＭ、ＲＡ
Ｍ等にて構成されるいわゆるマイコンにて実現される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正内容】
【００９９】すなわち、図１４に示すユーザデータにお
いては、バイト１（byte 1）は、スタートＩＤ（start
ID）に第７ビットｂ７、エンドＩＤ（end ID）に第６ビ
ットｂ６、ビットストリームＩＤ（Bit stream ID）に
第３ビットｂ３及び第４ビットｂ４、シーケンスＩＤ
（Sequence ID ）に第２ビットｂ２，第１ビットｂ１及
び第０ビットｂ０が用いられる。なお、第５ビットｂ５
は無定義である。このバイト１については上述したの
で、説明を省略する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正内容】
【０１０１】すなわち、バイト３の第０ビットｂ０〜第
７ビットｂ７まで、及びバイト２の第８ビットｂ８から
第１１ビットｂ１１までをｍｖｘとする。また、バイト
５の第０ビットｂ０から第７ビットｂ７まで、及びバイ
ト４の第８ビットｂ８〜第１１ビットｂ１１までをｍｖ
ｙにアサインする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正内容】
【０１１５】この記録媒体は、上述したようなＭＰＥＧ
２規格によりビットストリームに符号化した画像信号が
記録されてなるものである。そして、この記録媒体に
は、ビットストリーム内に設けられた固有情報であるユ
ーザデータ（user_data ）領域に、上述したような、動
画又は静止画の再生形態を識別する識別情報が記録され
ているものである。

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】 画像信号が符号化された画像信号につい
    て少なくとも復号の処理を行う画像信号処理装置におい
    て、 上記ビットストリーム内の所定の記憶単位内に設けられ
    た固有情報領域から画像信号の再生形態及び他の記録単
    位との関係を識別する識別情報を読み出す識別情報読み
    出し手段と、 上記識別情報に応じた再生形態にて画像信号の再生を行
    わせる制御手段とを有することを特徴とする画像信号処
    理装置。
  2. 【請求項２】 上記ビットストリームは、画面内符号化
    画像、表示順序で順方向に予測符号化された順方向予測
    符号化画像及び表示順序で順方向及び逆方向に予測符号
    化された双方向予測符号化画像から構成される画像群を
    単位とすることを特徴とする請求項１記載の画像信号処
    理装置。
  3. 【請求項３】 上記ビットストリーム内に設けられた固
    有情報領域に上記画像信号の再生形態及び上記他の記録
    単位との関係を識別する識別情報を書き込む識別情報書
    き込み手段を有することを特徴とする請求項１記載の画
    像信号処理装置。
  4. 【請求項４】 上記識別情報は、動画又は静止画の区別
    を識別することを特徴とする請求項１記載の画像信号処
    理装置。
  5. 【請求項５】 上記識別情報による上記静止画の再生形
    態として、記録単位の一つの画面、記録単位内の連続し
    た複数の画面の集合、または複数の記録単位の画面の集
    合である静止画の再生形態が含まれていることを特徴と
    する請求項１記載の画像信号処理装置。
  6. 【請求項６】 上記複数の画面の集合である静止画の再
    生形態には、所定時間間隔にて撮像された複数の画面に
    よる再生形態、画面内の小画面における動画の再生形態
    を含む画面による再生形態、大画面を複数の画面に分割
    して構成される各画面による再生形態、又は移動される
    撮影領域からなる複数の画面を合成して大画面を構成す
    るための各画面による再生形態が含まれることを特徴と
    する請求項５記載の画像信号処理装置。
  7. 【請求項７】 上記移動される撮影領域からなる複数の
    画面を合成して大画面が構成される際には、上記撮影領
    域の間の移動量が検出され、この移動量が上記固有情報
    領域に書き込まれると共に、再生時にはこの移動量に基
    づいて大画面の合成が行われることを特徴とする請求項
    ６記載の画像信号再生装置。
  8. 【請求項８】 上記大画面による複数の画面に分割した
    各画面に記録する際には、上記大画面を構成する各画面
    の位置情報が上記固有情報領域に書き込まれ、再生時に
    は上記位置情報が上記固有情報領域から読み出されるこ
    とを特徴とする請求項６記載の画像信号処理装置。
  9. 【請求項９】 上記ビットストリームはＭＰＥＧ２（Mo
    ving Pictures Experts Group Phase2）規格によるもの
    であり、上記記録単位は上記ＭＰＥＧ２規格のビデオシ
    ーケンスであることを特徴とする請求項１記載の画像信
    号処理装置。
  10. 【請求項１０】 画像信号が符号化された画像信号につ
    いて少なくとも復号の処理を行う画像信号処理方法にお
    いて、 上記ビットストリーム内の所定の記憶単位内に設けられ
    た固有情報領域から画像信号の再生形態及び他の記録単
    位との関係を識別する識別情報を読み出す識別情報読み
    出し工程と、 上記識別情報に応じた再生形態にて画像信号の再生を行
    わせる制御工程とを有することを特徴とする画像信号処
    理方法。
  11. 【請求項１１】 上記ビットストリームは、画面内符号
    化画像、表示順序で順方向に予測符号化された順方向予
    測符号化画像及び表示順序で順方向及び逆方向に予測符
    号化された双方向予測符号化画像から構成される画像群
    を単位とすることを特徴とする請求項１０記載の画像信
    号処理方法。
  12. 【請求項１２】 上記ビットストリーム内に設けられた
    固有情報領域に上記画像信号の再生形態及び他の記録単
    位との関係を識別する識別情報を書き込む識別情報書き
    込み工程を有することを特徴とする請求項１０記載の画
    像信号処理方法。
  13. 【請求項１３】 上記識別情報は、動画又は静止画の区
    別を識別することを特徴とする請求項１０記載の画像信
    号処理方法。
  14. 【請求項１４】 上記識別情報による上記静止画の再生
    形態として、記録単位の一つの画面、記録単位内の連続
    した複数の画面の集合、または複数の記録単位の画面の
    集合である静止画の再生形態が含まれていることを特徴
    とする請求項１０記載の画像信号処理方法。
  15. 【請求項１５】 上記複数の画面の集合である静止画の
    再生形態には、所定時間間隔にて撮像された複数の画面
    による再生形態、画面内の小画面における動画の再生形
    態を含む画面による再生形態、大画面を複数の画面に分
    割して構成される各画面による再生形態、又は移動され
    る撮影領域からなる複数の画面を合成して大画面を構成
    するための各画面による再生形態が含まれることを特徴
    とする請求項１４記載の画像信号処理方法。
  16. 【請求項１６】 上記移動される撮影領域からなる複数
    の画面を合成して大画面が構成される際には、上記撮影
    領域の間の移動量が検出され、この移動量が上記固有情
    報領域に書き込まれると共に、再生時にはこの移動量に
    基づいて大画面の合成が行われることを特徴とする請求
    項１５記載の画像信号処理方法。
  17. 【請求項１７】 上記大画面による複数の画面に分割し
    た各画面に記録する際には、上記大画面を構成する各画
    面の位置情報が上記固有情報領域に書き込まれ、再生時
    には上記位置情報が上記固有情報領域から読み出される
    ことを特徴とする請求項１４記載の画像信号処理方法。
  18. 【請求項１８】 上記ビットストリームはＭＰＥＧ２
    （Moving Pictures Experts Group Phase2）規格による
    ものであり、上記記録単位はＭＰＥＧ２規格のビデオシ
    ーケンスであることを特徴とする請求項１０記載の画像
    信号処理方法。
  19. 【請求項１９】 画像信号が符号化された画像信号につ
    いて少なくとも符号化の処理を行う画像信号記録装置に
    おいて、 上記ビットストリームにおける解像度の変更可能な最小
    単位である記録単位毎に画像信号の記録形態を切換制御
    する制御手段と、 上記ビットストリーム内の所定の記憶単位内に設けられ
    た固有情報領域に上記制御手段により切換制御された記
    録形態に対応する画像信号の再生形態及び他の記録単位
    との関係を識別する識別情報を書き込む識別情報書き込
    み手段とを有することを特徴とする画像信号記録装置。
  20. 【請求項２０】 上記ビットストリームは、画面内符号
    化画像、表示順序で順方向に予測符号化された順方向予
    測符号化画像及び表示順序で順方向及び逆方向に予測符
    号化された双方向予測符号化画像から構成される画像群
    を単位とすることを特徴とする請求項１９記載の画像信
    号記録装置。
  21. 【請求項２１】 上記識別情報は、動画又は静止画の区
    別を識別することを特徴とする請求項１９記載の画像信
    号記録装置。
  22. 【請求項２２】 上記識別情報による上記静止画の再生
    形態として、記録単位の一つの画面、連続した複数の記
    録単位の画面の集合、または複数の記録単位の画面の集
    合である静止画の再生形態が含まれていることを特徴と
    する請求項１９記載の画像信号記録装置。
  23. 【請求項２３】 画像信号が符号化された画像信号につ
    いて少なくとも符号化の処理を行う画像信号記録方法に
    おいて、 上記ビットストリームにおける解像度の変更可能な最小
    単位である記録単位毎に画像信号の記録形態を切換制御
    する制御工程と、 上記ビットストリーム内の所定の記憶単位内に設けられ
    た固有情報領域に上記制御手段により切換制御された記
    録形態に対応する画像信号の再生形態及び他の記録単位
    との関係を識別する識別情報を書き込む識別情報書き込
    み工程と、 を有することを特徴とする画像信号記録方法。
  24. 【請求項２４】 画像信号が符号化されたビットストリ
    ームが記録されてなる記録媒体において、 上記ビットストリーム内に設けられた固有情報領域に上
    記画像信号の再生形態を識別する識別情報が記録されて
    いることを特徴とする記録媒体。
  25. 【請求項２５】 画面内符号化画像、表示順序で順方向
    に予測符号化された順方向予測符号化画像及び表示順序
    で順方向及び逆方向に予測符号化された双方向予測符号
    化画像から構成される画像群を単位とすることを特徴と
    する請求項２４記載の記録媒体。
  26. 【請求項２６】 上記ビットストリームはＭＰＥＧ２
    （Moving Pictures Experts Group Phase2）規格による
    ものであることを特徴とする請求項２４記載の記録媒
    体。
JP8910298A 1998-04-01 1998-04-01 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 Withdrawn JPH11289515A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8910298A JPH11289515A (ja) 1998-04-01 1998-04-01 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
US09/281,165 US6754272B2 (en) 1998-04-01 1999-03-30 Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8910298A JPH11289515A (ja) 1998-04-01 1998-04-01 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体

Publications (1)

Publication Number Publication Date
JPH11289515A true JPH11289515A (ja) 1999-10-19

Family

ID=13961533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8910298A Withdrawn JPH11289515A (ja) 1998-04-01 1998-04-01 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体

Country Status (2)

Country Link
US (1) US6754272B2 (ja)
JP (1) JPH11289515A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243706A (ja) * 2006-03-09 2007-09-20 Victor Co Of Japan Ltd データフォーマット変換装置及びデータフォーマット変換方法
US8848034B2 (en) 2007-12-05 2014-09-30 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG126683A1 (en) * 2000-09-28 2006-11-29 Matsushita Electric Ind Co Ltd Method and apparatus for reproducing images
JP2002185896A (ja) * 2000-12-13 2002-06-28 Fujitsu Ltd デジタルカメラのデータ処理サービス方法及びそのシステム
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information
US20160064039A1 (en) * 2014-08-26 2016-03-03 Microsoft Corporation Thumbnail Generation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
US5535008A (en) * 1993-03-16 1996-07-09 Victor Company Of Japan, Ltd. Method for jump-reproducing video data of moving picture coded with high efficiency
JP3364281B2 (ja) * 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
JP2862064B2 (ja) * 1993-10-29 1999-02-24 三菱電機株式会社 データ復号装置及びデータ受信装置及びデータ受信方法
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US6282330B1 (en) * 1997-02-19 2001-08-28 Canon Kabushiki Kaisha Image processing apparatus and method
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243706A (ja) * 2006-03-09 2007-09-20 Victor Co Of Japan Ltd データフォーマット変換装置及びデータフォーマット変換方法
US8848034B2 (en) 2007-12-05 2014-09-30 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and program

Also Published As

Publication number Publication date
US20020196852A1 (en) 2002-12-26
US6754272B2 (en) 2004-06-22

Similar Documents

Publication Publication Date Title
JP3268306B2 (ja) 画像符号化方法
JP2000278692A (ja) 圧縮データ処理方法及び処理装置並びに記録再生システム
KR19990072968A (ko) 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법
US7899121B2 (en) Video encoding method, video encoder, and personal video recorder
JP2001211455A (ja) 画像符号化方法及び画像符号化装置
JP3911035B2 (ja) 動画像符号化方法及び動画像符号化装置
Wee et al. Compressed-domain reverse play of MPEG video streams
JP3221785B2 (ja) 撮像装置
JPH0818979A (ja) 画像処理装置
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JP3487205B2 (ja) 画像データ編集装置
JPH11289515A (ja) 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JPH11308618A (ja) 画像信号処理装置及び方法並びに画像信号再生装置
JP2007142809A (ja) 映像記録装置
JP4365941B2 (ja) 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体
JP2004180345A (ja) 撮影画像記録装置
JP4765961B2 (ja) デジタル動画像記録装置
JP3384910B2 (ja) 撮像装置および画像再生装置
JP2009290387A (ja) エンコーダ、デコーダ、及び記録再生装置
JP2004120415A (ja) 動画像データストリームの変換装置及び方法
JP4211023B2 (ja) 動画像処理方法及び動画像処理装置
JPH07162853A (ja) 撮像装置
JP2000023096A (ja) データ符号化方法、復号化方法及び装置
JP2001238167A (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JP2000156868A (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050607