JP2011119877A - Moving picture reproducing device and method - Google Patents
Moving picture reproducing device and method Download PDFInfo
- Publication number
- JP2011119877A JP2011119877A JP2009273892A JP2009273892A JP2011119877A JP 2011119877 A JP2011119877 A JP 2011119877A JP 2009273892 A JP2009273892 A JP 2009273892A JP 2009273892 A JP2009273892 A JP 2009273892A JP 2011119877 A JP2011119877 A JP 2011119877A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- moving image
- error
- reproduction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、動画像再生装置および方法に関し、特に、再生中に発生したエラーから復帰する技術に関するものである。 The present invention relates to a moving image playback apparatus and method, and more particularly to a technique for recovering from an error that occurs during playback.
動画像データの高能率符号化方式として、MPEG(Moving Picture Experts Group)方式や次世代のH.264方式が知られている。また、MPEG−2などで圧縮符号化された動画像データを記録および再生する記録再生装置も普及してきている。 As a high-efficiency encoding method for moving image data, the MPEG (Moving Picture Experts Group) method and the next-generation H.264 encoding method are used. The H.264 system is known. In addition, recording / reproducing apparatuses that record and reproduce moving image data compression-encoded by MPEG-2 or the like have become widespread.
MPEG系の符号化方式では、同一フレーム内の画像データのみで符号化を行うフレーム内符号化と、参照フレームとの予測誤差を符号化するフレーム間予測符号化とを用いた符号化処理を行う。例えばMPEG−2では、フレーム内符号化データであるIピクチャ、前方予測符号化データであるPピクチャ、および、双方向予測符号化データであるBピクチャを組み合わせた符号化処理を行っている。 In the MPEG encoding system, encoding processing is performed using intra-frame encoding in which only image data in the same frame is encoded, and inter-frame predictive encoding in which a prediction error with a reference frame is encoded. . For example, in MPEG-2, encoding processing is performed by combining an I picture that is intra-frame encoded data, a P picture that is forward predictive encoded data, and a B picture that is bi-directional predictive encoded data.
また、MPEG−2等には、符号化の単位としてGOP(Group Of Pictures)という概念が導入されている。GOPは、一般的に1つのIピクチャと、所定数のPおよびBピクチャの並びから構成される。符号化順でGOPの先頭はIピクチャであり、一定間隔でPピクチャが挿入され、さらにIピクチャとPピクチャの間にBピクチャが挿入される。入力されたフレームの順番(表示順)とは異なる順番で符号化が行われ、例えば、GOP内の符号化順はI2、B0、B1、P5、B3、B4、P8、B6、B7、P11、B9、B10、P14、B12、B13のようになる。ここで、I、B、Pはピクチャの種類を表し、右側の数字は表示順(先頭は0)を表している。上記のようなGOP構造は一例であるが、一般的に15フレームを1GOPとし、IピクチャまたはPピクチャの出現間隔を3フレームとすることが多い。このようなGOPの連続からなるストリームデータが、記録再生装置によって記録媒体に記録される。 In MPEG-2 and the like, the concept of GOP (Group Of Pictures) is introduced as a unit of encoding. A GOP is generally composed of one I picture and a predetermined number of P and B pictures. In the coding order, the top of the GOP is an I picture, P pictures are inserted at regular intervals, and a B picture is inserted between the I picture and the P picture. Encoding is performed in an order different from the input frame order (display order). For example, the encoding order in the GOP is I2, B0, B1, P5, B3, B4, P8, B6, B7, P11, It becomes like B9, B10, P14, B12, B13. Here, I, B, and P represent the types of pictures, and the numbers on the right side represent the display order (the top is 0). The GOP structure as described above is an example, but generally 15 frames are set as 1 GOP, and the appearance interval of I pictures or P pictures is often set as 3 frames. Stream data consisting of a series of such GOPs is recorded on a recording medium by a recording / reproducing apparatus.
一方、符号化された動画像データを再生する際には、符号化された順に復号化を行い、表示順に並び替えてフレーム画像を出力し、再生表示を行う。例えば、復号化はI2、B0、B1、P5、B3、B4、P8、B6、B7、P11、B9、B10、P14、B12、B13の順に行い、表示はB0、B1、I2、B3、B4、P5、B6、B7、P8、B9、B10、P11、B12、B13、P14の順に行う。 On the other hand, when reproducing the encoded moving image data, decoding is performed in the order of encoding, rearrangement is performed in the order of display, frame images are output, and reproduction display is performed. For example, decoding is performed in the order of I2, B0, B1, P5, B3, B4, P8, B6, B7, P11, B9, B10, P14, B12, B13, and the display is B0, B1, I2, B3, B4, It carries out in order of P5, B6, B7, P8, B9, B10, P11, B12, B13, and P14.
ところで、上述したように、MPEG系の符号化方式ではフレーム間予測符号化を採用しているので、再生フレームのデータにエラーが生じた場合、1フレームの欠落にとどまらずに、数フレームに渡って欠落する場合が考えられる。再生された符号化動画像データのエラー発生時の対策に関する特許提案が、特許文献1に記載されている。特許文献1によると、エラー期間の符号化動画像データを、エラーになる直前の正常なフレーム画像のデータに置き換える技術が提案されている。
By the way, as described above, the MPEG encoding method employs inter-frame predictive encoding. Therefore, when an error occurs in the data of the reproduction frame, not only one frame is lost, but it extends over several frames. May be missing.
上記の特許文献1の技術は、エラー期間の算出に、システムデータ中に付加された符号化データのタイムスタンプであるDTS(Decoding Time Stamp)を参照している。しかしながら、すべての符号化動画像データが、DTSに代表されるような符号化時間や表示時間などの表すためのタイムスタンプ情報を含んでいるとは限らない。実際のところ、タイプスタンプ情報を含むか否かは、符号化動画像データの記録フォーマットに依存していると言える。例えば、MPEG−2の符号化データをDVDに記録するためのフォーマットには、タイムスタンプの付加を必須と規定しているものがあるが、メモリカードやハードディスクに記録するフォーマットにおいては、そのような必須の要件は必ずしも存在しない。したがって、タイムスタンプ情報を含んでいない符号化動画像データも多数存在する。
The technique disclosed in
ここで、任意の記録媒体から符号化動画像データの再生中に、データ欠落等のエラーが発生した場合を想定する。再生される符号化データが、特許文献1のようにタイムスタンプ情報を含む符号化動画像データの形式であれば、データ欠落から復帰した後の正常なデータのタイムスタンプ情報を見ることで、何フレーム欠落して、復帰後にどのフレームを再生しているか分かる。一方、タイムスタンプ情報を含まない符号化動画像データの形式であれば、正常に再生できている間はフレーム数をカウントアップすることで、どのフレームを再生しているか分かるが、データ欠落から復帰した時点で現在どのフレームを再生しているか不明となる。このとき、再生データのタイムコード(経過時間情報)を表示しているならば、データ欠落から復帰した時点で時間表示の継続が途切れてしまうか、実際に再生されているフレームとは異なる値を表示してしまう可能性がある。
Here, it is assumed that an error such as data loss occurs during reproduction of encoded moving image data from an arbitrary recording medium. If the encoded data to be reproduced is in the format of encoded moving image data including time stamp information as in
したがって、本発明の目的は、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、エラーからの復帰後に、どのフレーム画像を再生しているか判定し、正しい時間情報の表示が行えるようにすることにある。 Accordingly, an object of the present invention is to determine which frame image is being reproduced after returning from the error even if an error occurs during reproduction of encoded moving image data not including time stamp information, and correct time information. It is to be able to display.
上記目的を達成するために、本発明の動画像再生装置は、タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生装置であって、前記符号化動画像データを記憶媒体から再生する再生手段と、前記再生手段によって再生されたデータを復号化する復号化手段と、前記復号化手段によって復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示手段と、前記再生手段によって再生されたデータのエラーを検出するエラー検出手段と、前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶手段と、前記再生手段による再生中に前記エラー検出手段によって前記エラーを検出した場合、前記記憶手段に記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御手段とを備え、前記エラーからの復帰時、前記表示手段は、前記制御手段によって検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新することを特徴とする。 In order to achieve the above object, a moving picture reproducing apparatus of the present invention is a moving picture reproducing apparatus for reproducing encoded moving picture data not including time stamp information, and reproduces the encoded moving picture data from a storage medium. Reproducing means, decoding means for decoding the data reproduced by the reproducing means, and display means for displaying a moving picture and elapsed time information of the moving picture based on the data decoded by the decoding means An error detection means for detecting an error in the data reproduced by the reproduction means, a storage means for storing management information indicating a recording position of an intra-picture coded picture included in the coded moving image data, and the reproduction When the error is detected by the error detection means during reproduction by the means, the error has occurred based on the management information stored in the storage means And control means for controlling to return from the error by searching for a subsequent intra-picture coded picture of a frame including data, and at the time of return from the error, the display means is searched by the control means The displayed elapsed time information is updated based on the frame number of the intra-picture coded picture.
また、本発明の動画像再生方法は、タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生方法であって、前記符号化動画像データを記憶媒体から再生する再生工程と、前記再生工程で再生されたデータを復号化する復号化工程と、前記復号化工程で復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示工程と、前記再生工程で再生されたデータのエラーを検出するエラー検出工程と、前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶工程と、前記符号化動画像データの再生中に前記エラー検出工程で前記エラーを検出した場合、前記記憶工程で記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御工程とを有し、前記エラーからの復帰時、前記表示工程は、前記制御工程で検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新することを特徴とする。 The moving image reproduction method of the present invention is a moving image reproduction method for reproducing encoded moving image data that does not include time stamp information, and the reproduction step of reproducing the encoded moving image data from a storage medium; A decoding step for decoding the data reproduced in the reproduction step, a display step for displaying the moving image and elapsed time information of the moving image based on the data decoded in the decoding step, and the reproduction step An error detection step for detecting an error in the reproduced data, a storage step for storing management information indicating a recording position of an intra-picture encoded picture included in the encoded moving image data, and reproduction of the encoded moving image data When the error is detected in the error detection step, the subsequent in-screen code of the frame including the data having the error based on the management information stored in the storage step And a control step for controlling to return from the error by searching for a picture, and at the time of return from the error, the display step is based on the frame number of the intra-picture coded picture searched in the control step. The displayed elapsed time information is updated.
本発明によれば、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、エラーからの復帰後に、どのフレーム画像を再生しているか判定でき、正しい時間情報の表示が行えるようになる。 According to the present invention, even if an error occurs during reproduction of encoded moving image data that does not include time stamp information, it is possible to determine which frame image is being reproduced after returning from the error, and display correct time information. Can be done.
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の実施形態に係る動画像再生装置10の概略構成を示すブロック図である。動画像再生装置10は、制御部100、復号化部101、RAM部102、操作部103、表示部104、ROM部105、記憶媒体インタフェース(I/F)106、記憶媒体107、バス108を具備する。なお、動画像再生装置10は、不図示の撮像部(カメラ)をさらに備えたビデオカメラとして実施することもできる。
FIG. 1 is a block diagram showing a schematic configuration of a moving
制御部100は、上記の各ユニットの動作制御を行うものであって、CPU等のコンピュータを備えている。制御部100によって実行される制御プログラムは、ROM部105のメモリに格納される。また各ユニット間は、バス108を介してデータが伝送される。操作部103は、ユーザーとのインタフェースとなる各種操作キーを備える。操作部103によって再生動作の実行が指示されると、制御部100の制御によって再生動作が実行される。このとき、記憶媒体I/F106が再生手段として機能し、記憶媒体107に記憶された符号化動画像データを読み出して、RAM部102に保存する。RAM部102は所謂バッファメモリとして機能する。
The
復号化部101は、RAM部102に保存された符号化動画像データを読み出して、所定の符号化方式に従ってこれを復号化する。所定の符号化方式とは、同一フレーム内の画像データのみで符号化を行うフレーム内符号化と、参照フレームとの予測誤差を符号化するフレーム間予測符号化とを用いた符号化処理を行うMPEG−2やH.264等である。本実施形態で用いる符号化動画像データは、画面内符号化ピクチャ(Iピクチャ)、順方向予測符号化ピクチャ(Pピクチャ)、および、双方向予測符号化ピクチャ(Bピクチャ)を有しているものとする。
The
復号化部101で復号された動画像データは、RAM部102を介して表示部104に表示画像データとして供給される。表示部104は、液晶ディスプレイ等から構成されるモニターであり、表示画像データを入力して表示画像を出力する。
The moving image data decoded by the
復号化部101は、圧縮符号化された状態である符号化動画像データを復号する機能を有するとともに、復号されるデータのエラーを検出するエラー検出機能、並びに、表示画像データの一部としてフレーム番号およびタイムコードを生成する機能を具備する。復号化部101は、前記エラー検出機能によって、再生データの一部欠落等によるエラーを検出することができる。上記エラーとは、読み出しや記録データの不良等に起因する。
The
図2は、表示部104における再生動作中の表示の例である。表示部104のメイン画面には、復号された動画像のフレーム画像を表示する。また、表示部104は、再生される動画像の付加情報として、表示しているフレーム画像のフレーム番号表示200、および、動画像の経過時間情報(再生時間)であるタイムコード表示201を表示する。フレーム番号表示200、および、タイムコード表示201は、復号化部101によって生成された情報を可視化したものである。なお、フレーム番号表示200、および、タイムコード表示201は、必ずしも両方表示する必要は無く、どちらか一つの表示であっても良い。
FIG. 2 is an example of display during the reproduction operation on the
図2において、フレーム番号表示200は、表示しているフレーム画像が123番目のフレームであることを示しており、表示部104に表示されるフレーム画像が更新されるたびに表示されるフレーム番号も更新される。当該フレーム番号は、復号化部101によって、符号化動画像データ中の所定の管理情報(システムデータ)を参照して生成される。当該所定の情報については、図3を用いて後述する。タイムコード表示201は、現在が00(時):00(分):04(秒)であることを示している。当該タイムコードは、フレーム番号を基に復号化部101によって生成される再生時間を示す情報であって、フレーム番号を秒単位に換算して生成され、1秒が30フレームの場合、123番目のフレーム画像を表示しているときは123/30=4秒と表示される。なお、符号化動画像データの先頭ではなく、途中から再生された場合には、復号化部101が、最初に復号するIピクチャをオフセットフレームとして定め、当該オフセットフレーム(Iピクチャ)のフレーム番号を取得する。そして、当該オフセットフレームのフレーム番号と再生開始以降のフレームのフレーム番号とを足し合わせることにより、表示すべきタイムコードを生成する。
In FIG. 2, the
図3は本発明の実施形態に適用される管理情報データの構造を示した図である。このような管理情報データ(システムデータ)は、符号化動画像データに多重化されて、記憶媒体107に記憶されている。図3の300、301、302、303は、それぞれ符号化動画像データに含まれるIピクチャの情報を示したものである。Iピクチャの情報とは、各Iピクチャについての記憶媒体107上での記録位置を示す“アドレス”、Iピクチャのデータサイズを示す“サイズ”、及び、符号化動画像データの先頭からの“フレーム番号”などの情報などが含まれる。再生時、復号化部101は、図3の管理情報データを符号化動画像データ(ストリーム)よりも先に再生して取得できる。そして再生中は、予め取得したIピクチャの情報と、再生されるIピクチャとの比較を行って、ストリーム進捗やIピクチャのタイミングを監視することができる。もし、再生中にエラーが発生した場合には、エラーの直前に復号できたフレームの情報から、次以降のIピクチャの位置を検索することで、エラー発生後にIピクチャからの復号を再開することができる。なお、図3に記載したIピクチャの記憶媒体107上での記録位置を示すアドレスは、ファイル先頭からのオフセットアドレスなど該当Iピクチャの記憶媒体107上での記録位置がわかるものであればどれでもよい。
FIG. 3 is a diagram showing the structure of management information data applied to the embodiment of the present invention. Such management information data (system data) is multiplexed with the encoded moving image data and stored in the
次に図6を参照して、再生の動作概要を説明する。図6は、符号化動画像データの各フレーム画像の復号タイミングと、表示タイミングを示した図である。600及び601は記憶媒体107に記憶されている符号化動画像データのGOP(Group Of Pictures)を表しており、それぞれI2からB13までの15個のピクチャの組み合わせから構成されている。図中のI、B、Pはピクチャの種類を表し、右側の数字は表示順(先頭は0)を表している。602は符号化動画像データ(GOP)600の各フレームを復号するタイミングを示している。603は復号化されたフレーム画像を表示するタイミングを示しており、図の例では表示のタイミングは復号化より2フレーム分遅れている。604は再生時間及びフレーム番号を表示するタイミングを示している。図6ではフレーム番号のみ表示する例となっており、フレーム番号1から開始されているものとする。再生時間は前述のようにフレーム番号をもとに計算して表示する。
Next, an outline of the reproduction operation will be described with reference to FIG. FIG. 6 is a diagram showing the decoding timing and display timing of each frame image of the encoded moving image data.
操作部103から再生開始の指示がされると、制御部100は記憶媒体I/F106を介して記憶媒体107から管理情報ファイルを読み込み、管理情報データをRAM部102に格納する。さらに、符号化動画像データ600、601を順に読み込み、RAM部102に格納していく。符号化動画像データがRAM部102に格納されていくと、制御部100は復号化部101に対し、RAM部102に格納された符号化動画像データの復号化を指示する。復号化部101は、符号化動画像データの復号化を行い、生成したフレーム画像をRAM部102に格納する。制御部100はRAM部102に格納されたフレーム画像が表示できるタイミングになったときに表示部104に対し、フレーム画像の表示を指示する。図6中のI2、B0と復号化を行い、最初に表示すべきB0のフレーム画像がRAM部102に格納された直後が最初の表示タイミングとなり、B0のフレーム画像の表示を表示部104に指示する。同時に、表示するフレーム画像の数もカウントし、フレーム番号から再生時間を計算し、表示部104に対し、再生時間及びフレーム番号の表示を指示する。表示部104はフレーム画像、再生時間及びフレームの番号の表示を行う。符号化動画像データの読み込みからフレーム画像、再生時間及びフレームの番号の表示までの一連の動作は、操作部103から再生停止の指示がされるか、または全ての符号化動画像データのフレーム画像が表示されるまで行われる。
When an instruction to start reproduction is given from the
次に図7を参照して、再生中にエラーが起こったときの動作について説明する。図7は、エラーが起きたときの各フレーム画像の復号タイミングと、表示タイミングを示した図である。図7の600と601は、図6にて説明した符号化動画像データと同じである。605は符号化動画像データ(GOP)600の各フレームを復号化するタイミングを示している。606はエラー発生時に検索したIピクチャを復号化するタイミングを示している。607はエラーからの復帰後に再生を再開し、再開後、最初に符号化動画像データ(GOP)601を復号化するタイミングを示している。608は復号化されたフレーム画像を表示するタイミングを示している。609は復号化時にエラーの対象となったピクチャ(エラーとなったデータを含むフレーム)を示していて、この例ではP8のピクチャにエラーが発生したことを示している。610は再生時間及びフレーム番号を表示するタイミングを示している。図7ではフレーム番号のみ表示する例となっており、フレーム番号1から開始されているものとする。再生時間は前述のようにフレーム番号をもとに計算して表示する。
Next, the operation when an error occurs during reproduction will be described with reference to FIG. FIG. 7 is a diagram showing the decoding timing and display timing of each frame image when an error occurs.
本発明の実施形態は、符号化動画像データ中に、符号化時間や表示時間などのタイムスタンプ情報を含まない符号化動画像データの再生に適用できる。タイムスタンプ情報を含まない符号化動画像データにエラーが発生した場合、エラー中の画像の乱れを最小限に抑えることと、エラーからの復帰に向けた動作(再生再開位置の検索)が重要である。そこで、復号化部101が復号時にエラーを検出すると、制御部100は表示部104に対し、正常に復号できているエラー直前のフレームの画像と、そのフレームの再生時間及びフレーム番号を表示し続けるように指示する。表示部104は、指示されたフレーム画像、再生時間及びフレーム番号を表示する。図7を例にすると、エラーピクチャ609が発生したとき、その直前に正常に復号され、表示可能な最後のフレーム画像はP5のフレーム画像であるため、P5のフレーム画像とその再生時間及びフレーム番号を表示し続けることになる。
The embodiment of the present invention can be applied to reproduction of encoded moving image data that does not include time stamp information such as encoding time and display time in the encoded moving image data. When an error occurs in encoded video data that does not include time stamp information, it is important to minimize the disturbance of the image in error and to recover from the error (search for the playback resume position). is there. Therefore, when the
さらに、制御部100は、RAM部102に格納されている管理情報データに含まれるIピクチャのアドレス、サイズ、フレーム番号と、正常に復号できたフレームの番号とから次のIピクチャを検索し、当該Iピクチャのデータを記憶媒体107から読み出す。そして、読み出したIピクチャのデータをRAM部102に格納する。制御部100は、復号化部101に当該Iピクチャの復号化を指示し、復号化部101は当該Iピクチャのデータの復号化を行う。図7の例では、エラー発生時にP5のフレーム画像を表示している状態なので、次のIピクチャである符号化動画像データ(GOP)601のI2ピクチャを検索し、I2ピクチャのデータを読み出してRAM部102に格納する。その後、読み込んだI2ピクチャの復号化を606のタイミングで行う。制御部100は復号化の結果、当該Iピクチャにエラーがあるか判断する。エラーがある場合、その次のIピクチャの検索、復号化、エラー判定を行う。エラーがでなくなるまで同様の動作を繰り返し実行する。図7の例では、符号化動画像データ(GOP)601のI2ピクチャの復号化の結果にエラーがなかった場合であるが、エラーがある場合は606のタイミングで複数個の異なるIピクチャの復号化が連続的に実行される。
Further, the
エラーがなくなったら、エラーのないIピクチャのフレーム番号を保持し、その位置から再生を再開する。再開したフレーム画像を表示するタイミング607で、エラー発生以降表示していたエラー発生前の最後のフレーム画像の表示を終了し、再生再開されたフレーム画像を表示する。図7の例では、607の時点で、それまで表示していたP5のフレーム画像に替えて、符号化動画像データ(GOP)601のI2から通常の再生表示を行う。このとき、GOP601のI2のフレーム画像から再生再開するため、GOP601内のB0、B1ピクチャの復号化は行わずに、I2の次にP5、B3、B4ピクチャと復号化を行う。符号化動画像データ(GOP)601の、I2のフレーム画像の再生開始以降は、表示部104にI2のフレーム画像とともに再生時間及びフレーム番号の表示を再開して、順次更新する。
When there is no error, the frame number of the I picture with no error is held, and playback is resumed from that position. At the
なお、GOP601のI2ピクチャは、606のタイミングで既に復号化して、RAM部102に格納されているため、607のタイミングでは、RAM部102内のデータを読み出すことができれば改めて復号化を行わなくてもよい。
Note that the I2 picture of
また、上記の例では、エラー発生時、以降のIピクチャを順番に1個ずつ検索する例を説明したが、エラー連続回数に応じて、検索の途中で検索間隔を変化させるようにすると良い。例えば、エラー発生後から9個目までは上記のとおり1個ずつIピクチャを検索し、10回目までもエラーが発生したら、次は20個目のIピクチャを検索するというように、Iピクチャのエラーの連続回数に応じて途中でIピクチャの検索間隔を広げると良い。 In the above example, when an error occurs, the subsequent I pictures are searched one by one in order. However, the search interval may be changed during the search according to the number of consecutive errors. For example, the I picture is searched one by one as described above up to the ninth after the error occurs, and when the error occurs up to the tenth time, the 20th I picture is searched next. The I picture search interval may be increased in the middle according to the number of consecutive errors.
図5は、本発明の実施形態に係る動画像再生装置の再生動作のフローチャートである。本フローチャートは制御部100が実行する制御プログラムに従って実行される動画像再生方法を示したものである。ステップS500では、操作部103から再生開始の指示がされているか否か判断する。再生開始と判断されればステップS501に進み、そうでなければステップS500に戻り、待機の状態となる。
FIG. 5 is a flowchart of the reproduction operation of the moving image reproduction apparatus according to the embodiment of the present invention. This flowchart shows a moving image reproduction method executed in accordance with a control program executed by the
ステップS501では、管理情報ファイルを記憶媒体107から読み込み、管理情報データをRAM部102に格納し、ステップS502に進む。ステップS502では、管理情報データをもとに、再生開始指示されたポイントまたはその近傍のIピクチャをオフセットフレームとして取得し、ステップS503に進む。符号化動画像データの先頭から再生するときは、オフセットがゼロとなる。
In step S501, the management information file is read from the
ステップS503では、記憶媒体107に記録された符号化動画像データから読み込むデータがあるか否か判断する。読み込むデータがあると判断されるとステップS504に進み、そうでなければステップS505に進む。読み込むデータがあるか否かの判断は、未再生の符号化動画像データがあり、RAM部102に空きがあるかで判断する。ステップS504では、符号化動画像データを記憶媒体107から読み込み、RAM部102に格納し、ステップS505に進む。
In step S503, it is determined whether there is data to be read from the encoded moving image data recorded in the
ステップS505では、復号対象のデータがRAM部102にあるか否か判断する。復号対象のデータがある場合、ステップS506に進み、なければステップS507に進む。復号対象のデータがRAM部102にあるか否かの判断は、未復号化のデータが一定量を超えたか(例えば未復号化のデータが1GOP分以上あるか)否かによって判断する。ステップS506では、符号化動画像データの復号化を行い、生成したフレーム画像をRAM部102に格納し、ステップS507に進む。
In step S505, it is determined whether data to be decrypted is in the
ステップS507では、符号化動画像データの復号時にエラーが発生したか否かを判断する。エラーがないと判断されるとステップS508に進み、エラーがあると判断されるとステップS511に進む。ステップS508では、表示フレームを更新するか否か判断する。表示フレームを更新すると判断されるとステップS509に進み、そうでなければステップS510に進む。表示フレームを更新するか否かの判断は、現在表示しているフレームを表示時間分(NTSCで一般的なフレームレートである30fpsは1秒で30フレーム表示なので1/30=約33ms)表示して、かつ次に表示されるフレームが復号済であることで判断する。 In step S507, it is determined whether an error has occurred during decoding of the encoded moving image data. If it is determined that there is no error, the process proceeds to step S508, and if it is determined that there is an error, the process proceeds to step S511. In step S508, it is determined whether to update the display frame. If it is determined to update the display frame, the process proceeds to step S509; otherwise, the process proceeds to step S510. Whether to update the display frame is determined by displaying the currently displayed frame for the display time (30 frames per second, which is a typical frame rate in NTSC, is 30 frames per second, so 1/30 = about 33 ms). In addition, it is determined that the next frame to be displayed has been decoded.
ステップS509では、フレーム画像、再生時間及びフレーム番号の表示(表示の更新)を行う。ここで、表示されるフレームのフレーム番号を保持し、ステップS510に進む。ステップS510では、再生終了か否か判断する。再生終了だと判断されるとフローは終了する。そうでなければステップS503に戻る。再生終了は、操作部103からの再生停止指示を受け付けた場合か、再生中の符号化動画像データが終了した場合に発生する。
In step S509, the frame image, the reproduction time, and the frame number are displayed (display update). Here, the frame number of the frame to be displayed is held, and the process proceeds to step S510. In step S510, it is determined whether or not the reproduction is finished. If it is determined that the reproduction has ended, the flow ends. Otherwise, the process returns to step S503. The end of reproduction occurs when a reproduction stop instruction from the
ステップS511では、符号化動画像データの最後のIピクチャデータを復号化したか否かを判断する。最後のIピクチャを復号化していない場合はステップS512に進み、最後まで復号化した場合は再生動作を停止し、本フローは終了する。 In step S511, it is determined whether or not the last I picture data of the encoded moving image data has been decoded. If the last I picture has not been decoded, the process proceeds to step S512. If the last I picture has been decoded, the reproduction operation is stopped and the flow ends.
ステップS512では、エラー発生時点以降に存在する符号化動画像データ内の後続のIピクチャデータの位置を検索し、ステップS513に進む。後続のIピクチャの検索は前述した手順で管理情報データを基に行われる。ステップS513では、検索によって抽出された符号化動画像データ内のIピクチャデータを記憶媒体107から読み込み、RAM部102に格納し、ステップS514に進む。ステップS514では、読み込んだIピクチャデータの復号化を行い、ステップS515に進む。
In step S512, the position of the subsequent I picture data in the encoded moving image data existing after the error occurrence time is searched, and the process proceeds to step S513. The subsequent I picture search is performed based on the management information data in the procedure described above. In step S513, I picture data in the encoded moving image data extracted by the search is read from the
ステップS515では、ステップS514のIピクチャデータの復号時にエラーが発生したか否か判断する。エラーがあると判断されるとステップS511に戻り、次以降のIピクチャを検索するフローに入る。エラーがないと判断されるとステップS516に進む。ステップS516では、エラーが検出されなくなったIピクチャを、エラーからの復帰時に再生再開する位置と定め、再生再開するフレーム番号を設定し、ステップS503に戻る。この後、ステップS516で設定された再生再開位置のIピクチャとそのフレーム番号とに基づいて、フレーム画像、再生時間及びフレーム番号の更新がステップS509で行われる。以上が、図5のフローチャートの説明である。 In step S515, it is determined whether an error has occurred during decoding of the I picture data in step S514. If it is determined that there is an error, the process returns to step S511 to enter a flow for searching for the next and subsequent I pictures. If it is determined that there is no error, the process proceeds to step S516. In step S516, the I picture for which no error has been detected is determined as the position at which reproduction is resumed when returning from the error, the frame number at which reproduction is resumed is set, and the process returns to step S503. Thereafter, the frame image, the reproduction time, and the frame number are updated in step S509 based on the I picture at the reproduction resume position set in step S516 and its frame number. The above is the description of the flowchart of FIG.
次に、再生中のエラー発生時のIピクチャの検索に係る変形例として、記憶媒体の記録単位である記録アライメントに応じてIピクチャの検索方法を変化させる動作について説明する。 Next, an operation for changing the I picture search method according to the recording alignment, which is the recording unit of the storage medium, will be described as a modified example related to the I picture search when an error occurs during reproduction.
図4は記憶媒体107における記録アライメントと記憶媒体107に記憶されている符号化動画像データの関係を示した図である。図4において、400は記録アライメントのサイズであり、同じサイズの記録アライメントサイズが並んでいる。本実施形態に係る動画像再生装置が記憶媒体にデータを記録するための記録フォーマットとしては、FAT(FileAllocationTable)方式を利用する。FAT方式はビデオカメラ等の一般的な記録フォーマットである。記録アライメントとはFAT方式における書き込み単位のことを示しており、RU(Recording Unit)またはAU(Access Unit)といったものがある。
FIG. 4 is a diagram showing the relationship between the recording alignment in the
図4において、401は記憶媒体107に記憶されている符号化動画像データである。符号化動画像データ401内で黒く塗りつぶされた部分402は、符号化動画像データ内のIピクチャであり、1つの記録アライメント内に複数のIピクチャが存在していることを示している。このような状態は、低ビットレートの符号化動画像データを記録した場合になることが多い。符号化動画像データ内のIピクチャが記憶媒体107上のどのアドレスにあるかを判断することにより、そのIピクチャがどの記録アライメントに属しているかが判断できる。
In FIG. 4, 401 is encoded moving image data stored in the
制御部100は、記憶媒体107の記録アライメントを検出する記録アライメント検出部を有する。制御部100は、再生開始前に記録アライメント検出部により、記憶媒体I/F106を介して記憶媒体107の記録アライメントのサイズを取得する。
The
再生中にエラーが発生すると、制御部100は記憶媒体107上のどのアドレスの符号化動画像データでエラーが発生したかを判断し、さらにそのアドレスがどの記録アライメントに属しているかを判断する。制御部100は、当該エラーが発生した記録アライメントの、次の記録アライメントの位置から最初のIピクチャを検索し、記憶媒体107から当該Iピクチャデータを読み込み、RAM部102に格納する。そして、復号化部101に読み込んだIピクチャデータの復号化を指示し、復号化部101はIピクチャデータの復号を行う。制御部100は、復号化の結果にエラーがあるか判断する。エラーがある場合は、その次の記録アライメントの位置から最初のIピクチャを検索し、そこで読み出されるIピクチャを復号化する。エラーがなくなるまで同様の動作を続けて、最終的にエラーのないIピクチャを再生再開位置と定めることができる。
When an error occurs during reproduction, the
このような記録アライメント単位でIピクチャの検索を行う例は、前述した図5のステップS501とステップS512の処理工程を変形することで実現される。ステップS501では、記録アライメント検出部により記録アライメントを取得する動作を追加する。ステップS512では、エラーが発生した符号化動画像データの記憶媒体107上のアドレス及び記録アライメントを取得し、次の記録アライメントの最初のIピクチャを検索するように変更すればよい。
An example of searching for an I picture in such a recording alignment unit is realized by modifying the processing steps of steps S501 and S512 of FIG. In step S501, an operation of acquiring recording alignment by the recording alignment detection unit is added. In step S512, the address and recording alignment on the
データのエラーとは、記憶媒体に対するデータの書き込み単位で発生することが多いので、記録アライメントを取得、利用する方法はエラーからの復帰を高速にする点で有効である。 Since a data error often occurs in a unit of writing data to a storage medium, a method of acquiring and using recording alignment is effective in terms of speeding up recovery from the error.
以上のように、本実施形態によれば、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、エラーからの復帰後に、どのフレーム画像を再生しているか判定でき、正しい時間情報の表示が行えるようになる。 As described above, according to the present embodiment, even if an error occurs during reproduction of encoded moving image data that does not include time stamp information, it is possible to determine which frame image is being reproduced after recovery from the error. The correct time information can be displayed.
10 動画像再生装置
100 制御部
101 復号化部
102 RAM部
103 操作部
104 表示部
105 ROM部
106 記憶媒体インタフェース
107 記憶媒体
108 バス
DESCRIPTION OF
Claims (5)
前記符号化動画像データを記憶媒体から再生する再生手段と、
前記再生手段によって再生されたデータを復号化する復号化手段と、
前記復号化手段によって復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示手段と、
前記再生手段によって再生されたデータのエラーを検出するエラー検出手段と、
前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶手段と、
前記再生手段による再生中に前記エラー検出手段によって前記エラーを検出した場合、前記記憶手段に記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御手段とを備え、
前記エラーからの復帰時、前記表示手段は、前記制御手段によって検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新することを特徴とする動画像再生装置。 A moving image reproducing apparatus for reproducing encoded moving image data not including time stamp information,
Reproducing means for reproducing the encoded moving image data from a storage medium;
Decoding means for decoding data reproduced by the reproducing means;
Display means for displaying a moving image and elapsed time information of the moving image based on the data decoded by the decoding means;
Error detection means for detecting an error in the data reproduced by the reproduction means;
Storage means for storing management information indicating a recording position of an intra-picture encoded picture included in the encoded moving image data;
When the error detection unit detects the error during reproduction by the reproduction unit, an intra-picture coded picture subsequent to the frame including the data having the error is based on the management information stored in the storage unit. Control means for searching and controlling to recover from the error,
The moving image reproducing apparatus according to claim 1, wherein when the error is restored, the display means updates the displayed elapsed time information based on a frame number of the intra-picture coded picture searched by the control means.
前記符号化動画像データを記憶媒体から再生する再生工程と、
前記再生工程で再生されたデータを復号化する復号化工程と、
前記復号化工程で復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示工程と、
前記再生工程で再生されたデータのエラーを検出するエラー検出工程と、
前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶工程と、
前記符号化動画像データの再生中に前記エラー検出工程で前記エラーを検出した場合、前記記憶工程で記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御工程とを有し、
前記エラーからの復帰時、前記表示工程は、前記制御工程で検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新することを特徴とする動画像再生方法。 A moving image reproduction method for reproducing encoded moving image data not including time stamp information,
A reproduction step of reproducing the encoded moving image data from a storage medium;
A decoding step of decoding the data reproduced in the reproduction step;
A display step of displaying a moving image and elapsed time information of the moving image based on the data decoded in the decoding step;
An error detection step of detecting an error in the data reproduced in the reproduction step;
A storage step of storing management information indicating a recording position of an intra-picture encoded picture included in the encoded moving image data;
If the error is detected in the error detection step during reproduction of the encoded moving image data, the subsequent intra-screen code of the frame including the error data is based on the management information stored in the storage step And a control step for controlling to recover from the error by searching for a categorized picture,
The moving image reproduction method according to claim 1, wherein when the error is recovered, the display step updates the displayed elapsed time information based on a frame number of the intra-picture coded picture searched in the control step.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009273892A JP5656394B2 (en) | 2009-12-01 | 2009-12-01 | Moving picture reproducing apparatus and program |
US12/952,630 US8340502B2 (en) | 2009-12-01 | 2010-11-23 | Movie reproducing apparatus and method |
US13/683,322 US20130077941A1 (en) | 2009-12-01 | 2012-11-21 | Movie reproducing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009273892A JP5656394B2 (en) | 2009-12-01 | 2009-12-01 | Moving picture reproducing apparatus and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011119877A true JP2011119877A (en) | 2011-06-16 |
JP2011119877A5 JP2011119877A5 (en) | 2013-01-24 |
JP5656394B2 JP5656394B2 (en) | 2015-01-21 |
Family
ID=44284691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009273892A Active JP5656394B2 (en) | 2009-12-01 | 2009-12-01 | Moving picture reproducing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5656394B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05135511A (en) * | 1991-11-08 | 1993-06-01 | Nec Home Electron Ltd | Animation image reproducing device |
JP2004153806A (en) * | 2003-10-07 | 2004-05-27 | Sony Corp | Information processing apparatus and method, display method, and recording medium |
JP2006086553A (en) * | 2004-09-14 | 2006-03-30 | Nec Micro Systems Ltd | Decoding reproducing method and decoding reproducing apparatus for compressed video data and compressed audio data |
JP2006085777A (en) * | 2004-09-14 | 2006-03-30 | Sony Corp | Audio-video data recording and reproducing device, system, and method |
JP2006203859A (en) * | 2004-12-15 | 2006-08-03 | Canon Inc | Video transmission system, and video transmitting apparatus and video receiving apparatus |
JP2008067202A (en) * | 2006-09-08 | 2008-03-21 | Toshiba Corp | Moving image decoder |
JP2009060331A (en) * | 2007-08-31 | 2009-03-19 | Kyocera Corp | Portable recording/playback device, recording/playback method, and recording/playback program |
JP2009094815A (en) * | 2007-10-09 | 2009-04-30 | Toshiba Corp | Moving image decoder and decoding method |
-
2009
- 2009-12-01 JP JP2009273892A patent/JP5656394B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05135511A (en) * | 1991-11-08 | 1993-06-01 | Nec Home Electron Ltd | Animation image reproducing device |
JP2004153806A (en) * | 2003-10-07 | 2004-05-27 | Sony Corp | Information processing apparatus and method, display method, and recording medium |
JP2006086553A (en) * | 2004-09-14 | 2006-03-30 | Nec Micro Systems Ltd | Decoding reproducing method and decoding reproducing apparatus for compressed video data and compressed audio data |
JP2006085777A (en) * | 2004-09-14 | 2006-03-30 | Sony Corp | Audio-video data recording and reproducing device, system, and method |
JP2006203859A (en) * | 2004-12-15 | 2006-08-03 | Canon Inc | Video transmission system, and video transmitting apparatus and video receiving apparatus |
JP2008067202A (en) * | 2006-09-08 | 2008-03-21 | Toshiba Corp | Moving image decoder |
JP2009060331A (en) * | 2007-08-31 | 2009-03-19 | Kyocera Corp | Portable recording/playback device, recording/playback method, and recording/playback program |
JP2009094815A (en) * | 2007-10-09 | 2009-04-30 | Toshiba Corp | Moving image decoder and decoding method |
Also Published As
Publication number | Publication date |
---|---|
JP5656394B2 (en) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2000014741A1 (en) | Method and device for managing multimedia file | |
JP2009246935A (en) | Image processing device, and imaging device equipped with the same | |
JP2010161740A (en) | Image coding device and image coding method | |
JP5683181B2 (en) | Playback apparatus, playback method, and program | |
JP4362510B2 (en) | Recording / playback editing device | |
JP2007306160A5 (en) | ||
KR100765787B1 (en) | Method for reproducing compressed and encoded video data stream and apparatus thereof | |
US8340502B2 (en) | Movie reproducing apparatus and method | |
JP5656394B2 (en) | Moving picture reproducing apparatus and program | |
JP2006066995A (en) | Image reproducer, its control method and program, and storage medium | |
JP4991579B2 (en) | Playback device | |
JP2003324690A (en) | Video record playback device | |
JP6049410B2 (en) | Image processing apparatus and image processing method | |
JP4399744B2 (en) | Program, information processing apparatus, information processing method, and recording medium | |
JP4498207B2 (en) | Video processing apparatus and video processing method | |
JP2007129489A (en) | Picture reproducer and picture reproduction method | |
JP2007097146A (en) | Method of printing still image and apparatus corresponding to printing request timing | |
JP4991143B2 (en) | Video processing apparatus and computer program | |
JP5859100B2 (en) | Image recording device | |
JP2008154099A (en) | Camera apparatus and still image generation method in camera apparatus | |
JP2008042769A (en) | Moving image decoder and moving image decoding method | |
JP2015188130A5 (en) | ||
JP2009284226A (en) | Moving image recording apparatus and method, imaging apparatus, and program | |
JP2007081813A (en) | Recording device | |
JP5679831B2 (en) | Editing apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141125 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5656394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |