JP2004228679A

JP2004228679A - Image processor, image processing method, and program

Info

Publication number: JP2004228679A
Application number: JP2003011210A
Authority: JP
Inventors: Mitsuru Maeda; 充前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-01-20
Filing date: 2003-01-20
Publication date: 2004-08-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor, an image processing method, and a program for properly performing the reproduction of an image, in particular, special reproduction such as frame skip and fast forwarding independently of a particular file format. <P>SOLUTION: A camera 2 inputs image data, code length memories 4, 5 generate information related to a code length for the special reproduction in units of one or more frames of the image data, a watermark generating unit 6 generates a watermark signal from the code length information, a watermark inserting unit 7 embeds the watermark signal in the image data to produce the image data to which the watermark signal is embedded, the image data to which the watermark signal is embedded is outputted to an image data storage device 8. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に動画像の特殊再生処理に関するものである。
【０００２】
【従来の技術】
動画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）やＤｉｇｉｔａｌＶｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。これらの符号化方式はＩＳＯ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ：国際電気通信連合）によって国際標準化されている。
【０００３】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータ上で扱ったりするためにファイルフォーマットが策定されている。例えばＭＰＥＧ−４ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのＯＳやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【０００４】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しないか、または変化が知覚できないレベルでデータを埋め込む技術である。従来、画像に対して電子透かしを埋め込む技術として、周波数変換を行う動画像データの生成過程において、周波数変換後に電子透かしデータを挿入している。（例えば、特許文献１参照）また、オーディオデータに関しては、エンコードしたハフマン符号と符号長の等しいハフマン符号から所定のビット位置のビットデータを変えたハフマンコードに置き換えて電子透かしデータを挿入している。（例えば特許文献２参照）
【特許文献１】
特開平１０−２４３３９８（第４−５頁図１、図２）
【特許文献２】
特開平１１−３４１４５０（第８頁図６）
【０００５】
【発明が解決しようとする課題】
これらのファイルフォーマットはフレームの同期やフレームの制御に関して各種各様の方式が採用されている。
【０００６】
たとえば、同じＭｏｔｉｏｎＪＰＥＧのファイルでも同期のためのタイムスタンプの付与の方法はＡＶＩファイルフォーマットやＱｕｉｃｋＴｉｍｅファイルフォーマットでは異なる。また、ＭＰＥＧのような動画像符号化方式では可変長符号であり、フレーム毎のデータ量が一定ではない。また、動き補償を行なっている符号化方式では参照フレームが必要なフレームもあり、任意のフレームから簡単に再生することは出来ない。したがって、ランダムアクセスを行なう場合、ファイルフォーマットのヒントトラックにストリーム中でランダムアクセスが可能なフレームの位置情報やそれぞれの符号化モードを格納しておき、ランダムアクセス時にはこの情報を用いて情報の読み出し位置を制御して実現する方法が一般的である。しかしながら、このような方式ではファイルフォーマットを変換した際に、対応する領域が無ければ消失し、別なファイルフォーマットではランダムアクセスを行なうのに非常な困難が伴うことが生じる。また、ビットストリームにこれらの情報を追加することは他のデータとの互換性を損なう危険性をはらんでいる。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ−２であればｕｓｅｒ＿ｄａｔａに追加情報を記載できるが、ＭＰＥＧ−４ではそれに類する領域は存在しない。
【０００７】
従って、本発明は前記課題を考慮して、特定のファイルフォーマットに依存せず、画像の再生、特にフレームのスキップや、早送りといった特殊再生を好適に行なう画像処理装置、画像処理方法及びプログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成手段と、前記符号長情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み手段と、前記透かし信号が埋め込まれた画像データを出力する画像データ出力手段を有することを特徴とする。
【０００９】
また、本発明の画像処理装置は、透かし信号が埋め込まれた画像データとを入力する入力手段と、前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出手段と、前記透かし信号から符号長情報を再生する符号長情報再生手段と、前記符号長情報に従って特殊再生を行う手段と、前記フレームデータを出力する画像フレームデータ出力手段を有することを特徴とする。
【００１０】
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成工程と、前記フレーム制御信号から透かし信号を生成する透かし信号生成工程と、前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み工程と、前記透かし信号が埋め込まれた画像データを出力する画像データ出力工程を有することを特徴とする。
【００１１】
また、本発明の画像処理方法は、透かし信号が埋め込まれた画像データとを入力する入力工程と、前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出工程と、前記透かし信号から符号長情報を再生する符号長情報再生工程と、前記符号長情報に従って特殊再生を行う工程と、前記フレームデータを出力する画像フレームデータ出力工程を有することを特徴とする。
【００１２】
【発明の実施の形態】
〈第１の実施例〉
図１は、第１の実施例における画像処理システムの構成を示すブロック図である。
【００１３】
図１において、１は、本発明に基づく画像処理装置である。２は、画像をフレーム単位で連続して入力するカメラである。３は、画像をフレーム単位で符号化する符号化器である。４、５は、フレーム単位で符号化した結果の符号長を格納する符号長メモリである。６は、符号長メモリ４、５の出力から透かしデータを生成する透かし生成器であり、７は、透かしデータを符号化データに埋め込む透かし挿入器である。８は、生成された符号化データを記録する記憶装置である。
【００１４】
上記のように構成された画像符号化システムにおける動画像データの処理動作を以下で説明する。本実施例では、ＪＰＥＧ符号化方式を用い、動画像の符号化方式としてＭｏｔｉｏｎＪＰＥＧデータを用いた場合について説明するが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４でも構わない。
【００１５】
処理に先立ち、各部を初期化する。符号長メモリ４及び符号長メモリ５は０でクリアされる。カメラ２で撮像された画像データは１フレーム単位で符号化器３に入力される。符号化器３は入力された画像データに対してＪＰＥＧ符号化方式で符号化し、その符号化データを保持する。同時に符号長メモリ４の内容を符号長メモリ５に移し、生成された符号化データの符号長を符号長メモリ４に入力する。
【００１６】
透かし生成器６は符号長メモリ４から自フレームの符号長Ｌと符号長メモリ５から前フレームの符号長Ｂを読み出す。これらを例えば、１８ビットの正の整数として扱い、３６ビットの透かしデータを生成する。この符号長は符号化のビットレートやフレームレート等を参考に決めればよい。生成された透かしデータは透かし挿入器７に入力される。
【００１７】
符号化器３から読み出した符号化データに、透かし挿入器７では生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各ブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。例えば、直前の符号が０ラン長が８で値が３であった時、埋め込む値が０であれば、０ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【００１８】
このようにして透かしデータが埋め込まれた符号化データは記憶装置８の所定の位置に蓄積される。
【００１９】
以下、符号化データの蓄積までの処理を簡単な流れを、図９を用いて説明する。
【００２０】
図９は、本第１の実施例における画像処理システムにおける符号化処理を示すフローチャートである。
【００２１】
まず、ステップＳ１にて、装置の初期化を行ない、ステップＳ２にて、処理の終了判断を行なう。ステップＳ３にて、カメラ２から読み込まれるフレームを符号化し、ステップＳ４にて、その符号長を格納する。ステップＳ５にて、符号長から透かしデータを生成し、ステップＳ６にて、符号化データに透かしデータを埋め込み、ステップＳ７にて、記憶装置８に蓄積する。
【００２２】
このような一連の選択動作により、フレームの読み出しに必要な符号長に関する情報を透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００２３】
〈第２の実施例〉
図２は、本第２の実施例における画像処理システムの構成を示すブロック図である。本実施例においてもＭｏｔｉｏｎＪＰＥＧ符号化方式を例にとって説明するが、これに限定されない。
【００２４】
図２において、１１は、本発明に基づく画像処理装置である。１２は、記憶装置であり、符号化データが記録されている。１３は、不図示のユーザが装置の起動、各種条件の設定、再生の指示を行なうための端末である。１４は、記憶装置１２を制御する制御器である。１５は、符号化データから透かしデータを抽出する透かし抽出器である。１６は、抽出された透かしデータから特殊再生に必要な情報を再生する制御情報再生器である。１７、１８は、フレーム単位で符号化された結果の符号長を格納する符号長メモリである。１９は、画像をフレーム単位で復号する復号器である。２０は、復号されて再生された画像データを表示するモニタである。
【００２５】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００２６】
第２の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。端末１３から再生する画像データが選択され、制御器１４に選択されたデータの先頭を読み出せるように記憶装置１２に制御信号を送る。記憶装置１２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００２７】
読み出された符号化データはフレーム単位で画像処理装置１１に入力され、透かし抽出器１５に入力される。透かし抽出器１５では第１の実施例の図１における透かし挿入器７の逆の手順に従って３６ビットの透かしデータを抽出し、制御情報再生器１６に入力する。透かしデータに抽出が終わった符号化データはそのまま復号器１９に入力され、復号処理されて画像データを再生し、モニタ２０で表示する。
【００２８】
制御情報再生器１６は、３６ビットのデータから復号しているフレームの符号長Ｌと前のフレームの符号長Ｂを再生し、符号長Ｌを符号長メモリ１８に、符号長Ｂを符号長メモリ１７に格納する。
【００２９】
制御器１４は、端末１３から指示が無い場合はそのまま記憶装置１２から符号化データの読み出しを継続する。これにより、連続して符号化データの読み出しが行われ、モニタ２０上で動画像が再生される。
【００３０】
端末１３から逆転再生の指示が入力された場合、制御器１４は符号長メモリ１７と符号長メモリ１８から符号長Ｂと符号長Ｌを読み出し、（Ｂ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１２は制御信号により、読み出し位置を変更し、読み出しを開始する。これを繰り返すことにより、連続して１フレーム前の符号化データの読み出しが行われ、モニタ２０上で動画像が逆転再生される。
【００３１】
以下、符号化データの復号までの処理を簡単な流れを、図１０を用いて説明する。
【００３２】
図１０は、本第２の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【００３３】
まずステップＳ１０１にて、装置の初期化を行ない、ステップＳ１０２にて、処理の終了判断を行なう。ステップＳ１０３にて、記憶装置１２の所定の位置から１フレーム分の符号化データを読み込む。ステップＳ１０４にて、符号化データから透かしデータを抽出し、ステップＳ１０５にて、透かしデータを解析して符号長を再生し、ステップＳ１０６にて、その符号長を格納する。ステップＳ１０７にて、符号化データを復号し、再生された画像を表示する。
【００３４】
ステップＳ１０８にて、端末１３から再生の方法の指示、すなわち、そのまま通常どおりに再生するか、逆転再生するかの指示の有無を判断し、通常再生であれば、ステップＳ１０２に戻る。逆転再生であれば、ステップＳ１０９にて、フレームの符号長から新しい読み出し位置への変位を算出し、ステップＳ１１０にて、記憶装置１２の読み出し位置を変更して、ステップＳ１０２に戻る。
【００３５】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生等の処理を行なうことが可能になる。
【００３６】
〈第３の実施例〉
図３は、本第３の実施例における画像処理システムの構成を示すブロック図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００３７】
図３において、１０１は、本発明に基づく画像処理装置である。１０２は、符号化データを記録してある記憶装置である。本実施例においては画像データは符号化されているものとし、ＭＰＥＧ−４符号化方式を例にとって説明するが、これに限定されず、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭｏｔｉｏｎＪＰＥＧでも構わない。また符号化データはＩＳＯ１４４９６−１に記載されているファイルフォーマット（以後ＭＰ４フォーマットと略す）によって記述されているものとするが、これに限定されない。１０３は、ＭＰ４フォーマットを解釈し、特殊再生に必要な情報がヒントトラックに記述されている場合、ヒントトラックの情報およびフレーム単位の符号化データを分離して後段に出力する分離器である。１０４は、抽出されたヒントトラックの情報を格納するヒントメモリである。１０５は、ヒントメモリを参照してフレーム毎に特殊再生のためにフレームスキップする情報を生成する制御情報生成器である。１０６は、制御情報生成器１０５の出力から透かしデータを生成する透かし生成器である。
【００３８】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００３９】
第３の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。記憶装置１０２から対象となる符号化データを含むファイルデータが読み出され、分離器１０３に入力される。分離器１０３はＭＰ４フォーマットを解釈し、ヒントトラックを抽出し、内容をヒントメモリ１０４に格納する。ヒントトラックの内容は自由であるが、一般にランダムアクセスを容易にするための情報が格納されている。例えば、各ＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）の符号長や符号化モードであったり、ＧＯＶ（ＧｒｏｕｐｏｆＶＯＰ）の先頭のＶＯＰの位置情報などである。例としてこれらの制御情報をテーブルにした一例を表１に示す。
【００４０】
【表１】

【００４１】
表１においてＧＯＶの欄の１はＧＯＶの先頭であることを示し、０はそれ以外を表す。符号化モードの欄の０はＩ−ＶＯＰ（フレーム内符号化）、１はＰ−ＶＯＰ（フレーム間順方向予測符号化）、２はＢ−ＶＯＰ（フレーム間双方向予測符号化）を表す。符号長の単位はバイトである。また、各ＶＯＰの符号化データを分離し、フレーム毎に符号バッファに格納する。
【００４２】
制御情報算出器１０５はヒントメモリ１０４の内容から各ＶＯＰにおいて、特殊再生する場合の制御情報を読み出す。自ＶＯＰの符号長Ｌ、および前のＩ−ＶＯＰの相対位置Ｐ、後のＩ−ＶＯＰの相対位置Ｍを算出する。例えば表１において、該当するＶＯＰがＶＯＰ番号５であれば、符号長Ｌは７０３３、相対位置Ｐは１１３９３（＝６４３２＋９３４＋３０２３＋１００４）、相対位置Ｍは５３６９（＝１３２０＋３０８３＋９６６）となる。
【００４３】
このように算出された符号長Ｌ、相対位置Ｐ、相対位置Ｍは透かし生成器１０６に入力される。各値の最大を表現できるビット数の長さにしたがって、符号長Ｌ、相対位置Ｐ、相対位置Ｍを配置する。例えばすべて１５ビットで収まるとした場合、４５ビットの透かしデータを生成する。生成された透かしデータは透かし挿入器７に入力される。
【００４４】
符号バッファ１０７から読み出した符号化データに、第１の実施例と同様に透かし挿入器７では生成された透かしデータを埋め込み記憶装置８の所定の位置に格納する。
【００４５】
このような一連の選択動作により、ファイル等に記録されているフレームの読み出しに必要な符号長に関する情報を抽出し、透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００４６】
さらにはＭＰＥＧ−４のＶＯＰ符号化データのように任意データを設定できる領域が無くとも各ＶＯＰ単位の制御を行なうためのデータを挿入することが可能になる。
【００４７】
また、本実施例ではＭＰＥＧ−４符号化方式において、スキップの幅をＩ−ＶＯＰの間隔としたが、これに限定されず、例えばＰ−ＶＯＰを対象にしてももちろんかまわない。例えば該当するＶＯＰがＩ−ＶＯＰであった場合、次のＰ−ＶＯＰへの相対位置を埋め込むことにより、細かな高速再生を可能にする情報を提供できる。また、ＧＯＶの先頭の位置までのスキップ量を算定すれば、編集等に有効なことは明らかである。
【００４８】
〈第４実施例〉
図４は、本第４の実施例における画像処理システムの構成を示すブロック図である。本実施例においてもＭＰＥＧ―４符号化方式を例にとって説明するが、これに限定されない。なお、前述の実施例の図２と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００４９】
図４において、１５１は、本発明に基づく画像処理装置である。１５２は、記憶装置であり、符号化データが記録されている。１５３は、記憶装置１５２を制御する制御器である。１５４は、抽出された透かしデータからＶＯＰのスキップに必要な情報を再生する制御情報再生器である。１５５は、前後にスキップするための相対位置を格納するスキップメモリである。１５６は、自ＶＯＰの符号長を格納する符号長メモリである。１５８は、画像をフレーム単位で復号する復号器である。１５７は、スキップメモリ１５５、符号長メモリ１５６、復号器１５８から得られる情報に従って、制御情報テーブルを作成し格納するヒントメモリである。
【００５０】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００５１】
第４の実施例において第２の実施例と同様に、動作に先立ち、各部の初期化が行われる。端末１３から再生する画像データが選択され、制御器１５３に選択されたデータの先頭を読み出せるように記憶装置１５２に制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００５２】
読み出された符号化データはフレーム単位で画像処理装置１５１に入力され、透かし抽出器１５に入力される。透かし抽出器１５では第２の実施例と同様に逆の手順に従って４５ビットの透かしデータを抽出し、制御情報再生器１５４に入力する。透かしデータに抽出が終わった符号化データはそのまま復号器１５８に入力され、復号処理されて画像データを再生し、モニタ２０で表示する。
【００５３】
制御情報再生器１５４は、４５ビットのデータから復号しているフレームの符号長Ｌ、および前のＩ−ＶＯＰの相対位置Ｐ、後のＩ−ＶＯＰの相対位置Ｍを生成し、符号長Ｌは符号長メモリ１５６に、相対位置に関する情報はスキップメモリ１５５に格納する。スキップメモリ１５５と符号長メモリ１５６の内容は制御器１５３およびヒントメモリ１５７に入力される。
【００５４】
ヒントメモリ１５７において、表１に示すように各ＶＯＰの符号長を記録し、復号器１５８から符号化モードおよびＧＯＶの先頭か否かの情報を入力して記録する。
【００５５】
制御器１５３は、端末１３から指示が無い場合はそのまま記憶装置１５２から符号化データの読み出しを継続する。これにより、連続して符号化データの読み出しが行われ、モニタ２０上で動画像が再生される。
【００５６】
端末１３から逆転再生の指示が入力された場合、ヒントメモリ１５７から前のＶＯＰすなわち再生するＶＯＰの符号化モードを読み出す。読み出したＶＯＰの符号化モードがＩ−ＶＯＰであれば、スキップメモリ１５５からの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００５７】
読み出したＶＯＰの符号化モードがＰ−ＶＯＰであれば、スキップメモリ１５５からの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻すように制御信号を生成し、記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始して一旦復号する。続いて、再生するＰ−ＶＯＰの前までのＰ−ＶＯＰの位置をヒントメモリ１５７から読み出して、読み出し位置を順次変更するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しと復号を繰り返すことにより、連続して１フレーム前の符号化データの読み出しが行われる。Ｂ−ＶＯＰの場合も同様に前後のＩまたはＰ−ＶＯＰが選られるように制御し、最後に該当するフレームの符号化データを読み出す。
【００５８】
以上のように、記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しと復号を繰り返すことにより、モニタ２０上で動画像が逆転再生される。
【００５９】
端末１３から高速逆転再生の指示が入力された場合、ヒントメモリ１５７から前のＩ−ＶＯＰの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始し、画像を復号する。さらにヒントメモリ１５７から順次Ｉ―ＶＯＰまでの相対位置を算出して読み出し位置を戻して読み出しを開始するように制御信号を送る。これらを繰り返すことにより、モニタ２０上で動画像が高速逆転再生される。
【００６０】
端末１３から高速再生の指示が入力された場合、ヒントメモリ１５７から次のＩ−ＶＯＰの相対位置Ｍを読み出し、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始し、透かしデータを読み出し、画像を復号する。さらに透かしデータによってスキップメモリ１５５から次Ｉ―ＶＯＰまでの相対位置を算出して読み出し位置を戻して読み出しを開始するように制御信号を送る。これらを繰り返すことにより、モニタ２０上で動画像が高速再生される。
【００６１】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生や高速再生の処理を行なうことが可能になる。
【００６２】
また、本実施例のヒントメモリ１５７の内容はこれに限定されず、スキップメモリの内容を格納してもかまわない。
【００６３】
〈第５実施例〉
図５は、本第５の実施例における画像処理システムの構成を示すブロック図である。発明の第５の実施に係る画像処理装置の構成を示すブロック図である。図５において、３００は、装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。３０２は、種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は、装置の起動、各種条件の設定、再生の指示を行なうための端末である。３０４は、ソフトウェアを蓄積する記憶装置である。３０５は、画像データを蓄積する記憶装置、３０６は、画像を撮像するカメラである。記憶装置３０４及び記憶装置３０５は、システムから切り離して移動できるメディアで構成することも出来る。３０７は、画像を表示するモニタであり、３０８は、通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は、通信回線３０８を介して画像データを送受信する通信インターフェースである。
【００６４】
このような構成において、画像データの符号化処理について説明する。処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。また、本実施例では動画像の入力は、カメラ３０６からとする。
【００６５】
図７は、本第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【００６６】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像を符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェアが格納されている。尚、符号化ソフトウェアはＭｏｔｉｏｎＪＰＥＧで符号化するソフトウェアとして説明をするが、これに限定されない。また、符号化の際に画像を格納する画像エリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードや各フレームのパラメータ等を格納するワーキングエリアが存在する。
【００６７】
次に、ＣＰＵ３００による動画像データの符号化動作を図１１に示すフローチャートに従って説明する。図１１は、本第５の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【００６８】
まず、ステップＳ２０１では、フレームカウンタｆを１にセットする。ステップＳ２０２では、カメラ３０６からの入力が終了したか否かを判定し、終了していなければステップＳ２０３に、終了していればステップＳ２０７に進む。
【００６９】
ステップＳ２０３では、カメラ３０６から画像データを１フレーム分入力し、メモリ３０１の画像エリアに格納し、ステップＳ２０４に進む。ステップＳ２０４では、メモリ３０１上の符号化ソフトウェアを用いてＪＰＥＧ符号化して符号化データをメモリ３０１上の符号エリアに格納し、ステップＳ２０５に進む。ステップＳ２０５では、フレームｆの符号長をワーキングエリアの符号長領域のｆ番地に格納し、ステップＳ２０６に進む。ステップＳ２０６では、フレームカウンタｆの値に１を加算してステップＳ２０２に進む。
【００７０】
ステップＳ２０２でカメラ３０６からの入力が終了し、全てのフレームの符号化が終了したら、ステップＳ２０７に進む。ステップＳ２０７では、フレームカウンタｆを１にセットしステップＳ２０８に進む。ステップＳ２０８では、全てのフレームに対して処理が終了したか否かを判定し、終了していなければステップＳ２０９に、終了していればステップＳ２１３に進む。
【００７１】
ステップＳ２０９では、ワーキングメモリからフレームｆの符号化データを読み出し、ステップＳ２１０に進む。ステップＳ２１０では、ワーキングエリアからフレームｆの符号長と前後３フレームの符号長を読み出す。フレームｆの符号長を符号長Ｌとし、フレームｆの前フレームの符号長を符号長Ｂ、フレームｆから前３フレームの符号長の合計を符号長Ｐ、フレームｆから後３フレームの符号長の合計を符号長Ｍとし、これらを並べ、透かしデータを生成し、ステップＳ２１１に進む。ステップＳ２１１ではメモリ３０１上の透かし埋め込みソフトウェアを用いてフレームｆの符号化データに透かしデータを埋め込み、ステップＳ２１２に進む。ステップＳ２１２では、フレームカウンタｆの値に１を加算してステップＳ２０８に進む。
【００７２】
ステップＳ２０８でメモリ３０１の符号エリアに格納されていた全ての符号化データに透かしデータの埋め込みが終了したら、ステップＳ２１３に進む。ステップＳ２１３では、符号エリアに格納されている透かしデータを埋め込んだ符号化データを記憶装置３０５に出力して所定の位置に書き込んだり、通信インターフェース３０９を解して通信回線３０８に送信したりした後、全ての処理を終了する。
【００７３】
このような一連の選択動作により、特殊再生時に必要な符号長に関する情報を生成し、透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００７４】
また、本実施例においてはスキップするフレーム数を３にし、３倍速の再生を可能にしたが、これに限定されない。また、スキップするフレーム数を複数用いてももちろんかまわない。
【００７５】
〈第６実施例〉
本実施例では画像データの復号処理について説明する。画像データ処理装置の構成は第５実施例の図５を用いる。本説明でもＭｏｔｉｏｎＪＰＥＧ符号化方式を例にとって説明するが本発明は特にこれに限定されることはない。本実施例では第５実施例で生成され、記憶装置３０５に格納された符号化データの復号処理を例にとって説明する。
【００７６】
図５の構成において、処理に先立ち、端末３０３から記憶装置３０５に蓄積されている動画像符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００７７】
図８は、第６の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【００７８】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像を復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェアが格納されている。尚、復号ソフトウェアはＭｏｔｉｏｎＪＰＥＧを復号するソフトウェアとして説明をするが、これに限定されない。
【００７９】
次に、ＣＰＵ３００による動画像データの符号化動作を図１２に示すフローチャートに従って説明する。図１２は、第６の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【００８０】
ステップＳ３０１では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ３０２に、終了していれば全ての処理を終了する。
【００８１】
ステップＳ３０２では、記憶装置３０５からフレームの符号化データを読み出し、ステップＳ３０３に進む。ステップＳ３０３では、メモリ３０１上の透かし抽出ソフトウェアを用いてフレームの符号化データから透かしデータを抽出し、ステップＳ３０４に進む。ステップＳ３０４では透かしデータから、自フレームの符号長Ｌ、前フレームの符号長Ｂ、自フレームから前３フレームまでの合計の符号長Ｐ、自フレームから後３フレームまでの合計符号長Ｍを再生し、メモリ３０１のワーキングエリアに書き込み、ステップＳ３０５に進む。ステップＳ３０５では、符号化データをメモリ３０１上の復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、モニタ３０７に表示し、ステップＳ３０６に進む。
【００８２】
ステップＳ３０６では、端末３０３から再生に関する指示がされているか否かを判定する。指示が無く、正方向の再生を行なうのであれば、ステップＳ３０１に戻り、そうでなければステップＳ３０７に進む。
【００８３】
ステップＳ３０７では、端末３０３から指示された再生方法の種類を判別する。再生方法が、高速逆転再生であればステップＳ３０８に、逆転再生であればステップＳ３０９に、高速再生であればステップＳ３１０に進む。
【００８４】
ステップＳ３０８では、メモリ３０１のワーキングエリアから前３フレームの符号長の合計Ｐとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８５】
Ｓ＝−（Ｌ＋Ｐ） …（１）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００８６】
ステップＳ３０９では、メモリ３０１のワーキングエリアから前フレームの符号長Ｂとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８７】
Ｓ＝−（Ｌ＋Ｂ） …（２）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００８８】
ステップＳ３１０では、メモリ３０１のワーキングエリアから後３フレームの符号長の合計Ｍとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８９】
Ｓ＝Ｍ …（３）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００９０】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生や高速再生の処理を行なうことが可能になる。
【００９１】
また、本実施例においてはスキップするフレーム数を３にし、３倍速の再生を可能にしたが、これに限定されない。また、スキップするフレーム数を複数用いてももちろんかまわない。
【００９２】
〈その他の実施形態〉
本実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばヒントトラックに再生した符号長情報を記載することはもちろんかまわない。
【００９３】
また、本実施例において透かしデータを符号化データに後から埋め込む方式を例にとって説明したが、これに限定されず、図６に示すように符号化器に入力し、符号化途中のデータ、例えばＤＣＴ係数等に透かしデータを埋め込んでももちろんかまわない。この場合、自フレームの符号長を埋め込む場合は再符号化を行なうことによって可能になる。
【００９４】
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００９５】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
また、特殊再生するための符号長に関する情報を生成し、符号長情報を透かし信号として画像データに埋め込んでいるので、特殊再生時に、各フレームの先頭を読んで特殊再生するフレームを探していく必要がなく、シークする符号長がわかるので高速に特殊再生が可能である。特に、画像データがフレームごとの符号長が異なる可変長符号化で符号化されている場合に効果的である。
【００９８】
【発明の効果】
以上の説明から明らかなように、本発明では、符号長情報を生成し、透かしデータとして符号化データの中に埋め込むことにより、特定のファイルフォーマットに依存せず、画像の再生、特にフレームのスキップや、早送りといった特殊再生を好適に行なうことが可能になる。
【図面の簡単な説明】
【図１】第１の実施例における画像処理システムの構成を示すブロック図である。
【図２】第２の実施例における画像処理システムの構成を示すブロック図である。
【図３】第３の実施例における画像処理システムの構成を示すブロック図である。
【図４】第４の実施例における画像処理システムの構成を示すブロック図である。
【図５】第５の実施例、第６の実施例における画像処理システムの構成を示すブロック図である。
【図６】その他の実施例としての本発明にかかる画像処理システムの構成を示すブロック図である。
【図７】第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図８】第６の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図９】第１の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【図１０】第２の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【図１１】第５の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【図１２】第６の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, an image processing method, and a program, and more particularly to a special reproduction process of a moving image.
[0002]
[Prior art]
As an encoding method for a moving image, an encoding method such as Motion JPEG (Joint Photographic Coding Experts Group) or Digital Video, which is an intra-frame encoding method, or an H.264 encoding method using inter-frame predictive encoding is used. 261, H .; H.263, MPEG (Moving Picture Coding Experts Group) -1, MPEG-2, MPEG-4, etc. are known. These encoding systems are internationally standardized by ISO (International Organization for Standardization: International Standardization Organization) and ITU (International Telecommunication Union: International Telecommunication Union).
[0003]
With the spread of the digital encoding standards as described above, file formats have been formulated for handling these on a computer. For example, MPEG-4 defines a file format in that standard. Further, many file formats are widely used depending on the OS of the computer and the configuration of the network.
[0004]
With the spread of the digital coding standard as described above, the problem of copyright protection has been strongly raised by the content industry. On the other hand, digital watermark technology has been developed for security-related information and encryption. This is a technique for embedding data at a level where the data does not change or the change cannot be perceived during data reproduction. 2. Description of the Related Art Conventionally, as a technique for embedding a digital watermark in an image, digital watermark data is inserted after frequency conversion in a process of generating moving image data to be subjected to frequency conversion. Also, for audio data, digital watermark data is inserted by replacing the Huffman code having the same code length as the encoded Huffman code with a Huffman code in which bit data at a predetermined bit position is changed. . (For example, see Patent Document 2)
[Patent Document 1]
JP-A-10-243398 (FIGS. 1 and 2 on page 4-5)
[Patent Document 2]
JP-A-11-341450 (FIG. 6 on page 8)
[0005]
[Problems to be solved by the invention]
For these file formats, various methods are used for frame synchronization and frame control.
[0006]
For example, even in the same Motion JPEG file, the method of adding a time stamp for synchronization differs between the AVI file format and the QuickTime file format. In a moving picture coding method such as MPEG, a variable length code is used, and the data amount for each frame is not constant. In addition, some frames require a reference frame in an encoding method that performs motion compensation, and cannot be easily reproduced from an arbitrary frame. Therefore, when performing random access, the position information of the frame that can be randomly accessed in the stream and the respective encoding modes are stored in the hint track of the file format, and at the time of random access, the information is read using the information. Is generally realized by controlling the above. However, in such a method, when a file format is converted, the area is lost if there is no corresponding area, and it may be very difficult to perform random access in another file format. In addition, adding such information to the bit stream risks breaking compatibility with other data. Depending on the code, additional information can be described in user_data in MPEG-2 in a data area in which arbitrary data is written, for example, in each frame, but there is no similar area in MPEG-4.
[0007]
Accordingly, the present invention provides an image processing apparatus, an image processing method, and a program that preferably perform image reproduction, in particular, special reproduction such as frame skipping and fast-forwarding, without depending on a specific file format, in consideration of the above problem. It is intended to be.
[0008]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, an image processing apparatus according to the present invention comprises: an input unit for inputting image data; and a code for generating information relating to a code length for special reproduction in one frame or a plurality of frames of the image data. Length information generating means, watermark signal generating means for generating a watermark signal from the code length information, watermark embedding means for embedding the watermark signal in the image data, and generating image data in which the watermark signal is embedded, An image data output unit for outputting image data in which a signal is embedded is provided.
[0009]
The image processing apparatus according to the present invention further includes: an input unit configured to input image data in which the watermark signal is embedded; a watermark extraction unit configured to extract a watermark signal from the image data in which the watermark signal is embedded; It is characterized by having code length information reproducing means for reproducing code length information, means for performing special reproduction in accordance with the code length information, and image frame data output means for outputting the frame data.
[0010]
The image processing method according to the present invention further includes an input step of inputting image data, and a code length information generating step of generating information on a code length for special reproduction in one frame or a plurality of frames of the image data. A watermark signal generating step of generating a watermark signal from the frame control signal, a watermark embedding step of embedding the watermark signal in the image data, and generating image data in which the watermark signal is embedded, An image data output step of outputting image data is provided.
[0011]
The image processing method according to the present invention further includes an input step of inputting image data in which the watermark signal is embedded, a watermark extracting step of extracting a watermark signal from the image data in which the watermark signal is embedded, and The method includes a code length information reproducing step of reproducing code length information, a step of performing special reproduction according to the code length information, and an image frame data output step of outputting the frame data.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
<First embodiment>
FIG. 1 is a block diagram illustrating the configuration of the image processing system according to the first embodiment.
[0013]
In FIG. 1, reference numeral 1 denotes an image processing apparatus according to the present invention. Reference numeral 2 denotes a camera for continuously inputting images in frame units. Reference numeral 3 denotes an encoder that encodes an image in frame units.

Reference numerals

4 and 5 denote code length memories for storing the code lengths obtained as a result of encoding in frame units. Reference numeral 6 denotes a watermark generator that generates watermark data from the outputs of the

code length memories

4 and 5, and reference numeral 7 denotes a watermark inserter that embeds the watermark data into encoded data. Reference numeral 8 denotes a storage device that records the generated encoded data.
[0014]
The processing operation of moving image data in the image coding system configured as described above will be described below. In the present embodiment, a case will be described in which the JPEG encoding method is used and Motion JPEG data is used as a moving image encoding method. 261, MPEG-1, MPEG-2, and MPEG-4.
[0015]
Prior to the processing, each unit is initialized. The code length memory 4 and the code length memory 5 are cleared by 0. Image data captured by the camera 2 is input to the encoder 3 on a frame-by-frame basis. The encoder 3 encodes the input image data according to the JPEG encoding method and holds the encoded data. At the same time, the contents of the code length memory 4 are transferred to the code length memory 5, and the code length of the generated coded data is input to the code length memory 4.
[0016]
The watermark generator 6 reads the code length L of the own frame from the code length memory 4 and the code length B of the previous frame from the code length memory 5. These are treated as, for example, 18-bit positive integers to generate 36-bit watermark data. The code length may be determined with reference to the encoding bit rate, frame rate, and the like. The generated watermark data is input to the watermark inserter 7.
[0017]
The watermark inserter 7 embeds the generated watermark data in the encoded data read from the encoder 3. As an embedding method, for example, watermark data may be used by a method of intentionally changing encoded data in accordance with watermark data by increasing or decreasing the highest frequency coefficient of each block within a range of ± 1. That is, if one bit of the data to be embedded is 0, the last coefficient is an even number, and if 1 is 1, the last coefficient is an odd number. The code before the EOB of the macro block to be embedded is read out and changed if necessary. For example, when the immediately preceding code is 0 and the value is 3, and the value to be embedded is 3, if the value to be embedded is 0, the code is replaced with a code having a 0 run length of 8 and a value of 4. In the actual code, “111111111110110110” is replaced with “111111111110110111”. If the value is 1, do nothing. The present invention is not limited to the digital watermark embedding method, and an existing method may be used.
[0018]
The encoded data in which the watermark data is embedded as described above is stored at a predetermined position in the storage device 8.
[0019]
Hereinafter, a simple flow of processing up to accumulation of encoded data will be described with reference to FIG.
[0020]
FIG. 9 is a flowchart illustrating an encoding process in the image processing system according to the first embodiment.
[0021]
First, in step S1, the apparatus is initialized, and in step S2, the end of the process is determined. In step S3, the frame read from the camera 2 is encoded, and in step S4, the code length is stored. In step S5, watermark data is generated from the code length. In step S6, the watermark data is embedded in the encoded data. In step S7, the watermark data is stored in the storage device 8.
[0022]
By such a series of selection operations, by embedding information relating to the code length necessary for frame reading as a watermark, it is possible to easily perform a frame operation on the decoding side.
[0023]
<Second embodiment>
FIG. 2 is a block diagram illustrating the configuration of the image processing system according to the second embodiment. Also in the present embodiment, the Motion JPEG encoding method will be described as an example, but the present invention is not limited to this.
[0024]
In FIG. 2, reference numeral 11 denotes an image processing apparatus according to the present invention. Reference numeral 12 denotes a storage device in which encoded data is recorded. Reference numeral 13 denotes a terminal for a user (not shown) to start the apparatus, set various conditions, and instruct reproduction. Reference numeral 14 denotes a controller that controls the storage device 12. Reference numeral 15 denotes a watermark extractor that extracts watermark data from encoded data. A control information reproducer 16 reproduces information necessary for special reproduction from the extracted watermark data. Reference numerals 17 and 18 denote code length memories for storing the code lengths of the results of encoding in frame units. Reference numeral 19 denotes a decoder that decodes an image in frame units. A monitor 20 displays the decoded and reproduced image data.
[0025]
The processing operation of moving image data in the image decoding system configured as described above will be described below.
[0026]
In the second embodiment, as in the first embodiment, each unit is initialized prior to the operation. Image data to be reproduced is selected from the terminal 13, and a control signal is sent to the storage device 12 so that the controller 14 can read the head of the selected data. The storage device 12 changes the read position according to the control signal and starts reading.
[0027]
The read coded data is input to the image processing device 11 on a frame basis, and is input to the watermark extractor 15. The watermark extractor 15 extracts 36-bit watermark data according to the reverse procedure of the watermark inserter 7 in FIG. 1 of the first embodiment, and inputs it to the control information reproducer 16. The encoded data that has been extracted as the watermark data is directly input to the decoder 19, where the encoded data is decoded and reproduced, and displayed on the monitor 20.
[0028]
The control information reproducer 16 reproduces the code length L of the frame being decoded and the code length B of the previous frame from the 36-bit data, and stores the code length L in the code length memory 18 and the code length B in the code length memory. 17 is stored.
[0029]
When there is no instruction from the terminal 13, the controller 14 continues reading the encoded data from the storage device 12 as it is. As a result, the encoded data is continuously read, and the moving image is reproduced on the monitor 20.
[0030]
When a reverse playback instruction is input from the terminal 13, the controller 14 reads the code lengths B and L from the code length memories 17 and 18, returns the read position by (B + L), and starts reading. To send a control signal. The storage device 12 changes the read position according to the control signal and starts reading. By repeating this, the coded data of one frame before is continuously read, and the moving image is reversely reproduced on the monitor 20.
[0031]
Hereinafter, a simple flow of processing up to decoding of encoded data will be described with reference to FIG.
[0032]
FIG. 10 is a flowchart illustrating a decoding process in the image processing system according to the second embodiment.
[0033]
First, in step S101, the apparatus is initialized, and in step S102, the end of the process is determined. In step S103, one frame of encoded data is read from a predetermined position in the storage device 12. At step S104, watermark data is extracted from the encoded data. At step S105, the watermark data is analyzed to reproduce the code length, and at step S106, the code length is stored. In step S107, the encoded data is decoded, and the reproduced image is displayed.
[0034]
In step S108, it is determined whether or not there is an instruction of a reproduction method from the terminal 13, that is, an instruction of whether to perform normal reproduction or reverse reproduction as it is. If it is normal reproduction, the process returns to step S102. In the case of reverse reproduction, in step S109, the displacement from the code length of the frame to the new read position is calculated. In step S110, the read position of the storage device 12 is changed, and the process returns to step S102.
[0035]
By reading the code length information by such a series of selection operations, it becomes possible to perform processing such as reverse reproduction without depending on a specific file format.
[0036]
<Third embodiment>
FIG. 3 is a block diagram illustrating the configuration of the image processing system according to the third embodiment. The same components as those in FIG. 1 of the above-described embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0037]
In FIG. 3, reference numeral 101 denotes an image processing apparatus according to the present invention. Reference numeral 102 denotes a storage device that stores encoded data. In the present embodiment, it is assumed that the image data is encoded, and the MPEG-4 encoding method will be described as an example. However, the present invention is not limited to this, and other encoding methods, for example, H.264. 261, MPEG-1, MPEG-2, and Motion JPEG. The encoded data is described in a file format (hereinafter abbreviated as MP4 format) described in ISO14496-1, but is not limited thereto. Reference numeral 103 denotes a separator that interprets the MP4 format and separates the information of the hint track and the encoded data in frame units and outputs the information to the subsequent stage when the information necessary for the special reproduction is described in the hint track. Numeral 104 denotes a hint memory for storing information of the extracted hint track. Reference numeral 105 denotes a control information generator that generates information for skipping frames for special reproduction by referring to the hint memory. Reference numeral 106 denotes a watermark generator that generates watermark data from the output of the control information generator 105.
[0038]
The processing operation of moving image data in the image decoding system configured as described above will be described below.
[0039]
In the third embodiment, as in the first embodiment, each unit is initialized prior to the operation. File data containing the target encoded data is read from the storage device 102 and input to the separator 103. The separator 103 interprets the MP4 format, extracts a hint track, and stores the contents in the hint memory 104. Although the contents of the hint track are free, information for facilitating random access is generally stored. For example, it is the code length and coding mode of each VOP (Video Object Plane), the position information of the head VOP of a GOV (Group of VOP), and the like. Table 1 shows an example in which these pieces of control information are tabulated.
[0040]
[Table 1]

[0041]
In Table 1, 1 in the column of GOV indicates that it is the head of GOV, and 0 indicates other values. 0 in the encoding mode column indicates I-VOP (intra-frame encoding), 1 indicates P-VOP (inter-frame forward prediction encoding), and 2 indicates B-VOP (inter-frame bidirectional prediction encoding). The unit of the code length is bytes. Also, the encoded data of each VOP is separated and stored in a code buffer for each frame.
[0042]
The control information calculator 105 reads control information for special reproduction in each VOP from the contents of the hint memory 104. The code length L of the own VOP, the relative position P of the preceding I-VOP, and the relative position M of the subsequent I-VOP are calculated. For example, in Table 1, if the corresponding VOP is VOP number 5, the code length L is 7033, the relative position P is 11393 (= 6432 + 934 + 3023 + 1004), and the relative position M is 5369 (= 1320 + 3083 + 966).
[0043]
The calculated code length L, relative position P, and relative position M are input to the watermark generator 106. The code length L, the relative position P, and the relative position M are arranged according to the length of the number of bits capable of expressing the maximum of each value. For example, if all data can be accommodated in 15 bits, 45-bit watermark data is generated. The generated watermark data is input to the watermark inserter 7.
[0044]
In the encoded data read from the code buffer 107, the watermark inserter 7 stores the generated watermark data at a predetermined position of the embedded storage device 8 as in the first embodiment.
[0045]
By such a series of selection operations, information on the code length necessary for reading out a frame recorded in a file or the like is extracted and embedded as a watermark, so that the frame operation on the decoding side can be easily performed. It is possible.
[0046]
Furthermore, even if there is no area in which arbitrary data can be set as in the case of MPEG-4 VOP encoded data, data for controlling each VOP can be inserted.
[0047]
Further, in the present embodiment, the skip width is set to the interval of the I-VOP in the MPEG-4 encoding method. However, the present invention is not limited to this. For example, the skip width may be applied to the P-VOP. For example, when the corresponding VOP is an I-VOP, information enabling fine high-speed reproduction can be provided by embedding a relative position to the next P-VOP. It is clear that calculating the skip amount up to the head position of the GOV is effective for editing and the like.
[0048]
<Fourth embodiment>
FIG. 4 is a block diagram illustrating a configuration of an image processing system according to the fourth embodiment. Also in the present embodiment, the MPEG-4 encoding method will be described as an example, but the present invention is not limited to this. The same components as those in FIG. 2 of the above-described embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0049]
In FIG. 4, reference numeral 151 denotes an image processing apparatus according to the present invention. Reference numeral 152 denotes a storage device in which encoded data is recorded. A controller 153 controls the storage device 152. Reference numeral 154 denotes a control information reproducer that reproduces information necessary for skipping a VOP from the extracted watermark data. Reference numeral 155 denotes a skip memory for storing a relative position for skipping back and forth. 156 is a code length memory for storing the code length of the own VOP. A decoder 158 decodes an image in frame units. A hint memory 157 creates and stores a control information table according to information obtained from the skip memory 155, the code length memory 156, and the decoder 158.
[0050]
The processing operation of moving image data in the image decoding system configured as described above will be described below.
[0051]
In the fourth embodiment, as in the second embodiment, each unit is initialized prior to the operation. Image data to be reproduced is selected from the terminal 13, and a control signal is sent to the storage device 152 so that the controller 153 can read the head of the selected data. The storage device 152 changes the reading position according to the control signal and starts reading.
[0052]
The read coded data is input to the image processing device 151 on a frame basis, and is input to the watermark extractor 15. The watermark extractor 15 extracts 45-bit watermark data according to the reverse procedure as in the second embodiment, and inputs it to the control information reproducer 154. The coded data that has been extracted as the watermark data is directly input to the decoder 158, where the coded data is decoded and reproduced, and displayed on the monitor 20.
[0053]
The control information reproducer 154 generates the code length L of the frame being decoded from the 45-bit data, the relative position P of the preceding I-VOP, and the relative position M of the subsequent I-VOP. Information about the relative position is stored in the code length memory 156 and the skip memory 155. The contents of the skip memory 155 and the code length memory 156 are input to the controller 153 and the hint memory 157.
[0054]
In the hint memory 157, the code length of each VOP is recorded as shown in Table 1, and information about the encoding mode and the head of the GOV is input from the decoder 158 and recorded.
[0055]
When there is no instruction from the terminal 13, the controller 153 continues reading encoded data from the storage device 152 as it is. As a result, the encoded data is continuously read, and the moving image is reproduced on the monitor 20.
[0056]
When a reverse playback instruction is input from the terminal 13, the previous VOP, that is, the encoding mode of the VOP to be played back is read from the hint memory 157. If the encoding mode of the read VOP is an I-VOP, the relative position P from the skip memory 155 and the code length L from the code length memory 156 are read, and the read position is returned by (P + L) to start reading. To the control signal. The storage device 152 changes the reading position according to the control signal and starts reading.
[0057]
If the encoding mode of the read VOP is P-VOP, the control signal is generated so that the relative position P from the skip memory 155 and the code length L from the code length memory 156 are read, and the read position is returned by (P + L). Then, the storage device 152 changes the read position according to the control signal, starts reading, and temporarily decodes the read position. Subsequently, the position of the P-VOP up to the position before the P-VOP to be reproduced is read from the hint memory 157, and a control signal is transmitted so as to sequentially change the read position. The storage device 152 changes the readout position according to the control signal, and repeats the readout and the decoding, so that the encoded data of the immediately preceding frame is continuously read. Similarly, in the case of the B-VOP, control is performed so that the preceding or succeeding I or P-VOP is selected, and the encoded data of the corresponding frame is finally read.
[0058]
As described above, the storage device 152 changes the reading position according to the control signal and repeats reading and decoding, whereby the moving image is reproduced in reverse on the monitor 20.
[0059]
When an instruction for high-speed reverse playback is input from the terminal 13, the relative position P of the previous I-VOP and the code length L are read from the hint memory 157 and the code length memory 156, and the read position is read back by (P + L). Send a control signal to start. The storage device 152 changes the reading position according to the control signal, starts reading, and decodes the image. Further, a relative position from the hint memory 157 to the I-VOP is sequentially calculated, and a control signal is sent to return the read position and start reading. By repeating these operations, the moving image is reproduced on the monitor 20 at high speed in reverse.
[0060]
When an instruction for high-speed reproduction is input from the terminal 13, the control unit 157 reads the relative position M of the next I-VOP from the hint memory 157, returns the read position, and sends a control signal to start reading. The storage device 152 changes the reading position according to the control signal, starts reading, reads the watermark data, and decodes the image. Further, a relative position from the skip memory 155 to the next I-VOP is calculated based on the watermark data, and a control signal is sent to return the read position and start reading. By repeating these, the moving image is reproduced on the monitor 20 at high speed.
[0061]
By reading the code length information by such a series of selection operations, it is possible to perform reverse reproduction and high-speed reproduction without depending on a specific file format.
[0062]
Further, the contents of the hint memory 157 in the present embodiment are not limited to this, and the contents of the skip memory may be stored.
[0063]
<Fifth embodiment>
FIG. 5 is a block diagram illustrating a configuration of an image processing system according to the fifth embodiment. It is a block diagram showing the composition of the image processing device concerning a 5th embodiment of the present invention. In FIG. 5, reference numeral 300 denotes a central processing unit (CPU) that controls the entire apparatus and performs various processes. Reference numeral 301 denotes an operating system (OS), software, and a storage area required for operations required for controlling the apparatus. The memory to be provided. A bus 302 connects various devices and exchanges data and control signals. Reference numeral 303 denotes a terminal for starting the apparatus, setting various conditions, and instructing reproduction. Reference numeral 304 denotes a storage device that stores software. A storage device 305 stores image data, and a camera 306 captures an image. The storage device 304 and the storage device 305 can also be configured by media that can be moved separately from the system. Reference numeral 307 denotes a monitor that displays an image, and 308 denotes a communication line, which includes a LAN, a public line, a wireless line, a broadcast wave, and the like. A communication interface 309 transmits and receives image data via the communication line 308.
[0064]
In such a configuration, an encoding process of image data will be described. Prior to the processing, activation is instructed from the terminal 303 to the entire apparatus, and each unit is initialized. Then, the software stored in the storage device 304 is expanded in the memory 301 via the bus 302, and the software is activated. In the present embodiment, the input of the moving image is from the camera 306.
[0065]
FIG. 7 is a diagram illustrating the use and storage status of the memory of the memory 301 according to the fifth embodiment.
[0066]
The memory 301 stores an OS for controlling the entire apparatus and operating various software, encoding software for encoding an image, and watermark embedding software for generating and embedding watermark data. The encoding software is described as software for encoding in Motion JPEG, but is not limited to this. In addition, an image area for storing an image at the time of encoding, a code area for storing encoded data in which generated codes and watermarks are embedded, an encoding mode for various operations and encoding, and an encoding mode for each frame. There is a working area for storing parameters and the like.
[0067]
Next, the encoding operation of moving image data by the CPU 300 will be described with reference to the flowchart shown in FIG. FIG. 11 is a flowchart illustrating an encoding process in the image processing system according to the fifth embodiment.
[0068]
First, in step S201, the frame counter f is set to 1. In step S202, it is determined whether or not the input from the camera 306 has been completed. If the input has not been completed, the process proceeds to step S203. If the input has been completed, the process proceeds to step S207.
[0069]
In step S203, image data for one frame is input from the camera 306, stored in the image area of the memory 301, and the process proceeds to step S204. In step S204, JPEG encoding is performed using the encoding software on the memory 301, and the encoded data is stored in the code area on the memory 301, and the process proceeds to step S205. In step S205, the code length of the frame f is stored at address f in the code length area of the working area, and the process proceeds to step S206. In step S206, 1 is added to the value of the frame counter f, and the process proceeds to step S202.
[0070]
When the input from the camera 306 is completed in step S202 and encoding of all frames is completed, the process proceeds to step S207. In step S207, the frame counter f is set to 1, and the process proceeds to step S208. In step S208, it is determined whether or not the processing has been completed for all the frames. If the processing has not been completed, the processing proceeds to step S209, and if the processing has been completed, the processing proceeds to step S213.
[0071]
In step S209, the encoded data of frame f is read from the working memory, and the process proceeds to step S210. In step S210, the code length of frame f and the code lengths of three frames before and after are read from the working area. The code length of frame f is code length L, the code length of the previous frame of frame f is code length B, the sum of the code lengths of the previous three frames from frame f is the code length P, and the code length of frame f is the last three frames. The sum is defined as a code length M, these are arranged, and watermark data is generated, and the process proceeds to step S211. In step S211, watermark data is embedded in the encoded data of the frame f using the watermark embedding software on the memory 301, and the process proceeds to step S212. In step S212, 1 is added to the value of the frame counter f, and the process proceeds to step S208.
[0072]
When the embedding of the watermark data in all the encoded data stored in the code area of the memory 301 is completed in step S208, the process proceeds to step S213. In step S213, the encoded data in which the watermark data stored in the code area is embedded is output to the storage device 305 and written to a predetermined position, or transmitted to the communication line 308 via the communication interface 309. , End all the processing.
[0073]
Through such a series of selection operations, information about the code length required for special reproduction is generated and embedded as a watermark, so that it is possible to easily perform a frame operation on the decoding side.
[0074]
Further, in the present embodiment, the number of frames to be skipped is set to 3 to enable reproduction at triple speed, but the present invention is not limited to this. Alternatively, a plurality of skipped frames may be used.
[0075]
<Sixth embodiment>
In this embodiment, a decoding process of image data will be described. The configuration of the image data processing apparatus uses FIG. 5 of the fifth embodiment. Also in this description, the Motion JPEG encoding method will be described as an example, but the present invention is not particularly limited to this. This embodiment will exemplify a decoding process of the encoded data generated in the fifth embodiment and stored in the storage device 305.
[0076]
In the configuration of FIG. 5, prior to the processing, the terminal 303 selects encoded data to be decoded from the encoded moving image data stored in the storage device 305, and instructs to start the apparatus. Then, the software stored in the storage device 304 is expanded in the memory 301 via the bus 302, and the software is activated.
[0077]
FIG. 8 is a diagram illustrating the use and storage status of the memory of the memory 301 according to the sixth embodiment.
[0078]
The memory 301 stores an OS for controlling the entire apparatus and operating various software, decoding software for decoding images, and watermark extraction software for extracting and analyzing watermark data. Note that the decoding software is described as software for decoding Motion JPEG, but is not limited to this.
[0079]
Next, the encoding operation of moving image data by the CPU 300 will be described with reference to the flowchart shown in FIG. FIG. 12 is a flowchart illustrating a decoding process in the image processing system according to the sixth embodiment.
[0080]
In step S301, it is determined whether or not all decoding of the encoded data has been completed. If not completed, the process proceeds to step S302, and if completed, all processes are completed.
[0081]
In step S302, the encoded data of the frame is read from the storage device 305, and the process proceeds to step S303. In step S303, watermark data is extracted from the encoded data of the frame using the watermark extraction software on the memory 301, and the process proceeds to step S304. In step S304, the code length L of the own frame, the code length B of the previous frame, the total code length P from the own frame to the previous three frames, and the total code length M of the own frame to the following three frames are reproduced from the watermark data. Is written in the working area of the memory 301, and the process proceeds to step S305. In step S305, the encoded data is decoded using the decoding software on the memory 301, and the image data is stored in the image area on the memory 301, displayed on the monitor 307, and the process proceeds to step S306.
[0082]
In step S306, it is determined whether or not an instruction regarding reproduction has been issued from the terminal 303. If there is no instruction and the reproduction is performed in the forward direction, the process returns to step S301; otherwise, the process proceeds to step S307.
[0083]
In step S307, the type of the reproduction method instructed from the terminal 303 is determined. If the playback method is high-speed reverse playback, the process proceeds to step S308. If the playback method is reverse playback, the process proceeds to step S309. If the playback method is high-speed playback, the process proceeds to step S310.
[0084]
In step S308, the total P of the code lengths of the previous three frames and the code length L of the frames are read from the working area of the memory 301, and the seek amount S is calculated according to the following equation.
[0085]
S = − (L + P) (1)
In step S311, the read position of the storage device 305 is changed by the seek amount S, and the process returns to step S301.
[0086]
In step S309, the code length B of the previous frame and the code length L of the frame are read from the working area of the memory 301, and the seek amount S is calculated according to the following equation.
[0087]
S = − (L + B) (2)
In step S311, the read position of the storage device 305 is changed by the seek amount S, and the process returns to step S301.
[0088]
In step S310, the sum M of the code lengths of the subsequent three frames and the code length L of the frames are read from the working area of the memory 301, and the seek amount S is calculated according to the following equation.
[0089]
S = M (3)
In step S311, the read position of the storage device 305 is changed by the seek amount S, and the process returns to step S301.
[0090]
By reading the code length information by such a series of selection operations, it is possible to perform reverse reproduction and high-speed reproduction without depending on a specific file format.
[0091]
Further, in the present embodiment, the number of frames to be skipped is set to 3 to enable reproduction at triple speed, but the present invention is not limited to this. Alternatively, a plurality of skipped frames may be used.
[0092]
<Other embodiments>
In addition to the present embodiment, it is of course possible to describe in a new file format at the time of output. At this time, for example, the reproduced code length information may be described in, for example, a hint track.
[0093]
Further, in the present embodiment, the method of embedding the watermark data later into the encoded data has been described as an example. However, the present invention is not limited to this, and the data is input to the encoder as shown in FIG. Of course, watermark data may be embedded in DCT coefficients or the like. In this case, embedding the code length of the own frame becomes possible by performing re-encoding.
[0094]
Further, in the above embodiment, although the hardware and the like configuring the network are included, each processing unit can be actually realized by software. That is, an object of the present invention is to supply a storage medium (or a recording medium) in which software program codes for realizing the functions of the above-described embodiments are recorded to a system or an apparatus, and to provide a computer (or a computer) of the system or the apparatus. , CPU and MPU) read out and execute the program code stored in the storage medium. In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0095]
When the computer executes the readout program codes, not only the functions of the above-described embodiments are realized, but also an operating system (OS) or the like running on the computer based on the instructions of the program codes. However, it goes without saying that a case where some or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0096]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0097]
Also, since information about the code length for special playback is generated and the code length information is embedded in the image data as a watermark signal, it is necessary to read the beginning of each frame and search for the frame to be played specially during special playback. Since the length of the code to be sought is known, special reproduction can be performed at high speed. This is particularly effective when the image data is encoded by variable length encoding in which the code length of each frame is different.
[0098]
【The invention's effect】
As is apparent from the above description, according to the present invention, by generating code length information and embedding it in encoded data as watermark data, reproduction of an image, particularly skipping of frames, does not depend on a specific file format. In addition, it is possible to preferably perform trick play such as fast forward.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing system according to a first embodiment.
FIG. 2 is a block diagram illustrating a configuration of an image processing system according to a second embodiment.
FIG. 3 is a block diagram illustrating a configuration of an image processing system according to a third embodiment.
FIG. 4 is a block diagram illustrating a configuration of an image processing system according to a fourth embodiment.
FIG. 5 is a block diagram illustrating a configuration of an image processing system according to a fifth embodiment and a sixth embodiment.
FIG. 6 is a block diagram showing a configuration of an image processing system according to the present invention as another embodiment.
FIG. 7 is a diagram illustrating a state of use and storage of a memory of a memory 301 according to a fifth embodiment.
FIG. 8 is a diagram illustrating a state of use and storage of a memory of a memory 301 according to a sixth embodiment.
FIG. 9 is a flowchart illustrating an encoding process in the image processing system according to the first embodiment.
FIG. 10 is a flowchart illustrating a decoding process in the image processing system according to the second embodiment.
FIG. 11 is a flowchart illustrating an encoding process in an image processing system according to a fifth embodiment.
FIG. 12 is a flowchart illustrating a decoding process in the image processing system according to the sixth embodiment.

Claims

Input means for inputting image data;
Code length information generating means for generating information on a code length for special reproduction in units of one frame or a plurality of frames of the image data;
Watermark signal generating means for generating a watermark signal from the code length information;
Watermark embedding means for embedding the watermark signal in the image data and generating image data in which the watermark signal is embedded;
An image processing apparatus comprising: image data output means for outputting image data in which the watermark signal is embedded.

Input means for inputting image data in which a watermark signal is embedded;
Watermark extracting means for extracting a watermark signal from the image data in which the watermark signal is embedded,
Code length information reproducing means for reproducing code length information from the watermark signal,
Means for performing special reproduction according to the code length information,
An image processing apparatus comprising: an image frame data output unit that outputs the frame data.

The image processing apparatus according to claim 1, wherein the special reproduction is one of high-speed reproduction, high-speed reverse reproduction, and reverse reproduction.

The image processing apparatus according to claim 1, wherein the image data is data encoded by variable-length encoding.

An input step of inputting image data;
A code length information generating step of generating information on a code length for special reproduction in units of one frame or a plurality of frames of the image data;
A watermark signal generating step of generating a watermark signal from the frame control signal;
Embedding the watermark signal in the image data, a watermark embedding step of generating image data in which the watermark signal is embedded,
An image processing method, comprising: outputting image data in which the watermark signal is embedded.

An input step of inputting image data in which a watermark signal is embedded;
A watermark extraction step of extracting a watermark signal from the image data in which the watermark signal is embedded,
A code length information reproducing step of reproducing code length information from the watermark signal;
Performing a special reproduction according to the code length information;
An image processing method comprising an image frame data output step of outputting the frame data.

7. The image processing method according to claim 5, wherein the special reproduction is one of high-speed reproduction, high-speed reverse reproduction, and reverse reproduction.

The image processing method according to claim 5, wherein the image data is data encoded by variable-length encoding.

A program for causing a computer to execute the processing procedure of the image processing method according to claim 5.