JP2004080095A - Image-processing apparatus and image-processing method - Google Patents

Image-processing apparatus and image-processing method Download PDF

Info

Publication number
JP2004080095A
JP2004080095A JP2002233840A JP2002233840A JP2004080095A JP 2004080095 A JP2004080095 A JP 2004080095A JP 2002233840 A JP2002233840 A JP 2002233840A JP 2002233840 A JP2002233840 A JP 2002233840A JP 2004080095 A JP2004080095 A JP 2004080095A
Authority
JP
Japan
Prior art keywords
image
encoding
watermark
still image
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002233840A
Other languages
Japanese (ja)
Inventor
Mitsuru Maeda
前田　充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002233840A priority Critical patent/JP2004080095A/en
Publication of JP2004080095A publication Critical patent/JP2004080095A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image-processing apparatus and an image-processing method, capable of embedding information about high-definition static images, corresponding to a frame forming a moving picture into encoded data of the moving picture by electronic watermarks. <P>SOLUTION: Continuous static images are inputted from a camera 2, encoded by a static image encoder 6, and stored in a storage device 12. In this case, information about the static images is generated as watermark information in a watermark generator 9. Meanwhile, the continuous static images are converted into moving pictures of a predetermined resolution in a reducing device 3, and the moving pictures are encoded in a moving picture encoder 4. In a watermark-inserting device 10, the watermark information is embedded into the encoded moving picture by an electronic watermark, and stored in a storage device 13. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像から高解像度の静止画像を獲得する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
一般に、動画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ　ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＤｉｇｉｔａｌ　Ｖｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている。さらに新しい静止画符号化方式であるＪＰＥＧ−２０００符号化方式やそれを用いた動画像符号化方式、さらに低ビットレートの動画像符号化方式のＨ．２６４の標準化も進められている。
【０００３】
一方、家庭へのパーソナルコンピュータの普及や、通信インフラの整備が進んできており、インターネットによる情報の流通が盛んになってきている。このため、インターネットで動画像を利用するためにＭＰＥＧ−４符号化方式が注目されている。ＭＰＥＧ−４方式では、特に低ビットレートでの伝送や、スケーラビリティといった回線事情に合わせた伝送が可能になっている。
【０００４】
上述したようなデジタル符号化規格の普及に伴い、映像や音楽等のコンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対応して、コンテンツの保護に関する標準化も進み、ＭＰＥＧ−４符号化方式では、ファイルシステムにＩＰＭＰ　ＯＤを用いてセキュリティ情報を記述したり、セキュリティ情報によって再生を制限する方法が標準化された。そして、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。この電子透かし技術とは、データ再生時にデータが変化しないか、又は変化が知覚できないレベルで著作権に関するデータ等を埋め込む技術のことである。
【０００５】
ビデオデータに対して電子透かしを埋め込む技術としては、特開平１０−２４３３９８号の「動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置」や特開平１１−３４１４５０号の「電子透かし埋め込み装置及び抽出装置」等に開示されている。また、オーディオデータに関しても同様に、特開２００１−２０２０８９の「音声データに透かし情報を埋め込む方法、透かし情報埋め込み装置、透かし情報検出装置、透かし情報が埋め込まれた記録媒体、及び透かし情報を埋め込む方法を記録した記録媒体」や特開平１１−３１６５９９号の「電子透かし埋め込み装置、オーディオ符号化装置及び記録媒体」等に電子透かしを埋め込む技術が開示されている。
【０００６】
また、動画像から高精細な静止画像を得ようといった技術も開示されている。例えば、特開平８−２３５９５号には、動きベクトルに基づいて振れの少ない静止画像を得る技術が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−４符号化方式のような低ビットレートでの動画像においてその静止画像を表示すると、画像サイズが小さいという問題や、劣化が大きいために印字品質には耐えられないといった問題が生じる。　このような低ビットレートの動画像では、上述したような方法で高精細な静止画像を作ることもできない。
【０００８】
例えば、ＭＰＥＧ−４符号化方式のシンプル・プロファイル（Ｓｉｍｐｌｅ　Ｐｒｏｆｉｌｅ）では、ＣＩＦ等のサイズの画像が典型的であり、その画像は非常に小さい。そのため、空間解像度に関するスケーラビリティ符号を用いることも可能であるが、該当するフレームの静止画像のデータを呼び出すためには、先頭から目標のフレームまでを復号する必要があり、再生に時間がかかるとともに複雑な処理が必要となっている。また、特開平９−９２１４号の「デジタル画像情報多重化伝送方法、送信装置及び受信装置」に記載されているように静止画像を別途多重化する方法や、特開平８−２１４３１４号の「画像伝送装置」のようにフレーム内符号化データを挿入する方式もあるが、これらの方式では符号量が増大し、低ビットレートでの伝送は難しくなる。
【０００９】
一方、別な領域や場所にある静止画像データを呼び出すために、その位置等をファイルのフォーマットや符号化データに付与することで解決できる可能性もある。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ−２であればｕｓｅｒ＿ｄａｔａに、追加情報を記載することができる。しかしながら、ＭＰＥＧ−４ではフレーム単位ではそれに類する領域は存在しない。このため、独自のコードを挿入する必要が生じ、互換性を損なうことになってしまう。
【００１０】
本発明は、このような事情を考慮してなされたものであり、動画像を構成するフレームに対応する高品位な静止画像に関する情報を電子透かしによって動画像の符号化データ中に埋め込むことができ、他の符号化方式による符号化データとの互換性を保ったまま、低解像度の動画像から高解像度の静止画像の獲得を好適に行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像処理装置は、静止画像を連続して入力する入力手段と、前記静止画像を符号化する第１の符号化手段と、符号化された前記静止画像を記憶する静止画像記憶手段と、前記静止画像に関する情報を透かし情報として生成する透かし生成手段と、連続して入力された前記静止画像を所定解像度の動画像に変換する変換手段と、前記動画像を符号化する第２の符号化手段と、符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、前記透かし情報が埋め込まれた前記動画像を記憶する動画像記憶手段とを備えることを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、動画像を入力する入力手段と、前記動画像を階層符号化する第１の符号化手段と、符号化された前記動画像を記憶する第１の記憶手段と、前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手段と、前記動画像を所定解像度に変換する変換手段と、解像度が変換された前記動画像を符号化する第２の符号化手段と、符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、前記透かし情報が埋め込まれた前記動画像を記憶する第２の記憶手段とを備えることを特徴とする。
【００１３】
さらに、本発明に係る画像処理装置は、前記第１の符号化手段が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする。
【００１４】
さらにまた、本発明に係る画像処理装置は、前記第１の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする。
【００１５】
さらにまた、本発明に係る画像処理装置は、前記第２の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする。
【００１６】
さらにまた、本発明に係る画像処理装置は、前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする。
【００１７】
さらにまた、本発明に係る画像処理装置は、高品位の静止画像を格納する格納手段と、前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、獲得された前記静止画像を出力する静止画像出力手段とを備えることを特徴とする。
【００１８】
さらにまた、本発明に係る画像処理装置は、高品位の静止画像を格納する格納手段と、前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、獲得された前記静止画像を出力する静止画像出力手段とを備えることを特徴とする。
【００１９】
さらにまた、本発明に係る画像処理装置は、前記動画像のフレームから前記所定フレームを指示する指示手段をさらに備え、前記透かし抽出手段が、指示されたフレームに埋め込まれている透かし情報を抽出することを特徴とする。
【００２０】
さらにまた、本発明に係る画像処理装置は、前記静止画像を格納する格納手段とネットワークを介して接続されており、前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする。
【００２１】
さらにまた、本発明に係る画像処理装置は、前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像符号化システムの構成を示すブロック図である。図１に示すように、本実施形態に係る画像符号化システムは、画像処理装置１とそれに接続するカメラ２、記憶装置１２、１３及び通信インタフェース（Ｉ／Ｆ）１４とから構成されている。カメラ２は、画像をフレーム単位で連続して画像処理装置１に入力する。記憶装置１２は、画像処理装置１で処理された静止画像符号化データを蓄積する。記憶装置１３は、透かしデータが埋め込まれた符号化データを蓄積する。また、通信インタフェース１４は、通信回線１５を介してデータのやり取りを不図示の他の装置等と行うためのインタフェースである。
【００２４】
図１に示すように、画像処理装置１はさらに複数の機器から構成される。縮小器３は、カメラ２で入力された画像をフレーム単位で縮小する。また、動画像符号化器４は、縮小器３で縮小された画像を動画像の符号化方式でフレーム単位で符号化する。尚、本実施形態では、動画像符号化器４の符号化方式をＭＰＥＧ−４符号化方式を例にとって説明するが、本発明の適用はこの方式だけに限定されるものではない。また、符号メモリ５は、動画像符号化器４でフレーム単位で符号化した結果の符号化データを格納する。
【００２５】
一方、静止画像符号化器６は、カメラ２で入力された静止画像の符号化を行う。尚、本実施形態では、静止画像符号化器６の符号化方式をＪＰＥＧ符号化方式を例にとって説明するが、本発明の適用はこの方式だけに限定されるものではない。記憶装置１２は、この静止画像符号化データを蓄積する。この際、記憶装置１２を制御し、ファイル管理等を行うのが記憶装置制御器７である。
【００２６】
また、メモリ８は、画像符号化システムを識別するデータを格納している。そして、透かし生成器９は、記憶装置制御器７とメモリ８の出力から透かしデータを生成する。透かし挿入器１０は、透かしデータを符号化データに埋め込む。尚、記憶装置１３は、生成された符号化データを記録する。そして、記憶装置制御器１１は、記憶装置１３を制御し、ファイル管理等を行う。
【００２７】
上記のように構成された本実施形態に係る画像符号化システムにおける動画像データの符号化処理における各部の動作の詳細について次に説明する。
【００２８】
符号化処理に先立って、まず、本画像符号化システムの各部が初期化される。すなわち、符号メモリ５が０でクリアされる。また、通信インタフェース１４は、通信回線１５を介して受信側と通信を確立する。記憶装置制御器７は、記憶装置１２の空き領域を確保し、ファイル名を設定する。また、記憶装置制御器１１は、記憶装置１３の空き領域を確保し、ファイル名を設定する。
【００２９】
次に、カメラ２で撮像された画像データは、１フレーム単位で縮小器３と静止画像符号化器６に入力される。縮小器３は、予め決められた縮小率で画像を縮小し、動画像符号化器４に縮小画像を出力する。動画像符号化器４では、各フレームをＭＰＥＧ−４符号化方式で符号化し、符号メモリ５に格納する。
【００３０】
同時に、静止画像符号化器６に入力された画像データは、ＪＰＥＧ符号化方式で符号化され、記憶装置制御器７に符号化されたデータが出力される。記憶装置制御器７では、記憶装置１２の空き領域に対してファイル名を設定し、静止画像データを蓄積する。ファイル名を透かし生成器９に入力する。
【００３１】
一方、メモリ８には本装置がネットワーク上で認識できる情報が格納されている。尚、本実施形態ではＵＲＬを格納しているものとするが、本発明の適用はこれだけに限定されるものではない。また、透かし生成器９は、メモリ８からＵＲＬを読み出し、その文字数Ｃをカウントする。そして、ＵＲＬの文字数Ｃを８ビットで表し、その後にＵＲＬの文字列を続ける。さらに、記憶装置制御器７で命名したファイル名の長さＦをカウントし、文字列をつなげる。すなわち、（Ｃ＋Ｆ＋１）バイトの透かしデータを生成する。生成された透かしデータは透かし挿入器１０に入力される。
【００３２】
透かし挿入器１０では、符号メモリ５から読み出した符号化データに、透かし生成器９で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば、各ブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法等で透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。
【００３３】
例えば、直前の符号において０ラン長が８で値が３であった時、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」　を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。尚、本発明の適用はこれだけに限定されず、特開平１１−３４１４５２号の「動画像電子透かしシステム」に記載されている方法等の既存の方法を使用しても良い。
【００３４】
このようにして透かし挿入器１０において透かしデータが埋め込まれた符号化データは、記憶装置制御器１１、通信インタフェース１４を介して通信回線１５に送出する。同時に、記憶装置１３の所定の位置に蓄積することも可能である。
【００３５】
すなわち、本実施形態では、静止画像がカメラ２から連続して入力される。そして、画像処理装置１は、静止画像符号化器６で入力された静止画像を符号化し、符号化された静止画像を記憶装置１２に記憶する。また、静止画像に関する情報を透かし情報として透かし生成器９で生成する。一方、連続して入力された静止画像を縮小器３で所定解像度の動画像に変換し、その動画像を動画像符号化器４で符号化する。そして、透かし挿入器１０において、符号化された動画像に対して、透かし情報を電子透かしによって埋め込む。さらに、画像処理装置１において、透かし情報が埋め込まれた動画像は、記憶装置１３に記憶される。
【００３６】
次に、受信側から、通信インタフェース１４を介して、静止画像符号化データが要求された場合の静止画像データの出力動作を説明する。
【００３７】
受信側では、ＵＲＬから通信回線１５を介して通信インタフェース１４を探索し、静止画像符号化データが要求される。通信インタフェース１４は、記憶装置制御器７に対して、ＵＲＬに記載されたファイル名を入力する。記憶装置制御器７は、記憶装置１２上の該当するファイルを読み出し、通信インタフェース１４、通信回線１５を介して、要求してきた受信側に当該ファイルを送信する。
【００３８】
以上、符号化データの蓄積・送信までの処理の簡単な流れを、図１０を用いて説明する。図１０は、第１の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像符号化システムの各部である。
【００３９】
まず、装置の初期化を行い（ステップＳ２０１）、処理の終了判断が行われる（ステップＳ２０２）。そして、通信インタフェース１４から静止画像の要求があるか否かを判定し（ステップＳ２０３）、要求が無ければステップＳ２０４に進み、要求があればステップＳ２１１に進む。
【００４０】
ステップＳ２０４においては、入力された画像データをＪＰＥＧ符号化方式で符号化する。次に、ＵＲＬ、ファイル名等の情報を生成する（ステップＳ２０５）。また、静止画像符号化データを記憶装置１２のファイル名のファイルに格納する（ステップＳ２０６）。さらに、入力されたフレームデータを縮小し、ＭＰＥＧ−４符号化方式で符号化する（ステップＳ２０７）。さらにまた、ＵＲＬ、ファイル名から透かしデータを生成する（ステップＳ２０８）。そして、透かしデータをＭＰＥＧ−４符号化データに埋め込み（ステップＳ２０９）、ＭＰＥＧ−４符号化データを、通信インタフェース１４を介して送信したり、記憶装置１３に蓄積したりする（ステップＳ２１０）。
【００４１】
一方、ステップＳ２０３において静止画像符号化データの要求があったと判断された場合、ＵＲＬに続くファイル名を読み込み、該当するファイルの符号化データを記憶装置１２から読み出す（ステップＳ２１１）。さらに、要求された静止画像符号化データを通信インタフェース１４、通信回線１５を介して、受信側に送信する（ステップＳ２１２）。その後、上述したステップＳ２０４の処理が行われる。
【００４２】
上述したような一連の選択動作によって、動画像の各フレームの静止画像データに関する情報を電子透かしによって埋め込むことにより、復号側で静止画像データが必要になった場合に該当する符号化データの送受信を容易に行うようにすることが可能である。また、電子透かしとして埋め込むために、これらを解釈できない受信機に送られた場合であっても、問題なく復号ができ、互換性が確保される。同時に、この情報の付加に伴う符号長の増大も起きない。
【００４３】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を付加した符号化が可能になる。さらに、ＵＲＬによってデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ或いはサーバにある場合であっても正しく再生することができる。
【００４４】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式を用いて処理したが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。また、静止画像の符号化方式もＪＰＥＧ符号化方式としたが、これだけに限定されるものではなく、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもよい。また、本実施形態の各部又は全部の機能をソフトウェア処理を行うための演算プログラムで記述し、ＣＰＵ等によって処理をさせてもよい。
【００４５】
尚、本実施形態においては静止画像の要求があった場合、要求された静止画像符号化データを送信してから静止画像、動画像の符号化を行なったが、これを平行して行なってももちろん構わない。
【００４６】
＜第２の実施形態＞
図２は、本発明の第２の実施形態に係る画像復号システムの構成を示すブロック図である。本実施形態では上述した第１の実施形態と同様に、静止画像符号化方式としてＪＰＥＧ符号化方式を、動画像符号化方式としてＭＰＥＧ−４符号化方式を例にとって説明するが、これに限定されるものではない。
【００４７】
図２に示すように、本実施形態に係る画像復号システムは、画像処理装置５１とそれに接続する端末５２、通信インタフェース５３、モニタ６２及びプリンタ６３とから構成されている。端末５２は、不図示のユーザが画像処理装置５１等の起動、各種条件の設定、再生、静止画像の印字等の指示を行うための入力装置である。通信インタフェース５３は、通信回線５４を介して他の装置等とデータのやり取りを行うインタフェースである。尚、通信回線５４には上述した第１の実施形態に係る画像符号化システムが接続されているものとする。また、モニタ６２は、画像処理装置５１で復号されて再生された画像データを表示する。さらに、プリンタ６３は、画像処理装置５１で復号された再生された画像データを印字する。
【００４８】
図２に示すように、画像処理装置５１はさらに複数の機器から構成される。画像処理装置５１内において、５５は端末５２の指示や各部の情報から各部を制御する制御器を示す。また、５６は制御器５５の指示に基づき、出力先を切り替えるセレクタを示す。５７は符号化データから透かしデータを抽出する透かし抽出器を示す。５８は抽出された透かしデータから静止画像に関する情報を再生する静止画像情報再生器を示す。５９は再生した静止画像に関する情報をフレーム単位で格納しているメモリを示す。６０はＭＰＥＧ−４符号化方式で動画像をフレーム単位で復号する動画像復号器を示す。６１はＪＰＥＧ符号化方式で静止画像を復号する静止画像復号器を示す。
【００４９】
上記のように構成された第２の実施形態に係る画像復号システムにおける動画像データの復号処理における各部の動作の詳細について次に説明する。
【００５０】
第２の実施形態においては、第１の実施形態と同様に、動作に先立って、各部の初期化が行われる。端末５２から受信する画像データが選択され、接続される。そして、接続後、伝送されてくる動画像符号化データを受信する。また、セレクタ５６はその出力先を透かし抽出器５７としておく。
【００５１】
通信インタフェース５３を介して受信された符号化データは、フレーム単位で画像処理装置５１に入力され、セレクタ５６に入力される。セレクタ５６は入力された符号化データを透かし抽出器５７に入力する。透かし抽出器５７では第１の実施形態の図１に示す画像処理装置１における透かし挿入器１０の逆の手順に従って（Ｃ＋Ｆ＋１）バイトの透かしデータを抽出し、静止画像情報再生器５８に入力する。透かしデータに抽出が終わった符号化データはそのまま動画像復号器６０に入力され、復号処理されて画像データが再生され、モニタ６２で表示される。
【００５２】
また、静止画像情報再生器５８は、（Ｃ＋Ｆ）バイトのデータから静止画像符号化データがある装置のＵＲＬと該当するファイル名を再生し、メモリ５９に格納する。制御器５５は、端末５２から一旦停止と静止画印字に関する指示が無い場合はそのまま通信インタフェース５３からの符号化データの受信を継続する。これにより、連続して符号化データの読み出しが行われ、モニタ６２上で動画像が再生される。
【００５３】
端末５２から静止画像の印字の指示が入力された場合、制御器５５はメモリ５９からＵＲＬとファイル名を読み出し、ＵＲＬを通信インタフェース５３を介して送信し、該当する画像符号化システムを探索する。該当する画像符号化システムが発見された場合、これに接続してファイル名を送る。そして、符号化データが送信されるのを待つ。
【００５４】
静止画像の符号化データが送信されてきた後、制御器５５は、セレクタ５６に出力先を静止画像復号器６１とし、入力されたＪＰＥＧ符号化データを静止画像復号器６１に入力する。入力されたＪＰＥＧ符号化データは高精細な静止画像を復号し、プリンタ６３で印字する。この時もモニタ６２では該当する画像データ一旦停止の状態で表示されている。
【００５５】
すなわち、本実施形態に係る画像処理装置５１には、所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像が入力される。そして、透かし抽出器５７で、符号化動画像の所定フレームから透かし情報を抽出する。また、静止画像情報再生器５８で再生された透かし情報に基づいて、静止画像復号器６１で高品位の静止画像を獲得する。獲得された静止画像がプリンタ６３から出力される。
【００５６】
以上、符号化データの復号までの処理を簡単な流れを、図１１を用いて説明する。図１１は、第２の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像復号システムの各部である。
【００５７】
まず、装置の初期化を行い、通信回線の接続等を行う（ステップＳ３０１）。そして、復号処理の終了判断を行う（ステップＳ３０２）。その結果、復号処理が終了したと判断された場合は当該処理を終了する。一方、復号処理が終了していないと判断された場合は、通信インタフェース５３を介して１フレーム分の符号化データを読み込む（ステップＳ３０３）。さらに、符号化データから透かしデータを抽出し（ステップＳ３０４）、端末５２から一旦停止や静止画像印字の要求の有無を判定する（ステップＳ３０５）。
【００５８】
その結果、要求が無いと判定された場合はステップＳ３０６に進み、要求があると判定された場合はステップＳ３０７に進む。ステップＳ３０６では、ＭＰＥＧ−４符号化方式で復号し、モニタ６２に再生画像を表示する。一方、ステップＳ３０５で要求があった場合、ＵＲＬを介してファイル名を通信インタフェース５３から送信する（ステップＳ３０７）。また、静止画像符号化データを受信する（ステップＳ３０８）。さらに、受信した静止画像符号化データをＪＰＥＧ符号化方式に従って復号し、プリンタ６３で印字する（ステップＳ３０９）。尚、ステップＳ３０６及びステップＳ３０９の処理後は、ステップＳ３０２に進む。
【００５９】
このような一連の選択動作によって、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、静止画像データのある場所の特定が容易になり、必要になった場合に該当する符号化データの送受を容易に行うようにすることが可能である。また、この情報の付加に伴う符号長の増大もない。
【００６０】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を簡単に取得することが可能になる。ＵＲＬによってデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ、サーバにあっても正しく再生することができる。尚、本実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。
【００６１】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが、他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。また、静止画像の符号化方式もＪＰＥＧ符号化方式としたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもよい。
【００６２】
＜第３の実施形態＞
図３は、本発明の第３の実施形態に係る画像符号化システムの構成を示すブロック図である。尚、前述の第１の実施形態における図１に示す画像符号化システムと同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００６３】
図３において、１０１は本発明の第３の実施形態に基づく画像処理装置のブロック図である。１０２はフレーム単位で画像データを格納するフレームメモリである。１０３は電子透かしの埋め込みを行いながら動画像の符号化を行う動画像符号化器である。尚、本実施形態ではＭＰＥＧ−４符号化方式を例にとり、電子透かしの埋め込みに関しては、前述の特開平１０−２４３３９８号のような方式を例にとって説明する。但し、符号化方式や電子透かしの埋め込み方式に関してはこれらに限定されるものではない。
【００６４】
また、１０４は動画像符号化器であり、階層符号化を行うものである。ここでは、ＭＰＥＧ−４符号化方式のエンハンスメントレイヤ符号化を行うものとして説明を行う。１０５は記憶装置１２を制御し、ファイル管理等を行う記憶装置制御器を示す。１０６は画像符号化システムを識別するデータを格納したメモリを示す。ここでは本システムのネットワーク上でのＩＰアドレスを格納しているものとする。１０７は動画像符号化器１０４、記憶装置制御器１０５とメモリ１０６の出力から透かしデータを生成する透かし生成器であり、生成された透かしデータは動画像符号化器１０３で埋め込まれる。
【００６５】
上記のように構成された画像復号システムにおける動画像データの処理動作における各部の動作の詳細について次に説明する。
【００６６】
第３の実施形態においては、前述の第１の実施形態と同様に、動作に先立って、各部の初期化が行われる。通信インタフェース１４は、通信回線１５を介して受信側と通信を確立する。記憶装置制御器１１は、記憶装置１３の空き領域を確保し、ファイル名を設定する。記憶装置制御器１０５は、記憶装置１２の空き領域を確保し、ファイル名を設定し、ファイル名は透かし生成器１０７に入力される。動画像符号化器１０４のパラメータである、出力符号長カウンタＥを０にリセットする。
【００６７】
さらに、動画像符号化器１０４は、ＭＰＥＧ−４符号化方式のヘッダを生成して記憶装置１２の所定の領域に格納する。また、動画像符号化器１０３ファイル名をｕｓｅｒ＿ｄａｔａに記述してＭＰＥＧ−４符号化方式のヘッダを生成し、通信インタフェース１４を介して通信回線１５に送信する。また、生成された符号長を出力符号長カウンタＥに加算する。
【００６８】
カメラ２で撮像された画像データは、フレーム単位でフレームメモリ１０２に格納される。フレームメモリ１０２の画像データは、縮小器３と動画像符号化器１０４に入力される。縮小器３では、画像を縮小し、動画像符号化器１０３に入力する。動画像符号化器１０３は、ＭＰＥＧ−４符号化方式でベースレイヤの符号化データを生成し、後述する透かしデータを埋め込み、結果を符号メモリ５に格納する。また、動画像符号化器１０３は符号化の際に使用する局所復号画像を動画像符号化器１０４に入力する。
【００６９】
動画像符号化器１０４では、動画像符号化器１０３の局所復号画像を拡大してフレームメモリ１０２から読み込まれた画像データの参照画像を生成し、予測を行ってエンハンスメントレイヤの符号化データを生成して記憶装置制御器１０５に入力する。記憶装置制御器１０５では記憶装置１２の所定の領域に符号化データを蓄積する。また、生成された符号長を出力符号長カウンタＥに加算して透かし生成器１０７に入力する。
【００７０】
メモリ１０６には、本装置がネットワーク上で認識できる情報が格納されている。ここではシステムのＩＰアドレスを格納しているものとするが、これだけに限定されるものではない。メモリ透かし生成器１０７は、メモリ１０６からＩＰアドレスを読み出す。ここで、ＩＰアドレスは４バイトのアドレスである。記憶装置制御器１０５で命名したファイル名の長さＦをカウントする。透かしデータの長さを１バイトで表す。また、出力符号長カウンタＥを３バイトで表すものとする。したがって、透かしデータの長さは（Ｆ＋８）である。透かしデータの先頭から透かしデータの長さ、出力符号長カウンタＥ、その後にＩＰアドレスの文字列をつなげる。さらに、記憶装置制御器１０５で命名したファイル名の文字列をつなげる。このようにして、（Ｆ＋８）バイトの透かしデータを生成する。生成された透かしデータは動画像符号化器１０３に入力され符号化データの中に埋め込まれる。
【００７１】
このようにして、生成された符号化データは符号メモリ５に格納され、記憶装置制御器１１を介して、通信インタフェース１４を介して通信回線１５に送信し、記憶装置１３に格納する。
【００７２】
一方、受信側から、通信インタフェース１４を介して、静止画像符号化データが要求された場合の静止画像データの出力動作を以下で説明する。受信側でＩＰアドレスから、通信回線１５から通信インタフェース１４にアクセスが来て、静止画像符号化データが要求される。通信インタフェース１４は記憶装置制御器１０５に対して、送信されてきたファイル名と符号長Ｅを入力する。記憶装置制御器１０５は記憶装置１２上の該当するファイルを読み出し、ファイルの先頭から符号長Ｅだけ読み飛ばし、そこから読み出した符号化データを通信インタフェース１４、通信回線１５を介して、要求してきた受信側に送信する。
【００７３】
すなわち、本実施形態では、カメラ２から動画像が入力される。そして、画像処理装置１０１は、動画像符号化器１０４で動画像を階層符号化し、符号化された動画像を記憶装置１２に記憶する。また、動画像を構成する静止画像に関する情報を透かし生成器１０７で透かし情報として生成する。一方、縮小器３で、動画像を所定解像度に変換し、解像度が変換された動画像を動画像符号化器１０３で符号化する。また、動画像符号化器１０３は、符号化された動画像に対して、透かし情報を電子透かしによって埋め込む。そして、画像処理装置１０１は、透かし情報が埋め込まれた動画像を記憶装置１３に記憶する。
【００７４】
以上説明した符号化データの蓄積・送信までの処理を簡単な流れを、図１２を用いて説明する。図１２は、第３の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像符号化システムの各部である。
【００７５】
まず、装置の初期化を行う（ステップＳ４０１）。すなわち、エンハンスメントレイヤの符号化データのファイル名を決定してファイルをオープンすると同時に、ヘッダデータを生成し、格納する。次に、処理の終了判断を行う（ステップＳ４０２）。その結果、符号化処理が終了したと判断された場合は当該処理を終了する。一方、符号化処理が終了していないと判断された場合は、通信インタフェース１４から静止画像の要求があるか否かが判定される（ステップＳ４０３）。その結果、要求が無ければステップＳ４０６に進み、要求があればステップＳ４０４に進む。
【００７６】
ステップＳ４０６では、カメラ２からフレームデータを入力する。そして、それまでのエンハンスメントレイヤの符号長、ＩＰアドレス、ファイル名から透かしデータを生成する（ステップＳ４０７）。また、フレームデータを縮小してＭＰＥＧ−４符号化方式のベースレイヤ符号化を行うと同時に透かしデータの埋め込みを行う（ステップＳ４０８）。そして、フレームデータをベースレイヤ符号化の局所復号画像を参照画像としながら符号化する（ステップＳ４０９）。さらに、生成したエンハンスメントレイヤの符号化データを格納する（ステップＳ４１０）。そして、ベースレイヤの符号化データを送信し（ステップＳ４１１）
、上述したステップＳ４０２の処理に移る。
【００７７】
一方、ステップＳ４０３で静止画像の要求があった場合には、記憶装置１２からファイル名と符号長から読み出すデータの先頭位置を求め、（エンハンスメントレイヤ）符号化データを読み出す（ステップＳ４０４）。そして、読み出された符号化データを送信し（ステップＳ４０５）、上述したステップＳ４０６の処理に移る。
【００７８】
このような一連の選択動作によって、動画像の各フレームの静止画像データに関する情報を符号化しながら透かしとして埋め込むことにより、復号側で静止画像データが必要になった場合に該当する符号化データの送受を容易に行えるようにすることが可能である。さらには、静止画像を送った動画像との予測誤差を送って再生できるようになるため、別の静止画像符号化を用いた場合に比べて符号化効率を向上できる。また、透かしとして埋め込むため、これらを解釈できない受信機に送られても、問題なく復号ができ、互換性が確保される。同時に、この情報の付加に伴う符号長の増大も起きない。
【００７９】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を付加した符号化が可能になる。ＩＰアドレスにてデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータやサーバにある場合であっても正確かつ低遅延で再生することができる。
【００８０】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが、他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。また、静止画像の符号化方式もＭＰＥＧ−４符号化方式としたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもかまわない。また、本実施形態の各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算プログラムによって処理をさせてももちろんかまわない。さらに、記憶装置１３や記憶装置制御器１１は、本画像符号化システムが符号化データの記録を行わなければ省略してもかまわない。
【００８１】
＜第４の実施形態＞
図４は、本発明の第４の実施形態に係る画像復号システムの構成を示すブロック図である。本実施形態においても、動画像符号化方式としてＭＰＥＧ―４符号化方式を例にとって説明するが、これに限定されるものではない。尚、前述の第２の実施形態における図２のシステムと同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００８２】
図４において、１５１は本発明の第４の実施形態に係る画像処理装置である。また、１５２はＭＰＥＧ−４符号化方式のベースレイヤの符号化データをフレーム単位で復号し、その中から透かしデータを抽出する動画像復号器である。さらに、１５３は抽出された透かしデータからエンハンスメントレイヤ符号化された静止画像に関する情報を再生する静止画像情報再生器である。１５４はエンハンスメントレイヤの符号化データを復号して印刷用静止画像を生成する静止画像復号器である。１５５は端末５２の指示や各部の情報から各部を制御する制御器である。
【００８３】
上記のように構成された画像復号システムにおける動画像データの復号処理動作における各部の動作の詳細について次に説明する。
【００８４】
第４の実施形態においても第２の実施形態と同様に、動作に先立って、各部の初期化が行われる。すなわち、端末５２から受信する画像データが選択され、接続される。接続後、伝送されてくる動画像符号化データを受信する。また、セレクタ５６は、その出力先を動画像復号器１５２としておく。
【００８５】
受信された符号化データはフレーム単位で画像処理装置１５１に入力され、セレクタ５６に入力される。セレクタ５６は入力された符号化データを動画像復号器１５２に入力する。動画像復号器１５２では、第３の実施形態の図３における動画像符号化器１０３の逆の手順に従って（Ｆ＋８）バイトの透かしデータを抽出しつつ、ベースレイヤのフレームデータを再生する。得られた透かしデータは、静止画像情報再生器１５３に入力され、復号画像のフレームデータはモニタ６２で表示される。
【００８６】
静止画像情報再生器１５３は、（Ｆ＋８）バイトのデータから静止画像符号化データがある装置のＩＰアドレスと該当するファイル名、出力符号長カウンタＥを再生し、メモリ５９に格納する。制御器１５５は端末５２から一旦停止と静止画印字に関する指示が無い場合はそのまま通信インタフェース５３からの符号化データの受信を継続する。これにより、連続して符号化データの受信が行われ、モニタ６２上で動画像が再生される。
【００８７】
静止画像の印字の指示が入力された場合、制御器１５５はメモリ５９からＩＰアドレスとファイル名、出力符号長カウンタＥを読み出し、ＩＰアドレスを、通信インタフェース５３を介して送信し、該当する画像符号化システムを接続するする。接続後、ファイル名、出力符号長カウンタＥを送る。符号化データが送信されるのを待つ。
【００８８】
静止画像の符号化データが送信されてきた後、制御器１５５は、セレクタ５６に出力先を静止画像復号器１５４とし、入力されたＭＰＥＧ−４符号化方式のエンハンスメントレイヤの符号化データを静止画像復号器１５４に入力する。入力されたエンハンスメントレイヤ符号化データは、動画像復号器１５２の復号画像を拡大し、復号結果から予測誤差を再生して高精細な静止画像を再生し、プリンタ６３で印字する。続いて、セレクタ５６に出力先を動画像復号器１５２とし、入力されたＭＰＥＧ−４符号化方式のベースレイヤの符号化データを動画像復号器１５２に入力する。モニタ６２では該当する画像データが表示されている。
【００８９】
以上の符号化データの復号までの処理を簡単な流れを、図１３を用いて説明する。図１３は、第４の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像復号システムの各部である。
【００９０】
まず、装置の初期化を行い、通信回線の接続等を行う（ステップＳ５０１）。次に、処理の終了判断を行う（ステップＳ５０２）。その結果、復号処理が終了していると判断された場合は当該処理を終了する。一方、復号処理が終了していないと判断された場合は、ステップＳ５０３において、通信インタフェース５３を介して１フレーム分の符号化データを受信する。そして、符号化データを復号しつつ、透かしデータを抽出する（ステップＳ５０４）。さらに、端末５２から一旦停止や静止画像印字の要求の有無を判定する（ステップＳ５０５）。その結果、要求が無ければステップＳ５０６に進み、要求があればステップＳ５０７に進む。
【００９１】
ステップＳ５０６では、復号して得られた再生画像を、モニタ６２で表示する。そして、ステップＳ５０２の処理に戻る。
【００９２】
一方、ステップＳ５０５で要求があった場合、ＩＰアドレスを介してファイル名と出力符号長Ｆを通信インタフェース５３から送信する（ステップＳ５０７）。次いで、静止画像符号化データを受信し（ステップＳ５０８）、ベースレイヤの画像データを復号した画像と符号化データから静止画像を復号してプリンタ６３で印字する（ステップＳ５０９）。その後、上述したステップＳ５０６の処理を行う。
【００９３】
このような一連の選択動作によって、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、静止画像データのある場所の特定が容易になり、必要になった場合に該当する符号化データの送受を容易に行えるようにすることが可能である。この情報の付加に伴う符号長の増大も起きていない。
【００９４】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を簡単に取得することが可能になる。ＩＰアドレスにてデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ、サーバにあっても正しく再生することができる。
【００９５】
尚、本実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてももちろんかまわない。尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。また、静止画像の符号化方式もＭＰＥＧ−４符号化方式のエンハンスメントレイヤの符号化を用いたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもかまわない。
【００９６】
＜第５の実施形態＞
図５は、本発明の第５の実施形態に係る画像符号化システムの構成を示すブロック図である。図５において、３００は装置全体の制御及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００９７】
また、３０２は種々の装置を接続し、データ、制御信号をやり取りするバスを示す。３０３はプログラムの起動、各種条件の設定、再生の指示を行うための端末を示す。３０４はソフトウェアを蓄積する記憶装置を示す。３０５は画像データを蓄積する記憶装置、３０６は画像を撮像するカメラを示す。記憶装置３０４、３０５は、本システムから切り離して移動できる可搬可能なメディアで構成することも可能である。また、３０７は画像を表示するモニタ、３０８は通信回路を示し、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回路３０８を介して画像データを送受信する通信インタフェース、３１０は画像を印字するプリンタを示す。
【００９８】
本実施形態においてメモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、画像データを格納する画像エリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードや各フレームの符号長等のパラメータ等を格納しておくワーキングエリアが存在する。
【００９９】
次に、このような構成における動画像データの符号化処理について説明する。まず、処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。これによって記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【０１００】
図８は、第５の実施形態におけるメモリ３０１のメモリの使用及び格納状況を説明するための概要図である。図８に示すように、メモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、動画像を符号化する動画像符号化ソフトウェア、各フレームを静止画像として符号化する静止画像符号化ソフトウェア、画像を縮小する画像縮小ソフトウェア、透かしデータの生成と埋め込みを行う透かし埋め込みソフトウェアが格納されている。尚、本実施形態では、動画像符号化ソフトウェアとしてはＭＰＥＧ−４符号化方式で符号化するソフトウェア、静止画像符号化ソフトウェアとしてはＪＰＥＧ２０００符号化方式で符号化し、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００としてファイルを生成するソフトウェアとして説明をするが、これらだけに限定されるものではない。
【０１０１】
次に、ＣＰＵ３００における動画像データの符号化動作を説明する。図６は、第５の実施形態に係る画像符号化システムにおけるＣＰＵ３００で行われる符号化動作の手順を説明するためのフローチャートである。
【０１０２】
まず、初期化が行われ、静止画像符号化結果の符号長をカウントするカウンタＬｓも０にリセットされる（ステップＳ１）。次に、動画像符号化データを格納するための記憶装置３０５上の空き領域を確保し、ファイル名を設定して、ファイルをオープンする（ステップＳ２）。同時に、静止画像符号化データである、Ｍｏｔｉｏｎ　ＪＰＥＧ符号化データを格納するための記憶装置３０５上の空き領域を確保し、ファイル名を設定して、ファイルをオープンする。
【０１０３】
次いで、静止画像符号化のヘッダデータを生成し、静止画像符号化データのファイルに書き込む（ステップＳ３）。また、動画像符号化のヘッダデータを生成する。その後、メモリ３０１上の透かし埋め込みソフトウェアによって静止画像符号化データのファイル名を透かしデータとして埋め込み、動画像符号化データのファイルに書き込む。さらに、カメラ３０６からの入力が終了したか否かを判定し（ステップＳ４）、終了していなければステップＳ５に、終了していればステップＳ１４に進む。
【０１０４】
ステップＳ５では、カメラ３０６から画像データを１フレーム分入力し、メモリ３０１の画像エリアに格納する。次に、メモリ３０１上の画像縮小ソフトウェアを用いて、画像エリアの入力フレームデータの画像を縮小し、画像エリアの別領域に格納する（ステップＳ６）。そして、動画像符号化ソフトウェアを用いて、画像エリアの縮小画像をＭＰＥＧ−４符号化方式で符号化し、符号化データをメモリ３０１上の符号エリアに格納する（ステップＳ７）。
【０１０５】
その後、画像エリアの縮小画像をＪＰＥＧ２０００符号化方式で符号化し、符号化データをメモリ３０１上の符号エリアに格納する（ステップＳ８）。さらに、符号エリアからＪＰＥＧ２０００符号化方式で符号化したデータを読み出し、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００のファイルを構成するのに必要なヘッダを付与して記憶装置３０５上にある静止画像符号化データのファイルの所定位置に書き込み、符号エリアのＪＰＥＧ２０００符号化データと、画像エリアの入力画像データの領域を開放する（ステップＳ９）。尚、この時のヘッダを付与したときの符号長をＬｃとする。
【０１０６】
次いで、符号長カウンタＬｓを表す透かしデータを生成する（ステップＳ１０）。ここでは３バイトの固定長で符号長カウンタＬｓを表すこととする。透かしデータを生成した後、符号エリアからＭＰＥＧ−４符号化方式で符号化した符号化データを読み出し、メモリ３０１上の透かし埋め込みソフトウェアを用いて、ＭＰＥＧ−４符号化データに透かしデータを埋め込んで符号エリアに格納する。格納し終わったら、元のＭＰＥＧ−４符号化データの領域は開放する（ステップＳ１１）。
【０１０７】
次いで、記憶装置３０５上にある動画像符号化データのファイルの所定位置に書き込み、符号エリアのＭＰＥＧ−４符号化データと、画像エリアの縮小画像データの領域を開放する（ステップＳ１２）。そして、符号長Ｌｃを符号長カウンタＬｓに加え（ステップＳ１３）、ステップＳ４に戻る。
【０１０８】
ここで、ステップＳ４において、カメラ３０６からの入力が終了し、全てのフレームの符号化が終了した場合は、ステップＳ１４に進む。ステップＳ１４では、静止画像符号化データファイル、動画像符号化ファイルをクローズし、全ての処理を終了する。
【０１０９】
上述したような一連の選択動作により、記録メディア上で静止画像のフレームの読み出しに必要な情報を生成し、関連する動画像のフレームの符号化データに透かしとして埋め込むことにより、復号時に静止画像のフレーム操作を容易に行えるようにすることが可能である。
【０１１０】
尚、本実施形態においては静止画像の符号化方式をＭｏｔｉｏｎ　ＪＰＥＧ２０００としたが他の符号化方式、例えば、ＪＰＥＧや、前述した第３の実施形態のようにＭＰＥＧ−４の上位の階層としての符号化でももちろんかまわない。また、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。
【０１１１】
さらに、本実施形態では、動画像ファイルに対応する静止画像ファイルのファイル名を透かしデータとして動画像符号化データに埋め込みを行ったが、これに限定されず、記録装置のファイル管理の機構等を用いて関連付けを行ってももちろんかまわない。
【０１１２】
＜第６の実施形態＞
本実施形態では、画像データの復号処理について説明する。尚、画像復号システムの構成は、第５の実施形態で説明した図５の画像符号化システムを復号処理に用いる。また、本実施形態でも動画像符号化方式をＭＰＥＧ−４符号化方式、静止画像符号化方式をＪＰＥＧ２０００符号化方式として説明するが、本発明の適用は特にこれに限定されることはない。そして、本実施形態では、第５の実施形態で生成され、記憶装置３０５に格納された符号化データの復号処理を例にとって説明する。
【０１１３】
図５に示されるシステム構成において、処理に先立って、端末３０３から記憶装置３０５に蓄積されている動画像符号化データから復号する符号化データを選択し、プログラムの起動が指示される。これによって記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【０１１４】
図９は、第６の実施形態に係る画像復号システムにおけるメモリ３０１のメモリの使用・格納状況を示す概要図である。図９に示すように、メモリ３０１には、装置全体を制御し各種ソフトウェアを動作させるためのＯＳ、静止画像を復号する静止画像復号ソフトウェア、動画像を復号する動画像復号ソフトウェア、画像を拡大する画像拡大ソフトウェア、透かしデータの抽出と解析を行う透かし抽出ソフトウェアが格納されている。
【０１１５】
また、メモリ３０１には、符号化の際に画像を格納する画像エリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。そして、このような構成において、処理に先立って符号化データが記憶装置３に入力される。
【０１１６】
次に、ＣＰＵ３００による動画像データの復号動作を説明する。図７は、第６の実施形態に係る動画像復号処理動作を説明するためのフローチャートである。まず、各部の初期化が行われ（ステップＳ１０１）、ステップＳ１０２に進む。ステップＳ１０２では、端末３０３で選択された動画像符号化データのファイルをオープンしてステップＳ１０３に進む。
【０１１７】
ステップＳ１０３では、動画像符号化データのヘッダデータを読み出し復号して復号に必要なパラメータを設定する。同時に、静止画像符号化データファイルのファイル名を透かしデータから抽出し、メモリ３０１上のワーキングエリアに格納してステップＳ１０４に進む。ステップＳ１０４では、動画像符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ１０５に、終了していればステップＳ１１４に進む。
【０１１８】
ステップＳ１０５では、記憶装置３０５から１フレーム分の符号化データを読み出し、メモリ３０１上の符号エリアに格納し、ステップＳ１０６に進む。ステップＳ１０６では、メモリ３０１上の透かし抽出ソフトウェアを用いてフレームの符号化データから透かしデータを抽出し、透かしデータを解析する。透かしデータから、符号長すなわち対応する静止画像の符号化データの先頭位置を抽出し、メモリ３０１上のワーキングエリアにデータが存在する場合は更新し、存在しない場合は格納して、ステップＳ１０７に進む。
【０１１９】
ステップＳ１０７では、メモリ３０１上の符号エリアに格納されている符号化データをメモリ３０１上の動画像復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、モニタ３０７に表示する。表示終了後にメモリ３０１上の画像データの領域を開放して、ステップＳ１０８に進む。
【０１２０】
ステップＳ１０８では、端末３０３からの静止画像印字の要求の有無を判定する。その結果、要求が無いと判定された場合はステップステップＳ１０４に戻り、次のフレームの処理を行う。一方、要求があると判定された場合はステップＳ１０９に進む。
【０１２１】
ステップＳ１０８で静止画像印字要求があったと判断された場合、ステップＳ１０９では、メモリ３０１上のワーキングエリアに格納された静止画像データファイル名のファイルをオープンして、ステップＳ１１０に進む。ステップＳ１１０では、メモリ３０１上のワーキングエリアに格納された符号長分符号化データを読み飛ばす、またはシークして、ステップＳ１１１に進む。ステップＳ１１１では、静止画像の符号化データを読み出し、メモリ３０１上の符号エリアに格納して、ステップＳ１１２に進む。
【０１２２】
ステップＳ１１２では、静止画像の符号化データをメモリ３０１上の静止画像復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、プリンタ３１０に送り印字する。印字終了後にメモリ３０１上の静止画像データの領域を開放してステップＳ１１３に進む。ステップＳ１１３では、静止画像データのファイルをクローズし、ステップＳ１０４に戻り、次のフレームの処理を行う。
【０１２３】
一方、ステップＳ１０４で復号が終了した場合、動画像符号化データのファイルをクローズし（ステップＳ１１４）、すべての処理を終了する。
【０１２４】
このような一連の選択動作によって、記録メディア上でも、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、復号時に静止画像のフレーム操作を容易に行えるようにすることが可能である。
【０１２５】
尚、本実施形態においては静止画像の符号化方式をＪＰＥＧ２０００としたが他の符号化方式、例えば、ＪＰＥＧや、第３の実施形態のようにＭＰＥＧ−４の上位の階層としての符号化であってももちろんかまわない。また、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。
【０１２６】
さらに、動画像ファイルに対応する静止画像ファイルのファイル名を透かしデータとして動画像符号化データに埋め込みを行ったが、これに限定されず、記録装置のファイル管理の機構等を用いて関連付けを行ってもよい。
【０１２７】
さらに、本実施形態においては透かしデータから、符号長すなわち対応する静止画像の符号化データの先頭位置をワーキングエリアにデータが存在する場合は更新したが、これを記憶しておくことで、端末３０３からのランダムサーチや逆転再生などにおいても簡単に静止画像呼び出すことが可能になる。
【０１２８】
＜他の実施形態＞
本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３２】
【発明の効果】
以上説明したように、本発明によれば、動画像を構成するフレームに対応する高品位な静止画像に関する情報を電子透かしによって動画像の符号化データ中に埋め込むことができ、他の符号化方式による符号化データとの互換性を保ったまま、低解像度の動画像から高解像度の静止画像の獲得を好適に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像復号システムの構成を示すブロック図である。
【図３】本発明の第３の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図４】本発明の第４の実施形態に係る画像復号システムの構成を示すブロック図である。
【図５】本発明の第５の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図６】第５の実施形態に係る画像符号化システムにおけるＣＰＵ３００で行われる符号化動作の手順を説明するためのフローチャートである。
【図７】第６の実施形態に係る動画像復号処理動作を説明するためのフローチャートである。
【図８】第５の実施形態におけるメモリ３０１のメモリの使用及び格納状況を説明するための概要図である。
【図９】第６の実施形態に係る画像復号システムに係る画像符号化システムにおけるメモリ３０１のメモリの使用・格納状況を示す概要図である。
【図１０】第１の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。
【図１１】第２の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。
【図１２】第３の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。
【図１３】第４の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。
【符号の説明】
１、５１、１０１、１５１　画像処理装置
２　カメラ
３　縮小器
４、１０３、１０４　動画像符号化器
５　符号メモリ
６　静止画像符号化器
７、１１、１０５　記憶装置制御器
８、５９、１０６　メモリ
９、１０７　透かし生成器
１０　透かし挿入器
１２、１３　記憶装置
１４、５３　通信インタフェース
１５、５４　通信回線
５２　端末
５５、１５５　制御器
５６　セレクタ
５７　透かし抽出器
５８、１５３　静止画像情報再生器
６０、１５２　動画像復号器
６１、１５４　静止画像復号器
６２　モニタ
６３　プリンタ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for acquiring a high-resolution still image from a moving image.
[0002]
[Prior art]
Generally, as an encoding method of a moving image, an encoding method such as Motion JPEG (Joint Photographic Coding Experts Group) or Digital Video, which is an intra-frame encoding method, or an H.264 encoding method using inter-frame prediction encoding is used. 261, H .; H.263, MPEG (Moving Picture Coding Experts Group) -1, MPEG-2, MPEG-4, etc. are known. These coding schemes are internationally standardized by ISO (International Organization for Standardization) and ITU (International Telecommunication Union). The JPEG-2000 encoding system, which is a new still image encoding system, a moving image encoding system using the same, and the H.264 moving image encoding system with a lower bit rate. H.264 is also being standardized.
[0003]
On the other hand, the spread of personal computers to homes and the development of communication infrastructure have been progressing, and the distribution of information via the Internet has been flourishing. For this reason, the MPEG-4 coding scheme has been receiving attention in order to use moving images on the Internet. In the MPEG-4 system, transmission at a low bit rate and transmission according to line conditions such as scalability can be performed.
[0004]
With the widespread use of the digital encoding standards as described above, the content industry, such as video and music, has strongly raised the problem of copyright protection. In response to this, standardization regarding content protection has been advanced, and in the MPEG-4 encoding method, a method of describing security information in a file system using IPMP OD and restricting reproduction by the security information has been standardized. Digital watermark technology has been developed for security-related information and encryption. The digital watermarking technique is a technique for embedding data related to copyright or the like at a level where data does not change during data reproduction or a change cannot be perceived.
[0005]
As techniques for embedding a digital watermark in video data, Japanese Patent Application Laid-Open No. H10-243398, entitled “Recording Medium and Video Encoding Apparatus Recording Moving Image Encoding Program” and Japanese Patent Application Laid-Open No. H11-341450, Extraction device "and the like. Similarly, with respect to audio data, Japanese Patent Application Laid-Open No. 2001-202089 discloses a method of embedding watermark information in audio data, a watermark information embedding device, a watermark information detecting device, a recording medium in which watermark information is embedded, and a method of embedding watermark information. There is disclosed a technique for embedding a digital watermark in a “recording medium on which a digital watermark is recorded” or in “Digital watermark embedding device, audio encoding device and recording medium” in JP-A-11-316599.
[0006]
A technique for obtaining a high-definition still image from a moving image has also been disclosed. For example, Japanese Patent Application Laid-Open No. 8-23595 discloses a technique for obtaining a still image with small shake based on a motion vector.
[0007]
[Problems to be solved by the invention]
However, when a still image is displayed in a moving image at a low bit rate such as the MPEG-4 encoding method, there arises a problem that the image size is small and a problem that printing quality cannot be tolerated due to large deterioration. . With such a low bit rate moving image, a high-definition still image cannot be created by the method described above.
[0008]
For example, in a simple profile of the MPEG-4 encoding method, an image having a size such as CIF is typical, and the image is very small. Therefore, it is possible to use a scalability code related to the spatial resolution.However, in order to recall the still image data of the corresponding frame, it is necessary to decode from the beginning to the target frame, which takes time for reproduction and is complicated. Processing is required. Also, a method for separately multiplexing still images as described in “Digital image information multiplexing transmission method, transmitting apparatus and receiving apparatus” in JP-A-9-9214, and “Image image multiplexing transmission method and transmitting apparatus” in JP-A-8-214314. Although there is a method of inserting coded data in a frame, as in the case of a "transmission device", these methods increase the code amount and make transmission at a low bit rate difficult.
[0009]
On the other hand, in order to call still image data in another area or location, it may be possible to solve the problem by adding the position or the like to a file format or encoded data. Depending on the code, additional information can be described in user_data in MPEG-2 in a data area in which arbitrary data is written, for example, in each frame. However, in MPEG-4, there is no similar area in a frame unit. For this reason, it is necessary to insert a unique code, and the compatibility is impaired.
[0010]
The present invention has been made in consideration of such circumstances, and information about a high-quality still image corresponding to a frame constituting a moving image can be embedded in encoded data of the moving image by a digital watermark. To provide an image processing apparatus and an image processing method capable of appropriately acquiring a high-resolution still image from a low-resolution moving image while maintaining compatibility with encoded data of another encoding method. With the goal.
[0011]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, an image processing apparatus according to the present invention comprises: an input unit configured to continuously input a still image; a first encoding unit configured to encode the still image; A still image storage unit that stores an image, a watermark generation unit that generates information about the still image as watermark information, a conversion unit that converts the continuously input still image into a moving image having a predetermined resolution, and the moving image A second encoding unit that encodes an image, an embedding unit that embeds the watermark information in the encoded moving image with a digital watermark, and a moving image that stores the moving image in which the watermark information is embedded. Image storage means.
[0012]
Further, the image processing apparatus according to the present invention includes an input unit that inputs a moving image, a first encoding unit that hierarchically encodes the moving image, and a first storage that stores the encoded moving image. Means, watermark generation means for generating information about still images constituting the moving image as watermark information, conversion means for converting the moving image to a predetermined resolution, and encoding the moving image with the converted resolution. (2) encoding means, embedding means for embedding the watermark information with an electronic watermark in the encoded moving image, and second storage means for storing the moving image in which the watermark information is embedded. It is characterized by having.
[0013]
Further, the image processing apparatus according to the present invention is characterized in that the first encoding means encodes the still image according to a JPEG encoding method.
[0014]
Still further, in the image processing apparatus according to the present invention, the first encoding unit encodes the moving image in accordance with an MPEG-4 encoding method.
[0015]
Still further, in the image processing apparatus according to the present invention, the second encoding unit encodes the moving image in accordance with an MPEG-4 encoding method.
[0016]
Still further, in the image processing apparatus according to the present invention, the information on the still image is information indicating a storage location of the still image.
[0017]
Still further, the image processing apparatus according to the present invention includes a storage unit for storing a high-quality still image, an input unit for inputting an encoded moving image in which information about the still image is embedded as watermark information, Watermark extraction means for extracting the watermark information from a predetermined frame of a moving image, still image acquisition means for acquiring the high-quality still image based on the watermark information, and still image output for outputting the acquired still image Means.
[0018]
Still further, the image processing apparatus according to the present invention includes a storage unit for storing a high-quality still image, an input unit for inputting an encoded moving image in which information about the still image is embedded as watermark information, Watermark extraction means for extracting the watermark information from a predetermined frame of a moving image, still image acquisition means for acquiring the high-quality still image based on the watermark information, and still image output for outputting the acquired still image Means.
[0019]
Still further, the image processing apparatus according to the present invention further includes an instruction unit that indicates the predetermined frame from the frame of the moving image, and the watermark extraction unit extracts watermark information embedded in the specified frame. It is characterized by the following.
[0020]
Still further, the image processing apparatus according to the present invention is connected via a network to storage means for storing the still image, and the information on the still image is information indicating a location where the still image is stored. There is a feature.
[0021]
Still further, in the image processing apparatus according to the present invention, the information on the still image is represented by a URL.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[0023]
<First embodiment>
FIG. 1 is a block diagram illustrating a configuration of an image encoding system according to the first embodiment of the present invention. As shown in FIG. 1, the image encoding system according to the present embodiment includes an image processing apparatus 1, a camera 2, storage devices 12 and 13, and a communication interface (I / F) 14 connected thereto. The camera 2 continuously inputs images to the image processing apparatus 1 in frame units. The storage device 12 stores the still image encoded data processed by the image processing device 1. The storage device 13 stores the encoded data in which the watermark data is embedded. The communication interface 14 is an interface for exchanging data with another device (not shown) via the communication line 15.
[0024]
As shown in FIG. 1, the image processing apparatus 1 further includes a plurality of devices. The reducer 3 reduces the image input by the camera 2 in frame units. The moving image encoder 4 encodes the image reduced by the reducer 3 on a frame basis using a moving image encoding method. In this embodiment, the encoding method of the moving picture encoder 4 will be described by taking an MPEG-4 encoding method as an example, but the application of the present invention is not limited to this method. Further, the code memory 5 stores coded data obtained as a result of coding by the moving picture coder 4 on a frame basis.
[0025]
On the other hand, the still image encoder 6 encodes a still image input by the camera 2. In the present embodiment, the encoding method of the still image encoder 6 will be described using a JPEG encoding method as an example, but the application of the present invention is not limited to this method. The storage device 12 stores the encoded still image data. At this time, the storage device controller 7 controls the storage device 12 and performs file management and the like.
[0026]
Further, the memory 8 stores data for identifying the image encoding system. Then, the watermark generator 9 generates watermark data from the output of the storage device controller 7 and the memory 8. The watermark inserter 10 embeds watermark data into encoded data. Note that the storage device 13 records the generated encoded data. Then, the storage device controller 11 controls the storage device 13 and performs file management and the like.
[0027]
Next, details of the operation of each unit in the moving image data encoding process in the image encoding system according to the present embodiment configured as described above will be described.
[0028]
Prior to the encoding process, first, each unit of the present image encoding system is initialized. That is, the code memory 5 is cleared to 0. The communication interface 14 establishes communication with the receiving side via the communication line 15. The storage controller 7 secures an empty area of the storage 12 and sets a file name. Further, the storage device controller 11 secures an empty area of the storage device 13 and sets a file name.
[0029]
Next, the image data picked up by the camera 2 is input to the reducer 3 and the still image encoder 6 on a frame-by-frame basis. The reducer 3 reduces the image at a predetermined reduction ratio, and outputs the reduced image to the moving image encoder 4. In the moving picture encoder 4, each frame is encoded by the MPEG-4 encoding method and stored in the code memory 5.
[0030]
At the same time, the image data input to the still image encoder 6 is encoded by the JPEG encoding method, and the encoded data is output to the storage device controller 7. The storage device controller 7 sets a file name for an empty area of the storage device 12 and accumulates still image data. The file name is input to the watermark generator 9.
[0031]
On the other hand, the memory 8 stores information that can be recognized by the apparatus on a network. Although the URL is stored in the present embodiment, the application of the present invention is not limited to this. Further, the watermark generator 9 reads the URL from the memory 8 and counts the number C of the characters. Then, the number of characters C of the URL is represented by 8 bits, followed by the character string of the URL. Further, the length F of the file name named by the storage controller 7 is counted, and the character strings are connected. That is, watermark data of (C + F + 1) bytes is generated. The generated watermark data is input to the watermark inserter 10.
[0032]
The watermark inserter 10 embeds the watermark data generated by the watermark generator 9 in the encoded data read from the code memory 5. As a method of embedding, for example, watermark data may be used by a method of intentionally changing encoded data according to watermark data according to watermark data by increasing or decreasing the highest frequency coefficient of each block within a range of ± 1. That is, if one bit of the data to be embedded is 0, the last coefficient is an even number, and if 1 is 1, the last coefficient is an odd number. The code before the EOB of the macro block to be embedded is read out and changed if necessary.
[0033]
For example, if the value of the embedded code is 0 when the 0 run length is 8 and the value is 3 in the immediately preceding code, the code is replaced with a code having a run length of 8 and a value of 4. In the actual code, “111111111110110110” is replaced with “111111111110110111”. If the value is 1, do nothing. It should be noted that the application of the present invention is not limited to this, and an existing method such as the method described in “Moving picture digital watermarking system” in JP-A-11-341452 may be used.
[0034]
The encoded data in which the watermark data is embedded in the watermark inserter 10 is sent to the communication line 15 via the storage controller 11 and the communication interface 14. At the same time, it is also possible to store the data in a predetermined position of the storage device 13.
[0035]
That is, in the present embodiment, still images are continuously input from the camera 2. Then, the image processing device 1 encodes the still image input by the still image encoder 6 and stores the encoded still image in the storage device 12. Further, the information about the still image is generated by the watermark generator 9 as watermark information. On the other hand, the continuously input still images are converted into moving images of a predetermined resolution by the reducer 3, and the moving images are encoded by the moving image encoder 4. Then, the watermark inserter 10 embeds watermark information into the encoded moving image by using a digital watermark. Further, in the image processing device 1, the moving image in which the watermark information is embedded is stored in the storage device 13.
[0036]
Next, an operation of outputting still image data when still image encoded data is requested from the receiving side via the communication interface 14 will be described.
[0037]
On the receiving side, the communication interface 14 is searched from the URL via the communication line 15, and the still image encoded data is requested. The communication interface 14 inputs the file name described in the URL to the storage controller 7. The storage device controller 7 reads out the corresponding file on the storage device 12 and transmits the file to the requesting receiving side via the communication interface 14 and the communication line 15.
[0038]
The simple flow of processing up to storage and transmission of encoded data is described above with reference to FIG. FIG. 10 is a flowchart illustrating a moving image encoding process in the image encoding system according to the first embodiment. In addition, the main part of the operation described below is each unit of the above-described image encoding system.
[0039]
First, the apparatus is initialized (step S201), and the end of the process is determined (step S202). Then, it is determined whether or not there is a request for a still image from the communication interface 14 (step S203). If there is no request, the process proceeds to step S204, and if there is, the process proceeds to step S211.
[0040]
In step S204, the input image data is encoded by the JPEG encoding method. Next, information such as a URL and a file name is generated (step S205). Further, the still image encoded data is stored in the file having the file name in the storage device 12 (step S206). Further, the input frame data is reduced and encoded by the MPEG-4 encoding method (step S207). Furthermore, watermark data is generated from the URL and the file name (step S208). Then, the watermark data is embedded in the MPEG-4 encoded data (step S209), and the MPEG-4 encoded data is transmitted via the communication interface 14 or stored in the storage device 13 (step S210).
[0041]
On the other hand, if it is determined in step S203 that there is a request for still image encoded data, the file name following the URL is read, and the encoded data of the corresponding file is read from the storage device 12 (step S211). Further, the requested encoded still image data is transmitted to the receiving side via the communication interface 14 and the communication line 15 (step S212). Thereafter, the process of step S204 described above is performed.
[0042]
By embedding information relating to the still image data of each frame of the moving image with a digital watermark by a series of selection operations as described above, transmission / reception of encoded data corresponding to when still image data is needed on the decoding side is performed. It can be easily performed. In addition, even when these are sent to a receiver that cannot interpret them to embed them as digital watermarks, decoding can be performed without any problem, and compatibility is ensured. At the same time, the code length does not increase with the addition of this information.
[0043]
Further, even with an encoding system such as the MPEG-4 encoding system in which arbitrary data cannot be inserted in each frame, encoding with added information becomes possible. Further, since the storage location of the data is searched by the URL, for example, even if the still image and the moving image are on different computers or servers, they can be correctly reproduced.
[0044]
In the present embodiment, processing is performed using the MPEG-4 encoding method for moving images, but other encoding methods, for example, H.264. 261, MPEG-1, MPEG-2, and Motion JPEG. Further, the encoding method of the still image is also the JPEG encoding method, but is not limited to this, and may be a JPEG-2000 encoding method or another encoding method. Further, each part or all functions of the present embodiment may be described by an arithmetic program for performing software processing, and may be processed by a CPU or the like.
[0045]
In the present embodiment, when a request for a still image is made, the still image and the moving image are encoded after transmitting the requested still image encoded data. Of course it doesn't matter.
[0046]
<Second embodiment>
FIG. 2 is a block diagram illustrating a configuration of the image decoding system according to the second embodiment of the present invention. In the present embodiment, as in the first embodiment described above, the JPEG encoding method will be described as an example of a still image encoding method, and the MPEG-4 encoding method will be described as an example of a moving image encoding method. However, the present invention is not limited to this. Not something.
[0047]
As shown in FIG. 2, the image decoding system according to the present embodiment includes an image processing device 51, a terminal 52 connected thereto, a communication interface 53, a monitor 62, and a printer 63. The terminal 52 is an input device for a user (not shown) to instruct the image processing device 51 and the like, set various conditions, reproduce, print a still image, and the like. The communication interface 53 is an interface for exchanging data with another device or the like via the communication line 54. It is assumed that the image coding system according to the first embodiment is connected to the communication line 54. The monitor 62 displays the image data decoded and reproduced by the image processing device 51. Further, the printer 63 prints out the reproduced image data decoded by the image processing device 51.
[0048]
As shown in FIG. 2, the image processing device 51 further includes a plurality of devices. In the image processing apparatus 51, reference numeral 55 denotes a controller that controls each unit based on an instruction from the terminal 52 and information on each unit. Reference numeral 56 denotes a selector for switching an output destination based on an instruction from the controller 55. Reference numeral 57 denotes a watermark extractor for extracting watermark data from encoded data. Reference numeral 58 denotes a still image information reproducer that reproduces information about a still image from the extracted watermark data. Reference numeral 59 denotes a memory that stores information on a reproduced still image in frame units. Reference numeral 60 denotes a moving image decoder that decodes a moving image in a frame unit using the MPEG-4 encoding method. Reference numeral 61 denotes a still image decoder that decodes a still image by the JPEG encoding method.
[0049]
Next, the operation of each unit in the decoding processing of the moving image data in the image decoding system according to the second embodiment configured as described above will be described in detail.
[0050]
In the second embodiment, as in the first embodiment, each unit is initialized prior to the operation. The image data received from the terminal 52 is selected and connected. Then, after the connection, the received encoded moving image data is received. The selector 56 sets the output destination as the watermark extractor 57.
[0051]
The encoded data received via the communication interface 53 is input to the image processing device 51 in frame units, and is input to the selector 56. The selector 56 inputs the input encoded data to the watermark extractor 57. The watermark extractor 57 extracts (C + F + 1) bytes of watermark data according to the reverse procedure of the watermark inserter 10 in the image processing apparatus 1 of the first embodiment shown in FIG. The encoded data that has been extracted as the watermark data is directly input to the video decoder 60, decoded, reproduced, and displayed on the monitor 62.
[0052]
Further, the still image information reproducer 58 reproduces the URL of the device having the encoded still image data and the corresponding file name from the (C + F) byte data, and stores the reproduced URL in the memory 59. The controller 55 continues to receive the encoded data from the communication interface 53 if there is no instruction from the terminal 52 for the temporary stop and the still image printing. As a result, the encoded data is continuously read, and the moving image is reproduced on the monitor 62.
[0053]
When an instruction to print a still image is input from the terminal 52, the controller 55 reads out the URL and the file name from the memory 59, transmits the URL via the communication interface 53, and searches for a corresponding image encoding system. If a corresponding image coding system is found, it connects to this and sends the file name. Then, it waits for the encoded data to be transmitted.
[0054]
After the encoded data of the still image is transmitted, the controller 55 sets the output destination of the still image decoder 61 to the selector 56 and inputs the input JPEG encoded data to the still image decoder 61. The input JPEG encoded data decodes a high-definition still image and prints it with the printer 63. At this time, the corresponding image data is displayed on the monitor 62 in a temporarily stopped state.
[0055]
That is, an encoded moving image in which information on a high-quality still image stored in a predetermined storage device is embedded as watermark information is input to the image processing device 51 according to the present embodiment. Then, the watermark extractor 57 extracts watermark information from a predetermined frame of the encoded moving image. Further, the still image decoder 61 acquires a high-quality still image based on the watermark information reproduced by the still image information reproducer 58. The acquired still image is output from the printer 63.
[0056]
A simple flow up to the decoding of the encoded data will be described with reference to FIG. FIG. 11 is a flowchart for explaining an image decoding processing procedure in the image decoding system according to the second embodiment. It should be noted that the main part of the operation described below is each unit of the above-described image decoding system.
[0057]
First, the apparatus is initialized, and a communication line is connected (step S301). Then, it is determined whether the decryption process is completed (step S302). As a result, when it is determined that the decryption process has been completed, the process is terminated. On the other hand, if it is determined that the decoding process has not been completed, one frame of encoded data is read via the communication interface 53 (step S303). Further, watermark data is extracted from the encoded data (step S304), and it is determined whether there is a request from the terminal 52 to temporarily stop or print a still image (step S305).
[0058]
As a result, when it is determined that there is no request, the process proceeds to step S306, and when it is determined that there is a request, the process proceeds to step S307. In step S306, decoding is performed using the MPEG-4 encoding method, and a reproduced image is displayed on the monitor 62. On the other hand, if there is a request in step S305, the file name is transmitted from the communication interface 53 via the URL (step S307). Further, the still image encoded data is received (step S308). Further, the received still image encoded data is decoded according to the JPEG encoding method and printed by the printer 63 (step S309). After the processing in step S306 and step S309, the process proceeds to step S302.
[0059]
By interpreting information about the still image data of each frame of the moving image embedded by the watermark by such a series of selection operations, it is easy to specify a location of the still image data, and when it becomes necessary, It is possible to easily transmit and receive the corresponding encoded data. Also, there is no increase in code length due to the addition of this information.
[0060]
In addition, information can be easily obtained even in an encoding system in which arbitrary data cannot be inserted in each frame as in the MPEG-4 encoding system. Since the storage location of the data is searched by the URL, for example, even if the still image and the moving image are on different computers or servers, they can be correctly reproduced. In addition, each part or all functions of the present embodiment may be described by software, and may be processed by an arithmetic device such as a CPU.
[0061]
In the present embodiment, the MPEG-4 encoding method for moving images is used, but other encoding methods, for example, H.264. 261, H .; 263; H.264, MPEG-1, MPEG-2, and Motion JPEG. Further, the encoding method of the still image is also the JPEG encoding method, but is not limited thereto, and may be a JPEG-2000 encoding method or another encoding method.
[0062]
<Third embodiment>
FIG. 3 is a block diagram illustrating a configuration of an image encoding system according to the third embodiment of the present invention. Note that the same components as those of the image encoding system shown in FIG. 1 according to the first embodiment described above are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0063]
In FIG. 3, reference numeral 101 is a block diagram of an image processing apparatus according to a third embodiment of the present invention. A frame memory 102 stores image data in frame units. A moving image encoder 103 encodes a moving image while embedding a digital watermark. In the present embodiment, an MPEG-4 encoding method will be described as an example, and embedding of a digital watermark will be described using a method as described in Japanese Patent Laid-Open No. Hei 10-243398. However, the encoding method and the digital watermark embedding method are not limited to these.
[0064]
Reference numeral 104 denotes a moving image encoder which performs hierarchical encoding. Here, the description will be made on the assumption that the enhancement layer coding of the MPEG-4 coding method is performed. A storage device controller 105 controls the storage device 12 and performs file management and the like. Reference numeral 106 denotes a memory that stores data for identifying the image encoding system. Here, it is assumed that the IP address of this system on the network is stored. Reference numeral 107 denotes a watermark generator that generates watermark data from the output of the moving image encoder 104, the storage controller 105, and the memory 106. The generated watermark data is embedded in the moving image encoder 103.
[0065]
Next, the operation of each unit in the processing operation of moving image data in the image decoding system configured as described above will be described in detail.
[0066]
In the third embodiment, as in the first embodiment, each unit is initialized prior to the operation. The communication interface 14 establishes communication with the receiving side via the communication line 15. The storage controller 11 secures a free area of the storage 13 and sets a file name. The storage device controller 105 secures an empty area of the storage device 12, sets a file name, and the file name is input to the watermark generator 107. The output code length counter E, which is a parameter of the video encoder 104, is reset to zero.
[0067]
Further, the moving image encoder 104 generates a header of the MPEG-4 encoding method and stores the header in a predetermined area of the storage device 12. Further, the moving image encoder 103 describes the file name in user_data to generate a header of the MPEG-4 encoding method, and transmits the header to the communication line 15 via the communication interface 14. Further, the generated code length is added to the output code length counter E.
[0068]
Image data captured by the camera 2 is stored in the frame memory 102 in frame units. The image data in the frame memory 102 is input to the reducer 3 and the moving image encoder 104. The reducer 3 reduces the image and inputs the reduced image to the video encoder 103. The moving image encoder 103 generates encoded data of the base layer by the MPEG-4 encoding method, embeds watermark data described later, and stores the result in the code memory 5. Further, the moving image encoder 103 inputs a locally decoded image used for encoding to the moving image encoder 104.
[0069]
The moving image encoder 104 generates a reference image of image data read from the frame memory 102 by enlarging the locally decoded image of the moving image encoder 103, performs prediction, and generates encoded data of the enhancement layer. And input it to the storage controller 105. The storage device controller 105 stores the encoded data in a predetermined area of the storage device 12. Further, the generated code length is added to the output code length counter E and input to the watermark generator 107.
[0070]
The memory 106 stores information that can be recognized on the network by the apparatus. Here, it is assumed that the IP address of the system is stored, but the present invention is not limited to this. The memory watermark generator 107 reads the IP address from the memory 106. Here, the IP address is a 4-byte address. The length F of the file name named by the storage controller 105 is counted. The length of the watermark data is represented by 1 byte. The output code length counter E is represented by 3 bytes. Therefore, the length of the watermark data is (F + 8). The length of the watermark data, the output code length counter E, and the character string of the IP address are connected from the beginning of the watermark data. Further, a character string of a file name named by the storage device controller 105 is connected. In this way, (F + 8) -byte watermark data is generated. The generated watermark data is input to the moving image encoder 103 and embedded in the encoded data.
[0071]
The coded data thus generated is stored in the code memory 5, transmitted to the communication line 15 via the communication interface 14 via the storage device controller 11, and stored in the storage device 13.
[0072]
On the other hand, the operation of outputting still image data when still image encoded data is requested from the receiving side via the communication interface 14 will be described below. The receiving side accesses the communication interface 14 from the communication line 15 from the IP address from the IP address, and requests encoded still image data. The communication interface 14 inputs the transmitted file name and code length E to the storage controller 105. The storage controller 105 reads the corresponding file on the storage 12, skips the code length E from the beginning of the file, and requests the coded data read therefrom via the communication interface 14 and the communication line 15. Send to receiver.
[0073]
That is, in the present embodiment, a moving image is input from the camera 2. Then, the image processing apparatus 101 hierarchically encodes the moving image by the moving image encoder 104 and stores the encoded moving image in the storage device 12. In addition, the watermark generator 107 generates information about a still image constituting a moving image as watermark information. On the other hand, the moving picture is converted to a predetermined resolution by the reducer 3, and the moving picture whose resolution has been converted is encoded by the moving picture encoder 103. In addition, the moving image encoder 103 embeds watermark information in the encoded moving image by using a digital watermark. Then, the image processing apparatus 101 stores the moving image in which the watermark information is embedded in the storage device 13.
[0074]
A simple flow of the above-described processing up to the accumulation and transmission of encoded data will be described with reference to FIG. FIG. 12 is a flowchart illustrating a moving image encoding process in the image encoding system according to the third embodiment. In addition, the main part of the operation described below is each unit of the above-described image encoding system.
[0075]
First, the apparatus is initialized (step S401). That is, the file name of the encoded data of the enhancement layer is determined and the file is opened, and at the same time, the header data is generated and stored. Next, the end of the process is determined (step S402). As a result, if it is determined that the encoding process has ended, the process ends. On the other hand, if it is determined that the encoding process has not been completed, it is determined whether or not there is a request for a still image from the communication interface 14 (step S403). As a result, if there is no request, the process proceeds to step S406, and if there is a request, the process proceeds to step S404.
[0076]
In step S406, frame data is input from the camera 2. Then, watermark data is generated from the code length of the enhancement layer, the IP address, and the file name (step S407). In addition, the frame data is reduced to perform base layer coding according to the MPEG-4 coding method, and at the same time, watermark data is embedded (step S408). Then, the frame data is encoded using the locally decoded image of the base layer encoding as a reference image (step S409). Further, the generated encoded data of the enhancement layer is stored (step S410). Then, the encoded data of the base layer is transmitted (step S411).
Then, the process proceeds to step S402 described above.
[0077]
On the other hand, if there is a request for a still image in step S403, the head position of the data to be read is obtained from the storage device 12 based on the file name and the code length, and the (enhancement layer) encoded data is read (step S404). Then, the read encoded data is transmitted (step S405), and the process proceeds to the above-described step S406.
[0078]
Through such a series of selection operations, information about the still image data of each frame of the moving image is encoded and embedded as a watermark, so that when the still image data becomes necessary on the decoding side, transmission and reception of the corresponding coded data is performed. Can be easily performed. Furthermore, since it becomes possible to send and reproduce a prediction error from a moving image to which a still image has been sent, encoding efficiency can be improved as compared with a case where another still image coding is used. Also, since they are embedded as watermarks, even if they are sent to a receiver that cannot interpret them, they can be decoded without any problem and compatibility is ensured. At the same time, the code length does not increase with the addition of this information.
[0079]
Further, even with an encoding system such as the MPEG-4 encoding system in which arbitrary data cannot be inserted in each frame, encoding with added information becomes possible. Since the data storage location is searched by the IP address, for example, even when the still image and the moving image are on different computers or servers, it can be reproduced accurately and with low delay.
[0080]
In the present embodiment, the MPEG-4 encoding method for moving images is used, but other encoding methods, for example, H.264. 261, H .; 263; H.264, MPEG-1, MPEG-2, and Motion JPEG may of course be used. Further, the encoding method of the still image is the MPEG-4 encoding method, but is not limited to this, and may be a JPEG-2000 encoding method or another encoding method. Further, each part or all the functions of the present embodiment may be described by software and processed by an arithmetic program such as a CPU. Further, the storage device 13 and the storage device controller 11 may be omitted if the image coding system does not record the coded data.
[0081]
<Fourth embodiment>
FIG. 4 is a block diagram illustrating a configuration of an image decoding system according to the fourth embodiment of the present invention. Also in the present embodiment, an MPEG-4 encoding method will be described as an example of a moving image encoding method, but the present invention is not limited to this. Note that the same components as those in the system of FIG. 2 in the above-described second embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0082]
In FIG. 4, reference numeral 151 denotes an image processing apparatus according to a fourth embodiment of the present invention. Reference numeral 152 denotes a moving image decoder that decodes the encoded data of the base layer of the MPEG-4 encoding method on a frame basis and extracts watermark data from the decoded data. Reference numeral 153 denotes a still image information reproducer that reproduces information related to a still image which has been subjected to enhancement layer coding from the extracted watermark data. Reference numeral 154 denotes a still image decoder that decodes the encoded data of the enhancement layer to generate a still image for printing. Reference numeral 155 denotes a controller that controls each unit based on an instruction from the terminal 52 and information on each unit.
[0083]
Next, the operation of each unit in the decoding operation of moving image data in the image decoding system configured as described above will be described in detail.
[0084]
In the fourth embodiment, as in the second embodiment, each unit is initialized prior to the operation. That is, the image data received from the terminal 52 is selected and connected. After the connection, the received encoded moving image data is received. The selector 56 sets the output destination to the video decoder 152.
[0085]
The received encoded data is input to the image processing device 151 in frame units, and is input to the selector 56. The selector 56 inputs the input encoded data to the video decoder 152. The video decoder 152 reproduces the base layer frame data while extracting (F + 8) bytes of watermark data according to the reverse procedure of the video encoder 103 in FIG. 3 of the third embodiment. The obtained watermark data is input to the still image information reproducer 153, and the frame data of the decoded image is displayed on the monitor 62.
[0086]
The still image information reproducer 153 reproduces the IP address of the apparatus having the encoded still image data, the corresponding file name, and the output code length counter E from the (F + 8) -byte data, and stores them in the memory 59. The controller 155 continues to receive the encoded data from the communication interface 53 if there is no instruction from the terminal 52 for the temporary stop and still image printing. As a result, the encoded data is continuously received, and the moving image is reproduced on the monitor 62.
[0087]
When an instruction to print a still image is input, the controller 155 reads the IP address, the file name, and the output code length counter E from the memory 59, transmits the IP address via the communication interface 53, and sends the corresponding image code. Connect the optimization system. After the connection, the file name and the output code length counter E are sent. Wait for the encoded data to be transmitted.
[0088]
After the encoded data of the still image is transmitted, the controller 155 sets the output destination to the still image decoder 154 to the selector 56 and converts the input encoded data of the enhancement layer of the MPEG-4 encoding method into a still image. Input to the decoder 154. The input enhancement layer coded data enlarges the decoded image of the moving image decoder 152, reproduces a prediction error from the decoded result, reproduces a high-definition still image, and prints it with the printer 63. Subsequently, the output destination of the selector 56 is the moving image decoder 152, and the input encoded data of the base layer of the MPEG-4 encoding method is input to the moving image decoder 152. The corresponding image data is displayed on the monitor 62.
[0089]
A simple flow up to the decoding of the encoded data will be described with reference to FIG. FIG. 13 is a flowchart for explaining an image decoding processing procedure in the image decoding system according to the fourth embodiment. It should be noted that the main part of the operation described below is each unit of the above-described image decoding system.
[0090]
First, the device is initialized, and a communication line is connected (step S501). Next, the end of the process is determined (step S502). As a result, when it is determined that the decryption process has been completed, the process is terminated. On the other hand, if it is determined that the decoding process has not been completed, one frame of encoded data is received via the communication interface 53 in step S503. Then, watermark data is extracted while decoding the encoded data (step S504). Further, it is determined whether there is a request from the terminal 52 to temporarily stop or print a still image (step S505). As a result, if there is no request, the process proceeds to step S506, and if there is a request, the process proceeds to step S507.
[0091]
In step S506, the reproduced image obtained by decoding is displayed on the monitor 62. Then, the process returns to step S502.
[0092]
On the other hand, when the request is made in step S505, the file name and the output code length F are transmitted from the communication interface 53 via the IP address (step S507). Next, the encoded still image data is received (step S508), and the still image is decoded from the image obtained by decoding the image data of the base layer and the encoded data and printed by the printer 63 (step S509). After that, the process of step S506 described above is performed.
[0093]
By interpreting information about the still image data of each frame of the moving image embedded by the watermark by such a series of selection operations, it is easy to specify a location of the still image data, and when it becomes necessary, It is possible to easily transmit and receive the corresponding coded data. The code length does not increase with the addition of this information.
[0094]
In addition, information can be easily obtained even in an encoding system in which arbitrary data cannot be inserted in each frame as in the MPEG-4 encoding system. Since the storage location of the data is searched by the IP address, for example, even if the still image and the moving image are on different computers or servers, they can be correctly reproduced.
[0095]
It is needless to say that each part or all functions of the present embodiment may be described by software and processed by an arithmetic device such as a CPU. Note that, in the present embodiment, the MPEG-4 encoding method for moving images is used, but other encoding methods, such as H.264. 261, H .; 263; H.264, MPEG-1, MPEG-2, and Motion JPEG may of course be used. Further, the encoding method of the still image uses the enhancement layer encoding of the MPEG-4 encoding method. However, the encoding method is not limited to this, and may be a JPEG-2000 encoding method or another encoding method. .
[0096]
<Fifth embodiment>
FIG. 5 is a block diagram illustrating a configuration of an image encoding system according to the fifth embodiment of the present invention. In FIG. 5, reference numeral 300 denotes a central processing unit (CPU) that controls the entire apparatus and performs various processes; 301, an operating system (OS) required for controlling the apparatus, software, and a memory that provides a storage area required for operations. It is.
[0097]
A bus 302 connects various devices and exchanges data and control signals. Reference numeral 303 denotes a terminal for starting a program, setting various conditions, and instructing reproduction. Reference numeral 304 denotes a storage device that stores software. A storage device 305 stores image data, and a camera 306 captures an image. The storage devices 304 and 305 can be configured by portable media that can be moved separately from the present system. Reference numeral 307 denotes a monitor for displaying an image, and reference numeral 308 denotes a communication circuit, which includes a LAN, a public line, a wireless line, a broadcast wave, and the like. Reference numeral 309 denotes a communication interface for transmitting and receiving image data via the communication circuit 308, and reference numeral 310 denotes a printer for printing an image.
[0098]
In the present embodiment, the memory 301 controls the entire apparatus, stores an OS for operating various software and software to operate, stores an image area for storing image data, a code area for storing generated encoded data, There is a working area for storing parameters such as various arithmetic operations and encoding modes for encoding and the code length of each frame.
[0099]
Next, encoding processing of moving image data in such a configuration will be described. First, prior to the process, the terminal 303 instructs the entire apparatus to start up, and each unit is initialized. As a result, the software stored in the storage device 304 is expanded in the memory 301 via the bus 302, and the software is activated.
[0100]
FIG. 8 is a schematic diagram for explaining the use and storage status of the memory of the memory 301 according to the fifth embodiment. As shown in FIG. 8, an OS for controlling the entire apparatus and operating various software, moving image encoding software for encoding moving images, and a still image for encoding each frame as a still image are stored in the memory 301. Encoding software, image reduction software for reducing an image, and watermark embedding software for generating and embedding watermark data are stored. In this embodiment, the moving image encoding software is software that encodes according to the MPEG-4 encoding method, and the still image encoding software is software that encodes according to the JPEG2000 encoding method and generates a file as Motion JPEG2000. It will be described, but not limited to these.
[0101]
Next, the encoding operation of moving image data in the CPU 300 will be described. FIG. 6 is a flowchart for explaining a procedure of an encoding operation performed by the CPU 300 in the image encoding system according to the fifth embodiment.
[0102]
First, initialization is performed, and a counter Ls for counting the code length of the still image coding result is also reset to 0 (step S1). Next, a free area on the storage device 305 for storing the encoded video data is secured, a file name is set, and the file is opened (step S2). At the same time, a free area on the storage device 305 for storing Motion JPEG encoded data, which is still image encoded data, is secured, a file name is set, and the file is opened.
[0103]
Next, header data for still image coding is generated and written in a still image coded data file (step S3). Also, header data for video encoding is generated. After that, the file name of the encoded still image data is embedded as watermark data by the watermark embedding software on the memory 301 and written into the encoded moving image file. Further, it is determined whether or not the input from the camera 306 has been completed (step S4). If not completed, the process proceeds to step S5, and if completed, the process proceeds to step S14.
[0104]
In step S5, image data for one frame is input from the camera 306 and stored in the image area of the memory 301. Next, the image of the input frame data in the image area is reduced using the image reduction software on the memory 301 and stored in another area of the image area (step S6). Then, using the moving image coding software, the reduced image in the image area is coded by the MPEG-4 coding method, and the coded data is stored in the coded area on the memory 301 (step S7).
[0105]
Thereafter, the reduced image in the image area is encoded by the JPEG2000 encoding method, and the encoded data is stored in the code area on the memory 301 (step S8). Further, data encoded by the JPEG2000 encoding method is read out from the code area, and a header necessary for composing a Motion JPEG2000 file is added to a predetermined position of the still image encoded data file on the storage device 305. The writing and JPEG2000 encoded data in the code area and the input image data area in the image area are released (step S9). The code length when the header is added at this time is defined as Lc.
[0106]
Next, watermark data representing the code length counter Ls is generated (step S10). Here, the code length counter Ls is represented by a fixed length of 3 bytes. After generating the watermark data, the encoded data encoded by the MPEG-4 encoding method is read from the code area, and the watermark data is embedded in the MPEG-4 encoded data using the watermark embedding software on the memory 301 to encode the watermark data. Store in area. When the storage is completed, the area of the original MPEG-4 encoded data is released (step S11).
[0107]
Next, the moving image encoded data file on the storage device 305 is written to a predetermined position in the file, and the area of the MPEG-4 encoded data in the code area and the area of the reduced image data in the image area are released (step S12). Then, the code length Lc is added to the code length counter Ls (step S13), and the process returns to step S4.
[0108]
Here, in step S4, when the input from the camera 306 ends and encoding of all frames ends, the process proceeds to step S14. In step S14, the still image encoded data file and the moving image encoded file are closed, and all the processes are terminated.
[0109]
Through a series of selection operations as described above, information necessary for reading a still image frame on a recording medium is generated and embedded as a watermark in the encoded data of the relevant moving image frame, so that the still image It is possible to easily perform the frame operation.
[0110]
In the present embodiment, the encoding method of the still image is Motion JPEG2000. However, other encoding methods, for example, JPEG or a code as an upper layer of MPEG-4 as in the third embodiment described above. Of course, it does not matter. In the present embodiment, the moving picture encoding method is MPEG-4, but other encoding methods, for example, H.264. 261, H .; 263; H.264, MPEG-1, MPEG-2, and Motion JPEG may of course be used.
[0111]
Furthermore, in the present embodiment, the file name of the still image file corresponding to the moving image file is embedded in the moving image encoded data as watermark data. However, the present invention is not limited to this. Of course, it does not matter if the association is performed by using this.
[0112]
<Sixth embodiment>
In the present embodiment, a decoding process of image data will be described. Note that the configuration of the image decoding system uses the image encoding system of FIG. 5 described in the fifth embodiment for decoding. Also in the present embodiment, the moving picture coding method is described as the MPEG-4 coding method, and the still picture coding method is described as the JPEG2000 coding method, but the application of the present invention is not particularly limited to this. In the present embodiment, the decoding process of the encoded data generated in the fifth embodiment and stored in the storage device 305 will be described as an example.
[0113]
In the system configuration shown in FIG. 5, prior to processing, the terminal 303 selects encoded data to be decoded from the encoded moving image data stored in the storage device 305, and instructs to start the program. As a result, the software stored in the storage device 304 is expanded in the memory 301 via the bus 302, and the software is activated.
[0114]
FIG. 9 is a schematic diagram showing a state of use and storage of the memory of the memory 301 in the image decoding system according to the sixth embodiment. As shown in FIG. 9, in the memory 301, an OS for controlling the entire apparatus and operating various software, a still image decoding software for decoding a still image, a moving image decoding software for decoding a moving image, and an image are enlarged. It stores image enlargement software and watermark extraction software for extracting and analyzing watermark data.
[0115]
The memory 301 has an image area for storing an image at the time of encoding, a code area for storing encoded data in which a generated code and a watermark are embedded, and a working area for storing parameters of various operations. Exists. Then, in such a configuration, the encoded data is input to the storage device 3 prior to the processing.
[0116]
Next, an operation of decoding moving image data by the CPU 300 will be described. FIG. 7 is a flowchart for explaining the video decoding processing operation according to the sixth embodiment. First, initialization of each unit is performed (step S101), and the process proceeds to step S102. In step S102, a file of the encoded video data selected by the terminal 303 is opened, and the process proceeds to step S103.
[0117]
In step S103, the header data of the encoded video data is read and decoded, and parameters necessary for decoding are set. At the same time, the file name of the encoded still image data file is extracted from the watermark data, stored in the working area on the memory 301, and the process proceeds to step S104. In step S104, it is determined whether or not decoding of all the encoded video data has been completed. If not, the process proceeds to step S105. If completed, the process proceeds to step S114.
[0118]
In step S105, one frame of encoded data is read from the storage device 305, stored in the code area on the memory 301, and the process proceeds to step S106. In step S106, the watermark data is extracted from the encoded data of the frame using the watermark extraction software on the memory 301, and the watermark data is analyzed. The code length, that is, the start position of the encoded data of the corresponding still image, is extracted from the watermark data, updated if the data exists in the working area on the memory 301, and stored if not, and the process proceeds to step S107. .
[0119]
In step S107, the encoded data stored in the code area on the memory 301 is decoded using moving image decoding software on the memory 301, and the image data is stored in the image area on the memory 301 and displayed on the monitor 307. I do. After the display is completed, the area of the image data on the memory 301 is released, and the process proceeds to step S108.
[0120]
In step S108, it is determined whether there is a request for printing a still image from the terminal 303. As a result, when it is determined that there is no request, the process returns to step S104, and the processing of the next frame is performed. On the other hand, if it is determined that there is a request, the process proceeds to step S109.
[0121]
If it is determined in step S108 that a still image printing request has been issued, in step S109, a file having the still image data file name stored in the working area on the memory 301 is opened, and the process proceeds to step S110. In step S110, the encoded data corresponding to the code length stored in the working area on the memory 301 is skipped or seek, and the process proceeds to step S111. In step S111, the encoded data of the still image is read and stored in the code area on the memory 301, and the process proceeds to step S112.
[0122]
In step S112, the encoded data of the still image is decoded using the still image decoding software on the memory 301, and the image data is stored in the image area on the memory 301, sent to the printer 310, and printed. After printing is completed, the area of the still image data on the memory 301 is released, and the process proceeds to step S113. In step S113, the file of the still image data is closed, and the process returns to step S104 to perform the processing of the next frame.
[0123]
On the other hand, when the decoding is completed in step S104, the file of the encoded video data is closed (step S114), and all the processes are ended.
[0124]
Through such a series of selection operations, even on a recording medium, by interpreting information about still image data of each frame of a moving image embedded with a watermark, a still image frame operation can be easily performed at the time of decoding. It is possible.
[0125]
In the present embodiment, the encoding method of the still image is JPEG2000. However, other encoding methods, for example, JPEG or encoding as a higher layer of MPEG-4 as in the third embodiment. Of course, it doesn't matter. Further, in the present embodiment, the encoding method of the moving image is set to MPEG-4, but other encoding methods, for example, H.264. 261, MPEG-1, MPEG-2, and Motion JPEG.
[0126]
Further, the file name of the still image file corresponding to the moving image file is embedded in the encoded moving image data as watermark data, but the present invention is not limited to this, and the association is performed using the file management mechanism of the recording device. You may.
[0127]
Further, in the present embodiment, the code length, that is, the start position of the encoded data of the corresponding still image is updated from the watermark data when the data exists in the working area. It is possible to easily call a still image even in a random search or reverse playback from a user.
[0128]
<Other embodiments>
The present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but also to an apparatus including one device (for example, a copying machine, a facsimile machine, etc.). May be.
[0129]
Further, an object of the present invention is to supply a recording medium (or a recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and a computer (or a CPU or a CPU) of the system or the apparatus. Needless to say, the present invention can also be achieved by the MPU) reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium implements the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention. When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
[0130]
Further, after the program code read from the recording medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0131]
When the present invention is applied to the recording medium, the recording medium stores program codes corresponding to the flowcharts described above.
[0132]
【The invention's effect】
As described above, according to the present invention, information relating to a high-quality still image corresponding to a frame constituting a moving image can be embedded in the encoded data of the moving image by digital watermarking. Thus, it is possible to preferably obtain a high-resolution still image from a low-resolution moving image while maintaining compatibility with encoded data according to.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image encoding system according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of an image decoding system according to a second embodiment of the present invention.
FIG. 3 is a block diagram illustrating a configuration of an image encoding system according to a third embodiment of the present invention.
FIG. 4 is a block diagram illustrating a configuration of an image decoding system according to a fourth embodiment of the present invention.
FIG. 5 is a block diagram illustrating a configuration of an image encoding system according to a fifth embodiment of the present invention.
FIG. 6 is a flowchart illustrating a procedure of an encoding operation performed by a CPU 300 in an image encoding system according to a fifth embodiment.
FIG. 7 is a flowchart for explaining a video decoding processing operation according to a sixth embodiment.
FIG. 8 is a schematic diagram illustrating the use and storage status of a memory of a memory 301 according to a fifth embodiment.
FIG. 9 is a schematic diagram illustrating a state of use and storage of a memory of a memory 301 in an image encoding system according to an image decoding system according to a sixth embodiment.
FIG. 10 is a flowchart illustrating a moving image encoding process in the image encoding system according to the first embodiment.
FIG. 11 is a flowchart illustrating an image decoding processing procedure in the image decoding system according to the second embodiment.
FIG. 12 is a flowchart illustrating a moving image encoding process in the image encoding system according to the third embodiment.
FIG. 13 is a flowchart illustrating an image decoding processing procedure in the image decoding system according to the fourth embodiment.
[Explanation of symbols]
1, 51, 101, 151 Image processing device
2 Camera
3 Reducer
4, 103, 104 Video encoder
5 Code memory
6 Still image encoder
7, 11, 105 Storage device controller
8,59,106 memory
9,107 watermark generator
10 Watermark inserter
12, 13 storage device
14, 53 Communication interface
15, 54 Communication line
52 terminals
55, 155 controller
56 selector
57 Watermark Extractor
58,153 Still image information reproducer
60, 152 Video decoder
61, 154 Still Image Decoder
62 monitor
63 Printer

Claims (24)

静止画像を連続して入力する入力手段と、
前記静止画像を符号化する第１の符号化手段と、
符号化された前記静止画像を記憶する静止画像記憶手段と、
前記静止画像に関する情報を透かし情報として生成する透かし生成手段と、
連続して入力された前記静止画像を所定解像度の動画像に変換する変換手段と、
前記動画像を符号化する第２の符号化手段と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、
前記透かし情報が埋め込まれた前記動画像を記憶する動画像記憶手段と
を備えることを特徴とする画像処理装置。Input means for continuously inputting still images,
First encoding means for encoding the still image;
Still image storage means for storing the encoded still image,
Watermark generation means for generating information about the still image as watermark information,
Conversion means for converting the continuously input still image into a moving image of a predetermined resolution,
Second encoding means for encoding the video,
Embedding means for embedding the watermark information with an electronic watermark in the encoded moving image;
An image processing device comprising: a moving image storage unit that stores the moving image in which the watermark information is embedded. 動画像を入力する入力手段と、
前記動画像を階層符号化する第１の符号化手段と、
符号化された前記動画像を記憶する第１の記憶手段と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手段と、
前記動画像を所定解像度に変換する変換手段と、
解像度が変換された前記動画像を符号化する第２の符号化手段と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、
前記透かし情報が埋め込まれた前記動画像を記憶する第２の記憶手段と
を備えることを特徴とする画像処理装置。Input means for inputting a moving image,
First encoding means for hierarchically encoding the moving image;
First storage means for storing the encoded moving image;
Watermark generation means for generating information on a still image constituting the moving image as watermark information,
Conversion means for converting the moving image to a predetermined resolution,
Second encoding means for encoding the moving image whose resolution has been converted,
Embedding means for embedding the watermark information with an electronic watermark in the encoded moving image;
An image processing apparatus comprising: a second storage unit configured to store the moving image in which the watermark information is embedded. 前記第１の符号化手段が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする請求項１記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein the first encoding unit encodes the still image according to a JPEG encoding method. 前記第１の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項２記載の画像処理装置。3. The image processing apparatus according to claim 2, wherein the first encoding unit encodes the moving image according to an MPEG-4 encoding method. 前記第２の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the second encoding unit encodes the moving image according to an MPEG-4 encoding method. 前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the information on the still image is information indicating a storage location of the still image. 高品位の静止画像を格納する格納手段と、
前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、
前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、
前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、
獲得された前記静止画像を出力する静止画像出力手段と
を備えることを特徴とする画像処理装置。Storage means for storing high-quality still images;
Input means for inputting an encoded moving image in which information about the still image is embedded as watermark information,
Watermark extracting means for extracting the watermark information from a predetermined frame of the encoded moving image,
A still image acquisition unit that acquires the high-quality still image based on the watermark information;
An image processing device comprising: a still image output unit that outputs the obtained still image. 前記動画像のフレームから前記所定フレームを指示する指示手段をさらに備え、
前記透かし抽出手段が、指示されたフレームに埋め込まれている透かし情報を抽出する
ことを特徴とする請求項７記載の画像処理装置。Further comprising instructing means for instructing the predetermined frame from a frame of the moving image,
8. The image processing apparatus according to claim 7, wherein said watermark extracting means extracts watermark information embedded in a designated frame. 前記静止画像を格納する格納手段とネットワークを介して接続されており、
前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする請求項８記載の画像処理装置。It is connected via a network to storage means for storing the still image,
9. The image processing apparatus according to claim 8, wherein the information on the still image is information indicating a location where the still image is stored. 前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする請求項９記載の画像処理装置。The image processing apparatus according to claim 9, wherein the information on the still image is represented by a URL. 連続する静止画像を符号化する第１の符号化工程と、
前記静止画像に関する情報を透かし情報として生成する透かし生成工程と、
連続する前記静止画像を所定解像度の動画像に変換する変換工程と、
前記動画像を符号化する第２の符号化工程と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み工程と
を有することを特徴とする画像処理方法。A first encoding step of encoding continuous still images;
A watermark generation step of generating information about the still image as watermark information;
A conversion step of converting the continuous still image into a moving image of a predetermined resolution,
A second encoding step of encoding the moving image;
An embedding step of embedding the watermark information with a digital watermark in the encoded moving image. 動画像を階層符号化する第１の符号化工程と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成工程と、
前記動画像を所定解像度に変換する変換工程と、
解像度が変換された前記動画像を符号化する第２の符号化工程と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み工程と
を有することを特徴とする画像処理方法。A first encoding step of hierarchically encoding a moving image;
A watermark generation step of generating information on a still image constituting the moving image as watermark information;
A conversion step of converting the moving image to a predetermined resolution,
A second encoding step of encoding the moving image whose resolution has been converted,
An embedding step of embedding the watermark information with a digital watermark in the encoded moving image. 前記第１の符号化工程が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする請求項１１記載の画像処理方法。12. The image processing method according to claim 11, wherein the first encoding step encodes the still image according to a JPEG encoding method. 前記第１の符号化工程が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１２記載の画像処理方法。The image processing method according to claim 12, wherein the first encoding step encodes the moving image according to an MPEG-4 encoding method. 前記第２の符号化工程が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１１から１４までのいずれか１項に記載の画像処理方法。The image processing method according to any one of claims 11 to 14, wherein the second encoding step encodes the moving image according to an MPEG-4 encoding method. 前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする請求項１１から１５までのいずれか１項に記載の画像処理方法。16. The image processing method according to claim 11, wherein the information on the still image is information indicating a storage location of the still image. 所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出工程と、
前記透かし情報に基づいて前記高品位の静止画像を前記所定の格納装置から獲得する静止画像獲得工程と
を有することを特徴とする画像処理方法。A watermark extraction step of extracting the watermark information from a predetermined frame of an encoded moving image in which information on a high-quality still image stored in a predetermined storage device is embedded as watermark information;
A still image obtaining step of obtaining the high-quality still image from the predetermined storage device based on the watermark information. 前記動画像のフレームから前記所定フレームを指示を受け付ける指示工程をさらに有し、
前記透かし抽出工程が、指示されたフレームに埋め込まれている透かし情報を抽出する
ことを特徴とする請求項１７記載の画像処理方法。Further comprising an instruction step of receiving an instruction of the predetermined frame from the frame of the moving image,
18. The image processing method according to claim 17, wherein the watermark extracting step extracts watermark information embedded in a designated frame. 前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする請求項１７又は１８に記載の画像処理方法。19. The image processing method according to claim 17, wherein the information on the still image is information indicating a location where the still image is stored. 前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする請求項１９記載の画像処理装置。20. The image processing apparatus according to claim 19, wherein the information on the still image is represented by a URL. コンピュータに、
連続する静止画像を符号化する第１の符号化手順と、
前記静止画像に関する情報を透かし情報として生成する透かし生成手順と、
連続する前記静止画像を所定解像度の動画像に変換する変換手順と、
前記動画像を符号化する第２の符号化手順と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手順と
を実行させるためのプログラム。On the computer,
A first encoding procedure for encoding continuous still images;
A watermark generation procedure for generating information about the still image as watermark information,
A conversion procedure for converting the continuous still image into a moving image with a predetermined resolution,
A second encoding procedure for encoding the video,
And an embedding procedure for embedding the watermark information with a digital watermark in the encoded moving image. コンピュータに、
動画像を階層符号化する第１の符号化手順と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手順と、
前記動画像を所定解像度に変換する変換手順と、
解像度が変換された前記動画像を符号化する第２の符号化手順と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手順と
を実行させるためのプログラム。On the computer,
A first encoding procedure for hierarchically encoding a moving image;
A watermark generation procedure for generating information relating to a still image constituting the moving image as watermark information,
A conversion procedure for converting the moving image to a predetermined resolution,
A second encoding procedure for encoding the moving image whose resolution has been converted,
And an embedding procedure for embedding the watermark information with a digital watermark in the encoded moving image. コンピュータに、
所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手順と、
前記透かし情報に基づいて前記高品位の静止画像を前記所定の格納装置から獲得する静止画像獲得手順と
を実行させるためのプログラム。On the computer,
A watermark extraction procedure for extracting the watermark information from a predetermined frame of an encoded moving image in which information regarding a high-quality still image stored in a predetermined storage device is embedded as watermark information;
A still image acquisition procedure for acquiring the high-quality still image from the predetermined storage device based on the watermark information. 請求項２１から２３までのいずれか１項に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。A computer-readable recording medium storing the program according to any one of claims 21 to 23.
JP2002233840A 2002-08-09 2002-08-09 Image-processing apparatus and image-processing method Withdrawn JP2004080095A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002233840A JP2004080095A (en) 2002-08-09 2002-08-09 Image-processing apparatus and image-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002233840A JP2004080095A (en) 2002-08-09 2002-08-09 Image-processing apparatus and image-processing method

Publications (1)

Publication Number Publication Date
JP2004080095A true JP2004080095A (en) 2004-03-11

Family

ID=32018867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002233840A Withdrawn JP2004080095A (en) 2002-08-09 2002-08-09 Image-processing apparatus and image-processing method

Country Status (1)

Country Link
JP (1) JP2004080095A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006095646A1 (en) * 2005-03-08 2006-09-14 Pioneer Corporation Information recording device and method, computer program, and information recording medium
JP2007213217A (en) * 2006-02-08 2007-08-23 Seiko Instruments Inc Printing device, information providing method, printing method, and printed matter
KR101361524B1 (en) * 2012-11-09 2014-02-25 주식회사 시공미디어 Device and method of inserting watermarks through conversing contents automatically

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006095646A1 (en) * 2005-03-08 2006-09-14 Pioneer Corporation Information recording device and method, computer program, and information recording medium
JPWO2006095646A1 (en) * 2005-03-08 2008-08-14 パイオニア株式会社 Information recording apparatus and method, computer program, and information recording medium
JP4828521B2 (en) * 2005-03-08 2011-11-30 パイオニア株式会社 Information recording apparatus and method, and computer program
JP2007213217A (en) * 2006-02-08 2007-08-23 Seiko Instruments Inc Printing device, information providing method, printing method, and printed matter
KR101361524B1 (en) * 2012-11-09 2014-02-25 주식회사 시공미디어 Device and method of inserting watermarks through conversing contents automatically
US9471950B2 (en) 2012-11-09 2016-10-18 Sigongmedia Co., Ltd. Device and method of inserting watermarks through conversing contents automatically

Similar Documents

Publication Publication Date Title
JP4709493B2 (en) Method and product for communicating compressed digital images
US20030063675A1 (en) Image data providing system and method thereof
JP2006101482A (en) Image communications system, server apparatus, and image communication method
JP2004274758A (en) Method and apparatus for converting jpp-stream into jpeg-2000 code stream
JP2007020196A (en) System and method in server/client environment
JP2004274759A (en) Communication method and device for compressed digital image with limited access and server/client transfer
SE513353C2 (en) Partial image retrieval in the compressed domain
JP4023324B2 (en) Watermark embedding and image compression unit
JP2006295886A (en) Image processing system, program, and recording medium
US7593578B2 (en) Coding and decoding of image data with additional information
JP2007288241A (en) Code processing apparatus, program, and information recording medium
JP4633464B2 (en) Sub-image manipulation in compressed video signals
JP2004080095A (en) Image-processing apparatus and image-processing method
WO2003077534A1 (en) Image processor and image printer
JP4165752B2 (en) Secret data insertion method and secret data detection method for image data
JP2002218472A (en) Device and method for decoding variable image rate
JP4366141B2 (en) Image processing apparatus, image processing method, storage medium, and program
JP2000059612A (en) Image processing device and method therefor
JPH10243389A (en) Moving image chart preparing device, moving image chart preparing method and moving image data retrieval system
JP2006339972A (en) Image processing apparatus and its control method, computer program, and storage medium
JP2006086579A (en) Image processing apparatus, program and storage medium
JP2008147893A (en) Client/server system and remote operation system
JP4956179B2 (en) Data processing apparatus, data processing method, data processing program, and storage medium
JP4217175B2 (en) Image server and program
JP2006333299A (en) Encoding apparatus, encoding method and image forming apparatus

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20051101