JP4822304B2 - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents

画像処理装置および画像処理方法、並びに記録媒体 Download PDF

Info

Publication number
JP4822304B2
JP4822304B2 JP22295198A JP22295198A JP4822304B2 JP 4822304 B2 JP4822304 B2 JP 4822304B2 JP 22295198 A JP22295198 A JP 22295198A JP 22295198 A JP22295198 A JP 22295198A JP 4822304 B2 JP4822304 B2 JP 4822304B2
Authority
JP
Japan
Prior art keywords
pixel
additional information
image
value
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22295198A
Other languages
English (en)
Other versions
JP2000059743A (ja
Inventor
哲二郎 近藤
健司 田中
義教 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22295198A priority Critical patent/JP4822304B2/ja
Priority to EP99306094A priority patent/EP0978801B1/en
Priority to DE69922453T priority patent/DE69922453T2/de
Priority to EP02080256A priority patent/EP1304649A3/en
Priority to US09/366,872 priority patent/US6567531B1/en
Priority to KR1019990032126A priority patent/KR100636606B1/ko
Priority to CNB2004100328915A priority patent/CN100346351C/zh
Priority to CNB991175158A priority patent/CN1155253C/zh
Publication of JP2000059743A publication Critical patent/JP2000059743A/ja
Priority to US09/636,138 priority patent/US6965697B1/en
Priority to US11/134,737 priority patent/US7738711B2/en
Application granted granted Critical
Publication of JP4822304B2 publication Critical patent/JP4822304B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G06T1/0035—Output size adaptive watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32229—Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32251—Spatial or amplitude domain methods in multilevel data, e.g. greyscale or continuous tone data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32347—Reversible embedding, i.e. lossless, invertible, erasable, removable or distorsion-free embedding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0203—Image watermarking whereby the image with embedded watermark is reverted to the original condition before embedding, e.g. lossless, distortion-free or invertible watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、再生画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位２ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の第１の側面の画像処理装置、又は、記録媒体は、画像を構成する一部の画素を選択する選択手段と、前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、前記選択手段によって選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理手段であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【０００６】
本発明の第１の側面の画像処理方法は、情報を埋め込むための処理を行う画像処理装置が、前記画像を構成する一部の画素を選択し、選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行うステップを含む画像処理方法である。
【０００７】
以上のような第１の側面においては、前記画像を構成する一部の画素が選択され、選択された前記画素の画素値の輝度成分または色成分に対して、前記付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報が埋め込まれる。付加情報の埋め込みでは、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 が加算される。
【０００８】
本発明の第２の側面の記録媒体は、画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行うことにより得られる情報埋め込み画像が記録されている記録媒体である。
以上のような第２の側面においては、前記付加情報にしたがった所定値を加算することにより、前記画素に、前記付加情報が埋め込まれた情報埋め込み画像が提供される。
【０００９】
本発明の第３の側面の画像処理装置、又は、記録媒体は、画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行うことにより得られる情報埋め込み画像を構成する前記一部の画素を選択する選択手段と、前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施す処理手段と、前記選択手段によって選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、前記選択手段によって選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算する相関演算手段と、前記第１の相関と第２の相関とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記選択手段によって選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する復号手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【００１０】
本発明の第３の側面の画像処理方法は、画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行うことにより得られる情報埋め込み画像を、元の画像と付加情報に復号するための処理を行う画像処理装置が、前記情報埋め込み画像を構成する前記一部の画素を選択し、選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施し、選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算し、前記第１の相関と第２の相関とを比較し、その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号するステップを含む画像処理方法である。
【００１１】
以上のような第３の側面においては、前記情報埋め込み画像を構成する前記一部の画素が選択され、選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理が、所定の処理として施される。さらに、選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関が演算されるとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関が演算され、前記第１の相関と第２の相関とが比較される。そして、その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分が、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号されるとともに、その画素に埋め込まれた前記付加情報が復号される。
【００１２】
本発明の第４の側面の画像処理装置は、画像を構成する画素に付加情報を埋め込むことにより得られる情報埋め込み画像を送信する送信装置と、前記送信装置からの前記情報埋め込み画像を受信して復号する受信装置とを備え、前記送信装置は、画像を構成する一部の画素を選択する第１の選択手段と、前記第１の選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、前記第１の選択手段によって選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込み、前記情報埋め込み画像を出力する第１の処理手段であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する第１の処理手段とを有し、前記受信装置は、前記情報埋め込み画像を構成する前記一部の画素を選択する第２の選択手段と、前記第２の選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施す第２の処理手段と、前記第２の選択手段によって選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、前記第２の選択手段によって選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算する相関演算手段と、前記第１の相関と第２の相関とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記第２の選択手段によって選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する復号手段とを有する画像処理装置である。
【００１３】
本発明の第４の側面の画像処理方法は、画像を構成する画素に付加情報を埋め込むことにより得られる情報埋め込み画像を送信する送信装置と、前記送信装置からの前記情報埋め込み画像を受信して復号する受信装置とを備える画像処理装置の前記送信装置が、前記画像を構成する一部の画素を選択し、選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込み、前記情報埋め込み画像を出力する処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行い、前記受信装置が、前記情報埋め込み画像を構成する前記一部の画素を選択し、選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施し、選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算し、前記第１の相関と第２の相関とを比較し、その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する画像処理方法である。
【００１４】
以上のような第４の側面においては、前記送信装置において、前記画像を構成する一部の画素が選択され、選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である前記付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報が埋め込まれて、前記情報埋め込み画像が出力される。このとき、付加情報の埋め込みでは、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 が加算される。一方、前記受信装置において、前記情報埋め込み画像を構成する前記一部の画素が選択され、選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理が、所定の処理として施される。さらに、選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関が演算されるとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関が演算され、前記第１の相関と第２の相関とが比較される。そして、その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分が、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号されるとともに、その画素に埋め込まれた前記付加情報が復号される。
【００２８】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２９】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像（第１の情報）を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００３０】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００３１】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（ディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００３２】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００３３】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。また、復号された付加情報は、例えば、所定の処理を行うのに用いられる。
【００３４】
次に、図１の埋め込み符号化器３における符号化、および埋め込み復号器６における復号の原理について説明する。
【００３５】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００３６】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の情報に復号することができる。
【００３７】
ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性、連続性、相似性などがある。
【００３８】
情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。
【００３９】
即ち、例えば、いま、図２に示すようなＨラインでなる画像があった場合に、その上から１行目のライン（第１ライン）と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ラインとの距離が近いライン（図２における画面の上の行のライン）ほど大きくなり、第１ラインとの距離が遠いライン（図２における画面の下の行のライン）ほど小さくなる（第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある）。
【００４０】
そこで、いま、図２の画像において、第１ラインから近い第Ｍラインと、第１ラインから遠い第Ｎラインとを入れ替え（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像について、第１ラインと、他のラインとの相関を計算すると、それは、例えば、図３（Ｂ）に示すようになる。
【００４１】
即ち、入れ替え後の画像では、第１ラインから近い第Ｍライン（入れ替え前の第Ｎライン）との相関が小さくなり、第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライン）との相関が大きくなる。
【００４２】
従って、図３（Ｂ）では、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りが破壊されている。しかしながら、画像については、一般に、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りを利用することにより、破壊された相関の偏りを、元に戻すことができる。即ち、図３（Ｂ）において、第１ラインから近い第Ｍラインとの相関が小さく、第１ラインから遠い第Ｎラインとの相関が大きいのは、画像が有する本来の相関の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような相関、即ち、元の画像を復号することができる。
【００４３】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００４４】
次に、連続性についてであるが、例えば、画像のある１ラインについては、一般に、図４（Ａ）に示すような、周波数の変化が連続している（周波数が滑らかに変化する）信号波形が観察される。即ち、１ラインの周波数に注目すると、一般に、その変化の仕方は連続している。
【００４５】
そこで、いま、図４（Ａ）に示した周波数の変化が連続している信号波形の一部を、例えば、図４（Ｂ）に示すように、周波数が極端に低いものに入れ替える。
【００４６】
この場合、周波数の変化が連続しているという連続性が破壊される。しかしながら、信号波形については、一般に、周波数の変化が連続しているという連続性を利用することにより、破壊された連続性を元に戻すことができる。即ち、図４（Ｂ）において、信号波形の一部の周波数が、他の部分の周波数に比較して急激に低くなっているのは、信号波形が有する本来の連続性からすれば、明らかに不自然であり、周波数の極端に低い部分は、他の部分の周波数と同様の周波数の信号波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、図４（Ｂ）に示した信号波形から、図４（Ａ）に示した信号波形、即ち、元の信号波形を復号することができる。
【００４７】
ここで、図４で説明した場合においては、信号波形の一部について、周波数を大きく変化させること（周波数の大きく異なるものに入れ替えること）が、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、信号波形のどの部分の周波数を大きく変化させるのかや、周波数をどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、大きく異なる周波数を一部に有する信号波形を、その連続性を利用して、元の信号波形に戻すことが、その元の信号波形を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、信号波形のどの部分の周波数が大きく変化していたのかや、周波数がどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４８】
次に、相似性についてであるが、例えば、風景を撮影した画像などについては、その拡大画像を、フラクタル（自己相似性）を利用して生成することができることが知られている。即ち、例えば、図５（Ａ）に示すような、海を撮影した画像を、フラクタルを利用して拡大すると、元の画像と同様の特性を有する画像（拡大画像）を得ることができ、従って、風景等を撮影した画像は、相似性を有する。
【００４９】
そこで、いま、図５（Ａ）に示した海を撮影した画像の一部を、例えば、図５（Ｂ）に示すように、森を撮影した画像の一部（図５（Ｂ）において、斜線を付してある部分）に入れ替える。
【００５０】
この場合、図５（Ｂ）において、森を撮影した画像に入れ替えられた部分については、海を撮影した画像の相似性が破壊される。しかしながら、海を撮影した画像については、一般に、その、どの部分を拡大しても、海を撮影した画像と同様の特性を有する画像が得られるという相似性を利用することにより、破壊された相似性を元に戻すことができる。即ち、図５（Ｂ）において、海を撮影した画像の一部が、森を撮影した画像になっているのは、海を撮影した画像が有する本来の相似性からすれば、明らかに不自然であり、森を撮影した画像になっている部分は、その周辺の海の画像と同様の特性を有する画像に入れ替えるべきである。そして、そのような入れ替えを行うことで、図５（Ｂ）に示した画像から、図５（Ａ）に示した海のみの画像、即ち、元の画像を復号することができる。
【００５１】
ここで、図５で説明した場合においては、海の画像の一部を、森の画像に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、海の画像のどの部分（画面上の位置）を、森の画像に入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、一部に森の画像を有する海の画像を、その相似性を利用して、元の海のみの画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、海の画像のどの部分が、森の画像に入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００５２】
以上のように、埋め込み符号化器３において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力する場合には、埋め込み復号器６では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
【００５３】
また、符号化対象の画像には、付加情報が埋め込まれることで、その画像は、元の状態と異なる状態とされることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
【００５４】
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に、単に変更されていたが、この場合、その下位ビットを、元の値に戻すことは困難である。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
【００５５】
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮（埋め込み圧縮）されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、１／２に圧縮されることになる。
【００５６】
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化（統計的符号化）を実現することができる。
【００５７】
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式（埋め込み符号化方式）によれば、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる（従来の符号化方式では、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる）。
【００５８】
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置１０側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置２０側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。そして、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
【００５９】
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと（例えば、顔認識音声応答）が可能となる。即ち、符号化装置１０側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置２０側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
【００６０】
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
【００６１】
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
【００６２】
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、例えば、ある２つの情報について、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、２つの情報どうしの間で、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送（環境対応ネットワーク伝送）が可能となる。
【００６３】
また、例えば、画像に、その画像を縮小した画像を埋め込むことで（あるいは、音声に、その音声を間引いたものを埋め込むことで）、データ量を増加することなく、いわゆる階層符号化を実現することができる。
【００６４】
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
【００６５】
次に、図６は、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み符号化を行う場合の図１の埋め込み符号化器３の構成例を示している。
【００６６】
画像データベース１から供給される画像は、フレームメモリ３１に供給されるようになされており、フレームメモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶するようになされている。
【００６７】
ＣＰＵ（Central Processing Unit）３２は、プログラムメモリ３３に記憶されたプログラムを実行することで、後述する埋め込み符号化処理を行うようになされている。即ち、ＣＰＵ３２は、付加情報データベース２から供給される付加情報を、例えば、１ビット単位で受信し、その１ビットごとの付加情報を、フレームメモリ３１に記憶された画像に埋め込むようになされている。具体的には、ＣＰＵ３２は、フレームメモリ３１に記憶された画像を構成する一部の画素を選択し、その選択した画素に対して、付加情報に対応した処理であって、画像の相関性を利用して元に戻すことができるものを施すことにより、画素に、付加情報を埋め込むようになされている。
【００６８】
プログラムメモリ３３は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などで構成され、ＣＰＵ３２に、埋め込み符号化処理を行わせるためのコンピュータプログラムを記憶している。
【００６９】
出力Ｉ／Ｆ（Interface）３４は、フレームメモリ３１から、付加情報の埋め込まれた画像を読み出し、符号化データとして出力するようになされている。
【００７０】
なお、フレームメモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ３１では、画像データベース１から供給される画像の記憶、ＣＰＵ３２による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像（符号化データ）の出力を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００７１】
次に、図７のフローチャートを参照して、埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００７２】
画像データベース１では、そこに記憶されている画像が読み出され、例えば、１フレーム単位で、フレームメモリ３１に供給されて記憶される。
【００７３】
一方、ＣＰＵ３２は、付加情報データベース２から、付加情報を１ビットずつ受信しており、１ビットの付加情報を受信すると、ステップＳ１において、その１ビットの付加情報を埋め込む処理の対象とする画素（処理対象画素）を、フレームメモリ３１に記憶された画像から選択する。
【００７４】
ここで、本実施の形態では、例えば、図８に示すように、フレームメモリ３１に記憶された画像から、五の目格子状に、画素が選択されるようになされている。即ち、ＣＰＵ３２では、ステップＳ１の処理が行われるごとに、図８において、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択されるようになされている。なお、図８におけるｐ（ｘ，ｙ）は、左からｘ番目の、上からｙ番目の画素を表している（後述する図１２においても同様）。
【００７５】
その後、ＣＰＵ３２は、ステップＳ２において、付加情報データベース２から受信した付加情報が１または０のうちのいずれであるかを判定する。ステップＳ２において、付加情報が、１または０のうちの、例えば０であると判定された場合、ステップＳ１に戻る。即ち、ＣＰＵ３２は、付加情報が０である場合には、処理対象画素に、何らの処理も施さずに（所定の定数としての０を加算し）、ステップＳ１に戻り、次の１ビットの付加情報が、付加情報データベース２から送信されてくるのを待って、次に処理対象画素とすべき画素を選択し、以下、同様の処理を繰り返す。
【００７６】
また、ステップＳ２において、付加情報が、１または０のうちの、例えば１であると判定された場合、ステップＳ３に進み、ＣＰＵ３２は、処理対象画素に対して、所定の処理を施す。即ち、ＣＰＵ３２は、所定の定数としての、例えば、２の、画像を構成する画素に割り当てられているビット数−１乗を、処理対象画素の画素値に加算する。
【００７７】
従って、画像を構成する画素の画素値として、例えば、８ビットが割り当てられている場合には、ステップＳ３では、２7が、処理対象画素の画素値に加算されることになる。
【００７８】
なお、この加算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、加算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。
【００７９】
ステップＳ３において、処理対象画素の画素値に、２7が加算された後は、ステップＳ４に進み、その加算結果がオーバフローしているかどうかが判定される。ステップＳ４において、加算結果がオーバフローしていないと判定された場合、ステップＳ６に進み、ＣＰＵ３２は、その加算結果を、処理対象画素の画素値として、フレームメモリ３１に書き込み（上書きし）、ステップＳ１に戻る。
【００８０】
また、ステップＳ４において、加算結果がオーバフローしていると判定された場合、即ち、加算結果が、２8以上となった場合、ステップＳ５に進み、その加算値の補正が行われる。即ち、ステップＳ５では、オーバフローした加算値が、例えば、そのオーバフローした分（オーバフローした加算値から２8を減算した値）に補正される。そして、ステップＳ６に進み、ＣＰＵ３２は、その補正後の加算結果を、処理対象画素の画素値として、フレームメモリ３１に書き込み、次の１ビットの付加情報が、付加情報データベース２から送信されてくるのを待って、ステップＳ１に戻る。
【００８１】
なお、フレームメモリ３１に記憶された、ある１フレームの画像について処理が行われた後は、出力Ｉ／Ｆ３４は、その１フレームの画像（付加情報が埋め込まれた画像）を、符号化データとして読み出し、また、ＣＰＵ３２は、フレームメモリ３１に記憶された、次の１フレームの画像を対象に、処理を続行する。
【００８２】
以上のように、フレームメモリ３１に記憶された画像を構成する一部の画素を選択し、その選択した画素に対して、付加情報に対応した処理であって、画像の相関性を利用して元に戻すことができるものを施すことにより、画素に、付加情報を埋め込むことで、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００８３】
即ち、付加情報が埋め込まれた画素は、画像の相関性、即ち、ここでは、付加情報が埋め込まれなかった画素との間の相関を利用することにより、オーバヘッドなしで、元の画素と付加情報に復号（戻す）ことができる。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００８４】
次に、図９は、図６の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６の構成例を示している。
【００８５】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像という）は、フレームメモリ４１に供給されるようになされており、フレームメモリ４１は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ４１も、図６のフレームメモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００８６】
出力Ｉ／Ｆ４２は、フレームメモリ４１から、ＣＰＵ４３による、後述する埋め込み復号処理の結果得られる画像（復号画像）を読み出して出力するようになされている。
【００８７】
ＣＰＵ４３は、プログラムメモリ４４に記憶されたプログラムを実行することで、埋め込み復号処理を行うようになされている。即ち、ＣＰＵ４３は、フレームメモリ４１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。具体的には、ＣＰＵ４３は、埋め込み画像を構成する一部の画素を、処理対象画素として選択し、図１０に示すように、その処理対象画素に対して、図６のＣＰＵ３２が施した処理と逆の処理を施すことで、その画素値を変更する。さらに、図１０に示すように、ＣＰＵ４３は、画素値の変更前の処理対象画素と、その周辺画素（図１０の実施の形態では、左右に隣接する画素）との相関値Ｒ1（第１の相関）を演算するとともに、画素値の変更された処理対象画素と、その画素の周辺画素との相関値Ｒ2（第２の相関）を演算し、その相関値Ｒ1とＲ2とを比較する。そして、ＣＰＵ４３は、その比較結果に基づいて、画素値の変更前または変更後の処理対象画素のうちのいずれか一方を、復号結果とするとともに、その処理対象画素に埋め込まれた付加情報（ここでは、１ビットの１または０のうちのいずれか一方）を復号する。
【００８８】
プログラムメモリ４３は、例えば、図６のプログラムメモリ３３と同様に構成され、ＣＰＵ４３に、埋め込み復号化処理を行わせるためのコンピュータプログラムを記憶している。
【００８９】
次に、図１１のフローチャートを参照して、埋め込み復号器６において行われる埋め込み復号処理について説明する。
【００９０】
フレームメモリ４１では、そこに供給される埋め込み画像が、例えば、１フレーム単位で順次記憶される。
【００９１】
一方、ＣＰＵ４３は、ステップＳ１１において、フレームメモリ４１に記憶されたあるフレームの埋め込み画像から、復号を行う処理の対象とする画素（処理対象画素）を選択する。
【００９２】
ここで、ＣＰＵ４３では、図８に示したように、図６のＣＰＵ３２と同様に、フレームメモリ４１に記憶された埋め込み画像から、五の目格子状に、画素が選択されるようになされている。即ち、ＣＰＵ４３では、ステップＳ１１の処理が行われるごとに、図８において、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択されるようになされている。
【００９３】
その後、ステップＳ１２に進み、ＣＰＵ４３は、処理対象画素に対し、図６のＣＰＵ３２が行った処理と逆の処理を施す。即ち、ＣＰＵ３２は、所定の定数としての、例えば、２の、画像を構成する画素に割り当てられているビット数−１乗を、処理対象画素の画素値から減算する。
【００９４】
従って、上述したように、画像を構成する画素の画素値として、例えば、８ビットが割り当てられている場合においては、ステップＳ１２では、２7が、処理対象画素の画素値から減算されることになる。
【００９５】
なお、この減算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、減算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。但し、ステップＳ１２における減算は、図７のステップＳ３における加算が行われたものと同一のものに対して行う必要がある。即ち、画素値が、例えば、ＹＵＶなどで表現されており、図７のステップＳ３における加算が、ＹＵＶのうちの、例えば、Ｙ成分に対して行われた場合には、ステップＳ１２における減算は、やはり、Ｙ成分に対して行う必要がある。
【００９６】
ステップＳ１２において、処理対象画素の画素値から、２7が減算された後は、ステップＳ１３に進み、その減算結果がアンダフローしているかどうかが判定される。ステップＳ１３において、減算結果がアンダフローしていないと判定された場合、ステップＳ１４をスキップして、ステップＳ１５に進む。
【００９７】
また、ステップＳ１３において、減算結果がアンダフローしていると判定された場合、即ち、加算結果が、０未満となった場合、ステップＳ１４に進み、その減算値の補正が行われる。即ち、ステップＳ１４では、アンダフローした減算値が、例えば、その減算値に２8を加算した値に補正され、ステップＳ１５に進む。
【００９８】
ステップＳ１５では、処理対象画素の画素値（ステップＳ１２で２7を減算していないもの）（以下、適宜、第１の画素値という）Ｐ1と、その画素値から２7を減算した減算値（以下では、ステップＳ１４で補正されたものも含むものとする）（以下、適宜、第２の画素値という）Ｐ2のそれぞれについて、処理対象画素の周辺画素としての、例えば、その左右に隣接する画素との間の相関値が演算される。
【００９９】
即ち、ステップＳ１５では、例えば、処理対象画素の第１の画素値Ｐ1と、その左右の画素それぞれの画素値との差分の絶対値が演算され、その２つの絶対値の加算値が、処理対象画素の第１の画素値Ｐ1についての相関値Ｒ1として求められる。さらに、ステップＳ１５では、処理対象画素の第２の画素値Ｐ2についても、その左右の画素それぞれの画素値との差分の絶対値どうしの加算値が演算され、それが、処理対象画素の第２の画素値Ｐ2の相関値Ｒ2として求められる。
【０１００】
なお、ステップＳ１５において、処理対象画素との間の相関を求めるのに用いる画素は、その左右に隣接する画素に限定されるものではなく、上下に隣接する画素であっても良いし、時間的に隣接する画素であっても良い。また、必ずしも、空間的または時間的に隣接する画素である必要もない。但し、処理対象画素との相関を求めるにあたっては、図８において、斜線を付した画素、即ち、付加情報が埋め込まれていない画素を用いるのが望ましい。これは、処理対象画素について、付加情報が埋め込まれた画素との相関を求めても、元の画像についての相関を得ることができず、従って、画像の相関性を利用することができないため、付加情報が埋め込まれた画素から、元の画素値および付加情報を、正確に復号するのが困難となるからである。また、画像の相関性を利用して、処理対象画素を復号する以上、処理対象画素との相関値を求めるのに用いる画素は、その処理対象画素との空間的または時間的距離が近いものであるのが望ましい。
【０１０１】
第１の画素値Ｐ1についての相関値Ｒ1、および第２の画素値Ｐ2についての相関値Ｒ2の算出後は、ステップＳ１６に進み、ＣＰＵ４３において、その相関値Ｒ1とＲ2とが比較される。
【０１０２】
ステップＳ１６において、相関値Ｒ1が、相関値Ｒ2より大きい（以上である）と判定された場合、ステップＳ１７に進み、ＣＰＵ４３において、付加情報の復号結果として、０が出力され、ステップＳ１１に戻る。そして、この場合、フレームメモリ４１の記憶値は書き換えられず、従って、処理対象画素の画素値の復号結果は、その画素値Ｐ1のままとされる。
【０１０３】
即ち、第１の画素値Ｐ1についての相関値Ｒ1の方が、第２の画素値Ｐ2についての相関値Ｒ2より大きいということは、処理対象画素の画素値としては、画素値Ｐ2よりも、画素値Ｐ1の方が確からしいこととなるので、処理対象画素の画素値の復号結果は、その確からしい画素値Ｐ1とされる。さらに、画素値Ｐ1は、ステップＳ１２で２7が減算されていないものであるから、図７のステップＳ３で２7が加算されていないと考えられる。そして、図７の埋め込み符号化処理では、付加情報が０の場合には、２7を加算しないこととしているから、第１の画素値Ｐ1についての相関値Ｒ1の方が大きく、画素値Ｐ1が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた付加情報は０ということになる。
【０１０４】
一方、ステップＳ１６において、相関値Ｒ2が、相関値Ｒ1より大きい（以上である）と判定された場合、ステップＳ１８に進み、ＣＰＵ４３において、フレームメモリ４１に記憶された処理対象画素の画素値が、その画素値から２7を減算した減算値、即ち、第２の画素値Ｐ2に書き換えられる。従って、この場合、処理対象画素の画素値の復号結果は、その画素値Ｐ2とされる。そして、ステップＳ１９に進み、ＣＰＵ４３において、付加情報の復号結果として、１が出力され、ステップＳ１１に戻る。
【０１０５】
即ち、第２の画素値Ｐ2についての相関値Ｒ2の方が、第１の画素値Ｐ1についての相関値Ｒ1より大きいということは、処理対象画素の画素値としては、画素値Ｐ1よりも、画素値Ｐ2の方が確からしいこととなるので、処理対象画素の画素値の復号結果は、その確からしい画素値Ｐ2とされる。さらに、画素値Ｐ2は、ステップＳ１２で、画素値Ｐ1から２7が減算されたものであるから、図７のステップＳ３で、元の画素値に２7が加算されたものであると考えられる。そして、図７の埋め込み符号化処理では、付加情報が１の場合には、２7を加算することとしているから、第２の画素値Ｐ2についての相関値Ｒ2の方が大きく、画素値Ｐ2が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた付加情報は１ということになる。
【０１０６】
ここで、上述のようにして求められる相関値Ｒ1とＲ2との差分が小さい場合には、画素値Ｐ1とＰ2のうちのいずれが、処理対象画素の画素値として確からしいかは、一概にはいえない。そこで、このような場合には、処理対象画素の左右に隣接する画素だけでなく、他の画素をも用いて、画素値Ｐ1，Ｐ2それぞれについての相関値を求め、その相関値を比較することで、画素値Ｐ1，Ｐ2のうちのいずれが、処理対象画素の画素値として確からしいかを決定することができる。
【０１０７】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０８】
なお、本実施の形態では、処理対象画素と、他の画素との相関値として、それらの画素値の差分の絶対値を用いるようにしたが、相関値は、これに限定されるものではない。
【０１０９】
また、本実施の形態では、図８に示したように、画像から、五の目格子状に、画素を選択し、その画素に、付加情報を埋め込むようにしたが、付加情報を埋め込む画素の選択パターンは、これに限定されるものではない。但し、付加情報を埋め込んだ画素の復号にあたっては、上述したように、付加情報が埋め込まれていない画素を用いて相関を求めるのが望ましく、また、画素どうしの相関は、基本的に、それらの間の空間的または時間的距離が離れるほど小さくなっていく。従って、正確な復号を行う観点からは、付加情報を埋め込む画素は、空間的または時間的に、いわゆる疎らになるように選択するのが望ましい。一方、多くの付加情報を埋め込む観点、即ち、圧縮率の観点からは、付加情報を埋め込む画素は、ある程度多くする必要がある。従って、付加情報を埋め込む画素は、復号の正確さと、圧縮率とをバランスさせて選択するのが望ましい。
【０１１０】
さらに、本実施の形態では、処理対象画素として選択された１画素に、１ビットの付加情報を埋め込むようにしたが、１画素に、２ビット以上の付加情報を埋め込むようにすることも可能である。例えば、１画素に、２ビットの付加情報を埋め込む場合には、その２ビットの付加情報にしたがって、例えば、０，２6，２7，２6＋２7のうちのいずれかを、画素値に加算するようにすれば良い。
【０１１１】
また、本実施の形態では、画素値に、０または２7のうちのいずれかを加算することで（画素値に、２7を加算しないか、または加算することで）、付加情報を埋め込むようにしたが、画素値に加算する値は、２7に限定されるものではない。但し、画素値の下位ビットにしか影響を与えないような値を加算する場合には、その加算値と、元の画素値とが、あまり異なったものとならず、従って、図１１のステップＳ１５で求められる相関値Ｒ1とＲ2も、あまり異なったものとならなくなる。これは、画素値および付加情報の復号結果の精度を劣化させることとなるから、付加情報にしたがって、画素値に加算する値は、元の画素値の上位ビットに影響を与えるような値とするのが望ましい。
【０１１２】
さらに、本実施の形態では、画素値に、所定値を加算することで、付加情報の埋め込みを行うようにしたが、付加情報の埋め込みは、加算以外の操作（例えば、ビット反転など）を、画素値に施すことによって行うことも可能である。但し、上述したように、画素値および付加情報の復号結果の精度の劣化を防止する観点から、画素値に施す操作は、元の画素値についての相関と、操作を施した画素値についての相関とが大きく異なるようなものであることが望ましい。
【０１１３】
また、本実施の形態では、処理対象画素として選択された１画素に、１ビットの付加情報を埋め込むようにしたが、複数画素に、１ビットの付加情報を埋め込むようにすることも可能である。即ち、例えば、図１２において○印で示す位置関係にある４画素に、１ビットの付加情報を埋め込むようにすることなどが可能である。
【０１１４】
具体的には、例えば、図１２において、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）に注目した場合、符号化時には、１ビットの付加情報にしたがい、画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値に対して、同一の操作を施すことで、１ビットの付加情報を埋め込む。一方、復号時には、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについて、上述したような第１および第２の画素値Ｐ1，Ｐ2の相関値Ｒ1，Ｒ2を求め、その相関値Ｒ1，Ｒ2の大小関係を比較する。そして、その比較結果の多数決によって、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、付加情報の復号結果を決定すれば良い。あるいは、また、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについての第１の画素値Ｐ1の相関値Ｒ1の総和と、第２の画素値Ｐ2の相関値Ｒ2の総和とを求め、その２つの総和の大小関係に基づいて、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、付加情報の復号結果を決定しても良い。
【０１１５】
ここで、図８に示したように、処理対象画素として、画像から、五の目格子状に、画素を選択し、その選択された各画素に、１ビットの付加情報を埋め込むようにした場合には、画像の画素数の約半分のビット数の付加情報を埋め込むことができるが、上述したように、４画素に、１ビットの付加情報を埋め込む場合には、画像に埋め込むことのできる付加情報は、その画像の画素数の約半分の１／４のビット数となる。
【０１１６】
さらに、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、フレームメモリ３１への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１１７】
また、本実施の形態では、ＣＰＵ３２または４３に、コンピュータプログラムを実行させることで、埋め込み符号化処理または埋め込み復号処理をそれぞれ行うようにしたが、これらの処理は、それ専用のハードウェアによって行うことも可能である。
【０１１８】
さらに、本実施の形態では、ＣＰＵ３２または４３に実行させるコンピュータプログラムを、プログラムメモリ３３または４４にそれぞれ記憶させておくようにしたが、このコンピュータプログラムは、例えば、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、相変化ディスクなどの記録媒体や、インターネット、地上波、衛星回線、公衆網、ＣＡＴＶ（Cable Television）網などの伝送媒体を介して提供するようにすることが可能である。
【０１１９】
【発明の効果】
本発明の第１ないし第４の側面によれば、データ量を増加せずに、画像に付加情報を埋め込むことができ、また、元の画像および付加情報を復号することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】連続性を利用した符号化／復号を説明するための図である。
【図５】相似性を利用した符号化／復号を説明するための図である。
【図６】図１の埋め込み符号化器３の構成例を示すブロック図である。
【図７】埋め込み符号化処理を説明するためのフローチャートである。
【図８】図７のステップＳ１の処理を説明するための図である。
【図９】図１の埋め込み復号器６の構成例を示すブロック図である。
【図１０】図９のＣＰＵ４３の処理を説明するための図である。
【図１１】埋め込み復号処理を説明するためのフローチャートである。
【図１２】４画素に、１ビットの情報を埋め込む場合の処理を説明するための図である。
【符号の説明】
１ 画像データベース， ２ 付加情報データベース， ３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送媒体， ６ 埋め込み復号器， １０ 符号化装置， ２０ 復号装置， ３１ フレームメモリ， ３２ ＣＰＵ， ３３ プログラムメモリ， ３４ 出力Ｉ／Ｆ， ４１ フレームメモリ， ４２ 出力Ｉ／Ｆ， ４３ ＣＰＵ， ４４ プログラムメモリ

Claims (24)

  1. 画像を構成する一部の画素を選択する選択手段と、
    前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、前記選択手段によって選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理手段であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理手段と
    を備える画像処理装置。
  2. 前記処理手段は、１画素に対して、１ビットの前記付加情報を埋め込む
    請求項１に記載の画像処理装置。
  3. 前記処理手段は、複数画素に対して、１ビットの前記付加情報を埋め込む
    請求項１に記載の画像処理装置。
  4. 前記選択手段は、前記画像から、五の目格子状に、画素を選択する
    請求項１に記載の画像処理装置。
  5. 画像に、情報を埋め込むための処理を行う画像処理装置が、
    前記画像を構成する一部の画素を選択し、
    選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行う
    ステップを含む画像処理方法。
  6. 画像を構成する一部の画素を選択する選択手段と、
    前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、前記選択手段によって選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理手段であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理手段と
    して、コンピュータを機能させるためのプログラムが記録された記録媒体。
  7. 前記処理手段は、１画素に対して、１ビットの前記付加情報を埋め込む
    請求項６に記載の記録媒体。
  8. 前記処理手段は、複数画素に対して、１ビットの前記付加情報を埋め込む
    請求項６に記載の記録媒体。
  9. 前記選択手段は、前記画像から、五の目格子状に、画素を選択する
    請求項６に記載の記録媒体。
  10. 画像を構成する一部の画素を選択し、
    その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行う
    ことにより得られる情報埋め込み画像が記録されている
    記録媒体。
  11. １画素に対して、１ビットの前記付加情報が埋め込まれている
    請求項１０に記載の記録媒体。
  12. 複数画素に対して、１ビットの前記付加情報が埋め込まれている
    請求項１０に記載の記録媒体。
  13. 前記画像から、五の目格子状に、画素が選択されている
    請求項１０に記載の記録媒体。
  14. 画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行う
    ことにより得られる情報埋め込み画像を構成する前記一部の画素を選択する選択手段と、
    前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施す処理手段と、
    前記選択手段によって選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、前記選択手段によって選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算する相関演算手段と、
    前記第１の相関と第２の相関とを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記選択手段によって選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する復号手段と
    を備える画像処理装置。
  15. 前記復号手段は、１画素から、１ビットの前記付加情報を復号する
    請求項１４に記載の画像処理装置。
  16. 前記復号手段は、複数画素から、１ビットの前記付加情報を復号する
    請求項１４に記載の画像処理装置。
  17. 前記選択手段は、前記情報埋め込み画像から、五の目格子状に、画素を選択する
    請求項１４に記載の画像処理装置。
  18. 画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行う
    ことにより得られる情報埋め込み画像を、元の画像と付加情報に復号するための処理を行う画像処理装置が、
    前記情報埋め込み画像を構成する前記一部の画素を選択し、
    選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施し、
    選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算し、
    前記第１の相関と第２の相関とを比較し、
    その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する
    ステップを含む画像処理方法。
  19. 画像を構成する一部の画素を選択し、その選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込む処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行う
    ことにより得られる情報埋め込み画像を構成する前記一部の画素を選択する選択手段と、
    前記選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施す処理手段と、
    前記選択手段によって選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、前記選択手段によって選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算する相関演算手段と、
    前記第１の相関と第２の相関とを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記選択手段によって選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する復号手段と
    して、コンピュータを機能させるためのプログラムが記録された記録媒体。
  20. 前記復号手段は、１画素から、１ビットの前記付加情報を復号する
    請求項１９に記載の記録媒体。
  21. 前記復号手段は、複数画素から、１ビットの前記付加情報を復号する
    請求項１９に記載の記録媒体。
  22. 前記選択手段は、前記情報埋め込み画像から、五の目格子状に、画素を選択する
    請求項１９に記載の記録媒体。
  23. 画像を構成する画素に付加情報を埋め込むことにより得られる情報埋め込み画像を送信する送信装置と、
    前記送信装置からの前記情報埋め込み画像を受信して復号する受信装置と
    を備え、
    前記送信装置は、
    前記画像を構成する一部の画素を選択する第１の選択手段と、
    前記第１の選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、前記第１の選択手段によって選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込み、前記情報埋め込み画像を出力する第１の処理手段であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する第１の処理手段と
    を有し、
    前記受信装置は、
    前記情報埋め込み画像を構成する前記一部の画素を選択する第２の選択手段と、
    前記第２の選択手段によって選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施す第２の処理手段と、
    前記第２の選択手段によって選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、前記第２の選択手段によって選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算する相関演算手段と、
    前記第１の相関と第２の相関とを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記第２の選択手段によって選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する復号手段と
    を有する
    画像処理装置。
  24. 画像を構成する画素に付加情報を埋め込むことにより得られる情報埋め込み画像を送信する送信装置と、
    前記送信装置からの前記情報埋め込み画像を受信して復号する受信装置と
    を備える画像処理装置の
    前記送信装置が、
    前記画像を構成する一部の画素を選択し、
    選択された前記画素の画素値の輝度成分または色成分に対して、前記画素に埋め込む情報である付加情報にしたがった所定値を加算することにより、選択された画素の周辺画素との相関性を利用して元に戻せるように、前記画素に、前記付加情報を埋め込み、前記情報埋め込み画像を出力する処理であって、前記画素の画素値にNビットが割り当てられている場合に、１ビットの付加情報にしたがった所定値として、2 N-1 を加算する処理を行い、
    前記受信装置が、
    前記情報埋め込み画像を構成する前記一部の画素を選択し、
    選択された前記画素の画素値の輝度成分または色成分に対して、前記所定値である2 N-1 を減算する処理を、所定の処理として施し、
    選択された前記画素の画素値である第１の画素値と、その画素の周辺画素の画素値との第１の相関を演算するとともに、選択された前記画素の画素値に対して前記所定の処理が施された画素値である第２の画素値と、その画素の周辺画素の画素値との第２の相関を演算し、
    前記第１の相関と第２の相関とを比較し、
    その比較結果に基づいて、選択された画素の画素値の輝度成分または色成分を、前記第１及び第２の画素値のうちの、大きい相関が得られる方の画素値の輝度成分または色成分に復号するとともに、その画素に埋め込まれた前記付加情報を復号する
    画像処理方法。
JP22295198A 1998-07-15 1998-08-06 画像処理装置および画像処理方法、並びに記録媒体 Expired - Fee Related JP4822304B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP22295198A JP4822304B2 (ja) 1998-08-06 1998-08-06 画像処理装置および画像処理方法、並びに記録媒体
EP99306094A EP0978801B1 (en) 1998-08-06 1999-07-30 Image processing apparatus, image processing method, and providing media
DE69922453T DE69922453T2 (de) 1998-08-06 1999-07-30 Bildverarbeitungsgerät, Bildverarbeitungsverfahren und Herstellungsmedia
EP02080256A EP1304649A3 (en) 1998-08-06 1999-07-30 Image processing apparatus, image processing method, and providing medium
US09/366,872 US6567531B1 (en) 1998-08-06 1999-08-04 Image processing apparatus, image processing method, and providing medium
KR1019990032126A KR100636606B1 (ko) 1998-08-06 1999-08-05 화상 처리 장치, 화상 처리 방법 및 기록 매체
CNB2004100328915A CN100346351C (zh) 1998-08-06 1999-08-06 图像处理设备和图像处理方法
CNB991175158A CN1155253C (zh) 1998-08-06 1999-08-06 图象处理设备和图象处理方法
US09/636,138 US6965697B1 (en) 1998-07-15 2000-08-10 Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
US11/134,737 US7738711B2 (en) 1998-07-15 2005-05-20 Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22295198A JP4822304B2 (ja) 1998-08-06 1998-08-06 画像処理装置および画像処理方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2000059743A JP2000059743A (ja) 2000-02-25
JP4822304B2 true JP4822304B2 (ja) 2011-11-24

Family

ID=16790442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22295198A Expired - Fee Related JP4822304B2 (ja) 1998-07-15 1998-08-06 画像処理装置および画像処理方法、並びに記録媒体

Country Status (6)

Country Link
US (1) US6567531B1 (ja)
EP (2) EP0978801B1 (ja)
JP (1) JP4822304B2 (ja)
KR (1) KR100636606B1 (ja)
CN (2) CN1155253C (ja)
DE (1) DE69922453T2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965697B1 (en) 1998-07-15 2005-11-15 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
DE69943015D1 (de) * 1998-10-07 2011-01-20 Sony Corp Verfahren und Vorrichtung zur Bilddatenkodierung mit Zusatzdateneinfügung
US6870944B1 (en) * 1999-06-08 2005-03-22 Sony Corporation Image processing apparatus, image processing method, and storage medium
JP3651319B2 (ja) * 1999-07-16 2005-05-25 日本ビクター株式会社 電子透かし情報記録方法、再生方法、及び電子透かし情報記録装置、再生装置
US6963363B1 (en) * 1999-09-10 2005-11-08 Nikon Corporation Digital camera capable of embedding an electronic watermark into image data
JP4626784B2 (ja) * 2000-05-19 2011-02-09 ソニー株式会社 通信装置および通信方法、並びに記録媒体
US7038691B2 (en) * 2001-02-15 2006-05-02 Sony Corporation Two-dimensional buffer pages using memory bank alternation
US7088369B2 (en) * 2001-02-15 2006-08-08 Sony Corporation Checkerboard buffer using two-dimensional buffer pages and using bit-field addressing
US6801204B2 (en) * 2001-02-15 2004-10-05 Sony Corporation, A Japanese Corporation Checkerboard buffer using memory blocks
US6831651B2 (en) * 2001-02-15 2004-12-14 Sony Corporation Checkerboard buffer
US6765579B2 (en) * 2001-02-15 2004-07-20 Sony Corporation Pixel pages using combined addressing
US6768490B2 (en) * 2001-02-15 2004-07-27 Sony Corporation Checkerboard buffer using more than two memory devices
US6831650B2 (en) * 2001-02-15 2004-12-14 Sony Corporation Checkerboard buffer using sequential memory locations
US6850241B2 (en) * 2001-02-15 2005-02-01 Sony Corporation Swapped pixel pages
US6765580B2 (en) * 2001-02-15 2004-07-20 Sony Corporation Pixel pages optimized for GLV
US6791557B2 (en) * 2001-02-15 2004-09-14 Sony Corporation Two-dimensional buffer pages using bit-field addressing
US6828977B2 (en) * 2001-02-15 2004-12-07 Sony Corporation Dynamic buffer pages
US6803917B2 (en) 2001-02-15 2004-10-12 Sony Corporation Checkerboard buffer using memory bank alternation
US6831649B2 (en) * 2001-02-15 2004-12-14 Sony Corporation Two-dimensional buffer pages using state addressing
US6795079B2 (en) * 2001-02-15 2004-09-21 Sony Corporation Two-dimensional buffer pages
US7205993B2 (en) * 2001-02-15 2007-04-17 Sony Corporation Checkerboard buffer using two-dimensional buffer pages and using memory bank alternation
US6992674B2 (en) * 2001-02-15 2006-01-31 Sony Corporation Checkerboard buffer using two-dimensional buffer pages and using state addressing
US7379069B2 (en) * 2001-02-15 2008-05-27 Sony Corporation Checkerboard buffer using two-dimensional buffer pages
JP4556087B2 (ja) * 2001-03-22 2010-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体
JP2002304185A (ja) * 2001-04-04 2002-10-18 Video Research:Kk 著作権管理システム、著作権管理方法及びプログラム
US20030058368A1 (en) * 2001-09-24 2003-03-27 Mark Champion Image warping using pixel pages
JP4216561B2 (ja) * 2002-02-07 2009-01-28 富士フイルム株式会社 サーバ装置
US6965980B2 (en) * 2002-02-14 2005-11-15 Sony Corporation Multi-sequence burst accessing for SDRAM
JP2004221712A (ja) * 2003-01-10 2004-08-05 Sony Corp 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体
JP3784781B2 (ja) 2003-05-20 2006-06-14 富士通株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラムおよび画像データ処理システム
EP1692637A4 (en) * 2003-12-05 2009-11-04 New Jersey Tech Inst SYSTEM AND METHOD FOR ROBUST REVERSIBLE DATA MANAGEMENT AND RECOVERY IN THE SPATIAL DOMAIN
JP4622762B2 (ja) * 2005-09-14 2011-02-02 パナソニック電工株式会社 画像データ圧縮・復元方法
WO2007073010A1 (en) * 2005-10-10 2007-06-28 Jae-Yeon Moon Media making method and storage medium
JP4548434B2 (ja) * 2007-03-15 2010-09-22 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4626824B2 (ja) * 2007-03-15 2011-02-09 ソニー株式会社 通信装置および通信方法、並びに記録媒体
JP5007681B2 (ja) * 2008-02-14 2012-08-22 ソニー株式会社 放送システム
KR100967725B1 (ko) * 2008-04-29 2010-07-05 전북대학교산학협력단 정지영상의 저작권 보호를 위한 보호저작권정보 생성 및 복원방법
EP2234400A1 (en) * 2009-03-23 2010-09-29 Sony Corporation Method and device for providing a multimedia content stream embedding processing information for the content
US9759554B2 (en) 2013-08-02 2017-09-12 Omnivision Technologies, Inc. Application specific, dual mode projection system and method
CN104202294B (zh) * 2014-07-23 2017-08-29 西安空间无线电技术研究所 一种在格式数据流中无损信息嵌入与恢复方法
CN104581120A (zh) * 2015-01-23 2015-04-29 深圳超多维光电子有限公司 图像信息保存方法、保存装置、立体图像生成方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6268366A (ja) 1985-09-20 1987-03-28 Matsushita Electric Ind Co Ltd 画素内插方式
JP2824910B2 (ja) * 1989-04-07 1998-11-18 甲子雄 松井 画像へのデータ合成方法
JP2807293B2 (ja) * 1989-11-20 1998-10-08 興和紡績株式会社 画像データの符号化・復号化方法およびファクシミリ装置
JPH04310057A (ja) * 1991-04-08 1992-11-02 Nippon Telegr & Teleph Corp <Ntt> イメージ情報への第２情報埋め込み方法及びその復号方法
JPH05236424A (ja) * 1992-02-25 1993-09-10 Matsushita Electric Ind Co Ltd 情報埋め込み方法およびその装置
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US5530759A (en) * 1995-02-01 1996-06-25 International Business Machines Corporation Color correct digital watermarking of images
US5815572A (en) * 1995-08-31 1998-09-29 Lucent Technologies Inc. Video scrambling
AU2435297A (en) * 1996-04-02 1997-11-07 Theodore G Handel Data embedding
DE69739969D1 (de) * 1996-06-20 2010-10-07 Ibm Verfahren zum verstecken von daten
US5734752A (en) * 1996-09-24 1998-03-31 Xerox Corporation Digital watermarking using stochastic screen patterns
JP3154325B2 (ja) * 1996-11-28 2001-04-09 日本アイ・ビー・エム株式会社 認証情報を画像に隠し込むシステム及び画像認証システム
JP3172475B2 (ja) * 1996-12-26 2001-06-04 日本アイ・ビー・エム株式会社 統計検定を用いたデータ・ハイディング方法及びデータ抽出方法
US5875249A (en) * 1997-01-08 1999-02-23 International Business Machines Corporation Invisible image watermark for image verification
US6148333A (en) * 1998-05-13 2000-11-14 Mgi Software Corporation Method and system for server access control and tracking

Also Published As

Publication number Publication date
CN1155253C (zh) 2004-06-23
EP0978801A1 (en) 2000-02-09
CN1532774A (zh) 2004-09-29
EP1304649A3 (en) 2006-04-26
KR100636606B1 (ko) 2006-10-20
KR20000017106A (ko) 2000-03-25
DE69922453T2 (de) 2005-12-15
CN1248132A (zh) 2000-03-22
EP1304649A2 (en) 2003-04-23
JP2000059743A (ja) 2000-02-25
US6567531B1 (en) 2003-05-20
DE69922453D1 (de) 2005-01-13
EP0978801B1 (en) 2004-12-08
CN100346351C (zh) 2007-10-31

Similar Documents

Publication Publication Date Title
JP4822304B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP3924967B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにデータ処理システム
US7738711B2 (en) Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
JP4147700B2 (ja) 符号化装置および符号化方法、並びに記録媒体
JP3991249B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
JP4182603B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4143884B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4556147B2 (ja) 復号装置および復号方法、記録媒体、並びにデータ処理装置
EP0993194A2 (en) Method and apparatus for embedding an additional signal into an image signal
KR100777144B1 (ko) 코딩 장치와 방법, 디코딩 장치와 방법, 데이터 처리 시스템, 저장 매체, 및 기록 매체
JP4092608B2 (ja) 画像処理装置および画像処理方法、並びにプログラム格納媒体
JP4374712B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4099687B2 (ja) 画像処理装置および画像処理方法、並びに媒体
JP4264606B2 (ja) データ処理装置およびデータ処理方法
JP4548434B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091009

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091028

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees