JP2000165641A - 画像処理方法,画像処理装置およびデータ記憶媒体 - Google Patents

画像処理方法,画像処理装置およびデータ記憶媒体

Info

Publication number
JP2000165641A
JP2000165641A JP33274998A JP33274998A JP2000165641A JP 2000165641 A JP2000165641 A JP 2000165641A JP 33274998 A JP33274998 A JP 33274998A JP 33274998 A JP33274998 A JP 33274998A JP 2000165641 A JP2000165641 A JP 2000165641A
Authority
JP
Japan
Prior art keywords
image
information
signal
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP33274998A
Other languages
English (en)
Inventor
Shinya Sumino
眞也 角野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP33274998A priority Critical patent/JP2000165641A/ja
Priority to US09/447,222 priority patent/US6643414B1/en
Publication of JP2000165641A publication Critical patent/JP2000165641A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • H04N21/63345Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key by transmitting keys
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 画質の劣化を招くことなく、各物体に対応す
る画像信号の不正な再利用を困難なものとする。 【解決手段】 合成画像座標系と物体座標系との位置関
係を示す座標位置情報(FMpos)、及び物体座標系
における矩形領域の位置を示す領域位置情報(OBJp
os)を用いて、物体単位の符号化処理を行う装置にお
いて、フレーム毎にその値が変化する位置攪乱情報(p
os offset)を生成し、上記座標位置情報(F
Mpos)及び領域位置情報(OBJpos)に、該両
位置情報により合成画像座標系上で決まる各物体に対応
する矩形領域の位置が変化しないよう、上記位置攪乱情
報(pos offset)を重畳するようにした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理方法,画
像処理装置,及びデータ記憶媒体に関し、特に物体単位
の画像信号に秘密の情報を多重化して符号化する符号化
処理、及び該復号化処理に対応する復号化処理に関する
ものである。
【0002】
【従来の技術】近年、音声,画像,その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
【0003】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合1文字当たりの情報量は1〜2バイトであるのに対
し、音声の場合1秒当たり64Kbits(電話品質)、さ
らに動画については1秒当たり100Mbits(現行テレ
ビ放送品質)以上の情報量が必要となり、上記情報メデ
ィアでその膨大な情報をディジタル形式でそのまま扱う
ことは現実的ではない。例えば、テレビ電話は、64K
bps 〜1.5Mbps の伝送速度を持つサービス総合ディ
ジタル網(ISDN:Integrated Services Digital Net
work)によってすでに実用化されているが、テレビカメ
ラの映像をそのままISDNで送ることは不可能であ
る。
【0004】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ITU−T
(国際電気通信連合 電気通信標準化部門)で国際標準
化されたH.261やH.263規格の動画圧縮技術が
用いられている。また、MPEG1規格の情報圧縮技術
によると、通常の音楽用CD(コンパクト・ディスク)
に音声情報とともに画像情報を入れることも可能とな
る。
【0005】ここで、MPEG(Moving Picture Exper
ts Group) とは、動画像のデータ圧縮の国際規格であ
り、MPEG1は、動画データを1.5Mbps まで、つ
まりテレビ信号の情報を約100分の1にまで圧縮する
規格である。また、MPEG1規格を対象とする伝送速
度が主として約1.5Mbps に制限されていることか
ら、さらなる高画質化の要求をみたすべく規格化された
MPEG2では、動画データが2〜15Mbps に圧縮さ
れる。さらに現状では、MPEG1,MPEG2と標準
化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG1
1) によって、物体単位で符号化処理や信号操作を可能
とし、マルチメディア時代に必要な新しい機能を実現す
るMPEG4が規格化されつつある。
【0006】MPEG4では、当初、低ビットレートの
符号化方法の標準化を目指してきたが、現在はインタレ
ース画像も含む高ビットレートの符号化処理も含む、よ
り汎用的な符号化処理に拡張されている。
【0007】図13は物体単位の符号化処理を説明する
ための図である。図13(a) は、3つの物体(つまり、
魚と水草と背景)を合成した1フレームの合成画像Gを
示している。物体単位の符号化処理では、上記合成画像
Gを構成する各物体、つまり背景B(図13(b) ),第
1の前景である魚F1(図13(c) ),及び第2の前景
である水草F2(図13(d) )に対応する画像信号を個
別に符号化する。そして各物体に対応する画像符号化信
号を伝送媒体を介して送信し、あるいは記録媒体に記録
する。
【0008】また、物体単位の復号化処理では、各物体
に対応する画像符号化信号を個別に伝送媒体を介して受
信し、あるいは記録媒体から再生する。これにより得ら
れた画像符号化信号を物体別に復号化して各物体に対応
する画像復号化信号を生成する。そして、各物体に対応
する画像復号化信号を合成して、合成画像(復号再生画
像)Gに対応する画像復号化信号を得る。
【0009】このような物体単位の符号化処理では、画
像信号を各物体毎に符号化して得られる画像符号化信号
とともに、各物体を合成して表示するための1フレーム
(合成画像の表示領域)上での各物体の配置を表す情報
(シーン情報)が伝送媒体を介して送信され、あるいは
記録媒体に記録される。
【0010】図14は、物体単位の符号化処理において
符号化パラメータとして用いられる情報について具体的
に説明するための図である。物体単位の符号化処理で
は、物体(例えば上記第1の背景F1)を含む物体領域
(以下,矩形領域(BBOX)という。)内の画素値
(画像信号)と、該矩形領域の大きさ(範囲)を示すサ
イズ情報(OBJsize)と、各物体に対応する物体
座標系(個別座標)における上記矩形領域の位置を示す
領域位置情報(OBJpos)と、合成画像に対応する
合成画像座標系(全体座標)と上記各物体に対応する物
体座標系との位置関係を示す座標位置情報(FMpo
s)とを符号化して伝送あるいは記録する。
【0011】ここで、上記物体座標系(個別座標)は、
上記矩形領域に対応する画像信号の符号化処理を行うた
めの座標であって、各物体に対応する表示領域(VO
P:Video Object Plane )を定義するものである。ま
た、上記合成画像座標系(全体座標)は、各物体の合成
処理を行うための座標であって、合成画像全体を表示す
るための表示領域(フレーム)Fを定義するものであ
る。さらに、上記サイズ情報(OBJsize)は、上
記矩形領域(BBOX)の幅(width )及び高さ(heig
ht)からなり、上記領域位置情報(OBJpos)は、
物体座標系の原点Obを基準として矩形領域の基準点
(該矩形領域の左上隅の点)Orの方向及び距離を示す
位置ベクトルであり、上記座標位置情報(FMpos)
は、合成画像座標系の原点Ogを基準として物体座標系
の原点Obの方向及び距離を示す位置ベクトルである。
【0012】上記領域位置情報(OBJpos)は、物
体座標系における位置情報であるため、物体単位での符
号化処理と独立に扱うことができるものではないが、上
記座標位置情報(FMpos)は、合成画像座標系にお
ける位置情報であるため、物体単位での符号化処理と独
立して扱うことができる。
【0013】なお、このように物体(つまり矩形領域)
の位置を領域位置情報と座標位置情報の2つの情報で表
現するのは、物体単位で符号化された符号化信号を復号
化することなく、物体単位で再利用したり、操作したり
することを可能とするためである。
【0014】図15は、従来の画像符号化装置の全体構
成を説明するためのブロック図である。この画像符号化
装置200aは、1フレーム(合成画像の表示領域)に
対応する合成画像Gを構成する背景B,第1前景F1,
及び第2前景F2の各々に対応する画像信号o1a,o
1b,o1cを、物体毎に符号化して出力する構成とな
っている。つまり、上記画像符号化装置200aは、上
記背景Bに対応する画像信号o1aを符号化して、物体
符号化信号o3aを出力する第1の物体符号化器O1a
と、第1前景F1に対応する画像信号o1bを符号化し
て、物体符号化信号o3bを出力する第2の物体符号化
器O1bと、上記第2前景F2に対応する画像信号o1
cを符号化して、物体符号化信号o3cを出力する第3
の物体符号化器O1cを有している。
【0015】また、上記画像符号化装置200aは、上
記合成画像における各物体の配置に関するシーン情報s
1に対応するよう、合成画像座標系に対する物体座標系
の位置関係を示す領域位置情報(FMpos)s2を生
成するシーン作成器S1と、該領域位置情報s2を符号
化により圧縮してシーン信号(領域位置信号)s3とし
て出力するシーン符号化器S2とを有している。さら
に、上記画像符号化装置200aは、上記各物体に対応
する物体符号化信号o3a,o3b,o3c及びシーン
信号s3を多重化して、多重符号化信号t1として出力
する多重化器T1を有している。
【0016】このような構成の画像符号化装置200a
では、各物体に対応する画像信号o1a〜o1aが入力
されると、該各物体に対応する画像信号はそれぞれ対応
する物体符号化器O1a〜O1cにて画素値の符号化処
理が施され、該各物体符号化器からは、各物体に対応す
る物体符号化信号o3a〜o3cが多重化器T1に出力
される。
【0017】一方、1フレームの画像(合成画像)にお
ける各物体の配置に関するシーン情報s1はシーン作成
器S1に入力され、該シーン作成器S1では、該シーン
情報s1に基づいて、合成画像座標系に対する物体座標
系の位置関係を示す座標位置情報(FMpos)s2が
生成され、シーン符号化器S2に出力される。シーン符
号化器S2では、該座標位置情報(FMpos)s2が
符号化により圧縮され、シーン信号s3として多重化器
T1に出力される。そして、多重化器Tでは、各物体符
号化器O1a〜O1cからの物体符号化信号o3a〜o
3cとシーン符号化器S2からのシーン信号s3とが多
重化されて、多重符号化信号t1として出力される。
【0018】図16は、上記画像符号化装置における従
来の物体符号化器の構成を示すブロック図である。な
お、上記画像符号化装置における各物体符号化器O1a
〜O1cは同一構成となっているため、以下図16で
は、上記物体符号化器O1a〜O1cは物体符号化器O
1として、また、上記画像信号o1a〜o1cは画像信
号o1、上記物体符号化信号o3a〜o3cは物体符号
化信号o3として説明する。
【0019】この物体符号化器O1は、画像信号o1に
基づいて物体を包含する矩形領域(BBOX)の物体座
標系における位置及び該矩形領域の大きさ(範囲)を検
出し、上記物体座標系における上記矩形領域の位置を示
す領域位置情報(OBJpos)11a、及び上記矩形
領域の範囲(幅及び高さ)を示すサイズ情報(OBJs
ize)11bを出力する領域検出器11と、該領域位
置情報11aとサイズ情報11bを参照して、矩形領域
(BBOX)内の各画素の画素値(該矩形領域に対応す
る画像信号)を抽出する領域抽出器12と、該抽出され
た画素値を符号化して画素値符号化信号(画像符号化信
号)13aを出力する画像符号化器13とを有してい
る。
【0020】また、上記物体符号化器O1は、上記領域
位置情報11aを符号化して領域位置信号14aを出力
する位置符号化器14と、上記サイズ情報11bを符号
化してサイズ信号15aを出力する大きさ符号化器15
と、画像符号化器13からの画像符号化信号13a,位
置符号化器14からの領域位置信号14a,及び大きさ
符号化器15からのサイズ信号15aを多重化して物体
符号化信号o3として出力する多重化器16とを有して
いる。
【0021】このような構成の物体符号化器O1では、
画像信号o1が入力されると、領域検出器11では、該
画像信号o1に基づいて、物体座標系における物体を包
含する矩形領域(BBOX)の位置及び大きさが検出さ
れ、領域位置情報(OBJpos)11aとサイズ情報
(OBJsize)11bが出力される。すると、上記
領域抽出器12では、該領域位置情報11aとサイズ情
報11bを参照して矩形領域(BBOX)の画素値が抽
出され、抽出された画素値が画像符号化器13にて符号
化される。このとき、上記領域位置情報11aとサイズ
情報11bはそれぞれ位置符号化器14および大きさ符
号化器15で符号化される。そして、上記画像符号化器
13、位置符号化器14および大きさ符号化器15の出
力が、多重化器16にて多重化されて物体符号化信号o
3として出力される。
【0022】図17は従来の画像復号化装置の全体構成
を説明するためのブロック図である。この画像復号化装
置200bは、図15に示す画像符号化装置200aか
ら出力される多重符号化信号t1を復号化し、合成画像
に対応する合成画像信号c1を生成するものである。す
なわち、上記画像復号化装置200bは、画像符号化装
置200aから出力される多重符号化信号t1を受け、
該多重符号化信号t1を、上記物体符号化信号o3a〜
o3cに相当する物体符号化信号o7a〜o7cと、上
記シーン信号s3に相当するシーン信号s4とに分離す
る分離器T2と、上記各物体符号化信号o7a〜o7c
を復号化して、各物体に対応する物体復号化信号o9a
〜o9cを出力するとともに、上記領域位置情報(OB
Jpos)11aに相当する各物体に対応する領域位置
情報o8a〜o8cを出力する物体復号化器O2a〜O
2cとを有している。
【0023】また、上記画像復号化装置200bは、シ
ーン信号s4を復号化し、上記座標位置情報(FMpo
s)s2に相当する座標位置情報s5を出力するシーン
復号化器S3と、領域位置情報(OBJpos)o8a
〜o8cと座標位置情報(FMpos)s5から、各物
体を合成表示するための合成画像座標系における各物体
に対応する矩形領域の位置を計算し、各物体(矩形領
域)の表示位置を示す表示位置情報s6を出力する表示
位置作成器S4と、物体復号化信号o9a〜o9cを、
各物体の表示位置情報s6に応じて合成して、合成画像
に対応する画像信号c1を出力する合成器C1とを有し
ている。
【0024】このような構成の画像復号化装置200b
では、画像符号化装置200aからの多重符号化信号t
1が入力されると、該多重符号化信号t1は分離器T2
にて、各物体に対応する物体符号化信号o7a〜o7c
とシーン信号s4とに分離される。上記分離された各物
体符号化信号は、対応する物体復号化器O2a〜O2c
に出力され、上記シーン信号s4はシーン復号化器S3
に出力される。
【0025】上記各物体復号化器O2a〜O2cでは、
対応する物体符号化信号c7a〜o7cに対して画素値
の復号化処理が施され、復号化により得られた物体単位
の画像信号(物体復号化信号)o9a〜o9cが合成器
C1に出力されるとともに、上記領域位置情報(OBJ
pos)11aに相当する各領域位置情報o8a〜o8
cが表示位置作成器S4に出力される。
【0026】一方、上記シーン信号s4は、シーン復号
化器S3にて復号化されて、上記座標位置情報(FMp
os)に相当する座標位置情報s5が生成され、これが
表示位置作成器S4に出力される。
【0027】すると、上記表示位置作成器S4では各物
体に対応する領域位置情報(OBJpos)o8a〜o
8cと座標位置情報(FMpos)s5から、各物体を
合成表示するためのフレーム上での各矩形領域の位置が
計算され、各矩形領域のフレーム上での各矩形領域の表
示位置を示す表示位置情報s6が合成器C1に出力され
る。そして、合成器C1では、物体復号化信号o9a〜
o9aが表示位置情報s6に応じて合成され、合成画像
c1に対応する画像信号c1が生成される。
【0028】図18は、図17に示す画像復号化装置に
おける従来の物体復号化器を説明するためのブロック図
である。なお、上記各画像復号化装置における各物体復
号化器O2a〜O2cは同一構成となっているため、以
下図18の説明では、物体復号化器O2a〜O2cは物
体符号化器O2とし、上記物体符号化信号o7a〜o7
cは物体符号化信号o7とし、上記物体復号化信号o9
a〜o9cは物体復号化信号o9とする。
【0029】上記物体復号化器O2は、物体符号化信号
o7を、各物体(矩形領域)に対応する画像符号化信
号、物体座標系における矩形領域の位置を示す領域位置
情報(OBJpos)、及び該矩形領域の範囲を示すサ
イズ情報(OBJsize)に対応する符号化信号に分
離する分離器19と、上記領域位置情報に対応する符号
化信号19bを復号化して領域位置情報200を出力す
る位置復号化器20と、サイズ情報に対応する符号化信
号19cを復号化してサイズ情報201を出力する大き
さ復号化器21とを有している。さらに、物体復号化器
O2は、領域位置情報200およびサイズ情報201を
参照して、矩形領域(BBOX)内の画素の画素値に対
応する符号化信号(画像符号化信号)19aを復号化し
て物体復号化信号o9を出力する画像復号化器22を有
している。
【0030】このような構成の物体復号化器O2では、
入力された物体符号化信号o7は、分離器19にて、画
素値情報、領域位置情報(OBJpos)、サイズ情報
(OBJsize)に対応する符号化信号に分離され、
領域位置情報およびサイズ情報に対応する符号化信号は
それぞれ位置復号化器20および大きさ復号化器21に
て復号化され、領域位置情報200およびサイズ情報2
01として出力される。このとき領域位置情報200は
そのまま領域位置情報o8として外部に出力される。ま
た、画像復号化器22では上記領域位置情報200およ
びサイズ情報201が参照されて、矩形領域(BBO
X)に対応する画像符号化信号に対して復号化処理が施
されて物体復号化信号o9が出力される。
【0031】なお、図16に示す物体符号化器O1を、
その画像符号化器13にて、画面間の画素相関を用いた
画面間符号化処理を行うものとすることにより、より高
い圧縮率で符号化処理を行うことが可能となる。また、
このように上記物体符号化器をその画像符号化器にて画
面間符号化処理を行う構成とした場合は、図18に示す
物体復号化器を、その画像復号化器にて画面間復号化処
理を行う構成とすることにより、図18に示す物体復号
化器にて、画面間符号化処理を行う物体符号化器からの
符号化信号を正しく復号化することができる。
【0032】以下、上記画面間符号化処理を行う物体符
号化器、及び画面間復号化処理を行う物体復号化器の具
体的な構成について説明する。図19は、画面間符号化
処理を行うよう構成した物体符号化器を示すブロック図
である。図19に示す物体符号化器O1aは、図16に
示す物体符号化器O1の構成に加えて、画像符号化器1
3から出力される符号化信号13aを、領域検出器11
からの領域位置情報11a及びサイズ情報11bに基づ
いて、復号化済みの前フレームの画像信号30aを参照
して復号化する画像復号化器32と、該画像復号化器3
2から出力される画像復号化信号32aを蓄積するメモ
リ30とを備えている。またこの物体符号化器O1aで
は、上記物体符号化器O1における画像符号化器13
を、領域抽出器12からの画素値と、該メモリ30に蓄
積した復号化済みの前フレームの画素値30aとの差分
値を符号化する画面間符号化処理を行う構成としてい
る。
【0033】なお、各物体に対応する矩形領域BBOX
の位置は各フレームで異なるため、領域位置情報11a
をメモリ30に入力し、該メモリ31では、物体座標系
にて参照画像としての復号化済みの画像信号の読込み及
び書込みを行うことができるようにしている。
【0034】また、図20は、画面間復号化処理を行う
画像復号化器を有する物体復号化器の構成を具体的に示
すブロック図である。図20に示す物体復号化器O2a
は、図18に示す物体復号化器O2の構成に加えて、画
像復号化器22から出力される画像復号化信号22aを
蓄積するメモリ31を備えている。またこの物体復号化
器O2aでは、上記画像復号化器22は、分離器19か
ら出力される画像符号化信号19aを領域位置情報20
0及びサイズ情報201に基づいて復号化し、復号化さ
れた画像信号と上記メモリ31に蓄積した復号化済みの
前フレームの画像情報31aとを加算して、画像信号を
復元する構成となっている。
【0035】また、この物体復号化器では、図19に示
す物体符号化器と同様に、位置情報200をメモリ31
に入力し、メモリ31では、物体座標系にて参照画像信
号としての復号化済み画像信号の読込み及び書込みを行
うことができるようにしている。このような構成の物体
復号化器O2aは、上記画面間符号化処理を行う物体符
号化器O1aからの符号化信号を正しく復号化すること
ができる。
【0036】
【発明が解決しようとする課題】ところで、物体単位で
別々に画像信号の符号化処理を行う方式では、各物体毎
に独立して画像信号を再利用できるというメリットがあ
るが、その反面、各物体の画像信号が不正に再利用され
るという事態も考えられる。そこで、上記各物体の用途
や各物体としての素材が、各物体に対応する画像符号化
信号の不正利用もしくは画像符号化信号の物体単位での
再利用を禁止したいものである場合には、各物体の画像
信号を再利用する際に、その物体の画像信号の利用が正
当な利用であるか否かの判断等が行われるようにする仕
組み、具体的には、各物体に関する著作権情報等の秘密
情報を、各物体に対応する画像信号に組み込んだり、物
体単位の画像の再利用が困難になるようにしたりする仕
組みを導入することが必要となる。
【0037】また、これまでの物体単位の画像符号化方
式では、上記のような各物体に対応する画像信号の不正
な再利用という観点についての研究が行われておらず、
上記不正な再利用に対する対策としては、画素値の中に
著作権情報等の秘密情報を埋め込むといった方法が推定
できる程度である。このように画素値の中に秘密情報を
埋め込む方法は、従来の画面(フレーム)単位の符号化
方式において開発された技術であり、この方法は、いく
つかの技術的変更を追加することで物体単位の符号化方
式にも適用できる可能性がある。しかしながら、上記の
ように画素値の中に情報を埋め込む方法には、埋め込み
および抽出の処理が複雑であるだけでなく、画素値を意
図的に歪ませるために画質が劣化するという大きな欠点
がある。
【0038】本発明は、上記のような問題点を解決する
ためになされたもので、画質の劣化を招くことなく、各
物体に対応する画像信号の不正な再利用を困難なものと
する符号化処理を簡単な構成により実現することができ
る画像処理方法及び画像処理装置、該符号化処理により
得られる画像符号化信号を正しく復号化することができ
る画像処理方法及び画像処理装置、並びに上記符号化処
理及び復号化処理をコンピュータにより実現するための
プログラムを格納したデータ記憶媒体を得ることを目的
とする。
【0039】また、本発明は、画質の劣化を招くことな
く、秘密情報を画像符号化信号に付加して出力する符号
化処理を実現可能な画像処理方法及び画像処理装置、該
符号化処理により得られる画像符号化信号を正しく復号
化することができる画像処理方法及び画像処理装置、並
びに符号化処理及び復号化処理をコンピュータにより実
現するためのプログラムを格納したデータ記憶媒体を得
ることを目的とする。
【0040】
【課題を解決するための手段】この発明(請求項1)に
係る画像処理方法は、所定の合成画像を表示するための
画像信号を、該合成画像を構成する個々の物体を含む物
体領域毎に別々に符号化する方法であって、上記各物体
領域の画像信号を処理するための個別座標における物体
領域の位置を示す領域位置情報に、該物体領域の位置を
攪乱する位置攪乱情報を付加して攪乱領域情報を生成す
るとともに、上記各物体領域に対応する画像信号に対し
て、上記領域位置情報あるいは攪乱領域情報に基づい
て、上記個別座標を基準とする符号化処理を施して各物
体領域に対応する画像符号化信号を生成し、上記攪乱領
域情報を符号化して得られる攪乱領域信号と各物体領域
に対応する画像符号化信号とを多重化して各物体毎に物
体符号化信号として出力し、上記合成画像全体を表示す
るための全体座標と各物体領域に対応する個別座標との
位置関係を示す座標位置情報に、上記位置攪乱情報に応
じて該個別領域上で変動する各物体領域の位置が、上記
全体座標上では該位置攪乱情報に拘わらず変動しないも
のとなるよう、該位置攪乱情報を付加して攪乱座標情報
を生成し、該攪乱座標情報を符号化して得られる攪乱座
標信号と各物体に対応する物体符号化信号とを多重化し
て多重符号化信号として出力するものである。
【0041】この発明(請求項2)は、請求項1記載の
画像処理方法により得られる多重符号化信号を復号化す
る方法であって、上記多重符号化信号を、上記攪乱座標
信号と上記各物体に対応する物体符号化信号とに分離す
るとともに、該各物体符号化信号をそれぞれ上記攪乱領
域信号と上記画像符号化信号とに分離し、上記攪乱領域
信号及び攪乱座標信号をそれぞれ復号化して上記攪乱領
域情報及び攪乱座標情報を生成し、上記各物体領域に対
応する画像符号化信号に対して、上記個別座標を基準と
する復号化処理を、上記攪乱領域情報に基づいて施し
て、各物体領域に対応する画像復号化信号を生成し、上
記各物体領域に対応する画像復号化信号に対して、上記
攪乱座標情報及び各物体領域に対応する攪乱領域情報に
基づいて、上記全体座標を基準とする合成処理を施し
て、上記各物体からなる合成画像に対応する画像信号を
生成するものである。
【0042】この発明(請求項3)は、請求項1記載の
画像処理方法において、上記位置攪乱情報を、入力され
る特定情報に基づいて該特定情報を含むよう生成するも
のである。
【0043】この発明(請求項4)は、請求項3記載の
画像処理方法により得られる多重符号化信号を復号化す
る方法であって、上記多重符号化信号を、上記攪乱座標
信号と上記各物体に対応する物体符号化信号とに分離す
るとともに、該各物体符号化信号をそれぞれ上記攪乱領
域信号と上記画像符号化信号とに分離し、上記攪乱領域
信号及び攪乱座標信号をそれぞれ復号化して上記攪乱領
域情報及び攪乱座標情報を生成し、上記各物体領域に対
応する画像符号化信号に対して、上記個別座標を基準と
する復号化処理を、上記攪乱領域情報に基づいて施し
て、各物体領域に対応する画像復号化信号を生成し、上
記各物体領域に対応する画像復号化信号に対して、上記
攪乱座標情報及び各物体領域に対応する攪乱領域情報に
基づいて、上記全体座標を基準とする合成処理を施し
て、上記各物体からなる合成画像に対応する画像信号を
生成し、上記攪乱領域情報に基づいて、上記位置攪乱情
報に含まれている特定情報を抽出して出力するものであ
る。
【0044】この発明(請求項5)に係る画像処理方法
は、所定の合成画像を表示するための画像信号を、該合
成画像を構成する個々の物体を含む物体領域毎に別々に
符号化する方法であって、上記各物体領域の画像信号を
処理するための個別座標における物体領域の範囲を示す
領域範囲情報に、該物体領域の範囲に対する拡大量を示
す範囲拡大情報を付加して拡大領域情報を生成し、上記
拡大量に応じてその範囲が拡大された物体領域に対応す
る画像信号に対して、上記各個別座標における物体領域
の位置を示す領域位置情報に基づいて、上記個別座標を
基準とする符号化処理を施して、該各物体領域に対応す
る画像符号化信号を生成し、上記領域位置情報を符号化
して得られる領域位置信号と、上記拡大領域情報を符号
化して得られる拡大領域信号と、各物体領域に対応する
画像符号化信号とを多重化して各物体毎に物体符号化信
号として出力し、上記合成画像全体を表示するための全
体座標と各物体領域に対する個別座標との位置関係を示
す座標位置情報を符号化して得られる座標位置信号と、
各物体に対応する物体符号化信号とを多重化して多重符
号化信号として出力するものである。
【0045】この発明(請求項6)は、請求項5記載の
画像処理方法により得られる多重符号化信号を復号化す
る方法であって、上記多重符号化信号を、上記座標位置
信号と各物体に対応する物体符号化信号とに分離すると
ともに、該各物体符号化信号を上記領域位置信号と上記
拡大領域信号と上記画像符号化信号とに分離し、上記座
標位置信号,領域位置信号及び拡大領域信号をそれぞれ
復号化して上記座標位置情報,領域位置情報及び拡大領
域情報を生成し、上記各物体領域に対応する画像符号化
信号に対して、上記個別座標を基準とする復号化処理
を、上記領域位置情報及び拡大領域情報に基づいて施し
て、各物体領域に対応する画像復号化信号を生成し、該
各物体領域に対応する画像復号化信号に対して、上記座
標位置情報及び各物体領域の領域位置情報に基づいて、
上記全体座標を基準とする合成処理を施して、上記各物
体からなる合成画像に対応する画像信号を生成し、上記
拡大領域情報に基づいて、上記範囲拡大情報に埋め込ま
れている特定情報を抽出して出力するものである。
【0046】この発明(請求項7)に係る画像処理装置
は、所定の合成画像を表示するための画像信号を、該合
成画像を構成する個々の物体を含む物体領域毎に別々に
符号化する装置であって、上記各物体領域の画像信号を
処理するための個別座標における物体領域の位置を攪乱
するための位置攪乱情報を生成する攪乱情報生成手段
と、上記各物体領域に対応する画像信号に、該各個別座
標における各物体領域の位置が上記位置攪乱情報に応じ
て変化したものとなるよう領域シフト処理を施して領域
シフト画像信号を生成する領域シフト手段と、上記各物
体領域に対応する領域シフト画像信号に基づいて、上記
各個別座標における物体領域の位置を示す攪乱領域情報
を検出する領域検出手段と、上記各物体領域に対応する
領域シフト画像信号に対して、上記攪乱領域情報に基づ
いて、上記個別座標を基準とする符号化処理を施して各
物体領域に対応する画像符号化信号を生成する画像符号
化手段と、上記攪乱領域情報を符号化して得られる攪乱
領域信号と各物体領域に対応する画像符号化信号とを多
重化して各物体毎に物体符号化信号として出力する多重
化器と、上記合成画像全体を表示するための全体座標と
各物体領域に対応する個別座標との位置関係を示す座標
位置情報に、上記位置攪乱情報に応じて該個別座標上で
変動する各物体領域の位置が、上記全体座標上では該位
置攪乱情報に拘わらず変動しないものとなるよう、上記
位置攪乱情報を付加して攪乱座標情報を生成する座標情
報生成手段と、該攪乱座標情報を符号化して得られる攪
乱座標信号と各物体に対応する物体符号化信号とを多重
化して多重符号化信号として出力する多重化手段とを備
えたものである。
【0047】この発明(請求項8)に係る画像処理装置
は、所定の合成画像を表示するための画像信号を、該合
成画像を構成する個々の物体を含む物体領域毎に別々に
符号化する装置であって、上記各物体領域の画像信号を
処理するための個別座標における物体領域の位置を攪乱
するための位置攪乱情報を生成する攪乱情報生成手段
と、上記各物体領域に対応する画像信号に基づいて、上
記各個別座標における各物体領域の位置を示す領域位置
情報を検出する領域検出手段と、上記領域位置情報に上
記位置攪乱情報を付加して攪乱領域情報を生成する領域
情報処理手段と、上記各物体領域に対応する画像信号に
対して、上記領域位置情報に基づいて、上記個別座標を
基準とする符号化処理を施して各物体領域に対応する画
像符号化信号を生成する画像符号化手段と、上記攪乱領
域情報を符号化して得られる攪乱領域信号と各物体領域
に対応する画像符号化信号とを多重化して各物体毎に物
体符号化信号として出力する多重化器と、上記合成画像
全体を表示するための全体座標と各物体領域に対応する
個別座標との位置関係を示す座標位置情報に、上記位置
攪乱情報に応じて該個別座標上で変動する各物体領域の
位置が、上記全体座標上では該位置攪乱情報に拘わらず
変動しないものとなるよう、上記位置攪乱情報を付加し
て攪乱座標情報を生成する座標情報処理手段と、該攪乱
座標情報を符号化して得られる攪乱座標信号と各物体に
対応する物体符号化信号とを多重化して多重符号化信号
として出力する多重化手段とを備えたものである。
【0048】この発明(請求項9)に係る画像処理装置
は、請求項7あるいは8記載の画像処理装置により出力
される多重符号化信号を復号化する装置であって、上記
多重符号化信号を、上記攪乱座標信号と上記各物体に対
応する物体符号化信号とに分離する分離手段と、該各物
体符号化信号をそれぞれ上記攪乱領域信号と上記画像符
号化信号とに分離する分離器と、上記攪乱領域信号及び
攪乱座標信号をそれぞれ復号化して上記攪乱領域情報及
び攪乱座標情報を生成する情報復号化手段と、上記各物
体領域に対応する画像符号化信号に対して、上記個別座
標を基準とする復号化処理を、上記攪乱領域情報に基づ
いて施して、各物体領域に対応する画像復号化信号を生
成する画像復号化手段と、上記各物体領域に対応する画
像復号化信号に対して、上記攪乱座標情報及び各物体領
域に対応する攪乱領域情報に基づいて、上記全体座標を
基準とする合成処理を施して、上記各物体からなる合成
画像に対応する画像信号を生成する合成手段とを備えた
ものである。
【0049】この発明(請求項10)は、請求項8記載
の画像処理装置において、上記攪乱情報生成手段を、上
記位置攪乱情報を、外部から入力される特定情報に基づ
いて、該位置攪乱情報に該特定情報が含まれるよう生成
する構成としたものである。
【0050】この発明(請求項11)に係る画像処理装
置は、請求項10記載の画像処理装置により出力される
多重符号化信号を復号化する装置であって、上記多重符
号化信号を、上記攪乱座標信号と上記各物体に対応する
物体符号化信号とに分離する分離手段と、該各物体符号
化信号をそれぞれ上記攪乱領域信号と上記画像符号化信
号とに分離する分離器と、上記攪乱領域信号及び攪乱座
標信号をそれぞれ復号化して上記攪乱領域情報及び攪乱
座標情報を生成する情報復号化手段と、上記各物体領域
に対応する画像符号化信号に対して、上記個別座標を基
準とする復号化処理を、上記攪乱領域情報に基づいて施
して、各物体領域に対応する画像復号化信号を生成する
画像復号化手段と、上記各物体領域に対応する画像復号
化信号に対して、上記攪乱座標情報及び各物体領域に対
応する攪乱領域情報に基づいて、上記全体座標を基準と
する合成処理を施して、上記各物体からなる合成画像に
対応する画像信号を生成する合成手段と、上記攪乱領域
情報に基づいて、上記位置攪乱情報に埋め込まれている
特定情報を抽出して出力する情報抽出手段を備えたもの
である。
【0051】この発明(請求項12)に係る画像処理装
置は、所定の合成画像を表示するための画像信号を、該
合成画像を構成する個々の物体を含む物体領域毎に別々
に符号化する装置であって、上記各物体領域に対応する
画像信号に基づいて、上記各個別座標における各物体領
域の位置を示す領域位置情報、及び該物体領域の範囲を
示す領域サイズ情報を検出する領域検出手段と、上記各
個別座標における物体領域の範囲を拡大するための拡大
情報を生成する拡大情報生成手段と、上記領域サイズ情
報を、該物体領域の範囲を上記拡大情報に応じた拡大量
だけ拡大した範囲を示す拡大サイズ情報に変換する情報
処理手段と、上記各物体領域に対応する画像信号に対し
て、上記領域位置情報及び拡大サイズ情報に基づいて、
上記個別座標を基準とする符号化処理を施して各物体領
域に対応する画像符号化信号を生成する画像符号化手段
と、上記領域位置情報及び拡大サイズ情報を符号化して
得られる領域位置信号及び拡大サイズ信号と各物体領域
に対応する画像符号化信号とを多重化して各物体毎に物
体符号化信号として出力する多重化器と、上記合成画像
全体を表示するための全体座標と各物体領域に対応する
個別座標との位置関係を示す座標位置情報を符号化して
得られる座標位置信号と、各物体に対応する物体符号化
信号とを多重化して多重符号化信号として出力する多重
化手段とを備えたものである。
【0052】この発明(請求項13)に係る画像処理装
置は、請求項12記載の画像処理装置により得られる多
重符号化信号を復号化する装置であって、上記多重符号
化信号を、上記座標位置信号と上記各物体に対応する物
体符号化信号とに分離する分離手段と、該各物体符号化
信号をそれぞれ上記領域位置信号と上記拡大サイズ信号
と上記画像符号化信号とに分離する分離器と、上記領域
位置信号,拡大サイズ信号及び座標位置信号をそれぞれ
復号化して上記領域位置情報,拡大サイズ情報及び座標
位置情報を生成する復号化手段と、上記各物体領域に対
応する画像符号化信号に対して、上記個別座標を基準と
する復号化処理を、上記領域位置情報及び拡大サイズ情
報に基づいて施して、各物体領域に対応する画像復号化
信号を生成する画像復号化手段と、上記各物体領域に対
応する画像復号化信号に対して、上記座標位置情報及び
各物体領域に対応する領域位置情報に基づいて、上記全
体座標を基準とする合成処理を施して、上記各物体から
なる合成画像に対応する画像信号を生成する合成手段
と、上記拡大サイズ情報に基づいて、上記拡大情報に埋
め込まれている特定情報を抽出して出力する情報抽出手
段を備えたものである。
【0053】この発明(請求項14)に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項1ま
たは3記載の画像処理方法による画像信号の符号化処理
をコンピュータに行わせるための符号化処理プログラム
を格納したものである。
【0054】この発明(請求項15)に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項2ま
たは4記載の画像処理方法による画像符号化信号の復号
化処理をコンピュータに行わせるための復号化処理プロ
グラムを格納したものである。
【0055】この発明(請求項16)に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項5記
載の画像処理方法による画像信号の符号化処理をコンピ
ュータに行わせるための符号化処理プログラムを格納し
たものである。
【0056】この発明(請求項17)に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項6記
載の画像処理方法による画像符号化信号の復号化処理を
コンピュータに行わせるための復号化処理プログラムを
格納したものである。
【0057】
【発明の実施の形態】以下、本発明の着眼点及び基本原
理について説明する。図1は本発明の画像処理方法の基
本原理について説明するための模式図である。図1に
は、本発明の画像処理方法における符号化処理で用いら
れる合成画像座標系(全体座標)と物体座標系(個別座
標)の位置関係が示されている。
【0058】上記合成画像座標系は、各物体に対する合
成処理を行うための座標系であって、合成画像を表示す
るための表示領域(フレーム)を定義するものであり、
また上記物体座標系は、各物体に対応する矩形領域に対
する符号化処理を行うための座標系であって、各物体の
矩形領域を表示するための表示領域(VOP)を定義す
るものである。
【0059】そして、上記符号化処理では、上記合成画
像座標系の原点Ogと物体座標系の原点Obとの位置関
係は、座標位置情報(FMpos)により設定し、上記
個別座標の原点Obに対する矩形領域(BBOX)の基
準点(図1では矩形領域の左上隅の点)Orの位置は、
領域位置情報(OBJpos)により設定するようにし
ている。
【0060】そこで、本件発明者は、従来の物体単位の
符号化処理では、上記合成画像の表示領域において各物
体に対応する矩形領域(BBOX)の位置を定義するた
めに、物体座標系(個別座標)と合成画像座標系(全体
座標)の2つの座標系を用いている点(座標系の冗長
性)に注目し、本発明の基本原理を見い出した。
【0061】この基本原理は、物体単位の符号化処理に
おいて、上記座標位置情報(FMpos)と上記領域位
置情報(OBJpos)に、該両位置情報により合成画
像の表示領域上で決まる各物体に対応する矩形領域の位
置が変化しないよう、所定の情報(pos offse
t)を重畳することにより、各物体に対応する復号化信
号を個別に再利用することを困難にすることができ、し
かも秘密情報を所定の情報(pos offset)に
含めて送出するとこができるというものである。
【0062】以下、詳述すると、上記座標位置情報(F
Mpos)は、合成画像座標系(全体座標)にて、その
原点Ogに対する物体座標系の原点Obの位置を示す位
置ベクトルであり、上記領域位置情報(OBJpos)
は、物体座標系(個別座標)にてその原点Obに対する
矩形領域(BBOX)の基準点(図1では矩形領域の左
上隅の点)Orの位置を示す位置ベクトルである。ま
た、所定の情報(posoffset)は、攪乱物体座
標系(攪乱個別座標)の原点Ob′と物体座標系(個別
座標)の原点Obとの位置関係を示す位置ベクトルとな
っている。
【0063】ここでは、上記座標位置情報(FMpo
s)には、以下の(1)式を満たすよう、上記所定の情
報(pos offset)として、上記物体座標系に
おける矩形領域の位置を攪乱するための位置攪乱情報
(位置ベクトル)を重畳して、攪乱領域情報(FMpo
s′)を生成し、上記領域位置情報(OBJpos)に
は、以下の(2)式を満たすよう、上記所定の情報(p
os offset)として、上記物体座標系における
矩形領域の位置を攪乱するための位置攪乱情報を重畳し
て、攪乱領域情報(OBJpos′)を生成している。 FMpos' =FMpos−pos offset ・・・(1) OBJpos' =OBJpos+pos offset ・・・(2) なお、図1では、合成画像の表示領域であるフレームF
には、第1の前景F1のみを示しているが、例えば合成
画像が図13に示す合成画像Gのように3つの物体から
構成されている場合は、上記フレームF上には第1の前
景F1に対応する物体座標系(物体の表示領域)の他
に、背景B及び第2の前景F2に対応する物体座標系
(物体の表示領域)が位置することとなる。
【0064】本発明の画像処理方法では、具体的には、
上記座標位置情報(FMpos)および領域位置情報
(OBJpos)に代えて、それぞれ位置攪乱情報(p
osoffset)が重畳された攪乱座標情報(FMp
os' )および攪乱領域情報(OBJpos' )を符号
化し、符号化された各情報に対応する符号化信号を、各
物体の矩形領域に対応する画像符号化信号とともに送出
するようにしている。
【0065】このような画像処理方法では、実際に合成
画像の表示領域上で各物体に対応する矩形領域(BBO
X)が表示される位置は、位置ベクトル(FMpos'
+OBJpos' )により指定される位置となるが、こ
の位置ベクトルは、FMpos' +OBJpos' =
(FMpos−pos offset)+(OBJpo
s+pos offset)=FMpos+OBJpo
sとなっているため、位置ベクトル(pos offs
et)の値に関らず、上記個々の物体の矩形領域は、合
成画像の表示領域上の本来表示されるべき位置に表示さ
れることが分かる。これは、上記画像処理方法におい
て、位置ベクトル(pos offset)を変更して
も、この画像処理方法により得られる合成画像に対応す
る画像符号化信号を、従来の画像復号化方法により正し
く復号化可能であることを意味している。
【0066】一方、上記位置ベクトル(pos off
set)を、フレーム単位で変化させることにより、物
体の表示領域VOP′では、この位置ベクトル(pos
offset)によって矩形領域(BBOX)の位置
が攪乱されることとなる。このため各物体に対応する画
像符号化信号を抽出して再利用しようとしても、該画像
符号化信号を復号化して得られる画像復号化信号による
物体は、表示領域VOP′上で不自然な動きをすること
となり、画像符号化信号の物体単位での不正な再利用を
困難にすることができる。
【0067】また、上記位置ベクトル(pos off
set)の値を任意の値とすることにより、上記領域位
置情報(OBJpos' )の値が任意の値に設定される
こととなり、このため、秘密情報を上記位置攪乱情報
(pos offset)に埋め込むことにより該秘密
情報を領域位置情報(OBJpos' )に重畳すること
ができる。また、秘密情報をそのまま領域位置情報(O
BJpos' )に重畳するのではなく、秘密情報に暗号
化や誤り訂正等の信号処理を施したものを領域位置情報
(OBJpos' )に重畳することで、秘密情報を解読
されにくいものとすることができる。以下、本発明の実
施の形態について説明する。
【0068】実施の形態1.図2は本発明の実施の形態
1による画像処理装置である画像符号化装置を説明する
ためのブロック図である。この実施の形態1の画像符号
化装置100は、従来の画像符号化装置200aにおけ
る各物体に対応する物体符号化器O1a〜O1cに代え
て、画像信号の符号化により得られる画像符号化信号o
3a〜o3cとともに、上記位置攪乱情報(pos o
ffset)o2を出力する物体符号化器O10a〜O
10cを有している。
【0069】また、上記画像符号化装置100は、従来
の画像符号化装置200aにおけるシーン作成器S1に
代えて、1フレーム上での各物体の配置に関する情報s
1に基づいて、上記座標位置情報(FMpos)s1に
上記位置攪乱情報(posoffset)o2を畳重し
て得られる攪乱座標情報(FMpos′)s12を出力
するシーン作成器S10を有しており、この攪乱座標情
報(FMpos′)がシーン符号化器S2により符号化
されて攪乱座標信号(シーン信号)s3として多重化器
T1に出力される構成となっている。なお、上記攪乱座
標情報(FMpos′)は、座標位置情報(FMpo
s)としての位置ベクトルから上記位置攪乱情報(po
s offset)o2としての位置ベクトルを減算し
て得られるものである。
【0070】その他の構成は従来の画像符号化装置20
0aと同一の構成となっている。図3は、上記画像符号
化装置100を構成する物体符号化器を説明するための
ブロック図である。なお、上記画像符号化装置100に
おける各物体符号化器O10a〜O10cは同一構成と
なっているため、以下図3では、物体符号化器O10a
〜O10cは物体符号化器O10として、また、上記画
像信号o1a〜o1cは画像信号o1、上記物体符号化
信号o3a〜o3cは物体符号化信号o3として説明す
る。
【0071】上記実施の形態1の画像符号化装置100
を構成する物体符号化器O10は、従来の画像符号化装
置200aを構成する物体符号化器O1の構成に加え
て、上記位置攪乱情報(pos offset)とし
て、上記座標位置情報(FMpos)及び領域位置情報
(OBJpos)を変化させるための位置情報o2を生
成する位置情報生成器40を有しており、この位置情報
o2は、シーン作成器S10に出力されるようになって
いる。また、ここでは、位置情報生成器40は、乱数テ
ーブルや所定テーブル、あるいは特定の関数に基づい
て、位置情報o2の値をフレーム単位で変更するよう構
成されている。
【0072】またこの物体符号化器O10は、入力され
る各物体に対応する画像信号o1に、上記位置情報(p
os offset)o2により、物体座標系における
矩形領域(BBOX)の位置を示す領域位置情報(OB
Jpos)が攪乱領域情報(OBJpos′=OBJp
os+pos offset)となるよう画像シフト処
理を施して、画像シフト画像信号41aを出力する画像
位置シフト器41を有している。そしてこの物体符号化
器O10は、画像シフト画像信号41aに基づいて、領
域検出器11による領域検出、及び領域抽出器12によ
る領域抽出を行う構成となっている。その他の構成は従
来の物体符号化器O1におけるものと同一である。
【0073】次に動作について説明する。本実施の形態
1の画像符号化装置100に、フレーム上の画像を構成
する各物体に対応する画像信号o1a〜o1c、及び該
フレーム上での各物体の位置関係を示すシーン情報s1
が入力されると、各画像信号o1a〜o1cは、対応す
る物体符号化器O10a〜O10cにて符号化処理が施
される。
【0074】つまり、上記物体符号化器O10a〜O1
0cにおける位置情報生成器40では、乱数テーブルや
所定テーブル、あるいは特定の関数に基づいて位置情報
(pos offset)o2としての位置ベクトルが
生成される。また、画像位置シフト器41では、入力さ
れる画像信号o1に対して、物体座標系において、対応
する物体の矩形領域が位置ベクトルo2に基づく方向及
び距離に移動したものとなるようシフト処理が施され
て、画像シフト画像信号41aが出力される。
【0075】すると、領域検出器11では該画像シフト
画像信号41aに基づいて、物体座標系での各物体の矩
形領域の位置を示す攪乱領域情報(OBJpos′)1
1aが検出されるとともに、該矩形領域の範囲を示すサ
イズ情報(OBJsize)11bが検出され、該攪乱
領域情報11a及びサイズ情報11bは、それぞれ位置
符号化器14及び大きさ符号化器15にて符号化され
て、攪乱領域信号14a及びサイズ信号15aとして出
力される。
【0076】ここでは、この画像位置シフト器41での
信号処理により、領域検出器11に入力される画像信号
は、対応する物体の矩形領域の位置が物体座標系にて予
め上記位置攪乱情報(pos offset)に相当す
る分だけずれたものとなっているため、領域検出器11
により検出した位置情報11aは、シフト処理を施す前
の画像信号から得られる領域位置情報(OBJpos)
ではなく、この領域位置情報(OBJpos)に位置情
報(pos offset)を加えた攪乱領域情報(O
BJpos′)となっている。
【0077】また、領域抽出器12では、上記画像シフ
ト画像信号41aに基づいて、各物体の矩形領域内の画
素の画素値(矩形領域に対応する画像信号)が抽出さ
れ、上記画像符号化器13では、該画素値に対して、上
記攪乱領域情報(OBJpos′)によりその原点O
b′の位置が決まる物体座標系を基準とする符号化処理
が施され、各矩形領域に対応する画像符号化信号13a
が出力される。そして、上記画像符号化信号13a,攪
乱領域信号14a及びサイズ信号15aは多重化器16
にて多重されて、各物体に対応する物体符号化信号o3
として出力される。
【0078】このようにして各物体符号化器O10a〜
O10cから出力される物体符号化信号o3a〜o3c
では、各矩形領域に対応する画像符号化信号は、図1に
示すように、物体表示領域(VOP)に対応する物体座
標系を上記位置情報に相当する分だけ移動させた物体表
示領域(VOP′)に対応する物体座標系の原点Ob′
を基準として、各物体の矩形領域(BBOX)に対応す
る画像信号を符号化して得られるものとなっている。
【0079】また、上記位置情報(pos offse
t)としての位置ベクトルo2は、シーン作成器S10
に出力される。これにより、該シーン作成器S10に、
各矩形領域に対応する画像信号o1が、この信号o1に
基づく物体座標系を上記位置情報(pos offse
t)に相当するだけずらした物体座標系を基準として符
号化されていることが通知されることとなる。
【0080】このように各物体符号化器O10a〜O1
0cでの符号化処理により、上記各物体符号化器から
は、対応する物体の画像符号化信号o3a〜o3cが出
力されるとともに、物体座標系にて各物体の矩形領域の
位置を変更するための位置情報(pos offse
t)o2が出力される。
【0081】一方、上記シーン情報s1はシーン作成器
S10に入力され、該シーン作成器S10では、上記シ
ーン情報s1から得られる座標位置情報(FMpos)
は、位置情報o2が畳重されて、攪乱座標情報(FMp
os′)s12として出力される。この攪乱座標情報
(FMpos′)s12はシーン符号化器S2にて符号
化されてシーン信号(攪乱座標信号)s3として出力さ
れる。
【0082】そして、上記各物体符号化器O10a〜O
10cからの画像符号化信号o3a〜o3cと上記シー
ン符号化器S2からのシーン信号s3はそれぞれ多重化
器T1にて多重され、多重符号化信号t1として出力さ
れる。
【0083】このように本実施の形態1では、合成画像
の表示領域(合成画像座標系)と物体の表示領域(物体
座標系)との位置関係を示す座標位置情報(FMpo
s)、及び物体の表示領域における矩形領域の位置を示
す領域位置情報(OBJpos)を用いて物体単位の符
号化処理を行う装置において、フレーム毎にその値が変
化する位置攪乱情報o2を生成する位置情報生成器40
を備え、上記座標位置情報(FMpos)及び領域位置
情報(OBJpos)に、該両位置情報により合成画像
の表示領域上で決まる各物体に対応する矩形領域の位置
が変化しないよう、上記位置攪乱情報(pos off
set)を重畳するようにしたので、画質劣化を招くこ
となく、各物体の復号化信号の再利用を困難にすること
ができる。
【0084】つまり、個々の物体に対応する画像符号化
信号o3を復号化しても、上記位置情報により攪乱され
た攪乱領域情報(OBJpos′)が得られるだけで、
上記位置情報により攪乱された攪乱座標情報(FMpo
s′)は得られないため、合成画像座標系及び物体座標
系にて矩形領域の正しい表示位置を求めることができ
ず、これにより各物体の画像情報の不正な再利用を困難
にすることができる。
【0085】また、画像符号化装置では、従来の物体符
号化器の構成に、位置攪乱情報を生成する攪乱情報生成
器40と、上記各物体領域に対応する画像信号に領域シ
フト処理を施す画像位置シフト器41とを付加するだけ
の簡単な回路変更により、各物体の画像情報の不正な再
利用を困難にすることができ、その実用的価値が高い符
号化装置を提供できる。また、この実施の形態1の画像
符号化装置から出力される多重符号化信号は、図17に
示す従来の画像復号化装置200bと同一の構成の画像
復号化装置により、正しく復号化することができる。
【0086】なお、上記実施の形態1の物体符号化器O
10a〜O10cにおける画像符号化器13を、画面間
の画素相関を用いた画面間符号化処理を行うものとする
ことにより、より高い圧縮率で符号化処理を行うことが
可能となり、しかも各物体の画像情報の不正な再利用を
より一層困難にすることができる。
【0087】実施の形態1の変形例.図4は上記実施の
形態1の変形例による画像符号化装置を説明するための
ブロック図であり、該画像符号化装置を構成する物体符
号化器を示している。この実施の形態1の変形例による
画像符号化装置は、実施の形態1の画像符号化装置10
0における各物体符号化器O10a〜O10cに代え
て、各物体に対応する画像信号の符号化処理として、画
素相関を用いた画面間符号化処理を行う物体符号化器O
11をそれぞれ備えたものである。
【0088】この物体符号化器O11は、図3に示す実
施の形態1の物体符号化器O10の構成に加えて、画像
符号化器13から出力される符号化信号を、領域検出器
11からの位置情報11a及びサイズ情報11bに基づ
いて、復号化済みの前フレームの画像信号30aを参照
して復号化する画像復号化器32と、該画像復号化器3
2から出力される画像復号化信号32aを上記位置情報
11bに基づいて蓄積するメモリ30とを備えている。
またこの物体符号化器O11では、上記画像符号化器1
3は、領域抽出器12により抽出された矩形領域に対応
する画素値(画像信号)と、該メモリに蓄積した復号化
済みの前フレームの画素値との差分値を符号化する画面
間符号化処理を行う構成としている。
【0089】このような構成の実施の形態1の変形例で
は、矩形領域を物体座標系で移動させるための位置情報
o2の値をフレーム単位で変更するとともに、被処理フ
レームにおける各物体の矩形領域に対応する画像信号
を、前フレームにおける対応する矩形領域の画像信号を
参照して符号化するので、動画としての個々の物体に対
応する画像符号化信号の一部を、合成画像に対応する多
重符号化信号から抜き出して復号化しても、各物体に対
応する正常な動きの画像を表示することは極めて困難と
なる。
【0090】また、この実施の形態1の変形例の画像符
号化装置から出力される多重符号化信号は、図20に示
す物体復号化器O2aを用いた従来の画像復号化装置2
00bと同一の構成の画像復号化装置により、正しく復
号化することができる。
【0091】実施の形態2.図5は本発明の実施の形態
2による画像符号化装置を説明するためのブロック図で
あり、該画像符号化装置を構成する物体符号化器を示し
ている。この実施の形態2の画像符号化装置における物
体符号化器O20は、従来の画像符号化装置200aを
構成する物体符号化器O1の構成に加えて、上記位置攪
乱情報(pos offset)として位置情報o2を
生成する位置情報生成器40を有しており、この位置情
報o2は、シーン作成器S10に出力されるようになっ
ている。またこの物体符号化器O20は、領域検出器1
1から出力される位置情報(OBJpos)11aに直
接上記位置情報(pos offset)o2を加算す
る加算器42を有し、該加算器42の出力42aを攪乱
領域情報(OBJpos′)として位置符号化器14に
て符号化する構成となっている。
【0092】このような構成の物体符号化器O20で
は、上記加算器42の出力42aは、物体座標系におけ
る矩形領域(BBOX)の位置を示す領域位置情報(O
BJpos)に位置情報(pos offset)を加
えた攪乱領域情報(OBJpos′=OBJpos+p
os offset)となっている。
【0093】このため、実施の形態2では、実施の形態
1の物体符号化器O10と同様に、各物体に対応する物
体符号化信号o3は、図1に示すように、物体表示領域
(VOP)に対応する物体座標系を上記位置情報に相当
する分たげ移動させた物体表示領域(VOP′)に対応
する物体座標系の原点Ob′を基準として、各物体の矩
形領域(BBOX)に対応する画像信号を符号化して得
られるものとなっている。
【0094】この結果、この実施の形態2においても、
上記実施の形態1と同様、個々の物体に対応する画像符
号化信号o3を復号化しても、上記位置情報o2が畳重
された攪乱領域情報(OBJpos′)が得られるだけ
で、上記位置情報o2が畳重された攪乱座標情報(FM
pos′)は得られないため、合成画像座標系及び物体
座標系にて矩形領域の正しい表示位置を求めることがで
きず、これにより各物体の画像情報の不正な再利用を困
難にすることができるといった効果が得られる。また、
この実施の形態2の画像符号化装置から出力される多重
符号化信号は、図17に示す従来の画像復号化装置20
0bと同一の構成の画像復号化装置により、正しく復号
化することができる。
【0095】なお、上記実施の形態2においても、物体
符号化器O20における画像符号化器13を、画面間の
画素相関を用いた画面間符号化処理を行うものとするこ
とにより、より高い圧縮率で符号化処理を行うことが可
能となり、しかも各物体の画像情報の不正な再利用をよ
り一層困難にすることができる。
【0096】実施の形態2の変形例.図6は上記実施の
形態2の変形例による画像符号化装置を説明するための
ブロック図であり、該画像符号化装置を構成する物体符
号化器を示している。この実施の形態2の変形例による
画像符号化装置は、実施の形態2の画像符号化装置にお
ける物体符号化器O20に代えて、各物体に対応する画
像信号の符号化処理として、画素相関を用いた画面間符
号化処理を行う物体符号化器O21を備えたものであ
る。
【0097】この物体符号化器O21は、図5に示す実
施の形態2の物体符号化器O20の構成に加えて、画像
符号化器13から出力される符号化信号を、領域検出器
11からの位置情報11aに位置情報o2を重畳して得
られる攪乱位置情報42a及びサイズ情報11bに基づ
いて、復号化済みの前フレームの画像信号30aを参照
して復号化する画像復号化器32と、該画像復号化器3
2から出力される画像復号化信号32aを上記攪乱位置
情報42aに基づいて蓄積するメモリ30とを備えてい
る。またこの物体符号化器O21では、上記画像符号化
器13は、領域抽出器12により抽出された矩形領域に
対応する画素値(画像信号)と、該メモリに蓄積した復
号化済みの前フレームの画素値との差分値を符号化する
画面間符号化処理を行う構成としている。
【0098】ここで、上記メモリ30に攪乱位置情報4
2aを入力しているのは、この実施の形態2の変形例で
は、実施の形態1の変形例のように画像信号o1に対し
てシフト処理を行ったものを符号化するのではなく、画
像信号o1はそのまま符号化し、物体座標系における矩
形領域の位置を示す領域位置情報を、位置情報o2に基
づいて、該矩形領域の位置をシフトした攪乱領域情報に
変換しているためである。
【0099】つまり、本実施の形態2の変形例におい
て、実施の形態1の変形例のように、物体座標系にて矩
形領域の位置を位置情報o2の示す方向及び距離に移動
して該矩形領域に対応する画像信号に対して画面間符号
化処理を施す場合と同じ符号化結果を得るためには、以
下のような2つの操作,つまり第1に、各物体に対応す
る参照画像の位置を位置情報o2だけ移動するという操
作、第2に、復号化した各物体領域に対応する画像信号
を、矩形領域を位置情報o2だけ移動したものとしてメ
モリ30に記録するという操作が必要となる。このよう
に、参照画像および復号化により得られる画像の格納位
置を位置情報o2に相当する分だけ移動することによ
り、実施の形態1の変形例における符号化結果と同じ符
号化結果が得られる。
【0100】このような構成の本実施の形態2の変形例
においても、矩形領域を物体座標系で移動させるための
位置情報o2の値をフレーム単位で変更し、被処理フレ
ームにおける各矩形領域の画像信号を、前フレームにお
ける対応する矩形領域の画像信号を参照して符号化し、
しかも参照画像および復号化により得られる画像の格納
位置を位置情報o2に相当する分だけ移動するので、上
記実施の形態1の変形例と同様、動画としての個々の物
体に対応する画像符号化信号の一部を、合成画像に対応
する多重符号化信号から抜き出して復号化しても、各物
体に対応する正常な動きの画像を表示することは極めて
困難であるといった効果がある。また、この実施の形態
2の変形例の画像符号化装置から出力される多重符号化
信号は、図20に示す物体復号化器O2aを用いた従来
の画像復号化装置200bと同一の構成の画像復号化装
置により、正しく復号化することができる。
【0101】実施の形態3.図7は本発明の実施の形態
3による画像符号化装置を説明するためのブロック図で
あり、該画像符号化装置を構成する物体符号化器を示し
ている。この実施の形態3の画像符号化装置における物
体符号化器O30は、実施の形態2の画像符号化装置に
おける物体符号化器O20の構成(図5参照)に加え
て、外部から入力される秘密情報o10に暗号化や誤り
訂正等の所定の信号処理を施して、位置情報o2に埋め
込むための埋込み用データを生成する秘密情報生成器5
0を有し、位置情報生成器40を、該秘密情報生成器5
0の出力に応じて位置情報o2を生成する構成としたも
のである。その他の構成は上記実施の形態2の物体符号
化器O20と同一である。
【0102】次に作用効果について説明する。このよう
な構成の物体符号化器O30では、秘密情報o10は秘
密情報生成器50にて該秘密情報o10を含んだ埋込み
用データに変換されて位置情報生成器40に入力され
る。すると位置情報生成器40では、該埋込み用データ
に基づいて位置情報o2を生成する。そして、該位置情
報o2を用いた符号化処理が上記実施の形態2と同様に
行われる。
【0103】このような実施の形態3では以下のような
効果が得られる。つまり、秘密情報o10を秘密情報生
成器50で変換することなく直接位置情報o2に埋め込
む符号化処理では、その秘密情報が露見され易い欠点が
あり、また各物体に対応する画像信号の改竄も容易であ
る。
【0104】これに対し、本実施の形態3のように、秘
密情報生成器50にて、秘密情報o1を、これに対して
暗号化や誤り訂正能力を持たせるための信号処理を施し
て埋込み用データに変換し、この埋込み用データを位置
情報o2に重畳するようにすることにより、秘密情報の
抽出が困難となり、しかも、各物体に対応する画像信号
をその改竄に対する耐性の高いものとすることができ
る。
【0105】このように本実施の形態3では、外部から
入力される秘密情報o10に対して暗号化や誤り訂正等
の信号処理を施して得られるデータを、領域位置情報や
座標位置情報に畳重するための位置情報o2に埋め込む
ようにしたので、実施の形態2に比べて、秘密情報の抽
出をより困難なものとし、しかも、個々の物体に対応す
る画像信号の再利用をより一層困難なものとできる。ま
た、この実施の形態3の画像符号化装置から出力される
多重符号化信号は、図17に示す従来の画像復号化装置
200bと同一の構成の画像復号化装置により、正しく
復号化することができる。
【0106】実施の形態4.図8は本発明の実施の形態
4による画像復号化装置を説明するためのブロック図で
あり、該画像復号化装置を構成する物体復号化器を示し
ている。この実施の形態4の画像復号化装置は、上記実
施の形態3の画像符号化装置から出力される多重符号化
信号に対して復号化処理を行うものであり、図17に示
す従来の画像復号化装置200bを構成する物体復号化
器O2(図18参照)に代えて、上記実施の形態3の物
体符号化器O30からの物体符号化信号o7を復号化す
る物体復号化器O40を備えたものである。
【0107】この物体復号化器O40は、図18に示す
物体復号化器O2の構成に加えて、位置復号化器20の
出力である位置情報o8から、該位置情報o8に埋め込
まれている埋込み用データを抽出し、該埋込み用データ
のデータ解析を行って秘密情報o11を出力する秘密情
報抽出器51を備えており、その他の構成は、図18に
示す従来の物体復号化器O2の構成と同一である。
【0108】次に作用効果について説明する。このよう
な構成の物体復号化器O40では、入力された物体符号
化信号o7は、分離器19にて、従来の物体符号化器O
2と同様、画素値情報、領域位置情報(OBJpo
s)、サイズ情報(OBJsize)に対応する符号化
信号に分離され、領域位置情報およびサイズ情報に対応
する符号化信号19b,19cはそれぞれ位置復号化器
20および大きさ復号化器21にて復号化され、領域位
置情報200およびサイズ情報201として出力され
る。また、画像復号化器22では上記領域位置情報20
0およびサイズ情報201が参照されて、矩形領域(B
BOX)に対応する画像符号化信号に対して復号化処理
が施されて物体復号化信号o9が出力される。
【0109】このとき領域位置情報200はそのまま位
置情報o8として外部に出力されるとともに、上記秘密
情報抽出器51に入力される。この秘密情報抽出器51
では、位置情報o8の解析が行われ、位置情報o8に対
して暗号解除処理や誤り検出あるいは誤り訂正等の処理
が施される。これにより位置情報o8に埋め込まれてい
る埋込み用データが秘密情報o11として抽出される。
【0110】このような構成の物体復号化器O40で
は、図18の物体復号化器の構成に加えて、位置復号化
器20の出力である位置情報o8から、該位置情報に埋
め込まれている埋込み用データを抽出し、該埋込み用デ
ータのデータ解析を行って秘密情報o11を出力する秘
密情報抽出器51を備えたので、この実施の形態3の画
像符号化装置から出力される多重符号化信号を正しく復
号化することができるだけでなく、従来の物体復号化器
に秘密情報抽出器51を追加しただけの簡単な回路構成
により、暗号化等の信号処理が施された秘密情報の検出
あるいは抽出を行うことが可能となる。
【0111】実施の形態5.図9は本発明の実施の形態
5による符号化処理を概念的に説明するための模式図で
ある。この実施の形態5の符号化処理では、上記実施の
形態3の符号化処理のように位置攪乱情報(pos o
ffset)に秘密情報を重畳するのではなく、領域検
出器11から出力されるサイズ情報(OBJsize)
11bに秘密情報を重畳するようにしている。すなわ
ち、物体単位の符号化処理では、物体を包含する矩形領
域(BBOX)内の画素の画素値を符号化するようにし
ているが、この矩形領域(BBOX)の大きさは、物体
を包含する限り任意の大きさとすることができる。
【0112】そこで、本来の矩形領域(BBOX)の大
きさ,つまり幅(width)及び高さ(heigh
t)を示すサイズ情報(OBJsize)に代えて、該
サイズ情報(OBJsize)に所定の情報を重畳して
なる、矩形領域(BBOX)の大きさ(width′、
height′)を示す拡大サイズ情報(OBJsiz
e′)を符号化することにより、上記矩形領域の幅(w
idth' )及び高さ(height' )の値を秘密情
報を含むものとすることができる。具体例としては、上
記矩形領域の幅(width' )および高さ(heig
ht' )を数値K(例えばマクロブロックの一辺の長
さ)で除算した余りを、秘密情報あるいは秘密情報に対
応するデータとすることができる。
【0113】ここで、上記サイズ情報(OBJsiz
e)が示す本来の矩形領域の幅(width)および高
さ(height)と、上記拡大サイズ情報(OBJs
ize′)の示す矩形領域の幅(width' )および
高さ(height' )の関係は、以下の(3),
(4)式を満たすものとなる。 width' =width+Hoffset ・・・(3) height' =height+Voffset ・・・(4) ただし、Hoffset,Voffsetは負でない任
意の整数である。
【0114】図10は上記実施の形態5による画像符号
化装置を説明するためのブロック図であり、該画像符号
化装置を構成する物体符号化器の構成を示している。こ
の実施の形態5の物体符号化器O50は、図16に示す
従来の物体符号化器O1の構成に加えて、外部から入力
される秘密情報o10に所定の信号処理を施して、領域
検出器11の出力であるサイズ情報11bに埋め込むた
めの埋込み用データ60aを生成する秘密情報生成器6
0と、上記領域検出器11から出力されるサイズ情報1
1bに上記埋込み用データ60aを埋め込んで、上記拡
大サイズ情報61aを出力する大きさ情報生成器61と
を備え、該拡大サイズ情報61aを大きさ符号化器15
にて符号化するようにしたものである。
【0115】なお、秘密情報を秘密情報生成器60で変
換することなく直接上記サイズ情報に埋め込むようにす
ると、その秘密情報が露見され易く、また改竄も容易で
あるため、本実施の形態5では、上記秘密情報を暗号化
処理や誤り訂正能力を持たせた埋込み用データに変換す
ることにより、秘密情報の改竄等を困難にしている。そ
の他の構成は従来の物体符号化器O1と同一である。
【0116】次に作用効果について説明する。外部から
入力された秘密情報o10は、秘密情報生成器60に
て、暗号化や誤り訂正等の信号処理が施されて、該秘密
情報を含んだ埋込み用データ60aに変換される。
【0117】一方、領域検出器11では、外部から入力
された各物体に対応する物体符号化信号o1に基づい
て、該物体に対応する矩形領域の大きさ、及び該矩形領
域の物体座標系における位置が検出され、それぞれサイ
ズ情報11b及び位置情報11aとして出力される。す
ると、大きさ情報生成器61では、上記サイズ情報11
bに上記埋込み用データ60aが重畳されて拡大サイズ
情報61aが出力される。
【0118】そして、上記領域抽出器12では、該領域
位置情報11aと拡大サイズ情報61aを参照して矩形
領域(BBOX)の画素値が抽出され、抽出された画素
値が画像符号化器13にて符号化される。このとき、上
記領域位置情報11aと拡大サイズ情報61aはそれぞ
れ位置符号化器14および大きさ符号化器15で符号化
され、上記画像符号化器13、位置符号化器14および
大きさ符号化器15の出力が、多重化器16にて多重化
されて物体符号化信号o3として出力される。
【0119】このように本実施の形態5では、外部から
の秘密情報o10に所定の信号処理を施して埋込み用デ
ータ60aに変換する秘密情報生成器60を備え、領域
検出器11から出力される矩形領域のサイズ情報11b
に上記埋込み用データ60aを埋め込んで上記拡大サイ
ズ情報61aを生成するようにしたので、矩形領域内の
画素の画素値を歪ませることなく、秘密情報を各物体に
対応する物体符号化信号に重畳することができ、画質の
劣化を招くことなく、秘密情報の伝送を行うことができ
る。
【0120】実施の形態6.図11は本発明の実施の形
態6による画像復号化装置を説明するためのブロック図
であり、該画像復号化装置を構成する物体復号化器を示
している。この実施の形態6の画像復号化装置は、上記
実施の形態5の画像符号化装置からの多重符号化信号に
対して復号化処理を行うものであり、図17に示す従来
の画像復号化装置200bを構成する物体復号化器O2
(図18参照)に代えて、上記多重符号化信号を分離し
て得られる各物体に対応する物体符号化信号o7を復号
化する物体復号化器O60を備えたものである。
【0121】この物体復号化器O60は、図18に示す
物体復号化器O2の構成に加えて、大きさ復号化器21
の出力であるサイズ情報201を受け、該サイズ情報に
埋め込まれている埋込み用データに基づいて秘密情報o
11を抽出する秘密情報抽出器62を備えており、その
他の構成は、図18に示す従来の物体復号化器O2の構
成と同一である。
【0122】このような構成の物体復号化器O60で
は、各物体に対応する物体符号化信号o7に対する復号
化処理は従来の物体復号化器O2と同様に行われる。そ
して、本実施の形態6では、大きさ復号化器21から出
力されるサイズ情報201が秘密情報抽出器62にて解
析される。つまり、サイズ情報201に含まれている埋
込み用データに対して暗号解除処理や誤り検出,誤り訂
正等の処理が施されて秘密情報o11が抽出される。
【0123】このように本実施の形態6では、大きさ復
号化器21の出力であるサイズ情報201を受け、該サ
イズ情報に埋め込まれている埋込み用データに基づいて
秘密情報o11を抽出する秘密情報抽出器62を備えた
ので、上記実施の形態5の物体符号化器からの物体符号
化信号を正しく復号化することができるだけでなく、図
18の物体復号化器に秘密情報抽出器62を追加しただ
けの構成により、各物体に対応する物体符号化信号に含
まれている秘密情報の検出あるいは抽出を行うことがで
きる。
【0124】さらに、上記各実施の形態で示した画像符
号化処理あるいは画像復号化処理をソフトウエアにより
実現するための符号化あるいは復号化プログラムを、フ
ロッピー(登録商標)ディスク等の記憶媒体に記録する
ようにすることにより、上記各実施の形態で示した処理
を、独立したコンピュータシステムにおいて簡単に実施
することが可能となる。図12は、上記各実施の形態の
符号化処理あるいは復号化処理を、上記符号化処理プロ
グラムあるいは復号化処理プログラムを格納したフロッ
ピーディスクを用いて、コンピュータシステムにより実
施する場合を説明するための図である。図12(a) は、
フロッピーディスクの正面からみた外観、断面構造、及
びフロッピーディスク本体を示し、図12(b) は、該フ
ロッピーディスク本体の物理フォーマットの例を示して
いる。
【0125】上記フロッピーディスクFDは、上記フロ
ッピーディスク本体DをフロッピーディスクケースFC
内に収容した構造となっており、該フロッピーディスク
本体Dの表面には、同心円状に外周からは内周に向かっ
て複数のトラックTrが形成され、各トラックTrは角
度方向に16のセクタSeに分割されている。従って、
上記プログラムを格納したフロッピーディスクFDで
は、上記フロッピーディスク本体Dは、その上に割り当
てられた領域(セクタ)Seに、上記プログラムとして
のデータが記録されたものとなっている。また、図12
(c) は、フロッピーディスクFDに対する上記プログラ
ムの記録、及びフロッピーディスクFDに格納したプロ
グラムを用いたソフトウエアによる画像処理を行うため
の構成を示している。
【0126】上記プログラムをフロッピーディスクFD
に記録する場合は、コンピュータシステムCsから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブFDDを介してフロッピーディスクFDに書き込む。
また、フロッピーディスクFDに記録されたプログラム
により、画像符号化装置あるいは画像復号化装置をコン
ピュータシステムCs中に構築する場合は、フロッピー
ディスクドライブFDDによりプログラムをフロッピーデ
ィスクFDから読み出し、コンピュータシステムCsに
ロードする。
【0127】なお、上記説明では、データ記憶媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、データ記憶媒体は上記光ディス
クやフロッピーディスクに限るものではなく、ICカー
ド、ROMカセット等、プログラムを記録できるもので
あればどのようなものでもよく、これらのデータ記録媒
体を用いる場合でも、上記フロッピーディスク等を用い
る場合と同様にソフトウェアによる符号化処理あるいは
復号化処理を実施することができる。
【0128】
【発明の効果】以上のようにこの発明(請求項1,1
4)に係る画像処理方法によれば、各物体領域の画像信
号を処理するための個別座標における物体領域の位置を
示す領域位置情報を、該物体領域の位置を攪乱する位置
攪乱情報を付加して、各物体毎に符号化するとともに、
合成画像全体を表示するための全体座標と各物体領域に
対応する個別座標との位置関係を示す座標位置情報を、
各物体領域の位置が上記全体座標上では変動しないもの
となるよう該位置攪乱情報を付加して符号化するので、
個々の物体に対応する符号化信号を復号化しても、上記
位置攪乱情報により攪乱された物体領域の位置が得られ
るにすぎず、全体座標及び個別座標にて矩形領域の正し
い表示位置を求めることができず、これにより各物体の
画像情報の不正な再利用を困難にすることができる効果
がある。また、上記位置攪乱情報は、各物体の矩形領域
に対応する画素値ではなく、各物体の矩形領域の位置を
示す領域位置情報に埋め込んでいるため、各物体の画質
の劣化を回避できる効果もある。
【0129】この発明(請求項2,15)によれば、請
求項1記載の画像処理方法により得られる多重符号化信
号を復号化する方法であって、各物体領域に対応する画
像符号化信号に対して、上記個別座標を基準とする復号
化処理を、上記位置攪乱情報により攪乱された領域位置
情報に基づいて施して、各物体領域に対応する画像復号
化信号を生成し、上記各物体領域に対応する画像復号化
信号に対して、上記位置攪乱情報により攪乱された座標
位置情報及び領域位置情報に基づいて、上記全体座標を
基準とする合成処理を施すので、位置攪乱情報が重畳さ
れた物体符号化信号に基づいて、全体座標にて各物体の
矩形領域の正しい表示位置を求めることができ、これに
より合成画像に対応する画像信号を正しく再生すること
ができる。
【0130】この発明(請求項3,14)によれば、請
求項1記載の画像処理方法において、上記位置攪乱情報
を、入力される特定情報に基づいて該特定情報を含むよ
う生成するので、上記物体に対応する領域位置情報に特
定情報を埋め込むことができ、これにより秘密情報等の
情報を上記特定情報として、画質の劣化を招くことな
く、伝送することが可能となる。
【0131】この発明(請求項4,15)によれば、請
求項3記載の画像処理方法により得られる多重符号化信
号を復号化する方法であって、各物体領域に対応する画
像符号化信号に対して、上記個別座標を基準とする復号
化処理を、上記位置攪乱情報により攪乱された領域位置
情報に基づいて施して、各物体領域に対応する画像復号
化信号を生成し、上記各物体領域に対応する画像復号化
信号に対して、上記位置攪乱情報により攪乱された座標
位置情報及び領域位置情報に基づいて、上記全体座標を
基準とする合成処理を施し、さらに上記位置攪乱情報に
より攪乱された領域位置情報に基づいて、上記位置攪乱
情報に含まれている特定情報を抽出して出力するので、
位置攪乱情報が重畳された物体符号化信号に基づいて、
全体座標にて各物体の矩形領域の正しい表示位置を求め
ることができ、これにより合成画像に対応する画像信号
を正しく再生することができるという効果に加えて、秘
密情報等を物体符号化信号から得ることができる。
【0132】この発明(請求項5,16)に係る画像処
理方法によれば、各物体領域の画像信号を処理するため
の個別座標における物体領域の範囲を示す領域範囲情報
を、該物体領域の範囲に対する拡大量を示す範囲拡大情
報を付加して符号化するので、上記範囲拡大情報に特定
情報を重畳することにより物体に対応する領域範囲情報
に特定情報を埋め込むことができ、これにより秘密情報
等の情報を上記特定情報として画質の劣化を招くことな
く伝送することが可能となる。
【0133】この発明(請求項6,17)は、請求項5
記載の画像処理方法により得られる多重符号化信号を復
号化する方法であって、上記領域位置情報に基づいて、
上記範囲拡大情報に重畳されている特定情報を抽出して
出力するので、秘密情報等を物体符号化信号から得るこ
とができる。
【0134】この発明(請求項7)に係る画像処理装置
によれば、各物体領域の画像信号を処理するための個別
座標における物体領域の位置を攪乱するための位置攪乱
情報を生成する攪乱情報生成手段と、上記各物体領域に
対応する画像信号に、該各個別座標における各物体領域
の位置が上記位置攪乱情報に応じて変化したものとなる
よう領域シフト処理を施して領域シフト画像信号を生成
する領域シフト手段とを備え、該領域シフト画像信号を
符号化するとともに、合成画像全体を表示するための全
体座標と各物体領域に対応する個別座標との位置関係を
示す座標位置情報を、各物体領域の位置が上記全体座標
上では変動しないものとなるよう該位置攪乱情報を付加
して符号化するので、個々の物体に対応する復号化処理
により領域シフト画像信号を再生しても、上記位置攪乱
情報により攪乱された物体領域の位置が得られるにすぎ
ず、全体座標及び個別座標にて矩形領域の正しい表示位
置を求めることができず、これにより各物体の画像情報
の不正な再利用を困難にすることができる効果がある。
また、上記各物体領域に対応する画像信号に対しては、
該各個別座標における各物体領域の位置が上記位置攪乱
情報に応じて変化したものとなるよう領域シフト処理を
施しているため、各物体の画質の劣化を回避できる効果
もある。また、符号化側の装置では、位置攪乱情報を生
成する攪乱情報生成手段と、上記各物体領域に対応する
画像信号に領域シフト処理を施す領域シフト手段とを付
加するだけの簡単な回路変更により、各物体の画像情報
の不正な再利用を困難にすることができ、その実用的価
値が高い符号化装置を提供できる。
【0135】この発明(請求項8)に係る画像処理装置
によれば、各個別座標における各物体領域の位置を示す
領域位置情報に位置攪乱情報を付加して攪乱領域情報を
生成する領域情報処理手段と、合成画像全体を表示する
ための全体座標と各物体領域に対応する個別座標との位
置関係を示す座標位置情報に、上記位置攪乱情報に応じ
て該個別座標上で変動する各物体領域の位置が、上記全
体座標上では該位置攪乱情報に拘わらず変動しないもの
となるよう、上記位置攪乱情報を付加して攪乱座標情報
を生成する座標情報処理手段とを備え、攪乱座標情報の
符号化信号を合成画像に対応させて、上記攪乱領域情報
の符号化信号を各物体に対応させて送出するので、個々
の物体に対応する画像符号化信号を復号化しても、上記
位置攪乱情報により攪乱された物体領域の位置が得られ
るにすぎず、全体座標及び個別座標にて矩形領域の正し
い表示位置を求めることができず、これにより各物体の
画像情報の不正な再利用を困難にすることができる効果
がある。また、上記位置攪乱情報は各物体の矩形領域の
位置を示す領域位置情報に付加しているため、各物体の
画質の劣化を回避できる効果もある。
【0136】この発明(請求項9)に係る画像処理装置
は、請求項7あるいは8記載の画像処理装置により出力
される多重符号化信号を復号化する装置であって、各物
体領域に対応する画像符号化信号に対して、上記個別座
標を基準とする復号化処理を、上記攪乱領域情報に基づ
いて施して、各物体領域に対応する画像復号化信号を生
成する画像復号化手段と、上記各物体領域に対応する画
像復号化信号に対して、上記攪乱座標情報及び各物体領
域に対応する攪乱領域情報に基づいて、上記全体座標を
基準とする合成処理を施して、上記各物体からなる合成
画像に対応する画像信号を生成する合成手段とを備えた
ので、位置攪乱情報が重畳された物体符号化信号に基づ
いて、全体座標にて各物体の矩形領域の正しい表示位置
を求めることができ、これにより合成画像に対応する画
像信号を正しく再生することができる。
【0137】この発明(請求項10)によれば、請求項
8記載の画像処理装置において、上記攪乱情報生成手段
を、上記位置攪乱情報を、外部から入力される特定情報
に基づいて、該位置攪乱情報に該特定情報が含まれるよ
う生成する構成としたので、上記物体に対応する領域位
置情報に特定情報を埋め込むことができ、これにより秘
密情報等の情報を上記特定情報として、画質の劣化を招
くことなく、伝送することが可能となる。
【0138】この発明(請求項11)に係る画像処理装
置によれば、請求項10記載の画像処理装置により出力
される多重符号化信号を復号化する装置であって、各物
体領域に対応する画像符号化信号に対して、上記個別座
標を基準とする復号化処理を、上記攪乱領域情報に基づ
いて施して、各物体領域に対応する画像復号化信号を生
成する画像復号化手段と、上記各物体領域に対応する画
像復号化信号に対して、上記攪乱座標情報及び各物体領
域に対応する攪乱領域情報に基づいて、上記全体座標を
基準とする合成処理を施して、上記各物体からなる合成
画像に対応する画像信号を生成する合成手段と、上記攪
乱領域情報に基づいて、上記位置攪乱情報に埋め込まれ
ている特定情報を抽出して出力する情報抽出手段とを備
えたので、、位置攪乱情報が重畳された物体符号化信号
に基づいて、全体座標にて各物体の矩形領域の正しい表
示位置を求めることができ、これにより合成画像に対応
する画像信号を正しく再生することができるという効果
に加えて、秘密情報等を物体符号化信号から得ることが
できる。
【0139】この発明(請求項12)に係る画像処理装
置によれば、各個別座標における物体領域の範囲を拡大
するための拡大情報を生成する拡大情報生成手段と、上
記領域サイズ情報を、該物体領域の範囲を上記拡大情報
に応じた拡大量だけ拡大した範囲を示す拡大サイズ情報
に変換する情報処理手段とを備え、拡大サイズ情報を符
号化して各物体毎に出力するようにしたので、上記拡大
情報に特定情報を重畳することにより物体に対応するサ
イズ情報に特定情報を埋め込むことができ、これにより
秘密情報等の情報を上記特定情報として画質の劣化を招
くことなく伝送することが可能となる。
【0140】この発明(請求項13)に係る画像処理装
置によれば、請求項12記載の画像処理装置により得ら
れる多重符号化信号を復号化する装置であって、各物体
領域に対応する画像符号化信号に対して、上記個別座標
を基準とする復号化処理を、上記領域位置情報及び拡大
サイズ情報に基づいて施して、各物体領域に対応する画
像復号化信号を生成する画像復号化手段と、上記各物体
領域に対応する画像復号化信号に対して、上記座標位置
情報及び各物体領域に対応する領域位置情報に基づい
て、上記全体座標を基準とする合成処理を施して、上記
各物体からなる合成画像に対応する画像信号を生成する
合成手段と、上記拡大サイズ情報から、上記拡大情報に
埋め込まれている特定情報を抽出して出力する情報抽出
手段とを備えたので、拡大情報が重畳された物体符号化
信号を正しく復号化することができ、しかも秘密情報等
を物体符号化信号から得ることができる。
【図面の簡単な説明】
【図1】本発明の基本原理を説明するための概念図であ
る。
【図2】本発明の実施の形態1による画像符号化装置を
説明するためのブロック図である。
【図3】上記実施の形態1の画像符号化装置を構成する
第1の物体符号化器を説明するためのブロック図であ
る。
【図4】上記実施の形態1の変形例による画像符号化装
置を説明するためのブロック図であり、該画像符号化装
置を構成する物体符号化器を示している。
【図5】本発明の実施の形態2による画像符号化装置を
説明するためのブロック図であり、該画像符号化装置を
構成する物体符号化器を示している。
【図6】上記実施の形態2の変形例による画像符号化装
置を説明するためのブロック図であり、該画像符号化装
置を構成する物体符号化器を示している。
【図7】本発明の実施の形態3による画像符号化装置を
説明するためのブロック図であり、該画像符号化装置を
構成する物体符号化器を示している。
【図8】本発明の実施の形態4による画像復号化装置を
説明するためのブロック図であり、該画像復号化装置を
構成する物体復号化器を示している。
【図9】本発明の実施の形態5による符号化処理を概念
的に説明するための模式図である。
【図10】上記実施の形態5による画像符号化装置を説
明するためのブロック図であり、該画像符号化装置を構
成する物体符号化器を示している。
【図11】本発明の実施の形態6による画像復号化装置
を説明するためのブロック図であり、該画像復号化装置
を構成する物体復号化器を示している。
【図12】上記各実施の形態の符号化処理及び復号化処
理をコンピュータシステムにより実現するためのプログ
ラムを格納したデータ記憶媒体(図(a) ,(b) ))、及
び上記コンピュータシステム(図(c) )を説明するため
の図である。
【図13】従来の物体単位の符号化処理を説明するため
の説明図であり、合成画像(図(a) ),背景画像(図
(b) ),第1,第2の前景画像(図(c) ,(d) )を示し
ている。
【図14】従来の物体単位の符号化処理に用いられる符
号化パラメータについて説明するための図である。
【図15】従来の画像符号化装置を説明するためのブロ
ック図である。
【図16】従来の画像符号化装置を構成する物体符号化
器を説明するためのブロック図である。
【図17】従来の画像復号化装置を説明するためのブロ
ック図である。
【図18】従来の画像復号化装置を構成する物体復号化
器を説明するためのブロック図である。
【図19】従来の画像符号化装置を構成する物体符号化
器の他の構成を示すブロック図である。
【図20】従来の画像復号化装置を構成する物体復号化
器の他の構成を示すブロック図である。
【符号の説明】
11 領域検出器 12 領域抽出器 13,31 画像符号化器 14 位置符号化器 15 大きさ符号化器 16,T1 多重化器 19,T2 分離器 20 位置復号化器 21 大きさ復号化器 32 画像復号化器 30 メモリ 40 位置情報生成器 41 画像位置シフト器 42 加算器 50,60 秘密情報生成器 51,62 秘密情報抽出器 61 大きさ情報生成器 100 画像符号化装置 C1 合成器 Cs コンピュータシステム FD フロッピディスク FDDフロッピディスクドライブ O10,O10a,O10b,O10c,O11,O3
0,O40,O50物体符号化器 O20,O21,O60 物体復号化器 S2 シーン符号化器 S3 シーン復号化器 S4 表示位置作成器 S10 シーン作成器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) // G06F 5/00 Fターム(参考) 5C059 KK43 MA05 MB04 MB14 MB16 MB22 PP04 PP28 RC11 RC17 RC19 SS07 SS20 UA02 UA05 UA39 5C063 AA10 AB03 AB07 CA07 CA29 CA34 CA36 DA03 DA13 5C076 AA12 AA40 BA09 5C078 CA02 DA01 DA02 DB11

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 所定の合成画像を表示するための画像信
    号を、該合成画像を構成する個々の物体を含む物体領域
    毎に別々に符号化する方法であって、 上記各物体領域の画像信号を処理するための個別座標に
    おける物体領域の位置を示す領域位置情報に、該物体領
    域の位置を攪乱する位置攪乱情報を付加して攪乱領域情
    報を生成するとともに、上記各物体領域に対応する画像
    信号に対して、上記領域位置情報あるいは攪乱領域情報
    に基づいて、上記個別座標を基準とする符号化処理を施
    して各物体領域に対応する画像符号化信号を生成し、 上記攪乱領域情報を符号化して得られる攪乱領域信号と
    各物体領域に対応する画像符号化信号とを多重化して各
    物体毎に物体符号化信号として出力し、 上記合成画像全体を表示するための全体座標と各物体領
    域に対応する個別座標との位置関係を示す座標位置情報
    に、上記位置攪乱情報に応じて該個別領域上で変動する
    各物体領域の位置が、上記全体座標上では該位置攪乱情
    報に拘わらず変動しないものとなるよう、該位置攪乱情
    報を付加して攪乱座標情報を生成し、 該攪乱座標情報を符号化して得られる攪乱座標信号と各
    物体に対応する物体符号化信号とを多重化して多重符号
    化信号として出力することを特徴とする画像処理方法。
  2. 【請求項2】 請求項1記載の画像処理方法により得ら
    れる多重符号化信号を復号化する方法であって、 上記多重符号化信号を、上記攪乱座標信号と上記各物体
    に対応する物体符号化信号とに分離するとともに、該各
    物体符号化信号をそれぞれ上記攪乱領域信号と上記画像
    符号化信号とに分離し、 上記攪乱領域信号及び攪乱座標信号をそれぞれ復号化し
    て上記攪乱領域情報及び攪乱座標情報を生成し、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記攪乱領域情
    報に基づいて施して、各物体領域に対応する画像復号化
    信号を生成し、 上記各物体領域に対応する画像復号化信号に対して、上
    記攪乱座標情報及び各物体領域に対応する攪乱領域情報
    に基づいて、上記全体座標を基準とする合成処理を施し
    て、上記各物体からなる合成画像に対応する画像信号を
    生成することを特徴とする画像処理方法。
  3. 【請求項3】 請求項1記載の画像処理方法において、 上記位置攪乱情報を、入力される特定情報に基づいて該
    特定情報を含むよう生成することを特徴とする画像処理
    方法。
  4. 【請求項4】 請求項3記載の画像処理方法により得ら
    れる多重符号化信号を復号化する方法であって、 上記多重符号化信号を、上記攪乱座標信号と上記各物体
    に対応する物体符号化信号とに分離するとともに、該各
    物体符号化信号をそれぞれ上記攪乱領域信号と上記画像
    符号化信号とに分離し、 上記攪乱領域信号及び攪乱座標信号をそれぞれ復号化し
    て上記攪乱領域情報及び攪乱座標情報を生成し、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記攪乱領域情
    報に基づいて施して、各物体領域に対応する画像復号化
    信号を生成し、 上記各物体領域に対応する画像復号化信号に対して、上
    記攪乱座標情報及び各物体領域に対応する攪乱領域情報
    に基づいて、上記全体座標を基準とする合成処理を施し
    て、上記各物体からなる合成画像に対応する画像信号を
    生成し、 上記攪乱領域情報に基づいて、上記位置攪乱情報に含ま
    れている特定情報を抽出して出力することを特徴とする
    画像処理方法。
  5. 【請求項5】 所定の合成画像を表示するための画像信
    号を、該合成画像を構成する個々の物体を含む物体領域
    毎に別々に符号化する方法であって、 上記各物体領域の画像信号を処理するための個別座標に
    おける物体領域の範囲を示す領域範囲情報に、該物体領
    域の範囲に対する拡大量を示す範囲拡大情報を付加して
    拡大領域情報を生成し、 上記拡大量に応じてその範囲が拡大された物体領域に対
    応する画像信号に対して、上記各個別座標における物体
    領域の位置を示す領域位置情報に基づいて、上記個別座
    標を基準とする符号化処理を施して、該各物体領域に対
    応する画像符号化信号を生成し、 上記領域位置情報を符号化して得られる領域位置信号
    と、上記拡大領域情報を符号化して得られる拡大領域信
    号と、各物体領域に対応する画像符号化信号とを多重化
    して各物体毎に物体符号化信号として出力し、 上記合成画像全体を表示するための全体座標と各物体領
    域に対する個別座標との位置関係を示す座標位置情報を
    符号化して得られる座標位置信号と、各物体に対応する
    物体符号化信号とを多重化して多重符号化信号として出
    力することを特徴とする画像処理方法。
  6. 【請求項6】 請求項5記載の画像処理方法により得ら
    れる多重符号化信号を復号化する方法であって、 上記多重符号化信号を、上記座標位置信号と各物体に対
    応する物体符号化信号とに分離するとともに、該各物体
    符号化信号を上記領域位置信号と上記拡大領域信号と上
    記画像符号化信号とに分離し、 上記座標位置信号,領域位置信号及び拡大領域信号をそ
    れぞれ復号化して上記座標位置情報,領域位置情報及び
    拡大領域情報を生成し、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記領域位置情
    報及び拡大領域情報に基づいて施して、各物体領域に対
    応する画像復号化信号を生成し、 該各物体領域に対応する画像復号化信号に対して、上記
    座標位置情報及び各物体領域の領域位置情報に基づい
    て、上記全体座標を基準とする合成処理を施して、上記
    各物体からなる合成画像に対応する画像信号を生成し、 上記拡大領域情報に基づいて、上記範囲拡大情報に埋め
    込まれている特定情報を抽出して出力することを特徴と
    する画像処理方法。
  7. 【請求項7】 所定の合成画像を表示するための画像信
    号を、該合成画像を構成する個々の物体を含む物体領域
    毎に別々に符号化する装置であって、 上記各物体領域の画像信号を処理するための個別座標に
    おける物体領域の位置を攪乱するための位置攪乱情報を
    生成する攪乱情報生成手段と、 上記各物体領域に対応する画像信号に、該各個別座標に
    おける各物体領域の位置が上記位置攪乱情報に応じて変
    化したものとなるよう領域シフト処理を施して領域シフ
    ト画像信号を生成する領域シフト手段と、 上記各物体領域に対応する領域シフト画像信号に基づい
    て、上記各個別座標における物体領域の位置を示す攪乱
    領域情報を検出する領域検出手段と、 上記各物体領域に対応する領域シフト画像信号に対し
    て、上記攪乱領域情報に基づいて、上記個別座標を基準
    とする符号化処理を施して各物体領域に対応する画像符
    号化信号を生成する画像符号化手段と、 上記攪乱領域情報を符号化して得られる攪乱領域信号と
    各物体領域に対応する画像符号化信号とを多重化して各
    物体毎に物体符号化信号として出力する多重化器と、 上記合成画像全体を表示するための全体座標と各物体領
    域に対応する個別座標との位置関係を示す座標位置情報
    に、上記位置攪乱情報に応じて該個別座標上で変動する
    各物体領域の位置が、上記全体座標上では該位置攪乱情
    報に拘わらず変動しないものとなるよう、上記位置攪乱
    情報を付加して攪乱座標情報を生成する座標情報生成手
    段と、 該攪乱座標情報を符号化して得られる攪乱座標信号と各
    物体に対応する物体符号化信号とを多重化して多重符号
    化信号として出力する多重化手段とを備えたことを特徴
    とする画像処理装置。
  8. 【請求項8】 所定の合成画像を表示するための画像信
    号を、該合成画像を構成する個々の物体を含む物体領域
    毎に別々に符号化する装置であって、 上記各物体領域の画像信号を処理するための個別座標に
    おける物体領域の位置を攪乱するための位置攪乱情報を
    生成する攪乱情報生成手段と、 上記各物体領域に対応する画像信号に基づいて、上記各
    個別座標における各物体領域の位置を示す領域位置情報
    を検出する領域検出手段と、 上記領域位置情報に上記位置攪乱情報を付加して攪乱領
    域情報を生成する領域情報処理手段と、 上記各物体領域に対応する画像信号に対して、上記領域
    位置情報に基づいて、上記個別座標を基準とする符号化
    処理を施して各物体領域に対応する画像符号化信号を生
    成する画像符号化手段と、 上記攪乱領域情報を符号化して得られる攪乱領域信号と
    各物体領域に対応する画像符号化信号とを多重化して各
    物体毎に物体符号化信号として出力する多重化器と、 上記合成画像全体を表示するための全体座標と各物体領
    域に対応する個別座標との位置関係を示す座標位置情報
    に、上記位置攪乱情報に応じて該個別座標上で変動する
    各物体領域の位置が、上記全体座標上では該位置攪乱情
    報に拘わらず変動しないものとなるよう、上記位置攪乱
    情報を付加して攪乱座標情報を生成する座標情報処理手
    段と、 該攪乱座標情報を符号化して得られる攪乱座標信号と各
    物体に対応する物体符号化信号とを多重化して多重符号
    化信号として出力する多重化手段とを備えたことを特徴
    とする画像処理装置。
  9. 【請求項9】 請求項7あるいは8記載の画像処理装置
    により出力される多重符号化信号を復号化する装置であ
    って、 上記多重符号化信号を、上記攪乱座標信号と上記各物体
    に対応する物体符号化信号とに分離する分離手段と、 該各物体符号化信号をそれぞれ上記攪乱領域信号と上記
    画像符号化信号とに分離する分離器と、 上記攪乱領域信号及び攪乱座標信号をそれぞれ復号化し
    て上記攪乱領域情報及び攪乱座標情報を生成する情報復
    号化手段と、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記攪乱領域情
    報に基づいて施して、各物体領域に対応する画像復号化
    信号を生成する画像復号化手段と、 上記各物体領域に対応する画像復号化信号に対して、上
    記攪乱座標情報及び各物体領域に対応する攪乱領域情報
    に基づいて、上記全体座標を基準とする合成処理を施し
    て、上記各物体からなる合成画像に対応する画像信号を
    生成する合成手段とを備えたことを特徴とする画像処理
    装置。
  10. 【請求項10】 請求項8記載の画像処理装置におい
    て、 上記攪乱情報生成手段を、上記位置攪乱情報を、外部か
    ら入力される特定情報に基づいて、該位置攪乱情報に該
    特定情報が含まれるよう生成する構成としたことを特徴
    とする画像処理装置。
  11. 【請求項11】 請求項10記載の画像処理装置により
    出力される多重符号化信号を復号化する装置であって、 上記多重符号化信号を、上記攪乱座標信号と上記各物体
    に対応する物体符号化信号とに分離する分離手段と、 該各物体符号化信号をそれぞれ上記攪乱領域信号と上記
    画像符号化信号とに分離する分離器と、 上記攪乱領域信号及び攪乱座標信号をそれぞれ復号化し
    て上記攪乱領域情報及び攪乱座標情報を生成する情報復
    号化手段と、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記攪乱領域情
    報に基づいて施して、各物体領域に対応する画像復号化
    信号を生成する画像復号化手段と、 上記各物体領域に対応する画像復号化信号に対して、上
    記攪乱座標情報及び各物体領域に対応する攪乱領域情報
    に基づいて、上記全体座標を基準とする合成処理を施し
    て、上記各物体からなる合成画像に対応する画像信号を
    生成する合成手段と、 上記攪乱領域情報に基づいて、上記位置攪乱情報に埋め
    込まれている特定情報を抽出して出力する情報抽出手段
    を備えたことを特徴とする画像処理装置。
  12. 【請求項12】 所定の合成画像を表示するための画像
    信号を、該合成画像を構成する個々の物体を含む物体領
    域毎に別々に符号化する装置であって、 上記各物体領域に対応する画像信号に基づいて、上記各
    個別座標における各物体領域の位置を示す領域位置情
    報、及び該物体領域の範囲を示す領域サイズ情報を検出
    する領域検出手段と、 上記各個別座標における物体領域の範囲を拡大するため
    の拡大情報を生成する拡大情報生成手段と、 上記領域サイズ情報を、該物体領域の範囲を上記拡大情
    報に応じた拡大量だけ拡大した範囲を示す拡大サイズ情
    報に変換する情報処理手段と、 上記各物体領域に対応する画像信号に対して、上記領域
    位置情報及び拡大サイズ情報に基づいて、上記個別座標
    を基準とする符号化処理を施して各物体領域に対応する
    画像符号化信号を生成する画像符号化手段と、 上記領域位置情報及び拡大サイズ情報を符号化して得ら
    れる領域位置信号及び拡大サイズ信号と各物体領域に対
    応する画像符号化信号とを多重化して各物体毎に物体符
    号化信号として出力する多重化器と、 上記合成画像全体を表示するための全体座標と各物体領
    域に対応する個別座標との位置関係を示す座標位置情報
    を符号化して得られる座標位置信号と、各物体に対応す
    る物体符号化信号とを多重化して多重符号化信号として
    出力する多重化手段とを備えたことを特徴とする画像処
    理装置。
  13. 【請求項13】 請求項12記載の画像処理装置により
    得られる多重符号化信号を復号化する装置であって、 上記多重符号化信号を、上記座標位置信号と上記各物体
    に対応する物体符号化信号とに分離する分離手段と、 該各物体符号化信号をそれぞれ上記領域位置信号と上記
    拡大サイズ信号と上記画像符号化信号とに分離する分離
    器と、 上記領域位置信号,拡大サイズ信号及び座標位置信号を
    それぞれ復号化して上記領域位置情報,拡大サイズ情報
    及び座標位置情報を生成する復号化手段と、 上記各物体領域に対応する画像符号化信号に対して、上
    記個別座標を基準とする復号化処理を、上記領域位置情
    報及び拡大サイズ情報に基づいて施して、各物体領域に
    対応する画像復号化信号を生成する画像復号化手段と、 上記各物体領域に対応する画像復号化信号に対して、上
    記座標位置情報及び各物体領域に対応する領域位置情報
    に基づいて、上記全体座標を基準とする合成処理を施し
    て、上記各物体からなる合成画像に対応する画像信号を
    生成する合成手段と、 上記拡大サイズ情報に基づいて、上記拡大情報に埋め込
    まれている特定情報を抽出して出力する情報抽出手段を
    備えたことを特徴とする画像処理装置。
  14. 【請求項14】 画像処理プログラムを格納したデータ
    記憶媒体であって、 上記画像処理プログラムは、請求項1または3記載の画
    像処理方法による画像信号の符号化処理をコンピュータ
    に行わせるための符号化処理プログラムであることを特
    徴とするデータ記憶媒体。
  15. 【請求項15】 画像処理プログラムを格納したデータ
    記憶媒体であって、 上記画像処理プログラムは、請求項2または4記載の画
    像処理方法による画像符号化信号の復号化処理をコンピ
    ュータに行わせるための復号化処理プログラムであるこ
    とを特徴とするデータ記憶媒体。
  16. 【請求項16】 画像処理プログラムを格納したデータ
    記憶媒体であって、 上記画像処理プログラムは、請求項5記載の画像処理方
    法による画像信号の符号化処理をコンピュータに行わせ
    るための符号化処理プログラムであることを特徴とする
    データ記憶媒体。
  17. 【請求項17】 画像処理プログラムを格納したデータ
    記憶媒体であって、 上記画像処理プログラムは、請求項6記載の画像処理方
    法による画像符号化信号の復号化処理をコンピュータに
    行わせるための復号化処理プログラムであることを特徴
    とするデータ記憶媒体。
JP33274998A 1998-11-24 1998-11-24 画像処理方法,画像処理装置およびデータ記憶媒体 Pending JP2000165641A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP33274998A JP2000165641A (ja) 1998-11-24 1998-11-24 画像処理方法,画像処理装置およびデータ記憶媒体
US09/447,222 US6643414B1 (en) 1998-11-24 1999-11-23 Image processing method, image processing apparatus, and data storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33274998A JP2000165641A (ja) 1998-11-24 1998-11-24 画像処理方法,画像処理装置およびデータ記憶媒体

Publications (1)

Publication Number Publication Date
JP2000165641A true JP2000165641A (ja) 2000-06-16

Family

ID=18258434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33274998A Pending JP2000165641A (ja) 1998-11-24 1998-11-24 画像処理方法,画像処理装置およびデータ記憶媒体

Country Status (2)

Country Link
US (1) US6643414B1 (ja)
JP (1) JP2000165641A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1305292C (zh) * 2003-09-15 2007-03-14 北京中星微电子有限公司 对连续图像帧间偏移的估计方法
JP2011238986A (ja) * 2010-04-30 2011-11-24 Canon Inc 画像処理装置、画像処理方法、プログラム、および記憶媒体
JP2022501902A (ja) * 2018-09-19 2022-01-06 中興通訊股▲ふん▼有限公司Zte Corporation 画像処理方法、装置、システム、ネットワーク機器、端末及びコンピュータプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4225752B2 (ja) * 2002-08-13 2009-02-18 富士通株式会社 データ埋め込み装置,データ取り出し装置
JP2006033755A (ja) * 2004-07-21 2006-02-02 Fuji Xerox Co Ltd 画像処理装置
EP1794752B1 (en) * 2004-09-22 2010-11-10 Koninklijke Philips Electronics N.V. Method of generating verification data
CN1925662A (zh) * 2005-09-02 2007-03-07 华为技术有限公司 共存性基站搜集终端受干扰状态信息的方法
FR2959636B1 (fr) * 2010-04-28 2012-07-13 Canon Kk Procede d'acces a une partie spatio-temporelle d'une sequence video d'images
US11250585B2 (en) * 2014-04-25 2022-02-15 Sony Corporation Information processing device, information processing method, and computer program
JP6998554B2 (ja) * 2017-09-12 2022-01-18 パナソニックIpマネジメント株式会社 画像生成装置及び画像生成方法
EP4047546A1 (en) 2021-02-19 2022-08-24 Electrolux Appliances Aktiebolag Method, apparatus and computing device for compensating disturbing objects in an image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5839357B2 (ja) * 1976-01-26 1983-08-29 株式会社日立製作所 パタ−ンの位置検出方法
JPS56132505A (en) * 1980-03-24 1981-10-16 Hitachi Ltd Position detecting method
US5119442A (en) * 1990-12-19 1992-06-02 Pinnacle Systems Incorporated Real time digital video animation using compressed pixel mappings
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5748804A (en) * 1992-05-14 1998-05-05 United Parcel Service Of America, Inc. Method and apparatus for processing images with symbols with dense edges
US5793371A (en) * 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US6104840A (en) * 1996-11-08 2000-08-15 Ricoh Company, Ltd. Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes
US6078700A (en) * 1997-03-13 2000-06-20 Sarachik; Karen B. Method and apparatus for location and inspecting a two-dimensional image including co-linear features
JPH10327410A (ja) 1997-05-23 1998-12-08 Matsushita Electric Ind Co Ltd 画像伝送用データ構造,符号化方法及び復号化方法
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1305292C (zh) * 2003-09-15 2007-03-14 北京中星微电子有限公司 对连续图像帧间偏移的估计方法
JP2011238986A (ja) * 2010-04-30 2011-11-24 Canon Inc 画像処理装置、画像処理方法、プログラム、および記憶媒体
JP2022501902A (ja) * 2018-09-19 2022-01-06 中興通訊股▲ふん▼有限公司Zte Corporation 画像処理方法、装置、システム、ネットワーク機器、端末及びコンピュータプログラム
JP7425788B2 (ja) 2018-09-19 2024-01-31 中興通訊股▲ふん▼有限公司 画像処理方法、装置、システム、ネットワーク機器、端末及びコンピュータプログラム

Also Published As

Publication number Publication date
US6643414B1 (en) 2003-11-04

Similar Documents

Publication Publication Date Title
US6785332B1 (en) Method for marking a compressed digital video signal
CA2559131C (en) Stereoscopic parameter embedding apparatus and stereoscopic image reproducer
US6810131B2 (en) Information processing method and apparatus
CN102144237B (zh) 压缩媒体的有效水印方法
US6674874B1 (en) Data processing apparatus and method and storage medium
US6690724B1 (en) Image processing method, image processing device, and data recording medium
KR100636606B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
EP1079610B1 (en) Moving-picture processing method, and apparatus therefor
KR101018223B1 (ko) 복사 방지용 방법 및 시스템
US6480630B1 (en) Encoding and decoding different resolution video signals for display on plural units
CN102045578B (zh) 图像处理设备和图像处理方法
US5532752A (en) Character image encoding/decoding system
JP2000165641A (ja) 画像処理方法,画像処理装置およびデータ記憶媒体
KR100647022B1 (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 정보 처리 장치 및 정보 처리 방법 및 제공 매체
US7848416B2 (en) Video signal encoding apparatus and video data encoding method
JPH11252559A (ja) 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体
EP1255249B2 (en) Decoder, decoding method and decoding program embodied on computer-readable medium
JP3880338B2 (ja) データ処理装置、データ処理方法、コンピュータ可読記録媒体及びデータ処理プログラム
JP5667773B2 (ja) 情報作成装置及びその制御方法
US20100309373A1 (en) Processing high definition video data
JP2004080094A (ja) 情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体
JP2006121460A (ja) 電子透かしの埋め込み方法および抽出方法
US6959043B2 (en) Video decoding method, video decoding apparatus, and video decoding program storage medium
JP2006129463A (ja) 立体視化パラメータ記憶媒体
JP2001203991A (ja) データ処理方法及び装置