JP2000175163A - 画像伝送方式 - Google Patents
画像伝送方式Info
- Publication number
- JP2000175163A JP2000175163A JP34912398A JP34912398A JP2000175163A JP 2000175163 A JP2000175163 A JP 2000175163A JP 34912398 A JP34912398 A JP 34912398A JP 34912398 A JP34912398 A JP 34912398A JP 2000175163 A JP2000175163 A JP 2000175163A
- Authority
- JP
- Japan
- Prior art keywords
- object image
- information
- block
- shape plane
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像データ中に暗号情報を隠匿して伝送する
場合、入力画像データに直接暗号情報を埋め込むと、画
像の劣化が生じると共に符号化において情報欠落が生じ
る。 【解決手段】 領域指定器４６はオブジェクトの輪郭部
分を含むブロックを指定すると共に、空き領域部分のブ
ロックを指定するブロック指定信号を生成してオブジェ
クト画像符号化器４３に供給する。オブジェクト画像符
号化器４３は、上記のブロック指定信号に基づいて、暗
号発生器４５から入力されている暗号情報をブロックの
空き領域に内挿して符号化処理を行い、符号化データを
出力する。一方、形状平面符号化器４４は、入力された
形状平面の情報の符号化処理を行い、符号化データを出
力する。復号化する際には暗号情報を抽出し、オブジェ
クト画像の輪郭内部のみを表示するように構成したの
で、画像だけでなく、簡単に暗号情報の伝送を実現する
ことができる。
場合、入力画像データに直接暗号情報を埋め込むと、画
像の劣化が生じると共に符号化において情報欠落が生じ
る。 【解決手段】 領域指定器４６はオブジェクトの輪郭部
分を含むブロックを指定すると共に、空き領域部分のブ
ロックを指定するブロック指定信号を生成してオブジェ
クト画像符号化器４３に供給する。オブジェクト画像符
号化器４３は、上記のブロック指定信号に基づいて、暗
号発生器４５から入力されている暗号情報をブロックの
空き領域に内挿して符号化処理を行い、符号化データを
出力する。一方、形状平面符号化器４４は、入力された
形状平面の情報の符号化処理を行い、符号化データを出
力する。復号化する際には暗号情報を抽出し、オブジェ
クト画像の輪郭内部のみを表示するように構成したの
で、画像だけでなく、簡単に暗号情報の伝送を実現する
ことができる。
Description
【０００１】
【発明の属する技術分野】本発明は画像伝送方式に係
り、特に画像に暗号情報を付加して伝送する画像伝送方
式に関する。
り、特に画像に暗号情報を付加して伝送する画像伝送方
式に関する。
【０００２】
【従来の技術】近年、数十ｋｂｐｓ程度までの超低ビッ
トレートでのビデオ、オーディオ符号化を可能とするＭ
ＰＥＧ４（Moving Picture Experts Group４）が検討さ
れているが、このＭＰＥＧ４に代表される形状符号化方
式は、画面内にあるオブジェクトを任意形状に分解し、
別々に符号化する技術である。例えば、図４に示すよう
に、符号化側１ではカメラの被写体である人物２、文字
３、背景画像４を画面を構成する複数のオブジェクトと
して分離し、それぞれの情報を符号化器５、６及び７で
個別に符号化し、同時に各オブジェクトの位置や形状を
表す形状情報も符号化し、これらの符号化データを多重
化器８で多重化して伝送する。
トレートでのビデオ、オーディオ符号化を可能とするＭ
ＰＥＧ４（Moving Picture Experts Group４）が検討さ
れているが、このＭＰＥＧ４に代表される形状符号化方
式は、画面内にあるオブジェクトを任意形状に分解し、
別々に符号化する技術である。例えば、図４に示すよう
に、符号化側１ではカメラの被写体である人物２、文字
３、背景画像４を画面を構成する複数のオブジェクトと
して分離し、それぞれの情報を符号化器５、６及び７で
個別に符号化し、同時に各オブジェクトの位置や形状を
表す形状情報も符号化し、これらの符号化データを多重
化器８で多重化して伝送する。
【０００３】このようにして伝送された多重符号化デー
タは、復号化側９に伝送される。復号化側９では、分離
器１０で入力多重符号化データをオブジェクト毎の符号
化データ及び形状情報に分解され、オブジェクト毎の符
号化データはそれぞれ復号化器１１、１２及び１３で復
号化される。復号化された各オブジェクトは形状情報に
基づいて画面を構成するように合成器１４で合成され、
画面１５として表示される。
タは、復号化側９に伝送される。復号化側９では、分離
器１０で入力多重符号化データをオブジェクト毎の符号
化データ及び形状情報に分解され、オブジェクト毎の符
号化データはそれぞれ復号化器１１、１２及び１３で復
号化される。復号化された各オブジェクトは形状情報に
基づいて画面を構成するように合成器１４で合成され、
画面１５として表示される。
【０００４】図５は任意形状で取り出された１オブジェ
クトを符号化する従来の符号化部の一例のブロック図、
図６は図５に示した符号化部に対応した従来の復号化部
の一例のブロック図を示す。まず、図５の符号化部にお
いて、オブジェクト毎に取り出された任意形状の画像、
例えば図７（Ａ）に示す円と平行四辺形で構成されるオ
ブジェクトに対して、点線で示されるブロックで囲まれ
た領域のオブジェクト画像が、入力端子２１を介してオ
ブジェクト画像符号化器２３に入力されて符号化され
る。一方、オブジェクトの形状、位置を表す形状平面
が、入力端子２２を介して形状平面符号化器２４に入力
されて符号化される。
クトを符号化する従来の符号化部の一例のブロック図、
図６は図５に示した符号化部に対応した従来の復号化部
の一例のブロック図を示す。まず、図５の符号化部にお
いて、オブジェクト毎に取り出された任意形状の画像、
例えば図７（Ａ）に示す円と平行四辺形で構成されるオ
ブジェクトに対して、点線で示されるブロックで囲まれ
た領域のオブジェクト画像が、入力端子２１を介してオ
ブジェクト画像符号化器２３に入力されて符号化され
る。一方、オブジェクトの形状、位置を表す形状平面
が、入力端子２２を介して形状平面符号化器２４に入力
されて符号化される。
【０００５】上記のオブジェクト画像符号化器２３及び
形状平面符号化器２４からそれぞれ取り出された符号化
データは、多重化器２５で多重化された後、端子２６を
介して伝送路へ送出される。例えば、形状平面の一例を
図７に示すと、図７（Ａ）のオブジェクトに対して、形
状平面は同図（Ｂ）に示されるように太枠の画面内部に
おいて、オブジェクトの輪郭とその内側に対応する画素
のみを表示するような形状の状態を表す。
形状平面符号化器２４からそれぞれ取り出された符号化
データは、多重化器２５で多重化された後、端子２６を
介して伝送路へ送出される。例えば、形状平面の一例を
図７に示すと、図７（Ａ）のオブジェクトに対して、形
状平面は同図（Ｂ）に示されるように太枠の画面内部に
おいて、オブジェクトの輪郭とその内側に対応する画素
のみを表示するような形状の状態を表す。
【０００６】最も簡単な例としては、表示する画素を
１、表示しない画素を０の２値で指定するビットマップ
表現が挙げられる。また、オブジェクトと背景との隣接
部分を滑らかにつないだり、複数のオブジェクト同士を
重ね合わせる場合には、多値のグレースケールを重みと
して利用する方法も挙げられる。
１、表示しない画素を０の２値で指定するビットマップ
表現が挙げられる。また、オブジェクトと背景との隣接
部分を滑らかにつないだり、複数のオブジェクト同士を
重ね合わせる場合には、多値のグレースケールを重みと
して利用する方法も挙げられる。
【０００７】図４の符号化部より出力された符号化デー
タは、図５の復号化器の入力端子３１を介して分離器３
２に入力され、ここでオブジェクト及び形状平面の符号
化データに分離され、オブジェクトの符号化データはオ
ブジェクト画像復号化器３３に入力されてオブジェクト
画像に復号化され、形状平面の符号化データは形状平面
復号化器３４に入力されて形状平面に復号化される。
タは、図５の復号化器の入力端子３１を介して分離器３
２に入力され、ここでオブジェクト及び形状平面の符号
化データに分離され、オブジェクトの符号化データはオ
ブジェクト画像復号化器３３に入力されてオブジェクト
画像に復号化され、形状平面の符号化データは形状平面
復号化器３４に入力されて形状平面に復号化される。
【０００８】オブジェクト画像復号化器３３から取り出
されたオブジェクト画像と、形状平面復号化器３４から
取り出された形状平面とは表示合成器３５に供給され、
形状平面の情報に基づいて、図７（Ｃ）に示すように、
オブジェクトの輪郭及び内部部分のみが表示される画像
として端子３６へ出力される。
されたオブジェクト画像と、形状平面復号化器３４から
取り出された形状平面とは表示合成器３５に供給され、
形状平面の情報に基づいて、図７（Ｃ）に示すように、
オブジェクトの輪郭及び内部部分のみが表示される画像
として端子３６へ出力される。
【０００９】
【発明が解決しようとする課題】しかるに、図５に示し
た符号化部と図６に示した復号化部からなる従来の画像
伝送方式では、画像データ中に暗号情報を隠匿して伝送
する場合、入力画像データに直接暗号情報を埋め込む
と、画像の劣化が生じると共に符号化において情報欠落
が生じるという問題がある。
た符号化部と図６に示した復号化部からなる従来の画像
伝送方式では、画像データ中に暗号情報を隠匿して伝送
する場合、入力画像データに直接暗号情報を埋め込む
と、画像の劣化が生じると共に符号化において情報欠落
が生じるという問題がある。
【００１０】本発明は以上の点に鑑みなされたもので、
画像の劣化を生じさせることなく、暗号情報を画像に付
加して伝送し得る画像伝送方式を提供することを目的と
する。
画像の劣化を生じさせることなく、暗号情報を画像に付
加して伝送し得る画像伝送方式を提供することを目的と
する。
【００１１】また、本発明の他の目的は、画像情報の欠
落を生じさせることなく、暗号情報を画像に付加して伝
送し得る画像伝送方式を提供することにある。
落を生じさせることなく、暗号情報を画像に付加して伝
送し得る画像伝送方式を提供することにある。
【００１２】
【課題を解決するための手段】本発明は上記の目的を達
成するため、任意形状で取り出されたオブジェクト画像
の形状を表す形状平面の情報を符号化する形状平面符号
化器と、暗号情報を発生する暗号発生器と、オブジェク
ト画像と形状平面の情報とがそれぞれ同期して入力さ
れ、形状平面の情報に基づきオブジェクト画像の輪郭領
域を含むブロックを検出し、その検出ブロック以外のブ
ロックを指定する領域指定信号を生成する領域指定器
と、領域指定器に入力されるオブジェクト画像と領域指
定器からの領域指定信号とを入力として受け、オブジェ
クト画像中の領域指定信号により指定された領域に暗号
発生器からの暗号情報を内挿した後、オブジェクト画像
をブロック単位で符号化するオブジェクト画像符号化器
と、オブジェクト画像符号化器から取り出された、暗号
情報が内挿されたオブジェクト画像の符号化データと、
形状平面符号化器から取り出された形状平面の符号化デ
ータとをそれぞれ多重化して多重化データを伝送路へ送
出する多重化器と、伝送路を通して多重化データを受
け、暗号情報が内挿されたオブジェクト画像の符号化デ
ータと、形状平面の符号化データとに分離する分離器
と、分離器により分離された形状平面の符号化データを
復号化する形状平面復号化器と、形状平面復号化器より
取り出された形状平面の情報に基づき、オブジェクト画
像の輪郭部分を含むブロックを検出し、その検出ブロッ
ク以外のブロックを暗号情報が内挿されているブロック
として示す帰還信号を生成する領域検出器と、分離器に
より分離された暗号情報が内挿されたオブジェクト画像
の符号化データと帰還信号とを入力として受け、暗号情
報が内挿されたオブジェクト画像の符号化データから帰
還信号に基づき符号化されている暗号情報を抽出すると
共に、オブジェクト画像の符号化データを復号化するオ
ブジェクト画像復号化器と、オブジェクト画像復号化器
により抽出された、符号化されている暗号情報を復号化
する暗号復号化器と、形状平面復号化器から取り出され
た形状平面の情報に基づき、オブジェクト画像復号化器
から取り出されたオブジェクト画像の表示領域を設定す
る表示合成器とを有する構成としたものである。
成するため、任意形状で取り出されたオブジェクト画像
の形状を表す形状平面の情報を符号化する形状平面符号
化器と、暗号情報を発生する暗号発生器と、オブジェク
ト画像と形状平面の情報とがそれぞれ同期して入力さ
れ、形状平面の情報に基づきオブジェクト画像の輪郭領
域を含むブロックを検出し、その検出ブロック以外のブ
ロックを指定する領域指定信号を生成する領域指定器
と、領域指定器に入力されるオブジェクト画像と領域指
定器からの領域指定信号とを入力として受け、オブジェ
クト画像中の領域指定信号により指定された領域に暗号
発生器からの暗号情報を内挿した後、オブジェクト画像
をブロック単位で符号化するオブジェクト画像符号化器
と、オブジェクト画像符号化器から取り出された、暗号
情報が内挿されたオブジェクト画像の符号化データと、
形状平面符号化器から取り出された形状平面の符号化デ
ータとをそれぞれ多重化して多重化データを伝送路へ送
出する多重化器と、伝送路を通して多重化データを受
け、暗号情報が内挿されたオブジェクト画像の符号化デ
ータと、形状平面の符号化データとに分離する分離器
と、分離器により分離された形状平面の符号化データを
復号化する形状平面復号化器と、形状平面復号化器より
取り出された形状平面の情報に基づき、オブジェクト画
像の輪郭部分を含むブロックを検出し、その検出ブロッ
ク以外のブロックを暗号情報が内挿されているブロック
として示す帰還信号を生成する領域検出器と、分離器に
より分離された暗号情報が内挿されたオブジェクト画像
の符号化データと帰還信号とを入力として受け、暗号情
報が内挿されたオブジェクト画像の符号化データから帰
還信号に基づき符号化されている暗号情報を抽出すると
共に、オブジェクト画像の符号化データを復号化するオ
ブジェクト画像復号化器と、オブジェクト画像復号化器
により抽出された、符号化されている暗号情報を復号化
する暗号復号化器と、形状平面復号化器から取り出され
た形状平面の情報に基づき、オブジェクト画像復号化器
から取り出されたオブジェクト画像の表示領域を設定す
る表示合成器とを有する構成としたものである。
【００１３】この発明では、符号化部において任意形状
で取り出されたオブジェクト画像の中で空き領域部分を
含むブロックを検出して、その空き領域部分に暗号情報
を内挿して符号化し、復号化部においてこの符号化デー
タを復号化する際には暗号情報を抽出し、オブジェクト
画像の輪郭内部のみを表示することができる。
で取り出されたオブジェクト画像の中で空き領域部分を
含むブロックを検出して、その空き領域部分に暗号情報
を内挿して符号化し、復号化部においてこの符号化デー
タを復号化する際には暗号情報を抽出し、オブジェクト
画像の輪郭内部のみを表示することができる。
【００１４】なお、上記領域指定器は、形状平面の情報
に基づきオブジェクト画像の輪郭領域を含むブロックを
検出し、その検出ブロックの中からオブジェクト画像が
ブロック内で占める面積（画素数）がしきい値を越えた
か否かにより、暗号情報を隠匿するブロックであるか否
かを指定する信号を領域指定信号として出力し、オブジ
ェクト画像符号化器は、領域指定信号に基づいて検出し
た暗号情報を隠匿するブロック中の空き領域に暗号情報
を内挿し、上記領域検出器は、形状平面復号化器より取
り出された形状平面の情報に基づき、オブジェクト画像
の輪郭部分を含むブロックを検出し、その検出ブロック
に基づいて帰還信号を生成し、オブジェクト画像復号化
器は、オブジェクト画像の符号化データを復号すると共
に、帰還信号に基づいて検出したブロックの復号画像が
ブロック内で占める面積（画素数）がしきい値を越えた
か否かにより、そのブロック中の空き領域の情報が暗号
情報か否か判別するようにしてもよい。
に基づきオブジェクト画像の輪郭領域を含むブロックを
検出し、その検出ブロックの中からオブジェクト画像が
ブロック内で占める面積（画素数）がしきい値を越えた
か否かにより、暗号情報を隠匿するブロックであるか否
かを指定する信号を領域指定信号として出力し、オブジ
ェクト画像符号化器は、領域指定信号に基づいて検出し
た暗号情報を隠匿するブロック中の空き領域に暗号情報
を内挿し、上記領域検出器は、形状平面復号化器より取
り出された形状平面の情報に基づき、オブジェクト画像
の輪郭部分を含むブロックを検出し、その検出ブロック
に基づいて帰還信号を生成し、オブジェクト画像復号化
器は、オブジェクト画像の符号化データを復号すると共
に、帰還信号に基づいて検出したブロックの復号画像が
ブロック内で占める面積（画素数）がしきい値を越えた
か否かにより、そのブロック中の空き領域の情報が暗号
情報か否か判別するようにしてもよい。
【００１５】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図１は本発明になる画像伝送方
式の符号化部の一実施の形態のブロック図、図２は本発
明になる画像伝送方式の復号化部の一実施の形態のブロ
ック図を示す。図１に示す符号化部は、入力端子４１を
介して入力されるオブジェクト画像をブロック単位で符
号化するオブジェクト画像符号化部４３と、入力端子４
２を介して入力されるオブジェクトの形状を表す形状平
面の情報を符号化する形状平面符号化部４４と、暗号情
報を発生する暗号発生部４５と、暗号情報をオブジェク
ト画像に挿入する領域を指定する領域指定部４６と、オ
ブジェクト画像符号化部４３及び形状符号化部４４の両
出力符号化データを多重化して端子４８へ出力する多重
化部４７とより構成されている。この図１に示す符号化
部は、図５に示した従来の符号化部と比べると、暗号発
生部４５及び領域指定部４６が更に設けられている点が
異なる。
て図面と共に説明する。図１は本発明になる画像伝送方
式の符号化部の一実施の形態のブロック図、図２は本発
明になる画像伝送方式の復号化部の一実施の形態のブロ
ック図を示す。図１に示す符号化部は、入力端子４１を
介して入力されるオブジェクト画像をブロック単位で符
号化するオブジェクト画像符号化部４３と、入力端子４
２を介して入力されるオブジェクトの形状を表す形状平
面の情報を符号化する形状平面符号化部４４と、暗号情
報を発生する暗号発生部４５と、暗号情報をオブジェク
ト画像に挿入する領域を指定する領域指定部４６と、オ
ブジェクト画像符号化部４３及び形状符号化部４４の両
出力符号化データを多重化して端子４８へ出力する多重
化部４７とより構成されている。この図１に示す符号化
部は、図５に示した従来の符号化部と比べると、暗号発
生部４５及び領域指定部４６が更に設けられている点が
異なる。
【００１６】また、図２に示す復号化部は、入力端子５
１を介して入力される多重化データを前記のオブジェク
ト画像の符号化データと形状平面の符号化データに分離
する分離器５２と、オブジェクト画像の符号化データを
復号化するオブジェクト画像復号化器５３と、形状平面
の符号化データを復号化する形状平面復号化器５４と、
オブジェクト画像に隠匿されている暗号情報領域を検出
する領域検出器５５と、暗号情報を復号化する暗号復号
化器５６と、復号化されたオブジェクト画像を復号化さ
れた形状平面に基づき、表示領域を設定して端子５８へ
出力する表示合成器５７とより構成されている。この図
２に示す復号化部は、図６に示した従来の復号化部と比
べると、領域検出器５５及び暗号復号化器５６が更に設
けられている点が異なる。
１を介して入力される多重化データを前記のオブジェク
ト画像の符号化データと形状平面の符号化データに分離
する分離器５２と、オブジェクト画像の符号化データを
復号化するオブジェクト画像復号化器５３と、形状平面
の符号化データを復号化する形状平面復号化器５４と、
オブジェクト画像に隠匿されている暗号情報領域を検出
する領域検出器５５と、暗号情報を復号化する暗号復号
化器５６と、復号化されたオブジェクト画像を復号化さ
れた形状平面に基づき、表示領域を設定して端子５８へ
出力する表示合成器５７とより構成されている。この図
２に示す復号化部は、図６に示した従来の復号化部と比
べると、領域検出器５５及び暗号復号化器５６が更に設
けられている点が異なる。
【００１７】次に、この実施の形態の動作について説明
する。まず、図１の符号化部において、任意形状で取り
出されたオブジェクト画像は入力端子４１を介してオブ
ジェクト画像符号化器４３及び領域指定器４６にそれぞ
れ供給される。一方、上記のオブジェクト画像に同期し
て上記のオブジェクト画像の形状、位置を表す形状平面
の情報が入力端子４２を介して形状平面符号化器４４及
び領域指定器４６にそれぞれ供給される。形状平面符号
化器４４は、入力された形状平面の情報の符号化処理を
行い、符号化データを出力する。領域指定器４６はブロ
ックに分割されたオブジェクト画像と形状平面の情報と
を分析して、オブジェクトの輪郭部分を含むブロックを
指定する。
する。まず、図１の符号化部において、任意形状で取り
出されたオブジェクト画像は入力端子４１を介してオブ
ジェクト画像符号化器４３及び領域指定器４６にそれぞ
れ供給される。一方、上記のオブジェクト画像に同期し
て上記のオブジェクト画像の形状、位置を表す形状平面
の情報が入力端子４２を介して形状平面符号化器４４及
び領域指定器４６にそれぞれ供給される。形状平面符号
化器４４は、入力された形状平面の情報の符号化処理を
行い、符号化データを出力する。領域指定器４６はブロ
ックに分割されたオブジェクト画像と形状平面の情報と
を分析して、オブジェクトの輪郭部分を含むブロックを
指定する。
【００１８】ここで、復号化側において、オブジェクト
画像が実際に表示される場合、図７に示したように、形
状平面の情報を用いてオブジェクトの輪郭と内部を表示
し、オブジェクトを囲むブロックの中でオブジェクト画
像でない空き領域部分は表示されない。また、復号化側
の利用者はそのような空き領域部分を認知しないため、
暗号情報等を内挿して伝送するには、この空き領域部分
の利用価値は高いといえる。
画像が実際に表示される場合、図７に示したように、形
状平面の情報を用いてオブジェクトの輪郭と内部を表示
し、オブジェクトを囲むブロックの中でオブジェクト画
像でない空き領域部分は表示されない。また、復号化側
の利用者はそのような空き領域部分を認知しないため、
暗号情報等を内挿して伝送するには、この空き領域部分
の利用価値は高いといえる。
【００１９】そこで、領域指定器４６はオブジェクトの
輪郭部分を含むブロックを指定すると共に、空き領域部
分のブロックを指定するブロック指定信号を生成してオ
ブジェクト画像符号化器４３に供給する。例えば、オブ
ジェクト画像が図３に示すように、円Ｉと平行四辺形II
とが一部重複しているオブジェクト画像である場合、同
図において点線で囲んだ矩形領域の各ブロックのうち、
点描で示したブロックが円Ｉ又は平行四辺形IIのみの輪
郭部分を含むブロックであり、白地で示したブロックは
輪郭部分を有しないか、一方の図形の輪郭部分が他方の
図形の内部にあるブロックであり、これらは空き領域部
分のブロックである。
輪郭部分を含むブロックを指定すると共に、空き領域部
分のブロックを指定するブロック指定信号を生成してオ
ブジェクト画像符号化器４３に供給する。例えば、オブ
ジェクト画像が図３に示すように、円Ｉと平行四辺形II
とが一部重複しているオブジェクト画像である場合、同
図において点線で囲んだ矩形領域の各ブロックのうち、
点描で示したブロックが円Ｉ又は平行四辺形IIのみの輪
郭部分を含むブロックであり、白地で示したブロックは
輪郭部分を有しないか、一方の図形の輪郭部分が他方の
図形の内部にあるブロックであり、これらは空き領域部
分のブロックである。
【００２０】従って、領域指定器４６は、図３の点描で
示したブロックがオブジェクトの輪郭部分を含むブロッ
クであり、かつ、白地で示したブロックが空き領域部分
のブロックであることを指定するブロック指定信号を生
成してオブジェクト画像符号化器４３に供給する。オブ
ジェクト画像符号化器４３は、上記のブロック指定信号
に基づいて、暗号発生器４５から入力されている暗号情
報を、入力端子４１を介して入力されたオブジェクト画
像の空き領域部分のブロックに内挿した後、全体をブロ
ック単位で符号化を行って入力オブジェクト画像及び暗
号情報の符号化データを出力する。
示したブロックがオブジェクトの輪郭部分を含むブロッ
クであり、かつ、白地で示したブロックが空き領域部分
のブロックであることを指定するブロック指定信号を生
成してオブジェクト画像符号化器４３に供給する。オブ
ジェクト画像符号化器４３は、上記のブロック指定信号
に基づいて、暗号発生器４５から入力されている暗号情
報を、入力端子４１を介して入力されたオブジェクト画
像の空き領域部分のブロックに内挿した後、全体をブロ
ック単位で符号化を行って入力オブジェクト画像及び暗
号情報の符号化データを出力する。
【００２１】多重化器４７は、上記のオブジェクト画像
符号化器４３から取り出された、暗号情報が内挿された
オブジェクト画像の符号化データと、形状平面符号化器
４４から取り出された形状平面の符号化データとをそれ
ぞれ多重化し、多重化データを端子４８を介して伝送路
へ送出する。
符号化器４３から取り出された、暗号情報が内挿された
オブジェクト画像の符号化データと、形状平面符号化器
４４から取り出された形状平面の符号化データとをそれ
ぞれ多重化し、多重化データを端子４８を介して伝送路
へ送出する。
【００２２】図２の復号化部は、伝送路により伝送され
てきた上記の多重化データを端子５１を介して受け、分
離器５２によりオブジェクト画像の符号化データと形状
平面の符号化データとに分離する。分離された形状平面
の符号化データは、形状平面復号化器５４に供給されて
形状平面の情報に復号化される。
てきた上記の多重化データを端子５１を介して受け、分
離器５２によりオブジェクト画像の符号化データと形状
平面の符号化データとに分離する。分離された形状平面
の符号化データは、形状平面復号化器５４に供給されて
形状平面の情報に復号化される。
【００２３】領域検出器５５は、形状平面復号化器５４
から取り出された形状平面の情報に基づいて、オブジェ
クト画像の輪郭部分を含むブロックを検出して、暗号情
報が混入されているブロックかどうかを判定する帰還信
号を生成して、オブジェクト画像復号化器５３に供給す
る。オブジェクト画像復号化器５３は、領域検出器５５
からの帰還信号に基づいて、分離器５２により分離され
て入力されたオブジェクト画像の符号化データの暗号情
報の符号化データが内挿されているブロックを検出し
て、そのブロックの暗号情報の符号化データを暗号復号
化器５６に供給すると共に、それ以外のブロックの符号
化データを復号してオブジェクト画像を得る。暗号復号
化器５６は入力された暗号情報を復号化する。
から取り出された形状平面の情報に基づいて、オブジェ
クト画像の輪郭部分を含むブロックを検出して、暗号情
報が混入されているブロックかどうかを判定する帰還信
号を生成して、オブジェクト画像復号化器５３に供給す
る。オブジェクト画像復号化器５３は、領域検出器５５
からの帰還信号に基づいて、分離器５２により分離され
て入力されたオブジェクト画像の符号化データの暗号情
報の符号化データが内挿されているブロックを検出し
て、そのブロックの暗号情報の符号化データを暗号復号
化器５６に供給すると共に、それ以外のブロックの符号
化データを復号してオブジェクト画像を得る。暗号復号
化器５６は入力された暗号情報を復号化する。
【００２４】なお、オブジェクト画像復号化器５３と形
状平面復号化器５４とが同期して対応するブロック毎
に、それぞれの入力符号化データを復号化し、形状平面
のブロックを領域検出器５５にて判定し、オブジェクト
画像復号化器５３が領域検出器５５からの検出信号を受
け取って、空き領域部分のブロックの復号化されている
暗号情報を暗号復号化器５６に供給するようにしてもよ
い。
状平面復号化器５４とが同期して対応するブロック毎
に、それぞれの入力符号化データを復号化し、形状平面
のブロックを領域検出器５５にて判定し、オブジェクト
画像復号化器５３が領域検出器５５からの検出信号を受
け取って、空き領域部分のブロックの復号化されている
暗号情報を暗号復号化器５６に供給するようにしてもよ
い。
【００２５】また、オブジェクト画像復号化器５３から
取り出されたオブジェクト画像と、形状平面復号化器５
４から取り出された形状平面の情報とは、それぞれ表示
合成器５７に供給され、ここで形状平面の情報に基づい
て、図７（Ｃ）に示したように、オブジェクトの輪郭及
び内部部分のみが表示される画像とされて端子５８へ出
力される。
取り出されたオブジェクト画像と、形状平面復号化器５
４から取り出された形状平面の情報とは、それぞれ表示
合成器５７に供給され、ここで形状平面の情報に基づい
て、図７（Ｃ）に示したように、オブジェクトの輪郭及
び内部部分のみが表示される画像とされて端子５８へ出
力される。
【００２６】このように、この実施の形態では、オブジ
ェクトを囲むブロックの中でオブジェクト画像でない空
き領域部分のブロックを選定して、その空き領域部分の
ブロックに暗号情報を内挿して伝送するようにしている
ため、オブジェクト画像を劣化させることなく、簡単に
暗号情報を伝送できる。
ェクトを囲むブロックの中でオブジェクト画像でない空
き領域部分のブロックを選定して、その空き領域部分の
ブロックに暗号情報を内挿して伝送するようにしている
ため、オブジェクト画像を劣化させることなく、簡単に
暗号情報を伝送できる。
【００２７】なお、上記の実施の形態では、オブジェク
トの輪郭を含むブロックに対して、その空き領域部分に
暗号情報を直接内挿して伝送するように説明したが、本
発明は上記の実施の形態に限定されるものではなく、例
えば、画像信号が符号化の際に周波数成分に分解される
場合には、画質劣化は比較的高周波数領域では目立ちに
くいので、高周波数領域の周波数成分に暗号情報を内挿
して伝送するようにしてもよい。
トの輪郭を含むブロックに対して、その空き領域部分に
暗号情報を直接内挿して伝送するように説明したが、本
発明は上記の実施の形態に限定されるものではなく、例
えば、画像信号が符号化の際に周波数成分に分解される
場合には、画質劣化は比較的高周波数領域では目立ちに
くいので、高周波数領域の周波数成分に暗号情報を内挿
して伝送するようにしてもよい。
【００２８】この場合、画像の輪郭部分は、高周波数を
多く含んでいるため、画像の輪郭部分（空き領域のある
部分）の高周波数成分に暗号情報を内挿して伝送し、復
号化部では、暗号を含むブロックは実施の形態と同様
に、画像の輪郭部分を含むブロックを検出して、その検
出信号をオブジェクト画像復号化器に送り、復号化前の
周波数成分から暗号情報を抽出して暗号復号化器に送
り、残った周波数成分を復号化してオブジェト画像を得
る。
多く含んでいるため、画像の輪郭部分（空き領域のある
部分）の高周波数成分に暗号情報を内挿して伝送し、復
号化部では、暗号を含むブロックは実施の形態と同様
に、画像の輪郭部分を含むブロックを検出して、その検
出信号をオブジェクト画像復号化器に送り、復号化前の
周波数成分から暗号情報を抽出して暗号復号化器に送
り、残った周波数成分を復号化してオブジェト画像を得
る。
【００２９】また、各ブロック内のオブジェクト画像の
占める面積（画素数）に応じて、暗号情報を内挿するブ
ロックを指定し、その指定ブロックの画像データ以外の
領域に暗号情報を内挿するようにしても構わない。この
場合、符号化部では、各ブロックの画像の画素数が設定
したしきい値を越えた（又は未満）かどうか検出し、画
素数が設定したしきい値を越えた（又は未満の）ブロッ
クの空き領域に暗号情報を内挿する。
占める面積（画素数）に応じて、暗号情報を内挿するブ
ロックを指定し、その指定ブロックの画像データ以外の
領域に暗号情報を内挿するようにしても構わない。この
場合、符号化部では、各ブロックの画像の画素数が設定
したしきい値を越えた（又は未満）かどうか検出し、画
素数が設定したしきい値を越えた（又は未満の）ブロッ
クの空き領域に暗号情報を内挿する。
【００３０】一方、復号化側では、復号化した形状平面
の情報に基づいて、オブジェクト画像の輪郭部分（空き
領域のある部分）のブロックを領域検出器で検出し、そ
のブロックの画像の画素が予め符号化部と整合性を持っ
てある固定値に設定されているしきい値を越えた（又は
未満の）ブロックであるときは、形状平面の情報に基づ
き検出した画像以外のブロックの空き領域に暗号情報が
内挿されているとオブジェクト画像復号化器が判定し
て、その空き領域の情報を抽出して暗号復号化器に入力
する。
の情報に基づいて、オブジェクト画像の輪郭部分（空き
領域のある部分）のブロックを領域検出器で検出し、そ
のブロックの画像の画素が予め符号化部と整合性を持っ
てある固定値に設定されているしきい値を越えた（又は
未満の）ブロックであるときは、形状平面の情報に基づ
き検出した画像以外のブロックの空き領域に暗号情報が
内挿されているとオブジェクト画像復号化器が判定し
て、その空き領域の情報を抽出して暗号復号化器に入力
する。
【００３１】また、一番最初の空き領域のあるブロック
にしきい値の値を記述しておき、その後に続くブロック
はそのしきい値に基づいて暗号情報の内挿されているブ
ロックかどうか検出するようにしてもよい。あるいは、
一番最初だけでなく、暗号情報とは別の信号としてしき
い値の値をブロックの空き領域に不定期に挿入して、そ
の都度しきい値を変えるようにしてもよい。この場合
は、その空き領域に入っている暗号情報が本当の暗号情
報か、若しくはしきい値かを復号化部で判定できる記述
フォーマットを設定する必要がある。この設定例として
は、暗号情報の最初の２ビットが”１１”であれば暗号
情報で、それ以外であればしきい値を表すとするなどが
考えられる。
にしきい値の値を記述しておき、その後に続くブロック
はそのしきい値に基づいて暗号情報の内挿されているブ
ロックかどうか検出するようにしてもよい。あるいは、
一番最初だけでなく、暗号情報とは別の信号としてしき
い値の値をブロックの空き領域に不定期に挿入して、そ
の都度しきい値を変えるようにしてもよい。この場合
は、その空き領域に入っている暗号情報が本当の暗号情
報か、若しくはしきい値かを復号化部で判定できる記述
フォーマットを設定する必要がある。この設定例として
は、暗号情報の最初の２ビットが”１１”であれば暗号
情報で、それ以外であればしきい値を表すとするなどが
考えられる。
【００３２】なお、以上のしきい値に関しては、前記の
高周波数領域の周波数成分に暗号情報を内挿して伝送す
る例において、高周波数領域の周波数成分のどの位置に
暗号情報を内挿したかを識別させる場合も同様である。
また、暗号発生器４５から出力される暗号情報は、文
字、音声、画像等いずれのデータも使用できる。更に、
暗号発生器４５における暗号化方式についても、復号化
部における暗号復号化器５６との整合性がとれていさえ
すれば、どのような方式を用いても構わないことは勿論
である。
高周波数領域の周波数成分に暗号情報を内挿して伝送す
る例において、高周波数領域の周波数成分のどの位置に
暗号情報を内挿したかを識別させる場合も同様である。
また、暗号発生器４５から出力される暗号情報は、文
字、音声、画像等いずれのデータも使用できる。更に、
暗号発生器４５における暗号化方式についても、復号化
部における暗号復号化器５６との整合性がとれていさえ
すれば、どのような方式を用いても構わないことは勿論
である。
【００３３】
【発明の効果】以上説明したように、本発明によれば、
符号化部において任意形状で取り出されたオブジェクト
画像の中で空き領域部分を含むブロックを検出して、そ
の空き領域部分に暗号情報を内挿して符号化し、これを
復号化する際には暗号情報を抽出し、オブジェクト画像
の輪郭内部のみを表示するように構成したので、画像だ
けでなく、簡単に暗号情報の伝送を実現することができ
る。また、本発明によれば、暗号情報はオブジェクト画
像の実際の表示の際に認知されない領域に内挿するよう
にしたため、オブジェクト画像情報の情報欠落を実質的
に無くすことができる。
符号化部において任意形状で取り出されたオブジェクト
画像の中で空き領域部分を含むブロックを検出して、そ
の空き領域部分に暗号情報を内挿して符号化し、これを
復号化する際には暗号情報を抽出し、オブジェクト画像
の輪郭内部のみを表示するように構成したので、画像だ
けでなく、簡単に暗号情報の伝送を実現することができ
る。また、本発明によれば、暗号情報はオブジェクト画
像の実際の表示の際に認知されない領域に内挿するよう
にしたため、オブジェクト画像情報の情報欠落を実質的
に無くすことができる。
【図１】本発明になる画像伝送方式の符号化部の一実施
の形態のブロック図である。
の形態のブロック図である。
【図２】本発明になる画像伝送方式の復号化部の一実施
の形態のブロック図である。
の形態のブロック図である。
【図３】空き領域部分を含むブロックの一例を示す図で
ある。
ある。
【図４】従来の画像伝送方式の一例のブロック図であ
る。
る。
【図５】従来の画像伝送方式の符号化部の一例のブロッ
ク図である。
ク図である。
【図６】従来の画像伝送方式の復号化部の一例のブロッ
ク図である。
ク図である。
【図７】任意形状で取り出されたオブジェクトの形状平
面の表示の一例を示す図である。
面の表示の一例を示す図である。
４１ オブジェクト画像入力端子 ４２ 形状平面入力端子 ４３ オブジェクト画像符号化器 ４４ 形状平面符号化器 ４５ 暗号発生器 ４６ 領域指定器 ４７ 多重化器 ５１ 多重化データ入力端子 ５２ 分離器 ５３ オブジェクト画像復号化器 ５４ 形状平面復号化器 ５５ 領域検出器 ５６ 暗号復号化器 ５７ 表示合成器
Claims (3)
- 【請求項１】 任意形状で取り出されたオブジェクト画
像の形状を表す形状平面の情報を符号化する形状平面符
号化器と、 暗号情報を発生する暗号発生器と、 前記オブジェクト画像と前記形状平面の情報とがそれぞ
れ同期して入力され、該形状平面の情報に基づき該オブ
ジェクト画像の輪郭領域を含むブロックを検出し、その
検出ブロック以外のブロックを指定する領域指定信号を
生成する領域指定器と、 前記領域指定器に入力されるオブジェクト画像と前記領
域指定器からの領域指定信号とを入力として受け、該オ
ブジェクト画像中の前記領域指定信号により指定された
領域に前記暗号発生器からの暗号情報を内挿した後、該
オブジェクト画像をブロック単位で符号化するオブジェ
クト画像符号化器と、 前記オブジェクト画像符号化器から取り出された、暗号
情報が内挿されたオブジェクト画像の符号化データと、
前記形状平面符号化器から取り出された形状平面の符号
化データとをそれぞれ多重化して多重化データを伝送路
へ送出する多重化器と、 前記伝送路を通して前記多重化データを受け、前記暗号
情報が内挿されたオブジェクト画像の符号化データと、
前記形状平面の符号化データとに分離する分離器と、 前記分離器により分離された前記形状平面の符号化デー
タを復号化する形状平面復号化器と、 前記形状平面復号化器より取り出された形状平面の情報
に基づき、前記オブジェクト画像の輪郭部分を含むブロ
ックを検出し、その検出ブロック以外のブロックを前記
暗号情報が内挿されているブロックとして示す帰還信号
を生成する領域検出器と、 前記分離器により分離された前記暗号情報が内挿された
オブジェクト画像の符号化データと前記帰還信号とを入
力として受け、該暗号情報が内挿されたオブジェクト画
像の符号化データから該帰還信号に基づき符号化されて
いる該暗号情報を抽出すると共に、該オブジェクト画像
の符号化データを復号化するオブジェクト画像復号化器
と、 前記オブジェクト画像復号化器により抽出された、符号
化されている前記暗号情報を復号化する暗号復号化器
と、 前記形状平面復号化器から取り出された形状平面の情報
に基づき、前記オブジェクト画像復号化器から取り出さ
れたオブジェクト画像の表示領域を設定する表示合成器
とを有することを特徴とする画像伝送方式。 - 【請求項２】 任意形状で取り出されたオブジェクト画
像の形状を表す形状平面の情報を符号化する形状平面符
号化器と、 暗号情報を発生する暗号発生器と、 前記オブジェクト画像と前記形状平面の情報とがそれぞ
れ同期して入力され、該形状平面の情報に基づき該オブ
ジェクト画像の輪郭領域を含むブロックを検出し、その
検出ブロック以外のブロックを指定する領域指定信号を
生成する領域指定器と、 前記領域指定器に入力されるオブジェクト画像と前記領
域指定器からの領域指定信号とを入力として受け、該オ
ブジェクト画像中の前記領域指定信号により指定された
領域に前記暗号発生器からの暗号情報を内挿した後、該
オブジェクト画像をブロック単位で符号化するオブジェ
クト画像符号化器と、 前記オブジェクト画像符号化器から取り出された、暗号
情報が内挿されたオブジェクト画像の符号化データと、
前記形状平面符号化器から取り出された形状平面の符号
化データとをそれぞれ多重化して多重化データを伝送路
へ送出する多重化器とを有することを特徴とする画像伝
送方式。 - 【請求項３】 伝送路を通して多重化データを受け、暗
号情報が内挿されたオブジェクト画像の符号化データ
と、形状平面の符号化データとに分離する分離器と、 前記分離器により分離された前記形状平面の符号化デー
タを復号化する形状平面復号化器と、 前記形状平面復号化器より取り出された形状平面の情報
に基づき、前記オブジェクト画像の輪郭部分を含むブロ
ックを検出し、その検出ブロック以外のブロックを前記
暗号情報が内挿されているブロックとして示す帰還信号
を生成する領域検出器と、 前記分離器により分離された前記暗号情報が内挿された
オブジェクト画像の符号化データと前記帰還信号とを入
力として受け、該暗号情報が内挿されたオブジェクト画
像の符号化データから該帰還信号に基づき符号化されて
いる該暗号情報を抽出すると共に、該オブジェクト画像
の符号化データを復号化するオブジェクト画像復号化器
と、 前記オブジェクト画像復号化器により抽出された、符号
化されている前記暗号情報を復号化する暗号復号化器
と、 前記形状平面復号化器から取り出された形状平面の情報
に基づき、前記オブジェクト画像復号化器から取り出さ
れたオブジェクト画像の表示領域を設定する表示合成器
とを有することを特徴とする画像伝送方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34912398A JP3856358B2 (ja) | 1998-12-08 | 1998-12-08 | 画像伝送方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34912398A JP3856358B2 (ja) | 1998-12-08 | 1998-12-08 | 画像伝送方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175163A true JP2000175163A (ja) | 2000-06-23 |
| JP3856358B2 JP3856358B2 (ja) | 2006-12-13 |
Family
ID=18401655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34912398A Expired - Lifetime JP3856358B2 (ja) | 1998-12-08 | 1998-12-08 | 画像伝送方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3856358B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243256A (ja) * | 2006-03-06 | 2007-09-20 | Dainippon Printing Co Ltd | 医療用画像暗号化装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109561236B (zh) * | 2018-11-30 | 2020-10-16 | 百度在线网络技术（北京）有限公司 | 图像加密、识别方法装置、设备及介质 |
-
1998
- 1998-12-08 JP JP34912398A patent/JP3856358B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243256A (ja) * | 2006-03-06 | 2007-09-20 | Dainippon Printing Co Ltd | 医療用画像暗号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3856358B2 (ja) | 2006-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6195116B1 (en) | Multi-point video conferencing system and method for implementing the same | |
| KR100209412B1 (ko) | 비디오 신호의 유호 색차 성분 부호화 방법 | |
| JP4389883B2 (ja) | 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体 | |
| EP0719049A2 (en) | Method and apparatus for image coding and decoding | |
| KR950030647A (ko) | 화상통신장치 | |
| EP1241884B1 (en) | Transmission and reception of an audio signal using the video blanking period | |
| US20080049833A1 (en) | Image encoding device and image decoding device | |
| JPH08149466A (ja) | 動画像処理方法及び処理装置 | |
| JP3856358B2 (ja) | 画像伝送方式 | |
| KR20000022500A (ko) | 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| JP3247836B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP2003023629A (ja) | 画像処理装置及び画像処理方法 | |
| JP3487513B2 (ja) | 画像音声符号化装置、画像音声復号化装置、画像音声符号復号化システム | |
| JPH07107441A (ja) | 映像信号送受信装置 | |
| KR100691287B1 (ko) | 수화 서비스 제공 기능을 가지는 디지털 방송시스템의송／수신 장치 | |
| JPH0993541A (ja) | 番組情報送信装置並びに復元装置 | |
| KR100322729B1 (ko) | 캡션을사용하는디지탈오디오/비디오코덱방법및장치 | |
| JPH05344488A (ja) | 複数画像の符号化伝送方法および装置 | |
| JPH0832943A (ja) | 映像送信装置および映像受信装置 | |
| KR970009232A (ko) | 영상 편집기능을 가진 디지탈 텔레비전 회로 | |
| JP2000184375A (ja) | 画像変換装置 | |
| JPH09284743A (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
| JP2001160966A (ja) | 動画像符号化装置 | |
| JPH06153171A (ja) | 文字重畳画像伝送方法及び文字重畳画像蓄積再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040723 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041022 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060908 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |