JP2008527810A - マルチメディアビデオ通信品質を測定する方法 - Google Patents
マルチメディアビデオ通信品質を測定する方法 Download PDFInfo
- Publication number
- JP2008527810A JP2008527810A JP2007549787A JP2007549787A JP2008527810A JP 2008527810 A JP2008527810 A JP 2008527810A JP 2007549787 A JP2007549787 A JP 2007549787A JP 2007549787 A JP2007549787 A JP 2007549787A JP 2008527810 A JP2008527810 A JP 2008527810A
- Authority
- JP
- Japan
- Prior art keywords
- watermark
- data
- original
- embedded
- multimedia video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0051—Embedding of the watermark in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Description
(1)完全なオリジナルビデオシーケンスを必要とする完全な参照モデル。
(2)オリジナルビデオシーケンスの部分的な統計的特徴を必要とするだけの部分的な参照モデル。
(3)オリジナルビデオシーケンスのいずれの情報も必要としない参照無しのモデル。
の分布が十分に均一である限り、歪が生じた画像の品質は透かし画像の品質を測定することにより十分に反映される。オリジナル画像が通信の両側で共有される一方、受信側は通信品質を回復された透かし画像と既知のオリジナルの透かし画像と比較することにより測定し、このように透かしの品質評価は、実際には一種の参照による評価である。
送っている側に均一にオリジナルの透かしデータをマルチメディアのビデオデータに埋めて、マルチメディアのビデオデータを受け入れ側に送る段階。
受け入れ側で回復された透かしを受信マルチメディアのビデオデータから抽出する段階。
オリジナル透かしと比較して回復された透かしの歪率を計算する段階。
均一にオリジナルの透かしをオリジナルのマルチメディアのデータに埋め込んで、送信側で圧縮コーディングまたはデータ包装またはフレーミングを実行して、データを受信側に送ること。
均一にマルチメディアのビデオデータフレームを等しいサイズのブロックに分けて、オリジナルの透かしデータの等しい量をブロックの一部または送っている側のブロックの全てに埋めること。
送信側(等しい数のフレームを含む各々のグループ)でマルチメディアのビデオデータをグループに分けて、埋め込みフレームと同じグループで等しい間隔で少なくとも2つのフレームを選択すること。(均一に埋め込みフレームの各々を等しいサイズの複数のブロックに分けて、埋め込まれたブロックとして複数のブロックから等しい数のブロックを選んで、オリジナルの透かしデータと等しい量を埋め込まれたブロックの各々に埋める)。
マルチメディアビデオデータフレームを0からm−1まで番号をふられるmストリップに分割する段階と、
ストリップi(i=0,1,・・・,m−1)をi×nから(i+1)×n―1までの番号をふられるnブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のm×nブロックに埋め込む段階とを備え、
ストリップi(i=0,1,・・・,m−2)は、行i×kνから行(i+1)×kν−1までのピクセルを備え、
ストリップm−1は、行(m−1)×kνから行M−1までのピクセルを備え(mはM/kνと同じかそれ以上の最小の整数であり、もしm=M/kνであれば、上記ストリップm−1はピクセルの0行を備える)、
上記ブロックi×n+j(0,1,・・・,n−2)は、このストリップの列j×khから列(j+1)×kh−1までのピクセルを備え、
上記ブロックn−1は、列(n−1)×khから列N―1までのピクセルを備える(nはN/kνと同じかそれ以上の最小の整数であり、もしn=N/khであれば、上記ストリップn−1はピクセルのゼロ列を備える)。
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームq×P(q=0,・・・,Q−1)を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームq×P(q=0,・・・,Q−1)のブロックq+r×Q(r=0,・・・,R−1,とq+r×Q≦L)を選択し、ここでRはL/Q以下である段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階とを備え
それぞれのグループが順番にグループのフレーム0からフレームP×Q−1までのP×Qフレームを備える。
A=2×Qp−1として埋め込まれた強度を設定する(ここでQpは、マルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
b’=b+cに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、b’はピクセルの値を修正し、bは修正前のピクセル値であり、cは修正量である)段階を備え、
修正量は以下の式により計算される。
オリジナル透かしデータビットが1であるとき、
A=2×Qp−1として埋め込み強度を設定する(ここでQpはマルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータw’を計算する段階とを備える。
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階を更に備える。
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均2乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階を備える。
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階をさらに備える。
オリジナル透かしと、関連するパラメータと、計画とを決定する段階を有し、
前記計画は、オリジナル透かしを埋め込むとともに、送信側と受信側との間の通信交渉を介して回復される透かしを抽出し、
オリジナル透かしと、関連するパラメータと、オリジナル透かしを埋め込み、送信側で回復される透かしを抽出し、通信の前に受信側に通知するための計画とを決定する段階を更に備えるものである。
マルチチャンネル画像のために、オリジナル透かしがオリジナルマルチチャンネル画像データの1以上のチャンネルに埋め込まれる。
図4は、本発明による電子透かしに基づくマルチメディアのビデオ通信の客観的品質測定法のフローチャートである。以下に、各過程の原理と実施の詳細と実質的効果が詳細に記載される。
2値画像は、情報の量を減少することができ、透かしピクセルを隠すことに適切である実施形態において選択される。さらに、例えば図3で示される透かし画像のような白黒のパターンも使用される。黒と白は0と1を意味し、その結果そのような画像により通信される情報の量は大きくないが、画像はエラーコードを発見するのに高感度で強いロバスト性を有する。
透かし画像は通信の両側間のネゴシエーションを通して決定される必要があるので、本発明の第3実施形態において、ビデオ通信の送信側と受信側はオリジナル透かしと、透かし埋め込みと透かし抽出の特定の解決法を決定するために通信発信することを通してネゴシエーションする。
この実施形態において、電子透かしはDCT変換の前にビデオ空間領域に埋め込まれ、すなわちオリジナル透かしは、送信側でオリジナルマルチメディアデータに均一に埋め込まれ、次いで圧縮コーディング、及びパケット切り換えネットワークのためのデータパケッティング、あるいは回路交換ネットワークのためのフレーミングが実行され、最後にデータはネットワークを介して受信側に送信される。
更に、視覚的心理学の原理に従い、クロミナンス値と比較して、人間の目は画像の輝度値の小さい変化に敏感ではない。透かし埋め込みのためにビデオ品質の損失を減らすために、この実施形態において、カラー画像のために、オリジナル透かしはオリジナルマルチメディアデータの輝度構成要素に埋め込まれ、すなわち透かし信号はビデオ画像シーケンスの輝度構成要素(Y構成要素)に埋め込まれる。
それぞれのフレームは、0からm−1まで番号がふられあtmストリップに分割される。ストリップi(i=0,1,・・・,m−2)は、行i×kνから行(i+1)×kν−1までのピクセルを具備し、ストリップm−1は行(m−1)×kνから行M−1までを具備し、ここでmはM/kν以上の最小整数である。
上記ストリップi(i=0,1,・・・,m−1)は、i×nから(i+1)×n−1まで番号付けされたnブロックに分割される。ブロックi×n+j(0,1,・・・,n−2)は、このストリップの列j×khから列(j+1)×kh−1のピクセルを具備し、ブロックn−1は、列(n−1)×kνから列N−1までのピクセルを具備し、ここでnはN/kh以上の最小整数である。
オリジナル透かしデータの等しい量は、獲得されたm×nブロックの各ブロックに埋め込まれる。
連続のフレームをグループに分割する段階。
埋め込まれたフレームとしてそれぞれのグループのフレームq×P(q=0,・・・,Q−1)を選択する段階。
埋め込まれたブロックとして埋め込まれたフレームq×P(q=0,・・・,Q−1)のブロックq+r×Q(r=0,・・・,R−1,とq+r×Q≦L)を選択する段階(ここでRはL/Q以下である)。
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階。
それぞれのグループは、グループのフレーム0からフレームP×Q−1までのP×Qフレームを備える。
このグループのフレーム2では、ブロック1,Q+1,…R×Q+1、は埋め込まれたブロックと考えられる。そして、残りは類推によって推定される。
この実施形態において、オリジナルの透かしの1ビットのデータをマルチメディアデータのビデオの1ブロックに埋め込む方法は、
A=2×Qp−1として埋め込まれた強度を設定する(ここでQpは、マルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従いマルチメディアビデオデータのブロックの平均輝度値μを計算する段階と、
b’=b+cに従いデータのブロックのそれぞれのピクセルの輝度値を修正する(ここで、b’はピクセルの修正値であり、bは修正前のピクセル値であり、cは修正量である)段階を備え、
修正量は以下の式により計算される。
1ビットのオリジナル透かしデータwが1であるとき、
この実施形態では、第6実施形態で記述された透かしを埋め込むアルゴリズムに基づく受信ビデオデータの1ブロックから回復される透かしの1ビットのデータを抽出する方法は、以下の段階を有する。
A=2×QP−1として、埋め込み強さを設定する段階(ここで、QPはマルチメディアのビデオ通信圧縮コーディングのために、量子化係数を意味する)。
ピクセルによって受信マルチメディアのビデオデータのブロックの平均値μを計算する段階。
以下の式に従って回復される透かしの抽出データを抽出する。
PRR=100*(歪のある透かし中の正しいピクセルの数/透かしピクセルの合計数)%
第1実施形態に基づいて、マルチメディアのビデオ通信実験の統計データによれば、PSNRの評価値は、この実施形態においてマルチメディアのビデオ通信の客観的な品質を測定するためにMSE(平均2乗誤差を意味する)基準に従ってPRRの線形関数を使用して近似される。
この実施形態では、さらに、透かし埋め込みに起因するビデオ品質の損失を除くために、回復した透かしが抽出されたあと、受信テレビ画像が後処理される。後処理は、あいまいな計算方法に基づくフィルタリング、メジアンフィルタリング、ニューラルネットワークフィルタリング、数学的な形態学(morphology)フィルタリングまたは平滑化フィルタリングである。
この実施形態では、本発明により電子透かしに基づきマルチメディアのビデオ通信品質を測定する方法のパフォーマンスは、実験を通して評価される。結果は、表1と表2に示される。
2 ALU
3 読み込み/書き込み
Claims (18)
- 均一に送信側でマルチメディアビデオデータにオリジナル透かしデータを埋め込み、受信側にマルチメディアビデオデータを送信する段階と、
受信側で受信されたマルチメディアビデオデータから回復された透かしデータを抽出する段階と、
オリジナルの透かしと比較して回復された透かしの歪率を計算する段階とを備えることを特徴とするマルチメディアビデオ通信品質を測定する方法。 - 均一にオリジナルマルチメディアデータにオリジナル透かしデータを埋め込み、送信側で圧縮コーディング、あるいはデータパッケージング、あるいはフレーミングを実施し、受信側に上記データを送信する段階を更に備えることを特徴とする上記請求項1に記載の方法。
- 均一にマルチメディアビデオデータフレームを等しいサイズのブロックに分割し、上記ブロックの一部あるいは全てのブロックにオリジナル透かしデータの等しい量を埋め込む段階を更に備えることを特徴とする上記請求項1に記載の方法。
- 送信側でマルチメディアビデオデータをそれぞれが等しい数のフレームを備えるグループに分割する段階と、
埋め込まれるフレームと同じグループの中で等しい間隔で少なくとも2つのフレームを選択する段階と、
均一にそれぞれの埋め込まれるフレームを等しいサイズの複数のブロックに分割する段階と、
複数のブロックから埋め込まれるブロックと等しい数のブロックを選択する段階と、
埋め込まれるブロックのそれぞれにオリジナル透かしデータの等しい量を埋め込む段階、
を更に備えることを特徴とする上記請求項3に記載の方法。 - それぞれのマルチメディアビデオデータフレームは、M行が0からM−1までの番号をふられ、N列が0からN―1までの番号をふられたM行×N列ピクセルを備え、均一にマルチメディアビデオデータフレームを等しいサイズのブロックに分割する段階は、
マルチメディアビデオデータフレームを0からm−1までの番号がふられたmストリップに分割する段階と、
ストリップi(i=0,1,・・・,m−1)をi×nから(i+1)×n―1までの番号がふられたnブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のm×nブロックに埋め込む段階とを備え、
ストリップi(i=0,1,・・・,m−2)は、行i×kνから行(i+1)×kν−1までのピクセルを備え、
ストリップm−1は、行(m−1)×kνから行M−1までのピクセルを備え(mはM/kνと同じかそれ以上の最小の整数であり、もしm=M/kνであれば、上記ストリップm−1はピクセルの0行を有する)、
上記ブロックi×n+j(0,1,・・・,n−2)は、このストリップの列j×khから列(j+1)×kh−1までのピクセルを備え、
上記ブロックn−1は、列(n−1)×khから列N―1までのピクセルを備え(nはN/kνと同じかそれ以上の最小の整数であり、もしn=N/khであれば、上記ストリップn−1はピクセルのゼロ列を有する)
ることを特徴とする上記請求項3に記載の方法。 - マルチメディアビデオデータのそれぞれのフレームは、均一に0からL−1まで番号がふられたL個のブロックに分割され、上記オリジナル透かしを埋め込む段階は、さらに、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームq×P(q=0,・・・,Q−1)を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームq×P(q=0,・・・,Q−1)のブロックq+r×Q(r=0,・・・,R−1,とq+r×Q≦L)を選択する(ここでRはL/Q以下である)段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階とを備え
それぞれのグループが順番にグループのフレーム0からフレームP×Q−1までのP×Qフレームを備えることを特徴とする上記請求項4に記載の方法。 - 上記ブロックの一部あるいは全てのブロックに埋め込まれたオリジナル透かしデータのビット数を上記データブロックのサイズに従い決定する段階を更に備えることを特徴とする上記請求項3に記載の方法。
- マルチメディアビデオデータブロックのオリジナル透かしの1ビットデータを埋め込む段階は、
A=2×Qp−1として埋め込まれた強度を設定する(ここでQpは、マルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
b’=b+cに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、b’はピクセルの値を修正し、bは修正前のピクセル値であり、cは修正量である)段階を備え、
修正量は以下の式により計算されることを特徴とする上記請求項7に記載の方法。
オリジナル透かしデータビットが1であるとき、
- 受信されたマルチメディアビデオデータブロックから回復された透かしのデータビットを抽出する段階と、
A=2×Qp−1として埋め込み強度を設定する(ここでQpはマルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータw’を計算する段階とを備えることを特徴とする上記請求項7に記載の方法。
- マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階を更に備えることを特徴とする上記請求項1に記載の方法。
- マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均2乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階を備えることを特徴とする上記請求項10に記載の方法。
- マルチメディアのビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしの歪率を計算する段階を更に備えることを特徴とする上記請求項1に記載の方法。
- オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階をさらに備えることを特徴とする上記請求項12に記載の方法。
- 回復された透かしを抽出すると同時に、透かし埋め込みの効果を除くために受信されたマルチメディアビデオデータを後処理する段階を有し、ここで後処理は、平滑化フィルタ、メジアンフィルタ、ニューラルネットワークフィルタ、数理形態学フィルタ、及びファジー数学法に基づくフィルタ、のうちの1つを備えることを特徴とする上記請求項1に記載の方法。
- オリジナル透かしと、関連するパラメータと、計画とを決定する段階を有し、
前記計画は、オリジナル透かしを埋め込むとともに、送信側と受信側との間の通信交渉を介して回復される透かしを抽出するものであることを特徴とする上記請求項1に記載の方法。 - オリジナル透かしと、関連するパラメータと、オリジナル透かしを埋め込み、送信側で回復される透かしを抽出し、通信の前に受信側に通知するための計画とを決定する段階を更に備えることを特徴とする上記請求項1に記載の方法。
- カラー画像のための、オリジナル透かしがオリジナルマルチメディアデータの輝度要素に埋め込まれ、
マルチチャンネル画像のために、オリジナル透かしがオリジナルマルチチャンネル画像データの1以上のチャンネルに埋め込まれることを特徴とする上記請求項2に記載の方法。 - オリジナル透かしが2値画像であることを特徴とする上記請求項1,2,4,6,9−17のいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200510035566.9 | 2005-06-25 | ||
CNB2005100355669A CN100461864C (zh) | 2005-06-25 | 2005-06-25 | 基于数字水印的多媒体视频通信客观质量评价方法 |
PCT/CN2006/001433 WO2007000103A1 (fr) | 2005-06-25 | 2006-06-23 | Detection de la qualite d'une communication multimedia |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011083447A Division JP5161334B2 (ja) | 2005-06-25 | 2011-04-05 | マルチメディアビデオ通信品質を測定する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008527810A true JP2008527810A (ja) | 2008-07-24 |
JP4763721B2 JP4763721B2 (ja) | 2011-08-31 |
Family
ID=37583887
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007549787A Expired - Fee Related JP4763721B2 (ja) | 2005-06-25 | 2006-06-23 | マルチメディアビデオ通信品質を測定する方法 |
JP2011083447A Expired - Fee Related JP5161334B2 (ja) | 2005-06-25 | 2011-04-05 | マルチメディアビデオ通信品質を測定する方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011083447A Expired - Fee Related JP5161334B2 (ja) | 2005-06-25 | 2011-04-05 | マルチメディアビデオ通信品質を測定する方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8184164B2 (ja) |
EP (1) | EP1814307B9 (ja) |
JP (2) | JP4763721B2 (ja) |
KR (1) | KR100934539B1 (ja) |
CN (2) | CN100461864C (ja) |
AT (1) | ATE452384T1 (ja) |
DE (1) | DE602006011119D1 (ja) |
WO (1) | WO2007000103A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200126185A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof |
WO2020080709A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
US10817989B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10819993B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing encoding and decoding on image |
US10817988B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US10825203B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10825204B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
US10950009B2 (en) | 2018-10-19 | 2021-03-16 | Samsung Electronics Co., Ltd. | AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same |
US11395001B2 (en) | 2019-10-29 | 2022-07-19 | Samsung Electronics Co., Ltd. | Image encoding and decoding methods and apparatuses using artificial intelligence |
US11616988B2 (en) | 2018-10-19 | 2023-03-28 | Samsung Electronics Co., Ltd. | Method and device for evaluating subjective quality of video |
US11720998B2 (en) | 2019-11-08 | 2023-08-08 | Samsung Electronics Co., Ltd. | Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7644282B2 (en) | 1998-05-28 | 2010-01-05 | Verance Corporation | Pre-processed information embedding system |
US6737957B1 (en) | 2000-02-16 | 2004-05-18 | Verance Corporation | Remote control signaling using audio watermarks |
CA2499967A1 (en) | 2002-10-15 | 2004-04-29 | Verance Corporation | Media monitoring, management and information system |
US20060239501A1 (en) | 2005-04-26 | 2006-10-26 | Verance Corporation | Security enhancements of digital watermarks for multi-media content |
CN100461864C (zh) * | 2005-06-25 | 2009-02-11 | 华为技术有限公司 | 基于数字水印的多媒体视频通信客观质量评价方法 |
US8020004B2 (en) | 2005-07-01 | 2011-09-13 | Verance Corporation | Forensic marking using a common customization function |
US8781967B2 (en) | 2005-07-07 | 2014-07-15 | Verance Corporation | Watermarking in an encrypted domain |
KR100816089B1 (ko) * | 2006-07-20 | 2008-03-24 | 광운대학교 산학협력단 | 3차원 정보를 가지고 있는 집적영상의 요소영상을워터마크로 사용하는 워터마킹 장치 및 그 방법 |
US8300877B2 (en) * | 2007-02-20 | 2012-10-30 | Sony Mobile Communications Ab | Copy protected information distribution |
US8352810B2 (en) * | 2007-05-10 | 2013-01-08 | Thomson Licensing | Fault detection using embedded watermarks |
US9275401B2 (en) * | 2007-09-06 | 2016-03-01 | Adobe Systems Incorporated | Tamper resistant video rendering |
KR100922898B1 (ko) | 2007-12-17 | 2009-10-20 | 한국전자통신연구원 | IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법 |
KR100902887B1 (ko) * | 2008-10-17 | 2009-06-16 | 주식회사 씨케이앤비 | 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템 |
US8661118B2 (en) * | 2010-03-08 | 2014-02-25 | Microsoft Corporation | Detection of end-to-end transport quality |
US8614731B2 (en) * | 2010-04-21 | 2013-12-24 | Spirent Communications, Inc. | System and method for testing the reception and play of media on mobile devices |
US8838977B2 (en) | 2010-09-16 | 2014-09-16 | Verance Corporation | Watermark extraction and content screening in a networked environment |
CN102932649A (zh) * | 2011-08-08 | 2013-02-13 | 华为软件技术有限公司 | 机顶盒视频解码质量检测方法及装置 |
BR112014004871A2 (pt) | 2011-09-07 | 2017-04-04 | Koninklijke Philips Nv | dispositivo disposto para o suporte de dados de imagem de exibição operacional e método para o suporte de dados de imagem de exibição operacional |
US9338463B2 (en) * | 2011-10-06 | 2016-05-10 | Synopsys, Inc. | Visual quality measure for real-time video processing |
US8923548B2 (en) | 2011-11-03 | 2014-12-30 | Verance Corporation | Extraction of embedded watermarks from a host content using a plurality of tentative watermarks |
US8615104B2 (en) * | 2011-11-03 | 2013-12-24 | Verance Corporation | Watermark extraction based on tentative watermarks |
US8682026B2 (en) | 2011-11-03 | 2014-03-25 | Verance Corporation | Efficient extraction of embedded watermarks in the presence of host content distortions |
US8745403B2 (en) | 2011-11-23 | 2014-06-03 | Verance Corporation | Enhanced content management based on watermark extraction records |
US9323902B2 (en) | 2011-12-13 | 2016-04-26 | Verance Corporation | Conditional access using embedded watermarks |
US9330429B2 (en) | 2012-02-17 | 2016-05-03 | Mobitv, Inc. | Scalable watermark insertion for fragmented media stream delivery |
CN102630010A (zh) * | 2012-03-30 | 2012-08-08 | 西安烽火电子科技有限责任公司 | 一种无线视频传输系统及其传输方法 |
CN102902929B (zh) * | 2012-08-10 | 2015-09-09 | 西北大学 | 自然语言水印鲁棒性测试方法及其系统 |
US9571606B2 (en) | 2012-08-31 | 2017-02-14 | Verance Corporation | Social media viewing system |
US8869222B2 (en) | 2012-09-13 | 2014-10-21 | Verance Corporation | Second screen content |
US9106964B2 (en) | 2012-09-13 | 2015-08-11 | Verance Corporation | Enhanced content distribution using advertisements |
US9262793B2 (en) | 2013-03-14 | 2016-02-16 | Verance Corporation | Transactional video marking system |
US9251549B2 (en) | 2013-07-23 | 2016-02-02 | Verance Corporation | Watermark extractor enhancements based on payload ranking |
CN103533343B (zh) * | 2013-09-29 | 2015-05-20 | 宁波大学 | 一种基于数字水印的立体图像质量客观评价方法 |
US9208334B2 (en) | 2013-10-25 | 2015-12-08 | Verance Corporation | Content management using multiple abstraction layers |
JP2017514345A (ja) | 2014-03-13 | 2017-06-01 | ベランス・コーポレイション | 埋め込みコードを用いた対話型コンテンツ取得 |
US11064204B2 (en) | 2014-05-15 | 2021-07-13 | Arris Enterprises Llc | Automatic video comparison of the output of a video decoder |
WO2016014041A1 (en) * | 2014-07-22 | 2016-01-28 | Hewlett-Packard Development Company, L.P. | Rapid image registration |
US9811882B2 (en) * | 2014-09-30 | 2017-11-07 | Electronics And Telecommunications Research Institute | Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering |
CN107018406B (zh) * | 2016-01-27 | 2019-09-03 | 华为技术有限公司 | 视频信息处理方法及装置 |
US10085015B1 (en) * | 2017-02-14 | 2018-09-25 | Zpeg, Inc. | Method and system for measuring visual quality of a video sequence |
EP3445045A1 (en) * | 2017-08-18 | 2019-02-20 | NXP USA, Inc. | Video device and method for embedded data capture on a virtual channel |
CN108540867B (zh) * | 2018-04-25 | 2021-04-27 | 中影数字巨幕(北京)有限公司 | 影片校正方法及系统 |
KR102637177B1 (ko) * | 2018-05-23 | 2024-02-14 | 세종대학교산학협력단 | 워터마크 기반의 이미지 무결성 검증 방법 및 장치 |
US11025900B2 (en) | 2018-07-18 | 2021-06-01 | Universal City Studios Llc | System and method for identifying b-roll conditions in live streams or live rendered content |
CN109120377B (zh) * | 2018-07-19 | 2020-11-27 | 华北水利水电大学 | 一种新的数据传输中的信息隐藏方法、存储介质 |
CN109309869B (zh) * | 2018-09-11 | 2021-01-26 | 东方网力科技股份有限公司 | 一种水印嵌入方法、装置及存储介质 |
CN109684796A (zh) * | 2018-10-31 | 2019-04-26 | 平安科技(深圳)有限公司 | 一种基于数字水印的文档防伪方法、装置及可读存储介质 |
CN110289014B (zh) * | 2019-05-21 | 2021-11-19 | 华为技术有限公司 | 一种语音质量检测方法及电子设备 |
CN110366004B (zh) * | 2019-07-22 | 2021-08-13 | 中国人民解放军战略支援部队信息工程大学 | 一种二次成像混合帧信息解析方法及系统 |
CN114466181A (zh) * | 2021-12-29 | 2022-05-10 | 沈阳中科创达软件有限公司 | 一种视频异常检测方法、装置、设备和系统 |
CN115278314B (zh) * | 2022-07-08 | 2023-10-13 | 南京大学 | 一种多值数字视频水印嵌入及盲提取方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004102477A1 (en) * | 2003-05-09 | 2004-11-25 | Avid Technology, Inc. | Watermarking |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836295B1 (en) * | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
US6496221B1 (en) * | 1998-11-02 | 2002-12-17 | The United States Of America As Represented By The Secretary Of Commerce | In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel |
US6943827B2 (en) * | 2001-04-16 | 2005-09-13 | Kddi Corporation | Apparatus for monitoring quality of picture in transmission |
US7607016B2 (en) * | 2001-04-20 | 2009-10-20 | Digimarc Corporation | Including a metric in a digital watermark for media authentication |
GB2377109B (en) * | 2001-06-28 | 2003-12-03 | Motorola Inc | Video/image communication with watermarking |
US20030112996A1 (en) * | 2001-12-19 | 2003-06-19 | Holliman Matthew J. | Automatic monitoring of host signal quality using embedded data |
JP4107851B2 (ja) * | 2002-02-13 | 2008-06-25 | 三洋電機株式会社 | 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置 |
US7636440B2 (en) | 2003-01-31 | 2009-12-22 | Hewlett-Packard Development Company, L.P. | Digital watermark with variable location |
JP2004348293A (ja) * | 2003-05-20 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像品質計算装置および方法、そのプログラム並びに記録媒体 |
CN1256705C (zh) * | 2003-07-28 | 2006-05-17 | 西安电子科技大学 | 基于图像目标区域的小波域数字水印方法 |
US7376241B2 (en) * | 2003-08-06 | 2008-05-20 | The Boeing Company | Discrete fourier transform (DFT) watermark |
US7706565B2 (en) * | 2003-09-30 | 2010-04-27 | Digimarc Corporation | Multi-channel digital watermarking |
CN1306453C (zh) * | 2003-12-30 | 2007-03-21 | 中国人民解放军第一军医大学 | 离散拉当变换域中抗冲击性的图像水印嵌入与检测方法 |
CN100461864C (zh) * | 2005-06-25 | 2009-02-11 | 华为技术有限公司 | 基于数字水印的多媒体视频通信客观质量评价方法 |
-
2005
- 2005-06-25 CN CNB2005100355669A patent/CN100461864C/zh not_active Expired - Fee Related
-
2006
- 2006-06-23 AT AT06753011T patent/ATE452384T1/de not_active IP Right Cessation
- 2006-06-23 DE DE200660011119 patent/DE602006011119D1/de active Active
- 2006-06-23 EP EP20060753011 patent/EP1814307B9/en not_active Not-in-force
- 2006-06-23 US US11/793,546 patent/US8184164B2/en not_active Expired - Fee Related
- 2006-06-23 JP JP2007549787A patent/JP4763721B2/ja not_active Expired - Fee Related
- 2006-06-23 CN CN2006800122712A patent/CN101160951B/zh not_active Expired - Fee Related
- 2006-06-23 KR KR1020077013860A patent/KR100934539B1/ko not_active IP Right Cessation
- 2006-06-23 WO PCT/CN2006/001433 patent/WO2007000103A1/zh not_active Application Discontinuation
-
2011
- 2011-04-05 JP JP2011083447A patent/JP5161334B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004102477A1 (en) * | 2003-05-09 | 2004-11-25 | Avid Technology, Inc. | Watermarking |
Non-Patent Citations (2)
Title |
---|
CSNG200600210003, 小林弘幸ほか, "ハッシュ関数を用いたロスレス電子透かし法と放送監視への応用", 映像情報メディア学会技術報告, 20040203, 第28巻,第7号, JP, (社)映像情報メディア学会 * |
JPN6010026769, 小林弘幸ほか, "ハッシュ関数を用いたロスレス電子透かし法と放送監視への応用", 映像情報メディア学会技術報告, 20040203, 第28巻,第7号, JP, (社)映像情報メディア学会 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10950009B2 (en) | 2018-10-19 | 2021-03-16 | Samsung Electronics Co., Ltd. | AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same |
US10819992B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing encoding and decoding on image |
US10817989B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US20200126185A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof |
US10817985B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10817988B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US10817987B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US11170534B2 (en) | 2018-10-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10817986B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US10825203B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10825204B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
US10825139B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10825206B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11170473B2 (en) | 2018-10-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US10832447B2 (en) | 2018-10-19 | 2020-11-10 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
US10937197B2 (en) | 2018-10-19 | 2021-03-02 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10819993B2 (en) | 2018-10-19 | 2020-10-27 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing encoding and decoding on image |
WO2020080709A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
US10825205B2 (en) | 2018-10-19 | 2020-11-03 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11170472B2 (en) | 2018-10-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US20210358083A1 (en) | 2018-10-19 | 2021-11-18 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US11190782B2 (en) | 2018-10-19 | 2021-11-30 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing encoding and decoding on image |
US11200702B2 (en) | 2018-10-19 | 2021-12-14 | Samsung Electronics Co., Ltd. | AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same |
US11288770B2 (en) | 2018-10-19 | 2022-03-29 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11748847B2 (en) | 2018-10-19 | 2023-09-05 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US11720997B2 (en) | 2018-10-19 | 2023-08-08 | Samsung Electronics Co.. Ltd. | Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof |
US11616988B2 (en) | 2018-10-19 | 2023-03-28 | Samsung Electronics Co., Ltd. | Method and device for evaluating subjective quality of video |
US11647210B2 (en) | 2018-10-19 | 2023-05-09 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing encoding and decoding on image |
US11663747B2 (en) | 2018-10-19 | 2023-05-30 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11688038B2 (en) | 2018-10-19 | 2023-06-27 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11405637B2 (en) | 2019-10-29 | 2022-08-02 | Samsung Electronics Co., Ltd. | Image encoding method and apparatus and image decoding method and apparatus |
US11395001B2 (en) | 2019-10-29 | 2022-07-19 | Samsung Electronics Co., Ltd. | Image encoding and decoding methods and apparatuses using artificial intelligence |
US11720998B2 (en) | 2019-11-08 | 2023-08-08 | Samsung Electronics Co., Ltd. | Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof |
Also Published As
Publication number | Publication date |
---|---|
DE602006011119D1 (de) | 2010-01-28 |
ATE452384T1 (de) | 2010-01-15 |
CN101160951B (zh) | 2010-07-21 |
EP1814307A4 (en) | 2008-03-19 |
EP1814307B1 (en) | 2009-12-16 |
CN100461864C (zh) | 2009-02-11 |
KR20070088716A (ko) | 2007-08-29 |
CN1885947A (zh) | 2006-12-27 |
JP5161334B2 (ja) | 2013-03-13 |
US20080273861A1 (en) | 2008-11-06 |
EP1814307A1 (en) | 2007-08-01 |
EP1814307B9 (en) | 2010-05-26 |
WO2007000103A1 (fr) | 2007-01-04 |
CN101160951A (zh) | 2008-04-09 |
US8184164B2 (en) | 2012-05-22 |
KR100934539B1 (ko) | 2009-12-29 |
JP4763721B2 (ja) | 2011-08-31 |
JP2011182423A (ja) | 2011-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4763721B2 (ja) | マルチメディアビデオ通信品質を測定する方法 | |
Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
US7170933B2 (en) | Method and system for objective quality assessment of image and video streams | |
Wang et al. | An image quality evaluation method based on digital watermarking | |
KR101783071B1 (ko) | 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치 | |
KR20140008508A (ko) | 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치 | |
Bondžulić et al. | Efficient prediction of the first just noticeable difference point for JPEG compressed images | |
Konuk et al. | A spatiotemporal no-reference video quality assessment model | |
WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
Shoham et al. | A novel perceptual image quality measure for block based image compression | |
KR100902887B1 (ko) | 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템 | |
Aggarwal | A review on video quality assessment | |
Ndjiki-Nya et al. | Efficient full-reference assessment of image and video quality | |
Punchihewa et al. | A survey of coded image and video quality assessment | |
Ouni et al. | Are existing procedures enough? Image and video quality assessment: review of subjective and objective metrics | |
Farias et al. | Video quality assessment based on data hiding driven by optical flow information | |
Ong et al. | Video quality monitoring of streamed videos | |
Gurav et al. | Full-reference video quality assessment using structural similarity (SSIM) index | |
US11943450B2 (en) | System and method to estimate blockiness in transform-based video encoding | |
Liu et al. | Perceptual quality measurement of video frames affected by both packet losses and coding artifacts | |
Battisti et al. | No-reference quality metric for color video communication | |
Brandão | Image communication quality assessment based on watermarking, an overview | |
Rahman et al. | No-reference spatio-temporal activity difference PSNR estimation | |
Rahman et al. | Reduced-reference Video Quality Metric Using Spatio-temporal Activity Information | |
Zhang et al. | No-reference video quality assessment based on temporal information extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100813 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110405 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110425 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110609 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |