JP2016038455A - 音声透かし埋込装置及びシステム及び方法 - Google Patents
音声透かし埋込装置及びシステム及び方法 Download PDFInfo
- Publication number
- JP2016038455A JP2016038455A JP2014161166A JP2014161166A JP2016038455A JP 2016038455 A JP2016038455 A JP 2016038455A JP 2014161166 A JP2014161166 A JP 2014161166A JP 2014161166 A JP2014161166 A JP 2014161166A JP 2016038455 A JP2016038455 A JP 2016038455A
- Authority
- JP
- Japan
- Prior art keywords
- watermark
- audio
- frame
- unit
- embedding device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】音質への影響を抑え、多くの情報を音声透かしとして埋め込む。【解決手段】 音声透かし埋込装置100は、入力部11、透かし計算部12、加算出力部13を有する。音声透かし埋込装置100は、放送コンテンツ等の送信信号である原信号音声を入力し、透かし信号とミックスし(合成、加算等、重畳等を意味する。)、透かし済音声を出力する。また、音声透かし検出装置200は、入力部21、検出部22を有する。音声透かし検出装置200は、透かし済音声を入力し、音声透かしを抽出した結果を出力する。【選択図】 図1
Description
本発明は、音声透かし埋込装置及びシステム及び方法に係る。
従来より、音声信号に透かしデータを埋め込む技術がある。
特許文献1及び特許文献2には、「特定のスペクトル成分のみを持つ箇所でも電子透かしを検出でき、さらに電子すかしを埋めた位置を高速に検出可能な電子透かし埋め込み装置、検出装置及びこれらを実行可能なプログラム」(要約参照)が記載されている。
特許文献1及び特許文献2には、「特定のスペクトル成分のみを持つ箇所でも電子透かしを検出でき、さらに電子すかしを埋めた位置を高速に検出可能な電子透かし埋め込み装置、検出装置及びこれらを実行可能なプログラム」(要約参照)が記載されている。
しかしながら、従来では、限られた時間に少しの量しか音声透かしとしての情報を埋められない。また、音声透かしをたくさんの量埋め込むと、音質への影響が有る場合が想定される。
本発明は、以上の点に鑑み、音質への影響を抑え、多くの情報を音声透かしとして埋め込む音声透かし埋込装置及びシステム及び方法を提供することを目的とする。
本発明は、以上の点に鑑み、音質への影響を抑え、多くの情報を音声透かしとして埋め込む音声透かし埋込装置及びシステム及び方法を提供することを目的とする。
本発明の第1の解決手段によると、
音声信号をフレーム単位に分割して音声フレームとし、前記音声フレームを出力する入力部と、
前記入力部から入力した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成する透かし計算部と、
前記入力部から入力した音声フレームと、前記透かし計算部から入力した透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する加算出力部と、
を備えた音声透かし埋込装置が提供される。
音声信号をフレーム単位に分割して音声フレームとし、前記音声フレームを出力する入力部と、
前記入力部から入力した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成する透かし計算部と、
前記入力部から入力した音声フレームと、前記透かし計算部から入力した透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する加算出力部と、
を備えた音声透かし埋込装置が提供される。
本発明の第2の解決手段によると、
上述のような音声透かし埋込装置と、
音声透かし検出装置と
を備えたこと特徴とする音声透かし埋込システムが提供される。
上述のような音声透かし埋込装置と、
音声透かし検出装置と
を備えたこと特徴とする音声透かし埋込システムが提供される。
本発明の第3の解決手段によると、
音声信号をフレーム単位に分割した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成し、
前記音声フレームと、前記透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する
を備えた音声透かし埋込方法が提供される。
音声信号をフレーム単位に分割した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成し、
前記音声フレームと、前記透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する
を備えた音声透かし埋込方法が提供される。
本発明によると、音質への影響を抑え、多くの情報を音声透かしとして埋め込む音声透かし埋込装置及びシステム及び方法を提供することができる。
1.システム
図1に、音声透かし埋込システムの構成図を示す。
音声透かし埋込システムは、音声透かし埋込装置100、音声透かし検出装置200を備える。音声透かし埋込装置100と透かし検出装置200とは、有線又は無線の適宜のネットワーク・回線・空中伝搬300により接続される。
図1に、音声透かし埋込システムの構成図を示す。
音声透かし埋込システムは、音声透かし埋込装置100、音声透かし検出装置200を備える。音声透かし埋込装置100と透かし検出装置200とは、有線又は無線の適宜のネットワーク・回線・空中伝搬300により接続される。
音声透かし埋込装置100は、入力部11、透かし計算部12、加算出力部13を有する。音声透かし埋込装置100は、放送コンテンツ等の送信信号である原信号音声を入力し、透かし信号とミックスし(合成、加算等、重畳等を意味する。)、透かし済音声を出力する。また、音声透かし検出装置200は、入力部21、検出部22を有する。音声透かし検出装置200は、透かし済音声を入力し、音声透かしを抽出した結果を出力する。
本実施の形態では、特に、音質劣化を軽減し、且つ、埋込密度を向上するために、複数の音声透かしをずらして重ねて埋めるようにした。また、本実施の形態により、音声透かしの情報量を高めることにより、より精緻な視聴率測定などのコンテンツ識別が可能となる。
本実施の形態では、特に、音質劣化を軽減し、且つ、埋込密度を向上するために、複数の音声透かしをずらして重ねて埋めるようにした。また、本実施の形態により、音声透かしの情報量を高めることにより、より精緻な視聴率測定などのコンテンツ識別が可能となる。
2.音声透かし埋込装置
図2に、本実施の形態の関連技術の音声透かし埋込装置(A)及び説明図(B)を示す。
図2(A)のような、音声透かし埋込装置10は、入力部1、透かし計算部2、加算出力部3を備える。
図2(B)のように、この関連技術では、音声フレームごとに、時間窓をかけて音声透かしを埋め込んでいる。透かし埋め込みは、音声フレーム単位で行われる。また、透かし強度は、埋め込まれた透かしのエネルギーを示したものである。時間窓をかけることで、フレーム区切りで不連続等のショックをなくすことができる。これにより、透かし強度も、波型を生じる。
図2に、本実施の形態の関連技術の音声透かし埋込装置(A)及び説明図(B)を示す。
図2(A)のような、音声透かし埋込装置10は、入力部1、透かし計算部2、加算出力部3を備える。
図2(B)のように、この関連技術では、音声フレームごとに、時間窓をかけて音声透かしを埋め込んでいる。透かし埋め込みは、音声フレーム単位で行われる。また、透かし強度は、埋め込まれた透かしのエネルギーを示したものである。時間窓をかけることで、フレーム区切りで不連続等のショックをなくすことができる。これにより、透かし強度も、波型を生じる。
図3に、本実施の形態の音声透かし埋込装置の説明図を示す。
音声透かし埋込装置100は、入力部11、透かし計算部12、加算出力部13、コード入力部14を備える。
まず、各部の動作概要を説明する。
入力部11は、原信号音声である音声信号(本明細書中、音声フレームという場合がある。)を入力する。入力部11は、透かし計算のため、音声信号を分配(コピー又は分岐)し、分配された音声信号のうち一方を透かし計算部12に送信し、もう一方を加算出力部13に送信する。
透かし計算部12は、入力部11から受信した音声信号をもとに、透かし信号(本明細書中、透かしフレームという場合がある。)を計算する(詳細は後述)。透かし計算部12は、計算した透かし信号を、加算出力部13に送る。
加算出力部13は、入力部11から受信した音声信号と、透かし計算部12から受信した透かし信号を、位相を合わせて加算・合成(ミックス)し、透かし済み音声として出力する。ここで、「位相を合わせる」とは、加算出力部13が、透かし計算部12があらかじめ決められた処理時間分でもって、入力部11からの音声信号を遅延させ、音声信号と透かし信号とを同じ位相又はタイミング等で加算・合成(ミックス)することを意味する。
コード入力部14は、透かしとして埋込みたいビットのシーケンス(埋込コード)を保持し、透かし計算部12に対して、埋め込みたいビット(埋込コード)を与える。
音声透かし埋込装置100は、入力部11、透かし計算部12、加算出力部13、コード入力部14を備える。
まず、各部の動作概要を説明する。
入力部11は、原信号音声である音声信号(本明細書中、音声フレームという場合がある。)を入力する。入力部11は、透かし計算のため、音声信号を分配(コピー又は分岐)し、分配された音声信号のうち一方を透かし計算部12に送信し、もう一方を加算出力部13に送信する。
透かし計算部12は、入力部11から受信した音声信号をもとに、透かし信号(本明細書中、透かしフレームという場合がある。)を計算する(詳細は後述)。透かし計算部12は、計算した透かし信号を、加算出力部13に送る。
加算出力部13は、入力部11から受信した音声信号と、透かし計算部12から受信した透かし信号を、位相を合わせて加算・合成(ミックス)し、透かし済み音声として出力する。ここで、「位相を合わせる」とは、加算出力部13が、透かし計算部12があらかじめ決められた処理時間分でもって、入力部11からの音声信号を遅延させ、音声信号と透かし信号とを同じ位相又はタイミング等で加算・合成(ミックス)することを意味する。
コード入力部14は、透かしとして埋込みたいビットのシーケンス(埋込コード)を保持し、透かし計算部12に対して、埋め込みたいビット(埋込コード)を与える。
図4に、入力部の処理についてのフローチャートを示す。
入力部11は、原信号音声である音声信号を受信し(S101)、音声信号をフレーム単位に分割し、音声フレームとする(S103)。つぎに、入力部11は、透かし計算部12と加算出力部13に、音声フレームを送信する(S105)。
入力部11は、原信号音声である音声信号を受信し(S101)、音声信号をフレーム単位に分割し、音声フレームとする(S103)。つぎに、入力部11は、透かし計算部12と加算出力部13に、音声フレームを送信する(S105)。
図5に、加算出力部の構成図を示す。
加算出力部13は、処理部131、出力部132を備える。
加算出力部13は、処理部131、出力部132を備える。
図6に、加算出力部の処理についてのフローチャートを示す。
加算出力部13では、処理部131が、入力部11から、音声フレームを受信し(S301)、透かし計算部12の処理時間を踏まえた、固定時間遅延させ、出力部132に音声フレームを送信する(S303)。出力部132は、透かし計算部12から、透かしフレームを受信し(S305)、処理部131からの音声フレームと、透かし計算部12からの透かしフレームとをミックスし、透かし済み音声を出力する(S307)。
加算出力部13では、処理部131が、入力部11から、音声フレームを受信し(S301)、透かし計算部12の処理時間を踏まえた、固定時間遅延させ、出力部132に音声フレームを送信する(S303)。出力部132は、透かし計算部12から、透かしフレームを受信し(S305)、処理部131からの音声フレームと、透かし計算部12からの透かしフレームとをミックスし、透かし済み音声を出力する(S307)。
図7に、透かし計算部の構成図を示す。
透かし計算部12は、処理部121、出力メモリ部122を備える。
透かし計算部12は、フレーム位相を1/2又は1/3・・・・又は1/nずらして、別の透かしを足し合わせる。
透かし計算部12は、処理部121、出力メモリ部122を備える。
透かし計算部12は、フレーム位相を1/2又は1/3・・・・又は1/nずらして、別の透かしを足し合わせる。
図8に、透かし計算部の動作(1/2ずらしの場合)についての説明図を示す。
まず、1/2ずらす場合を説明する。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、位相が1/2フレームずれている。2列目では、2列目の埋込コードが、1列目と1/2フレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。2列目では、1列目と、波形の重なりが生じるため、透かしの埋め込みパターンは1列目で使用するものと、重複しない(独立性が高い)ものとすることができる。2列目は、1列目と同じ情報を埋めれば、透かしの冗長性を高められる。また、1列目と2列目で異なる情報を埋めれば、情報量を増やせる。なお、ひとつのフレームに、1ビットの情報を埋め込んでもよいし、予め定められた数のビット(ビット列)、シンボル、コード列等を適宜埋め込むようにしてもよい。
出力メモリ部122では、1列目、2列目の透かしがミックス処理されて記憶されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
このように、1/2ずらした位相で、透かしを計算し、加算・合成(ミックス)することで、窓波形の形をうまく利用して、透かしとして埋め込む情報密度を高められる。また、時間窓の波の形に起因する、音質劣化を軽減できる。
まず、1/2ずらす場合を説明する。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、位相が1/2フレームずれている。2列目では、2列目の埋込コードが、1列目と1/2フレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。2列目では、1列目と、波形の重なりが生じるため、透かしの埋め込みパターンは1列目で使用するものと、重複しない(独立性が高い)ものとすることができる。2列目は、1列目と同じ情報を埋めれば、透かしの冗長性を高められる。また、1列目と2列目で異なる情報を埋めれば、情報量を増やせる。なお、ひとつのフレームに、1ビットの情報を埋め込んでもよいし、予め定められた数のビット(ビット列)、シンボル、コード列等を適宜埋め込むようにしてもよい。
出力メモリ部122では、1列目、2列目の透かしがミックス処理されて記憶されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
このように、1/2ずらした位相で、透かしを計算し、加算・合成(ミックス)することで、窓波形の形をうまく利用して、透かしとして埋め込む情報密度を高められる。また、時間窓の波の形に起因する、音質劣化を軽減できる。
図9に、透かし計算部の処理についてのフローチャート(1/2ずらしの場合)を示す。
以下に、図8及び図9を参照して、透かし計算部12の処理(1/2ずらしの場合)について説明する。
透かし計算部12の処理部121は、入力部11より、音声フレームを1つ(図8、フレーム#1)を受信する(S201)。処理部121は、1Aのフレーム範囲で、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Aの透かしを計算し、時間窓をかけて、出力メモリ部122にコピーする。(S203)。
なお、透かしのための埋込コードは、コード入力部14から入力される0又は1により予め定められたパターンが決定され、そのパターンにしたがって透かしが計算されてもよい。また、音声透かし検出装置側での検出用として同期透かしを用いることができ、同期透かしについては、予め定められた同期透かしのパターンが計算されてもよい。なお、時間窓はたとえば、ハニング窓等を用いることができる。さらに、処理部121は、透かし計算後、必要なら、フィルタ処置、エネルギー調整処置など行われてもよい。
以下に、図8及び図9を参照して、透かし計算部12の処理(1/2ずらしの場合)について説明する。
透かし計算部12の処理部121は、入力部11より、音声フレームを1つ(図8、フレーム#1)を受信する(S201)。処理部121は、1Aのフレーム範囲で、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Aの透かしを計算し、時間窓をかけて、出力メモリ部122にコピーする。(S203)。
なお、透かしのための埋込コードは、コード入力部14から入力される0又は1により予め定められたパターンが決定され、そのパターンにしたがって透かしが計算されてもよい。また、音声透かし検出装置側での検出用として同期透かしを用いることができ、同期透かしについては、予め定められた同期透かしのパターンが計算されてもよい。なお、時間窓はたとえば、ハニング窓等を用いることができる。さらに、処理部121は、透かし計算後、必要なら、フィルタ処置、エネルギー調整処置など行われてもよい。
つぎに、処理部121は、入力部11より、次の音声フレーム(図8、フレーム#2)を受信する(S205)。処理部121は、透かし計算窓を1/2フレームずらし、コード入力部14から与えられた2列目の埋込コードに従い、フレーム範囲2Aの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S207)。なお、ミックスとは、例えば、合成、加算、重畳等を意味する。
処理部121は、さらに、1/2フレームずらし、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Bの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S209)。
なお、フレーム範囲1A,2A(1列目)は、フレーム範囲1B(2列目)とは異なる0又は1のパターンを設定することもできる。それにより、単位時間当たりの埋込み情報量を増やせる。また、2列目は1列目と同じ埋込コードの情報を埋めれば、透かしの冗長性を高められる。また、2列目と1列目とは異なる埋込コードの情報を埋めれば、情報量を増やせる。
処理部121は、出力メモリ122部から、フレームごとに、ミックスして蓄積された透かしフレームを加算出力部13に出力する(S209)。
処理部121は、さらに、1/2フレームずらし、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Bの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S209)。
なお、フレーム範囲1A,2A(1列目)は、フレーム範囲1B(2列目)とは異なる0又は1のパターンを設定することもできる。それにより、単位時間当たりの埋込み情報量を増やせる。また、2列目は1列目と同じ埋込コードの情報を埋めれば、透かしの冗長性を高められる。また、2列目と1列目とは異なる埋込コードの情報を埋めれば、情報量を増やせる。
処理部121は、出力メモリ122部から、フレームごとに、ミックスして蓄積された透かしフレームを加算出力部13に出力する(S209)。
処理部121は、入力部11より、次の音声フレーム(図8、フレーム#3)を受信する(S211)。
処理部121は、透かし計算窓を1/2フレームずらし、コード入力部14から与えられた2列目の埋込コードに従い、フレーム範囲2Bの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S213)。また、処理部121は、さらに、1/2フレームずらし、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Cの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S213)。
処理部121は、透かし計算窓を1/2フレームずらし、コード入力部14から与えられた2列目の埋込コードに従い、フレーム範囲2Bの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S213)。また、処理部121は、さらに、1/2フレームずらし、コード入力部14から与えられた1列目の埋込コードに従い、フレーム範囲1Cの透かしを計算し、時間窓をかけて、出力メモリ部122にミックスして出力・記憶する(S213)。
処理部121は、出力メモリ122部から、フレームごとに、ミックスして蓄積されたデータを加算出力部13に出力する(S215)。
処理部121は、最終フレームまで、以上の処理を繰り返する(S217)。なお、処理部121は、最終フレームは、そのまま出力するようにしてもよい。
処理部121は、最終フレームまで、以上の処理を繰り返する(S217)。なお、処理部121は、最終フレームは、そのまま出力するようにしてもよい。
図10に、透かし計算部の動作(1/3ずらしの場合)についての説明図を示す。
つぎに、1/3、2/3ずらした場合で、3列の加算の例を説明する。この例では、フレーム位相を、それぞれ1/2又は1/3ずらして、各フレームの透かしを足し合わせる。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、区切りが1/3フレームずれている。2列目では、2列目の埋込コードが、1列目と1/3フレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な3列目のフレーム単位では、2列目より、区切りがさらに1/3フレームずれている。3列目では、3列目の埋込コードが、1列目と2/3フレームずれた各フレーム範囲3A、3B、3C・・・に透かしとして埋め込まれる様子が示されている。
なお、各列の透かしの埋め込み及び情報については、上述のようにすることができる。
出力メモリ部122では、1列目、2列目、3列目の透かしがミックス処理されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
つぎに、1/3、2/3ずらした場合で、3列の加算の例を説明する。この例では、フレーム位相を、それぞれ1/2又は1/3ずらして、各フレームの透かしを足し合わせる。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、区切りが1/3フレームずれている。2列目では、2列目の埋込コードが、1列目と1/3フレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な3列目のフレーム単位では、2列目より、区切りがさらに1/3フレームずれている。3列目では、3列目の埋込コードが、1列目と2/3フレームずれた各フレーム範囲3A、3B、3C・・・に透かしとして埋め込まれる様子が示されている。
なお、各列の透かしの埋め込み及び情報については、上述のようにすることができる。
出力メモリ部122では、1列目、2列目、3列目の透かしがミックス処理されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
この場合の透かし計算部12での処理についてのフローチャート(1/3、2/3ずらしで埋め込む場合)は、上述の1/2ずらしで埋め込む場合の処理についてのフローチャート(図9)において、透かし計算窓のずらしを、1/3フレームずつ、ずらして処理すればよい。
図11に、透かし計算部の動作(1/nずらしの場合)についての説明図を示す。
つぎに、1/n、2/n、・・・、(n−1)/nずらした場合で、n列の加算の例を説明する。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、区切りが1/nフレームずれている。2列目では、2列目の埋込コードが、1列目と1/nフレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。
以下、仮想的な3列目〜(n−1)列目のフレーム単位も同様となる。
仮想的なn列目のフレーム単位では、1列目より、区切りがさらに(n−1)/nフレームずれている。n列目では、n列目の埋込コードが、1列目と(n−1)/nフレームずれた各フレーム範囲nA、nB、nC・・・に透かしとして埋め込まれる様子が示されている。
なお、各列の透かしの埋め込み及び情報については、上述のようにすることができる。
出力メモリ部122では、1列目、2列目、・・・、n列目がミックス処理されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
つぎに、1/n、2/n、・・・、(n−1)/nずらした場合で、n列の加算の例を説明する。
1列目では、1列目の埋込コードが、各フレーム範囲1A、1B、1C・・・に透かしとして埋め込まれる様子が示されている。
仮想的な2列目のフレーム単位では、1列目より、区切りが1/nフレームずれている。2列目では、2列目の埋込コードが、1列目と1/nフレームずれた各フレーム範囲2A、2B、2C・・・に透かしとして埋め込まれる様子が示されている。
以下、仮想的な3列目〜(n−1)列目のフレーム単位も同様となる。
仮想的なn列目のフレーム単位では、1列目より、区切りがさらに(n−1)/nフレームずれている。n列目では、n列目の埋込コードが、1列目と(n−1)/nフレームずれた各フレーム範囲nA、nB、nC・・・に透かしとして埋め込まれる様子が示されている。
なお、各列の透かしの埋め込み及び情報については、上述のようにすることができる。
出力メモリ部122では、1列目、2列目、・・・、n列目がミックス処理されることにより、時間窓の形に由来する、透かしの強さの波型が、緩和される。
この場合の透かし計算部12での処理についてのフローチャート(1/nずらしで埋め込む場合)は、上述の1/2ずらしで埋め込む場合の処理についてのフローチャート(図9)において、透かし計算窓のずらしを、1/nフレームずつ、ずらして処理すればよい。
図12に、透かし計算部の処理についての説明図を示す。
透かし計算部12の処理部121は、入力部11から音声信号(音声フレーム)を入力し、1/nフレームずつずらしてブロックS253−1〜S253−nに各々出力し、また、コード入力部14から1列目〜n列目の埋込コードを入力し、ブロックS253−1〜S253−nに各々出力する(S251)。処理部121は、音声フレームの各フレーム範囲と1/nフレームずつずらしたフレームの各フレーム範囲で、n列目の埋込コードによる透かしを、それぞれ時間窓をかけて計算する(S253−1〜S253−n)。処理部121は、1/nフレームずつずらしたフレームで計算した各透かしをミックス(加算、合成、重畳等)して透かし信号(透かしフレーム)として出力メモリ部122に記憶する(S255)。処理部121は、出力メモリ122部から、透かし信号(透かしフレーム)を加算出力部13に出力する(S257)。なお、出力は、フレーム毎でもいいし、複数フレームまとめてでもよい。
透かし計算部12の処理部121は、入力部11から音声信号(音声フレーム)を入力し、1/nフレームずつずらしてブロックS253−1〜S253−nに各々出力し、また、コード入力部14から1列目〜n列目の埋込コードを入力し、ブロックS253−1〜S253−nに各々出力する(S251)。処理部121は、音声フレームの各フレーム範囲と1/nフレームずつずらしたフレームの各フレーム範囲で、n列目の埋込コードによる透かしを、それぞれ時間窓をかけて計算する(S253−1〜S253−n)。処理部121は、1/nフレームずつずらしたフレームで計算した各透かしをミックス(加算、合成、重畳等)して透かし信号(透かしフレーム)として出力メモリ部122に記憶する(S255)。処理部121は、出力メモリ122部から、透かし信号(透かしフレーム)を加算出力部13に出力する(S257)。なお、出力は、フレーム毎でもいいし、複数フレームまとめてでもよい。
3.音声透かし検出装置
音声透かし検出装置200は、入力した透かし済み音声信号から透かしのタイミングを取得し、それにもとづいて、音声透かし埋込装置100が透かしにより埋め込んだ埋込コードの検出処理を行う。
音声透かし検出装置200は、図1に示したように、入力部21、検出部22を有する。
音声透かし検出装置200は、入力した透かし済み音声信号から透かしのタイミングを取得し、それにもとづいて、音声透かし埋込装置100が透かしにより埋め込んだ埋込コードの検出処理を行う。
音声透かし検出装置200は、図1に示したように、入力部21、検出部22を有する。
図13に、音声透かし検出処理のフローチャートを示す。
音声透かし検出装置200の入力部21は、ネットワーク・回線・空中伝搬300を介して、音声透かし埋込装置100から送られた透かし済み音声信号を入力する(S401)。
検出部22は、透かし済み音声信号から透かしの入っているタイミング(位相)を取得する(S403)。なお、検出部22は、透かし信号としていくつの列の埋込コードが含まれているか(1/2、1/3・・・又は1/n、又は、nの値等)を予め設定・認識し、保持しているとする。
タイミング(位相)については、例えば、入力された透かし済み音声信号に対して、タイミング(位相)があらかじめ決められていて、検出部22が、それを用いてもよい(例えば、音声ファイルが入力された場合の、ファイルの先頭からの相対的な位置など)。あるいは、タイミング(位相)を取得するために、検出部22が、入力音声を細かい単位でずらしていき、透かし検出処理を行い、音声透かし埋込装置100から送られた、同期用のひとつ又はシーケンスからなる決められた透かし(同期透かし)を検出することにより、タイミング(位相)を取得してもよい(詳細は後述)。
検出部22は、取得したタイミング(位相)をもとに、透かし済み音声信号から透かしの入っている位置関係を把握し、埋込コードの検出処理を行う(S405)。なお、
音声透かし検出装置200の入力部21は、ネットワーク・回線・空中伝搬300を介して、音声透かし埋込装置100から送られた透かし済み音声信号を入力する(S401)。
検出部22は、透かし済み音声信号から透かしの入っているタイミング(位相)を取得する(S403)。なお、検出部22は、透かし信号としていくつの列の埋込コードが含まれているか(1/2、1/3・・・又は1/n、又は、nの値等)を予め設定・認識し、保持しているとする。
タイミング(位相)については、例えば、入力された透かし済み音声信号に対して、タイミング(位相)があらかじめ決められていて、検出部22が、それを用いてもよい(例えば、音声ファイルが入力された場合の、ファイルの先頭からの相対的な位置など)。あるいは、タイミング(位相)を取得するために、検出部22が、入力音声を細かい単位でずらしていき、透かし検出処理を行い、音声透かし埋込装置100から送られた、同期用のひとつ又はシーケンスからなる決められた透かし(同期透かし)を検出することにより、タイミング(位相)を取得してもよい(詳細は後述)。
検出部22は、取得したタイミング(位相)をもとに、透かし済み音声信号から透かしの入っている位置関係を把握し、埋込コードの検出処理を行う(S405)。なお、
図14に、タイミング(位相)取得のためのフローチャートを示す。これは、図13のステップS403の処理に対応する。
また、図15に、タイミング(位相)取得についてのための説明図を示す。
この場合は、音声透かし埋込装置100は、同期検出用の埋込コードを透かしとして埋め込んだ同期透かしを、透かし済み音声信号として送る。
以下に、透かし済音声信号において、透かしの入っているタイミング(位相)がわからない場合に、同期検出用として設定された同期透かしを見つけ出す処理について説明する。
検出部22は、細かく、1フレームの幅を少しずつずらして、同期透かしを検出する。この検出は、予め定めたサンプルずつずらして、透かし済み音声信号を取得して、検出処理が行われる(例、フレームの幅(例、4096サンプル等)で、たとえば、m=4096/nサンプル)。
まず、検出部22は、予め定めた位置又は任意の位置において1フレームの幅で、透かし済み音声信号(フレーム)を取得し(S411)、そのフレーム範囲で透かし解析を行う(S413)。検出部22は、同期透かしが検出されたら(S415:Y)、その位置を元に、透かしが埋まっているタイミング(位相)と判定する(S417)。たとえば、検出部22は、その直後のフレームから透かしが埋まっていると判定することができる。一方、検出部22は、同期透かしが検出されなかったら(S415:N)、予め定めたサンプル(例、mサンプル)後ろにずらして、1フレームの幅で、透かし済み音声信号を取得し、ステップS413に戻り以降の処理を繰り返す(S419)。なお、mの値は、透かしがどのタイミングで入っているか不明な系では、フレーム長に対して、十分細かいほうがよい。
また、図15に、タイミング(位相)取得についてのための説明図を示す。
この場合は、音声透かし埋込装置100は、同期検出用の埋込コードを透かしとして埋め込んだ同期透かしを、透かし済み音声信号として送る。
以下に、透かし済音声信号において、透かしの入っているタイミング(位相)がわからない場合に、同期検出用として設定された同期透かしを見つけ出す処理について説明する。
検出部22は、細かく、1フレームの幅を少しずつずらして、同期透かしを検出する。この検出は、予め定めたサンプルずつずらして、透かし済み音声信号を取得して、検出処理が行われる(例、フレームの幅(例、4096サンプル等)で、たとえば、m=4096/nサンプル)。
まず、検出部22は、予め定めた位置又は任意の位置において1フレームの幅で、透かし済み音声信号(フレーム)を取得し(S411)、そのフレーム範囲で透かし解析を行う(S413)。検出部22は、同期透かしが検出されたら(S415:Y)、その位置を元に、透かしが埋まっているタイミング(位相)と判定する(S417)。たとえば、検出部22は、その直後のフレームから透かしが埋まっていると判定することができる。一方、検出部22は、同期透かしが検出されなかったら(S415:N)、予め定めたサンプル(例、mサンプル)後ろにずらして、1フレームの幅で、透かし済み音声信号を取得し、ステップS413に戻り以降の処理を繰り返す(S419)。なお、mの値は、透かしがどのタイミングで入っているか不明な系では、フレーム長に対して、十分細かいほうがよい。
図16に、透かし検出例の説明図を示す。
検出部22は、同期透かしのタイミング(位相)を取得できれば、透かし信号のそれぞれの埋め込みタイミング(位相)で、埋込コードの検出処理を行うことができ、0,1をデコードすることが可能となる。
図では、データが埋められている場所のイメージを示す。ここでは、一例として、検出部22が、1列目の埋込コードと、1/2フレームずらした2列目の埋込コードが透かしとして埋め込まれていることを予め設定・認識しているものとする。検出部22は、同期透かしが検出された位置により、フレームのタイミング(位相)を取得することができ、さらに、2つの埋込コードが1/2フレームずらして埋め込まれていることを予め設定・認識しているので、図示のように埋込データが格納されているという位置関係が分かる。こうして、検出部22は、1列目及び2列目の埋込コードを検出することができる。
検出部22は、同期透かしのタイミング(位相)を取得できれば、透かし信号のそれぞれの埋め込みタイミング(位相)で、埋込コードの検出処理を行うことができ、0,1をデコードすることが可能となる。
図では、データが埋められている場所のイメージを示す。ここでは、一例として、検出部22が、1列目の埋込コードと、1/2フレームずらした2列目の埋込コードが透かしとして埋め込まれていることを予め設定・認識しているものとする。検出部22は、同期透かしが検出された位置により、フレームのタイミング(位相)を取得することができ、さらに、2つの埋込コードが1/2フレームずらして埋め込まれていることを予め設定・認識しているので、図示のように埋込データが格納されているという位置関係が分かる。こうして、検出部22は、1列目及び2列目の埋込コードを検出することができる。
本発明の音声透かし埋込装置及びシステム及び方法及びプログラムは、その各手順をコンピュータに実行させるための音声透かし埋込処理プログラム、音声透かし埋込処理プログラムを記録したコンピュータ読み取り可能な記録媒体、音声透かし埋込処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ等により提供されることができる。
11 入力部
12 透かし計算部
13 加算出力部
21 入力部
22 検出部
100 音声透かし埋込装置
200 音声透かし検出装置
12 透かし計算部
13 加算出力部
21 入力部
22 検出部
100 音声透かし埋込装置
200 音声透かし検出装置
Claims (15)
- 音声信号をフレーム単位に分割して音声フレームとし、前記音声フレームを出力する入力部と、
前記入力部から入力した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成する透かし計算部と、
前記入力部から入力した音声フレームと、前記透かし計算部から入力した透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する加算出力部と、
を備えた音声透かし埋込装置。
- 請求項1に記載の音声透かし埋込装置において、
前記透かし計算部は、処理部と、出力メモリ部を有し、
前記処理部は、
(1) 前記入力部より、第1番目の音声フレームを受信し、前記第1の埋込コードについて、第1列の第1番のフレーム範囲の透かしを時間窓をかけて計算し、前記出力メモリ部に記憶する第1処理と、
(2) 前記入力部より、第2番目の音声フレームを受信し、
前記第2の埋込コードについて、透かし計算窓を1/2フレームずらした第2列の第1番のフレーム範囲の透かしを時間窓をかけて計算し、前記出力メモリ部にミックス又は加算又は合成して記憶し、
前記第1の埋込コードについて、さらに透かし計算窓を1/2フレームずらした第1列の第2番のフレーム範囲の透かしを時間窓をかけて計算し、前記出力メモリ部にミックス又は加算又は合成して記憶し、
前記出力メモリ部から、前記音声フレームの各フレーム範囲でミックス又は加算又は合成して記憶した透かしを透かしフレームとして前記加算出力部に出力する
第2処理と、
(3) 前記第2処理を、以降の各音声フレームに対して繰り返す第3処理と
を実行することを特徴とする音声透かし埋込装置。
- 請求項1に記載の音声透かし埋込装置において、
前記透かし計算部は、処理部と、出力メモリ部を有し、
前記処理部は、
(1) 前記入力部より、第1番目の音声フレームを受信し、
前記第1の埋込コードについて、第1列の第1番のフレーム範囲の透かしを時間窓をかけて計算し、前記出力メモリ部に記憶する第1処理と、
(2) 前記入力部より、第i番目の音声フレームを受信し、
i=2〜n(nは2以上の予め定められた整数)として、さらに、前記第iの埋込コードについて、透かし計算窓を1/nフレームずらした第i列の第1番のフレーム範囲の透かしを時間窓をかけて計算し、前記出力メモリ部にミックス又は加算又は合成して記憶することを、i=2〜nで繰り返し、
前記出力メモリ部から、前記音声フレームの各フレーム範囲でミックス又は加算又は合成して記憶した透かしを前記透かしフレームとして前記加算出力部に出力する
第2処理と、
(3) 前記第2処理を、以降の音声フレームに対して繰り返す第3処理と
を実行することを特徴とする音声透かし埋込装置。
- 請求項2又は3に記載の音声透かし埋込装置において、
前記第2処理を最終番目の音声フレーム又は予め定められた番目の音声フレームまで繰り返した後、前記最終番目の音声フレーム又は予め定められた番目の音声フレームを、そのまま透かしフレームとして前記加算出力部に出力することを特徴とする音声透かし埋込装置。
- 請求項1乃至4のいずれかに記載の音声透かし埋込装置において、
透かしとして埋込むための前記埋込コードをひとつ又は複数保持し、前記透かし計算部に与えるコード入力部をさらに備えたことを特徴とする音声透かし埋込装置。
- 請求項1乃至5のいずれかに記載の音声透かし埋込装置において、
第xの埋込コードと第yの埋込コード(x、yは、1〜nのいずれかひとつ又は複数)は、異なるパターンにより設定されることを特徴とする音声透かし埋込装置。
- 請求項1乃至5のいずれかに記載の音声透かし埋込装置において、
第xの埋込コードと第yの埋込コード(x、yは、1〜nのいずれかひとつ又は複数)は、同じパターンにより設定されることを特徴とする音声透かし埋込装置。
- 請求項1乃至7のいずれかに記載の音声透かし埋込装置において、
第xの埋込コードと第yの埋込コード(x、yは、1〜nのいずれかひとつ又は複数)は、異なる情報であることを特徴とする音声透かし埋込装置。
- 請求項1乃至7のいずれかに記載の音声透かし埋込装置において、
第xの埋込コードと第yの埋込コード(x、yは、1〜nのいずれかひとつ又は複数)は、同じ情報であることを特徴とする音声透かし埋込装置。
- 請求項1乃至9のいずれかに記載の音声透かし埋込装置において、
前記透かし計算部は、透かしを計算後、フィルタ処理及び/又はエネルギー調整処理をさらに行うことを特徴とする音声透かし埋込装置。
- 請求項1乃至10のいずれかに記載の音声透かし埋込装置において、
前記透かし計算部は、同期検出用埋込コードについて同期透かしを計算し、
前記加算出力部は、前記入力部から入力した音声フレームと、前記透かし計算部から入力した前記同期透かしを含む透かしフレームとを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する
ことを特徴とする音声透かし埋込装置。
- 請求項1乃至11のいずれかに記載の音声透かし埋込装置と、
音声透かし検出装置と
を備え、
前記音声透かし埋込装置は、同期検出用埋込コードについての同期透かしを含む透かし済み音声信号を形成して出力し、
前記音声透かし検出装置は、
前記音声透かし埋込装置から前記透かし済み音声信号を入力し、前記透かし済み音声信号を予め定められた単位又はサンプル数ずらして透かしを解析し、前記同期透かしが検出されたら、検出位置を元に透かしフレームのタイミング又は位相を求め、前記タイミング又は位相をもとに、透かしを検出する
こと特徴とする音声透かし埋込システム。
- 請求項1乃至11のいずれかに記載の音声透かし埋込装置と、
入力音声信号に対して、音声ファイルの先頭からの予め定められた相対的な位置又は予め定められた他の位置情報をもとに、透かしフレームのタイミング又は位相を求め、前記タイミング又は位相をもとに透かしを検出する音声透かし検出装置と、
を備えた音声透かし埋込システム。
- 請求項12又は13に記載された音声透かし埋込システムにおいて、
前記音声透かし検出装置は、
前記音声透かし埋込装置との間で予め設定されたn(nは2以上の整数)の値を保持し、
前記タイミング又は位相に基づくフレームのフレーム範囲により、前記第1の埋込コードを検出し、
前記タイミング又は位相に基づくフレームを、それぞれ1/nフレーム乃至(n−1)/nフレームずらした第2乃至第nのフレーム範囲により、それぞれ第1乃至第nの埋込コードを検出する
こと特徴とする音声透かし埋込システム。
- 音声信号をフレーム単位に分割した音声フレームをもとに、nは2以上の予め定められた整数でi=1〜nとして、第iの埋込コードについて、前記音声フレームを(i−1)/nずらした複数のフレーム範囲の各々で、時間窓をかけて計算した第iの透かしを、i=1〜nでミックス又は加算又は合成することにより透かしフレームを形成し、
前記音声フレームと、前記透かしフレームを、タイミング又は位相を合わせて加算し、透かし済み音声信号として出力する
を備えた音声透かし埋込方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014161166A JP2016038455A (ja) | 2014-08-07 | 2014-08-07 | 音声透かし埋込装置及びシステム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014161166A JP2016038455A (ja) | 2014-08-07 | 2014-08-07 | 音声透かし埋込装置及びシステム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016038455A true JP2016038455A (ja) | 2016-03-22 |
Family
ID=55529573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014161166A Pending JP2016038455A (ja) | 2014-08-07 | 2014-08-07 | 音声透かし埋込装置及びシステム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016038455A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024114156A1 (zh) * | 2022-11-28 | 2024-06-06 | 腾讯科技(深圳)有限公司 | 音频水印处理方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002044408A (ja) * | 2000-06-29 | 2002-02-08 | Internatl Business Mach Corp <Ibm> | 電子透かし方法およびそのシステム |
JP2003263183A (ja) * | 2002-03-11 | 2003-09-19 | Univ Tohoku | 電子透かしシステム |
JP2012013808A (ja) * | 2010-06-29 | 2012-01-19 | Yamaha Corp | キャリア信号に埋め込まれた電子透かし情報を抽出する抽出装置、およびキャリア信号に電子透かし情報を埋め込む埋め込み装置 |
JP2012037701A (ja) * | 2010-08-06 | 2012-02-23 | Kddi Corp | オーディオ電子透かし埋め込み装置およびプログラム |
-
2014
- 2014-08-07 JP JP2014161166A patent/JP2016038455A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002044408A (ja) * | 2000-06-29 | 2002-02-08 | Internatl Business Mach Corp <Ibm> | 電子透かし方法およびそのシステム |
JP2003263183A (ja) * | 2002-03-11 | 2003-09-19 | Univ Tohoku | 電子透かしシステム |
JP2012013808A (ja) * | 2010-06-29 | 2012-01-19 | Yamaha Corp | キャリア信号に埋め込まれた電子透かし情報を抽出する抽出装置、およびキャリア信号に電子透かし情報を埋め込む埋め込み装置 |
JP2012037701A (ja) * | 2010-08-06 | 2012-02-23 | Kddi Corp | オーディオ電子透かし埋め込み装置およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024114156A1 (zh) * | 2022-11-28 | 2024-06-06 | 腾讯科技(深圳)有限公司 | 音频水印处理方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3373299B1 (en) | Audio data processing method and device | |
BRPI0509818B1 (pt) | Processamento de sinal de informações pela modificação da representação da faixa espectral / espectral de modulação | |
EP2624253A3 (en) | Multi-object audio encoding and decoding method and apparatus thereof | |
RU2296377C2 (ru) | Способ анализа и синтеза речи | |
RU2012140702A (ru) | Генератор водяного знака, декодер водяного знака, способ генерации сигнала водяного знака на основе данных двоичного сообщения, способ формирования данных двоичного сообщения на основе сигнала с водяным знаком и компьютерная программа с использованием дифференциального кодирования | |
CN105321526B (zh) | 音频处理方法和电子设备 | |
CN104205212A (zh) | 听觉场景中的讲话者冲突 | |
JP2016038455A (ja) | 音声透かし埋込装置及びシステム及び方法 | |
FR2839565B1 (fr) | Procede et systeme de representation d'un champ acoustique | |
CN110148426B (zh) | 一种啸叫检测方法及其设备、存储介质、电子设备 | |
JP5554658B2 (ja) | オーディオ電子透かし埋め込み装置およびプログラム | |
US20180075852A1 (en) | Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field | |
ES2449476T3 (es) | Aparato, procedimiento y programa de ordenador para procesar una señal de audio | |
JP2007033804A (ja) | 音源分離装置,音源分離プログラム及び音源分離方法 | |
ATE450030T1 (de) | Verfahren und elektronische vorrichtung zur synthetisierung von orgelpfeifentönen mit hilfe der physikalischen modellierung von akustischen instrumenten | |
JP2008134298A (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP5169584B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
WO2011160966A1 (en) | Audio watermarking | |
JP5459069B2 (ja) | 音声信号に埋め込まれた電子透かし情報を除去する装置、および音声信号に電子透かし情報を埋め込む装置 | |
JP5510121B2 (ja) | キャリア信号に埋め込まれた電子透かし情報を抽出する抽出装置、およびキャリア信号に電子透かし情報を埋め込む埋め込み装置 | |
JP5715514B2 (ja) | オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム | |
WO2021059718A1 (ja) | 信号処理装置、信号処理方法及びプログラム | |
Chepikova | HIDDEN TRANSMISSION OF INFORMATION IN AUDIOFILES USING MUSIC PIECES | |
JP6728400B2 (ja) | 多チャネルオーディオ信号を処理する装置及び方法 | |
JP5601665B2 (ja) | オーディオ電子透かし埋め込み装置、検出装置および該プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181106 |