JP2014524681A - スイッチングのためのデジタルスイッチ信号シーケンス、デジタルスイッチ信号シーケンスをデジタルオーディオ情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置 - Google Patents

スイッチングのためのデジタルスイッチ信号シーケンス、デジタルスイッチ信号シーケンスをデジタルオーディオ情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置 Download PDF

Info

Publication number
JP2014524681A
JP2014524681A JP2014523324A JP2014523324A JP2014524681A JP 2014524681 A JP2014524681 A JP 2014524681A JP 2014523324 A JP2014523324 A JP 2014523324A JP 2014523324 A JP2014523324 A JP 2014523324A JP 2014524681 A JP2014524681 A JP 2014524681A
Authority
JP
Japan
Prior art keywords
switch signal
signal sequence
switch
signal
information signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014523324A
Other languages
English (en)
Other versions
JP6072791B2 (ja
Inventor
リンク、マーティン
Original Assignee
インスティテュート フューア ランドファンクテクニック ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インスティテュート フューア ランドファンクテクニック ゲーエムベーハー filed Critical インスティテュート フューア ランドファンクテクニック ゲーエムベーハー
Publication of JP2014524681A publication Critical patent/JP2014524681A/ja
Application granted granted Critical
Publication of JP6072791B2 publication Critical patent/JP6072791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/26Arrangements for switching distribution systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6543Transmission by server directed to the client for forcing some client operations, e.g. recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/08Separation of synchronising signals from picture signals

Abstract

デジタルスイッチ信号シーケンスについて提案する。このスイッチ信号シーケンスは、可能であれば、人間の聴覚における無音状態における音量閾値特性が最も高い感度を有する周波数(図5)を上回るハイパスカットオフ周波数を有し、所定の長さTの、前もってデジタル化およびハイパスフィルタされた白色雑音信号として実現される。スイッチ信号シーケンスは、例えば、2つの情報信号間のスイッチングである、スイッチングの目的で採用される。
【選択図】図2

Description

本発明は、スイッチングのためのデジタルスイッチ信号シーケンス、スイッチ信号シーケンスをデジタル情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置に関する。
アプリケーションの第1のケースは、共有の深夜番組の開始時または終了時に、放送サービスの変更を遠隔制御する機能である。クロスフェード(crossfading)とは、放送局によって固定されているプログラムのコンテンツに続くことである。現在、オーディオおよびスイッチ信号の様々な信号伝播時間を正確に検出することはできないため、正確なクロスフェードまたはスイッチングが不可能である。
本発明は、従来採用されていたスイッチ信号よりも良好な特性を有し、スイッチングの時点をより正確に判断できるスイッチ信号を提案する。
本発明に係るスイッチ信号シーケンスは、請求項1に係る特徴を有する。スイッチ信号シーケンスの望ましい実施形態は、請求項2および請求項3に記載されている。
デジタル情報信号にスイッチ信号シーケンスを含めるための装置は、請求項4に係る特徴を有する。装置の望ましい実施形態は、請求項5から9に含まれる。
デジタルスイッチ信号シーケンスを伴う情報信号を受信するための装置は、請求項10に記載の特徴を有する。この装置の望ましい実施形態は、請求項11から13に含まれる。
本発明によれば、所定の長さを有する、デジタル化され、ハイパスフィルタされた白色雑音信号を、スイッチ信号シーケンスとすることを提案する。人間の聴覚において無音である音量閾値特性が最も高い感度を有する周波数を超える周波数に存在する雑音信号のハイパスカットオフ周波数により、スイッチ信号シーケンスは、情報信号が存在しなくても、完全に不可聴となる。情報信号と同時に行われる伝送では、信号通知に対して干渉信号として作用する情報信号が、相対的に強く感じられることがないようにするべく、スイッチ信号シーケンスのレベルを相応に大きくすることによって、マスキング効果が使用される。
本発明を、添付の図面の説明を参照して、以下に更に例示する。
デジタル情報信号にスイッチ信号シーケンスを含めるための装置の実施形態を示す図である。 図1に係る装置に従って生成されたデジタルスイッチ信号シーケンスを伴う情報信号を受信する装置の一実施形態を示す図である。 受信機がオーディオ信号からスイッチ信号シーケンスを取り除くことができる第2の実施形態を示した図である。 本発明に係るデジタルスイッチ信号シーケンスの第1の実施形態を概略的に示した図である。 受信機の検出回路に格納されたデジタルスイッチ信号シーケンスのバージョンと情報信号との間の相互相関の結果としての、相互相関信号を示した図である。 本発明に係るデジタルスイッチ信号シーケンスを伴う第2の実施形態を概略的に示した図である。 本発明に係るデジタルスイッチ信号シーケンスを伴う第3の実施形態を概略的に示した図である。 別の検出回路を伴う実施形態を示した図である。 受信機の別の実施形態を示した図である。 無音およびマスク閾値における音量閾値特性を示した周波数図である。
時間の長さTのハイパスフィルタされた白色雑音信号が、デジタルスイッチ信号シーケンスとして採用される。このように決定されたデジタル信号パターンは、情報信号内に"隠される(concealed)"。ソースエンコードからすでに周知のように、人間の聴覚のマスキング効果が利用される場合の努力に対して、データ通信の観点で、低い周波数特性の利点はほとんど生かされない。スイッチ信号シーケンスの振幅を単純に、情報信号のレベル特性に適用することにより、聞き取ることができるノイズ成分を十分回避することができると同時に、スイッチ信号シーケンスを検出するのに十分な信号強度を維持することができることが示されている。
図10は、人間の聴覚が無音での音量閾値特性の周波数図を示しており、線は、参照番号1001で示されている。この曲線は、約3.5kHzにおいて最小値1005を有する。ハイパスフィルタされた白色雑音信号の(低い)カットオフ周波数は、3.5kHzを上回る。
一実施形態において、カットオフ周波数は、4から10kHzの間の周波数レンジである。検出において良好な結果を得るためには、カットオフ周波数を、望ましくは、6から8kHzの間で選択することが提案される。図10は更に、現在の情報信号の影響の下で、人間の聴覚における可聴度の閾値がどのように変化するかを、3つの正弦波音1002、1003および1004のケースについて示している。曲線1008で示されるように、約100Hzから8kHzの間の周波数レンジにおいて、聴覚の閾値が高くなる。これは、スイッチ信号シーケンスの振幅に影響を与える、すなわち、情報信号の振幅が大きくなると、スイッチ信号シーケンスの振幅が大きくなる可能性があることを意味する。これについては、図10において、参照番号1006および1007で示されている。ここで、スイッチ信号シーケンスの低いカットオフ周波数は、約5kHzであると仮定している。情報信号が存在しない場合には、参照番号1007で示されるA1に等しい振幅が、スイッチ信号シーケンスに対して可能であり、この振幅は、5kHzにおける無音での音量閾値特性を超えない。情報信号が存在する場合、スイッチ信号シーケンスの振幅を、参照番号1006に示す振幅A2にまで大きくすることができる。したがって、閾値周波数は、4kHzを下回ることなく、そうでない場合には、無音での音量閾値特性の特性が、最適に利用されない。そして、伝送経路のマスク閾値またはダイナミックリザーブ(無音での音量閾値特性の下の"場所")に頼らなければならない。
受信機に格納されたスイッチ信号シーケンスの信号パターンを利用して、このパターンの発生について、入力される情報信号を調べる。このパターンが見つかると、制御信号が出力される。
このパターンの検出のために、入力信号のいわゆる相互相関関数が、受信機に格納されたデジタルスイッチ信号シーケンスのパターン関数を使用して形成される。このため、入力信号のレベルは、接続に必要なスイッチ信号シーケンスのレベル適応が大部分なされていない態様で、前もってならされているのが望ましい。そうでない場合には、最もノイズ成分の多い信号特性が支配的になり、検出が非効率となってしまう。
ハイパスフィルタは、相互相関関数のピークに影響を与えないように、急な立ち上がりを含まないのが望ましい。急峻な立ち上がりを有するフィルタの場合、リップル("フィルタリンギング")が、最大値の明確な検出に不利な影響を与える。
図1には、デジタル情報信号にスイッチ信号シーケンスを含めるための装置の第1実施形態が示されている。情報信号ソース101により、装置の入力部100において情報信号が供給される。入力部100は、結合回路105の入力部、および、包絡線検波器102の入力部と接続される。包絡線検波器102の出力信号は、レベル制御回路103を起動する。装置には、スイッチ信号シーケンスをレベル制御回路105の入力部に供給するスイッチ信号シーケンス生成器104が設けられる。包絡線検波器102の出力信号に応答してレベルが増幅された出力信号が、トリガ時点107によって決定される瞬間において、結合回路105に供給される。もちろん、この瞬間においてスイッチ信号シーケンスが情報信号に導入されるようにトリガ時点が選択され、受信機で検出される適切な瞬間にスイッチング機能が開始される。そして、スイッチ信号シーケンスを伴う情報信号が出力部110へと供給され、受信機へと伝送される。
情報信号に含まれるスイッチ信号シーケンスを検出するための検出手段106を備える監視回路106が設けられる。
情報信号の包絡線が大きくなるのに従って、スイッチ信号シーケンスの振幅も同様に増大するように、制御回路102の制御信号に応答して、レベル制御回路103は、スイッチ信号シーケンスの振幅を増幅する。情報信号の連続したデジタル信号値およびスイッチ信号シーケンスを加算するように、結合回路105を設計することができる。図2には、図1の装置によって生成され、スイッチ信号シーケンスを伴う情報信号200を、入力部201を介して受信する受信機が示されている。入力部201は、リミッタ202の入力部、および、スイッチ206の第1の入力部に接続される。第2の情報信号が、入力部207を介して、スイッチ206に供給される。リミッタ202の出力部が、相互相関検出器204の入力部に接続される。装置に格納されているスイッチ信号シーケンスの固定パターン203が、相互相関検出器204の別の入力部に供給される。検出器204の出力部が、閾値回路205の入力部に接続される。閾値回路205の出力部が、スイッチ206の制御入力部において接続される。スイッチ206の出力部が、受信機の出力部208に接続される。第1の状態において、入力部201に供給された情報信号が、出力部208に転送されるように、スイッチ206が設定される。
リミッタ202は、入力信号200の振幅が平坦になるようにして、情報信号およびスイッチ信号シーケンスにおける静寂部分およびノイズの多い部分が、一定水準で、相互相関回路204へと転送されるようにする。この回路では、第1の入力部に供給された制限された情報信号と、第2の入力部に供給されたスイッチ信号シーケンスの固定パターンとの間に、相互相関が発生する。図5には、このパターンが、情報信号に含まれるスイッチ信号シーケンスと正確に相互相関を有する場合に、相互相関回路204の出力信号がどのように見えるかが示されている。X軸上における700,000サンプルはおよそ、再生時間約14秒に対応する。
図から明らかなように、相互相関回路204の出力信号の残りの部分よりも基本的に大きな振幅を有する非常に狭いピーク501が生成されている。閾値回路205において、閾値502が存在する(図5)。この閾値を超えると、検出信号が閾値回路205の出力部で生成され、スイッチ206へと供給される。検出信号に応答して、スイッチ206が切り替わり、入力部207に供給される第2の情報信号が、出力部208に転送される。ピークが十分に細くなると、非常に正確なスイッチング時間を達成することができる。
図2の受信機の別の実施形態では、ブロック206が異なる設計となり、2つの情報信号を同期させる同期回路として設計される。この場合、入力部200に供給される第1の情報信号は、デジタルオーディオ信号となる。第2の情報信号は、例えば、デジタルビデオ信号である。オーディオ信号は、ビデオ信号の一部であるが、正確にビデオ信号と同期されているわけではない。スイッチ信号シーケンスは、第1の情報信号内に、対応する第2の情報信号に対して同期点となるような位置に含められる。第1の情報信号においてスイッチ信号シーケンスが検出されると、閾値回路205は、このような制御信号を生成して、それにより2つの情報信号がブロック206において同期される。
図3には、受信を行う受信機の第2の実施形態が示されている。入力部301を介して、スイッチ信号シーケンスを伴い、図1に示された装置によって生成された情報信号300が、装置に転送される。入力部301が、リミッタ302の入力部およびスイッチ306の第1の入力部に接続される。第2の情報信号が、入力部307を介して、スイッチ306に供給される。リミッタ302の出力部は、相互相関検出器304の入力部に接続される。相互相関検出器304の別の入力部において、装置に格納されているスイッチ信号シーケンスの固定パターン303が供給される。検出器304の出力部は、閾値回路305の入力部に接続される。閾値回路305の出力部が、スイッチ306の制御入力部に接続される。スイッチ306の出力部は、受信機の出力部308に接続される。スイッチ信号シーケンスの検出および2つの情報信号間のスイッチングに関する受信機の機能は、図2の装置の対応部分と同一である。図3における装置には、更に、入力部310を介して、ある遅延をもって受信された情報信号を、加算回路301の入力部に転送する遅延ユニット309が設けられる。装置に格納されたスイッチ信号パターン303はまた、インバータ311において信号反転が行われた後に、加算回路310へと供給される。もちろん、インバータ回路311および加算回路310の組み合わせを、減算回路として設計することもできることは明らかである。
第1の情報信号におけるスイッチ信号シーケンスの検出において、インバータ回路311は、反転されたスイッチ信号シーケンスが適切な瞬間に加算回路310に供給されるように制御され、それにより、情報信号内でスイッチ信号シーケンスがキャンセルされ、スイッチ信号シーケンスが取り除かれた情報信号が、スイッチ306に供給されることを可能にするように、加算回路310およびインバータ回路311の動作モードが設定される。遅延回路309の遅延時間は、情報信号内のスイッチ信号シーケンスを検出し、信号パターンを、加算回路310の第2の入力部に供給するのに必要な時間と等しい。
図4には、長さTのスイッチ信号シーケンスがどのように図1に示されたメモリ104に格納されるかが、非常に概略的に(忠実にではない)示されている。実際には、スイッチ信号シーケンスは、白色雑音信号である。以下の説明では、変更されたスイッチ信号シーケンスが提案されることから、白色雑音信号の正確な図面は、以下の説明には適さない。例えば、N個のスイッチ信号シーケンスのアレイを、情報信号に含めることができ、ここで、N≧2である。例えば、図6には、図1に係る装置の別の実施形態において、2つの(N=2)スイッチ信号シーケンス600および601が、時間において順々に、生成器104によってどのように生成され、結合回路105によって情報信号に含められるかが示されている。
この場合、検出の信頼性が、以下の理由で、高くなっている。図4に係るスイッチ信号シーケンスの受信において、スイッチ制御信号が、図6において矢印602で示される時点で生成されると仮定する。図6に係る実施形態では、相互相関回路204または304においてそれぞれ、反転されたスイッチ信号シーケンス601が最初に受信され、検出されることから、負のピークが生成される。その後で、スイッチ信号シーケンス600が受信され、正のピークが生成される。したがって、負のピークの場合、期間Δtだけ遅延されて、スイッチ信号がトリガされる。正のピークの場合は、即時にスイッチ信号がトリガされる。ここでは、コンピュートバウンドの相互相関が2回使用されている。所望のスイッチングオペレーションが、重複して(二重に)通知されることから、信頼性が高められている。
例えば、反転されたスイッチ信号シーケンスが、スイッチ点の5秒前(Δt=5)に到達すると、受信機は、明確に、スイッチングオペレーションをトリガすることができる。これにより、単純に、負の相関ピークを5秒遅らせる。正のピークでは、即時に、スイッチングオペレーションへとつながる。このような仕組みにより、スイッチ信号シーケンスを反転させて繰り返すことにより、相互相関回路に更なる構成を加えることなく、スイッチ信号シーケンスの長さを2倍にすることにより(スイッチ信号シーケンスの長さおよび反転されたスイッチ信号シーケンスの長さの合計と等しい)、検出の信頼性を2倍にすることができる。
この方法は、より高い検出の信頼性が求められる場合についても拡張できる。パターン信号が時間で分割される、例えば、2つの部分へと分割されると、相互相関も2つの部分で計算され、パターンの検出において、両方の特性が単純に足し合わせられる。そして、2つの部分を個別に反転した状態、すなわち、180度逆にした状態で、送信することも可能であり、4つの可能性が生じる(2つのデータビットを表す2つの変数0°および180°を有する2つの信号部分)。
M個(M≧2)の部分列へと分割することにより、スイッチ信号シーケンス内にビットパターンを生成することができる。スイッチ信号シーケンスの時間セグメントから相互相関を計算することは、一段階で計算することよりも複雑であることはほとんどない。例えば、5秒間継続するスイッチ信号シーケンスを、それぞれが1秒の期間を有する5個の別個の部分列から形成することができ、図7に示すように、最初の部分列は、スイッチングパルスの4秒前に位置することになり、第2番目の部分列は、スイッチングパルスの3秒前に位置することになり、以下同様である。図7には、2つのスイッチングシーケンス700および701が示されており、それぞれが、5つの部分列(M=5)700.1から700.5および701.1から701.5に分割されている。スイッチングシーケンス701において、シーケンスの部分701.1および701.3は反転されている。
この点について、例えば、高速畳み込みにおいて、パターン信号が、周波数変換のための選択されたウィンドウの長さよりも長い場合に、このような分割が有効となることに留意されたい。高速畳み込みとは、計算能力を節約するために、高速フーリエ変換(FFT)を介して畳み込みを計算するためのアルゴリズムである。相関信号を達成するための合算において、正のサブ信号だけでなく、反転された変数も使用される場合、特に更なる構成を加えることなく、32個の相関信号、すなわち、2x2x2x2x2を得ることができ、送信されたサブパターンの極性に応じた5ビットを送信することができる。したがって、これらの信号を区別することができ、検出器における全く同一のスイッチング時間と関連付けることができることから、この例では、予め、スイッチ信号を31回送信することができる。これにより、動作を非常に信頼性高くすることができ、複数のパターン関数のうちの1つのみと相関付ける場合と比較して、そこまで高い計算能力を必要とすることなく、全部で32個の信号パターンのうちの1つのみが特定される場合であっても、スイッチングを有効にすることができる。この点について、以下に図8を参照して例示する。
信号経路のこの点から、伝播時間が可能である場合、その期間分だけ遅らされたプログラム信号に、信号パターンを反転状態で混合することができ、同様な態様で信号パターンを再び取り除くこともできる。そして、不可聴の要求が低い場合には、短いパターン信号を使用することができる。ソースエンコーダが、パターン信号からも量子化雑音を生成する結果、パターン信号の"存在"が薄くなってしまい、また、調整されたデータレートによっては、受信機が感知できなくなってしまうことから、ソースエンコードを伴う伝送は、キャンセリングの可能性を制限してしまう。
図8には、図2および図3の相互相関回路204および304の別の実施形態が示されている。ここでは、5つの小計との相互相関が実行される。図8における相互相関回路は、4つの遅延線801.1から801.4を含む。入力部800において、スイッチ信号シーケンスを伴う情報信号が供給される。5つの遅延線801の場合、各ラインの遅延時間は、T/5であり、ここで、Tは、1つのスイッチ信号シーケンスの長さである。5つの相互相関回路802.1−802.5が存在する。相互相関回路802.1の入力部は、入力部800に接続される。相互相関回路802.2から802.5の入力部はそれぞれ、対応する遅延回路801.1から801.4の出力部に接続される。
相互相関回路は、加算器804.1−804.16を含む。加算器804.1は、相互相関回路802.1から802.5(図8の2進数00000を参照)の出力部に接続される5つの入力部を有する。加算器804.2(図示せず)は、5つの入力部を有し、そのうちの1つは、相互相関回路802.5の反転された出力803.5に接続され、その他の4つの入力部は、相互相関回路802.1から802.4(2進数00001、図8に示さず)の出力部に接続されている。加算器804.3(図示せず)は、5つの入力部を有し、そのうちの1つは、相互相関回路802.4の反転された出力803.4に接続され、その他の4つの入力部は、相互相関回路802.1から802.3および802.5(2進数00010、図示せず)の出力部に接続される。加算器804.4(図示せず)は、5つの入力部を有し、そのうちの2つはそれぞれ、相互相関回路802.4および802.5の反転された出力803.4および803.5に接続され、その他の3つの入力部は、相互相関回路802.1から802.3(2進数00011、図示せず)の出力部に接続される。加算器804.5(図示せず)は、5つの入力部を有し、そのうちの1つは、相互相関回路802.3の反転された出力803.3に接続され、その他の4つの入力部は、相互相関回路802.1、802.2、802.4および802.5(2進数00100、図示せず)の出力部に接続される。加算器804.6(図示せず)は、5つの入力部を有し、そのうちの2つは、相互相関回路802.3および802.5の反転された出力803.3および803.5に接続され、その他の3つの入力部は、相互相関回路802.1、802.2および802.4(図8における2進数00101)の出力部に接続される。
加算器の入力部と、相互相関回路802.1から802.5の出力部または反転された出力との間のこの種の接続が、加算器804.7(図示せず)から加算器804.16までに対しても実行される。これは、加算器804.7(図示せず)の5つの入力部が、相互相関回路802.1、802.2および802.5の入力部、および、相互相関回路802.3および802.4(2進数値00110、図示せず)の反転された入力803.3および803.4にそれぞれ接続されることを意味する。これは更に、加算器804.16の5つの入力部が、相互相関回路802.1の入力部、および、相互相関回路802.2−802.5(図8における2進数値01111を参照)の反転された入力803.2−803.5に接続されることを意味する。
加算器804.1−804.16の出力部は、比較回路805の入力部に接続される。参照番号806は、加算回路804.1−804.16の様々な出力信号を示しており、ここでは、810に対応するスイッチ信号シーケンスが、入力部800に供給されると仮定している。図8の回路の動作について、更に、以下に説明する。図8において810と示されているスイッチ信号シーケンスが、入力部800に供給され、遅延線801.1−801.4へとシフトする。シーケンス700(図7参照)またはシーケンス810(図8参照)の部分列はそれぞれ、図7では700.1−700.5で示されており、図8では参照番号1−5で示されており、これらは、相互相関回路802.1−802.5において、相互相関器802に格納された並列な部分列、すなわち、相互相関器802.5における部分列1、相互相関器802.4における部分列2、…、および、相互相関器802.1における部分列5と、相互相関づけされる。加算器804.1の出力において、指定された振幅(例えば、1%または100%に等しい)を有する正のピークが生成される。その他の加算器の出力において、小さな振幅を有し、場合によっては、負の値を有するピークが生成される。一例として、相互相関回路802.5の反転された出力が、加算器804.2の入力部に接続されることから、加算器804.2(図示せず)の出力部では、振幅0.6(60%)を有するピークが生成される。相互相関回路802.4の反転された出力が、加算器804.3の入力部に接続されることから、加算器804.3(図示せず)の出力部では、振幅0.6(60%)を有するピークが生成される。相互相関回路802.5および802.4の反転された出力が、加算器804.2および804.3の入力部にそれぞれ接続されることから、加算器804.4(図示せず)の出力において、振幅0.2(20%)を有するピークが生成される。相互相関回路802.2から802.5の反転された出力が、加算器802.16の入力部に接続されることから、加算器804.iの出力部におけるピークの振幅の計算が、加算器804.16(i=16)の出力部における振幅が、−0.6(−60%)に等しくなるまで続けられる。
加算器804.1−804.16の出力におけるピークの振幅が、参照番号806として図8に示されている。
図6の参照番号601で示されるスイッチ信号シーケンスが、入力部800に供給され、遅延線801.1−801.4にシフトされる。シーケンス601の部分列(図6に示さず)が、相互相関回路802.1−802.5において、相互相関器802(図9において、参照番号801で示されている)に格納された並列な部分列、すなわち、相互相関器802.5における部分列1、相互相関器802.4における部分列2、…、相互相関器802.1における部分列5と、相互相関される。加算器804.1の出力において、所定の(100%)振幅を有する負のピークが生成される。加算器804.2−804.16のその他の出力の全てについては、上記の例と同様に、それよりも小さな振幅であり、反対の極性の振幅を有するピークが生成される。
図7において701と示されているスイッチ信号シーケンスが、入力部800に供給されて、遅延線801.1−801.4へとシフトされる。シーケンス701(図7参照)からの部分列701.1−701.5が、相互相関回路802.1−802.5において、相互相関器802に格納されているシーケンス700(図8における810)の並列な部分列、すなわち、相互相関器802.5における部分列701.1、相互相関器802.4における部分列701.2、…、相互相関器802.1における部分列701.5と、相互相関される。加算器804.6の出力部において、指定された振幅(1または100%に等しい)を有する正のピークが生成される。その他の加算器の出力部においては、それよりも低い振幅であって、必要に応じて反転された値を有するピークが生成される。
加算器804.1−804.16の出力信号は、比較回路805で評価される。比較回路805は、加算回路804.1−804.16の出力のうちの何れで、公称振幅を有するピークが発生するかを判断する。加算器804.1の出力において、正の公称振幅を有するピークが発生する場合には、801(図7における700)に従ったスイッチ信号シーケンスが検出されたと判断される。図6を参照してすでに説明したように、スイッチ信号(図6の601参照)は、出力部811において"直接"生成される。加算器804.1の出力部において、負の公称振幅を有するピークが発生している場合には、601(図6参照)に従ったスイッチ信号シーケンスが検出されたと判断される。図6を参照してすでに説明したように、一定の期間(図6のΔt参照)の後に、スイッチ信号が、出力部811において生成される。
最後の例について説明する。加算器804.6の出力部において、正の公称振幅を有するピークが発生する場合には、701(図7参照)に従ったスイッチ信号シーケンスが検出されたと判断される。図6を参照してすでに説明したように、一定の期間(Δt2)の後に、スイッチ信号が、出力部811において生成される。期間Δt2は、情報信号に含まれる異なるスイッチ信号シーケンスのアレイにおける、スイッチ信号シーケンス701の発生と、スイッチ信号シーケンス700の発生との間の時間距離に等しい。
図9には、スイッチ信号シーケンスの検出を、遠隔制御によって音量コンプレッサ(dynamic expander)またはダイナミックエクスパンダ(dynamic expander)910の調整量を変更するのに採用した、本発明の受信機の別の例が示されている。図9の装置における検出は、図2の装置についての説明と同一である。図9において、参照番号90xで示されている要素は、図2において参照番号20xで示された対応する要素と同様な態様で機能する。音量コンプレッサ/ダイナミックエクスパンダ910には、閾値回路905によって生成される制御信号を受信するための制御入力部が設けられる。音量コンプレッサ/ダイナミックエクスパンダ910の信号入力部は、情報信号を受信する入力部901に接続される。
情報信号において、スイッチ信号シーケンスが検出されると、回路905によって制御信号が生成される。音量コンプレッサ/ダイナミックエクスパンダ910は、制御信号の影響の下で、圧縮または拡張の程度を変更して、出力908において、より圧縮/拡張されたまたは圧縮/拡張の程度が低減された情報信号を提供する。
変更信号シーケンスを介して異なる信号ソースに対して行われる本発明に係るスイッチングの改善は、図7を参照して上記で説明したように、変更信号シーケンスにxビットコーディングを配置することができる点に見られる。xが、例えば、2に等しい場合、4つの異なるコーディングとなる。これら異なるコーディングは、相互相関検出器において別個に解析され、スイッチングシーケンスにおける対応するx(02)ビットコーディングに応じて、4つの異なるソースのうちの1つへとスイッチングすることを可能にする。

Claims (13)

  1. スイッチングを目的としたデジタルスイッチ信号シーケンスのデータ構造であって、
    前記シーケンスは、人間の聴覚における無音状態における音量閾値特性が最も高い感度を有する周波数を上回るハイパスカットオフ周波数を有し、所定のデジタル化およびハイパスフィルタされ、所定の長さTを有する白色雑音信号によって構成される、デジタルスイッチ信号シーケンスのデータ構造。
  2. 前記ハイパスカットオフ周波数は、4から10kHzの間の周波数領域に存在する、請求項1に記載のデジタルスイッチ信号シーケンスのデータ構造。
  3. 前記ハイパスカットオフ周波数は、6から8kHzの間の周波数領域に存在する、請求項2に記載のデジタルスイッチ信号シーケンスのデータ構造。
  4. 請求項1から3の何れか一項に記載のデータ構造を有するデジタルスイッチ信号シーケンスを、デジタル情報信号に含めるための装置であって、
    前記情報信号を受信する第1の入力部と、
    前記スイッチ信号シーケンスを受信する第2の入力部と、を備え、
    前記装置は更に、前記情報信号と前記スイッチ信号シーケンスとを結合する信号結合回路を備える、装置。
  5. 前記信号結合回路は更に、第2のスイッチ信号シーケンスを前記情報信号に含め、
    前記第2のスイッチ信号シーケンスは、前記第1のスイッチ信号シーケンスと比較して、反転しており、
    前記第1のスイッチ信号シーケンスおよび前記第2のスイッチ信号シーケンスは、互いの間に所定の時間距離を有して、前記情報信号に共に含められる、請求項4に記載の装置。
  6. 前記結合回路は更に、前記情報信号に、N個のスイッチ信号シーケンスからなるアレイを含め、
    ここで、Nは、N≧2の整数であり、
    前記N個のスイッチ信号シーケンスからなるアレイは、互いの間に所定の時間距離を有して前記情報信号に含められ、
    前記第2のスイッチ信号シーケンス、および、存在する場合には、第3以降のスイッチ信号シーケンスは、前記第1のスイッチ信号シーケンスと同じ振幅を有し、
    前記スイッチ信号シーケンスは、望ましくは等しい長さの時間を有するM個の部分列から構成され、
    ここで、Mは、M≧2の整数であり、
    前記第2のスイッチ信号シーケンス、および、存在する場合には、前記第3以降のスイッチ信号シーケンスは、前記部分列の1以上において、前記振幅が、前記第1のスイッチ信号シーケンスの対応する前記部分列の前記振幅と比較して反転されているという点で、前記第1のスイッチ信号シーケンスと異なる、請求項4に記載の装置。
  7. 前記Nは、2よりも大きく、
    前記第2のスイッチ信号シーケンス、および、存在する場合には、前記第3以降のスイッチ信号シーケンスは、前記第1のスイッチ信号シーケンスの前記部分列と比較して反転した部分列の異なる組み合わせを有することにより、互いに異なっている、請求項6に記載の装置。
  8. 前記結合回路は、前記情報信号のデジタル値と、スイッチ信号シーケンスとを互いに加算する、請求項4から7の何れか一項に記載の装置。
  9. 前記スイッチ信号シーケンスと前記情報信号とを結合する前に、前記情報信号の信号値が変更されたことに応答して、前記結合回路は、前記スイッチ信号シーケンスの振幅を変更する、請求項4から8の何れか一項に記載の装置。
  10. 請求項4から9の何れか一項に記載の装置によって生成されたデジタルスイッチ信号シーケンスを伴う情報信号を受信する装置であって、
    前記装置は、
    前記情報信号を受信する入力部と、
    前記情報信号に前記スイッチ信号シーケンスが存在するかを検出し、検出したことに応答して、スイッチングに使用可能なスイッチ制御信号を生成する検出回路と、を備える装置。
  11. 前記装置は、
    前記情報信号と第2の情報信号との間のスイッチングを行うスイッチング回路を備え、
    前記スイッチング回路は、前記スイッチ制御信号に応答して、前記情報信号と前記第2の情報信号のうちの一方を転送する、請求項10に記載の装置。
  12. 前記検出回路は、受信した前記情報信号と、前記検出回路に格納された前記デジタルスイッチ信号シーケンスの格納バージョンとを相互相関付けする相互相関回路を有し、
    前記相互相関回路は、相互相関段階が前記相互相関回路において実行されたことに応答して相互相関信号を生成し、
    前記検出回路は、前記相互相関信号におけるピークが、所定の閾値を超えたことに応答して、前記スイッチ制御信号を生成する、請求項10または11に記載の装置。
  13. 前記装置は、
    前記情報信号において前記スイッチ信号シーケンスの存在が検出されると、前記情報信号から前記スイッチ信号シーケンスを取り除く減算回路を備え、
    前記減算回路は、前記スイッチ信号シーケンスが取り除かれた前記情報信号を供給する出力部を有する、請求項10から12の何れか一項に記載の装置。
JP2014523324A 2011-08-05 2012-08-01 スイッチングのためのデジタルスイッチ信号シーケンス、デジタルスイッチ信号シーケンスをデジタルオーディオ情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置 Active JP6072791B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2011A000731 2011-08-05
IT000731A ITTO20110731A1 (it) 2011-08-05 2011-08-05 Digitale umschaltsignalsequenz fuer umschaltzwecke, geraet zum unterbringen dieser digitalen umschaltsignalsequenz in einem digitalen audio-nutzsignal, und geraet zum empfangen des nutzsignals versehen mit der umschaltsignalsequenz.
PCT/EP2012/065079 WO2013020879A1 (en) 2011-08-05 2012-08-01 Digital switching signal sequence for switching purposes, apparatus for including said digital switching signal sequence in a digital audio information signal, and apparatus for receiving the information signal provided with the switching signal sequence

Publications (2)

Publication Number Publication Date
JP2014524681A true JP2014524681A (ja) 2014-09-22
JP6072791B2 JP6072791B2 (ja) 2017-02-01

Family

ID=44872524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523324A Active JP6072791B2 (ja) 2011-08-05 2012-08-01 スイッチングのためのデジタルスイッチ信号シーケンス、デジタルスイッチ信号シーケンスをデジタルオーディオ情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置

Country Status (11)

Country Link
US (1) US9831968B2 (ja)
EP (1) EP2740257B1 (ja)
JP (1) JP6072791B2 (ja)
KR (1) KR101943535B1 (ja)
CN (1) CN103959757B (ja)
BR (1) BR112014002707A8 (ja)
IT (1) ITTO20110731A1 (ja)
MX (1) MX339586B (ja)
RU (1) RU2633108C2 (ja)
TW (1) TWI549427B (ja)
WO (1) WO2013020879A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149301A1 (zh) * 2014-04-02 2015-10-08 华为技术有限公司 传输信号的方法和装置
AU2015357082B2 (en) * 2014-12-03 2021-05-27 Mqa Limited Non linear filter with group delay at pre-response frequency for high res audio
RU2642395C2 (ru) * 2016-06-15 2018-01-24 Николай Иванович Гудко Цифровое устройство для формирования последовательностей управляющих сигналов с последовательным переносом информации

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3845391A (en) * 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
JPS50150301A (ja) * 1974-05-21 1975-12-02
JPS61501544A (ja) * 1984-03-20 1986-07-24 アプライド・スペクトラム・テクノロジ−ズ・インコ−ポレ−テッド デ−タ及び音声通信システム
JPH01294271A (ja) * 1988-05-20 1989-11-28 Sony Corp 固体メモリレコーダ付きテープ再生機
JPH0223763A (ja) * 1988-07-13 1990-01-25 Hitachi Elevator Eng & Service Co Ltd 遠隔監視装置
JPH06224821A (ja) * 1993-01-21 1994-08-12 Shibaki Controls Kk 通信装置
JPH11110913A (ja) * 1997-10-01 1999-04-23 Sony Corp 音声情報伝送装置及び方法、並びに音声情報受信装置及び方法、並びに記録媒体
JPH11149711A (ja) * 1998-09-03 1999-06-02 Pioneer Electron Corp 記録媒体再生装置
JPH11187310A (ja) * 1997-12-22 1999-07-09 Sony Corp ディジタルデータ伝送方法およびディジタルデータ伝送装置
JPH11327591A (ja) * 1998-05-07 1999-11-26 Nippon Hoso Kyokai <Nhk> 話速変換ハンズフリーユニットおよび通話システム
JP2000100071A (ja) * 1998-09-17 2000-04-07 Sony Corp 記録再生装置
JP2005051462A (ja) * 2003-07-28 2005-02-24 Sony Corp デジタルオーディオデータの伝送における付帯データの伝送方式
JP2006101364A (ja) * 2004-09-30 2006-04-13 Matsushita Electric Ind Co Ltd 映像音声同期装置およびテレビ受信機
JP2008283706A (ja) * 1992-11-16 2008-11-20 Arbitron Inc 放送または録音セグメントを符号化/復号してその視聴を監視する方法と装置
JP2009239676A (ja) * 2008-03-27 2009-10-15 Yamaha Corp オーディオ信号処理装置およびオーディオ信号処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2766374A (en) * 1951-07-25 1956-10-09 Internat Telementer Corp System and apparatus for determining popularity ratings of different transmitted programs
US4379947A (en) * 1979-02-02 1983-04-12 Teleprompter Corporation System for transmitting data simultaneously with audio
JPS5750307A (en) * 1980-09-05 1982-03-24 Sony Corp Time base correcting device
DE3801332A1 (de) 1988-01-19 1989-07-27 Philips & Du Pont Optical Verwendung eines datenuebertragungsverfahrens
FR2637751A1 (fr) * 1988-10-07 1990-04-13 Trt Telecom Radio Electr Dispositif de recalage d'informations pour transmettre dans des multiplex temporels sortants des informations provenant de multiplex temporels entrants asynchrones
US5777909A (en) * 1995-12-29 1998-07-07 Crystal Semiconductor Corporation High pass filter with coefficient switching to improve settling time
JP3658070B2 (ja) * 1996-02-01 2005-06-08 キヤノン株式会社 ファクシミリ装置及びファクシミリ通信方法
US6219427B1 (en) 1997-11-18 2001-04-17 Gn Resound As Feedback cancellation improvements
RU2214047C2 (ru) 1997-11-19 2003-10-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для масштабируемого кодирования/декодирования аудиосигналов
DE19803235A1 (de) * 1998-01-28 1999-07-29 Siemens Ag Vorrichtung und Verfahren zur Veränderung des Rauschverhaltens in einem Empfänger eines Datenübertragungssystems
US6141426A (en) 1998-05-15 2000-10-31 Northrop Grumman Corporation Voice operated switch for use in high noise environments
JP2000106528A (ja) * 1998-09-28 2000-04-11 Ando Electric Co Ltd A/d変換装置、a/d変換方法、及び光パルス試験装置
US6778966B2 (en) * 1999-11-29 2004-08-17 Syfx Segmented mapping converter system and method
US20050097154A1 (en) * 2003-10-30 2005-05-05 Tsecouras Michael J. Noise reduction in systems with an RF tuner front end
WO2005072168A2 (en) * 2004-01-20 2005-08-11 Sound Techniques Systems Llc Method and apparatus for improving hearing in patients suffering from hearing loss
US20070135120A1 (en) * 2005-10-11 2007-06-14 Dennis King Fixed cellular terminal - wireless loop system
US7733980B2 (en) * 2006-07-14 2010-06-08 International Business Machines Corporation Quadrature modulation circuits and systems supporting multiple modulation modes at gigabit data rates
EP1947471B1 (en) * 2007-01-16 2010-10-13 Harman Becker Automotive Systems GmbH System and method for tracking surround headphones using audio signals below the masked threshold of hearing
CN101924883A (zh) * 2010-06-26 2010-12-22 大连捷成实业发展有限公司 一种含嵌数字音频信号切换电路及切换方法
KR101394159B1 (ko) * 2011-12-28 2014-05-15 주식회사 실리콘웍스 수신 주파수 밴드를 조절할 수 있는 터치감지회로 및 상기 터치감지회로를 구비하는 터치감지시스템

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3845391A (en) * 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
JPS50150301A (ja) * 1974-05-21 1975-12-02
JPS61501544A (ja) * 1984-03-20 1986-07-24 アプライド・スペクトラム・テクノロジ−ズ・インコ−ポレ−テッド デ−タ及び音声通信システム
JPH01294271A (ja) * 1988-05-20 1989-11-28 Sony Corp 固体メモリレコーダ付きテープ再生機
JPH0223763A (ja) * 1988-07-13 1990-01-25 Hitachi Elevator Eng & Service Co Ltd 遠隔監視装置
JP2008283706A (ja) * 1992-11-16 2008-11-20 Arbitron Inc 放送または録音セグメントを符号化/復号してその視聴を監視する方法と装置
JPH06224821A (ja) * 1993-01-21 1994-08-12 Shibaki Controls Kk 通信装置
JPH11110913A (ja) * 1997-10-01 1999-04-23 Sony Corp 音声情報伝送装置及び方法、並びに音声情報受信装置及び方法、並びに記録媒体
JPH11187310A (ja) * 1997-12-22 1999-07-09 Sony Corp ディジタルデータ伝送方法およびディジタルデータ伝送装置
JPH11327591A (ja) * 1998-05-07 1999-11-26 Nippon Hoso Kyokai <Nhk> 話速変換ハンズフリーユニットおよび通話システム
JPH11149711A (ja) * 1998-09-03 1999-06-02 Pioneer Electron Corp 記録媒体再生装置
JP2000100071A (ja) * 1998-09-17 2000-04-07 Sony Corp 記録再生装置
JP2005051462A (ja) * 2003-07-28 2005-02-24 Sony Corp デジタルオーディオデータの伝送における付帯データの伝送方式
JP2006101364A (ja) * 2004-09-30 2006-04-13 Matsushita Electric Ind Co Ltd 映像音声同期装置およびテレビ受信機
JP2009239676A (ja) * 2008-03-27 2009-10-15 Yamaha Corp オーディオ信号処理装置およびオーディオ信号処理方法

Also Published As

Publication number Publication date
TWI549427B (zh) 2016-09-11
EP2740257B1 (en) 2016-10-05
CN103959757A (zh) 2014-07-30
CN103959757B (zh) 2017-09-26
KR101943535B1 (ko) 2019-01-29
ITTO20110731A1 (it) 2013-02-06
US9831968B2 (en) 2017-11-28
TW201316684A (zh) 2013-04-16
KR20140054195A (ko) 2014-05-08
RU2633108C2 (ru) 2017-10-11
BR112014002707A2 (pt) 2017-06-13
EP2740257A1 (en) 2014-06-11
MX2014001444A (es) 2014-09-15
BR112014002707A8 (pt) 2017-06-20
WO2013020879A1 (en) 2013-02-14
RU2014108311A (ru) 2015-09-10
JP6072791B2 (ja) 2017-02-01
US20140169591A1 (en) 2014-06-19
MX339586B (es) 2016-06-01

Similar Documents

Publication Publication Date Title
US7505823B1 (en) Acoustic communication system
US10368164B2 (en) Approach for partially preserving music in the presence of intelligible speech
US8917885B2 (en) Loop gain estimating apparatus and howling preventing apparatus
US8560913B2 (en) Data embedding system
WO2007043376A1 (ja) 変調装置、変調方法、復調装置、及び復調方法
US8103504B2 (en) Electronic appliance and voice signal processing method for use in the same
JP6072791B2 (ja) スイッチングのためのデジタルスイッチ信号シーケンス、デジタルスイッチ信号シーケンスをデジタルオーディオ情報信号に含めるための装置、および、スイッチ信号シーケンスを伴う情報信号を受信するための装置
JP5232121B2 (ja) 信号処理装置
KR20070070218A (ko) 사람을 모니터링하는 시스템
Matsuoka et al. Acoustic OFDM: Embedding high bit-rate data in audio
JP5381256B2 (ja) ハウリング防止装置
JP2009159020A (ja) 信号処理装置、信号処理方法、プログラム
JP2008005541A (ja) 変調装置、変調方法、復調装置、及び復調方法
JP5515538B2 (ja) ハウリング防止装置
JP2012225982A (ja) 音声処理装置
JP2009296617A (ja) 変調装置、変調方法、復調装置、及び復調方法
JP2000307484A (ja) 音声信号処理装置
GB2462588A (en) Data embedding system
JP2010130070A (ja) ループゲイン推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161228

R150 Certificate of patent or registration of utility model

Ref document number: 6072791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250