JP2016521925A - オーディオ・ミキサー・システム - Google Patents

オーディオ・ミキサー・システム Download PDF

Info

Publication number
JP2016521925A
JP2016521925A JP2016513255A JP2016513255A JP2016521925A JP 2016521925 A JP2016521925 A JP 2016521925A JP 2016513255 A JP2016513255 A JP 2016513255A JP 2016513255 A JP2016513255 A JP 2016513255A JP 2016521925 A JP2016521925 A JP 2016521925A
Authority
JP
Japan
Prior art keywords
audio
signal
mixer system
control circuit
audio mixer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016513255A
Other languages
English (en)
Other versions
JP6453314B2 (ja
Inventor
マシュー ロー,
マシュー ロー,
リチャード エアーズ,
リチャード エアーズ,
キース ワトソン,
キース ワトソン,
クリス ゴム,
クリス ゴム,
スブラ サウラブ トリパシー,
スブラ サウラブ トリパシー,
Original Assignee
ハーマン・インターナショナル・インダストリーズ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン・インターナショナル・インダストリーズ・リミテッド filed Critical ハーマン・インターナショナル・インダストリーズ・リミテッド
Publication of JP2016521925A publication Critical patent/JP2016521925A/ja
Application granted granted Critical
Publication of JP6453314B2 publication Critical patent/JP6453314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04Studio equipment; Interconnection of studios
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

オーディオ・インターフェイス(160、170)と、オーディオ信号プロセッサ(150、159、190)と、制御回路(123、110、120、130)を含むオーディオ・ミキサー・システム(100)であって、制御回路(123、110、120、130)はオーディオ信号の解析に基づきオーディオ・インターフェイス(160、170)においてオーディオ信号の音源タイプを認識するよう構成され、制御回路(123、110、120、130)はオーディオ・インターフェイス(160、170)の入力から、オーディオ信号プロセッサ(150、159、190)を介して、認識された音源タイプに基づきオーディオ・インターフェイス(160、170)の入力に至るオーディオ信号の信号経路の設定を制御するよう構成される。

Description

オーディオ処理装置は、広く使用されている。EP 2 506 464 A1は、複数の音源からのオーディオ信号を処理するオーディオ処理装置と状態信号を出力する方法を明らかにしている。そのオーディオ・ミキシング・コンソールは、ビデオ処理装置に結合されることもある。係る装置は、複数の信号源からオーディオ信号を受信する入力を有している。これらの信号源はマイクロフォンでもよい。オーディオ信号は複数のオーディオ・チャンネルで処理され、信号混合が行われることもある。応用され得る処理技術は、例示として、フィルターリング、増幅、複数のオーディオ信号の混合または融合、もしくはそれらの組み合わせを含んでいる。
オーディオ・ミキシング・コンソールは、広い範囲にわたってさまざまな信号操作とその操作のパラメーターをユーザーが設定する複雑な装置ともいえる。ユーザーが、いろいろなオーディオ・チャンネルにおいて、信号処理の設定を調整する調整部材が備えられている。オペレーターによって選択されたオーディオ処理設定について、光学的にフィードバックを提供するために、1つまたは複数のグラフィック・ディスプレイを備えた光出力装置が使用され得る。
ワイヤレス・マイクロフォンのような各種の音源について、そのような装置の状態の情報は、オーディオ処理装置の外部に提供されるが、オペレーターにとっては重要な価値がある。無線マイクロフォンのバッテリ情報、無線(RF)信号の強度情報、マイクロフォンのミュート状態の設定情報または無線マイクロフォンのオーディオ・レベル情報は、オペレーターがオーディオ処理装置の設定時あるいは問題解決に使用し得る。
WO 2009/153055 A1は、オーディオ・ミキシング・コンソールを明らかにしている。オーディオ・ミキシング・コンソールは、マルチ・トラック・レコーディング、放送、ポストプロダクション、ライブサウンド増強及びステージ・モニタリングのような用途で使用されている。マイクロフォン、電子音楽器またはその他の信号源のサウンド信号はミキシング・コンソールに入力し、ミキシング・コンソールは必要に応じてこれらの信号源を増幅し、オペレーターがインストールの必要条件に従ってそれらの信号源を混合し、等価にし、効果を追加する。このため、オーディオ・ミキシング・コンソールのいろいろな機能を制御する、しばしばロータリ・ボタンとして構成される複数の制御素子が提供される。ミキシング・コンソールによって、サウンド信号のさまざまな異なる特徴が制御され得る。そのミキシング・コンソール上のいろいろな制御素子の数を制限するために、1つの制御素子を使ってオーディオ・ミキシング・コンソールの異なった機能を制御することが可能である。
(要約)
一態様によれば、オーディオ・ミキサー・システムが提供される。そのオーディオ・ミキサー・システムは、オーディオ・インタ−フェイス、オーディオ信号処理装置及び制御回路から構成し得る。制御回路は、オーディオ信号の解析にもとづきオーディオ・インタ−フェイスにおけるオーディオ信号の音源タイプを認識する構成としてもよい。制御回路は、オーディオ・インターフェイスの入力から、オーディオ・信号処理装置を介して、認識された音源タイプにもとづくオーディオ・インターフェイスの出力に至る、オーディオ信号の信号経路の設定を制御する構成としてもよい。
一態様によれば、オーディオ・ミキサー・システムに関する方法が提供される。オーディオ・ミキサー・システムに接続可能な外部装置が検出される。少なくとも1つの外部装置から受信可能なオーディオ信号の音源タイプの認識が開始される。オーディオ・ミキサー・システムのオーディオ・インタ−フェイスの入力から、オーディオ・ミキサー・システムの信号処理を介して、認識された音源タイプにもとづくオーディオ・インターフェイスの出力に至る、外部装置のオーディオ信号の信号経路が自動的に設定される。
一実施形態によれば、制御回路は手動モードと自動モードを切り替えるよう構成し得る。自動モードにおいて、制御回路は信号経路を自動的に設定し、手動モードにおいては、制御回路は少なくとも1つの受信したユーザー入力に基づいて信号経路の設定を制御するよう構成し得る。
一実施形態によれば、制御回路は、手動モード中に、自動モードの設定の制御を学習する構成にし得る。
一実施形態によれば、制御回路は、自動モード中に、自動モードの設定制御を学習する構成にし得る。
一実施形態によれば、制御回路は、信号経路の設定制御を学習する人工ニューラルネットワークを備えてもよい。
一実施形態によれば、人工ニューラルネットワークは、少なくとも1つの受信したユーザー入力に基づいて設定の制御を学習するよう構成し得る。
一実施形態によれば、オーディオ信号を分析するためにオーディオ信号から入力ベクトルを導出するよう構成し得る。音源タイプ認識のために、制御回路はオーディオ信号の入力ベクトルと学習されたセットのベクトルを比較するよう構成し得る。比較が正であれは、音源タイプは入力オーディオ信号に割り当てられ、それに応じて信号経路の設定が制御され得る。
一実施形態によれば、人工ニューラルネットワークは、特に信号経路を制御するために、少なくとも1つの初期命令初期命令を有し得る。人工ニューラルネットワークは、オーディオ信号をデフォルトの増幅度でオーディオ・インターフェイスのデフォルトの出力ポートに送る初期命令を有し得る。オーディオ信号の入力ベクトルが各セットの学習されたベクトルと一致しない場合、前述の命令が適用となる。
一実施形態によれば、制御回路は機能ブロックのオーディオ信号アナライザ、コントローラー及び―信号マトリクスを有し得る。コントローラーは、オーディオ信号アナライザの出力信号に基づいて音源タイプを認識するよう構成し得る。コントローラーは、信号経路を設定する信号マトリクスを制御する構成にし得る。
一実施形態によれば、オーディオ・ミキサー・システムは更に不揮発性メモリーを含み得る。コントローラーは、不揮発性メモリーに格納された所定信号でオーディオ信号アナライザの出力信号の評価に基づいた音源タイプの認識をするように構成し得る。
一実施形態によれば、所定の信号は、ボイス音源タイプに関するボイス信号のサンプルまたはループであってもよい。一実施形態によれば、所定の信号は、楽器の音源タイプに関する楽器信号のサンプルまたはループであってもよい。
一実施形態によれば、オーディオ・ミキサー・システムは更に通信インターフェイスを含み得る。コントローラーは、信号経路の設定に基づいた情報を通信インターフェイスを介して外部装置に送るよう構成し得る。
オーディオ・ミキサー・システムの系統図を示す。 オーディオ・ミキサー・システムに関する方法のフロー図を示す。 オーディオ・ミキサー・システムに関する方法のフロー図を示す。 オーディオ・ミキサー・システムに関する方法のフロー図を示す。 (記載なし) (記載なし)
小さなグループのミュージシャンであっても1回の演奏に幅広いオーディオ機器が必要であることが多い。演奏地についた後、バンドは周辺機器の配線を開始しなければならない。サウンドチェック中であっても、多くの接続がなされ、修正がなされる必要がある。演奏中、ミキシングレベルは変更されなければならないし、調整も必要となる。担当のサウンド・エンジニアがいなかったら、バンドが自ら演奏と同時にユーザ・インプットによって制御された従来のオーディオ・ミキシング・コンソールを使用して、なんとか完全なミキシングをしなければならない。
従来のオーディオ・ミキシング・コンソールは、複数のオーディオ音源からのオーディオ信号を処理するように設計されている。従来のオーディオ・ミキシング・コンソールは、オーディオ信号を受信する複数の入力を備えている。従来のオーディオ・ミキシング・コンソールは、少なくとも一人のバンド・メンバーによって管理された、複数のオーディオ・チャンネルのオーディオ信号を処理する構成になっている。管理のために、従来のオーディオ・ミキシング・コンソールには、複数のチャンネルのオーディオ処理設定を調整する調整部材がある。
図1は、オーディオ・ミキサー・システム100とオーディオ・ミキサー・システム100に接続可能なさまざまな外部装置210、220、310、320、330、410、420、510、520、530、610、620、710、720、730、800、900を示している。オーディオ・ミキサー・システム100は、ボーカルと楽器のようなさまざまなオーディオ音源からのオーディオ信号を混合するよう構成とし得る。オーディオ・ミキサー・システム100は、2以上のオーディオ信号を混合するよう構成され得る。一実施形態によれば、オーディオ・ミキサー・システム100は、オーディオ信号のデジタル値を加えることによって、2以上のオーディオ信号を混合するよう構成され得る。
一実施形態によれば、2つのPAスピーカー(PA−英文名で電力増幅器)と3つのモニター・スピーカーがオーディオ・ミキサー・システム100に無線で接続可能であってもよい。モニター・スピーカーは、特にモニター・スピーカーの前のミュージシャンのために、そのミュージシャンが自分のオーディオ・チャンネルを明瞭に聴くことができるように、信号を混合して出力するステージ上で使用される。
一実施形態によれば、多くのマイクロフォン710、720、730及び多くの楽器610,620が、ケーブルまたは無線でオーディオ・ミキサー・システム100に接続可能としてもよい。マイクロフォン710、720、730は、異なった音源タイプのオーディオ音源からオーディオ信号を受信してもよい。そのような音源タイプの1つは、リード・ボイスまたは背景の合唱団のようなボイスでもよい。そのような音源タイプの1つは、金管楽器、ドラムなどのような楽器であってもよい。
楽器610、620は、異なった音源タイプのオーディオ信号を生成するよう構成し得る。そのような音源タイプの1つは、キーボード音、電子ギター音などであってもよい。
一実施形態によれば、多くのシステム・マイクロフォン210、220が、オーディオ・ミキサー・システム100に無線で接続可能な外部装置であってもよい。システム・マイクロフォン210、220は、特定のオーディオ音源と関連付けられてはならない。システム・マイクロフォン210、220は、観客の位置で録音するのに使用されてよい。システム・マイクロフォン210,220は、タブレット、ラップトップあるいはスマートフォンのような複合装置の一部であってもよい。
一実施形態によれば、タブレット、ラップトップあるいはスマートフォンのような多くの制御装置210,220が、オーディオ・ミキサー・システム100に無線で接続可能な外部装置であってもよい。一実施形態によれば、外部ストレージ800は有線または無線でオーディオ・ミキサー・システム100に接続可能であってもよい。外部ストレージ800は基礎的なメディア・プレイヤーを含み得る。一実施形態によれば、インターネットサーバー900は、無線でオーディオ・ミキサー・システム100に接続可能な外部装置であってもよい。
一実施形態によれば、オーディオ・システムは外部装置210、220、310、320、330、410、420、510、520、530、710、720、900に接続を提供するWLANやBluetooth(登録商標)インターフェイスのような無線インターフェイス160を含み得る。一実施形態によれば、オーディオ・システムは、外部装置610、620、800に接続を提供するためのオーディオ・アナログ(XLR、TRS)及びオーディオ・デジタル(AES、ADAT、LAN)インターフェイスのようなI/Oインターフェイス170を含み得る。一実施形態によれば、無線インターフェイス160及び/またはI/Oインターフェイス170は、オーディオ・インターフェイス及び通信インターフェイスを提供してもよい。オーディオ・インターフェイスは、アナログ及び/またはデジタル・オーディオ信号を入出力するように設計されてもよい。オーディオ・インターフェイスは、複数のデジタル及び/またはアナログ入力ポート及び少なくとも2つのデジタル及び/またはアナログ出力ポートを持ち得る。通信インターフェイスは、パラメーター、設定、コマンドなどの通信データを送信及び/または受信するように設計されてもよい。
一実施形態によれば、オーディオ・ミキサー・システム100は、お互いに作用する多くの機能ブロック110、120、130、140、150、160、170、180、190を含み得る。各機能ブロック110、120、130、140、150、160、170、180、190は、ソフトウエア及び/またはハードウエアとして実装され得る。例えば、デジタル信号処理ブロック190はハードウエアで実装されてもよく、信号マトリクス・ブロック120はソフトウエアで実装されてもよい。一実施形態によれば、オーディオ・ミキサー・システム100は、外部装置610、620、710、720、730から受信されるオーディオ信号の増幅、フィルターリングなどをする基本オーディオ信号処理ブロック150を含み得る。一実施形態によれば、オーディオ・ミキサー・システム100は、残響、コーラスなどのオーディオ信号に効果を与える効果処理ブロック190を含み得る。
一実施形態によれば、オーディオ・ミキサー・システム100は、信号マトリクス・ブロック120を含み得る。信号マトリクス・ブロック120は、オーディオ・インターフェイスの入力から、オーディオ信号プロセッサ150及び190を介して、オーディオ・インターフェイスの出力に至る信号経路を生成するよう設計される。信号経路によるオーディオ信号の経路形成は、ソフトウエア及び/またはハードウエアによって定義され得る。経路形成は、各オーディオ信号が通過する処理のアプリケ―ションの順序を定義し得る。オーディオ信号のルートは、使用されるさまざまなオーディオ・バスで分離してもよい。また、信号経路のルートは、挿入効果処理を介して案内され得る。例えば、オーディオ・インターフェイスでのリード・ボイスのオーディオ信号は、無線インターフェイス160によって受信されるが、最初に内蔵されたサブブロック増幅、圧縮、ノイズ・ゲート及びフィルターのシーケンスを介して、基本オーディオ信号処理ブロック150に切り替えられる。信号マトリクス120によって生成される信号経路のルートは、反響信号を付加する効果処理ブロック190に続いてもよい。信号マトリクス120によって生成される信号経路のルートは、リード・シンガーのモニター・スピーカー510に送信されるI/Oインターフェイスの出力にまで続いてもよい。ボイスや楽器のその他のオーディオ信号は、信号経路内で付加され/混合され得る。信号経路は、例えば、オーディオ信号を等価するようなオーディオ信号の操作のために調整されたパラメーターを備えたフィルターを有してもよい。
一実施形態によれば、基本オーディオ信号処理ブロック150及び/または効果処理ブロック190及び/または信号マトリクス120は、コントローラー110とも言うが、インテリジェント・ミキシング・エンジン・ブロック110によって制御されるように構成し得る。一実施形態によれば、インテリジェント・ミキシング・エンジン・ブロック110は、信号経路を自動的に設定するよう構成される。一実施形態によれば、インテリジェント・ミキシング・エンジン・ブロック110は、基本オーディオ信号処理ブロック150の処理パラメーター及び/または効果処理ブロック190の処理パラメーターを自動的に設定するよう構成する。
一実施形態によれば、オーディオ・システム100は、オーディオ信号アナライザ130を含み得る。オーディオ信号アナライザ130は、オーディオ・インターフェイスの入力で受信したオーディオ信号を解析する構成とし得る。オーディオ信号アナライザ130は、オーディオ信号を時間領域から周波数領域に変換するように構成してもよい。オーディオ信号アナライザ130は、高速フーリエ変換(FFT)を行なうように構成し得る。
一実施形態によれば、コントローラーは、オーディオ信号アナライザの出力信号に基づき、オーディオ・インターフェイスでオーディオ信号の音源タイプを認識するよう構成してもよい。
一実施形態によれば、オーディオ・ミキサー・システム100は、不揮発性メモリー140を含み得る。不揮発性メモリー140は、フラッシュ・メモリー、ハード・ディスクなどであってもよい。一実施形態によれば、コントローラーは、不揮発性メモリー140に格納された所定の信号によって、オーディオ信号アナライザ130の出力信号の評価に基づいて音源タイプを認識するよう構成してもよい。オーディオ・インターフェイスの入力で受信された各オーディオ信号は、再生可能なハッシュ・トークンが抽出されるプロセスにおいて、フィンガープリントが採取されてもよい。不揮発性メモリー140は、データ・セットが信号のサンプルまたはループを有しているデータベースを内蔵してもよい。格納された信号は、ボイスまたは楽器経由で前もって記録されていてもよい。
付加的にセットされたデータは、例えば、特定のボイスまたは特定の楽器のような音源タイプに関するメタデータを有してもよい。格納された信号及びオーディオ・インターフェイスの入力でのオーディオ信号の両方が、同一の解析の対象となり得る。オーディオ・インターフェイスの入力における未知のオーディオ信号からのフィンガープリントが、格納された信号に由来する各フィンガープリントと比べられる。その候補となったものについて、その後一致の正確性が評価され得る。オーディオ信号のフィンガープリントとして使用する属性のガイドとなる原則には、一時的に局在し、並進不変で、強固で十分なエントロピーがあるべきであるというものである。一時的な局在性のガイドラインには、それぞれのフィンガープリントのハッシュは、例えば、歌曲を繰り返し、格納された信号と類似の演奏の一部のオーディオ信号を使用して計算されるべきことを示しており、そのため時間的に離れた事象はハッシュに影響がない。ハッシュが計算されたデータ(入力のオーディオ信号)を含む一時的な局在性が、格納された信号内に含まれている限り、並進不変な態様は、対応する一致内容から生じるフィンガープリントのハッシュが歌曲の中の箇所に関係なく再生可能である。ロバスト性は、以前(当初)の記録から生成されたハッシュで、メモリー140のデータベースに格納されているオリジナルのクリーン信号であり、オーディオ・インターフェイスの入力において劣化したオーディオ信号から再生可能であるべきである。劣化は、異なった1分間当たりの拍の数または異なったイントネーションなどによって生じ得る。更に、オーディオ・インターフェイスの入力での未知のオーディオ信号と不揮発性メモリー140のデータベースに格納された信号の間で対応しない箇所において、偽のトークンが一致する可能性を最小化するために、フィンガープリント・トークンは、十分高度なエントロピーを持つべきである。フェイスのため、つまり、楽器及び異なるボイスさえも、1つのバンド内で高度のエントロピーを持ち、その数はたいへん制限されていることから、例え信号が大部分劣化した場合であっても、ロバスト性の検出は、確実に行われる。
一実施形態によれば、演奏のサンプルやループの各歌曲は、不揮発性メモリー140のデータベースに格納され得る。従って、オーディオ信号の音源タイプのみならず、さらに現行の歌曲演奏が検出され得る。現行の歌曲演奏に関係するメタデータを有してもよい。
一実施形態によれば、コントローラー110は、予め定義された特性に基づき音源タイプを認識するように構成してもよい。コントローラー110は、周波数スペクトルを評価してバスとギターを識別してもよい。コントローラー110は、キーボードとドラムについて、振幅のダイナミック性を評価して識別し得る。フィンガープリントとフーリエ変換を使用する代わりになるものが図3及び図4の実施形態に示されている。そこでは、人工ニューラルネットワークによるパターン認識を使用して音源タイプが認識される。
図1の実施形態によれば、コントローラー110は、オーディオ・インターフェイスの入力から、オーディオ信号プロセッサ150、 190を介して、オーディオ・インターフェイスの出力に至るオーディオ信号の信号経路を設定する信号マトリクス120を制御する構成にし得る。信号経路は特定の音源タイプについて予め定義されたルールを使用して設定してもよい。例えば、ボイスについて、コンプレッサーがループされて信号経路に入るという予め定義されたルールがあってもよい。経路は、楽器の演奏に応じて変化し得る。例えば、信号経路は、歪みを持ったギター・サウンドと歪みを持たないギター・サウンドの間で変化する。また、上述の通り、信号経路は、異なった歌曲の間で変化してもよい。
一実施形態によれば、コントローラー110は、認識された音源タイプに基づいて信号処理が自動的に調整されるように、基本オーディオ信号処理及び効果処理のパラメーター設定を制御するよう構成され得る。
一実施形態によれば、不揮発性メモリー140は、ミュージシャンがデフォルト自動ミキシングからはずれ、前もって演奏のミクスチャーを個々に計画できるように、ユーザーが予め定義可能な設定を含むよう構成し得る。
一実施形態によれば、オーディオ・ミキサー・システム100に無線接続するタブレット310のスクリーン上に信号経路を可視化してもよい。オーディオ・ミキサー・システム100は、信号経路を調整する構成にしてもよい。オーディオ・ミキサー・システム100は、手動・ユーザー入力に基づいて処理設定を調整する構成にしてもよい。
図2a、図2b及び図2cは、オーディオ・ミキサー・システムBBを運用する方法のフローチャートを示している。第1ステップ1において、オーディオ・ミキサー・システムBBに電源が入れられる。第2ステップ2において、オーディオ・ミキサー・システムBBは、マイクロフォン、電子楽器、モニター・スピーカー、PAスピーカーなどの外部装置を検出し得る。一実施形態によれば、オーディオ・システムBBは、マイクロフォンやスピーカーなどのタイプのような装置のタイプを検出し得る。一実施形態によれば、オーディオ・システムBBは、外部装置が設置されている、例えば、ステレオ・サウンドを定義する2つのPAスピーカーに関する場所を検出し得る。
ステップ2は音響室モード解析を有する第3ステップに続き得る。ステップ3.1では、ルームの音響特性の信号が発射される。ルームは、ステージと観客席に分割される。音響特性測定信号はホワイトノイズであり、接続されている各スピーカーから引き続き再生される。
ステップ3.2においては、部屋の音響反射が計算される。一実施形態によれば、発射された信号は図1に示すシステム・マイクロフォン210、220によって受信される。システム・マイクロフォン210、220は、スマートフォンまたはタブレットの一部であってもよい。システム・マイクロフォン210、220を使用して、ユーザーは観客席のさまざまな場所及びステージ上を歩き回り、発射された信号を測定できる。音響反射は発射された信号とシステム・マイクロフォン210、220によって受信された信号に基づいて計算されてもよい。
ステップ3.3においては、ルームの音響特性が計算され得る。このような音響特性は、ルームの残響の長さと強さであり得る。ステップ3.4においては、オーディオ・ミキサー・システムBB、100のイコライザパラメータが計算され得る。イコライザパラメータは、演奏中の線形挙動を達成するために計算され得る。例えば、イコライザパラメータは、バンドパスフィルタの増幅度を設定することによって見積もり周波数での音響減衰を解消するために設定される。第3ステップ3のルーム・モード解析後、ルームの音響はできる限りニュートラルに聞こえるべきである。
計算結果は不揮発性メモリー140に格納し得る。一実施形態によれば、計算結果は、例えば、他のコミュニティ・メンバーの使用のために、インターネットにアップロードしてもよい。計算結果は、第3ステップ3の前にダウンロードし、そのダウンロードの結果でルーム・モード解析を初期化してもよい。
第4ステップ4において、サウンドチェックが自動的に行われ得る。一実施形態によれば、バンドの演奏、例えば、演奏の歌曲が検出されたときに、サウンドチェックは開始される。ステップ4.1において、各音源、ボーカル及び楽器が認識される。例えば、リード・シンガー、セカンドボイス、サードボイスとバックグラウンドの聖歌隊、キーボード、サクソフォン、電子ギター及び電子バスが認識される。ステップ4.2において、処理は各音源の信号経路を明確にして、適用され得る。ステップ4.2において、処理は基礎的なオーディオ信号処理の処理パラメーター及び各音源タイプの効果処理を明確にして、適用され得る。
ステップ4.3において、バンドが演奏されている間に、初期混合が行われる。バックライン・モデリングがインストゥルメント・チャンネルとペダルに適用され得る。
第5ステップ5において、手動調整が可能になる。ステップ5.1において、パラメーター及び信号経路が、タブレット310、320、330に伝達され得る。ステップ5.2において、パラメーターがタブレット310、320、330のスクリーンで可視化される。ステップ5.3において、入力パラメーター及び変更事項が、オーディオ・システムBB、100に返送され得る。タブレットの可視化フィードバックは、個人的または完全なミックス・パラメーターを提供してもよく、調整が手動で行われ得る。また、個人的なモニタリングもまた、遠隔タブレット入力を介して局部的に調整され得る。タブレット310、320、330はオーディオ・システムBBの状態を示すこともできる。ユーザーはオーディオ・ミキサー・システムBBの自動設定を検討してもよい。
パラメーター及び信号経路は不揮発性メモリー140に格納されてもよい。一実施形態によれば、パラメーター及び信号経路は、例えば、同様な状況でさらに使用するために、インターネットにアップロードされ得る。パラメーター及び信号経路は、第5ステップ5の前にダウンロードしてもよい。この場合、オーディオ・ミキサー・システムBBは、GSM(登録商標)/UMTS接続または以前使用されたオーディオ・システムBBと互換性のあるテンプレートを探求するベニュー・ロケータ―を使用して、インターネットのクラウドを自動的に調査してもよい。オーディオ・ミキサー・システムBBが、少なくとも1つのテンプレートを探した場合、サウンドチェックは瞬時に完了され得る。
会場がいっぱいになり始めて、演奏会が始まった後、第6ステップ6の演奏モードが開始され得る。ステップ6.1において、ルーム・モード・スキャンが音響変化を検出し得る。例えば、観客によって、その他の音響減衰が起こり得る。ステップ6.2において、パラメーター調整が計算され得る。ステップ6.3において、動的調整が、ミュージシャン(オーディオ音源)から生じているオーディオ信号に基づいて、計算され得る。従って、異なったパラメーターまたは信号経路が、検出された発話、ソロ、トゥッティの楽句などの演奏に基づいて設定され得る。
ステップ6.4において、照明制御が実行され得る。照明制御は、フィンガープリント方法の結果に基づき、照明が歌曲に追随する制御を自動的に行うものでもよい。例えば、照明とサウンドが歌曲というより音声の検出によって変化するようにしてもよい。バンド演奏の時、タブレット310、320、330は動的調整及びオーディオ・システムBBによって音楽の自動ミックスを可視化して示してもよい。
第7ステップ7において、オーディオ・システムは、記録されたトラックを自動ミックスし得る。一実施形態によれば、マルチチャンネルレコーディングが、演奏後にステレオ信号でダウンミックスされ得る。一実施形態によれば、ダウンミキシングは演奏中にもなされ、ステレオ信号だけが録音され、例えば、外部ストレージ800に格納され得る。ステップ7.2において、トラックは公表するためにタブレット310、320、330で表示され得る。オーディオ・ミキサー・システムBBは、ソーシャルメディアストリーミングのクラウドにおける選択されたトラックを公表するための手動許可を依頼してもよい。
ステップ7.3において、ダウンミックスされた歌曲は、クラウドにアップロードするために選定され得る。オーディオ・ミキサー・システムBBは、瞬時に歌曲をアップロードし得る。人々は、地球の反対側でその歌曲を数秒後に聞き得るのである。
図3の一実施形態による、オーディオ・ミキサー・システム100を示す。オーディオ・ミキサー・システム100は、オーディオ信号のレベル、音色及び/またはダイナミックスの組み合わせ、ルート設定及び変更を行う電子装置である。オーディオ・ミキサー・システム100は、アナログ及び/またはデジタル信号をミックスすることができる。ユーザーはオペレーターまたはサウンド・エンジニアであってもよく、求めるサウンド結果の出力を得るために、オーディオ・ミキサー・システム100に入力をし得る。ユーザーは、ミックスしたオーディオ信号がよく聞こえることを確かめるために、自分の過去の経験と学んだことを利用する。
図3の一実施形態によれば、オーディオ・ミキサー・システム100は、一定の知能を持ち得る。オーディオ・ミキサー・システム100が学習できれば、出力信号がよく聞こえることを確かめるために、入力信号に応じてどの設定に変更すべきかを決定するのに、自分が過去に学んだことを利用するよう構成し得る。知的オーディオ・ミキサー・システム100は、オペレーターやサウンド・エンジニアがオーディオ・ミキサー・システム100を操作する必要性を有意に減らすことになるだろう。
図3の一実施形態によれば、オーディオ・ミキサー・システム100は、複数の入力ポート171及び幾つかの出力ポート172を備えたI/Oカード形式のオーディオ・インターフェイス170を有してもよい。オーディオ・インターフェイス170は、入力アナログ信号が制御回路123に与えられるバイナリデータストリームとなるために、アナログ・デジタル変換器を有し得る。ボーカル、ギター、またはドラムのようなサウンドを捉えるマイクロフォンは、入力ポート171に接続され得る。電力増幅器またはPAスピーカーまたはモニター・スピーカーのようなスピーカーは、出力ポート172に接続され得る。オーディオ・ミキサー・システム100は、DSPカード形式でオーディオ信号プロセッサ159を有してもよい。オーディオ信号プロセッサ159は、オーディオ・インターフェイス170によって受信されるオーディオ信号を処理する構成にし得る。係わる処理は、残響、遅延、フィルターリングなどでもよい。
図3の一実施形態によれば、オーディオ・ミキサー・システム100は、制御回路123を備えてもよい。制御回路123は、オーディオ信号の分析に基づいて、オーディオ・インターフェイス170のオーディオ信号の音源タイプを認識するように構成し得る。オーディオ信号を分析するために、制御回路123は人工ニューラルネットワークANN125を備えている。
人工ニューロンを持った人工ニューラルネットワーク125は、オーディオ・ミキサー・システム100のために、ある程度の知能を達成することができる。人工ニューラルネットワーク125は、人間にとっては容易であるが、従来のコンピュータ・プログラムには難しい問題を得意とし得る。
人工ニューラルネットワーク125は、また、フィードバック・システムと言ってもよい。人工ニューラルネットワーク125は、ユーザーによって訓練し得る。入力信号によって、ユーザーはオーディオ・ミキサー・システム100の所定のパラメーターを変更してもよい。これらの変更は、結果が所望の出力信号となるように、処理中に、入力信号上で実行されるインストラクションまたはオペレーションと捉えられる。学習/トレーニング及び経験で、出力がよく聞こえるように、ユーザーはどのパラメーターが変更されるべきかを決定することができる。然るべき時間により、ユーザーは十分な経験を積むことになり、入力サウンド・ストリームを聞くだけで、ユーザーは出力サウンドを自分の趣向に完全に合うように変更できる全てのパラメーターを決定できる。
オーディオ・ミキサー・システム100の人工ニューラルネットワーク125は、対応して、継続的に、やがて学習し得る。後でオーディオ・ミキサー・システム100の人工ニューラル・ネットワーク125は、出力サウンドを類似させるために変更が必要な全てのパラメーターを決定するのに十分な経験をすることができる。
入力信号は、人工ニューラルネットワーク125に供給され、その入力信号から人工ニューラルネットワーク125はオーディオ信号内のパターンを見つける。人工ニューラルネットワーク125は、見つけたパターンと既に格納され、または取り扱われるべく訓練を受けたパターンを比較する。既に格納されまたは訓練を受けたパターンは、認識された音源タイプに割り当てられる。例えば、ドラムからのオーディオ信号は、訓練されたパターンと一致し、そのパターンは、音源タイプ「ドラム」に割り当てられている。認識された音源タイプ「ドラム」は、オーディオ・ミキサー・システム100または外部装置のディスプレイを使用してユーザーに表示され得る。
人工ニューラルネットワーク125によってそのように発見されたパターンを取り扱うためにどう訓練を受けているかにより、人工ニューラルネットワーク125は、所望の出力が達成されるように、オペレーションを取扱い、実行し得る。人工ニューラルネットワーク125は、多数の相互接続された人工ニューロンから構成し得る。人工ニューロンは、相互接続した人工ニューロンを形成するために、結合されてよい。各人工ニューロンは入力を受信でき、各入力は重みに関連付けられてもよい。単一人工ニューロンからの出力は各入力及びその対応する関連付けられた重みによって決定され得る。
各人工ニューロンは、重み付けされた入力を合計する総合ユニットを備えてもよい。総合ユニットは、線形加算を行う。イエスかノーかのような決定またはどちらがより定量化できるかの決定は合計から出されてもよい。決定を成し遂げるために、総合ユニットはある非線形処理ユニットによって追随されるようにし得る。非線形処理ユニットから利用することができる出力は、人工ニューロンの出力となるであろう。人工ニューロンからの出力が求める出力とは異なれば、同一のセット入力によって、求める出力に近い出力が達成されるように、入力の重みは変更され得る。その出力は、直接入力と結合重みに依存する。入力は変更されないが、結合重みは、求める出力を獲得するために変更され得る。
一実施形態によれば、制御回路123は、オーディオ・インターフェイス170の入力から、オーディオ信号プロセッサ159を介して、認識された音源タイプに基づいたオーディオ・インターフェイス170の出力までの、オーディオ信号の信号経路設定を制御するように構成し得る。一実施形態によれば、制御回路123は、信号経路設定の制御を学習する人工ニューラルネットワーク125を備えている。信号経路は、入力ポート171から、DSPカード159を介して、出力ポート172に至る信号のルートと信号経路に割り当てられたパラメーター、例えば、フィルターを有してもよい。
一実施形態によれば、人工ニューラルネットワーク125のニューロン間の結合重みは、類似の入力パターンが受信され、音源タイプに割り当てられるときに、更新された結合重みで、同一の出力が達成されるために、特定の入力パターンが所望の出力を得るために信号経路を設定するよう更新(学習)し得る。これは人工ニューラルネットワーク125を学習することまたは訓練することと言ってもよい。
学習には、トップ・ダウン・アプローチとボトム・アップ・アプローチの2つのアプローチがある。トップ・ダウン学習は、自己修正ではない、連続的な縦続する、if−elseステートメントのセットとして、プログラミングの用語で最もよく記述される。換言すれば、予め定義された決定ポイントにおける所定のアクションをコンピュータが実行するようにプログラムされる。このトップ・ダウン法を使用して、コンピュータにプログラムされるアルゴリズムが高度化され、オーディオ・ミキサー・システムの全ての態様を取り扱う究極の決定に影響があり得る多くのさまざまな態様がある。このアプローチの限界は、複雑なタスクをプログラムするために、プログラマーが正しいトップ・ダウン・アプローチの開発に長時間費やさなければならないかもしれないということである。ボトム・アップ・アプローチは、複雑なセットである縦続する、if−elseステートメントより、実施例でまたは実行して、もっと学習する。それは特定の様相で何かを試してみて、実行できなければ、何か他のことを試してみるというものである。機能しなかったアクションと機能したアクションのトラックを維持することによって、システムが学習する。加えて、そのプログラムは本来自己修正する。
オーディオ・ミキサー・システム100は、これらのアプローチの両方の組み合わせを使ってもよい。インストラクションの中には、人工ニューラルネットワーク125をも備えているオーディオ・ミキサー・システム100にハード配線されたものがあってもよく、それはボトム・アップ・アプローチに従ってもよい。例えば、どのオペレーションが許容されるか、所定の境界値、及びどのオペレーションの組み合わせがまともに動作しないか、などの初期命令が提供されるであろう。
一実施形態によれば、人工ニューラルネットワーク125は、少なくとも1つの初期命令を有している。初期命令は、人工ニューラルネットワーク125に特定なものではなく、全部のシステムにとって、ハード配線されたインストラクションと言っても差し支えないであろう。ハード配線されたインストラクションは、このインストラクションの制御は書かれたプログラム・コードに基づき得るということを意味している。係わるハード配線されたインストラクションは、オーディオ・ミキサー・システム100を切り替えるときに、人工ニューラルネットワーク125を活性化することでもよい。もう1つのインストラクションは、オーディオ・ミキサー・システム100のオペレーション・モード(手動または自動)を制御することでもよい。手動モードでは、ユーザーはオーディオ・ミキサー・システム100を管理し得るし、人工ニューラルネットワーク125は学習モードになるであろう。自動モードでは、人工ニューラルネットワーク125はオーディオ・ミキサー・システム100を制御することになるであろう。他のハード配線されたインストラクションは、入出力ポートの接続性を検査し、どの全てのポートが活性化しているかを検出するものであってもよい。何らかの理由でアプリケーションがクラッシュ/フリーズした場合は、ハード配線されたインストラクションはシステムを再起動し、人工ニューラルネットワーク125を活性化し得る。他のハード配線されたインストラクションは、ユーザーを案内するヘルプ・ウイザートを起動するようにし得る。
ハードワイヤリングは、システム・レベル用である一方、初期命令は人工ニューラルネットワーク125用のみを照会する。人工ニューラルネットワーク125がいったん作動すると、アプリケーションが適切な状態かどうかチェックをする。オペレーションのモード(手動または自動)によって、人工ニューラルネットワーク125はそれぞれのモードで作動する。
一実施形態によれば、人工ニューラルネットワークは、デフォルトの増幅度にあるオーディオ・インターフェイス170の出力のデフォルト・ポート172に対して、オーディオ信号の経路を定める1つのインストラクションを有し得る。これは各入力ポート171の初期命令であり得る。係わる初期命令の使用がユーザーに表示され得る。オーディオ信号の入力ベクトルが学習された各セットのベクトルに一致しない場合には、デフォルト増幅度にあるオーディオ・インターフェイス170の出力のデフォルト・ポート172に対するオーディオ信号の経路を定めるインストラクションが設けられ得る。
一実施形態によれば、オーディオ・ミキサー・システム100のアプリケーション・ブロック126によって制御されるオペレーションは、当初は許容され得るかまたは許容され得ない。オーディオ・ミキサー・システム100を作動している間に、アプリケーション・ブロックで取り扱われてもよい何らかの制限が存在することがある。また、望ましくない結果を招く何らかのオペレーションがあり得る。ユーザーは自己の経験によってそれらのことに気づくこともあり得るが、許容されないオペレーションは人工ニューラルネットワーク125によって学習される必要がある。対照的に、許容されるオペレーションは、例えばフェーダ値の変更、または、信号のノイズを軽減するためのローカット・フィルターの変更などのオーディオ・ミキサー・システム100の手動モードにおいてユーザーが実行する共通のオペレーションを含み得る。
一実施形態によれば、制御回路123は、手動モードと自動モードを切り替えるように構成される。手動モードにおいては、オーディオ・ミキサー・システム100は、主に受信されたユーザー入力に基づいて制御され、従って手動モードにおいては、制御回路123は少なくとも1つの受信されたユーザー入力に基づいて信号経路の設定を制御するように構成し得る。ユーザー入力は、例えば、図1に示されているモバイル装置310から無線で受信されるような遠隔制御装置から受信され得る。ユーザー入力によって、図3のアプリケーション機能ブロック126が制御され、アプリケーション機能ブロック126は、入力ポート171、I/Oカード170を介してDSPカード159に至る信号経路を定義し、再びI/Oカード170及び出力ポート172を介してスピーカー410に至る信号経路を定義し得る。
オーディオ信号のデジタル信号処理は、DSPカード159において行われる。ユーザーはオーディオ・ミキサー・システム100の所定のパラメーター値を変更し得る。変更された値はDSPカード159に届けられ、オーディオ処理がオーディオ信号に施され得る。デジタルオーディオ処理の各パラメーターは、予め定義された範囲または特定の目的についての境界値を持っている。
例示すると次の通りである。
フェーダ値は、−90から10まで変動する。
周波数は20Hzから20kHzまで変化する。
各周波数の利得はー15から15まで変化され得る。
パンレベルは30Lから30Rまで変化され得る。
図3の一実施形態によれば、アプリケーション・ブロック126は、オーディオ・ミキサー・システム100で実行されるソフトウエアを参照し得る。アプリケーション・ブロック126は、例えば、オーディオ・ミキサー・システム100のハードウエアまたはソフトウエアのようなユーザー・インタフェイスとデジタル信号処理159を備えたコアの間のインターフェイス(中間層)として作動し得る。アプリケーション・ブロック126は、ユーザー・インタフェイス・モジュールを備え、ユーザーがオーディオ・ミキサー・システム100のいくつかの設定を変更するのに使用できる。ユーザーは、ディスクのフェーダを変更し、フェーダ値の変更事象はアプリケーション・ブロック126によって捕捉され得るので、アプリケーション・ブロック126はDSPカード159に新しい利得値を送る。
図3の一実施形態によれば、人工ニューラルネットワークブロック125は、独立ブロック125を参照し得る。その独立ブロック125はアプリケーション・ブロック126と双方向通信機能を有するが、アプリケーション・ブロック126の一部ではない。人工ニューラルネットワークブロック125は、ユーザー・インタフェイス・モジュールを持ってはならない。人工ニューラルネットワークブロック125は、アプリケーション・ブロック126から入力ベクトルを受信する。入力ベクトルを受信した後で、アプリケーション・ブロックは入力ベクトルをそのネットワーク介して通過させる。人工ニューラルネットワークブロック125は、類似の入力ベクトルに反応する学習をどのように受けたかに従って、出力を供給する。人工ニューラルネットワークブロック125の出力は、1つのオーディオ入力信号またはバスの値(例えば、利得)のオン・オフ切り替えまたは設定のために使用され得る。従って、人工ニューラルネットワークブロック125の出力は、アプリケーション・ブロック126に送られ得る。「アプリケーション」ブロックは、その値をDSPカード159に送り得る。
自動モードにおいては、制御回路123は、信号経路の自動的設定の制御をする構成にし得る。図3の一実施形態によれば、人工ニューラルネットワーク125の出力は、ユーザー入力を必要とせずに自動モードで信号経路の設定を制御し得る。
図3の一実施形態によれば、人工ニューラルネットワーク125の出力は、信号経路を定義するアプリケーション機能ブロック126を設定し得る。アプリケーション機能ブロック126は、更に、信号経路のためのDSPカード159のパラメーターを制御する構成にし得る。
一実施形態によれば、制御回路123は、手動モード及び/または自動モード中に自動モードの設定制御を学習するように構成し得る。制御回路123の人工ニューラルネットワーク125は、受信されたユーザー入力に基づいて設定制御を学習するように構成し得る。メモリにも基づく学習、誤り訂正学習、ヘブ学習、競合学習またはボルツマン学習のようないくつかの学習方法がある。一実施形態によれば、人工ニューラルネットワーク125は、メモリに基づく学習、ヘブ学習及び競合学習のうち少なくとも1つに基づいて学習するように構成される。
メモリに基づく学習
人工ニューラルネットワーク125は、x1からxnまでの範囲のn個の異なった入力を持ち得る。最初に簡単にするため、単一のニューロンの場合を仮定する。単一のニューロンについて、x1からxnまでの入力セットが供給され、出力はyとしてもよい。入力の供給はパターンを定義し、入力パターンはx1、x2、x3 ...xn数字を含んでよい。このパターンは、数学的にはベクトルと称することができる。オーディオ・ミキサー・システム100は、入力ベクトルと出力の関連性を記憶するよう試みる。入力ベクトルxに対して出力はdであり、その場合dは入力パターン・ベクトルxと関連するある値を仮定する。システム挙動mを定義するために、そのようなパターンはx vector {xi}i=l to mのセットとして表現され、格納され得る。それぞれのxiベクトルのために、求められる出力diがあるであろう。これは{xi,di}i=l to mの関連として表され得る。複数の出力ニューロンのために、この場合もまたdiはベクトルであろう。オーディオ・ミキサー・システム100は、これらの全パターン及び入力ベクトルと出力間の関連性を大きなメモリに格納し得る。オーディオ・ミキサー・システム100が入力パターンに遭遇するとき、オーディオ・ミキサー・システムは格納された入力パターンのセットと最初に比較することを試みる。入力パターンがあるものと一致すれば、求める出力が達成され、入力パターンは音源タイプに割り当てられ得る。オーディオ・ミキサー・システム100は、以前に遭遇しなかった例えば、xnewの入力パターンが与えられ、学習が適切であれば、オーディオ・ミキサー・システム100は、どの格納された入力ベクトルxiが新しいパターンxnewに最も近いかをメモリから探し出し得る。最も近いものは、ベクトルxnewとxiの間の最小ユークリッド距離と称される。いったんシステムが最も近い入力ベクトルを見つけ出すと、出力を獲得するために同一の結合重みを使い得るし、その結果をメモリに格納し得る。メモリはこのタイプの学習に対するキーを維持するので、メモリにも基づいた学習と称する。
ヘブ学習
その名前については、基礎的なコンセプトが心理学者ヘブによって紹介されたことによる。生物学的ニューロンの場合、生物学的ニューロンが他のニューロンを燃やすとき、脳の代謝過程は細胞のシナプス結合の強度が強化されることがある。同じ考えを人工ニューロンに置き換えると、人工ニューラルネットワーク125の2個の人工ニューロンがあり得るが、1つはプレシナプスニューロンと定義され、他のニューロンはシナプス荷重または結合重みによって互いに接続されるポストシナプスニューロンと定義される。どの時点においても、これらの両方のニューロンが活性化すると、ニューロン間のシナプス荷重/接続強度が増加し得る。簡単に言うと、正の相関関係(両方の人工ニューロンが特定の期間に活性化される)があれば、2個の人工ニューロン間のシナプス荷重が増加され得る。逆も真なりの場合もそうでない場合もあり得る。
競合学習
人工ニューロンの人工ニューラルネットワーク125において、いくらかの入力ニューロンといくらかの出力ニューロンがシナプス荷重によってお互いに相互接続する。そのような人工ニューラルネットワーク125において、どの時点でも1つの出力ニューロンのみは活性化しているという制約はない。競合学習の場合には、次の勝利機会を強化しようと試みる(シナプス荷重を更新する)ばかりでなく、また、接続強度を減少して相手を弱体化しようとする。競争ニューロン間に相対的阻害が常に存在しながら、フィード・フォワード・ネットワークを強化しようと試みる。1つの出力ニューロンが特定の入力パターンに勝利すれば、類似の入力パターンが入力として到来したとき、人工ニューラルネットワーク125のシナプス荷重はそう調製され、勝利ニューロンは味方され、そのニューロンは容易に勝利する。競合学習の神髄は同じ入力パターンについて、勝利者は次回に味方されるということである。
一実施形態によれば、制御回路123は、オーディオ・ミキサー・システム100によって処理されるオーディオ信号の信号経路の設定制御を学習する人工ニューラルネットワーク125を備えてもよい。人工ニューラルネットワーク125は、本来的にマルチプロセッサー向きのアーキテクチャであってもよい。多くの修正を要せずに、1個を越え2個のプロセッサでさえも機能させてもよい。人工ニューラルネットワーク125は、開始から並列にするように設計されてもよい。多量の並列アーキテクチャによって、人工ニューラルネットワーク125は、少ない時間で多くのことを成し遂げることができる。その学習スタイルのため、人工ニューラルネットワーク125は、本質的に、それ自体をプログラムすることができる。人工ニューラルネットワーク125は、それ自体のプログラミングを真に変えることによって、連続的に適応可能とし得る。係わるオーディオ・ミキサー・システム100は、証拠に基づく応答、つまり、一定の自信を持った決定を与えるであろう。最初は、その程度は低くてもよいが、継続的学習によって、自信レベルと精度は有意に増すことになろう。加えて、オーディオ・ミキサー・システム100は、ユーザーが続けて使用するという個人的なスタイルを学習する。例えば、オーディオ・ミキサー・システム100は、ミュージシャンのグループの設定を学習し得る。さらに、さまざまなグループのミュージシャンについてのさまざまな学習データ、または同一グループのミュージシャンのさまざまな演奏についてのさまざまな学習データさえも存在し得る。オーディオ・ミキサー・システム100は、VLSIの実装により設計し得る。MATLAB及びOctaveツールを係わる学習システムの設計に使用してもよい。
図3の実施形態は、いくつかの利点を提供する。システムがいったん完全な学習を行い、さまざまな入力を取り扱う準備をすると、オペレーターの関与が必要でなくなる。オペレーターが関与しても、オペレーション中に生じる手動エラーは有意に減少する。一度システムが訓練を受けると、カスタマーは入力にプラグを容易に差し込み、使用を開始することができる。所与の環境で、オペレーターがオーディオ・ミキサー・システム100をどのように操作するかにより、人工ニューラルネットワーク125は、それらのオペレーションを学習し、オペレーターがいなくとも同様に演奏するであろう。いったん人工ニューラルネットワーク125が入力ベクトルのセットを持てば、人工ニューラルネットワークはシステムへの入力として入力ベクトルのセットをシミュレーションして、精度のために応答をチェックするという、追加機能となり得る。オペレーターがある入力の取り扱いにあまり経験がない場合には、人工ニューラルネットワーク125は、オペレーターが所望の応答を得るよう助ける。場合よっては、オーディオ・ミキサー・システム100は多くの特徴を支持しているにもかかわらず、オペレーターが知識不足のために、それらの特徴が使用されないこともある。オペレーターにとって、それらの特徴は未活用のままになる。ここで提案されたシステムによって、この問題を取り除くことができる。加えて、訓練を受けたオーディオ・ミキサー・システム100は、オペレーターを訓練するように構成され得る。オペレーターは、いくつかの設定をし、オーディオ・ミキサー・システム100がどう機能するかを検証し、自己の設定を有効にすることができる。例えば、オーディオ・ミキサー・システム100は、代替の設定を提案し得る。自動モードにおいては、オーディオ・ミキサー・システム100は、自然に作動し、オペレーターがそのオペレーションをただモニターし、必要があれば制御をし得る。このシナリオによって、ユーザーはオーディオ・ミキサー・システム100の人工ニューラルネットワーク125を更に訓練し得る。
オーディオ・ミキサー・システム100は、演奏中に使用されるように構成されてもよい。キュー・リストの特徴と同様に、演奏の各歌曲についてユーザーはいくつかのパラメーターを設定し、キューに保存し得る。演奏中、ユーザーは手動でキューを選定するかタイマー事象からきっかけを得るようにしてもよい。いったんキューが選定されると、これらの全ての予め構成されたパラメーターが適用される。これらの予め構成されたパラメーターは人工ニューラルネットワーク125によって学習され得る。人工ニューラルネットワーク125は、1レベル下で機能し得る。人工ニューラルネットワーク125は、入力が何であったかと前にどのように取り扱われたかを知る。例えば、特定のバックグラウンド・ボーカルのために、ユーザーはそのボーカルを「スイート」に聞こえるように5つのパラメーターを変更した。特定のソロ・ボーカルのために、ユーザーはそのボーカルを「スイート」に聞こえるように2つのパラメーターを変更した。それぞれのオーディオ信号は、異なる周波数と異なった強度におけるハーモニックスの組み合わせであり、つまり、これがユーザーはどうオーディオ信号を区別するかということである。人工ニューラルネットワーク125は、DSP以前に信号を嗅ぎ分け、信号の特性をチェックし、全てのオーディオ信号の入力ベクトルは、その入力ベクトルによって異なる。人工ニューラルネットワーク125は、信号に対してどの処理要素が課せられるのかを決定する構成にされ得る。そして、人工ニューラルネットワーク125は、DSPカード159上の必要とされる処理要素を適用する。例えば、デジタル化後のバックグラウンド・ボーカル信号は、入力ベクトルm1として表され、デジタル化後のソロ・ボーカル信号は、入力ベクトルm2として表される。人工ニューラルネットワーク125は、入力ベクトルm1を認識する。人工ニューラルネットワーク125は、類似のパターンについてチェックし、ユーザーによって以前に「スイート」に聞こえるようにされた5つのパラメーターを変更する。人工ニューラルネットワーク125は、入力ベクトルv2を認識し、人工ニューラルネットワーク125は、また、類似のパターンについてチェックし、ユーザーによって以前に「スイート」に聞こえるようにされた2つのパラメーターを変更する。
図4において、簡易化したフローチャートを示す。例えば、3つのマイクロフォンからのアナログ信号は、第1ステップ10で受信される。マイクロフォンからのアナログ・オーディオ信号は、次のステップ11でデジタル・オーディオ信号に変換される。その次のステップ12において、それぞれのマイクロフォンからのデジタル信号は、入力ベクトルM1、M2及びM3として表される。図3の一実施形態によれば、制御回路123は、対応するオーディオ信号からの各入力ベクトルM1、M2、M3を引き出すように構成され得る。例えば、制御回路123は、オーディオ信号のデジタル値のセットを読み、そのデジタル値のセットを人工ニューラルネットワーク125に送るようにしてもよい。
図4の次のステップ13において、人工ニューラルネットワークANNは、各入力ベクトルM1、M2、M3を学習された入力ベクトルL1と比較する。図3の一実施形態によれば、制御回路123は、オーディオ信号の音源タイプを認識するように構成され得る。音源タイプのために、制御回路123の人工ニューラルネットワーク125の認識については、入力ベクトルM1、M2、M3を学習された入力ベクトルL1のセットと比較する構成とし得る。図4において、簡単にするために、ただ1つの学習されたベクトルL1のセットが示されている。
図4のステップ13における比較がポジティブであれは、ステップ15が続き得る。ステップ15においては、信号経路の設定がチェックされ、必要であれば修正される。例えば、入力ベクトルM1のために、対応する入力オーディオ信号がPAスピーカーまで経路を決められ、利得が学習された値まで増加され得る。例えば、入力ベクトルM2のために、対応する入力オーディオ信号がPAスピーカーまで経路を決められ、利得が学習された値まで減少され、ノイズ・フィルター・パラメータが学習された値まで変更され得る。例えば、入力ベクトルM3のために、対応する入力オーディオ信号がPAスピーカーまで経路を決められ、スピーカーがモニターされ得る。利得は変更されずにとどまり、例えば、オーディオ・コンプレッサーなどの動的設定が学習された値まで変更され得る。全てのこれらの設定は、対応するオーディオ信号のための信号経路の一部であってもよい。図3の一実施形態によれば、制御回路123は、オーディオ・インターフェイス170の入力から、オーディオ信号プロセッサ159を介して、学習されたベクトルL1を使って人工ニューラルネットワーク125により認識された音源タイプに基づくオーディオ・インターフェイス170の出力に至るオーディオ信号の信号経路の設定を制御するように構成され得る。経験豊かなユーザーのオペレーションと似たように、出力がよく聞こえるように、また、人工ニューラルネットワーク125は、DSPカード159のパラメーターを調整する。
図4の次の下記ステップ16において、信号経路に関する新しい設定が適用され得る。M1、M2、M3の対応するオーディオ信号のためのDSPカード159における設定が適用され得る。出力信号がステップ17においてアナログ信号に変更され、ステップ18においてPAスピーカーまたはモニター・スピーカーに送られた後で、ステップ16においてなされた変更が、ステップ19において観客またはユーザーによって聞こえ得る。
図4の一実施形態によれば、ユーザーは、ユーザー・インタフェイスを介して、ステップ16.1において、いつでも介在してもよい。ステップ16.1におけるユーザー入力は、人工ニューラルネットワーク125により学習され、学習されたベクトルL1に割り当てられ得る。
ステップ13(M1≠L1)において、入力ベクトルM1と学習されたベクトルL1の類似が見つからなければ、オーディオ信号の入力ベクトルM1は各セットの学習されたベクトルL1と不一致になるように、ステップ14において対応する入力信号のために、設定変更はなされ得ない。そのかわり、少なくとも1つの初期命令が使用され得る。この場合、人工ニューラルネットワーク125は、デフォルト増幅度におけるオーディオ・インターフェイス170の出力のデフォルト・ポート172に至るオーディオ信号の経路を決める1つのインストラクションを有し、オーディオ信号はモニター・スピーカーまたはPAスピーカーで少なくとも聞き取り可能であり得る。従って、この場合、デフォルト信号経路が設定される。
ステップ14.1において、新しく学習されたベクトルLxが未知の入力ベクトルから導き出され、将来の比較のために格納され得る。ステップ14.2において、デジタル信号処理のパラメーターを含む信号経路に関するユーザー入力が、新しいベクトルLxに割り当てられた人工ニューラルネットワーク125によって学習され、将来の設定のために格納され得る。
参照符号
100、BB オーディオ・システム
110 コントローラー、インテリジェント・ミキシング・エンジン
120 信号マトリクス、スイッチング装置
123 制御回路
125、ANN 人工ニューラルネットワーク
126 アップリケーション・ブロック、コントローラー
130 アナライザ、FFTアナライザ
140 不揮発性メモリー
150 基礎的オーディオ信号処理
159 デジタル信号処理カード、DSPカード
160 無線インターフェイス
170 I/Oインターフェイス、I/Oカード
171 入力ポート
172 出力ポート
180 コントロール・インターフェイス
190 オーディオ効果処理
210,220 システム・マイクロフォン
310、320、 330 タブレット、ラップトップ、スマートフォン
410、420 PAスピーカー
510、520、530 モニター・スピーカー
610、620 楽器
710、720、730 マイクロフォン
800 USBストレージ
900 インターネット、ソーシャルメディア
M1、M2、M3、L1、Lx ベクトル
Mic1、Mic2、Mic3 オーディオ信号

Claims (14)

  1. オーディオ・インターフェイス(160、170)と、オーディオ信号プロセッサ(150、159、190)と、制御回路(123、110、120、130)からなるオーディオ・ミキサー・システム(100)であって、
    前記制御回路(123、110、120、130)はオーディオ信号の解析に基づき前記オーディオ・インターフェイス(160、170)において前記オーディオ信号の音源タイプを認識するよう構成され、前記制御回路(123、110、120、130)は前記オーディオ・インターフェイス(160、170)の入力から、前記オーディオ信号プロセッサ(150、159、190)を介して、前記認識された音源タイプに基づき前記オーディオ・インターフェイス(160、170)の出力に至る前記オーディオ信号の信号経路の設定を制御するよう構成されたオーディオ・ミキサー・システム(100)。
  2. 前記制御回路(123、110、120、130)は手動モードと自動モードの間を変化するよう構成され、前記自動モードにおいて、前記制御回路(123、110、120、130)は前記信号経路の設定を自動的に制御するように構成され、前記手動モードにおいて、前記制御回路(123、110、120、130)は少なくとも1つの受信されたユーザー入力に基づき前記信号経路の設定を制御するように構成された、請求項1に記載のオーディオ・ミキサー・システム(100)。
  3. 前記制御回路(123、110、120、130)は、前記手動モード中に、前記自動モードの設定制御を学習するように構成された、請求項2に記載のオーディオ・ミキサー・システム(100)。
  4. 前記制御回路(123、110、120、130)は、前記自動モード中に、前記自動モードの設定制御を学習するように構成された、請求項2または3に記載のオーディオ・ミキサー・システム(100)。
  5. 前記制御回路(123、110、120、130)は、前記信号経路の設定制御を学習する人工ニューラルネットワーク(ANN、125)を有する、前記請求項の1つに記載のオーディオ・ミキサー・システム(100)。
  6. 前記人工ニューラルネットワーク(ANN、125)は、受信されたユーザー入力に基づき前記設定制御を学習するように構成された、請求項5に記載のオーディオ・ミキサー・システム(100)。
  7. 前記制御回路(123、110、120、130)は、前記オーディオ信号を解析するため、前記オーディオ信号から入力ベクトル(M1、M2、M3)を導き出すように構成され、音源タイプ認識のために、前記制御回路(123、110、120、130)は、前記オーディオ信号の前記入力ベクトル(M1、M2、M3)と学習されたベクトル(L1)のセットを比較するように構成された、前記請求項の1つに記載のオーディオ・ミキサー・システム(100)。
  8. 前記人工ニューラルネットワーク(ANN、125)は、特に前記信号経路を制御する少なくとも1つの初期命令を有する、前記請求項の1つに記載のオーディオ・ミキサー・システム(100)。
  9. 前記人工ニューラルネットワーク(ANN、125)は、特に、前記オーディオ信号の前記入力ベクトル(M1、M2、M3)と前記学習されたベクトル(L1)のセットの各々が不一致の場合に、デフォルト増幅における前記オーディオ・インターフェイス(160、170)の前記出力のデフォルトポート(172)に前記オーディオ信号の経路を決める初期命令を有する、請求項8に記載のオーディオ・ミキサー・システム(100)。
  10. 前記制御回路(123、110、120、130)は、機能ブロック、オーディオ信号アナライザ(130)、コントローラー(110)及び信号マトリクス(120)を有し、前記コントローラー(110)は、前記オーディオ信号アナライザ(130)の出力信号に基づき前記音源タイプを認識するように構成され、前記制御回路(110)は、前記信号経路を設定する信号マトリクス(120)を制御するように構成された、前記請求項の1つに記載のオーディオ・ミキサー・システム(100)。
  11. 更に不揮発性メモリー(140)を含み、前記コントローラー(100)は、前記不揮発性メモリー(140)に格納された所定の信号によって、前記オーディオ信号アナライザ(130)の前記出力の評価に基づき前記音源タイプを認識するように構成された、請求項10に記載のオーディオ・ミキサー・システム(100)。
  12. 前記所定の信号は、ボイス音源タイプに関するボイス信号のサンプルまたはループであり、及び/または前記所定の信号は、楽器音源タイプに関する楽器信号のサンプルまたはループである、請求項11に記載のオーディオ・ミキサー・システム(100)。
  13. 更に通信インターフェイス(160、170)を含み、前記コントローラー(110)は、前記信号経路の前記設定に基づき情報を、前記通信インターフェイス(160、170)を介して、外部装置(310、320、330、900)に送るように構成された、前記請求項の1つに記載のオーディオ・ミキサー・システム(100)。
  14. 前記オーディオ・ミキサー・システム(100)に接続可能な外部装置(210、220、410,420、510、520、530、610、620、710、720、730)を検出し、少なくとも1つの前記外部装置(210、220、610、620、710、720、730)から受信できるオーディオ信号の音源タイプの認識を開始し、前記オーディオ・ミキサー・システム(100)のオーディオ・インターフェイスの入力から、前記オーディオ・ミキサー・システム(100)の信号処理(150、159、190)を介して、前記認識された音源タイプに基づき前記オーディオ・インターフェイス(160、170)の出力に至る前記外部装置(210、220、610、620、710、720、730)の前記オーディオ信号の信号経路を設定する、オーディオ・ミキサー・システム(100)の方法。
JP2016513255A 2013-05-17 2014-05-19 オーディオ・ミキサー・システム Active JP6453314B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13002611 2013-05-17
EP13002611.5 2013-05-17
PCT/EP2014/001349 WO2014183879A1 (en) 2013-05-17 2014-05-19 Audio mixer system

Publications (2)

Publication Number Publication Date
JP2016521925A true JP2016521925A (ja) 2016-07-25
JP6453314B2 JP6453314B2 (ja) 2019-01-16

Family

ID=48520656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016513255A Active JP6453314B2 (ja) 2013-05-17 2014-05-19 オーディオ・ミキサー・システム

Country Status (5)

Country Link
US (1) US9952826B2 (ja)
EP (1) EP2997681A1 (ja)
JP (1) JP6453314B2 (ja)
CN (1) CN105229947A (ja)
WO (1) WO2014183879A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835369B1 (ko) 2017-12-28 2018-04-19 (주)청음미디어 개인 청중 맞춤형 다중이용시설 음향시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9985676B2 (en) * 2015-06-05 2018-05-29 Braven, Lc Multi-channel mixing console
EP3209033B1 (en) 2016-02-19 2019-12-11 Nokia Technologies Oy Controlling audio rendering
CN106993242A (zh) * 2017-04-03 2017-07-28 张德明 一种乐器演绎麦克风系统
WO2018226419A1 (en) * 2017-06-07 2018-12-13 iZotope, Inc. Systems and methods for automatically generating enhanced audio output
KR20200116250A (ko) 2019-04-01 2020-10-12 삼성전자주식회사 오디오 신호 송수신 방법 및 이를 수행하는 전자 장치
AU2020253755A1 (en) 2019-04-05 2021-11-04 Tls Corp. Distributed audio mixing
JP7388061B2 (ja) 2019-09-03 2023-11-29 ヤマハ株式会社 音信号処理方法、音信号処理システム、およびプログラム
JP2021125760A (ja) * 2020-02-04 2021-08-30 ヤマハ株式会社 オーディオ信号処理装置、オーディオシステム及びオーディオ信号処理方法
GB2595222A (en) * 2020-05-18 2021-11-24 Waves Audio Ltd Digital audio workstation with audio processing recommendations
WO2021259725A1 (en) * 2020-06-22 2021-12-30 Dolby International Ab System for automated multitrack mixing
US11929098B1 (en) * 2021-01-20 2024-03-12 John Edward Gillespie Automated AI and template-based audio record mixing system and process
CN113490114A (zh) * 2021-07-28 2021-10-08 恩平市恩宝电子有限公司 一种无线传声器智能矩阵控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087765A (ja) * 2008-09-30 2010-04-15 Yamaha Corp 音声信号処理装置
US20110075851A1 (en) * 2009-09-28 2011-03-31 Leboeuf Jay Automatic labeling and control of audio algorithms by audio recognition

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4186229B2 (ja) * 2005-03-17 2008-11-26 ヤマハ株式会社 音響調整卓
US7697947B2 (en) * 2005-10-05 2010-04-13 Sony Ericsson Mobile Communications Ab Method of combining audio signals in a wireless communication device
DE602008005123D1 (de) 2008-06-19 2011-04-07 Harman Becker Automotive Sys Tonmischkonsole
CN101983513B (zh) * 2008-07-30 2014-08-27 雅马哈株式会社 音频信号处理装置、音频信号处理系统以及音频信号处理方法
WO2011161487A1 (en) * 2010-06-21 2011-12-29 Nokia Corporation Apparatus, method and computer program for adjustable noise cancellation
EP2506464A1 (en) 2011-03-30 2012-10-03 Harman International Industries Ltd. Audio processing apparatus and method of outputting status information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087765A (ja) * 2008-09-30 2010-04-15 Yamaha Corp 音声信号処理装置
US20110075851A1 (en) * 2009-09-28 2011-03-31 Leboeuf Jay Automatic labeling and control of audio algorithms by audio recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835369B1 (ko) 2017-12-28 2018-04-19 (주)청음미디어 개인 청중 맞춤형 다중이용시설 음향시스템

Also Published As

Publication number Publication date
CN105229947A (zh) 2016-01-06
US20160371051A1 (en) 2016-12-22
JP6453314B2 (ja) 2019-01-16
WO2014183879A1 (en) 2014-11-20
US9952826B2 (en) 2018-04-24
EP2997681A1 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP6453314B2 (ja) オーディオ・ミキサー・システム
CN109478400B (zh) 现场音乐表演的多媒体内容的基于网络的处理及分布
US11915725B2 (en) Post-processing of audio recordings
US20180176705A1 (en) Wireless exchange of data between devices in live events
JP2020003537A5 (ja) オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム
US20100223552A1 (en) Playback Device For Generating Sound Events
CN105850154A (zh) 基于检测到的环境声音来调整音频
US9117429B2 (en) Input interface for generating control signals by acoustic gestures
CN110211556B (zh) 音乐文件的处理方法、装置、终端及存储介质
US11653167B2 (en) Audio generation system and method
WO2017057530A1 (ja) 音響処理装置及び音響処理方法
US20210055796A1 (en) Tactile audio enhancement
US11611840B2 (en) Three-dimensional audio systems
US20170372697A1 (en) Systems and methods for rule-based user control of audio rendering
US20220383842A1 (en) Estimation model construction method, performance analysis method, estimation model construction device, and performance analysis device
Luizard et al. Singing in physical and virtual environments: how performers adapt to room acoustical conditions
Williams I’m not hearing what you’re hearing: The conflict and connection of headphone mixes and multiple audioscapes
KR101400258B1 (ko) 음성 인식을 이용한 이미지 표시 방법
CN113744721A (zh) 模型训练方法、音频处理方法、设备及可读存储介质
Braasch et al. CAIRA-a Creative Artificially-Intuitive and Reasoning Agent as conductor of telematic music improvisations
Domínguez A study of musicians’ room acoustics conditions
KR20240093766A (ko) 디지털 오디오 파일에 대해 톤 호환이 가능하고 동기화된 신경 비트 생성
CN116935817A (zh) 音乐编辑方法、装置、电子设备和计算机可读存储介质
WO2023235676A1 (en) Enhanced music delivery system with metadata
KR20240086249A (ko) 보컬 모듈 방식이 도입된 음향시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181212

R150 Certificate of patent or registration of utility model

Ref document number: 6453314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250