JP6220236B2 - Sound image display device, sound image display system, and sound image display method - Google Patents
Sound image display device, sound image display system, and sound image display method Download PDFInfo
- Publication number
- JP6220236B2 JP6220236B2 JP2013233284A JP2013233284A JP6220236B2 JP 6220236 B2 JP6220236 B2 JP 6220236B2 JP 2013233284 A JP2013233284 A JP 2013233284A JP 2013233284 A JP2013233284 A JP 2013233284A JP 6220236 B2 JP6220236 B2 JP 6220236B2
- Authority
- JP
- Japan
- Prior art keywords
- channels
- sound
- data
- curve
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
本発明は、音像表示装置、音像表示システム、および音像表示方法に関するものである。より詳細には、本発明は、複数チャンネルの音声をサラウンド再生する際の音像を視覚的に表示する描画データを出力する音像表示装置、このような音像を表示する音像表示システム、および、そのような音像表示装置の音像表示方法に関するものである。 The present invention relates to a sound image display device, a sound image display system, and a sound image display method. More specifically, the present invention relates to a sound image display device that outputs drawing data for visually displaying a sound image when surround sound of a plurality of channels is reproduced, a sound image display system that displays such a sound image, and such The present invention relates to a sound image display method for a simple sound image display device.
従来、ステレオ音声の再生においては、オーディオレベルメータ等を使用して、Ｌ／Ｒ信号それぞれに基づく各チャンネルの音声のレベル管理を行っている。また、位相メータを使用してチャンネル間の位相監視を行うことにより、音の広がりを監視したり、音が逆相になっていないか等を判定したりしている。 Conventionally, in stereo sound reproduction, an audio level meter or the like is used to manage the sound level of each channel based on each L / R signal. In addition, by using a phase meter to monitor the phase between channels, the spread of sound is monitored, and it is determined whether the sound is out of phase or the like.
一方、音声のサラウンド再生においては、上述したような各チャンネルの音声のレベル管理、およびチャンネル間の位相監視を行うことに加え、さらに、平面空間への音の広がり（音像）についても管理する必要がある。 On the other hand, in audio surround playback, in addition to performing audio level management of each channel as described above and phase monitoring between channels, it is also necessary to manage the spread of sound (sound image) into a planar space. There is.
しかしながら、音声をサラウンド再生する際の多種多様な情報を収集するために、様々なツールを使用して監視しようとすると、複雑な構成の機器類が必要になる。また、このような情報は、音声の再生に伴って、リアルタイムで動的に監視できるようにするのが望ましい。そこで、このような多種多様な情報を集約するのみならず、視覚に訴える表現により直感的に把握することを可能にする計測ツールがあれば、極めて利便性が高い。 However, in order to collect a wide variety of information when sound is reproduced in surround, monitoring with various tools requires a complicated configuration of equipment. In addition, it is desirable that such information can be dynamically monitored in real time as the audio is reproduced. Therefore, if there is a measurement tool that not only aggregates such a wide variety of information but also makes it possible to grasp intuitively by visually appealing expressions, it is extremely convenient.
したがって、本発明の目的は、サラウンド再生のように複数チャンネルで再生される音声の音像を視覚的に表現することができる音像表示装置、音像表示システム、および音像表示方法を提供することにある。 Accordingly, an object of the present invention is to provide a sound image display device, a sound image display system, and a sound image display method capable of visually expressing a sound image of sound reproduced by a plurality of channels like surround reproduction.
上記目的を達成する第１の観点に係る音像表示装置の発明は、
複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出し、当該逆相成分の比率に応じて曲率を変化させた曲線であって当該逆相成分の比率に応じた色の曲線を描画する描画データを出力することを特徴とする。
The invention of the sound image display device according to the first aspect of achieving the above object,
Based on the audio data of two channels among a plurality of channels, a curve is obtained by calculating the ratio of the reverse phase component of the sound between the two channels and changing the curvature according to the ratio of the negative phase component. Drawing data for drawing a curve of a color corresponding to the ratio of the reverse phase component is output.
また、前記２つのチャンネルの音声データに基づいて、当該２つのチャンネルそれぞれにおける音声のレベルを検出し、当該音声のレベルおよび前記逆相成分の比率に応じて曲率を変化させた前記曲線を描画する描画データを出力してもよい。 Further, based on the sound data of the two channels, the sound level in each of the two channels is detected, and the curve in which the curvature is changed according to the sound level and the ratio of the antiphase component is drawn. Drawing data may be output.
また、前記２つのチャンネルの音声データに基づいて、当該２つのチャンネルそれぞれにおける音声レベルを検出し、当該２つのチャンネルそれぞれにおける音声レベルを表す線分の長さに対応する２つの座標を両端の点とし、前記逆相成分の比率に対応する座標を制御点とする２次ベジェ曲線を描画する描画データを出力してもよい。 Also, based on the audio data of the two channels, the audio level in each of the two channels is detected, and two coordinates corresponding to the length of a line segment representing the audio level in each of the two channels are displayed at both ends. And drawing data for drawing a quadratic Bezier curve having a coordinate corresponding to the ratio of the anti-phase component as a control point may be output.
また、前記２つのチャンネル間における音声の逆相成分の比率が所定の閾値以上または所定の閾値以下である時は、所定の色の前記曲線を描画する描画データを出力してもよい。 In addition, when the ratio of the reverse phase component of the audio between the two channels is equal to or higher than a predetermined threshold value or lower than the predetermined threshold value, drawing data for drawing the curve of a predetermined color may be output.
また、前記２つのチャンネル間における音声の逆相成分の比率が、完全に同相と完全に逆相との間における第２の範囲内にある時は、前記逆相成分の比率に応じて所定の色の間で徐々に変化する色の前記曲線を描画する描画データを出力してもよい。 Further, when the ratio of the reverse phase component of the audio between the two channels is within the second range between the completely in phase and the completely reverse phase, a predetermined value is set according to the ratio of the reverse phase component. You may output the drawing data which draws the said curve of the color which changes gradually between colors.
また、前記複数のチャンネルのうち低域効果音用チャンネルの音声データに基づいて、当該低域効果音用チャンネルにおける音声のレベルを検出し、当該音声のレベルに応じて半径および色の少なくとも一方を変化させた円形を描画する描画データをさらに出力してもよい。 Further, based on the audio data of the low-frequency effect sound channel among the plurality of channels, the audio level in the low-frequency effect sound channel is detected, and at least one of the radius and the color is determined according to the audio level. The drawing data for drawing the changed circle may be further output.
上記目的を達成する第２の観点に係る音像表示システムの発明は、
複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出し、当該逆相成分の比率に応じて曲率を変化させた曲線であって当該逆相成分の比率に応じた色の曲線を描画する描画データを出力する制御部と、
前記制御部により出力された描画データに基づく曲線を表示する表示部と、
を備えることを特徴とする。
The invention of the sound image display system according to the second aspect of achieving the above object,
Based on the audio data of two channels among a plurality of channels, a curve is obtained by calculating the ratio of the reverse phase component of the sound between the two channels and changing the curvature according to the ratio of the negative phase component. A control unit that outputs drawing data for drawing a color curve according to the ratio of the reversed-phase component;
A display unit for displaying a curve based on the drawing data output by the control unit;
It is characterized by providing.
上記目的を達成する第３の観点に係る音像表示装置の音像表示方法の発明は、
複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出するステップと、
前記逆相成分の比率に応じて曲率を変化させた曲線であって当該逆相成分の比率に応じて変化させた色の曲線を描画する描画データを出力するステップと、
を含むことを特徴とする。
The invention of the sound image display method of the sound image display device according to the third aspect of achieving the above object,
Calculating the ratio of the reverse phase component of the sound between the two channels based on the sound data of two channels of the plurality of channels;
A step of outputting drawing data for drawing a curve in which the curvature is changed according to the ratio of the reverse phase component and the color is changed according to the ratio of the reverse phase component;
It is characterized by including.
本発明によれば、サラウンド再生のように複数チャンネルで再生される音声の音像を視覚的に表現することができる音像表示装置、音像表示システム、および音像表示方法を提供することができる。 According to the present invention, it is possible to provide a sound image display device, a sound image display system, and a sound image display method that can visually represent a sound image of sound reproduced by a plurality of channels like surround reproduction.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る音像表示装置およびシステムの概略構成を説明する機能ブロック図である。 FIG. 1 is a functional block diagram illustrating a schematic configuration of a sound image display apparatus and system according to an embodiment of the present invention.
図１に示すように、本実施形態に係る音像表示装置１は、制御部１０、および記憶部２０を備えている。制御部１０は、複数のチャンネルの音声データが入力されると、当該音声データに対応する描画データを出力する。また、制御部１０から出力された描画データは、表示部３０に表示することができる。
As shown in FIG. 1, the sound
以下、制御部１０および記憶部２０を含んで本発明に係る音像表示装置１を構成し、さらに表示部３０を含んで本発明に係る音像表示システムを構成するものとして説明する。しかしながら、本発明はこのような実施形態に限定されるものではなく、例えば音像表示装置１が自ら表示部を有するような構成としてもよい。
Hereinafter, description will be made assuming that the sound
制御部１０は、例えばプロセッサまたはマイコンなどの任意の処理装置を含んで構成することができる。本実施形態において、制御部１０は、各種のデータの入力に基づいて、当該データを解析したり、各種の演算処理を施したりする。制御部１０は、このような演算処理の結果を、２次元空間上に描画する描画データとして出力することができる。また、制御部１０は、必要に応じて各種の解析結果を記憶部２０に記憶させたり、必要に応じて記憶部２０に記憶された各種情報を読み出したりすることができる。
The
記憶部２０は、任意のメモリ装置を含んで構成することができる。記憶部２０は、制御部１０が上述したようなデータ解析および各種の演算処理などを行う際のアルゴリズム、およびルックアップテーブル（ＬＵＴ）のような各種の参照テーブルなども記憶する。
The
表示部３０は、例えばＬＣＤまたは有機ＥＬディスプレイなどの任意の表示装置により構成することができる。表示部３０は、描画データが入力されると、その表示画面に描画データに基づく表示を行う。この描画データは、表示部３０の仕様に応じて、任意の規格のアナログまたはデジタルの出力とすることができる。本実施形態においては、音像を視覚的に把握容易にするような表示を行うため、表示部３０はカラー表示可能であることが望ましい。しかしながら、例えばグレースケールなど単色を諧調表示することにより、カラー表示の代用とすることもできる。以下の説明においては、表示部３０は、少なくともいくつかの色を用いたカラー表示を行うことができるものとする。
The
本実施形態に係る音像表示装置１は、複数のチャンネルの音声データの入力に基づいて、当該音声データに対応する描画データを出力する。ここで、音像表示装置１が扱う音声データの複数のチャンネル数は特に限定されるものではなく、任意の複数のチャンネルとすることができる。以下の説明においては、例として、一般的に用いられる５．１ｃｈサラウンドの場合について述べる。
The sound
すなわち、以下の説明で用いる５．１ｃｈの音声データを再生する際には、次のような基本システムを用いて再生することを想定する。
まず、聴く人の位置（リスニングポジション（Ｏ））を中心として、リスニングポジションの前方正面の中央にセンタースピーカ（Ｃ）を配置する。
次に、前方正面から左３０°の位置に左フロントスピーカ（Ｌ）を、また前方正面から右３０°の位置に右フロントスピーカ（Ｒ）を配置する。
さらに、センタースピーカより左１１０°方向に左サラウンドスピーカ（Ｌｓ）を、またセンタースピーカより右１１０°方向に右サラウンドスピーカ（Ｒｓ）を配置する。
これに低音域専用のサブウーファ（ＬＦＥ）を加える。
That is, it is assumed that 5.1 ch audio data used in the following description is reproduced using the following basic system.
First, the center speaker (C) is arranged in the center of the front front of the listening position with the listener's position (listening position (O)) as the center.
Next, the left front speaker (L) is arranged at a
Further, a left surround speaker (Ls) is arranged in the direction of 110 ° to the left of the center speaker, and a right surround speaker (Rs) is arranged in the direction of 110 ° to the right of the center speaker.
A subwoofer (LFE) dedicated to the low range is added to this.
次に、本実施形態に係る音像表示装置１において、音声データの入力に基づいて、描画データを出力する際の処理について説明する。
Next, in the sound
まず、５．１ｃｈの各チャンネルのレベルを検出することにより、各チャンネルのレベルをオーディオレベルバーとして描画する描画データを出力する際の処理について説明する。 First, a process for outputting drawing data for drawing the level of each channel as an audio level bar by detecting the level of each channel of 5.1ch will be described.
図２は、各チャンネルにおける音声のレベル検出処理から座標変換処理までを説明する図である。 FIG. 2 is a diagram for explaining the audio level detection process to the coordinate conversion process in each channel.
図２に示す処理が開始すると、制御部１０は、音像表示装置１に入力された音声データに基づいて、当該音声データが再生されるチャンネルの音声のレベルを検出する（ステップＳ１１）。ステップＳ１１においては、制御部１０は、入力される音声データのビット深度を２４ｂｉｔの数値として、各チャンネルごとにレベルを検出する。このため、５．１ｃｈの音声データにおいては、上述したＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，ＬＦＥの各スピーカによって再生されるそれぞれのチャンネルについて、図２に示す処理を行う。
When the process shown in FIG. 2 starts, the
ステップＳ１１では、制御部１０は、例えば、音声サンプリングレートを４８ｋＨｚとし、その音声サンプル数（パラメータＮ）を１６３８４として、以下の式（１）に示すような二乗平均平方根を用いた数値処理を行うものとする。式（１）においては、あるチャンネルの２４ｂｉｔの音声データをｘとして示してある。したがって、ｘｉは、パラメータＮを総数とする各サンプルにおける２４ｂｉｔの値を表す。制御部１０は、このようにしてレベルを検出した結果を、２３ｂｉｔのデータとして出力するものとする。
In step S11, for example, the
ステップＳ１１において各チャンネルにおける音声のレベルが検出されたら、制御部１０は、当該レベルをｄＢ値に変換する（ステップＳ１２）。ステップＳ１２においては、制御部１０は、例えば以下の式（２）に基づいて、２３ｂｉｔのデータを０．０〜−８０．０ｄＢの値に変換することができる。なお、式（２）においては、ステップＳ１１において得られた２３ｂｉｔの値をｘとして示してある。
２０＊ｌｏｇ１０（ｘ／８３８８６０７） （２）
When the audio level in each channel is detected in step S11, the
20 * log 10 (x / 8388607) (2)
ステップＳ１２において音声レベルがｄＢ値に変換されたら、制御部１０は、この値をＸＹ平面において各チャンネルに対応する座標に変換する（ステップＳ１３）。本実施形態においては、各チャンネルにおける音声を再生するスピーカが配置される位置と、当該チャンネルにおける音声のレベルとの対応関係を、一見して把握し易いように表示部３０に表示する。このため、表示部３０に表示されるＸＹ平面と、リスニングポジションをとり囲むスピーカの配置とを対応させる。すなわち、上述したＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓの各スピーカの配置される位置を、表示部３０に表示されるＸＹ平面上の位置に対応させる。この際、例えば、表示部３０に表示されるＸＹ平面上の原点Ｏにリスニングポジションを対応させることができる。
When the sound level is converted into a dB value in step S12, the
このようして、本実施形態においては、各チャンネルにおける音声のレベルが、表示部３０においてスピーカが配置される方向を示すそれぞれの軸の長さが表すようにする。このため、ステップＳ１３において、制御部１０は、ステップＳ１２において算出されたｄＢ値が、表示部３０において対応するスピーカの配置される方向を示す線分の原点からの長さを表すように、線分の終点の座標を算出する。
Thus, in the present embodiment, the audio level in each channel is represented by the length of each axis indicating the direction in which the speaker is arranged in the
図３は、各チャンネルにおける音声のレベル検出処理から座標変換処理までの結果を例示する図である。 FIG. 3 is a diagram illustrating the results from the sound level detection process to the coordinate conversion process in each channel.
図３（Ａ）に示すように、ステップＳ１３において、制御部１０は、センタースピーカが再生する音声のレベル（ｄＢ値）が線分ＯＣの長さに対応するように、座標Ｃを求める。
また、図３（Ｂ）に示すように、制御部１０は、左フロントスピーカが再生する音声のレベルが線分ＯＬの長さに対応するように、座標Ｌを求める。
また、図３（Ｃ）に示すように、制御部１０は、右フロントスピーカが再生する音声のレベルが線分ＯＲの長さに対応するように、座標Ｒを求める。
また、図３（Ｄ）に示すように、制御部１０は、左サラウンドスピーカが再生する音声のレベルが線分ＯＬｓの長さに対応するように、座標Ｌｓを求める。
また、図３（Ｅ）に示すように、制御部１０は、右サラウンドスピーカが再生する音声のレベルが線分ＯＲｓの長さに対応するように、座標Ｒｓを求める。
As shown in FIG. 3A, in step S13, the
Further, as shown in FIG. 3B, the
Further, as shown in FIG. 3C, the
Further, as illustrated in FIG. 3D, the
Further, as shown in FIG. 3E, the
また、低音域専用のサブウーファは無指向性であるため、本実施形態において、サブウーファはが再生する音声のレベルは、表示部３０においてリスニングポジションを中心とする円形の大きさによって表すようにする。このため、図３（Ｆ）に示すように、ステップＳ１３において、制御部１０は、サブウーファが再生する音声のレベルが円形の半径に対応するように、座標ＬＦＥを求める。
In addition, since the subwoofer dedicated to the low sound range is omnidirectional, in the present embodiment, the sound level reproduced by the subwoofer is represented by the size of a circle around the listening position on the
このように、ステップＳ１３において各チャンネルに対応する座標データ（ＬＦＥの場合は円の半径のデータ）が求まると、制御部１０は、各チャンネルのレベルを表す描画データを生成して出力することができる。このようにして出力された描画データに基づいて、表示部３０は、各チャンネルのレベルを、各チャンネルの音声を再生するスピーカの方向に対応したオーディオレベルメータとして表示することができる。
Thus, when coordinate data corresponding to each channel (in the case of LFE, circle radius data) is obtained in step S13, the
図４は、各チャンネルにおける音声のレベル検出処理から座標変換処理までの結果を合成した図である。図４においては、上述したＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，ＬＦＥの各スピーカによって再生されるそれぞれのチャンネルについて図２に示す処理を行った結果を全て合成して示してある。なお、ＬＦＥのレベルを表す円形の図形は、その円周のみを表示するようにしてもよいし、円周の内部も含めて円盤全体として表示してもよい。しかしながら、円盤全体として表示する場合、他のチャンネルのレベル表示などが見にくくなるのを防ぐため、例えば半透明の色で他の表示が透過するように表示するのが好適である。このように各チャンネルにおける音声のレベルを表示することにより、各チャンネルにおける音声を再生するスピーカが配置される位置と、当該チャンネルにおける音声のレベルとの対応関係を、一見して容易に把握することができる。このように各チャンネルにおける音声のレベルを表示することで、例えば各チャンネルのピークレベルと当該チャンネルの音声が出力されるスピーカの位置との対応関係を、視覚的に容易に把握することができる。 FIG. 4 is a diagram in which the results from the audio level detection process to the coordinate conversion process in each channel are synthesized. In FIG. 4, the results of performing the processing shown in FIG. 2 for each channel reproduced by each of the above-described C, L, R, Ls, Rs, and LFE speakers are combined and shown. Note that the circular graphic representing the LFE level may be displayed only on the circumference of the circle, or may be displayed as the entire disk including the inside of the circumference. However, when displaying the whole disk, in order to prevent the level display of other channels from being difficult to see, for example, it is preferable to display the other display in a translucent color. By displaying the sound level in each channel in this way, it is possible to easily grasp at a glance the correspondence between the position where the speaker for reproducing the sound in each channel is arranged and the sound level in the channel. Can do. By displaying the audio level in each channel in this way, for example, the correspondence between the peak level of each channel and the position of the speaker from which the audio of that channel is output can be easily grasped visually.
図４に示すような表示を行う際に、あるチャンネルにおける音声のレベルが所定の閾値以上となるような場合、警告を示唆するような色（例えば赤色）に変化させて表示する描画データを出力してもよい。この場合、例えば図４に示す線分および／またはＬＦＥのレベルを示す円形の図形の一部または全部の色を変化させて表示することができる。 When the display as shown in FIG. 4 is performed, if the sound level in a certain channel is equal to or higher than a predetermined threshold, the drawing data to be displayed is changed to a color that suggests a warning (for example, red). May be. In this case, for example, it is possible to change and display the color of a part or all of the circular figure indicating the level of the line segment and / or LFE shown in FIG.
このように、本実施形態では、制御部１０は、複数のチャンネルのうち少なくとも１つの音声データに基づいて、当該少なくとも１つのチャンネルにおける音声のレベルを検出し、当該音声のレベルに応じて長さを変化させた線分を描画する描画データを出力する。
As described above, in the present embodiment, the
また、上述のように、制御部１０は、複数のチャンネルのうち低域効果音用チャンネルの音声データに基づいて、当該低域効果音用チャンネルにおける音声のレベルを検出し、当該音声のレベルに応じて半径を変化させた円形を描画する描画データを出力する。この場合、制御部１０は、低域効果音用チャンネルにおける音声のレベルが所定の閾値以上である時は、当該音声のレベルに応じて変化させた色の前記円形を描画する描画データを出力してもよい。
Further, as described above, the
次に、５．１ｃｈのうち２つのチャンネルのレベルを検出することにより、２つのチャンネルにおける音声の相関関係に基づく曲線を描画する描画データを出力する際の処理について説明する。 Next, a process when outputting drawing data for drawing a curve based on the correlation of sound in two channels by detecting the level of two channels in 5.1ch will be described.
図５は、２つのチャンネルにおける音声の相関検出処理から描画データ出力処理までを説明する図である。 FIG. 5 is a diagram for explaining the process from the voice correlation detection process to the drawing data output process in two channels.
以下の説明においては、音声の相関検出処理から描画データ出力処理までを行う２つのチャンネルの音声データを、便宜上、「第１音声データ」および「第２音声データ」と記す。そして、例えば「Ｌ−Ｒ」のような表記は、図５に示す処理において、第１音声データをチャンネルＬの音声データとして、また第２音声データをチャンネルＲの音声データとして処理を行うことを意味する。このようにして、Ｌ−Ｒについて図５に示す処理を行うと、これらチャンネルＬおよびチャンネルＲの２つのチャンネル間における音声の逆相成分の比率に応じた曲線を描画する描画データを出力することができる。 In the following description, the audio data of two channels for performing the audio correlation detection process to the drawing data output process will be referred to as “first audio data” and “second audio data” for convenience. For example, a notation such as “LR” indicates that in the processing shown in FIG. 5, the first audio data is processed as channel L audio data and the second audio data is processed as channel R audio data. means. In this way, when the processing shown in FIG. 5 is performed on LR, drawing data for drawing a curve corresponding to the ratio of the reverse phase component of the sound between the two channels L and R is output. Can do.
図５に示す処理が開始すると、制御部１０は、音像表示装置１に入力された音声データに基づいて、複数のチャンネルのうち２つのチャンネルの音声データの相関係数を算出する（ステップＳ２１）。ステップＳ２１においては、ステップＳ１１と同様に、入力される音声データのビット深度を２４ｂｉｔの数値とする。また、ステップＳ２１においては、複数のチャンネルのうち２つのチャンネルの音声データの相関係数を算出する。このため、５．１ｃｈの音声データにおいては、Ｌ−Ｒ，Ｃ−Ｌ，Ｃ−Ｒ，Ｌ−Ｌｓ，Ｒ−Ｒｓ，Ｌｓ−Ｒｓのように、２つのチャンネルについて、それぞれ図５に示す処理を行う。ここで、複数のチャンネルのうち２つのチャンネルとは、スピーカが配置される位置において隣接する２つのチャンネルとするのが好適であるが、例えばＣを無視してＬ−Ｒの相関を求める場合のように、隣接する２つのチャンネルにはならない場合もある。
When the processing shown in FIG. 5 starts, the
ステップＳ２１では、制御部１０は、例えば、パラメータｎを２０４８として、以下の式（３）に示すような相関計算式を用いた数式処理を行うものとする。式（３）においては、第１音声データ（２４ｂｉｔ）をｘとして示し、第２音声データ（２４ｂｉｔ）をｙとして示してある。したがって、ｘｉ，ｙｉは、それぞれ、パラメータｎを総数とする各サンプルにおける２４ｂｉｔの値を表す。制御部１０は、このようにして算出した結果を、−１〜＋１の範囲の相関係数として出力するものとする。
In step S <b> 21, for example, the
本実施形態において、制御部１０が出力する描画データが描画する曲線は２次ベジェ曲線（Bezier Curve）とする。そこで、ステップＳ２１において２つのチャンネルにおける相関係数が算出されたら、制御部１０は、以下の式（４）を用いて、当該相関係数から、出力する描画データに基づいて描画される曲線の曲げ係数を算出する（ステップＳ２２）。
１２８×（相関係数＋１）×（補正値） （４）
In the present embodiment, the curve drawn by the drawing data output by the
128 × (correlation coefficient + 1) × (correction value) (4)
ここで、上記（補正値）とは、例えば、Ｌ−Ｒ，Ｌ−Ｃ，Ｒ−Ｃの変換においては０．８３とし、Ｌ−Ｌｓ，Ｒ−Ｒｓの変換においては０．９０とし、Ｌｓ−Ｒｓの変換においては０．６８とするのが好適である。この補正値を乗じることにより、描画されるベジェ曲線は、ステップＳ２１で算出した相関係数がゼロの時、近似円になる。また、ハードウェアに実装する際に整数化する必要があるため、式（４）に示すように値を１２８倍して８ｂｉｔ化するのが好適である。このようにして、制御部１０は、ステップＳ２２で算出した結果を８ｂｉｔのデータとして出力する。
Here, the above (correction value) is, for example, 0.83 in the conversion of LR, LC, RC, 0.90 in the conversion of L-Ls, R-Rs, and Ls In the conversion of -Rs, 0.68 is preferable. By multiplying this correction value, the drawn Bezier curve becomes an approximate circle when the correlation coefficient calculated in step S21 is zero. Further, since it is necessary to convert to an integer when mounted on hardware, it is preferable to multiply the value by 128 to 8 bits as shown in Equation (4). In this way, the
ステップＳ２２において曲げ係数が算出されたら、制御部１０は、当該曲げ係数ならびに第１および第２音声データの座標に基づいて、ベジェ曲線を生成する（ステップＳ２３）。
When the bending coefficient is calculated in step S22, the
ステップＳ２３においては、制御部１０は、３点の座標に基づいて、２次ベジェ曲線を生成する。ここで、２点の座標として、第１音声データおよび第２音声データから算出した座標データを用いる。この２点の座標データは、図２に示した処理に従って、第１音声データおよび第２音声データから求めたそれぞれの座標データを用いることができる。
In step S23, the
本実施形態では、これら２点の座標データの他に、上述した曲げ曲線に基づく１点の制御点を用いて、２次ベジェ曲線を生成する。この制御点をＱ（ｘ３，ｙ３）とすると、例えば以下のようにして２次ベジェ曲線を生成することができる。 In the present embodiment, a secondary Bezier curve is generated using one control point based on the above-described bending curve in addition to the coordinate data of these two points. When this control point is Q (x3, y3), for example, a quadratic Bezier curve can be generated as follows.
ＸＹ座標平面上に、原点Ｏ（０，０）、第１音声データから求めた座標Ａ（ｘ１，ｙ１）、および第２音声データから求めた座標Ｂ（ｘ２，ｙ２）を規定する。また、Ａ（ｘ１，ｙ１）とＢ（ｘ２，ｙ２）との中点をＭ（Ｘｍ，Ｙｍ）とし、前述の相関係数（−１〜＋１）をｋとする。ここで、ｋ＝０の時に、Ｑを制御点として点Ａ，Ｂを通るベジェ曲線は近似円となり、−１＜ｋ＜０のときベジェ曲線の曲率が大きくなり、０＜ｋ＜＋１のときベジェ曲線の曲率が小さくなり、ｋ＝＋１のときベジェ曲線はＡＢを結ぶ線分となる。 On the XY coordinate plane, an origin O (0, 0), coordinates A (x1, y1) obtained from the first audio data, and coordinates B (x2, y2) obtained from the second audio data are defined. Further, the midpoint between A (x1, y1) and B (x2, y2) is M (Xm, Ym), and the correlation coefficient (−1 to +1) is k. Here, when k = 0, the Bezier curve passing through points A and B with Q as the control point is an approximate circle. When −1 <k <0, the curvature of the Bezier curve increases, and when 0 <k <+1. The curvature of the Bezier curve becomes small, and when k = + 1, the Bezier curve is a line segment connecting AB.
制御点Ｑの座標（ｘ３，ｙ３）は、Ｍ（Ｘｍ，Ｙｍ）を基準にして、以下の式（５）のように求めることができる。ただし、（Ｘ＊，Ｙ＊）は、線分ＡＢに垂直な方向ベクトルを意味する。
（ｘ３，ｙ３）＝（Ｘｍ，Ｙｍ）＋ｋ（Ｘ＊，Ｙ＊） （５）
The coordinates (x3, y3) of the control point Q can be obtained as in the following equation (5) with M (Xm, Ym) as a reference. However, (X *, Y *) means a direction vector perpendicular to the line segment AB.
(X3, y3) = (Xm, Ym) + k (X *, Y *) (5)
式（５）においてｋ＝０とき、（Ｘ＊，Ｙ＊）はＡ，Ｂによって一意に決定する。なお、ｋ＝０のときに描画される近似円の精度は角ＡＯＢに依存して変化する。その整合性をとるため、上述した式（４）においては相関係数に補正値を乗じる。 In equation (5), when k = 0, (X *, Y *) is uniquely determined by A and B. Note that the accuracy of the approximate circle drawn when k = 0 changes depending on the angle AOB. In order to maintain this consistency, the correlation coefficient is multiplied by the correction value in the above-described equation (4).
ステップＳ２３においては、以上のようにして、Ａ（ｘ１，ｙ１）、Ｂ（ｘ２，ｙ２）、およびＱ（ｘ３，ｙ３）の３点の座標が算出されたら、制御部１０は、これら３点に基づく２次ベジェ曲線を生成する。この場合、ベジェ曲線の定義に基づいて点と点を結ぶ曲線を生成する。具体的には、値ｔ＝０〜１（ｔは１／１０２４ステップ）として、以下の式（６）および式（７）を用いて、ベジェ曲線を生成する。
ｘ＝ｘ（ｔ）＝ｔ＾２＊ｘ２＋２＊ｔ＊（１−ｔ）＊ｘ３＋（１−ｔ）＾２＊ｘ１ （６）
ｙ＝ｙ（ｔ）＝ｔ＾２＊ｙ２＋２＊ｔ＊（１−ｔ）＊ｙ３＋（１−ｔ）＾２＊ｘ１ （７）
In step S23, when the coordinates of the three points A (x1, y1), B (x2, y2), and Q (x3, y3) are calculated as described above, the
x = x (t) = t ^ 2 * x2 + 2 * t * (1-t) * x3 + (1-t) ^ 2 * x1 (6)
y = y (t) = t ^ 2 * y2 + 2 * t * (1-t) * y3 + (1-t) ^ 2 * x1 (7)
ステップ２３においてベジェ曲線が生成されたら、制御部１０は、生成された曲線をＸＹ平面上に表示する描画データを生成して（ステップＳ２４）出力する。ここで、生成された曲線をカラー表示するために、色データとともに描画データを生成して出力することになるが、曲線の着色については後述する。
When the Bezier curve is generated in
図６は、２つのチャンネルにおける音声の相関検出から描画データ出力までの結果を例示する図である。 FIG. 6 is a diagram exemplifying the results from the correlation detection of voice in two channels to the output of drawing data.
図６（Ａ）に示すように、ステップＳ２３において、制御部１０は、Ｌ−Ｒの２つのチャンネルについてベジェ曲線ＬＲを生成する。
また、図６（Ｂ）に示すように、制御部１０は、Ｃ−Ｌの２つのチャンネルについてベジェ曲線ＣＬを生成する。
また、図６（Ｃ）に示すように、制御部１０は、Ｃ−Ｒの２つのチャンネルについてベジェ曲線ＣＲを生成する。
また、図６（Ｄ）に示すように、制御部１０は、Ｌ−Ｌｓの２つのチャンネルについてベジェ曲線ＬＬｓを生成する。
また、図６（Ｅ）に示すように、制御部１０は、Ｒ−Ｒｓの２つのチャンネルについてベジェ曲線ＲＲｓを生成する。
また、図６（Ｆ）に示すように、制御部１０は、Ｌｓ−Ｒｓの２つのチャンネルについてベジェ曲線ＬｓＲｓを生成する。
As shown in FIG. 6A, in step S23, the
Further, as illustrated in FIG. 6B, the
Further, as illustrated in FIG. 6C, the
Further, as illustrated in FIG. 6D, the
Further, as illustrated in FIG. 6E, the
Further, as illustrated in FIG. 6F, the
図７は、２つのチャンネルにおける音声の相関検出から描画データ出力までの結果を合成した図である。図７においては、図６に示したようにＬ−Ｒ，Ｃ−Ｌ，Ｃ−Ｒ，Ｌ−Ｌｓ，Ｒ−Ｒｓ，Ｌｓ−Ｒｓのそれぞれ２つのチャンネルについて描画したベジェ曲線を全て合成して示してある。 FIG. 7 is a diagram in which results from audio correlation detection to drawing data output in two channels are combined. In FIG. 7, as shown in FIG. 6, all the Bezier curves drawn for each of two channels LR, CL, CR, L-Ls, R-Rs, and Ls-Rs are synthesized. It is shown.
図７において、曲線αは、Ｃ−Ｌ，Ｃ−Ｒ，Ｌ−Ｌｓ，Ｒ−Ｒｓ，Ｌｓ−Ｒｓのそれぞれ２つのチャンネルについて描画したベジェ曲線を全て合成して示してある。また、曲線βは、曲線αにおけるＣ−ＬおよびＣ−Ｒの代わりに、Ｌ−Ｒを用いて描画したベジェ曲線を全て合成したものである。例えば音楽を再生する際など、Ｃを含めて音像を表示する場合、Ｃ−ＬおよびＣ−Ｒを主として監視を行うため、曲線αのようなベジェ曲線を表示するのが好適である。一方、例えばドラマにて再生される音声などのように、Ｃには主としてセリフのみが含まれているような場合、Ｃを考慮せずに、Ｌ−Ｒを主として監視できるようにするため、曲線βのようなベジェ曲線を表示するのが好適である。 In FIG. 7, a curve α is shown by synthesizing all Bezier curves drawn for two channels of CL, CR, L-Ls, R-Rs, and Ls-Rs. The curve β is a combination of all Bezier curves drawn using LR instead of CL and CR in the curve α. For example, when displaying a sound image including C, such as when playing music, it is preferable to display a Bezier curve such as curve α in order to mainly monitor CL and CR. On the other hand, in the case where C mainly includes only words, such as voice played in a drama, for example, a curve is used so that LR can be mainly monitored without considering C. It is preferable to display a Bezier curve such as β.
図７に示すように、曲線αと曲線βとを同時に表示すると紛らわしくなることが懸念されるため、制御部１０は、曲線αまたは曲線βのいずれかを選択的に表示可能とする描画データを出力するのが好適である。また、制御部１０は、曲線αおよび曲線βを同時に表示する場合には、互いに曲線の太さ、色、線種、表示態様などを変化させることにより、互いに識別可能にして描画データを出力するのが好適である。
As shown in FIG. 7, since it is feared that the display of the curve α and the curve β at the same time is confusing, the
このように、本実施形態において、制御部１０は、複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出する。そして、制御部１０は、当該逆相成分の比率に応じて曲率を変化させた曲線を描画する描画データを出力する。また、上述したように、制御部１０は、前記２つのチャンネルの音声データに基づいて、当該２つのチャンネルそれぞれにおける音声のレベルを検出する。そして、制御部１０は、当該音声のレベルおよび前記逆相成分の比率に応じて曲率を変化させた前記曲線を描画する描画データを出力するのが好適である。この場合、制御部１０は、当該２つのチャンネルそれぞれにおける音声レベルを表す線分の長さに対応する２つの座標を両端の点とし、前記逆相成分の比率に対応する座標を制御点とする２次ベジェ曲線を描画する描画データを出力する。
As described above, in the present embodiment, the
次に、本実施形態に係る音像表示装置１が生成する曲線の着色について説明する。
Next, coloring of a curve generated by the sound
図８は、本実施形態に係る音像表示装置１が行う色データ変換処理を説明する図である。本実施形態においては、図６に示したような各部のベジェ曲線には、それぞれの相関係数に応じた色データを付した状態で、制御部１０から出力するのが好適である。以下、このように、ベジェ曲線に色データを付加する処理を説明する。
FIG. 8 is a diagram for explaining color data conversion processing performed by the sound
図５において説明したように、制御部１０は、ステップ２１において２つのチャンネルにおける音声の相関係数を算出した。本実施形態において、制御部１０は、このように算出された相関係数に基づいて色データを生成して（ステップＳ２５）、ステップＳ２３において生成された曲線を、ステップＳ２４において着色した描画データを生成して出力する。
As described with reference to FIG. 5, the
図５のステップ２１において説明したように、制御部１０は、−１〜＋１の範囲の相関係数を算出する。そこで、制御部１０は、当該相関係数に基づいて、図８（Ａ）に示すような色のデータを生成する（ステップＳ２５）。このようにステップＳ２５において相関係数に基づいて色データが生成されると、ステップＳ２３で生成された曲線は、当該色データに基づく着色が施されることになる。
As described in
図８（Ａ）に示す範囲＜Ａ＞のように、相関係数が−１付近となるとき、チャンネル間は完全な逆相に近くなる。この場合、制御部１０は、警告を示唆するような例えば赤色の色データを生成する。実際の音声の再生においては、チャンネル間が完全な逆相になることは想定し難いため、相関係数が−１に極近くなる範囲で曲線を赤色にするのが好適である。
As shown in the range <A> shown in FIG. 8A, when the correlation coefficient is in the vicinity of −1, the channels are nearly in reverse phase. In this case, the
また、図８（Ａ）に示す範囲＜Ｄ＞のように、相関係数が＋１付近となるとき、チャンネル間は完全な同相に近くなる。この場合、音の広がりがない状態を意味することになるが、音声表現によっては意図的にこのような音声の再生状態が望まれることもある。このため、相関係数が＋１付近である範囲＜Ｄ＞においては、制御部１０は、注意を促すために例えば青色の色データを生成する。また、この場合、範囲＜Ｄ＞は、上述した範囲＜Ａ＞よりは若干広い範囲とするのが好適である。
Also, as shown in the range <D> shown in FIG. 8A, when the correlation coefficient is near +1, the channels are nearly in phase. In this case, it means a state where there is no spread of sound, but depending on the speech expression, such a sound reproduction state may be intentionally desired. For this reason, in the range <D> where the correlation coefficient is near +1, the
また、図８（Ａ）に示す範囲＜Ｃ＞のように、相関係数が０付近から＋１付近までとなるとき、チャンネル間の逆相成分の比率は適度になる。したがって、この場合、制御部１０は、他の表示と特に区別のない標準的な色の色データを生成する。ここで、標準的な色とは、例えば黒色の画面においては白色とするなど、他の表示に比べて特に強調されることのないような色とするのが好適である。
Further, as shown in the range <C> shown in FIG. 8A, when the correlation coefficient is from near 0 to
また、図８（Ａ）に示す範囲＜Ｂ＞のように、相関係数が−１付近から０付近までとなるとき、チャンネル間の逆相成分の比率は比較的高めになる。したがって、この場合、制御部１０は、注意喚起のために、他の表示とは区別可能な色の色データを生成する。
Further, as in the range <B> shown in FIG. 8A, when the correlation coefficient is from about −1 to about 0, the ratio of the reverse phase components between the channels is relatively high. Therefore, in this case, the
範囲＜Ｂ＞においては、チャンネル間の逆相成分の比率および当該比率の変化を容易に視覚的に認識できるようにするため、制御部１０は、０付近から−１付近までの相関係数の値に応じて異なる色の色データを生成する。すなわち、本実施形態において、制御部１０は、相関係数が０付近から−１付近まで変化するにつれて青および赤の成分を減少させて、黄色がかった色から徐々に緑色に変化するような色データを出力する。したがって、本実施形態に係る音像表示装置１によれば、チャンネル間の逆相成分の比率および当該比率の変化を容易に視覚的に認識することを可能にする。図８（Ａ）においては、相関係数が０付近から−１付近まで変化するにつれて出力される色データが徐々に黄色がかった色から徐々に緑色になる様子を概略的に表している。
In the range <B>, in order to make it easy to visually recognize the ratio of the antiphase component between the channels and the change in the ratio, the
また、このように相関係数が変化するにつれて出力される色データを徐々に変化させる際、当該色の変化をリニアな変化としてしまうと人間の感覚にそぐわないものとなる。したがって、本実施形態では、制御部１０は、後述のように、ガンマカーブを変えることにより当該色の変化を調整する。
Further, when the color data to be output is gradually changed as the correlation coefficient changes in this way, if the color change is a linear change, it is not suitable for human senses. Therefore, in the present embodiment, the
以上のように相関係数から生成すべき色データを算出するには、以下のように規定したＬＵＴを用いることができる。以下、相関係数から生成すべき色データを算出するためのＬＵＴについて説明する。まず、以下のように規定する。
（１）相関係数＝−１．０のとき、Ｒ（赤）１００％、Ｇ（緑）０％、Ｂ（青）０％で固定する。
（２）相関係数＝−０．９〜０のとき、Ｇ（緑）１００％で固定する。
（３）相関係数＝０〜１．０のとき、Ｂ（青）１００％で固定する。
In order to calculate the color data to be generated from the correlation coefficient as described above, an LUT defined as follows can be used. Hereinafter, an LUT for calculating color data to be generated from the correlation coefficient will be described. First, it is defined as follows.
(1) When correlation coefficient = −1.0, R (red) is fixed at 100%, G (green) is 0%, and B (blue) is 0%.
(2) When correlation coefficient = −0.9 to 0, G (green) is fixed at 100%.
(3) When correlation coefficient = 0 to 1.0, B (blue) is fixed at 100%.
次に、以下のような各値を用意する。すなわち、
（１）閾値Ｇｐは、相関係数＝０〜１．０（０．１ステップ）のどこから緑色を減色させるかを設定する（本例では設定値＝０．９とする）。
（２）閾値Ｒｐは、相関係数＝０〜１．０（０．１ステップ）のどこから赤色を減色させるかを設定する（本例では設定値＝０．９とする）。
（３）設定値Ｇγｐは、上記緑色のガンマカーブ（０．０５ステップ）を設定する（本例では設定値＝３．００とする）。
（４）設定値Ｒγｐは、上記赤色のガンマカーブ（０．０５ステップ）を設定する（本例では設定値＝３．００とする）。
（５）閾値Ｂｎは、相関係数＝０〜−０．９（０．１ステップ）のどこから青色を減色させるかを設定する（本例では設定値＝０．０とする）。
（６）閾値Ｒｎは、相関係数＝０〜−０．９（０．１ステップ）のどこから赤色を減色させるかを設定する。（本例では設定値＝０．０とする）。
（７）設定値Ｂγｎは、上記青色のガンマカーブ（０．０５ステップ）を設定する（本例では設定値＝０．１０とする）。
（８）設定値Ｒγｎは、上記赤色のガンマカーブ（０．０５ステップ）を設定する（本例では設定値＝１．００とする）。
Next, the following values are prepared. That is,
(1) The threshold Gp is set from where the correlation coefficient = 0 to 1.0 (0.1 step) from which the green color is reduced (in this example, the setting value = 0.9).
(2) The threshold value Rp is set from where the correlation coefficient = 0 to 1.0 (0.1 step) to reduce the red color (in this example, set value = 0.9).
(3) The set value Gγp sets the green gamma curve (0.05 step) (set value = 3.00 in this example).
(4) As the set value Rγp, the red gamma curve (0.05 step) is set (in this example, set value = 3.00).
(5) The threshold value Bn is set from where correlation coefficient = 0 to −0.9 (0.1 step) from which blue is to be reduced (in this example, set value = 0.0).
(6) The threshold value Rn is set from where correlation coefficient = 0 to −0.9 (0.1 step) from which red is reduced. (In this example, set value = 0.0).
(7) The set value Bγn sets the blue gamma curve (0.05 step) (set value = 0.10 in this example).
(8) As the set value Rγn, the red gamma curve (0.05 step) is set (in this example, the set value = 1.00).
次に、上述のような規定に基づいて緑色（Ｇ）を算出する方法の例を説明する。
（１）相関係数＝−１．０〜−０．９のとき、
Ｇ＝２５５×（（１＋相関係数）／（１−０．９））とする。
（２）相関係数＝−０．９〜閾値Ｇｐ（本例では０．９）のとき、
Ｇ＝２５５とする。
（３）相関係数＝閾値Ｇｐ（本例では０．９）〜１．０、かつ、閾値Ｇｐ（本例では０．９）＜１．０のとき、
Ｇ＝２５５×（設定値Ｇγｐ（本例では３．００）を指数として（１−相関係数)／（１−閾値Ｇｐ（本例では０．９））を基数とした累乗）とする。
Next, an example of a method for calculating green (G) based on the above-described rules will be described.
(1) When the correlation coefficient is −1.0 to −0.9,
G = 255 × ((1 + correlation coefficient) / (1−0.9)).
(2) When correlation coefficient = −0.9 to threshold Gp (0.9 in this example),
Let G = 255.
(3) When correlation coefficient = threshold Gp (0.9 in this example) to 1.0 and threshold Gp (0.9 in this example) <1.0,
G = 255 × (the set value Gγp (3.00 in this example) is an exponent and (1−correlation coefficient) / (1−threshold Gp (0.9 in this example)) is a power of the base).
次に、上述のような規定に基づいて青色（Ｂ）を算出する方法の例を説明する。
（１）相関係数＝−１．０のとき、
Ｂ＝０とする。
（２）相関係数＝−０．９〜閾値Ｂｎ（本例では０．０）、かつ、閾値Ｂｎ（本例では０．０）＞−０．９のとき、
Ｂ＝２５５×（設定値Ｂγｎ（本例では０．１０）を指数として（１＋相関係数）／（１＋閾値Ｂｎ（本例では０．０））を基数とした累乗）とする。
（３）相関係数＝閾値Ｂｎ（本例では０．０）〜１．０のとき、
Ｂ＝２５５とする。
Next, an example of a method for calculating blue (B) based on the above-described rules will be described.
(1) When the correlation coefficient = −1.0,
Let B = 0.
(2) When correlation coefficient = −0.9 to threshold value Bn (0.0 in this example) and threshold value Bn (0.0 in this example)> − 0.9,
B = 255 × (the set value Bγn (0.10 in this example) is an exponent and (1 + correlation coefficient) / (1 + threshold Bn (0.0 in this example)) is a power of the base).
(3) When correlation coefficient = threshold value Bn (0.0 in this example) to 1.0,
Let B = 255.
次に、上述のような規定に基づいて赤色（Ｒ）を算出する方法の例を説明する。
（１）相関係数＝−１．０〜−０．９のとき、
Ｒ＝２５５−２５５×（（１＋相関係数）／（１−０．９））とする。
（２）相関係数＝−０．９〜閾値Ｒｎ（本例では０．０）、かつ、閾値Ｒｎ（本例では０．０）＞−０．９のとき、
Ｒ＝２５５×（設定値Ｒγｎ（本例で１．００）を指数として（１＋相関係数）／（１＋閾値Ｒｎ（本例では０．０））を基数とした累乗）とする。
（３）相関係数＝閾値Ｒｎ（本例では０．０）〜閾値Ｒｐ（本例では０．９）のとき、
Ｒ＝２５５とする。
（４）相関係数＝閾値Ｒｎ（本例では０．０）〜１．０、かつ、閾値Ｒｎ（本例では０．０）＜１．０のとき、
Ｒ＝２５５×（設定値Ｒγｐ（本例では３．００）を指数として（１−相関係数）／（１−閾値Ｒｐ（本例では０．９））を基数とした累乗）とする。
Next, an example of a method for calculating red (R) based on the above-described rules will be described.
(1) When the correlation coefficient is −1.0 to −0.9,
R = 255-255 × ((1 + correlation coefficient) / (1-0.9)).
(2) When correlation coefficient = −0.9 to threshold value Rn (0.0 in this example) and threshold value Rn (0.0 in this example)> − 0.9,
R = 255 × (the set value Rγn (1.00 in this example) is an exponent and (1 + correlation coefficient) / (1 + threshold Rn (0.0 in this example)) is a power of the base).
(3) When correlation coefficient = threshold value Rn (0.0 in this example) to threshold value Rp (0.9 in this example),
Let R = 255.
(4) When correlation coefficient = threshold value Rn (0.0 in this example) to 1.0 and threshold value Rn (0.0 in this example) <1.0,
R = 255 × (set value Rγp (3.00 in this example) is an exponent, and (1−correlation coefficient) / (1−threshold Rp (0.9 in this example)) is a power of the base).
以上説明したようなＬＵＴに従うことにより、制御部１０は、図５のステップＳ２５において、例えばＲＧＢ２４ｂｉｔの色データを生成して出力することができる。
By following the LUT as described above, the
図８（Ｂ）は、上述のようなＬＵＴに従って、相関係数と当該相関係数に基づいて出力される色データの緑色（Ｇ）成分との対応を示した図である。また、図８（Ｃ）は、上述のようなＬＵＴに従って、相関係数と当該相関係数に基づいて出力される色データの青色（Ｂ）成分との対応を示した図である。また、図８（Ｄ）は、上述のようなＬＵＴに従って、相関係数と当該相関係数に基づいて出力される色データの赤色（Ｒ）成分との対応を示した図である。 FIG. 8B is a diagram showing the correspondence between the correlation coefficient and the green (G) component of the color data output based on the correlation coefficient in accordance with the LUT as described above. FIG. 8C is a diagram showing the correspondence between the correlation coefficient and the blue (B) component of the color data output based on the correlation coefficient in accordance with the LUT as described above. FIG. 8D is a diagram showing the correspondence between the correlation coefficient and the red (R) component of the color data output based on the correlation coefficient in accordance with the LUT as described above.
図９は、２つのチャンネルにおける音声の相関検出および色データ生成に基づく描画の結果を例示する図である。 FIG. 9 is a diagram exemplifying a drawing result based on audio correlation detection and color data generation in two channels.
図５において説明したように、制御部１０は、ステップＳ２３において２つのチャンネルについてベジェ曲線を生成した（図６参照）。また、図５において説明したように、制御部１０は、ステップＳ２５において当該２つのチャンネルについてベジェ曲線の色データを生成した（図８参照）。このように、図５におけるステップＳ２３およびステップＳ２５に示した処理の結果、制御部１０は、図９に示すような曲率および色のベジェ曲線の描画データを生成して（ステップＳ２４）出力する。
As described in FIG. 5, the
図９は、図６（Ｃ）に示したようにＣ−Ｒの２つのチャンネルについて生成したベジェ曲線ＣＲの曲率および色を変更した例をいくつか示したものである。 FIG. 9 shows some examples in which the curvature and color of the Bezier curve CR generated for the two channels CR are changed as shown in FIG.
図９（Ａ）は、図８（Ａ）に示した相関係数が範囲＜Ａ＞のときに生成されるベジェ曲線ＣＲの曲率および色を示している。図９（Ａ）に示すように、相関係数が範囲＜Ａ＞のときには、通常の場合とは異なる色のベジェ曲線が生成されることになり、ユーザに警告を示唆することができる。 FIG. 9A shows the curvature and color of the Bezier curve CR generated when the correlation coefficient shown in FIG. 8A is in the range <A>. As shown in FIG. 9A, when the correlation coefficient is in the range <A>, a Bezier curve having a color different from the normal case is generated, and a warning can be suggested to the user.
図９（Ｂ）は、図８（Ａ）に示した相関係数が範囲＜Ｂ＞のときに生成されるベジェ曲線ＣＲの曲率および色を示している。図９（Ｂ）に示すように、相関係数が範囲＜Ｂ＞のときには、２つのチャンネルの逆相成分の比率に対応する音の広がりのイメージに合わせて曲率が変化したベジェ曲線が生成される。また、相関係数が範囲＜Ｂ＞のときには、相関係数に応じて徐々に変化する色のベジェ曲線が生成されることになり、ユーザに注意を促すことができる。 FIG. 9B shows the curvature and color of the Bezier curve CR generated when the correlation coefficient shown in FIG. 8A is in the range <B>. As shown in FIG. 9B, when the correlation coefficient is in the range <B>, a Bezier curve having a curvature that changes in accordance with the sound spread image corresponding to the ratio of the antiphase components of the two channels is generated. The When the correlation coefficient is in the range <B>, a Bezier curve of a color that gradually changes according to the correlation coefficient is generated, and the user can be alerted.
図９（Ｃ）は、図８（Ａ）に示した相関係数が範囲＜Ｃ＞のときに生成されるベジェ曲線ＣＲの曲率および色を示している。図９（Ｃ）に示すように、相関係数が範囲＜Ｃ＞のときにも、２つのチャンネルの逆相成分の比率に対応する音の広がりのイメージに合わせて曲率が変化したベジェ曲線が生成される。また、相関係数が範囲＜Ｃ＞のときには、逆相成分の比率は適度であるため、他の表示と比べて格別目立つことのない色のベジェ曲線が生成されることになり、あえてユーザに注意を促さないようにできる。 FIG. 9C shows the curvature and color of the Bezier curve CR generated when the correlation coefficient shown in FIG. 8A is in the range <C>. As shown in FIG. 9C, even when the correlation coefficient is in the range <C>, a Bezier curve whose curvature changes in accordance with the sound spread image corresponding to the ratio of the antiphase components of the two channels is obtained. Generated. In addition, when the correlation coefficient is in the range <C>, the ratio of the antiphase component is appropriate, so that a Bezier curve of a color that is not particularly conspicuous compared to other displays is generated, and the user dares to You can avoid caution.
図９（Ｄ）は、図８（Ａ）に示した相関係数が範囲＜Ｄ＞のときに生成されるベジェ曲線ＣＲの曲率および色を示している。図９（Ｄ）に示すように、相関係数が範囲＜Ｄ＞のときには２つのチャンネルがほぼ完全に同相に近くなるため、この場合も通常の場合とは異なる曲率（直線に近い）および色のベジェ曲線が生成されることになり、ユーザに注意を促すことができる。 FIG. 9D shows the curvature and color of the Bezier curve CR generated when the correlation coefficient shown in FIG. 8A is in the range <D>. As shown in FIG. 9D, since the two channels are almost completely in phase when the correlation coefficient is in the range <D>, the curvature (close to a straight line) and the color are different from those in the normal case. The Bezier curve is generated, and the user can be alerted.
このように、本実施形態において、制御部１０は、複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出する。そして、制御部１０は、当該逆相成分の比率に応じた色の曲線を描画する描画データを出力する。
As described above, in the present embodiment, the
また、制御部１０は、２つのチャンネル間における音声の逆相成分の比率が第１の閾値以上である時は、警告を示唆する例えば赤などの所定の色の前記曲線を描画する描画データを出力する。また、制御部１０は、２つのチャンネル間における音声の逆相成分の比率が第２の閾値以下である時は、例えば青などの所定の色の前記曲線を描画する描画データを出力する。また、制御部１０は、２つのチャンネル間における音声の逆相成分の比率が、完全に同相と完全に逆相との間における第１の範囲内にある時は、例えば白などの所定の色の前記曲線を描画する描画データを出力する。また、制御部１０は、２つのチャンネル間における音声の逆相成分の比率が、完全に同相と完全に逆相との間における第２の範囲内にある時は、逆相成分の比率に応じて例えば黄色から緑色など所定の色の間で徐々に変化する色の前記曲線を描画する描画データを出力する。
In addition, when the ratio of the reverse phase component of the sound between the two channels is equal to or higher than the first threshold, the
図９においては、Ｃ−Ｒの２つのチャンネルについてのみ、曲率および色を設定したベジェ曲線ＣＲを生成したが、本実施形態においては、制御部１０は、同様の処理を、他の２つのチャンネルＬ−Ｒ，Ｃ−Ｌ，Ｌ−Ｌｓ，Ｒ−Ｒｓ，Ｌｓ−Ｒｓについても行う。このようにして、上述した２つのチャンネルそれぞれについて曲率および色が設定されたベジェ曲線が生成されると、図１０に示すような描画を行う描画データが出力される。
In FIG. 9, the Bezier curve CR in which the curvature and color are set is generated only for the two channels of CR, but in this embodiment, the
図１０は、２つのチャンネルにおける音声の相関検出および色データ生成に基づく描画の結果を合成した図である。すなわち、図１０は、本実施形態に係る音像表示装置１による処理を行うことにより、図４、図６、図９に示した結果を全て合成した状態を示す図である。本実施形態に係る音像表示装置１は、上述した処理の一部のみの結果を表示部３０に表示してもよいが、音像など音響に係る種々の情報を一度に把握できるよう、図１０に示すように、上述した処理の全ての結果を同時に表示するのが好適である。
FIG. 10 is a diagram in which the drawing results based on the correlation detection and color data generation of the audio in the two channels are combined. That is, FIG. 10 is a diagram illustrating a state in which all the results illustrated in FIGS. 4, 6, and 9 are synthesized by performing processing by the sound
図１０において、Ｏはリスニングポジションを表す。また、Ｃはセンタースピーカの位置を表し、Ｌは左フロントスピーカの位置を表し、Ｒは右フロントスピーカの位置を表し、Ｌｓは左サラウンドスピーカの位置を表し、Ｒｓは右サラウンドスピーカの位置を表す。これらの位置は、予め理想的な位置を規定して、固定された表示とするのが好適である。 In FIG. 10, O represents the listening position. C represents the position of the center speaker, L represents the position of the left front speaker, R represents the position of the right front speaker, Ls represents the position of the left surround speaker, and Rs represents the position of the right surround speaker. . These positions are preferably defined in advance by defining ideal positions.
以下、図１０において、各符号が表す意味を記す。
Ｌｖ（Ｃ）：センタースピーカＣから再生される音声のレベル
Ｌｖ（Ｌ）：左フロントスピーカＬから再生される音声のレベル
Ｌｖ（Ｒ）：右フロントスピーカＲから再生される音声のレベル
Ｌｖ（Ｌｓ）：左サラウンドスピーカＬｓから再生される音声のレベル
Ｌｖ（Ｒｓ）：右サラウンドスピーカＲｓから再生される音声のレベル
Ｌｖ（ＬＦＥ）：サブウーファから再生される音声のレベル
Ｂ（ＬＲ）：左フロントスピーカＬから再生される音声および右フロントスピーカＲから再生される音声に基づくベジェ曲線（センタースピーカＣから再生される音声は無視）
Ｂ（ＬＣ）：左フロントスピーカＬから再生される音声およびセンタースピーカＣから再生される音声に基づくベジェ曲線
Ｂ（ＣＲ）：センタースピーカＣから再生される音声および右フロントスピーカＲから再生される音声に基づくベジェ曲線
Ｂ（ＬＬｓ）：左フロントスピーカＬから再生される音声および左サラウンドスピーカＬｓから再生される音声に基づくベジェ曲線
Ｂ（ＲＲｓ）：右フロントスピーカＲから再生される音声および右サラウンドスピーカＲｓから再生される音声に基づくベジェ曲線
Ｂ（ＬｓＲｓ）：左サラウンドスピーカＬｓから再生される音声および右サラウンドスピーカＲｓから再生される音声に基づくベジェ曲線
Hereinafter, in FIG. 10, the meanings represented by the respective symbols are described.
Lv (C): level of sound reproduced from the center speaker C Lv (L): level of sound reproduced from the left front speaker L Lv (R): level of sound reproduced from the right front speaker R Lv (Ls ): Level of sound reproduced from the left surround speaker Ls Lv (Rs): level of sound reproduced from the right surround speaker Rs Lv (LFE): level of sound reproduced from the subwoofer B (LR): left front speaker Bezier curve based on the sound reproduced from L and the sound reproduced from the right front speaker R (the sound reproduced from the center speaker C is ignored)
B (LC): Bezier curve based on the sound reproduced from the left front speaker L and the sound reproduced from the center speaker C B (CR): The sound reproduced from the center speaker C and the sound reproduced from the right front speaker R Bezier curve B (LLs): Bezier curve based on audio reproduced from the left front speaker L and audio reproduced from the left surround speaker Ls B (RRs): Audio reproduced from the right front speaker R and right surround speaker Bezier curve based on sound reproduced from Rs B (LsRs): Bezier curve based on sound reproduced from left surround speaker Ls and sound reproduced from right surround speaker Rs
図１０に示すＬＦＥは、図３（Ｆ）で説明したように無指向性であるため、点０を中心としてレベルに応じて半径を増大させた円形として、例えば半透明にして表示する。この場合、通常の番組における音声としては大き過ぎると思われるレベルから徐々にＬＦＥの表示を色変化させることにより、観測者に注意喚起することができる。また、このようにＬＦＥのレベルが変化するにつれて出力される色データを徐々に変化させる際、当該色の変化をリニアな変化としてしまうと人間の感覚にそぐわないものとなる。したがって、本実施形態では、制御部１０は、上述したように、ガンマカーブを変えることにより当該色の変化を調整するのが好適である。
Since the LFE shown in FIG. 10 is non-directional as described with reference to FIG. 3F, the LFE is displayed as a circle having a radius increased according to the level around the
このようにして、本実施形態において、ＬＦＥ信号についても同時に監視できるようにしてもよい。ＬＦＥを大音量で再生するとウーファーが歪んで不具合の原因になり得るため、通常ＬＦＥ信号は小さいレベルで運用されることが多い。したがって、ＬＦＥのレベルが大きくなり過ぎる場合は、赤系の色に変化させて注意喚起を促すのが好適である。 In this manner, in the present embodiment, the LFE signal may be monitored simultaneously. When the LFE is played back at a high volume, the woofer may be distorted and cause a problem, so that the LFE signal is usually operated at a low level in many cases. Therefore, when the LFE level becomes too high, it is preferable to change the color to a red color to prompt attention.
本発明によれば、複数のスピーカの配置を模した二次元空間上に、ベジェ曲線を用いて音像を表現することができる。本発明においては、このベジェ曲線による図形の大きさが音声全体の大きさを表し、ベジェ曲線による図形の形状が音像の定位感を表す。 According to the present invention, a sound image can be expressed using a Bezier curve on a two-dimensional space simulating the arrangement of a plurality of speakers. In the present invention, the size of the figure by the Bezier curve represents the size of the entire voice, and the shape of the figure by the Bezier curve represents the sense of localization of the sound image.
以上説明したように、本発明によれば、音声をサラウンド再生する際の多種多様な情報を収集する際に、複雑な構成の機器類は必要なくなる。また、このような情報は、本発明によれば、音声の再生に伴って、リアルタイムで動的に監視することができる。さらに、本発明によれば、このような多種多様な情報を集約するのみならず、視覚に訴える表現により一画面で直感的に把握することができ、極めて利便性が高い。 As described above, according to the present invention, devices having a complicated configuration are not necessary when collecting a wide variety of information when surround sound is reproduced. Further, according to the present invention, such information can be dynamically monitored in real time as the audio is reproduced. Furthermore, according to the present invention, not only such a wide variety of information can be aggregated, but also intuitively grasped on a single screen using expressions that appeal to the eye, which is extremely convenient.
以下、本発明による効果について、さらに述べる。 Hereinafter, the effects of the present invention will be further described.
本発明によれば、リスニングポジションから各スピーカ配置に向かって各チャンネルのオーディオレベルバーが配置されるため、このレベルバーの振れによって各チャンネルのレベル管理を行うことが可能になる。また、本発明によれば、例えば隣接するような２つのチャンネル間における音声の逆相成分の比率を、ベジェ曲線の曲率および色変化で表現し、各チャンネルのレベル、音像の確認と同時に、位相監視も行うことが可能になる。音響効果として音声にある程度の広がり感を持たせるには逆相成分が必要である。本発明によれば、適正なバランスのサラウンド信号が入力されれば、ベジェ曲線は全体としてほぼ正円のように表示されるため、サラウンド信号全体の適正なバランスをひと目で感覚的に把握することができる。 According to the present invention, since the audio level bar of each channel is arranged from the listening position toward each speaker arrangement, the level management of each channel can be performed by the swing of the level bar. Further, according to the present invention, for example, the ratio of the anti-phase component of audio between two adjacent channels is expressed by the curvature and color change of the Bezier curve, and simultaneously with the confirmation of the level and sound image of each channel, the phase Monitoring can also be performed. As an acoustic effect, a reverse phase component is required to give the sound a certain degree of spread. According to the present invention, if a surround signal with an appropriate balance is input, the Bezier curve is displayed as a substantially circular circle as a whole, so that the appropriate balance of the entire surround signal can be grasped at a glance. Can do.
また、本発明によれば、逆相の成分が多くなるにつれて、ベジェ曲線の曲率が高くなるとともに色が変化する。この場合、逆相成分が適正レベルでなくなるまで徐々に色が変化するだけであるが、逆相成分が異常なレベルになると赤い色に変わるため、警告の通知であることを容易に認識することができる。さらに、システムチェックでＯＳＣなどの基準信号によりレベル合わせをする際は、逆相成分がゼロになるはずなので、ベジェ曲線は直線で青色になる。したがって、正しくシステムが構築できたかどうかの判断を容易に下すことができる。 Further, according to the present invention, the curvature of the Bezier curve increases and the color changes as the anti-phase components increase. In this case, the color changes only gradually until the anti-phase component is not at an appropriate level, but when the anti-phase component becomes an abnormal level, it changes to a red color, so it is easy to recognize that it is a warning notification. Can do. Furthermore, when level adjustment is performed using a reference signal such as OSC in the system check, the anti-phase component should be zero, so the Bezier curve is straight and blue. Therefore, it can be easily determined whether the system has been correctly constructed.
本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせて実施することもできる。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each functional unit, each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of functional units, steps, etc. are combined or divided into one. It is possible. Further, the above-described embodiments of the present invention are not limited to being performed faithfully to the respective embodiments described above, and can be implemented by appropriately combining the features.
上述した実施形態は、音像表示装置１および音像表示システムの発明として説明した。この場合、本発明による音像表示システムは、上述したような種々の制御を行う制御部１０と、制御部１０により出力された描画データに基づく曲線を表示する表示部２０と、を備えることを特徴とする。
The embodiment described above has been described as the invention of the sound
また、本発明は、音像表示装置１または音像表示システムにおける音像表示方法とすることもできる。この場合、本発明による音像表示方法は、複数のチャンネルのうち２つのチャンネルの音声データに基づいて、当該２つのチャンネル間における音声の逆相成分の比率を算出するステップと、前記逆相成分の比率に応じて曲率を変化させた曲線であって当該逆相成分の比率に応じて変化させた色の曲線を描画する描画データを出力するステップと、を含むことを特徴とする。
The present invention can also be a sound image display method in the sound
１ 音像表示装置
１０ 制御部
２０ 記憶部
３０ 表示部
DESCRIPTION OF
Claims (8)
前記制御部により出力された描画データに基づく曲線を表示する表示部と、
を備える、音像表示システム。 Based on the audio data of two channels among a plurality of channels, a curve is obtained by calculating the ratio of the reverse phase component of the sound between the two channels and changing the curvature according to the ratio of the negative phase component. A control unit that outputs drawing data for drawing a color curve according to the ratio of the reversed-phase component;
A display unit for displaying a curve based on the drawing data output by the control unit;
A sound image display system comprising:
前記逆相成分の比率に応じて曲率を変化させた曲線であって当該逆相成分の比率に応じて変化させた色の曲線を描画する描画データを出力するステップと、
を含む、音像表示装置の音像表示方法。
Calculating the ratio of the reverse phase component of the sound between the two channels based on the sound data of two channels of the plurality of channels;
A step of outputting drawing data for drawing a curve in which the curvature is changed according to the ratio of the reverse phase component and the color is changed according to the ratio of the reverse phase component;
A sound image display method for a sound image display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013233284A JP6220236B2 (en) | 2013-11-11 | 2013-11-11 | Sound image display device, sound image display system, and sound image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013233284A JP6220236B2 (en) | 2013-11-11 | 2013-11-11 | Sound image display device, sound image display system, and sound image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015095719A JP2015095719A (en) | 2015-05-18 |
| JP6220236B2 true JP6220236B2 (en) | 2017-10-25 |
Family
ID=53197863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013233284A Active JP6220236B2 (en) | 2013-11-11 | 2013-11-11 | Sound image display device, sound image display system, and sound image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6220236B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5098701U (en) * | 1974-01-10 | 1975-08-16 | ||
| JPS60135790U (en) * | 1984-02-18 | 1985-09-09 | 富士通テン株式会社 | level display device |
| GB2319346B (en) * | 1996-11-13 | 2001-03-21 | Sony Uk Ltd | Analysis of audio signals |
| US6977653B1 (en) * | 2000-03-08 | 2005-12-20 | Tektronix, Inc. | Surround sound display |
| JP2007243318A (en) * | 2006-03-06 | 2007-09-20 | Toshiba Corp | Sound monitoring method and sound monitoring apparatus |
-
2013
- 2013-11-11 JP JP2013233284A patent/JP6220236B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015095719A (en) | 2015-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104205878B (en) | Method and system for head-related transfer function generation by linear mixing of head-related transfer functions | |
| CN106664484B (en) | Monophonic or multichannel audio control interface | |
| KR100736434B1 (en) | Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually | |
| US6829361B2 (en) | Headphones with integrated microphones | |
| RU2009109125A (en) | APPARATUS AND METHOD OF MULTI-CHANNEL PARAMETRIC CONVERSION | |
| CN104240695A (en) | Optimized virtual sound synthesis method based on headphone replay | |
| JP2017163555A (en) | Channel number converting device | |
| KR101659410B1 (en) | Sound optimization device and method about combination of personal smart device and earphones | |
| KR100813272B1 (en) | Apparatus and method for bass enhancement using stereo speaker | |
| JP5459556B2 (en) | Acoustic characteristic adjusting device, acoustic characteristic adjusting method, and computer program | |
| JP6220236B2 (en) | Sound image display device, sound image display system, and sound image display method | |
| WO2020036077A1 (en) | Signal processing device, signal processing method, and program | |
| CN107172568B (en) | Stereo sound field calibration equipment and calibration method | |
| JP2016134769A (en) | Audio signal processor | |
| JP2013172231A (en) | Audio mixing device | |
| JP2005286876A (en) | Environmental sound presentation instrument and hearing-aid adjusting arrangement | |
| TW201409992A (en) | Electronic apparatus and method for recognizing applications through vocal element | |
| US7949420B2 (en) | Methods and graphical user interfaces for displaying balance and correlation information of signals | |
| JP2008011342A (en) | Apparatus for measuring acoustic characteristics and acoustic device | |
| JP4395550B2 (en) | Sound image localization apparatus, sound image localization method, and program | |
| WO2023189075A1 (en) | Signal processing device, acoustic output device, and signal processing method | |
| JP5972116B2 (en) | Effector | |
| JP6510757B2 (en) | Loudness measuring apparatus and loudness measuring program | |
| JP2015046663A (en) | Hearing aid fitting device and hearing aid fitting method using the same | |
| JP3613110B2 (en) | Automatic sound source adjustment circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170929 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6220236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |