JP2014021297A - 録音再生装置、録音再生方法 - Google Patents

録音再生装置、録音再生方法 Download PDF

Info

Publication number
JP2014021297A
JP2014021297A JP2012160176A JP2012160176A JP2014021297A JP 2014021297 A JP2014021297 A JP 2014021297A JP 2012160176 A JP2012160176 A JP 2012160176A JP 2012160176 A JP2012160176 A JP 2012160176A JP 2014021297 A JP2014021297 A JP 2014021297A
Authority
JP
Japan
Prior art keywords
recording
playback
audio data
audio
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012160176A
Other languages
English (en)
Other versions
JP2014021297A5 (ja
Inventor
Masaki Sakurai
将樹 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012160176A priority Critical patent/JP2014021297A/ja
Publication of JP2014021297A publication Critical patent/JP2014021297A/ja
Publication of JP2014021297A5 publication Critical patent/JP2014021297A5/ja
Pending legal-status Critical Current

Links

Abstract

【課題】語学用の音声データに自動で再生停止区間が付加され、発音練習ができる録音再生装置を提供することを目的とする。
【解決手段】録音再生装置は、外部メモリから読み込まれた音声データを格納する記憶部と、内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部と、とを有している。
そして、上記制御部は、音声データの再生時に該音声データの停止位置検出処理、及び再生開始から該停止位置までの再生時間検出処理を行うとともに、該再生時間検出処理で検出した再生時間に基づいて停止時間を設定し、上記停止位置検出処理で検出した位置で、上記停止時間の間再生を停止させ、上記停止位置から再生を再開させる制御を行う。
【選択図】図4

Description

本開示は、お手本の音声に対し発音練習のための時間区間を自動で付加する録音再生装置および録音再生方法に関する。
特開2009−282528号公報
一般的な語学学習用の録音再生装置は,お手本となる音声データを連続的に再生するものであり、お手本の音声が録音された教材を繰り返し聞くことにより語学練習を可能とするものである。
この場合、聞き取り(ヒアリング)の練習をしながら、発音(スピーキング)の練習をしようとすると途中で装置を止めたり、再開する操作等が必要となり使いづらいものとなっている。
特に独学で語学会話の練習をするユーザの場合、発音の練習が充分にできない(発音が上達したか否かを確認する手段が乏しい)ため、簡易な操作で聞き取りの練習と発音の練習ができる録音再生装置がもとめられている。
ところで、 独学で語学会話の練習をするユーザ等のために、ユーザの発音した音声を録音し、お手本の音声とユーザ自ら発音した音声とを連続して再生することで、ユーザが2つの音声を比較して、自らの発音の上達状態を確認できる語学練習用の録音再生装置が提案されている(例えば特許文献1)。
しかし、お手本の音声とユーザ自ら発音した音声を連続して録音等するために自動で発音練習の時間が提供されるものではなく、複雑な操作が必要である。
本開示は、簡単な操作で、連続するお手本の音声の途中に発音練習のための時間を付加できる録音再生装置を提供することを目的とする。
本開示の録音再生装置は、外部メモリから読み込まれた音声データを格納する記憶部と、内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部と、を有する。
そして上記制御部は、音声データの再生時に該音声データの停止位置検出処理、及び再生開始から該停止位置までの再生時間検出処理を行うとともに、該再生時間検出処理で検出した再生時間に基づいて停止時間を設定し、上記停止位置検出処理で検出した位置で、上記停止時間の間再生を停止させ、上記停止位置から再生を再開させる制御を行う。
本開示の録音再生装置の製造方法は、外部メモリから読み込まれた音声データを格納する記憶部と、内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部とを有する録音再生装置の再生方法であり、音声データの再生時に音声データの停止位置検出処理、及び再生開始から上記停止位置までの再生時間検出処理を行い、上記停止位置のタイミングで、上記再生時間検出処理で検出した再生時間相当期間の再生停止を行い、再生停止してから上記再生時間相当期間経過後に再生を再開する。
このような本開示の技術では、自動で連続するお手本の音声の途中に発音練習のための時間を付加できる。
本開示によれば、連続するお手本の音声の途中に自動で発音練習のための時間が付加され、ユーザはお手本音声を聴きながら、発音練習ができる録音再生装置を実現できるという効果がある。
実施の形態の録音再生装置の再生処理動作の説明のブロック図である。 実施の形態の録音再生装置の録音処理動作の説明のブロック図である。 実施の形態の録音再生装置の無音区間判別の動作説明図である。 無音区間検出処理動作のフローチャートである。 無音区間検出処理動作の詳細図である。 実施の形態の録音再生装置の再生停止動作のフローチャートである。 実施の形態の録音再生装置の再生および録音が同時に行われる動作の説明のブロック図である。 実施の形態の録音再生装置の再生および録音が同時に行われる動作のフローチャートである。 ファイルの切れ目の判別および無音区間検出処理動作のフローチャートである。 録音音声データに付加されるメタデータの構造図である。 再生および録音が行われている場合のメタデータの登録タイミングを表すフローチャートである。 お手本音声ファイルとユーザ音声ファイルの展開例を表す図である。 お手本音声とユーザ音声の再生方法についての説明図である。 録音再生装置による語学学習の一般的方法についての説明図である。
以下、本開示の内容を次の順序で説明する。
<1.録音再生装置の構成>
<2.再生処理について>
<3.録音処理について>
<4.録音再生装置による語学学習の一般的方法>
<5.第1の実施の形態>
<5−1.無音区間検出処理>
<5−2.再生しながらの発音練習中の制御動作>
<5−3.再生しながらの発音練習と同時に録音する制御動作>
<6.第2の実施の形態>
<7.その他変形例>
<1.録音再生装置の構成>

実施の形態の録音再生装置の構成を図1により説明する。図1ではICレコーダを例としたものである。図1に示すように、録音再生装置はテンポラリバッファ1、テンポラリバッファコントローラ2、DSP(Digital Signal Processor)3、CPU(Central Processing Unit)4、メモリカードI/F(メモリカードインターフェース)6、DMAC(Direct Memory Access Controller)7、14、PCM_I/F(パルスコードモジュレーションインターフェース)8、11、ADC(A/Dコンバータ)9、マイクロホン10、ヘッドホン13およびDAC(D/Aコンバータ)12で構成され、それらがバスで接続されている。
テンポラリバッファ1は、外部メモリ5から読み込んだ再生用の音声データ、マイクロホン10から集音した音声データ等を録音再生装置内での処理のためにデジタルデータとして保持しておくものである。ここで外部メモリ5は基本的に録音再生装置の構成要素ではなく、携帯型(可搬性)のメモリデバイスである。外部メモリ5に再生用の音声データが格納される。またマイクロホン10から取り込まれ、テンポラリバッファ1で保持されている音声データは最終的に外部メモリ5に記録される。
メモリカードI/F6は録音再生装置と外部メモリ5を接続するものである。
テンポラリバッファコントローラ2はテンポラリバッファ1への音声データの書き込み制御、テンポラリバッファ1からの音声データの読み出し制御を行うものである。
DSP3はデジタル音声データ(PCMデータ)を所定形式のデータ(例えばMP3)に変換したり、又はその逆の変換のための演算処理を行うものである。
DMAC14はデジタル音声データをCPU4を経由しないで転送するもので、ここではテンポラリバッファ1のデジタル音声データを直接PCM_I/F11に転送するものである。DMAC7は逆にPCM_I/F8からのデジタル音声データをテンポラリバッファ1に転送するものである。ここでPCM_I/F8および11はデジタル音声データをシリアル転送のための一般的なインターフェース規格であるInter−IC Sound規格の形式に変換するものである。
ADC9はマイクロホン10から取り込まれたアナログ音声をデジタル音声データに変換するものである。
DAC12は、ヘッドホン13から音声として出力させるためにデジタル音声データをアナログ音声に変換するものである。
CPU4は上記の各機器の動作を制御するものであり、録音再生装置の処理全体の流れを管理するものである。
全体処理の流れについて簡単に説明しておく。
音声(お手本音声等)を再生する場合、テンポラリバッファ1に格納された音声データはPCM_I/F11に送られ、DAC12を経由してヘッドホン13により再生される。
この音声データは外部メモリ5に格納されていたものであり、メモリカードI/F、テンポラリバッファコントローラ2を経由してテンポラリバッファ1に転送されたものである。外部メモリ5は、例えば不揮発性のメモリであるフラッシュメモリ、SDカード、メモリスティック等で構成されている。音声データはテンポラリバッファ1に格納された状態でデータ処理が行われる。
音声(発音音声等)が録音される場合、音声はマイクロホン10から取り込まれ、ADC9、PCM_I/F8を経由してテンポラリバッファ1に送られる。ここでデータ処理がなされ、テンポラリバッファコントローラ2、メモリカードI/F6を経由して外部メモリ5に格納される。これらの動作は、CPU4の管理により行われる。
以上が全体処理の流れである。
<2.再生処理について>

実施の形態に係る録音再生装置の再生処理について図1により説明する。再生処理は、図のa、b、c、dの順に再生動作の処理が行われる。
a.CPU(中央処理装置)4の指示により、外部メモリ5に保存された音声データファイル(語学練習ではお手本となる)が、メモリカードI/F6とテンポラリバッファコントローラ2を経由し、テンポラリバッファ1 へ転送される。この音声データファイルは、圧縮データ、例えばMP3形式となっている。テンポラリバッファ1は、内部処理のために一時的に音声データを保存しておくもので、例えばMobile SDRAM、SRAM等の記憶メモリが使用される。
b.テンポラリバッファ1 に格納された音声データは、DSP3に送られ、DSP3により、信号処理等の演算が行われ、圧縮データが通常のPCM音声データに変換される。
c.変換されたPCMデータは再度テンポラリバッファ1に送られ保存される。
d.CPU4の指示により、DMAC14(ダイレクトメモリアクセスコントローラ)が、テンポラリバッファ1に保存されたデータをPCM_I/F11 に転送する。PCM_I/F11によりPCM音声データは、IC間デジタル音声データのシリアル転送のための一般的なインターフェース規格であるInter−IC Sound規格の形式になりDAC12に送られる。ここで、デジタル音声がアナログ音声に変換されヘッドホン13から音声が出力される。ヘッドホン13は通常のスピーカでよい。
上記の手順により外部メモリ5に保存されている所定形式の音声データは最終的にヘッドホン13から音声として出力(再生)される。この動作が再生処理である。
<3.録音処理について>

実施の形態に係る録音再生装置の録音処理について図2により説明する。図のe、f、g、h、iの順に録音動作の処理が行われる。
e.マイクロホン10から入力された音声(アナログ信号)は、ADC9 を経由してデジタル音声データに変換される。変換されたデジタル音声データは、IC間デジタル音声データをシリアル転送するための一般的なインターフェース規格であるInter−IC Sound規格の形式でPCM_I/F8 に送られる.
f.CPU4の指示により、DMAC7がPCM_I/F8からテンポラリバッファコントローラ2を経由してテンポラリバッファ1に上記デジタル音声データ(PCM音声データ)を転送し保存する。
g.テンポラリバッファ1に保存されたデジタル音声データは、DSP3に送られ信号処理などの演算が行われ圧縮データ(例えばMP3形式のデータ)に加工される。
h.加工されたデータは再度テンポラリバッファ1に送られ保存される。
i.CPU4の指示により、テンポラリバッファ1に保存されたデータは、テンポラリバッファコントローラ2とメモリカードI/F6を経由して、外部メモリ5に保存される。
上記の手順によりマイクロホン10から取り込まれた音声は、最終的に外部メモリ5に圧縮データの形で保存(録音)される。この動作が録音処理である。またテンポラリバッファ1への音声データの保存の動作も録音処理である。
<4.録音再生装置による語学学習の一般的方法>

録音再生装置による語学学習の一般的方法を図14により説明しておく。図14はユーザが語学学習をする場合の録音再生装置100の一般的な使用の形態を示すものである。
図14Aに示すように録音再生装置100が再生するお手本音声を単に聴くという形態が考えられる。この場合、お手本となる音声データファイルを再生するのみでよく、同じセンテンスを発音して練習を行うためには、まず図14A左端の図に示すように、再生されたセンテンスをユーザが聴く、つぎに中央の図のように手動で録音再生装置100を停止させた後に発音練習を行い、右端の図のようにその後再度再生させる。これによりユーザは聴きとりの練習をすることができる。ボタン操作も大きな負担となるものではない。
しかし、お手本の音声とユーザ自ら発音した音声とを比較確認するためには、お手本の音声を録音しながらユーザが発音した音声を録音することが必要となり、単純には図14Bに示すように、もう1台の録音用の録音再生装置200が必要となる。
この場合、図14B左図のように録音再生装置100で再生し、その横にもう1台の録音再生装置200を置き、録音再生装置100の再生音声を録音再生装置200で録音する。次に図14B右図のように録音再生装置100の再生を停止し、ユーザ自ら発音し、これを録音再生装置200で録音する。これにより、録音再生装置200にはお手本の音声とユーザ自ら発音した音声とが交互に録音される。これを再生すれば、ユーザはお手本の音声とユーザ自ら発音した音声を連続して聴くことができ、2つを比較確認することができる。ただし、録音用の録音再生装置200がもう1台必要である。
録音再生装置200をもう1台持ってこないで、同じことを実現しようとすると、図14Cに示すように、再生用の再生開始ボタンと再生停止ボタン,録音用の録音開始ボタンと録音停止ボタンを録音再生装置100に設ける必要がある。
このボタン操作はつぎのようになる。お手本音声を再生しながら録音をするために、(a)まず録音開始ボタンと再生開始ボタンを同時に押す。お手本が終わった時点で再生停止ボタンを押す。(b)つぎにユーザの発音した音声を録音するために録音開始ボタンを押す。発音が終わった時点で録音停止ボタンを押す。この操作により上記と同様のことを実現できる。
ただし、ボタン操作自体は単純であるが、頻繁な操作が必要であり、誤操作を起こしやすく、扱いづらいものである。さらに操作ボタンの設置場所のスペースが録音再生装置100に大きく取られてしまうという不都合もある。
そして、自分の発音音声だけ録音するときには、図14Dに示すように録音再生装置100を止めた後、録音再生装置200で録音を始める、といった再生の停止、録音の開始、の繰り返しを行う必要があり、これも頻繁な操作が必要となる。
いずれにしても、お手本音声の再生と発音練習の音声の録音を連続して実行することはユーザにとって負担の大きい作業であり、語学学習に集中できないという状況となる。
以上より、ユーザは1台の録音再生装置によりお手本音声の再生、発音練習の音声の録音等が簡単な操作で実現でき、語学学習に集中できる録音再生装置100を求めている。
<5.第1の実施の形態>

第1の実施の形態にかかる録音再生装置の動作について説明する。本実施の形態に係る録音再生装置は、お手本となる音声ファイルを再生しながら無音区間を検出し、一定の長さの無音区間を検出した時点で、お手本音声の再生を停止し、ユーザが発音練習をできる機能を自動で提供するものである。その実施の形態について、<無音区間付加制御動作>、<再生しながらの発音練習動作中の制御>、<再生しながらの発音練習と同時に録音する制御動作>について順番に説明する。
<5−1.無音区間検出処理>

お手本の音声データに対して無音区間の部分を検出するための処理動作について図3、図4、図5により説明する。
図3は、音声データの無音区間が何秒間続けば無音区間と判断するかの時間の設定等の表示例および録音再生装置の無音区間検出動作中の内部構成を示すものである。既に説明した部分と同様となる部分については同一符号を付して説明を省略する。
図3Aは無音区間の判定時間および判定をするための無音判別閾値を設定する画面である。
図3Aに示すように、ここでは無音区間設定が3秒、無音判別閾値を−60dBFSと設定している。この数値は例であり、任意の数値を設定可能である。
無音区間設定の無音区間とは、お手本音声において無音の状態が続く区間のことで、この場合、3秒の間無音が続いたとき無音区間と判断するものである。
また、無音判別閾値とは、デジタル信号であるお手本音声の信号が無音と判定するか否かの判定値のことをいい、お手本音声のデジタル信号の大きさが、−60dBFS以下のとき無音と判定されるものである。これらの値はユーザが設定することができる。
図3Bは録音再生装置の無音区間検出動作中の処理の流れを示すものである。図3Bに示すように通常の再生処理に対しc’の処理が付加される。
a、b、cの処理により外部メモリ5から取り込まれ圧縮データ(例えばMP3形式)が通常のPCMデータに変換され、これがテンポラリバッファ1に保存される。c’はこのテンポラリバッファ1に保存されたPCMデータをCPU4により、そのデジタル信号の大きさが最大値から−60dBFSを超えているかどうか解析される。−60dBFS以下であり、且つこの状態が3秒間以上続けば無音状態と判定する。
つぎに上記の実施の形態にかかる録音再生装置がお手本音声を再生しながら無音区間を検出する処理を図4のフローチャートにより説明する。図4は、お手本音声を再生しながら、無音区間を検出する処理をフローチャートで表すものである。
図4に示すように、CPU4により2つの処理が並行して動作する。ステップS101、ステップS102、ステップS109が再生処理である。ステップS108、ステップS103〜ステップS107、ステップS110、ステップS111が無音区間の検出処理である。この2つの処理はCPU4の制御の下、並行してなされる。
再生処理においては、ステップS101でCPU4が再生を開始させる。すなわち、お手本音声の再生が始まる。つぎにステップS102でCPU4が再生時間の累積をする。この処理が再生時間検出処理で再生時間が累積される。そしてステップS109で停止フラグがオンかどうか判定される。この停止フラグがオンの場合、CPU4は再生処理を停止させる。
停止フラグがオンでない場合、CPU4は引き続き再生処理を継続させ、再生時間の累積を行う。
この停止フラグは、以下に説明する無音区間の検出処理において3秒間の無音区間が検出されたときオンに設定される。
無音区間検出処理において、まずステップS108でCPU4は停止フラグをクリアする。ステップS103でCPU4は3秒分の音声データ(デジタルデータ)を読み込む。ステップS104でCPU4はその読み込んだデータをもとに無音区間であるかどうか判定する。これは、各デジタルデータが−60dBFS以下であるかどうかを判定する。
無音区間でなければ、ステップS110に進みカウントをクリアし、ステップS111に進み次の音声データを取得する。そして再度ステップS104に進み、CPU4は無音区間であるかどうか判定する。上記カウントは−60dBFS以下のデジタルデータの数を表すものである。
無音区間であれば、ステップ107に進み、CPU4はカウントアップ(カウントをインクリメント)する。
そしてステップS105でCPU4はカウント値が3秒に対応するかどうか判定する。カウント値が3秒に対応する(無音状態が3秒間続く)場合、ステップS106に進み、CPU4は停止フラグがオンにし、ステップS109に進み停止フラグがオンなのでCPU4は再生処理を停止させる。カウント値が3秒に対応しない(無音状態が3秒間続かない)場合、ステップS111に進み、次の音声データを取得しステップS104に進み、CPU4は無音区間であるかどうかの判定を繰り返す。
再生処理の停止後、ステップS102の再生累積時間の数値(お手本の再生時間と同じ)と基本的に同じ時間、ユーザが発音練習を行うための待ち時間が設定される。すなわち、ユーザがお手本の音声データを聴いたあとに、自動で発音練習のための時間(再生累積時間の数値と同じ時間)が設けられ、その期間内にユーザは発音練習を行うことができる。ただし、発音練習のための時間は再生累積時間の数値と同じ時間とする必要はなく、再生累積時間の数値に基づいて、それよりも長くする又は短くすることができ、ユーザの語学の能力(会話の能力)のレベルにあわせて設定可能である。
発音練習期間はCPU4は何らかの処理動作をする必要がないので、CPU4をSleep処理による待機状態にしたり若しくは供給電源を断にするなど、消費電力の小さい状態(1つのLEDの消費電力とほぼ同じといわれる)にすることができる。これにより消費する電力を限りなく小さくできる。待機状態若しくは電源断の時間管理はRTC(Real Time clock)によって行われ、RTCからの信号により、CPU4を待機状態から復帰させたり、電源の再供給を行うことができる。そして再生の停止した位置から再生を始めることができる。
さらに、無音区間の検出処理について図5により説明する。図5は音声データを長方形の枠で表し、時間経過毎のCPU4による処理の動作の進捗状態を模式的に表したものである。
1の枠は、無音状態の検出動作の開始状態を表している。左端から無音検出動作が開始される。丸印は開始位置を表している。3秒分のデジタルデータを読み込み、各デジタルデータが−60dBFSより小さいかどうかの判定動作を開始する。ここで同時に再生も開始される。
2の枠は、検出開始1秒後の状態を表しており、1秒後に無音状態が検出された場合を表している。時間経過と共に無音状態の検出の終わったデータ分が必ず先読みされる。ここでは4秒分のデータに対して3秒間無音であるかどうか判定する状態を表している。開始から3秒後には、過去の3秒分のデータも保持することになり、その状態では6秒分(3×2)のデータに対して3秒間無音であるかどうかを判定する。この図で無音状態のない1秒間分のデータはPCM出力としてヘッドホン13に転送され再生される。
3の枠は、検出開始2秒後の状態を表しており、上記の2番目の枠(検出開始1秒後)で無音状態を検出したが、この場合無音でない区間を検出したことから、無音継続時間(図4ではカウント値)をクリアしている。再生は継続しており、その時間は累積計算されている。
4の枠は、検出開始3秒後の状態を表しており、無音状態を再度検出した状態を表している。再生は継続しており、その時間は再生累積時間として累積計算されている。
5の枠は、検出開始4秒後の状態を表しており、無音状態が継続している状態を表している。再生は継続しており、その時間は再生累積時間として累積計算されている。
6の枠は、検出開始5秒後の状態を表しており、無音状態が継続しており、その無音継続時間が3秒になった状態を表している。これにより無音状態が3秒間継続したので、無音区間検出処理は一時停止する。同時に再生処理も停止する。
7の枠および8の枠は、停止状態を表しており、無音状態までの音声データはPCM出力としてヘッドホン13に転送されすでに再生されている。再生累積時間と同じ時間、再生処理は停止する。同時に音声データ上の停止位置が記憶される。この停止中、お手本を聴いたユーザは、そのお手本による会話の練習が可能となる。
すなわち、録音再生装置はお手本音声データの再生時に音声データの無音位置検出処理、及び再生開始から無音位置までの再生時間検出処理を行い、無音位置のタイミングで、再生時間検出処理で検出した再生時間相当期間の再生停止を行い、再生停止してから再生時間相当期間経過後に再生を再開することができる。
この無音区間検出処理は無音状態を検出しているが、再生すべきデジタル音声データ上の特定の情報(例えば、後に説明するファイルの切れ目)を検出することにより停止位置検出処理として動作させることができる。
<5−2.再生しながらの発音練習中の制御動作>

お手本の音声データを再生しながら、ユーザが発音練習をする場合のCPU4の動作について図6により説明する。
発音練習動作は上記で説明したとおり、まずお手本の音声データが自動で再生され、同時に無音状態が検出され、無音状態が所定の時間継続すれば、お手本音声データの再生を停止し、その停止期間(停止前の再生時間と同じ時間)中、ユーザが発音練習をするというものである。
図6は、上記のユーザによる発音練習中のCPU4の制御動作の流れをフローチャートで表したものであり、図4の再生停止後のCPU4の動作を表すものである。
図6に示すようにステップS201では、CPU4はお手本の音声データ上の、再生を停止した位置を記憶する。この位置は再生を再開するときの位置となる。これにより発音練習後に再生が再開したとき元の位置から再生を開始させることができることになる。
ステップS202では、CPU4はRTCに待ち時間を設定する。この待ち時間は図4の再生累積時間と同じ値である。ステップS203では、CPU4はSleep処理により自らを待機状態にしたり又は自らを電源断にする。これによりCPU4は自らを低消費電力状態にすることができる。ステップS204では、RTCが再生累積時間に達したかどうか判定する。再生累積時間に達していなければ、再生累積時間になるまでステップS204を繰り返す。
再生累積時間に達していればステップS205に進み、ステップS205でRTCはCPU4を待機状態から元の状態に復帰させたり又はCPU4に電源の再供給の処理を行う。そして、つぎにCPU4は音声データの再生を開始させる。再生の位置は、ステップS201では記憶された停止位置からである。
この図6の再生停止処理の期間にユーザは発音練習をすることができる。すなわち、自動で発音練習用の区間を設けるものである。
上記のステップS202の待ち時間は再生累積時間と同じとしているが、同じにする必要はなく、再生累積時間に基づいて、設定することが可能である。この時間を長くすれば、ユーザはゆっくりと発音練習をすることができることになり、また短くすればユーザは早く発音練習しなければならなくなり、ユーザは自らの語学力に応じて、かつ再生累積時間を基準にしてその長さを調整することができる。
<5−3.再生しながらの発音練習と同時に録音する制御動作>

実施の形態に係る録音再生装置がお手本の音声データを再生しながら、お手本音声データとユーザの発音練習の音声を録音する場合のCPU4の制御動作について図7、図8により説明する。
上記<5−2>においては、録音再生装置が再生するお手本音声データをユーザ聴き、その後録音再生装置から一定期間無音状態が提供され、その期間、ユーザは発音練習ができるという態様であった。
ここでは、お手本音声データが再生され、同時にそのお手本音声データが録音され、その後上記と同様に一定期間無音状態が提供され、その期間発音練習をし、同時にその発音練習の音声が録音されるというものである。
これにより、後に録音された内容を再生するとお手本音声とそのお手本音声についての発音練習した内容が交互に聴取することができ好適である。
図7は録音再生装置の内部構成を示し、お手本音声データの再生および録音が同時に行われる場合の処理の流れを表すものである。図7に示すように、通常の再生処理に対しc’とb’の処理が付加される。お手本音声データの再生と録音との処理が同時に行われる。c’は図3Bで説明した通り、お手本音声データの無音状態を検出する処理である。
b’は再生するお手本音声データを外部メモリ5に保存する処理である。この処理は、bの処理と同時に行われる。bの処理はすでに説明した通り、圧縮データを通常のPCMデータに変換するための処理である。したがって、PCMデータに変換前の形式でお手本音声データとして外部メモリ5の所定領域に書き込まれる。すなわち再生のために外部メモリ5から読み込まれたお手本音声データは、一度テンポラリバッファ1に保存されるが、通常のPCMデータに変換するためにDSP3に送られる、この動作と同時に外部メモリ5にも送られ当該メモリ5の所定領域に書き込まれるものである。ただし、お手本データの録音をしない場合は、この処理は省略される。
つぎに本実施の形態にかかる録音再生装置がお手本音声データを再生し、同時にそのお手本音声データを録音し、その後一定期間無音状態が提供され、その期間発音練習がされ、その発音練習の音声を録音するという上記の動作を図8により説明する。図8はかかる動作のフローチャートである。
図8に示すように、ステップS301では、CPU4は図4の処理(お手本音声データの再生と無音状態の検出)と同時にお手本音声データの録音を行う。この録音は図7のb’の処理により行われ、録音再生装置の内部で動作する。お手本音声データの録音をしない場合は、お手本音声データの再生のみ行われる。
ステップS302ではCPU4は再生停止処理(図6の処理)を行う。ステップS303ではCPU4は録音再生装置を録音状態(図2の録音処理動作に切り替える)に設定する。この時点で発音練習ができることになり、CPU4は発音練習内容の録音を開始させる。ステップS304では、CPU4はRTCを起動する。RTCには、待ち時間が設定され、この値は図5の再生累積時間と同じ値となっている。
ステップS305では、再生累積時間に達したかどうか判定される。これはRTCの内容をCPU4が読むことにより判定される。再生累積時間に達していなければ、再生累積時間になるまでステップS305を繰り返す。再生累積時間に達するまで発音練習と発音練習内容の録音ができる。
再生累積時間に達するとステップS306に進み、CPU4は録音再生装置を再生状態にするとともに録音状態(図7の録音処理動作に切り替える)にする。そして、CPU4はつぎのお手本音声データの再生および録音の開始制御を行う。再生および録音の位置は、再生停止処理(図6)において記憶された停止位置からである。この処理がお手本の音声データファイルが終了するまで繰り返される。
上記のステップS304の待ち時間は再生累積時間と同じとしているが、<5−2>の場合と同様に同じにする必要はなく、再生累積時間に基づいて、設定することが可能である。この時間を長くすれば、ユーザはゆっくりと発音練習をすることができるとともにその発音練習の音声が録音されることになり、また短くすればユーザは早く発音練習しなければならなくなり、ユーザは自らの語学力に応じて、かつ再生累積時間を基準にしてその長さを調整することができる。
<6.第2の実施の形態>

第2の実施の形態について図9により説明する。第1の実施の形態では、録音再生装置は、お手本となる音声ファイルを再生しながら無音区間を検出し、一定の長さの無音区間を検出した時点で、お手本音声の再生を停止し、ユーザが発音練習をできる期間を提供するものであった。本実施の形態は、無音区間の検出とともに音声ファイルの切れ目の検出を行って、一定の長さの無音状態だけでなく、ファイルの切れ目でもお手本音声の再生を停止し、自動でユーザに発音練習時間を提供する機能を提供するものである。
図9は、ファイルの切れ目の判別処理を無音区間判別動作のフローチャートに付加した図である。既に説明した部分と同様となる部分については同一符号を付して説明を省略する。
図9に示すように、ステップS103とステップS104の間にファイルの切れ目を検出するための処理が付加されている。ファイルの切れ目であるかどうかはCPU4がファイル管理情報に基づいて判断する。
ファイルの切れ目が検出された場合、無音区間の検出は行わずステップS106に進み、CPU4は停止フラグがオンにし再生動作を停止させる。
ファイルの切れ目が検出されない場合、ステップS104に進み、無音区間であるかどうかのCPU4は検出動作を行う。以降、図4と同様の処理が行われる。
ファイルの切れ目を検出し、自動でユーザに発音練習時間を提供できるので、特に、お手本データファイルが、センテンス毎にファイルとして編集されている場合、ユーザはセンテンス毎にお手本を聴き、発音練習ができることになり好適である。同時に無音区間があれば、無音区間毎に発音練習ができることになる。
第2の実施の形態においても、再生しながらの発音練習、再生しながらの発音練習と同時に録音する動作等、これらの動作は第1の実施の形態と同様である。
<7.その他変形例>

以上、実施の形態を説明してきたが、録音されたお手本音声データファイルおよび発音練習した音声データファイルにメタ情報を付加することで再生動作においてメタ情報を参照することによりさまざまな再生方法が提供できる。また、これにより他のPC(パーソナルコンピュータ)アプリケーションと連携できる機能を持つことが可能となる。
ここでは、メタ情報の付加およびデータベース作成、それらを使用した再生動作の動作例について説明する。
まず、メタ情報の内容について図10により説明する。図10に示すように、メタ情報として音声データの開始ポイントと終了ポイントを付加している。図ではこれを時間の単位で付加している。この時間の細かさはフレーム単位を基準にしてもよい。また、時間の単位に限らず開始ポイントと終了ポイントを識別できれば時間の単位に限定されるものではない。メタ情報を付加する位置は、録音したファイルの先頭、前後、最後のいずれに付加してもよい。
このメタ情報を参照することにより、録音された音声データを順番どおりに再生するだけでなく、順番を変えたり、必要なデータのみを何度も再生することが可能となる。また、録音ファイル内容を編集しなおし、再生ファイルを再構成することも可能となる。また、他の機種の録音再生装置でも同様の再生が可能となる。さらに、録音ファイルを他のPCアプリケーションで利用することが可能となる。
メタ情報はデータベースのようなファイルを別途用意してそこに付加してもよい。これによっても上記と同様の機能を発揮できる。
つぎにメタ情報の付加のタイミングについて図11により説明する。図11は、メタ情報の付加のタイミングを説明するための図であるが、図8のフローチャートとほぼ同様の図である。すなわち、録音再生装置がお手本音声データを再生し、同時にそのお手本音声データを録音し、その後一定期間無音状態が提供され、その期間発音練習がされ、その発音練習の音声を録音するという動作を表すものであり、発音練習の音声の録音前にメタ情報の付加の動作を表すものである。図8の説明と重複する部分があるが、念のため再度説明する。
図11に示すように、ステップS401では、CPU4は図4の処理(お手本データの再生と無音状態の検出)と同時にお手本データの録音制御を行う。この録音は図7のb’の処理により行われ、ICレコーダ内部で動作する。お手本音声データの録音をしない場合は、お手本音声データの再生のみ行われる。
ステップS402ではCPU4は再生停止処理(図6の処理)を行う。ステップS403ではCPU4は再生累積時間を元にしてメタ情報の付加又はデータベースへの記録する制御を行う。ステップS404ではCPU4は録音再生装置を録音状態(図2の録音状
態動作に切り替える)に設定する。この時点で発音練習ができることになり、CPU4は発音練習内容の録音を開始させる。ステップS405では、CPU4はRTCを起動する。RTCには、待ち時間が設定され、この値は図5の再生累積時間と同じ値となっている。
ステップS406では、再生累積時間に達したかどうか判定される。これはRTCに設定された待ち時間をCPU4が読むことにより判定される。再生累積時間に達していなければ、再生累積時間になるまでステップS406を繰り返す。再生累積時間に達するまで発音練習と発音練習内容の録音ができる。
再生累積時間に達するとステップS407に進み、CPU4は録音再生装置を再生状態にするとともに録音状態(図7の録音処理動作に切り替える)にする。そして、CPU4はつぎのお手本音声データの再生および録音の開始制御を行う。再生および録音の位置は、再生停止処理(図6)において記憶された停止位置からである。この処理がお手本の音声データファイルが終了するまで繰り返される。
ここでの説明の目的であるメタ情報の付加又はデータベースへの記録のタイミングは、上記の手順中、ステップS402の処理の後に行われる。
上記のメタ情報を使用することにより具体的にできることを図12により説明する。図12は録音した音声ファイルの展開例を示すものである。図12に示すように、左側のファイルの配列は録音後のファイルの配列を示すもので、お手本(お手本音声データ)、ユーザ(発音練習音声データ)が交互に並んでいる。通常必ずこの順番に配列される。メタ情報を参照することにより、図の右側のようにお手本のみ又はユーザのみを集めることができる。例えば、お手本を2つ連続、ユーザを2つ連続で集めて編集し直す等のことも可能である。ここでの例のみでなく、その他必要に応じて、特定のデータを集合編集することが可能となる。さらに、PCアプリケーションを使用すれば同様のことが迅速に、簡単に実現できる。
上記のメタ情報等を利用した場合の再生方法について図13により説明する。再生方法として、例えば、つぎの(i)、(ii)、(iii)、(iv)の4つの方法が考えられる。
(i)録音したものをそのまま再生する。メタ情報等を利用しない場合である。図13Aに示すように、お手本音声が一定の時間流れ,それに続いて,ユーザが発音練習した音声が交互に流れる。マスター音声(ここでは英語のお手本)とユーザの練習音声との比較が交互にできるというものである。
(ii)ユーザが発音練習した音声のみを連続して再生する。図13Bに示すようにユーザの練習の音声のみ聴くことができる。元々、お手本音声は録音せず、ユーザが発音練習した音声のみが録音されていれば、図のような再生方法となる。
ところが図11で記録したメタデータ又はデータベースを利用すると、図11で記録したメタデータ又はデータベースは、図12で示した内容へ情報を展開することができる。図12中のユーザのみの音声集合ファイルについて開始ポイントから終了ポイントまで再生することで、ユーザが発音練習した音声のみが連続して流す機能を実現できる。
(iii)お手本音声とユーザの音声練習音声を同時に再生する。図13Cに示すように、お手本音声を左側スピーカ、ユーザ音声を右側スピーカから出力することができる。図11で記録したメタ情報又はデータベースを利用する。図11で記録したメタ情報又はデータベースは、図12で示した内容へ情報を展開することができる。図12のお手本のみの音声集合ファイルを左側から出力されるように、図12のユーザのみの発音音声集合ファイルを右側スピーカから出力されるように処理を行う。当然、お手本音声を右側スピーカから、ユーザ音声を左側スピーカから再生することもできる。この再生方法は既に説明した図1の再生動作の状態と同じであるが、図1のbの処理はDSP3によらなくてもCPU4でも処理可能である。
(iv)お手本音声とユーザ音声をミックスした音声を両スピーカから同時に再生する。図13Dに示すように、お手本音声とユーザ音声をミックスした音声を左側と右側のスピーカから出力することができる。図11で記録したメタ情報又はデータベースを利用する。図11で記録したメタ情報又はデータベースは、図12で示した内容へ情報を展開することができる。図12のお手本のみの音声集合ファイルとユーザのみの音声集合ファイルをミックスして両側のスピーカから出力されるように処理を行う。この再生方法は既に説明した図1の再生動作の状態と同じであるが、図1のbの処理はDSP3によらなくてもCPU4でも処理可能である。
再生方法については、上記の方法に限らず、(a)連続してお手本のみ再生する、(b)ユーザ音声のみ再生する、(c)お手本をある個数分のみ再生しさらにその後同じ個数分ユーザ音声を再生しこれを交互に繰り返す、このとき個数はそれぞれ変えてもよい、(d)右側スピーカ、左側スピーカにそれぞれ音声を再生しているが、外付けのスピーカを用意しそれに再生してもよい。
メタ情報又はデータベースを使用した場合において、これらを認識することができるアプリケーションがインストールされたPC(パーソナルコンピュータ)があれば、PC上においても上記同じ動作を実現できる。
上記アプリケーションがインストールされていないPCであっても、上記(ii)と同じように、ユーザが発音練習した音声のみを再生することができる。図11で記録したメタ情報又はデータベースは、図12で示した内容へ情報を展開することができ、開始ポイントと終了ポイントへの情報をもとに、ユーザの発音練習箇所のみを抜き出すことができるからである。
同様に、上記(iii)、(iv)と同じ機能を実現できる。図11で記録したメタ情報又はデータベースを利用して、お手本音声を左側スピーカ、ユーザ音声を右側スピーカから出力するように又はお手本音声とユーザ音声をミックスした音声をスピーカから出力するように、DSP3又はCPU4による信号処理を行い、ファイル編集処理を行ってファイルを作成することができるからである。
なお本技術は以下のような構成も採ることができる。
(1)外部メモリから読み込まれた音声データを格納する記憶部と、
内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、
内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、
再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部と、
を有し、
上記制御部は、音声データの再生時に該音声データの停止位置検出処理、及び再生開始から該停止位置までの再生時間検出処理を行うとともに、該再生時間検出処理で検出した再生時間に基づいて停止時間を設定し、上記停止位置検出処理で検出した位置で、上記停止時間の間再生を停止させ、上記停止位置から再生を再開させる制御を行う録音再生装置。
(2)上記停止位置は所定時間以上の無音区間が検出された位置である上記(1)に記載の録音再生装置。
(3)上記停止位置は音声データのファイルの切れ目である上記(1)又は(2)に記載の録音再生装置。
(4)上記制御部は、音声データの再生中には、上記音声出力部へ転送される再生音声データを上記外部メモリに保存する制御を行う上記(1)乃至(3)に記載の録音再生装置。
(5)上記制御部は、再生停止中に上記音声入力部から入力された音声データを上記外部メモリに保存する制御を行う上記上記(4)に記載の録音再生装置。
(6)上記制御部は、音声データの再生中には、上記音声出力部へ転送される再生音声データを上記外部メモリに保存する制御を行うとともに、再生停止中には、上記音声入力部からの音声データを上記外部メモリに保存する制御を行い、上記外部メモリに保存された上記再生音声データおよび上記音声入力部から入力された音声データにメタ情報が付加される上記(1)に記載の録音再生装置。
(7)上記メタ情報が音声データの開始ポイントと停止ポイントである上記(6)に記載の録音再生装置。
(8)上記制御部は、上記メタ情報に基づいて、上記外部メモリの再生音声データおよび上記音声入力部からの音声データの再生制御を行う上記(6)又は(7)に記載の録音再生装置。
1 テンポラリバッファ、2 テンポラリバッファコントローラ、3 DSP、4 CPU、5 外部メモリ、6 メモリカードI/F、7 14 DMAC、8 11 PCM I/F、9 ADC、10 マイクロホン、12 DAC、13 ヘッドホン

Claims (9)

  1. 外部メモリから読み込まれた音声データを格納する記憶部と、
    内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、
    内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、
    再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部と、
    を有し、
    上記制御部は、音声データの再生時に該音声データの停止位置検出処理、及び再生開始から該停止位置までの再生時間検出処理を行うとともに、該再生時間検出処理で検出した再生時間に基づいて停止時間を設定し、上記停止位置検出処理で検出した位置で、上記停止時間の間再生を停止させ、上記停止位置から再生を再開させる制御を行う録音再生装置。
  2. 上記停止位置は所定時間以上の無音区間が検出された位置である請求項1に記載の録音再生装置。
  3. 上記停止位置は音声データのファイルの切れ目である請求項1に記載の録音再生装置。
  4. 上記制御部は、音声データの再生中には、上記音声出力部へ転送される再生音声データを上記外部メモリに保存する制御を行う請求項1に記載の録音再生装置。
  5. 上記制御部は、再生停止中に上記音声入力部から入力された音声データを上記外部メモリに保存する制御を行う請求項1に記載の録音再生装置。
  6. 上記制御部は、音声データの再生中には、上記音声出力部へ転送される再生音声データを上記外部メモリに保存する制御を行うとともに、再生停止中には、上記音声入力部からの音声データを上記外部メモリに保存する制御を行い、上記外部メモリに保存された上記再生音声データおよび上記音声入力部から入力された音声データにメタ情報が付加される請求項1に記載の録音再生装置。
  7. 上記メタ情報が音声データの開始ポイントと停止ポイントである請求項6に記載の録音再生装置。
  8. 上記制御部は、上記メタ情報に基づいて、上記外部メモリの再生音声データおよび上記音声入力部からの音声データの再生制御を行う請求項7に記載の録音再生装置。
  9. 外部メモリから読み込まれた音声データを格納する記憶部と、内蔵又は接続されたマイクロホンで集音される音声を入力する音声入力部と、内蔵又は接続されたスピーカによる音声出力を実行させる音声出力部と、再生処理としての上記記憶部の音声データの音声出力部への転送と、録音処理としての上記音声入力部の音声データの上記記憶部への格納の制御を行う制御部とを有する録音再生装置の再生方法であって、
    音声データの再生時に音声データの停止位置検出処理、及び再生開始から上記停止位置までの再生時間検出処理を行い、
    上記停止位置のタイミングで、上記再生時間検出処理で検出した再生時間相当期間の再生停止を行い、
    再生停止してから上記再生時間相当期間経過後に再生を再開する録音再生方法。
JP2012160176A 2012-07-19 2012-07-19 録音再生装置、録音再生方法 Pending JP2014021297A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012160176A JP2014021297A (ja) 2012-07-19 2012-07-19 録音再生装置、録音再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012160176A JP2014021297A (ja) 2012-07-19 2012-07-19 録音再生装置、録音再生方法

Publications (2)

Publication Number Publication Date
JP2014021297A true JP2014021297A (ja) 2014-02-03
JP2014021297A5 JP2014021297A5 (ja) 2015-02-26

Family

ID=50196222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012160176A Pending JP2014021297A (ja) 2012-07-19 2012-07-19 録音再生装置、録音再生方法

Country Status (1)

Country Link
JP (1) JP2014021297A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278743A (ja) * 1995-04-04 1996-10-22 Sony Corp 記録再生装置及び記録再生方法
JPH1153000A (ja) * 1997-08-08 1999-02-26 Sony Corp 記録再生装置
JP2004151379A (ja) * 2002-10-30 2004-05-27 Towa Engineering Corp 携帯型語学学習装置
JP2009282528A (ja) * 2009-06-12 2009-12-03 Sun Corp 録音再生装置、録音再生方法、およびプログラム
JP2012090210A (ja) * 2010-10-22 2012-05-10 Funai Electric Co Ltd 音声出力装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278743A (ja) * 1995-04-04 1996-10-22 Sony Corp 記録再生装置及び記録再生方法
JPH1153000A (ja) * 1997-08-08 1999-02-26 Sony Corp 記録再生装置
JP2004151379A (ja) * 2002-10-30 2004-05-27 Towa Engineering Corp 携帯型語学学習装置
JP2009282528A (ja) * 2009-06-12 2009-12-03 Sun Corp 録音再生装置、録音再生方法、およびプログラム
JP2012090210A (ja) * 2010-10-22 2012-05-10 Funai Electric Co Ltd 音声出力装置

Similar Documents

Publication Publication Date Title
WO2014077182A1 (ja) 携帯情報端末、シャドー音声管理方法及びコンピュータプログラム
JP4622728B2 (ja) 音声再生装置および音声再生処理プログラム
JP2018097239A (ja) 音声再生装置及びプログラム
JP2014021297A (ja) 録音再生装置、録音再生方法
CN101242440A (zh) 一种带语音复读功能的手机
JP2005221565A (ja) 音声データファイル格納方法および録音処理装置
JP4581052B2 (ja) 録音再生装置、録音再生方法、およびプログラム
JP4407119B2 (ja) 命令コード作成装置
JP2005107617A (ja) 音声データ検索装置。
JP3978465B2 (ja) 録音再生装置
JP7279612B2 (ja) 記録装置
JP2005077678A (ja) テキスト音声同期装置およびテキスト音声同期処理プログラム
JP2007140063A (ja) 音声記録再生装置
JP2005107617A5 (ja)
JP3809537B2 (ja) 語学学習システム
JP2010072057A (ja) 音声の録音と再生方法及び該方法を用いる電子辞書
JPWO2007145079A1 (ja) 反復再生学習機およびプログラム
JP2004240352A (ja) 音声比較学習器
JP6810527B2 (ja) 再生制御装置、再生制御システム、並びに再生制御方法、プログラム及び記録媒体
JP6273456B2 (ja) 音声再生装置
JPH0728384A (ja) 語学練習機
JP2015022045A (ja) 音声再生装置
CN201044492Y (zh) 一种带语音复读功能的手机
JP2009237256A (ja) 音声記憶再生装置、音声記憶再生方法
JP2004061625A (ja) テキスト音声合成装置、テキスト音声合成方法、テキスト音声合成プログラム、および、プログラム記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170523