JP2007334968A - Voice switching apparatus - Google Patents
Voice switching apparatus Download PDFInfo
- Publication number
- JP2007334968A JP2007334968A JP2006164005A JP2006164005A JP2007334968A JP 2007334968 A JP2007334968 A JP 2007334968A JP 2006164005 A JP2006164005 A JP 2006164005A JP 2006164005 A JP2006164005 A JP 2006164005A JP 2007334968 A JP2007334968 A JP 2007334968A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- sound
- recorded
- music
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Headphones And Earphones (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、音声切換装置に関し、詳細には、利用者がヘッドフォン等で音楽を聴きながら必要な周囲の状況を的確に把握することが可能な音声切換装置に関する。 The present invention relates to a voice switching device, and more particularly, to a voice switching device that allows a user to accurately grasp a necessary surrounding situation while listening to music with headphones or the like.
従来、CDやMD、フラッシュメモリなどの記録メディアに記憶された音楽データを再生する携帯可能な携帯音楽再生装置が知られている。該携帯音楽再生装置は、通常、ヘッドフォンを用いて使用者のみが再生された音楽を聴くようになっている。携帯音楽再生装置の音楽を再生して、ヘッドフォンで聴く場合、外部の音が聴こえ難い。これは、音楽のみを聴くには良い点であるが、例えば、電車などの公共交通施設を利用しているときには、電車内の放送(停車駅を知らせる放送など)がよく聞き取れず、乗り過ごすことがあるという問題がある。また、会話を行う際には、いちいちヘッドフォンを外さなければならず、面倒であるという問題がある。 Conventionally, portable portable music playback apparatuses that play back music data stored in a recording medium such as a CD, MD, or flash memory are known. The portable music player usually listens to music played only by the user using headphones. When playing music from a portable music player and listening with headphones, it is difficult to hear external sounds. This is a good point for listening to music only. For example, when using a public transportation facility such as a train, you may not be able to hear the broadcasts on the train (such as broadcasts that inform you of the stop station). There is a problem that there is. Moreover, when carrying out a conversation, the headphones must be removed one by one, which is problematic.
上記問題を解決するために、例えば、特許文献1の携帯音声再生装置では、マイクから入力される外部音声を音声認識し、音声認識された外部音声が予め記憶された所定の語句と一致した場合に、その旨を通知する技術が開示されている。 In order to solve the above problem, for example, in the portable audio reproduction device of Patent Document 1, external audio input from a microphone is recognized as voice, and the recognized voice is matched with a predetermined phrase stored in advance. Discloses a technique for notifying that effect.
しかしながら、特許文献1では、例えば、目的の降車駅を「うらわ」と登録した場合、「みなみうらわ」や「きたうらわ」というアナウンスに対して、音声認識の結果、一致と判断して、利用者に「うらわ」と通知することになるため、利用者は「うらわ」が「みなみうらわ」であるのか、「きたうらわ」であるのかを判断することができないという問題がある。 However, in Patent Document 1, for example, when the target disembarkation station is registered as “Urawa”, it is determined that the announcements “Minami Urawa” and “Kita Urawa” match as a result of voice recognition. , Because the user will be notified of "Urawa", the problem is that the user cannot determine whether "Urawa" is "Minami Urawa" or "Kita Urawa". is there.
また、特許文献1では、例えば、「うらわ」駅で下車しようとしている場合において、周囲の人物が目的地とは異なる場所で「うらわ」と発した場合、音声認識の結果、一致と判断して、利用者に「うらわ」と通知される場合がある。しかし、直ぐには、その通知が車掌アナウンスによるものか周囲の人物によるものかを判断できないという問題がある。 Further, in Patent Document 1, for example, when the user is getting off at “Urawa” station, if the surrounding person utters “Urawa” at a place different from the destination, it is determined as a result of voice recognition. Then, the user may be notified of “Urawa”. However, there is a problem in that it cannot be immediately determined whether the notification is due to a conductor announcement or a surrounding person.
また、利用者は音楽再生の利用を「周囲の騒音が好ましくないため、音楽再生を利用する」というケースもあるが、特許文献1では、周囲の騒音が静かになったら音楽再生を中止したいという要望に応えることができないという問題がある。 In addition, there is a case where the user uses the music playback because “the ambient noise is not preferable, so the music playback is used”. However, in Patent Document 1, the user wants to stop the music playback when the ambient noise becomes quiet. There is a problem that the request cannot be met.
また、特許文献2のヘッドセットでは、マイクから入力される外部音声を音声認識し、
音声認識の結果、特定のキーワード、特定の人の声紋、または一定基準音量以上の音が一定時間検出された場合に、音楽再生装置から入力される音楽出力を停止して、利用者が外部音声を聞こえるようにする技術が開示されている。特許文献2によれば、音楽鑑賞中も特定人物の呼びかけや電話の呼び出しにも直ぐに反応することができる。
Moreover, in the headset of
As a result of voice recognition, when a specific keyword, a voice print of a specific person, or a sound of a certain reference volume or higher is detected for a certain period of time, the music output input from the music playback device is stopped and the user A technique for making a sound heard is disclosed. According to
しかしながら、特許文献2では、「声紋一致」および「一定基準音量以上の音の検出」によって再生中の音楽がミュートされた場合、どのような呼びかけ、音によって音楽再生がミュートされたのかを判別することができないという問題がある。
However, in
例えば、音楽鑑賞中の利用者に対して「夕飯を食べに行こうよ」という呼びかけに対して、声紋一致した場合、音楽再生はミュートされたが、利用者はなぜ音楽再生がミュートされたのかがわからないという問題がある。例えば、音楽鑑賞中の利用者周辺でドアブザー音が鳴り響いた場合、音楽再生はミュートされたが、その中断がドアブザーなのか、電話コールなのか、または誰かの呼びかけなのかを判別することができないとい問題がある。さらに、特許文献1と同様、周囲の騒音が静かになったら音楽再生を中止したいという要望に応えることができないという問題がある。 For example, if the voiceprint matches a call to a user who is listening to music saying “Let's go for dinner,” the music playback was muted, but the user was muted. There is a problem of not knowing. For example, if a door buzzer sounds in the vicinity of a user listening to music, the music playback is muted, but it cannot be determined whether the interruption is a door buzzer, a telephone call, or someone's call. There's a problem. Furthermore, as in Patent Document 1, there is a problem that it is impossible to respond to a request to stop music playback when ambient noise becomes quiet.
本発明は、上記課題に鑑みてなされたものであり、主として、利用者が音楽鑑賞をしている場合に、周囲の状況変化を的確に把握することが可能な音声切換装置を提供することを目的とする。 The present invention has been made in view of the above problems, and mainly provides a voice switching device capable of accurately grasping changes in the surrounding situation when a user is listening to music. Objective.
上述した課題を解決し、目的を達成するために、本発明は、マイクから入力される外部音声を録音音声として記憶する記憶手段と、前記マイクから入力される外部音声が判定条件に一致するか否かを判定する解析手段と、前記記憶手段に記憶した録音音声を再生する再生手段と、音楽再生装置から入力される音楽、前記マイクから入力される外部音声、および前記再生手段で再生される録音音声を択一的に切り換えてスピーカーに出力する切換手段と、を備え、前記解析手段により前記マイクから入力される外部音声が判定条件に一致すると判断された場合、前記再生手段は、条件一致を検出した時点よりも所定時間前からの録音音声を再生し、前記切換手段は当該再生した録音音声をスピーカーに出力することを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention relates to storage means for storing external sound input from a microphone as recorded sound and whether the external sound input from the microphone matches a determination condition. An analysis means for determining whether or not, a playback means for playing back the recorded voice stored in the storage means, music input from a music playback device, external sound input from the microphone, and playback by the playback means Switching means for selectively switching the recorded sound and outputting it to a speaker, and when the external sound input from the microphone matches the determination condition by the analysis means, the reproduction means The recorded sound from a predetermined time before the point in time when the sound is detected is reproduced, and the switching means outputs the reproduced recorded sound to a speaker.
以下に添付図面を参照して、この発明にかかる音声切換装置の最良な実施の形態を詳細に説明する。この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。 Exemplary embodiments of an audio switching device according to the present invention will be explained below in detail with reference to the accompanying drawings. The present invention is not limited to the embodiments. In addition, constituent elements in the following embodiments include those that can be easily assumed by those skilled in the art or that are substantially the same.
(実施の形態)
本実施の形態に係る音声切換装置は、マイクから入力される外部音声を録音音声として記憶する記憶手段と、前記マイクから入力される外部音声が判定条件に一致するか否かを判定する解析手段と、前記記憶手段に記憶した録音音声を再生する再生手段と、音楽再生装置から入力される音楽、前記マイクから入力される外部音声、および前記再生手段で再生される録音音声を択一的に切り換えてスピーカーに出力する切換手段と、を備え、前記解析手段により前記マイクから入力される外部音声が判定条件に一致すると判断された場合、前記再生手段は、条件一致を検出した時点よりも所定時間前からの録音音声を再生し、前記切換手段は当該再生した録音音声をスピーカーに出力する。この所定時間は、判定条件に一致した音声および利用者が該一致した音声の前後関係を把握するために必要な先行時間を含む長さ(図6のΔT=Δt1+Δt3参照)であることが望ましい。
(Embodiment)
The audio switching device according to the present embodiment includes a storage unit that stores external audio input from a microphone as recorded audio, and an analysis unit that determines whether the external audio input from the microphone matches a determination condition. And playback means for playing back the recorded voice stored in the storage means, music input from the music playback device, external voice input from the microphone, and recorded voice played back by the playback means. Switching means for switching and outputting to a speaker, and when the external sound input from the microphone is determined to match the determination condition by the analysis means, the playback means is more predetermined than when the condition match is detected. The recorded voice from before the time is played back, and the switching means outputs the played back recorded voice to the speaker. The predetermined time is desirably a length including the voice that matches the determination condition and the preceding time required for the user to grasp the context of the matched voice (see ΔT = Δt1 + Δt3 in FIG. 6).
本実施の形態の音声切換装置によれば、マイクから入力される外部音声が判定条件に一致した場合に、現時点よりも所定時間前からの録音音声を再生して、スピーカーに出力することができ、ヘッドフォン等を使用して音楽鑑賞をしている場合に、周囲の状況変化を的確に把握することが可能となる。 According to the audio switching device of the present embodiment, when the external audio input from the microphone matches the determination condition, the recorded audio from a predetermined time before the current time can be reproduced and output to the speaker. When listening to music using headphones or the like, it becomes possible to accurately grasp changes in the surrounding environment.
また、再生手段は、録音音声を短縮再生(録音音声の録音時間よりも短い時間で再生)し、具体的には、通常の音声再生よりも早い再生スピードで再生(スピード再生)し、若しくは、無音部分をSKIP(スキップ)して再生(SKIP再生)するのが望ましい。
また、再生手段は、前記録音音声の再生は実時間に追いつくまで行なうことが望ましい。これにより、ライブの外部音声に追いつくことができ、意識の切換をスムースにさせることができる。
Further, the playback means plays back the recorded voice in a shortened manner (plays back in a time shorter than the recording time of the recorded voice), specifically, plays back at a playback speed faster than normal voice playback (speed playback), or It is desirable to reproduce the silence (SKIP reproduction) by skipping the silent part.
Further, it is desirable that the reproduction means performs reproduction of the recorded voice until it catches up with real time. As a result, it is possible to catch up with live external audio and to smoothly switch consciousness.
また、前記録音音声の再生の前に、所定の音声を再生する音声再生手段を備えることが望ましい。これにより、利用者は録音音声が再生されることを前もって知ることが可能となる。 In addition, it is desirable to provide a sound reproducing means for reproducing a predetermined sound before reproducing the recorded sound. As a result, the user can know in advance that the recorded voice will be reproduced.
また、解析手段は、判定条件として、キーワード、声紋、音声パターン、および音声レベルのうちの1または複数を予め記憶しておき、マイクから入力される外部音声がキーワード、声紋、音声パターン、および音声レベル等と一致するか否かを判定することが望ましい。これにより、外部音声がキーワード、声紋、音声パターン、および音声レベルの条件に一致した場合に、利用者は現時点よりも所定時間前からの録音音声を聴くことができ、例えば、ヘッドフォンをして音楽鑑賞をしている電車の利用者は、降車駅のような外部アナウンスを的確に判別することができ、また、外部から利用者への呼びかけや周辺環境状況の変化等を認識することが可能となる。 Further, the analysis means stores in advance one or more of keywords, voiceprints, voice patterns, and voice levels as determination conditions, and external voices input from the microphone are keywords, voiceprints, voice patterns, and voices. It is desirable to determine whether or not the level matches. As a result, when the external sound matches the keyword, voiceprint, sound pattern, and sound level conditions, the user can listen to the recorded sound from a predetermined time before the current time. Train users who are watching can accurately identify external announcements such as getting off stations, and can recognize external calls to users and changes in the surrounding environment. Become.
また、再生手段は、録音音声を短縮再生(録音音声の録音時間よりも短い時間で再生)し、具体的には、通常の音声再生よりも早い再生スピードで再生(スピード再生)し、若しくは、無音部分をSKIP(スキップ)して再生(SKIP再生)するのが望ましい。これにより、ライブの外部音声に追いつくことができ、意識の切換をスムースにさせることができる。 Further, the playback means plays back the recorded voice in a shortened manner (plays back in a time shorter than the recording time of the recorded voice), specifically, plays back at a playback speed faster than normal voice playback (speed playback), or It is desirable to reproduce the silence (SKIP reproduction) by skipping the silent part. As a result, it is possible to catch up with live external audio and to smoothly switch consciousness.
また、解析手段は、判定条件として、キーワード、声紋、音声パターン、および音声レベルのうちの1または複数を予め記憶しておき、マイクから入力される外部音声がキーワード、声紋、音声パターン、および音声レベル等と一致するか否かを判定することが望ましい。これにより、外部音声がキーワード、声紋、音声パターン、および音声レベルの条件に一致した場合に、利用者は現時点よりも所定時間前からの所定時間前(図6のΔT=Δt1+Δt3)からの録音音声を聴くことができ、例えば、ヘッドフォンをして音楽鑑賞をしている電車の利用者は、降車駅のような外部アナウンスを的確に判別することができ、また、外部から利用者への呼びかけや周辺環境状況の変化等を認識することが可能となる。 Further, the analysis means stores in advance one or more of keywords, voiceprints, voice patterns, and voice levels as determination conditions, and external voices input from the microphone are keywords, voiceprints, voice patterns, and voices. It is desirable to determine whether or not the level matches. Thus, when the external sound matches the keyword, voiceprint, sound pattern, and sound level conditions, the user can record the sound from a predetermined time before the current time (ΔT = Δt1 + Δt3 in FIG. 6). For example, train users who are listening to music using headphones can accurately identify external announcements such as getting off stations, and can also call users from outside. It becomes possible to recognize changes in the surrounding environment.
また、スピーカーは、ヘッドフォンに内蔵されるスピーカーであることが望ましい。これにより、ヘッドフォンを使用して、音声再生装置で再生される音楽を鑑賞している際に、周囲の状況変化を的確に把握することが可能となる。 The speaker is preferably a speaker built in the headphones. This makes it possible to accurately grasp changes in the surrounding situation while listening to music played by the audio playback device using headphones.
(実施例)
図1は、本発明に係る音声切換装置を適用したヘッドフォンシステムの外観構成を示す図である。同図において、10は、CDやMD、フラッシュメモリなどの記録メディアに記憶された音楽データを再生する携帯可能な音声再生装置、20は、操作部21やマイク22が搭載されるスイッチ部、21は、音声再生装置10の音楽の再生/停止等を操作するための操作部、22は、外部の音声を集音するためのマイク、30はヘッドフォン、31は、ヘッドフォン30に搭載されたスピーカーを示している。本発明に係る音声切換装置100は、スイッチ部20の内部に搭載される。
(Example)
FIG. 1 is a diagram showing an external configuration of a headphone system to which an audio switching device according to the present invention is applied. In the figure, 10 is a portable audio playback device that plays back music data stored in a recording medium such as a CD, MD, or flash memory, 20 is a switch unit on which an
図2は、本発明に係る音声切換装置100のブロック構成を示す図である。音声切換装置100は、図2に示すように、記憶装置101、再生装置102、解析装置103、検出器104、切換器105を備えている。
FIG. 2 is a diagram showing a block configuration of the
マイク21は、音声切換装置100の利用中(電源稼動中)、終始周囲の音声を集音し、集音された音声は外部音声として、記憶装置101、音声解析装置103、切換器105に出力される。
The
切換器105は、検出器104や操作部22からの切換指示に従って、マイク21から入力される外部音声、再生装置102から入力される録音音声、音楽再生装置10から入力される音楽を択一的に切り換えて、スピーカー31に出力する。
The
記憶装置101は、電源稼動中、マイク21から入力される外部音声の録音を継続する。ここで、録音によって録音音声が保持される時間をΔTとする。
The
検出器104は、音楽再生装置10からの音楽の入力/停止や再生装置102からの録音音声の入力を検出して、切換器105に対する切換指示や解析装置103に対する解析指示を出力する。
The
再生装置102は、解析装置103から録音音声再生指示(PLAY)が入力されると、記憶装置101に蓄積された外部音声を録音音声として再生して、検出器104および切換器105に出力する。
When the recorded sound playback instruction (PLAY) is input from the
解析装置103は、検出器104から判定開始指示が入力されると、マイク21から入力される外部音声を認識し、予め保存している判定条件テーブル(図4参照)に登録されている判定条件(所定キーワード、声紋、音声パターン、音声レベル)と一致するか否かを判定し、一致した場合には、解析を停止して再生装置102に対して、録音音声再生指示(PLAY)を出力する。
When the determination start instruction is input from the
具体的には、解析装置103は、入力される外部音声に対して、音声認識する音声認識手段、声紋認識する声紋認識手段、音声パターン認識する音声パターン認識手段、音声レベルを測定する音声レベル測定手段等を備えており、入力される外部音声が、予め条件判定テーブルに登録されている所定キーワード、声紋、音声パターン、音声レベルと一致するか否かを検出する。
Specifically, the
図4は、判定条件テーブルの構成例を示す図である。判定条件テーブルには、図4に示すように、所定キーワード、声紋、音声パターン、および音声レベルの比較要素と、通知する場合の関連語句が登録される。判定条件テーブルのデータは不図示の入力手段で利用者が任意に登録可能となっている。例えば、図4に示す判定条件テーブルでは、所定キーワードとして「うらわ」、声紋として「友人Aの声紋データ」、音声レベルとして「20dB以下」、および音声パターンとして「電話ベルの音声パターンデータ」が登録されており、解析装置103は、外部音声がこれらの比較要素(判定条件)の少なくとも1つと一致するか否かの判定を行う。なお、条件一致を判定した場合には、対応する関連語句の音声をスピーカー31から出力して、利用者にどの判定条件で一致を検出したかを通知することにしてもよい。例えば、図4に示す例では、「所定キーワード」の「うらわ」で条件一致を検出した場合には、「うらわ」を検出した旨を通知し、また、「友人Aの声紋データ」で条件一致を検出した場合には、「友人Aの声紋」を検出した旨を通知する。
FIG. 4 is a diagram illustrating a configuration example of the determination condition table. In the determination condition table, as shown in FIG. 4, predetermined keywords, voiceprints, voice patterns, and voice level comparison elements, and related words / phrases for notification are registered. The data of the determination condition table can be arbitrarily registered by the user using an input means (not shown). For example, in the determination condition table shown in FIG. 4, “Urawa” as a predetermined keyword, “voice print data of friend A” as a voice print, “20 dB or less” as a voice level, and “phone bell voice pattern data” as a voice pattern. The
また、ここでは、判定条件を所定キーワード、声紋、音声パターン、および音声レベルとしているが、これらの全てを判定条件とする必要はなく、所定キーワード、声紋、音声パターン、および音声レベルのうちの1または複数を判定条件とすることができる。また、ここでは、一致の判定をOR条件としているが、AND条件としてもよい。 In addition, here, the determination condition is a predetermined keyword, a voiceprint, a voice pattern, and a voice level. However, it is not necessary to set all of them as the determination condition, and one of the predetermined keyword, voiceprint, voice pattern, and voice level. Alternatively, a plurality of determination conditions can be used. Further, here, the determination of coincidence is an OR condition, but an AND condition may be used.
図3は、図1の音声切換装置100の動作を説明するためのフローチャートである。以下の説明では、利用者がヘッドフォン30を使用して、音楽再生装置10で再生される音楽を鑑賞する場合について説明する。
FIG. 3 is a flowchart for explaining the operation of the
図3において、まず、音声切換装置100では、電源が投入されると、マイク21は、周囲の音声を集音して外部音声として、記憶装置101、音声解析装置103、および切換器105に出力する。また、切換器105は、SWを端子aに切換えて、マイク21から入力される外部音声をスピーカー31より出力する。これにより、ヘッドフォン30をしている利用者が、ヘッドフォン30をすることによって阻害される周囲からの音声を、音声切換装置100を経由して明確に聞き取ることが可能となる。すなわち、ヘッドフォン30を外すことなく、リアルタイムに周囲の音を確認したり、会話したりすることが可能となる。また、記憶装置101は、マイク21から入力される外部音声を録音し続ける。録音によって保持される時間はΔTとする。
In FIG. 3, first, in the
つづいて、検出器104は、音楽入力信号を電圧レベルなどから検出することで、音楽再生装置10から音楽が入力されたか否かを検出し(ステップS11)、音楽の入力を検出した場合には(ステップS11の「Yes」)、外部音声解析処理を実行する(ステップS12)。なお、本実施例では、音楽入力信号を電圧レベルなどから検出することで、音声切換装置100が自律して稼動できるような構成としているが、音楽再生開始の検出を音楽再生装置10からの再生指示を制御信号として受信することで判断しても良い。また、音声切換のタイミングで、ビープ音や効果音などを鳴らすことにしてもよい。これにより、利用者に、これから以前とは異なる選択音声が出力されるということを意識させることができる。また、現在の切換状況を利用者に知らせるため、スイッチ部20にLEDや液晶パネルなどの表示装置を合わせて用意することで、切換状況(何の音声が出力されているか)を通知することにしてもよい。
Subsequently, the
ここで、外部音声解析処理を詳細に説明する。検出器104は、音楽入力を検知すると、切換器105に対して、音楽出力を行うための切換指示(SW:b)を出力すると共に、解析装置103に対して、判定開始指示(解析指示)を出力する。
Here, the external audio analysis process will be described in detail. When detecting the music input, the
切換器105は、検出器104から音楽出力を行うための切換指示(SW:b)が入力されると、SWを端子bに切換え、音声出力がスピーカー31に出力される。これにより、ユーザはスピーカー31より再生された音楽を聴くことができる。また、解析装置103は、検出器104から判定開始指示を受けとると、判定条件テーブルに予め登録されている判定条件(所定キーワード、声紋、音声パターン、音声レベル)と、入力された外部音声が一致するかどうかの判定を開始し(ステップS15)、一致しない場合には、ステップS13に戻る一方、一致した場合には、外部音声解析処理を停止し、ステップS16に移行する。
When the switching instruction (SW: b) for performing music output from the
検出器104は、音楽再生を検知している間、音楽停止に関しても監視を行う(ステップS13)。検知器104は、音楽停止を検知した場合、解析中止処理を実行した後(ステップS14)、ステップS11に戻る。なお、音楽停止の検出は外部の音楽再生装置10からの停止指示を制御信号として受信することで判断しても良い。
While detecting the music reproduction, the
この解析中止処理では、検出器104は、音楽停止を検知すると、切換器105に対して外部音声出力を行うための切換指示(SW:a)を出力すると共に、解析装置103に対して、判定中止指示(解析中止指示)を出力する。切換器105は、検出器104から外部音声出力を行うための切換指示(SW:a)が入力されると、SWを端子aに切換え、外部音声がスピーカー31に出力される。これにより、利用者は音楽が停止している間はヘッドフォン30を外すことなく、リアルタイムに周囲の音を確認したり、会話したりすることが可能となる。また、解析装置103は、検出器104から判定中止指示を受けとると、外部音声の解析を中止する。
In this analysis stop processing, when detecting the music stop, the
ステップS16では、記憶音声再生処理が実行される。この記憶音声再生処理では、解析装置103は、再生装置102に対して、記憶した録音音声の録音音声再生指示(PLAY)を出力する。再生装置102は、解析装置103から録音音声再生指示(PLAY)が入力されると、記憶装置101に蓄積された外部音声を録音音声として再生して、検出器104に出力する。
In step S16, a stored audio reproduction process is executed. In the stored voice reproduction process, the
なお、録音再生している際中も音楽再生装置10の音楽再生は継続しているが、音楽再生装置10と音声切換装置100の間に制御ラインが設けられている場合、録音再生と同期して、音楽再生停止信号を外部の音楽再生装置10に通知してもよい。これにより、音楽が利用者の意図しない状況で再生され続けるという状況を回避することができる。
Note that music playback of the
検出器104は、再生装置102から出力される録音音声を検出すると、切換器105に対して録音音声をスピーカー31に出力するための切換指示(SW:c)を出力する。切換器105は、検出器104から録音音声出力を行うための切換指示(SW:c)が入力されると、SWを端子cに切換え、録音音声がスピーカー31に出力される。
When the
ここで、再生装置102で再生される録音音声について説明する。再生装置102による録音音声の再生は、録音音声開始時点(判定条件の一致を検出した時点)よりも所定時間ΔT過去から開始する。図5は、録音音声の再生方法(その1)を説明するための図である。所定時間ΔTは、下記の条件式(1)を満たすことが望ましい。
Here, the recorded sound reproduced by the reproducing
所定時間ΔT=所定の音声が出力される時間Δt1+一定時間Δt3・・・(1)
図5において、Δt1は、所定の音声が出力される時間であり、説明の便宜上、解析装置103の条件一致の判定に必要な解析時間と同じ時間であるとしている。例えば、Δt1は、所定キーワードとして「うらわ」が登録されている場合、「うらわ」の音声が出力されるだけの時間である。また、Δt3は、利用者が該一致した音声の前後関係を把握するために必要な先行時間である。例えば、Δt2を、「みなみ」を音声出力する時間とした場合、Δt3は、「みなみ」を十分判断できるだけの時間である。なお、Δt3を操作者が任意に設定できる構成としてもよい。
Predetermined time ΔT = predetermined sound output time Δt1 + predetermined time Δt3 (1)
In FIG. 5, Δt1 is a time during which a predetermined sound is output, and for the sake of convenience of explanation, it is assumed that it is the same time as the analysis time necessary for determining whether the
このように、「うらわ」というキーワードに対して、所定時間ΔT過去からの録音音声を再生することで、その前後関係を把握でき、判定一致が純粋に「うらわ」でヒットしたのか、「みなみうらわ」や「きたうらわ」でヒットしたのかを判別することができる。また、「うらわ」というキーワードに対して、外部音声をそのまま録音音声として再生することで、判定一致した状況が降車のための車掌アナウンスによるものか、周囲の人が目的地とは関係なく話した内容なのかを判別することができる。これにより、利用者はヘッドフォン30で音楽を聴きながら、利用者にとって必要な周囲の状況を的確に把握することが可能となる。
In this way, by playing back the recorded voice from the past for a predetermined time ΔT for the keyword “Urawa”, it is possible to grasp the context, and whether the judgment match is purely “Urawa”, “ It is possible to determine whether it has been hit with Minami Urawa or Kita Urawa. Also, by playing the external voice directly as recorded voice for the keyword “Urawa”, whether the matching situation is due to the conductor announcement for getting off the vehicle, or the surrounding people talks regardless of the destination. Can be determined. As a result, the user can accurately grasp the surrounding conditions necessary for the user while listening to music with the
また、[声紋データ]の場合には、例えば、友人Aが「夕飯を食べに行こうよ」と呼びかけた際、[友人Aの声紋]という判定一致の状況を、ΔT過去からの録音音声を再生することで、友人Aが呼びかけの際に何と呼びかけたのかを判別することができる。 Also, in the case of [voice print data], for example, when a friend A calls “Let's go to eat dinner”, the situation of the determination coincidence [voice print of friend A] is expressed as ΔT from the past. By playing, it is possible to determine what the friend A called when calling.
また、[音声パターン]の場合には、電話のベルが鳴ったこと、また、その直後に電話ベルが鳴り止んだとしても、判定一致した状況を、ΔT過去からの録音音声を再生することで、電話のベルが鳴ったことを判断することができる。 Also, in the case of [Voice Pattern], even if the telephone bell rings, and even if the telephone bell stops ringing immediately after that, the situation where the judgment coincides can be reproduced by playing the recorded voice from the past ΔT. , You can determine that the phone bell rang.
また、[音声レベル]の場合には、周囲の状況が静かになったという状況を判別することができる。これは周囲の状況に対して音漏れを気にする人に対しては周囲が静かになったから、音楽のボリュームを下げるといった判断を行うのに適している。なお、周囲がうるさくなったという状況を判別して、周囲がうるさいから音楽のボリュームを上げることにしてもよい。 Further, in the case of [audio level], it is possible to determine a situation where the surrounding situation is quiet. This is suitable for a person who cares about sound leakage in the surrounding situation because the surroundings have become quieter and the volume of music is reduced. Note that it may be determined that the surroundings are noisy and the music volume is increased because the surroundings are noisy.
なお、上述したように、録音音声を再生開始する直前に今回の判定が何に起因して発生したのかを、スピーカー31から利用者に通知する構成としてもよい。この通知によって、利用者は周囲の状況を把握するのにより優位なデータを取得することが可能となるからである。或いはチャイム音などにより注意を促がすようにしてもよい。また、これらを併用してもよい。
Note that, as described above, the
また、録音音声を再生する場合は短縮再生する。ここで、短縮再生とは、録音音声の録音時間よりも短い時間で再生することをいい、例えば、通常の音声再生よりも早い再生スピードで再生(スピード再生)し、若しくは、無音部分を効率よくSKIPして再生(SKIP再生)する。 In addition, when the recorded voice is played back, the playback is shortened. Here, the shortened playback means playback in a shorter time than the recording time of the recorded voice, for example, playback at a playback speed faster than normal voice playback (speed playback), or efficient silence portion. SKIP playback (SKIP playback).
図6は、本実施例に係る録音音声の再生方法(その2)を説明するための図である。図6において、録音音声を通常スピードで再生すると、スピーカー31から出力される音声は、常にΔT分だけ過去の音声となる。本実施例では、ΔTのずれを通常スピードより早く再生すること、若しくは無音部分をSKIPすることでその差分が「0」に近づいて行くように再生して、短縮再生時間(ΔS)が経過した時点、つまり差分が「0」となった時点で、再生装置102による録音音声の再生を停止し、切換器105により、スピーカー出力を外部音声に切り替える。これにより、ヘッドフォン30で音楽を聞きながら目的の外部音声を認識でき、かつ外部音声認識後への復帰(意識の切換)をスムースにさせることができる。
FIG. 6 is a diagram for explaining a method (part 2) for reproducing a recorded sound according to the present embodiment. In FIG. 6, when the recorded sound is reproduced at the normal speed, the sound output from the
例えば、音楽を聴いている最中に友人Aに話しかけられた状況を想定すると、まず、声紋による判定一致によって、「声紋、友人A」で条件一致を通知する。これにより、音楽を聴いている最中に友人Aが呼びかけをしたということが認識できる。次に、録音音声を短縮再生することで、友人Aがどのような内容の呼びかけをしたのかを把握することができる。さらに、友人Aが話を継続したとしても、そのまま友人Aの会話を中断することなく、その話を途切れなく聞いて理解することが可能となる。 For example, assuming a situation in which a friend A talks to music while listening to music, first, “voice comprehension, friend A” is notified of a condition match by determination match by voice print. Thereby, it can be recognized that the friend A called while listening to the music. Next, by shortening and reproducing the recorded voice, it is possible to grasp what kind of content the friend A called. Furthermore, even if the friend A continues the conversation, the conversation can be heard and understood without interruption without interrupting the conversation of the friend A.
さて、上記ステップS16の記憶音声再生処理が終了した後は、検出器105は、切換器105に対して外部音声をスピーカー31出力するための切換指示(SW:a)を出力する。切換器105は、検出器104から外部音声出力を行うための切換指示(SW:a)が入力されると、SWを端子aに切換え、外部音声がスピーカー31から出力される。なお、この場合、利用者が新たに音楽鑑賞を行う場合は、操作部22から手動にて切換器105に音楽出力するための切換指示(SW:b)を出力する。なお、一定時間経過後に、自動的に切換器105に音楽出力するための切換指示(SW:b)を出力する構成としてもよい。
Now, after the stored audio reproduction process in step S16 is completed, the
以上説明したように、本実施例に係る音声切換装置100によれば、マイク21から入力される外部音声を録音音声として記憶する記憶装置101と、マイク21から入力される外部音声が判定条件に一致するか否かを判定する解析装置103と、記憶装置101に記憶した録音音声を再生する再生装置102と、検出器104の指示に応じて、音楽再生装置10から入力される音楽、マイク21から入力される外部音声、および再生装置102で再生される録音音声を択一的に切り換えてスピーカー31に出力する切換器105と、を備え、解析装置102によりマイク21から入力される外部音声が判定条件に一致すると判断された場合、条件一致を検出時点より所定時間前からの録音音声を再生して録音音声をスピーカー31に出力することとしたので、マイクから入力される外部音声が判定条件に一致した場合に、条件一致を検出時点よりも所定時間前からの録音音声を再生して、スピーカーに出力することができ、ヘッドフォン等を使用して音楽鑑賞をしている場合に、周囲の状況変化を的確に把握することが可能となる。
As described above, according to the
また、本実施例に係る音声切換装置100によれば、再生装置102は、録音音声を短縮再生(録音音声の録音時間よりも短い時間で再生)し、具体的には、通常の音声再生よりも早い再生スピードで再生(スピード再生)し、若しくは無音部分をSKIPして再生(SKIP再生)することとしたので、ライブの外部音声に追いつくことができ、意識の切換をスムースにさせることができる。
Further, according to the
また、本実施例に係る音声切換装置100によれば、解析装置103は、判定条件として、キーワード、声紋、音声パターン、および音声レベルのうちの1または複数を予め記憶しておき、マイク21から入力される外部音声がキーワード、声紋、音声パターン、および音声レベル等と一致するか否かを判定することとしたので、外部音声がキーワード、声紋、音声パターン、および音声レベルの条件に一致した場合に、利用者は所定時間前からの録音音声を聴くことができ、例えば、ヘッドフォンをして音楽鑑賞をしている電車の利用者は、降車駅のような外部アナウンスを的確に判別することができ、また、外部から利用者への呼びかけや周辺環境状況の変化等を認識することが可能となる。
Further, according to the
また、本実施例に係る音声切換装置100によれば、スピーカー31は、ヘッドフォン30に内蔵されることとしたので、ヘッドフォンを使用して、音声再生装置で再生される音楽を鑑賞している際に、周囲の状況変化を的確に把握することが可能となる。
Further, according to the
(変形例1)
図7は、本発明に係る音声切換装置の変形例1を説明するための図である。図7において、変形例1は上記実施例と異なり、音声切換装置100を音声再生装置10の内部に実装した構成である。
(Modification 1)
FIG. 7 is a view for explaining a first modification of the voice switching device according to the present invention. In FIG. 7, the modification 1 is different from the above embodiment in that the
(変形例2)
図8は、本発明に係る音声切換装置の変形例2を説明するための図である。図8において、変形例3は、音声切換装置100をヘッドフォンの内部に実装した構成である。
(Modification 2)
FIG. 8 is a diagram for explaining a second modification of the voice switching device according to the present invention. In FIG. 8, the
(変形例3)
図2に示す音声切換装置100では、入出力音声や制御信号を送信するために信号線(有線)を使用しているが、信号の送信を行う場合は有線に限られるものではなく、Bluetooth等の無線通信を使用することにしてもよい。
(Modification 3)
In the
(変形例4)
ヘッドセットを使用して電話会議・TV会議を実施する場合、周囲の音声状況の変化、例えば、他から声をかけられたり、電話が鳴ってないのに気づかないことがある。そこで、本実施例に係るヘッドフォンシステムを使用して電話会議・TV会議を実施する場合、音楽再生装置10からの音楽を入力する代わりに、会議音声を入力とし、さらに、音声・TV会議の場合には、会議音声と外部音声のどちらの音声出力が優先かを前もって判断することが難しいため、会議音声をMUTE(ミュート)せずに効果音やビープ音を会議音声に重ねてスピーカー31に出力することにしてもよい。また、利用者にとって必要な状況変化が生じたことを、表示装置を使用して映像で知らせることにしてもよい。さらに、状況変化の音声による通知と、映像による通知の両方を行うことにしてもよく、音声および映像にどのような内容の状況変化があったかの情報を含めることにしてもよい。
(Modification 4)
When a conference call or video conference is performed using a headset, there may be a case where a change in the surrounding voice situation, for example, a voice call from other people or a phone call is not noticed. Therefore, in the case of conducting a telephone conference / TV conference using the headphone system according to the present embodiment, instead of inputting music from the
(変形例5)
また、本発明に係る音声切換装置100は、ヘッドフォンを使用した場合に限られるものではなく、室内・車載用のスピーカー等に出力することにしてもよい。例えば、マイクを玄関のドアに配置し、かつ、音声切換装置100、音楽再生装置、およびスピーカーを室内に配置し、玄関のマイクから入力される外部音声に応じて、スピーカーから出力される音声を切換ることにしてもよい。これにより、例えば、室内で音楽鑑賞をしている場合に、玄関のマイクで来客者の音声を検出した場合に、スピーカーの出力を来客者の音声に切り換えることが可能となる。
(Modification 5)
Moreover, the
本発明に係る音声切換装置は、音楽鑑賞をしている場合に、外部の状況変化を的確に把握する場合に有用であり、特に、ヘッドフォンで音楽鑑賞をする場合に有用である。 The audio switching device according to the present invention is useful for accurately grasping an external situation change when listening to music, and particularly useful for listening to music using headphones.
10 音声再生装置
20 スイッチ部
21 操作部
22 マイク
30 ヘッドフォン
31 スピーカー
100 音声切換装置
101 記憶装置
102 再生装置
103 解析装置
104 検出器
105 切換器
DESCRIPTION OF
Claims (7)
前記マイクから入力される外部音声が判定条件に一致するか否かを判定する解析手段と、
前記記憶手段に記憶した録音音声を再生する再生手段と、
音楽再生装置から入力される音楽、前記マイクから入力される外部音声、および前記再生手段で再生される録音音声を択一的に切り換えてスピーカーに出力する切換手段と、
を備え、
前記解析手段により前記マイクから入力される外部音声が判定条件に一致すると判断された場合、前記再生手段は、条件一致を検出した時点よりも所定時間前からの録音音声を再生し、前記切換手段は当該再生した録音音声を前記スピーカーに出力することを特徴とする音声切換装置。 Storage means for storing external sound input from a microphone as recorded sound;
Analysis means for determining whether or not external sound input from the microphone matches a determination condition;
Playback means for playing back the recorded voice stored in the storage means;
Switching means for selectively switching between music input from a music playback device, external sound input from the microphone, and recorded sound played back by the playback means, and outputting to a speaker;
With
When it is determined by the analysis means that the external sound input from the microphone matches the determination condition, the reproduction means reproduces the recorded sound from a predetermined time before the time point when the condition match is detected, and the switching means Outputs the reproduced recording sound to the speaker.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006164005A JP2007334968A (en) | 2006-06-13 | 2006-06-13 | Voice switching apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006164005A JP2007334968A (en) | 2006-06-13 | 2006-06-13 | Voice switching apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007334968A true JP2007334968A (en) | 2007-12-27 |
Family
ID=38934297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006164005A Pending JP2007334968A (en) | 2006-06-13 | 2006-06-13 | Voice switching apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007334968A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008263A (en) * | 2009-06-26 | 2011-01-13 | Intel Corp | Controlling audio players using environmental audio analysis |
JP2011097268A (en) * | 2009-10-28 | 2011-05-12 | Sony Corp | Playback device, headphone, and playback method |
WO2011118595A1 (en) * | 2010-03-23 | 2011-09-29 | ヤマハ株式会社 | Headphones |
CN103869971A (en) * | 2012-12-10 | 2014-06-18 | 三星电子株式会社 | Method and user device for providing context awareness service using speech recognition |
JP2017037526A (en) * | 2015-08-11 | 2017-02-16 | 京セラ株式会社 | Wearable device and output system |
JP2019121318A (en) * | 2018-01-11 | 2019-07-22 | 富士ゼロックス株式会社 | Sound transmission device and program |
US10749916B2 (en) | 2017-08-25 | 2020-08-18 | International Business Machines Corporation | Cognitive headset awareness with external voice interruption detection |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05224696A (en) * | 1992-02-10 | 1993-09-03 | Nippon Telegr & Teleph Corp <Ntt> | Speech information retrieval and reproduction device |
JP2001256771A (en) * | 2000-03-14 | 2001-09-21 | Sony Corp | Portable music reproducing device |
JP2003505712A (en) * | 1999-04-20 | 2003-02-12 | ベランス・コーポレイション | Broadcast speech recognition system for keyword monitoring |
JP2005244473A (en) * | 2004-02-25 | 2005-09-08 | Hitachi Ltd | Digital broadcast receiving terminal, its data reproducing method and analog broadcast receiving terminal |
-
2006
- 2006-06-13 JP JP2006164005A patent/JP2007334968A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05224696A (en) * | 1992-02-10 | 1993-09-03 | Nippon Telegr & Teleph Corp <Ntt> | Speech information retrieval and reproduction device |
JP2003505712A (en) * | 1999-04-20 | 2003-02-12 | ベランス・コーポレイション | Broadcast speech recognition system for keyword monitoring |
JP2001256771A (en) * | 2000-03-14 | 2001-09-21 | Sony Corp | Portable music reproducing device |
JP2005244473A (en) * | 2004-02-25 | 2005-09-08 | Hitachi Ltd | Digital broadcast receiving terminal, its data reproducing method and analog broadcast receiving terminal |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008263A (en) * | 2009-06-26 | 2011-01-13 | Intel Corp | Controlling audio players using environmental audio analysis |
US9542150B2 (en) | 2009-06-26 | 2017-01-10 | Intel Corporation | Controlling audio players using environmental audio analysis |
US8983640B2 (en) | 2009-06-26 | 2015-03-17 | Intel Corporation | Controlling audio players using environmental audio analysis |
JP2011097268A (en) * | 2009-10-28 | 2011-05-12 | Sony Corp | Playback device, headphone, and playback method |
CN102823272B (en) * | 2010-03-23 | 2015-04-01 | 雅马哈株式会社 | Headphones |
WO2011118595A1 (en) * | 2010-03-23 | 2011-09-29 | ヤマハ株式会社 | Headphones |
JP2011199699A (en) * | 2010-03-23 | 2011-10-06 | Yamaha Corp | Headphone |
CN102823272A (en) * | 2010-03-23 | 2012-12-12 | 雅马哈株式会社 | Headphones |
US20130003983A1 (en) * | 2010-03-23 | 2013-01-03 | Yamaha Corporation | Headphone |
US9432767B2 (en) | 2010-03-23 | 2016-08-30 | Yamaha Corporation | Headphone with microphones that processes external sound pickup by the microphones and inputs external source sound signal |
CN103869971A (en) * | 2012-12-10 | 2014-06-18 | 三星电子株式会社 | Method and user device for providing context awareness service using speech recognition |
US10395639B2 (en) | 2012-12-10 | 2019-08-27 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
KR20140074549A (en) * | 2012-12-10 | 2014-06-18 | 삼성전자주식회사 | Method and apparatus for providing context aware service using speech recognition |
EP4300993A3 (en) * | 2012-12-10 | 2024-02-28 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
EP3217394A1 (en) * | 2012-12-10 | 2017-09-13 | Samsung Electronics Co., Ltd | Method and user device for providing context awareness service using speech recognition |
CN103869971B (en) * | 2012-12-10 | 2018-03-30 | 三星电子株式会社 | For providing the method and user's set of context-aware services using speech recognition |
US9940924B2 (en) | 2012-12-10 | 2018-04-10 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
EP3410434A1 (en) * | 2012-12-10 | 2018-12-05 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
US11721320B2 (en) | 2012-12-10 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
EP2760016A3 (en) * | 2012-12-10 | 2014-10-15 | Samsung Electronics Co., Ltd | Method and user device for providing context awareness service using speech recognition |
KR102091003B1 (en) * | 2012-12-10 | 2020-03-19 | 삼성전자 주식회사 | Method and apparatus for providing context aware service using speech recognition |
US11410640B2 (en) | 2012-12-10 | 2022-08-09 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
US10832655B2 (en) | 2012-12-10 | 2020-11-10 | Samsung Electronics Co., Ltd. | Method and user device for providing context awareness service using speech recognition |
JP2017037526A (en) * | 2015-08-11 | 2017-02-16 | 京セラ株式会社 | Wearable device and output system |
US10749916B2 (en) | 2017-08-25 | 2020-08-18 | International Business Machines Corporation | Cognitive headset awareness with external voice interruption detection |
JP7172041B2 (en) | 2018-01-11 | 2022-11-16 | 富士フイルムビジネスイノベーション株式会社 | Sound transmission device and program |
JP2019121318A (en) * | 2018-01-11 | 2019-07-22 | 富士ゼロックス株式会社 | Sound transmission device and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7515980B2 (en) | Sound outputting apparatus and sound outputting method | |
US20180069815A1 (en) | Application-based messaging system using headphones | |
JP2007334968A (en) | Voice switching apparatus | |
KR20190024775A (en) | Headphone system | |
JP2020156107A (en) | Voice processor, voice processing method and voice processing program | |
JP2009300915A (en) | Mobile terminal with music playback function | |
CN107357549B (en) | Processing method and wearable electronic equipment | |
KR20190019078A (en) | Warnings to users about changes in the audio stream | |
JP2006295669A (en) | Sound reproducing apparatus | |
JPH02181559A (en) | Telephone equipment | |
JP4402644B2 (en) | Utterance suppression device, utterance suppression method, and utterance suppression device program | |
JP2003218999A (en) | Mobile phone with voice recognition function and control program thereof | |
JP2007108518A (en) | Voice recording and reproducing apparatus | |
JP2010230972A (en) | Voice signal processing device, method and program therefor, and reproduction device | |
JPS5919461A (en) | Automatic answering telephone set | |
US20090313010A1 (en) | Automatic playback of a speech segment for media devices capable of pausing a media stream in response to environmental cues | |
JP2014171202A (en) | Video reproduction device or voice reproduction device having temporary stop function | |
JP2007086592A (en) | Speech output device and method therefor | |
JP2008249893A (en) | Speech response device and its method | |
JPH0926354A (en) | Acoustic/video device | |
JP5391175B2 (en) | Remote conference method, remote conference system, and remote conference program | |
JP2001256771A (en) | Portable music reproducing device | |
JP2011019034A (en) | Sound recorder | |
JP6810527B2 (en) | Reproduction control device, reproduction control system, reproduction control method, program and recording medium | |
JP2022168205A (en) | Reproduction control device, reproduction control system, reproduction control method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090519 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101119 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |