JP2011040867A - Information processing apparatus - Google Patents
Information processing apparatus Download PDFInfo
- Publication number
- JP2011040867A JP2011040867A JP2009184439A JP2009184439A JP2011040867A JP 2011040867 A JP2011040867 A JP 2011040867A JP 2009184439 A JP2009184439 A JP 2009184439A JP 2009184439 A JP2009184439 A JP 2009184439A JP 2011040867 A JP2011040867 A JP 2011040867A
- Authority
- JP
- Japan
- Prior art keywords
- measurement signal
- signal output
- sound
- acceleration
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、筐体の動きを検出して各種処理を実行する技術に関する。 The present invention relates to a technique for executing various processes by detecting movement of a casing.
携帯電話などの端末において、加速度センサ等を用いて端末の動きを検出して、特定の動きが利用者によって与えられると、その動きに応じた処理を実行するようにする技術がある。このような技術によって、利用者の端末操作における利便性を向上することができる一方、検出精度の関係から意図しない動作により誤動作することもあった。
そこで、誤動作を防止するための開発も行われている(例えば特許文献1)。
In a terminal such as a mobile phone, there is a technique for detecting a movement of a terminal using an acceleration sensor or the like, and executing a process corresponding to the movement when a specific movement is given by a user. Although such a technique can improve the convenience of the user's terminal operation, the malfunction may occur due to an unintended operation due to the detection accuracy.
Therefore, development for preventing malfunction has also been performed (for example, Patent Document 1).
特許文献1に開示された技術においては、検出精度を向上させることはできるものの、利用者が意図して端末を動かしたものなのか、意図せずに端末が動いてしまったものなのかについては、判断することはできない。例えば、このようにして検出された動きが、利用者が意図的に手で端末を動かすことにより検出されたものなのか、ポケットなどに入れた端末が利用者自身の動きに連動するなどして、利用者が意図しない状態で動きが検出されたものなのかを判断することはできない。すなわち、結果的に同じ動きである場合には、意図したものであっても意図していないものであったとしても端末の動きが検出されて、対応した処理が実行されてしまっていた。
In the technique disclosed in
本発明は、上述の事情に鑑みてなされたものであり、筐体に与えられた動きのうち、利用者の意図によるものを精度よく検出することを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to accurately detect a movement due to a user's intention among movements given to a housing.
上述の課題を解決するため、本発明は、筐体の加速度を測定して、測定した加速度を示す測定信号を出力する測定信号出力手段と、前記筐体に設けられるマイクに入力される音声を示す音声信号を出力する音声信号出力手段と、前記測定信号出力手段から出力された測定信号が示す加速度が特定の態様で変化した期間に前記音声信号出力手段から出力された音声信号が示す音声の特徴量が、前記特定の態様に対応した条件を満たすかを判定する判定手段と、前記判定手段によって前記条件を満たすと判定されると、前記特定の態様に応じた処理を実行する実行手段とを具備することを特徴とする情報処理装置を提供する。 In order to solve the above-mentioned problem, the present invention measures the acceleration of the housing and outputs a measurement signal indicating the measured acceleration, and the sound input to the microphone provided in the housing. An audio signal output means for outputting an audio signal indicating, and an audio signal indicated by the audio signal output from the audio signal output means during a period when the acceleration indicated by the measurement signal output from the measurement signal output means changes in a specific manner. A determination unit that determines whether a feature amount satisfies a condition corresponding to the specific mode; and an execution unit that executes a process according to the specific mode when the determination unit determines that the condition is satisfied. An information processing apparatus characterized by comprising:
また、別の好ましい態様において、前記特定の態様での変化は、前記筐体が特定の叩かれ方をした場合に前記測定信号出力手段によって出力される測定信号が示す加速度の変化を示すものであり、前記音声の特徴量は、当該音声の音量レベルであり、前記判定手段は、前記期間のいずれかのタイミングにおいて前記音声信号が示す音声の音量レベルが特定のレベル以上になった場合に、前記条件を満たすと判定することを特徴とする。 In another preferable aspect, the change in the specific aspect indicates a change in acceleration indicated by the measurement signal output by the measurement signal output means when the casing is hit in a specific manner. Yes, the voice feature amount is a volume level of the voice, and the determination unit is configured such that when the volume level of the voice indicated by the voice signal is equal to or higher than a specific level at any timing of the period, It is determined that the condition is satisfied.
また、別の好ましい態様において、前記特定の態様での変化は、前記筐体が特定の叩かれ方をした場合に前記測定信号出力手段によって出力される測定信号が示す加速度の変化を示すものであり、前記音声の特徴量は、当該音声の音量レベルであり、前記判定手段は、前記期間の前における前記音声信号が示す音声の音量レベルを基準として、当該期間のいずれかのタイミングにおいて前記音声信号が示す音声の音量レベルの増加量が特定の量以上になった場合に、前記条件を満たすと判定することを特徴とする。 In another preferable aspect, the change in the specific aspect indicates a change in acceleration indicated by the measurement signal output by the measurement signal output means when the casing is hit in a specific manner. And the feature amount of the sound is a volume level of the sound, and the determination unit uses the sound volume level indicated by the sound signal before the period as a reference at any timing in the period. When the amount of increase in the volume level of the sound indicated by the signal exceeds a specific amount, it is determined that the condition is satisfied.
また、本発明は、筐体の加速度を測定して、測定した加速度を示す測定信号を出力する測定信号出力手段と、前記筐体に設けられるマイクに入力される音声を示す音声信号を出力する音声信号出力手段と、前記測定信号出力手段から出力された測定信号が示す加速度が特定の態様で変化した期間に前記音声信号出力手段から出力された音声信号が示す音声の特徴量の変化と当該特定の態様での変化との時間的な相関が、特定の相関であるかを判定する判定手段と、前記判定手段によって前記特定の相関であると判定されると、前記特定の態様に応じた処理を実行する実行手段とを具備することを特徴とする情報処理装置を提供する。 The present invention also measures measurement signal output means for measuring the acceleration of the housing and outputting a measurement signal indicating the measured acceleration, and outputs a sound signal indicating the sound input to the microphone provided in the housing. A change in the feature amount of the voice indicated by the voice signal output from the voice signal output means during a period in which the acceleration indicated by the measurement signal output from the voice signal output means and the measurement signal output means changes in a specific manner; A determination unit that determines whether a temporal correlation with a change in a specific mode is a specific correlation, and when the determination unit determines that the specific correlation is the specific correlation, it corresponds to the specific mode Provided is an information processing apparatus comprising execution means for executing processing.
また、別の好ましい態様において、前記マイクは前記筐体の特定方向についての音声が入力されるように設けられ、前記特定の態様での変化は、加速度の前記特定の方向成分における変化を含むことを特徴とする。 In another preferable aspect, the microphone is provided so that sound in a specific direction of the housing is input, and the change in the specific aspect includes a change in the specific direction component of acceleration. It is characterized by.
本発明によれば、筐体に与えられた動きのうち、利用者の意図によるものを精度よく検出することができる。 ADVANTAGE OF THE INVENTION According to this invention, the thing by a user's intention can be accurately detected among the movements given to the housing | casing.
<実施形態>
図1は、本発明の実施形態に係る情報処理装置の一例である携帯装置1の構成を示すブロック図である。また、図2は、携帯装置1の外観図である。携帯装置1は、例えば、携帯電話、PDA(Personal Digital Assistant)などの携帯機器であって、図1に示すように、制御部11、記憶部12、操作部13、表示部14、音声処理部15、加速度測定部16およびインターフェイス17を有し、互いにバスを介して接続されている。また、音声処理部15には、スピーカ151およびマイク152が接続されている。
<Embodiment>
FIG. 1 is a block diagram illustrating a configuration of a
これらの各部は筐体10に収容され、この例においては、図2に示すように、表示部14の表示画面、操作部13の操作子、スピーカ151およびマイク152は、筐体10の正面に設けられている。また、インターフェイス17の接続端子は、筐体10の側面に設けられている。以下、携帯装置1の各部の構成について説明する。
Each of these units is housed in the
[構成]
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを有する。CPUは、ROMに記憶されている制御プログラムをRAMにロードして実行することにより、携帯装置1の各部について、バスを介して制御し、携帯電話において用いられる通話機能、電子メール送受信機能などの他、後述する検出機能を実現する。また、RAMは、CPUが各データの加工などを行う際のワークエリアとして機能する。
[Constitution]
The
操作部13は、筐体10の正面などに配置される操作ボタンなどの操作子を有し、利用者が操作ボタンを操作するとその操作内容を表すデータが制御部11へ出力される。例えば、電源のオンオフ、各種設定指示などを操作によって行う。
表示部14は、筐体10の正面に配置される表示画面に画像を表示する液晶ディスプレイなどの表示デバイスである。表示部14は、制御部11の制御により、表示画面に画像を表示する。表示画面に表示される表示される画像は、メニュー画面、設定画面の他、アプリケーションの動作画面などの画像である。
なお、上記操作部13の操作子には、表示部14の表示画面上に設けられるタッチパネルなどが含まれていてもよい。
The
The
Note that the operation element of the
音声処理部15は、DSP(Digital Signal Processor)などの入力される音声に関するデータを処理する手段である。音声処理部15は、制御部11の制御によって入力される音声データをD/A(デジタル−アナログ)変換して、音声データに係る音をスピーカ151から出力する。一方、マイク152によって入力された音声に対応した音声信号は、音声処理部15に入力され、音声処理部15においてA/D(アナログ−デジタル)変換され、音声データとして制御部11に出力される。
このように、マイク152によって入力された音声に係る音声データは、携帯電話の通話機能を実現しているときには、以下に示すインターフェイス17の通信手段を介して通信相手へ送信される一方、後述する検出処理においては、音声測定信号として扱われる。そして、検出処理において、制御部11によって音声測定信号から音声の特徴量が解析され、特徴量の時間的変化が取得される。この例においては、音声の特徴量は、音量レベルであるものとするが、周波数分布などであってもよく、音声の特徴を示す物理量であれば、どのようなものであってもよい。
The
As described above, the voice data related to the voice input by the
加速度測定部16は、例えば、加速度センサなどであり、筐体10に与えられた動きにより生じる加速度を示す信号を出力する。この例においては、3次元の各方向についての加速度を示す信号(加速度に応じた出力レベルの信号)が出力され、制御部11がこの信号を取得して解析することにより筐体10の各方向(図2におけるx、y、z方向)の成分に分離して、各方向に対して生じる加速度の大きさの時間的変化を測定することができる。この例においては、x、y、zの各方向は、図2に示すように、それぞれ筐体10の正面方向、側面方向、上面方向に対応するものとする。
このように測定された加速度の時間的変化は、後述する検出処理においては、各方向に対応した動作測定信号として扱われる。
The
The temporal change of the acceleration measured in this way is treated as an operation measurement signal corresponding to each direction in the detection process described later.
インターフェイス17は、例えば、外部装置と有線接続する接続端子、無線接続する無線接続手段、基地局やネットワークなどを介して接続する通信手段などであって、接続した外部装置と各種データの送受信を行う。
The
記憶部12は、例えば、不揮発性メモリなどの記憶手段であって、処理対応テーブルの他、アプリケーションを動作させるプログラム、このプログラム、上述の制御プログラムなどの実行中に使用する各種データなどを記憶している。なお、記憶部12は、外付けの不揮発性メモリなどの記憶手段を、接続インターフェイスなどを介して接続したものであってもよい。
The
図3は、処理対応テーブルの一例を示す説明図である。処理対応テーブルは、図3に示すように、制御プログラムなどを実行中に、筐体10が動かされることにより実行される処理の各々(処理A、B、C、・・・)について、その動きに対応した動作測定信号の変化の態様(パターンA、B、C、・・・)と、その変化の態様を示す期間における音声測定信号が示す音声の特徴量(この例においては上述したように音量レベル)の変化において満たすべき条件(条件A、B、C、・・・)とが対応付けられて登録されている。
この条件は、筐体10に特定の態様での動きを与えるときの利用者の操作によって、発生するであろう音がマイク152から入力された場合の音声測定信号の変化を検出するために必要なものとして定められている。例えば、筐体10の動きを行うときの利用者の操作が、筐体10を1回叩くものであれば、その行為によって音が生じることになるから、その音がマイク152から入力された場合に、音声測定信号に係る音量レベルが到達するであろう最低のレベルを示すものとすればよい。
なお、この条件により、解析される音声測定信号の特徴量が異なるようにしてもよい。例えば、周波数分布により条件が定められている場合には、解析される音声測定信号の特徴量は周波数分布とすればよい。
また、筐体10が動かされることにより実行される処理とは、後述する検出処理を示すものではなく、制御部11が各種プログラムを実行する処理、実行中において行われる処理などを示すものであり、例えば、通話の開始、終了処理、電子メールの開封処理、テレビの視聴開始処理など、携帯装置1において実現できる処理であればどのような処理であってもよい。
以上が、携帯装置1の各部の構成についての説明である。
FIG. 3 is an explanatory diagram showing an example of the processing correspondence table. As shown in FIG. 3, the processing correspondence table shows the movement of each processing (processing A, B, C,...) Executed by moving the
This condition is necessary in order to detect a change in the audio measurement signal when a sound that is likely to be generated is input from the
Note that the feature amount of the voice measurement signal to be analyzed may be different depending on this condition. For example, when the condition is determined by the frequency distribution, the feature amount of the voice measurement signal to be analyzed may be the frequency distribution.
Further, the process executed by moving the
The above is the description of the configuration of each unit of the
[動作]
次に、制御部11が制御プログラムを実行することによって検出機能が実現されると行われる検出処理について図4を用いて説明する。なお、検出処理については、全て制御プログラムの実行により実現するのではなく、それぞれの各処理の全部または一部をハードウエアによって実現してもよい。
[Operation]
Next, a detection process performed when the detection function is realized by the
図4は、検出処理の流れを示すフローチャートである。まず、検出処理が開始されると、制御部11は、動作測定信号、音声測定信号の記録を開始(ステップS110)し、制御部11のRAMなどにFIFO(First-In First-Out)形式で一定期間分の信号をバッファする。
そして制御部11は、バッファされている動作測定信号が示す加速度の変化の態様と処理対応テーブルに登録されている各パターン(パターンA、B、C、・・・)との比較を行い、処理対応テーブルに登録されている各パターンのいずれかに対応するパターンが動作測定信号中に検出されるかの判定を、パターンが検出されるまで続ける(ステップS120;No)。なお、対応するパターンの検出は、動作測定信号に処理対応テーブルにおけるパターンと完全一致を示す場合に検出としてもよいし、一定の誤差を許容し、許容誤差内にある場合に検出としてもよい。また、出力レベルの相対的な違いを許容してもよい。すなわち、双方の変化のパターンが相似関係にあれば一致としてもよい。以下の説明においては、これらの関係を満たす場合をパターンが一致したものとして説明する。
FIG. 4 is a flowchart showing the flow of the detection process. First, when the detection process is started, the
The
対応するパターンが検出される(ステップS120;Yes)と、制御部11は、検出されたパターンの態様で変化している動作測定信号が加速度測定部16から出力された期間において、音声処理部15から出力された音声測定信号を読み出し(ステップS130)、その音声測定信号の音量レベル(特徴量)の時間的変化を解析する。なお、ステップS110において音声測定信号をバッファする代わりに、予め特徴量を解析してその特徴量をバッファするようにしてもよい。
When the corresponding pattern is detected (step S120; Yes), the
そして、制御部11は、検出されたパターンに対応する音声測定信号の条件を処理対応テーブルから特定し、その期間における音量レベルの変化が、この特定した条件を満たすかを判定する(ステップS140)。
特定した条件を満たさなかった場合(ステップS140;No)には、動作測定信号にそのパターンが検出されたのは利用者が行った操作によるものではないと判断して、ステップS120へ戻って処理を続ける。
一方、特定した条件を満たした場合(ステップS140;Yes)には、動作測定信号にそのパターンが検出されたのは利用者が行った操作によるものであると判断する。そして、検出されたパターンに対応する(音声測定信号の条件に対応する)処理を処理対応テーブルから特定し、特定した処理を実行し(ステップS150)、ステップS120に戻って処理を続ける。
以上が検出処理についての説明である。次に、動作測定信号、音声測定信号に係る特徴量の具体的な一例に沿って検出処理の説明をする。
And the
If the specified condition is not satisfied (step S140; No), it is determined that the pattern is detected in the motion measurement signal is not due to an operation performed by the user, and the process returns to step S120 and processed. Continue.
On the other hand, when the specified condition is satisfied (step S140; Yes), it is determined that the pattern is detected in the motion measurement signal due to an operation performed by the user. Then, a process corresponding to the detected pattern (corresponding to the condition of the audio measurement signal) is identified from the process correspondence table, the identified process is executed (step S150), and the process returns to step S120 to continue the process.
The above is the description of the detection process. Next, the detection process will be described along a specific example of the feature amount related to the motion measurement signal and the voice measurement signal.
図5は、検出処理の具体例を説明する図である。図5上部は、x方向の動作測定信号の出力レベルPa(出力レベルPaが大きいほど加速度が大きい)の時間的変化を示し、図5下部は、音声測定信号に係る音量レベル(特徴量)の時間的変化を示す。横軸は、ともに時刻tを示し、それぞれ時間軸は同じものである。この信号の一例は、利用者が筐体10をx方向に1回叩いたときのものである。
制御部11は、時刻t1まで経過したときに、動作測定信号の出力レベルPaの変化の態様から処理対応テーブルに登録されているパターン(この例においてはパターンBとする)を検出したと判定する(図4ステップS120;Yes)。判定されたパターンは、時刻t0からt1の範囲であり、その範囲を対応期間Tsという。
FIG. 5 is a diagram illustrating a specific example of detection processing. The upper part of FIG. 5 shows the temporal change of the output level Pa of the motion measurement signal in the x direction (the higher the output level Pa, the higher the acceleration), and the lower part of FIG. 5 shows the volume level (feature value) related to the voice measurement signal. Shows the change over time. The horizontal axis indicates time t, and the time axes are the same. An example of this signal is when the user strikes the
The
そして、制御部11は、対応期間Tsにおける音声測定信号を読み出し(図4ステップS130)、音量レベルPsの時間的変化を解析する。また、制御部11は、処理対応テーブルを参照し、パターンBに対応する条件Bを特定する。
この条件Bは、対応期間Tsのいずれかのタイミングにおいて、音量レベルPsがL1以上になることである。なお、このような条件は、相対的に決められるものであってもよい。例えば、対応期間Tsの前の期間(時刻t0以前の一定時間)における平均の音量レベルを算出(この例においてはL0)し、その音量レベルを基準として一定レベル増加させた音量レベルをL1としてもよい。このようにすれば、利用者の操作によらない音(例えば、環境音)がある程度大きなの音量レベルであっても、利用者の操作による音を判定しやすくなる。
And the
This condition B is that the volume level Ps becomes L1 or more at any timing of the corresponding period Ts. Such conditions may be determined relatively. For example, the average volume level in the period before the corresponding period Ts (a fixed time before time t0) is calculated (L0 in this example), and the volume level increased by a certain level with reference to the volume level is set as L1. Good. This makes it easier to determine the sound generated by the user's operation even if the sound (for example, the environmental sound) that does not depend on the user's operation has a certain volume level.
図5に示すように、対応期間Tsにおいて音量レベルPsがL1以上になっているから、制御部11は、音量レベルPsの変化が条件Bを満たすと判定する(図4ステップS140;Yes)する。そして、制御部11は、処理テーブルを参照して、パターンBに対応する処理Bを特定して、処理Bを実行する(図4ステップS150)。
このとき、利用者が筐体10を叩いて操作せずに、動作測定信号にパターンBの検出がされた場合には、音量レベルPsの変化が条件Bを満たさないから、処理Bは実行されない。以上が、検出処理の具体的な一例の説明である。
As shown in FIG. 5, since the volume level Ps is equal to or higher than L1 in the corresponding period Ts, the
At this time, when the pattern B is detected in the motion measurement signal without the user hitting the
図6は、検出機能の構成を説明するブロック図である。検出機能は、上述したように、制御部11が制御プログラムを実行することによって実現されるものであり、バッファ111、判定部112および実行部113を有する。バッファ111は、上述したように、音声測定信号と動作測定信号とを一定期間バッファする。判定部112は、上述したステップS110からS140までの動作を担当し、実行部113は、ステップS150の動作を担当するものである。
FIG. 6 is a block diagram illustrating the configuration of the detection function. As described above, the detection function is realized by the
このように、本発明の実施形態に係る携帯装置1は、各種処理を行う判定を、筐体10の動きに伴う加速度の変化の態様だけでなく、利用者の筐体10の操作による音についてもあわせて判定することにより、利用者が筐体10の意図した操作によって生じた筐体10の動きがあった場合に、動きに対応する処理を実行し、利用者の筐体10の意図した操作によらず生じた筐体10の動きがあった場合には、動きに対応する処理を実行しない。
これにより、同じような筐体10の動きがあっても、利用者の意図によるものを精度よく検出して、対応する処理を実行することができるから、利用者の意図しないものによる誤動作を低減することができる。
As described above, the
As a result, even if there is a similar movement of the
<変形例>
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例1]
上述した実施形態においては、マイク152は1つであり、上記の音声測定信号に係る音の入力、通話にかかる音の入力を兼ねていたが、それぞれのマイク152−1、152−2とした携帯装置1Aとしてもよい。この場合における携帯装置1Aの構成、外観をそれぞれ図7、図8に示す。
<Modification>
As mentioned above, although embodiment of this invention was described, this invention can be implemented in various aspects as follows.
[Modification 1]
In the above-described embodiment, the number of the
図7は、変形例1に係る携帯装置1Aの構成を示すブロック図である。また、図8は、変形例1に係る携帯装置1Aの外観図である。図8(a)に示すように、携帯装置1Aの正面方向からの外観は、実施形態における携帯装置1と同じ(実施形態におけるマイク152は、変形例1のマイク152−1に対応)であるが、矢印AR1方向に見た場合(図8(b)参照)、正面の裏側にマイク152−2が設けられている。
FIG. 7 is a block diagram illustrating a configuration of a
図7に示すように、マイク152−2は、入力された音を示す音声データを音声処理部15に出力する。音声処理部15は、マイク152−1から入力された音声データと、マイク152−2から入力された音声データとを区別して制御部11に出力する。制御部11は、マイク152−1に係る音声データを通話に用い、マイク152−2に係る音声データを音声測定信号として用いる。このように、複数のマイクを用いて、検出処理に用いられる音声測定信号に係る音入力用の専用マイクを設けてもよい。
As illustrated in FIG. 7, the microphone 152-2 outputs audio data indicating the input sound to the
また、検出処理に用いられる音声測定信号に係る音入力用の専用マイクを複数用いてもよい。例えば、さらに筐体10の側面、上面に設けてもよい。そして、各マイクの収音方向がそれぞれx、y、z方向(筐体10の6面の法線方向全てでもよい)を向くようにし、各方向の音に対応した音声測定信号を用いてもよい。この場合には、検出処理における動作測定信号に係る方向と、音声測定信号に係る方向とを対応関係とすればよい。すなわち、検出処理におけるパターン検出の判定に係る動作測定信号がx方向を用いるものであれば、x方向の収音を行うマイクから入力された音に係る音声測定信号を用いて条件を判定すればよい。
A plurality of dedicated microphones for sound input related to the sound measurement signal used for the detection process may be used. For example, you may provide in the side surface and upper surface of the housing | casing 10 further. The sound collection directions of the microphones may be directed in the x, y, and z directions (all normal directions of the six surfaces of the
x方向に対応する動作測定信号が示す加速度の変化が大きい場合には、x方向に利用者の操作(x方向に筐体10を叩くなど)が行われた場合である可能性が大きいことから、x方向の収音に係る音量レベルが大きくなる。したがって、利用者の操作の場合をより正確な判定を行うことができる。また、各方向の音声測定信号について複合的に判断してもよい。例えば、x方向に係る音量レベルは大きく、その他の方向に係る音量レベルは小さい場合もあるから、このような実際の状況を反映した条件を各マイクに対応して設ければ、筐体10に動きを与える利用者の操作をより正確に判定できる。
When the change in acceleration indicated by the motion measurement signal corresponding to the x direction is large, there is a high possibility that a user operation (such as tapping the
[変形例2]
上述した実施形態においては、検出処理において音声測定信号の特徴量の変化が特定の条件を満たすかどうかの判定を行っていたが、動作測定信号と音声測定信号との時間的変化の相関に応じて判定するようにしてもよい。この場合には、以下のような構成とすればよい。
[Modification 2]
In the above-described embodiment, it is determined whether or not the change in the feature amount of the voice measurement signal satisfies the specific condition in the detection process. However, depending on the correlation of the temporal change between the motion measurement signal and the voice measurement signal. You may make it judge. In this case, the following configuration may be used.
図9は、変形例2に係る処理対応テーブルの一例を示す図である。変形例2における処理対応テーブルは、音声測定信号の条件が定められる代わりに、動作測定信号の加速度の変化と音声測定信号の特徴量の変化との時間的な相関(相関A、B、C、・・・)が各処理に対応付けられている。これらの相関は、筐体10に特定の態様での動きを与えるときの利用者の操作によって、発生するであろう音がマイク152から入力された場合の音声測定信号の変化を検出するために、その特定の態様での動きがあった場合における動作測定信号の加速度の変化と、音声測定信号(またはその特徴量)の変化との時間的な相関として定められている。
FIG. 9 is a diagram illustrating an example of the processing correspondence table according to the second modification. In the processing correspondence table in the modified example 2, the time correlation between the change in the acceleration of the motion measurement signal and the change in the feature amount of the speech measurement signal (correlation A, B, C, Are associated with each process. These correlations are used to detect a change in the audio measurement signal when a sound that is likely to be generated is input from the
図10は、変形例2に係る検出処理の流れを示すフローチャートである。実施形態における符号と同じ処理については、実施形態における処理と同様であるため説明を省略する。
制御部11は、ステップS130において音声測定信号を読み出すと、制御部11は、検出されたパターンに対応する相関を処理対応テーブルから特定し、その期間における音声測定信号の変化と動作測定信号の変化とが、この特定した相関を満たすかを判定する(ステップS240)。
FIG. 10 is a flowchart showing a flow of detection processing according to the second modification. The processing that is the same as the reference numerals in the embodiment is the same as the processing in the embodiment, and thus description thereof is omitted.
When the
相関を満たさなかった場合(ステップS240;No)には、動作測定信号にそのパターンが検出されたのは利用者が行った操作によるものではないと判断して、ステップS120へ戻って処理を続ける。
一方、相関を満たした場合(ステップS240;Yes)には、動作測定信号にそのパターンが検出されたのは利用者が行った操作によるものであると判断する。そして、検出されたパターンに対応する(相関に対応する)処理を処理対応テーブルから特定し、特定した処理を実行し(ステップS150)、ステップS120に戻って処理を続ける。このようにすると、筐体10の加速度(または加速度の変化に応じて変化する速度など)の変化にあわせて音声測定信号の内容が変化する場合、例えば、筐体10を振る操作において、速く動いているときは発生する風切り音が大きくなるなどの場合において、検出処理における判定の精度を向上させることができる。ここで、変形例1のようにマイクを複数設ける構成である場合、音声測定信号に係るマイクが設けられた付近の筐体10の構造を風切り音が発生しやすい構造にしておいてもよい。
If the correlation is not satisfied (step S240; No), it is determined that the pattern is detected in the motion measurement signal is not an operation performed by the user, and the process returns to step S120 to continue the process. .
On the other hand, when the correlation is satisfied (step S240; Yes), it is determined that the pattern is detected in the motion measurement signal due to an operation performed by the user. Then, the process corresponding to the detected pattern (corresponding to the correlation) is identified from the process correspondence table, the identified process is executed (step S150), and the process returns to step S120 to continue the process. In this way, when the content of the audio measurement signal changes in accordance with the change in the acceleration of the housing 10 (or the speed that changes according to the change in acceleration, etc.), for example, in the operation of shaking the
なお、動作測定信号の変化と音声測定信号の変化との時間的な相関が処理対応テーブルの各相関と一致するかを先に判定し、その後にその相関を満たした動作測定信号が示す加速度の変化が、その相関に対応するパターンと一致しているかを判定してもよい。 Note that it is first determined whether the temporal correlation between the change in the motion measurement signal and the change in the voice measurement signal matches each correlation in the processing correspondence table, and then the acceleration of the acceleration indicated by the motion measurement signal that satisfies the correlation is determined. It may be determined whether the change matches the pattern corresponding to the correlation.
[変形例3]
上述した実施形態においては、動作測定信号が示す加速度の変化が処理対応テーブルの各パターンと一致するかを判定してから音声測定信号に係る判定を行っていたが、先に音声測定信号に係る判定を行ってもよい。この場合には、判定に係る対応期間Tsにおける動作測定信号の加速度の変化が、この条件に対応するパターンと一致するかを、音声測定信号に係る判定の後に判定すればよい。
[Modification 3]
In the above-described embodiment, the determination related to the audio measurement signal is performed after determining whether the change in acceleration indicated by the motion measurement signal matches each pattern in the processing correspondence table. A determination may be made. In this case, it may be determined after the determination related to the audio measurement signal whether the change in the acceleration of the motion measurement signal in the corresponding period Ts related to the determination matches the pattern corresponding to this condition.
[変形例4]
上述した実施形態においては、処理対応テーブルにおいて対応付けられている条件の一例として、音声測定信号の特徴量に対応して定められていたが、動作測定信号と音声測定信号とを含めた条件の内容としてもよい。例えば、実施形態においては、音量レベルがL1以上であることが条件の一例としていたが、動作測定信号が示す加速度の変化量が大きいときにはL1が大きな値に変更されるようにしてもよい。このようにすれば、筐体10に大きい力で動き(加速度の変化量が大きい)が与えられたときには、その行為により生じる音が大きくなる(音量レベルの最大値が大きい)のが通常であるから、これを反映させた判定を行うことできる。
[Modification 4]
In the above-described embodiment, as an example of the conditions associated in the processing correspondence table, the condition is determined corresponding to the feature amount of the audio measurement signal, but the condition including the operation measurement signal and the audio measurement signal It may be content. For example, in the embodiment, the condition that the volume level is L1 or more is an example of the condition, but L1 may be changed to a large value when the amount of change in acceleration indicated by the motion measurement signal is large. In this way, when the
[変形例5]
上述した実施形態において、加速度測定部16は加速度センサであるものとしていたが、加速度の値を示す信号を出力するセンサでなくても、加速度の変化が生じることによって信号を出力する構成であれば、どのような構成であってもよい。例えば、振動スイッチなどの振動を検出して信号を出力するものであってもよい。振動スイッチによれば、加速度の変化が生じることによって振動が生じ、その結果として信号が出力されるから、加速度の変化によって信号が出力される構成となる。
[Modification 5]
In the above-described embodiment, the
また、筐体10の加速度の測定は、筐体10の外部装置により行われるようにしてもよい。例えば、筐体10をカメラなどにより撮影し、撮影した映像を解析することにより筐体10の加速度を測定するようにしてもよい。
Further, the measurement of the acceleration of the
[変形例6]
上述した実施形態においては、携帯装置1は、携帯電話、PDAなどであったが、リモコン、ノート型パソコン、携帯音楽プレイヤ、携帯ゲーム機など、利用者が携帯可能な電気製品であればどのようなものであってもよい。
[Modification 6]
In the above-described embodiment, the
また、リモコンなどに適用される場合には、リモコンとリモコンからの信号を受信する本体とを有する情報処理装置全体で携帯装置1と同様な構成になるようにしてもよい。例えば、実施形態における筐体10をリモコンの筐体とし、リモコンの筐体には、マイク152および加速度測定部16の構成を有するようにするとともに、さらにマイク152および加速度測定部16から出力される各信号を送信する送信手段を設ければよい。そして、本体には、携帯装置1の残りの構成と、送信手段から送信される信号を受信する受信手段とを有するようにすればよい。なお、このリモコンはゲーム機などのコントローラであってもよく、その場合は、本体がゲーム機本体に対応する。
このように、本発明を実現する情報処理装置の構成は、全体として携帯できるものでなくてもよく、マイク152および加速度測定部16を有する筐体が携帯できるものであればよい。
When applied to a remote controller or the like, the entire information processing apparatus having a remote controller and a main body that receives a signal from the remote controller may have the same configuration as that of the
Thus, the configuration of the information processing apparatus that implements the present invention does not have to be portable as a whole, as long as the casing having the
[変形例7]
上述した実施形態における制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。ネットワーク経由でダウンロードさせることも可能である。
[Modification 7]
The control program in the above-described embodiment is provided in a state stored in a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. Can do. It is also possible to download via the network.
1,1A…携帯装置、10…筐体、11…制御部、12…記憶部、13…操作部、14…表示部、15…音声処理部、16…加速度測定部、17…インターフェイス、151…スピーカ、152,152−1,152−2…マイク、111…バッファ、112…判定部、113…実行部
DESCRIPTION OF
Claims (5)
前記筐体に設けられるマイクに入力される音声を示す音声信号を出力する音声信号出力手段と、
前記測定信号出力手段から出力された測定信号が示す加速度が特定の態様で変化した期間に前記音声信号出力手段から出力された音声信号が示す音声の特徴量が、前記特定の態様に対応した条件を満たすかを判定する判定手段と、
前記判定手段によって前記条件を満たすと判定されると、前記特定の態様に応じた処理を実行する実行手段と
を具備することを特徴とする情報処理装置。 Measurement signal output means for measuring the acceleration of the housing and outputting a measurement signal indicating the measured acceleration;
Audio signal output means for outputting an audio signal indicating audio input to a microphone provided in the housing;
A condition in which the audio feature amount indicated by the audio signal output from the audio signal output means during the period when the acceleration indicated by the measurement signal output from the measurement signal output means changes in a specific manner corresponds to the specific aspect. Determining means for determining whether or not
An information processing apparatus comprising: an execution unit that executes a process according to the specific aspect when the determination unit determines that the condition is satisfied.
前記音声の特徴量は、当該音声の音量レベルであり、
前記判定手段は、前記期間のいずれかのタイミングにおいて前記音声信号が示す音声の音量レベルが特定のレベル以上になった場合に、前記条件を満たすと判定する
ことを特徴とする請求項1に記載の情報処理装置。 The change in the specific mode indicates a change in acceleration indicated by the measurement signal output by the measurement signal output means when the casing is hit in a specific manner.
The feature amount of the sound is a volume level of the sound,
2. The determination unit according to claim 1, wherein the determination unit determines that the condition is satisfied when a sound volume level indicated by the audio signal is equal to or higher than a specific level at any timing of the period. Information processing device.
前記音声の特徴量は、当該音声の音量レベルであり、
前記判定手段は、前記期間の前における前記音声信号が示す音声の音量レベルを基準として、当該期間のいずれかのタイミングにおいて前記音声信号が示す音声の音量レベルの増加量が特定の量以上になった場合に、前記条件を満たすと判定する
ことを特徴とする請求項1に記載の情報処理装置。 The change in the specific mode indicates a change in acceleration indicated by the measurement signal output by the measurement signal output means when the casing is hit in a specific manner.
The feature amount of the sound is a volume level of the sound,
The determination means uses the volume level of the sound indicated by the sound signal before the period as a reference, and the amount of increase in the sound volume level indicated by the sound signal at a certain timing in the period becomes a specific amount or more. The information processing apparatus according to claim 1, wherein the information processing apparatus determines that the condition is satisfied.
前記筐体に設けられるマイクに入力される音声を示す音声信号を出力する音声信号出力手段と、
前記測定信号出力手段から出力された測定信号が示す加速度が特定の態様で変化した期間に前記音声信号出力手段から出力された音声信号が示す音声の特徴量の変化と当該特定の態様での変化との時間的な相関が、特定の相関であるかを判定する判定手段と、
前記判定手段によって前記特定の相関であると判定されると、前記特定の態様に応じた処理を実行する実行手段と
を具備することを特徴とする情報処理装置。 Measurement signal output means for measuring the acceleration of the housing and outputting a measurement signal indicating the measured acceleration;
Audio signal output means for outputting an audio signal indicating audio input to a microphone provided in the housing;
Changes in voice feature values indicated by the audio signal output from the audio signal output means and changes in the specific aspect during a period in which the acceleration indicated by the measurement signal output from the measurement signal output means changes in a specific aspect Determining means for determining whether the temporal correlation with is a specific correlation;
An information processing apparatus comprising: an execution unit that executes processing according to the specific mode when the determination unit determines that the specific correlation is established.
前記特定の態様での変化は、加速度の前記特定の方向成分における変化を含む
ことを特徴とする請求項1乃至請求項4のいずれかに記載の情報処理装置。 The microphone is provided so that sound in a specific direction of the housing is input.
The information processing apparatus according to any one of claims 1 to 4, wherein the change in the specific mode includes a change in the specific direction component of acceleration.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009184439A JP5267377B2 (en) | 2009-08-07 | 2009-08-07 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009184439A JP5267377B2 (en) | 2009-08-07 | 2009-08-07 | Information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011040867A true JP2011040867A (en) | 2011-02-24 |
JP5267377B2 JP5267377B2 (en) | 2013-08-21 |
Family
ID=43768217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009184439A Expired - Fee Related JP5267377B2 (en) | 2009-08-07 | 2009-08-07 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5267377B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000209313A (en) * | 1999-01-19 | 2000-07-28 | Funai Electric Co Ltd | Alarm device |
JP2000295318A (en) * | 1999-04-02 | 2000-10-20 | Matsushita Electric Ind Co Ltd | Portable telephone set |
JP2006186837A (en) * | 2004-12-28 | 2006-07-13 | Sharp Corp | Portable terminal device, program, and recording medium |
JP2007288374A (en) * | 2006-04-14 | 2007-11-01 | Mitsubishi Electric Corp | Mobile telephone and telephone conversation control method |
JP2007312309A (en) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | Mobile terminal device and method of operating the same |
-
2009
- 2009-08-07 JP JP2009184439A patent/JP5267377B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000209313A (en) * | 1999-01-19 | 2000-07-28 | Funai Electric Co Ltd | Alarm device |
JP2000295318A (en) * | 1999-04-02 | 2000-10-20 | Matsushita Electric Ind Co Ltd | Portable telephone set |
JP2006186837A (en) * | 2004-12-28 | 2006-07-13 | Sharp Corp | Portable terminal device, program, and recording medium |
JP2007288374A (en) * | 2006-04-14 | 2007-11-01 | Mitsubishi Electric Corp | Mobile telephone and telephone conversation control method |
JP2007312309A (en) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | Mobile terminal device and method of operating the same |
Also Published As
Publication number | Publication date |
---|---|
JP5267377B2 (en) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7735025B2 (en) | Portable terminal having motion-recognition capability and motion recognition method therefor | |
KR101734450B1 (en) | Multisensory speech detection | |
KR101310969B1 (en) | Method and for analyzing circumstance of a device and device using the same | |
US20080259742A1 (en) | Methods and systems for controlling alarm clocks | |
JP6020450B2 (en) | Information input unit, information input method, and computer program | |
WO2017152355A1 (en) | Display method and terminal device | |
CN109994111B (en) | Interaction method, interaction device and mobile terminal | |
CN108124059B (en) | Recording method and mobile terminal | |
CN107741814B (en) | Display control method and mobile terminal | |
KR20140106775A (en) | Apparatus and method for touch sensing | |
CN108769327A (en) | Method, apparatus, electronic device and the storage medium of display screen sounding | |
JP2009129248A (en) | Hit command processing system, operation system for electronic instrument, and electronic instrument | |
CN107466387B (en) | Method and device for detecting touch mode | |
CN107749306B (en) | Vibration optimization method and mobile terminal | |
CN109871253A (en) | A kind of display methods and terminal | |
CN108958631B (en) | Screen sounding control method and device and electronic device | |
CN108021315B (en) | Control method and mobile terminal | |
JP5267377B2 (en) | Information processing device | |
CN108418961B (en) | Audio playing method and mobile terminal | |
CN109885375B (en) | List sliding display method and mobile terminal | |
CN109116982B (en) | Information playing method and device and electronic device | |
CN107743174B (en) | Clipping judgment method of sound signal and mobile terminal | |
CN111103983A (en) | AR musical instrument playing method and electronic equipment | |
CN109618234A (en) | Video playing control method, device, mobile terminal and storage medium | |
CN108769871A (en) | Vocal technique, device, electronic device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5267377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |