JP2019020855A - 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム - Google Patents

携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム Download PDF

Info

Publication number
JP2019020855A
JP2019020855A JP2017136538A JP2017136538A JP2019020855A JP 2019020855 A JP2019020855 A JP 2019020855A JP 2017136538 A JP2017136538 A JP 2017136538A JP 2017136538 A JP2017136538 A JP 2017136538A JP 2019020855 A JP2019020855 A JP 2019020855A
Authority
JP
Japan
Prior art keywords
microphone
command
input
information processing
command input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017136538A
Other languages
English (en)
Other versions
JP6416995B1 (ja
Inventor
伊藤　浩
Hiroshi Ito
浩 伊藤
俊 羅
Shun Ami
俊 羅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2017136538A priority Critical patent/JP6416995B1/ja
Priority to CN201810620206.2A priority patent/CN109254749A/zh
Priority to US16/033,933 priority patent/US10802790B2/en
Application granted granted Critical
Publication of JP6416995B1 publication Critical patent/JP6416995B1/ja
Publication of JP2019020855A publication Critical patent/JP2019020855A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/02—Manually-operated control
    • H03G3/04—Manually-operated control in untuned amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】ポケット等に入れた状態のまま、周囲に迷惑をかけることなくコマンドを入力することが可能な携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラムを提供すること。
【課題を解決するための手段】本実施の形態に係る携帯型情報処理装置は、音を入力するためのマイクと、前記マイクから入力される音の所定の周波数帯域の減衰を解析する解析手段と、前記解析手段の解析結果に基づいてコマンドを入力するコマンド入力手段と、を備えている。
【選択図】図１

Description

本発明は、携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラムに関する。
近時、スマートフォン等のタッチ表示部を携帯型情報処理装置が普及している。かかる携帯型情報処理装置では、ユーザの入力方法として、例えば、以下の（１）〜（３）の方法がある。
（１）画面のタッチ又はタッピングによる入力方法がある。かかる方法は、タッチセンサを使用して画面のタッチ又はタイピングを検出する。この方法では、画面に直接指やペン等を接触させる必要があるため、例えば、ポケットに入れている場合は、ポケットの上から（繊維越しに）は操作することができない。
（２）ボイス入力する方法がある。かかる方法は、マイクロフォンで音声を集音して音声認識技術を使用して音声を認識するものである。この方法は、周囲に迷惑となる場合があるので、ユーザが声を出せない環境（例えば、会議中、電車の中）では使用することができない。
（３）デバイスを振りかざしてジェスチャー入力する方法がある。Ｇセンサでデバイスのモーションを検出して、検出したモーションに応じた入力を行うものである。この方法では、ユーザは、デバイスを手で持って振りかざす必要があるので、スペースがない場所では不便である。
特開２０１５―００５１３６号公報
本発明は、上記に鑑みてなされたものであり、ポケット等に入れた状態のまま、周囲に迷惑をかけることなくコマンドを入力することが可能な携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の第１の態様に係る携帯型情報処理装置は、音を入力するためのマイクと、前記マイクから入力される音の所定の周波数帯域の減衰を解析する解析手段と、前記解析手段の解析結果に基づいてコマンドを入力するコマンド入力手段と、を備えている。
また、前記解析手段は、前記入力される音の所定の周波数帯域の減衰を解析して、前記マイクに対する指のスクレイピング方向を判定し、前記コマンド入力手段は、前記マイクに対する指のスクレイピング方向に対応するコマンドを入力してもよい。
また、前記コマンド入力手段は、前記マイクに対する指のスクレイピング方向が前記マイクに近づく方向である場合と、前記マイクから遠ざかる方向である場合とで、異なるコマンドを入力してもよい。
また、さらに、前記携帯型情報処理装置に対するタッピング操作を検出する検出手段を備え、前記コマンド入力手段は、前記検出手段で検出されたタッピング操作の検出結果に基づいてコマンドを入力してもよい。
また、前記コマンド入力手段は、前記解析手段の解析結果及び前記検出手段の検出結果の両方の結果に対応するコマンドを入力してもよい。
また、上述した課題を解決し、目的を達成するために、本発明の第２の態様に係る、携帯型情報処理装置のコマンド入力方法は、マイクから入力される音の所定の周波数帯域の減衰を解析する解析工程と、前記解析工程の解析結果に基づいてコマンドを入力するコマンド入力工程と、を含んでいる。
また、上述した課題を解決し、目的を達成するために、本発明の第３の態様に係る、携帯型情報処理装置に搭載されるプログラムは、マイクから入力される音の所定の周波数帯域の減衰を解析する解析工程と、前記解析工程の解析結果に基づいてコマンドを入力するコマンド入力工程と、をコンピュータに実行させる。
本発明の上記態様によれば、衣服のポケット等に携帯型情報処理装置を入れた状態で、周囲に迷惑をかけることなくコマンドを入力することが可能となる。
図１は、本実施の形態に係る携帯型情報処理装置の概念図を示す図である。 図２は、本実施の形態に係る携帯型情報処理装置を適用したスマートフォンの外観を示す斜視図である。 図３は、図２のスマートフォンのハードウェア構成例を示すブロック図である。 図４は、図２のスマートフォンの使用状態を説明するための説明図である。 図５は、布擦れ音と声や通常サウンドとの周波数スペクトラムの比較を説明するための図である。 図６は、パワースペクトラムの時系列の推移の一例を示す図である。 図７は、布擦れ音のパワースペクトラムの各周波数（Ｆ１〜Ｆ１２）のパワーの一例を示す図である。 図８は、布擦れ音の平均スペクトラムと平均周波数の時間推移の特性を示す図である。 図９は、コマンド入力用アプリにより実行されるコマンド入力処理を説明するためのフローチャートである。
以下に、この発明に係る携帯型情報処理装置、そのコマンド入力方法、及びコンピュータが実行可能なプログラムを図面に基づいて詳細に説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、方法、及びプログラムの実施形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施形態の一例を示すものであって、特許請求の範囲に示す本発明と矛盾無く装置、方法、及びプログラムについての選択した実施形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、又は他の方法、部品、材料でも本発明を実現できることが理解できる。また、フローチャートの各ステップを実行する順番はフローチャートに示す順番に限定されるものではなく、本発明の趣旨を逸脱しない範囲で順番を変更してもよい。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるもの又は実質的に同一のものが含まれる。
図１は、本実施の形態に係る携帯型情報処理装置の概念図を示す図である。本実施の形態に係る携帯型情報処理装置は、例えば、スマートフォン、ファブレット、携帯型電話端末、ゲーム端末、及びＰＤＡ等の各種の携帯可能な情報処理装置である。
図１において、情報処理装置１は、音を入力するためのマイク１１と、マイク１１から入力される音の所定の周波数帯域の減衰を解析する解析手段１２と、解析手段１２の解析結果に基づいてコマンドを入力するコマンド入力手段１３と、携帯型情報処理装置１に対するタッピングを検出する検出手段１４と、コマンド入力手段１３から入力されるコマンドに従った処理を実行する処理手段１５と、を備えている。
解析手段１２、コマンド入力手段１３、検出手段１４、及び処理手段１５は、例えば、ハードウェアやソフトウェア（ＯＳ、ＡＰＩ、サービス、ユーティリティ、ライブラリ、ドライバ、及びアプリケーション等のプログラム）のモジュール、又は、その組み合わせで構成することができる。また、コンピュータがプログラムを実行することにより、解析手段１２、コマンド入力手段１３、検出手段１４、及び処理手段１５の機能を実現することにしてもよい。
マイク１１は、音を集音して、入力するためのモジュールであり、例えば、シングルマイク、デュアルマイク、マイクアレイ等で構成することができる。
解析手段１２は、音の周波数解析機能を備える。解析手段１２は、マイク１１から入力される音の所定の周波数帯域の減衰を解析し、例えば、マイク１１に対する指のスクレイピング方向を判定してもよい。詳細を後述するように、例えば、ポケットに携帯型情報処理装置１を入れている場合において、ポケット（繊維）越しに、携帯型情報処理装置を指でスクレイピングさせると布擦れ音が発生する（図４参照）。この布擦れ音は、入力される音声の所定の周波数帯域を抽出することで検出することができる。布擦れ音（入力される音声の所定の周波数帯域）の減衰を解析することで、マイク１１に対する指のスクレイピング方向を判定することができる。解析手段１２は、マイク１１に対する指のスクレイピング方向がマイク１１に近づく方向であるか、又は、マイク１１から遠ざかる方向であるかを判定してもよい。また、マイク１１に対するスクレイピング方向だけでなく、スクレイピングの長さを判定してもよい。
検出手段１４は、携帯型情報処理装置１に対するユーザの指によるタッピングを検出する機能を備える。検出手段１４は、例えば、Ｇセンサ等で構成することができる。検出手段１４は、携帯型情報処理装置１に対するユーザのタッピング操作（タッピングの回数やタッピングのリズムを含む）を、例えば、Ｇセンサのセンサ出力を３Ｄ変動分析することにより検出することができる。検出手段１４は、例えば、ポケットに携帯型情報処理装置１を入れている場合において、ポケット（繊維）越しに、携帯型情報処理装置を指でタッピングしても、その振動によりタッピング操作を検出することができる。
コマンド入力手段１３は、少なくとも解析手段１２の解析結果に基づいてコマンドを入力する。コマンドは、例えば、ボリュームアップ、ボリュームダウン、電源ＯＮ，電源ＯＦＦ、画面ロック、及び画面ロック解除等の各種コマンドである。
また、コマンド入力手段１３は、マイク１１に対する指のスクレイピング方向がマイク１１に近づく方向である場合と、マイク１１から遠ざかる方向である場合とで、異なるコマンドを入力してもよい。例えば、マイク１１に対する指のスクレイピング方向がマイク１１に近づく方向である場合は、ボリュームをアップさせるコマンドを入力する一方、マイク１１に対する指のスクレイピング方向がマイク１１から遠ざかる方向である場合は、ボリュームをダウンさせるコマンドを入力してもよい。
また、コマンド入力手段１３は、検出手段１４で検出されたタッピングの検出結果に基づいてコマンドを入力してもよい。例えば、コマンド入力手段１３は、携帯型情報処理装置１に対するユーザのタッピング回数やタッピングのリズムに対応するコマンドを入力してもよい。また、コマンド入力手段１３は、例えば、所定のリズムのタッピング操作が行われた場合には、電源ＯＦＦのコマンドを入力してもよい。
また、コマンド入力手段１３は、解析手段１２の解析結果及び検出手段１４の検出結果の組み合わせに対応するコマンドを入力してもよい。例えば、マイク１１から遠ざかる方向の指のスクレイピングとタップが２回行われた場合には、電源ＯＦＦのコマンドを入力してもよい。また、指のスクレイピングでコマンドを選択し、タップ操作でそのコマンドを確定して入力してもよく、例えば、マイク１１に近づく方向への指のスクレイピングが行われた場合に、ボリュームアップを選択し、この後、タップが２回行われた場合には、選択したコマンドを確定して入力してもよい。
また、コマンド入力手段１３は、コマンドが入力された場合には、例えば、ハプティクスフィードバックを使用して、コマンドが入力された旨（コマンド入力が成功した旨）をバイブレータ等の振動でユーザに通知（フィードバック）してもよい。
以上説明したように、本実施の形態の携帯型情報処理装置１によれば、音を入力するためのマイク１１と、マイク１１から入力される音の所定の周波数帯域の減衰を解析する解析手段１２と、解析手段１２の解析結果に基づいてコマンドを入力するコマンド入力手段１３と、を備えている。そのため、衣服のポケット等に携帯型情報処理装置１を入れた状態で、音声入力と異なり周囲に迷惑をかけることなく、携帯型情報処理装置１を取り出さずにポケットの外からのコマンド入力が可能となる。
また、解析手段１２は、入力される音の所定の周波数帯域の減衰を解析して、マイク１１に対する指のスクレイピング方向を判定し、コマンド入力手段１３は、マイク１１に対する指のスクレイピング方向に対応するコマンドを入力する。したがって、携帯型情報処理装置１に対して、指を繊維越しスクレイピングするだけで、コマンド入力が可能となる。付言すると、単一のマイクを使用して指のスクレイピング方向を判定することが可能であるので、低コストな構成とすることができる。また、スクレイピング方向毎に、異なるコマンドを割り当てることができるので、複数のコマンドの入力が可能となる。
また、コマンド入力手段１３は、マイク１１に対する指のスクレイピング方向がマイク１１に近づく方向である場合は、ボリュームをアップさせるコマンドを入力する一方、マイク１１に対する指のスクレイピング方向がマイク１１から遠ざかる方向である場合は、ボリュームをダウンさせるコマンドを入力することとしたので、簡単にボリュームのアップ・ダウンを行うことが可能となる。
また、携帯型情報処理装置１に対するタッピング操作を検出する検出手段１４を備え、コマンド入力手段１３は、検出手段１４で検出されたタッピング操作の検出結果に基づいてコマンドを入力することとしたので、ユーザはタッピング操作することでコマンドを入力することが可能となる。
また、コマンド入力手段１３は、解析手段１２の解析結果及び検出手段１４の検出結果の組み合わせに対応するコマンドを入力することとしたので、スクレイピング操作とタッピング操作を組み合わせて多数の種類のコマンドを入力することが可能となる。
（実施例）
本実施の形態に係る携帯型情報処理装置をスマートフォンに適用した場合を例示して説明する。図２は、本実施の形態に係る携帯型情報処理装置を適用したスマートフォンの外観を示す斜視図である。
図２に示すように、スマートフォン１００は、略六面体形状の筐体１０２を備えている。筐体１０２の表面のうち一方側の面を正面１０２Ａ、正面１０２Ａに対向する他方側の面を背面（不図示）、筐体１０２の表面のうち正面１０２Ａと背面に挟まれた面を側面１０２Ｂとする。スマートフォン１００は、筐体１０２の正面１０２Ａの略中央部分に、アイコンや画像等を表示するための表示部１０３Ｂと表示部１０３Ｂ上に配置されたタッチセンサ１０３Ａとで構成されるタッチ表示部１０３が配置されている。
筐体１０２の正面１０２Ａの上方には、レシーバ１０７が配置されている。筐体１０２の右側の側面１０２Ｂには、ボリュームを調整するためのボリュームボタン（不図示）及び電源ボタン（不図示）等が配置されている。また、筐体１０２の下側の側面１０２Ｂ側には、マイク１０５及びスピーカ１０６が配置されている。
タッチ表示部１０３は、文字、図形、アイコン、及び画像等の情報を表示するとともに、指、スタイラス、ペン等（以下、「指示体」と称する）を用いてタッチセンサ１０３Ａに対して行われる各種操作を検出する。タッチセンサ１０３Ａが各種操作を検出する方式は、静電容量式、感圧式等の方式を採用することができる。また、タッチ表示部１０３には、各種アプリ等に対応したアイコンが表示されている。ユーザは、アイコンをタッチすることで対応するアプリを起動させることができる。
図３は、図２のスマートフォン１００のハードウェア構成例を示すブロック図である。図３に示すように、スマートフォン１００は、制御部１１０と、メモリ１１１と、ストレージ１１２と、無線通信部１１５と、通信部１１６と、オーディオデバイス１１７と、電源部１２４と、タッチ表示部１０３（タッチセンサ１０３Ａ、表示部１０３Ｂ）と、操作部１２３と、レシーバ１０７，Ｇセンサ１２５、及びＧＰＳ測位部１２６等を備えている。
タッチ表示部１０３は、表示部１０３Ｂと、表示部１０３Ｂに重畳されたタッチセンサ１０３Ａとを有する。タッチセンサ１０３Ａは、指やペン等の指示体を用いてタッチセンサ１０３Ａに対して行われた各種操作を、操作が行われた場所のタッチセンサ１０３Ａ上での位置とともに検出し、制御部１１０に通知する。タッチセンサ１０３Ａによって検出される操作には、タッチ操作、スライド操作、及びピッチ操作が含まれる。表示部１０３Ｂは、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成され、文字や図形等を表示する。
操作部１２３は、電源ボタンやボリュームボタン等を通じてユーザの操作を受け付け、受け付けた操作に対応する指示信号を制御部１１０へ送信する。
電源部１２４は、制御部１１０の制御に従って、蓄電池又はＡＣアダプタから得られる電力を、制御部１１０を含むスマートフォン１００の各部へ供給する。
通信部１１６は、例えば、３Ｇ／４ＧＬＴＥ方式で、基地局によって割り当てられるチャネルを介し、基地局との間で無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。
無線通信部１１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の通信規格に基づく通信や、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）の通信規格に基づいた通信を行う。
Ｇセンサ１２５は、スマートフォン１００のＸ軸方向、Ｙ軸方向、及びＺ軸方向（図２参照）の加速度ｘ、ｙ、ｚを検出し、検出した加速度ｘ、ｙ、ｚをセンサ出力として制御部１１０に出力する。また、Ｇセンサ１２５は、画面ロック状態（省エネ状態）にある場合でも電源部１２４から電力が供給されており、画面ロック状態（省エネ状態）にある場合でも動作可能に構成されている。
ＧＰＳ測位部１２６は、複数のＧＰＳ（Global Positioning System）衛星からの電波を受信して、緯度、経度情報に基づく地理的な位置データを取得して、制御部１１０に出力する。
オーディオデバイス１１７は、マイク１０５と、スピーカ１０６と、音声処理用のＤＳＰ１１８とを備えている。マイク１０５は、音声を含む音を集音して、ＤＳＰ２１８に出力する。スピーカ１０６は、ＤＳＰ１１８から出力される音声データに応じた音声を出力する。
ＤＳＰ１１８は、ｗａｋｅ ｏｎ ｖｏｉｃｅ機能を備えており、画面ロック状態（省エネ状態）にある場合でも電源部１２４から電力が供給されている。そのため、オーディオデバイス１１７は、画面ロック状態にある場合でもマイク１０５から音を集音可能となっている。なお、ＤＳＰ１１８は、Ｇセンサ１２５でタッピング動作を検出した直後に、ｗａｋｅ ｕｐして、ｖｏｉｃｅ入力するような構成としてもよい。
ＤＳＰ１１８は、Ａ／Ｄ変換器と、Ｄ／Ａ変換器と、アンプと、各種フィルタ等を含む音声処理用ＬＳＩ及びメモリ等を備えており、マイク１０５から入力される音（音声を含む）をＡ／Ｄ変換した後に信号処理し、音声処理後の音データ（デジタルデータ）を制御部１１０に出力したり、制御部１１０から入力される音データ（デジタルデータ）を信号処理し、信号処理後の音データをＤ／Ａ変換して、スピーカ１０６から出力させる。
メモリ１１１は、例えば、ＲＡＭやＤＲＡＭ等で構成されており、制御部１１０によって実行されるプログラム、制御部１１０が参照するデータ、制御部１１０の演算結果等が一時的に記憶されるワークエリアとして使用される。
ストレージ１１２は、例えば、不揮発性メモリ（例えば、ＥＥＰＲＯＭ、ＳＳＤ）であり、制御部１１０での処理に利用されるプログラムやデータを保存する。ストレージ１１２に記憶されるプログラムには、スマートフォンの各機能を実現するためのＯＳ１１２ａ、デバイスをハードウェア制御するためのドライバ１１２ｂ、スマートフォン１００をポケット等に入れた状態において、コマンド入力を行うためのコマンド入力用アプリ１１２ｃ、音声ファイルを再生させるための音声再生アプリ、電話機能を実現するための電話アプリ、電子メール機能を実現するためのメールアプリ、ＷＥＢブラウジング機能を実現するためのブラウザアプリ、ファイル閲覧用アプリ、及びワープロアプリ等の他のアプリ１１２ｄ、及び各種データ等が含まれる。各種アプリとデバイス間の通信にはＯＳ１１２ａが介在する。
制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ等であり、スマートフォン１００の動作を統括的に制御して各種の機能（モード）を実現する。具体的には、制御部１１０は、ストレージ１１２に記憶されているデータやメモリ１１１に展開したデータを必要に応じて参照しつつ、ストレージ１１２に記憶されているプログラムに含まれる命令を実行して、タッチ表示部１０３、無線通信部１１５，通信部１１６、オーディオデバイス１１７等を制御することによって各種機能（モード）を実現する。なお、制御部１１０が実行するプログラムや参照するデータは、通信部１１６や無線通信部１１５による通信でサーバ装置からダウンロードしたり、アップデートしてもよい。
コマンド入力用アプリ１１２ｃは、スマートフォン１００をポケット等に入れた状態において、ユーザが繊維越しに（ポケットの上から）スマートフォン１００に対して指をスクレイピングすることにより、コマンド入力を行うためのアプリケーションである。
コマンド入力用アプリ１１２ｃは、マイク１０５から入力される音の所定の周波数帯域の減衰を解析して、解析結果に対応するコマンドをＯＳ１１２ａに出力するコマンド入力処理を実行する。また、コマンド入力処理では、コマンド入力用アプリ１１２ｃは、Ｇセンサ１２５から入力されるセンサ出力を３Ｄ変動解析して、タッピング操作（タッピング回数やリズム）を検出し、検出したタッピング操作（タッピング回数やリズム）に対応するコマンドをＯＳ１１２ａに出力する。ＯＳ１１２ａは、コマンド入力用アプリ１１２ｃから入力されるコマンドを実行する。
上記構成において、例えば、オーディオデバイス１１７，制御部１１０，及びコマンド入力用アプリ１１２ｃ等は、上記図１の解析手段１２の機能を実現することができる。また、制御部１１０及びコマンド入力用アプリ１１２ｃ等は、上記図１のコマンド入力手段１３の機能を実現することができる。また、Ｇセンサ１２５及びコマンド入力用アプリ１１２ｃ等は、上記図１の検出手段１４の機能を実現することができる。また、制御部１１０及びＯＳ１１２ａ等は、図１の処理手段１５の機能を実現することができる。
図４〜図９を参照して、コマンド入力用アプリ１１２ｃにより実行されるコマンド入力処理を説明する。まず、図４〜図８を参照して、コマンド入力用アプリ１１２ｃが、マイク１０５から入力される音の所定の周波数帯域の減衰を解析して指のスクレイピング方向を判定する原理について説明する。
図４は、スマートフォン１００の使用状態を説明するための説明図である。図４に示すように、ユーザはスマートフォン１００を衣服のポケットに入れたまま使用したい場合がある。本実施例では、ユーザがスマートフォン１００を衣服のポケットに入れたままコマンドを入力可能とした。本実施例では、例えば、ポケットに入れたスマートフォン１００に対して、ポケットの繊維（布）越しに指をスクレイピングさせると、布擦れ音（指と繊維の摩擦音：スクレイピング音とも言う）が発生する。この布擦れ音の所定の周波数帯域の減衰を解析して、指のスクレイピング方向を判定し、判定した指のスクレイピング方向に対応するコマンドを入力する。
例えば、図４において、マイク１０５を下にしてスマートフォン１００をポケットに入れた場合に、ポケットの繊維越しに指を下方向（マイク１０５に近づく方向）や上方向（マイク１０５から遠ざかる方向）にスクレイピングさせることで、ユーザはコマンドを入力することが可能となる。例えば、ポケットの繊維越しに、マイク１０５に近づく方向（下方向）に指をスクレイピングさせた場合は、ボリュームをアップさせるコマンドを入力し、他方、ポケットの繊維越しに、マイク１０５から遠ざかる方向（上方向）に指をスクレイピングさせた場合は、ボリュームをダウンさせるコマンドを入力してもよい。
なお、図４では、マイク１０５を下にしてスマートフォン１００をポケットに入れた場合を示しているが、マイク１０５を上にしてスマートフォン１００をポケットに入れた場合は、スクレイピング方向は逆となり、ポケットの繊維越しに、上方向（マイク１０５に近づく方向）に指をスクレイピングさせた場合は、ボリュームをアップさせるコマンドを入力し、他方、ポケットの繊維越しに、下方向（マイク１０５から遠ざかる方向）にスクレイピングさせた場合は、ボリュームをダウンさせるコマンドを入力してもよい。
図５は、布擦れ音と声や通常サウンドとの周波数スペクトラムの比較を説明するための図である。図５（Ａ）は、声や通常サウンドの周波数スペクトラムの一例を示しており、図５（Ｂ）は、布擦れ音の周波数スペクトラムの一例を示している。
図５（Ａ）に示すように、声や通常サウンドの主成分は、２２ｋＨｚ×１／９＝２．４４ｋＨｚ以下となっており、高調波成分も含めてそれ以上には周波数成分がない。他方、図５（Ｂ）に示すように、布擦れ音は、２２ｋＨｚ×５／９＝１２．２２ｋＨｚ近辺まで広い分布の周波数成分がある。通常のスマートフォン等のマイク入力特性の限界は２０ｋＨｚ以下で十分弁別が可能となっている（例えば、４４ｋＨｚサンプリング処理の場合）。
以上より、布擦れ音は、例えば、入力される音の２．４ｋＨｚ〜１２．２２ｋＨｚの周波数帯域を抽出することで検出することができ、より望ましくは、声や通常サウンドの誤検出を防止するために、その帯域のうち、より高周波の帯域を抽出することが望ましい。
また、図５（Ｂ）において、８ｋＨｚ付近からさらに観察すると（Ａの領域）、距離により急速に減衰する。指が繊維を介してマイク１０５に近づくと（図４の下方向のスクレイピング）、この領域の周波数スペクトラムの総量が増大する。他方、指が繊維を介してマイク１０５から遠ざかると（図４の上方向のスクレイピング）、この領域の周波数スペクトラムの総量が急激に減少する。
図６は、パワースペクトラムの時系列の推移の一例を示す図である。図６（Ａ）は、指を、繊維を介してマイク１０５から遠ざかるようにスクレイピングさせた場合の各時間（Ｔ１〜Ｔ６）のパワースペクトラムの推移を示している。図６（Ｂ）は、指を、繊維を介してマイク１０５に近づくようにスクレイピングさせた場合の各時間（Ｔ１〜Ｔ６）のパワースペクトラムの推移を示している。図６において、横軸は周波数Ｆ（Ｆ１＜Ｆ１２）、縦軸はパワーを示している。
図６（Ａ）に示すように、指を、繊維を介してマイク１０５から遠ざかるようにスクレイピングさせると、周波数スペクトラムの総量が減少する。他方、図６（Ｂ）に示すように、指を、衣類を介してマイク１０５に近づくようにスクレイピングさせると、周波数スペクトラムの総量が増加する。
図７は、布擦れ音のパワースペクトラムの各周波数（Ｆ１〜Ｆ１２）のパワーの一例を示す図である。横軸は周波数（Ｆ１〜Ｆ１２）、縦軸はパワーを示している。平均パワースペクトルの量Ｐは、ΣＰｎ（n＝１，・・・，Ｎ）／Ｎで算出することができる。平均パワースペクトラムの周波数は、ΣＰｎ＊Ｆｎ（n＝１，・・・，Ｎ）／ΣＮＰｎ（n＝１，・・・，Ｎ）で算出することができる。
図８は、布擦れ音の平均スペクトラムと平均周波数の時間推移の特性を示す図である。横軸は時間（Ｔ０〜Ｔ１０）、縦軸は、平均周波数（１１０００Ｈｚ〜１２４００Ｈｚの範囲内）及びパワーを示している。図８において、実線はマイク１０５に近づく場合の平均周波数、鎖線はマイク１０５から遠ざかる場合の平均周波数、一点鎖線は、平均パワースペクトラム量を示している。図８に示すように、マイク１０５に近づく場合の平均周波数は増加する。他方、マイク１０５から遠ざかる場合の平均周波数は減少する。
コマンド入力用アプリ１１２ｃは、マイク１０５から入力される音の所定の周波数帯域を所定の時間間隔でサンプリングして、そのサンプリングした平均周波数のスペクトラム量が時系列で増加する場合は、スクレイピング方向がマイク１０５に近づく方向と判定し、スペクトラム量が時系列で減少する場合は、スクレイピング方向がマイク１０５から遠ざかる方向と判定する。
図９は、コマンド入力用アプリ１１２ｃにより実行されるコマンド入力処理を説明するためのフローチャートである。図９において、まず、コマンド入力用アプリ１１２ｃは、スマートフォン１００を所持するユーザのムーブ／ウォーキングによるＧセンサ１２５の出力変動を除去する（ステップＳ１）。次に、コマンド入力用アプリ１１２ｃは、Ｇセンサ１２５のセンサ出力に基づいて、スマートフォン１００の方向（姿勢）が概ね垂直方向（vertical direction)であるか否かを判断する（ステップＳ２）。これは、スマートフォン１００が衣服のポケットに入っている状態であるか否かを判定するためである。スマートフォン１００の方向が概ね垂直方向（スマートフォン１００のＹ軸方向と重力方向が概ね平行)にある場合は、スマートフォン１００が衣服のポケットに入っている状態であると判定する。
スマートフォン１００の方向が概ね垂直方向である場合には（ステップＳ２の「Ｙｅｓ」）、コマンド入力用アプリ１１２ｃは、マイク１０５をＯＮとする一方（ステップＳ４）、スマートフォン１００の方向（姿勢）が垂直方向でない場合には（ステップＳ２の「Ｎｏ」）、マイク１０５をＯＦＦとする（ステップＳ３）。これは、スマートフォン１００がポケットに入っている場合のみマイク１０５をＯＮとすることで、消費電力を低減するためのである。
つぎに、コマンド入力用アプリ１１２ｃは、マイク１０５から入力される音から布擦れ音（スクレイピング音）を検出したか否かを判断する（ステップＳ５）。布擦れ音を検出していない場合には（ステップＳ５の「Ｎｏ」）、ステップＳ７に移行する。
他方、布擦れ音を検出した場合には（ステップＳ５の「Ｙｅｓ」）、コマンド入力用アプリ１１２ｃは、布擦れ音に基づいて、指のスクレイピング方向を判定し、判定した指のスクレイピング方向に応じた対応するコマンドを入力する（ステップＳ６）。より具体的には、コマンド入力用アプリ１１２ｃは、指のスクレイピング方向がマイク１０５に近づく方向の場合は、ボリュームをアップさせるコマンドをＯＳ１１２ａに出力し、ＯＳ１１２ａは入力されるコマンドに応じてボリュームをアップさせる。他方、コマンド入力用アプリ１１２ｃは、指のスクレイピング方向がマイク１０５から遠ざかる方向の場合は、ボリュームをダウンさせるコマンドをＯＳ１１２ａに出力し、ＯＳ１１２ａはボリュームをダウンさせる。
ステップＳ７では、コマンド入力用アプリ１１２ｃは、Ｇセンサ１２５のセンサ出力に基づいて、指のタッピング操作を検出したか否かを判断する（ステップＳ７）。指のタッピング操作を検出しなかった場合には（ステップＳ７の「Ｎｏ」）、ステップＳ１に戻る。
他方、指のタッピング操作を検出した場合には（ステップＳ７の「Ｙｅｓ」）、コマンド入力用アプリ１１２ｃは、検出したタッピング操作（タッピング回数やリズム等）に対応するコマンドをリズム）に対応するコマンドを入力する（ステップＳ８）。より具体的には、コマンド入力用アプリ１１２ｃは、検出したタッピング操作（タッピング回数やリズム等）に対応するコマンドをリズム）に対応するコマンドをＯＳ１１２ａに出力し、ＯＳ１１２ａは入力されるコマンドに応じてボリュームをアップさせる。
１ 携帯型情報処理装置
１１ マイク
１２ 解析手段
１３ コマンド入力手段
１４ 検出手段
１５ 処理手段
１００ スマートフォン
１０５ マイク
１１０ 制御部
１１１ メモリ
１１２ ストレージ
１１２ａ ＯＳ
１１２ｃ コマンド入力用アプリ
１１７ オーディオデバイス
１２５ Ｇセンサ

Claims (7)

  1. 音を入力するためのマイクと、
    前記マイクから入力される音の所定の周波数帯域の減衰を解析する解析手段と、
    前記解析手段の解析結果に基づいてコマンドを入力するコマンド入力手段と、
    を備えたことを特徴とする携帯型情報処理装置。
  2. 前記解析手段は、前記入力される音の所定の周波数帯域の減衰を解析して、前記マイクに対する指のスクレイピング方向を判定し、
    前記コマンド入力手段は、前記マイクに対する指のスクレイピング方向に対応するコマンドを入力することを特徴とする請求項１に記載の携帯型情報処理装置。
  3. 前記コマンド入力手段は、前記マイクに対する指のスクレイピング方向が前記マイクに近づく方向である場合と、前記マイクから遠ざかる方向である場合とで、異なるコマンドを入力することを特徴とする請求項１又は２に記載の携帯型情報処理装置。
  4. さらに、前記携帯型情報処理装置に対するタッピング操作を検出する検出手段を備え、
    前記コマンド入力手段は、前記検出手段で検出されたタッピング操作の検出結果に基づいてコマンドを入力することを特徴とする請求項１〜３のいずれか１つに記載の携帯型情報処理装置。
  5. 前記コマンド入力手段は、前記解析手段の解析結果及び前記検出手段の検出結果の組み合わせに対応するコマンドを入力することを特徴とする請求項４に記載の携帯型情報処理装置。
  6. 携帯型情報処理装置のコマンド入力方法であって、
    マイクから入力される音の所定の周波数帯域の減衰を解析する解析工程と、
    前記解析工程の解析結果に基づいてコマンドを入力するコマンド入力工程と、
    を含むことを特徴とする携帯型情報処理装置のコマンド入力方法。
  7. 携帯型情報処理装置に搭載されるプログラムであって、
    マイクから入力される音の所定の周波数帯域の減衰を解析する解析工程と、
    前記解析工程の解析結果に基づいてコマンドを入力するコマンド入力工程と、
    をコンピュータに実行させるためのコンピュータが実行可能なプログラム。
JP2017136538A 2017-07-12 2017-07-12 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム Active JP6416995B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017136538A JP6416995B1 (ja) 2017-07-12 2017-07-12 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム
CN201810620206.2A CN109254749A (zh) 2017-07-12 2018-06-15 便携式信息处理装置、以及其指令输入方法
US16/033,933 US10802790B2 (en) 2017-07-12 2018-07-12 Portable computing devices and command input methods for the portable computing devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136538A JP6416995B1 (ja) 2017-07-12 2017-07-12 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム

Publications (2)

Publication Number Publication Date
JP6416995B1 JP6416995B1 (ja) 2018-10-31
JP2019020855A true JP2019020855A (ja) 2019-02-07

Family

ID=64017224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136538A Active JP6416995B1 (ja) 2017-07-12 2017-07-12 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム

Country Status (3)

Country Link
US (1) US10802790B2 (ja)
JP (1) JP6416995B1 (ja)
CN (1) CN109254749A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911881B1 (en) * 2019-09-25 2021-02-02 Amazon Technologies, Inc. Inter-channel level difference based acoustic tap detection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122531A (en) * 1998-07-31 2000-09-19 Motorola, Inc. Method for selectively including leading fricative sounds in a portable communication device operated in a speakerphone mode
JP2009230175A (ja) * 2008-03-19 2009-10-08 Citizen Holdings Co Ltd キー入力装置
KR101544475B1 (ko) * 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
KR20110007848A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 휴대단말기의 제어 장치 및 방법
US20110096036A1 (en) * 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
JP5593851B2 (ja) * 2010-06-01 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
CN105009029B (zh) * 2013-02-13 2018-09-11 日本电气株式会社 信息处理装置、信息处理方法以及信息处理程序
JP2015005136A (ja) 2013-06-20 2015-01-08 株式会社東芝 電子機器、プログラム及び処理実行方法
US9557911B2 (en) * 2014-01-27 2017-01-31 Lenovo (Singapore) Pte. Ltd. Touch sensitive control
US9232331B2 (en) * 2014-05-08 2016-01-05 Microsoft Technology Licensing, Llc Hand-worn device for surface gesture input
CN104750254B (zh) * 2015-03-23 2019-02-05 联想(北京)有限公司 一种信息处理方法及装置、电子设备
US10739968B2 (en) * 2015-11-23 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for rotating 3D objects on a mobile device screen
KR102437106B1 (ko) * 2015-12-01 2022-08-26 삼성전자주식회사 마찰음을 이용하는 장치 및 방법
US10321213B2 (en) * 2017-05-26 2019-06-11 Motorola Solutions, Inc. Remote speaker microphone with touch volume control

Also Published As

Publication number Publication date
US20190018642A1 (en) 2019-01-17
CN109254749A (zh) 2019-01-22
US10802790B2 (en) 2020-10-13
JP6416995B1 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
AU2011358860B2 (en) Operating method of terminal based on multiple inputs and portable terminal supporting the same
KR101789332B1 (ko) 휴대단말기에서 홈 스크린을 표시하는 방법
KR102241994B1 (ko) 전자 펜을 이용한 기능 제어 방법 및 그 방법을 처리하는 전자 장치
CN108021305B (zh) 应用关联启动的方法、装置及移动终端
KR101629645B1 (ko) 휴대 단말기 및 그 동작방법
US10198118B2 (en) Operating method and electronic device for processing method thereof
KR102307215B1 (ko) 데이터 처리 방법 및 전자 디바이스
KR102216123B1 (ko) 타스크 스위칭 방법 및 이를 위한 디바이스
CN105975190B (zh) 一种图形界面的处理方法、装置及系统
US11209930B2 (en) Method of controlling device using various input types and device for performing the method
CN102801846A (zh) 黑屏录音移动终端及在移动终端上实现黑屏录音的方法
KR20120118830A (ko) 휴대단말기에서 위치 정보를 공유하여 사용하는 방법 및 시스템
CN110417960A (zh) 一种可折叠触摸屏的折叠方法及电子设备
KR20110044496A (ko) 휴대 단말기의 입력 신호 처리 장치 및 방법
US10048853B2 (en) Electronic device and display control method
CN109388326A (zh) 一种电子设备、双屏电子设备的控制方法及装置
JP2012174247A (ja) 携帯電子機器、接触操作制御方法および接触操作制御プログラム
JP6416995B1 (ja) 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム
WO2016155527A1 (zh) 一种流媒体对齐方法，设备以及存储介质
KR20150061420A (ko) 스마트 워치 및 그 동작 방법
KR20140102068A (ko) 상황 템플릿 기반 동적 맞춤형 사용자 인터페이스 제공 장치 및 방법
CN115185425B (zh) 一种控制终端显示的电子书翻页的方法及装置
CN107181910A (zh) 一种移动终端的拍摄方法、装置及移动终端
US20160010993A1 (en) Management methods and systems for movement detection
KR20120131056A (ko) 휴대단말기의 어플리케이션 관리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250