JP2006523904A - 移動体及び固定環境内でのデータ入力向上システム - Google Patents

移動体及び固定環境内でのデータ入力向上システム Download PDF

Info

Publication number
JP2006523904A
JP2006523904A JP2006513136A JP2006513136A JP2006523904A JP 2006523904 A JP2006523904 A JP 2006523904A JP 2006513136 A JP2006513136 A JP 2006513136A JP 2006513136 A JP2006513136 A JP 2006513136A JP 2006523904 A JP2006523904 A JP 2006523904A
Authority
JP
Japan
Prior art keywords
word
key
user
character
keypad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006513136A
Other languages
English (en)
Inventor
ガーサビアン、ベンジャミン、フィルーツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyless Systems Ltd
Original Assignee
Keyless Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyless Systems Ltd filed Critical Keyless Systems Ltd
Publication of JP2006523904A publication Critical patent/JP2006523904A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/445Printers integrated in other types of apparatus, e.g. printers integrated in cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1696Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a printing or scanning device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/0221Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03541Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03549Trackballs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • G10L15/25Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/23Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0338Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/70Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Set Structure (AREA)
  • Telephone Function (AREA)

Abstract

複数のキーを規定するキーパッドを備え、各キーは一群の記号からの少なくとも1つの記号を備える。一群の記号は、アルファベット記号、数値記号、及びコマンド記号のうち少なくとも1つを備えたサブグループに分割されており、各サブグループは使用者の指の少なくとも一部と関連づけられる。指認識システムは、少なくとも第一のサブグループにおける第一の記号及び少なくとも第二のサブグループにおける第二の記号を有する、少なくとも一つのキーと交信する。指認識システムは、指がキーと相互作用するとき、使用者の指の一部と関連付けられたサブグループに対応するキー上の記号が選択されるよう、使用者の指の一部を認識するように構成される。

Description

(関連出願)
本出願の原出願は、2003年4月18日出願の米国仮特許出願第60/463,844号と2003年4月30日出願の米国仮特許出願第60/466,594号と2003年5月5日出願の米国仮特許出願第60/468,028号と2003年5月30日出願の米国仮特許出願第60/474,447号と2003年6月3日出願の米国仮特許出願第60/475,533号と2003年6月26日出願の米国仮特許出願第60/482,706号と2003年6月27日出願の米国仮特許出願第60/482,998号と2003年8月20日出願の米国仮特許出願第60/496,702号と2003年9月5日出願の米国仮特許出願第60/500,602号と2003年9月19日出願の米国仮特許出願第60/504,331号と2003年10月14日出願の米国仮特許出願第60/510,885号と2004年1月14日出願の米国仮特許出願第60/536,564号と2004年3月11日出願の米国仮特許出願第60/552,968号と2004年3月26日出願の米国仮特許出願第60/557,140号とに従って優先権を主張するものであり、これら全てを参照用に本願明細書に組み込むものとする。
本出願は、文字入力のためのシステム及び方法に関する。より詳しくは、本出願はキーや音声やそれらの組み合わせを用いて文字を入力するシステム及び方法に関する。
文字を電子的に入力する典型的なシステムや方法には、QWERTY配列キーボード等の如き標準的なキーボードの使用が含まれる。しかしながら、最新の電子装置はより小型化されてきたため、所望の文字を入力するのに新たな方法が開発されてきた。
この種の一つの方法は標準的な電話器数字キーパッド上での多数回押しシステムを用い、それによって複数の英数文字を同一キーに割り当てるものである。この種のシステムに付随する一つの欠点は、それが所定の文字入力に単一キーの多数回押圧を要求し、それによってキー押しの総回数を増大させ、文字入力処理を緩速化する点にある。
もっと小型の装置への文字入力に対応する第2の方法は、装置への標準的QWERTY配列キーパッドを単純に小型化するものであった。しかしながら、この種の小型化キーパッドはしばしば体裁が悪く、キー間に十分な空間を設ける余裕がなく、一回の押圧だけを望むときに複数キーの押圧を招くものであった。
より小型の電子装置への文字入力に対応するさらに別の試みは、音声認識ソフトウェアの使用である。この種方法は一時期使用されていたが、幾つかの欠点を抱えるものであった。最も顕著には、音声認識ソフトウェアは同音異議語が識別不能である欠点があり、しばしばシステムが特定の話者とその癖と発声習慣を認識するのにかなりの事前入力を必要とする。また、音声認識ソフトウェアはこれらの問題点を緩和する試みの中で肥大化してきており、制限されたエネルギと携帯電話やテキストページャ等のより小型の電子装置の処理能力には殊に相応しからざる相当量の処理が必要とされる。
本発明の目的は、先行技術に関連する欠点を克服し、迅速で信頼でき、大量の設定とエネルギ/処理経費を必要としない文字入力用システム及び方法を提供することにある。
この目的に合わせ、本発明は各キーが記号群のうちの少なくとも一つの記号を含む複数のキーを画成するキーパッドを有するデータ入力システムに関するものである。記号群は英数記号と数字記号とコマンド記号のうちの少なくとも一つを有するサブグループに分割され、ここでは各サブグループはユーザの指の少なくとも一部に関連付けられる。
複数キーのうちの少なくとも一つのキーと交信状態にある指認識システムを配設し、少なくとも一つのキーに第1のサブグループからの少なくとも第1の記号及び第2のサブグループからの少なくとも第2の記号を持たせ、指がキーと相互作用し、ユーザの指の一部に関連するサブグループに対応するキー上の記号を選択した時に、指認識システムがユーザの指の一部を認識する構成としてある。
以下に述べる発明は、概してデータ入力のための、キーの数が限られた小型キーパッド上におけるキャラクタ、区切り、機能等の記号(たとえばコンピュータのキーボード上に備わる記号)を配列する方法に関し、より詳細には、ユーザの音声/言葉表現とキーパッド上のキーとのインタラクション(たとえば、キー押し)を組み合わせるデータおよび/またはテキスト入力方法に関する。この方法は、その種のキーパッドの使用を容易にする。
図1は、キー押しおよび音声/言葉認識システムを使用するデータ入力方法に関する一体型キーパッド100の一例を示している。この例においては、キーパッドのキーが、それらとの1ないしは複数のタイプのインタラクションに応答することができる。前記インタラクションは、以下のようなものとすることができる。
−特定の指もしくは指の部分を用いたキー押し(指認識システムを使用)
−1回打鍵(たとえばキー押し)またはキーの2回連打(たとえば、短い時間間隔で連続して行う2回押し)
−軽いキー押し(または接触)または強いキー押し
−キーとの短時間のインタラクション(たとえば、短時間のキー押し)または長時間のキー押し
−その他。
キーパッド上のキーとの前記インタラクションもしくはそれらの任意の組み合わせのそれぞれに対して、前記キーパッド上の記号グループを割り当てることができる。たとえば、キーパッド100のキーの上側に表示されている記号を、そのキーパッドのキーの1回キー押しに割り当ててもよい。たとえばユーザが、キー101を押したときに、記号『DEF3.』が選択されるようにすることができる。同じ例において、キーパッド100のキーの下側に配列されている記号を、前記キーの2回連打に割り当てることもできる。たとえばユーザがキー101を2回連打した場合には、記号『{}‘』が選択される。
キーパッドのキーを伴って具体化されているシステムに応じて、同じ選択を、前述したようなほかのインタラクションを用いて行うことも可能である。たとえばキー101の軽いキー押し(または接触)によってそのキーの上側に配列されている記号が選択され、同じキーに対する強いキー押しによってそのキーの下側に配列されている記号が選択されるようにすることができる。
前述したように、ユーザがキーとのインタラクションを行うときに、認識システムが、前記キー上の、前記インタラクションのタイプに割り当てられている記号を候補に設定する。たとえば、ユーザがキー102に触れるか、軽く押したとき、システムは、記号『A』、『B』、『C』、『2』、および『,』を候補に設定する。前記候補記号の1つを選択するために前記ユーザは、前記記号または前記キー上における前記記号の位置の呼称の言葉表現を行う。この目的から音声/言葉認識システムが使用されている。
ユーザが言葉表現を行わなかった場合には、候補記号のうちのあらかじめ定義済みの記号がデフォルトとして選択されるようにしてもよい。この例においては、ボックス103内に示されている区切り『,』が選択される。ほかの候補記号の1つ、たとえば文字『B』を選択するためには、ユーザが前記文字の言葉表現を行えばよい。
同じ例において、ユーザがキー102を強く押した場合には、『[』、『]』、および『”』を候補とすることができる。前述したように、ユーザが言葉表現を行わなければ、前記キー押しの動作によって選択されたこれらの記号の中からあらかじめ定義済みの記号がデフォルトとして選択されるようにすることができる。この例であれば、区切り『“』が選択される。またこの例において、残り2つの候補記号の中から希望する記号『[』または『]』を選択する場合にユーザは、前記希望する記号の言葉表現、および/または別の記号と相対的なその記号の位置の言葉表現、および/またはその色の言葉表現(それぞれの記号が異なる色を有している場合)、および/または前記記号に割り当てられている任意のあらかじめ定義済みの呼称(たとえば、あらかじめ定義済みの音声またはユーザによって生成されるサウンド)といった各種の方法を使用することができる。たとえばユーザが『ひだり』と言えば、記号『[』が選択される。ユーザが『みぎ』と言えば、記号『]』が選択される。
当然のことながら、音声/言葉表現の使用に代えて、キーとのインタラクションにユーザの動作を組み合わせて記号を選択することもできる。たとえばユーザは、キー102を強く押し、希望する記号の方向に指をスワイプさせてもよい。
上記のデータ入力方法は、キーとのシングル・タイプのインタラクションに応答するキーを備えるキーパッド(たとえば押しボタンを備える標準の電話キーパッド)にも適用することができる。図2に示されているように、キーパッド200は、キーとのシングル・タイプのインタラクションに応答するキーを備えている。ユーザがキーを押すと、前記キー上のすべての記号がシステムによって候補に設定される。たとえば、ユーザがキー202を押すと、記号『A』、『B』、『C』、『2』、『,』、『[』、および『]』が候補に設定される。
この例においてユーザが言葉表現を行わなければ、システムはあらかじめ定義済みのデフォルトの記号を選択することができる。この例の場合であれば、区切り『,』203が選択される。
同じ例において、前記候補の中から希望する記号を選択するために、ユーザは、希望する記号の言葉表現を行うか、あるいはたとえば前記キー上における前記記号の位置もしくは前述したように前記キー上のほかの記号との相対的な位置の呼称、または任意のほかの呼称の言葉表現を行えばよい。たとえば、キーの上側に配列されている記号の中から1つ(たとえば、『A』、『B』、『C』、または『2』)を選択する場合には、それの言葉表現を行えばよい。これに対して、たとえばキーの下側に配列されている記号の中からから1つ(たとえば、『[』、『 』または『]』)を選択する場合には、前記キーの下側における残り2つの記号に対する相対的な位置の言葉表現を行うことによって、たとえば『ひだり』、『なか』、または『みぎ』と言うことによって、それを選択することができる。たとえば、『[』204を選択する場合には、ユーザはキー202を押した後に『ひだり』と言えばよい。
ここに述べたように、図1のキーパッドのキーは、少なくとも2つのあらかじめ定義済みのタイプの、それらとのインタラクションに応答することができる。前記キーパッドのキーとのインタラクションの各タイプは、前記キー上の前記キャラクタのグループを候補に設定することができる。
前述したように、テキストの書き込み等のデータエントリの間は、キーとの異なるインタラクション(たとえば、1回の打鍵、2回の連打)および前記キー・インタラクションと組み合わせた、ユーザの異なる動作(たとえば、言葉表現あり、言葉表現なし)が必要になることがある。本発明のデータ入力方法は迅速かつ容易であるが、本発明のキーパッドのキー上の記号の良好な配列によって、さらに容易かつ迅速なデータ入力システムをもたらすことができる。次に、この方法について説明する。
一実施態様によれば、図3に示されているように、多数の記号(たとえば、コンピュータ・キーボード上の記号)が物理的に少なくとも2グループに分けられ、次に示すようなそれぞれの優先順位(たとえば、使用頻度、一部の記号については標準電話キーパッド上の文字および数字といった現存する配列に対するユーザの慣れ等)によって電話キーパッド・キー上に配列されている。
キーとの第1のタイプのインタラクションに割り当てられる第1のグループ:
(a)音声/言葉表現を使用する第1のサブグループ:
数字0〜9、および文字A〜Zについては、標準の配列に従ってキーパッドのキー上に配置し、前記キーとの第1のタイプのインタラクション(たとえば、第1のレベルのキー押し)に割り当てることができる。それらの中の希望する記号は、対応するキーとのインタラクション(たとえば、前記第1のタイプのインタラクション)およびその記号の自然な言葉表現によって選択されるようにできる。図3においては、前記記号(たとえば301)が、キーの上側に配列されている。
文字および数字は、たとえばテキスト入力の間に頻繁に使用されることがある。それらは、たとえば対応するキーの打鍵の間に自然に言葉表現を行うことができる。したがって、より高速かつ容易なデータ入力のために、それらを、同一タイプのキーパッド・キーとのインタラクションに割り当てることができる。
(b)音声/言葉表現を使用しない第2のサブグループ:
残りの記号のうちの少なくとも一部、すなわちデータ(たとえば、テキスト)入力の間に頻繁に使用される記号(たとえば、区切り、機能等)については、キーパッドのキー上に配置し(1キー当たり1記号)、前記キーとの前記第1のタイプのインタラクション(たとえば、1回打鍵)を割り当てることができる。デフォルトとして、希望する記号が、言葉表現/音声の使用なしに、対応するキーとの前記インタラクションによってのみ選択されるようにしてもよい。図3においては、前記記号(たとえば302)がキーの上側のボックス内に配置されている。
当然のことながら、前記記号についても、対応するキーとのインタラクションの間にそれらの言葉表現を行うことによって選択されるようにすることができるが、その種の記号(たとえば、区切り、機能)の言葉表現を行うことは必ずしも自然な動作ではないことから、それらの言葉表現がない方が好ましい。
少なくとも1つのキーとの少なくとも第2のタイプのインタラクションに割り当てられる少なくとも第2のグループ:
残りの記号の少なくとも一部は、前記キーパッド上の前記キーとの、少なくとも第2のタイプのインタラクションに割り当てることができる。これらは、次のように2つのグループに分けることができる。
(c)音声/言葉表現を使用しない第3のサブグループ:
第3のサブグループは、残りの、頻繁に使用される記号および音読が難しい記号および/または音読が自然でない記号を含んでおり、前記キーパッドのキー上に配置し(1キー当たり1記号)、前記キーとの第2のタイプのインタラクション(たとえば、2回連打、より強いキー押し、2つのキーの同時押し、キーに触れる指の部位等)を割り当てることができる。
デフォルトとして、言葉表現/音声を用いることなく対応するキーとの前記インタラクションのみによって希望する記号が選択されるようにすることができる。図3においては、前記記号(たとえば303)がキーの下側のボックス内に配置されている。
当然のことながら、前記記号についても、対応するキーとのインタラクションの間にそれらの言葉表現を行うことによって選択されるようにすることができるが、その種の記号(たとえば、区切り、機能)の言葉表現を行うことは自然な動作ではないことから、それらの言葉表現がない方が好ましい。
(d)音声/言葉表現を使用する少なくとも第4のサブグループ
第4のサブグループは、残りの記号の少なくとも一部を含んでおり、前記キーパッドのキーとの前記第2のタイプのインタラクションに割り当て、音声等のユーザの動作を組み合わせることができる。図3においては、前記記号(たとえば304)がキーの下側に配列されている。前記記号は、対応するキーとの前記第2のタイプのインタラクションおよび次に示すような各種方法における音声/言葉表現の使用によって選択することができる。
−記号の呼称を自然に音読することによって行われる記号の選択
−テキスト内に使用する間に、キー上の互いの記号に対する相対的な位置もしくはそれらの位置を自然に言葉表現することによって(たとえば『<』、『>』;この例においては、前記記号が前記第2のタイプのインタラクションに属していない;これは単なる例示に過ぎない)、たとえば『ひだり、みぎ、オープン、クローズ等』と言うことによって行われる記号の選択
−非常にまれに使用される(非常に少ない)記号および/または音読しにくい記号(たとえば、304)。より高速かつ容易なデータ入力方法のために、これらの記号についても、キー上におけるそれらの位置または前記キー上における互いに対する相対的な位置の言葉表現を行うことによって選択することができる。当然のことながら、別の言葉表現によって、たとえばそれらを音読することによってもそれらを選択することができる。
(e)その他:
必要であれば、そのほかの『F1〜F12』等の記号をキーパッドのキー上に割り当て、インタラクションのタイプを割り当てることができる。たとえば、それらを前記第2のタイプのインタラクション(言葉表現あり、または言葉表現なし)を割り当ててもよく、また2つのキーの同時押し、対応するキー(1ないしは複数)の3回連打、別のモードへ入るスイッチの使用等といった、ほかの種類のインタラクションを割り当ててもよい。
キーパッドおよびその使用をさらに強化するための考察:
数字0〜9、および文字A〜Zが、標準的な配列に従ってキーパッドのキー上に配置できること、および言葉表現を伴う前記キーとの第1のタイプのインタラクション(たとえば、第1のレベルのキー押し、1回打鍵等)に割り当てできることから、311、312、313、および314等の一部のキーは、前記配列で使用される記号を多くとも1つ(たとえばキー311に数字1、キー313に数字0)含むものとすることができる。したがって、前記キーのより良好な使用のために、いくつかのより容易かつ自然に音読される記号321〜324をそれらのキーに追加し、前記第1のタイプのインタラクションに割り当てることができる。たとえばユーザは、キー311との第1のタイプのインタラクションを使用し、さらに、たとえば『ひだり』または『オープン』と言うことによってキャラクタ『(』を選択することができる。ユーザが記号『)』を選択するためには、同じ第1のタイプの前記キー311とのインタラクションを使用し、たとえば『みぎ』または『クローズ』と言えばよい。これは迅速であり、より重要なことであるが、それらの記号の自然な言葉表現である。前記第1のタイプのインタラクションに割り当てられる前記キー311〜314上の候補記号の数が、ほかのキー上における記号の数を超えないことから、音声認識システムは、ほかのキーの場合と類似の精度を有することができる。
また、いくつかの記号を両方のモード(キーとのインタラクション)で使用してもよい。前記記号を、キーパッド上に1度を超えて(たとえば、単一のキー上または異なるキー上)配列してもよく、対応するキー(1ないしは複数)との第1および/または第2のタイプのインタラクションを割り当てることができる。
図3は、コンピュータ・データ入力システムに関する本発明の好ましい実施態様を示している。キーパッド300のキーは、それらとの2もしくはそれを超える異なるインタラクション(異なるレベルのキー押し、1回または2回連打等)に応答する。これに示されているように、英数キャラクタ、区切り、機能、およびPCコマンド等の多数の記号が、以下に示すように前記キーに分布されている。
モード1:
第1のグループ:文字A〜Zおよび数字0〜9は、テキストを書くといったデータ入力の間において非常に頻繁に使用される記号である。これらは対応するキーのキー押しの間に容易に、かつもっとも重要なことであるが、自然に音読することができる。したがって、それらをキー上の同じ側に配置し、キーの1回打鍵(または、1回キー押し)等の同一タイプのインタラクション(たとえば、第1のモード)に帰属させ、それらの言葉表現を行うことによって選択する。
第2のグループ:区切り等のキャラクタ、および機能は、テキストを書くといったデータ入力の間において非常に頻繁に使用され、前記文字および数字を選択する場合に同じタイプのインタラクション(たとえば、第1のモード)に帰属させることができる。これによりデータの入力の間は、可能な限りキーとのインタラクションのタイプが同一に保たれる。各キーは、前記第2のグループの前記キャラクタを1つだけ有することができる。この記号グループは、対応するキーを押すだけで、音声を使用することなく選択されるようにできる。より良好に区別するために、それらは、キーの上側(たとえば、文字および数字と同じ側)のボックス内に示されている。
モード2:
前記多数の記号に含まれるそのほかの記号は、キーパッドのキーの下側に表示される。これらは、前記キーとの第2のタイプのインタラクション(たとえば、2回連打)に割り当てられる。
第3のグループ:デフォルトの記号(たとえば、キーとのインタラクションを必要とするが音声の使用を必要としない記号)がボックス内に表示される。これらの記号は、ユーザによって現在のところあまり使用されていないキャラクタ、区切り、機能等を含む。
第4のグループ:最後はデータ入力にほとんど使用されない、自然に綴りを言うことのできない記号であり、この例においては、キーの下左側に配置されている。これらは、対応するキーとの対応するインタラクション(たとえば、2回連打)および(たとえば、ほとんど同時の)それらの音読、あるいは前記記号に割り当てられているあらかじめ定義済みの言葉もしくは音声(たとえば『ひだり、みぎ』、または『あお、あか』等)を発してそれらを呼ぶことによって選択されるものとすることができる。
キーとのインタラクションの各種タイプ(好ましくは、2タイプとし、キーの使用を煩雑化しない)に対応するキーを有するキーパッドを使用し、かつ言葉表現を必要としないいくつかの記号(たとえば、デフォルト)を有することによって、前記キーパッド上のそれらのキーとのインタラクションを行うときには、希望するキーの直接的なインタラクション(たとえば、デフォルト)が得られるか、あるいは音声/言葉表現等のユーザの動作によって選択されることになる候補記号の数が最小化される。これは、音声認識システムの精度を増加する。
たとえばユーザが軽くキーを押したときには、システムが、前記キー上に配置されている記号の中から前記キーの上側にある記号(複数)を選択する。ユーザが同時に音声を使用した場合には、システムが、前記選択した記号の中から音声を必要とする記号を選択する。候補の数を減らし、音声認識テクノロジに対してそれらのうちの1つを選択することを要求するこの手順が使用されて、限られた数のキーを有するキーパッドを介して高い精度を伴うデータ入力が得られる。数を減らす手順は、キー押しおよび/または言葉表現といったユーザの自然な動作によってもたらされる。
図4に示されているように、キー411、412、413、および414は、音声インタラクションを要求し、そのキーとの第1のインタラクションに割り当てられている記号が多くとも1つ(そのキーの上側に示されている)有している。これに対して、同じキーが、前記キーとの第2のインタラクションを必要とし、さらに音声インタラクションを必要とする2つの記号を、その下側に備えている。前記2つの記号は、同じカテゴリに属するほかの記号より頻繁に(たとえば、算術データ入力もしくはソフトウエアを記述するとき)使用されることがある。その場合、それらのキーとのインタラクション(たとえば、キー押し)の間におけるユーザのエラーをさらに最小化するために、前記記号を、前記キーとの前記第1のタイプのインタラクションに割り当てることができる。合計の候補記号の数は低く抑えられる。ユーザは、希望に応じてそれらのキーを押し、言葉表現を行えばよい。
上記のキーパッド上に、ユーザによるその使用を容易にするための追加の配列を提供することができる。たとえば、『−』および『_』、『”』および『’』、または『;』および『:』を同一のキー411上にデフォルトの記号として配列してもよく、あるいは2つの隣接するキー415、416上に配列してもよい。同様にデフォルトの記号として『Sp』および『 』(たとえば、タブ)を考え、同一のキー412の上に配列し、それぞれを前記キーとの異なるタイプのインタラクション(たとえば、キー押しのレベル)に応答させることもできる。たとえば、キー412を1回押した場合にはキャラクタ『Sp』が選択される。同じキーを2回連打すると、『タブ』機能が選択される。
キーとのインタラクションの間に(たとえば、キーを1回押すか、あるいはそれを2回連打する)間に、そのキーに触れたままでいることによって、そのインタラクション(必要であれば言葉表現を含む)に対応する記号が選択され、そのキーを解放するまで反復される。たとえば、キー415を2回連打し、2回目の打鍵の後にキー押しの状態を維持し、かつ言葉表現を行わない場合には、前記インタラクションに割り当てられているデフォルトの記号(たとえば『&』)が選択され、ユーザがそのキーを解放するまで反復される。文字『X』を入力し、反復するのであれば、たとえばユーザは、対応するキー415を押し、(それを保持したまま)『エックス』と言えばよい。ユーザがそのキーを解放するまで、文字『X』が反復される。
また、キーパッドの外観をより見慣れたものとするために、文字、数字、および『#』ならびに『*』等のキャラクタを、標準の電話キーパッドの配列に従って、前記キー上に配置することができる。
前記キーパッドのキーとは別に配置される追加のキーを使用して、前記記号のいくつか、あるいは追加の記号を含ませることができる。図6に示した例においては、キーパッド600のキーとは別に配置された少なくとも1つのキーによってカーソルが各種の方向に移動される。単一のキー601にすべての方向602を割り当てることもできる。ユーザは、たとえばそのキーを押して『うえ』、『した』、『ひだり』、または『みぎ』と言ってカーソルを対応する方向に進める。キー601は、多方向キーでもある(たとえば、テレビ・ゲームに使用されているもの、あるいはある種の携帯電話でメニュー内の移動に使用されているものに類似)。ユーザは、キー601の上側、右側、下側、または左側を押して、それぞれに応じた方向にカーソルを移動することができる。また、複数の追加のキーを少なくとも『 』等の記号に割り当てることもできる。
前記追加のキーは、電子デバイス上に現存するキーとしてもよい。たとえば、携帯電話においては、標準電話キーパッドの12のキーに加えて、メニュー・キー、あるいはオン/オフ・キーといった追加の機能キーが備わっており、システムが、たとえばテキスト入力モードにあるときには、それらのキーの少なくともいくつかを多数の記号を含む追加のデータ入力キーとして使用することができる。これにより標準電話キーパッド・キー上のいくらかの空間が解放される。解放された空間は、より良好な精度の音声認識システム、および/またはキーパッドのキー上におけるよりユーザ・フレンドリな記号配列を可能にする。
上記の配列方法およびそこで示した例は、単に例を示しているに過ぎない。当然のことながら、このほかにも多くの記号の配列があり、キーとの各種のユーザ・インタラクションへの割り当てが考えられる。たとえば、キーがデフォルトの記号を有していないこと、あるいは音声/言葉表現に割り当てられている記号がキー上にないことが考えられる。
また、キーパッド上のすべてのキーが必ずしも同一種類のインタラクションに応答しなくてもよい。たとえば、キーパッドの第1のキーが2つのレベルのキー押しに応答し、同じキーパッドの別のキーが1回打鍵または2回連打に応答するようにもできる。
図1〜7には、キーパッドのキー上の記号に関する各種の配置を示されている。
前述したデータ入力システムは、コンピュータ・キーボードを介して入力される完全テキストのような完全データ入力を可能にする。文字、区切りマーク、機能等のキャラクタを1つ1つ入力することによって、単語および文を入力することができる。
これは、すでに使用されている多くのアプリケーションや方法の強化を可能にし、テレコミュニケーション市場に大きな影響を与えることになろう。それらのいくつかについて次に列挙する。ここでは、前述したインタラクションの任意の組み合わせを希望する記号の入力のために使用できることが理解される。
本発明の一実施態様によれば、ユーザは、キー押し等のほかのインタラクションを伴うことなく、音声/言葉表現を使用して希望する文字等の記号を入力する。ユーザは、キーパッドのキーを使用し(たとえば、キーの1回押し、2回押し、3回押し等)、言葉表現を行うことなく区切り等の記号を入力することができる。
本願で説明するデータ入力方法は、たとえば中国語、韓国語、日本語等の全ての他の言語についても適用することができる。
記号の訂正および反復:
各種の方法を使用して、誤って入力した記号の訂正を行うことができる。前述したように記号を入力するためにユーザは、たとえば対応するキーを押し、前記キー上に配列されている前記希望の記号を言葉表現することができる。そこで起こり得ることは、音声/言葉認識システムがユーザの言葉表現を誤って解釈し、システムが前記キー上に配列されている希望されていない記号を選択してしまうことである。
たとえばユーザが:
(a)次の希望する記号の入力の前に(たとえば、誤って入力した記号の直後にカーソルがある)記号の入力誤りに気付いた場合には、後述する訂正手続きに進むことができる。
(b)少なくとも次の記号を入力した後に記号の入力誤りに気付いた場合には、移動機能を有するキー101(図1)または202(図2)等の対応する手段によりテキスト内を移動し、前記誤って入力した記号の直後にカーソルを置くことができる。続いて後述する訂正手続きに進む。
前記誤って入力した記号の直後にカーソルを置いた後にユーザは、前記対応するキーを再び押すことなく、前記希望する記号もしくはその位置の呼称の言葉表現を再度行うことができる。システムは、削除した記号を再び選択した場合には、前記選択を自動的に排除し、前記キー上に配列されている残りの記号から1つの記号、すなわちその呼称もしくは位置の呼称がユーザの言葉表現に対応している可能性が次に高い記号を選択する。それでもなおシステムによって誤った記号が選択される場合には、ユーザが希望の記号の言葉表現を再度行い、前記希望の記号がシステムによって選択されるまで、前記キー上の残りの記号のうちもっとも可能性の高い次の記号を選択する手続きを続けることができる。
ここで理解されようが、たとえば2つのレベルのキー押しに応答するキーを有するキーパッドを使用したデータ入力システムにおいては、訂正時に認識システムが、まず、前記誤って入力された記号を選択するために適用されたキー押しレベルに帰属する同一の記号グループに属する記号の中からの記号の選択に進むことができる。これらの記号のいずれもがユーザによって受け入れられなかった場合にシステムは、前記キーの別のキー押しレベルに属する記号の中からの記号の選択に進む。
図7bは、訂正の方法の一実施態様に対応するフローチャートを示している。何らかの理由からユーザが、すでに入力済みの記号の訂正を希望する場合には、この訂正手続きに入ることができる。
訂正手続きは、ステップ701において開始する。置換記号が被置換記号と同じキー上に配置されていない場合に(702)、ユーザは、被置換記号を削除し(704)、対応するキーを押し、かつ必要に応じて追加の言葉表現を行うこと(706)によって置換記号を入力し、終了する(724)。
置換記号が被置換記号と同じキー上に配置されており(708)、置換記号が言葉表現を必要としない場合には(710)、システムはステップ704および706へ進み、前述したように相応じて動作を行った後、終了する(724)。
置換記号が被置換記号と同じキー上に配置されており(708)、置換記号が言葉表現を必要とする場合には(712)、次のような2つの可能性が考えられる。
(a)カーソルが被置換記号の後にない(714)。この場合にユーザは、被置換記号の直後にカーソルを置き(716)、次のステップ718へ進む。
(b)カーソルが被置換記号の後にある(714)(たとえば、誤った記号を入力したことにユーザが直ちに気付く)。この場合にユーザは、次のステップ718へ進む。
ステップ718においては、ユーザが、キーを押すことなく、希望する記号の言葉表現を行う。キーを押さずに言葉表現だけを行うことによって、システムは、カーソルの直前にあるキーに属する記号が、同じキーに属する別の記号によって置換されなければならないものと理解する。続いてシステムは、前記キー上の残りの記号の中から(たとえば、すでに選択済みの記号を排除し)、前記言葉表現に対応する確率のもっとも高い記号を選択する(720)。新しく選択された記号が、希望の記号でなかった場合には(722)、システム(およびユーザ)がステップ718へ戻る。選択された記号が希望の記号であった場合には、システムが訂正手続きを終了する(724)。
当然のことながら、上記の方法に代えて、記号を訂正する従来の方法を提供することもできる。たとえば、すでに入力済みの記号を訂正するために、ユーザは、単純に前記記号を削除し、新しい記号に対応するキーを押し、必要な場合にはその言葉表現を追加してそれを入力することができる。
このテキスト入力システムは、単語レベルに適用することもできる(たとえば、ユーザが単語の言葉表現を行い、キーパッドを使用することによってそれをタイプする)。同一のテキスト入力手続きが単語レベルの入力(たとえば、データベース内に含まれている単語に関して)と、キャラクタレベルの入力を結合することができる。したがって、前述した訂正手続きもまた、単語レベルのデータ入力に適用できることになる。
単語を入力する場合に、ユーザは、前記単語の言葉表現を行い、対応するキーを押すことができる。音読が類似しており、類似したキー押しを有する2つの単語の間の明瞭性といった何らかの理由から、希望していない単語が認識システムによって選択された場合に、ユーザは、前記対応するキーを押すことなく、希望する単語の言葉表現を再び行えばよい。これによりシステムは、前記キー押しに対応する残りの候補単語の中から(たとえば、すでに選択済みの単語を除いて)前記言葉表現に対応する可能性のもっとも高い単語を選択する。新しく選択された単語も希望する単語でない場合に、ユーザは、再び前記単語の言葉表現を行えばよい。この手続きは、前記希望する単語がシステムによって選択されるか、あるいは候補単語がなくなるまで繰り返すことができる。その場合にユーザは、前述したように入力システムにキャラクタを1つずつ入力することによって前記希望する単語を入力することができる。
ここで、単語レベルにおいては、訂正時にカーソルが被置換単語の後に置かれている必要があることが理解される。この目的から、またキャラクタ訂正モードとのあいまい性を排除するため、単語全体を修正(単語訂正レベル)するときにユーザは、その被置換単語の後の、少なくとも1つの空白文字によってその単語と離隔されるところにカーソルを置くことができる。これは、たとえばユーザが、すでに入力済みの単語の最後のキャラクタの訂正を希望した場合に、前記キャラクタの直後にカーソルを配置する必要があることによる。その単語の後の少なくとも1つの空白文字の後(あるいは、その単語がその行の最後の単語である場合には次の行の先頭)にカーソルを置き、キー押しを伴わずに言葉表現を行うことによって、システムは、ユーザがカーソルの手前の最後の単語の訂正を希望していることを認識する。ここで、被置換単語が区切りマーク(たとえば『.』、『?』、『,』等)を含んでいる場合により良好な結果を得るためには、それらの区切りマークの後の空白文字の後にカーソルを置けばよいことが理解される。これは、場合によってはユーザが、単語の終わりに置かなければならない区切りマークの誤りの修正を希望することによる。それを目的とする場合にユーザは、前記区切りマークの直後にカーソルを置けばよい。
偶発的な訂正(たとえば、カーソルがテキストのどこかにあり、だれかがデータ入力を意図することなく言葉を発した場合)を避けるためには、各種の方法を適用することができる。たとえば、ユーザがテキスト入力の間に休憩を希望した場合には、ポーズまたは非テキスト・キーを使用することができる。別の解決策は、カーソルがテキスト内の場所に置かれてからある時間の区切り(たとえば2秒)を経過すると、カーソルの手前の最後の単語もしくはキャラクタの訂正がシステムによって受け付けられなくすることである。ユーザが前記単語またはキャラクタの訂正を希望している場合には、たとえば、カーソルを(少なくとも1つの任意の方向に)移動させ、再びそれを前記希望する位置に戻せばよい。希望する位置にカーソルを再配置すると、最初から時間カウントが開始するので、ユーザは、その時間の区切りが超過する前に前記単語もしくは前記キャラクタの訂正を開始する必要がある。
記号の反復:
希望する記号を反復するとき、ユーザは、まず対応するキーを押し、必要であればその記号の言葉表現を行い、あるいはそのキー上の前記記号の位置、もしくは前記キー上のほかの記号との相対的な位置の呼称を読み上げる。それによりシステムは、希望された記号を選択する。ユーザは、中断なく前記キーを押し続ける。あらかじめ定義済みの時間の区切りが経過すると、システムは、そのユーザによって前記記号の反復が意図されているものと認識する。システムは、ユーザが前記キー押しを中止するまで、前記記号を反復する。
ここで注意する必要があるが、前述したキー記号の訂正ならびに反復の方法は、限定を意図するわけではないが、1回/2回連打、感圧キー、同時複数のキー押し、キーの部分押し等を含む任意の入力方法と組み合わせて使用することができる。
電話帳:
電話を掛けるとき、ユーザは、番号をダイアルする代わりに名前等(たとえば、個人名、会社名等)の情報により着信先を入力してもよく、必要であればさらに前記着信先の相手のアドレス等の追加の情報を入力することができる。中央ディレクトリは、自動的に前記着信先に対して呼び出しを行う。前記着信先(たとえば、相手方)に複数の電話回線が割り当てられている場合、あるいはユーザによって入力された前記希望の情報に関して複数の選択肢が存在する場合に、対応する選択リスト(たとえば、電話番号、あるいは前記電話回線に割り当てられているそのほかの定義済みの割り当て)を呼者の電話に送信し、たとえばその電話機のディスプレイ上に表示することができる。それによりユーザは、希望する選択肢を選択して呼び出しを行うことができる。
前述した呼び出し(たとえば、ダイアリング)の方法は、電話番号により相手先(たとえば、個人)を呼び出す必要性を排除する。したがって、電話番号の記憶、電話帳の携帯、あるいは番号案内の利用の必要性が排除される(もしくは、少なくとも低減される)。
音声/言葉表現を使用するインタラクティブ案内:
会社や施設等における音声案内の使用は、ますます増加している。相手先とのこのインタラクションの方法は、非常に時間を要し、ユーザに欲求不満を抱かせる。人々の多くは、音声案内が電話先に聞こえると通信を切断する。そのシステムとのインタラクションを試みた場合であっても、長時間を費やした後に、呼者の希望するサービスまたは個人へのアクセスに失敗することもしばしばである。この不確定性の主な理由は、音声案内の指示を聞くとき、多くの場合にすべての選択肢がアナウンスされるまでユーザが待たなければならないことによる。ユーザは、通常、アナウンスされたすべての選択肢を覚えていない。ユーザは、それらの選択肢を再び聞かなければならなくなる。
また、音声案内は、多数回にわたるデータ入力をユーザに要求する。このデータ入力は、電話キーパッドのキーの数が限られていること、あるいはそれを介した記号の入力が複雑であることから多様性が限定される。
前述したデータ入力方法は、案内との迅速なビジュアル・インタラクションを可能にする。被呼者は、ビジュアル・インタラクティブ案内を呼者に送信し、呼者はほとんど瞬時にすべての選択肢を眺め、呼者の電話キーパッド(前述したデータ入力システムを備える)を使用して、迅速かつ容易に応答もしくは質問を行うことができる。
ボイス・メール:
ボイス・メールをテキスト・メールに置き換えることもできる。この方法は、すでに使用されている。前述したデータ入力方法の利点は、ユーザが相手先に返答し、あるいはメッセージを書かなければならないときに明白になる。本発明のデータ入力方法は、携帯電話等のモバイル電子デバイスを介したメッセージング・システムの利用を劇的に強化する。もっとも知られた使用の1つはSMSである。
電話タイプのキーパッドを使用する電子デバイスの数は無数にある。本発明のデータ入力方法は、そのデバイスのキーパッドを介したデータ入力を劇的に強化することを可能にする。当然のことながら、この方法は電話タイプのキーパッドに限定されない。少なくともキーパッドのキーが1を超える数の記号を含んでいれば、任意のキーパッドに使用することができる。
マルチ−セクション・キーパッド:
前述したデータ入力方法を使用するキーパッドのサイズは、複数のセクションを有するキーパッドを使用することによってさらに最小化される。前記キーパッドは、閉じたポジションにおいてサイズを極小に(たとえばもっとも大きいセクションの大きさ、たとえば大人のユーザの指先のサイズ、または小型キーパッドのキーのサイズに等しいサイズ)、開いたポジションにおいて希望に応じて最大化(使用時および/または開いたときのセクションの数に依存)することができる。
理論的には、閉じたポジションにおけるキーパッドのサイズを、前記キーパッドのキーのサイズとすることさえも可能である。
図8は、前記キーパッド800の一実施態様を示しており、少なくとも3つのセクション801を備え、そのそれぞれのセクションが、電話キーパッドの1列を構成するキーを含んでいる。前記キーパッドが開いたポジションにあるときには、電話タイプのキーパッド800が提供される。閉じたポジション802においては、このキーパッドに上記のセクションの1つの幅を持たせることができる。
前記キーパッドの別の実施態様を図9に示す。前記キーパッド900は、少なくとも2つのセクション901〜902を備え、第1のセクション901は、電話タイプのキーパッドの2列を構成するキー911〜912を含んでおり、前記キーパッドの第2のセクション902は、前記電話タイプのキーパッドの第3列913を少なくとも含んでいる。前記キーパッドが開いたポジションにあるときには、電話タイプのキーパッドが提供される。前記キーパッドは、前記第2のセクションに配列される、キーの追加の列914を含むことができる。閉じたポジション920においては、前記キーパッドに前記セクションの1つの幅を持たせることができる。
図10に示されているように、前記キーパッド1000の別の実施態様は、少なくとも4つのセクション1001〜1004を備えており、前記セクションのそれぞれが、電話キーパッドの1行を構成するキーを含んでいる。前記キーパッドは、開いたポジションにあるとき、電話タイプのキーパッドを提供する。閉じたポジション1005においては、前記キーパッドの長さを、前記キーパッドのキーの1行の幅のサイズにすることができる。
図11は、少なくとも2つのセクション1101〜1102を含む前記キーパッド1100の別の実施態様を示しており、第1のセクションは、電話タイプのキーパッドの2行を構成するキーを含んでおり、前記キーパッドの第2のセクションは、電話タイプのキーパッドの残り2行を構成するキーを含んでいる。前記キーパッドは、開いたポジションにあるとき、電話タイプのキーパッドを提供する。閉じたポジション1103においては、そのキーパッドの長さを、前記キーパッドのキーの1行の幅のサイズにすることができる。
前述したマルチ−セクション・キーパッドは、発明者によってすでに出願されている特許出願の中にすでに記述されている。
これらのマルチ−セクション・キーパッドを介して前述したデータ入力方法を使用することによって、小型化された使用容易な完全データ入力キーパッドを提供することができる。この種のキーパッドは、多くのデバイスに、特にサイズの限られたデバイスに使用することができる。
当然のことながら、前述した記号配列を前記マルチ−セクション・キーパッド上に使用してもよい。
図12は、マルチ−セクション・キーパッド1200の別の実施態様を示している。キー1201を有するセクション間の間隔は、任意の手段によって増加することができる。たとえば、空の(たとえば、キーを含んでいない)セクション1202を、キーを含むセクションの間に備えてもよい。これにより、このキーパッドが開いたポジションにあるとき、セクション間の間隔をより広くすることができる。その一方、閉じたポジション1203においては、キーパッドをより細くすることができる。
組み込みキーパッドおよびマウスまたはポイントおよびクリック・デバイスを有するデータ入力デバイス:
概してキーパッドを介したデータ入力方法を強化するため、より詳細には本発明のキーパッドを介したデータ入力方法を強化するために、おもて側にデータ入力用のキーパッドを備えている電子デバイスの裏側に、以下においてマウスと呼ぶポイントおよびクリック・システムを組み込むことができる。
図13は、ユーザの手のひら1301の中に保持されている携帯電話1300等の電子デバイスを示している。前記ユーザは、片手を使用してこのデバイス1300を手の中に保持し、同時に前記デバイスのおもて側に配置されているキーパッド1303を操作し、その裏側に配置されているマウスまたはポイントおよびクリック・デバイス(図示せず)を操作することができる。前記ユーザは、拇指1302によりキーパッド1303を使用する間、人差し指1304により(裏側の)マウスを操作することができる。残り3本の指1305は、そのユーザの手の中にデバイスを保持する補助とすることができる。
前記デバイスの裏側に組み込まれるマウスまたはポイントおよびクリック・デバイスには、コンピュータのマウスに類似した機能を持たせることができる。また、電話タイプのキーパッドもしくは前記デバイスの追加のキーのうちのいくつかのキー(たとえば、2つのキー)をマウスのクリック機能に割り当てることができる。たとえば、キー1308および1318を、前記デバイス1300の組み込みマウスとともに機能させ、コンピュータのマウスのキーに類似した機能を持たせることができる。前記キーに、コンピュータのマウスのキーと同一の機能を持たせてもよい。たとえばこのマウスを操作することによって、ユーザは、前記デバイスのスクリーン1307上において通常選択(ポインタ)インジケータ1306を移動させ、希望するメニュー1311上にそれを置くことができる。コンピュータのマウスの場合と同様に、続いて前記ユーザは、前記キーパッドのあらかじめ定義済みの、たとえばキー1308(マウスに割り当てられている)をたとえば打鍵(クリック)もしくは2回連打(ダブルクリック)し、前記通常選択(ポインタ)インジケータ1306によってポイントされている前記希望のメニュー1311を選択し、あるいは開くことができる。
携帯電話等のモバイル・デバイスのディスプレイが小さいことから、回転ボタン1310を前記デバイスに備え、ユーザがそれを使用してメニューリストを循環するといったことができるようにしてもよい。たとえば、スクリーン1307上に希望するメニュー1311が現れた後に、ユーザは、マウスを使用して通常選択(ポインタ)インジケータを前記希望するメニュー上に移動し、電話タイプのキーパッド1303のキー1313の1つもしくは前記デバイス上の追加のキー1308に1つといったあらかじめ定義済みキーを使用することによってそれを選択することができる。
コンピュータについて言えば、続いてユーザは、前記キーを押して関連するメニュー・バー1312を開くことができる。前記メニュー・バー1312の機能1313を選択するためには、ユーザが前記キーを押したまま、通常選択(ポインタ)インジケータ1306を前記機能の上まで移動した後、前記キーを放すことによって、前記機能を選択することができる。
コンピュータの機能に類似の機能の1つを、前記キーパッドおよび前記マウスを使用することによって提供することができる。
また、マウスに割り当てられている前記キーの使用に代えて、ユーザは、あらかじめ定義済みの音声/言葉表現もしくはそのほかのあらかじめ定義済みの動作(1ないしは複数)を使用して、前記キーの機能を置き換えることができる。たとえば、通常選択(ポインタ)インジケータ1306をアイコンの上に置いた後、キーを押す代わりに、ユーザは、『せんたく』または『ひらく』と言って、そのアイコンによって表されているアプリケーションを選択し、あるいは開くことができる。
図14は、携帯電話1400等の電子デバイスを示している。各種のアプリケーションを表す複数の異なるアイコン1411〜1414が、前記デバイスのスクリーン1402上に表示されている。ユーザがこれらのアプリケーションの1つを選択および/または開くためには、コンピュータの場合と同様に、マウスを使用し、希望するアイコン1411の上まで通常選択(ポインタ)インジケータ1403を移動する。続いて前記ユーザは、前記キーパッドのあらかじめ定義済みのキー1404をたとえば1回押しすることによって前記アイコンを選択することができる。前記アイコンによって表されているアプリケーションを開くためには、たとえばユーザが、前記キーパッドのあらかじめ定義済みのキーを、たとえば2回連打すればよい。
電子デバイスの裏側に組み込まれているマウスは、任意のタイプとすることができる。たとえば図15は、図13〜14に示されているような電子デバイス1500の裏側を示している。マウス1501は、従来のコンピュータのマウスに類似である。これは、前述のようにユーザの指を使用して操作することができる。また、机の表面等の上にデバイスを寝かせ、前記表面上において前記マウスをスワイプすることによって、従来のコンピュータのマウスと同様に操作することもできる。
図16は、図13〜14に示されているような電子デバイス1500の裏側に組み込まれた別の従来タイプのマウス(感応パッド)を示している。マウス1601は、従来のコンピュータのマウスに類似である。これは、前述のようにユーザが指を使用して操作することができ、この例の場合には、好ましくは前述したように、ユーザがデバイスを手の中に保持しつつ、人差し指1602を用いて前記マウスを使用する(たとえば、操作する)。このポジションによれば、ユーザは、その拇指(図示せず)を使用して前記デバイスのおもて側(たとえば、他方の側)に配置されているキーパッド(図示せず)のキーを操作することができる。
モバイル・デバイスは、好ましくは片手でのみ操作されるものとする。これは、ユーザが動いている間(たとえば、バスまたは列車内にいる間)、ユーザの他方の手を、列車内に立っている間にバーを把持する、あるいは新聞もしくはブリーフケースを保持するといった別の目的に使用できるようにするためである。
携帯電話等のデバイスの裏側にマウスを実装することによって、ユーザは、片手で前記デバイスを操作し、データを入力することができる。ユーザは、前記デバイスのキーパッドおよびマウスを両方同時に使用することができる。
当然のことながら、ユーザが希望する場合には、ユーザが両手を用いて前記デバイスならびにそのマウスを操作してもよい。
前記デバイスの別の使用方法は、それを机の表面等の上に置き、通常のコンピュータのマウスと同じ方法に従って前記表面上において前記デバイスをスライドさせ、かつ前記キーパッドを使用してデータを入力する方法である。
ここで理解される必要があるが、前述したものを含む任意のタイプのマウスは、任意のモバイル・デバイスの任意の部分に組み込むことができる。たとえば、マウスを前記デバイスのおもて側に配置してもよい。また前記マウスを前記デバイスの横に配置し、前述した指によるキーパッドの操作が同時に行われるようにすることもできる。
なお、この議論全体を通じてマウスが使用されているが、電子デバイスに組み込まれ、電話タイプのキーパッドに結合されるスタイラス・コンピュータのような任意のポイントおよびクリック・データ入力デバイスが本発明の企図に含まれていることに注意する必要がある。
外付け統合データ入力ユニット:
また、キーボード(キーパッド)および/またはマウス等のデータ入力手段を必要とする電子デバイスに、キーパッドならびにマウスを備える外付け統合データ入力ユニットを提供することもできる。データ入力ユニットのおもてにキーパッド(たとえば、電話タイプのキーパッド)のキーを有し、前記ユニットの裏にマウスが組み込まれたデータ入力ユニットを提供してもよい。前記データ入力ユニットは、コンピュータ、PDA、カメラ、TV、ファクシミリ・マシンといった希望するデバイスに接続することができる。
図19は、キーボード1901、マウス1902、モニタ1903、およびそのほかのコンピュータ・アクセサリ(図示せず)を備えるコンピュータ1900を示している。ある種の状況(たとえば、ユーザが前記コンピュータとのインタラクションの間に、モニタの前に腰を下ろすことを好まず、たとえばベッドに横たわっていることを望んだとき)においては、大型のキーボードおよび/または対応するマウスに代えて、ユーザは、小型の外付け統合データ入力ユニットを使用することができる。外付けのデータ入力ユニット1904の提供が可能であり、前記データ入力ユニットは、おもて側に配置されるキーパッドのキー1911、延長可能マイクロフォン1906とすることのできるマイクロフォン、前記データ入力ユニットの裏側(前述)に組み込まれるマウス(図示せず)等の特徴を備える。前記データ入力ユニットは、(ワイヤレスまたは有線により)前記電子デバイス(たとえば、前記コンピュータ1900)に接続することができる。前述したような統合データ入力システム(たとえば、ユーザによるキーとのインタラクションに組み合わせた音声認識システムを使用するシステム)は、前記電子デバイス(たとえば、前記コンピュータ1900)内、あるいは前記データ入力ユニット1904内に組み込むことができる。また、マイクロフォンを前記電子デバイス(たとえば、コンピュータ)内に組み込んでもよい。前記統合データ入力システムは、前記データ入力ユニット上、あるいは前記電子デバイス(たとえば、コンピュータ)内に備えられるマイクロフォンのいずれを使用することもできる。
インタラクションの間、特に離れたところから前記コンピュータ1900等の電子デバイスとのインタラクションを行う間に良好なビューを得るためには、本発明による前記統合データ入力ユニット1904等の入力ユニット内にディスプレイ・ユニット1905を組み込めばよい。離れたところから前記電子デバイス1900のモニタ1903とのインタラクションを行うとき、ユーザは、前記モニタ1903のディスプレイ1910の全体的なビューを得ることができる。前記モニタ1903のディスプレイ1910上の矢印1909周辺の詳細なエリア1908もしくはマウスを使用して選択されたそのほかのエリアは、前記データ入力ユニット1904の前記ディスプレイ1905上において同時に見ることができる。前記エリア1908のサイズは、製造者もしくはユーザが定義することができる。好ましくは、前記エリア1908のサイズを、前記データ入力ユニット1904のディスプレイ1905のサイズに近づけるとよい。これによりユーザには(たとえば、データ入力スクリーン1905上の前記エリアを見ることによって)、インタラクションを行っているエリア1908の詳細な、かつ/または望ましい場合には実際のサイズのビューが得られる。ユーザは、モニタ1903のディスプレイ1910の全体的なビューを得ている間に、インタラクションを行っているエリア1908の特定の詳細なビューが得られ、同時にそれが前記データ入力ユニット1904のディスプレイ1905上に示される。たとえば、キーパッドのマウス(図示せず;キーパッドの裏側)を使用してコンピュータ・ディスプレイ1910上の矢印1909を移動することができる。同時に前記コンピュータ・ディスプレイ1910上の前記矢印1909および前記矢印1909の周囲のエリア1908が、キーパッドのディスプレイ1905上に表示される。
ファイルを開くといったインタラクションを行うために、たとえばユーザは、前記コンピュータのスクリーン1910上において矢印1909を移動し、希望するファイル1907上にそれを置く。前記移動されたエリア1908および前記ファイル1907は、前記データ入力スクリーン1905上において見ることができる。前記データ入力ユニット1904のディスプレイ1905を目に近づけることにより、ユーザは、前記データ入力ユニット1904のディスプレイ1905上においてユーザ自身のインタラクションを明瞭に見ることができ、しかも前記電子デバイス1900(たとえば、コンピュータ)の大型ディスプレイ1910上には全体的なビューを得ることができる。
ここで理解される必要があるが、前記インタラクション・エリア1908は、各種の必要性もしくは定義に従って定義ならびに変更が可能である。たとえば、前記インタラクション・エリアを、矢印1909の周囲の、矢印が前記エリアの中心となるエリアに、もしくは前記エリアを前記矢印の右、左、上、または下等のエリアにしてもよく、また前記モニタのディスプレイ上における前記矢印の位置とは無関係の前記モニタのスクリーン上の任意のエリアとしてもよい。
図20は、コンピュータ2001に接続される前述同様のデータ入力ユニット2000を示している。テキスト入力等のデータ入力の間に、インタラクション・ポイント2003(たとえば、カーソル)の周囲のエリア2002が、同時にキーパッド・ディスプレイ2004上に表示される。
図21a〜21bは、前述のデータ入力ユニットを使用することのできる各種の電子デバイスを例示している。図21aは、コンピュータ2100であり、図21bは、TV 2101である。前記TV 2101のデータ入力ユニット2102は、前記TV 2101のリモート・コントロールとしても機能する。たとえば、データ入力ユニット2102の裏側に備えられるマウス(図示せず)を使用して、ユーザは、映画もしくはチャンネルを表すアイコン2104上に選択矢印2103を置き、前記データ入力ユニットのキー2105上を2回連打(ダブルクリック)することによってそれを開くことができる。当然のことながら、前記TVの前記データ入力ユニット2102は、TVを経由したインターネットあるいはTV、ケーブルTV等を経由したメッセージ送信等のためのデータ入力にも使用することができる。その場合においては、本発明の統合データ入力システムを、たとえばTVのモデム2106内に組み込むことができる。
延長可能マイクロフォン:
延長可能および/または回転可能なマイクロフォンを携帯電話等の電子デバイスに組み込むこともできる。前記マイクロフォンは、ユーザの口に向かって伸びる剛体のマイクロフォンとしてもよい。
テクノロジの進歩に伴って、新しい入力システムおよびデバイスが市場に登場し、機器とのより容易なインタラクションが可能になっている。これらの入力システムの多くは音声/言葉認識システムを使用しており、ユーザは、データもしくはコマンドの言葉表現を行って入力する。これはデータを入力する自然な方法であることから、音声認識システムは、非常に一般的なものとなりつつある。コンピュータ、電話、玩具、およびそのほかの多くの機器には、音声認識システムを採用した各種のデータ入力システムが装備されている。
これは、良好な入力方法であるが、重大な欠点がある。これは、独立した入力方法ではない。ユーザは、通常、話の内容を他者に聞かれることを好まず、人々は、他者が大声で話をすることを好まない。
この問題を克服(もしくは、少なくとも軽減)するために、ユーザは小声で話さなければならない。ユーザの音声/言葉表現が音声認識システムによって誤って解釈されないようにするためには、マイクロフォンをユーザの口に近づけなければならない。
本発明は、ユーザの音声をデータとして使用する機器であって、前記機器からユーザの口に向かって延びるマイクロフォンを伴う機器を提供することを課題とする。
この種のマイクロフォンの使用には多くの利点がある。この種のマイクロフォンの利点の1つは、前記マイクロフォンを前記ユーザの口に向かって延ばし、その近くで話をすることによって、音声/言葉認識システムがより良好に前記音声/言葉表現を区別し、かつ認識できるようになることである。別の利点は、前記マイクロフォンをユーザの口の近くに(たとえば、口の隣)に配置することによって、ユーザは、静かに(たとえば、小声で)話をすることが可能になる。これはほとんど音をたてることのない独立したデータ入力を可能にする。前記マイクロフォンのさらに別の利点は、それが対応する電子デバイス内に組み込まれていることから、前記マイクロフォンを望ましいポジション(たとえば、ユーザの口の近く)に維持するために、ユーザが前記マイクロフォンを手(または両手)で保持する必要がない。また前記ユーザは、前記マイクロフォンを前記電子デバイスとは別に持ち歩く必要もない。
本発明の強化されたキーパッド等の機能、マウス、延長可能マイクロフォン、およびデータ入力方法を前述したような態様に従って電子デバイス内に組み込むことによって、あるいは外付けユニットとして電子デバイスに接続することによって、完全に強化されたデータ入力システムを提供することができる。ユーザは、たとえば片手だけを使用してデータ入力デバイス等の電子デバイス(たとえば、携帯電話、PDA等)を保持し、その強化されたキーパッド、統合されたマウス、および延長可能マイクロフォン等の特徴のすべてを使用し、同時に自然な動作(たとえば、キーパッドのキーを押し、必要であれば言葉表現を行う)を使用した迅速かつ容易であり、特に自然なデータ入力を行うことができる。
延長可能マイクロフォンのもっとも重要な応用の1つは、モバイル通信デバイスのデータ入力システムがキーパッドの使用と音声/言葉認識システムを組み合わせるときである。この方法においては、ユーザがキーとのインタラクション(たとえば、それを押す)を行い、同時にたとえばそのキー上の記号の言葉表現を行うことができる。希望する記号を含むキーを押すためにユーザは、そのキーパッドを見る必要がある。またユーザは、デバイスのディスプレイ上のデータも見る必要がある。一方ユーザは、記号の言葉表現を静かに行うことを好むと考えられる。延長可能マイクロフォンは、目と携帯電話をキーパッドが見える充分な距離に離すことを可能にし、同時にマイクロフォンを口に近づけ、小声で話すことを可能にする。
多くの人々が常習的に行っているように、携帯電話を片手で保持し、同じ手の拇指を用いてキーパッドのキーを押すことができる。他方の手は、マイクロフォンの周囲で外部雑音を抑えるために使用するか、あるいはマイクロフォンと口を最適の関係に維持するために使用することができる。
機器のマイクロフォンがワイヤレスの場合、あるいはそれを機器と結合する部材が硬くない材料から作られている場合に、ユーザは、2本の指の間で手のひら側に向ける態様でマイクロフォンを保持すればよい。続いて前記手のひらをユーザの口の周囲に持っていけば、話をする間の外部雑音を著しく抑えることができる。
ここで理解されることは、ユーザの音声をデータの入力に使用する電子デバイスの、データ入力ユニットおよびディスプレイを含むユーザ・インターフェースは、任意の種類のものとし得るということである。たとえば、キーパッドに代えて、接触感応パッド、あるいは音声認識システムだけを備え、キーパッドを不要とすることもできる。
図18は、本発明の一実施態様に従った携帯電話もしくはPDA等の電子デバイス1800を示している。これに示されているように、キーパッド1801が、デバイス1800のおもて側に配置されている。マウス(図示せず)は、前記デバイス1800の裏側に配置されている。前記デバイスには、延長可能マイクロフォン1802も組み込まれている。前記マイクロフォンは、ユーザによって望ましいポジション(たとえば、ユーザの口の隣)まで延長される。前記デバイスは、前述したデータ入力方法も含んでいる。片手だけを使用して、ユーザは、非常に精度の高い迅速かつ容易なデータ入力を進めることができる。前記マイクロフォンをユーザの口の隣に配置することによって、システムによるユーザの音声/言葉表現のより良好な認識が可能になる。また前記ユーザは、静かに(たとえば、小声で)前記マイクロフォンに向かって話すことができる。これは、ほとんど音のないデータ入力を可能にする。
図18b〜18cの本発明の代替実施態様は、キーパッド1801およびディスプレイ・ユニットを備える携帯電話1800を示している。この携帯電話には、エンドにマイクロフォン1802が取り付けられた枢動部材1803を備えている。このマイクロフォンをユーザの口に向けて延ばすことによって、ユーザは、静かに電話に向かって話をすることができるようになり、同時にその電話機のディスプレイならびにキーパッド1801を見ることも可能であり、したがってマイクロフォン1802と同時にそれらを使用することができる。
図18dは、回転する延長可能マイクロフォン1810を示しており、それによってユーザは、好都合な関係に機器を配置し、同時にマイクロフォンを回転し、延長することによってマイクロフォン1810をユーザの口の近くまたは望ましい場所に持ってくることが可能になる。ここで注意しなければならないが、マイクロフォンと機器を接続している部材は、少なくとも2つのセクションからなり、互いに関して、また機器に対して延長/収縮が行われる。これらは、折りたたみ、スライド、振り出し式、あるいはそのほかの延長または収縮のための動きを有するものとすることができる。
図18eおよび18fは、振り出し式の延長可能な組み込み回転マイクロフォン1820を示している。この実施態様においては、マイクロフォン1820を構成する延長可能セクションを機器内に配置することができる。ユーザは、希望するときにそのセクションを引き出し、ユーザの口に向かって延長する。マイクロフォン1820は、それを引き出さずに使用してもよい。
本発明の別の実施態様によれば、図18gおよび18hに示されているように、マイクロフォン1831を包含する延長部材1830を、マルチ−セクション・デバイスの一セクションとすることができる。このセクションは、前記デバイスのカバーとして使用することもできる。マイクロフォン1831を包含するセクションは、望ましい場合には、それ自体を延長および/または調整が可能なマルチ−セクションとすることができる。
図18iに示した実施態様においては、前述したような延長可能マイクロフォン1840を、コンピュータもしくはそれに類似のデバイス内に取り付けることができる。
また、本発明の別の実施態様によれば、機器のマイクロフォンをユーザの指輪に取り付けるか、あるいはそれ自体を指輪に類似の形状として前記ユーザが装着するようにできる。このマイクロフォンは、ワイヤレスもしくは有線のいずれかにより前記機器と接続することができる。使用時にユーザは、ユーザの手を口に近づけて話をする。
ここで理解される必要があるが、図面に示されている機器は例示である。延長可能マイクロフォンは、任意の機器に取り付けることができる。また延長セクションの任意の部位に取り付けることができる。
通信デバイスにおいては、マイクロフォンを包含する延長セクションを前記機器のアンテナとして使用することができる。その場合には、アンテナを前述したようなセクションとして製造し、組み込みマイクロフォンを備えればよい。
ここで注意しなければならないが、少なくとも1つの延長可能マイクロフォンに加えて、機器が少なくとも1つの追加の通常のマイクロフォンを備えることもあり、それにおいては前記マイクロフォンを個別に、あるいは前記延長可能マイクロフォンと同時に使用することができる。
また、このマイクロフォンを構成する延長可能部材を堅い材料を用いて作れば、手によるその維持を必要とすることなく、マイクロフォンを希望のポジションに配置できることに注意しなければならない。より良好な操作性を得るためにはマイクロフォンを包含するセクションを半剛体もしくは柔軟な材料から作ることもできる。
さらにここで注意が必要であるが、伸張/折りたたみ方法等の任意の延長/収縮方法を使用することができる。
前述したように、本発明の統合キーパッドおよび/またはマウスおよび/または延長可能マイクロフォンは、PDA、TVのリモート・コントロール等の各種電子デバイス、およびそのほかの広範多岐にわたる電子デバイス内にも組み込むことができる。たとえば、前記統合キーパッドおよびマウスをTVのリモート・コントロール内に使用すれば、ユーザは、映画に関連付けされたTVスクリーン上に表示されているアイコンの上をポイントし、前記リモート・コントロールのあらかじめ定義済みのキーを使用することによって前記映画を選択することができる。
また前述したように、前記統合キーパッドおよび/またはマウスおよび/または延長可能マイクロフォンを、前記電子デバイスに接続される個別のデバイスとして製造してもよい。
当然のことながら、単独の、あるいは前記マウスおよび/または前記延長可能マイクロフォンを組み込んだ前記キーパッドに、本発明のデータ入力方法等のデータおよびテキスト入力方法を組み合わせることができる。
図17は、本発明の強化されたキーパッド、強化されたマウス、延長可能マイクロフォン、およびデータ入力方法を使用することのできるいくつかの電子デバイスを示している。
1つの電子デバイスは、本発明の少なくとも1つもしくは複数の特徴を備えることができる。たとえば、前述したような本発明の特徴をすべて含むこともある。
陸線電話を経由するデータ入力:
前述したデータ入力方法は、陸線電話および対応するネットワーク内において使用することもできる。周知のように、電話キーパッドの各キーは、あらかじめ定義済みのトーンを生成し、それが陸線ネットワークを介して送信される。これらのあらかじめ定義済みのトーンは12であり、電話キーパッドの12個のキーに割り当てられている。テキスト入力等のデータ入力を目的として陸線電話およびそのキーパッドを使用することによって、追加のトーンを生成する必要性の生じることがある。各記号に対して、ネットワークが前記記号に割り当てられて生じたトーンに応じて記号を認識するように異なるトーンを割り当てることもできる。
手首装着マルチ−セクション・データ入力ユニット:
図22aは、前述したような本発明のデータ入力ユニット2201〜2203の別の実施態様を例示している。前記データ入力ユニットのサイズを縮小するために、前述したようなマルチ−セクション・キーパッド2212〜2222を有することのできるマルチ−セクション・データ入力ユニット2202〜2203を提供することができる。前記マルチ−セクション・データ入力ユニットは、本発明の特徴の一部もしくは全部を有することができる。本出願に述べられている統合データ入力システムを有することもできる。たとえば、データ入力ユニット2202は、ディスプレイ2213およびアンテナ2214(延長可能とすることができる)、マイクロフォン2215(延長可能とすることができる)前記データ入力ユニットの裏側に組み込まれるマウス(図示せず)を備える。
本発明のデータ入力ユニットの実施態様は、手首に装着することができる。腕時計等の手首装着デバイスまたは腕時計バンドのようなブレスレット内にそれを組み込むことができる。前記データ入力ユニットは、本発明の統合データ入力ユニットの特徴の一部またはすべてを有することができる。これは、ユーザの手首への小型データ入力ユニットの取り付けを可能にする。前記手首装着データ入力ユニットは、任意の電子デバイスのデータ入力ユニットとして使用することができる。ユーザの手首装着データ入力ユニットを希望する電子デバイスに接続することによって、たとえばユーザは、アパートのドア開け、TVとのインタラクション、コンピュータとのインタラクション、電話番号のダイアリング等を行うことができる。同一のデータ入力ユニットを異なる電子デバイスの操作用に使用してもよい。この目的から、アクセス・コードが各電子デバイスに割り当てられる。希望する電子デバイスのアクセス・コードを(たとえば、前記データ入力ユニットを介して)入力することによって、前記データ入力ユニットと前記電子デバイスの間の通信が確立される。
図22bは、本発明の手首装着データ入力ユニット2290(たとえば、マルチ−セクション・キーパッド2291を備えるマルチ−セクション・データ入力ユニット)を示しており(開いたポジション)、PDA 2293等のハンド−ヘルド・デバイスと(ワイヤレスまたは有線2292を介して)接続されている。前記マルチ−セクション・データ入力ユニット2290には、この明細書に述べた特徴の一部もしくは全部のような追加の特徴を持たせてもよい。この例においては、ディスプレイ・ユニット2294、アンテナ2295、マイクロフォン2296、およびマウス2297が備えられている。
ここで理解されるであろうが、前記マルチ−セクション・キーパッドを、手首装着デバイス/ブレスレット2298から取り外しできるようにしてもよい。これを目的として当業者に周知の各種の取り付け/取り外しを備えることができる。たとえば図23aに示されているように、前記データ入力デバイスを収容するハウジング2301をブレスレット2202に備えることができる。図23bは、開かれた状態の前記ハウジング2303を示している。取り外し可能なデータ入力ユニット2304を、前記ハウジング2301内に備えることができる。図23cは、前記ハウジングの開いたポジション2305および閉じたポジション2306を示している。開いたポジション(たとえば、データ入力ユニットの使用時)においては前記データ入力ユニットのエレメント2311の一部(たとえば、キーおよび/またはディスプレイ等の部分)を前記ハウジングのカバー2312内に置くことができる。
本発明の一実施態様によれば、同一のブレスレットを用いて手首の反対側に腕時計2307等のデバイスを備えることができる。それにはたとえば、データ入力ユニットを収めるためのハウジングを有する腕時計バンドを提供すればよい。前記腕時計バンドは、腕時計、リスト・カメラ等の任意の手首装着デバイスに取り付けることができる。データ入力デバイスのハウジングを装着者の手首の一方の側2308に配置し、前記別の手首装着デバイスのハウジングを前記装着者の手首の他方の側2309に配置することができる。前記手首バンドを腕時計等のデバイスに取り付けるためには、伝統的な腕時計バンドの取り付け手段2310(たとえばバー)を備えることができる。
前述した手首バンドのハウジングは、ほかの任意の手首装着デバイスを含むために使用することができる。たとえばデータ入力ユニットを収容する代わりに、前記手首ハウジングを、手首装着電話等の各種電子デバイスの収容に適合させることができる。
本発明の手首装着データ入力ユニットを使用すると、多くの利点が得られる。たとえばユーザは、電子デバイスをたとえばポケット内に入れ、前記電子デバイスのディスプレイ・ユニット(フレキシブルとすることができる)を手に持つことができる。前記電子デバイスとのインタラクションは、前記手首装着データ入力ユニットを介して提供することができる。別の例においては、本発明の手首装着データ入力ユニットを使用して、電子ニュース・ディスプレイを動作させることができる(電子ニュース・ディスプレイに関するPCT出願(出願人日2000年10月27日、出願番号PCT/US00/29647の内容は参照され本願に包含される。
以上、本発明の本質的な新しい特徴について、その代替実施態様へ適用されるものとして説明し、かつ示してきたが、開示されている本発明の形式ならびに詳細における各種の省略ならびに置換および変更が本発明の精神からの逸脱なしに当業者によって行われ得ることを理解されるであろう。また、図面には必ずしも縮尺が意識されていなく、むしろ本質においてまったく概念的であることを理解される必要がある。たとえば、キーパッドの各キーに分離されたキー押しシステムを提供することに代えて、単一の感圧システム(たとえば、感圧パッド)をすべてのキー用に備えることもできる(たとえば、キーの上側または下側に配置される単一の大型パッド)。またユーザが、ユーザの指以外の手段を用いてキーとのインタラクションを行ってもよい。たとえば、前記ユーザは、ペンを用いてキーを押すことができる。
本発明のデータ入力方法は、他のデータ入力手段を利用することもできる。例えばキーパッドのキーに記号を指定する代わりに、その記号を例えば使用者の指(又は指の一部)に指定することもできる。本願で説明したこれら対象物及びデータ入力方法については、本願に参照され包含される2000年10月27日に出願された出願番号PCT/US00/29647の中でその詳細が既に述べられている。
展開可能ディスプレイ・ユニット:
本発明の一実施態様によれば、展開可能ディスプレイ・ユニットを本発明のデータ入力ユニット等の電子デバイスあるいは携帯電話に備えることができる。図24aは、閉じたポジションの展開可能ディスプレイ・ユニット2400を示している。このディスプレイ・ユニットは、剛体および/または半剛体の材料を用いて作ることができ、例えば、対応するヒンジ2401によって折りたたみもしくは展開すること、もしくは入れ子式に展開および収縮すること、または任意の方法によってそれの展開および収縮を可能にする手段を有することができる。
図24bは、本発明の展開可能ディスプレイ・ユニットを備えた携帯電話等のモバイル・コンピューティング・デバイス2402を示しており、ディスプレイ・ユニットは開いたポジションである。前記展開可能ディスプレイ・ユニットは、開いたポジションでは、A4標準用紙サイズの幅を有し、ユーザは、たとえばワード・プロセッシング・プログラムを使用して手紙を書く間、あるいはウェブ・ページをブラウズする間に実寸のドキュメントを見ながら作業することができる。
本発明のディスプレイ・ユニットは、柔軟な材料から作ることもできる。図25aは、閉じているポジションにある柔軟なディスプレイ・ユニット2500を示している。
ここで、本発明のディスプレイ・ユニットが、他の面2505(たとえば外側)の少なくとも一部にも情報を表示できるということが理解される。これは、ユーザがディスプレイ・ユニットを展開せずに使用することを希望する場合もあることから重要である。
図25bは、本発明による柔軟なディスプレイ・ユニット2500を有する電子デバイス2501を示しており、ディスプレイ・ユニットは開いたポジションである。
本発明のデータ入力ユニット等の電子デバイス、携帯電話、PDA等に、前述したようなテレコミュニケーション手段を包含する展開可能/展開不可ディスプレイ・ユニット、本発明のマウス、延長可能マイクロフォン、延長可能カメラ、本発明のデータ入力システム、音声認識システム、あるいはこの明細書に述べられているそのほかの特徴を含む本発明の強化された特徴の少なくとも1つを備えることによって、片手だけを用いて保持し操作可能な完全なデータ入力/コンピューティング・デバイスを提供することができる。このことは、よく知られているように、モバイル環境のコンピューティング/データ入力においては、ユーザの少なくとも片手が自由でなければならないことから非常に重要となる。
延長可能カメラ:
延長可能マイクロフォンについて述べたように、電子デバイスに延長可能カメラを備えることもできる。たとえば、キー押しおよび読唇(ユーザの音声/言葉表現に代えて、またはそれに加えて)を結合した本発明のデータ入力システム用の延長可能カメラを、対応する電子デバイスまたはデータ入力ユニットに備えることができる。
図26は、枢動部材2601を備えたモバイル・コンピューティング・デバイス2600を示している。前記枢動部材には、たとえばそのエンドにカメラ2602および/またはマイクロフォン2603を取り付けることができる。カメラをユーザの口に向かって延長することにより、たとえばキー押しと読唇の組み合わせを使用する本発明のデータ入力の間に、ユーザはカメラに向かって話し、カメラはユーザの唇のイメージを伝えることができる。同時にユーザは、そのユーザの電話機のディスプレイおよびキーパッドを見ることができ、実質的にカメラに向かって話すと同時にそれらを使用することができる。当然のことながら、延長可能部材に取り付けられているマイクロフォンは、ユーザの音声をデータ入力システムの音声認識システムに渡すことができる。
延長可能部材2601は、アンテナを含むか、あるいはそれ自体を電子デバイスのアンテナとすることができる。
また、本発明の延長可能マイクロフォン及び/又はカメラは携帯電話やPDA等の電子機器に着脱可能に取付けることもできる。これは多くの場合において電子機器製造者(携帯電話等の)は新たなアプリケーション適用のためにハードウエアの変更を望まないためである。
本発明の一実施形態によれば、マイクロフォン及び/又はカメラを備える外部揺動部分は対応電子装置に着脱可能に取り付けた個別ユニットとすることができる。図27は、脱着位置にある携帯電話等の着脱可能な装置2701と電子器具2700とを示すものである。着脱可能なユニット2701は、これらに限定されるものではないが、マイクロフォン2702やカメラ2703やスピーカ2704や光学式読み取り器(図示せず)や電子器具とのより良好な相互作用にユーザに近接させる必要のある他の構成要素を含む幾つかの構成要素のうちのいずれか一つで構成することができる。ユニットは、少なくとも一つのアンテナを備えるか或いはそれ自体をアンテナとすることもできる。このユニットは、ユニット2701を電子装置2700へ装着するとともに、ユニット2701上で利用可能な構成要素を電子器具2700へ接続する装着及び/又は接続手段2705で構成することもできる。装着及び接続目的に合わせ、携帯電話2700やコンピュータ等の電子装置内で利用可能なポート2706を用いるよう装着接続手段2705を適合させることができ、ポートはマイクロフォンやスピーカやカメラやアンテナ等の周辺構成要素の接続用に配設する。ポート2706は、マイクロフォンジャックやUSBポートなどの標準的なポートや電子機器内で利用可能な他の同様の接続手段とすることができることを理解されたい。この場合、装着/接続手段は例えば電子器具内で利用可能な(一又は複数の)対応ポートに差し込む標準的な接続手段とすることができる。
外部ユニットの装着及び/又は接続手段を機械的装着機能又は電気的/電子的接続機能のいずれか或いは両方を持たせるよう配設できることは、理解されたい。図27aに示す如く、例えば外部ユニット2701には外部ユニットに固定的に配置されこの外部ユニットを電子器具に機械的に取り付けるピン2705を配設することができる。このピンは、例えばユニット2701内で利用可能なマイクロフォン構成要素2702を先に示した電子器具へ電気的/電子的に接続することができる。ピンに加え、外部ユニットには例えば外部ユニット2701内に組み込まれたカメラ2703へ導線2708により接続するUSBコネクタ等の他のコネクタ2707を含ませることができる。この場合、コネクタ2707は装置2701を電子計測器へ電子的/電気的に接続するだけでよい。
より良好に機械的に取り付けるため、外部ユニットの装着接続手段により複数のポートを使用することができる。例えば、装着接続手段は外部ユニット上に固定的に配置された2本のピン等の二つの装着手段で構成することができ、ここで第1のピンは例えば外部マイクロフォンに対応する電子機器の第1のポートへ差し込み、第2のピンは例えば外部スピーカに対応するポートへ差し込む。
図27bは、本発明の着脱可能な外部ユニット2701と電子機器2700とを装着位置にて示すものである。
外部ユニット2701を(例えば、ピン2705を対応ポート2706へ差し込むことにより)電子器具2700へ装着した後、ユーザは伸縮式マイクロフォンやカメラについて本出願にて先に説明した如く伸長或いは回転動作により外部ユニット2701を所望位置に調整することができる。ここでも、本発明の着脱可能なユニットは本出願にて外部マイクロフォンやカメラについて前述した如く本発明の伸長可能な部分の特性と同様の特性を持たせることができることは、理解されねばならない。例えば、本発明の着脱可能なユニット2701は少なくとも二つの部分2710,2711を持たせて多区分化することができ、ここで各部分は相互にかつ外部ユニットに対し揺動や回動や伸長(伸縮式や折り畳み式/折り畳み不能式)等の動きを有する。装着部分2712〜2714は、これらの目的に使用することができる。
前述の着脱可能なユニットにより、外部/周辺構成要素を電子器具に追加し、それらを元々の器具の一部であったかの如く使用できるようにしてある。これにより、ユニットは第1に構成要素を手に把持したり或いはそれをユーザの体に取り付けることなく(例えば、ユーザの頭部に装着しなければならないヘッドフォン)使用でき、第2にはこれが電子器具(携帯電話等)の製造業者にそのハードウェアの修正を余儀なくすることなく電子器具への構成要素の追加を可能にするものである。
本発明のデータ入力方法は、他のデータ入力手段を使用することもできる。例えば、キーパッドのキーへ記号を割り当てる代りに、該記号をユーザの指(或いは指の一部)等の他の対象に割り当てることもできる。また、音声/発声入力に代え(或いはこれに加え)、このシステムはキー押しと組み合わせ/組み合わせずにユーザの唇を読み取る(その動きを認識する)ことでデータ入力を認識することができる。ユーザはキーパッドのキーを押し、該キー上の音節間で所望の欧字を発声することができる。前記キー押しと組み合わせた前記欧字を発声するユーザの唇の動きを認識することで、システムは意図された欧字を簡単に認識し入力することができる。
また前述した如く、本出願内に記載した配置構成の方法に与えた例はサンプルとして示したものであった。記号の各種異なる配置構成ならびに割り当ては、必要なデータ入力に依存するものと考えることができる。この配置構成方法における原理は、使用頻度や自然な発音や自然な非発音等の異なる要因に従って異なる記号群を規定し、それらを然るべく割り当てて優先順位格付けをそれらに割り当てるものである。最優先順位格付け群(発声を伴なうものも伴なわないものも)を、最も簡単で最も自然なキー相互作用(例えば、一回押し)に割り当ててある。この群は、最高位に等級付けられた非発声記号もまた含むものである。次に、第2順位の優先度が第2のもう少し簡単な相互作用(例えば、二度押し)等に割り当てられる。
前記したデータ入力システムを引き続き参照するに、キーパッドのキーに対する記号の割り当ては音声/発声或いは読唇システムによる認識をさらにもっと向上させる仕方でもって果たすことができる。図28は、声門閉鎖発音を有する文字記号をそれらの間の曖昧さを排除する仕方で前記キーパッドのキーへ割り当てたキーパッド2800を示す。図示の如く、声門閉鎖発音「c」と「d」や「j」と「k」や「m」と「n」や「v」と「t」を分離し、異なるキー上に配置してある。このことは、音声認識システムがより簡単に前記欧字を認識することに役立つ。例えば、欧字「c」を選択するには、ユーザはキー2801を押し、「c」と喋る。欧字「d」を選択するには、ユーザはキー2802を押し、「d」と喋る。「b」と「p」や「t」と「d」や「f」と「s」等の声門閉鎖発音を有する他の文字もまた異なるキーへ割り当ててある。
小型装置用の内蔵音声認識システムは、出来得る限り少ないメモリを使用するよう設計してある。類似する発音を有する記号を分離し、それらを異なるキーへ割り当てることで、認識アルゴリズムは劇的に簡単化され、より少ないメモリの使用に帰結する。
図28を引き続き参照するに、図示の如く、欧字の配置構成は文字a〜zを連続順(例えば、a,b,c・・・z)で維持する仕方で提供してある。キーパッド2800上の記号の配置構成は、標準的な電話器型キーパッドと可能な限り同様に保つ仕方で作成してある。必要に応じてこの順序が変えられることは、理解されたい。
また、一音ずつ唇で明瞭に発声された記号の分離が読唇(視話)システムをしてそれらをより簡単に認識させることができる。例えば、「j」と「k」を異なるキーへ割り当てることはそれらの認識を劇的に簡単化することになる。
欧字のような発声された記号の認識用に、当該欧字の発声期間中の異なる時点でユーザの唇の1以上の画像を視話/読唇システムへ供給できることは、理解されたい。
本発明の読唇術(視話)システムは、認識目的に合わせ任意の画像生成及び画像認識処理技術を用いることができる。例えば、前記した如く、前記ユーザが欧字等の記号を喋り、キーパッド上の前記記号に対応するキーを押す間に、カメラを用いてユーザの唇の(一又は複数の)画像を受像することができる。他の画像生成及び/又は画像捕捉技術もまた、用いることができる。例えば、カメラに代えて、光や波動等の手段のプロジェクタや受信器を用い、前記手段をユーザの唇(結局は顔面)へ照射し、前記ユーザが文字等の記号を喋り、キーパッド上の前記記号に対応するキーを押す間に、前記手段を受信し戻してユーザの唇(結局はユーザの顔)のディジタル画像を供給することができる。
キー押しとユーザの挙動(例えば、発声)を組み合わせる本発明のデータ入力システムは、異なる挙動(例えば発声)認識技術を用いることができる。例えば、唇の動きに加え、発声をより良好に認識すべくユーザの歯に対するユーザの舌の押圧動作を検出することができる。
本発明の一実施形態によれば、図29に示したように、カメラに代え(或いはそれに加え)、本発明の読唇システムはユーザの歯及び/又は唇上に着脱可能に装着したタッチ/押圧感応性構成要素2900を使用することができる。前記構成要素は、センサ2903をその表面内に分散させてその任意の部分への押圧動作を検出し、ユーザの舌と前記構成要素の間の衝撃の大きさや位置や押圧力測度等の計測を可能にできる。前記構成要素は、二つの部分を持たせることができる。前記ユーザの二つの唇(上唇と下唇)の間に配置する第1の部分2901と、ユーザの歯(好ましくは上部前歯)に配置する第2の部分2902である。装着手段2904が、ユーザの歯の上への前記構成要素の装着/固定を可能にする。
図29aは、構成要素の一部2911が前記ユーザの上唇と下唇の間に位置するような態様でもってユーザの歯2919に装着した上記記載の感応性構成要素2910を示すものである(本図では、構成要素とユーザの歯と舌はユーザの体の外部に図示してある)。前記ユーザは、欧字「abc」を含むキーパッド2918のキー2913を押して欧字「b」を喋ることができる。「b」と喋ることで、ユーザの唇2914,2915は唇間の前記感応部分2911を押圧する。このシステムは、意図された欧字が欧字「b」であることを認識し、何故なら他の二つの欧字(例えば、「ab」)と喋ることは唇相互の押圧を必要としないからである。ユーザがキー2913を押して欧字「c」を発音した場合、そのときはユーザの舌2916がユーザの上歯の前部に配置された構成要素の歯部の内側部分2912を軽く押圧することになる。システムは、前記キー上の他の欧字(例えば、「bc」)が前記構成要素の前記部分への押圧動作を必要としないが故に、意図された記号が欧字「c」であることを認識する。ユーザがキー2913を押して欧字「a」を喋った場合、そのときは押圧動作は前記構成要素には一切適用されないことになる。そこで、システムは意図された欧字が欧字「a」であることを認識する。他の例では、ユーザがキー2917を押して欧字「j」と喋ると、ユーザの舌が構成要素の歯部の上側部分の内側を押圧する。ユーザがキー2917を押して欧字「1」と喋ると、そのときはユーザの舌は構成要素の歯部の内側部分のほぼ全体を押圧する。この場合、構成要素の歯部の内側部分内に分散させたセンサのほぼ全体が押圧され、システムは意図された欧字が欧字「1」であることを認識する。
上記の読唇/認識システムにより、離散的で効率的な高精度のデータ入力方法が可能になる。このデータ入力システムは、特に軍隊や警察や情報機関等の分野に使用することができる。
この後は、本発明の一実施形態になる電話器型キーパッドを介する文字入力認識システムの一例である。
Figure 2006523904
上記の表は、所望の欧字を喋り(前述のハードウェアを使用しつつ)対応キーを押すことで欧字識別の容易さを示すべく一例としてのみ図示したものであることに、留意しなければならない。このシステムに基づき、ハードウェアに対する押圧タイミング(例えば、共に同一キー上にあって恐らく同様の押圧レベルを有する「g」と喋ったり「h」と喋ったりするとき)等の他の識別パラメータが、認識システムや当業者により考究できることは理解されたい。また、ユーザが数字(例えば、0〜9)等の他の記号を喋り、それらを認識することは、上記のシステムにより考究できる。
加えて、本発明の感応性構成要素は無線或いは有線で処理装置(例えば、携帯電話)に接続することができる。それを無線で接続した場合、この構成要素には押圧情報を送信する送信器を含ませることができる。この構成要素にはさらに、その機能に給電する電池電源を備えることができる。
前述した如く、本発明は改善された認識精度に向けてキー押しと発声とを組み合わせるものである。一実施形態では、キー押しにのみ対応する文字の認識をその場で可能にするよう文法を作成する。
通常、音声/発声によるデータ(例えば、テキスト)入力期間中に、マイクロフォン/変換器はユーザの音声/発声を知覚し、それを音声/発声認識システムによる認識処理用に所望の電子装置のプロセッサへ伝送する。音声/発声認識システムによるデータ/テキスト変換に対する効率的な音声に対する大きな障害(特に、移動体環境内)は、入力音声の貧弱な品質にあり、該貧弱な品質は外部騒音により引き起こされる。マイクロフォンが別け隔てなく全てを「聴取」することに、留意しなければならない。
所望音声から外部騒音を識別し除去する多くの努力が、研究者によりなされてきた。これまで、これらの努力は外部騒音を部分的に低減することだけを可能にしてきたが、受け入れ可能な結果を達成するには依然ずっと大量の作業を果たさねばならない。残念ながら、現在の雑音相殺/低減技術もまた所望音声の品質を落し、該音声を音声/発声認識システムによる認識に相応しくないものにしている。
前記音声/発声入力の品質を落すことなく、音声/発声入力による電子装置へのデータ入力期間中の外部騒音を低減(或いは完全に除去)するため、ユーザの耳内に配置した耳内装着式マイクロフォン/変換器を配設することができる。前記マイクロフォン/変換器は、たとえユーザが小声を発し或いは囁こうとも、ユーザの音声/発声のより良好な受話品質もまた可能にすることができる。
公知の如く、人の発声時に該発声により生じた対応する骨振動が耳に伝わり、内耳と耳道内に前記発声に対応する空気振動を生ずる。
一方法によれば、前記空気振動は耳の中に、好ましくは耳道内に配置した耳穴装着式マイクロフォンにより知覚することができる。他の方法によれば、前記骨耳振動自体は耳内に配置された耳穴装着式変換器により内耳から知覚することができる。
図30は、マイクロフォン/変換器構成要素3001をユーザの耳内(好ましくは、ユーザの耳道)に配置する仕方でユーザの耳の中に装着するよう設計したマイクロフォン/変換器ユニット3000を示す。
好ましくは、マイクロフォン/変換器構成要素3001に加え、前記ユニット3000には密封遮断手段3002もまた持たせることができ、ここでは前記マイクロフォン3001はユーザの耳の中(好ましくは、ユーザの耳道内)に組み込まれ、前記密封遮断手段3002が外界(耳)環境騒音から前記マイクロフォンを遮断し、該マイクロフォン3001に耳内に形成されたユーザの音声/発声のみを知覚させることができる。音声/発声認識システムに関する主要な課題である外部騒音は、劇的に低減するか或いは完全にすら除去されることになる。
ユーザは、必要に応じて密封遮断のレベルを調整することができる。例えば、耳道内の発声の反響を相殺すべく、前記マイクロフォンは該マイクロフォンユニットを前記ユーザの耳道から若干引き抜くことで外界との遮断状態を減らすことができる。マイクロフォンユニットには、一体化した遮断/遮断解除レベル手段もまた持たせることができる。
前記マイクロホン/変換器3001は、導線3003や無線通信システムにより対応電子装置へ接続することができる。この無線通信システムは、ブルートゥースや赤外線や高周波等のうちの任意の種類とすることができる。
上記の耳装着式マイクロフォン/変換器は、キー押しと対応発声とを組み合わせた本発明のデータ入力システム、ここではキー押しを伴なう発声(KIKS)技術と呼ぶものを用いる音声/発声からデータ(例えば、テキスト)入力システムの間にユーザの音声/発声の知覚に用いることができる。前述の如くキーを押して該キーに割り当てられた所望の記号(例えば、欧字)を喋ることで、音声/発声認識システムは、前述発声を該キーに割り当てられた数個のみの記号の発声パターンのうちの一つと照合させるよう試みる。この場合、たとえ耳装着式マイクロフォン/変換器が標準的なマイクロフォンよりも低品質の音声認識を有する場合であっても、前述耳装着式マイクロフォン/変換器が知覚した発声記号の品質は音声/発声認識システムをしてそのキー上の前記数個の記号中の発声記号を簡単に認識させるのに依然として相当十分なものとなろう。
本発明の一実施形態によれば、図31に示したように、耳穴装着式マイクロフォン3100を設け、携帯電話3102等の移動体電子装置へ接続することができる。図示の如く、マイクロフォン3101はユーザの耳道内に配置し、該ユーザの発声時にユーザの耳内に生ずる発声/音声振動を知覚するよう設計してある。前記発声はそこで、導線3103或いは無線により前記携帯電話3102へ送信されよう。
ユーザの耳内に組み付けて密封遮断手段3104を持たせることで、前記マイクロフォン3101はユーザの音声/発声だけを知覚しよう。音声/発声認識システムに関する主要な課題である外部騒音は、劇的に低減されるか或いは完全に除去すらされよう。前記した如く、遮断レベルは自動的に或いはユーザにより調整可能とすることができる。
例えば、ユーザがキー3105を押し、該キー上に配置された文字「k」を発声すると、ユーザの耳の中の前記発声の振動が前記耳穴装着式変換器/マイクロフォンにより知覚され、所望の電子装置へ伝送される。本発明の音声/発声認識システムは、前記発声を前記キー上に配置された数個の記号(例えば、本例では「J,K,L,5」)の既記憶発声パターンと照合しなければならない。たとえ前記発声の品質が十分良好でない(例えば、ユーザが小声で発声したが故に)としても、前記発声は前記所望の文字の記憶済みパターンと簡単に一致させ得る。
まさに上記した如く、本システムの別の利点はユーザが小声で発声したり或いは囁ける点にある。一方で、マイクロフォンをユーザの耳内に組み付け、外部騒音に邪魔されることなくユーザの音声を直接知覚し、他方で認識システムが発声記号を数個の選択肢にのみ一致させるよう試みるが故に、たとえユーザが小声で発声したり囁いたとしても、ユーザの音声の品質は音声/発声認識システムによる使用に対し依然として十分に良好なままとされる。同じ理由から、認識システムはユーザとは無関係とすることができる。無論、このシステムをユーザの音声(例えば、スピーカ依存の方法)でもって調教することで、認識システムによる大幅に良好な認識精度がもたらされよう。
マイクロフォン/変換器に加え、耳穴装着式ユニットはマイクロフォン/変換器の横に位置するスピーカもまた含み、聴取目的に合わせユーザの耳内に装着することもできる。
本発明の一実施形態によれば、図32に示す如く、耳穴装着式マイクロフォン及びスピーカ3200をマイクロフォン3201を第1のユーザの耳に(前述の如く)組み込み、スピーカ3202を第2のユーザの耳に組み込む。
上記仕様は本発明範囲を限定するものと解釈してはならず、単に本発明の好適な実施形態の一部を記述するものと解釈すべきであり、多くの変形例が本発明の範囲内にあると考えるものである。例えば、図32の耳穴装着式ユニットの例では、両方の耳にマイクロフォンとスピーカ構成要素の両方を配設することができる。他の例では、前記耳穴装着式ユニットは対応する電子装置に無線接続したときに、電池電源を前記耳穴装着式ユニット内に配設することができる。また、より良好な音声受話品質に向け、本発明の耳穴装着式マイクロフォンユニットは耳の外部に位置する(例えば、伝送導線上の)少なくとも一つの追加の標準的なマイクロフォンもまた備えるものである。外耳マイクロフォンを結合したこの内耳マイクロフォンは本発明の音声/発声認識システムへより多量の音声信号が供給でき、本発明のデータ入力システムが内耳発声振動を知覚する任意の技術を用いた任意のマイクロフォン或いは変換器を用いることができることにも留意しなければならない。
前述した如く、キー押しと発声を組み合わせた汎用データ入力方法(例えば、ユーザの音声或いは唇の動きに従う)は、2000年10月27日出願されたPCT出願PCT/US00/29647に説明されている。
前記出願に記載されている如く、キーを押して発声するか或いは当該キーに割り当てられた記号群中の文字等の所望記号を発声することで、前記所望の記号を選択することができる。例えば、標準的な電話器型キーパッド3300(図33参照)を介して単語「morning」入力するには、ユーザは、
−キー3308を押して「m」と喋る。
−キー3308を押して「o」と喋る。
−キー3306を押して「r」と喋る。
−キー3308を押して「n」と喋る。
−キー3303を押して「i」と喋る。
−キー3308を押して「n」と喋る。
−キー3303を押して「g」と喋る。
一欧字ずつ(或いは一記号ずつ)単語を発声して対応キーを押圧することで、前記単語を入力することができる。
PCT/US00/29647に記載されたデータ入力システムは、フルサイズPCキーボード(例えば、記号ごとに一つの押し動作)として機能する低減された数のキー(例えば、電話器キーボード)を有するキーボードを可能にすることができる。
・逐語データ入力システム
上記のデータ入力システムを向上させるべく、前記PCT出願では単語レベルデータ入力システムの提案がなされていた。前記出願では、ユーザが前記単語を発声し、該単語を構成する欧字に対応するキーを押すことで単語を入力できることが記載されていた。
言語中の各単語の発声は(一又は複数の)音素集合で構成され、ここでは前記(一又は複数の)音素集合は1以上の音素で構成される。図34は一例として単語辞書3400を示すものであり、ここでは各入力(例えば、単語)3401については文字集合(例えば、その対応する文字列)3402と関連するキー押し値3403(例えば図33に示したような電話器キーパッドを用い)と前記単語に対応する音素集合3404と前記音素集合の音声モデル3405(結局は音声/発声認識システムにより使用される)が図示してある。
発声(例えば、音声)認識の一方法によれば、ユーザが単語を発声したときに、彼の発声は記憶された発声モデルと照合でき、1以上の最良の照合モデルをシステムが選択することになる。音声認識の他の方法によれば、ユーザが例えば単語を発声したときに、彼の発声は該発声を構成する音素集合の認識に基づき認識することができる。
そこで、前記選択された(一又は複数の)発声モデル或いは音素集合に対応する(一又は複数の)単語を、システムにより選択することができる。選択肢が一つの単語を含む場合、前記単語を最終的な選択肢とすることができる。選択肢が複数の単語を含む場合、そのときは前記単語がユーザへ(例えば、ディスプレイにて印刷されたリスト内に)提示され、ユーザは例えば「選択」キーを押すことでそれらのうちの一つを選択することができる。
その発声に基づく上記の単語認識方法は、一例としてだけ説明するものである。当業者により発声による他の認識方法が検討できることは、理解されたい。
その発声にだけ基づき単語を認識するのは、正確なシステムではない。これには、多くの理由がある。例えば、多くの単語はほぼ類似の或いは混同させる発音を有することがある。また、外部騒音等の要因もまた、単語レベルデータ入力システム内に曖昧さを生ずることがある。音声により任意の単語を入力するには、アクセントや音声抑揚やユーザの意図や騒音の相互作用等の多種多様なパラメータを考慮する複雑なソフトウェアが必要とされる。これらの理由から、発声認識システムは語句認識に基づくものであり、ここで例えば類似の発音を有する単語は前記語句の文脈に従い語句内で一義化することができる。語句認識に基づく発声認識システムはまた大量のメモリとCPU用途を必要とし、携帯電話等の小型装置内へのそれらの集積化を現時点では不可能としている。
本発明者が発明し、異なるPCTや米国特許出願に記載したキー押しを伴う発声技術が、上記の問題を解決することができる。前記出願に記載された一文字ずつの入力システムに加え/組み合わせ、本発明の単語レベルデータ入力技術が小型の移動体/固定装置のユーザに自然で素早い(一単語ずつの)テキスト/データ入力システムを提供することができる。
前述の如く、PCT出願PCT/US00/29647には、ユーザが単語を発声し、その間に該単語を構成する欧字に対応するキーを押すことが記載されている。この目的に合わせ、単語辞書データベースを使用できることにも言及されている。それによれば、そして一例として図33を参照するに、ユーザが単語「card」と発声し、対応記憶(例えば、電話器型キーパッドのキー3302,3302,3306,3309)を押すと、システムは辞書データベース(例えば、図34に示したもの等)から前記キー押しに対応する単語を選択する。本例では、同一のキー押圧集合は「care」や「bare」や「base」や「cape」や「case」等の他の単語にも対応しよう。システムはそこで、ユーザの(単語の)発声を同一のキー押しに対応する前記単語の発声(音素集合の記憶モデル)と照合することができ、それらのうちの一つが前記ユーザの発声に一致する場合、システムは前記単語を選択する。前記単語の発声のいずれもがユーザの発声に一致しない場合、システムはそこでその(それらの)発声が前記ユーザの発声に最も良く一致する前記単語の中から単語(又は複数の単語)を選択することができる。
本方法によれば、この認識システムはごく僅かな候補(例えば、上記の例では6単語)の中から一つの単語を選択することになる。その結果、認識は簡単になり、発声認識システムの精度は劇的に増大し、高精度の汎用単語レベルテキスト入力が可能になる。タイプ打ちしつつ単語を発声することが人に馴染みのある行為であることにもまた、留意しなければならない。
本発明の他の実施形態によれば、単語を入力するのに、ユーザは該単語の少なくとも一部の文字に対応する数個(例えば1個、2個、そして必要に応じてそれ以上)のキーを押し、(好ましくは始めに)かつ(好ましくは同時に)前記単語を発声する。前記キー押しと前記発声とに応じ、システムは意図された単語を認識することができる。この目的に合わせ、一つの方法によれば、例えばシステムは前記単語の対応部分の文字が前記キー押しに対応する辞書データベースの単語を先ず選択し、前記選択された単語の発声を前記ユーザの発声と照合する。システムは、そこでそれらの発声が前記ユーザの発声に最も良く一致する1以上の単語を選択する。前記単語の少なくとも始めの文字に対応する少なくとも数回のキー押しに従い単語データベースの辞書内に存在する単語を選択することで、前記ユーザの発声と照合する前記選択された単語の数が劇的に低減される。これにより、所望の単語の極めて高精度の入力が可能となる。別の方法によれば、例えばシステムは先ずそれらの発声が前記ユーザの発声に最も良く一致する辞書の単語を選択することができる。システムはそこで、前記ユーザの対応するキー押しと共に前記単語(構成文字集合)の前記少なくとも始めの文字を評価(それらがどのキー押しに属するかを評価)し、該ユーザのキー押しに一致する(一又は複数の)文字集合を最終的に選択する。
上記実施形態では、選択肢が一つの単語を含む場合、該単語を最終選択肢とすることができる。選択肢が複数の単語からなる場合、そのときは該単語をユーザに(例えば、ディスプレイにて印刷されたリスト内に)提示し、ユーザは例えば「選択」キーを押すことでそれらのうちの一つを選択することができる。キー押しと発声の組み合わせで単語を入力するシステムと説明したばかりのこのシステムによる対応単語の選択とが実例として示されたことは、理解されたい。明らかに、同じ目的について本発明のデータ入力システムの原理に基づく他のシステムが当業者に知れて検討されよう。
単語を発声し該単語の少なくとも一部を構成する文字に対応するキーを押圧し、前記キー押しを単語辞書内の単語の欧字に対応するキー押しと照合する上記の方法は、相当量のメモリの使用を必要とする。言語中の利用可能な全ての単語の音素集合/発声(例えば、モデル)を記憶させることで、1以上の言語内で利用可能な前記単語に対応するとともに前記辞書データベース内で利用可能な前記単語に対応するキー押しのデータベースを有する文字列のデータベースは大量のメモリを必要とする。
また、先の出願に記載されている如く、本発明のデータ入力システムによれば、句読点記号等の記号をキーパッドのキーへ割り当て、声を発することなく前記キーを押すことでデフォルトとして入力することができる。前述の本発明の単語レベルデータ入力システムでは、ユーザはその対応する全てのキー押しの入力終了前に単語の発声を終了することができる。このことが認識システムを混乱させることがあり、何故ならユーザの発声と被らなかった最後のキー押しが前記デフォルトの文字と見なされることがあるからである。この問題を克服する何らかの解決策が、存在する。例えば、ユーザは先ず一つの単語を発声し、続いて対応キーを押す。このことで、発声後に生ずるキー押し集合が前記発声に対応することをシステムに対し指示することができる。
別の例では、本システムはテキストモードを離脱し、例えばモードキーの押圧等の所定の動作により句読点/機能モード等の別のモード(例えば、特別文字モード)へ移行することができる。本例によれば、前記テキストモードにおいて、システムは全てのキー押しが最後の発声に対応しているものと見なすことができる。システムが特別な文字モードにある間にキーを押すことで、句読点記号等の記号を単語の終わり(或いは他の任意の位置)で入力させ、システムに対し前記単語の終わりを指示することもできる。
前記PCT出願にて説明されているように、キーパッドの一つのキーに対し、句読点記号やスペース文字や機能等の少なくとも一つの特別な文字を割り当てることができる。発声を伴なわない前記キーパッドのキー上での一回の押圧により、前記キー上の句読点記号等の記号を入力することができる。発声を伴なわない同一キー上での二回押しが、前記キーに割り当てられた別の(例えば、句読点記号)記号をもたらすことができる。
・分節発声に基づくデータ入力システム
タイプ打ちしつつユーザが単語を発声するときに、彼は当然ながら例えば該発声の音節に従い(例えば、彼が各分節発声に対応する欧字をタイプ打ちしつつ)1以上の分節発声部分へ前記単語の前記発声を分解する。例えば、キーパッド等のキーボードを用いて単語「morning」をタイプ打ちしつつ、ユーザは当然ながら先ず第1の分節発声「mor」を発すると共に/その間に彼は対応キーを押す。続いて、ユーザは続く文節発声「ning」を発音し、対応するキーをタイプ打ちすることができる。より簡単な実例に関し、本出願では単語「文節発声」は単語の発声の一部の発声について用いるものとする。例えば単語「perhaps」は、二つの文節発声「per」と「haps」にて喋ることができる。また、例えば単語「pet」は単一文節「pet」で入力することができる。
また、例えば単語「playing」の入力では、ユーザは先ず第1の音節(例えば、「ple」)に対応する音素を発音し、その間に文字「pla」に対応するキーをタイプ打ちし、続いて第2の音節(例えば、「ying」)に対応する音素を発音し、その間に文字集合「ying」をタイプ打ちする。
一人のユーザが単語を別のユーザとは異なる部分へ分割できることには、留意しなければならない。従って、各部分ごとに文節発声と対応するキー押しを異ならしめることができる。前記ユーザによる前記単語の全ての部分のデータ(例えば、キー押しと文節発声)入力を完了した後、最終結果は同様となろう。
上記の例では、前記別のユーザは第1の部分を「pla」と発音し、対応する文字集合「play」のキーを押す。そこで彼は、「ing」と喋り、文字列「ing」に対応するキーを押すことができる。また例えば、第3のユーザは三つ連なる文節発声とキー押しにて単語「playing」を入力することができる。前記ユーザは、対応キーをタイプ打ちしつつ、「ple」と「yin」と「g」と喋る(例えば、文字「g」と綴るか対応する音を発音する)。単語を異なる配列の音声に分割する最も自然な方法とキー押しが前記単語の音節に対応する発声のその各配列であることを、理解されたい。それ故、たとえ本出願の多くの段落で音節を単語の部分/配列として記述したとしても、本発明のデータ入力システムが1以上の部分内での単語の任意の分割形式に適用されることに留意しなければならない。
上述の原理に従えば、例えば単語「trying」は二つの部分(例えば、音節)「tri」と「ing」にて発音することができる。また、例えば単語「playground」は二つの部分(例えば、その二つの音節に従い)「pla」と「ground」とに分割して入力することができる(例えば、本出願の多くの段落では、音素(例えば、発声音)は辞典ウェブスターに従って対応する文字により示される)。
上記の例に示される如く、一つ(又はそれよりも多く)の言語中の異なる単語の発声の一部が類似の発音(例えば、同一の音素集合で構成されている)を有することがある。例えば、単語「trying」と「playing」は、その発声中に共通の分節発声部分「ing」(或いは「ying」)を有する。
上記原理に従い、データ入力方法を創成することができ、そこでは単語の分節発声に対応する音素/発声モデルの所定の集合を検討/記憶し、音素/発声モデルの対応集合に割り当てられた文字集合に対応するキー押しの少なくとも一部を検討することで、本発明のキー押しを伴う発声データ入力システム内での単語全体の認識を効果的とすることができる。図35は、単語辞書3502全体の分節発声に対応する音素集合(例えば、音素の集合)3501の例示辞書と、同様に前記音素集合辞書3501に対応する前記文字集合辞書3503に対応するキー押し値(電話器キーパッド)3504の辞書を備える前記音素集合辞書3501の音素集合に対応する文字集合辞書3503とを示すものである。本発明の異なる実施形態によれば、1以上のこれらのデータベースを本発明のデータ入力システムにより使用することができる。
多くの場合、同一の音素集合(或いは分節発声モデル)が異なる単語(それらの発声中に同一の分節発声を有する)を認識すべく使用できるので、1以上の単語辞書にて利用可能な単語全体の認識により少数の記憶音素集合/発声モデルしか必要でなく、必要なメモリの量が減らせる。このことが電話器型キーパッド等のキーパッドの対応キーに対する低減された数の音素集合/文字集合の割り当てに帰結し、発声認識システム(例えば、任意のテキスト入力)の精度を劇的に増大させることになる。
図36は、類似した発声部分3602を有する英語3601の単語の例示サンプルを示すものである。図示の如く、4個の短い音素集合3602が少なくとも全部で7個の単語3601の発声を生成しよう。前記音素集合3602が英語或いは他の言語中の多数の他の単語の発声の一部もまた表わし得ることは、理解されたい。
上記の原理に基づき、限られた大きさのメモリ(例えば、携帯電話やPDA)や限られた数のキー(例えば電話器キーパッド)を有する移動体装置を介して任意の単語入力(例えば、一般的な口述筆記や任意のテキスト入力)用の低減された数の音素集合を用いる自然なキー押しを伴う発声データ入力システムを設けることができる。このシステムは、例えばパーソナルコンピュータ等の固定された装置用のPCキーボードを用いることでデータ入力を向上させることもできる。この場合、(PCキーボードはより多くのキーを有するが故に)、依然としてより数の減った音素集合を各キーに割り当て、音声認識システムの精度を増大させることになる。この後、本発明の異なる詳細な実施形態を説明する。
全キー−音素の少なくとも一部
本発明の一実施形態によれば、ユーザは、異なる分節発声へ単語の発声を分割することができ、各分節発声を前記単語の対応部分を構成する文字列(例えば、文字集合)に対応する音素集合により表わすことができる。各音素集合を発声しかつ/一方で該音素集合/文字集合に対応する欧字に対応するキーを押し、全ての(或いは少なくとも一部)の前記分節発声に対するこの処理を反復(最初から最後まで順に)することで、前記単語全体(例えば、文字列の形で)を入力することができる。
図33に示す如く、例えば欧字「t」はキーパッド3300のキー3301上に配置してある。そのキーに対しては、「te」や「ti」や「ta」や「to」等の異なる音素集合(本例では、前記音素集合は前記欧字「t」で始まる文字に対応)及び/又は対応する発声モデルを割り当てることができる(図37の表参照)。「te」の発音は、「tea」や「tee」や或いはまして「the」(例えば、ユーザが米国/英国を母国としない場合)等の異なる欧字集合に対応させることができる。一例として、単語「teabag」を生成するには、ユーザは「t」キー3301を押して「te」と喋り、残る文字「ea」に対応する残るキーの押圧を継続する。一方法によれば、システムはユーザの発声を発声(例えば、モデル)或いは最初に押されたキー(本例では、「t」キー3301)に割り当てられた音素集合と照合することができる。前記ユーザの発声を前記キーに割り当てられた一(又はそれ以上)の前記音素集合/発声モデルに一致させた後、システムは(一又は複数の)音素集合/(一又は複数の)発声モデルに割り当てられた1以上の(一又は複数の)文字集合を選択する。前述の如く、本例では、同一発声が文字の異なる二つの集合に対応することがあり、一方が欧字「tea」(例えば、キー押し値832)に対応し、他方が欧字「tee」(例えば、キー押し値833)に対応する。システムは、ユーザが押したキー(の例えば、その値)を選択された文字集合に対応するキー押し(の例えば、その値)と照合し、それらのうちの一つがユーザのキー押しに一致する場合に、システムはそれを選択して結果的に入力/出力させる。本例では、欧字「tea」はこの段階での最終選択肢とすることができる。スペースキー押し等の終了点(例えば、単語の終わり)信号が、現在の単語全体に対するキー押しと発声が終了したことをシステムに報知することができる。
文字列(例えば、tac)を表わす音素集合(例えば、「tak」)を、好ましくは前記文字列の先頭文字(例えば、「t」)を表わす別の音素(例えば、「t」)を割り当てた同じキーに割り当てることができることに、留意しなければならない。また、欧字列で表され、文字列(例えば、「th」)で表わす単一音素(例えば、「th」)を、好ましくは前記文字列の先頭文字(例えば、「t」)を表わす別の音素(例えば、「t」)を割り当てた同じキーに割り当てることができる。
上述の例では、選択肢は最終のものではない(例えば、ユーザは前記終了点を提供はしない)。ユーザはそこで、欧字「b」に対応するキー3302(例えば、単語の次の音節の先頭文字)を押し、「bag」と喋り、残る欧字「ag」に対応する残るキーの押圧を続ける。システムは、先と同様に進行し、対応する文字集合「bag」を選択する。ユーザはここで、例えばスペースキーを押すことで単語の終わりを発信する。
「te」と喋り、キー3301,3309,3302(例えば、キー値「8,3,1」)を押し、続いて「bag」と喋り、キー3302,3302,3303(例えば、キー値「1,1,4」)を押すことで、単語「teabag」を生成することができる。注記した如く、単語「teabag」はメモリ内にその全体的な発声モデル/音素集合を持たずに、発声とキー押しとにより生成される。事実、単語「teabag」の発声モデル/音素集合はメモリ内の利用可能な他の二つの分節発声モデル/音素集合(例えば、「te」と「bag」)により生成されており、それぞれが単語「teabag」全体の該発声モデル/音素集合の一部を表わし、全体の前記発声モデル/音素集合を併せ生成する。「te」や「bag」の発声モデル/音素集合は、それぞれ「teaming」や「Baggage」等の他の単語の発声モデル/音素集合の一部として用いることができる。
本実施形態ではその認識精度は非常に高いが、時として最終の選択肢が辞書データベース内に存在しない誤った単語となることもあり得る。この理由から、本発明の一実施形態に従い、前記単語の入力/出力前にこのシステムは最終選択肢を所望言語の単語辞書の単語と照合することができる。前記選択肢が前記辞書内の単語に一致しない場合、それを拒絶することができる。
また、一つの方法によれば、単語の一部分の対応キーを押してそれを喋る一方で、ユーザは彼の発声が全体入力期間中に前記対応するキー押しと被る仕方で発声することができる。このことで、各瞬間ごとのユーザの発声を同時に押されるキーに対応させ、該発声のより簡単な認識を可能にする利点を有することになる。他方、単語の入力終了時点で、ユーザは発声することなくいずれかのキーを押すことができる。このことで、単語全体が入力されたことがシステムに報知される(例えば、キー押しと無発声は句読点記号やPC機能等の文字に割り当てることができる)。この事項は、本発明者により既に出願されたPCT出願内で既に説明されているものである。)
上述の認識処理の完了後、選択された出力が複数の単語からなる場合、一実施形態によれば、前記単語はユーザに(例えば、ディスプレイにて印刷されたリスト内に)提示することができ、ユーザは例えば「選択」キーを押すことでそれらのうちの一つを選択することができる。
一部のケースでは、単語の1以上の分節発声の音素の一部(好ましくは前記分節発声の始めのもの)を認識することで、本発明のキー押しを伴う発声データ入力システムの対応する単語の認識には十分であろうことに、留意しなければならない。
本発明の一実施形態によれば、単語の分節発声に対応する全ての音素を検討する代りに、数個の音素だけ(好ましくは前記分節発声の始めのもの)を検討し、好ましくは前記音素集合に対応する(一又は複数の)文字集合の先頭の欧字に対応する(一又は複数の)キーに割り当てることができる。前記音素集合は、本発明のキー押しを伴なう発声データ入力システムによる認識目的に用いることができる。本方法によれば、多数の単語全体の認識に必要な発声モデル/音素集合の数を劇的に低減することができる。この場合、キーパッド等のキーボードの各キーに対したった数個の音素集合を割り当て、音声/発声認識システムによる前記音素集合のより簡単な認識を可能にするものとする。
前記単語の全ての文字に対応する全てのキー押しの考察と併せ、単語の各分節発声(好ましくは、第1の分節発声)の全ての/数個(好ましくは、始めの)の文字の評価用音声認識システムを用いることで、言語中の単語を本発明のデータ入力システムにより認識することができる。
前述の如く、言語中の単語の分節発声に従い音素(又は発声モデル)の異なる集合を検討し、好ましくは記憶させることができる。前記音素集合のそれぞれは、前記単語内の任意の位置にて単語の一部に対応させることができる。前記音素集合のそれぞれは、同様/ほぼ同様の発音を有する文字の1以上の集合(例えば、列)に対応させることができる。前記音素集合は、それらの対応文字集合の先頭文字に従ってキーに割り当てることができる。例えば、文字集合「tee」と「tea」を表わす音素集合「te」は、文字「t」も表わすキー3301に割り当てることができる。音素集合がそれぞれが異なる欧字で始まる二つの文字列を表わす場合、そのときは前記音素はそれぞれが前記文字連鎖の一つの先頭の欧字を表わす二つの異なるキーに割り当てることができる。例えば、本発明の音声認識システムの精度を向上させるべく、ほぼ同様の発音を有する文字集合「and」と「hand」を音素集合「and」に割り当てることができる。この場合、前記音素集合はそれぞれ文字「a」と「h」を表わす二つの異なるキー3302と3303に割り当てることができる。キー3302を押して「hand」と喋ったときに、対応文字集合は好ましくは「and」であり、キー3303を押し「hand」と喋ったときは、対応文字集合は好ましくは「hand」となろう。
図37は、欧字「t」で始まる単語の音節の始め(或いは他の任意の箇所)に起き得る音素集合の一部を示す例示的な表を示すものである。表の最終行は、音素集合の追加例と欧字「i」に関する関連文字集合もまた示している。
より多くの音素を有する音素集合(例えばtapsやtakeやtast等のより長い音素集合)を検討し、モデル化し、単語の認識に役立たせることができるが、本実施形態では、ユーザか単語の欧字に対応するほぼ全てのキーを押し、音声/発声認識を組み合わせ、また単語データベースの辞書を用い、図35に示された関連データベース(キー押し値等)による前記単語の1以上の部分(例えば、音節)の始めの数個の文字を評価/認識することで前記単語の生成には十分であろう。明らかに、必要時にはより長い音素集合をより良好な認識及び一義化に用いることもできる。
一例として、図33を考察し、また図37の表を用いて単語「title」を生成することで、ユーザは欧字「t」に対応するキー3301を押し、続いて残る文字「itle」に対応する残るキーを押すことができる。単語の終わりで、ユーザは例えばスペースキー等の単語終了キーを押すことができる。前記表に示したように、音素集合「ti」に対し「ti」や「ty」や「tie」等の文字集合が割り当ててある。明らかに、先頭文字「t」が選択される。二番目の欧字は、キー3303(例えば、「y」はキー3304上にある)の押圧が故に「i」となろう。押圧された次のキーは、文字「t」に関するキー3301となる。この場合、文字集合「tie」の可能性は退けられる。かくして、「ti」は決定的に選択されることになる。システムは、ここで残るキー押し(値)8(例えば、「t,u,v」や5(例えば、「g,h,i」)や3(例えば、「d,e,f」)と併せ「ti」を検討する。これらの入力を対応するキー押しデータベースを有する単語の辞書と照合することで、これらの入力に対応する唯一の単語が単語「title」であることが明らかにされる。システムはそこで、単語「title」を選択する。
より良好に認識するには、ユーザは対応キーを押しつつ単語の複数の分節発声を発声することができる。この場合、システムは発声による前記入力を考慮して前記単語の前記複数の分節発声に対応する文字をより良好に認識することができる。
キーボード/キーパッドを介して単語(1以上の部分/音節を有する)をタイプ打ちし、前記単語を一部/全部喋ることで、大半のいずれのケースにあっても、前記単語の文字の残りに対応するキー押しの評価と組み合わせた音声認識システム(対応キー押しの評価に手助けされた)による前記単語の前記一部/音節(好ましくは、先頭部分/音節)のうちの少なくとも一つの数語の始めの文字の認識が前記単語を生成することになる。
別の例では、二つの分節発声/音節「ta」と「ken」で出来た単語「taken」を入力するのに、先頭の文字「t」(キー3301)のタイプ打ち時にユーザは「ta」と喋り、続いて第1音節の文字の残りに対応する残りのキー(例えば、「a」)を押す。ユーザはそこで、当然のことながら次の音節に進み、欧字「k」に対応するキー3305を押圧しつつ「ken」と喋り、欧字「en」に対応する前記次の音節の残るキーの押圧を継続する。彼はそこで例えばスペースキーを押し、システムにデータ入力の終了を知らせることができる。
上記の認識手順が完了した後、選択された出力が複数の単語で出来ている場合、前記単語をユーザに提示(例えば、ディスプレイにて印刷されたリスト内)し、ユーザは例えば「選択」キーを押すことでそれらのうち一つを選択することができる。
ショートカット:音素の最小部分と組み合わせたより少数回のキー押し
キーの数が限られたキーパッドを有する小型の移動体電子装置は、世界中で共通に用いられている。ユーザは一方の手の指(例えば、親指や人差し指)を用いて前記キーパッドのキーを押す。各記号が対応キー上の単一の押圧動作により入力される前述のデータ入力システムにおいてさえ、データ入力速度はキーボードのキーを押すのに通常はユーザが両手の指を用いるPCキーボードを用いたデータ入力速度よりも遅いのである。
本発明のデータ入力システムを向上させ、より高速のデータ(例えば、テキスト)入力を可能にすべく、マクロレベルデータ/テキスト入力システムがPCT出願PCT/US00/29647に提案されている。該PCT出願では、マクロ(例えば、欧字/文字の列)をキーパッドのキーに割り当て、音声/発声と組み合わせ/組み合わせない一回の押圧動作により入力することができる。単語の文字の少なくとも一部を一回のキー押しに割り当てることで、単語全体は数回のキー押しで入力することができる。本発明のキー押しを伴なう発声データ入力方法内に本方法を適用することで、移動体環境/小型装置用の素早いデータ入力を提供することができる。本方法では、キー押しの回数は通常単語の文字数よりも少数である(単一文字と一文字ずつの入力を必要とする辞書以外の単語等の一部の単語を除く)。
前記した如く、1以上の言語の単語発声(1以上の音節を含む)の少なくとも一部に対応する音素集合をキーパッドの異なる所定キーへ割り当てることができる。また、前記した如く、前記音素集合のそれぞれは言語中の少なくとも一つの文字集合を表わすことができる。前記した如く、複数欧字(例えば、文字群)等の文字列を表わす音素集合は、好ましくは前記文字列の先頭文字を表わす別の音素を割り当てた同一キーへ割り当てることができる。
本発明の好適な実施形態によれば、ユーザは好ましくは単語の一部の第1の文字に対応する(一又は複数の)キーを押すことができ、その一方で好ましくは同時に前記対応部分を発声することができる。この目的に合わせ、ユーザは単語を(例えば、一例として前記単語の発声の音節に従って)異なる部分に分割することができる。単語の各部分/音節の発声は、本出願では「分節発声」と呼ぶ。前記単語の前記分割部分に対応する音素集合(とそれらの対応文字集合)を本システム内で利用可能としなければならないことは、理解されたい。
本実施形態によれば、例えば二つの分節発声(例えば本例では、その音節により)「tip」と「top」に分割することのできる単語「tiptop」を入力するのに、ユーザは先ずキー3301(例えば、音素/欧字「t」を前記キーに割り当てる)を押し、(好ましくは同時に)「tip」と喋り(例えば、単語「tiptop」の先頭の分節発声)、続いてキー3301を押し、(好ましくは、同時に)「top」と喋る(例えば、単語「tiptop」の二番目の分節発声)。図37の例示的な表を用いることで、「tip」の文字集合は音素「tip」の集合とキー3301上の文字「t」に割り当てられる。ユーザがキー3301を押して「tip」と喋ると、システムはユーザの発声をキー3301に割り当てられた全ての音素集合/発声モデルと照合する。前記ユーザの発声に最も良く一致する前記集合/モデルのうちの一つ(又はそれ以上)を選択することで、システムは前記選択された(一又は複数の)音素集合に割り当てられた文字集合を選択する。現在の例では、唯一の文字集合(例えば、tip)が音素集合「tip」に割り当ててあった。システムはそこで、同様の仕方で単語の次の部分(例えば、分節発声)へ進み、以下同様となす。本例では、文字集合「top」が音素集合「top」に割り当ててあった唯一の文字集合であった。システムは、前記文字集合を選択する。本発明の一実施形態によれば、単語の全ての分節発声/音素集合に対応する全ての文字集合を選択した後、システムはそこで前記文字集合を組み立て(例えば、組み立て処理の一例は次の段落に記載)、異なる群/列の文字を供給する。システムはそこで、前記文字の各群をメモリ内で利用可能な単語データベースの辞書の単語(例えば、文字集合)と照合する。例えば、前記文字群の一つに最も良く一致する辞書の単語の一つを選択した後、システムは該単語を最終的な選択肢として選択することができる。本例では、二番目の部分/音節を入力した後、単語が完全に入力された旨システムに報知すべく発声することなく、ユーザは例えばスペースキー又は他のキーを押す(例えば、キー押し無発声は句読点記号やPC機能等の文字に割り当てられる)。この事項は、本発明者により既に出願されたPCT出願内で既に説明されているものである。システムは、文字集合「tip」と「top」を組み立て、一群の文字「tiptop」を生成する。必要に応じて、システムはそこで前記文字群をシステムの単語データベースの辞書(例えば、英語の辞書)内で利用可能な単語と照合し、前記単語のうち一つが前記文字群に一致する場合、システムは前記単語を入力/出力する。本例では、単語「tiptop」はシステムの英語辞書内に存在する。前記単語を、最終的に入力/出力する。
図38は、本実施形態の選択された文字集合の組立方法を示す。例えば、ユーザが本発明の一実施形態を用いて三つの手順で単語「envelope」の入力を試みると、システムは各部分ごとに二つの文字集合3801につき一つを選択する。図39に示す如く、システムはそこで前記単語内のその個別位置に従い前記文字集合を組み立て、異なる群の文字3802を提供することができる。前記文字群3802はシステムの単語辞書の単語と照合され、1以上の前記単語に一致する(一又は複数の)文字群が最終的に選択されて入力される。本例では、文字集合3803(例えば、「envelope」)が前記辞書内の単語に一致する唯一の文字集合となる。前記単語が、最終的に選択される。
前記の如く、或る場合には、音声認識システムは単語の全部/一部(例えば、音節)の音声について複数の音素集合/発声モデルを選択することができる。例えば、「悪しき」アクセントを有するユーザが本発明の本実施形態に従って「teabag」なる単語の入力を試みた場合、彼は先ずキー3301を押し、同時に「te」と喋る。本システムは、ユーザが当該キーに共に割り当てられた「te」或いは「the」のどちらを喋ったかは確かめることができない。この場合、システムは両方の音素集合に対応する異なる文字集合を選択することができる。同じ手順を用い、ユーザはそこで単語の二番目の部分を入力する。本例では、唯一の文字集合「bag」がシステムにより選択された。ユーザは、最後にスペースキーを押す。システムは、そこで前記文字集合を(異なる配置で)組み立て、異なる文字群を生成し、該文字群のそれぞれを単語データベースの辞書の単語と照合する。本例では、該当する可能性のある文字群は、
−「teebag」
−「teabag」
−「thebag」
である。
例えば英語の単語辞書内の単語で一致する唯一の文字群は、単語「teabag」である。この単語は、最終選択肢と見なすことができる。
直前に実例で示したように、システムが単語の各/一部音素集合用に複数の文字集合を選択することが起き得る。この場合、複数の文字群を組み立てることができる。それ故、恐らく辞書の複数の単語は前記組み立てた群の文字を照合することができる。この場合、前記語はユーザに対し(例えば、ディスプレイにて印刷されたリスト内に)提示することができ、ユーザは例えば「選択」キーを押すことでそれらのうちの一つを選択することができる。また、システムが十分なメモリと処理速度を有する場合、音声認識システムは例えば対応語句の文脈に従い前記選択された単語のうち一つを選択するのに用いることができる。
単語/単語の一部が多くの音素を備えるもののその発声が単一の音節を有する場合、一方法によれば、単語/単語の一部の前記全ての音素で構成/考慮した音素集合/モデルを前記単語に割り当てることができる。例えば、単語「thirst」を入力するには、前記単語の全ての音素で出来た音素集合を前記単語と欧字「t」(のキー)とに割り当て(例えば、キー3301に配置/割り当て)る。例えば、ユーザはキー3301を押し、「thirst」と喋る。先に説明した如く、このシステムは単語の(一又は複数の)分節発声(本例の場合、一つの分節発声)の(一又は複数の)文字集合(本例の場合、ただ一つの「thirst」)を選択し、それらを組み立てる(本例では、組み立ては無し)。システムはそこで、該文字集合をシステムの単語辞書の単語と照合し、該文字が辞書内の前記単語の一つに一致する場合、そのときは該単語を最終選択肢として選択する。この場合、最終的に単語「thirst」が選択される。
場合によっては、単語がたった一つの音節で出来ているときは、単語の一義化には音節に対する複数回のキー押しが必要になることがある。この目的に合わせ、異なる使い勝手の良い方法を実装することもできる。例えば単語「fire」については、元来が一つの音節から出来ており、音素集合「fi」と「re」のそれぞれで出来た二つの音節にて発音することができる。この場合のユーザは、「fi」と喋りながら文字「f」に対応するキーを先ず押すことができる。彼は、そこで文字「r」に対応するキーを押し、「re」と喋ることができる。
また、例えば、単語「times」は二つの音節「ti」と「mes」或いは「tim」と「es」にて発音することができる。また、「listen」等の単語は二つの音節「lis」と「ten」にて発音することができ、それはそれぞれ「l」と「t」に対応するキー押しを要求することがある。また、この原理に従い、単語「thirst」は3個の部分「thir」と「s」と「t」とに分割することができる。例えば、音素集合「thir」を既に欧字「t」を備えるキー(例えば、キー3301)に割り当てられていると考えると、ユーザはキー3301を押して「thir」と喋り、そこで彼は欧字「s」に対応するキー3306を押し、音素「s」の音を発音するか該欧字を発声することができる。彼はそこで、欧字「t」に対応するキー3301を押し、音素「t」の音を発音するか或いはその欧字を発声することができる。単語の終わりで、ユーザはスペースキー3307等の単語終了キーを押すことができる。
また、より良好な一義化とまた例えばその始端に同一発声(例えば、「bring」と「brings」)を有する単語に必要な音素集合の数を減らすにも、音節の第1のキーを押しかつ該音節を発声することに加え、一部のケースでは、単語/音節の終わりの(一又は複数の)文字(例えば、本例では「s」)を押して喋ることもできる。例えば、ユーザは文字「b」に対応するキーを押し、「bring」と喋る(例えば、音素集合「bring」はキー「3302」に割り当ててあった)。彼はそこで、文字「s」に対応するキーを押し、「s」を発音するか或いは音素「s」の音を喋るかのいずれかを行なうことができる。「スペース」キーを押す等の単語終了信号を供給した後、システムは二つのデータ入力配列を検討し、対応する単語「bring」を供給する(例えば、音素集合はキー3302には割り当てられていなかった)。本願明細書の方法を用いた1以上の(一又は複数の)単一文字の入力が単語内の任意の位置(始めや途中や終わり)で可能にできることは、理解されたい。システムを混乱させないよう、ユーザが本発明の単語/単語の一部入力システムにより欧字で構成された(一つの単語)部分を入力するときは、彼は好ましくは前記文字の音を発声するとよい。例えば、「em」と喋る代りに、ユーザは音素「m」の音を発音することができる。同様に類似のケースでは、「t」と喋ることについては、システムにより文字「tea」や「tea」の列や文字「t」に関連付け、その一方で音素「t」の音の発音は文字「t」にだけ関連付けることができる。
前述の如く、より良好な一義化に向け、相当数の音素集合を有する単語/単語の一部/単語の音節/単語の分節発声(「thirst」や「brings」等)を複数部分に分割でき、ここで該部分の幾つかは一つの音素/文字だけを含み、本発明のデータ入力システムに従って入力される。また前述した如く、本手法によれば、それぞれがより少数の音素で出来た多音素集合を相当数の音素で出来た単一の音素集合で置き換え、単語の一部(例えば、音節)を表わすことができる。また前述の如く、単語の長い部分(例えば、相当数の音素からなる長い音節)の発声をより短い分節/音素集合部分に分割することで、辞書データベース内で利用可能な全ての単語の認識に必要な音素集合の総数を低減することになる。また先に説明した如く、このことでキーボード/キーパッドの各キーに対しより少ない音素集合を割り当てられるようになる。
本発明の一実施形態によれば、上記原理に基づき、キーボード/キーパッドのそれぞれに対し数個の音素からなる短い音素集合を割り当てることができる。この目的に合わせ、例えば音素集合が子音から始まる場合、以下の構造/音素で構成することができる。
−前記子音のみ
−始めの前記子音と、その後の少なくとも一つの母音
−始めの前記子音と、該子音の後の少なくとも一つの母音と、(一又は複数の)母音の後の一つの子音
音素集合が母音で始まる場合は、それは以下の構造を持とう。
−始めの少なくとも一つの母音
−始めの前記(一又は複数の)母音と、その後の一つの子音
図40は、本発明の本実施形態になる子音「t」4002に関する音素集合4001と母音「u」4003の幾つかの例を示すものである。列4004,4005,4006は、前記音素集合を構成する音群(例えば、子音/母音)に従う前記音素集合の異なる部分を示すものである。列4007は、対応する例示単語を示すものであり、ここでは対応音素集合が前記単語の発声の一部を構成する。例えば、音素集合「tar」4008は単語「stair」の一部4009を構成する。列4010は、対応する単語を入力するキー押しの回数の推定例を示すものである(本発明の本実施形態によれば一回のキー押しは単語の各部分の先頭文字に対応する)。例えば、単語「until」4011を入力するのに、ユーザは先ず文字「u」に対応するキー3301(図33参照)を押し、好ましくは同時に「un」と喋る。彼は、そこで再度文字「t」に対応するキー3301を押し、また好ましくは同時に「til」と喋る。単語を終了するため、ユーザはそこでスペースキーを押す等して単語終了信号をシステムへ報知する。単語「until」は、ユーザの発声と共に二回のキー押し(単語終了信号を除く)により入力された。先に説明した原理に基づく本実施形態に従い、その直前或いは直後の母音をもたない子音音素は単語発声の個別部分と見なすことができる。例えば、単語「study」4012の始端における「s」と単語「understood」4013の中間における「s」は、この規則に従おう。このことが、辞書内で利用可能な大半の単語を入力するのに必要な音素集合の数を極端に低減することになろう(例えば、単語の一部の開始音素/文字ごとの恐らく百程度の音素集合は、電話器型のキーパッドの使用時に例えば英語の単語の大半の認識に十分なものとなろう)。図40は、一例として電話器型キーパッドのキー3301に割り当てられた「v」4014や「th」4015等の他の開始音素/文字を示すものである。前記始端音素/文字のそれぞれについては、上記原理に従う音素集合と見なすことができる。
必要/所望に応じより多くの音素を有するより長い単語の文節発声部分をこのシステムの短い音素集合と見なすこともできることは、理解されたい。また、例えば、単語の複数音節を表わす音素集合はまた前述の如く対応キーと見なし割り当てることができる。また、多くの場合が非英語会話圏を母国とする人であるユーザが発音する発声のより良好な認識を果たすべく、先の実施形態に記載したより簡単な認識を行なうため、曖昧な類似の発音を有する音素集合(「to(ただし、oは ̄付き)」や「to(ただし、oは^付き」等)に対応する文字集合を前記全ての音素集合に対し割り当てることができる。
同じ所定の(好ましくは、短い)音素群/発声モデルが、多くの言語内での単語の認識と入力を可能にすることができる。例えば音素群「sha」は、
英語の「shadow」
フランス語の「chaleur」
ヘブライ語の「shalom」
アラビア語の「shabab」
日本語「Geisha」
等の単語の認識に用いることができる。
前記音素群のそれぞれに対し、対応言語中の対応文字を割り当てることができる。前記した如く、斯くすることで音素群認識に基づく強力な多言語データ入力システムを提供することができる。この目的に合わせ、異なる言語中の1以上のデータベースをシステム内で利用可能とすることができる。異なる言語の異なる文章を入力する異なる方法を、検討することもできる。
一方法によれば、所望言語で文章を入力すべく、一般の音素群データベースと多言語での対応文字群データベースを持たせることで、システムに所定手段によりシステムに通知することによりユーザは一つの言語モードを選択することができる。例えば、前記ユーザはモードキーを押して所望の言語モードへ入力することができる。この場合、本発明の対応する実施形態に従い前記単語の一部を入力することで単語を入力した後、システムは組み立てた文字集合の選択された対応群/列を前記選択された所望の言語に対応する単語辞書の単語と比較する。前記文字群と前記辞書の1以上の単語とを照合した後、このシステムは前記照合した(一又は複数の)単語を入力/出力する最終選択肢として選択する。選択肢が一つの単語を含む場合、該単語を最終選択肢とすることができる。選択肢が複数の単語からなる場合、そのときは前記単語をユーザ(例えば、ディスプレイにて印刷されたリスト内)に提示し、ユーザは例えば「選択」キーを用いることでそれらのうちの一つを選択することができる。
別の方法によれば、システム内で利用可能な異なる言語内の全てのデータベースを同時に使用し、異なる言語での任意の単語入力が入力(例えば、同一文書)できよう。例えば、本発明の一実施形態により前記単語の一部を入力することで単語を入力した後、システムは選択された対応する群の文字をシステムにより利用可能な単語の辞典の全ての単語と照合することができる。前記文字群をシステムを用いて利用可能な異なる辞書内で利用可能な単語と照合した後、システムは前記照合した(一又は複数の)単語を入力/出力対象最終選択肢として選択する。選択肢が選択が一つの単語を含む場合、該単語を最終選択肢とすることができる。選択肢が複数の単語を含む場合、そのときは該単語をユーザに提示(例えば、ディスプレイにて印刷したリスト内)し、ユーザは例えば「選択」キーを用いてそれらのうちの一つを選択することができる。
大半の母音が個別文字で表わされないヘブライ語やアラビア語等の一部言語では、このシステムはより高い精度でもって動作することさえできる。
(単語辞書との比較なし)
本システムは、集成した選択された文字の組を単語辞書と比較する工程なしでも機能する。このことは、異なる言語での文書入力を、それらがシステムの単語辞書に存在するかどうかを気にせずに行うために便利である。例えば、システムがヘブライ語の辞書を備えていない場合、使用者はローマ字を使ってヘブライ語の文書を入力することができる。「Shalom」という単語を入力するには、使用者は存在する音素の組「sha」と「lom」、及びシステム内で使用できる、それらに対応する文字の組を用いる。集成した文字の組を入力/出力するところであること、又は辞書データベースとの前記比較なしで、確認のため使用者に対して提示するところであることをシステムに対して知らせるために、モード・キーなどの手段を用いてもよい。複数の集成した文字の組が作成された場合、それらは使用者に対し提示される(例えば、ディスプレイ上に印刷されたリストで)ので、使用者は例えば「選択」キーを押してそれらのうち1つを選択することができる。
本発明の単語/単語の一部の入力の実施例では、入力/出力された単語が使用者が望んだものでなかった場合、単語削除機能を1つのキーに割り当ててもよい。文字削除機能(例えば、削除、バックスペース) キーと同様に、単語削除キーを押すことは、例えば、ディスプレイ上でカーソルの前にある単語を削除することになる。
本発明の別の実施例によれば、システムのほとんどの音素の組が、1つだけの子音を有していることが好ましい。図41は、それらのいくつかを例として示す。この実施例によれば、例えば単語「teabag」4101を入力するには、使用者はまず「te」と言いながらキー3301を押す。次いで使用者は「ba」と言いながらキー3302を押す。使用者は最後に「g」と言いながら(又は音素「g」の音声を発音しながら)キー3303を押す。別の実施例のように、単語の末尾で使用者はスペース・キーなどのキーを押してもよい。
応答性を高め、システムの精度を増強するために、自動訂正ソフトウェアを本発明の実施例と併用してもよい。自動訂正ソフトウェアは当業者には知られている。例えば、(図33のキーパッドを考えて)、使用者が単語「network」を入力しようとするとき、使用者はまず、文字「n」が割り当てられているキーパッドのキー3308を押して、同時に「net」と言う。同一のキー3308には文字「m」も割り当てられている。時としてシステムは使用者の音声を「met」と誤認識して前記音声に対し「met」などの文字の組を選択することがある。使用者は次の音節の入力に進み、それは前記音節の最初の文字「w」に対応するキー3304を押し、「work」と言う。システムは、使用者によって発音された音素の組「work」を認識して、対応する文字の組「work」を選択する。そこでシステムは2つの選択された文字の組を集成し、単語「metwork」を得る。この単語をシステムの単語データベースの辞書に存在している単語と比較した結果、システムは前記集成した単語を、前記データベースの前記単語のいずれとも一致させることができない。システムは次いで、前記集成した単語を最も類似した単語に一致させようとする。この場合、1つの仮説に従って、システムは文字「m」を文字「n」で置き換えて、前記辞書で使用できる単語「network」を提供することができる。別の仮説に従って、「m」と「n」が音声認識システムによって誤認識された可能性があり、両方とも同一キー上に配置されていると考えて、システムは、音素の組「met」を音素の組「net」で置き換えて、音素の組「net」に割り当てられた文字の組「net」を選択する。次いで、文字の組「met」を文字の組「net」で置き換えることにより、単語「network」が集成される。前記単語はシステムの単語辞書で使用できる。それが最終的に選択される。
もうひとつの例では、「that」という入力が、システムにより「vat」と認識されることがある。同様の手順が前記単語を明確にし、正しい単語「that」をもたらす。
もうひとつの例では、システムが、集成した文字群を辞書中の単語と一致させられなかった場合、システムの自動訂正ソフトウェアが、対応する部分(例えば、音節)内における及び/又は前記集成した文字群の中での、前記集成した文字の組の(互いに対する)文字の位置を評価して、前記文字の群を辞書中の単語と一致させようとする。例えば、前記文字の連鎖/群内で1つの文字が欠けていれば、辞書中の単語との前記比較により、システムはエラーを認識し、正しい単語を出力/入力する。例えば、使用者が単語「un−der−s−tand」(例えば4つの部分に分けて)を入力していて、前記単語の「s」の部分を入力し忘れた場合、集成した文字の群の1つは、「undertand」という文字の連鎖となり得る。前記文字の連鎖の文字を考慮し、それらの前記連鎖の中での互いに対する位置を考慮し、前記文字の連鎖を辞書中の単語と比較することによって、システムは、意図していた単語は「understand」という単語であることを認識することができ、最終的に、前記単語を入力/出力するか、又は使用者の判断を仰ぐため使用者に前記単語を提示するかのいずれかをすることができる。本システムの自動訂正ソフトウェアは、当業者には知られている別の自動訂正ソフトウェアの機能の一部又は全てを付加的に含んでいてもよい。
同じ発音を持つ(例えばその上、同一キーに割り当てられている)「to」、「too」又は「two」といった単語は、特別な処理に従うことができる。例えば、これらの単語のうち最もよく使われる単語は、「to」という単語である。この単語は本発明の実施例に従って入力されてよい。この操作の出力は、デフォルトでは単語「to」であってよい。単語「too」は、「too」と言いながら文字「t」に対応するキーを押して、(「to」と「o」の二つの部分に分けて)入力されてよい。「単語の末尾」キーを押す前に、使用者は、「o」と言いながら文字「o」に対応するキーを押して、もう1つの文字「o」も入力することができる。 そこで使用者は末尾点キーを押してよい。単語「too」が認識され入力されることになる。単語「two」を入力するには、システムは文字ごとにそれを入力するか、又は、前記単語に、「tro」などの特別な話声を割り当てて、この実施例を用いてそれを入力するかのどちらかである。さらに例えば、「two」を入力するには、使用者はキー3301を押して長く「too」と発音する。数字の「2」を入力するには、使用者は対応するキー3302を押して、前記数字を発音する。ここに示した例は、実例として示していることが理解されよう。実質的に同じ発音を有した単語の別の入力方法は、当業者により考案されることができる。
非常に興味深い論点について丁度述べた。例えば、「fiv」と言って、単語「five」の先頭文字に対応するキー3309を押すことにより、単語「five」が入力される。興味深いことに、「fiv」と言って、数字の「5」に対応するキー3305を押すことにより、数字「5」が入力される。二つの別々の記号に対応する単語を言ってキー押しを使用することにより、使用者の意図が明瞭化する。このことは、使用者の意図が話声/話声認識システムによって考慮されない話声によるデータ入力の欠点の1つである。さらに例えば、同一の数字に対し、複数の話声を割り当ててもよい。例えば数字の「4」に対し、「four」と「forty」という2つの話声を割り当てることができる。使用者は、対応するキーを押しながら「four」、「five」と言うことによっても数字の「45」を作成できるし、又は同じキーを押しながら「forty five」と言うことによっても数字の「45」を作成できる。さらに使用者がキー3306を押して「seven」と言えば、数字の「7」が入力される。これは、単語「seven」を入力するためには、使用者はキー3306を押して「se」と言えばよいからである。次いで使用者はキー3301を押して「ven」と言えばよい。
数字「7」の話声が1つの音節を備えているフランス単語などの他の言語では、明瞭化を期すため、2つの音節を有した特別に作った話声を、文字の組「sept」に割り当ててもよい。例えば、単語「septo」が使用者により作成され、単語辞書に追加されることができる。この単語は、辞書内の単語「sept」を示す。使用者が単語「septo」を(本発明の現実施例に従って)入力すると、システムは前記単語をシステムの単語辞書内に見つける。前記単語を入力/出力する代わりに、システムは単語「septo」が示す単語を入力/出力する。前記単語は単語「sept」である。辞書データベース内の単語を示している作成された記号を別個のデータベースに配置してもよい。
別の方法によれば、数字を、キーとの第1モードの相互作用に対して割り当てることができ、前記数字を表している文字の組を、前記キーとの別モードの相互作用に対して割り当てることができる。例えば、数字「7」を、キー3306への(例えば、それを話しながらの)一度押し動作に対して割り当てることができ、文字の連鎖「sept」を、同じキー3306への(例えば、それを話しながらの)二度押し動作に割り当てることができる。
本発明の分節話声レベルデータ入力システムは、少なくとも単語の一部の話声(例えば、単語の分節話声)の認識に基づいていてよいことに留意するべきである。1つ又は複数の言語の中の多くの単語が、共通の分節話声を有していることを考慮すると、音素の組を微修正/追加して、対応する文字を前記音素の組に割り当てることにより、多言語データ入力システムを使えるようにすることができる。例えば、英語、ドイツ語、アラビア語、ヘブライ語、さらに中国語までもの多くの言語は、発音が同じである部分/音節を有した単語を備えている。
使用者は、システムの辞書データベースに、新たな標準単語又は特別に作った単語及び対応する話声を追加してもよいことが理解されよう。したがって、システムは対応するキー押しの値及び話声モデルを作成して対応するデータベースに追加することができる。
前述したように、単語を入力するには、使用者は、単語の先頭部分の先頭文字/字に対応するキーを押し、 前記部分(の音素)を話す。前記単語が複数の部分に分けて話された場合、使用者は、前記単語の残りの部分のそれぞれに関してこの手順を繰り返せばよい。
本発明の一実施例によれば、使用者が単語の一部分(音節など)の先頭文字に対応するキーを押して前記部分を話すと、発声/話声認識システムは前記使用者の話声を聞き、前記話声の少なくとも一部(好ましくは、少なくとも、先頭部分)を、前記キーに割り当てられた音素の組に一致させようとする。一致度が最も高い音素の組が選び出され、対応する文字の組がシステムにより選択される。前記単語の各部分(例えば音節)に関して同じ手順を繰り返して単語全体を入力した後で、前記単語の各部分(例えば音節)に関して1つ又は複数の文字の組がそれぞれ選択されてもよい。システムはそこで、単語の各部分(例えば音節)に関して1つ又は複数の文字の組を有してもよく、各文字の組は前記音節の文字の少なくとも一部(好ましくは、先頭部分)を備えている。システムは次いで、前記文字の組それぞれを、システムの単語辞書データベース中の単語の対応する音節の(例えば、先頭)文字に一致させようとする。一致度が最も高い単語が選択されることができる。多くの場合、辞書からの一単語のみが選択される。前記単語が入力/出力される。複数の使用可能な単語が選択された場合、前記単語は使用者に対して提示され(例えば、 ディスプレイ上に印刷されたリストで)、使用者は例えば「選択」キーを押すことにより、それらのうち1つを選択できる。
例えば、図37の表と図33のキーパッドを用いて、単語「trying」(例えば音素の組「tri−ing」)を入力するには、使用者はまずキー3301を押して「tri」と言う。システムは使用者の話声を、前記キー3301に割り当てられた対応する音素の組に一致させ、対応する文字の組(例えば、この例においては、「try」、「tri」)を選択する。使用者は次いで文字「i」に対応しているキー3303を押して「ing」と言う。この場合、システムは使用者の話声の先頭を、キー3303に割り当てられた音素の組「in」に一致させ(例えば、音素の組「ing」は代表的なデータベースには存在しないので、そのため前記キーに割り当てられていない)、対応する文字の組「in」を選択する。使用者はそこでその単語の入力を終了し、スペース・キーを押す、又は、話さずに任意のキーを押す(例えば、話さずにキーを押すことを、句読点、PC機能等、その他といった文字に割り当てることができる。この件については、本発明者により既に提出されているPCT出願に既に説明されている)といった、末尾点(例えば、その単語の末尾)記号を入力する。システムはそこで、所望の単語の各部分/音節の先頭文字の少なくとも一部である可能性のある文字をそれぞれ備えた、異なる文字群を作成することができる。この例では、2つの文字群が作成され得る。前記文字群は、
「tri−in」
及び、
「try−in」
である。第2の文字群(例えば、「try in」)のみが、英語の辞書に存在する単語に対応するが、前記単語はその第一音節の先頭に文字「try」を備え、さらに、前記単語のもう1つの(例えば第二)音節の先頭に文字「in」を備えている。前記単語は、「trying」という単語である。
このシステムにおいては、多くの単語全体の認識に必要な音素の組/話声モデルの量は劇的に減らすことができる。他方では、前記音素の組を表す文字の組の数が増えることがあるが、必要なメモリ容量に対し甚大な影響を与えることはない。
多くの場合、前記集成された文字のうち1つのみが辞書中の1つの単語に一致することができる。前記単語は入力/出力される。複数の文字の組の集成が、辞書で使用できる複数の単語に対応した場合、前記単語は使用者に対し提示され(例えば、ディスプレイに印刷されたリストで)、 使用者はそのうち1つを、例えば「選択」キーを押すことにより選ぶことができる。
前述したように、システムは、前記単語の話声/分節話声に対応する、1つ又は複数の前記選択された文字/音素の組に従って1つ単語を選択することができる。
場合によっては、システムは1つ又は複数の前記選択された文字/音素の組を、それらがシステムにより誤って選択されたと考えて、考慮しないことがある。さらに、必要に応じて、システムは、システムによって選択された音素の組/文字の組の音素/文字の一部のみ(好ましくは、先頭部分)を考慮することがある。例えば、使用者が「demonstrating」という単語を、「de−mons−tra−ting」という四つの部分に分けて入力して、システムがある認識方法(例えば、前記文字の組を、辞書中の単語と比較)に従って誤って「des−month−tra−ting」という文字の組を選択したとすると、システムは前記文字の組の集成に対応する単語を見つけることができない。システムは次いで、第1の選択された文字の組の字「de」(例えば、先頭の字を少し)及び第2の文字の組の字「mon」(例えば、先頭の字を少し)を考慮し、さらに、第3と第4の文字の組を考慮して、意図した単語は、「demonstrating」という単語であろうと気付くことができる。さらに必要に応じて、辞書中の一致度が最も高い単語に一致させるために、システムは集成した(選択された文字の組の)文字の連鎖に文字を追加してもよいし、前記文字の連鎖から文字を削除してもよい。例えば、使用者が「sit−ting」という単語を、2つの部分に分けて入力しようとして、システムがある認識方法(例えば、前記文字/音素の組を、辞書中の単語と比較)に従って誤って「si−ting」という文字の組を選択したとすると、システムは、単語「sitting」に一致させるためには、前記文字の連鎖の中で文字「i」の後に文字「t」を追加しなければならないと決定することができる。もう1つの例では、使用者が「mee−ting」という単語を、2つの部分に分けて入力しようとして、システムがある認識方法(例えば、前記文字/音素の組を、辞書中の単語と比較)に従って誤って「meet−ting」という文字の組を選択したとすると、システムは、単語「meeting」に一致させるためには、前記文字の連鎖の中で文字「e」の後の文字「t」を削除しなければならないと決定する。
ある単語の部分の末尾(例えば、前記単語は、複数の部分/音節を有している)及び/又は前記単語の後続部分の先頭に同じ音素があれば、システムによる認識精度を高めることを可能にすることができる。
本発明の一実施例によれば、例えば、母音などの音素で終わる音素の組 (1つのキーに割り当てられている)に対し、前記音素の組と末尾に子音などの別の音素とを備えた別の音素の組が考慮され、前記キーに対し割り当てられてよい。これで認識精度を高めることができる。例えば図33を参照すると、2つの部分「co−ming」を備えた単語「coming」を入力するには、使用者はキー3302を押して「co」と言い、次いで使用者は即座にキー3308を押して「ming」と言う。分節話声の最初の部分は短か過ぎるので、音素の組「com」が、音素の組「co」が割り当てられているのと同じキー3302に割り当てられていなければ、前記キーを押して「co」と言っている間に、システムは使用者による前記部分の話声を誤認識し、「col」といった誤った音素の組(例えば、文字の組「call」が割り当てられている)を選択するということが起こり得る。他方では、音素の組「com」も前記キーに割り当てられていれば、「ming」の部分の先頭の音素「m」は、音素の組「com」の末尾の音素「m」と同じになる。この場合、システムは二つの音素の組「com−ming」及びそれらの対応する文字の組(例えば、「com/come」及び「ming」)を選択することができる。集成した文字の組を辞書中の単語と比較した後で、システムは、前記集成した文字の組の1つから、「m」を一個除去することを決定し、前記集成した文字の組を、辞書データベースの単語「coming」と一致させる。
多くの場合、非英語圏の出身者である使用者によって発音された話声の、より良い認識を可能にするため、紛らわしくほぼ同じ発音を有した音素の組(「vo」及び「tho」などの)に相応に割り当てられた文字の組を、前記音素の組全てに対して割り当てることができる。例えば、各音素の組「vo」及び「tho」に対し、同じ(例えば、共通の)文字の組「tho」、「vo」及び「vau」その他を割り当てることができ、そこで、システムによる前記文字の組の選択、及び相応に、異なる組の文字の作成の場合、前記組をシステムの辞書データベース中の単語と比較することが、前記辞書の所望の単語の選択につながり得る。
文書などのデータを小型のキーパッドで入力することはデータ入力速度をひどく減少する。単語の各部分/音節の1つのキーを、前記部分/文節を話しながら押すことに基づいた本発明のデータ入力システムは、データ入力速度を劇的に増加させる。本システムは別の利点をも有している。本システムの利点の1つは、システムは単語の認識を(高精度で)、前記単語の各部分(例えば音節)につき多分1つのキーを押すことにより行うということである。 システムの別の大きな利点は、特に単語予測データ入力システムにおいては単語全体の誤認識/非認識につながる、単語のミススペル/ミスタイプ(例えば各部分の最初の文字をタイプすることにより)をすることを使用者が気にしなくていいということである。システムのさらに別の大きな利点は、使用者が単語の一部の最初の文字に対応するキーを押す際、使用者は前記キー押し中に(前記部分を)話すということである。単語の末尾で、使用者は句読点(キーに割り当てられている)などのデフォルト記号を、話すことなく前記キーを押すことにより入力できる。前述したように、このキー押しは、単語の末尾の合図として使われることができる。例えば、使用者は単語「hi」を、キー3303を押して同時に「hi」と言って入力することができる。次いで使用者は話さずにキー3306を押すことができる。このことが、単語の入力が終了したので前記単語の最後に記号「,」を加えなければならないことを知らせる。 最終的な入力/出力は、文字の組「hi」となる。
本発明に記載されたデータ入力システムは、本発明者により提出されたPCT及び米国特許出願に記載されたデータ入力システムの偏移である。以前の出願に記載された、完全なPCのキーボード機能を提供する文字ごとのデータ入力システムと、前記PCT出願及び本出願に記載された単語/単語の一部レベルのデータ入力システムとの併用は、小型電子装置の、数を減らしたキー(例えば、キーパッド)を有したキーボードを介した迅速なデータ入力を可能にして、モバイル(及び、固定でも)の環境において完全高速で、容易で自然なデータ入力を提供する。
前述したように、本発明のデータ入力システムはPCのキーボードなどの任意のキーボードを使用できる。さらに前述のように、本発明のデータ入力システムによれば、キーボードのキー上の記号は、話さずに前記キーを押すことにより入力されてよい。本発明のデータ入力システムは、1つの記号が、1つ又は複数のキーへの所定の押し動作に割り当てられている、標準型PCのキーボードなどのキーボードで最適に機能する。図42に示すようなコンピュータのキーボードを使っている人々には知られているように、例えば、PCのキーボード4200のキー4201を押すことにより、文字「b」は入力されてよい。さらに例えば、同時にシフトキー4202とキー4203を押すことにより、記号「#」は入力されてよい。
本発明のデータ入力システムをそのようなキーボードと組み合わせることにより、一方では使用者は前記キーボードを通常通り、所望のデータに対応するキーを、前記データを話さずに押して使うことができ(これで1つの文字、句読点文字、数字、コマンド等の入力を話さずに行うことが可能になる)、他方では、前記使用者は、所望のデータ(例えば、単語/単語の一部)を、前記データを話して、(好ましくは同時に)対応するキー(群)を押すことにより入力できる。例えば、PCのキーボードなどのキーボードを使って文字「b」を入力するには、使用者はキー4201を話さずに押せばよい。「band」という単語/音節を入力するには、使用者はキー4201を押して(好ましくは 同時に)「band」と言えばよい。モード変更のための追加操作の必要なしで、これは一方では、使用者がキーボードを通常通りに動かすことを可能にし、他方では、前記使用者が、単語/単語の一部などのマクロの入力を、前記マクロを話して(好ましくは同時に)対応する1つ又は複数のキーを押して行うことにより可能にする。さらに、例えば、「bi」及び「ble」という2つの部分(例えば、2つの音節)からなる「bible」という単語を入力するには、使用者は(前述したように、本発明のデータ入力システムの原則に従って)、キー4201を押して「bi」と言えばよい。次いで使用者はキー4201を押して「bel」と言えばよい。
前述したように、以前の出願に記載された完全なPCキーボード機能を提供する文字ごとのデータ入力システムと、前記PCT出願及び本出願に記載された単語/単語の一部レベルのデータ入力システムの併用は、完全高速で、容易かつ自然なデータ入力システムを提供する。
単語の話声は、これも1文字に対応する1つ又は複数の分節話声からなっていることがある。例えば、図33を参照すると、使用者がキーパッド3300のキー3302を押して「b」と言うと、入力された前記データは、文字「b」、単語「be」及び単語「bee」に対応し得る。一実施例によれば、システムは、(例えば、この例においては、文字「b」)を、最終的に使用者に対し入力/提示される第一候補と考えて、最高優先度を文字レベルのデータに対して割り当てる。これが、使用者が入力を意図したものでなかった場合、次いで使用者は単語の残りの部分を文字ごとに入力続行するか、又は、使用者は前記単語の入力を終了するために終了キーを押して、次いで例えば、別の選択肢(例えば、この例においては「be」と「bee」)の間で行き来するために選択キーを操作して希望する方を選ぶことができる。
この方法によれば、さらに、例えば、単一文字に対応していて最終的には前記キーに割り当てられた単語/単語の一部の話声にも対応する分節話声で開始する単語/文字の連鎖を入力しながら、前記文字に最高優先度が与えられ、ひいては対応する装置のディスプレイ上に、使用者が単語の末尾の合図を入力する前であっても、印刷される。入力された前記話声/分節話声の次の部分もまだ/更に単一文字に対応する場合、この手順が繰り返される。スペース・キーなどの単語の末尾の合図が発生すれば、前記文字の連鎖は最高優先度を与えられ、ディスプレイ上に残る。次の単語の入力などの次のタスクに進むことは、使用者による前記文字の連鎖の受諾確認と見做される。入力された同じデータが、システムにより一致を見た1つ又は複数の単語にさらに対応すれば、前記単語はさらに使用者に対し使用可能になり/提示される。前記印刷された単一文字の連鎖が、使用者が入力を意図したものでなかった場合、使用者は前記単語の間で行き来するために選択キーを用い、希望するものを選ぶ。
本発明の本実施例を引き続き説明すると、単語/単語の一部の入力中に入力されたデータ(話声/話声の一部及び/又はキー押し)の1つが単一文字に対応せずに、単語の末尾の合図が入力されてしまうと、そのときは前記表示された文字は削除され、代わりに、最高優先度の単語(前記データに対応する)が使用者に対し提示される。入力された同じデータがさらに多くの単語に対応すれば、前記単語も、使用者が望めば使用者に対し提示される。この場合、使用者は、例えば、選択キーを用いて前記単語の間で行き来し、所望の単語を選ぶことができる。
標準型電話キーパッドと本発明のシステムのデータ入力を使うと、英語には、複数の音節を有していて前記音節の全話声が、対応するキー上の単一文字にも対応するような単語は存在しないことに気付くであろう。
対応するキー上の単一文字(例えば、「b、be、bee」又は「t、tea、tee」)に対応する一音節の単語はいくつかある。前述のように、それらの場合は、前記単一文字に対し最高優先度が付与されることができる。
上述の原則によれば、例えば、
−「b」を入力するには、使用者は前記字に対応するキーを押し、「b」と言う。
−「bmx」を入力するには、使用者は対応する字を発音しながら対応するキーを押す。
−「bmx95」を入力するには、使用者は対応するキーを押して対応する文字を発音する。
−単語「before」を入力するには、使用者は対応する字を発音しながら対応するキーを押す(文字ごとのデータ入力)か、又は、例えば、使用者はまず字「b」に対応するキーを押し、(好ましくは 同時に)「be」と言い、次いで使用者は字「f」に対応するキーを押して「for」と言う。最後に、使用者はスペース・キーを押すなどして単語の末尾の合図を入力する(例えば、単語/単語の一部のデータ入力システム)。
この方法の利点は、使用者は異なるモード間で切り替えなくても、本発明の文字ごとのデータ入力と本発明の単語/単語の一部のデータ入力システムを併用することができるということである。
本発明のデータ入力システムは、如何なる時でも使用者に、文字、数字、句読点文字、(PC)コマンドといった記号を備えた任意の文字の連鎖を入力することを可能にする、又は辞書データベースに入っている単語を入力することを可能にする完全なデータ入力システムである。
本発明の一実施例によれば、システムにより選択された文字の組(単語/単語の一部の話声に対応する)は、集成及び辞書データベースの単語との比較の手続きが開始する前に使用者に対し提示されることができる。例えば、単語の一部のそれぞれの入力の後で、前記入力されたデータに対応する文字の組が即座に使用者に提示されてよい。この方法の利点は、単語の一部を入力したすぐ後に、使用者は前記単語の前記部分がシステムに誤認識されているかどうかを検証できることにある。この場合使用者は前記部分を削除して、前記部分に対応する正しい文字が入力されるまで前記入力を繰り返す(又は必要ならば、前記部分を文字ごとに入力する)ことができる。入力された単語の一部に対応する文字を一つ一つ削除する代わりに、前記部分に対応する文字全体を削除できる1つのキーを配設してもよい。本発明の一実施例によれば、同じ1つのキーを、単語全体及び/又は単語の一部を削除するために用いてよい。例えば、前記キーの一度押しが、入力された単語の一部削除する結果になる(例えば、 システム/使用者によって前記部分の直後に配置されたカーソルは、前記部分が削除されるはずであることを示す)。明らかに、同じ押し動作をさらに続けるたびに、前記カーソル前の単語の一部をさらに続けて削除することになる。さらに例えば、前記キーの二度押しは、前記単語に関して入力された全ての部分を削除する結果になる(例えば、カーソルが削除対象部分の直後に配置されることで、システムに対し、前記カーソルの前に配置されている単語の全ての部分が削除されなければならないことを知らせることができる)。
使用者が、単語全体と単一文字とを備えた「systemXB5」などの文字の連鎖を入力したい場合が発生し得る。
一実施例では、前記文字の連鎖の一部分に対応するデータの各入力の後に、又は前記文字の連鎖全体の入力の最後に、システムは、前記単語の各部分に対応する、選択された文字の組に対応する単語が辞書にはないことを認識することがある。他方では、システムは、連続した選択された文字の組のいくつかを集成したものが辞書データベース内の単語に対応するが、他は単一文字に対応することを認識することがある。この場合、システムは、前記文字と単語からなる出力を単一の文字の連鎖として形成する。上記の例では、「systemXB5」という単語は、「sys−tem−x−b−5」という5つの部分に分けて入力されてよい。
例えば図33に示すような電話キーパッドを用いて、キー押しと各部分の話声に対応して選択された文字の組は以下のようになる。
部分 sys tem x b 5
文字の組 sis/sys tem/theme x b/be/bee 5
前記文字の組を集成して辞書中の単語と比較した後で、システムは、前記選択された文字の組の集成に一致する単語がデータベース内に存在しないことを認識することがある。それでシステムは、一方では単一文字に対応する部分がいくらかはあり、他方では単一の文字の組又は連続した別の文字の組の組み合わせが前記データベース内の単語に対応することを認識する。システムは前記組み合わせを入力/出力する。この例においては、システムは第1と第2の文字の組「sys」と「tem」の集成が「system」という単語に一致することを認識する。第3と第5の文字の組はそれぞれ文字「x」と「5」に対応する。第4の部分は、字「b」又は単語「be」及び「bee」に対応し得る。
システムは以下の選択肢を、優先度に従って使用者に対し提示する。
「systemxb5」
「systemxbe5」
「systemxbee5」
単一文字及び単語全体からなる文字の連鎖の認識手順を容易化するには、使用者は前記連鎖内の前記単語/文字の先頭/末尾を、所定のキーを押すなどの所定の合図により合図することができることが理解されよう。
本発明の一実施例によれば、入力のために複数の部分に分割される単語は、可能な場合は前記部分の話声が母音で始まるような形式に分割されることが好ましい。例えば、単語「mercandize」は「merch−and−ize」という部分に分割されてよい。さらに例えば、単語「manipulate」は、「man−ip−ul−ate」に分割されてよい。
さらに、良い結果を期すために、単語の一部の話声に対応する音素の組に対応する選択された文字の組は、前記文字の組が辞書データベース中の単語と比較される際に、対応する音素の組を考慮する。例えば英語では、「ar」という音素の組に対応する文字の組は、「air」、「ar」及び「are」などの文字の組である。音素の組の「ar」に対応する文字の組は、「are」及び「ar」とすることができる。この例では、両方の音素の組は類似した文字の組「are」及び「ar」を有している。入力の誤認識の場合は、システムは(例えば、逆)一義化又は訂正手順を試みる。どの音素の組に文字の組が関連するかを知っていることは、システムが前記手順を進める助けとなろう。例えば、使用者が「ar」という単語を入力するつもりであって、システムは誤って前記話声を「ab」(例えば、この例においては意味をなさない)と認識する。前記誤って認識された音素の組向けの前記関連した文字の組は、「abe」、「ab」といった文字の組であろう。前記音素の組を考慮して、システムは、「an」、「am」(例えば、音素「a」に関連している)といった単語よりは、「aim」、「ail」、「air」など(例えば、音素「a」に関連している)といった単語に向けられる。
前述したように、1つの単語の複数の音節を表している音素の組もまた考慮されて1つのキーに割り当てられ、本発明の実施例により入力される(例えば、2つの音節を持つ単語の一部分に対応する音素の組は、それを話して前記一部分の最初の文字に対応するキーを押すことによって入力されてよい)。さらに前述したように、ある単語の全体を、それを話して同時に前記単語の最初の音素/文字に対応するキーを押すことにより入力してもよい。単語の連鎖をも、1つのキーに割り当てて既に述べたように入力することができる。システムが、複数の分節話声(例えば音節)を有した単語の音素の組(例えば分節話声)を認識しないということが起こり得る。この場合、前記単語の二つ以上の連続した分節話声(例えば、音節)を、1つのキーに割り当てることができる。図33を参照すると、例えば、「da−ta」という単語(例えば、システムが例えば音素の組「ta」を誤認識する)を、キー3309に割り当てることができる。前記単語を入力するには、使用者はキー3309を押して「data」と言う。
本発明の釦押し話声データ入力システムは、単語の入力を可能にするので、単語の末尾手続きはシステム又は使用者によりそれぞれ自動でまたは手動で管理される。
前述のように、入力される異なる種類の単語があり、それらは以下である。
−一度の分節話声/話声(例えば、1つの音節を有した単語)により1つの部分で、対応するキー押しとの併用で入力される単語
−複数の部分に分かれており(例えば、複数の音節を有した単語、又は、1つの音節を有しているが、複数の連続した子音又は母音を備えている単語)、各部分に関して対応するキー押しとの併用で、各部分に対応する分節話声/話声により、入力される単語
本発明の一実施例によれば、言語上の単語のデータベース内に存在している単語に対応している単語全体が入力されて、使用者が「単語の末尾」キーを押すなどの単語の末尾の合図を入力すると、そこで前記単語は、入力された前記データの結果として、入力/出力される対象として考慮される。所定のシステム設計/モードに従って、システムは前記結果の最後にスペース文字などの文字を追加するかしないかを考慮する。システム又は使用者が、前記単語の後にスペース文字や入力機能などの記号を入力しない場合、次に入力された単語/文字が前記単語の最後に付けられることができる。

「FOR」の後に「単語の末尾」キーが続く(スペースなしで)と、「FOR」となる
本発明の別の実施例によれば、言語上の単語のデータベース内に存在している単語に対応している単語全体が入力されて、使用者が、前記単語の最後に、少なくとも1つのスペース文字、少なくとも1つの句読点、又は少なくとも1つの「入力」機能といった追加記号を入力すると、次いで前記単語及び前記記号が入力される。

「FOR」の後に「 」が続くと、「FOR」となる
「FOR」の後に「,」が続くと、「FOR,」となる
「FOR」の後に「.」が続くと、「FOR.」となる
本発明の一実施例によれば、使用者が、言語上の単語辞書データベース内に存在している単語に対応している単語を入力して、次に前記使用者が、こちらも辞書に存在している単語に対応している次の単語を(前記2つの連続する単語の間にスペース文字などの単語の末尾の合図を入力せずに)入力したが、前記2つの単語の集成が単語辞書データベース内の単語に対応しない場合、システムは前記2つの単語の間に自動的にスペースを入れる。
例:「FOR」の後に「SOME」が続くと、「FOR SOME」となる
本発明の一実施例によれば、使用者が、言語上の単語辞書データベース内に存在している単語に対応している単語を入力して、次に前記使用者が、こちらも辞書に存在している単語に対応している次の単語を(前記二つの連続した単語の間にスペース文字などの単語の末尾の合図を入力せずに)入力し、前記2つの単語の集成も単語辞書データベース内の単語に対応すれば、そこでシステムは2つの選択肢を使用者に提示することができる。第1の選択肢は、前記2つの単語の集成(それらの間にスペース文字なし)であり、第2の選択肢は、前記2つの単語がその間に1つ(または複数の)スペース文字を備えたものである。事前定義されたシステム設計、前記単語の集成後の意味及び単独での意味、語句の概念、などの因子に従って、システムは前記選択肢の1つに対し最高優先度を与え、使用者の確認を仰ぐために、対応する装置のディスプレイ上にそれを印刷してもよい。すると使用者は、どれを選ぶかを決定する。例えば、次の単語/文字の入力に進むということは、使用者に対し、第1の選択が確認されたことを知らせる。
例1
「FOR」の後に「GIVE」が続くと、第1の選択肢「FORGIVE」となる
「FOR」の後に「GIVE」が続くと、第2の選択肢「FOR GIVE」となる
例2
「WORK」の後に「MAN」が続くと、「WORKMAN」となる
「WORK」の後に「MAN」が続くと、「WORK MAN」ともなる
上述の手順は、こちらも同じ原則に対応している次の単語などの単語に適応し得る。

「WORKMAN」の後に「SHIP」が続くと、「WORKMANSHIP」となる
「WORKMAN」の後に「SHIP」が続くと、「WORKMAN SHIP」ともなる
本発明の一実施例によれば、言語上の単語のデータベース内に存在している単語に対応している最初の単語が入力されて、使用者が、前記第1の単語の末尾に次の単語/単語の一部を(それらの間にスペース文字を入れずに)入力した場合で、前記次の単語/単語の一部は辞書に存在している単語に対応しないが、前記次の単語/単語の一部と前記最初の単語を集成したものは辞書中の単語に対応するならば、システムは前記最初の単語と前記次の単語/単語の一部を自動的に付けて、1つの単一単語を作る。
例:
「FOR」の後に「CING」が続くと、「FORCING」となる
「FORGIVE」の後に「NESS」が続くと、「FORGIVENESS」となる
本発明の一実施例によれば、最初の入力された単語/単語の一部が、言語上の単語のデータベース内に存在せず、使用者が次の単語/単語の一部を入力すると、システムは前記最初の部分と次の部分を集成し、前記集成を辞書中の単語と比較する。前記集成が前記辞書中の単語に対応すれば、システムは前記単語を選択し、最終的にそれを、確認のため使用者に対し提示する。

「SYS」の後に「TEM」が続くと、「SYSTEM」となる
より良い結果を期すため、さらに、紛らわしさを低減するために、自動的な単語の末尾手続きが、使用者の介入と併用されてもよいことが理解されよう。例えば、ある部分の末尾で事前定義されたキーを押すことは、システムに対し、前記部分はそれに先行した少なくとも1つの部分と集成されなければならないことを知らせる。 そのように定義されている場合、システムはさらに前記集成した単語の末尾にスペース文字を配置してもよい。
例1:使用者の介入がない場合、以下の状況が発生する。
「FOR」の後に「GIVE」が続くと、第1の選択肢「FORGIVE」となる
「FOR」の後に「GIVE」が続くと、第2の選択肢「FOR GIVE」ともなる
例2:使用者の介入がある場合、以下の状況が発生する
「FOR」の後に「GIVE」が続き「」が続くと、1つの選択肢「FORGIVE 」となる
システムを手動/半自動/自動的単語の末尾モード/手順にすることは任意である。使用者は、モード釦などの手段を使って、システムに対し前記手順に入ること及びそれを終了することを知らせることができる。これは、多くの場合、使用者は単語の末尾の事項は手動で処理することを好むと思われるからである。
前の実施例で述べたように、使用者は、文字の連鎖の中の1つ又は複数の単語を任意に入力したいと望むことがある。この事項については、本発明の前の実施例のうちの1つで既に説明した。
例:「91SYSTEMep7」
本発明の一実施例によれば、システムは使用者に対し、現在入力されている単語/単語の一部を、その入力(例えば、話声及び対応するキー押し)の後(例えば直後)及び「単語の末尾」の合図が入力される前に提示することができる。システムは前記部分を辞書中の単語と一致させ、前記部分を前の単語/単語の一部、現在の語句の文脈などと関連付けて、使用者に対しどの出力を提示するかを決定する。システムは前記部分をそのままの状態で使用者に対し提示してもよい。この手順は、使用者が単語を、間にスペースを入れずに入力することも可能にする。例えば、使用者に対して提示された選択結果(例えば、単語)が使用者によって選択された後で、使用者は、前記最初の単語と前記次の単語/単語の一部の間にスペース文字を加えずに、次の単語/単語の一部の入力に進んでよい。システムが前記2つの単語を付ける。
例:「PRESS」の後に「SPEAK」が続くと「PRESSSPEAK」となる。
辞書の標準の単語に加えて、システムの単語のデータベースは、略語、特殊文字を備えた単語(「it’s」)、使用者が作った単語などをも備えていてよい。
図33を参照すると、例えば、使用者がキー3303を押して「its」と言うと、システムは、前記キー及び前記話声(の一部)に割り当てられた単語である「its」及び「it’s」を選択することができる。システムは前記単語のうち1つを(例えば、語句の概念、前の単語などに従って)最終選択肢として自ら選択するか、又は、前記選択された単語を、最終選択のため使用者に対し提示する。この場合システムは例えば、対応する装置のディスプレイに最高優先度を持つ単語(例えば、its)を印刷してもよい。 それが使用者の入力したかったものであれば、そこで使用者は、事前定義されたキーを押すことや、次のデータ(例えば、文書)入力へ進むといった事前定義された確認手段を用いてよい。次のデータ(例えば、文書)入力へ進むことは、システムにより現在提案されている単語の受諾の確認と見做されることができる。前記印刷された/提案された単語が、使用者が入力を意図したものでなかった場合、そこで使用者は別の選択された単語(例えば、「it’s」)を、システム内に設けられた選択手段により選択してもよい。別の実施例によれば、2つの単語が類似した発音である場合、前記単語のうち1つ(例えば、上記の例での単語「its」)を表している音素の組を、キーとの第1の種類の相互作用(例えば、一度押し)に対し割り当てることができ、さらに、別の単語を表している同様な音素の組(例えば、単語「it’s」)を、前記キーとの第2の種類の相互作用(例えば、二度押し)に対し割り当てることができる。
前述したように、記号(例えば、話声/音素の組/文字の組など)を、話す/話さないと併用した、1つのキーの例えば二度押しなどのモード/動作に対して割り当てることができる。本発明の一実施例によれば、あいまいな単語/単語の一部を、モード/動作に対して割り当てることができる。例えば、単語「tom」と「tone」(同一のキー3301に割り当てられている)は、それらが使用者により発音される際、紛らわしさを引き起こすことがある。それらを一義化するための1つの解決策は、それらのそれぞれを、前記キーとの異なるモード/動作に対して割り当てることであろう。例えば、例示の文字の組「tom」を入力するには、使用者はキー3301を一度押し(例えば、一回押す)して、「tom」と言う(例えば、音素の組「tom」は前記キーとの前記モードの相互作用に対して割り当てられている)。さらに、例示の文字の組「tone」を入力するには、使用者はキー3301を二度押して、「ton」と言う(例えば、音素の組「ton」は前記モードの前記キーとの相互作用に対して割り当てられている)。
さらに例えば、母音で終わる第1の音素の組(例えば、単語の話声の少なくとも一部に対応する)は、その先頭に前記第1の音素の組を備えていて別の音素も含む第2の音素の組とまぎらわしくなり得る。前記第1の音素の組と前記第2の音素の組を、2つの異なるモードでのキーとの相互作用に対して割り当てることができる。このことは、騒がしい環境での音声/話声認識精度を顕著に増加させる。例えば、「mo」という文字の組に対応する音素の組は、「mall」という文字の組に対応する音素の組との間で、それらが使用者により発音されたとき紛らわしさを引き起こすことがある。より明確にするために、それらそれぞれを異なるモードに対して割り当てることができる。例えば、文字の連鎖「mo」)の音素の組を、対応するキーの一度押しに割り当てることができ、文字の連鎖「mall」の音素の組を、前記対応するキーの二度押しに割り当てることができる。
本発明の別の実施例によれば、紛らわしさを引き起こす記号(例えば、音素の組)を、異なるキーを押すことなどの異なる対応するモード/動作に対して割り当てることができる。それは明らかに便利ではないものの、上述の例では、第1の音素の組(例えば、「mo」は例えばキー3308などの第1のキーに割り当てられ、第2の音素の組(例えば、「mall」)は、別のキーに割り当てられてよい。
さらに、本発明の一実施例によれば、前記第1の音素の組の先頭の音素を表している少なくとも1つの文字により表される第1の音素の組を、第1の動作/モードに対して割り当て(例えば、対応するキーで)、前記第2の音素の組の先頭の音素を表している少なくとも1つの文字により表される第2の音素の組を、第2の動作/モードに対して割り当てる(例えば、対応するキーで)、等にしてもよい。例えば、代表文字「s」で始まる音素の組を、キー3301の一度押しに割り当て、「sh」などの代表文字で始まる音素の組を、同じキー3301又は別のキーの二度押しに割り当てることができる。
本発明の一実施例によれば、単一文字(例えば、「a」から「z」まで)を、第1のモード/動作(例えば対応するキーとの)に割り当てることができ、単語/単語の一部を、第2のモード/動作に割り当てることができる。例えば、単一文字を、対応するキーの一度押し(例えば、使用者による前記文字の話声と組み合わせて)に割り当てることができ、単語/単語の一部を、対応するキーの二度押し(例えば、使用者による前記単語/単語の一部の話声と併用して)に割り当てることができる。この例によれば、使用者は文字ごとのデータ入力と単語/単語の一部のデータ入力を併用することができる。この目的のため、一方では前記使用者は、前記文字を話しながら入力対象文字に対応するキーを一度押すことにより文字ごとのデータ入力をなし、他方では、前記単語/単語の一部を話しながら入力対象の単語/単語の一部に対応するキーを二度押すことにより単語/単語の一部のデータ入力をなすことができる。
本発明の一実施例によれば、釦押しなどの手段を、上述の目的のために配設してもよい。例えば、モード釦を押すことによってシステムは文字ごとのデータ入力システムに入ることができ、同一の釦を再度押すことによって、又は、別の釦を押すことによって、システムは単語/単語の一部のデータ入力システムに入ることができる。この実施例において、対応するモードでは、使用者例えば、文字又は単語/単語の一部を、対応するキーを一度押して、対応するキャラクター(例えば、字)又は単語/単語の一部を話すことにより入力することができる。
さらに、類似した発音を有した単語/単語の一部(明らかに、それらの対応する音素の組をも)、例えば、一般的な優先度又は現在の語句の文脈による優先度に従って、異なるモードに対して割り当てることができる。この場合、例えば、第1の単語/単語の一部を、対応するキーの一度押しなどのモードに対して割り当て、第2の単語/単語の一部を、二度押しなどのモードに対して割り当てる、等ができる。例えば単語「by」と「buy」は類似した発音を有している。使用者は、「by」という単語を、文字「b」に割り当てられたキーを一度押して「bi」と言うことにより入力することができる。前記使用者は「buy」という単語" (例えば、一般には優先度が低い)を、文字「b」に対応するキーを二度押して「bi」と言うことにより入力することができる。さらに例えば、「bi」という音節/文字の組(こちらも「bi」と発音される)を、キーの3度打ちなどの第3のモード、その他に割り当てることができる。少なくとも前記単語/単語の一部の1つを、別のキーとの相互作用のモード(そして明らかに前記単語/単語の一部の話声と組み合わせて)に割り当てることができることが理解されよう。
前述したように、ある単語の少なくとも一部の話声に関連している、選択された文字の組の別々の集成は、辞書データベース内の複数の単語に対応することがある。さらに前述したように、それらの一致した単語の中から意図する単語を選択するために、「選択キー」などの選択手段が用いられてよい。より高い優先度(複数の選択された単語がある場合に)は、単語に対し、それが属している語句の文脈に従って割り当てることができる。また、より高い優先度(複数の選択された単語がある場合に)は、単語に対し、単語の一部/単語の前及び/又は後のうち少なくとも一方の文脈に従って割り当てることができる。
本発明の一実施例によれば、前記単語/単語の一部のそれぞれを、本発明のデータ入力システムの異なるモード(例えば、相互作用)に対して割り当てることができる。例えば、使用者が字「b」に対応するキーを押して「be」と言えば、「be」と「bee」という2つの単語がシステムにより選び出される。例えば「選択」キーの使用を避けるために、この実施例によれば、例えば、第1の単語「be」を、一度押しモードなどのモードに対して割り当てることができ、第2の単語「bee」を、二度押しモードなどの別のモードに対して割り当てることができる。この実施例によれば、上の例において、使用者は文字「b」に対応するキーを一度押して「be」と言うことにより単語「be」を出すことができる。使用者はさらに、同一キーを二度押して「be」と言うことにより単語「bee」を出すことができる。
本発明の一実施例によれば、スペース空けの事項のいくつかも、一度押しモードや二度押しモードといった(例えば、キーとの相互作用の)モードに対して割り当てられることができる。例えば、自動スペース空け手順では、(例えば単語/単語の一部を)付ける/外す機能を、一度押し又は二度押しモードに対して割り当てることができる。この実施例によれば、 例えば、二度押しモードに対して割り当てられた入力対象単語/単語の一部は、前記既に入力された単語/一部の前及び/又は後に付けられてもよい。例えば、使用者が単語「for」などの単語を、一度押しにより(例えば、その単語を話しながら)入力すると、スペース文字が前記単語の前(又は後に、あるいは、前と後の両方に)に自動的に設けられる。同じ単語が二度押しにより(例えば、その単語を話しながら)入力されると、前記単語は前の単語/単語の一部、又はその後に入力される単語/単語の一部に付けられる。
上の例では、さらに例えば、単語/単語の一部の入力後の二度押しも、同じ結果を生むことができる。
本発明の一実施例によれば、対応する音素の組に割り当てられた単語/単語の一部のうちいくつかは、自動スペース空けの目的で、その末尾に少なくとも1つのスペース文字を含むことがある。この場合、前記スペースが必要でない場合、それはシステムにより自動的に削除される。単語の末尾に入力される句読点などの文字は、前記スペースの前に(例えば、システムにより)配置される。例えば、
「word」の後に「,」が続くと「word,」となる。
本発明の別の実施例によれば、対応する音素の組に割り当てられた単語/単語の一部のうちいくつかは、自動スペース空けの目的で、その先頭に少なくとも1つのスペース文字を含むことがある。この場合、前記スペースが必要でない(例えば、行の最初の単語には)場合、それはシステムにより自動的に削除される。そのスペース文字は該単語の先頭に位置しているため、単一文字又は句読点などの文字は、通常通り、単語の最後に入力される(それに付けられる)。
本発明の一実施例によれば、自動スペース空け手順を含んだデータ入力中に、現在の部分/単語を前の/次の部分/単語に付ける、事前定義されたキー押しなどの動作を配設してもよい。例えば、スペースが2つの(例えば、現在及び次の)単語/一部の間に自動的に入れられた場合、キー押しなどの事前定義された動作が前記スペースを除去し、前記2つの単語/部分を付ける。

「for」+「give」+事前定義されたキー押し は、「forgive」となる
本発明の別の実施例によれば、母音で終わる単語/音節/単語の一部で、前記母音の発音が長めに続くと、本発明の話声認識によるより良い一義化手順をもたらすことができる。例えば、より長大な時間をかけて発音すると、「vo」と言うときの母音「o」は、入力されようとしている単語/単語の一部は、「vo」であって、例えば「vol」という単語/単語の一部ではないことをシステムに対して知らせる。
本発明の一実施例によれば、事前定義されたキー押しなどの事前定義された手段を使うことにより、入力されるデータは大文字になる。例えば、「Caps Lock」キーを押すことにより、それ以降に入力される文字/単語/単語の一部は、大文字で入力/出力される。前記「Caps Lock」キーをもう一度押す動作で、システムを小文字モードに戻すように切り替える。前記機能(例えば「Caps Lock」)を、話声モードに割り当ててもよいことが理解されよう。例えば、大文字化手順を開始させるために、使用者は「Caps Lock」記号に対応するキーを押して、前記記号に割り当てられた対応する話声を発音する(「caps」、「lock」又は「caps lock」などと)。
本発明の一実施例によれば、小文字の文字/単語/後の一部を、対応するキーの一度押しなどの第1のモード (例えば、前記文字/単語/単語の一部の話声あり/話声なしと併用して)に割り当ててよく、大文字の文字/単語/単語の一部を、対応するキーの二度押しなどの第2のモード (例えば、前記文字/単語/単語の一部の話声あり/話声なしと併用して)に割り当ててよい。例えば、「thought」という単語(例えば、文字の組)を出すには、使用者はキー3301を一度押して「thought」と言えばよい。「THOUGHT」という単語(例えば、文字の組)を作成するには、前記使用者はキー3301を二度押して「thought」と言えばよい。このことが、入力を局所的に大文字化することを可能にする。
さらに、同様の原則に基づき、最初の文字が大文字で残りの部分は小文字である単語/単語の一部を、一度押しモード、二度押しモードなどのモードに対して割り当てることができる。
本発明の一実施例によれば、文字ごとのデータ入力に関する以前の出願に記載したように、文字/単語/単語の一部を、二つのキーを同時に押すなどの複数の単一動作に対して割り当てることができる。例えば、「th」で始まる単語/単語の一部を、「t」と「h」に対してそれぞれ割り当てられている2つの異なるキーを同時に押し、(最終的に)前記単語/単語の一部を話すことに対して割り当てることができる。同じ原則を、「ch」、「sh」又は、アルファベット(例えば、「a」、「b」)の中の任意の他の文字で始まる単語/単語の一部に対して割り当てることができる。
本発明の一実施例によれば、1つの文字で表される音素で始まる単語/単語の一部を、対応するキーの一度押しなどの第1のモードに対して割り当てることができ、複数の文字で表される音素で始まる単語/単語の一部を、対応するキー(それは異なるキーであってよい)の二度押しなどの第2のモードに対して割り当てることができる。例えば、「t」で始まる単語/単語の一部を、(例えば、前記単語の話声と併用して)対応するキーの一度押しに対して割り当てることができ、「th」で始まる単語/単語の一部を、(例えば、前記単語の話声と併用して)前記対応するキーの二度押し、又は、別のキーに対して割り当てることができる。
前述したように、本発明の異なる実施例によって、異なるカテゴリーにおいては、異なる1つ又は複数の言語内の単語辞書、音節/単語の一部(文字の組)の辞書、(例えば、音節/単語の一部の)話声モデルの辞書といった異なる辞書が使われてよい。必要ならば、各分野又は全分野からの2つ以上の辞書を統合してもよい。例えば、単語辞書と、単語の一部の辞書とを統合してもよい。
前述のように、本発明のデータ入力システムは任意のキーボードを使用でき、さらに、マルチタップ・システム、単語予測システム、仮想キーボードといった多くのデータ入力システムで機能する。例えば、一方では使用者は前記別のシステムを用いて、対応するキーボードのキーを押して文書(例えば、文字、単語)を、(例えば、前記システムでは通例であるように)話さずに入力でき、他方では、前記使用者は文書(例えば、文字、単語/単語の一部)などのデータを、対応するキーを押して前記データ(例えば、文字、単語/単語の一部、また、そのように指定される場合、句読点などの別の文字)を話すことにより入力できる。
前述したように、本発明のデータ入力システムは、文字、単語/単語の一部、語句などの話される記号を認識する任意の発声/話声認識システム及び方法を用いてよい。本システムは、異なるモードのキー押し、指認識、指紋認識、指動作認識(例えばカメラを用いて)などの使用者の行動認識システムと併用した、読唇、目の読み取りなどの別の認識システムを用いてもよい。これらの認識システムと使用者の行動については本発明者により提出された以前の特許出願に説明されている。前記以前の出願(例えば、記号ごとのデータ入力に関する)の全ての特徴は、本発明のマクロ(例えば、単語/単語の一部ごと)データ入力システムにも適用できる。
本発明の別の実施例によれば、(文字ごとの入力レベルに関する以前の出願に記載したように)、本システムは、文書を入力するために、使用者が対応するキーを押さずに単語/単語の一部を話せるような設計になっていてもよい。他方では、前記使用者は、話声(例えば、文字、単語の一部、単語、語句など)の終了/開始、句読点、機能その他をシステムに対して知らせるためにキーを押してもよい。
本発明のデータ入力システムは、一単語を超える配列などのマクロの入力、又は、語句入力システムの入力にまで適用できる。例えば、使用者は2つの単語を(例えば、同時に)に話して、前記2つの単語のうちの最初の単語の最初の字に対応するキーを押してもよい。
本出願及び以前の出願の多くの段落において、データ入力の目的のため、使用者の音声/話声と併用したキー押しが例として挙げられてきたが、本発明のデータ入力システムは別のデータ入力手段 (例えば、文字、単語/単語の一部などを割り当てることができる、使用者の指などの物体)に適用されてもよく、使用者の別の挙動及び対応する認識システムを用いてもよい。例えば(本発明者により提出された以前の特許出願に既に記載されているように)、キーボードのキーへの押し動作を分析する代わりに(又はそれと併用して)、 システムは(例えばカメラを使って)、空間における使用者の指の動きを認識してもよい。例えば、使用者は、自分の右手の親指(そこに例えば、文字「m、n、o」が割り当てられている)でテーブルをかるく打って、「milk」と言うことができる(例えば、「milk」という単語は事前定義で右手の親指に割り当てられている)。この例においては, 前記使用者の話声と併用した前記使用者の指の動きが、「milk」という単語を入力するために用いられる。
同じ原則に従った別の例では、前記別のデータ入力手段は使用者の、文字などの手書きの記号(例えば、落書き)であってよく、前記挙動は使用者の話声であってよい。例えば、手書き文字認識システムを用いたペンに基づく装置(PDA,ペン入力など)を使用することによって、使用者は文字などの記号を書き、前記文字を話して、認識システムの精度を増すことができる。別の例では、前記使用者は、単語/単語の一部の話声の少なくとも最初の音素に対応する少なくとも1つの文字を書いて、前記単語/単語の一部を話す。前記使用者が前記文字を書くと、装置の手書き文字認識システムは前記文字を認識し、前記少なくとも1つの文字(又は記号)に割り当てられた単語/単語の一部及び/又は音素の組にそれを関連付ける。システムが使用者の声を聞くと、システムはそれを、前記音素の組の少なくとも1つに一致させようとする。前記音素の組の中に、前記話声に一致する1つの音素の組があれば、システムは、前記音素の組に対応している文字の組を選択する。それ以降の手順(例えば、最終単語を見つける手順)は、本出願中の異なる実施例及び本発明者により以前に提出された諸出願に記載されたものと同様である。
一実施例によれば、本出願及び本発明者により提出された以前の諸出願に記載された本発明のデータ入力システムは以下のように要約される。
少なくとも1つの言語の、少なくとも英数文字、及び/又は単語、及び/又は単語の一部、句読点, 機能などを表している事前定義された個数の記号を、一般にキーなどの事前定義された個数の物体に割り当てることができ、前記記号は文書などのデータの入力システムに用いられ、データ入力システムにおいて記号は、前記記号に対応している少なくとも1つの追加情報の存在下で、対応する物体との事前定義された相互作用を提供することにより入力されてよく、前記追加情報は、一般に前記物体との相互作用なしで提供され、前記追加情報は、通常は前記記号に対応する話声の存在であるか、又は最終的には前記話声が存在しないことであり、前記物体は、使用者の指、使用者の目、キーボードのキーなどの物体であってもよく、前記使用者の挙動は、使用者の話声、使用者の指の動きの方向(不動も含む)、使用者の指紋、使用者の唇又は目の動きなどであってよい。
少しの文字を入力するために多数回のキー押しが用いられる他の諸データ入力システムとは対照的に、本発明のデータ入力システムは、多くの文字の入力を提供するために少数回のキー押しを用いる。
(キーパッドへの記号の配置方法)
記号の配置の異なる方法は、本発明者により提出された以前の諸特許で提案されている。図43は、キーパッドのキー4300への記号の割り当て方法を示す。
従前のように、文字a〜z及び数字0〜9は電話型キーパッド上の標準位置に配置されており、対応するキーを、それらを話しながら押すことによって入力される。
こちらも従前のように、多くの句読点文字及び機能が前記キーパッドのキーに割り当てられており、対応するキーをそれらを話さずに押す(又は二度押す)ことにより入力される。
この配置では、使用者により必然的に話される、「+」記号4301などの句読点のうちいくつかが、いくつかのキーに割り当てられており、該対応するキーを押してそれを話すことにより入力されることができる。
またこの配列では、文脈によって意味が異なることがあり、文脈によって発音されるか、又はデータの文脈によっては発音されない「−」記号4302などの記号のうちいくつかは、2つの位置で1つのキーに配置される。それらは、入力時に話すことが必要な記号と一旦グループ化され、さらに、入力時に話されない記号ともグループ化される。話声が必要な記号に対しては、1つまたは複数の話声を、データの文脈に従って割り当てることができる。例えば、キー4303に割り当てられた「−」記号4302は異なる諸方法で入力されることができる。
−使用者はキー4303を押して「minus」と言えばよい
−使用者はキー4303を押して「dash」と言えばよい
−使用者は話さずにキー4303を押せばよい
(キーパッドのキー上の紛らわしい記号の交換)
前述したように、キーパッド/キーボードの同じキーに割り当てられた文字などの或る種の記号は実質的に同じ発音であることがある。このことは、本発明の発声/話声認識システムに紛らわしさをもたらすことがある。図43aは、標準的な電話型キーパッド4300を示す。キー4301に割り当てられた2つの文字「d」と「e」は、前記キーが押されて前記文字のうち1つが発音されたときに、本発明の発声/話声認識システムに紛らわしさをもたらすことがある。隣のキー4302に割り当てられた2つの文字「m」と「n」も、どちらかが発音されたときに、双方の間で紛らわしさをもたらすことがある。他方では、文字「e」又は「d」は、文字「m」又は「n」とは容易に区別されることができる。各対の文字のうち1つの割り当てを、別の対の対応するキーと交換することにより、前記4つの文字の認識上の課題(例えば本発明の釦押し話声データ入力システムを用いた)を解決することができる。このことは、キーパッドのアルファベット順の配置を微修正することになるが、データ入力精度を劇的に増す。図43bは、前記修正後のキーパッド4310を示す。
(自動スペース空け方法)
前述したように、単語/単語の一部を付ける/外す自動スペース空け手順を、一度押しモード又は二度押しモードなどのモードに対して割り当てることができる。既に述べたように、使用者は、少なくとも単語の一部などの記号の入力を(例えばその終わりにスペース文字を設けずに)、前記記号(本発明の文字ごとのデータ入力システムにおいては、前記先頭文字は一般に前記記号である)の先頭文字/音素に対応しているキー(例えば前記記号が割り当てられている)を押しながら前記記号を話すことにより行う。前記手順によれば、さらに例えば、使用者は少なくとも単語の一部(例えば、その末尾のスペース文字を含む)などの記号を、前記記号の先頭文字/音素に対応している前記キーを二度押しながら前記記号を話すことによって入力する。単語を入力するのに多回数のキー押しを必要とするデータ入力システムにおいては、自動スペース空けは特に有利であろう。
上述の原則に従って、例えば、本発明の文字ごとのデータ入力システムでは、ある文字は、前記文字を話して/話さずに、例えば、 対応するキーを一度押ししながら入力されて先行文字に付けられてよい。二度押し動作を含む同じ動作により、前記文字を入力し、それを前記先行文字に付けてもよいが、スペース文字を現在の文字の後に付けてもよい。入力される次の文字は前記スペース文字の後に配置される(例えば、前記スペース文字に付けられる)。例えば、「see you」という単語を入力するには、使用者は先ず「s」と「e」を、それらに対応するキーを一度押してそれらを言いながら入力する。次いで使用者は対応するキーを二度押ししながら「e」と言う。使用者は次いで対応するキーを一度押ししながら「y」及び「o」と言って入力する。次いで使用者は、対応するキーを二度押ししながら「u」と言う。
本発明の別の実施例によれば、前記現在の文字の後に前記スペース文字を配する代わりに、システムは前記現在の文字の前に前記スペース文字を配してもよい。
スペース文字の代わりに、前記文字の後又は前に、任意の別の記号(又は記号群)が考慮されてよいことが理解されよう。もちろん、文字というものは単語の一部であることを考慮して、前述したように、同じ手順を、本発明の単語の一部/単語レベルのデータ入力システムに適用してもよい。さらに例えば、使用者は「prepare it」という単語を、まず部分「pre」を例えば文字「p」に対応するキーを一度押ししながらそれを言うことによって入力してよい。次いで使用者は、文字「p」に対応するキーを二度押しながら「pare」と言うことによって、「pare」(例えば、その末尾のスペースを含めて)入力してよい。使用者は次いで、文字「i」に対応するキーを二度押ししながらそれを言うことによって、単語「it」(さらに、その末尾のスペースを含めて)入力してよい。
(キーの数を減らしたキーパッド上のQWERTY配列)
本発明の一実施例によれば、キーパッド上の文字の配置及び/又は割り当ては、QWERTYキーボード上の文字配置によるものである。このことは、データ入力に電話型キーパッドを用いない多くの人々を、彼らが標準的な電話型キーパッド上のアルファベット順文字配置に不慣れであるという単純な理由により引き付けるであろう。本発明の一実施例によれば、本発明のデータ入力システムと併用してそのようなキーパッドを用いると、本発明の発声/話声認識システムによる認識精度をさらに高めることができる。
図44aは一例として、アルファベット文字がQWERTYキーボード上の前記文字の配置に従ってそのキーに配置/割り当てられている、電話型キーパッド 4400を示す。 そこに示すように、QWERTYキーボードの文字キーの上段にある文字は、前記キーパッド4400の下段4404のキー4401〜4403に、前記QWERTYキーボード上の前記文字と同じ順(互いに対して)で分配されている。QWERTYキーボードの中段の文字列に位置している文字は、前記キーパッド4400の第2の列4405のキー上に、前記文字がQWERTYキーボード上に配置されているのと同じ順(互いに対して)で分配されている。最後に、QWERTYキーボードの下段の文字列上の文字は、前記キーパッド4400の第3の列4406のキー上に、それらがQWERTYキーボード上に配置されているのと同じ順(互いに対して)で分配されている。
この実施例を引き続き参照すると、前記アルファベット文字は前記キーパッド上のキー上に、紛らわしい文字を異なるキーに配置するような形式で配されていてもよい。図44bは一例として、微修正を加えたQWERTY配列のキーパッド4407を示す。前記キーパッドでは、文字「M」4408及び「Z」4409のキー割り当ては、文字「M」と「N」の間の紛らわしさをなくするような方式で交換されている。この例においては、QWERTY配列は微修正されているが、前記キーパッドを本発明のデータ入力システムと併用することにより、認識精度が高められるであろう。別の文字配列及び修正を考慮してもよいことが理解されよう。
示したとおり、本発明のQWERTYキーパッドは、句読点、文字、数字、機能といった別の記号を備えていてよい。それらは、本出願及び本発明者により提出された以前の諸出願に記載されている本発明のデータ入力システムにより入力されてよい。
QWERTY(又は任意の別の)配列のアルファベット文字を、キーの数を減らした任意のキーボードのキーに対して割り当てることができることに留意するべきである。前記キーボードは、本発明のデータ入力システムと組み合わせて併用することができる。精度向上のため、標準的配列を修正してもよいことが理解されよう。
(6つのキーへのQWERTY配列)
本発明の一実施例によれば、本発明のデータ入力システムは、QWERTY配列を有したアルファベット文字がその6つのキーに対して割り当てられたキーボード/キーパッドを使用してもよい。 明らかに、単語/単語の一部も、本発明のデータ入力システムの原則に従って前記キーに対し割り当てられてよい。
周知のように、アルファベット文字は、QWERTYと呼ばれる配置順に従ってPCのキーボードの3列になったキーの中のキーに配置される。図45は、文字AからZが、前記キーボードの3列になったキー4507,4508,4509に配置されているQWERTYキーボード4500を示す。通常、使用者は前記キーボードを(タッチ)タイプするためには両手の指を使う。左手の指を使って、使用者は例えば、前記キーボード4500の左側4501に示すアルファベット・キーをタイプし、右手の指を使って、使用者は例えば、前記キーボード4500の右側4502に位置するアルファベット・キーをタイプする。これらの原則に従って、QWERTYキーボードのアルファベット・キーは、3つの行4507,4508,4509掛ける2つの列4501〜4502の表に従って配置されていると考えることができる。
本発明の一実施例によれば、数を減らした6つ組のキー(例えば3x2)のキーボードは、PCのキーボードの前記QWERTY配列を自らの上に複製するために用いられ、本発明のデータ入力システムと併用することができる。図45aは一例として、自らの上に前記QWERTY配列を複製するために好ましくは3つの行4517〜4519と2つの列4511〜4512に配置されている6つのキーを示す。一例として、左上のキー4513は、図45のQWERTYキーボード4500の上列4507の左側4501にあるキーに配置された文字に対応している文字「QWERT」を含む。前記6つ組のキーの別のキーは同じ原則に則しており、前記PCのキーボードの、対応する行及び側のキー上に配置される。
QWERTYキーボードの使用者は、各文字の位置を通常正確に知っている。運動反射が、使用者にQWERTYキーボードで速くタイプすることを可能にする。ここと上記で述べた、QWERTY配列を6つのキーに複製することは、使用者が、キーの数を減らしたキーボードでタッチタイプ(速打ち)することを可能にする。前記使用者は例えば、データ入力のために両手の親指(左列には左手、右列には右手)を使うことができる。これは、速いデータ入力を可能にするPCのキーボードに入力しているかのようである。
上記の例で述べたキーボード上の左側の文字及び右側の文字の定義づけは、一例として示したに過ぎないことが理解されよう。前記定義づけは使用者の習慣に従って再考されてよい。例えば、文字「G」は、左側というよりは右側に属すると考えられてもよい。
本発明の一実施例によれば、アルファベット文字を含んだ少なくとも6つのキーを有し、QWERTY配列 が(上述のように)前記キーに対して割り当てられているキーパッドが、 本発明の文字ごとの/少なくとも単語の一部ごとのデータ入力システムと併用されてもよい。既に述べた利点に加えて、前記配置は以下のような他の利点も備えている。
−同じキーに配置された文字は、本発明の発声/話声認識システムにより通常区別できる。
−データ入力の高精度、極めて数を減らした文字キー、及び、前記文字の前記キーパッド上での極めて馴染み深い配列(例えば、QWERTY)は、使用者に対し、キーパッドや、対応する装置の表示ユニットを頻繁に見なくても速いデータ入力システムを可能にする。
精度を向上させるため、この配列への修正を考慮してもよい。例えば、図45bは、前述のようなQWERTY文字配列の少なくとも6つのキーを有したキーパッド4520を示し、そこで、文字「Z」4521と「M」4522は、文字「M」4522を文字「N」4523から隔てるために交換されている。これは一例に過ぎず、別の形の修正も考えられてもよいことが理解されよう。
上述した少数のキーに割り当てられたQWERTY配列は、一例として示し、述べたに過ぎないことに留意するべきである。別の配置のアルファベット文字(任意の言語の)を、任意の形状のキーボード(例えば、任意のキーパッド)上の任意のキー配列形式に配置された任意の数のキーに対して割り当て、本発明の釦押し話声データ入力システムと併用してもよい。さらに、句読点記号、数字、機能などの別の記号を、前記キー、又は、前記キーパッドの前記アルファベット・キー又は別のキーを備えたキーパッドの別のキーの間に分配し、本出願及び本発明者によって以前に提出された諸出願に記載された本発明のデータ入力システムに従って入力してもよいことが理解されよう。
本発明の一実施例によれば、さらに少ない数のキーを、アルファベット文字(及び前述のような別の記号)を収容するために用い、本発明の釦押し話声データ入力システムと併用してもよい。図45cは一例として、英語のアルファベット文字を割り当てた4つのキー4530〜4533を示す。この配列を馴染み深いものにしておくため、図45bのキーパッド4520の上の二列の文字のQWERTY配列は維持され、図45bの前記キーパッド4520の最下列の文字は、前記4つのキー4530〜4533の対応する列(例えば、左、右)のキー内に、「ほぼQWERTY」キーボードの馴染み深さを本発明の音声認識システムの高精度とともに維持するような方式で分配されている。例えば、図45bのキーパッド4520の最下段の右のキーに配置されていた文字「n」4537及び「m」4538は、ここでは隔離されてそれぞれキーパッド4532の右のキー4533と4532に割り当てられている。句読点、数字、機能などの別の記号を、前記キー、又は、前記アルファベット・キーを備えた別のキーパッドのキーの間に分配し、本出願及び本発明者により以前に提出された諸出願に記載された本発明のデータ入力システムに従って入力してもよいことが理解されよう。
認識精度に影響しない限り、さらに数少ないキーを用いて全てのアルファベット文字を収容し、本発明の釦押し話声データ入力システムと併用してもよいことも理解されよう。図45dは、英語のアルファベット文字を割り当てた(例えば、キーパッドの)2つのキー4541〜4542を示す。前記キーパッドは、本発明の釦押し話声データ入力システムと併用してもよいが、同一キー上の文字でほぼ同じ発音の場合は紛らわしが出てくることがある。
理論的には、全てのアルファベット文字を1つのキーに対して割り当てることができるが、それは認識制度を極度に落とす可能性がある。
キーを押して、前記キーに割り当てられた所望の記号を話すことは、前記記号の入力には十分ではあるが、或る種の記号を話したくないといった或る種の理由で、本出願及び、本発明のデータ入力システムに関連した以前の諸出願に記載された例のようないくつかの方法を配設してもよい。上述のように、記号は、前記記号を話さずにキーを押すことにより入力されてよい。例えば、図45cを参照すると、使用者は話声なしでキー4530を押して、スペース文字を出すことができる。別の方法によれば、記号は、第1のキーを押し、前記キーを押したまま保ち、同時に第2のキーを押すことにより入力されてよい。別の方法によれば、スペース文字などの特殊文字を、前記記号に対応するキーを放す前に事前定義されたキー(例えば、前記特殊文字に対応する)を押すことにより、文字などの記号の後に配設してもよい。
データ入力用に少ないキーを有している場合、迅速なデータ入力を期すため、スペース文字などの、使用頻度が高い話されない記号の入力を、話声なしでの事前定義されたキーの二度押しに対して割り当てることができる。前記モードでは字などの別の話される文字が割り当てられている釦の一度押しといったモードが、スペース文字に対して割り当てられている場合、話される文字を入力した後で、(発声/話声認識システムを混乱させないために)、使用者は前記スペース文字を入力するためにそのキーを(話さずに)押す前に短時間中断しなければならないので、このことは効果的である。話されない記号が二度押し動作に対して割り当てられている、キーの二度押しモードに対してスペース文字を割り当てることは、その課題を解決する。中断して前記キーを一度押す代わりに、使用者は前記中断なしで単に前記キーを二度押す。前述のように、 別の解決策は、話される記号と話されない記号を別々のキーに割り当てることであるが、それはより多くのキーを必要とするであろう。
さらに、上述したような、一群のキーへの文字のQWERTY配列は、一例として挙げたということが理解されよう。アルファベット順、別の個数のキー、又は任意のキー配列といった別の記号の配置を考案してもよい。例えば、本発明の一実施例によれば、キーパッドは使用頻度が最も高い文字を割り当てるための2つのキーを含み、使用頻度がそれほど高くない文字が割り当てられる別の2つのキーを有していてもよい。
今日、データ入力が可能なほとんどの電子装置は電話型キーパッドを装備している。前述のようなアルファベット文字の配置及び割り当てが、電話型キーパッドのキーに適用されてよい。
図46aは一例として、QWERTY配列を有したアルファベット文字が前記キーパッドの隣り合った列4601,4602の6つのキーに対して割り当てられている(例えば、前述のように)、電話型キーパッド4600を示す。隣り合った列上にあることにより、片手の(親指)による文字の入力はより容易になる。さらに、前述したように、使用者は速くデータ入力するためには両手の親指(左の列には左の親指、右の列には右の親指)を使うことができる。句読点、数字、機能などの別の記号を、前記キーパッドのキーの間に分配し、本出願及び本発明者により以前に提出された諸出願に記載された本発明のデータ入力システムに従って入力してもよいことが理解されよう。
図46bは、QWERTY配列を有したアルファベット文字が前記キーパッドの外側の2列4611,4612の6つのキーに対して割り当てられている(例えば、前述のように)、電話型キーパッド4610を示す。2つの外側の列にあることにより、両手(の親指)による文字入力はより容易になる。さらに、前述したように、使用者は片手を使ってデータ入力してもよい。この例では、本発明の発声/話声認識システムの精度を向上させるために、微修正を施している。例えば、文字「m」及び「k」は、文字「m」と「n」間の紛らわしさをなくするために対応するキー4613,4614で交換されている。さらに、文字「f」及び「z」は、文字「f」と「s」間の紛らわしさをなくするために対応するキーで交換されている。配置への別の変更を考えてもよいことが理解されよう。データ入力を速めるため、スペース文字などの或る種の文字をいくつかのキー4613,4616に割り当てることができる。
図46cは、前述して図45cに示した原則に基づいたアルファベット文字配列が、前記キーパッドの4つのキーに割り当てられている別の電話型キーパッド4620を示す。
キーパッドのようなキーボードの少数(例えば、6、4、2など)のキーへの文字のQWERTY配列は、例として述べられたことが理解されよう。アルファベット順といった別種の文字配列も考慮され、2/3/4/5/6等といった少数のキーに割り当てられてよい。
明らかに、本発明の文字ごとのデータ入力及び/又は、単語/単語の一部ごとのデータ入力システムといった本発明の全てのデータ入力システム (及びそれらの対応するアプリケーション)は、述べたばかりの上記に挙げたキーパッド(例えば、4つから6つのキーといった、少数のキーを持つ)を用いてよい。
(パーソナル・モバイル・コンピュータ/通信装置)
モバイル装置は、携帯性の容易さを提供するためには小型でなければならない。データ(例えばテキスト)入力及び/又はデータ通信を必要とする理想的なモバイル装置は、小型のデータ入力装置(例えば、最大限でも少数のキーのみ)及び、大型(例えばワイド)ディスプレイを有している。
少数のキーへのアルファベット文字(及びその他の記号)の配列と、本発明のデータ入力システムにより前記少数のキーを介して提供される迅速かつ正確・完全なデータ入力の能力は、現行製品のうちいくつかを、より効率よい製品とするため設計再考する可能性を与えることになる。
そのような製品のひとつは、文書通信やインターネットなどのタスクに現在用いられており、モバイル・コンピュータ装置になると予測されている携帯電話である。実際の携帯電話は上述の原則に反した設計となっている。その理由は、携帯電話の(複雑な)データ入力システムが、多くのキーの使用を要し、電話の表面の大部分を使い、遅いデータ入力を提供し、小型(例えば、狭小な)ディスプレイ装置のための小さな面積を残しているからである。
コンピュータの最も一般的なアプリケーションのひとつはワード・プロセッサ操作である。インターネットの使用とともに、手紙を書くこともモバイル・コンピュータ/通信装置の最も一般的なアプリケーションとなるであろう。前記アプリケーションは、文書の下書き、書式設定及び好ましくは幅いっぱいでの一覧が可能になるように、広幅のディスプレイが必要である。例えば手紙を編集しているとき、使用者は前記文書を左から右にスクロールさせる必要なく、その幅いっぱいに見ることができなければならない。
本発明の一実施例によれば、大型ディスプレイと、迅速なデータ入力能力を有した小型のデータ入力装置とを備えたモバイル・コンピューティング/通信装置のような電子装置を提供することができる。図47aは、2列のキー4701及び4702を有し、アルファベット文字(例えば、好適には前述したようにQWERTY配列を有した)がそれらのキーに割り当てられているモバイル・コンピューティング/通信装置4700を示している。数字、句読点、機能、等のその他の記号も、前述のように前記キー(または他のキー)に割り当てられてもよい。前記通信装置の前記キーは、本発明の釦押し発声データ入力システムと併用されて、完全で迅速なデータ入力を提供することができる。データ入力のために少数のキーを使うことは(例えば2列のみ)前記装置内に大型ディスプレイ4703を一体化することを可能にする。前記モバイル装置の幅 (及び明らかには、前記表示ユニットの幅)は、一覧するためのほぼ実物大(例えば幅)の文書を提供するために、おおよそA4用紙の幅であってよい。前記モバイル・コンピューティング/通信装置は、文書を上方向/下方向や左/右にスクロールさせたり、カーソル4706を前記ディスプレイ4703内で行き来させたり、送信/終了機能等のための、釦4704,4705のような他の釦を有していてもよい。さらに、前記装置は、例えばその背面や任意の他の面などの内部にマウス(例えば指示装置)を備えていてもよい。本発明者により提出された幾つかの特許出願(「ペン入力コンピュータ」(stylus Computer)や、「データ入力を促進する機能」には、ディスプレイのマウス/閲覧の課題及び他のデータ入力促進手段が記載されている。前記出願の前記課題/機能は、それらの間で組み合わせてもよく、及び/又は本発明のデータ入力システム及びデータ通信装置と組み合わせてもよい。
図47aの引き続いた記載として、前記通信装置4700の左側及び右側にある2列になったキー4701,4702の配列により、使用者は前記装置4700を持ちながら両手で親指打ちすることができる。前記装置において他のキー配置の文字やその他の記号の他の設定を考慮してもよいことが理解される。例えば、前記記号(例えば文字)が割り当てられた、1列のみに配列された少数のキーのみを前記装置が備えていてもよい。
また、前述され、対応する特許出願に記載されているように、マウス(不図示)を前記装置の背面に配設して、前記マウスのキーが好ましくは前記電子装置の反対側(例えば、前面側)に来るようにすることにより、使用者は親指で関連する釦を押しながら、例えば人差し指を用いて前記マウスを操作してもよい。
また、前述したように、前記装置は電話機として用いられてもよい。それは少なくとも1つのマイクロフォン4707と少なくとも1つのスピーカー4708を備えていてよい。
前記マイクロフォンと前記スピーカーの、前記装置上の位置間の距離は、使用者の口と耳の間の距離に対応していてもよい。
図47bは一例として、その入力ユニットが2つの列4711と4712に配列された、4つのみのキーを有し、既に述べた原則に従ってアルファベット文字と通例は数字が前記キーに対して割り当てられている、図47の装置と同様な装置4710を示す。別の記号及び機能(不図示)が、既に述べた原則に従って、前記キー及び/又は別のキーに割り当てられてもよい。使用者は自らの両手の親指4713、4714を用いてタイプしてもよい。
図47cは一例として、前記電子装置の一方の側に配置された2つの列4721と4722に配列された4つのみのキーを有し、既に述べた原則に従ってアルファベット文字と通例は数字が前記キーに割り当てられている、図47bの装置と同様な装置4720を示す。別の記号及び機能(不図示)が、既に述べた原則に従って、前記キー及び/又は別のキーに割り当てられてもよい。使用者は片手(または両手)を使ってデータ入力できる。前記4つのキーの配列の中心に、中心点4723を設けて、キーパッドを見ずにデータ入力できるようにしてもよい。
図47dは一例として、前記電子装置の一方の側に配置された2つの列4731と4732に配列された4つのキーを有し、既に述べた原則に従ってアルファベット文字と通例は数字が前記キーに割り当てられている、図47cの装置と同様な装置4730を示す。前記第1の2列のキー(この例では4731)のうち一方を複製した第3のキー列4733が、前記電子装置4730の反対側の端に配置されている。このキー配列は、使用者が好みのままには片手(または両手)でデータ入力することを可能にする。別の記号及び機能(不図示)が、既に述べた原則に従って、前記キー及び/又は別のキーに割り当てられてもよい。
図47eは一例として、本出願で記載された原則に従って設計され、前述の実施例と類似しているが、必要時は大型ディスプレイを可能にするために、前記電子装置内に伸張可能/引き込み可能/折り畳み式ディスプレイ4741を配設してもよい点が異なる電子装置4740を示す。例えば有機発光ダイオード(OLED)を用いれば、前記電子装置は、一個の伸張可能なディスプレイを装備できる。前記ディスプレイは好きなだけ伸張できることが理解されよう。例えば、前記表示ユニットは数回展開して大型ディスプレイを提供することができる。好きなだけ展開できるように、それは巻き込み/展開ディスプレイであってもよい。本発明の前記データ入力システムのキーは、前記電子装置の前記表示ユニットの表面内に装備されたソフトキーであってよいことが理解されよう。
本発明の一実施例によれば、図47fに示すように、前述したような電子装置4750は、内蔵型の印刷部(不図示)を備えていてよい。前記装置の幅は任意のものでよいが、好適には、前記電子装置の設計(例えば、この例ではほぼA4用紙の幅がある)は、例えばA4用紙を使用する印刷/スキャナ/コピー部が前記装置に内蔵されることができるようなものであってよい。例えば、使用者はページを印刷するためにA4用紙4751を給紙することができる。
モバイル・コンピューティング/通信装置のための完全なソリューションを提供することは、多くの状況において非常に有用であり得る。例えば、使用者は手紙などの文書を編集し、即座に印刷することがある。また例えば、セールスマンは顧客の契約を記したインボイスなどの文書を編集して即座に受け渡しできるために印刷するかもしれない。
前記モバイル・コンピューティング/通信装置を小型化しつつ、A4用紙などの一般サイズ用紙の印刷も可能とするために、前記一般サイズ用紙の半分のサイズに対応する装置が提供してもよい。
図47gは、A4用紙などの標準白紙文書4760を示す。 図47hに示すように、前記用紙は真ん中で半分に折畳み、2つの片面4761,4762をもたらすようにしてもよい。図47iに示すように、前記折畳んだ文書4771を本発明のモバイル・コンピューティング/通信装置のような電子装置4770の印刷部に給紙して、編集済の手紙などの文書のページを片面4761,4762の両方に印刷して、標準サイズの印刷された手紙をもたらすことができる。このことは、標準サイズ文書を印刷することができる小型モバイル電子装置の製造を可能にする。
(環状キーボード)
本発明の一実施例によれば、キーパッドの少なくとも一部のキーは、 前記キーパッド上に、環状形態を形成するような形で配置されてよい。 図48は一例として、中心のキー4807のまわりに配置された6つのキー4801〜4806を備えたキーパッド4800を示す。前記中心のキー4807は、前記別の6つのキーとは物理的に異なっていてよい。例えば、前記キー4807は、別のキーよりも大きくてもよいし、その上に中心点を有していてもよい。例えばQWERTY配列を有したアルファベット文字が、 前記キーに分配されていてもよい。スペース文字が、中心に配置されたキー4807に割り当てられてもよい。もちろん、前記キーは、本出願内で以前に記載した、及び以前の諸出願で記載した数字、句読点、機能などの別の記号を備えていてもよいし、本発明のデータ入力システムによって用いられてもよい。キーパッド上のキー配列のこの種の利点(例えば、環状)は、前記中心のキーを触って認識することにより、使用者はキーパッドを見ずに前記キーをタイプすることができるということである。
(手首装着型通信装置)
本発明のデータ入力システムは、完全で迅速なデータ入力能力を持つ小型電子装置の製造を可能にすることができる。将来有望な通信装置の1つは、手首装着型通信装置である。
実行可能な手首装着型通信/オーガナイザー装置を製造するために多くの努力が払われてきた。これらの装置の主要な問題は、実現可能な比較的速いデータ入力システムである。データ入力のために音声/言語認識技術を用いた手首装着型電話の試作品を提供した製造業者たちもいる。もちろん、そのような装置のハードウェア及びソフトウェアの限界が、質の悪いデータ入力結果をもたらした。本出願及び本発明者により以前に提出された諸出願に記載されたように少数のキーと併用した本発明のデータ入力システムは、この課題を解決し、非常に小型の装置で迅速なデータ入力を可能にすることができる。図49は一例として、少数のキー(例えばこの例では、2つの列4901と4902に配列された、4つのキー)を備えた、本発明のデータ入力システムの原則に従ってアルファベット文字と、数字と、句読点その他などの記号が前記キーに割り当てられている、手首装着型電子装置4900を示す。前記装置は、少なくとも前記キーを用いる本発明のデータ入力システムを含む。前記キーは、携帯電話の標準キーに類似した任意の種類のものであってもよく、タッチ式のものであってもよい。タッチ式のキーは一方の手の2つの指4903,4904でのタッチ・タイピングを可能にする。入力されたデータ、受け取られたデータ等を一覧するために表示ユニット4905が配設されてもよい。時計部4906が前記手首装着型装置に組み込まれていてもよい。前記手首装着型装置は、送信/終了などの機能のための別の釦4907,4908を備えていてもよい。より迅速なデータ入力のため、使用者は手首装着型装置を手首から外し、両手の親指でそれぞれ1キー列のキーを押してもよいことに留意するべきである。別の個数のキー(例えば前述のような6つのキー)または別のキー配列(例えば、前述のような環状キー配列)を考慮してもよいことが理解されよう。
手首装着型通信/オーガナイザー装置のための別の種類の設計を考慮してもよいことも理解されよう。例えば、図49aに示すように、手首装着型装置4910に、フリップ・カバー部4911が配設されてもよい。前記装置4910は例えば、データ入力に用いられるキー4913の大部分を備え、前記フリップ・カバー4911は表示ユニット4912を備えていてもよい(または逆も同様)。図49bに示すように、前記フリップ・カバーの別の側に、時計部の表示ユニット4921が装着されていてもよい。閉じた状態では、前記手首装着型装置は、腕時計に似ており、腕時計として使われることができる。
上記に示し、記載した手首装着型装置は、一例として示したに過ぎないことが理解されよう。少数のキーのみの使用を必要とする本発明の釦押し発声データ入力システムとの併用で、別の種類の手首装着型装置を考慮してもよい。例えば、図50aに示すように、少ない個数のキー5003を用いている本発明のデータ入力システムを備えた手首装着型通信装置5000は、時計部5002のブレスレット5001に着脱自在に装着/一体化されていてもよい。図50bは、図50aの手首装着型装置5000と同様の手首装着型装置5010を示すが、違いは、この場合表示ユニット5011とデータ入力キーは分離されており、それぞれフリップ・カバー5013と装置本体5014(または、その逆)に配置されていることである。前記キーと前記時計部とは、使用者の手首のまわりに、反対向きの関係で配置されていてもよいことが留意される。
前述のように、本発明のデータ入力システムは、数少ない個数のキーを持つ装置内に一体化されてもよい。PDAは、手書き文字認識システムまたは小型仮想QWERTYキーボードを通常用いた電子オーガナイザーであるが、両方法とも、遅くてもどかしいデータ入力手順をもたらす重大な欠点がある。通常、ほとんどのPDA装置は少なくとも4つのキーを含む。本発明のデータ入力システムは、前述した原則に従って前記キーを用いてPDA装置のための迅速かつ正確なデータ入力を提供する。タブレットPCなどの別の装置も本発明のデータ入力システムを用いてよい。さらに、例えば, 前述の別の方法に従って、図49aに示すような数個の大型仮想(例えば、ソフト)キー(例えば4、5、6、8等)がPDA、タブレットPC等の電子装置の表示ユニットに指定されて、本発明のデータ入力システムと併用されてもよい。一例として、タブレットPCの表示ユニットのような大型ディスプレイ上のキー配列と配置は、図47a〜図47dに示すものに類似していてもよい。
(データ入力のための動作追尾)
アルファベット文字、数字、句読点、機能等の一群の記号を少数のサブグループに分け、それらを本発明の釦押し発声システムと併用すれば、他の使用者の、その動作認識のような、挙動認識システムと置き換えることによって次第に、釦押し動作の使用を排除することが可能になる。前記動作は例えば使用者の指、目、顔等の動作であってよい。このことは、使用者が持つモータ能力が限られたものである場合、あるいは、もっと離散したデータ入力システムを必要とする環境においては非常に有利であり得る。例えば、4つのキーを使うかわりに、使用者の1本または複数の指、または目などの体の部位の4つの動作指示を考慮することができる。
本発明の一実施例により、また、図45cを参照し、1例としてデータ入力システムの記号が4つの区域に配列されていると考えると、使用者は、目(または、顔面追尾システムの場合は顔面、あるいは指追尾システムの場合は指)を右上方に動かして「Y」と言い、前記文字を入力することができる。発声なしの同じ動作を、例えば、句読点「.」4535に割り当てることができる。文字「s」を入力するには、使用者は目を左下方に動かして「s」と言えばよい。所望の記号を話すなどの(本発明のデータ入力システムの)特徴と組み合わせて、記号のいくつかのサブグループへ割り当てられた使用者の、極少数の明確に/容易に認識できる動作のみを用いることにより、本発明のデータ入力システムは、ハードウェアの操作(例えば、釦)を必要とせずに、迅速で正確なデータ入力を提供する。気付かれるように、本実施例では、使用者の体の部位の事前定義された動作で、別の実施例におけるキー押しを置き換えることができる。本発明のデータ入力システムの残りの手順はそのままであってよい。
以前の諸出願に記載したように、キーのかわりに、感応性キーパッドまたは使用者の指などの別の物体が、前記記号のサブグループをそれらに割り当てるために用いられても良いことが理解されよう。例えば、所望の記号を入力するために、使用者は(前記記号が割り当てられている)自らの指を机上で軽く打ち、前記指及び前記動作に割り当てられた文字を話す。また、使用者の声(例えば音声)を認識するかわりに、別の使用者の挙動及び/又は読唇システムなどの挙動認識システムが用いられてもよい。
少なくとも単語の一部のレベル(例えば、音節レベル) での本発明のデータ入力の主な課題のひとつは、外部の雑音があった場合、及び前記単語の一部の発話が母音で終了した場合、システムは前記発話を誤認識し、通常は所望の部分の開始部分には対応しているが、一定のもので終了する出力を提供することがある。例えば、使用者が(文字「m」に対応したキーを押しながら)「mo」と言えば、システムは「mall」のような出力を提供することがある。この問題を排除するために、発明のデータ入力システムに或る種の方法を適用することができる。
本発明の一実施例によれば、以前提案したように、母音の発音で終了する単語/単語の一部は、先頭の発音は類似しているが、子音で終わる単語/一部に分類されてもよい。前記単語/部分が入力された後、辞書比較及び句構造が、入力すべき所望の部分を決定する。例えば、同じキーに割り当てられている単語/単語の一部「mo」及び「mall」は、同じカテゴリーに分類されることができ、つまり、使用者が前記キー押して、前記の場合それぞれについて「mo」または「mall」と言えば、システムは両方の音素の組の、対応する文字の組を考慮する。前記2つの音素の組「mo」及び「mall」の発音は(特に騒がしい環境では)、実質的に同じで音声認識システムにより誤認識される可能性があると考えるべきであるからである。
本発明の一実施例によれば、アルファベット文字が、例えば2列になったキーに配列されたキーパッドが、本発明の、少なくとも、「少なくとも単語の一部のレベル」(例えば、音節レベル)のデータ入力システムに用いられてよい。
図51は一例として、アルファベット文字が2列のキー5101と5102に配列されたキーパッド5100を示す。前記配列は、声門閉鎖発音である文字/音素を異なるキーに配置している。前記配列は、少し修正を施したQWERTY配列を想起させる。この例では、中列は文字キャラクターを有していない。前述したような、本発明の、少なくとも単語の一部のレベル(例えば、音節レベル)のデータ入力システムの異なる方法は、前記の種類のキーパッドを用いてもよいし、または、図45a〜図45dといった以前の図に示した、少数のキーを有した別のキーパッドを用いてもよい。
前述したように、本発明の一実施例によれば、ある単語/単語の一部が母音で終われば、使用者は前記単語/単語の一部の先頭音素/文字に対応する前記キーパッドのキーを押し、入力するためにその単語/単語の一部を話せばよい。必要ならば、前記部分に関してより多くの情報を提供するために、使用者は前記部分を構成している文字の少なくとも一部に対応する別のキーを押してもよい。例えば、前記単語/単語の一部が子音音素で終われば、使用者は、前記子音に対応した別のキーを押せばよい。
システムに、単語/単語の一部の先頭文字/音素に対応するキー押しと、例えば、前記単語/単語の一部の最後の文字/音素に対応するキー押しとを区別させるようにするには、これ以降に記載する方法の如き異なる方法が提供されることができる。
本発明の一実施例によれば、使用者が、単語/単語の一部の先頭音素/文字に対応する最初のキーを話しながら押す際、使用者は前記キーを押したままで、前記単語/単語の一部の別の文字(好ましくは最後の子音)に対応する、少なくとも1個の別のキーを押せばよい。
前記別の文字が同じ先頭キーに配置されていた場合、使用者は前記単語/単語の一部を話しながら前記キーを二度押すことができる。
図51aは、(大文字で示した)アルファベット文字が2列のキー5111と5112に配列されたキーパッド5100を示す。前記アルファベット文字を包含した前記キーのそれぞれは、(小文字で示した)アルファベット文字をも包含し、それらは同じ列の反対側のキーに割り当てられている。
本発明の一実施例によれば、使用者が単語/単語の一部を入力しようとするとき、使用者は、大文字で印刷された前記単語/単語の一部の先頭文字/音素(例えば、前記キー上に大文字で印刷された)を押し、前記単語/単語の一部を話す。前記使用者が、前記単語/単語の一部の別の文字に対応するキーを押すなどして、より多くの情報を提供したい場合、(前記最初のキーを押したままで)前記使用者は、前記単語/単語の一部の前記別の文字(例えば、前記反対側の列のキー上に大文字または小文字で印刷された)に対応する反対側の列に配置されたキーを押してもよい。例えば、使用者が単語「fund」を入力したいとすると、まず、キー5113を押して前記単語を話し、(前記キー5113を押したままで)、前記使用者は例えば子音「n」及び「d」に対応する2つの別のキー5114及び5115を引き続いて押す。
図51bは、図51aのキーパッドと類似したキーパッド5120を示すが、違いは、こちらの場合2つの列5121と5122は単語/単語の一部の先頭音素/文字に対応する文字/音素に割り当てられており、別の列5123は、前記単語/単語の一部の先頭文字とは異なる少なくとも1つの文字に対応している1つのキーを押すことにより、前記単語/単語の一部に関するより多くの情報を提供するために用いられることである。 このことは、片手のみでのデータ入力を可能にすることができる。例えば、使用者が単語「fund」を入力したいとすると、まず、キー5124を押して前記単語を話し、(前記キー5124を放した後で)、前記使用者は例えば子音「n」及び「d」に対応する2つの別のキー5125及び5126を引き続いて押す。
本発明の別の実施例によれば、上述のように、(入力のためには)話声を必要とする記号は、第1の事前定義された個数のオブジェクト/キーに割り当てられ、話声なしで入力される記号は、前記第1の事前定義された個数のキーとは別個に、別の事前定義された個数のキーに割り当てられることができる。
本発明の別の実施例によれば、文字を提供するキーが話される記号のみを備えている場合、使用者は前記単語/単語の一部の最初の文字/音素に対応するキーを押し、好ましくは同時に、前記単語/単語の一部を話してもよい。次いで使用者は、前記単語/単語の一部を構成している別の単語に対応する別のキーを、話さずに押してもよい。システムは、話声を伴わないキー押しは、前記単語/単語の一部の別の文字に関する追加情報に対応することを認識する。例えば、図51を参照し、前記キーパッドの文字を提供するキーに対しては話される記号のみが割り当てられていることを考慮すると、使用者が単語「fund」を入力したいとすると、使用者はまず「fund」と言いながら文字「f」に対応するキーを押し、前記キーを放した後で、前記使用者は、文字「n」及び「d」に対応した2つの別のキーを話さずに引き続いて押す。
前述したように、本発明の単語/単語の一部データ入力システムは、集成した選択された文字の組を、単語/単語の一部の辞書と比較する工程なしで機能することができる。使用者は単語を部分ごとに入力処理して、それらを直接入力させることができる。前述のように、このことは、異なる言語の単語/単語の一部を、それが単語/単語の一部の辞書に存在するかを気にせずに入力するために便利である。モード・キーなどの手段が、集成した文字群が前記比較なしで入力/出力される予定であることを、システムに対し知らせるために用いられることができる。集成した文字群が複数できた場合、それらは使用者に対し提示される(例えば、ディスプレイに印刷されたリストで)ことができ、使用者は例えば「選択」キーを押してそれらのうち1つを選択することができる。別の実施例では、集成した文字群が複数できた場合、優先度が最高である集成した文字群が、例えば、次の単語/単語の一部、句読点、「入力」などの機能、その他の入力に進むことにより自動的に入力されることができる。
さらに、本出願において前述した前記原則に従って、単語は、単語辞書との比較工程ありでもなしでも、部分ごと入力処理して入力されることができる。さらに前述のように、前記部分は文字でもよいし単語の文字群(マクロ)であってもよい。
本発明の一実施例によれば、アルファベット文字に加えて、本発明の文字ごとのデータ入力システムは、小さなメモリ容量と、より早い処理を必要とする迅速かつ正確なデータ入力システムを提供するために、限定された個数の、頻繁に使われる単語の部分(例えば、「tion」、「ion」、「sion」、「ment」、「ship」、「ed」等)及び/又は限定された個数の、頻繁に使われる単語 (例えば、「the」、「and」、「will」等)を用いてもよい。前記限定数の単語/単語の一部は、本出願及び以前に提出された諸出願に記載されるように、本発明のデータ入力システムの原則に従って、キーパッドの対応するキー(と相互作用して)に対して割り当てられることができる。さらに、明らかにそれらは、本出願及び以前に提出された諸出願に記載されるように、本発明のデータ入力システムの原則に従って入力されることができる。本実施例によれば, 例えば、使用者は「portion」という単語を、「p」、「o」、「r」及び「tion」という4つの部分に分けて入力することができる。そうするためには、例えば図45cのキーパッドを用いて、前記使用者はまず「p」と言って(好ましくはほぼ同時に)対応するキー4533を押す。使用者は次いで、「o」と言って(好ましくはほぼ同時に)対応するキー4533を押す。次いで、前記使用者は「r」と言って(好ましくはほぼ同時に)対応するキー4530を押す。そして最後に、使用者は「shen」(例えば、「tion」という単語の部分の発音)と言い、(好ましくはほぼ同時に)、「tion」という部分が割り当てられているキー4530(例えば、「tion」という単語の部分の最初の文字「t」に対応している)を押す。
前述のように、本発明の本実施例は、以前の諸出願で記載したような、入力した文字を単語辞書と比較する工程ありでもなしでも処理することができる。前記比較工程を用いない場合、データは部分ごとに入力/出力されることができる。
前述のように、本発明の本実施例は、本発明のデータ入力システムを、メモリ容量とプロセッサのスピードに限界がある小型装置(例えば、手首装着型電子装置、携帯電話)に一体化するために有利である。頻繁に使われる単語/単語の一部の前記リストに加えて(またはその代わり)、使用者は自分の好みの単語/単語の一部を前記リストに追加してもよい。
前述したように、本発明のデータ入力システムは少ない数のキーを用いて完全なデータ入力をすることができる。前記少数のキーのかわりに、異なる事前定義されたセクションを有した単一のマルチモーダル/マルチセクション釦であって、前記マルチモード/マルチセクション釦の前記異なる事前定義されたセクションそれぞれへの使用者の動作/接触に対し、各セクションが異なる反応をするマルチモーダル/マルチセクション釦を配設してもよいことが理解され、本発明に記載の文字/音素の組/文字等は、前記事前定義されたセクションで前記動作/接触に割り当てられる。図52は、一例としてマルチモード/マルチセクション釦5200(例えば多くの電子ゲーム、携帯電話、テレビのリモート・コントローラ等に用いられているマルチモード釦に類似した)を示し、前記釦の5つのセクション5201〜5205は、使用者の前記セクションへの指動作(例えば押し)/接触に対しそれぞれ異なった反応をする。一例としては、異なるアルファベットや数値の文字や句読点が、前記セクションのうち4つ5201〜5204に割り当てられ、スペース文字が真ん中のセクション5205に割り当てられてもよい。前記釦5200は、楕円形等の異なる形状であってもよく、また、異なる個数のセクションを有して、異なる記号の配列が前記部分のそれぞれに割り当てられてもよいことが理解されよう。
前述のように、さらに、図47a〜図47iの例に示すように、本発明のデータ入力システムにより、大型ディスプレイと、迅速なデータ入力能力を有した小型データ入力ユニットとを備えたモバイル・コンピューティング/通信装置などの電子装置が提供されることができる。 さらに前述のように、前記電子装置は、別の釦を備えていてもよい。図53は、文書入力及び対応機能のためのキー5302,5303(この例では双方向キー)と、電話番号をダイアル(例えば前記数字を話さずに)したり、ディスプレイ内を行き来したり、通話を送受信したり、といった別の機能を入力するための別の釦列5304,5305を備えた電子装置5300を示す。本発明に記載された、少なくとも文書入力のための一群の記号が、キー5302〜5303のような双方向キーの各側を押すことに割り当てられてもよい。双方向キーは、2つの別個のキーに対応することができる。双方向キーを操作することは、2つの別個のキーを操作することよりも容易に思われる。本実施例の例では、使用者は自らの両手の親指5306,5307を用いてデータを入力することができる。
本特許出願中の別の段落、及び本発明者により提出された以前の特許出願に記載したように、仮想 (ソフト) キーなどの別の種類のキーが、本発明のデータ入力システムに用いられてもよいことが理解されよう。さらに、本特許出願及び本発明者により出願された以前の特許出願に記載された別のデータ入力特性の少なくとも一部が、本発明のコンピュータ/通信装置に一体化されてもよい。例えば、伸張可能な(例えば、着脱可能な)マイクロフォン/カメラ/アンテナ5301、及び前記装置の背面内蔵マウス(不図示)(例えば、使用者の人差し指で操作されるべきもの)を装備して、その対応するキーは、前述したように前記コンピュータ/通信装置の前面または任意の別の側に来るようにしてもよい。
前述したように、完全なデータ入力のために利用可能な記号の一部/全ては、少数のキーに割り当てられることができ、 本発明のデータ入力システムと併用されて完全、迅速かつ容易なデータ入力を提供することができる。前記少数のキーは、キーパッドのキーの一部であってもよい。図54は、PCのキーボードの記号の少数のキー5400への割当ての別例を示す。この例においては、ディスプレイ上のカーソル(例えば、文書の中の)の行き来のための矢印は、話声モードに割り当てられてよい。例えば、使用者はキー5401を一度押しし、「左」と言って、(例えば、ディスプレイ上に印刷された文書内にある)ディスプレイ上のカーソルを単一文字分左へ移動させることができる。カーソルを数文字分左へ移動させるには、前記使用者は「左」と言いながらキー5401を押し、前記キーを押したまま保てばよい。カーソルは、使用者が前記キー5401を放すまで左に移動し続けることになる。前記カーソルを右に移動させるには、前記使用者は上記に記載したばかりの手順で、例えば「右」と言いながらキー5402を押せばよい。同様な手順を使って、対応するキーを押して対応する単語を言うことにより、カーソルを上下に移動させることができる。
本発明の一実施例によれば、カーソルをいくつかの方向(左、右、上下など)に移動させることを、少なくとも1つのキーに割り当てることができる。図54を引き続いて参照すると、一例としてはカーソルを異なる方向に移動させることを、1つのキー5403に割り当てることができる。例えば、使用者はキー5403を押して「左」と言えば前記カーソルを左に移動させることができる。前記カーソルを右、上、または下に移動させるには、前記使用者はキー5403を押して、それぞれ「右」、「上」、または「下」と言えばよい。
この例において、(完全なデータ入力のために使用可能な記号の一部/全てが割り当てられることができる対象である)キーの個数は、一例として説明したに過ぎないことが理解されよう。前記キーの個数は、電子装置の設計などの必要に応じて異なっていてよい。
本発明の一実施例によれば、少数のキーを有した本発明のキーパッド/データ入力ユニットは、マイクロフォン、スピーカー、カメラ等の追加機能を備えていてもよい。前記キーパッドは、対応する電子装置に接続された独立型ユニットであってよい。前記独立型キーパッドは、前記電子装置の側部を実質的に覆う表示ユニットを一体化することを可能にする。図55aは、完全なデータ入力のために使用可能な記号の一部/全てをデータ(例えば文書)入力に割り当てることができる対象である、少なくとも少数のキー(または、少なくとも前記少数のキーに対応する多方向キー)5501、5507、5508、5509を有した本発明の独立型キーパッド5500を示す。前記キーパッドは、マイクロフォン5502、スピーカー5505、カメラ5503等の追加機能をも備えていてもよい。前記追加機能は前記キーパッド内に一体化されていてもよいし、または、前記キーパッドに装着/接続等されていてもよい。図55bに示すように、前記キーパッド5500(その側面図を示す)は、前記キーパッドを、使用者の指/手首等の別の物体に装着するための装着手段5504を備えていてもよい。前記キーパッドは対応する電子装置に(無線または有線で)接続されていてよい。図55cは、記載したばかりの原則に従った独立型キーパッド5510を示す。前に述べたように、完全なデータ入力のために本発明のデータ入力システムと少数のキーを併用することにより、短期間の練習の後で、使用者は文書などの完全なデータを、前記少数のキーで前記キーを見ずに入力することができる。この原則に基づき、本発明のデータ入力システムの原則に従って、使用者は前記キーパッド5510を手(例えば掌)5511に保持し、(手を口元に持ってくることにより)口近くにキーパッドを配置して、その記号(例えば、前記キー押しに対応する文字、字、単語/単語の一部、機能)を話さずに/話しながら、キーを見ずに所望のキーを押すことができる。前述のように、前記キーパッドは、対応する電子装置に無線または有線で接続されていてよい。この例では、キーパッドは対応する装置(不図示)に導線5512で接続されている。さらにこの例では、マイクロフォン5513が前記導線5512に取り付けられている。データ入力のため、前記キーパッド5510を口元に近づけた手(例えば掌)に保持することは、以下のような多くの利点がある。
−使用者は頭装着型マイクロフォンを装着する必要がない
−前記使用者はマイクロフォンに非常に接近して話すことができる。したがって使用者は離散的に話すことができる。
−使用者の掌の空洞が、マイクロフォンによる使用者の声の受信度を際立たせることができる
−話している間の外部雑音を使用者の手(例えば掌)が実質的に除去する
−使用者の手(例えば掌)が使用者の声の拡散を防止する(例えば他者の妨げにならない)
本発明の独立型キーパッド/データ入力ユニットは、本出願及び本発明者により提出された以前の特許出願に記載された特徴の一部/全てをも備えていてもよいことが理解されよう。例えば、前記独立型キーパッド/データ入力ユニットは、例えば、本発明の読唇システムと併用されるカメラを備えていてもよい。また、本発明の歯認識システムに基づく手段を備えていてもよい。前記キーパッドは、前記キーパッドを対応する装置に接続するための電池、無線手段等の別の機能をも備えていてよい。前記キーパッドにアンテナも装備されていてよい。有線接続の場合は、前記線はキーパッド及び/又は対応する電子装置のアンテナ・システムをも備えていてよい。
本発明の一実施例によれば、図55dに示すように、本発明の独立型キーパッド5520はネックレス/ペンダントとして用いられてもよい。このことは、本発明のキーパッド/データ入力ユニットの、容易かつ個別での携帯性及び使用を可能にする。
本発明の一実施例によれば、図55eに示すように、本発明の独立型キーパッド5530は、PDA/タブレットPCのディスプレイといった触知ディスプレイのペンに装着/一体化されていてよい。このことは、本発明のキーパッド/データ入力ユニットの、容易かつ個別での携帯性及び使用を可能にする。
本発明の一実施例によれば、図55fに示すように、少数のキーを有した本発明のキーパッドはマルチセクション・キーパッド5540(閉じた状態で示されている)であってよい。これは、前記キーパッドのサイズをさらに小型化することを可能にし、完全なデータ入力を提供することができる極めて小型のキーパッドを提供する。マルチセクション・キーパッドは本発明者により既に発明され、特許出願が提出されている。前記出願に記載された記載及び特性の一部/全ては、少数のキーを有した本発明のマルチセクション・キーパッドに適用されることができる。
本発明の一実施例によれば、図55gに示すように、少数のキーを有した本発明のキーパッド/データ入力ユニット5550は、指示ユニット(例えば、マウス)を前記キーパッドの背面(または別の面)内に備えていてよい。前記指示ユニットはパッド型5551またはボール型(不図示)などの任意の型でよい。前記指示ユニットのキーは、前記データ入力ユニットの前面に配置されていてよい。データ入力ユニットの背面などの面に配置された指示及びクリック(例えば、マウス)ユニットは、本発明者により既に発明され、相応に特許出願が提出されている。 前記出願に記載された記載及び特性の一部/全ては、少数のキーを有した本発明のマルチセクション・キーパッドに適用されることができる。例えば、前記キーパッドのキーのうち少なくとも1つは、前記キーパッドの背面に配置されている前記指示ユニットのキーとしても機能してよい。
図55hは、少数のキー5565〜5568を備えたデータ入力ユニット5561を有した本発明のデータ入力装置5560を示す。前記装置は、完全なデータ入力とデータの操作のために前記データ入力ユニットと併用して稼働する指示及びクリック(例えば、マウス)ユニットをも有する。前記装置及びその表面上での動作は、従来のコンピュータ・マウス装置に類似している。前記一体型装置は、コンピュータなどの対応する電子機器に無線または導線5562により接続されていてよい。図55iに示すように、指示(例えば、マウス)ユニット5569は、前記の前記データ入力ユニット5561の背面などの面(ここには示さないが、前記装置の別の面に配置)に配置されていてよい。前記指示(例えば、マウス)ユニット5569は、トラック・ボール型マウスであってよい。使用者は、本発明のデータ入力システムと組み合わせた前記一体型データ入力装置5560を、従来のPCのキーボード及びマウスの代替として操作/使用することができる。マウスのキーは、5563,6664(図55h参照)などの従来のキーであってよく、又は、その機能は、前記データ入力ユニット5561の前記少数のキー(この例では5565〜5568)に割り当てることができる。
本発明の一実施例によれば, 本特許出願及び本発明者により提出された以前の特許出願で述べたように、本発明のデータ入力システムは、単語予測ソフトウェアと組み合わせてもよい。例えば、使用者は、対応するキーを押しながら、本発明のデータ入力システムを用いて単語の少なくとも1つの先頭文字を(例えば、少なくとも1つの文字に対応する単語の一部を話すことにより)入力し、前記単語の残りの部分に対応するキーを、それを話さずに押し続けてよい。前記単語の先頭文字の正確な入力(本発明の正確なデータ入力システムによる)に伴った、前記単語の残りの文字の対応するキー押し(発声なし)は、正確なデータ入力システムを可能にすることができ、さらに話声も少しで済ませることができる。本実施例では、文字以外の記号は好ましくは別個のキーに割り当てられるか、または、別個の相互作用が同じキーに割り当てられてもよいことが理解されよう。
本発明の一実施例によれば、少数のキーを有した本発明のキーパッド/データ入力ユニットは、携帯電話などの電子装置の従来のイヤホンに装着/一体化されていてもよい。図55jは、使用者により使用されている従来のイヤホン5570を示す。このイヤホンは、 スピーカー5571、マイクロフォン5572及び本発明のキーパッド/データ入力ユニット5573(この例においては、マルチセクション・キーパッド)を備えていてよい。本発明のキーパッド/データ入力ユニットは、使用者の対応する話声の入力用に別個のヘッド・ マイクロフォンが使われながら、キー押しを入力するための対応する電子装置と共に用いられてよいことが理解されよう。
(本発明のデータ入力システムと組み合わせた一掃手順)
前述したように、本発明のデータ入力システムは、少数のキー、1つまたは複数のマルチモード(例えば、多方向)キー、1つまたは複数の感応性パッド、使用者の指などの任意の種類の物体を用いてよい。さらに前述のように、前記キーのような前記物体は、従来の携帯電話型のキー、タッチ式のキー、それに対する2つ以上のレベルの圧力(例えば、触れるレベル、及びより圧力がかかったレベル)に応答するキー、ソフトキー、光学認識と組み合わせた仮想キー、等の任意の種類のものであってよい。
前述したように、単語の一部を本発明のデータ入力システムに従って入力する際、認識を高めるために、前記部分の最初の文字/音素に対応する情報を提供すること(例えば、キー押し及び話声)に加えて、使用者は、前記一部の末尾の文字及び/又は中間の文字などのより多くの文字に対応する追加情報を提供してもよい。
本発明の一実施例によれば、図56に示すように、区域/キー5601〜5604のような少数の事前定義された区域を有した触知表面/パッド5600が配設され、本発明のデータ入力システムと協働してもよい。前記区域/キーのそれぞれに対し、本発明のデータ入力システムによる一群の記号を割り当てることができる。本実施例の目的は、本発明の単語/単語の一部 (例えば、文字ごとを含む)データ/文書入力を強化することである。この実施例によれば、単一文字データ入力をするために、使用者は例えば、話声あり/話声なしと組み合わせて、対応する区域/キーを一度押し/二度押し(前述したように、本発明のデータ入力システムに従って)することができる。少なくとも2文字を有した単語/単語の一部を入力するには、 使用者は前記単語/単語の一部を話しながら、前記単語/単語の一部の文字のうち少なくとも1つに関連した前記面の区域/キーの少なくとも1つの上を指またはペンで、例えば一掃すればよい。この一掃手順は好ましくは、前記単語/単語の一部の第1の文字に対応する区域から開始すればよく、さらに好ましくは、最終的には前記単語/単語の一部の1つまたは複数の中間文字に対応する区域を通過しながら、前記単語/単語の一部の最後の文字に対応する区域で終了すればよい。前記単語/単語の一部に対応する情報の入力は、前記使用者が前記面/感応性パッドから前記指(または前記物体)を外した(例えば持ち上げた)ときに終了する。使用者の話声は、前記対応する一掃動作が終了する前に終了するが、システムは前記全ての対応する一掃動作を考慮することができることが理解されよう。
本発明の別の実施例によれば、単語/単語の一部を入力するため、使用者はその単語を話しながら、入力対象の前記単語/単語の一部の全ての文字に対応する区域/キーの上に指を一掃(1つ以上の続き文字が同一区域/キーで表されていれば、それ相応に、前記同一区域/キーの上を幾つかの異なる方向に一掃)させてよい。図56aを参照すると、例えば「for」という単語/単語の一部を入力するには、使用者はその単語を言いながら、例えば指またはペンを、文字「f」、「o」及び「r」にそれぞれ対応している区域/キー5612、5614及び5611上で一掃(多方向の矢印5615で示している)すればよい。次いで使用者は、前記面(例えば、感応性パッド)から指を持ち上げ、システムに対し前記単語/単語の一部に対応する情報入力の終了を知らせる。
本発明の別の実施例によれば、より迅速な相互作用を期して、単語を入力するために使用者は、入力対象の前記単語/単語の一部のいくつかに対応する区域の上で指を一掃してもよい。図56bを参照すると、例えば「for」という単語/単語の一部を入力するには、使用者はその単語を言いながら、例えば指またはペンを、区域5622,5621(矢印5625で示している)の上で、区域5622(例えば文字「f」に対応している)から開始して、文字「o」に対応している区域5624を通過せずに、区域5621(例えば文字「r」に対応している)で終了するように一掃してもよい。
感応性パッド上の一掃手順の、従来の非感応性キー(例えば、従来の電話のキーパッドのキー)の押し/解放動作に対する利点は、一掃手順を使えば、使用者は、単語/単語の一部の文字のいくつか(または全て)に対応する区域/キー上の一掃を終了した後にのみ、前記感応面から指を持ち上げてよいことである。対応する一掃動作を終える前に、使用者が前記部分を話し終えたとしても、システムは、対応する一掃動作全体(例えば、使用者が最初に前記面の第1の区域/キーを触ったときから、使用者が前記面から指を持ち上げたときまで)を考慮する。 前記面を指で触る/一掃する及びそこから指を持ち上げることもまた、システムに対し、対応する話声(例えば、前記話声は前記タイム・リミットにほぼ収まることが好ましい)の開始点と終了点を知らせることになる。
要するに、本発明の一実施例によれば、一掃相互作用(例えば、少なくとも2つの文字を有する単語に対応する)の、前記相互作用に応答する所定数の区域/キーを有する面での軌跡は、以下の点(例えば、軌跡点)を備えることになり、前記点それぞれは前記単語/単語の一部の文字に対応している。
1)単語/単語の一部の最初の文字に対応している開始点
2)前記単語/単語の一部の(存在するならば)中間の文字に対応している一掃方向転換点(例えば、必須ではなく、2文字のみの単語には存在しない)、
3)前記単語/単語の一部p271((好ましくは、発音できる)末尾の)の追加文字に対応している終了点。
図57は、一例として、4つの区域/キー5701〜5704を有した面5700上の、「bring」という単語に対応する一掃動作の軌跡5705を示す。開始点5706はシステムに対し、前記単語の最初の文字は区域/キー5703に配置されていることを知らせる。他の3つの点/角度5707〜5709は、一掃動作の方向転換及び終了に対応し、システムに対し、前記単語は、区域5701,5704及び5702に割り当てられた文字のうち1つにより表される少なくともあと3つの文字を備えていることを知らせる。 好ましくは、前記単語内の前記文字の順序(例えば、この例においては「bring」)は、前記軌跡点の順序に対応する。方向転換に対応する前記角度は際立ったものではなく、湾曲形状などに形成されていることが理解されよう。図57aは一例として、単語「time」に対応した一掃軌跡(湾曲した角度5715を有した矢印5714で示す)を示す。この例においては、一掃動作は字「t」(例えば、キー/区域5711により提示される)、 「i」(例えば、キー/区域5712により提示される)、及び「m」(例えば、キー/区域5713により提示される)により行われる。使用者は、一掃しながら前記単語(例えば、この例においては「time」)を話すことが理解されよう。
本発明の軽く叩く/押す及び/又は一掃するデータ入力システムは、ある文字と、前記字で開始していて発音が類似している単語どうしの紛らわしさを大幅に低減する。記述したばかりの原則に基づいて、例えば、字「b」、及び、単語/単語の一部である「be」及び「bee」を入力するには、以下の手順を考慮することができる。
−文字「b」を入力するには、図58aに示すように、使用者は通常通り、文字「b」に対応する感応区域/キー(例えば、この例においては区域/キー5801)を、その字を発音しながら1度押し/触れ(一掃せずに)ればよい。
−単語/単語の一部「be」を入力するには、図58bに示し前述したように、使用者は前記単語/単語の一部を発音しながら、字「b」に対応する区域5811から開始して、字「e」に対応する区域5812を通過/そこで終了しながら、感応面5810上を一掃すればよい。矢印5813は、対応する一掃経路/軌跡を示す。
−単語/単語の一部「bee」を入力するには、図58cに示し前述したように、使用者は前記単語/単語の一部を発音しながら、字「b」に対応する区域5821から開始して、(例えば、最初の)字「e」に対応する区域5822上を通過/一掃し、(例えば、2番目の)字「e」に対応する同じ区域5822上で一掃方向を転換しながら感応面5820上を一掃すればよい。同一区域/キー上に軌跡点が2つあることは、(例えば、この例においては中間点と終了点)、システムに対し、前記単語/単語の一部の少なくとも2つの字が、前記区域/キーに配置/割当てられており、前記単語/単語の一部内の前の区域/キーに対応した文字の後に配置されていることを知らせる。矢印5823は、対応する一掃経路を示す。
図示したように、一掃方向の各方向は、単語の中の対応する追加文字に対応している。区域から区域へ一掃しているうちに、使用者は意図せぬ区域を通過するかもしれない。例えば、前記区域への一掃軌道が顕著なものでなかった場合(例えば、図58cの区域/キー5825内の一掃経路5824参照)、及び/又は、前記区域に角度(例えば、方向転換)がなかった場合は、システムは前記通過を考慮しない。混乱を減らす及び/又は取り除くために、区域5826などの横断(例えば中立)区域が考慮されてもよい。
前述したように, 本発明の文字ごとのデータ入力システム及び、本発明の単語/単語の一部ごとのデータ入力システムは併用されてもよい。さらに本発明の一掃及び押しの実施例を組み合わせてもよい。例えば、「stop」などの単語を書くには、使用者は「s」と「top」という2つの部分に分けて入力してもよい。文字「s」を入力するには、使用者は文字「s」に対応する区域/キーを、前記文字を発音しながら、(一度)触れる/押す。次いで、部分「top」を入力するには、使用者は前記部分を発音しながら、上述した本発明の一掃手順の原則に従って、対応する区域/キーの上で例えば指を一掃(例えばドラッグする)すればよい。
感応面の区域/キーへの偶発的な接触という紛らわしさを低減または取り除くため、触知機能に加えて、各区域/キーに、クリック/重圧システム(従来の携帯電話キーパッドのキーに配設されているような)別の機能を配設してもよい。この場合、例えば、1個の記号を入力するには(例えば、本発明の文字ごとのデータ入力システムに従って)、使用者は前記記号を入力するために、対応する区域/キーに僅かに触れるというよりも、もっと強く押す。本発明の単語/単語の一部ごとのデータ入力システムに進むために、使用者は前述したような一掃手順を、例えば指を対応する区域/キーの上で僅かに(例えば僅かな圧力を用いて)一掃することにより、用いることができる。
単語/単語の一部が1つの区域/キーで表された文字を含んでいれば、前記単語/単語の一部を話しながら、使用者は例えば指を前記区域/キー上で、何度か続けて異なる方向に(例えば、少なくとも1方向に、そして最大でも、前記単語/単語の一部を構成している字数(n)−1に等しい数の方向(例えばn−1方向)) に一掃してもよい。例えば、単語「you」を入力するには、図59aに示すように、前記単語を話すことに加えて、使用者は、システムに対し、前記単語/単語の一部のうち少なくとも2文字が前記区域/キーに割り当てられていることを知らせるために、区域/キー5901上で(例えば、好ましくは、一つの真直ぐ/ほぼ真直ぐな方向5902に)指を一度軽く叩いてよい(本発明の一実施例によれば、1つのみの文字の入力は前記区域/キー上を軽く叩くことによって表される)。同じ単語を、システムに対しより多くの情報を与えながら入力するには、図59bに示すように、前記使用者は、前記単語/単語の一部に対応する少なくとも3つの文字(例えば、この例においては、単語「you」を構成している全ての字)に対応している区域/キー5911上を、前記区域/キーから指を外さず(例えば持ち上げず)に(例えば、この例においては、3つの軌跡点、すなわち、1つの開始点、1つの中間点、1つの終了点を提供している)、2つの連続した異なる方向5912、5913に指で一掃してよい。
前述のように、単語/単語の一部を入力するには、使用者は前記単語/単語の一部を話し、単語/単語の一部の対応する記号(例えば、字)を表した区域/キーの少なくとも一部を、指などの物体で一掃してよい。本発明の一実施例によれば、好ましくは、使用者は、前記単語/単語の一部の最初の字、(例えば、存在するならば)中間の字の少なくとも1つ、及び最後の字を表した区域/キーを一掃してよい。 好ましくは、交換と考えられた最後の文字は、単語/単語の一部の中の最後の発音可能な音素である可能性がある。例えば、「write」という単語で、交換される最後の文字は、文字「e」(例えば、この例においては、文字「e」は発音されない)というよりは文字「t」(例えば、発音可能である)であると考えられる。希望により、使用者は文字「t」及び「e」両方に従って一掃してもよいことが理解されよう。
別の例によれば、使用者は単語/単語の一部の最初の文字、及び前記単語/単語の一部の残りの子音のうち少なくとも1つに従って一掃することができる。例えば, 「force」という単語を入力するには、使用者は文字「f」、「r」及び「c」に従って一掃すればよい。
1つの単語を少なくとも2つの部分に分けて入力するには、本発明の一実施例によれば、使用者はまず、前記区域/キー上を前記最初の部分に従って、前記部分を話しながら一掃(例えば、指を使って)する。次いで使用者は、システムに対し、前記部分(例えば、この例においては最初の部分)の入力が終了したことを知らせるために、感応面から指を持ち上げ(例えば外す)ればよい。使用者は次いで、同じ原則に従って次の部分(など)の入力に進む。単語の末尾で、使用者は、スペース・キーを押し/触れるなどの動作を与えてよい。
1つの単語を少なくとも2つの部分に分けて入力するには、本発明の別の実施例によれば、使用者はまず、前記区域/キー上を前記最初の部分に従って、前記部分を話しながら一掃(例えば、指を使って)する。次いで使用者は、(感応面から指を持ち上げず/外さずに)、同じ原則に従って次の部分(など)の入力に進む。単語の末尾で、使用者はシステムに対し、前記単語の全ての入力が終了したことを知らせるために、感応面から指を持ち上げ(例えば外す)ればよい。次いで使用者は、スペース・キーを押す/触れるなどの動作を与えてよい。本実施例では、前述のように、書き込み面から指を持ち上げることが、単語全体の入力の終了に対応する。したがって、前記単語の前後にスペース文字が自動的に与えられることになる。
好ましくは、区域/キー一掃の順序、及び、必要ならば、前記区域/キー内の異なる方向は、対応する単語/単語の一部内の対応する文字の位置の順序に対応していてよい(例えば、左から右、右から左、上から下、といったように)ことが理解されよう。例えば、単語/単語の一部を英語で入力しているときに使用者は、前記単語/単語の一部内で左から右に配置された文字に対応して及び/又は従って区域/キー上を一掃してよい。別の例では、 単語/単語の一部を例えばアラビア語またはヘブライ語を入力しているとき、使用者は、前記単語/単語の一部内で右から左に配置された文字に対応して及び/又は従って区域/キー上を一掃してよい。前述のように、さらに、前に説明したように、使用者は、前記単語/単語の一部の全ての文字に従って/対応して区域(及び方向)を一掃してもよいし、または、前記単語/単語の一部の一部の文字に従って/対応して一掃してもよいことが理解されよう。
前述したように、本特許出願及び本発明者により以前に提出された特許出願に記載されたシステム、方法、特徴の一部又は全てが、異なる実施例/製品をもたらすために組み合わされてもよい。例えば、前述したように、(例えば、本発明の一掃データ入力を用いて)ある単語を部分ごとに入力した後で、部分の各入力に対して複数の関連文字連鎖が、システムにより選択されてよい。この場合、前述したように、前記選択の異なる集成が提供され、単語辞書中の単語と比較されてよい。前記集成が前記辞書の複数の単語と対応した場合、それらは、最も頻繁に使われる単語から始まって最も頻繁に使われない単語へと、使用頻度に従って使用者に提示される。この事項については、前に詳細に記載している。
本発明の自動スペーシング手順は、本発明の一掃方法を用いたデータ入力システムに適用されてもよい。
前述のように、異なる自動スペーシング手順が考慮され、本発明のデータ入力システムと併用されてよい。本発明の(前述された)一実施例によれば、各単語/単語の一部は、以下に記載のもののように、特殊なスペーシング特性を有していてよい。
−単語の一部は、好ましくはデフォルトとして、先行の単語/単語の一部に付けられる種のものである(例、「ing」、「ment」、「tion」等)
−単語の一部は好ましくは、先行の単語/単語の一部に付けられ、さらには、自らに付けられる次の単語/単語の一部をも必要とする種のものである。(例えば、「information」という単語における「ma」)
−単語の一部は、先行の単語/単語の一部に付けられることのない独立して意味を持つ単語である。デフォルトとして、スペース文字が前記単語/単語の前または後に自動的に入れられるが、例外は例えば、使用者または語句の文脈が、前記先行の/次の単語/単語の一部にそれを付けることを必要とする場合である。(例えば「for」や「less」)
−別段定めない限り、字、数字、句読点等の単一文字は(例えばデフォルトとして)、先行の/次の単語/単語の一部に自動的に付けられると考えられる。
本発明の一実施例によれば、本発明の文字ごとのデータ入力システムに基づき、字のような単一文字の入力は、話声あり/話声なしと組み合わせた、触知表面の対応する区域/キーを押すこと/軽く叩くことに対して割り当てることができ、さらに、単語/単語の一部の入力は、前記単語の先頭文字が割り当てられている区域/キーへの一方向の一掃動作(例えば、ほぼ真直ぐな方向)をしながら、前記単語/単語の一部を話すことに対して割り当てることができる。例えば、 字「z」を入力するには、前記字を発音しながら、使用者は前記字「z」が割り当てられているキーを(一掃はせずに)押し/触れればよい。「zoo」という単語/単語の一部を入力するには、前記単語/単語の一部を発音しながら、使用者は、前記の字「z」(例えば、単語「zoo」の先頭の字に対応する)が割り当てられている区域/キーを一掃すればよい。このことは、文字入力手順又は単語/単語の一部入力手順という使用者の意図を、システムが容易に理解することを可能にする。
既に記載及び/又は示したように、本発明のデータ入力システムは、本発明者により提出された特許出願に記載の原則に基づく多くの実施例を提供する。前記原則に基づき、かつ本発明の異なる実施例に従って、例えば、異なる個数のキー及び/又は異なるキーマップ(例えば、キーパッド上の記号の異なる配列)を有した異なるキーパッドが考慮されてもよい。電子装置は前記異なるキーパッド及び/又は異なるキーマップのうちいずれかを必要とする、複数の前記実施例を備えていてもよい。前記キーパッド及び/又はキーマップを同一の電子装置内に配設することを可能にするため、 物理的及び/又は仮想キーパッド及び/又はキーマップを配設してもよい。
本発明の一実施例によれば、電子装置上の本発明の現実施例による異なるキーパッド及び/又はキーマップは、前記電子装置の表示ユニット上に自動的に配設されてよい。使用者は、例えば必要に応じて、または自らの好みによって、前記電子装置内にある異なる実施例群から一実施例を選択することができる。このため、前記使用者により、前記実施例のうち一つを選択し、それに沿って対応するキーパッド及び/又はキーマップを選択するために用いられることができるモード(例えば)などの手段を、前記電子装置内に配設してもよい。
別の実施例によれば、例えば、キーパッド 及び/又はキーマップを印刷するために電子装置の表示ユニットを使用するかわりに、前記装置のキーパッドのキー(例えば、前記電子装置が電話ならば、そのキーパッドのキー)が、前記キーパッドのキーのうち少なくともいくつかの上に異なるキーマップを表示するために用いられてもよい。この目的のため、前記キーパッドの前記キーは、電子的に修正可能な印刷キーキャップ(例えば、キー表面)を備えていてよい。
さらに、別の実施例により、また、前の実施例を参照し、電子的に修正可能な印刷キーキャップを有するキーパッドを使用するかわりに、対応するデータ入力実施例による異なるハード・キーマップを配設して前記電子装置に配備してもよい。図60は一例として、物理的キーキャップ(通常、携帯電話の製造業者によりゴム素材で製造されている)に対応したいくつかの空洞(例えば、穴6001など)を有した交換可能な携帯電話(例えば前面)カバー6000を示す。前記携帯電話及び交換可能なカバーに加えて、本発明の関連する実施例に対応した異なる交換可能なハード(例えば、物理的)キーマップ(例えば、キーマップ6011〜6013などの)を配設してもよい。データ入力システムの所望の実施例を選択したあとで、使用者は手で前記カバー(及び前記電話)内の対応するキーマップを交換してもよい。
異なる事前定義された区域を有した1枚のパッドのかわりに、前記区域に対応した異なる複数枚の事前定義されたパッド、タッチキー及び/又は押圧感応キーなどを配設してもよいことが理解されよう。また、本出願及び以前に提出された諸出願に記載されたような触知表面又は任意の別の指認識システム(光学走査など)と組み合わせた前記指に対して、前記記号群及び前記一掃動作を割り当てるために、使用者の指が用いられてもよい。同じ結果をもたらすために、例えば、2段階の圧力といったあらゆる種類の技術及び相互作用が、本発明の一掃データ入力方法の代わりに用いられてもよいことに留意するべきである。
さらに、任意の種類及び個数の、キーなどの物体を用いてよい。これらの事項は、本特許出願及び本発明者により提出された以前の特許出願に既に記載されている。
本発明の一実施例によれば、少数のキー及び前記キーの操作方式の代わりに、記号及びその配置(例えば、別の諸出願に記載された)を、使用者の少数の指、及び使用者の前記指の操作といった別の物体に割り当てることができる。前記使用者の前記指はキーパッドのキーに取って代わり、前記指の前記動作は、一度押し及び/又は二度押し、一掃手順等の異なるモードに取って代わる。前記指及び前記指の前記操作は、使用者の音声及び/又は唇の動きといった挙動とともに用いられてよい。前記物体を認識するための異なる認識システム(例えば、指、指の一部、指紋認識システム、走査システム、光学システムその他)及び、前記挙動を認識するための異なる認識システム(例えば、音声及び/又は唇認識システム)が、前述のように、及び以後述べられるように本発明の異なる実施例を提供するために用いられてよい。
本発明の一実施例により、及びデータ入力に4つのキーを用いるシステムの実施例を参照すると、4つのキーのかわりに、前記キーに割り当てられている記号を割り当てるために、使用者の4本の指を用いてもよい。また、例えば、光学認識システム及び/又は感応面といった手段が、前記指の相互作用/動作を認識するために用いられてもよい。例えば、「to」という字を入力するには、使用者は、表面に字「t」が割り当てられている自らの指の一本を、前記字を発音しながら軽く叩けば(例えば、一度叩き)よい。さらに本発明のデータ入力システムに基づき、使用者の話声を認識し、システムが正確な出力を供給するのを助けるために、音声認識システムといった別の認識手段が用いられてもよい。
(単語/単語の一部のデータ入力のための多方向釦又はトラック・ボールの使用)
単語/単語の一部を入力するために、少数の事前定義された区域/キーを有した触知表面/パッドを本発明の一掃手段と併用するかわりに、少数の(例えば4つの)事前定義された押圧区域/キーを有したトラック・ボール又は多方向釦といった別の手段を本発明のデータ入力システムに配設してもよい。そのようなシステムの原則は、本発明の前記一掃手順及び他のデータ入力システムに記載のものと同様である。
本発明の一実施例によれば、回転動作を有するトラック・ボールで、その回転動作は前記トラック・ボールの周囲の一群の事前定義された点/区域の方向に向いており、前記事前定義された点/区域それぞれに対し、本発明のデータ入力システムによる一群の記号を割り当てることができるトラック・ボールを、本発明のデータ入力システムと併用することができる。前述のように、前記システムの原則は、少数の事前定義された区域/キーを有した触知表面/パッドを用いた一掃手順に関して記載した原則と同様である。 これらの2つのシステムの違いは、トラック・ボールは前記触知表面/パッドに取って代わり、前記トラック・ボールの、前記事前定義された点/区域に向けた回転動作は、前記触知表面/パッドの前記事前定義された区域/キーへの一掃/押し動作に取って代わるということである。前述したような、少数の事前定義された区域/キーを有した触知表面/パッドへの一掃手順を用いた本発明のデータ入力システムの全ての記述は、前記トラック・ボールを用いた前記データ入力システムに適用できる。図61aは、例として、4つの事前定義された区域6101〜6104に向けて回転されるトラック・ボール・システム6100を示し、そこで、前記区域それぞれに対し、本出願及び本発明者により提出された以前の特許出願に記載された本発明のそれぞれ異なる諸データ入力システムによる、英数文字、単語/単語の一部等といった事前定義された記号群を割り当て、本発明の話声/非話声と組み合わせた押し/一掃データ入力システムの原則と併用することができる。前記トラック・ボールとの相互作用を高めるため、前記区域及びそれらに割り当てられた前記記号を表示ユニットに印刷してもよく、前記トラック・ボールは前記表示ユニット及び前記区域上でポインタを操作してもよい。別の方法によれば、前記トラック・ボールは各使用の前後において所定位置に位置合わせされ、前記トラック・ボールの中心はポイント標示6105によりマークされていてもよい。記号を入力するには、使用者はまず前記ポイントに指(例えば、親指)を置き、次いで入力対象の記号に従った方向に動き始める。
現実施例を引き続き参照すると、図61bに示すように、例えば[ram]という単語/単語の一部を入力するには、使用者はトラック・ボール6110を、文字「r」「a」及び「m」に対応している区域6111,6112及び6113に向けて回転させ、好ましくは同時に単語/単語の一部「ram」を話す。
本発明の別の実施例によれば、少数の(例えば4つの)事前定義された押し区域/キーを有し、前記区域/キーのそれぞれに、本発明のデータ入力システムによる一群の記号が割り当てられている多方向釦を本発明のデータ入力システムと併用してもよい。前記多方向釦は、2種類の情報を本発明のデータ入力システムに提供することができる。第1の情報は前記釦への押し動作に対応し、第2の情報は、前記押し動作が作用する前記釦のキー/区域に対応する。使用者は、前記記号(例えば最初の文字)に対応している前記釦の1つの区域/キーを、前記記号の話声あり/話声なしで押すか、または、前記記号の最初の文字に対応している前記釦の区域/キーを押して、前記キーを続けて押し位置に保ちながら、また好ましくは同時に前記記号を話しながら、前記釦の異なる区域/キーに指を一掃する(例えば一掃実施例で記載したように、前記記号が複数の文字を有している場合、前記記号を構成している文字に関するより多くの情報を提供するために)。前記記号の入力手順の終わりに、使用者は前記キーの引き続いた押し動作を解放してよい。前述のように、本発明の本実施例の原則は、少数の事前定義された区域/キーを有した触知表面/パッドを用いる一掃手順で記載したものと同様である。この2つのシステムの違いは、こちらでは、多方向釦が前記触知表面/パッドに取って代わり、前記多方向釦の前記事前定義された区域/キーへの一度の/繰り返した押し動作が、前記感応面/パッドの前記事前定義された区域/キーの一掃/押し動作に取って代わることである。前述のような、少数の事前定義された区域/キーを有した触知表面/パッドへの一掃手順を用いた本発明のデータ入力システムの全ての記載を、前記多方向釦を用いた本発明の現データ入力システムに適用することができる。図61cは一例として、ここで記載した多方向釦6120を示し、前記釦は4つの事前定義された区域/キー6121〜6124を備え、前記区域/キーのそれぞれに対し、本発明の異なるデータ入力システム(本出願及び本発明者により提出された以前の特許出願に記載された)に従って、英数文字、単語/単語の一部といった事前定義された記号群が割り当てられることができ、本発明の釦押し発声データ入力システムの原則と併用されることができる。
(複数の使用者インターフェースを有したコンピュータ/通信装置)
本発明の一実施例によれば、本出願の前の部分で記載され、図47a〜47iなどのいくつかの図に示すようなコンピュータ/通信装置は、少なくとも電話番号をダイアルするために、その一方の側にキーパッドを備えていてよい。前記キーパッドは標準的な電話型キーパッドであってよい。図62aは、前述のような少数のキー(ここでは、2つの列6201〜6202に配列されている)並びに関連した表示ユニット6203を用いた本発明のデータ/文書入力システムを備えた携帯型通信装置6200を示す。番号を離散的にダイアルするために、前記装置の反対側に配置された電話型キーパッドを考慮してもよい。図62bは、前記装置6200の背面を示し、前記装置の前記背面内には電話型キーパッド6211が一体化されている。使用者は、例えば従来のように番号をダイアルしたり、選択メニューなどの別の電話機能を提供するためにキーパッド6211を用いてもよい。送信/終了キー6212〜6213などの別の電話機能キーも前記面に配設されてよい。前記データ/文書入力システムの表示ユニットから離して配置された表示ユニット6214も、番号をダイアルしたり受けたりといった電話機操作を印刷するためにこの面に配設されてもよい。前記装置内に一体化されている(前述したように)本発明のデータ/文書入力システムに関係した指示装置6215も、この面に一体化されていてよい。本特許出願及び本発明者により提出された以前の特許出願で前述したように、前記指示装置に関連した(クリック)キーは、前記指示装置に関連した前記電子装置の背面などの、別の面に配置されていてよい。
(手書きデータ入力システムを装備したコンピュータ/通信装置)
本発明の一実施例によれば、本発明のデータ入力システムに加えて、本発明のコンピュータ及び/又は通信装置は、少なくとも電話番号をダイアルするための手書き文字認識システムを備えていてよい。前記手書きシステムは、書き込み面への装置のペン先の音響/振動の認識に基づく手書きシステムなどの種のものであってよい。この事項は、2001年12月26日に提出された「ペン入力コンピュータ」(Stylus Computer)という名称のPCT出願に詳細に記載されている。手書き文字認識システムに基づくデータ入力は遅い。他方では、前記データ入力は離散的である。手書き文字認識システムは好ましくは、本発明の釦押し話声データ入力システムを備えた装置での短く離散的なデータ入力作業に使われことができる。図63aは、以前に説明し図47a〜47iといったいくつかの図に例示したようなコンピュータ及び/又は通信装置6300を示す。この例において、前記装置は6つのキー6301〜6306を用い、前述したように、前記キーのうち4つ6302〜6305(両端側の2つ)には、少なくともある言語のアルファベット(ひいては数値)文字を割り当てることができる。2つ別のキー6301及び6306は、句読点及び/又は機能(例えば、文書編集用の)うち少なくとも一部などの別の記号を備えていてよい。
前述のように、少数のキーを用いた本発明のデータ入力システムは非常に迅速かつ正確なシステムである。或る種の状況においては、一般に、電話番号をダイアルするといった短時間の努力が必要な際、使用者は離散的データ入力システムを使うことを好むであろう。通常、手書きデータ入力システムは非常に小型ではない触知表面(例えば、ディスプレイ/パッド)を必要とする。手書きデータ入力システムはさらに、前記面へ書き込むためのペンも必要とする。本発明者により発明された手書きデータ入力及び認識システムは概して前記感応面と前記ペンを必要としない。それは任意の装置に実装することができ、小型の装置では他の手書き文字認識システムと置き換えることはできない。
図63aを引き続き参照すると、本発明者により発明された手書き文字認識システムは、前記装置6300内に実装されていてよい。この目的のため、ペン先6307を、例えば前記装置の一端に配設してもよい。前記手書き文字認識システムに必要とされる少なくともマイクロフォンなどの別の形状構成が、前記装置6300内に実装されてもよい。光学センサに基づくシステム又は加速度計を用いたシステム等の、別の手書き文字認識システムが前記装置と併用されてもよいことが理解されよう。使用者は自らの都合により、前記データ入力システムを独立して、及び/又は互いに組み合わせて使用することができる。例えば、前記使用者は手書きデータ入力システムのみを用いて番号をダイアルしてもよい。他方では、前記使用者は本発明の釦押し話声データ入力システムを用いて文書を書き込んでもよい。前記システムは、文書を書くといったデータ入力中に組み合わせてもよい。例えば、文書を書いている最中に、使用者は、本発明の釦押し話声データ入力システムを用いて前記文書の一部を書き、手書きデータ入力システム (例えば、本発明者により発明された、音響/振動書き込みを用いた前記手書きシステムなど)に切り替えることができる。使用者は、ペン先で表面に書くことにより、又は、話声あり/話声なしで対応するキーを押すことにより、あるデータ入力システムから別のデータ入力システムに切り替えることができる。
前述したように、前記キーに割当てられた異なるキー配列及び異なる記号配置が、本発明の、釦押し発声あり/釦押し発声なしデータ入力システムに基づいた異なる実施例と共に考慮されてもよいことが理解されよう。図63bは、本発明の別の実施例による一例として、図63aの装置6300に類似した装置6310を示し、その違いは、こちらでは本発明のデータ入力システムは各両側6311,6312にある4つのキー(各側に1つずつの 追加のキーがあり、前記追加のキーそれぞれに対し、句読点文字及び/又は機能等の一群の記号を割り当てることができる) を用いるという点である。追加のキーがあることは、本発明のデータ入力システムにより多くの記号を考慮する一助となろう。このことは、別のキーに割り当てられた記号のうちいくつかを前記追加のキーに割り当てて、より少ない記号をシステムで使われるキーに割り当てることとなり、入力精度の向上をもたらす一助となろう。
本発明の別の実施例によれば、本発明の文字ごとのデータ入力システムと本発明の単語/単語の一部のデータ入力システムを容易に区別するために、単語/単語の一部が割り当てられたもう1つのキー群とは異なる一群のキーに、アルファベット文字を割り当てることができる。このことは、データ入力の精度を顕著に高めることができる。図63cは一例として、図63bの装置6310に類似した、各側に4つ(2x2)のキーを二組有した装置6320を示す。この例においては、キー6321〜6324は前記キー上に印刷されたアルファベット文字に相応に対応し、キー6325〜6328は前記キー上に印刷された文字で始まる単語/単語の一部に相応に対応していてよい。例えば、字「t」などの単一の字を入力するには、使用者はキー6321を押して前記字を話す。さらに例えば、単語の一部「til」を入力するには、使用者はキー6325を押して前記単語の一部を話す。
以前に記載し説明したように、前記キーの配列は、例えば、前記電子装置に無線又は有線で接続されることができる1つ又は複数の前記キーパッド内に配置された状態などの、前記電子装置から離れた配置をとることができることが理解されよう。さらに前述のように、 また他の段落で言及されるように、本発明のどの実施例においても、前記少数のキー、装置上でのそれらの配列、記号の前記キーへの前記割当て、及び、記号の前記キーとの相互作用への割当て、前記装置そのもの等は例として示したに過ぎない。当業者により別の変形形態が考慮され得ることは明らかである。
図63a〜63c及び図47b〜47dに示すように、本発明の一実施例によれば、本発明のデータ入力システムはペン形状をしていてもよいことに留意するべきである。さらに、前述したように、ペン形状コンピュータ/通信装置及びその形状構成は発明されており、2001年12月26日に提出されている「ペン入力コンピュータ」という名称のPCT出願に記載されている。本発明のペン形状装置は、前記「ペン入力コンピュータ」というPCT特許出願の形状構成とアプリケーションの一部または全てを備えていてよい。例えば、本発明のペン形状の装置は、その表面を覆った表示ユニットを有した円筒形状の装置であってよい。さらに、例えば、本発明のペン形状の装置は、前記「ペン入力コンピュータ」のものに類似した指示及びクリック装置及び手書き文字認識システムを備えていてよい。
本発明の一実施例によれば、本発明のペン形状の装置は、前記装置を使用者に、例えば使用者の服や耳につけることによって装着する装着手段を備えていてよい。図63dは一例として、図63aの装置6300などの電子装置の背面を示す。そこに示すように、前記装置内に、前記装置を例えば使用者のポケット又は使用者の耳に装着するための装着手段6331を配設してもよい。さらに、スピーカー6332を前記装着手段内に配設して、前記スピーカーを前記使用の耳の穴に近づけてもよい。さらに、本発明者により提案されるような指示ユニット6333を前記装置内に配設してもよい。
現実施例を引き続き参照すると、図63eに示すように、一例として、前記装置6340は、例えば前記使用者が歩行中又は運転中に手を使わずに会話ができるように、使用者の耳に装着されていてもよい。前記装置6340のペン型形状、前記装置及びその装着手段6343内での前記マイクロフォン6341及び前記スピーカー6342それぞれの位置が、前記マイクロフォン及び前記スピーカーを、使用者の口及び耳にそれぞれ近づけることを可能にする。前記マイクロフォン、スピーカー、又は装着手段は前記装置内の任意の別の位置に配置されてもよいことが理解されよう。
(表示ユニットを備えるために少数のキーを有した本発明の独立型データ入力ユニット)
本発明の一実施例によれば、説明して図55a〜55jに示した、本発明の少なくとも少数のキーを有した独立型データ入力ユニットは、表示ユニットを備えて、対応する電子装置に接続されていてよい。図64aは一例として、表示ユニット6401を備えた、前述した原則に基づいた独立型データ入力ユニット6400を示す。前記ユニット内にディスプレイを持つことの利点(特に、前記ユニットがペンダントとして携帯される場合の)は、例えば、使用者は前記電子装置(例えば、携帯電話)を例えばポケットに入れて、前記データ入力ユニットを用いたデータ入力/受信を、前記装置を介して行うことができることである。前記装置に接続されていることによって、使用者は、自らが入力(例えば、送信SMS)又は受信する(例えば、受信SMS)データを、前記データ入力ユニットの表示ユニットを見ることによって見ることができる。前記表示ユニットは任意の種類のものであってよく、異なるシステムに従って前記ユニット内に配置されていてよいことが理解されよう。例えば、図64bに示すように、本発明の独立型データ入力ユニット6410の表示ユニット6411は、前記データ入力ユニットの内側カバー6412内に配置されていてもよい。本発明の独立型データ入力ユニットは、対応する実施例で前述した形状構成(例えば、埋め込み式マイクロフォン)の一部または全てを備えていてよいことが理解されよう。
前述したように、少数のキーを用いた本発明のデータ入力システムは、PDA又はタブレットPCなどの任意の装置内に装着されていてよい。図65aは一例として、少数のキーを用いる本発明のデータ入力システムを備えた、タブレットPC装置6500などの電子装置を示す。本発明のデータ入力システムの原則に基づいたキー配列及び記号割当てが前記装置内に配備されていてよい。この例において、前記タブレットPC6500は、ある言語の少なくともアルファベット文字及びひいては数値文字を割り当てることができる4つのキー6501〜6504を備えていてよい。前記4つのキーに加えて、前記装置は、例えば少なくとも、句読点及び機能などの記号が割り当てられてよいキー6505〜6506などの追加のキーを備えていてよい。物理的キー(例えば、6501〜6506)の代わりに、仮想(例えば、ソフト)キーが前記タブレットPCの表示ユニット上に規定され、データ入力システムと共に使われてもよいことが理解されよう。本発明のデータ入力システム、キー配列、及び前記キーへの記号の割当てについては既に詳しく述べた。前記装置内に配設されている同じキー、すなわち追加のキーは、例えば前記装置の背面内に一体化されている指示装置と併用されてもよい。この事項に関しては、本発明者により提出された別の特許出願に詳細に記載されている。前記タブレットPCは、オン/オフ機能等の別の目的のための別のキー6507を備えていてよい。図65bは一例として、図65aのタブレットPC6500の背面を示す。示しているように、例えばデータ入力の安定性を高めるために、前記タブレットPCは、使用者により例えばデータ入力中に用いられる1つ又は複数のハンドル手段6511〜6512を備えていてよい。前記ハンドルは任意の種類のものであってよく、前記装置内の任意の位置(例えば、別々の側)に配置されていてよいことが理解されよう。前述したように、前記装置は、少なくとも指示及びクリックシステムを備え、前記システムの少なくとも1つの指示ユニット6513が前記装置の背面に配置されていてよい。前述のように、前記指示に対応するキーは、前記指示及びクリック装置の容易な操作を可能にするために(左手でも右手でも好きなように)、前記タブレットPCの前面(の便利な位置)に配置されていてよい。ある1つの設計では、前記タブレットPCは前記指示及びクリック装置を2つ備えていてよく、それらは前記タブレットPCのそれぞれ左側と右側に配置され、前記指示及びクリック装置の構成要素は互いに協働する。内蔵型マイクロフォン又は分離型有線/無線マイクロフォンといった任意の種類のマイクロフォンが、データ入力中に使用者の話声を受けるために用いられてよいことが理解されよう。これらの事項については既に詳細に説明した。さらに、本発明の独立型データ入力ユニットが前記電子装置と共に用いられてもよい。
さらに、少数のキーを用いた本発明のデータ入力システムは自動車、シミュレーション、ゲーム環境といった多くの環境で使われることができる。本発明の一実施例によれば、前記システムのキーは、車などの乗り物内に配置されてもよい。図65cは、本発明のデータ入力システムで使われる少数のキーを有した乗り物のステアリング・ホイール6520(この例では、前記ステアリング・ホイール6520の相対する側6521〜6522)を示す。本発明のデータ入力システム、キー配列、及び前記キーへの記号の割当てについては詳細に説明してきた。ここに示すように使用者は、運転中に文書などのデータを入力してもよい。この目的のため、例えば運転中、手で前記ステアリング・ホイール6520を持ちながら、運転者は、前記キーを押して相応に話しながら/話さずに、本発明の釦押し話声データ入力システムを使うことができる。内蔵型マイクロフォン又はブルートゥース・マイクロフォンのような有線/無線マイクロフォン等の任意の種類のマイクロフォンが、データ入力中の使用者の話声を受けるために用いられてよいことが理解されよう。さらに、前記キーへの任意のキー配列及び記号割当てが、飛行機などの任意の種類の乗り物内の任意の位置に考慮されてよい。
前述したように、本発明のデータ入力システム全体としての大きな利点、及び、特に少数のキーを用いた本発明のデータ入力システム(例えば、アルファベット文字及びひいては数値文字が2組の隣接したキーに配列された4つのキーの割り当てられている、及び、使用者は前記キーのうち1つを押すために、前記対になったキーのそれぞれに両手の親指それぞれを置くことができる)の大きな利点は、使用者はキーも表示ユニットも(頻繁に)見る必要なく迅速かつ正確なデータ入力をもたらすことができるということである。
入力認証のために対応するディスプレイを見ることが不可能/許可されていない環境 (例えば暗闇)及び状況(例えば運転中)では、入力された中で1つ又は複数の末尾の記号/語句情報を使用者に対して知らせるために、情報システムが使われてよいことが理解されよう。前記システムは、記号が本発明のデータ入力システムにより理解されるとシステムが前記記号を話す文字−話声TTSシステムであってよい。使用者は、例えば何の反応も返さないことによって前記認識された記号を確認することを要求される。また、例えば、認識された記号が間違った記号ならば、使用者は前記記号を削除するために削除キーを使うなどの事前定義された動作を与えることができる。次いで使用者は前記記号の入力を繰り返すことができる。
(ネットワークでの実施)
前述のように、本発明のデータ入力システムに関連した以前の特許出願において、本発明のデータ入力システムは、サーバ/メイン・コンピュータに接続された顧客端末を備えたローカル・エリア・ネットワーク・システムのようなネットワーク・システム内で実施されてもよい。本発明の一実施例によれば、前記ネットワーク・システムにおいて、前記端末は概して、処理能力のない小型装置か、又は最大でも限界のある処理能力を持つものである。対照的に、サーバ・コンピュータは強力な処理能力を有している。この場合、サーバ・コンピュータが、前記ネットワーキング・システムの端末によりサーバへ送信された情報を処理することができる。端末を使用することによって使用者は、本発明のデータ入力システムの原則に従い、記号の入力に関する入力情報(例えば、キー押し、話声)を前記サーバに送信することができる。 前記情報を処理して対応する記号を認識した後、サーバ・コンピュータは結果を前記端末の表示ユニットに送信する。前記端末は、前記情報を入力し前記サーバ・コンピュータに対し送信するために必要な、本発明のデータ入力システムの全ての形状構成(例えば、 キー配列、前記キーに割り当てられた記号、 少なくとも1つのマイクロフォン、カメラその他など)を備えていてよいことが理解されよう。図66は一例として、中央サーバ・コンピュータ6600に接続された端末/データ入力ユニット6601〜6606を示し、そこでは、異なるデータ入力ユニット/端末により入力された異なるデータ/文字の一部が対応するディスプレイに印刷されている。
上述の実施例は航空会社の飛行機などの多くの環境で使われることができる。最近の旅客機では、各乗客の座席には、通常前記座席の前面(例えば、通常前の座席の背面に配置され)に据え付けられ、限られた数のキーを有し、表示ユニットに接続されたリモート・コントロール・ユニットを備えている。前記リモート・コントロールは、内蔵型又は別個のマイクロフォンと組み合わせられていてよく、前記旅客機のサーバ/メイン・コンピュータと接続されていてよい。前記リモート・コントロールのかわりに、別のパーソナル・コンピュータ又はデータ入力装置を、前記サーバ/メイン・コンピュータに接続すること(例えば、前記座席内に設置されたUSBポートを介して)により用いてもよい。前述のように、前記装置は、例えば、本発明のデータ入力ユニット、PDA、携帯電話、又はノートブックであってもよい。これは、航空会社が自らの乗客に飛行中に提供する、最も魅力的な娯楽サービスとなり得る。乗客は文字を編集し、メッセージを送信し、インターネットを使い、又は、前記旅客機内の別の乗客とチャットすることができる。同様のシステムが、組織又は事業体(例えば、チェーン店のポイント・オブ・セールス)のネットワーク・システム内で実施されてもよく、そこで、本発明のデータ入力システムに基づいてデータ/文字を入力するために必要な形状構成(例えば. キー, マイクロフォン) を備えたデータ入力ユニットは、サーバ・コンピュータと関連付けて使われることができる。本発明の上述のデータ/文書入力システムは、 概して処理能力がない、又は限られた処理能力しかない端末機器による迅速かつ正確なデータ入力システムを可能にする。
少数のキーを用いた本発明のデータ入力システム(例えば、4つのキーを含み、少なくともアルファベット文字が前記キーに割り当てられている)は, 多くの状況において便利であり得る。前述したように、キーを用いるかわりに、使用者は、本発明のデータ入力システムの原則に基づき、例えば、データ/文書入力のための自らの音声と組み合わせた自らの顔/頭/目の動作を使ってもよい。本発明の一実施例によれば、この目的のため、少数のキーに割り当てる代わりに、本出願及び以前の出願に記載された記号(例えば、少なくとも、ある言語の実質的に全てのアルファベット文字)を、例えば使用者の頭の、例えば四方(例えば、左、右、前、後)への動作に割り当てることができる。記号配置の割当ては、キーに関して説明したものと同じでよい。例えば、文字「Q」、「W」、「E」、「R」、「T」及び「Y」が、使用者の頭の左への動きに割り当てられていれば、文字「t」を入力するには、使用者は頭を左に動かして「T」と言えばよい。同じ原則を、使用者の目の動作(例えば、左、右、上、下)に割り当てることができる。最後に挙げた例を参照すると、文字「T」を入力するには、使用者は目を左に動かして「T」と言えばよい。頭、目、顔その他の動作は、使用者の体に配設された、カメラ又はセンサ等の手段により検出されることができる。
キーを用いない上述の実施例は、限られた運動能力を持つ人々によるデータ入力に役立つことができる。例えば、目の不自由な人は、声と組み合わせた頭の動作を使えばよく、キー押しに指を使えない人は、声と組み合わせた目/頭の動作を使えばよい。
本発明の別の実施例によれば、前述したように、記号を少数のキーに割り当てる代わりに、前記記号を使用者の指の動作に割り当てることができる。一例として、図67は使用者の手6700を示し、そこで、前記使用者の手の4本の指6701〜6704 (例えば両手の2本の指)に対し、本発明の少数のキーに割り当てられた記号の配置に基づいて記号の配置を割り当てることができる。例えば、指6701の事前定義された動き又は手ぶりに対し、文字「Q」、「W」、「E」、「R」、「T」及び「Y」(又は前記文字で始まる単語/単語の一部)を 割り当てることができる。一例として、前記動きは、前記指を下方に動かすことであってよい。さらに例えば、文字「t」を入力するには、使用者は指6701を下方に動かして、 好ましくは同時に「T」と言えばよい。本出願及び以前に提出された出願に記載された本発明のデータ入力システムの原則に基づいて、任意の記号の配置を考慮することができ、任意の数の使用者の指に割り当てられることができることが理解されよう。
上述の実施例の引き続いた説明として、前記使用者の指の動作/手ぶりを検出するために、多くのシステムが考慮されてよい。例えば、使用者の指の動作は、前記指の、他の指と相関した位置により検出されることができる。 ある1つの方法によれば、図67に示すように、センサ6705〜6706 (例えば、ここでは指輪の形状)を、データ入力に使われる指6701〜6702に配設してもよい。一実施例によれば、使用者の指の動きは、例えば、前記隣接した指輪6705〜6706の摩擦に基づき前記センサにより感知された振動に基づき認識されることができる(例えば、前記指輪の表面は、前記指の下向きの動きと上向きの動きでは摩擦振動が異なるようなものとなっていることが理解されよう)。
別の方法によれば、センサ6707,6708は指輪型の手段 (又は使用者の指に取り付けた別の手段)に取り付けられていてよく、前記センサの互いに相関した位置付けが、指の動きを規定する。
ここで説明した指動作/手ぶり検出手段は、例として説明したに過ぎないことが理解されよう。光学検出手段などの別の検出手段が考慮されてもよい。
(単語のカテゴリー)
本発明の一実施例によれば、本発明の単語/単語の一部のレベルのデータ入力システムは、医学又は司法上環境などの事前定義された環境で使用されることができる。この場合、前記システムで、単語/単語の一部の大規模データベースを使う代わりに、前記環境に関連した単語/単語の一部の限定的なデータベースが考慮されてよい。このことは前記システムの精度と速度を顕著に増加させる。前記データベースから、単語/単語の一部は文字ごとに入力されることができる。
(暫定的な文字ごとのデータ入力のためのモード・キー)
本発明の一実施例によれば、文字ごとのデータ/文書入力及び単語/単語の一部のデータ入力と組み合わせた本発明のデータ入力システムでは、使用者が暫定的に単一文字を入力することをシステムに対し知らせるために事前定義されたキーを使うことができる。例えば文書入力中に、使用者は、本発明の単語/単語の一部のデータ入力システムの原則に従って文書の部分を、前記事前定義されたキーを押さずに入力することがある。システムはこの場合、前記使用者が押すキーに割り当てられた字を考慮しない。システムは、前記キー押しに割り当てられた単語/単語の一部を考慮するのみである。前記事前定義されたキーが、例えば前記文書入力と関連した別のキー押しと同時に押された場合、システムは前記キー押しに割り当てられた単一文字のみを考慮し、前記キー押しに割り当てられた単語/単語の一部のデータ入力を無視する。
(語句入力)
本発明の別の実施例によれば、前述したように、本発明のデータ入力システムは語句レベルの文書入力システムを備えている。例えば、語句全体を例えば、本発明の文字ごとのデータ/文書入力、及び/又は単語/単語の一部のデータ入力と組み合わせた本発明のデータ入力システムを用いて入力した後、システムは前記語句の認識された単語を解析し、前記言語の言語的特性/モデル及び/又は前記語句の意味に基づき、システムは前記語句の単語の一部を訂正、追加、又は差し替えて、間違いのない語句をもたらす。例えば、使用者が「let’s meet at noon」という語句を入力し、認識された単語が「lets meet at noon」だとすると、前記語句を解析して、システムは「lets」という語句を「let’s」という単語で置き換えて、「let’s meet at noon」という語句をもたらす。この実施例の利点は、本発明のデータ入力システムは高精度なシステムであるため、使用者は語句の入力中に発生したいくつかのエラーを訂正する心配をしなくて済むということである。システムは前記エラーを自動的に訂正する。語句の末尾に設けられた「.」又は改行コマンドなどの或る種の記号が、前記語句の終了点をシステムに対して知らせることが理解されよう。
(語句入力)
本発明の一実施例によれば、キーなどの物体に割り当てられた記号は語句を表す。例えば、一群の単語 (例えば、「Best regards」)が、1つのキー(例えば、好ましくは、文字「b」をも表しているキー)に対して割り当てられることができる。使用者は前記キーを押して、前記語句または前記語句の一部を話すなどの話声を提供して(例えば、この例においては、「best regards」と言いながら)前記語句を入力する。
(単一文字に対する、及び単語/単語の一部に対する異なるモード)
前述したように、本発明のデータ入力システムは、異なるモード(例えば、キーなどの物体との異なる相互作用)を用い、そこで前記モードのそれぞれに、前記物体に割り当てられた事前定義された一群の記号が割り当てられることができる。さらに前述のように、例えば、前記モードはキーへの短い/一度の押し動作、キーへの長い押し動作、キーへの二度の押し動作、指/目での短い/長い/2重の身振り等であってよい。
本発明の一実施例によれば、文字を超えるもの、すなわち語句を備えている単一文字、単語/単語の一部、語句その他は、異なるモードに対して割り当てられることができる。例えば、文字などの単一文字はキーへの一度の/短い押し動作に割り当てることができ、一方、少なくとも2文字を備えた単語/単語の一部は、キー(例えば、同一キー又は別のキー)への二度の押し動作又は長目の押し動作に割り当てることができ、又は、その逆もある(また例えば、少なくとも2文字を備えた単語/単語の一部は異なるキーへの一度押し動作に割り当てることができる)。さらに例えば、前述したように、話声(例えば、音声、唇)認識システムに紛らわしさを招いている単語/単語の一部の一部を、一つのキーへの二度押し動作に対して割り当てることができる。さらに異なる単一文字、単語その他を、1つのキーへの軽い、重い、又は二度の押し動作に割り当てることができる。さらに例えば、キーとの相互作用のモードに割り当てられている単一文字に紛らわしさを招かない単語/単語の一部を、前記キーとの相互作用の前記モードに対して割り当てることができる。相互作用の異なるモードに関しては、本出願及び本発明者により提出された別の特許出願に既に説明してある。
異なる事前定義された時間経過/圧力レベルが、押し動作/モードを規定するために考慮されることが理解されよう。例えば、キーへの短時間の押し動作(例えば、0.20秒まで)は、(そこへ第1の一群の記号を割り当てることができる)短時間押し動作として考慮され、長時間押し動作(例えば、0.20を超えて0.40秒まで)は、(そこへ第2の一群の記号を割り当てることができる)長時間押し動作として考慮され、さらに長い押し動作(例えば、0.40秒を超えた)は繰り返し手順(例えば、前述した)を割り当てることができる別のモードとして考慮される。例えば、文字「a」を入力するには、使用者はキーを短時間押し、(その場合文字「a」は前記キーに割り当てられ、前記相互作用は前記キーに割り当てられている)「a」と言う。使用者は、例えば、「ai」という単語/単語の一部を得るために前記キーを長時間押して「a」と言う(例えば、その場合単語/単語の一部「ai」は前記キーに割り当てられ、前記相互作用は前記キーに割り当てられている)。使用者は前記キーを押して「a」と言い、前記キーを押し位置に必要なだけ保持して(例えば、さらに長い時間の間)文字「a」を繰り返し入力する。文字「a」は、使用者が前記キーを解放するまで(前記押し操作を停止するまで)繰り返される。
前述したように、スペース文字を備えた単語(例えば、前記単語の前後に)を、本発明のキーなどの物体との相互作用のモードに割り当てることができる。本発明の一実施例によれば、キーとの相互作用の前記モードは、説明したような、前記キーの前記長目の/重い押し動作である。
(バックスペース)
既に入力した単語/単語の一部を削除するバックスペース手順については、本出願で前に説明した。別の実施例によれば、少なくとも一種類のバックスペース手順を少なくとも相互作用の1つのモードに対して割り当てることができる。例えば、バックスペース・キーを配設して、前記前記キーを押すことにより、少なくとも1つの所望の話声、単語/単語の一部、語句その他を削除することができる。例えば、前記キーの各一度の押し動作は、前記出力後のカーソル位置前の1つの話声に対応する出力を削除することができる。例えば、使用者がある手順に従って「call」及び「ing」という単語/単語の一部を入力したとすると、使用者は例えば、前記キーを一回一度押しすることにより最後の話声「ing」を削除することができる。前記キーをもう一回一度押し動作すると、もう1つの話声に対応する出力「call」を削除することができる。 事前定義された手順に従って、例えば、前記キーの一度/二度押し動作で単語全体「calling」を削除することができる。このような本発明のバックスペース手順の原則に基づき、当業者により多くの事前定義された削除手順が考案されることができよう。
(小型化キーボード)
小型化キーボードは小型/携帯電子装置で使われる。前記キーボードの使用での主な不都合は、キーが小さくて互いに接近しているので、使用者の指でキーを押すと前記キーを誤って押すことがあるということである。PDAでは通常前記キーボードをペンで押すようになっているのはそのためである。本発明のデータ入力システムは前記欠点をなくすることができる。本発明のデータ入力システムはPC型の小型化/仮想キーボードを用いてよい。キーに当たりをつけて押すことによって、使用者が(例えば、隣のキーを押して)前記キーを誤って押したとしても、本発明の一実施例によれば、また、本発明のデータ入力システムの原則によれば、使用者は前記キーに対応する話声を話すことができる。使用者の話声が、押されているキーに対応しなかった場合、システムは前記キーが誤って押されたことを示唆する。そのときシステムは、隣のキーを考慮し前記話声が前記キーのうち1つに対応すると考える。本実施例を用いることにより、小型化キーボードは通常の使用者の指で、それらのキーボードを介して削除及びデータ入力の速度を上げるように使用されることができる。本発明のデータ入力システムの原則に基づく全ての形状構成及びシステムは、そのようなキーボードと共に考慮され使われることが理解されよう。例えば、本発明の単語/単語の一部データ入力システムも本実施例と共に用いることができる。
さらに前述のように、また、異なる実施例で説明されたように、本発明のデータ入力システムの原則は、前記少数である記号を事前定義された物体で事前定義された相互作用へと割当て、前記記号に対応する話声を使用/非使用することによって、前記少数である記号から1つの記号を選択することによって、多数である記号の中から事前定義された少数である記号を選択する(例えば、候補)ことである。
さらに前述のように、前記物体及び、前記物体との前記相互作用は任意の種類のものであってよい。前述のように、例えば、前記物体は使用者の体の一部(指、目、等)であってよく、前記事前定義された相互作用は、前記物体を、左、右、上、下等の異なる事前定義された方向に動かすことであってよい。
本発明の一実施例によれば、前記物体は電子装置であってよく、前記物体との前記相互作用は前記電子装置を事前定義された方向に傾斜させることであってよい。例えば、ある言語の文字、句読点、単語/単語の一部、機能等の、大きな記号群のうちの記号の一部を包含した前記異なる小さな記号群のそれぞれを、前記電子装置に適用された事前定義された傾斜/動作方向に対して割り当てることができる。そして、本発明のデータ入力システムの原則(前述のように)にさらに基づき、前記小さな記号群の前記記号のうち1つを、前記記号に対応する話声を与える/与えないことにより選択することができる。図68は一例として、携帯電話6800などの電子装置を示す。一例として、4組の記号6801〜6804を、前記装置に適用された異なる傾斜方向(例えば、左、上、右、下)6805〜6808に対して割り当てることができる。さらなる一例としては、文字「t」を入力するには、使用者は前記装置を右に傾けて、前記文字に対応する話声を発音すればよい(例えば、前記文字を言う)。本発明の傾斜システムの利点の一つは、システムはキーを一切使用しなくてよく、データ入力には一方の手を使用できるということである。このことは装置内に大型ディスプレイを提供することも可能にする。図68aは、本発明の傾斜データ入力システムを用いた電子装置6810を示し、そこで大型ディスプレイ6811が前記電子装置の少なくとも一つの面の表面を実質的に覆っている。キーの一度押し/二度押し動作などのモードがここでは、前記装置に適用される一度傾斜/二度傾斜方向/動作に置き換えられることが理解されよう。
(アポストロフィの処理)
本発明の一実施例によれば、アポストロフィを備えた事前定義された単語が作成され、1つ又は複数のキーに割り当てられて入力されることができる。例えば、「it’s」「we’re」「he’ll」「they’ve」「isn’t」等の単語を、少なくとも1つの事前定義されたキーに対して割り当てることができる。前記単語のそれぞれを、対応するキーを押して前記単語を話すことにより入力することができる。
本発明の別の実施例によれば、同じの目的のため、「’s」、「’ll」「’ve」、「n’t」などの(例えば略語)単語が作成されて1つ又は複数のキーに割り当てられることができる。前記単語は、それらの原型の発音で発音される。例えば、
「’s」は「s/is/has」と発音され、
「’re」は「are」と発音され、
「’ve」は「have」と発音され、
「n’t」は「not」と発音される、等。
前記単語は、例えば既に入力された前の単語/文字の終わりに付けられて入力されてもよい。例えば、「they’ve」 という単語を入力するには、使用者は2つの別々の単語「they」及び「ve」を、それらの間にスペースを設けずに入力する(例えば、本発明のデータ入力システムに従って入力)。前述のように、アポストロフィ(例えば、単語「not」の、「n’t」などの略語)を備えた単語に割り当てられる話声は、原型の単語と同じでよい。例えば、単語「n’t」と「not」は両方とも「not」と発音されてよい。この場合、前記単語それぞれを、同一キーへの異なる相互作用のモードに対して割り当てることができ、又は、それらのそれぞれを、別々のキーに対して割り当てることもできる。例えば、「not」という単語を入力するには、使用者は対応するキーを一度押して、(例えば、「not」という単語が割り当てられている前記キーとの事前定義された相互作用) 、「not」と言えばよい。使用者は、「n’t」という単語を入力するには例えば、同一キーを二度押して(例えば、「n’t」という単語が割り当てられている前記キーとの事前定義された相互作用)、「not」と言えばよい。本発明の別の実施例によれば、アポストロフィを備えた単語の一部/全てを、そのアポストロフィ句読点記号そのものが割り当てられたキーに割り当てることができる。
本発明の一実施例によれば、アポストロフィを備えた「’s」、「’d」などの単語の一部を、キー及び前記キーとの相互作用のモードに割り当てて、「s」や「d」など対応する文字として発音することができる。紛らわしさを防ぐために、前記キー又は相互作用の前記モードは、前記対応する文字に割り当てられたものと違うものとしてよい。
(4つのキーへの文字の配置)
前述のように、話声認識システムの精度を増すために、声門閉鎖発音を有した記号、(例えば、その1つを選択する話声認識に紛らわしさを招く)を、異なるキーに対して割り当てることができる。図69は、キーパッド6900の4つのキー6901〜6904へのアルファベット文字の割当ての別例を示す。それらを任意のキーに割り当てることができるものの、好ましくは、その1つの文字より多い文字を有した単語/単語の一部を、前記単語及び/又は前記単語の一部の最初の文字を表すキーに割り当てることができる。本例における文字の配列は、文字を備えた4つのキーを用いた本発明の文字ごとの文書入力システムの紛らわしさを排除するだけでなく、本発明の単語/単語の一部のデータ入力システムの紛らわしさをも顕著に低める。例えば、文字「n」及び「n」で始まる単語/単語の一部を、キー6903に割り当てることができる一方、文字「i」及び「n」で始まる単語/単語の一部を、キー6901に割り当てることができる。これは、例えば、「in」という単語(キー6901に割り当てられる)、及び「n」という単語(キー6903に割り当てられる)が、ほぼ同じ発音を有しているからである。 明らかに、前述したように、説明したとおりの原則に基づいた、キーへの別の記号の配置又はキーの別の数及び配列を、当業者ならば考察することができるであろう。
さらに、前述のように、別の例によれば、2つの記号の話声がほぼ同じ発音であり、前記記号が同一キーに割り当てられていてキーとの同種の相互作用(例えば、対応する話声と組み合わせた)により入力されたならば、紛らわしさを避けるために、前記記号の少なくとも最初の記号に、第2の記号とほぼ同じではない発音の別の話声を割り当てることができる。 例えば、「I」及び「hi」などの2つの記号(例えば、それぞれ、ほぼ同じ発音である文字と単語である)は、1つのキーに割り当てられていて、例えばキーの一度の押し動作により、それらを話しながら入力される場合、紛らわしさを回避するため、例えば、「hey」などの別の話声(「i」とは実質的に異なって発音される)を、記号(例えば、 単語)「hi」に割り当てることができる。
(タイプの速打ち)
少なくともアルファベット文字を4つのキーへ割り当てることの利点の一つは、前にも示したが、ここで図69aで示すのは、使用者は自分の二本の指(例えば、左と右の親指)6915,6916それぞれを、対応する2つのキーの列(例えば、この例においては、2つのキー6911〜6912、及び2つのキー6913〜6914)に置いて、前記指が前記2つキーに同時に触れるようにすることである。このことは、文書入力中に指がキーから離れない(又はめったに離れない)ようにさせ、それゆえ使用者には、どのキーを押すのかがキーパッドを見なくてもわかる。このことは前記使用者が動いているときに早いタイピングを可能にする。この目的のため、キーのサイズ、キー間の距離、前記キーの物理的特性といった別のパラメータは、上述の手順を最適化するようなものであってよいことが理解されよう。
前述したように、必要に応じて、キーの別の配置を考察してもよい。例えば、前記4つのキーを、前記文書を入力するのに使用者が一本の指のみを使う場合、使用者の指は前記4つのキーを同時に触れることができるような配置にすることが好ましい。 さらに、前記少なくともアルファベット文字が割り当てられた異なる事前定義された個数のキーを、異なる必要に応じて考慮してもよい。
前述し、図52などの図で実証したように、本発明のデータ入力システムに、多方向キーを用いてもよい。さらに、前述のように、本発明のデータ入力システムとともに、異なる個数のキー、キーの異なる種類/配置を使用することを考慮してもよい。 さらに前述のように、ある言語のアルファベット文字又は文書文字を、例えば本発明のデータ入力システムで使われる4つのキーに対して割り当てることができる。図69bは一例として、二つの多方向(例えばこの例においては4方向の)キー6927〜6928を有した電子装置6920を示し、そこでそれらの4つのサブ・キー6921〜6924に対し、ある言語のアルファベット文字が割り当てられている。データ(例えば文書)入力のための電子装置の2つの面上の4つのキーの配列と使用については以前に記載しており、図63bなどの代表的な図により示している。
(伸張可能なフレキシブル・ディスプレイ・ユニットを有した装置)
前述のように, 本発明の一実施例により、OLEDなどのフレキシブル・ディスプレイと、本発明のデータ入力システム及びその形状構成を備えた装置をもたらしてもよい。図70aは一例として、フレキシブル・ディスプレイ・ユニット7000を示す。前記表示ユニットは、例えばその一端7001で前記ユニットを丸めることにより縮めることができる。前記ディスプレイは巻きを戻すことにより広げることができる。図70bは、フレキシブル・ディスプレイ・ユニット7011を備えたコンピュータ/通信ユニット7010などの電子装置を示す。前記電子装置は本発明のデータ入力システム及び本発明のキー配列を備えていてよい。この例において、前記装置は、前記キー7012〜7013を配置した2つの区域7018〜7019を備えている。前記装置の構成要素は、前記装置7010の前記区域7018,7019のうち少なくとも一方に実施されていてよい。前記2つの区域は有線または無線で互いに接続されていてよい。さらに前記表示ユニットの少なくとも一部が前記装置の前記2つの区域7018〜7019の少なくとも一方に配置されて(例えば丸められて)いてよい。前記装置の前記2つの区域は、事前定義された距離又は使用者が所望する任意の距離(例えば、最大距離は前記表示ユニットの最大長さの関数であってよい)で互いに伸張してもよいし、縮めてもよい。この例において、前記2つの区域は例えば、互いに対して程よい距離である。前記2つの区域を互いに対して伸張させることにより、前記表示ユニットもまた伸張されることができる(例えば、広げることにより)。使用者は、前記2つの区域7018−7019それぞれを自分のそれぞれの手に保持し、前記区域それぞれのキー7012〜7013を対応する手で使って、例えば本発明のデータ入力システムにより、前記装置7010及び前記装置の前記表示ユニット7011にデータを入力する。図70cは、前記装置7010及び前記表示ユニット7011をもっと伸ばした位置で示す。少なくとも一つの釦などの手段が、前記区域を互いに対して解放する、及び/又は固定する、及び/又は縮めるために用いられてよい。これらの機能は釦及び/又はばねなどの手段により自動的にもたらされてもよい。前記機能は当業者には知られている。図70dは、閉じた状態の前記装置7010を示す。前述のように、前記装置は通信装置であってよい。この例では、前記装置は電話装置として用いられてよい。この目的のため、マイクロフォン7031、及びスピーカー7032が前記装置内(好ましくはその両端)に、前記マイクロフォンと前記スピーカーの間の距離が使用者の口と耳に対応するように配置されてよい。前記ディスプレイはフレキシブル・ディスプレイであるため、壊れやすいことがある。図70eに示すように、前記装置の前記ディスプレイを伸張した位置で保護するために、前記装置7010は多区域の、前記装置の前記2つの区域を伸張したり縮めたりする間、やはり互いに対して伸張し縮められる、例えば実質的に剛性の構成要素7041を備えていてよく、そのため、伸張した位置では前記区域は、前記ディスプレイ (不図示)が前記面に載る平坦面を提供する。前記構成要素は任意の種類のものであってよく、任意の伸張/収縮システムを備えていてよいことが理解されよう。さらに、前記表示ユニットは、たたむ/広げる、又は滑動させる/滑動を戻すなどの異なる方法により縮める/伸張させることができる。
本発明の一実施例によれば、図70fに示すように、丁度記載した装置のような電子装置7010は、内部に一体化した印刷/走査/コピーユニット(不図示)を備えていてよい。該装置は任意の幅であってよいが、前記電子装置の意匠(例えば、この例ではほぼA4用紙の高さがある)は、使用者が、編集済みの手紙などの文書のページを印刷するためにA4用紙7015を給紙することができるようなものであることが好ましい。
モバイル・コンピューティング/通信装置のための完全なソリューションを提供することは、多くの状況において極めて有用であろう。 例えば、使用者は手紙などの文書を下書きしてそれらを即座に印刷することがある。さらに例えば、セールスマンは顧客の契約を記したインボイスなどの文書を編集して即座に受け渡しできるために印刷するかもしれない。
別の実施例によれば、伸張可能な表示ユニットと本発明のデータ入力システムとを備えた折り畳み式の装置を考案することができる。前記ディスプレイは、OLEDディスプレイなどのフレキシブル・ディスプレイであってよい。図70gは、閉じた状態の前記装置7050を示す。図70hは、前記伸張可能な表示ユニット7051を備えた前記装置7050及び、前記データ入力システムのキー7053〜7054を示す。前記装置は通信能力を有していてよい。この例では、マイクロフォン7055とスピーカー7056が前記装置内の、好ましくは前記装置の異なる区域にそれぞれ配設されている。
本実施例及び関連した図面は例として説明され示されていることが理解されよう。本発明の原則に基づいた多くの別の実施例及び図面が、当業者により考案される可能性がある。
例えば、図70bを参照すると、前記表示ユニットを所望の長さに伸張させるときは、前記表示ユニットの前記伸張部分のみが前記装置により使われる。 例えば、前記装置のオペレーティング・システムなどのシステムが、前記表示ユニットの前記開けた(例えば、伸張した)部分への出力を管理し、指示する。 さらに、前記装置は、本発明者により提出された本特許出願及び別の特許出願に記載されたシステムの形状構成の少なくとも一部を少なくとも備えていてよい。
(着脱自在なデータ入力ユニット)
前述のように、タブレットPCなどの電子装置は、前記装置の前面に配置された本発明のキー配置、その背面に配置された指示装置等の本発明のデータ入力形状構成を備え、前記指示装置は少なくとも前記装置の前面へのキー入力を用い、逆もまた行う。さらに、前述したように、前記装置は、前記装置から使用者の口に向けて延出している、伸張可能なマイクロフォン/カメラを備えていてよい。前述したように、前記形状構成は、前記装置のための外部データ入力ユニットを構成することができる。図71aは一例として、タブレットPCなどの電子装置用の取り外せるデータ入力ユニット7100を示す。前記ユニットは2つの区域7101〜7102を備え、そこで前記区域それぞれは、前記装置に信号を供給するための本発明のキー配列になったキー7103〜7104を備えている。この例においては、前記区域7101、7102は、前記電子装置の両極端側に装着するように設計されている。前記区域のうち少なくとも1つは指示装置(例えば、図示しないマウス)を備え、前記取り外せるデータ入力ユニットが前記電子装置に装着されたとき、前記指示装置は前記装置の背面内に位置し、前記指示装置に関連した少なくとも1つのキー(例えば、前記キー配置になったキー)は前記装置の前面に位置しており、そのため、使用者は前記指示装置と、前記少なくとも1つの関連キー、及び/又は前記区域に配置されたキー配置を、少なくとも同じ手で同時に使うことができる。前記データ入力ユニットは、拡張可能部品7107内に配置された、使用者の話声を感知するための伸張可能なマイクロフォン7105 及び/又はカメラ7106をも備えていてよい。本発明のデータ入力ユニットの特徴については、前に詳細に説明した。前記データ入力ユニットの2つの区域7101〜7102は、前記ユニットを前記電子装置に固定するために、ベルト(例えばゴムバンド)71010などの手段によりそれぞれに装着されていてよい。前記データ入力ユニットは導線7108により前記装置に接続されていてよい。それは例えば、前記電子装置のUSBポートに接続するUSB構成要素7109により接続されていてもよい。前記データ入力ユニットは、無線で前記装置に接続されていてもよい。さらに、区域7101、7102は別個の区域であってよく、それらを電子装置に装着するかわりに、使用者はデータ入力のために例えばそれらそれぞれを一方の手に保持(例えば使用者の手はポケットに入れてあってもよい)してもよい。
前記データ入力ユニットを前記電子装置に装着する別の装着手段を考案してもよい。例えば、図71bに示すように、前記装置7100は前記目的のため、滑動及び/又は装着/分離部品7111〜7112を備えていてよい。
前記データ入力ユニットは任意の個数の区域を備えていてよいことが理解されよう。例えば、前記データ入力ユニットは、丁度記載した(例えば、キーパッドのキー、指示装置など)ような形状構成が前記区域内に一体化されている、1つのみの区域を備えていてよい。
図71cは、コンピュータ(例えば、タブレットPC)などの電子装置に装着/接続された前記データ入力ユニット7100を示す。そこに示すように、前記データ入力ユニットのキー7103〜7104は前記装置の両極端に配置されている。マイクロフォンが使用者の口に向けて延長され、指示装置7105(図示していないが、ここでは前記装置の背面又は側面にある)が前記データ入力ユニットの背面に配置されている(例えば、及び明らかに前記装置の背面に)。前記指示装置に対応した少なくとも1つのキー7126が、 前記データ入力ユニットの前面に配置されている。明らかに、前記指示装置及びその対応するキーは任意の極端側(例えば、左、右、下)に配置されてよい。さらに、複数の(例えば、2つであって、1つは左、もう1つは右に)指示及びクリック装置が使われてよく、前記複数の指示及びクリック装置は互いに協働してよい。使用者は両手で前記装置を持ち、同時に、本発明のデータ入力システムを用いて文書などのデータを入力するために、前記キー及び前記マイクロフォンを使うことができる。前記使用者は、前記指示装置とその対応するキーを同時に使うことができる。
前記データ入力ユニットは、前記タブレットPCなどの対応する装置に無線で接続されてもよいことが理解されよう。さらに、前記指示装置及び/又はそのキーは、前記電子装置の任意の面に一緒に又は別個に配置されていてよい。
本発明の一実施例によれば、OLEDディスプレイなどのフレキシブル・ディスプレイ ユニットを配設してもよく、そのため、閉じた状態では、前記表示ユニットは、装着者の手首に付けられる、又は、手首装着型装置のリストバンドに装着されて、ひいては前記装置に接続されるリストバンドの形状をしている。図72は一例として、手首装着型電子装置などの電子装置7210のリストバンド7211を示し、そこで閉じた状態の前記表示ユニットが前記バンドに装着されている。図72bは前記表示ユニット7215を取り外した位置で示す。図72cは、前記表示ユニット7215を開いた位置で示す。
本発明の一実施例によれば、実質的に類似した発音である文字/単語/単語の一部などの2つの記号の話声をシステムがより良く区別するのを助けるために、前記記号の最初の記号と実質的に類似しているが、別の記号にはあまり似ていない少なくとも1つの別の音素の組を、前記最初の記号に割り当てることができ、そのため、使用者が前記最初の記号を話声したとき、前記記号の音声認識システムによる認識の見込みが増す。例えば、文字「d」と「b」が同一の事前定義された相互作用に対して同一キーで割当てられていれば、音素の組「de」に加えて文字「d」の話声に対し、別の類似した音素の組「te」(この例では、文字「t」は別のキーに割り当てられている)をも割り当てることができる。他方では、音素の組「be」に加えて、別の類似した音素の組「pe」(この例では、文字「p」は別のキーに割り当てられている)をも割り当ててよい。文字「b」と「d」は実質的に同じ発音であるが、文字「t」(音素の組「te」)と「p」の発音は、より顕著に異なっている。例えば、使用者が文字「b」と「d」に対応するキーを押して「de」と言えば、システムは前記話声を誤って「te」と認識することがある。この場合、システムは前記キー押しと組み合わされた前記話声に割り当てられた文字を供給し、文字「d」を供給する。ここで挙げた例は、この実施例を説明するためだけであることが理解されよう。記載した原則に基づいた、音素/音素の組の、任意の文字/単語/単語の一部への割当てが、当業者により考案されることができよう。
本出願及び本発明者により提出された別の特許出願に記載されたシステム、形状構成、増強などは、本発明の全実施例に適用できる。さらに、本発明の一実施例は、個別に機能するか、又は、本発明の1つ又は複数の別の実施例と組み合わせて機能することもできる。
このように、本発明の基本的な新規形状構成を、その別の実施例へ適用した形で示し、説明してきたが、開示された発明の形式及び詳細という形での、種々の省略や置換及び変更が、本発明の真髄から逸脱せずに、当業者によりなされることが理解されよう。これは、本明細書に添付された特許請求の範囲によって示すところによってのみ限定されることを意図する。図面は必ずしも一定の縮尺で描かれたものではなく、その性質上概念的なものに過ぎないことを理解するべきである。
例えば、異なる実施例では電話型キーパッドを用いて本発明の異なる実施例を説明したが、明らかに、前記キーパッドに割り当てられた任意の種類の記号配置を、本発明の実施例で用いてよい。
本発明のデータ入力システムの原則を頻繁に繰り返さないために、本出願の多くの段落において、1つ又は複数の文字/単語/単語の一部/機能等の記号を1つのキー(又はキー以外の物体)に割り当てる(例えば、対応する)ことができることを述べている。記号は、多くの別の実施例に説明されたデータ入力システムの原則に従って事前定義された相互作用によりキーで入力されるはずであることが理解されよう。例えば、別段記載しない限り、前記記号は、前記キーへの一度押し動作(本発明の多くの実施例で説明されたように)であるような前記キーとの事前定義された最も簡単な相互作用により入力されることが好ましい。さらに、文字/音素の組/文字(字)の組/字の連鎖/など(例えば、一般に、話される記号)の記号の、キーへの割当てを説明した後の多くの段落において、前記記号を入力するための本発明のデータ入力システムの原則について繰り返すことを避けるために、前記原則には言及していない場合もある。別段記載しない限り, 明らかに、(本発明の多くの実施例で説明しているように)前記種類の記号(例えば、一般に、話される記号)は好ましくは、前記記号に対応する話声と好ましくは同時に組み合わされた、対応するキーへの対応する押し動作により入力されることを意図していることが理解されよう。
本出願の多くの段落において、「文字の集合」又は「文字の組」という用語は文字の連鎖を規定するために用いられていることに留意するべきである。
本発明の異なる実施例において、使用者の話声を感知し認識するために、音声認識システムが使用されることを述べ、意図してきたが、前記使用者の話声を感知し認識するために、前記音声認識システムの代わりに、又はそれに加えて、読唇システムが使用されてもよい。(逆もまた同様である)
本発明の一実施形態になるキーパッドを示す図である、 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である、 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になる訂正を行なうためのフローチャートを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるマウス付きキーパッドを示す図である。 本発明の一実施形態になるマウス付きキーパッドを示す図である。 本発明の一実施形態になるキーパッドと共に使用する数個の装置を示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるアンテナ付きキーパッドを示す図である。 本発明の一実施形態になるアンテナ付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるマイクロフォン付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイとPCの付いたキーパッドを示す図である。 本発明の一実施形態になるディスプレイとPCの付いたキーパッドを示す図である。 本発明の一実施形態になるディスプレイとラップトップコンピュータの付いたキーパッドを示す図である。 本発明の一実施形態になるディスプレイと表示画面の付いたキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なディスプレイ付きのキーパッドを示す図である。 本発明の一実施形態になる腕巻き式キーパッドと遠隔ディスプレイを示す図である。 本発明の一実施形態になる腕巻き式キーパッドと折り畳み可能なディスプレイを示す図である 本発明の一実施形態になる腕巻き式キーパッドと折り畳み可能なディスプレイを示す図である 本発明の一実施形態になる腕巻き式の折り畳み可能なキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になる折り畳み可能なディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になる延長アーム付きキーパッドを示す図である。 本発明の一実施形態になる延長アーム付きキーパッドを示す図である。 本発明の一実施形態になる延長アーム付きキーパッドを示す図である。 本発明の一実施形態になる延長アーム付きキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になる口片を示す図である。 本発明の一実施形態になるキーパッドと口片の組合せを示す図である。 本発明の一実施形態になる耳当てを示す図である。 本発明の一実施形態になる耳当てとキーパッドの組み合せを示す図である。 本発明の一実施形態になる耳当てを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になるサンプル音声認識を示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる音声認識チャートを示す図である。 本発明の一実施形態になる従前のキーボードを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーボードを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になるディスプレイ付きキーパッドを示す図である。 本発明の一実施形態になる標準的折り畳み紙を示す図である。 本発明の一実施形態になる標準的折り畳み紙を示す図である。 本発明の一実施形態になるキーパッドとディスプレイプリンタの付いた標準的折り畳み紙を示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイの付いた時計を示す図である。 本発明の一実施形態になる折り畳みキーパッドとディスプレイの付いた時計を示す図である。 本発明の一実施形態になるキーパッドとディスプレイの付いた閉蓋した時計を示す図である。 本発明の一実施形態になるキーパッドの付いた閉蓋した腕巻き時計の面を示す図である。 本発明の一実施形態になるキーパッドの付いた開蓋した腕巻き時計の面を示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるユーザの手に載せたキーパッドを示す図である。 本発明の一実施形態になるマイクロフォンとカメラを示す図である。 本発明の一実施形態になる折り畳みキーパッドを示す図である。 本発明の一実施形態になるキーパッド用のキーを示す図である。 本発明の一実施形態になるマウス上のキーパッドを示す図である。 本発明の一実施形態になるキーパッド上のマウスの下側を示す図である。 本発明の一実施形態になるイヤーフォンとキーパッド付きマイクロフォンを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイカバーを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるヘッドセット上のキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になる折り畳み可能なキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるキーパッドとディスプレイの背面側を示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるメインサーバ/コンピュータを介して接続した複数のキーパッドとディスプレイを示す図である。 本発明の一実施形態になるリングセンサの形をしたキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になるディスプレイを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドを示す図である。 本発明の一実施形態になるキーパッドとディスプレイを示す図である。 本発明の一実施形態になる可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付き可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付き可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付きの閉じた折り畳み式ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付きの開いた折り畳み式ディスプレイを示す図である。 本発明の一実施形態になるキーパッドとプリンタの付いた可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付きの閉じた折り畳み式ディスプレイを示す図である。 本発明の一実施形態になるキーパッド付きの開いた折り畳み式ディスプレイを示す図である。 本発明の一実施形態になるキーパッドとアンテナの付いた可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーボードとアンテナの付いた可撓性ディスプレイを示す図である。 本発明の一実施形態になるキーパッドと伸張式マイクロフォンの付いたディスプレイを示す図である。 本発明の一実施形態になる電子装置の腕バンドを示す図である。 本発明の一実施形態になる閉じた位置にある脱着可撓性ディスプレイを示す図である。 本発明の一実施形態になる開いた位置にある脱着可撓性ディスプレイを示す図である。

Claims (1)

  1. 複数のキーを規定しているキーパッドを備え、各キーは一群の記号からの少なくとも1つの記号を備え、前記一群の記号は、アルファベット記号、数値記号、及びコマンド記号のうち少なくとも1つを備えたサブグループに分割されており、各サブグループは使用者の指の少なくとも一部と関連づけられ、
    前記複数のキーのうち少なくとも1つのキーと交信する指認識システムを備え、前記少なくとも1つのキーは、第1のサブグループからの少なくとも第1の記号と、第2のサブグループからの少なくとも第2の記号とを有し、前記指認識システムは、前記使用者の指の前記部分と関連付けられたサブグループに対応している前記キー上で前記記号を選択するべく前記指が前記キーと相互作用するとき、前記使用者の指の前記部分を認識するように構成されている、
    データ入力システム。
JP2006513136A 2003-04-18 2004-04-19 移動体及び固定環境内でのデータ入力向上システム Pending JP2006523904A (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US46384403P 2003-04-18 2003-04-18
US46659403P 2003-04-30 2003-04-30
US46802803P 2003-05-05 2003-05-05
US47444703P 2003-05-30 2003-05-30
US47553303P 2003-06-03 2003-06-03
US48270603P 2003-06-26 2003-06-26
US48299803P 2003-06-27 2003-06-27
US49670203P 2003-08-20 2003-08-20
US50060203P 2003-09-05 2003-09-05
US50433103P 2003-09-19 2003-09-19
US51088503P 2003-10-14 2003-10-14
US53656404P 2004-01-14 2004-01-14
US55296804P 2004-03-11 2004-03-11
US55714004P 2004-03-26 2004-03-26
PCT/US2004/012082 WO2004095414A1 (en) 2003-04-18 2004-04-19 Systems to enhance data entry in mobile and fixed environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010117849A Division JP2010211825A (ja) 2003-04-18 2010-05-21 移動体及び固定環境内でのデータ入力向上システム

Publications (1)

Publication Number Publication Date
JP2006523904A true JP2006523904A (ja) 2006-10-19

Family

ID=33314666

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006513136A Pending JP2006523904A (ja) 2003-04-18 2004-04-19 移動体及び固定環境内でのデータ入力向上システム
JP2010117849A Pending JP2010211825A (ja) 2003-04-18 2010-05-21 移動体及び固定環境内でのデータ入力向上システム
JP2012205082A Pending JP2013042512A (ja) 2003-04-18 2012-09-18 モバイル装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2010117849A Pending JP2010211825A (ja) 2003-04-18 2010-05-21 移動体及び固定環境内でのデータ入力向上システム
JP2012205082A Pending JP2013042512A (ja) 2003-04-18 2012-09-18 モバイル装置

Country Status (8)

Country Link
US (1) US20070188472A1 (ja)
EP (1) EP1616319A4 (ja)
JP (3) JP2006523904A (ja)
AU (2) AU2004232013A1 (ja)
CA (1) CA2522604A1 (ja)
IL (1) IL171428A (ja)
PH (1) PH12012501762A1 (ja)
WO (1) WO2004095414A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262795B2 (en) 2014-10-17 2022-03-01 Semiconductor Energy Laboratory Co., Ltd. Electronic device

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7293231B1 (en) * 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
ES2202070T3 (es) * 1999-03-18 2004-04-01 602531 British Columbia Ltd. Entrada de datos para dispositivos informaticos personales.
CN100391103C (zh) * 1999-10-27 2008-05-28 菲罗兹·加萨比安 集成袖珍键盘系统
CA2323856A1 (en) * 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
WO2005109645A1 (en) * 2004-04-27 2005-11-17 Wildseed Ltd. Reduced keypad for multi-tap input
JP2006060585A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
JP2006091112A (ja) * 2004-09-21 2006-04-06 Nikon Corp 電子機器
KR100595694B1 (ko) * 2004-11-12 2006-07-03 엘지전자 주식회사 휴대용 단말기의 상용구 등록방법
US8552984B2 (en) * 2005-01-13 2013-10-08 602531 British Columbia Ltd. Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device
US7796118B2 (en) * 2005-05-24 2010-09-14 Microsoft Corporation Integration of navigation device functionality into handheld devices
US8072427B2 (en) 2006-05-31 2011-12-06 Research In Motion Limited Pivoting, multi-configuration mobile device
US7953448B2 (en) * 2006-05-31 2011-05-31 Research In Motion Limited Keyboard for mobile device
JP5166255B2 (ja) 2005-06-16 2013-03-21 ガサビアン,フィルズ データ入力システム
TWM280066U (en) * 2005-07-08 2005-11-01 Pchome Online Inc Internet protocol phone having stereo female connector
JP2007072578A (ja) * 2005-09-05 2007-03-22 Denso Corp 入力装置
US20070115343A1 (en) * 2005-11-22 2007-05-24 Sony Ericsson Mobile Communications Ab Electronic equipment and methods of generating text in electronic equipment
US20080126079A1 (en) * 2006-01-20 2008-05-29 Research In Motion Limited Handheld electronic device with automatic text generation
US7679606B2 (en) * 2006-03-24 2010-03-16 Research In Motion Limited Handheld electronic device including automatic preferred selection of a punctuation, and associated method
SG136817A1 (en) * 2006-04-13 2007-11-29 Malawalaarachchige Tissa Perer Keyboard for use in computer system
EP2038769A4 (en) * 2006-06-23 2012-03-07 Systems Ltd Keyless COMBINED DATA INPUT SYSTEMS
US7586423B2 (en) * 2006-06-30 2009-09-08 Research In Motion Limited Handheld electronic device and method for dual-mode disambiguation of text input
US7642934B2 (en) * 2006-11-10 2010-01-05 Research In Motion Limited Method of mapping a traditional touchtone keypad on a handheld electronic device and associated apparatus
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
CA2581824A1 (en) * 2007-03-14 2008-09-14 602531 British Columbia Ltd. System, apparatus and method for data entry using multi-function keys
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8593404B2 (en) * 2007-08-27 2013-11-26 Blackberry Limited Reduced key arrangement for a mobile communication device
KR101515064B1 (ko) * 2007-09-04 2015-04-24 삼성전자주식회사 휴대 단말기 및 그의 터치 키패드 표시 방법
KR101445196B1 (ko) * 2007-11-23 2014-09-29 삼성전자주식회사 터치 스크린을 가지는 휴대 단말기의 문자 입력 방법 및장치
SE532045C2 (sv) * 2007-12-18 2009-10-06 Tomas Brusell Anordning för tungkontrollerad generering och överföring av tangentbordskommandon
US8130200B2 (en) * 2008-01-14 2012-03-06 Benjamin Slotznick Combination thumb keyboard and mouse
CN101667092A (zh) * 2008-05-15 2010-03-10 杭州惠道科技有限公司 实时预测用户输入的人机界面
US8589149B2 (en) * 2008-08-05 2013-11-19 Nuance Communications, Inc. Probability-based approach to recognition of user-entered data
US20110134043A1 (en) * 2008-08-27 2011-06-09 Xing Chen Multi-state input system
IT1391493B1 (it) * 2008-09-29 2011-12-23 Castaldo Dispositivo di comando e controllo interattivo per un elaboratore elettronico
US20100088087A1 (en) * 2008-10-02 2010-04-08 Sony Ericsson Mobile Communications Ab Multi-tapable predictive text
CA2749916A1 (en) * 2009-02-04 2010-08-12 Benjamin Firooz Ghassabian Data entry system
US20110199307A1 (en) * 2010-02-12 2011-08-18 Huy Hai Dinh Keyboard and touchpad arrangement for electronic handheld devices
WO2011133107A1 (en) * 2010-04-19 2011-10-27 Eminent Group Pte Ltd Portable communication device paired with a remote computer
US20120036468A1 (en) * 2010-08-03 2012-02-09 Nokia Corporation User input remapping
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
WO2012098544A2 (en) 2011-01-19 2012-07-26 Keyless Systems, Ltd. Improved data entry systems
WO2012132291A1 (ja) 2011-03-29 2012-10-04 パナソニック株式会社 文字入力予測装置、方法、及び文字入力システム
JP5544336B2 (ja) * 2011-07-26 2014-07-09 京セラドキュメントソリューションズ株式会社 記号入力装置及びこれを備えた画像形成装置
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US20130225240A1 (en) * 2012-02-29 2013-08-29 Nvidia Corporation Speech-assisted keypad entry
CN103327154A (zh) * 2012-03-23 2013-09-25 联想移动通信科技有限公司 一种电话本排序方法及搜索方法
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
US9101336B2 (en) * 2012-08-25 2015-08-11 Sandra Ingold Medical symbol keypad
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
JP5966963B2 (ja) * 2013-02-15 2016-08-10 株式会社デンソー 文字入力装置、および文字入力方法
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US9268485B2 (en) 2013-04-30 2016-02-23 Microth, Inc. Lattice keyboards with related devices
KR101456974B1 (ko) * 2013-05-21 2014-10-31 삼성전자 주식회사 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법
KR102198175B1 (ko) * 2013-06-04 2021-01-04 삼성전자주식회사 모바일 단말에서 터치 스크린을 통해 수신되는 키 패드 입력을 처리하는 방법 및 이를 위한 장치
JP5785339B1 (ja) * 2013-10-25 2015-09-30 楽天株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
KR102182297B1 (ko) * 2014-01-13 2020-11-24 삼성전자 주식회사 지문을 인식하는 방법 및 이를 제공하는 휴대 단말기
CN105096935B (zh) * 2014-05-06 2019-08-09 阿里巴巴集团控股有限公司 一种语音输入方法、装置和系统
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
EP4365725A2 (en) * 2014-05-30 2024-05-08 Apple Inc. Continuity
EP4036685A1 (en) 2014-06-27 2022-08-03 Apple Inc. Reduced size user interface
TWI647608B (zh) 2014-07-21 2019-01-11 美商蘋果公司 遠端使用者介面
US9377871B2 (en) 2014-08-01 2016-06-28 Nuance Communications, Inc. System and methods for determining keyboard input in the presence of multiple contact points
US10534532B2 (en) 2014-08-08 2020-01-14 Samsung Electronics Co., Ltd. Electronic device and method for processing letter input in electronic device
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
EP4050467A1 (en) 2014-09-02 2022-08-31 Apple Inc. Phone user interface
CN104267922B (zh) * 2014-09-16 2019-05-31 联想(北京)有限公司 一种信息处理方法及电子设备
JP2018522239A (ja) 2015-07-14 2018-08-09 ドライビング マネージメント システムズ, インコーポレイテッド Rf無線信号および超音波信号を使用した電話の位置の検出
FR3048092A1 (fr) * 2016-02-23 2017-08-25 Jean Loup Gillot Terminal mobile de saisie de donnees textuelles
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10970481B2 (en) * 2017-06-28 2021-04-06 Apple Inc. Intelligently deleting back to a typographical error
FR3087566B1 (fr) * 2018-10-18 2021-07-30 A I O Dispositif de suivi des mouvements et/ou des efforts d’une personne, methode d’apprentissage dudit dispositif et procede d’analyse des mouvements et/ou des efforts d’une personne
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11468896B2 (en) 2019-06-12 2022-10-11 Nvoq Incorporated Systems, methods, and apparatus for real-time dictation and transcription with multiple remote endpoints
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
JPH037007U (ja) * 1989-06-09 1991-01-23
JPH1195792A (ja) * 1997-09-22 1999-04-09 Uniden Corp 音声処理装置および文字入力方法
JPH11184609A (ja) * 1997-12-22 1999-07-09 Ai Soft Kk 日本語入力装置、日本語入力部を有する電子機器および日本語入力制御プログラムを記録した媒体
JP2000035857A (ja) * 1996-02-19 2000-02-02 Misawa Homes Co Ltd 画面表示式キー入力装置
WO2001031788A1 (en) * 1999-10-27 2001-05-03 Firooz Ghassabian Integrated keypad system
JP2001517823A (ja) * 1997-09-25 2001-10-09 テジック・コミュニケーションズ・インコーポレーテッド 減少されたキーボード明瞭化システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57201926A (en) * 1981-06-05 1982-12-10 Hitachi Ltd "kanji" selecting method for "kanji" input device
US5644338A (en) * 1993-05-26 1997-07-01 Bowen; James H. Ergonomic laptop computer and ergonomic keyboard
JP3007007U (ja) * 1994-07-21 1995-02-07 章友 手島 入力装置
KR100402252B1 (ko) * 1995-07-26 2004-01-24 테직 커뮤니케이션 인코포레이티드 감축된 키보드 명료화 시스템
US5867149A (en) * 1995-08-14 1999-02-02 Intertactile Technologies Corporation Switch key image display and operator/circuit interface
US5790103A (en) * 1995-10-04 1998-08-04 Willner; Michael A. Ergonomic keyboard entry system
US5664896A (en) * 1996-08-29 1997-09-09 Blumberg; Marvin R. Speed typing apparatus and method
US6037942A (en) * 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6326952B1 (en) * 1998-04-24 2001-12-04 International Business Machines Corporation Method and apparatus for displaying and retrieving input on visual displays
JP2000056796A (ja) * 1998-08-07 2000-02-25 Asahi Chem Ind Co Ltd 音声入力装置および方法
US6359572B1 (en) * 1998-09-03 2002-03-19 Microsoft Corporation Dynamic keyboard
US6356866B1 (en) * 1998-10-07 2002-03-12 Microsoft Corporation Method for converting a phonetic character string into the text of an Asian language
JP2000151774A (ja) * 1998-11-09 2000-05-30 Matsushita Electric Ind Co Ltd 携帯通信情報端末装置
US6885317B1 (en) * 1998-12-10 2005-04-26 Eatoni Ergonomics, Inc. Touch-typable devices based on ambiguous codes and methods to design such devices
US6770572B1 (en) * 1999-01-26 2004-08-03 Alliedsignal Inc. Use of multifunctional si-based oligomer/polymer for the surface modification of nanoporous silica films
US6204848B1 (en) * 1999-04-14 2001-03-20 Motorola, Inc. Data entry apparatus having a limited number of character keys and method
JP4150987B2 (ja) * 1999-05-19 2008-09-17 恒 佐藤 携帯情報機器
US7286115B2 (en) * 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
DE60043008D1 (de) * 1999-05-27 2009-11-05 Tegic Comm Inc Tastatursystem mit automatischer korrektur
JP3304935B2 (ja) * 1999-10-29 2002-07-22 日本電気株式会社 日本語入力装置
US6445381B1 (en) * 2000-03-09 2002-09-03 Shin Jiuh Corporation Method for switching keypad
WO2001076120A2 (en) * 2000-04-04 2001-10-11 Stick Networks, Inc. Personal communication device for scheduling presentation of digital content
US7143043B1 (en) * 2000-04-26 2006-11-28 Openwave Systems Inc. Constrained keyboard disambiguation using voice recognition
JP2002062964A (ja) * 2000-06-06 2002-02-28 Kenichi Horie パソコン配列で入力できるテンキーボード型文字入力装置
US20030048205A1 (en) * 2001-08-10 2003-03-13 Junru He 3D electronic data input device with key mapping card
US7152213B2 (en) * 2001-10-04 2006-12-19 Infogation Corporation System and method for dynamic key assignment in enhanced user interface
US7190351B1 (en) * 2002-05-10 2007-03-13 Michael Goren System and method for data input
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US7218249B2 (en) * 2004-06-08 2007-05-15 Siemens Communications, Inc. Hand-held communication device having navigation key-based predictive text entry

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
US4769845A (en) * 1986-04-10 1988-09-06 Kabushiki Kaisha Carrylab Method of recognizing speech using a lip image
JPH037007U (ja) * 1989-06-09 1991-01-23
JP2000035857A (ja) * 1996-02-19 2000-02-02 Misawa Homes Co Ltd 画面表示式キー入力装置
JPH1195792A (ja) * 1997-09-22 1999-04-09 Uniden Corp 音声処理装置および文字入力方法
JP2001517823A (ja) * 1997-09-25 2001-10-09 テジック・コミュニケーションズ・インコーポレーテッド 減少されたキーボード明瞭化システム
JPH11184609A (ja) * 1997-12-22 1999-07-09 Ai Soft Kk 日本語入力装置、日本語入力部を有する電子機器および日本語入力制御プログラムを記録した媒体
WO2001031788A1 (en) * 1999-10-27 2001-05-03 Firooz Ghassabian Integrated keypad system
JP2003529130A (ja) * 1999-10-27 2003-09-30 ガーサビアン、フィルーツ 一体型キーパッドシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262795B2 (en) 2014-10-17 2022-03-01 Semiconductor Energy Laboratory Co., Ltd. Electronic device
US11977410B2 (en) 2014-10-17 2024-05-07 Semiconductor Energy Laboratory Co., Ltd. Electronic device

Also Published As

Publication number Publication date
AU2004232013A1 (en) 2004-11-04
IL171428A (en) 2013-10-31
CA2522604A1 (en) 2004-11-04
WO2004095414A1 (en) 2004-11-04
US20070188472A1 (en) 2007-08-16
PH12012501762A1 (en) 2015-04-13
EP1616319A1 (en) 2006-01-18
EP1616319A4 (en) 2012-01-18
AU2010200802A1 (en) 2010-03-25
JP2013042512A (ja) 2013-02-28
JP2010211825A (ja) 2010-09-24

Similar Documents

Publication Publication Date Title
JP2006523904A (ja) 移動体及び固定環境内でのデータ入力向上システム
AU2005253600B2 (en) Systems to enhance data entry in mobile and fixed environment
US20160005150A1 (en) Systems to enhance data entry in mobile and fixed environment
JP4601953B2 (ja) 小型データ入力ユニットを介したデータ入力を強化する特徴
US20150261429A1 (en) Systems to enhance data entry in mobile and fixed environment
CN101002455B (zh) 在移动和固定环境中增强数据输入的设备及方法
US20080141125A1 (en) Combined data entry systems
AU2002354685A1 (en) Features to enhance data entry through a small data entry unit
US11503144B2 (en) Systems to enhance data entry in mobile and fixed environment
EP2038769A2 (en) Combined data entry systems
US20220360657A1 (en) Systems to enhance data entry in mobile and fixed environment
ZA200508462B (en) Systems to enhance daya entry in mobile and fixed environment
CN103076886A (zh) 在移动和固定的环境中用于增强数据输入的系统
NZ552439A (en) System to enhance data entry using letters associated with finger movement directions, regardless of point of contact
AU2012203372A1 (en) System to enhance data entry in mobile and fixed environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100324

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100423

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100720