CN100431490C - 电子装置、输入装置和输入方法 - Google Patents
电子装置、输入装置和输入方法 Download PDFInfo
- Publication number
- CN100431490C CN100431490C CNB2005100649164A CN200510064916A CN100431490C CN 100431490 C CN100431490 C CN 100431490C CN B2005100649164 A CNB2005100649164 A CN B2005100649164A CN 200510064916 A CN200510064916 A CN 200510064916A CN 100431490 C CN100431490 C CN 100431490C
- Authority
- CN
- China
- Prior art keywords
- signal
- pick
- walking
- control signal
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 210000002683 foot Anatomy 0.000 claims description 29
- 210000001699 lower leg Anatomy 0.000 claims description 28
- 210000003371 toe Anatomy 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 15
- 238000005452 bending Methods 0.000 claims description 12
- 230000033764 rhythmic process Effects 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 10
- 210000002414 leg Anatomy 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 210000003423 ankle Anatomy 0.000 claims description 2
- 230000005674 electromagnetic induction Effects 0.000 claims description 2
- 210000003127 knee Anatomy 0.000 claims description 2
- 210000000689 upper leg Anatomy 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 6
- 210000000474 heel Anatomy 0.000 description 6
- 239000011888 foil Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- RIRXDDRGHVUXNJ-UHFFFAOYSA-N [Cu].[P] Chemical compound [Cu].[P] RIRXDDRGHVUXNJ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000272165 Charadriidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000001255 hallux Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B1/00—Footwear characterised by the material
- A43B1/0054—Footwear characterised by the material provided with magnets, magnetic parts or magnetic substances
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B3/00—Footwear characterised by the shape or the use
- A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S482/00—Exercise devices
- Y10S482/90—Ergometer with feedback to load or with feedback comparison
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
- Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
步行传感器被附着到使用者的鞋上。本发明提供了一种输入装置，它包括检测使用者腿部运动的检测部分，将检测部分的检测结果转换成控制信号的信号转换部分，以及将控制信号输出到外部装置的输出部分。
Description
相关申请对照
本发明包含的主题与2004年4月5日提交的日本专利申请JP2004-111446有关，其整体内容结合在此作为参考。
发明背景
发明领域
本发明涉及根据已由使用者输入的预定的控制信号工作的电子装置，用于输入控制信号的输入装置，以及输入方法。
相关技术的描述
现有方向盘或枪支形状的输入装置，诸如游戏输入装置。这种“实际的”输入装置有助于增加游戏的真实性。当使用者通过运动他或她的身体输入信息时，他或她将感到强烈的信息等同感。在游戏输入装置中，其形状固定且要输入的内容受到限制。但是，如果使用者的身体运动可直接作为输入信息输入，则通过输入装置可输入各种信息。作为这种输入装置，已可获得一列带型输入装置。该输入装置包括多个电极。电源附着在使用者列的周围。电容器形成于电极和身体表面之间。输入装置基于电容器电容的变化检测诸如“保持”、“扭曲”或“释放”的姿势。在输入装置的系统中，传感器还附着脚底并检测步行运动或平衡运动(例如参见，日本专利申请特许公开No.2002-358149)。
日本专利申请特许公开No.2002-358149中揭示的发明检测人的运动，诸如“保持”、“扭曲”、“释放”，如上所述。但是，人体的运动不总是恒定的，且在检测信号中会出现“波动”。因此，需要非常复杂的操作来精确地分析数据。
发明内容
期望提供一种将使用者腿部的简单运动转换成复杂输入的输入装置，输入方法，和电子装置。
根据本发明的输入装置，检测装置检测使用者腿部的运动，信号转换装置将使用者腿部的运动转换成控制信号，且输出装置将控制信号输出到外部装置。控制信号是用于控制外部装置的命令。
根据本发明的电子装置，检测装置检测使用者腿部的运动，信号转换装置将使用者腿部运动转换成控制信号，且控制装置允许电子装置执行与控制信号相对应的操作。
根据本发明的输入方法，检测步骤检测使用者腿部运动，信号转换步骤将使用者腿部的运动转换成控制信号，且输出步骤将控制信号输出到外部装置。
本发明提供一种输入装置，其特征在于，包括：检测装置，用于检测使用者腿部的运动，所述检测装置由多个传感器构成，所述传感器将弯曲力转换成电信号的时间序列信号模式，且电信号的正负对应于弯曲方向；信号转换装置，用于将检测装置的检测结果转换成控制信号，其中，所述信号转换装置包括数据库，该数据库存储多个时间序列信号模式和与所述时间序列信号模式相对应的控制信号，并且所述信号转换装置把由所述检测装置检测的时间序列信号模式与在所述数据库中存储的时间序列信号模式相比较，当获得匹配时，取出该与所匹配的时间序列信号模式相对应的控制信号；以及输出装置，用于将控制信号输出到外部装置。
本发明还提供一种电子装置，其特征在于，包括：检测装置，用于检测使用者腿部的运动，所述检测装置由四个传感器构成，包括附着到右脚后部的第一传感器，附着到右脚前部的第二传感器，附着到左脚后部的第三传感器以及附着到左脚前部的第四传感器，所述四个传感器将弯曲力转换成电信号的时间序列信号模式，且电信号的正负对应于弯曲方向；信号转换装置，用于将表示使用者腿部运动的检测信号转换成控制信号，其中，所述信号转换装置包括数据库，该数据库存储多个时间序列信号模式和与所述时间序列信号模式相对应的控制信号，并且所述信号转换装置把由所述检测装置检测的时间序列信号模式与在所述数据库中存储的时间序列信号模式相比较，当获得匹配时，取出该与所匹配的时间序列信号模式相对应的控制信号；以及控制装置，用于允许电子装置执行与控制信号相对应的操作。
本发明还提供一种输入方法，其特征在于，包括：检测步骤，检测使用者腿部运动，包括检测多个传感器的弯曲力，以及把所述弯曲力转换为步行信号模式；信号转换步骤，将在所述检测步骤中获得的步行信号模式转换成控制信号，包括在数据库中存储所述步行信号模式和与所述步行信号模式相对应的控制信号；把由所述检测装置检测的步行信号模式与在所述数据库中存储的步行信号模式相比较，当获得匹配时，取出该与所匹配的步行信号模式相对应的控制信号；以及输出步骤，将控制信号输出到外部装置。
根据本发明，通过使用用于检测使用者腿部运动的检测装置，可以仅用腿部运动输入控制信号同时确保手部的灵活性。此外，在不能使用双手的情况下，诸如在使用移动电话通话的期间，在工厂中工作时，在装载车辆期间，在使用键盘或鼠标操作期间，或者在挤车的高峰时间期间，根据本发明的输入装置充分利用其特点，因为可利用腿部运动输入控制信号。
当使用者通过移动他或她的身体输入信息时，他或她可感觉信息的强识别。诸如步行或跳舞的腿部运动可通过输入装置反映于音乐或视频内容中。
附图概述
图1是示出根据本发明的输入装置配置的框图；
图2示出使用商品型箔式应变计的步行传感器的配置和附着位置；
图3是示出当商品型箔式应变计用作步行传感器时输入装置的配置的框图；
图4A和4B示出与命令数据库和命令相对应的步行信号的实例；
图5是示出内容再现装置的配置的框图；
图6是用于说明输入装置和内容再现装置的操作的流程图；
图7是示出步行时步行传感器的输出的示图；
图8是示出节奏输入时步行传感器的输出的示图；以及
图9A到9D示出步行传感器的其它变型。
具体实施方式
以下将参考附图描述根据本发明的输入装置。该输入装置包括检测人脚运动的传感器。传感器基于脚步或身体的垂直运动检测脚的运动。输入装置将由传感器检测出的人脚运动转换成命令，并输出该命令。
图1示出了输入装置1的实例。输入装置1包括检测使用者脚步的步行传感器2，将步行传感器2的输出转换成命令的命令转换部分3，以及将命令输出到内容再现装置10的无线通信部分4。
内容再现装置10的实例包括便携式MD(MiniDiscTM)播放器、便携式DVD播放器、便携式TV、PDA(个人数字助理)等等。输入装置1将诸如“记录”、“再现”或“停止”的各种命令输出到内容再现装置10。
步行传感器2被附着到鞋底。图2所示的步行传感器2是商品型箔式应变计并被结合到磷铜板21。商品型箔式应变计将弯曲力转换成电信号。电信号的正负对应于弯曲方向。步行传感器2附着到鞋底以便在脚踩到地面时输出正的电信号而在脚离开地面时输出负的电信号。步行传感器2附着到与大脚趾基部相对应的部分(以下称作前部)并进一步附着到与每个脚的脚后跟附近相对应的部分(以下称作后部)。附着到右脚后部的步行传感器被称作R1，附着到右脚前部的那个称作R2，附着到左脚后部的那个是L1，且附着到左脚前部的那个是L2。
步行传感器2的输出端子23用加强材料22加强并在磷铜板21外延伸。步行传感器L1的检测结果(以下称作步行信号)被输出到放大器24L1，如图3所示。放大器24L1将步行传感器L1的输出放大并将放大值输出到高通滤波器(HPF)25L1。HPF 25L1除去来自放大器24L1的输出的DC分量。HPF25L1的输出由A/D转换电路26L1数字化。与步行传感器L1相类似，其它步行传感器L2、R1和R2的输出通过放大器24L2、24R1和24R2，HPF25L2、25R1和25R2并由A/D转换电路26L2、26R1和26R2数字化。
命令转换部分3参考命令数据库31将步行信号转换成命令。无线通信部分4将命令输出到内容再现装置10。命令转换部分3如下地将步行传感器2的检测结果转换成命令。当接收步行信号作为输入时，命令转换部分3在命令数据库31中查找与输入步行信号相对应的命令。图4A是命令数据库31的实例。该命令数据库31存储6种步行信号模式和与这些步行信号模式相对应的命令。图4B示出步行信号模式。模式1是L2-L1(按脚趾和脚后跟的次序放下左脚)。模式2是R2-R1(按脚趾和脚后跟的次序放下右脚)。模式3是L2-L1-L2(按脚趾、脚后跟和脚趾的次序放下左脚)。模式4是R2-R1-R2(按脚趾、脚后跟和脚趾的次序放下右脚)。模式5是L2-L1-L1-L2(按脚趾、脚后跟、脚后跟和脚趾的次序放下左脚)。模式6是R2-R1-R1-R2(按脚趾、脚后跟、脚后跟和脚趾的次序放下右脚)。
模式1对应于“再现”命令，模式2对应于“停止”命令，模式3对应于“暂停”命令，模式4对应于“倒带”命令，模式5对应于“记录”命令，且模式6对应于“时间标记”命令。
命令转换部分3确定使用者是否正常行走。当确定使用者没有正常行走时，命令转换部分3执行由步行传感器2检测出的步行信号模式与命令数据库31中存储的步行模式之间的匹配。当匹配命令数据库31的模式存在时，命令转换部分3将与该模式相对应的命令输出到内容再现装置10。
将对命令数据库31中登记的模式进行描述。通过诸如步行或停止的普通身体运动生成的模式不登记于命令数据库31中以避免使用者意外地输入非故意的命令。如果使用普通身体运动生成的模式，则可将模式的间隔或强度设定为合适的值。
图5示出了内容再现装置10的配置。内容再现装置10是再现语音或视频图片的装置。内容再现装置10包括用于输出语音内容的语音输出部分12和用于输出图像内容的显示部分11。语音和图像内容存储在存储装置13中。存储装置13包括HD(硬盘)、光盘、半导体存储装置等等。要存储在存储装置13中的内容可通过网络连接部分14从因特网下载。
内容再现装置10进一步包括按键输入部分15和麦克风16。按键输入部分15接收诸如“再现”、“停止”、“暂停”或“选择”的命令输入并将该输入命令输出到CPU18。
无线通信部分17与输入装置1进行无线通信。无线通信部分17从输入装置1接收的信息包括用于控制内容再现装置10的命令，诸如“再现”、“记录”、“暂停”或“快进”。
CPU(中央处理单元)18基于输入命令控制内容再现装置10。ROM(只读存储装置)19和存储装置13存储控制内容再现装置10所需的程序和设定信息。CPU18执行内容的各种处理，诸如记录、再现或暂停，将RAM(随机存取存储装置)20用作工作区域。
如上所述，根据本发明的输入装置1将使用者脚的运动转换成各种命令并将其输出到内容再现装置10。
图6示出了输入装置1的操作。虽然未示出，输入装置1包括CPU和存储器，用于执行输入装置1中的信号处理。输入装置1根据使用者指令开始其操作。当使用者指示输入装置1开始其操作时(步骤S11)，步行传感器2检测步行信号。检测出的步行信号在特定时间段内存储在存储器中(步骤S12)。当现在已存储在存储器中的步行信号类似于图7所示的普通步行模式时，CPU确定使用者正正常地行走。更特别地，人的步行运动的特点在于重复以下运动：举步脚的后跟首先接触地面，接着举步脚的脚趾接触地面，随后另一只脚向前举步。步行传感器2检测后跟和脚趾与地面的接触以确定使用者现在正在步行。普通步行时步行传感器2的输出在图7中示出(步骤S13中的“是”)。
当检测出与图7所示的步行信号不同的模式时(步骤S13中的“否”)，命令转换部分3比较存储器中存储的步行信号模式与命令数据库中存储的步行信号模式并查找与步行信号相对应的命令(步骤S14)。
当存储器中存储的步行信号模式存在于命令数据库31中时，命令转换部分3将与该步行信号模式相对应的命令输出到无线通信部分17。该无线通信部分17将输入命令输出到内容再现装置10(步骤S15)。内容再现装置10响应于从输入装置1接收的命令执行内容的各种处理，诸如再现、停止、快进或倒带。语音输出部分20发出电子声，用于表示使用者命令的接收。
当使用者停止输入装置1的操作时(步骤S16中的“是”)，输入装置1退出其过程。另一方面，当使用者没有结束输入装置1的操作时(步骤S16中的“否”)，流程移到步骤S12，其中重复步骤S12到S16。
如上所述，可以根据本发明借助脚操作输入装置1。使用脚操作就不需要从衣袋等中拿着装置主体或遥控器并操作按键输入部分15。
此外，在不能使用双手的情况中，诸如在使用移动电话会话期间，在工厂中工作期间，在装载车辆期间，在使用键盘或鼠标操作期间，或者在挤车的高峰时间期间，根据本发明的输入装置可充分利用其特点，因为该输入装置可利用脚的运动进行操作。
图1和3所示的输入装置1包括存储器、命令转换部分3和命令数据库31。但是，以上组件也可包含在内容再现装置10中。这样，在这里所述的配置实例中，输入装置1包括步行传感器2、放大器和将来自步行传感器2的步行信号格式化的HPF，以及将所产生的步行信号发送到内容再现装置10的无线通信部分4。
在这种情况中，内容再现装置10的配置可参考图5进行描述。即，在上述配置中，利用RAM20的一部分构建存储器，命令数据库31存储在ROM19、RAM20或存储装置13的一部分中，且CPU18执行命令转换部分3的处理。从输入装置1的无线通信部分4发送的步行信号由内容再现装置10的无线通信部分17接收。随后，在特定时间段内将接收到的步行信号存储于RAM20中。CPU18将RAM20中已存储的步行信号模式与例如存储装置13中存储的步行信号模式进行比较，将该步行信号在命令转换部分转换成相应命令并执行各种处理，诸如内容的再现、停止、快进或倒带。
整个操作与上述配置的操作相同且将省去详细描述。但是，在该配置中，要从输入装置1发送的步行信号可以是已在放大器和HPF中格式化的步行传感器L1、L2、R1和R2的输出信号的倍增(multiplication)。例如，步行传感器L1、L2、R1和R2的输出信号可彼此混合并随后被发送。此外，输出信号可作为模拟信号发送而不进行转换或者被转换成数字信号发送，如图3中的情况中。
将描述以上输入装置1的另一种使用。这里采用的输入装置1具有输入节奏模式的功能。输入装置1将使用者的脚步转换成音乐节奏。图8是节奏模式的输入实例。当输入启动节奏输入的命令时，输入装置1不将步行信号识别为命令，而是作为节奏模式。
在以下的实例中，通过踏右脚脚趾和左脚脚后跟获得的步行信号被设定为命令Rhy，其指示节奏输入操作的开始和结束。当输入命令Rhy时，输入装置1将直到输入下一个命令Rhy之前的已输入的步行信号识别为节奏模式。在该实例中，步行信号被输入为节奏模式，如“tan-tan-tatata”。
当可以利用脚步输入节奏模式时，类似于输入装置1，使用者可基于使用者的脚步重新创作音乐或改变现有音乐的节拍或音高。此外，可设定改变音乐音调或基调的命令。
除了上述商品型箔式应变计，距离传感器、CCD(电荷耦合器件)照相机、CMOS(互补MOS)照相机、压力传感器、弯曲传感器、加速度传感器和电容传感器也可用作步行传感器2。
图9A所示的步行传感器5基于鞋和地之间的距离检测脚步。将步行传感器5附着到鞋的脚趾和脚后跟处。红外线距离传感器、CCD照相机和CMOS照相机可用作步行传感器5。图9B所示的步行传感器6基于从脚施加到鞋上的压力检测脚步。附着到鞋的脚趾和脚后跟上的压力传感器6检测脚与地接触时产生的压力。此外，在这种情况中，弯曲传感器7附着到鞋的脚背上。脚背的弯曲量越大，弯曲传感器7的输出越大。弯曲传感器7可用于线性控制系统中，诸如声音的音量控制或摄像机的缩放控制。
图9C所示的步行传感器8是加速度传感器8。加速度传感器8被附着到鞋的脚趾和脚后跟上，并检测脚与地接触时产生的冲击。除了上述步行传感器，语音麦克风型传感器和电容传感器也是可以的，语音麦克风型传感器基于接触噪声检测脚与地之间的接触，电容传感器基于本体电容的变化检测脚与地之间的接触。
此外，在将振动传感器或加速度传感器附着到使用者身体的一部分上时，就可以检测腿的运动。当使用者移动腿部时，使用者身体被垂直移动。检测使用者身体的垂直运动的振动传感器或加速度传感器可用作步行传感器。在将传感器附着到人体的躯干、头等处时，能提升这种步行传感器的检测精度。因此，这种类型的步行传感器应附着到能戴在使用者头上的耳机。
此外，步行传感器2可附着到腿部，诸如脚背、脚趾、脚踝、小腿、膝盖或大腿。这种类型的步行传感器例如包括加速度传感器、歪斜传感器、位置传感器、光学传感器、电磁感应传感器、电势传感器、风速传感器、气压传感器和电流传感器。这些传感器可附着到陪伴使用者的动物上。
上述输入装置1可应用于各种电子装置的命令输入。例如，当输入装置1用于控制摄像机时，“记录”、“停止”、“缩放”、“宽(WIDE)”等等被设定为输入命令。当输入装置1用作摄像机专用的输入装置时，可以避免照相机振动。此外，即使在拍摄时不能用手的情况下，利用手之外的其它部位也可继续操作。
此外，输入装置1可用作所谓的可穿戴计算机的输入装置。可穿戴计算机是小型便携式计算机，它被设计成使用中可穿戴于使用者身上。与常规个人计算机相同，可穿戴计算机具有邮件交换功能、TV显示功能、视频显示功能、因特网浏览功能等等。当小型摄像机附着到眼镜等时，就可以用可穿戴计算机始终拍摄使用者周围的风景或情况。摄像机的拍摄内容可以是使用者的经历记录。
估计，为了基于可穿戴计算机的使用者经历记录需要采集大量数据。当输入装置1的命令涉及摄像机的开关或时间标记时，简单地通过移动腿部，使用者可以仅从为使用者经历记录采集的大量数据中选择和记录必要的信息。
本领域的熟练技术人员应理解：只要在所附权利要求书及其等效物的范围之内，就可根据设计需要和其它因素进行各种修改、组合、子组合和变化。
Claims (10)
1.一种输入装置，其特征在于，包括：
检测装置，用于检测使用者腿部的运动，所述检测装置由多个传感器构成，所述传感器将腿部的运动转换成电信号的时间序列信号模式，且电信号的正负对应于腿部的运动的方向；
信号转换装置，用于将检测装置的检测结果转换成控制信号，其中，所述信号转换装置包括数据库，该数据库存储多个时间序列信号模式和与所述时间序列信号模式相对应的控制信号，并且所述信号转换装置把由所述检测装置检测的时间序列信号模式与在所述数据库中存储的时间序列信号模式相比较，当获得匹配时，取出该与所匹配的时间序列信号模式相对应的控制信号；以及
输出装置，用于将控制信号输出到外部装置。
2.如权利要求1所述的输入装置，其特征在于，控制信号是用于控制外部装置的命令。
3.如权利要求1所述的输入装置，其特征在于，
信号转换装置根据从各传感器输出的检测信号的时间序列信号模式形成控制信号。
4.如权利要求1所述的输入装置，其特征在于，所述多个传感器包括：第一传感器，附着到右脚后部；第二传感器，附着到右脚前部；第三传感器，附着到左脚后部；以及第四传感器，附着到左脚前部。
5.如权利要求1所述的输入装置，其特征在于，检测装置被附着到使用者的鞋、脚背、脚趾、脚踝、小腿、膝盖和大腿的至少一部分。
6.如权利要求1所述的输入装置，其特征在于，检测装置被附着到使用者的躯干、头部的至少一部分。
7.如权利要求1所述的输入装置，其特征在于，检测装置是弯曲传感器、压力传感器、距离传感器、加速度传感器、歪斜传感器、磁性传感器、电流传感器、电位传感器和电磁感应传感器中的至少一种。
8.如权利要求1所述的输入装置，其特征在于，包括：
节奏生成装置，用于从检测装置的检测结果生成节奏模式。
9.一种电子装置，其特征在于，包括：
检测装置，用于检测使用者腿部的运动，所述检测装置由四个传感器构成，包括附着到右脚后部的第一传感器，附着到右脚前部的第二传感器，附着到左脚后部的第三传感器以及附着到左脚前部的第四传感器，所述四个传感器将弯曲力转换成电信号的时间序列信号模式，且电信号的正负对应于弯曲方向；
信号转换装置，用于将表示使用者腿部运动的检测信号转换成控制信号，其中，所述信号转换装置包括数据库，该数据库存储多个时间序列信号模式和与所述时间序列信号模式相对应的控制信号，并且所述信号转换装置把由所述检测装置检测的时间序列信号模式与在所述数据库中存储的时间序列信号模式相比较，当获得匹配时，取出该与所匹配的时间序列信号模式相对应的控制信号；以及
控制装置，用于允许电子装置执行与控制信号相对应的操作。
10.一种输入方法，其特征在于，包括：
检测步骤，检测使用者腿部运动，包括检测多个传感器的弯曲力，以及把所述弯曲力转换为步行信号模式；
信号转换步骤，将在所述检测步骤中获得的步行信号模式转换成控制信号，包括在数据库中存储所述步行信号模式和与所述步行信号模式相对应的控制信号；
把由所述检测装置检测的步行信号模式与在所述数据库中存储的步行信号模式相比较，当获得匹配时，取出该与所匹配的步行信号模式相对应的控制信号；以及
输出步骤，将控制信号输出到外部装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004111446 | 2004-04-05 | ||
| JP2004-111446 | 2004-04-05 | ||
| JP2004111446A JP2005293505A (ja) | 2004-04-05 | 2004-04-05 | 電子機器、及び入力装置、並びに入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1679446A CN1679446A (zh) | 2005-10-12 |
| CN100431490C true CN100431490C (zh) | 2008-11-12 |
Family
ID=34909479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100649164A Expired - Fee Related CN100431490C (zh) | 2004-04-05 | 2005-04-05 | 电子装置、输入装置和输入方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7156773B2 (zh) |
| EP (1) | EP1585014A3 (zh) |
| JP (1) | JP2005293505A (zh) |
| KR (1) | KR20060044448A (zh) |
| CN (1) | CN100431490C (zh) |
Families Citing this family (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6749537B1 (en) | 1995-12-14 | 2004-06-15 | Hickman Paul L | Method and apparatus for remote interactive exercise and health equipment |
| US7537546B2 (en) | 1999-07-08 | 2009-05-26 | Icon Ip, Inc. | Systems and methods for controlling the operation of one or more exercise devices and providing motivational programming |
| US7985164B2 (en) | 1999-07-08 | 2011-07-26 | Icon Ip, Inc. | Methods and systems for controlling an exercise apparatus using a portable data storage device |
| US7628730B1 (en) | 1999-07-08 | 2009-12-08 | Icon Ip, Inc. | Methods and systems for controlling an exercise apparatus using a USB compatible portable remote device |
| US7166062B1 (en) | 1999-07-08 | 2007-01-23 | Icon Ip, Inc. | System for interaction with exercise device |
| US8029415B2 (en) | 1999-07-08 | 2011-10-04 | Icon Ip, Inc. | Systems, methods, and devices for simulating real world terrain on an exercise device |
| US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
| US6921351B1 (en) | 2001-10-19 | 2005-07-26 | Cybergym, Inc. | Method and apparatus for remote interactive exercise and health equipment |
| US7236154B1 (en) | 2002-12-24 | 2007-06-26 | Apple Inc. | Computer light adjustment |
| US7894177B2 (en) * | 2005-12-29 | 2011-02-22 | Apple Inc. | Light activated hold switch |
| US7521623B2 (en) * | 2004-11-24 | 2009-04-21 | Apple Inc. | Music synchronization arrangement |
| US7616097B1 (en) | 2004-07-12 | 2009-11-10 | Apple Inc. | Handheld devices as visual indicators |
| US7354380B2 (en) * | 2003-04-23 | 2008-04-08 | Volpe Jr Joseph C | Heart rate monitor for controlling entertainment devices |
| FI118149B (fi) * | 2003-12-05 | 2007-07-31 | Elisa Oyj | Menetelmä, järjestelmä, mittauslaite ja vastaanottolaite palautteen antamiseksi |
| US20050195094A1 (en) * | 2004-03-05 | 2005-09-08 | White Russell W. | System and method for utilizing a bicycle computer to monitor athletic performance |
| US8006795B2 (en) * | 2004-05-04 | 2011-08-30 | Yonatan Manor | Device and method for regaining balance |
| US7867141B2 (en) * | 2004-07-21 | 2011-01-11 | Panasonic Electric Works Co., Ltd. | Physical activity measuring system |
| US7846067B2 (en) * | 2004-10-22 | 2010-12-07 | Mytrak Health System Inc. | Fatigue and consistency in exercising |
| US20070232455A1 (en) * | 2004-10-22 | 2007-10-04 | Mytrak Health System Inc. | Computerized Physical Activity System to Provide Feedback |
| US7914425B2 (en) * | 2004-10-22 | 2011-03-29 | Mytrak Health System Inc. | Hydraulic exercise machine system and methods thereof |
| US20070232450A1 (en) * | 2004-10-22 | 2007-10-04 | Mytrak Health System Inc. | Characterizing Fitness and Providing Fitness Feedback |
| CA2589143A1 (en) * | 2004-12-02 | 2006-06-08 | Baylor University | Exercise circuit system and method |
| US7254516B2 (en) | 2004-12-17 | 2007-08-07 | Nike, Inc. | Multi-sensor monitoring of athletic performance |
| US7542816B2 (en) * | 2005-01-27 | 2009-06-02 | Outland Research, Llc | System, method and computer program product for automatically selecting, suggesting and playing music media files |
| US20070189544A1 (en) | 2005-01-15 | 2007-08-16 | Outland Research, Llc | Ambient sound responsive media player |
| KR101019569B1 (ko) | 2005-08-29 | 2011-03-08 | 에브릭스 테크놀로지스, 인코포레이티드 | 모바일 이미지 인식을 통한 상호작용 |
| WO2007061185A1 (en) * | 2005-11-28 | 2007-05-31 | Samsung Electronics Co., Ltd. | Exercise management function providing system and method |
| US20070135264A1 (en) * | 2005-12-09 | 2007-06-14 | Outland Research, Llc | Portable exercise scripting and monitoring device |
| US20070145680A1 (en) * | 2005-12-15 | 2007-06-28 | Outland Research, Llc | Shake Responsive Portable Computing Device for Simulating a Randomization Object Used In a Game Of Chance |
| US20070075127A1 (en) * | 2005-12-21 | 2007-04-05 | Outland Research, Llc | Orientation-based power conservation for portable media devices |
| US7810504B2 (en) * | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
| WO2007109050A2 (en) * | 2006-03-15 | 2007-09-27 | Glass Andrew B | System and method for controlling the presentation of material and operation of external devices |
| US20120237906A9 (en) * | 2006-03-15 | 2012-09-20 | Glass Andrew B | System and Method for Controlling the Presentation of Material and Operation of External Devices |
| US7673907B2 (en) * | 2006-04-08 | 2010-03-09 | Valeriy Nenov | Musical ice skates |
| FI119717B (fi) * | 2006-05-04 | 2009-02-27 | Polar Electro Oy | Käyttäjäkohtainen suoritemittari, menetelmä ja tietokoneohjelmistotuote |
| US20070259756A1 (en) * | 2006-05-05 | 2007-11-08 | Kuykendall William E | Method and apparatus for adjusting resistance to exercise |
| US20070260483A1 (en) * | 2006-05-08 | 2007-11-08 | Marja-Leena Nurmela | Mobile communication terminal and method |
| JP4231876B2 (ja) * | 2006-05-18 | 2009-03-04 | 株式会社コナミスポーツ＆ライフ | トレーニングシステム、操作端末、及びトレーニング支援プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| FI120133B (fi) * | 2006-05-29 | 2009-07-15 | Polar Electro Oy | Rannelaite ja menetelmä liikeinformaation määrittämiseksi |
| US20080032870A1 (en) * | 2006-08-02 | 2008-02-07 | Shen Yi Wu | Method and apparatus of counting steps for treadmill |
| US8235724B2 (en) | 2006-09-21 | 2012-08-07 | Apple Inc. | Dynamically adaptive scheduling system |
| US8956290B2 (en) | 2006-09-21 | 2015-02-17 | Apple Inc. | Lifestyle companion system |
| US8745496B2 (en) | 2006-09-21 | 2014-06-03 | Apple Inc. | Variable I/O interface for portable media device |
| US8001472B2 (en) | 2006-09-21 | 2011-08-16 | Apple Inc. | Systems and methods for providing audio and visual cues via a portable electronic device |
| US8429223B2 (en) | 2006-09-21 | 2013-04-23 | Apple Inc. | Systems and methods for facilitating group activities |
| US8128410B2 (en) * | 2006-09-29 | 2012-03-06 | Nike, Inc. | Multi-mode acceleration-based athleticism measurement system |
| US20080090703A1 (en) * | 2006-10-14 | 2008-04-17 | Outland Research, Llc | Automated Personal Exercise Regimen Tracking Apparatus |
| US20080103023A1 (en) * | 2006-10-26 | 2008-05-01 | Sonu Ed Chung | Method of Developing and Creating a Personalized Exercise Regime in a Digital Medium |
| US20080146416A1 (en) * | 2006-12-13 | 2008-06-19 | Motorola, Inc. | Generation of user activity feedback |
| US20080204225A1 (en) * | 2007-02-22 | 2008-08-28 | David Kitchen | System for measuring and analyzing human movement |
| US9028430B2 (en) * | 2007-04-19 | 2015-05-12 | Nike, Inc. | Footwork training system and method |
| US20080312041A1 (en) * | 2007-06-12 | 2008-12-18 | Honeywell International, Inc. | Systems and Methods of Telemonitoring |
| US8221290B2 (en) * | 2007-08-17 | 2012-07-17 | Adidas International Marketing B.V. | Sports electronic training system with electronic gaming features, and applications thereof |
| US8702430B2 (en) | 2007-08-17 | 2014-04-22 | Adidas International Marketing B.V. | Sports electronic training system, and applications thereof |
| US8360904B2 (en) | 2007-08-17 | 2013-01-29 | Adidas International Marketing Bv | Sports electronic training system with sport ball, and applications thereof |
| US8269093B2 (en) | 2007-08-21 | 2012-09-18 | Apple Inc. | Method for creating a beat-synchronized media mix |
| JP4987680B2 (ja) * | 2007-12-07 | 2012-07-25 | 三菱自動車工業株式会社 | タッチセンサ装置及びタッチセンサ用のプログラム |
| KR100959561B1 (ko) * | 2008-06-19 | 2010-05-27 | 인제대학교 산학협력단 | 마그네틱센서 어레이를 이용한 보행 패턴 추출장치 |
| US8159455B2 (en) * | 2008-07-18 | 2012-04-17 | Apple Inc. | Methods and apparatus for processing combinations of kinematical inputs |
| US7824309B1 (en) * | 2008-09-02 | 2010-11-02 | Tadlock Thomas L | Method and apparatus for pacing human body exercises using audible cues |
| JP5496497B2 (ja) * | 2008-12-01 | 2014-05-21 | 公立大学法人高知工科大学 | 移動型床反力計測装置 |
| US7972245B2 (en) * | 2009-02-27 | 2011-07-05 | T-Mobile Usa, Inc. | Presenting information to users during an activity, such as information from a previous or concurrent outdoor, physical activity |
| US8251874B2 (en) | 2009-03-27 | 2012-08-28 | Icon Health & Fitness, Inc. | Exercise systems for simulating real world terrain |
| CN102274634A (zh) * | 2010-06-08 | 2011-12-14 | 达声企业股份有限公司 | 体感足具及其系统 |
| US9993891B2 (en) * | 2010-07-14 | 2018-06-12 | Illinois Tool Works Inc. | Welding parameter control via welder motion or position monitoring |
| US9940682B2 (en) | 2010-08-11 | 2018-04-10 | Nike, Inc. | Athletic activity user experience and environment |
| CN102261915B (zh) * | 2011-04-27 | 2013-06-12 | 浙江大学 | 行人惯性导航装置和方法 |
| JP6017765B2 (ja) | 2011-07-25 | 2016-11-02 | ソニー株式会社 | 携帯型電子機器および信号処理方法 |
| US9339691B2 (en) | 2012-01-05 | 2016-05-17 | Icon Health & Fitness, Inc. | System and method for controlling an exercise device |
| KR101428325B1 (ko) * | 2012-12-27 | 2014-08-07 | 현대자동차주식회사 | 로봇발장치 |
| EP2969058B1 (en) | 2013-03-14 | 2020-05-13 | Icon Health & Fitness, Inc. | Strength training apparatus with flywheel and related methods |
| CN103488285A (zh) * | 2013-08-22 | 2014-01-01 | 英华达（南京）科技有限公司 | 互动装置及方法 |
| WO2015100429A1 (en) | 2013-12-26 | 2015-07-02 | Icon Health & Fitness, Inc. | Magnetic resistance mechanism in a cable machine |
| US10433612B2 (en) | 2014-03-10 | 2019-10-08 | Icon Health & Fitness, Inc. | Pressure sensor to quantify work |
| US10426989B2 (en) | 2014-06-09 | 2019-10-01 | Icon Health & Fitness, Inc. | Cable system incorporated into a treadmill |
| US9690387B2 (en) * | 2014-06-13 | 2017-06-27 | Ford Global Technologies, Llc | Vehicle computing system in communication with a wearable device |
| WO2015195965A1 (en) | 2014-06-20 | 2015-12-23 | Icon Health & Fitness, Inc. | Post workout massage device |
| CN104207780A (zh) * | 2014-08-22 | 2014-12-17 | 南昌大学 | 一种用于帕金森病患者下肢灵活度判定的测量装置及方法 |
| US10987762B2 (en) | 2014-09-30 | 2021-04-27 | Illinois Tool Works Inc. | Armband based systems and methods for controlling welding equipment using gestures and like motions |
| US10776739B2 (en) | 2014-09-30 | 2020-09-15 | Apple Inc. | Fitness challenge E-awards |
| US10201868B2 (en) | 2014-09-30 | 2019-02-12 | Illinois Tool Works Inc. | Systems and methods for gesture control of a welding system |
| US10391361B2 (en) | 2015-02-27 | 2019-08-27 | Icon Health & Fitness, Inc. | Simulating real-world terrain on an exercise device |
| CN105487655B (zh) * | 2015-11-23 | 2023-01-17 | 联想(北京)有限公司 | 信息处理方法及相关电子设备 |
| US10272317B2 (en) | 2016-03-18 | 2019-04-30 | Icon Health & Fitness, Inc. | Lighted pace feature in a treadmill |
| US10625137B2 (en) | 2016-03-18 | 2020-04-21 | Icon Health & Fitness, Inc. | Coordinated displays in an exercise device |
| US10493349B2 (en) | 2016-03-18 | 2019-12-03 | Icon Health & Fitness, Inc. | Display on exercise device |
| JP2017205213A (ja) | 2016-05-17 | 2017-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2018009928A1 (en) * | 2016-07-08 | 2018-01-11 | Interlink Electronics, Inc. | Multi-modal sensing array |
| US10671705B2 (en) | 2016-09-28 | 2020-06-02 | Icon Health & Fitness, Inc. | Customizing recipe recommendations |
| JP6271670B2 (ja) * | 2016-09-29 | 2018-01-31 | ソニー株式会社 | 携帯型電子機器及び信号処理方法 |
| CN109718536A (zh) * | 2019-02-02 | 2019-05-07 | 泉州市云汉鞋服贸易有限公司 | 一种体感跑步游戏运动系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5714706A (en) * | 1995-08-31 | 1998-02-03 | Yamaha Corporation | Method and apparatus for controlling musical sounds by player's foot movements |
| US6571193B1 (en) * | 1996-07-03 | 2003-05-27 | Hitachi, Ltd. | Method, apparatus and system for recognizing actions |
| EP1394665A1 (en) * | 2001-06-01 | 2004-03-03 | Sony Corporation | User input apparatus |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4771394A (en) * | 1986-02-03 | 1988-09-13 | Puma Aktiengesellschaft Rudolf Dassler Sport | Computer shoe system and shoe for use therewith |
| US5047952A (en) * | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
| US5221088A (en) * | 1991-01-22 | 1993-06-22 | Mcteigue Michael H | Sports training system and method |
| US5524637A (en) * | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
| US6151208A (en) * | 1998-06-24 | 2000-11-21 | Digital Equipment Corporation | Wearable computing device mounted on superior dorsal aspect of a hand |
| EP1130570B1 (en) * | 2000-01-11 | 2007-10-10 | Yamaha Corporation | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
-
2004
- 2004-04-05 JP JP2004111446A patent/JP2005293505A/ja active Pending
-
2005
- 2005-03-11 US US11/077,856 patent/US7156773B2/en active Active
- 2005-03-18 KR KR1020050022886A patent/KR20060044448A/ko not_active Application Discontinuation
- 2005-04-01 EP EP05252074A patent/EP1585014A3/en not_active Ceased
- 2005-04-05 CN CNB2005100649164A patent/CN100431490C/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5714706A (en) * | 1995-08-31 | 1998-02-03 | Yamaha Corporation | Method and apparatus for controlling musical sounds by player's foot movements |
| US6571193B1 (en) * | 1996-07-03 | 2003-05-27 | Hitachi, Ltd. | Method, apparatus and system for recognizing actions |
| EP1394665A1 (en) * | 2001-06-01 | 2004-03-03 | Sony Corporation | User input apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US7156773B2 (en) | 2007-01-02 |
| EP1585014A2 (en) | 2005-10-12 |
| US20050233859A1 (en) | 2005-10-20 |
| EP1585014A3 (en) | 2011-10-05 |
| JP2005293505A (ja) | 2005-10-20 |
| KR20060044448A (ko) | 2006-05-16 |
| CN1679446A (zh) | 2005-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100431490C (zh) | 电子装置、输入装置和输入方法 | |
| US7774156B2 (en) | Portable apparatus for monitoring user speed and/or distance traveled | |
| JP4595555B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| KR102564269B1 (ko) | 생체 정보를 이용하여 운동 정보를 제공하기 위한 전자 장치 및 그의 동작 방법 | |
| CN106027796B (zh) | 一种信息处理方法、终端及跑鞋 | |
| CN101004939B (zh) | 回放音频信号的设备和方法 | |
| Paradiso et al. | Interactive music for instrumented dancing shoes | |
| EP1804235A1 (en) | Content reproducing method and content reproducing device | |
| CN106705989B (zh) | 记步方法、设备及终端 | |
| WO2018003910A1 (ja) | 歩行状態判定装置、歩行状態判定システム、歩行状態判定方法及び記憶媒体 | |
| KR20160017120A (ko) | 모션 캡쳐를 위한 근접도 센서 메시 | |
| CN105944331A (zh) | 一种运动姿态矫正方法、装置及其智能终端 | |
| CN114191799A (zh) | 挥杆动作检测方法及可穿戴设备 | |
| US20220155851A1 (en) | System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses | |
| Paradiso et al. | Interfacing to the foot: apparatus and applications | |
| Paradiso | Some novel applications for wireless inertial sensors | |
| Paradiso | Footnotes: personal reflections on the development of instrumented dance shoes and their musical applications | |
| JP2004120688A (ja) | 歩数計機能付き携帯電話機 | |
| CN113063417A (zh) | 基于脚部姿态交互的控制方法 | |
| KR20110066264A (ko) | 매트를 이용한 재활 환자용 시스템 | |
| KR20100068779A (ko) | 휴대단말기의 운동거리 측정 장치 및 방법 | |
| Hoelzl | A personalised body motion sensitive training system based on auditive feedback | |
| WO2022070417A1 (ja) | 歩行判別装置、歩行判別方法、およびプログラム記録媒体 | |
| TW201904517A (zh) | 可攜式運動監視系統 | |
| CN113158917B (zh) | 行为模式识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081112 |