CN101669353A - 响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备 - Google Patents

响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备 Download PDF

Info

Publication number
CN101669353A
CN101669353A CN200780052920A CN200780052920A CN101669353A CN 101669353 A CN101669353 A CN 101669353A CN 200780052920 A CN200780052920 A CN 200780052920A CN 200780052920 A CN200780052920 A CN 200780052920A CN 101669353 A CN101669353 A CN 101669353A
Authority
CN
China
Prior art keywords
mobile device
signal
motion
multimedia object
described mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780052920A
Other languages
English (en)
Inventor
安德里亚·克里斯滕森
埃里克·斯塔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101669353A publication Critical patent/CN101669353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

对具有被设置用于与无线通信网络进行通信的收发器的移动设备进行操作的方法,包括使用与移动设备相关联的传感器来检测移动设备的运动,并且生成表示移动设备的运动的信号。从与移动设备相关联的辅助设备的传感器接收辅助传感器信号,并且响应于移动设备的运动和辅助传感器信号来生成多媒体对象并将其存储。一种移动设备包括用于检测移动设备的运动并且生成表示移动设备的运动的信号的传感器、被设置用于与无线通信网络进行通信的收发器,和被设置用于从辅助设备接收辅助传感器信号的短距离无线通信接口。该设备还包括响应于表示移动设备的运动的信号和辅助传感器信号来生成多媒体对象,并且存储多媒体对象的控制器。

Description

响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备
技术领域
本发明涉及电子设备及其操作方法,更具体地涉及移动设备用户输入及其方法。
背景技术
移动电子设备,如移动终端,越来越多地提供各种通信、多媒体、和/或数据处理能力。例如,移动终端,诸如手机、个人数字助理和/或膝上型计算机,可以按照许多种多媒体格式来提供对数据的存储和/或访问,数据包括文本、图片、音乐和/或视频。
此外,许多移动终端都包括可用于创建多媒体内容的传感器。例如,许多移动终端,诸如手机,都可配备能够生成数字运动图片以及数字静止图像的数字摄像机功能。在将使用数字摄像机拍摄的图像显示在移动终端上时,能够使用键盘来选择和/或操纵所显示的图像。然而,为了便于操纵内容,例如数字图像,移动设备可包括候选输入设备,例如响应于触摸、光和/或运动的传感器设备。
具体来讲,移动设备可包括运动传感器,例如倾斜传感器和/或加速计。因此,利用这些能力来操作和/或操纵数据的应用可包括在移动设备中。例如,已知经由倾斜和/或摇动移动设备的外壳来提供该设备上的菜单导航和选择。类似地,已知在移动设备上提供利用设备外壳的预定义运动来操纵一个或多个屏幕上的角色等的视频游戏。更具体来讲,通过倾斜设备外壳,用户可在八个方向中的一个上移动屏幕上的角色。在两种情况下,运动传感器都可评估设备外壳的移动并执行与该移动相关联的期望动作。
发明内容
本发明的某些实施方式提供了操作移动设备的方法,所述移动设备具有被设置用于和无线通信网络进行通信的收发器。这些方法包括以下步骤:使用与移动设备相关联的传感器来检测移动设备的运动,并且生成表示移动设备的运动的信号;从与移动设备相关联的辅助设备的传感器接收辅助传感器信号,并且响应于移动设备的运动和/或该辅助传感器信号来生成多媒体对象;以及存储该多媒体对象。
这些方法还可包括将表示移动设备的运动的信号与辅助传感器信号组合起来形成组合输入信号的步骤,并且生成多媒体对象的步骤可响应于该组合输入信号来执行。
这些方法还可包括将表示移动设备的运动的信号和辅助传感器信号发送至远程终端的步骤。将表示移动设备的运动的信号与辅助传感器信号组合起来形成组合输入信号的步骤可在该远程终端处执行。
辅助传感器信号可包括表示辅助设备的运动的信号。生成多媒体对象的步骤可包括响应于移动设备的运动、辅助传感器信号以及表示辅助设备的运动的信号来生成多媒体对象。
多媒体对象可包括声音文件、图像文件和/或视频文件,并且这些方法还可包括使用移动设备和/或辅助设备来播放多媒体对象的步骤。
这些方法还可包括将多媒体对象发送给远程终端,并且将多媒体对象存储在远程终端处的步骤。
这些方法还可包括使用短距离无线通信接口将辅助传感器信号发送至移动设备的步骤,所述短距离无线通信接口包括RF或红外通信接口。
这些方法还可包括在检测移动设备的运动之前,将该移动设备置于多媒体内容生成模式的步骤。在多媒体内容生成模式下,移动设备可被设置为对来自无线通信网络的来电提醒不作响应,响应于来电通知向网络发送“忙”状态信号,和/或将经由无线通信网络接收到的来电转发到呼叫转移号码和/或语音信箱。
这些方法还可包括选择多媒体对象的对象类型,并且选择移动设备和辅助设备的输入类型的步骤。
根据本发明其它实施方式的操作移动设备的方法包括以下步骤:获取现有的多媒体对象;使用与移动设备相关联的传感器来检测移动设备的运动,该移动设备具有设置用于与无线通信网络进行通信的收发器;并且生成表示移动设备的运动的信号。这些方法还包括以下步骤:响应于和移动设备相关联的辅助设备的输入来接收辅助传感器信号;响应于移动设备的运动和/或辅助传感器信号来修改现有的多媒体对象以生成修改后的多媒体对象;并且存储修改后的多媒体对象。
这些方法还可包括将表示移动设备的运动的信号与辅助传感器信号组合起来形成组合输入信号的步骤,并且修改多媒体对象的步骤可响应于该组合输入信号来执行。
辅助传感器信号可包括表示辅助设备的运动的信号。
根据某些实施方式的移动设备包括:传感器,其被设置用来检测移动设备的运动并生成表示移动设备运动的信号;收发器,其被设置用来与无线通信网络进行通信;和短距离无线通信接口,其被设置用来从辅助设备接收辅助传感器信号。该移动设备还包括:控制器,其被设置用来响应于表示移动设备的运动的信号和/或辅助传感器信号生成多媒体对象,并且存储该多媒体对象。
该控制器还可被设置用来将表示移动设备的运动的信号与辅助传感器信号组合起来形成组合输入信号,并且响应于组合输入信号来生成多媒体对象。
该控制器可被设置用于将移动设备置于多媒体内容生成模式,在该模式下,移动设备被设置成对来自无线通信网络的来电提醒不作响应,响应于来电通知向网络发送“忙”状态信号,和/或将经由无线通信网络接收到的来电转移到呼叫转移号码和/或语音信箱。
该控制器可被设置用于响应于表示移动设备的运动的信号、辅助传感器信号和表示辅助设备的运动的信号来生成多媒体对象。
该控制器可被设置用于获取现有的多媒体对象并且响应于表示移动设备的运动的信号和辅助传感器信号来修改现有的多媒体对象。
该传感器可包括运动传感器,运动传感器包括被设置用于感测沿着第一轴的直线运动和沿着垂直于第一轴的第二轴的旋转运动的一对平行的传感器,并且运动传感器被设置用于生成表示移动设备的运动的信号。
尽管上面主要针对方法和设备方面进行了描述,但是应该理解,本发明可体现为方法、电子设备和/或计算机程序产品。
附图说明
图1是示出根据本发明某些实施方式的移动终端的框图。
图2是示出根据本发明某些实施方式的辅助设备的框图。
图3A和3B示出了根据本发明某些实施方式的移动终端和/或辅助设备的连接和/或移动。
图4是示出根据本发明某些实施方式的操作移动设备和/或辅助设备的示例方法的流程图。
具体实施方式
现在将参照附图来描述本发明的具体实施方式。然而,本发明可体现为许多不同形式并且不应当解释为限于这里阐述的实施方式;相反,提供这些实施方式是为了使本公开充分和完整,并且将本发明的范围完全传达给本领域技术人员。附图中示出的特定示例实施方式的详细描述中所使用的术语不是为了限制本发明。在附图中,相同的数字指代相同的元件。
这里所使用的单数形式“一”、“一个”和“该”旨在也包括复数形式,除非明确地另外说明。还应当理解,措辞“包括”在本说明书中使用时,是要指定存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或增加一个或更多个其它特征、整数、步骤、操作、元件、组件和/或它们的组合。应该理解,当我们称某个元件“连接”或“耦接”到另一元件时,它可直接连接或耦接到另一元件,也可存在介于其间的元件。此外,这里使用的“连接”或“耦接”可包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个关联列出项的任意和全部组合,并且可缩写为“/”。
除非另外定义,这里使用的所有术语(包括技术和科学术语)的含意都与本发明所属领域内普通技术人员所共同理解的相同。还应该理解,例如那些在公用词典中定义的术语,应当被解释为与它们在相关领域的上下文中的含意相一致,并且不以理想化或过度形式化的含意来解释,除非这里明确地这么定义。
本发明可体现为方法、电子设备和/或计算机程序产品。因此,本发明可以实现为硬件和/或软件(包括固件、驻留软件、微代码等)。此外,本发明可以是计算机可用或计算机可读存储介质上的计算机程序产品的形式,所述计算机可用或计算机可读存储介质中包含有供指令执行系统使用或者与其结合使用的计算机可用或计算机可读程序代码。在本文档的上下文中,计算机可用或计算机可读介质可以是可包含或存储可供指令执行系统、装置或设备使用或者与其结合使用的程序的任何介质。
计算机可用或计算机可读介质例如可以是但不限于电、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例(非穷尽列举)包括以下:具有一条或多条导线的电连接、便携式计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤和光盘只读存储器(CD-ROM)。注意,计算机可用或计算机可读介质甚至可以是其上打印了程序的纸张或另一适当介质,因为程序可例如经由对纸张或其它介质的光学扫描而电子地获取,必要时进行编译、解释或者以适当方式进行其它处理,然后存储在计算机存储器中。
这里使用的术语“移动终端”可包括:具有或不具有多行显示器的卫星或蜂窝无线电话;可将蜂窝无线电话与数据处理、传真和数据通信能力相结合的个人通信系统(PCS);可包括无线电话、寻呼机、因特网/内联网接入、Web浏览器、电子记事本、日历和/或全球定位系统(GPS)接收器的PDA;以及包括无线电话收发器的常规膝上型计算机和/或掌上型接收器或其它装置。移动终端还可称作为“普及计算”设备。
出于例示的目的,这里在移动终端的环境中描述本发明的实施方式。然而,应该会理解,本发明不限于这些实施方式并且可一般地体现为包括数据存储功能的任何移动电子设备。
图1是示出根据本发明某些实施方式的移动终端100的框图。现在参照图1,移动终端100包括包含在外壳195中的收发器125、存储器130、扬声器135、控制器/处理器140、运动传感器190、摄像机192、显示器110(例如液晶显示器)、短距离通信接口115和用户输入界面155。收发器125通常包括发射器电路150和接收器电路145,它们协作来经由天线165向基站收发器发送和从其接收射频信号。在移动终端100与基站收发器之间传输的射频信号可包括流量和控制信号(例如,来电的寻呼信号/消息)两者,它们用于建立和维护与另一方或目的地的通信。射频信号还可包括分组数据信息,例如通用分组无线系统(GPRS)信息。
短距离通信接口115可包括红外(IR)收发器,红外收发器被设置为经由IR端口向其它电子设备发送/从其接收红外信号,并且/或者可包括蓝牙(BT)收发器。短距离通信接口还可包括有线数据通信接口,例如USB接口和/或IEEE 1394/火线通信接口。
存储器130可表示存储器的层级,其可包括易失性和非易失性存储器,例如可移动闪速、磁、和/或光可重写非易失性存储器。用户输入界面155可包括麦克风120、摇杆170、键盘/键区105、触敏显示器160、拨号盘175、方向键180和/或定点装置185(如鼠标、轨迹球、触摸垫等)。然而,取决于移动终端100提供的特定功能,实际上可以为用户界面155设置额外的和/或更少的元件。例如,触敏显示器160可以设置在不包括显示器110、键区105和/或定点装置185的PDA中。
控制器/处理器140耦接到收发器125、存储器130、扬声器135、运动传感器190和用户界面155。控制器/处理器140例如可以是市面可买到或定制的微处理器(或处理器),其被设置用于协调和管理收发器125、存储器130、扬声器135、运动传感器190和/或用户界面155的操作。至于移动终端100的前述组件在移动终端100的各种常规操作中的作用,它们可包括在许多常规移动终端中,并且它们的功能通常为本领域技术人员所已知。
控制器140被设置成经由地址/数据总线与存储器130和运动传感器190连通。存储器130可被设置用于存储多种软件和数据,例如操作系统、应用程序、输入/输出(I/O)设备驱动和/或数据。操作系统控制系统资源的管理和/或操作,并且可协调控制器140对应用和/或其它程序的执行。I/O设备驱动通常包括应用程序通过操作系统访问以便与输入/输出设备进行通信的软件例程,输入/输出设备例如是用户界面155中包括的那些和/或存储器130的其它组件。数据可包括应用程序和/或操作系统使用的各种数据。更具体来讲,根据本发明的某些实施方式,数据可包括例如由运动传感器190生成的运动数据。
仍然参照图1,运动传感器190被设置用于检测外壳195的预定义的局部移动。特别是,运动传感器190可包括被设置用于为检测移动终端100沿着和/或围绕一个或更多个轴移动的一个或更多个加速计。
例如,运动传感器190可包括被设置用于检测移动设备外壳195的移动、转动、倾斜、摇动、摇摆和/或突然移动的一个或更多个加速计和/或倾斜传感器。移动设备外壳195的移动可能对应于移动设备100的存储器130中存储的默认预定义移动,或者可能是用户定义的移动。运动传感器190可以被设置为检测预定义的局部移动。
例如,在检测到移动设备外壳195的预定义局部移动时,运动传感器190可生成对应于检测到的预定义局部移动的一个或更多个参数。这些参数可存储在存储器130中,作为主要设备运动数据。
尽管图1示出了可用在移动终端和/或其它电子设备中控制其操作的示例性硬件/软件体系结构,但是应该理解,本发明并不限于这种结构,而是旨在包含能够实现这里描述的操作的任何结构。例如,尽管存储器130被例示为与控制器相分离,但是存储器130或其一部分可视为控制器140的一部分。更通常地,尽管通过例示的方式将特定功能表示在特定的块中,但是可以组合、拆分和/或去除不同块的功能和/或其部分。而且,图1的硬件/软件体系结构的功能可根据本发明的各个实施方式实现为单处理器系统或多处理器系统。
图2是示出根据本发明某些实施方式的辅助设备200的框图。根据某些实施方式,辅助设备200可以结合移动终端100来使用,以生成协调运动/传感器数据,可以对该数据进行组合从而在多媒体对象生成模式下生成多媒体对象。
现在参照图2,辅助设备200可包括包含在外壳295中的存储器230、扬声器235、控制器/处理器240、运动传感器290、摄像机292、显示器220(例如液晶显示器)、短距离通信接口215和用户输入界面255。
短距离通信接口215可包括红外(IR)收发器,红外收发器被设置用于经由IR端口向其它电子设备发送/从其接收红外信号,并且/或者可包括蓝牙(BT)收发器。短距离通信接口还可包括有线数据通信接口,例如USB接口和/或IEEE 1394/火线通信接口或其它有线通信接口。特别是,短距离通信接口215可使得辅助设备200能够在短距离内与移动终端100进行通信。
存储器230可表示存储器的层级,其可包括易失性和非易失性存储器,例如可移动闪速、磁、和/或光可重写非易失性存储器。用户输入界面255可包括包含传感器的输入设备,例如麦克风220、摇杆270、键盘/键区205、触敏显示器260、拨号盘275、方向键280、吉它臂(guitar arm)287和/或定点装置285(例如鼠标、轨迹球、触摸垫等)。然而,取决于移动终端200提供的特定功能,用户界面255实际上可以设置额外的和/或更少的元件。例如,触摸显示器260可以在不包括显示器210、键区205和/或定点装置285的PDA中设置。
控制器/处理器240耦接到收发器225、存储器230、扬声器235、运动传感器290和用户界面255。控制器/处理器240例如可以是市场可买到或定制的微处理器(或处理器),其被设置用于协调和管理收发器225、存储器230、扬声器235、运动传感器290和/或用户界面255的操作。
控制器240被设置为经由地址/数据总线与存储器230和运动传感器290连通。存储器230可被设置用于存储软件和/或数据。例如,存储器230可被设置用于存储例如由运动传感器290生成的表示辅助设备200的局部移动的运动数据。
仍然参照图2,运动传感器290被设置用于检测外壳295的预定义局部移动。特别是,运动传感器290可包括被设置用于检测移动终端200沿着和/或围绕一个或更多个轴移动的一个或更多个加速计。
例如,运动传感器290可包括被设置用于检测移动设备外壳295的移动、转动、倾斜、摇动、摇摆和/或突然移动的加速计和/或倾斜传感器。移动设备外壳295的移动可能对应于移动设备200的存储器230中存储的默认预定义移动,也可能是用户定义的移动。运动传感器290可被设置用于检测预定义局部移动。
例如,在检测到移动设备外壳295的预定义局部移动时,运动传感器290可生成对应于检测到的预定义局部移动的一个或更多个参数。可包括辅助设备运动数据的这些参数可存储在存储器230中和/或可通过短距离通信接口295发送到移动设备100。
为了开发的方便,用于执行上面针对图1和2论述的设备操作的计算机程序代码可以用高级编程语言来编写,例如Java、C和/或C++。另外,用于执行本发明实施方式的操作的计算机程序代码也可以用其它编程语言来编写,例如但不限于解释语言(interpreted language)。某些模块或例程可以用汇编语言或者甚至用微代码来编写,以改善性能和/或存储器使用。还应该理解,任何或全部程序模块的功能也可使用分离的硬件组件、一个或更多个专用集成电路(ASIC),或者经编程的数字信号处理器或微控制器来实现。
现在参照图3A,移动终端100和辅助设备200可经由无线短距离通信链路310来相互通信。在某些实施方式中,无线短距离通信链路310可包括短距离RF通信链路,例如蓝牙链路,其可允许移动终端100和辅助设备200通过非直线的视觉通信链路来进行通信。移动终端100可包括显示器110和键区105,如图3A中所示。然而,移动终端100可包括其它I/O设备,例如图1中示出的I/O设备。辅助设备200可包括摄像机292和方向控制按钮280。然而,辅助设备200可包括其它I/O设备,例如图2中示出的I/O设备。
移动终端100和辅助设备200的大小可以调整为适合于同时由用户握住,例如每只手中一个设备。
移动终端100还可建立与多媒体终端305的通信链路312。通信链路312可利用收发器125和/或利用短距离通信接口115来建立。因此,多媒体终端305可位于或不位于移动终端100和/或辅助终端200附近。
参照图3B,移动终端100和辅助设备200可经由有线短距离通信链路320相互通信。在某些实施方式中,有线短距离通信链路320可包括USB和/或火线连接,或者其它有线通信链路,其可经由连接到移动终端100和辅助设备200的适配器315来实现。
图3B还示出了可由移动终端100的运动传感器190和/或辅助设备200的运动传感器290检测到的某些可能的移动。例如,移动终端100和/或辅助设备200可沿着x、y和/或z轴平动,并且/或者可围绕x、y或z轴转动,这些移动可由其中的运动传感器190、290检测到。
为了检测沿某个轴的运动,可在移动终端和/或辅助设备的外壳中设置例如加速计,并且可沿着该轴对齐。因此,为了检测沿着三个坐标轴的直线运动,可使用三个传感器。然而,为了检测围绕某个轴的旋转运动,可能希望在垂直于该轴的平面中设置两个平行的直线加速计。例如,为了检测围绕z轴的旋转,可在x-y平面中放置两个平行的加速计。因此,为了同时检测相对于x、y和z轴的转动和平动,可能希望在移动终端100和/或辅助设备200中设置六个加速计(即,每个轴两个平行的加速计)。
如上所述,移动终端100的移动可转换为主要设备运动数据,该数据可存储在移动终端100的存储器130中。用户输入设备的启动和/或辅助设备200的移动可转换为辅助设备传感器数据,该数据可存储在辅助设备200的存储器230中和/或可经由短距离通信链路310、320发送给移动终端100。辅助设备传感器数据可由移动终端100存储在存储器130中。在某些实施方式中,辅助设备传感器数据可与主要设备运动数据进行组合,并且可以将组合数据存储在移动终端100的存储器130中。
应用程序可以利用主要设备运动数据和辅助设备传感器数据(或组合数据)来生成多媒体对象,例如音频对象、图像对象和/或视频对象。多媒体对象可以是仅仅根据运动数据生成的,和/或可通过基于运动数据修改已存在的多媒体对象来生成。例如,可响应于运动数据来调制音频对象(如音乐和弦)。同样,可响应于运动数据来生成、操纵和/或修改视频对象。例如,可响应于运动数据来修改视频对象的属性,如该视频对象的颜色、缩放、比例(perspective)、扭曲(skew)等。
随后例如可在移动终端100、辅助设备200、多媒体服务器305处和/或另一位置/设备处对多媒体对象进行存储和/或显示/播放。在某些实施方式中,多媒体对象例如可在移动终端100、辅助设备200和/或多媒体服务器305处同时生成并且播放/显示。例如,在某些实施方式中,多媒体对象可在移动终端100处生成并同时播放,以向用户提供即时反馈。在某些实施方式中,多媒体对象可在移动终端100处生成并且经由通信接口310、320发送到辅助设备200,在那被同时播放和/或经由通信接口312发送到多媒体服务器305,在那被同时播放。
某些实施方式可允许用户基于移动终端100和/或辅助设备200的移动来生成复杂的多媒体样式,例如声音和/或图像样式。特别是,某些实施方式可允许用户基于移动终端100和辅助设备200的协同移动来生成复杂的多媒体对象。
本发明的某些实施方式可被配置为响应于移动终端100的协同移动和对辅助设备200的输入来生成音频对象。例如,其中一台设备的移动可提供节拍或节奏的控制,而另一台设备的移动和/或另一台设备的传感器输入可提供音质/音调的控制。作为另一示例,设备的移动/传感器输入可对应于单个打击乐器,例如鼓、钗、铃等。
因此,作为一个示例,用户可将移动设备100置于多媒体生成模式。然后用户可通过移动终端100和/或辅助设备200的协同运动和/或来自任一台设备的传感器输入来生成多媒体对象,例如音频对象。即,用户可移动移动终端100并且以协同方式来移动辅助设备200和/或向其提供输入,并且移动终端100的移动和辅助设备200的移动和/或传感器输入可由相应的运动传感器190、290和/或用户输入设备255转换为运动数据。运动数据可用于生成对应的音频信号,可以对这种音频信号进行组合以生成音频对象。随后可以将音频对象本地存储在移动设备100处,和/或例如远程存储在多媒体服务器305处,以供随后的存取。
在某些实施方式中,用户可选择现有的音频对象,例如本地存储在移动终端处或远程存储在服务器处的歌曲文件,并且可使用扬声器135来播放该歌曲。在播放歌曲时,用户可响应于移动终端100和辅助设备200的移动而向歌曲中添加音轨。即,用户可移动终端100并且以协同方式移动辅助设备200和/或向其提供输入,并且移动终端100的移动和辅助设备200的移动和/或其输入可由相应的传感器190、290和/或输入设备255转换为运动数据。运动数据可用于生成对应的音频信号,可以将该音频信号与现有的音频对象进行组合以生成修改后的音频对象。修改后的音频对象随后可本地存储在移动设备100处,和/或例如远程存储在多媒体服务器305处,以供随后的存取。
因此,例如,移动终端100可被设置成将运动数据转换为可添加到歌曲中的鼓声,由此用户可将鼓轨(drum track)迹添加到歌曲中。类似地,移动终端100可被设置用于将运动数据转换为可添加到歌曲中的吉它声,由此用户可将吉它轨(guitar track)添加到歌曲中。
应该理解,根据本发明的某些实施方式,运动数据可转换为可被单独存储并随后组合的声音对象。类似地,运动数据可用于重复地修改音频对象以生成修改后的音频对象。
例如,在鼓生成模式下,用户可使用移动终端100和辅助设备200来响应于其移动生成鼓轨。用户随后可存储鼓轨并且切换到吉它生成模式。在吉它生成模式下,用户可使用移动终端100和辅助设备200来响应于其移动生成吉它轨,并且将吉它轨与之前记录的鼓轨进行组合。这样,用户就可重复地将对应于不同乐器的音轨添加到音频对象中,以便最终构建出一首完整的歌曲。
如上所述,例如可以使用上面结合图1和图2描述的一个或更多个I/O设备,由移动终端100和/或辅助设备200来感知除运动数据之外其他数据。这些另外的数据可转换为多媒体信号和/或用于生成多媒体信号,该多媒体信号可与响应于运动数据而生成的多媒体信号进行组合。例如,除了移动辅助设备200以外,用户还可触动一个或更多个方向按钮280,这可以改变正在生成的音频对象的运行模式、音质、音调、音量或其它特性。
多媒体内容处理可在移动终端100处和/或在远程站,例如多媒体服务器305处执行。多媒体内容处理可根据Java多媒体标准JSR-000135和/或Java多媒体标准JSR-000234中所定义的Java多媒体API来执行,Java多媒体API定义了播放和记录多媒体对象(例如用于Java兼容设备的音频对象、视频对象和静止图像)的标准接口。
例如可使用Java多媒体标准JSR-000256从移动终端100的传感器和/或辅助设备200的传感器获取运动事件,该标准定义了发送和接收用于Java兼容设备的传感器信息的标准接口。
以下参考根据本发明某些实施方式的方法、移动终端、电子设备、数据处理系统和/或计算机程序产品的流程图和/或框图图示来描述本发明。这些流程图和/或框图还示出了根据本发明各个实施方式的操作移动设备的方法。应该理解,这些流程图和/或框图图示中的每个框,以及这些流程图和/或框图图示中的框的组合,都可由计算机程序指令和/或硬件操作来实现。这些计算机程序指令可提供到通用计算机、专用计算机或其它可编程数据处理装置的处理器,以生成机器,使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建了用于实现这些流程图和/或框图的框中指定功能的装置。这些计算机程序指令还可存储在计算机可用或计算机可读存储器中,其可引导计算机或其它可编程数据处理装置以特定方式起作用,使得计算机可用或计算机可读存储器中存储的指令产生制品,所述制品包括实现这些流程图和/或框图的框中指定功能/行为的指令。
计算机程序指令还可载入到计算机或其它可编程数据处理装置中以使一系列操作步骤在计算机或其它可编程装置上执行,以产生计算机实现的处理,使得在计算机或其它可编程装置上执行的指令提供用于实现这些流程图和/或框图的框中指定的功能/行为的步骤。
图4是示出根据本发明某些实施方式的操作移动设备的示例方法的流程图。现在参照图4,操作开始于框405,其中移动终端100被置于多媒体内容生成模式。在多媒体内容生成模式下,移动终端100可被设置成对来自网络(例如移动终端注册到的蜂窝通信网络)的来电提醒不作响应。类似地,在多媒体内容生成模式下,移动终端100可被设置成响应于来电通知向网络发送“忙”状态信号,以使得来电可以不中断多媒体内容的生成。在其它实施方式中,移动终端100可被设置成将来电转移到呼叫转移号码和/或语音信箱。在某些实施方式中,移动终端100可被设置成当在多媒体内容生成模式下接收到来电时,自动切换到静音,和/或提供振动信号和/或闪光信号。
一旦移动终端100已被置于多媒体生成模式,用户就可以例如通过选择菜单画面上的适当选项来创建新的多媒体文件或修改现有多媒体对象(框410)。如果用户选择创建新的多媒体对象,那么可提示该用户来选择对象类型(例如声音对象、图片对象、视频对象等)(框412)。用户还可选择将通过主要和辅助设备100、200进行的输入类型。例如,用户可选择使用主要设备100作为鼓而使用辅助设备200作为钹。接下来,主要设备100和辅助设备200开始响应于用户对设备的移动和/或对输入设备的触动来生成主要和辅助输入信号(框415)。辅助输入信号由辅助设备200发送到主要设备100。
可选的是,可对主要输入和辅助输入进行组合(框420)。在某些实施方式中,可在主要设备100处组合主要和辅助输入以形成组合输入。在其它实施方式中,主要和辅助输入信号可由主要设备100经由与多媒体终端305的通信链路312(图3)进行转发,并且主要和辅助运动输入信号可在多媒体终端305处组合和/或解释。
然后响应于主要和辅助输入信号,或者响应于组合输入信号来生成多媒体对象(框425)。然后保存该多媒体对象(框430)。例如可在主要设备100和/或在多媒体终端305处保存和播放多媒体对象。
如果在框410处,用户选择修改现有对象,那么从存储器中获取现有对象(框435)。多媒体对象例如可存储在主要设备的易失性和/或非易失性存储器230,和/或在多媒体服务器的易失性和/或非易失性存储器中。
用户随后可如上所述来选择主要输入类型和辅助输入类型(框437)。然后例如使用主要设备100的显示器210和/或扬声器235在主要设备100处播放现有对象。
接下来,主要设备100和辅助设备200开始响应于用户对设备的移动和/或对其上的输入设备的触动来生成主要和辅助输入信号(框445)。辅助输入信号由辅助设备200发送到主要设备100。
可选的是,可以对主要输入信号和辅助输入信号进行组合(框450)。例如,主要和辅助输入信号可在主要设备100处进行组合以形成组合输入信号,或者主要和辅助输入信号可由主要设备100经由与多媒体终端305的通信链路312(图3)进行转发,并且主要和辅助输入信号可在多媒体终端305处进行组合和/或解释。
然后响应于主要和辅助输入信号,或者响应于组合输入信号来修改现有的多媒体对象(框455)。最后,保存修改后的多媒体对象(框430)。
附图和说明书中已公开了本发明的示例实施方式。然而,可基本上不偏离本发明的原理对这些实施方式做出许多变化和修改。因此,尽管使用了特定术语,但是它们仅仅以一般和描述性的含意来使用而不是用于限制的目的,本发明的范围由以下权利要求来限定。

Claims (20)

1.一种操作移动设备的方法,该方法包括以下步骤:
使用与所述移动设备相关联的传感器来检测所述移动设备的运动,并且生成表示所述移动设备的运动的信号,其中所述移动设备具有被设置用于与无线通信网络进行通信的收发器;
从与所述移动设备相关联的辅助设备的传感器接收辅助传感器信号;
响应于所述移动设备的运动和/或所述辅助传感器信号来生成多媒体对象;以及
存储所述多媒体对象。
2.根据权利要求1所述的方法,该方法还包括以下步骤:将所述表示所述移动设备的运动的信号与所述辅助传感器信号组合起来以形成组合输入信号,其中生成多媒体对象的步骤是响应于所述组合输入信号来执行的。
3.根据权利要求2所述的方法,该方法还包括以下步骤:将所述表示所述移动设备的运动的信号和所述辅助传感器信号发送至远程终端,其中将所述表示所述移动设备的运动的信号与所述辅助传感器信号组合起来以形成组合输入信号的步骤是在所述远程终端处执行的。
4.根据权利要求1到3中任意一项所述的方法,其中所述辅助传感器信号包括表示所述辅助设备的运动的信号。
5.根据权利要求1到4中任意一项所述的方法,其中生成多媒体对象的步骤包括响应于所述移动设备的运动、所述辅助传感器信号以及表示所述辅助设备的运动的信号来生成所述多媒体对象。
6.根据权利要求1到5中任意一项所述的方法,所述多媒体对象包括声音文件、图像文件和/或视频文件,并且该方法还包括使用所述移动设备和/或所述辅助设备来播放所述多媒体对象的步骤。
7.根据权利要求1到6中任意一项所述的方法,该方法还包括以下步骤:将所述多媒体对象发送给远程终端,并且将所述多媒体对象存储在所述远程终端处。
8.根据权利要求1到7中任意一项所述的方法,该方法还包括以下步骤:使用短距离无线通信接口将所述辅助传感器信号发送至所述移动设备,其中所述短距离无线通信接口包括射频或红外通信接口。
9.根据权利要求1到8中任意一项所述的方法,该方法还包括以下步骤:在检测所述移动设备的运动之前,将所述移动设备置于多媒体内容生成模式。
10.根据权利要求9所述的方法,其中在所述多媒体内容生成模式下,所述移动设备被设置为对来自所述无线通信网络的来电提醒不作响应,响应于来电通知向该网络发送“忙”状态信号,和/或将经由所述无线通信网络接收到的来电转发到呼叫转移号码和/或语音信箱。
11.根据权利要求1到10中任意一项所述的方法,该方法还包括以下步骤:
选择所述多媒体对象的对象类型;和
选择所述移动设备和所述辅助设备的输入类型。
12.一种操作移动设备的方法,该方法包括以下步骤:
获取现有的多媒体对象;
使用与所述移动设备相关联的传感器来检测所述移动设备的运动,并且生成表示所述移动设备的运动的信号,其中所述移动设备具有被设置用于与无线通信网络进行通信的收发器;
响应于与所述移动设备相关联的辅助设备的输入来接收辅助传感器信号;
响应于所述移动设备的运动和/或所述辅助传感器信号来修改现有的多媒体对象以生成修改后的多媒体对象;以及
存储修改后的多媒体对象。
13.根据权利要求12所述的方法,该方法还包括以下步骤:将所述表示所述移动设备的运动的信号与所述辅助传感器信号组合起来以形成组合输入信号,其中修改多媒体对象的步骤是响应于所述组合输入信号来执行的。
14.根据权利要求12到13中任意一项所述的方法,其中所述辅助传感器信号包括表示所述辅助设备的运动的信号。
15.一种移动设备,该移动设备包括:
传感器,其被设置用来检测所述移动设备的运动并生成表示所述移动设备运动的信号;
收发器,其被设置用来与无线通信网络进行通信;
短距离无线通信接口,其被设置用来从辅助设备接收辅助传感器信号;以及
控制器,其被设置用来响应于所述表示所述移动设备的运动的信号和/或所述辅助传感器信号而生成多媒体对象,并且存储所述多媒体对象。
16.根据权利要求15所述的移动设备,其中所述控制器还被设置用来将所述表示所述移动设备的运动的信号与所述辅助传感器信号组合起来以形成组合输入信号,并且响应于所述组合输入信号来生成所述多媒体对象。
17.根据权利要求15到16中任意一项所述的移动设备,其中所述控制器被设置用于将所述移动设备置于多媒体内容生成模式,在该模式下,所述移动设备被设置成对来自所述无线通信网络的来电提醒不作响应,响应于来电通知向该网络发送“忙”状态信号,和/或将经由所述无线通信网络接收到的来电转移到呼叫转移号码和/或语音信箱。
18.根据权利要求15到17中任意一项所述的移动设备,其中所述控制器被设置用于响应于所述表示所述移动设备的运动的信号、所述辅助传感器信号和表示所述辅助设备的运动的信号来生成所述多媒体对象。
19.根据权利要求15到18中任意一项所述的移动设备,其中所述控制器被设置用于获取现有的多媒体对象并且响应于所述表示所述移动设备的运动的信号和所述辅助传感器信号来修改所述现有的多媒体对象。
20.根据权利要求15到19中任意一项所述的移动设备,其中所述传感器包括运动传感器,该运动传感器包括被设置用于感测沿着第一轴的直线运动和沿着垂直于第一轴的第二轴的旋转运动的一对平行的传感器,并且其中所述运动传感器被设置用于生成所述表示所述移动设备的运动的信号。
CN200780052920A 2007-05-11 2007-11-09 响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备 Pending CN101669353A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/747,648 US20080280641A1 (en) 2007-05-11 2007-05-11 Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
US11/747,648 2007-05-11

Publications (1)

Publication Number Publication Date
CN101669353A true CN101669353A (zh) 2010-03-10

Family

ID=39471723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780052920A Pending CN101669353A (zh) 2007-05-11 2007-11-09 响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备

Country Status (6)

Country Link
US (1) US20080280641A1 (zh)
EP (1) EP2156653A1 (zh)
JP (1) JP2010527188A (zh)
KR (1) KR20100021594A (zh)
CN (1) CN101669353A (zh)
WO (1) WO2008138407A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102290045A (zh) * 2011-05-13 2011-12-21 北京瑞信在线系统技术有限公司 一种控制音乐节奏的方法、装置及移动终端
CN103443794A (zh) * 2010-11-12 2013-12-11 菲希欧控制公司 人工启动复苏事件数据至医疗设备的无线传送
CN113329336A (zh) * 2018-08-21 2021-08-31 沃科莱克特公司 用于识别连接的电子设备的方法、系统和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094469A (zh) * 2007-07-17 2007-12-26 华为技术有限公司 移动终端提示信息的生成方法和装置
US8060063B1 (en) * 2007-09-07 2011-11-15 Sprint Communications Company L.P. Presenting messages on a mobile device that is currently presenting other media content
US8260367B2 (en) * 2007-12-12 2012-09-04 Sharp Laboratories Of America, Inc. Motion driven follow-up alerts for mobile electronic device
US8676224B2 (en) * 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
US9225817B2 (en) * 2008-06-16 2015-12-29 Sony Corporation Method and apparatus for providing motion activated updating of weather information
KR20100059345A (ko) * 2008-11-26 2010-06-04 삼성전자주식회사 헤드셋과 휴대 단말기 및 이를 포함하는 휴대 단말기 제어 시스템과 휴대 단말기 제어 방법
US8095191B2 (en) * 2009-07-06 2012-01-10 Motorola Mobility, Inc. Detection and function of seven self-supported orientations in a portable device
US20110161136A1 (en) * 2009-11-25 2011-06-30 Patrick Faith Customer mapping using mobile device with an accelerometer
DE102009057725A1 (de) 2009-12-10 2011-06-16 Siemens Enterprise Communications Gmbh & Co. Kg Signalgebende Vorrichtung, Signalisiervorrichtung, Signalgebungsverfahren sowie Signalisierverfahren
CN102739844A (zh) * 2011-04-12 2012-10-17 上海三旗通信科技股份有限公司 一种检测移动终端设备的运动轨迹演奏音乐的实现方法
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US10078900B2 (en) * 2012-09-10 2018-09-18 Intel Corporation Providing support for display articulation-related applications
CN106412681B (zh) 2015-07-31 2019-12-24 腾讯科技(深圳)有限公司 弹幕视频直播方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2620724B2 (ja) * 1990-10-23 1997-06-18 株式会社河合楽器製作所 演奏情報の記録装置
WO2004008411A1 (en) * 2002-07-11 2004-01-22 Nokia Corporation Method and device for automatically changing a digital content on a mobile device according to sensor data
DE10231570A1 (de) * 2002-07-11 2004-01-29 Mobilegames24 Mobilfunkendgerät und prozessorlesbares Speichermedium
US6975959B2 (en) * 2002-12-03 2005-12-13 Robert Bosch Gmbh Orientation and navigation for a mobile device using inertial sensors
US20040176025A1 (en) * 2003-02-07 2004-09-09 Nokia Corporation Playing music with mobile phones
JP3801163B2 (ja) * 2003-03-07 2006-07-26 セイコーエプソン株式会社 体動検出装置、ピッチ計、歩数計、腕時計型情報処理装置、制御方法及び制御プログラム
JP4237010B2 (ja) * 2003-07-31 2009-03-11 京セラ株式会社 携帯通信端末
EP1617628A4 (en) * 2003-10-16 2012-05-02 Vodafone Plc MOBILE COMMUNICATION TERMINAL AND APPLICATION PROGRAM
US20060205394A1 (en) * 2005-03-10 2006-09-14 Vesterinen Matti I Mobile device, a network element and a method of adjusting a setting associated with a mobile device
US20060221935A1 (en) * 2005-03-31 2006-10-05 Wong Daniel H Method and apparatus for representing communication attributes
JP2008096462A (ja) * 2006-10-05 2008-04-24 Yamaha Corp 合奏システム及び携帯情報端末

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443794A (zh) * 2010-11-12 2013-12-11 菲希欧控制公司 人工启动复苏事件数据至医疗设备的无线传送
CN102290045A (zh) * 2011-05-13 2011-12-21 北京瑞信在线系统技术有限公司 一种控制音乐节奏的方法、装置及移动终端
CN102290045B (zh) * 2011-05-13 2013-05-01 北京瑞信在线系统技术有限公司 一种控制音乐节奏的方法、装置及移动终端
CN113329336A (zh) * 2018-08-21 2021-08-31 沃科莱克特公司 用于识别连接的电子设备的方法、系统和装置

Also Published As

Publication number Publication date
WO2008138407A1 (en) 2008-11-20
US20080280641A1 (en) 2008-11-13
EP2156653A1 (en) 2010-02-24
KR20100021594A (ko) 2010-02-25
JP2010527188A (ja) 2010-08-05

Similar Documents

Publication Publication Date Title
CN101669353A (zh) 响应于相关便携式设备的同时输入来生成多媒体内容的方法和设备
JP4571690B2 (ja) モバイルデバイスの運動を介したユーザ入力に応じてモバイルデバイスを操作するための方法、装置及びコンピュータ・プログラムを記憶した記憶媒体
CN102064857B (zh) 用于远程控制蓝牙装置的方法和设备
JP5201599B2 (ja) 端末装置、および、プログラム
JP6308132B2 (ja) 電子機器、電子機器の制御方法、及びプログラム
CN1968475B (zh) 便携式信息通信终端
JP4056518B2 (ja) 携帯情報端末、その表示制御方法およびプログラム
US20090024721A1 (en) Image Information Sharing System
WO2019169587A1 (zh) 一种分功能模块安装应用程序的方法
CN102232289B (zh) 便携终端设备、用于该设备的图像显示方法和记录用于该方法的程序的记录介质
WO2005039154A1 (ja) 移動体通信端末及びアプリケーションプログラム
CN111125602B (zh) 页面构建方法、装置、设备和存储介质
US8442601B2 (en) Mobile phone apparatus
JP5730604B2 (ja) 携帯端末およびその制御方法
JP6092734B2 (ja) 通信機器
JP3851912B2 (ja) 携帯型端末装置、プログラムおよび情報記憶媒体
KR101203749B1 (ko) 핸드헬링 메시지 입력 방법과 이에 적용되는 단말기
JP4149893B2 (ja) 移動体通信端末及びアプリケーションプログラム
JP2005300863A (ja) 移動体通信端末及びカラオケシステム
JP4331239B2 (ja) 移動体通信端末及びアプリケーションプログラム
CN110266883B (zh) 歌曲下载收藏方法、装置、终端设备及存储介质
JP4394742B2 (ja) 移動体通信端末及びアプリケーションプログラム
JP4856001B2 (ja) 情報通信端末
KR200332458Y1 (ko) 이동통신단말기의 키버튼을 이용한 캐릭톤 시스템
JP2017204723A (ja) 遠隔制御システム、画像処理装置、遠隔制御方法および遠隔制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100310