CN105793903A - 用于多媒体触觉增强的系统和方法 - Google Patents

用于多媒体触觉增强的系统和方法 Download PDF

Info

Publication number
CN105793903A
CN105793903A CN201480057701.7A CN201480057701A CN105793903A CN 105793903 A CN105793903 A CN 105793903A CN 201480057701 A CN201480057701 A CN 201480057701A CN 105793903 A CN105793903 A CN 105793903A
Authority
CN
China
Prior art keywords
content
haptic feedback
instruction
computer
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480057701.7A
Other languages
English (en)
Inventor
拉尔夫·艾伦·哈里斯
乌达克·乌多蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xthink Technology LLC
Original Assignee
Xthink Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xthink Technology LLC filed Critical Xthink Technology LLC
Publication of CN105793903A publication Critical patent/CN105793903A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H19/00Massage for the genitals; Devices for improving sexual intercourse
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5048Audio interfaces, e.g. voice or music controlled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Reproductive Health (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请描述了用于多媒体触觉增强的方法和系统。至少一种方法包括:识别载入到第一计算机上的媒体内容,确定存储在第二计算机上的指令的位置(所述指令对应于所述内容),启动对所述内容的播放,以及同步所述指令与所述内容。所述方法还包括:解析并转换所述指令为一个或多个电信号,通过所述电信号与所述内容的播放同步地驱动一个或多个触觉反馈设备,以及向所述用户呈现给所述内容。所述触觉反馈设备向访问所述内容的用户提供身体刺激。

Description

用于多媒体触觉增强的系统和方法
本申请是基于申请日为2014年6月4日的美国专利申请14/295,471的一份国际申请,美国专利申请14/295,471请求了申请日为2013年8月20日的美国临时专利申请61/868,039的优先权。在此引用上述两份申请的全文披露。
技术领域
本申请涉及用于增强具有触觉感受的多媒体体验的系统和方法。
背景技术
自万维网的开创以来,计算机工业就趋向于在线内容和硬件连接组件的集合。然而,只是近年来该趋势才开始包括触觉设备。截止撰写该专利时,已公开了可处理多媒体与本地连接硬件设备之间交叉的多项发明。例如,Hassex公司的美国专利No.6,368,268(“Hassex”)公开了一种发明,能够同步用户界面与性导向硬件连接设备之间的感受。
存在各种用户界面,包括:从手动控制器(比如,游戏杆)接收单向控制信号的性导向硬件设备;两个性导向硬件设备,都基于实时使用发送同步双向控制信号;以及服务器,该服务器直接向远程软件界面发送控制信号,远程软件界面将控制信号发送至性导向硬件设备。例如,Hassex具体说明如下:经由数据包接收的控制信号先通过用户界面进行解码,然后通过计算机的I/O端口被发送至本地连接的性导向硬件设备。
相似地,互联网服务有限责任公司的美国专利No.8,378,794(“InetSvcs”)描述了一种硬件组件以及该硬件组件同硬件控制信号相关联的多媒体文件的交互。硬件设备经由belt系统响应于硬件控制信号来产生触觉。InetSvcs所描述的RealTouchTM设备使用静态Web门户来向用户提供包含嵌入式硬件控制信号的多媒体文件。接收文件的用户计算机包括用于对控制信号进行解码的Windows媒体播放器的软件附加组件。一旦安装了软件附加组件并下载了多媒体文件,Windows媒体播放器就播放多媒体文件并同时进行解码,然后直接从用户的计算机播放相关联的硬件控制信号。
发明内容
本申请所述是一种用于多媒体触觉增强的方法。在具体实施中,所述方法包括:识别载入第一计算机的多媒体内容;确定存储在第二计算机上的指令的位置,所述指令对应于所述内容;启动所述内容的播放;同步所述指令与所述内容;解析并转换所述指令为一个或多个电信号;通过所述电信号与所述内容的播放同步地驱动一个或多个触觉反馈设备,所述触觉反馈设备向访问所述内容的用户提供身体刺激;以及向所述用户呈现所述内容。
在某些具体实施中,所述解析和同步由所述第一计算机执行,以及所述转换由连接至所述触觉反馈设备的处理单元执行。
在某些具体实施中,所述解析、同步和转换由连接至所述触觉反馈设备的处理单元执行。
在某些具体实施中,所述解析和同步由所述第二计算机执行,以及所述转换由连接至所述触觉反馈设备的处理单元执行。
在某些具体实施中,所述方法还包括:所述第二计算机通过呈现在所述第一计算机上的网页界面经由互联网来提供对所述指令的访问。
在某些具体实施中,所述方法还包括:通过计算机视觉来分析所述内容以确定所述内容的播放时间,以及基于所确定的播放时间来同步所述指令与所述内容。
本发明还公开了一种用于多媒体触觉增强的方法,包括:识别载入计算机上的第一文件内的媒体内容;确定载入所述计算机的第二文件内的指令的位置,所述指令对应于所述内容;启动所述内容的播放;同步所述指令与所述内容;解析并转换所述指令为一个或多个电信号;通过所述电信号与所述内容的播放同步地驱动一个或多个触觉反馈设备,所述触觉反馈设备向访问所述内容的用户提供身体刺激;以及向所述用户呈现所述内容。
本发明还公开了一种触觉反馈系统。所述触觉反馈系统包括:连接至存储器的处理器,所述处理器被配置为执行存储在所述存储器中的下列计算机可执行指令:同步载入到第一计算机上的媒体内容与从第二计算机接收的指令,所述指令对应于所述内容,以及转换所述指令为一个或多个电信号;以及与所述处理器通信的至少一个触觉反馈设备,其中,所述至少一个触觉反馈设备被配置为接收所述一个或多个电信号并且与所述媒体内容的播放同步地向访问所述媒体内容的用户提供身体刺激。
在某些具体实施中,所述触觉反馈系统还包括适于向用户呈现所述媒体内容的呈现设备。
在某些具体实施中,所述至少一个触觉反馈设备还被配置为与所述处理器进行无线通信。
在某些具体实施中,所述至少一个触觉反馈设备还包括至少一个通信设备,所述至少一个通信设备选自由以下各项组成的组:串行端口、并行端口、通用串行总线、蓝牙设备、近场通信设备和红外通信设备。
在某些具体实施中,所述至少一个触觉反馈设备是适合与在线视频游戏系统一起使用的游戏控制器。
在某些实施例中,所述至少一个触觉反馈设备是性导向硬件设备。
附图说明
当结合附图考虑以下详细描述时,可更好地理解所公开的各种实施例,其中:
图1示出了系统图,包括示例性的网页基础设施。
图2示出了本地硬件设备的框图。
图3A-3C示出了第一示例性实施例的软件流程及功能分布。
图4A-4C示出了第二示例性实施例的软件流程及功能分布。
图5A-5C示出了第三示例性实施例的软件流程及功能分布。
应当理解,附图及相应的详细描述并不对本发明进行限制,相反,它们提供了对落入所附权利要求保护范围的所有修改、等同以及替代进行理解的基础。
具体实施方式
本申请所述实施例涉及本地连接硬件组件到基于网页的在线多媒体事件的同步,基于网页的在线多媒体事件如在线电影、交互视频游戏、娱乐媒体和/或其它非娱乐媒体。更具体地,所公开的实施例涉及软件和运行软件的系统,所述软件创建了各种在线视频源与本地连接触觉硬件组件之间的用户体验触觉同步效应。所公开的实施例依靠客户端-服务器架构以保持本地连接触觉硬件与在线多媒体事件之间的同步。这些实施例同步了两个单独的数据源:在线多媒体,由诸如YouTube、Netflix或亚马逊及时视频(AmazonInstantVideo)之类的内容提供商网站所提供;以及触觉硬件指令,其与所述多媒体和被配置为支持所述实施例的网页基础设施所服务的硬件设备相关联。与在先的系统相比,通过使得针对新媒体内容和新触觉硬件的指令能够被快速部署,多媒体内容与触觉硬件指令的分离提高了本发明所公开系统和方法的效用。通过这种方式,可在不修改或变更多媒体内容的情况下,同步多媒体内容与针对预先存在设备以及新设备的触觉硬件指令。诸如上面提到的在先的系统,将硬件控制信号直接嵌入多媒体文件中则不可能具有灵活性和可扩展性。
下文对上述实施例的示例进行详细描述。在描述了示例性网页基础设施以及描述了示例性本地硬件设备之后,先描述在用户的本地客户端计算机系统上运行的本地软件的示例。然后,对三个示例性实施例进行描述,其中,对于每个实施例(即,本地客户端计算机、本地硬件设备和网页基础设施),多媒体事件的硬件指令集由不同组件进行解释。
网页基础设施
图1示出了多媒体触觉增强系统的示例性实施例的总图,该多媒体触觉增强系统包括网页基础设施120、具有一个或多个网页服务器130的互联网110基础设施以及数据库基础设施140。在所示出的实施例中,网页服务器130对来自运行于本地计算机100上的本地软件310的请求或来自本地硬件设备200的请求进行响应,并根据需要进一步查询数据库基础设施140。本地软件310可被存储在所示出的非易失性信息存储介质上,或者经由例如互联网110被下载到本地计算机100上。
网页基础设施120的核心功能包括但不限于:
1.对来自本地软件310或本地硬件设备200的请求进行响应;
2.维护用户账号信息;以及
3.存储支持所公开的系统所需要的网站。
本地硬件设备
图2示出了本地硬件设备200的优选实施例,该本地硬件设备200包括:通信设备210、处理单元220、一个或多个诸如振动电机之类的触觉反馈功能组件240、诸如电池或用于电端口连接的端口之类的电源260以及总线250,该总线250被用来在本地硬件设备200的各个组件之间传输通信。本地硬件设备200能以任何形状和大小存在,其区别因素在于它被设计为与所公开的系统一起工作。在至少某些示例性实施例中,多个本地硬件设备200被连接至本地计算机100并且可同时操作。在至少某些示例性实施例中,本地硬件设备200的触觉反馈功能组件240向所公开的系统的一个或多个用户提供身体刺激和/或性刺激。
本地硬件设备200的核心功能可包括但不限于:
1.经由通信设备210建立到个人计算机环境的连接;通信设备210的示例包括但不限于:
a.串行和并行端口、通用串行总线(USB)、蓝牙、近场通信(NFC)或其他无线技术;
2.建立到本地软件310或网页基础设施120的连接;
3.对识别信息的请求进行响应;
4.与指令进行交互:
a.处理单元220可经由网页基础设施120或本地软件310来接收指令;以及
b.在处理单元220接收指令之前,指令可被处理;
i.如果在处理单元220接收指令之前指令未被处理,则处理单元220可处理指令,可能包括将经处理的指令临时存储在本地连接硬件200的存储器230中;以及
5.与触觉反馈功能组件240进行交互:
a.处理单元基于指令来命令每个触觉功能组件240响应特定的时长以及以特定的模式进行响应,使得最终结果在本地硬件设备200的触觉反馈功能组件240与在线媒体事件之间同步。
本地软件
在至少某些示例性实施例中,本地软件310在本地计算机100上以浏览器扩展或附加组件的形式运行。这使得本地软件310能够通过向现有的网页浏览器添加本地软件310的功能来增强该现有网页浏览器,比如MicrosoftInternetExplorer,GoogleChrome或者MozillaFirefox。
本地软件310的核心功能包括但不限于:
1.建立并维护到网页基础设施120的连接以及与网页基础设施120的交互:
a.帮助到网页基础设施120的用户验证;
b.同时帮助针对多个账号的用户验证;
c.向网页基础设施120发送有关多媒体的识别信息以确定所检测的多媒体是否具有相关联的硬件指令集;如果存在相关联的硬件指令集,则指定所支持的多媒体;
d.检索相关联的硬件指令集;
2.与本地硬件设备200进行交互:
a.建立并维护到本地硬件设备200的连接;
b.检索有关本地硬件设备200的识别信息;
c.确定本地硬件设备200是否与经验证用户的账号相关联;如果否,帮助与网页基础设施120的交互以将本地硬件设备200与用户的账号相关联,或者帮助对正确账号的验证以允许对本地硬件设备200的使用;
d.向本地硬件设备200发送指令;
e.根据需要监视本地硬件设备200的播放以维护本地硬件设备200与多媒体事件之间的同步;
3.与网页进行交互:
a.解析网页以检测多媒体数据;
b.检测有关多媒体的识别信息;
c.基于来自网页基础设施120的反馈,操纵所显示的网页以将所发现的多媒体标记为支持或不支持;
d.操纵多媒体播放器以帮助与多媒体的交互;
4.与网页上的多媒体进行交互:
a.控制多媒体的播放以帮助本地硬件设备200与多媒体之间的同步;以及
a.识别并控制多媒体的当前播放时间以帮助本地硬件设备200与多媒体之间的同步。
c.通过计算机视觉来分析多媒体内容以确定多媒体内容的播放时间,以及基于所确定的播放时间使用于本地硬件设备200的指令与多媒体内容同步。
本地软件310的替代性实施例包括但不限于:
1.完全定制的应用程序的组件,比如针对移动平台、平板电脑、可穿戴设备或其他类似个人计算环境所设计的应用程序;
2.应用程序的多组件系统,该应用程序相互作用并操作以递送与单个浏览器附加组件或扩展相同的功能;示例包括桌面应用程序,该桌面应用程序促进用户验证和硬件通信并且与网页浏览器附加组件或扩展进行交互,网页浏览器附加组件或扩展促进了与网页、多媒体和网页基础设施120的交互性;以及
3.全封闭式网页应用程序,其经由网页服务器促进了网络上的所有功能;所述网页服务器130可以以各种形式存在,比如,存在于独立硬件设备上,存在于本地硬件设备200上,或作为云基础设施环境内的组件而存在。
当在示例性的使用环境中进行描述时,本发明所公开的系统和方法可被最好地理解。为此,下文将描述三个示例性实施例,其中,对于每个实施例,多媒体事件的硬件指令集由不同的组件进行解释。
第一示例性实施例
图3示出了本发明所公开的系统和方法的从头到尾的示例性流程图,其中,指令集处理发生在本地软件310内。
用户经由本地硬件设备200的通信设备210将本地硬件设备200连接到本地计算机100。一旦本地硬件设备200被连接到本地计算机100,用户就启动本地软件310。本地软件310将提示用户登录到其账号;如果尚未建立账号,则提示用户创建新的账号。证书从本地软件310传递到网页基础设施120,网页基础设施120将校验验证尝试。
一旦被验证,本地软件310就检测本地硬件设备200,请求本地硬件设备200的唯一硬件ID,并通过网页基础设施120核实特定的本地硬件设备200是否与当前经验证账号相关联。如果相关联,本地软件310就启动本地硬件设备200。当被初始化后,本地硬件设备200就准备好从本地软件310接收指令,并且用户被告知本地硬件设备200已可供使用。
如果唯一硬件ID与经验证账号不相关联,则网页基础设施120检查该唯一硬件ID是否与另一账号相关联。如果是,本地软件310提示用户登录到能够使用所连接设备的正确账号;在至少某些示例性实施例中,可允许同时多账号登录以允许使用多个设备。如果唯一硬件ID与任何账号都不相关,则提示用户使用其账号来注册唯一硬件ID。一旦本地硬件设备200被注册或者用户被正确的账号所验证,本地软件310就通过网页基础设施120再次核实特定的本地硬件设备200是否与当前经验证账号相关联。然后,本地软件310启动本地硬件设备200并告知用户本地硬件设备200已可供使用。
然后,用户使用本地软件310来浏览网页。每当新网页被载入时,本地软件310解析该网页以检测支持的媒体。如果未找到支持的媒体,则本地软件310不进行操作;如果找到了支持的媒体,本地软件310就检测媒体文件信息并将其发送到网页基础设施120。网页基础设施120查询数据库基础设施140以确定是否存在用于所检测到的媒体的硬件指令集。如果未找到指令集,则本地软件310将该媒体标记为“不支持”;如果找到了指令集,则本地软件310将该媒体标记为“支持且可供播放”,并且指令集文件被下载到本地软件310以供解析和播放。“支持且可供播放”和“不支持”的标记在网页内可作为可视指示符存在于媒体文件上或存在于媒体文件附近。
然后,用户播放媒体。本地软件310读取媒体的当前播放时间并将硬件指令集发送给与当前媒体播放时间同步的本地硬件200。硬件指令集包含时间旗标,以标记触觉反馈功能组件240的精确播放时间;本地软件310监视媒体事件的精确播放时间,并且使用这两条信息来保持本地硬件200上的触觉反馈功能组件240与媒体的同步。如果用户调整了媒体的当前播放时间,则本地软件310使用更新的当前播放时间和硬件指令集中的时间旗标以基于用户所进行的调整来重新建立同步。媒体的播放时间可从以下各处进行读取:媒体播放器、操作系统、媒体文件或者可读取播放时间的任何其他地方。
在另一实施例中,本地软件310包括适于分析媒体内容的计算机视觉组件。计算机视觉组件可基于所分析的内容来确定媒体的播放时间。在某些实施例中,计算机视觉组件可分析一帧或多帧媒体内容,并且经分析的帧可被用作该媒体的指数以确定播放时间。通过这种方式,播放时间可以是媒体内容的时间指数或其他指数,该指数能够与指令相关联以同步硬件指令和媒体内容的播放。计算机视觉组件可以是存储在触觉反馈系统的存储器中并在触觉反馈系统的处理器上运行的软件组件。
当本地硬件200接收到来自本地软件310的指令时,本地硬件200解释所述指令并生成被发送至触觉反馈功能组件240的相应电信号,从而产生被用户所体验的身体触觉反馈输出。
当用户停止播放媒体时,本地软件停止播放指令集到本地硬件200,这停止了发送电信号到触觉反馈功能组件240。此时,系统可用于浏览下一网页,或者,如果用户断开本地硬件200,则所有内存都被清除并且本地软件310休眠直到本地硬件200被再次连接为止。
第二示例性实施例
图4示出了所公开的系统和方法的从头到尾的流程图,其中,指令集处理发生在本地硬件200内。
用户经由本地硬件设备200的通信设备210将本地硬件设备200连接到本地计算机100。一旦本地硬件设备200被连接到本地计算机100,用户就启动本地软件310。本地软件310提示用户登录到其账号;如果尚未建立账号,则提示用户创建新的账号。证书从本地软件310传递到网页基础设施120,网页基础设施120将校验验证尝试。
一旦被验证,本地软件310就检测本地硬件设备200,请求本地硬件设备200的唯一硬件ID,并通过网页基础设施120核实特定的本地硬件设备200是否与当前经验证账号相关联。如果相关联,本地软件310就启动本地硬件设备200。当被初始化后,本地硬件设备200就准备好从本地软件310接收当前媒体播放时间,并且用户被告知本地硬件设备200已可供使用。
如果唯一硬件ID与经验证账号不相关联,则网页基础设施120检查该唯一硬件ID是否与另一账号相关联。如果是,本地软件310提示用户登录到能够使用所连接设备的正确账号;在至少某些示意性实施例中,可允许同时多账号登录以允许使用多个设备。如果唯一硬件ID与任何账号都不相关,则提示用户使用其账号来注册唯一硬件ID。一旦本地硬件设备200被注册或者用户被正确的账号所验证,本地软件310就通过网页基础设施120再次核实特定的本地硬件设备200是否与当前经验证账号相关联。然后,本地软件310启动本地硬件设备200并告知用户本地硬件设备200已可供使用。
然后,用户使用本地软件310来浏览网页。每当新网页被载入时,本地软件310解析该网页以检测支持的媒体。如果未找到支持的媒体,则本地软件310不进行操作;如果找到了支持的媒体,本地软件310就检测媒体文件信息并将其发送到网页基础设施120。网页基础设施120查询数据库基础设施140以确定是否存在用于所检测到的媒体的硬件指令集。如果未找到指令集,则本地软件310将该媒体标记为“不支持”;如果找到了指令集,则本地软件310将该媒体标记为“支持且可供播放”,并且指令集文件通过本地软件310被传送到本地硬件200以供解析和播放。“支持且可供播放”和“不支持”的标记在网页内可作为可视指示符存在于媒体文件上或存在于媒体文件附近。
然后,用户播放媒体。本地软件310读取媒体的当前播放时间并将该信息发送到本地硬件200。硬件指令集包含时间旗标,以标记触觉反馈功能组件240的精确播放时间;本地软件310监视媒体事件的精确播放时间,并且本地硬件200使用媒体的当前播放时间和硬件指令集内的时间旗标来保持触觉反馈功能组件240与媒体的同步。如果用户调整了媒体的当前播放时间,则本地软件310发送更新的当前播放时间到本地硬件200,本地硬件200使用硬件指令集中的时间旗标以基于用户所进行的调整来重新建立同步。在其他实施例中,播放时间可通过使用上述计算机视觉组件解析内容来进行确定。
当本地硬件200接收到来自本地软件310的当前播放时间时,本地硬件200解释所述指令并生成被发送至触觉反馈功能组件240的相应电信号,从而产生被用户所体验的身体触觉反馈输出。
当用户停止播放媒体时,本地软件停止播放硬件指令集并发送停止信号到本地硬件200,这停止了发送电信号到触觉反馈功能组件240。此时,系统可用于浏览下一网页,或者,如果用户断开本地硬件200,则所有内存都被清除并且本地软件310休眠直到本地硬件200被再次连接为止。
第三示例性实施例
图5示出了所公开的系统和方法的从头到尾的流程图,其中,指令集处理发生在网页基础设施120内。
用户经由本地硬件设备200的通信设备210将本地硬件设备200连接到网页基础设施120。一旦本地硬件设备200被连接到本地网页基础设施120,用户就启动本地软件310。本地软件310从网页基础设施120接收本地硬件被连接的确认,并且提示用户登录到其账号;如果尚未建立账号,则提示用户创建新的账号。证书从本地软件310传递到网页基础设施120,网页基础设施120将校验验证尝试。
一旦被验证,网页基础设施120就检测本地硬件设备200,请求本地硬件设备200的唯一硬件ID,并核实特定的本地硬件设备200是否与当前经验证账号相关联。如果相关联,网页基础设施120就启动本地硬件设备200。当被初始化后,本地硬件设备200就准备好从网页基础设施120接收指令,并且用户被告知本地硬件设备200已可供使用。
如果唯一硬件ID与经验证账号不相关联,则网页基础设施120检查该唯一硬件ID是否与另一账号相关联。如果是,本地软件310提示用户登录到能够使用所连接设备的正确账号;在至少某些示例性实施例中,可允许同时多账号登录以允许使用多个设备。如果唯一硬件ID与任何账号都不相关,则提示用户使用其账号来注册唯一硬件ID。一旦本地硬件设备200被注册或者用户被正确的账号所验证,本地软件310就通过网页基础设施120再次核实特定的本地硬件设备200是否与当前经验证账号相关联。然后,本地软件310通知网页基础设施120启动本地硬件设备200,而后用户被告知本地硬件设备200已可供使用。
然后,用户使用本地软件310来浏览网页。每当新网页被载入时,本地软件310解析该网页以检测支持的媒体。如果未找到支持的媒体,则本地软件310不进行操作;如果找到了支持的媒体,本地软件310就检测媒体文件信息并将其发送到网页基础设施120。网页基础设施120查询数据库基础设施140以确定是否存在用于所检测到的媒体的硬件指令集。如果未找到指令集,则本地软件310将该媒体标记为“不支持”;如果找到了指令集,则本地软件310将该媒体标记为“支持且可供播放”,并且网页基础设施12检索指令集文件以供解析和播放。“支持且可供播放”和“不支持”的标记在网页内可作为可视指示符(例如,图标)存在于媒体文件上或存在于媒体文件附近。
然后,用户播放媒体。本地软件310读取媒体的当前播放时间并将该信息发送到网页基础设施120。硬件指令集包含时间旗标,以标记触觉反馈功能组件240的精确播放时间;本地软件310监视媒体事件的精确播放时间,并且网页基础设施120使用媒体的当前播放时间和硬件指令集内的时间旗标来保持触觉反馈功能组件240与媒体的同步。如果用户调整了媒体的当前播放时间,则本地软件310发送更新的当前播放时间到网页基础设施120,网页基础设施120使用硬件指令集中的时间旗标以基于用户300所进行的调整来重新建立同步。在其它实施例中,播放时间可通过使用上述计算机视觉组件解析内容来进行确定。
当本地硬件200接收到来自网页基础设施120的当前指令时,本地硬件200解释所述指令并生成被发送至触觉反馈功能组件240的相应电信号,从而产生被用户所体验的身体触觉反馈输出。
当用户停止播放媒体事件时,本地软件发送停止信号到网页基础设施120。网页基础设施120则发送停止信号到本地硬件200,本地硬件200停止发送电信号到触觉反馈功能组件240。此时,系统可用于浏览下一网页,或者,如果用户断开本地硬件200,则所有内存都被清除并且本地软件310休眠直到本地硬件200被再次连接为止。
在一个可替换的实施例中,本地软件310的所有功能可整体存在于网页基础设施120内,并且用户可经由浏览器访问所公开的系统。
本发明所公开的系统和方法还公开了进一步方面,可单独使用或与前述示例性实施例结合使用。在一个实施例中,公开了一种触觉反馈系统,该触觉反馈系统包括:连接至存储器的处理器,以及与所述处理器通信的至少一个触觉反馈设备。触觉反馈系统还可包括适于向用户呈现媒体内容的呈现设备。处理器被配置为执行计算机可执行指令,包括:同步载入第一计算机上的媒体内容与从第二计算机接收的指令。如在上述实施例中所详述的那样,媒体内容可以是标识在特定网页上的受支持的媒体内容。在一个示例中,处理器被配置为标识特定网页的统一资源定位符(URL),并且URL被用来标识媒体内容以用于确定特定媒体内容是否受系统支持,即,媒体内容是否具有相应的指令集。在其它实施例中,媒体内容可由序列号或所述系统可用的其它独特标记进行标识,其它独特标记可以与用于媒体内容的指令集相互关联。在另一些实施例中,例如通过编程式接口,系统可与媒体播放器联接,并且可从媒体播放器接收标识媒体内容的信息。
在另一方面,触觉反馈系统包括至少一个触觉反馈设备,该至少一个触觉反馈设备包括硬件标识。在实施例中,系统使用硬件标识连同媒体内容的标识以确定是否存在用于给定的媒体内容和触觉反馈设备的指令集。通过这种方式,当前所公开的系统和方法可为能够与给定媒体内容一起使用的多个不同触觉设备提供指令。此外,用于新的或附加的触觉设备的指令可被添加到系统,从而减少与支持多个设备相关联的成本。在另一些实施例中,指令集可包括与媒体内容或触觉设备相关联的多个指令集,多个指令集被结合使用以产生期望的操作。因为指令集被存储在另一计算机上而不是媒体内容中,所以与使用现有技术集成系统所可能支持的媒体和触觉设备相比,可支持更多种类的媒体和触觉设备,现有技术集成系统包括嵌入到媒体内容中的触觉命令。
触觉设备的识别可发生在系统操作期间的各种时段。在一个示例中,当互联网浏览器被启动时,触觉设备被自动检测,并且对该设备是否受支持进行确定。在其它实施例中,允许用户提供对触觉设备的识别。在另一些实施例中,触觉设备可以是即插即用设备,该即插即用设备在连接至计算机时被自动识别。其他识别触觉设备的方法也是可能的,并且可考虑与当前所公开的系统和方法一起使用。
在各种实施例中,触觉反馈系统对媒体内容与指令进行同步。可使用之前讨论的媒体内容的当前播放时间来实现同步,当前播放时间可从媒体播放器处获得。在某些实施例中,媒体内容可被解析成限定时长的场景或帧,并根据需要将指令同步至这样的场景或帧。在与媒体内容同步之前或之后,指令都被转换为一个或多个电信号,以用来控制至少一个触觉反馈设备。本领域普通技术人员将理解,将指令转化为电信号可通过使用常规计算设备的各种方式来实现,常规计算设备包括位于计算机中、位于给定触觉设备中或位于多个组件之间的处理器和硬件驱动器。在任一事件中,至少一个触觉反馈设备被配置为接收一个或多个电信号并且与媒体内容的播放同步地向访问所述媒体内容的用户提供身体刺激。在实施例中,触觉设备可立即响应于电信号,或者可替换地,触觉设备可将电信号存储为当触觉设备被触觉反馈系统触发时才施加的指令。
当前公开的触觉反馈系统和方法可具有广泛应用。例如,触觉反馈设备可以是适于与在线视频游戏系统一起使用的游戏控制器。游戏控制器可对应于游戏内容中出现的动作提供身体刺激以增强用户体验。在其它实施例中,触觉设备可以是性导向硬件设备或其他娱乐相关设备。在另一些实施例中,触觉反馈系统可适用于培训或教育应用,比如,受益于身体刺激用来模拟真实手术步骤的手术培训模拟器。这些和其它应用对本领域普通技术人员而言是明显的,并且提供这些示例仅为了解释触觉反馈系统和方法的应用广度。
一旦完全理解了上述公开内容,各种其他修改、等同和替换对本领域普通技术人员而言将变得明显。例如,尽管在出于娱乐目的用来增强多媒体事件的系统的背景内对所公开的实施例进行了描述,但是其他实施例可包括病人康复所使用的系统,所述病人可能遭受例如降低的身体和/或性功能之苦,比如由糖尿病、脑外伤、脊椎损伤和/或前列腺有关的问题所导致的身体和/或性功能降低。在适用的情况下,下列权利要求意在被解释为包括所有这样的修改、等同以及替代。

Claims (15)

1.一种用于多媒体触觉增强的方法,包括:
识别载入第一计算机的多媒体内容;
确定存储在第二计算机上的指令的位置,所述指令对应于所述内容;
启动所述内容的播放;
同步所述指令与所述内容;
解析并转换所述指令为一个或多个电信号;
通过所述电信号与所述内容的播放同步地驱动一个或多个触觉反馈设备,所述触觉反馈设备向访问所述内容的用户提供身体刺激;以及
向所述用户呈现所述内容。
2.根据权利要求1所述的方法,其中,所述解析和同步由所述第一计算机执行,以及所述转换由连接至所述触觉反馈设备的处理单元执行。
3.根据权利要求1所述的方法,其中,所述解析、同步和转换由连接至所述触觉反馈设备的处理单元执行。
4.根据权利要求1所述的方法,其中,所述解析和同步由所述第二计算机执行,以及所述转换由连接至所述触觉反馈设备的处理单元执行。
5.根据权利要求1所述的方法,还包括:所述第二计算机通过呈现在所述第一计算机上的网页界面经由互联网来提供对所述指令的访问。
6.根据权利要求1所述的方法,其中,同步所述指令与所述内容还包括:通过计算机视觉来分析所述内容以确定所述内容的播放时间,以及基于所确定的播放时间来同步所述指令与所述内容。
7.一种用于多媒体触觉增强的方法,包括:
识别载入计算机上的第一文件内的媒体内容;
确定载入所述计算机的第二文件内的指令的位置,所述指令对应于所述内容;
启动所述内容的回放;
同步所述指令与所述内容
解析并转换所述指令为一个或多个电信号;
通过所述电信号与所述内容的播放同步地驱动一个或多个触觉反馈设备,所述触觉反馈设备向访问所述内容的用户提供身体刺激;以及
向所述用户呈现所述内容。
8.根据权利要求7所述的方法,其中,同步所述指令与所述内容进一步包括:通过计算机视觉来分析所述内容以确定所述内容的播放时间,以及基于所确定的播放时间来同步所述指令与所述内容。
9.一种触觉反馈系统,包括:
连接至存储器的处理器,所述处理器被配置为执行存储在所述存储器中的下列计算机可执行指令:
同步载入到第一计算机上的媒体内容与从第二计算机接收的指令,所述指令对应于所述内容,以及
转换所述指令为一个或多个电信号;以及
与所述处理器通信的至少一个触觉反馈设备,其中,所述至少一个触觉反馈设备被配置为接收所述一个或多个电信号并且与所述媒体内容的播放同步地向访问所述媒体内容的用户提供身体刺激。
10.根据权利要求9所述的触觉反馈系统,还包括:
呈现设备,适于向所述用户呈现所述媒体内容。
11.根据权利要求9所述的触觉反馈系统,其中,所述至少一个触觉反馈设备还被配置为与所述处理器进行无线通信。
12.根据权利要求9所述的触觉反馈系统,其中,所述至少一个触觉反馈设备还包括至少一个通信设备,所述至少一个通信设备选自由以下各项组成的组:串行端口、并行端口、通用串行总线、蓝牙设备、近场通信设备和红外通信设备。
13.根据权利要求9所述的触觉反馈系统,其中,所述至少一个触觉反馈设备是适于与在线视频游戏系统一起使用的游戏控制器。
14.根据权利要求9所述的触觉反馈系统,其中,所述至少一个触觉反馈设备是性导向硬件设备。
15.根据权利要求9所述的触觉反馈系统,其中,同步所述媒体内容与所述指令进一步包括:通过计算机视觉来分析所述内容以确定所述内容的播放时间,以及基于所确定的播放时间来同步所述指令与所述内容。
CN201480057701.7A 2013-08-20 2014-08-20 用于多媒体触觉增强的系统和方法 Pending CN105793903A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361868039P 2013-08-20 2013-08-20
US61/868,039 2013-08-20
US14/295,471 2014-06-04
US14/295,471 US9703379B2 (en) 2013-08-20 2014-06-04 Systems and methods for multimedia tactile augmentation
PCT/US2014/051847 WO2015026920A2 (en) 2013-08-20 2014-08-20 Systems and methods for multimedia tactile augmentation

Publications (1)

Publication Number Publication Date
CN105793903A true CN105793903A (zh) 2016-07-20

Family

ID=52480955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480057701.7A Pending CN105793903A (zh) 2013-08-20 2014-08-20 用于多媒体触觉增强的系统和方法

Country Status (5)

Country Link
US (2) US9703379B2 (zh)
EP (1) EP3036720A4 (zh)
CN (1) CN105793903A (zh)
CA (1) CA2922011A1 (zh)
WO (1) WO2015026920A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248206B2 (en) * 2013-08-20 2019-04-02 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
CN107836097A (zh) * 2015-06-16 2018-03-23 标准创新公司 用于增强与成人设备的交互的传感器获取和分析平台
US20180004291A1 (en) * 2016-07-01 2018-01-04 Immersion Corporation Cloud Connected Haptic Platform
WO2018035442A1 (en) * 2016-08-19 2018-02-22 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
CN107028742A (zh) * 2017-06-06 2017-08-11 合肥华盖生物科技有限公司 一种用于公共场所的按摩器的使用方法及系统
US11229496B2 (en) * 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
CN112973041A (zh) * 2018-11-03 2021-06-18 厦门波耐模型设计有限责任公司 一种盆底肌肉功能训练方法
US11712397B1 (en) * 2022-07-29 2023-08-01 Hytto Pte. Ltd. System, method, and non-transitory storage medium for providing online entertainment in association with an interactive adult toy
US12048882B2 (en) 2019-03-01 2024-07-30 Hytto Pte. Ltd. Apparatus, system, and method for controlling a computing device interaction using an accessory
WO2023056622A1 (en) * 2021-10-09 2023-04-13 Li Siran Method of controlling sexual stimulation apparatus, server, apparatus, device and medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6368268B1 (en) * 1998-08-17 2002-04-09 Warren J. Sandvick Method and device for interactive virtual control of sexual aids using digital computer networks
US20020138562A1 (en) * 1995-12-13 2002-09-26 Immersion Corporation Defining force sensations associated with graphical images
US20080223627A1 (en) * 2005-10-19 2008-09-18 Immersion Corporation, A Delaware Corporation Synchronization of haptic effect data in a media transport stream
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
US20120304216A1 (en) * 2011-05-25 2012-11-29 Echostar Technologies L.L.C. Apparatus, systems and methods for presentation management of erotica-related media content
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700936B1 (en) 1998-05-05 2004-03-02 British Broadcasting Corporation Many-carrier transmission system and a receiver therefor
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
CN102184419B (zh) 2011-04-13 2013-05-01 深圳市迈科龙影像技术有限公司 基于敏感部位检测的色情图像识别方法
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138562A1 (en) * 1995-12-13 2002-09-26 Immersion Corporation Defining force sensations associated with graphical images
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6368268B1 (en) * 1998-08-17 2002-04-09 Warren J. Sandvick Method and device for interactive virtual control of sexual aids using digital computer networks
US20080223627A1 (en) * 2005-10-19 2008-09-18 Immersion Corporation, A Delaware Corporation Synchronization of haptic effect data in a media transport stream
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
US20120304216A1 (en) * 2011-05-25 2012-11-29 Echostar Technologies L.L.C. Apparatus, systems and methods for presentation management of erotica-related media content
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Also Published As

Publication number Publication date
US20150057493A1 (en) 2015-02-26
US10429931B2 (en) 2019-10-01
WO2015026920A3 (en) 2015-11-12
CA2922011A1 (en) 2015-02-26
US9703379B2 (en) 2017-07-11
WO2015026920A2 (en) 2015-02-26
EP3036720A2 (en) 2016-06-29
US20160306425A1 (en) 2016-10-20
EP3036720A4 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
CN105793903A (zh) 用于多媒体触觉增强的系统和方法
JP6293269B2 (ja) コンテンツ視聴確認装置及びその方法
CN108259643A (zh) 智能设备与用户操作终端的绑定方法及装置、电子设备
CN103986752A (zh) 在智能电视的输入界面中输入信息的方法、设备和系统
KR101359623B1 (ko) 콘텐츠 저작 시스템 및 서비스 방법
CN107079031A (zh) 经由与第二设备的通信对第一设备的基于用户认证的批准
CN110069738B (zh) 信息处理方法、装置、终端设备及服务器
CN112422372B (zh) 一种基于反射机制的mqtt协议工业设备数据模拟的方法
CN102646031A (zh) 一种移动终端控制大屏幕显示内容的方法
CN106101463B (zh) 一种移动应用中基于手势的验证方法、移动终端及系统
KR20130089921A (ko) 컨텐츠 제공 시스템 및 동작 방법
CN106507122A (zh) 一种直播的方法、服务器、无人机和vr设备
CN103810185A (zh) 一种信息处理方法、装置及电子设备
US20150187186A1 (en) Wifi Landing Page for Remote Control of Digital Signs
Cochrane Mobilising learning: A primer for utilising wireless palm devices to facilitate a collaborative learning environment
CN104866282B (zh) 一种控制电子设备的方法及电子设备
CN105956430A (zh) 一种自动登录vr平台的方法及装置
CN112016077A (zh) 一种基于滑动轨迹模拟的页面信息获取方法、装置和电子设备
WO2017080246A1 (zh) 一种解锁方法、装置及设备
US10248206B2 (en) Systems and methods for multimedia tactile augmentation
CN113992619B (zh) 直播信息的处理方法、装置、设备及计算机可读存储介质
CN104378202A (zh) 一种信息处理方法、电子终端和服务器
CN109656535B (zh) 基于浏览器的语音技能离线开发方法
KR20140045643A (ko) 어플리케이션 테스트 지원 시스템 및 방법, 이를 지원하는 장치
US9654457B2 (en) Information processing system, information processing apparatus, storage medium and information processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720

RJ01 Rejection of invention patent application after publication