CN105612738A - 多功能会议系统和方法 - Google Patents

多功能会议系统和方法 Download PDF

Info

Publication number
CN105612738A
CN105612738A CN201380014491.9A CN201380014491A CN105612738A CN 105612738 A CN105612738 A CN 105612738A CN 201380014491 A CN201380014491 A CN 201380014491A CN 105612738 A CN105612738 A CN 105612738A
Authority
CN
China
Prior art keywords
service
equipment
service requester
application
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380014491.9A
Other languages
English (en)
Other versions
CN105612738B (zh
Inventor
J·M·泊尔
S·A·利库尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nellcor Puritan Bennett LLC
Covidien LP
Original Assignee
Nellcor Puritan Bennett LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nellcor Puritan Bennett LLC filed Critical Nellcor Puritan Bennett LLC
Publication of CN105612738A publication Critical patent/CN105612738A/zh
Application granted granted Critical
Publication of CN105612738B publication Critical patent/CN105612738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

根据本公开内容的用于提供远程帮助的会议系统包括被配置为执行服务请求者应用的服务请求者设备、被配置为执行服务提供者应用的服务提供者设备以及在远离服务请求者和服务提供者设备的计算机服务器上执行的服务器应用,服务请求者和服务提供者应用被配置为通过至少一个服务器应用彼此动态连接。

Description

多功能会议系统和方法
技术领域
本公开内容一般而言涉及多功能会议系统及使用方法。
背景技术
如本领域中已知的,电话会议系统、视频会议系统以及web会议系统以各种各样的设置用来启用本地和远程站点之间的有效通信。每个本地和远程站点具有电话会议系统(包括带扬声器和麦克风的电信设备)、视频会议系统(包括摄像机、视频监视器、扬声器和麦克风)和/或web会议系统(包括web连接的计算机和视频监视器,并且可以包括扬声器、麦克风和摄像机)。至少一个站点包括指导者控制器,使得指导者/主持人能够控制在每个站点产生的信号(音频、视频和/或信息)的分发,用于让位于其它站点的参与者观看和/或收听。
例如,web会议系统包括选择哪一个和/或哪一些站点向其它站点发送视频信息信号的主持人。主持人还可以选择哪个或哪些参与者能够与其他参与者分享信息或者主持人可以把web会议系统的控制提供给另一个参与者。照此,主持人可以充当指导者、仲裁员或参与者。
发明内容
本公开内容针对改进的多功能会议系统及使用方法。根据本公开内容实施例的用于提供远程帮助的会议系统包括被配置为执行服务请求者应用的服务请求者设备、被配置为执行服务提供者应用的服务提供者设备以及在远离服务请求者和服务提供者设备的计算机服务器上执行的服务器应用。服务请求者和服务提供者应用被配置为通过服务器应用彼此动态连接。
服务请求者和服务提供者设备之间的动态连接依赖于其间连接的带宽。服务器应用动态地选择服务请求者和服务提供者设备之间的连接,其中该连接在音频连接、音频和视频连接、音频和静止图像连接以及SMS消息传送连接之间选择。服务请求者设备和服务器应用之间的连接模式选自wi-fi通信网络和无线电话通信网络。
根据本公开内容实施例的用于提供远程帮助的会议系统包括通过服务器应用与服务提供者设备联网的服务请求者设备。服务请求者设备包括摄像机、视频监视器、扬声器及麦克风,并且服务提供者设备被配置为启用和/或禁用摄像机、视频监视器、扬声器和麦克风之一。
服务提供者设备可以被配置为把内容引导到服务请求者设备的视频监视器。服务提供者设备启用摄像机并接收由摄像机生成的图像流。图像流通过在服务请求者和服务提供者设备之间形成的网络流传输到服务提供者设备。服务提供者设备被配置为捕捉来自该图像流的捕捉图像。服务提供者设备在服务请求者设备的视频监视器上显示捕捉图像。捕捉图像的像素分辨率可以大于形成图像流的每个图像的像素分辨率。服务提供者设备被配置为在服务请求者设备的视频监视器上显示注释并被配置为在服务请求者设备的视频监视器上显示内容。所显示的内容可以包括视频、图像和/或文本文档。
根据本公开内容实施例的用于提供远程帮助的会议系统包括被配置为执行服务请求者应用的服务请求者设备、均被配置为执行服务提供者应用的多个服务提供者设备以及在远离服务提供者和服务请求者设备的计算机服务器上执行的服务器应用,服务请求者应用被配置为同时连接到多个服务提供者设备。
这多个服务提供者设备可以由服务请求者设备动态选择。对这多个服务提供者设备的动态选择可以与由用户在服务请求者设备上选择的动态选择参数有关。动态选择参数可以选自选定的仪器或设备、选定的位置、选定的所需帮助的描述、选定的医疗过程、识别特征和标识码。对这多个服务提供者设备的动态选择可以与由服务请求者设备生成的动态选择参数有关,诸如全球定位坐标和/或无线网络坐标。
附图说明
本文参考附图描述根据本公开内容的示例实施例,其中:
图1说明了根据本公开内容的服务通信网络,该服务通信网络包括通过驻留在基于云的服务器上的一个或多个服务器应用连接到服务提供者的服务请求者;
图2说明了包括位于各个位置并且通过基于云的服务器连接到服务提供者的服务请求者的服务通信网络;
图3说明了通过合适的通信网络彼此连接的多个服务请求者设备和多个服务提供者设备;
图4说明了通过基于云的服务器连接到服务提供者并且间接连接到通过服务提供者提供的其它资源的服务请求者;
图5说明了服务通信网络体系架构,该体系架构具有VoIP提供商应用、经HTTP的MPEG流传输服务器应用、通过经HTTP的XMPP注释/会话服务器应用的连接以及HTTP文件服务器应用;
图6说明了用于识别在服务请求者附近的装备的系统和方法,其中所述系统和方法利用服务请求者多功能通信设备的一个或多个方面;
图7是根据本公开内容实施例的、如显示在服务提供者设备的显示器上的服务提供者应用的快照;
图8是根据本公开内容实施例的、用于设置模块的设置线程的流程图;
图9是用于新通信套接字注册的注册线程的流程图;
图10是用于配对已注册的连接的配对线程的流程图;
图11是用于处理配对的源和目的地套接字的配对处理线程的流程图;
图12A是根据本公开内容实施例的、通过服务器应用配对的服务请求者和服务提供者的框图;及
图12B是用于通过服务器应用通信的时序图。
具体实施方式
现在将具体地参考各个实施例,其例子在附图中说明。在以下具体描述中,为了提供对本公开内容的透彻理解,阐述了许多具体的细节。对本领域普通技术人员来说很显然,本公开内容没有这些具体细节也可以实践。在其它情况下,众所周知的方法、过程、部件、电路和网络没有具体描述,以免不必要地模糊实施例的各方面。
还应当理解,虽然术语第一、第二等可以在本文中用来描述各个元件,但是这些元件不应当受这些术语的限制。这些术语仅仅是用来区分一个元件与另一个元件。例如,在不背离本公开内容范围的情况下,第一对象可以被称为第二对象,并且类似地,第二对象可以被称为第一对象。
本公开内容的描述中所使用的术语仅仅是为了描述特定的实施例而不是要作为本公开内容的限制。如在本发明的描述和所附权利要求中所使用的,除非上下文明确地另外指出,否则单数形式“一”、“一个”和“该”是要也包括复数形式。还应当理解,如在本文中所使用的,术语“和/或”是指并且涵盖一个或多个关联列出的项的任何和全部可能组合。还应当理解,当在本说明书使用时,术语“包括”和/或“包含”规定所述特征、整数、步骤、操作、元素和/或部件的存在,但是并不排除一个或多个其它特征、整数、步骤、操作、元素、部件和/或其组的存在或添加。
如在本文中所使用的,术语“服务请求者设备”和“服务提供者设备”指包括用户接口的多功能通信设备。一个或多个多功能通信设备可以是便携式通信设备,诸如移动电话、智能电话、个人数字助理(PDA)、平板电脑和/或腕戴式计算机。多功能通信设备包括由各种应用支持的硬件,其中的应用诸如电话应用、视频会议应用、电子邮件应用、即时消息传送应用、数码相机应用、数码摄像机应用、web浏览应用、数字音乐播放器应用和/或数字视频播放器应用。
多功能通信设备可以包括彼此协同工作的两个或更多部件,以提供单个便携式通信设备的功能。例如,多功能通信设备可以包括独立的音频耳机、单独的捕捉和/或显示视频的目镜,以及经有线和/或无线通信网络与其它部件通信的单独的处理单元。
应用可以在多功能通信设备上执行并且可以使用至少一种常见的物理用户接口设备,诸如触摸屏。应用可以包括以下模块(或指令集合),或者其子集或超集:电话模块;视频会议模块;电子邮件客户端模块;即时消息传送(IM)模块;用于静止和/或视频图像的照相机模块;图像管理模块;视频播放器和/或记录器模块;音频播放器和/或记录器模块;和/或浏览器模块。模块可以被配置为与多功能通信设备中的一个或多个硬件部件接口。多功能通信设备可以包括接收和发送RF信号的RF(射频)电路系统。RF电路系统把电信号转换成电磁信号/把电磁信号转换成电信号并且经电磁信号与通信网络和其它通信设备通信。RF电路系统可以包括众所周知的用于执行这些功能的电路系统,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片集、用户身份模块(SIM)卡、存储器,等等。RF电路系统可以与网络(诸如也称为万维网(在下文中称为“WWW”)的互联网、内联网和/或诸如蜂窝电话网络(Telnet)的无线网络、无线局域网(LAN)和/或城域网(MAN))以及使用无线通信的其它设备通信。术语无线通信还可以包括多种通信标准、协议和技术中的任何一个,包括但不限于全球移动通信系统(GSM)、增强的数据GSM环境(EDGE)、高速下行链路分组访问(HSDPA)、宽带码分多址访问(W-CDMA)、码分多址访问(CDMA)、时分多址访问(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE801.11a、IEEE801.11b、IEEE801.11g和/或IEEE801.11n)、互联网语音协议(VoIP)、Wi-Max、用于电子邮件的协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息传送(例如,可扩展消息与呈现协议(XMPP)、用于即时消息和呈现利用扩展的会话启动协议(SIMPLE),和/或即时消息和呈现服务(IMPS),和/或短消息服务(SMS)),或者任何其它合适的通信协议,包括在本文档提交之日还没有开发出来的通信协议。
多功能通信设备可以包括音频电路系统、扬声器,以及在用户和多功能通信设备之间提供音频接口的麦克风。音频电路系统接收音频数据、把音频数据转换成电信号,并且把电信号发送到扬声器。扬声器把电信号转换成人可听的声波。音频电路系统还接收由麦克风从声波转换成的电信号。音频电路系统把电信号转换成音频数据并发送音频数据进行处理。音频数据可以通过外围接口从存储器和/或RF电路系统检索和/或发送到其。音频电路系统可以包括在音频电路系统和可拆卸音频输入/输出外围设备之间提供接口的耳机插孔,其中的可拆卸音频输入/输出外围设备诸如只输出的头戴式耳机或者既有输出(例如,用于一只或两只耳朵的头戴式耳机)又有输入(例如,麦克风)的头戴式受话器。
多功能通信设备可以包括输入/输出外围设备,诸如触摸屏或者其它输入或控制设备,诸如物理按钮(例如,下压按钮或摇杆按钮)、拨号盘、滑块开关、操纵杆、点击轮,等等。多功能通信设备可以耦合到以下任何一个(或者不耦合到任何一个):键盘(例如,QWERTY)、红外线端口、USB端口,和/或诸如鼠标的指针设备。一个或多个按钮可以包括用于扬声器和/或麦克风的音量控制的上/下按钮。这一个或多个按钮可以包括被配置为切断或锁住触摸屏的下压按钮。触摸屏用来实现虚拟或软按钮以及一个或多个软键盘。
触摸敏感的触摸屏在多功能通信设备和用户之间提供输入接口和输出接口。多功能通信设备从触摸屏接收电信号和/或把电信号发送到触摸屏。触摸屏向用户显示可视输出。可视输出可以包括图形、文字、图标、视频,及其任意组合(统称为“图形”)。可视输出的一些或全部可以对应于用户接口对象,其具体细节在下面描述。
在一些实施例中,多功能通信设备包括硬件部件和存储在存储器中的被配置为与硬件部件接口的软件。一种硬件部件可以包括确定多功能通信设备的位置并且(例如,向电话、照相机、接触/运动模块)提供这种信息以在各种硬件和/或应用中使用的全球定位系统(GPS)模块135。
结合包括一个或多个捕捉静止图像或视频的光学传感器的成像模块。在一些实施例中,光学传感器位于设备的背面,与位于设备正面的触摸屏显示器相反,使得触摸屏显示器可以用作静止和/或视频图像获取的取景器。在一些实施例中,光学传感器位于设备的正面,使得,在用户在触摸屏显示器上看其他视频会议参与者的同时,用户的图像可以被获得以用于视频会议。在一些实施例中,光学传感器的位置可以被用户改变(例如,通过旋转设备外罩中的透镜和传感器),使得单个光学传感器可以连同触摸屏显示器一起既用于视频会议又用于静止和/或视频图像获取。
现在参考图1,示出了根据本公开内容的服务通信网络100。以最简单的配置,服务通信网络100包括通过驻留在一个或多个服务器上的一个或多个服务器应用连接到服务提供者120a、120n的服务请求者110a、110n。在服务通信网络100中,服务请求者通常是请求技术或专业帮助的个人。例如,服务请求者110a、110n可以是现场经销商、技术人员或故障检修员,或者服务请求者110a、110n可以是终端产品用户,诸如医生或其他医院工作人员,或者服务请求者110a、110n可以是终端用户消费者。
在单独的服务请求者110a、110n和服务提供者120a、120n之间提供连接的服务器应用可以驻留在任何公共云-计算服务120(下文中称为“云130”)上。虽然云130提供执行服务通信网络服务器应用的服务,而不是提供专用的可识别服务器(例如,硬件)来执行服务器应用,但是,一个或多个专用服务器,或者它们的计算能力的一小部分,可以用来执行服务器应用并提供本文所述的功能。
服务通信网络100还可以充当对等系统(例如,没有执行服务器应用的专用服务器),其中本文所述的服务器应用的功能合并到服务提供者120a、120n中。或者,本文所述的服务器应用的功能和服务提供者应用的功能可以在各种计算引擎(例如,云130、服务请求者设备和/或服务提供者设备)之间以任意合适的分布指定并执行。
图1说明了在位置1连接到指定为对位置1提供支持的第一服务提供者120a的服务请求者110a和在位置N连接到指定为对位置N提供支持的第二服务提供者120n的服务请求者110n。虽然分别指定为支持位置1和位置N,但是,在从服务请求者110a、110n发出请求时,第一服务提供者120a和第二服务提供者120n每个都不一定在对应的位置。服务通信网络100还可以把服务请求者110a、110n连接到在物理上位于集中式呼叫中心的服务提供者100a、110n。服务通信网络100是可缩放的,并且可被配置为把位于不同位置的任何数量的服务请求者110a、110n连接到位于不同位置的服务提供者110a、110n或者位于一个或多个呼叫中心的服务提供者110a、110n。
在云130中执行服务通信网络100的服务器应用使得服务器应用能够通过云130中的计算机网络分布。如图2中所说明的,服务通信网络100包括一个或多个请求者通信网络130a和服务提供者网络130b。请求者通信网络120a把服务请求者110c、110s和110u连接到云130,并且提供者通信网络130b把服务提供者120u连接到云130。服务请求者110c、110s和110u与服务提供者120u(例如,单独的服务提供者或者位于专门的呼叫中心的呼叫服务提供者)之间的连接可以通过云130来执行,由此除去了其间的任何地理屏障。
如图3中所说明的,服务请求者具有被配置为经请求者通信网络130a(例如,WiFi、WWW、Telnet、LAN、WAN或者任何其它合适的通信网络)连接到云130的服务请求者设备112a、112b(如本文定义和描述的)。服务请求者设备112a、112b可以被配置为检测请求者通信网络130a中最合适的网络。在一个实施例中,服务请求者设备112a、112b基于带宽选择请求者通信网络130a中最合适的网络。在另一个实施例中,服务请求者设备112a、112b基于可靠性选择最合适的网络。在另一个实施例中,服务请求者设备112a、112b基于可用的无线电话技术(例如,2G、2.5G、2.75G、3G和4G)选择最合适的网络。服务请求者设备112a、112b被配置为基于服务通信网络100的一个或多个条件和/或请求者通信网络130a的一个或多个条件来启用和禁用服务和功能。
服务提供者可以具有服务提供者设备121a、121b。服务提供者设备121a、121b可以是被配置为经请求者通信网络130b连接到云130的智能电话、平板电脑或者个人电脑,诸如膝上型电脑和/或台式电脑(如本文定义和描述的)。服务提供者设备121a、121b还可以与个人电脑接口和/或互连,由此提供移动通信设备的灵活性和功能以及个人电脑的处理和联网能力。
如上文中所讨论的,服务请求者设备112a、112b和/或服务提供者设备121a、121b可以被配置为基于服务通信网络100的一个或多个属性动态地从一个或多个可用的通信网络中选择,如本文所描述的。
服务提供者设备121a、121b经服务通信网络130b(例如,WiFi、WWW、Telnet、LAN、WAN或者任何其它合适的通信网络)连接到云130。在另一个实施例中,服务提供者位于服务提供者呼叫中心并且经高速LAN或其它合适的高速网络连接到云130。
请求者设备122a、122b和/或服务提供者设备121a、121b可以通过一个或多个防火墙132a或者充当网络看门人的其它程序和/或系统连接到云130。在一些情况下,服务提供者设备121a、121b可能需要通过同一个防火墙132a连接多次。在一个实施例中,服务请求者设备112a、112b和/或服务提供者设备121a、121b在建立到云130的合适连接之后绕过一个或多个防火墙。
如图4中所说明的,服务请求者110h(例如,医院的服务对象)连接到服务提供者120h(例如,指定给服务请求者的医院的现场经销商)。除了连接到服务请求者110h,服务提供者120h还可以通过服务通信网络100连接其它资源140。在一个实施例中,服务提供者120h可以连接到作为资源140指定给服务提供者120h或者作为资源140指定给医院的服务对象110h的CRS临床案例支持团队的团队成员140a并从其接收支持。在另一个实施例中,服务提供者120h可以连接到作为资源140指定给服务提供者120h或者作为资源140指定给医院的服务对象110h的CRS产品服务团队的团队成员140b并从其接收支持。在还有另一个实施例中,CRS产品服务团队成员140b可以连接到呼叫中心支持团队的成员140c并从其接收支持。照此,服务请求者110h直接与服务提供者120h连接并且通过服务请求者120h间接连接到服务请求者120h可用的各种资源(例如,CRS临床案例支持140a、CRS产品服务140b和呼叫中心支持140)。
每个服务请求者110h指定给一服务提供者组150。服务提供者组150包括一个或多个服务提供者120h以及可能需要用于给服务请求者110h提供帮助的资源140。指定给服务提供者组150的服务提供者120h和/或资源140可以包括具有特定专长和经验的个人(主题专家)、对向服务请求者110h提供优越服务(销售、服务和管理)特别感兴趣的个人、或者过去曾为服务提供者120h和/或服务请求者120h提供过服务的个人。
指定给服务请求者110h和/或提供给服务提供者组150的资源140可以包括服务请求者信息140d。服务请求者信息140d包括选自一个或多个数据库的、与服务请求者110h相关的信息。服务请求者信息140d可以包括来自过去的服务请求的日志数据/报告、与服务请求者110h相关的过去的和预计的销售数据(例如,服务请求者110h的位置和/或设施)、关于提供给服务请求者110h和/或服务提供者120h的产品(例如,在所述位置和/或设施的目录中的产品)的信息、和/或关于与服务请求者110h相关的过去或未来培训信息的数据。
服务提供者组150中成员和/或资源140的选择/指定不受地理位置或网络连接可用性的限制。不管位置如何,成员和/或资源140可以通过任何可用的网络连接而连接到云130。或者,成员和/或资源140可以通过任何其它基于web的或者基于电信的网络直接连接到服务提供者120h,如以下将具体描述的。
服务提供者组150的成员和资源140可以动态地来选择。服务请求者110h和/或服务提供者120h可以选择与具体服务请求的本质和/或目的相关的信息,并且服务通信网络100可以基于选定的信息来指定和/或重新指定资源140。例如,服务请求者110h可以是负责示范第一产品并且指定给与第一产品相关的服务提供者组150的现场服务代表。为了提供好的服务,服务请求者110h可能需要示范与该第一产品无关的第二产品。与第二产品相关的服务提供者组150可以暂时指定给服务请求者110h(例如,现场服务代表)并且可以在示范与第一产品无关的第二产品时向服务请求者110h提供帮助。
服务提供者组150的动态选择可以关于由服务请求者设备112h提供的GPS坐标。例如,服务请求者设备112h可以向服务通信网络100提供GPS坐标或无线网络坐标。在服务提供者组150外面位于服务请求者110h附近的资源140可以被识别、通知和/或暂时指定给服务提供者组150。例如,服务请求者110h可以从其服务提供者组150请求服务,并且位于服务提供者组150外面并在服务请求者110h本地的资源可以被识别、指定给服务提供者组150并定向(或重定向)成向服务请求者110h提供现场服务。
在另一个实施例中,服务提供者120h和/或服务请求者110h动态地引导到,或重定向到,服务和/或维修团队。例如,服务请求者110h和/或服务请求者设备112h的服务请求者信息140可以识别需要服务和/或维修的服务请求者110h附近的装备。以下具体描述在服务请求者设备112h附近的装备的识别。在还有另一个实施例中,服务提供者120h基于由服务请求者110h提供的和/或由服务请求者设备112h提供的GPS信号与位于服务请求者110h附近的个人连接。
为每个服务通信网络100提供和/或其所需的资源140与特定业务的本质相关。例如,用于医疗产品公司的资源140可以包括产品专家资源、产品供应资源、临床试验专家和患者护理资源,而用于制造公司的资源可以包括OEM装备专家、维修和零件替换资源、原材料供应商资源及支持特定生产线或过程的材料和产品供应链资源。
在一个实施例中,医疗供应公司提供方便来自请求服务的医疗医生的服务请求的第一资源团队、方便来自现场服务产品代表的服务请求的第二资源团队,以及方便来自现场维修代表的服务请求的第三资源团队。
图5说明了服务请求者应用212a(例如,驻留在服务请求者设备212上并在其上执行的aurorafield212a)和服务提供者应用221a(例如,驻留在服务提供者设备221上并在其上执行的aurorasupport221a)之间的一种通信模型。服务请求者设备212和服务提供者设备221被说明为受带网络地址转换(NAT)的防火墙232a、232b的保护,但是服务通信网络200不一定需要防火墙232a、232b或者防火墙保护。该通信体系架构包括通过VoIP提供商应用201的连接、通过经HTTP的MPEG流传输服务器应用202的连接、通过经HTTP的XMPP注释/会话服务器应用203的连接以及HTTP文件服务器应用204。
本文所提供并描述的系统、协议、文件类型和格式是作为示例性系统、协议、文件类型和/或格式提供的。照此,具体的系统、协议、文件类型和/或格式不应当认为是限制,因为其它合适的系统、协议、文件类型和格式很容易获得,并且在许多情况下,可以与本文所讨论的系统、协议、文件类型和/或格式互换。例如,MPEG音频和/或视频经实时传输协议(RTP)的发送可以与利用任何合适协议的任何合适格式(例如,MPEG-4、MJPEG、H.264等)互换。
一种数据流包括VoIP提供者201,通过其,标准化的数据包以结合实时传输协议(RTP)控制协议(RTCP)使用的RTP发送。RTP/RTCP可以用于服务请求者设备212和服务提供者设备221之间语音和/或视频的实时流传输。RTP/RTCP数据流可以通过任何合适的VoIP提供者来配置。在另一个实施例中,云230中的一个或多个服务器应用202-204当中的至少一个执行VoIP功能。
另一种数据流包括经HTTP的MPEG流传输服务器应用202,该应用利用标准的超文本传输协议(HTTP)对数据进行流传输,被配置为通过驻留在云230中的流传输服务器应用202发送MPEG数据。
还有另一种数据流包括经HTTP的XMPP注释/会话服务器应用203,该应用利用可扩展的消息传送和呈现协议(XMPP)对数据进行流传输,被配置为发送近乎实时的消息传送和VoIP。XMPP(也称为Jabberd)通过注释/会话服务器应用203执行,并且对利用诸如SMS或电子邮件的其它协议访问网络提供网关。服务请求者应用212a和服务提供者应用221a均向注释/会话服务器应用203注册。注释/会话服务器应用203认证各个用户,打开服务器会话,并且向服务请求者应用212a和/或服务提供者应用221a提供继续和/或维持服务器会话以及完成服务请求者应用212a和服务提供者应用221a的发起所需的信息。提供给服务请求者应用212a和服务提供者应用221a的信息可以包括会话初始协议(SIP)信息、视频代理信息、用户信息,以及Jabberd信息。
还有另一种数据流包括通过文件服务器应用204的HTTP连接。
服务请求者设备212被配置为执行服务请求者应用212a并且服务提供者设备221(例如,计算机或平板电脑)被配置为执行服务提供者应用221a。服务请求者应用212a和服务提供者应用221a均与对应设备212、221的各种部件和特征交互,并且每个设备212、221都与云230(例如,驻留在云230中的一个或多个服务器上的一个或多个服务器应用202-204)连接。服务提供者应用221a是笼统地描述的,并且关于服务提供者应用221a是在多功能通信设备上执行还是在个人计算机上执行没有区分。应当理解,每个设备需要不同的编程并且包括不同的功能或者可能需要不同的硬件来提供相当的功能。
发起服务请求者应用212a(或者服务提供者应用221a)在注释/会话服务器203和服务请求者设备212(或服务提供者设备221)之间建立连接。在一个实施例中,注释/会话服务器203为用于服务通信网络200的所有应用级设置提供集中式的位置。用于应用级设置的中心位置允许服务通信网络200的管理员对应用行为具有控制。中心位置还允许服务通信网络100的管理员能够管理使用每个应用的设备。提供中心位置防止没有向系统注册或者未授权使用服务通信网络200的设备对服务通信网络200的未授权访问。用于服务通信网络200的所有应用级设置的集中式位置可以合并到任何合适的服务器中和/或合并到驻留在云230中并在其中执行的任何合适的应用中。
服务请求者设备212和/或服务提供者设备221从注释/会话服务器203接收用户信息并且注册/认证用户。如果发送到服务器的认证请求已经注册,则由服务请求者设备212和/或服务提供者设备221提供的用户名和密码匹配会话服务器203上存储的用户名和密码。但是,如果用户还没有注册,则生成未通过认证的错误消息,用于注册的请求被发送,并且需要在设备221、212对用户名/密码的后续授权来为会话服务器203配置设备221、212。
XMPPJID(可扩展消息传送和呈现协议,例如,JabberID)是由服务通信网络200的管理员定义的,该管理员在会话服务器203处注册被授权使用服务通信网络200的每个服务请求者设备212和服务提供者设备221。本文所述的消息传送协议是作为示例性协议提供的并且可以与任何合适的消息传送协议互换。
在发起服务请求者应用212a和/或服务提供者应用221a并且建立到云230的必需连接之后,服务请求者设备212和服务提供者设备221准备好启动和/或加入对服务的请求。在一个实施例中,服务请求可以只由服务请求者210启动。在另一个实施例中,服务提供者220可以启动与服务请求者210的受限连接,其中服务通信网络200的功能是有限的。例如,受限连接可以局限于SMS消息或VoIP连接。在另一个实施例中,服务请求者210或服务提供者220可以启动受限连接,并且为服务请求者210提供启用服务通信网络200的更多性能的能力。
在启动对服务的请求之前,服务请求者210可以提供与所需帮助有关的信息。服务请求者应用212a可以提供与所需帮助类型(例如,临床、技术、销售、升级和维修)相关的选择。服务请求者应用212a可以提供与服务请求者210所使用的装备类型相关的选择。服务请求者应用212a可以提供可以用来识别所使用的装备类型的一系列指令。最后,服务请求者应用212a可以利用服务请求者设备212的一个或多个特征来识别在服务请求者210附近的装备,如以下具体描述的。
服务请求由服务请求者210通过在服务请求者设备212上选择帮助请求图标或者其它选择设备来启动。服务请求者应用212a发送服务请求和会话初始协议标识(在下文中称为“SIPID”)和密码(当服务请求者应用212a启动时,从注释/会话服务器203提供给服务请求者应用212a)。服务请求者设备212利用SIPID注册并且与云230中的注释/会话服务器203连接。服务请求还可以包括与服务请求者210相关的信息和/或与所需帮助相关的信息。与服务请求者210相关的信息可以包括地理坐标和/或唯一识别服务请求者210的信息。
来自服务请求设备212的服务请求和信息被云230中的注释/会话服务器203接收。在一个实施例中,注释/会话服务器203识别服务请求者210,并且,如上文所讨论的,选择适于该服务请求的服务提供者组。在一个实施例中,选定的服务提供者组是指定给服务请求者210的服务提供者组。在另一个实施例中,选定的服务提供者组与从服务请求者设备212提供的信息相关。基于服务请求者210的标识和/或从服务请求者设备212提供的信息,附加的成员和/或资源可以添加到选定的服务提供者组。
注释/会话服务器203可以编译与服务请求者210相关的数据,并且编译数据和/或(上述)服务请求者信息可以用来选择服务提供者组、把附加的成员指定给服务提供者组和/或从服务提供者组除去成员。
向选定的服务提供者组中的成员和资源通知进入的服务请求。该通知可以指示服务请求还未决或者该通知可以指示来自识别出的服务请求者210的服务请求还未决。在一个实施例中,服务提供者设备221从注释/会话服务器203检索与服务请求者210相关的信息。在一个实施例中,对注释/会话服务器203作出实时的HTTP请求,以便对于指定给规定SIPID的服务请求者210提供细节。
选定的服务提供者组的至少一个成员接收包括允许服务提供者220接受服务请求并且启动与服务请求者210的直接联系的图标的通知。剩余的成员和资源可以接收SMS通知,或者类似的电子通信,指示服务请求者210已经启动了服务请求。在另一个实施例中,选定的服务提供者组的两个或更多成员接收允许服务提供者220接受服务请求并且启动与服务请求者210的直接联系的图标。在一成员接受服务请求之后,剩余的成员和资源可以接收SMS通知,或者类似的电子通信,以识别接受了服务请求的服务提供者220。
接受了服务请求的服务提供者220提供SIPID和密码(当服务提供者应用221a启动时,从注释/会话服务器203提供给服务提供者应用221a)。服务提供者设备221利用SIP注册并且与云230中的注释/会话服务器203连接。服务请求者应用212a得到通知呼叫已经被接受,并且服务请求者应用212a可以对注释/会话服务器203作出实时的HTTP请求,以获得与接受了服务请求的服务提供者220相关的信息(例如,服务提供者220的SIPID)。
服务请求者应用212a和服务提供者应用221a通过Jabberd服务器彼此连接并且通过视频代理连接。服务请求者应用212a启动视频并且通过视频代理向服务提供者应用221a提供视频。服务请求者应用212a向服务提供者应用221a发送解冻jabber消息,其中,解冻消息对于服务提供者应用221a用作“就绪状态”消息以使其对于进入的视频流做好准备。服务提供者应用221a请求与视频代理的连接,并且视频代理开始将来自服务请求者应用212a的直播流视频发送到服务提供者应用221a。
服务请求者应用212a和服务提供者应用221a之间的连接的启动和初始化可以通过其它的序列和/或方法来实现。例如,连接可以是对等连接,其中设备标识信息被推送到服务请求者应用212a和/或服务提供者应用221a之一。
服务提供者220对服务请求者210进行适当的查询,以确定服务请求的目的和本质。服务提供者220可以利用与服务请求者210的音频连接和视频连接。服务请求的本质和目的可以与任何类型的服务相关,包括但不限于现场培训、具体设备或装备的操作、提供销售信息、问题、系统或装备的故障解决。具体的例子包括对布线或互连装备提供帮助、提供装备使用的指导、提供关于过程或产品的文档、定位装备上的具体特征、提供装备操作的多个操作步骤、提供用于装备或用于产品使用和处理的安全指令、提供关于产品销售的信息以及观看装备的操作。
在许多情况下,提供服务当中的一个步骤需要对服务请求者所使用的装备的恰当识别。图6说明了可以通过服务通信网络200用来恰当地识别服务请求者附近的装备的几个系统和方法。服务提供者可以利用服务请求者多功能通信设备212的一个或多个方面来识别在服务请求者210附加的装备。
在一个实施例中,服务提供者220可以利用服务请求者设备212上的照相机212b来识别装备260a、260c。服务提供者220可以对服务请求者210提供具体的指令以在装备260的可识别特征上定位照相机212b(例如,定位照相机,使得可识别特征在照相机212b的视场内)。可识别的特征可以包括条形码、识别标记(例如,型号和序列号)、识别色样、特定于装备260a、260c的识别形状,和/或识别色斑(colorbug)(例如,具有特殊形状和颜色组合的标记)。照相机212b还可以用来捕捉装备260a、260c的一个或多个方面或可识别特征的图像。
在另一个实施例中,照相机212b用来捕捉多个图像,以便识别装备260a、260c。例如,装备260a、260c的第一图像可以用来或者被捕捉成缩小可能性的数量。第二图像可以进一步缩小可能性的数量和/或可以肯定地识别装备260a、260c。在还有另一个实施例中,可能需要第三图像来进一步缩小可能性的数量和/或肯定地识别装备260a、260c。在另一个实施例中,一个或多个图像可以用来缩小可能性的数量并且可能性列表提供给服务请求者210以供进一步识别。
在另一个实施例中,资源(例如,见图4资源140-140d)提供给服务提供者220,并且用来识别指定给服务请求者210的装备目录和/或指定给服务请求者210的位置的装备目录中的装备。装备可以根据销售记录、服务记录、目录记录、由服务请求者设备212执行的装备扫描和标识和/或过去的服务请求记录被指定给服务请求者和/或位置。
在另一个实施例中,服务提供者220可以控制服务请求者设备212的一个或多个方面。例如,服务提供者220可以在服务请求者设备212上启动无线系统212c(例如,诸如蓝牙系统或者任何其它合适的无线通信协议的无线系统),并且经合适的无线通信协议无线地连接到服务请求者210附近的启用无线的装备260b。一个步骤可以使用无线系统212c来执行装备调查,以确定可用的启用无线的装备260b和可用的启用无线的装备260b的操作状态。可用的启用无线的装备260b和可用的启用无线的装备260b的操作状态可以提供给指定给服务请求者210的目录和/或指定给服务请求者210的位置的目录。启用无线的装备260b的操作状态可以包括硬件信息、固件信息、软件信息和诸如使用历史的操作信息。无线系统212c和启用无线的装备260b之间的无线连接可以识别具体的硬件、识别和/或升级具体的软件、识别和/或升级具体的固件并识别启用无线的装备260b的任何维护需求,如下文中所描述的。
装备调查可以为服务请求者210生成可用装备的菜单,并且服务请求者210可以从服务请求者设备212的显示器212d上所显示的可用装备的菜单选择与服务请求相关的具体装备。
在另一个实施例中,服务请求者设备212通过在服务请求者设备212和位于RFID装备260c上的RFID设备之间建立的通信识别RFID装备260c。
在另一个实施例中,服务提供者220可以命令服务请求者210把服务请求者设备212电连接到硬连线的装备260d。在一个实施例中,电适配器261(例如,电缆261)的第一端连接到服务请求者设备212上的端口(例如,USB或其它串行端口、基座连接器,或PDMI连接器),并且电适配器261的第二端连接到硬连线的装备260d上的端口或连接器。如图6中所说明的,电连接可以在硬连线的装备260d和服务请求者设备212之间提供直接通信。服务请求者设备212还可以在服务提供者设备221和/或连接到服务提供者设备221的任何系统/资源之间提供间接连接。在一个实施例中,电连接把服务请求者设备212连接到硬连线装备260d中的EPROM(或者其它像存储器的设备),其中EPROM包含硬连线装备260d的标识信息和/或操作信息。在另一个实施例中,电连接把服务请求者设备212连接到识别电路,诸如位于硬连线装备260d中的识别电阻器网络(未明确示出)。
在确定服务请求的目的和本质之后,服务提供者220向服务请求者210提供帮助。
图7是根据本公开内容实施例的屏幕快照300。图7中的屏幕快照300包括可以独立地使用或者以其任意组合使用的许多方面和概念。屏幕快照300可以是在服务提供者设备321的屏幕321c上提供应用显示322的服务提供者应用320a,或者屏幕快照300可以是在计算机系统(未明确示出)的计算机显示器(例如,计算机监视器、触摸屏或者类似的显示设备)上显示的程序应用窗口。
服务提供者应用320a的一方面包括服务请求者应用窗口312c的复制。在一个实施例中,服务请求者应用窗口312c复制和/或镜像服务请求者设备212的显示。该图像允许服务提供者220观看在服务请求者设备212上提供给服务请求者210的呈现。
服务提供者应用320a能够把各种内容引导到服务请求者设备212。被引导的内容可以驻留在服务提供者设备321上或者可以由其生成。例如,被引导的内容可以包括由服务提供者实时生成的直播视频和/或音频、驻留在服务提供者设备321上的存储器中的文件(例如,音频、视频、文本文档、图像等)或者由服务提供者实时生成的内容。被引导的内容可以由服务提供者设备321从外部源或系统检索。例如,被引导的内容可以是从外部资源(见图4,例如指定给服务提供者组150的资源140)提供、电传输到服务提供者设备321的文件,或者被引导的内容可以从另一系统或资源获得(例如,万维网内容)。
服务提供者设备321的屏幕321c上显示的服务请求者应用窗口322c还可以提供一个或多个控制服务请求者设备212各方面的选择器312d、312f、312h和312j以及显示这一个或多个选择器312d、312f、312h和312j的控制状态的指示器312e、213g、312i和312k。控制选择器312d启用或禁用服务请求者设备212的控制,其中服务请求者220可以选择禁用对服务请求者设备212的控制,以防止服务请求者210无意中改变服务请求者设备212上的一个或多个设置。服务提供者210可以通过按压控制选择器321c来控制服务请求者设备212的各方面,并且控制状态是由控制状态指示器312e指示的。选择器和对应的指示器的其它例子可以包括启用/禁用视频选择器312f和视频指示器312g、启用/禁用蓝牙选择器312h和蓝牙指示器312i,和/或可以被配置为控制服务请求者设备212的其它方面的附加的可编程选择器312j和可编程指示器312k。
继续参考图7,一个或多个附加的显示窗口323-329可以由服务提供者应用320a在屏幕321c上提供。例子包括显示由服务请求者设备212的前置照相机捕捉的图像的前置照相机窗口323、显示由服务请求者设备212的后置照相机捕捉的图像的后置照相机窗口324、连接到各种资源的一个或多个资源窗口325-327(诸如单独的资源窗口325(例如,JonnyGuru)或服务请求者信息窗口326(例如,显示请求者信息)、故障解决树窗口327)、可以由服务提供者220用来生成与服务请求相关的笔记的笔记窗口328,以及电子白板窗口329。
服务提供者可以通过选择窗口323-325、327和329或者通过选择连接对应的窗口323-325、327和329与服务请求者应用窗口312c的互连线323a-325a、327a和329a来“激活”窗口。激活窗口在服务请求者应用窗口312c中(例如,在服务请求者设备212的显示器212d上)共享被激活的窗口的内容。例如,如图7中所说明的,电子白板窗口329是活动的,如由被突出并显示为“活动”的互连线329a所指示的。照此,电子白板窗口329与服务请求者应用320a共享,而剩余的窗口323-325、327不活动(前置照相机窗口323、后置照相机窗口324、单独地资源窗口326和信息资源窗口327)并且因此不与服务请求者210共享。激活新窗口可以自动禁用之前激活的窗口。在一个实施例中,激活新窗口是通过使用触摸屏把期望的窗口拖放到服务请求者应用窗口312c中来执行的。
一个或多个窗口可以不被配置为与服务请求者210共享(例如,不可共享的窗口326和328),如通过在不可共享的窗口326、328与服务请求者应用窗口312c之间缺少连接所指示的。例如,服务请求者信息窗口326和笔记窗口328可以包括不应当与服务请求者219共享的信息,因此,服务提供者应用窗口322自动地禁用共享该窗口的能力并且除去窗口326、328和服务请求者应用窗口312c之间的互连。
直播视频窗口(例如前置照相机窗口323、后置照相机窗口324和/或单独的资源窗口325)可以包括从对应照相机窗口323-325捕捉直播视频的活动帧的冻结选择器323b-325b。视频窗口(例如,请求者后置照相机窗口324、请求者前置照相机窗口323和单独的资源窗口325(例如,JonnyGuru窗口))冻结/解冻选择器323b-325b位于对应窗口323-325的右下角并且在窗口显示直播视频时显示文字“冻结”,并且选择冻结选择器捕捉并显示当前的视频帧。当对应的窗口显示捕捉到的帧时,显示文字“解冻”,并且选择解冻将把窗口返回到直播视频。
直播视频窗口通常显示低分辨率视频馈入,以限制传送直播视频窗口所需的带宽量。低分辨率视频馈入可以关于每秒的帧数来限制并且关于视频馈入中每一帧的分辨率来限制。在一个实施例中,选择冻结选择器323b-325b改变视频馈入的一个或多个属性,这导致捕捉高分辨率图像作为冻结的图像。在另一个实施例中,选择冻结选择器323b-325b把对应照相机的捕捉模式从视频馈入改成图片模式,由此提供作为图片捕捉到的图像。
直播视频窗口324还可以包括灯启用/禁用选择器开关324c,该开关启用/禁用与为直播视频窗口捕捉视频/图片的照相机关联的灯(例如,闪光灯)(见请求者前置照相机窗口324)。服务提供者220可以启用/禁用灯,以方便在差的照明条件下服务提供者设备212的使用。
在服务请求期间的任何时候,服务提供者220可以呼叫(例如,邀请)附加的资源加入服务呼叫。例如,位于单独的资源窗口325(例如,JonnyGuru窗口)左下角、服务请求者信息窗口326左下角和故障解决树窗口327左下角的呼叫选择器325d-327d,当被选择时,提供可以作为资源被请求和使用的组资源的列表。
图像和/或文档可以经源下拉框329e被带到电子白板窗口329中。当被选择时,源下拉框329e允许服务提供商220从多个源位置中选择。一个源位置包括服务提供者应用显示器322上的显示窗口323-325和327。选择显示窗口323-325和327从选定的窗口捕捉图像并且在电子白板中显示该图像。或者,服务提供者220可以简单地把图像从显示窗口323-325和327拖放到电子白板窗口329中,如上所述。
源下拉框329e还允许服务提供者220从服务提供者设备221或者从连接到服务提供者设备221的任何文件存储系统选择文件。文件可以包括图像文件、文本文件或者可以转换成在电子白板上显示的任何其它文件。电子白板窗口329上的图像和/或文档可以利用单指或双指手势重新定位和/或调整大小。
源下拉框329e还可以允许服务提供者220从图像库选择。在一个实施例中,库的内容被动态选择,以提供与特定服务请求相关的图像。动态选择可以由在服务请求期间识别出的装备、故障解决树窗口327上显示的页面、服务请求者信息窗口326中所包括的信息、服务请求者210的位置或者识别服务请求的本质的任何其它信息来确定。
电子白板窗口329允许电子白板窗口329中所显示的图像的注释(例如,编辑、修改和/或擦除)。图像注释可以在图像处于活动状态并显示在服务请求者应用窗口312c上的时候执行,或者注释可以在电子白板窗口329上显示的图像处于不活动状态的时候执行,其中图像可以与服务请求者应用窗口312c共享(例如,使其活动)。
注释可以选自笔注释、对象注释和文本注释。笔注释选择器329f在电子白板窗口329上利用触控笔和/或指尖提供手绘图。对象注释选择器329g提供一个或多个要被选择的形状并且在电子白板窗口329上利用触控笔和/或指尖画(选定形状的)对象。文本注释选择器329h提供要由键盘输入并在文本框中定位的文本字符串。
在一个实施例中,每个注释作为包含用于重建注释的内容的消息在服务请求者应用212a和服务提供者应用221a之间发送。消息可以包含用于重建一个或多个注释的内容,或者消息可以包含重建原始注释和对原始注释的后续编辑、修订或添加的内容。
在一个实施例中,注释是利用电子白板窗口329上的菜单结构执行的。在另一个实施例中,轻击(服务提供者应用显示器322上的)服务请求者应用窗口312c或者轻击服务请求者设备212提供注释菜单,该菜单允许注释直接画在服务请求者应用窗口312c上。注释菜单还可以包括清除服务请求者应用上所有注释的清除注释按钮和/或刷新注释按钮。
由服务请求者210在服务请求者设备212上执行的注释和由服务提供者220在服务提供者设备221上执行的注释经XMPP消息在服务请求者应用212a和服务提供者应用221a之间发送。
由服务提供者220执行的注释被指示为服务提供者注释,并且由服务请求者210执行的注释被指示为服务请求者注释。注释可以通过颜色、线宽、线类型、字体类型或唯一地区分注释的任何其它合适的方法来指示。
形状注释包括重画并定位重画的形状注释所需的一个或多个参数。例如,圆圈注释将需要中心点、半径和指示器(例如,服务提供者注释或服务请求者注释)。其它属性(例如,线宽或线类型)可以作为附加参数提供。
文本注释将需要识别文本主体位置的位置参数、用于文本注释的消息以及指示器(例如,提供者注释或请求者注释)。其它属性(例如,字体类型、字体大小、字体风格、字体颜色和任何其它文本主体属性)可以作为附加参数提供。
笔注释可能需要包含一系列点和指示器的消息(例如,提供者注释或请求者注释)。其它属性(例如,颜色、线宽或线类型)可以作为附加参数提供。
每个注释可以作为单个消息提供,或者一个消息可以包含多个注释,以便提供服务请求者应用212a和服务提供者应用221a之间注释的近乎实时传输并且优化带宽的使用。
在一个实施例中,注释(例如,形状注释、笔注释和/或文本注释)被服务请求者210画在服务请求者设备212上。服务请求者应用212a生成包括重画注释所需的注释参数的注释消息并且把注释消息发送到服务提供者应用221a。服务提供者应用221a根据注释参数在服务提供者设备221上重画注释。
在另一个实施例中,最初由服务请求者210在服务请求者设备212上生成的注释被服务提供者220修改。例如,服务请求者210可以画识别服务请求者设备212上所显示的图像的第一属性的手绘圆圈。服务请求者设备212生成注释消息并把其发送到服务提供者应用221a,服务提供者应用221a又在服务请求者应用窗口312c中重画注释。服务提供者220可以选择并移动由服务请求者210创建的注释,以识别在服务请求者应用窗口312c中显示的图像的第二属性。服务提供者设备221生成新的注释消息并把其发送到服务请求者应用212a并且服务请求者应用212a在服务请求者设备212上重画该注释。
源下拉框329e可以包括保存功能,该功能允许服务提供者220保存和/或发送在服务请求期间生成的注释的图形。
故障解决树窗口327为服务提供者220提供故障解决模板。故障解决树窗口327可以是交互式故障解决树、基于文本的故障解决树、文本可搜索的故障解决文档或者任何其它合适的故障解决文档或系统。
单独的资源窗口325是可以被带到服务请求中的单独的资源的例子,以便对服务请求提供专家信息和帮助。例如,主题专家可以通过服务通信网络100或者通过与服务提供者应用221a接口的第三方会议系统被邀请加入服务请求。
服务提供者应用221a还可以包括垂直/水平选择器322c。垂直/水平选择器322c的选择旋转服务提供者应用321a中的窗口312c和323-329(并且随后旋转服务请求者应用212a中的图像)90度,从而把视图从纵向视图切换成横向视图。
在完成服务请求后,服务通信网络100可以被配置为生成包括以下中的一个或多个的服务日志和/或服务请求报告:服务请求的时间和日期戳;服务请求的持续时间;服务请求者210的标识;得到服务请求通知的资源和/或组的标识;接受了服务请求的服务提供者220的身份;服务请求者设备221的标识;服务请求者设备221的位置;服务请求的视频和/或音频转录;音频的书面转录;显示在服务提供者应用221a上的图形;对服务请求期间所显示的图形所作的注释;以及在服务请求期间输入并保存的笔记。
在另一个实施例中,服务日志可以用来生成具有来自会话的信息的微型网站(microsite),并且到该微型网站的链接可以提供给服务请求者210、服务提供者220以及得到通知让服务请求在后续服务请求期间检查和/或使用的选定的服务组和/或资源。
在实施例中,服务请求者设备212可以用来与位于服务请求者设备212附近的启用无线的装备(目标装备)通信。因而,当服务请求者设备212被设备用户(例如,医生或服务技术人员)携带通过设施时,服务请求者设备212与附近的启用无线的目标装备通信。通信可以局限于启用无线的目标装备的识别或者通信可以包括各种与服务相关的功能的执行。
运行在服务请求者设备221上的服务请求者应用221a可以包括周期性搜索启用无线的目标装备的例程。该搜索例程可以在服务请求者设备212的低功率通信模式期间周期性地执行,以节约功率。在服务请求者设备212与目标装备建立连接的同时,或者在服务请求者设备212与目标装备建立连接之后,服务请求者设备212可以存储与目标装备相关的信息,包括物理位置、唯一装备标识符、软件/固件标识符(例如,版本信息)、硬件标识符、软件/硬件参数,和/或当前用户(例如,基于物理位置确定的医院地址)。
在服务请求者设备212被携带通过设施时,服务请求者设备212可以准备设施中目标装备的状态的报告。在服务请求者设备212被带出设施之后,服务请求者设备212可以把该报告发送到中央计算机系统。这种信息可以在中央计算机系统中归档,供将来使用。例如,这种信息可以被服务提供者组的成员对将来的服务请求呼叫使用,以确定装备是否包括最近的软件版本或者确定装备是否在运行中和/或是否可放心使用。
服务请求者设备212还可以生成报警或消息,以便把目标装备的状态通知给服务请求者设备212的用户。例如,服务请求者设备212可以生成指示目标装备需要服务的消息和/或生成指示目标装备的软件需要更新或升级的消息。在实施例中,中央计算机系统可以向服务请求者设备212发布执行目标装备的电子升级的命令。响应于该命令,服务请求者设备212可以无线地更新目标装备的软件。或者,中央计算机系统可以向服务请求者设备212的用户提供指令,以便经电缆把服务请求者设备212连接到目标装备,以允许中央计算机系统执行与服务相关的功能。
中央计算机系统或者与中央计算机系统相关联的服务提供者组可以向服务请求者设备212的用户提供其它指令。例如,服务提供者组可以命令服务请求者设备212的用户定位服务请求者设备212的照相机,如何物理地配置目标装备(例如,把特定电缆连接到目标装备和另一个设备),以及如何为特定的目的操作目标装备(例如,为了故障排除目的)。在一些实施例中,服务请求者设备212可以基于服务请求者设备212和目标装备之间的通信生成用于目标装备的替换零件或服务的工作次序。
在实施例中,一旦服务请求者设备212建立了与目标装备的通信,服务请求者设备212就可以进一步建立与和中央计算机系统关联的服务提供者组的通信,以方便与目标装备的通信。服务提供者组可以获得服务请求者设备212的控制,以方便目标装备上所需的服务。
服务请求者应用212a可以将特定于用户(例如,医生)的设置下载到目标装备。服务请求者应用212a还可以把特定于用户的设置从目标装备上载。上载的设置可以被保存,供用户将来使用。例如,医生可以利用用一组特殊的用户可编程设置编程的电外科系统执行外科手术。在外科手术之后,医生可以把这组特殊的用户可编程设置从电外科系统上载,由此把所述设置存储在服务请求者设备212中。如上文关于图4所讨论的,这组特殊的可编程设置可以提供给集中式数据库,诸如服务请求者信息140d(例如,选自一个或多个数据库的、关于服务请求者110h的信息)。在为将来的外科手术做准备时,医生可以检索服务请求者信息140d、检查在之前外科手术期间使用的该组特殊的用户可编程设置,并且可以使用服务请求者设备212把一组用户可编程设置下载到供将来外科手术使用的电外科系统。
返回图5,服务通信网络200中服务请求者设备212和服务提供者设备221之间的活动通信通道的带宽(例如,在Wi-Fi或3G网络中)会不时地发生波动。根据本公开内容的服务通信网络适于活动通信通道的可用带宽。随着活动通信通道的带宽减小,视频质量下降,直到服务请求者设备212停止传输视频。但是,如果服务请求者设备212和服务提供者设备221之间的连接没有断开,那么,当服务请求者设备212停止传输视频时,所有其它服务,包括音频、关于冻结帧的动画和发送快照或文件,都继续工作。如果活动通信通道的带宽对音频电话呼叫不足,则音频电话呼叫掉线或者完全不连接。如果活动通信通道的带宽增加至高于预定的带宽,则视频传输恢复。如果带宽继续增加,则视频质量增加,直到视频质量被服务请求者设备212的处理能力限制。
带宽可以通过经数据通信通道以视频呼叫模式发送实时数据或者以仅音频模式发送测试数据来测量。在视频呼叫模式期间,视频流数据发送,但没有测试数据发送。在仅音频模式期间,一些测试数据被生成并发送。带宽可以由服务请求者应用221a、云230服务器202、203、204或者由服务请求者应用212a测量。服务通信网络200可以执行被配置为接收测试数据、计算带宽并且把带宽信息返回给服务请求者应用221a的校准演示程序。在实施例中,带宽可以在服务器202、203、204一侧测量,因为一些数据存储在服务请求者设备212和/或服务提供者设备221上的套接字缓冲区中。在仅音频模式,带宽可以通过把测试数据从服务请求者设备212直接发送到服务提供者设备221来测量。为了最小化测试数据对语音数据的影响,测试数据可以以低的优先级从服务请求者设备212发送到服务提供者设备221。
服务通信网络200可以合并优化视频数据流的质量以及音频和视频模式之间切换的技术,以提供最佳的用户体验。如上文中所讨论的,通信、数据和信息通过驻留在云230中的一个或多个流传输服务器应用202被流传输。这些优化技术可以通过运行在服务请求者设备212上的服务请求者应用212a和运行在云230中的服务器上的流传输服务器应用202(例如,视频代理应用)来实现,其中云230中的所述服务器连接在服务请求者设备212、服务提供者设备221或者合并到本文所述服务通信网络100中的任何其它合适的计算机、服务器和/或系统之间。在被云203中的服务器执行时,流传输服务器应用202不绑定到特定的服务器并且一般性地用来描述驻留在服务器中并执行的视频代理应用。
服务请求者应用212a和/或驻留在云230中的通信服务器(服务器202-204)维护视频质量索引,包括在0和最大视频质量索引值之间规格化的视频质量索引值。在实施例中,越高的索引值意味着需要越高带宽的越高视频质量。视频质量可以就分辨率、每秒的帧数或者任何其它合适的属性来测量。为了利用可能不稳定的给定带宽提供最高的视频质量,服务请求者应用212a可以被配置为满足以下条件:(1)帧发送操作队列必须能够取得每个新创建的帧并且把它传递到数据通信通道上,(2)发送帧确认队列尺寸必须小于允许的值,及(3)来自流传输服务器应用202的信号必须确认有足够的视频数据流。
关于第一个条件,在服务请求者应用212a中存在执行具体操作的操作队列,所述操作被配置为通过为每个帧提供附加信息并把它推送到数据通信通道来准备每个帧。在实施例中,在任何给定的时间只有一个具体操作执行。
不管何时(由服务请求者设备212)准备另一个帧要发送或传递到操作队列,服务请求者应用212a检查操作队列中当前的操作个数。如果操作队列中的该操作个数多于一,这意味着当前操作由于某种原因(例如,低带宽)而被延迟,则服务请求者应用212a从操作队列除去所有不活动的操作并且把这报告给优化模块。被除去的不活动操作可以包括被跳过的帧。对于每个被跳过的帧,存在质量降低操作。
每次跳过一帧时,优化模块把跳过帧计数器递增一。另一方面,每次帧离开操作队列时,优化模块把跳过帧计数器递减一,但是不小于0。如果跳过的帧之间经过小于五秒,则优化模块也可以把跳过帧计数器递增一。另一方面,如果跳过的帧之间经过预定时间量,则优化模块把跳过帧计数器递减一。该预定时间量是由用户察觉到的视频质量确定的。在优化模块中使用的参数可以被配置为使得作为差质量被用户察觉到的视频递增跳过帧计数器并且作为好质量被用户察觉到的视频递减跳过帧计数器。在一个实施例中,在跳过的帧之间经过的预定时间量是大约五秒。
无论何时跳过帧计数器达到跳过帧的临界数量时,优化模块把这报告给休息(rest)应用,该应用把服务请求者设备212切换成仅音频模式。跳过帧的临界数量可以依赖于当前的视频数据流速率。跳过帧的临界数量可以基于用户对不可接受的视频质量的察觉来选择或者通过当前的每秒帧数(FPS)值乘以以秒为单位的不可接受的视频延迟量来选择。例如,在实施例中,跳过帧的临界数量可以等于当前的每秒帧数(FPS)值乘以4,即,4秒视频的帧数。
如上所述,为了利用给定的带宽提供最高的视频质量,服务请求者应用212a可以被配置为要求发送帧确认队列尺寸小于允许的值。对于从服务请求者设备212发送的每一帧,服务请求者设备212可以接收确认信号。无论何时帧被创建并放在帧发送操作队列中时,新的确认定时器被设置为确认时间间隔并添加到发送帧确认队列。确认时间间隔可以依赖于视频FPS、对流传输服务器应用202的等待时间以及一常量增量。在实施例中,确认时间间隔可以根据以下表达式来计算:
确认时间=1/fps+等待时间+增量(秒)
等待时间值可以从时间同步操作获得。增量值是可配置的并且可以设置成等于0.5。确认时间指对帧确认信号的最大等待时间。如果任何确认定时器到期,则优化模块降低视频质量。在执行视频质量的变化之后,进一步的调整或变化可以被延迟,以考虑滞后或去抖动(de-bouncing)。此外,如果在最大允许的时间间隔内任何帧都没有确认,即,没有接收到确认信号或丢弃(dropped)信号,则服务请求者应用212a切换到仅音频模式。帧可以不被确认,因为在数据通信通道中或者流传输服务器应用202上可能存在一些关键的问题。确认时间间隔依赖于对流传输服务器应用202的最大允许的延迟和等待时间。确认时间间隔可以根据以下表达式来计算:
最大等待时间=最大允许的延迟+等待时间
最大允许的延迟是预定义的值,并且,在实施例中,可以等于四秒。等待时间依赖于视频质量和系统跨网络有效传输数据(例如,视频、音频和其它数据)的能力。照此,等待时间是可变的并且依赖于至少选定的视频质量。
如果确认队列中确认定时器的个数小于允许的尺寸值,则新的帧添加到帧发送操作队列并且这被报告给优化模块。对确认队列允许的尺寸依赖于确认定时器时间间隔和视频数据流速率。允许的尺寸可以根据以下表达式来计算:
允许的确认队列尺寸=确认时间×fps
如果确认队列中确认定时器的个数多于允许的尺寸,则帧被跳过并且这被报告给优化模块。如果确认队列中确认定时器的个数少于允许的尺寸值,则帧添加到帧发送操作队列并且这被报告给优化模块。
如上所述,为了利用给定的带宽提供最高的视频质量,服务请求者应用212a可以被配置为使得来自流传输服务器应用202的信号确认有足够的视频数据流。流传输服务器应用202发送关于视频数据流的服务请求者应用212a信号。这些信号可以包括“帧被接收”信号、“帧被丢弃”信号,以及“视频截止”信号。
流传输服务器应用202可以计算序列中被丢弃的帧数,并且,如果丢弃的帧数多于通常将在预定丢弃帧时段期间在视频流中提供的帧数,则把“视频截止”信号发送到服务请求者应用212a。当前的FPS值可以从帧的HTTPMJPEG头部取得(该头部还包括帧质量和压缩程度信息)。在实施例中,缺省的当前fps值是3FPS。因而,如果预定的丢弃帧时段是2秒,则在服务器应用把“视频截止”信号发送到服务请求者设备212之前应当有3fps×2秒=6帧在序列中被丢弃。
如果服务请求者应用212a接收到“帧被丢弃”信号,则服务请求者应用212a降低视频质量。如果服务请求者应用212a接收到“视频截止”信号,则服务请求者应用212a把服务请求者应用212a切换成仅音频模式。对于“帧被丢弃”和“帧被接收”信号两者,服务请求者应用212a对适当的帧数解除对确认定时器的调度并且从发送帧确认队列中除去它。
如果所有条件满足,即,对于最后一段时间没有丢弃的和跳过的帧并且没有接收到截止信号,则在捕捉和发送过程期间,服务请求者应用212a提高视频质量。如果帧添加到帧发送操作队列并且没有帧在允许的时间期间被丢弃或跳过,则优化模块通过递增视频质量索引值并应用适当的视频质量设置来提高视频质量。质量提高时间依赖于之前的降低质量数并且可以根据以下表达式来计算:
质量增加时间=基本时间×(1+降低质量数/4)
基本时间是可配置的并且可以设置成20秒。用于质量提高时间的最大允许值可以是90秒。
根据本公开内容的通信系统可以合并反馈机制,其中服务提供者设备221把实际上由服务提供者设备221接收到的数据量发送到服务请求者设备212。运行在服务请求者设备212上的服务请求者应用212a可以使用这个带宽数据来优化视频流。
如图5中说明和以上描述的,服务通信网络200包括两种应用:运行在服务请求者设备212上的服务请求者应用212a和运行在服务提供者设备221上的服务提供者应用221a。在实施例中,服务请求者应用212a和服务提供者应用221a作为单个媒体传输与接收系统一起工作。服务请求者应用212a从服务请求者设备212的一个或多个照相机212b(见图6)获得视频流并且通过私有和公共网络把视频流发送到服务提供者应用221a。在实施例中,服务请求者应用212a可以驻留在防火墙232b后面,该防火墙阻止服务提供者应用221a发布从服务请求者应用212a接收视频数据的请求。因而,服务通信网络100还可以包括位于诸如云230的公共网络的服务器应用205。服务器应用205一般性地在图5中说明为驻留在云230中并且可以合并到流传输服务器应用202、注释/会话服务器应用203、文件服务器应用204中的任何一个中或者充当驻留在云230中的服务器上并在其上执行的独立应用。服务请求者应用212a和服务提供者应用221a都可以连接到服务器应用205并且服务器应用205在服务请求者和服务提供者应用212a、221a之间多路复用数据流。服务请求者和服务提供者应用212a、221a都连接到服务器应用205,该服务器应用205可以利用预定的配对信息合并到其中。一旦服务请求者和服务提供者应用212a、221a连接到服务器应用205,服务器应用205就像两个连接之间的隧道或数据管道一样表现。服务器应用205可以在服务请求者和服务提供者应用212a、221a之间来回发送反馈。
服务器应用205可以包括以下模块:设置模块、注册模块、配对模块、通信处理模块和管理模块。设置模块从服务器配置文件读取配置参数(例如,源数据和信号端口以及线程的数量)。设置模块使用配置参数打开用于请求者和服务提供者应用212a、221a数据连接的两个监听套接字、用于请求者和提供者信号连接的两个监听套接字,和/或管理端口。注册模块识别并验证进入的请求者和提供者连接请求。配对模块评估服务请求者和提供者连接对的恰当对等体。
通信处理模块在服务请求者和提供者连接之间处理数据多路复用。管理模块处理管理端口上的管理信息请求。管理请求可以包括查看整体系统状态或者查看不同日志的请求。
图8是根据本公开内容实施例、用于设置模块的设置线程800的流程图。在步骤810,设置模块从用于服务器应用205的配置文件读取配置参数并且相应地设置服务器应用205的全部模块。如果管理服务被启用(步骤812),则管理启动过程被执行(步骤814)。设置模块创建用于接受进入的连接请求的主线程800a(步骤820)。设置模块还创建用于注册模块、配对模块和通信处理模块中每个模块的线程。
主线程800a创建四个套接字(两个数据套接字DST连接和两个信号套接字SRC连接)。主线程800a在源和目的地端口监听任何进入的源或目的地数据和信号连接(步骤820)。当进入的连接请求在任何一个端口中进入时(步骤822,步骤824),主线程800a接受请求(步骤823,825)并且为那个连接创建新套接字或管道(步骤826)。然后,主线程800a把新连接套接字移交给注册线程(步骤830),使得主线程800a可以使其自己自由地接受其它进入的连接请求。在主线程800a把新连接套接字移交给注册线程(步骤830)之后,主线程800a再次等待新连接请求(步骤822和824)。
现在参考以上示出的图9,注册线程900留在等待状态(步骤910),以等待新套接字注册。当主线程900a把新套件字推送到注册线程900(步骤920)时,注册线程900读取该套接字的配对信息(步骤930)。对于数据连接,配对信息用来在服务请求者和提供者套接字之间创建管道。对于信号连接,配对信息把从相同设备打开的信号和数据连接关联(步骤950)。在实施例中,用于请求者和提供者连接的配对信息都可以具有以下格式:
src_name=<iPhoneUUID>&dst_name=<iPadUUID>&[EOL]
在读取配对信息之后,注册线程900注册连接类型(例如,请求者或提供者)、连接名称,以及用于该连接的对等体名称(步骤980)。连接类型是基于由服务请求者或服务提供者应用212a、221a请求的端口来确定的。如以上配对信息中所示出的,连接名称和对等体名称可以是通用唯一标识符(UUID)。连接名称和对等体名称可以从对等体信息读取。
在注册过程中,服务器应用205可以保留特定的连接至多最大注册等待时间,这个等待时间可以在配置文件中设置。如果服务器应用205不能在最大注册等待时间内读取用于连接的配对信息(步骤930),则超时错误或读行错误被检测到(步骤940)并且服务器应用205关闭那个连接(步骤970)。注册线程900从行串提取SRC和DST名称(步骤950),并且,如果配对信息被正确读取(步骤960),则注册线程900注册要配对的连接(步骤980)并且把注册后的连接转发到配对线程(步骤980)。然后,注册线程900等待新连接注册(步骤910)。
图10是用于配对模块的配对线程1000的流程图。配对线程1000可以是等待用于配对的新连接的专用线程(步骤1010)。在注册线程1000之后,服务器应用205具有任何连接的识别信息。在接收到新注册的连接(步骤1020)之后,配对线程1000试图匹配注册的连接的配对信息(步骤1030)。当配对线程找到两个数据和两个信号源与目的地连接之间的配对信息的匹配(步骤1033)时,它验证SRC/DST名称和连接(步骤1040),并且如果通过验证(步骤1043),配对线程1000就创建一对数据连接(步骤1050)并且准备该对进行处理(步骤1060)。
在配对过程中,服务器应用205可以保留特定的连接至多最大配对等待时间。最大配对等待时间可以在服务器应用205的配置文件中设置。如果特定的连接不能具有对等连接(步骤1033),则服务器应用205关闭那个连接(步骤1036)。如果配对线程找到相似类型的连接之间源和目的地名称的匹配(例如,SRC-SRC数据、DST-DST数据、SRC-SRC信号、DST-DST信号;步骤1033),则它关闭较旧的相似连接并且保持较新的相似连接供将来配对(步骤1046)。如果配对线程在两个不同类型的连接的配对信息的源名称中找到匹配,但是在目的地名称中失配(步骤1043),则它关闭最近的连接(步骤1046)。
图11说明了用于处理来自配对线程1100的配对的源和目的地套接字的配对处理线程1100。可以有多个配对处理线程110,这些线程或者等待处理新套接字对或者已经在处理新套接字对。配对处理线程110的最大数量可以在服务器应用205的配置文件中配置。
当新的套接字到达供处理时(从步骤1160),多个配对处理线程1100中等待处理新套接字对(步骤1110)的一个线程开始处理新的套接字对(从步骤1160)。首先,配对处理线程把用于视频数据类型(例如,MJPEG)的响应头部(例如,HTTP响应头部)发送到目的地套接字(步骤1130)。接下来,配对处理线程从源套接字读取视频数据帧(例如,MJPEG帧)并且形成包括分隔符、头部和视频数据帧的视频数据包(步骤1140)。然后,配对处理线程把视频数据包发送到目的地套接字(即,提供者连接)。
在实施例中,服务器应用205在缓冲区中保持最后读取的帧。服务器应用205配置文件可以包括使得能够从缓冲区丢弃帧的配置参数。如果服务器应用205完成读取新的视频数据帧并且配置参数设置成使得能够丢弃帧,则服务器应用205从缓冲区丢弃旧帧并把新帧添加到缓冲区。另一方面,如果配置参数没有设置成使得能够丢弃帧,则服务器应用205停止读取新帧,直到旧帧从缓冲区中被清除。
服务器应用205可以确定序列中被丢弃的帧数是否多于被丢弃帧的阈值数量。如果序列中被丢弃的帧数多于被丢弃帧的阈值数量,则服务器可以向服务请求者应用212a发送信息,以停止向服务器应用205发送帧并且切换成仅音频模式。这个信号可以利用上述信号连接来发送。
在实施例中,被丢弃帧的阈值数量可以等于经预定时段被丢弃帧的数量。例如,如果当前FPS是3FPS并且预定的时段是2秒,则被丢弃帧的阈值数量是3FPS×2秒=6帧。
如果有任何套接字被关闭或者如果存在套接字错误(步骤1150),则套接字对被关闭(步骤1160)并且配对处理线程1100再次等待处理新的套接字对。服务器应用205可以对处理每个新套接字对投入单个线程。
如图12A和12B中所说明的,服务通信网络200可以在服务器应用205与对应的服务请求者设备212200a和服务提供者设备221之间支持信号连接200a、200b。信号连接200a、200b可以用来执行各种功能,包括在服务请求者设备212和服务应器用205之间同步时间并且把反馈信息从服务器应用205发送到服务请求者设备212。在实施例中,经信号连接200a、200b发送的信号数据可以构造为16字节的字,其中前两个字节定义信号类型,而剩余的14个字节是有效载荷。
服务器应用205、服务请求者设备212和服务提供者设备221上的当前时间可以不同。但是,在一些情况下,服务请求者设备212和服务器应用205的时间戳不能彼此进行比较,使得当前时间可以同步。为了确定设备之间的时间差,服务器可以执行以下过程:
1.服务请求者设备212建立到服务器应用205的数据和信号连接1205并且等待来自服务器应用205的时间同步握手1207a-1207c。
2.服务器应用205从服务请求者设备212和服务提供者设备221两者接收连接1205a、1205b,创建连接对,并且把时间同步握手消息发送到服务请求者设备212。时间同步握手消息1207a-1207c通知服务请求者设备212它何时可以开始同步过程。
3.服务请求者设备212获得其当前时间(rsd_tm1)、把它放到信号消息中(例如,把它放到信号消息的4-7字节中)并且把信号消息发送到服务器应用205。(步骤1210)
4.服务器应用205从服务请求者设备212接收信号消息、获得其当前时间(vps_tm1)、把它放到相同的信号消息中(例如,把它放到信号消息的8-11字节中)并且把信号消息发送回服务请求者设备212。(步骤1220)
5.服务请求者设备212接收信号消息、获得其当前时间(rsd_tm2)、把它放到相同的信号消息中(例如,把它放到信号消息的12-15字节中)并且把信号消息发送到服务器应用205。(步骤1230)
6.服务器应用205从服务请求者设备212接收信号消息(步骤1240)、获得其当前时间(vps_tm2)并且利用以下公式计算时间同步值:时间同步=vps_tm2-rsd_tm2–min(rsd_rt_tm,vps_rt_tm)/2,其中
rsd_rt_tm=rsd_tm2-rsd_tm1-服务请求者设备往返行程时间,及
vps_rt_tm=vps_tm2-vps_tm1-服务器应用205往返行程时间。
服务器应用205使用计算出的时间同步值来同步服务请求者设备212和服务器应用205的时间戳。
如上所述,服务器应用205可以经信号连接把反馈信号1209发送到服务请求者设备212。反馈信号1209可以包括:截止信号、确认信号和丢弃帧信号。截止信号通知服务请求者应用212a从服务请求者设备212发送到服务提供者设备221的视频数据必须截止。当服务请求者应用212a接收到截止信号时,它停止向服务器应用205发送视频数据。在其它实施例中,服务器应用205可以控制服务请求者设备212并且停止服务请求者设备212向服务提供者设备221发送视频数据。
服务器应用205可以在满足各种适当的条件时发送截止信号。这些条件可以包括:(1)一系列帧已经在服务器应用205一侧被丢弃,(2)服务器应用205已经超过预定时段(例如,3秒)没有接收到帧,(3)服务器应用205在超过预定时间(例如,3秒)之前开始读取帧但是还没有完成读取,及(4)服务器应用205接收到在服务请求者设备212上超过预定时间(例如,3秒)之前创建的帧。截止信号可以包含关于触发了服务器应用205发送截止信号的条件的信息。
多功能通信设备包括对本文所公开的系统有利的功能。可以想像到的是,固定的计算机工作站可以被配置为完全相同或基本上相似的功能。例如,配备所需要的硬件和软件的计算机工作站可以连接到服务通信网络100。计算机工作站可以配备被配置为发起服务请求的服务请求者软件、被配置为接受服务请求的服务提供者软件或者二者兼有。
本文所公开的服务通信网络100、200是在“服务请求者”和“服务提供者”的语境下描述的。包括本文所述功能的一个或多个方面的系统和方法可以在各种应用中使用。除了本文所述的各方面,服务提供者220还可以包括信息提供者(产品代表)、日常帮助提供者或者实际上需要帮助的任何人。在一个实施例中,服务通信网络100用来帮助在识别药品时受到视觉挑战的个人,其中服务请求者可以是亲戚,并且可用的资源可以是医疗专家或者本地药剂师。在另一个实施例中,服务通信网络100用来帮助受到技术挑战的个人连接并使用电子系统的部件。
在还有另一个实施例中,服务提供者组选自社交网络的一个或多个成员,其中所述成员是基于社交网络上可用的信息动态选择的。例如,发出对连接电子系统部件的帮助的请求可能生成包括对电子产品感兴趣的社交网络连接的服务提供者组。在社交网络语境下,多个服务提供者可以利用他们的服务提供者设备221加入该请求,给予帮助。请求者和提供者应用可以合并到现有的社交网络应用中。
在还有另一个实施例中,服务通信网络200包括指导者(例如,提供者)和多个学生(例如,请求者),其中指导者向多个学生提供指导。例如,除了标准的教室讲座成分,远程学习环境可能还需要实验室成分作为必需的课程。服务通信网络100可以被组装成包括一个指导者和多个学生。为了监视,指导者应用向多个学生中的每个学生提供如本文所述的连接。指导者可以同时显示来自多个学生中每个学生的视频。指导者可以为这多个学生提供来自任何指定的或可用资源的视频馈入,如本文所描述的。指导者可以把来自多个学生当中一个学生的视频引导到剩余的多个学生,以分享这一个学生的实验室经历。
在进一步的实施例中,服务请求者应用212a和服务提供者应用221a包括能够访问联系人列表并且能够打电话和接电话的移动电话的功能。
虽然在附图中已经示出了本公开内容的几个实施例,但是本公开内容不是要局限于此,因为预期本公开内容的范围可以如本领域允许的那样宽并且说明书也要同样来阅读。因此,以上描述不应当被解释为限制,而仅仅是作为特定实施例的例证。本领域技术人员将想像到在所附权利要求的范围和精神内的其它修改。

Claims (21)

1.一种用于提供远程帮助的会议系统,包括:
服务请求者设备,被配置为执行服务请求者应用;
服务提供者设备,被配置为执行服务提供者应用;以及
至少一个服务器应用,所述至少一个服务器应用在远离服务请求者设备并远离服务提供者设备的计算机服务器上执行,服务请求者应用和服务提供者应用被配置为通过所述至少一个服务器应用彼此动态连接。
2.根据权利要求1所述的会议系统,其中服务请求者设备和服务提供者设备之间的动态连接依赖于它们之间的连接的带宽。
3.根据权利要求1所述的会议系统,其中所述至少一个服务器应用动态地选择服务请求者设备和服务提供者设备之间的连接,其中该连接选自音频连接、音频和视频连接、音频和静止图像连接以及SMS消息传送连接之一。
4.根据权利要求1所述的会议系统,其中服务请求者设备和所述至少一个服务器应用之间的连接模式选自wi-fi通信网络和无线电话通信网络。
5.一种用于提供远程帮助的会议系统,包括:
服务请求者设备,服务请求者设备通过服务器应用与服务提供者设备联网,服务请求者设备具有至少一个摄像机、视频监视器、扬声器及麦克风,服务提供者设备被配置为启用和/或禁用所述至少一个摄像机、视频监视器、扬声器及麦克风中的至少一个。
6.根据权利要求5所述的系统,其中服务提供者设备被配置为把内容引导到服务请求者设备的视频监视器。
7.根据权利要求5所述的系统,其中服务提供者设备启用所述至少一个摄像机并且接收由所述至少一个摄像机生成的图像流,其中所述图像流通过在服务请求者设备和服务提供者设备之间形成的网络被流传输到服务提供者设备。
8.根据权利要求7所述的系统,其中服务提供者设备被配置为捕捉来自所述图像流的捕捉图像。
9.根据权利要求8所述的系统,其中服务提供者设备在服务请求者设备的视频监视器上显示捕捉图像。
10.根据权利要求8所述的系统,其中捕捉图像的像素分辨率大于形成所述图像流的每个图像的像素分辨率。
11.根据权利要求5所述的系统,其中服务提供者设备被配置为在服务请求者设备的视频监视器上显示注释。
12.根据权利要求5所述的系统,其中服务提供者设备被配置为在服务请求者设备的视频监视器上显示内容。
13.根据权利要求12所述的系统,其中在服务请求者设备上显示的内容是视频。
14.根据权利要求12所述的系统,其中在服务请求者设备上显示的内容是图像。
15.根据权利要求12所述的系统,其中在服务请求者设备上显示的内容是文本文档。
16.一种用于提供远程帮助的会议系统,包括:
服务请求者设备,被配置为执行服务请求者应用;
多个服务提供者设备,每个服务提供者设备被配置为执行服务提供者应用;以及
至少一个服务器应用,所述至少一个服务器应用在远离服务提供者设备并远离服务请求者设备的计算机服务器上执行,服务请求者应用被配置为同时连接到所述多个服务提供者设备。
17.根据权利要求16所述的系统,其中所述多个服务提供者设备是由服务请求者设备动态选择的。
18.根据权利要求17所述的系统,其中对所述多个服务提供者设备的动态选择与由用户在服务请求者设备上选择的动态选择参数有关。
19.根据权利要求18所述的系统,其中动态选择参数选自选定的仪器或设备、选定的位置、选定的所需帮助的描述、选定的医疗过程、识别特征和标识码之一。
20.根据权利要求17所述的系统,其中对所述多个服务提供者设备的动态选择与由服务请求者设备生成的动态选择参数有关。
21.根据权利要求20所述的系统,其中动态选择参数选自全球定位坐标和无线网络坐标之一。
CN201380014491.9A 2012-02-16 2013-02-15 多功能会议系统和方法 Active CN105612738B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261599862P 2012-02-16 2012-02-16
US61/599,862 2012-02-16
PCT/US2013/026400 WO2013123368A1 (en) 2012-02-16 2013-02-15 Multifunctional conferencing systems and methods

Publications (2)

Publication Number Publication Date
CN105612738A true CN105612738A (zh) 2016-05-25
CN105612738B CN105612738B (zh) 2019-03-22

Family

ID=48981960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380014491.9A Active CN105612738B (zh) 2012-02-16 2013-02-15 多功能会议系统和方法

Country Status (6)

Country Link
US (4) US9584760B2 (zh)
EP (1) EP2826241B1 (zh)
CN (1) CN105612738B (zh)
AU (1) AU2013221345A1 (zh)
CA (1) CA2867925A1 (zh)
WO (1) WO2013123368A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167416A1 (en) * 2011-06-07 2012-12-13 Huawei Technologies Co., Ltd. Monitoring device and method for monitoring a video session in a data network
CA2867925A1 (en) * 2012-02-16 2013-08-22 Covidien Lp Multifunctional conferencing systems and methods
JP2014090387A (ja) * 2012-10-31 2014-05-15 Ricoh Co Ltd 情報処理装置、会議システムおよびプログラム
KR20140091356A (ko) * 2013-01-11 2014-07-21 삼성전자주식회사 디스플레이장치, 단말기 및 디스플레이장치의 영상제공방법
US10126927B1 (en) 2013-03-15 2018-11-13 Study Social, Inc. Collaborative, social online education and whiteboard techniques
US9380261B2 (en) * 2014-02-25 2016-06-28 Cisco Technology, Inc. Multi-camera access for remote video access
CN103957150B (zh) * 2014-05-07 2017-05-17 惠州Tcl移动通信有限公司 电子设备的通知消息的同步方法及服务器、电子设备
TWI604314B (zh) * 2014-12-24 2017-11-01 緯創資通股份有限公司 適用於互動式電子白板系統的裝置連線方法以及主機端裝置
US10917611B2 (en) * 2015-06-09 2021-02-09 Avaya Inc. Video adaptation in conferencing using power or view indications
JP6215292B2 (ja) * 2015-12-22 2017-10-18 Line株式会社 通信制御方法、情報処理装置、及びプログラム
KR101716082B1 (ko) * 2016-04-12 2017-03-14 연세대학교 산학협력단 영상의 화질을 평가하는 방법 및 장치
US20170337402A1 (en) * 2016-05-18 2017-11-23 Hand Held Products, Inc. Tool verification systems and methods for a workflow process
CN108234429A (zh) * 2016-12-22 2018-06-29 展讯通信(上海)有限公司 多方通话过程中的通话控制方法、装置及多通终端
US10147415B2 (en) * 2017-02-02 2018-12-04 Microsoft Technology Licensing, Llc Artificially generated speech for a communication session
CN107509232A (zh) * 2017-08-11 2017-12-22 中广热点云科技有限公司 一种保证移动终端单播质量稳定性的方法
CN109729040B (zh) * 2017-10-27 2022-04-29 伊姆西Ip控股有限责任公司 协议的选择的方法、设备以及计算机可读介质
US10231090B1 (en) * 2018-03-15 2019-03-12 Capital One Services, Llc Location-based note sharing
US12026647B2 (en) 2018-12-27 2024-07-02 Clicksoftware, Inc. Systems and methods for using predicted demand to optimize task scheduling
US20210358618A1 (en) * 2020-05-13 2021-11-18 Allyalign Health, Inc. System, apparatus and method for facilitating personal engagement and roaming access to care
US11290680B1 (en) * 2020-09-28 2022-03-29 Cisco Technology, Inc. High-fidelity freeze-frame for precision video communication applications
US11366583B1 (en) 2021-02-02 2022-06-21 Bank Of America Corporation Computer-to-computer users# edit and event transfer and synchronization
US11863805B2 (en) * 2021-06-16 2024-01-02 Meta Platforms Technologies, Llc Systems and methods for preserving video stream quality
US11900677B2 (en) 2022-02-25 2024-02-13 Cisco Technology, Inc. User-selected multi-view videoconferencing
US20240097926A1 (en) * 2022-09-15 2024-03-21 Google Llc Dynamic Participant Device Management for Hosting a Teleconference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291260A1 (en) * 2007-05-24 2008-11-27 John Dignan Portable video conferencing device
US20080316036A1 (en) * 2004-10-14 2008-12-25 Nixon Kenneth R Remote caregiver support system
US20100149308A1 (en) * 2008-12-15 2010-06-17 Oki Electric Industry Co., Ltd. Data processing apparatus and method, and network system
CN101772947A (zh) * 2007-08-08 2010-07-07 阿尔卡特朗讯 电话会议快速拨号
TW201203164A (en) * 2010-04-09 2012-01-16 Citibank Na System and method for providing customer support on a user interface

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594859A (en) 1992-06-03 1997-01-14 Digital Equipment Corporation Graphical user interface for video teleconferencing
US5375068A (en) 1992-06-03 1994-12-20 Digital Equipment Corporation Video teleconferencing for networked workstations
EP0622930A3 (en) 1993-03-19 1996-06-05 At & T Global Inf Solution Division of applications for computer arrangement with collaboration.
US5649104A (en) 1993-03-19 1997-07-15 Ncr Corporation System for allowing user of any computer to draw image over that generated by the host computer and replicating the drawn image to other computers
US5704042A (en) 1993-03-19 1997-12-30 Ncr Corporation Accelerated replication of multiple computer displays
US5717857A (en) 1993-03-19 1998-02-10 Ncr Corporation System for switching data connection to use first channel and second channel without substantial interruption of transfer of audio signals and image data between computers
US5920694A (en) 1993-03-19 1999-07-06 Ncr Corporation Annotation of computer video displays
US5872923A (en) 1993-03-19 1999-02-16 Ncr Corporation Collaborative video conferencing system
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US7185054B1 (en) 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US5767897A (en) 1994-10-31 1998-06-16 Picturetel Corporation Video conferencing system
US5854898A (en) 1995-02-24 1998-12-29 Apple Computer, Inc. System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween
US5838313A (en) 1995-11-20 1998-11-17 Siemens Corporate Research, Inc. Multimedia-based reporting system with recording and playback of dynamic annotation
US5801755A (en) 1996-04-09 1998-09-01 Echerer; Scott J. Interactive communciation system for medical treatment of remotely located patients
US6898620B1 (en) 1996-06-07 2005-05-24 Collaboration Properties, Inc. Multiplexing video and control signals onto UTP
US6038257A (en) 1997-03-12 2000-03-14 Telefonaktiebolaget L M Ericsson Motion and still video picture transmission and display
US6699187B2 (en) * 1997-03-27 2004-03-02 Medtronic, Inc. System and method for providing remote expert communications and video capabilities for use during a medical procedure
US6662210B1 (en) 1997-03-31 2003-12-09 Ncr Corporation Method of remote collaboration system
US6449001B1 (en) 1997-11-21 2002-09-10 William W. Levy Video teleconferencing assembly and process
US6373855B1 (en) 1998-03-05 2002-04-16 Intel Corporation System and method for using audio performance to control video bandwidth
US6317039B1 (en) 1998-10-19 2001-11-13 John A. Thomason Wireless video audio data remote system
US6731324B2 (en) 1998-11-18 2004-05-04 William W. Levy Video teleconferencing assembly and process
US6434572B2 (en) 1998-11-25 2002-08-13 Ge Medical Technology Services, Inc. Medical diagnostic system management method and apparatus
US6381557B1 (en) 1998-11-25 2002-04-30 Ge Medical Systems Global Technology Company, Llc Medical imaging system service evaluation method and apparatus
US6665872B1 (en) * 1999-01-06 2003-12-16 Sarnoff Corporation Latency-based statistical multiplexing
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
WO2000055714A1 (en) * 1999-03-15 2000-09-21 Varian Semiconductor Equipment Associates, Inc. Remote assist system
US6985576B1 (en) 1999-12-02 2006-01-10 Worldcom, Inc. Method and apparatus for automatic call distribution
US7007098B1 (en) 2000-08-17 2006-02-28 Nortel Networks Limited Methods of controlling video signals in a video conference
US20070273751A1 (en) 2000-09-05 2007-11-29 Sachau John A System and methods for mobile videoconferencing
DE10047547B4 (de) 2000-09-22 2007-03-29 Siemens Ag Verfahren zur Problembehandlung bei einem medizinischen Gerät und zur Durchführung eines solchen Verfahrens geeignetes medizinisches Gerät
US7386363B2 (en) 2000-10-05 2008-06-10 Ppi Technologies, L.L.C. System of machine maintenance
US6816626B1 (en) 2001-04-27 2004-11-09 Cisco Technology, Inc. Bandwidth conserving near-end picture-in-picture videotelephony
US7231135B2 (en) * 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
US7096037B2 (en) 2002-01-29 2006-08-22 Palm, Inc. Videoconferencing bandwidth management for a handheld computer system and method
US7383158B2 (en) 2002-04-16 2008-06-03 Trane International Inc. HVAC service tool with internet capability
US7139381B2 (en) 2002-06-25 2006-11-21 Nortel Networks Limited Method and apparatus for initiating telephony contact
US6947411B2 (en) 2002-10-21 2005-09-20 Sprint Communications Company L.P. Digital data communication system using video telephony
US7152785B2 (en) 2003-12-09 2006-12-26 Ge Medical Systems Global Technology Company, Llc Patient-centric data acquisition protocol selection and identification tags therefor
US7088813B1 (en) 2004-01-13 2006-08-08 Avaya Technology Corp. Identify caller preferences
SE0403133D0 (sv) * 2004-12-22 2004-12-22 Ericsson Telefon Ab L M A method and arrangement for providing communication group information to a client
US7260498B2 (en) 2005-06-17 2007-08-21 Dade Behring Inc. Context-specific electronic performance support
US8672922B2 (en) * 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US7996776B2 (en) 2006-02-27 2011-08-09 Microsoft Corporation Shared telepointer
GB0702763D0 (en) 2007-02-13 2007-03-21 Skype Ltd Messaging system and method
US8600478B2 (en) * 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
JP2009075871A (ja) 2007-09-20 2009-04-09 Carecom:Kk 看護業務管理システム
US20090243833A1 (en) 2008-03-31 2009-10-01 Ching Ching Huang Monitoring system and method for patient care
US9168104B2 (en) * 2008-06-23 2015-10-27 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
KR101002036B1 (ko) 2008-08-11 2010-12-17 서울대학교산학협력단 무선인식 기반 전자의무기록 연동 시스템
WO2010108186A1 (en) * 2009-03-20 2010-09-23 Georgia Tech Research Corporation Methods and apparatuses for using a mobile device to provide remote assistance
US8873728B2 (en) 2009-04-22 2014-10-28 Avaya Inc. Join-us call-log and call-answer messages
US20110010397A1 (en) 2009-07-13 2011-01-13 Prateek Kathpal Managing annotations decoupled from local or remote sources
US11399153B2 (en) * 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US20110107238A1 (en) * 2009-10-29 2011-05-05 Dong Liu Network-Based Collaborated Telestration on Video, Images or Other Shared Visual Content
US8565500B2 (en) * 2010-06-14 2013-10-22 Siemens Medical Solutions Usa, Inc. Automatic patient and device recognition and association system
KR101155949B1 (ko) 2010-07-27 2012-06-18 한국과학기술연구원 병원안내시스템 및 병원안내서비스 제공방법
US9092554B2 (en) * 2011-12-13 2015-07-28 Intel-Ge Care Innovations Llc Alzheimers support system
US20130218137A1 (en) * 2011-12-30 2013-08-22 Mako Surgical Corp. Integrated surgery system
CA2867925A1 (en) * 2012-02-16 2013-08-22 Covidien Lp Multifunctional conferencing systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316036A1 (en) * 2004-10-14 2008-12-25 Nixon Kenneth R Remote caregiver support system
US20080291260A1 (en) * 2007-05-24 2008-11-27 John Dignan Portable video conferencing device
CN101772947A (zh) * 2007-08-08 2010-07-07 阿尔卡特朗讯 电话会议快速拨号
US20100149308A1 (en) * 2008-12-15 2010-06-17 Oki Electric Industry Co., Ltd. Data processing apparatus and method, and network system
TW201203164A (en) * 2010-04-09 2012-01-16 Citibank Na System and method for providing customer support on a user interface

Also Published As

Publication number Publication date
US10257463B2 (en) 2019-04-09
US20170163936A1 (en) 2017-06-08
EP2826241A4 (en) 2015-11-11
AU2013221345A1 (en) 2014-08-28
CA2867925A1 (en) 2013-08-22
US9924137B2 (en) 2018-03-20
WO2013123368A1 (en) 2013-08-22
EP2826241B1 (en) 2020-02-12
US9584760B2 (en) 2017-02-28
US20180192004A1 (en) 2018-07-05
CN105612738B (zh) 2019-03-22
US20130215213A1 (en) 2013-08-22
US10728501B2 (en) 2020-07-28
US20190215484A1 (en) 2019-07-11
EP2826241A1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
CN105612738A (zh) 多功能会议系统和方法
EP2839604B1 (en) Electronic tool and methods for meetings
CN103238178B (zh) 用于在视频环境中提供增强的图形的系统和方法
US20070005809A1 (en) Network information processing system and network information processing method
US10050800B2 (en) Electronic tool and methods for meetings for providing connection to a communications network
US7870280B2 (en) Synchronized viewing of file manipulations
CN104081374B (zh) 分级显示器服务器系统和方法
US20050071430A1 (en) Network information processing system and information processing method
EP3826300A1 (en) Electronic tool and methods for meetings
US10965480B2 (en) Electronic tool and methods for recording a meeting
JP7243322B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
US20180234505A1 (en) Method for interactive sharing of applications and data between touch-screen computers and computer program for implementing said method
JP6295522B2 (ja) 伝送システム、伝送端末および伝送端末プログラム
JP2003091472A (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ送出プログラム
CN115240821A (zh) 图像显示方法、装置、计算机设备及存储介质
Gasparini et al. Videoconferencing in eHealth: requirements, integration and workflow
WO2023153137A1 (ja) 情報処理装置、情報処理方法、記録媒体、サーバ装置
Tuerk et al. Technologies and clinical videoconferencing infrastructures: a guide to selecting appropriate systems
TW201438437A (zh) 應用於網路電視之多螢遠端遙控系統與方法
Hafiz Final Project Report of Audio Video Chatting System
Manual Using Communication Technology to Enhance Rehabilitation Services

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant