CN113966599A - 实时通信会话的功能的动态修改 - Google Patents

实时通信会话的功能的动态修改 Download PDF

Info

Publication number
CN113966599A
CN113966599A CN202080042758.5A CN202080042758A CN113966599A CN 113966599 A CN113966599 A CN 113966599A CN 202080042758 A CN202080042758 A CN 202080042758A CN 113966599 A CN113966599 A CN 113966599A
Authority
CN
China
Prior art keywords
algorithm
real
face
time communication
communication session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080042758.5A
Other languages
English (en)
Other versions
CN113966599B (zh
Inventor
K·克拉邦德
Z·斯坦科维奇
A·M·德莱斯马
M·J·奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19208079.4A external-priority patent/EP3820104A1/en
Priority claimed from NL2025686A external-priority patent/NL2025686B1/en
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113966599A publication Critical patent/CN113966599A/zh
Application granted granted Critical
Publication of CN113966599B publication Critical patent/CN113966599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1093In-session procedures by adding participants; by removing participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1096Supplementary features, e.g. call forwarding or call holding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038Arrangements for multi-party communication, e.g. for conferences with floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053Arrangements for multi-party communication, e.g. for conferences without floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提出了用于对RTC会话的功能进行动态修改的方法,所述RTC会话包括实时通信会话(100)的参与者之间的一个或多个数据流。因此,本发明的实施例指向使得在RTC系统正在实施RTC会话时能够修改、扩展和/或改进RTC系统的功能。示例性实施例包括:识别对一组算法(A1、A2、A3)中的第一算法(A1)的请求;并且通过将第一算法(A1)作为采用一个或多个数据流中的至少一个数据流的虚拟参与者添加到实时通信会话(100)来动态地修改实时通信会话的功能。

Description

实时通信会话的功能的动态修改
技术领域
本发明涉及实时通信(RTC)领域,并且更具体地涉及RTC会话的功能。
背景技术
US 2015/002619公开了可扩展的网络实时通信(WebRTC)媒体引擎,以及相关的方法、系统和计算机可读介质。
WO 2019/070822公开了经由在医疗保健系统中聊天进行协作。
实时通信(RTC)是以具有可忽略延迟的连接从发送方到接收方的通过任何类型的电信服务的几乎同时信息交换。RTC的示例通常采用实时数据流(例如视频、语音和/或数据流),并且包括:通过固定电话和移动电话的语音;VoIP;视频和电话会议;聊天;以及机器人远程呈现。因此,RTC不包括电子邮件、公告板、消息传递应用、博客或用户阅读存储内容的其他形式的因特网通信,这能够在数据发送和接收之间产生显着延迟。RTC通常不以临时状态存储在发射器和接收器之间的任何地方。在该背景下,“实时通信”可能被认为是“实况通信”的同义词。
许多产品、系统和应用被已知用于促进RTC会话。由这些提供的功能可能有很大差异。然而,对于每个产品/系统/应用,提供的功能是静态的(即不能修改)并定义(例如硬编码)作为其配置的部分。例如,可用功能从RTC会话开始可用,并且将保持可用(已使用或未使用)直到RTC会话结束。
发明内容
除了其他之外,本发明的一个目的是提供一种改进的系统和方法,用于动态修改实时通信会话的功能。本发明由独立权利要求限定。从属权利要求定义了有利的实施例。
通常,在一方面,本发明聚焦于一种用于对实时通信会话的功能进行动态修改的方法,包括:建立实时通信会话;识别对一组算法中的第一算法的请求,所述一组算法中的每个算法被配置为当在实时通信会话期间执行时提供相关联的功能;并且将第一算法作为虚拟参与者添加到实时通信会话。
提出的实施例提供用于修改RTC会话的功能的概念。例如,实施例可用于将新的或额外的算法集成到(正在运行的)RTC会话中。例如,此类算法可以包括用于分析音频/视频/文本/数据相关数据流的新开发的算法,所述算法在RTC过程中能够是有用的补充。实施例因此可以帮助向现有RTC实施方式提供改进的或扩展的功能。
特别地,在本文公开的一种方法中,将算法添加到RTC会话作为RTC会话的新(虚拟)参与者。通过被添加为(虚拟)参与者,这样的算法能够暴露给RTC会话的所有数据流。作为RTC会话的参与者,该算法然后可以被配置为采用实时数据流中的一个或多个。
通过示例,所提出的实施例可以实现对更大集合中的算法的动态选择,并且所选择的算法然后可以被应用于RTC会话的一个或多个数据流。与需要在建立RTC会话之前将算法/功能包括在系统/应用中的常规RTC方法不同,所提出的概念促进在RTC会话期间修改(例如,添加、移除、改变)RTC会话的算法/功能。因此,可以通过提出的实施例实现在RTC会话(例如电话会议)期间现有和/或新算法的简单集成和动态使用。
通常,在常规RTC会话期间可用的功能由系统配置确定,并且因此是固定的。因此,此类常规RTC会话不能够根据需要在RTC会话期间添加新功能(例如,用于处理音频/视频/数据的新的或改进的算法)。另一方面,提出的实施例可以提供用新的或不同的算法容易地扩展RTC会话的能力,所述算法处理在RTC会话的参与者之间交换的数据流(例如音频/视频/数据流)中的任何或全部。(一个或多个)所提出的概念还可以允许定义和/或控制来自哪个(哪些)参与者的哪个(哪些)数据流可以由哪个(哪些)算法处理。此外,(一个或多个)所提出的概念可以允许定义和/或控制将向哪个(哪些)参与者提供来自新算法或不同算法的结果/输出。
通过示例,所提出的实施例可以实施促进将独立开发的算法并入到RTC会话中的包装器(例如,其可以使用公共应用编程接口API)。以这种方式,新开发和/或新可用的算法可以经由API集成到RTC会话中。此外,实施例可以提供用于托管一组这样的算法的部件(例如容器)、用于从这些算法中进行选择的部件(例如REST-API或消息传递服务)以及用于将这些算法并入到RTC会话中的部件也可以被提供(例如无头客户端)。
实施例可以利用使用允许配置和部署独立算法的包装器的想法。而且,实施例通过促进在运行时(即在RTC会话期间,而不是在RTC会话之前)向/从RTC会话添加/移除算法的能力来提供高灵活性程度。因此,提出的概念可以在建立的RTC会话期间提供算法对数据流的动态应用。
通过另外的示例,由所提出的实施例提供的功能修改的动态性质可以经由以下来促进:
(i)在特定时间段触发算法,其由数据流的背景(工作流类型)定义。在这种情况下,触发可以是由管理者(医师)提供的手动触发、自动触发(例如时间排程的,取决于过程步骤)和/或背景敏感触发(例如取决于由另一种算法完成的先前测量的结果);并且
(ii)触发被布置为用特定数据类型工作的算法(一旦其是数据流的部分)。这可以指定应该由被添加到会议的算法处理RTC会话中可用的流中的哪个。例如,当算法作为参与者被添加到RTC会话时,可以选择应该处理哪个参与者的可用流中的哪个,例如算法1可以被配置为处理来自参与者2的音频,而算法2可以被配置为处理来自参与者3的音频和视频。
实施例可以通过使能以动态方式修改RTC会话功能来增加RTC的值,并且这可以例如考虑特定的(例如,选定的、选择的或当前的)临床背景。因此,实施例可以通过将背景信息用于提供的修改和/或扩展的功能来增加RTC会话的临床价值。
在一些实施例中,将第一算法作为虚拟参与者添加到实时通信会话的过程可以包括:经由容器调用第一算法;并且通过容器将第一算法配置为实时通信会话的虚拟参与者。配置可以实时实施,从而实现对RTC会话的功能的动态和实时调节。这可以允许定义和控制第一算法应用于什么(哪些流或参与者)以及(一个或多个)算法的结果应该被传递到何处(到哪些流和参与者)。容器因此可以被配置为处理命令并控制作为参与者的算法的添加。例如,容器可以连接到实时系统,并且可以在多方RTC会话期间接收用于动态添加/移除算法的命令。因此,容器可以充当传输层(将参与者的流传输到算法,反之亦然)。
在实施例中,对第一算法的请求可以包括对第一算法的需求的指示。将第一算法作为虚拟参与者添加到实时通信会话可以包括:基于第一算法的需求的指示来配置以下各项中的至少一项:第一算法的输入;输出。这可以提供一种方式来指定RTC会话中可用的流中的哪个应该由第一算法处理。通过示例,包装器可以与(一个或多个)独立开发的算法相关联,以使得可能与RTC会话一起使用它们。可以由所提出的实施例确保数据兼容性。
例如,在实施例中,该组算法中的每个算法可以与定义以下各项中的至少一项的相应包装器相关联:算法的输入;输出;以及需求。将第一算法作为虚拟参与者添加到实时通信会话然后可以包括:基于与第一算法相关联的包装器来配置以下各项中的至少一项:第一算法的输入;输出。
识别请求可以包括基于以下各项中的至少一项来确定对第一算法的请求:由实时通信会话的参与者提供的用户输入信号(例如,聊天功能中的输入);实时通信会话的数据流的背景;预定触发事件的发生;以及非预定触发(例如应用UI上的按钮按压)。
实施例还可包括移除作为实时通信会话的虚拟参与者的第一算法的步骤。
在一些实施例中,第一算法可以被配置为当在实时通信会话期间被执行时生成对该组算法中的第二算法的请求。以这种方式,被添加到RTC会话的第一算法可以被用于触发将另外的第二算法添加到RTC会话。
RTC会话的参与者可以包括医学专业人员。实时通信会话可以被配置用于对用于临床决策支持的临床信息的交换。
通过另外的示例,该组算法中的至少一个算法可以被配置为当被执行时向电子医学记录数据库存储数据和/或从电子医学记录数据库检索数据。
还提出了可以利用用于修改RTC会话的功能的(一个或多个)概念来补充面对面交互,其中,参与者处于相同位置。以这种方式,可以向例如两个参与者之间的实况、当面交互添加额外功能。
例如,在两个参与者在相同位置(例如,在房间内、在会议地点、在相同地理位置等)参与交互的情况下,交互可以被认为是面对面(或当面)交互,因为参与者彼此实体在场,并且每个参与者能够在没有任何中介技术的情况下与彼此进行交流。已经意识到,可以通过创建伴随面对面交互的RTC会话(例如虚拟RTC会话)来补充这种面对面交互,然后RTC会话可以采用(一个或多个)所提出的概念来将新的或额外的算法集成到RTC会话中,并且这些新的或额外的算法可用于改进或扩展面对面交互的功能。
通过示例,面对面交互可以包括医学专业人员(作为第一参与者)和对象(作为第二参与者)并且发生在医学咨询室内。可以在医学咨询室中提供根据所提出的实施例的系统以便实施伴随面对面交互的RTC会话,并且响应于识别对具有相关联的功能的算法的请求,第一算法可以作为虚拟参与者添加到RTC会话,从而提供其相关联的功能。例如,该系统可以包括:与医学专业人员相关联的用于处理来自和/或去往医学专业人员的音频/视频/文本/数据的第一设备;以及与对象相关联的用于处理来自和/或去往对象的音频/视频/文本/数据的第二设备。第一设备和第二设备可以连接到RTC会话(即,成为RTC会话的参与者)并且因此用于提供对算法的请求。以这种方式,医学专业人员可以请求经由第一设备提供功能(例如,通过语音、手势、输入/选择等),并且对象可以经由第二设备(例如,经由传感器、麦克风、输入设备等)提供数据以供所述功能处理。例如通过进行自动化测试和/或提供诊断帮助来帮助面对面医学咨询的功能可以由所提出的实施例提供。
实施例可以用于将新的或额外的算法集成到伴随面对面交互(例如会议或医师-对象咨询)的RTC会话中。这样的算法可以例如包括用于分析音频/视频/文本/数据的新开发的算法,其可以是对面对面交互/会议的有用添加。实施例因此可以帮助经由伴随的RTC实施方式向面对面交互/会议提供改进的或扩展的功能。
通过示例,所提出的实施例可以实现算法的动态选择,并且然后可以将选定的算法应用于由面对面会议的参与者提供的一个或多个数据流。这样提出的实施例可以促进对面对面会议的参与者可用的算法/功能的修改(例如,添加、移除、改变)。因此,通过提出的实施例可以实现在面对面交互期间现有和/或新算法的简单集成和动态使用。
提出的实施例可以提供用新的或不同的算法容易地扩展面对面交互的能力,所述算法处理在面对面交互的参与者之间交换的数据流(例如音频/视频/数据流)中的任何或全部。(一个或多个)所提出的概念还可以允许定义和/或控制来自哪个(哪些)参与者的哪个(哪些)数据流可以由哪个(哪些)算法处理。此外,(一个或多个)所提出的概念可以允许定义和/或控制将向哪个(哪些)参与者提供来自新算法或不同算法的结果/输出。
实施例可以利用实施RTC会话以伴随面对面交互并且然后使用提出的实施例在运行时向RTC会话添加算法/从RTC会话移除算法的思想。因此,提出的概念可以经由伴随的RTC会话在面对面交互期间提供算法对数据流的动态应用。
通过另外的示例,可以经由触发算法来促进由所提出的实施例提供的功能修改的动态性质。触发可以是由管理者(例如医师)提供的手动触发、自动触发(例如取决于过程步骤、检测到的指令、感测值等)和/或背景敏感触发(例如取决于由另一种算法做出的先前测量的结果)。
实施例可以通过使能以动态方式修改伴随的RTC会话的功能来增加面对面交互的价值,并且这可以例如考虑特定(例如,选定的、选择的或当前的)背景。在面对面交互具有临床背景的情况下(例如,医师-对象咨询),实施例可以通过建立RTC会话以伴随面对面交互并且然后采用背景信息经由RTC会话提供修改和/或扩展的功能来增加交互的临床价值。
因此,可以提供一种用于对第一和第二参与者之间的面对面交互的功能进行动态修改的方法,包括根据所提出的实施例修改实时通信会话的功能,其中,建立实时通信会话以向面对面交互的参与者提供至少一个功能。例如,这种提出的方法可以包括:建立实时通信会话以向面对面交互的参与者提供至少一个功能;识别对一组算法中的第一算法的请求,该组算法中的每个算法被配置为当在实时通信会话期间执行时提供相关联的功能;并将第一算法作为虚拟参与者添加到实时通信会话。
根据另一方面,提供了一种用于对实时通信会话的功能进行动态修改的计算机程序产品,其中,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有实现在其中的计算机可读程序代码,所述计算机可读程序代码被配置为执行所提出的实施例的所有步骤。
还提供了一种用于对第一和第二参与者之间的面对面交互的功能进行动态修改的计算机程序产品,其中,所述计算机程序产品包括具有实现在其中的计算机可读程序代码的计算机可读存储介质,计算机可读程序代码被配置为执行所提出的实施例的所有步骤。
因此,还提供了一种计算机系统,包括:根据所提出的实施例的计算机程序产品;以及一个或多个处理器,其适于通过执行所述计算机程序产品的计算机可读程序代码来执行根据所提出的概念的方法。
根据本发明的又一方面,提供了一种用于对实时通信会话的功能进行动态修改的系统,所述系统包括:通信部件,其被配置为建立实时通信会话;处理部件,其被配置为识别对一组算法中的第一算法的请求,该组算法中的每个算法被配置为当在实时通信会话期间执行时提供相关联的功能;以及修改部件,其被配置为将第一算法作为虚拟参与者添加到实时通信会话。
该系统可以被定位为远离用于参与RTC会话的用户设备。以这种方式,用户(例如医学专业人员)可以具有适当布置的系统,其可以在远离系统定位的位置接收内容/信息以动态修改RTC会话的功能。因此,实施例可以使用户能够使用本地系统(例如,其可以包括便携式显示设备,诸如膝上型电脑、平板计算机、移动电话、PDA等)来动态地修改RTC会话的功能。通过示例,实施例可以提供用于移动计算设备的应用,并且该应用可以由移动计算设备的用户执行和/或控制。
该系统还可以包括:服务器设备,其包括用于对RTC会话的功能进行动态修改的系统;以及包括用户接口的客户端设备。因此,可以采用专用数据处理模块以用于修改RTC会话的功能的目的,从而降低系统的其他部件或设备的处理需求或能力。
该系统还可以包括客户端设备,其中,客户端设备包括处理部件、修改部件和显示单元。换句话说,用户(例如医生或医学专业人员)能够具有适当布置的客户端设备(例如膝上型电脑、平板计算机、移动电话、PDA等),该客户端设备处理接收到的数据以便修改RTC会话的功能并生成显示控制信号。纯粹通过示例,实施例因此可以提供一种监测或观察系统,其使能从单个位置监测一个或多个对象(例如患者),其中,对象和监测用户(例如护士或医生)之间的实时通信被提供并且可以根据例如所提出的概念扩展或修改其功能。
还提供了一种用于对第一参与者和第二参与者之间的面对面交互的功能进行动态修改的系统,其中,所述系统包括根据所提出的实施例的用于动态修改实时通信会话的功能的系统。
将理解,处理能力因此可以根据预定约束和/或处理资源的可用性以不同方式分布在整个系统中。
本发明的这些和其他方面将根据下文描述的(一个或多个)实施例而显而易见,并且将参考下文描述的(一个或多个)实施例得到阐明。
附图说明
现在将参考示意性附图详细描述根据本发明的方面的示例,其中:
图1是根据示例性实施例的RTC会话的简化图;
图2是示例性实施例的简化图示,其中,第一算法被添加到多方RTC会话;
图3是采用算法链的示例性实施例的简化图示;
图4是示例性实施例的简化图,其中,第一算法作为(虚拟)参与者被添加到RTC会话;
图5是根据实施例向RTC会话添加第一算法和第二算法的简化表示;
图6A和图6B描绘了根据所提出的实施例将算法包括为RTC会话的虚拟参与者的示例性方法;
图7是图示根据提出的实施例的图6B的部件之间的示例性交互的序列图;
图8是示例性实施例的简化图示,该实施例促进对医师和对象之间的面对面会议的功能的添加、移除或修改;
图9是根据另一示例性实施例的RTC会话的简化图;
图10是医师和对象之间的面对面会议的示例性实施例的简化图,其中,医师和对象分别是RTC会话的第一和第二参与者,并且其中,第一算法作为(虚拟)参与者被添加到RTC会话;并且
图11是在其内可以采用实施例的一个或多个部分的计算机的简化框图。
具体实施方式
提出了一种用于使能动态修改RTC会话的功能的方法。实施例可以将算法作为虚拟参与者添加到RTC会话。
这样的提议因此可以促进RTC会话的功能的简单和直观的添加、移除或修改,并且这可以例如在考虑到RTC会话的背景的情况下完成。
因此,本发明的实施例旨在使得能够在RTC系统正在实施RTC会话时修改、扩展和/或改进RTC系统的功能。此外,实施例可以旨在使得能够在RTC会话期间的适当的定时处提供相关或重要的功能。因此,实施例可以例如帮助临床支持评估、医学诊断和/或支持规划。
而且,可以结合面对面交互来利用实施例,以便向面对面交互的一个或多个参与者提供补充功能。
仅通过示例,说明性实施例可以用于许多不同类型的临床、医学或对象相关环境,例如医院、医生办公室、病房、疗养院、人的家等。
为了提供用于对说明性实施例的元件和功能的描述的背景,以下提供附图作为可以如何实施说明性实施例的方面的示例。因此,应当意识到,附图仅是示例而不旨在断言或暗示关于可以在其中实施本发明的方面或实施例的环境、系统或方法的任何限制。
要注意,许多用于处理音频/视频/数据/文本的算法已经存在,但是这一点可能不在现有RTC系统中促进(或由现有RTC系统提供)。由于这样的RTC系统已经被定义,它们的功能只能通过在建立新的RTC会话之前重新定义(例如重新编程)和重新分配来改变(例如以并入这样的算法)。
提出了提供一个或多个概念,其使得能够在RTC会话期间(即,在系统正在实施RTC会话时)对RTC系统功能进行修改(例如,添加、移除、重新配置等)。特别地,实施例可以通过添加或移除作为RTC会话的参与者的算法来促进向RTC会话进行添加/从RTC会话移除/修改RTC会话。实施例还可以允许定义和/或控制来自算法的输出将被提供给哪些参与者。
当前算法是RTC系统专门实施的“服务”,并且不能在RTC会话期间由RTC系统随后添加或移除。因此必须在RTC系统的编程时间处包括特定的算法。
另一方面,所提出的实施例可以实施包装器(例如,使用公共API),使得容易向RTC会话添加独立开发的算法。因此,在因特网上找到的算法和/或新开发的算法可以通过被调用并作为RTC会话的参与者添加而容易地集成到RTC会话。
实施例的动态性质可以以多种方式实现,例如(a)在特定时间段触发算法;(b)触发被布置为用特定数据类型工作的算法。
(a)在特定时间段触发算法,其由数据流的背景(工作流类型)定义。
在这种情况下,其可以由管理者(例如医师)手动触发、自动触发(例如时间排程的,取决于过程步骤)或背景敏感触发。例如,在远程医疗中,医师通常事先知道他/她将实行的电话会议类型(例如,患者入院、讨论测试结果、评估治疗进展等)。在这些检查中的每个中,管理者通常遵循一组预定义的步骤,所述步骤能够与系统可能提供以运行的特定算法链接。实施例可以基于检查选择向管理者(例如医师)提供“背景敏感”菜单。实施例可以及时跟踪检查的进展并根据经过的时间改变菜单选择。
通过示例,图1是具有第一参与者A和第二参与者B的RTC会话的简化图示。更具体地,RTC会话是医师-患者咨询,其中,第一参与者A是医师,而第二参与者B是患者。第一参与者A和第二参与者B之间的双工通信链路100传递音频、视频和数据流(如由图1中的符号所描绘)。
第一算法A1、第二算法A2和第三算法A3可供使用。具体地,第一算法A1被配置为在执行时对患者B进行认证。第二算法A2被配置为在执行时测量患者B的呼吸速率。第三算法A3被配置为在执行时捕获患者B的图像(即,拍摄照片)。
医师A开始与患者B进行视频咨询,并将咨询的类型选择为“实验室结果讨论”。RTC应用(自动)触发第一算法A1,以在咨询开始时对患者B进行认证。在成功认证后,医师A开始讨论实验室结果,并且为了检查结果,需要测量呼吸速率。医师因此(明确地)请求执行第二算法A2以测量患者B的呼吸速率,并且测量的呼吸速率被提供给医师A。由于测量的呼吸速率超过预定阈值,因此第三算法A3(自动地)执行以捕获患者B的图像(即,拍摄照片)。以这种方式,对第三算法A3的执行可以被认为是背景敏感的。
(b)触发被布置为用特定数据类型(一旦其是数据流的部分)工作的算法。
实施例可以提供指定RTC会话中可用的数据流中的哪些应该由添加到RTC会话的算法来处理的能力。包装器可以与(一个或多个)独立开发的算法相关联,以便使得可能将它们与RTC解决方案一起使用。
可以通过使用这种包装器的实施例来确保数据兼容性。例如,现有的RTC解决方案可能默认使用以下标准:针对视频的VP8,针对音频的OPUS,针对数据的JSON格式的文本。由大多数会议系统和现有算法使用这些标准。仅对于视频流,可能会有使用H.262/H.264的例外(例如,基于IOS的解决方案)。H.264也是一种广为人知的视频格式,并且也受支持。因此,可以通过所提出的实施例确保数据兼容性。
当算法被添加到RTC会话时,可以选择应处理哪个参与者的可用流中的哪个。
而且,系统可以检测RTC会话的连接质量/带宽。以这种方式,实施例可以确定是否满足新算法或第三方算法对于可靠处理结果的最低需求。然后可以通知调用算法的用户,使得可以采取适当的动作。例如,对于(一个或多个)特定算法,相机可能不具有足够的质量。如果检测到分辨率过低,可以提供适当的反馈。如果带宽有限,视频/音频的质量可能下降。例如,可以提供消息以通知用户。“包装器”中可以包括最低需求的规范,以允许实施例检测限制。
-创新机架管理器(IRM)
创新机架管理器(IRM)被配置为托管可用算法及其包装器和关于(最低)需求的信息。IRM因此可以被认为是一组可用算法的主机。可以从IRM请求算法并将其作为参与者添加到RTC会话中。IRM可以托管在云中或本地部署。
-添加算法作为虚拟参与者
实施例可以被配置为利用现有RTC系统的功能以便将算法作为(虚拟)参与者添加到RTC会话。这种提出的方法可以允许应用逻辑定义和控制(一个或多个)算法可以访问哪些流以及(一个或多个)算法的结果应该在何处呈现。例如,可以使用允许在触发或请求算法时指定这一点的API。通过将算法视为RTC会话的虚拟参与者,可以根据需要动态地向RTC会话添加算法/从RTC会话中移除算法。RTC系统的基本/传统功能可用于此目的。
通过示例,图2是示例性实施例的简化图示,其中,第一算法A1被添加到多方RTC会话。此处,RTC会话具有第一参与者A、第二参与者B和第三参与者C。第一参与者A、第二参与者B和第三参与者C之间的双工通信链路100传递音频、视频和数据流(如由图2中的符号所描绘的)。
第一算法A1作为(虚拟)参与者添加到RTC会话。
如由虚线箭头所描绘的,第一算法A1被配置为接收来自第一参与者A、第二参与者B和第三参与者C的输入。
如由实心粗箭头所描绘的,第一算法A1被配置为仅将(一个或多个)其输出传递给第三参与者C。
通过另外的示例,图3是采用算法链的示例性实施例的简化图示,其中,算法在将结果反馈给呼叫的参与者之前使用先前算法的输出。
此处,RTC会话有第一参与者A和第二参与者B。第一参与者A和第二参与者B之间的双工通信链路100传递音频、视频和数据流(如图3中的符号所描绘的)。
第一算法A1、第二算法A2和第三算法A3作为(虚拟)参与者添加到RTC会话。
如由图3的箭头所描绘的,第一算法A1将(一个或多个)其输出传递给第二算法A2,并且第二算法A2将(一个或多个)其输出传递给第三算法A3。第三算法A3将(一个或多个)其输出传回RTC会话的参与者。
在被添加到RTC会话后,算法将被表示为额外(虚拟)参与者。在图4中提供了该提出的概念的图示。图4是作为(虚拟)参与者添加到RTC会话的第一算法A1的简化图。
在图4的示例中,RTC会话有第一参与者A和第二参与者B,并且第一算法A1被添加为第三参与者。
如由虚线箭头所描绘的,第一算法A1被配置为接收来自第一参与者A和第二参与者B的输入。因此,第一算法A1接收所有数据流作为潜在输入。
如由实心粗箭头所描绘的,第一算法A1被配置为将(一个或多个)其输出传递给第一参与者A和第二参与者B。
-添加算法
RTC会话的参与者可以添加(一个或多个)算法。例如,参与者可以通过在RTC会话中提交请求消息来触发或请求算法。请求消息由IRM的部件检测,其然后识别请求的算法并将请求的算法添加为RTC会话的虚拟参与者。
该过程的示例在图5中图示,图5包括根据实施例的向RTC会话添加第一算法和第二算法的简化表示。
第一用户U1和第二用户U2是RTC会话150的参与者。在该示例中,RTC会话包括实况讨论,其中,第一用户U1和第二用户U2通过将内容键入讨论/聊天应用200来参与实时讨论。在其他实施例中,也可以在第一用户U1和第二用户U2之间提供音频/视频/数据流。
IRM 250的监测部件220监测讨论/聊天应用200的内容以便识别对算法的请求。
在由图5所描绘的示例中,监测部件220识别第一用户U1请求第一算法A1。响应于此,IRM 250生成针对第一用户的第一算法的实例A1U1并且将针对第一用户的第一算法的实例A1U1添加为RTC会话150的参与者。在该示例中,监测部件220还识别第二用户U2请求第二算法A2。响应于此,IRM 250生成针对第二用户的第二算法的实例A2U2并且将针对第二用户的第二算法的实例A2U2添加为RTC会话150的参与者。
在加入RTC会话后,新参与者可以接收RTC会话中当前可用的所有流。要开始处理,可以发送第二消息以指定应该由算法处理该流中的哪些以及应在何处显示结果。
如上所述,可以采用算法包装器来启用现有第3方算法(其例如可以在云中提供)的使用和兼容性。包装器可以指定算法的(一个或多个)输入和输出类型以及算法的任何需求(例如连接质量、速度需求、内存空间等)。
通过示例,包装器可以以诸如下表1的表格格式来表示。
Figure BDA0003403808080000131
Figure BDA0003403808080000141
表1
从上面的描述中将理解,所提出的实施例可以与常规RTC系统结合采用,以便促进算法的动态增强和/或灵活使用。通过示例,IRM算法的第3方开发者可以创建动态链接库(DLL)文件,所述文件当被添加到其IRM部署时提供将算法作为参与者包括到RTC会话的能力。
例如,实施例可以用于宽范围的实时通信系统和方法。已经被识别为潜在地受益于所提出的用于RTC会话的功能的动态修改的(一个或多个)概念的示例性应用包括:客户服务支持;医师-患者之间的实时咨询;环境监测(例如患者监测和老人护理);健康自我评估应用和视频监测应用(例如婴儿监测、远程视频访问等)。
根据上面的描述,将理解,提出了一种系统,该系统生成可以动态调节功能的灵活且自适应的RTC系统。这样的系统可以自动添加、移除和/或修改作为RTC会话的参与者的算法以便调节可用功能。
现在参考图6A和图6B,示出了将算法包括为RTC会话的虚拟参与者的示例性方法。更具体地,图6A描绘了如何将算法包括为具有单个人类参与者的RTC会话的(虚拟)参与者。图6B描绘了如何将算法包括为具有两个人类参与者的RTC会话的(虚拟)参与者。
参考图6A,人类参与者605连接到IRM 615的无头客户端610。无头客户端610经由包装器625连接到算法620。包装器625将来自RTC会话的数据馈送到算法620。包装器625还将来自算法620的数据馈送到RTC会话。为此目的,包装器625可以使用API。然而,在一些实施例中,包装器625可以不使用API。
参考图6B,RTC会话的第一人类参与者605A和第二人类参与者605B连接到IRM 615的无头客户端610。无头客户端610经由包装器625连接到第一算法620A和第二算法620B。此处,第一算法620A提供基于云的服务,并且第二算法620B提供C++运动检测算法。包装器625采用各种部件(包括API、C++、Matlab等部件)来向算法620A和620B和从算法620A和620B馈送数据。
现在参考图7,描绘了图示图6B的部件之间的示例性交互的序列图。
在图7的示例性序列中,进行以下步骤序列:
705-第一用户/参与者605A邀请第二用户605B参与RTC会话。
710-第二用户605B然后响应并作为第二参与者加入RTC会话。
715&720-在第一参与者605A和第二参与者605B之间发送音频、视频和数据流。
725-第一用户/参与者605A通过向无头客户端610发送邀请/请求来请求/邀请运动检测算法620B加入RTC会话。
730-无头客户端610然后通过调用算法包装器625来创建算法实例。
735-算法包装器625创建到运动检测算法620B的API连接。
740-在运动检测算法的实例中,620B被创建并提供给无头客户端610。
745-无头客户端610将运动检测算法620B添加为RTC会话的参与者。
750&755-音频、视频和数据流从第一参与者605A和第二参与者605B发送到无头客户端610。
760-第一用户/参与者605A请求使用运动检测算法620B来分析第二用户/参与者605B的运动。
765-无头客户端610经由包装器625将第二用户/参与者605B的捕获的视频帧传递给运动检测算法620B。
770-第二用户/参与者605B的捕获的视频帧被传递到运动检测算法620B并被分析。
775-运动分析的结果由运动检测算法620B提供给包装器625。
780-运动分析的结果作为数据流从包装器625提供给无头客户端610。
785-运动分析的结果作为数据流从无头客户端610提供给第一用户/参与者605A。
还提出可以利用用于修改RTC会话的功能的(一个或多个)概念来补充面对面交互(例如,多人在同一地点的当面会议)。以此方式,可以向面对面会议的一个或多个参与者提供额外功能,并且可以在会议期间动态地实现这种功能的添加。特别地,提供了一种用于经由RTC会话实现面对面交互的功能的动态提供的方法。例如,可以建立RTC会话以伴随面对面交互,并且然后可以使用RTC会话为面对面交互的参与者动态提供功能。
这样的提议因此可以促进对个体的面对面会议的功能的简单和直观的添加、移除或修改,其中,经由RTC会话提供功能。可以例如在考虑面对面会议的背景和/或事件的情况下进行功能的这种添加、移除或修改。
因此,本发明的实施例旨在使得能够实时地(即在面对面交互期间)修改、扩展和/或改进个体的面对面交互的功能。此外,实施例可以旨在使得在个体的面对面交互期间能够在适当定时处提供相关或重要的功能。因此,实施例可以帮助例如临床支持评估、医学诊断和/或支持规划。仅通过示例,说明性实施例可以用于许多不同类型的临床、医学或对象相关环境,例如医院、医生办公室、病房、疗养院、人的家等。
特别地,发明人已经意识到面对面交互可以利用所提出的概念来动态修改RTC会话功能,以便为面对面交互提供改进或扩展的功能。特别地,通过建立用于向面对面交互提供功能的RTC会话并且然后采用所提出的实施例来修改RTC会话的功能,可以动态地控制和修改提供给面对面交互的功能,以便改进面对面交互。
因此,这样的提议可以促进在面对面交流情况期间使用额外功能。这种功能在临床背景下可能特别令人感兴趣,例如医师-对象咨询,其中,可以将各种活动承担为常规事项(例如:生命体征的监测;对象的视觉检查;音频的转录;翻译;语音分析;情绪检测;记录咨询的摘要;等等)。该额外功能可以以受控和/或动态方式添加到实况RTC会话,例如经由语音命令,经由手势命令;通过经由输入接口键入输入;或在检测到事件的情况下自动进行。
通过示例,可以在面对面交互的位置处提供设备,其中,该设备实施用于动态修改RTC会话的功能的系统的所提出的实施例。因此,该设备可以充当额外功能的“网关”,其中,功能由算法提供,该算法可以托管在本地或云中的某处。算法可以对从面对面交互中获得的(一个或多个)音频/视频/数据流执行处理,并且结果可以被存储和/或呈现给(一个或多个)参与者中的一个或多个,例如在参与者的计算设备上和/或在面对面交互的位置处提供的显示设备上。
因此将意识到,所提出的实施例可以提供用于利用处理从面对面交互中的参与者可用的任何或所有“音频/视频/数据”的额外功能/算法来补充面对面交互(例如当面会议)的概念。这样的面对面交互可以包括多个参与者。
现在参考图8,示出了用额外功能/算法补充面对面交互(例如当面会议)的示例性方法。更具体地,图8是示例性实施例的简化图示,该示例性实施例采用RTC会话来促进对医师和对象之间的面对面会议的功能的添加、移除或修改。
如图8所描绘的,医师800和对象805位于咨询室815内的桌子810的相对侧。医师800和对象805因此参与面对面交互(即面对面会议),并且在这样做时,创建了医师800和对象805之间的口头对话。
在桌子上提供的是摄像机825和麦克风830。摄像机825被布置为捕获对象805的视频片段,并且麦克风830被配置为捕获医师800和对象805之间的口头对话的声音。以这种方式,面对面交互的音频和视频数据被获得。
面对面交互的所获得的音频和视频数据经由一个或多个适当布置的通信链路(例如无线、有线或短程通信链路)提供给IRM 830。IRM 835还与咨询室815中提供的各种设备通信耦合(例如,经由一个或多个无线、有线或短程通信链路)。纯粹通过示例,该示例中的设备包括智能电话840、显示设备845、打印机850、扬声器855和数据存储设备860。此外,IRM835还与基于云的通信和/或处理资源(例如因特网)865通信耦合。
因此,将意识到,可以使用宽范围的设备和/或计算资源来以各种形式将数据输入到IRM 835和/或从IRM输出数据。例如,IRM 835可以采用驻留在云865中的算法/功能和/或可以经由显示设备845输出结果以供医师800和对象805两者查看。
系统建立RTC会话以向面对面交互提供至少一种功能。IRM 835的监测部件(未示出)然后监测对话820的内容以及来自摄像机825和智能电话840的输入信号,以便识别对算法的请求。例如,医师300可以经由口头命令(例如通过说出算法的“关键词”名称后跟“开始”)和/或经由执行预定手势和/或通过经由智能电话840键入/选择期望的功能来请求添加功能(例如呼吸分析算法)。
响应于识别对算法的请求,IRM 835生成算法的实例并将该算法的实例添加为RTC会话的参与者。IRM 835机器还经由智能电话840和/或扬声器855提供针对信号的反馈,其指示算法已经开始。
类似地,可以经由口头命令(例如,通过说出算法的“关键词”名称后跟“停止”)和/或经由执行预定手势和/或通过经由智能电话840键入/选择期望的功能来进行功能的移除。响应于识别对算法的移除的请求,IRM 835移除作为RTC会话的参与者的算法的实例。IRM 835机器还经由智能电话840和/或扬声器855提供针对信号的反馈,其指示算法已经停止。
面对面交互的额外功能因此由存在于房间815中的IRM 835提供。IRM 835可以完全是本地的(即内部部署的)或可以利用远程(即外部部署的)资源。
在一些实施例中,可以优选地执行一些系统配置以考虑面对面交互的特定特征或特性。例如,在上面的医师-对象咨询示例中,能够有用的是,定义医师和对象的座位位置,使得通过算法处理适当的视频流。类似地,麦克风装置可以被配置为区分来自对象的音频和来自医师的音频。
代替于手动定义座位位置,可以训练实施例以识别医师的声音和面部。这样的系统然后可以发现谁位于房间中何处以及应该通过算法处理哪些音频/视频。
此外,一些实施例可以被配置为仅允许医师在面对面咨询期间请求额外功能。这可以帮助避免系统的滥用。
促进功能的基于背景的触发也可能是优选的。例如,算法选择可以由咨询的背景定义。以这种方式,算法可以通过以下操作触发:手动触发(例如,由管理者);自动触发(例如取决于过程步骤);或背景敏感触发。
通过示例,医师可能事先知道他/她将实行的咨询的类型。在各种类型的咨询中的每种中,医师可能遵循一组预定义的步骤,所述步骤可以链接到系统可以提供以运行的特定算法。系统可以基于由医师在咨询之前提供的咨询选择向医师提供“背景敏感”菜单或一些其他形式的线索/提示。此外,实施例可以随时间跟踪咨询进程并根据经过的时间自动改变菜单选择或提示。
实施例可以被配置为利用所提出的将算法作为(虚拟)参与者添加到RTC会话的概念。特别是,提出了使用RTC会话来丰富面对面交互。例如,可以建立RTC会话以伴随面对面交互,并且然后RTC会话可以采用提出的概念来动态添加和/或移除可以丰富面对面交互的算法。
通过另外的示例,示出了用额外功能/算法补充面对面交互(例如当面会议)的示例性方法,其中,托管医师和对象的面对面会议的房间成为RTC会话的参与者。
更具体地,图9是根据示例性实施例的RTC会话的简化图,其中,RTC会话具有第一和第二参与者(即分别为参与者-1和参与者-2)。此处,建立RTC会话以在私人咨询室中伴随医师-对象的面对面咨询。根据提出的概念,建立RTC会话以向面对面交互的参与者提供至少一种功能。第一参与者和第二参与者之间的双工通信链路870传送音频、视频和数据流(如图9中的符号所示)。
咨询室中的人员(即医师和对象)成为RTC会话的单个第一参与者参与者-1。以这种方式,面对面咨询的所有参与者被表示为RTC会话的单个参与者。然后可以根据期望在面对面交互期间动态添加/移除算法(根据上面详述的提出的概念)。以这种方式,算法被视为RTC会话的虚拟参与者,即当请求算法以丰富面对面的交互时,该算法被添加为RTC会话的虚拟参与者。例如,图9描绘了作为第二参与者参与者-2添加到RTC会话的算法。
以这种方式,在面对面交互期间,可以添加算法/功能来处理来自面对面交互的音频/视频或数据。可以在面对面交互的不同时段期间或同时使用若干算法/功能。
作为使咨询室中的所有人员成为RTC会话的单个参与者的备选方案,可以使面对面交互的每个参与者成为RTC会话的单独(虚拟)参与者。这种方法在图10中图示。
更具体地,图10是示例性实施例的简化图示,其中,使面对面交互的每个参与者成为用于向面对面交互提供至少一个功能而建立的RTC会话的单独参与者。此处,医师和对象成为第一参与者和第二参与者(即分别是参与者-1和参与者-2)。
然后可以根据期望在面对面交互期间动态添加/移除算法(根据上面详述的提出的概念)。例如,图10描绘了作为第三参与者参与者-3添加到RTC会话的算法。
根据上面的描述,将理解,提出了用于促进对面对面交互的功能的添加/移除的概念。这样的概念可以基于这样的想法:当建立面对面交互时,可以建立伴随的RTC会话以向面对面交互提供功能。响应于正在激活算法,其被添加为RTC会话的参与者。这种向RTC会话添加/移除处理算法的方法与添加/移除“正常”参与者具有相同动态。
而且,针对RTC会话的可用参与者,可以指定可用或适用的数据类型。类似地,可以指定哪个输出应该呈现给哪个参与者,和/或结果应该发生什么。
尽管上面已经参考医师和对象(例如患者)之间的交互描述了示例,但是应理解,所提出的概念可以适用于其他交互。例如,实施例可以涉及家庭监测应用,其中,家庭成员请求由一种或多种算法提供的功能以便测量生命体征。其他实施例可能涉及工作/办公室相关会议,其中,参与者可以请求由一种或多种算法提供的功能来自动创建文档,生成会议纪要,建立投票结果等。
图11图示了计算机900的示例,其中,可以采用实施例的一个或多个部分。上面讨论的各种操作可以利用计算机900的能力。例如,用于提供对象特异性用户接口的系统的一个或多个部分可以并入在本文讨论的任何元件、模块、应用和/或部件中。在这点上,应理解,系统功能块可以在单个计算机上运行或可以分布在若干计算机和位置上(例如,经由因特网连接)。
计算机900包括但不限于PC、工作站、膝上型电脑、PDA、掌上设备、服务器、存储设备等。通常,就硬件架构而言,计算机900可以包括一个或多个处理器910、存储器920、以及经由本地接口(未示出)通信地耦合的一个或多个I/O设备930。本地接口可以例如是但不限于一个或多个总线或其他有线或无线连接,如本领域中已知的。本地接口可以具有额外的元件,例如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器,以实现通信。此外,本地接口可以包括地址、控制和/或数据连接,以实现上述部件之间的适当通信。
处理器910是用于执行可以存储在存储器920中的软件的硬件设备。处理器910实际上可以是任何定制或商业上可用的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或在与计算机900相关联的若干处理器中间的辅助处理器,并且处理器910可以是基于半导体的微处理器(采取微芯片的形式)或微处理器。
存储器920可以包括易失性存储器元件(例如,随机存取存储器(RAM),诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如,ROM、可擦可编程只读存储器(EPROM)、电子可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)、磁盘、软盘、盒式磁带、磁带盒等)中的任何一个或组合。此外,存储器920可以包含电子、磁性、光学和/或其他类型的存储介质。注意,存储器920可以具有分布式架构,其中,各种部件彼此远离设置,但是可以由处理器910访问。
存储器920中的软件可以包括一个或多个分离的程序,其中每个包括用于实施逻辑功能的可执行指令的有序列表。根据示例性实施例,存储器920中的软件包括适合的操作系统(O/S)950、编译器940、源代码930和一个或多个应用960。如所图示的,应用960包括用于实施示例性实施例的特征和操作的许多功能部件。根据示例性实施例,计算机900的应用960可以表示各种应用、计算单元、逻辑、功能单元、过程、操作、虚拟实体和/或模块,但是应用960不旨在是限制性的。
操作系统950控制其他计算机程序的执行,并且提供调度、输入输出控制、文件和数据管理、存储器管理和通信控制和相关服务。发明人预期,用于实施示例性实施例的应用960可以适用在所有可商购的操作系统上。
应用960可以是源程序、可执行程序(目标代码)脚本或包括要执行的指令的集合的任何其他实体。在源程序时,然后程序通常经由编译器(诸如编译器940)、汇编器、解析器等转译,其可以或可以不被包括在存储器920内从而结合O/S 950适当地操作。此外,应用960可以被写作具有数据和方法的类的面向对象编程语言或具有例程、子例程和/或功能的过程编程语言,例如但不限于C、C++、C#、Pascal、BASIC、API调用、HTML、XHTML、XML、ASP脚本、JavaScript、FORTRAN、COBOL、Perl、Java、ADA、.NET等。
I/O设备970可以包括输入设备,例如但不限于鼠标、键盘、扫描器、麦克风、相机等。此外,I/O设备970还可以包括输出设备,例如但不限于打印机、显示器等。最后,I/O设备970还可以包括传递输入和输出两者的设备,例如但不限于NIC或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)、射频(RF)或其他收发器、电话接口、桥、路由器等。I/O设备970还包括用于通过各种网络(诸如因特网或内联网)通信的部件。
如果计算机900是PC、工作站、智能设备等,则存储器920中的软件还可以包括基本输入输出系统(BIOS)(为了简单起见被省略)。BISO是一组基本软件例程,其在启动时初始化并且测试硬件、开始O/S 950,并且支持硬件设备之中的数据的转移。BIOS被存储在某种类型的只读存储器(诸如ROM、PROM、EPROM、EEPROM等)中,使得可以在计算机900被激活时执行BIOS。
当计算机900在操作中时,处理器910被配置为执行被存储在存储器920内的软件,将数据传递至存储器920和从存储器920传递数据,并且通常按照软件控制计算机900的操作。应用960和O/S 950全部或部分由处理器910读取,也许在处理器910内被缓冲,并且然后被执行。
当应用960被实施在软件中时,应当指出,应用960可以被存储在实际上任何计算机可读介质上以用于由任何计算机相关的系统或方法使用或结合其使用。在该文档的背景下,计算机可读介质可以是电子、磁性、光学或其他物理设备或模块,其可以包含或存储用于由计算机相关系统或方法使用或结合其使用的计算机程序。
应用960可以被实现在任何计算机可读介质中以用于由指令执行系统、装置或设备(诸如基于计算机的系统、包含处理器的系统或可以从指令执行系统、装置或设备获取指令并且执行指令的其他系统)使用或结合其使用。在该文档的背景下,“计算机可读介质”可以是可以存储、传递、传播或传输用于由指令执行系统、装置或设备使用或结合其使用的程序的任何模块。计算机可读介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或媒介),其在其上具有用于令处理器执行本发明的各方面的计算机可读程序指令。
计算机可读存储介质可以是有形设备,其可以保持并且存储用于由指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何适合的组合。计算机可读存储介质的更特定示例的非详尽列表包括以下各项:便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、随机存取存储器(SRAM)、便携式压缩光盘只读存储器(CD-ROM)、数字多用光盘(DVD)、记忆棒、软盘、机械编码设备(诸如具有记录在其上的指令的凹槽中的穿孔卡或拉高结构)和前述的任何组合。如本文所使用的,计算机可读存储介质将不被解释为暂态信号自身(诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,穿过光纤线缆的光脉冲)或通过接线发射的电学信号)。
本文所描述的计算机可读程序指令可以从计算机可读存储介质被下载到相应的计算/处理设备或经由网络(例如,因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令用于存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或要么源代码要么以以下各项的任何组合书写的目标代码:一个或多个编程语言(包括面向对象编程语言(诸如Smalltalk、C++等))和常规过程编程语言(诸如“C”编程语言或类似编程语言)。计算机可执行程序指令可以作为独立的软件包全部地在用户的计算机上,部分地在用户的计算机上,部分地在用户的计算机上并且部分地在远程计算机上或全部地在远程计算机或服务器上执行。在后者场景中,所述远程计算机可以通过任何类型的网络连接到所述用户的计算机,包括局域网(LAN)或广域网(WAN),或可以对外部计算机做出的连接(例如,通过使用因特网服务提供商的因特网)。在一些实施例中,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令,以个性化电子电路,以便执行本发明的各方面。
参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将理解,可以通过计算机程序指令实施流程图图示和/或框图的每个框和流程图图示和/或框图中的框的组合。
这些计算机程序指令可以被提供到通用计算机、专用计算机的处理器或者其他可编程数据处理装置以产生机器,使得经由所述计算机的所述处理器或其他可编程数据处理装置执行的指令创建用于实施所述流程图和/或一个或多个框图框的模块。这些计算机可读程序指令还可以被存储在计算机可读存储介质中,其可以引导计算机、可编程数据处理装置和/或其他设备来以特定方式运行,使得具有存储在其中的指令的计算机可读存储介质包括包含实施流程图和/或一个或多个框图块中所指定的功能/动作的方面的指令的制品。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程,使得在计算机、其他可编程装置或其他设备上执行的指令实施流程图和/或一个或多个框图框中所指定的功能/动作。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在该方面,流程图或框图中的每个框可以表示指令的模块、分段或部分,其包括用于实施(一个或多个)指定的逻辑功能的一个或多个可执行指令。在一些备选实施方式中,框中所指出的功能可以脱离附图中所指出的顺序发生。例如,连续示出的两个框可以实际上基本上同时地被执行,或者框可以有时以相反的顺序执行,这取决于所涉及的功能性。还将注意到,可以通过执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统实施框图和/或流程图的每个框和框图和/或流程图中的框的组合。
描述已经出于图示和描述的目的被呈现,并且不旨在是详尽的或限于所公开的形式的本发明。许多修改和变型对于本领域普通技术人员而言将是显而易见的。已经选择和描述了实施例以便最好地解释所提出的实施例的原理、(一个或多个)实际应用,并且使得本领域普通技术人员能够理解具有预期的各种修改的各种实施例。在权利要求中,置于括号之间的任何附图标记不应被解释为对权利要求的限制。“包括”一词不排除权利要求中列出的元件或步骤之外的元件或步骤的存在。元件前面的词语“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件和/或借助于适当编程的处理器来实施。在列举若干模块的设备权利要求中,这些模块中的若干可以由同一项硬件实现。在互不相同的从属权利要求中记载的措施可以有利地组合使用。

Claims (15)

1.一种用于对实时通信会话的功能进行动态修改的方法,所述方法包括:
建立实时通信会话(100),所述实时通信会话包括在所述实时通信会话(100)的参与者之间的一个或多个数据流;
识别对一组算法(A1、A2、A3)中的第一算法(A1)的请求,所述一组算法中的每个算法被配置为当在实时通信会话期间被执行时提供相关联的功能;并且其特征在于:
通过将所述第一算法(A1)作为采用所述一个或多个数据流中的至少一个数据流的虚拟参与者添加到所述实时通信会话来动态地修改所述实时通信会话的所述功能。
2.根据权利要求1所述的方法,其中,将所述第一算法作为虚拟参与者添加到所述实时通信会话包括:
经由容器调用所述第一算法;并且
由所述容器将所述第一算法配置为所述实时通信会话的虚拟参与者。
3.根据权利要求2所述的方法,其中,经由容器调用所述第一算法包括经由接口与所述容器通信。
4.根据权利要求1至3中的任一项所述的方法,其中,对第一算法的所述请求包括对所述第一算法的需求的指示,并且
其中,将所述第一算法作为虚拟参与者添加到所述实时通信会话包括:
基于对所述第一算法的需求的所述指示来配置以下各项中的至少一项:所述第一算法的输入;输出。
5.根据权利要求1至4中的任一项所述的方法,其中,所述一组算法中的每个算法与定义以下各项中的至少一项的相应包装器相关联:所述算法的输入;输出;以及需求,并且
其中,将所述第一算法作为虚拟参与者添加到所述实时通信会话包括:
基于与所述第一算法相关联的所述包装器来配置以下各项中至少一项:所述第一算法的输入;输出。
6.根据权利要求1至5中的任一项所述的方法,其中,识别请求包括基于以下各项中的至少一项来确定对第一算法的请求:
由所述实时通信会话的参与者提供的用户输入信号;
所述实时通信会话的数据流的背景;
预定触发事件的发生;以及
非预定触发事件的发生。
7.一种用于对第一参与者与第二参与者之间的面对面交互的功能进行动态修改的方法,所述方法包括:
修改根据任一前述权利要求所述的实时通信会话的功能,其中,所述实时通信会话被建立用于向所述面对面交互的参与者提供至少一个功能。
8.根据权利要求7所述的方法,其中,建立实时通信会话包括:
将所述面对面交互的所述第一参与者和所述第二参与者添加为所述实时通信会话的虚拟参与者。
9.根据权利要求7所述的方法,其中,建立实时通信会话包括:
将所述面对面交互的所述第一参与者添加为所述实时通信会话的第一虚拟参与者;并且
将所述面对面交互的所述第二参与者添加为所述实时通信会话的第二虚拟参与者。
10.根据权利要求7至9中的任一项所述的方法,其中,识别请求包括基于以下各项中的至少一项来确定对第一算法的请求:
由所述面对面交互的参与者提供的用户输入信号;
所述面对面交互的数据流的背景;
所述面对面交互中的非预定触发事件的发生;以及
所述面对面交互中的预定触发事件的发生。
11.根据权利要求1至10中的任一项所述的方法,其中,参与者包括医学专业人员,并且其中,所述实时通信会话被配置用于对针对临床决策支持交换临床信息。
12.根据权利要求1至11中的任一项所述的方法,其中,所述一组算法中的至少一个算法被配置为当被执行时将数据存储到电子医学记录数据库和/或从电子医学记录数据库中检索数据。
13.一种用于对实时通信会话的功能进行动态修改的计算机程序产品,其中,所述计算机程序产品包括被配置为执行根据权利要求1至12中的任一项所述的所有步骤的计算机可读程序代码。
14.一种用于对实时通信会话的功能进行动态修改的系统,所述系统包括一个或多个处理器,所述一个或多个处理器被配置为执行根据权利要求1至12中的任一项所述的所有步骤,所述一个或多个处理器被布置为形成:
通信部件,其被配置为建立实时通信会话,所述实时通信会话包括在所述实时通信会话(100)的参与者之间的一个或多个数据流;
处理部件,其被配置为识别对一组算法(A1、A2、A3)中的第一算法(A1)的请求,所述一组算法中的每个算法被配置为当在实时通信会话期间被执行时提供相关联的功能;并且其特征在于:
修改部件,其被配置为通过将所述第一算法作为采用所述一个或多个数据流中的至少一个数据流的虚拟参与者添加到所述实时通信会话来动态修改所述实时通信会话的所述功能。
15.一种用于对第一参与者与第二参与者之间的面对面交互的功能进行动态修改的系统,所述系统包括:
根据权利要求14所述的用于对实时通信会话的功能进行动态修改的系统,其中,所述通信部件被配置为建立用于向所述面对面交互的参与者提供至少一个功能的实时通信会话。
CN202080042758.5A 2019-06-12 2020-06-10 实时通信会话的功能的动态修改 Active CN113966599B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962860503P 2019-06-12 2019-06-12
US62/860,503 2019-06-12
EP19208079.4A EP3820104A1 (en) 2019-11-08 2019-11-08 A system and method for dynamic modification of functionality of a real-time communications session
EP19208079.4 2019-11-08
NL2025686A NL2025686B1 (en) 2019-06-12 2020-05-26 Dynamic modification of functionality of a real-time communications session
NL2025686 2020-05-26
PCT/EP2020/066143 WO2020249645A1 (en) 2019-06-12 2020-06-10 Dynamic modification of functionality of a real-time communications session

Publications (2)

Publication Number Publication Date
CN113966599A true CN113966599A (zh) 2022-01-21
CN113966599B CN113966599B (zh) 2024-03-19

Family

ID=70977538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042758.5A Active CN113966599B (zh) 2019-06-12 2020-06-10 实时通信会话的功能的动态修改

Country Status (6)

Country Link
US (1) US20220321633A1 (zh)
EP (1) EP3984190B1 (zh)
JP (1) JP2022536453A (zh)
CN (1) CN113966599B (zh)
DK (1) DK3984190T3 (zh)
WO (1) WO2020249645A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790095B2 (en) 2019-06-12 2023-10-17 Koninklijke Philips N.V. Dynamically modifying functionality of a real-time communications session

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014488A1 (en) * 2001-06-13 2003-01-16 Siddhartha Dalal System and method for enabling multimedia conferencing services on a real-time communications platform
US20110087913A1 (en) * 2009-10-09 2011-04-14 Robles Raymond C Techniques for managing lower power states for data links
CN104253856A (zh) * 2013-06-30 2014-12-31 阿瓦亚公司 可缩放Web实时通信媒体引擎以及相关的方法、系统
US20150281234A1 (en) * 2014-03-27 2015-10-01 Genband Us Llc Systems, Methods, and Computer Program Products for Third Party Authentication in Communication Services
CN105763342A (zh) * 2006-09-21 2016-07-13 西门子通讯公司 用于自动会议发起的装置和方法
US20170011233A1 (en) * 2014-01-08 2017-01-12 Callminer, Inc. Real-time multi-level compliance monitoring facility
US20170026516A1 (en) * 2015-07-23 2017-01-26 Syntec Holdings Limited System and method for secure transmission of data signals
US9787835B1 (en) * 2013-04-11 2017-10-10 Noble Systems Corporation Protecting sensitive information provided by a party to a contact center
WO2019070822A1 (en) * 2017-10-03 2019-04-11 Infinite Computer Solutions Inc. COLLABORATION THROUGH ONLINE DIALOGUE IN HEALTH CARE SYSTEMS

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049290B2 (en) * 2009-06-29 2015-06-02 Avaya Inc. Interaction detection between web-enabled and call-related features
CN104427296B (zh) * 2013-09-05 2019-03-01 华为终端(东莞)有限公司 视频会议中媒体流的传输方法与装置
US20150121250A1 (en) * 2013-10-31 2015-04-30 Avaya Inc. PROVIDING INTELLIGENT MANAGEMENT FOR WEB REAL-TIME COMMUNICATIONS (WebRTC) INTERACTIVE FLOWS, AND RELATED METHODS, SYSTEMS, AND COMPUTER-READABLE MEDIA
US10659501B2 (en) * 2014-06-30 2020-05-19 Avaya Inc. System and method for efficient port and bandwidth utilization in setting up communication sessions
FR3038180A1 (fr) * 2015-06-26 2016-12-30 Orange Adaptation d'un profil de transmission d'une communication web temps reel
US11080784B2 (en) * 2015-12-18 2021-08-03 Trading Technologies International, Inc. Market data redaction tools and related methods
US10805376B2 (en) * 2015-12-31 2020-10-13 Ribbon Communications Operating Company, Inc. Communication server and method for selective use of real-time communication features
US10616285B2 (en) * 2016-04-26 2020-04-07 Comcast Cable Communications, Llc Establishing and managing connections for real time communications
US10320832B2 (en) * 2016-12-09 2019-06-11 Sap Se Attack protection for WebRTC providers
US20180262404A1 (en) * 2017-03-13 2018-09-13 Microsoft Technology Licensing, Llc Hypermedia-driven record and playback test framework
US11210461B2 (en) * 2017-07-05 2021-12-28 Interactions Llc Real-time privacy filter

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014488A1 (en) * 2001-06-13 2003-01-16 Siddhartha Dalal System and method for enabling multimedia conferencing services on a real-time communications platform
CN105763342A (zh) * 2006-09-21 2016-07-13 西门子通讯公司 用于自动会议发起的装置和方法
US20110087913A1 (en) * 2009-10-09 2011-04-14 Robles Raymond C Techniques for managing lower power states for data links
US9787835B1 (en) * 2013-04-11 2017-10-10 Noble Systems Corporation Protecting sensitive information provided by a party to a contact center
CN104253856A (zh) * 2013-06-30 2014-12-31 阿瓦亚公司 可缩放Web实时通信媒体引擎以及相关的方法、系统
US20150002619A1 (en) * 2013-06-30 2015-01-01 Avaya Inc. Scalable web real-time communications (webrtc) media engines, and related methods, systems, and computer-readable media
US20170011233A1 (en) * 2014-01-08 2017-01-12 Callminer, Inc. Real-time multi-level compliance monitoring facility
US20170026514A1 (en) * 2014-01-08 2017-01-26 Callminer, Inc. Real-time compliance monitoring facility
US20150281234A1 (en) * 2014-03-27 2015-10-01 Genband Us Llc Systems, Methods, and Computer Program Products for Third Party Authentication in Communication Services
US20170026516A1 (en) * 2015-07-23 2017-01-26 Syntec Holdings Limited System and method for secure transmission of data signals
WO2019070822A1 (en) * 2017-10-03 2019-04-11 Infinite Computer Solutions Inc. COLLABORATION THROUGH ONLINE DIALOGUE IN HEALTH CARE SYSTEMS

Also Published As

Publication number Publication date
EP3984190A1 (en) 2022-04-20
WO2020249645A1 (en) 2020-12-17
DK3984190T3 (da) 2023-01-23
US20220321633A1 (en) 2022-10-06
JP2022536453A (ja) 2022-08-17
EP3984190B1 (en) 2022-12-14
CN113966599B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US10594749B2 (en) Copy and paste for web conference content
US9917868B2 (en) Systems and methods for medical diagnostic collaboration
US10878226B2 (en) Sentiment analysis in a video conference
US10630734B2 (en) Multiplexed, multimodal conferencing
US9329833B2 (en) Visual audio quality cues and context awareness in a virtual collaboration session
US20160234276A1 (en) System, method, and logic for managing content in a virtual meeting
US9330378B2 (en) Management and synchronization of related electronic communications
US20170251174A1 (en) Visual Cues in Web Conferencing
US20120017149A1 (en) Video whisper sessions during online collaborative computing sessions
US8412819B2 (en) Dynamically enabling features of an application based on user status
US10255885B2 (en) Participant selection bias for a video conferencing display layout based on gaze tracking
US20090016512A1 (en) Rules-Based On Hold Control During an Interactive Teleconference Session
US20140025740A1 (en) Collaboration activity initiation
US11936813B2 (en) Collaborative virtual waiting room with connection modes
US11611600B1 (en) Streaming data processing for hybrid online meetings
EP3243173A1 (en) Directing meeting entrants based on meeting role
CN115941879A (zh) 多方视频会议中的屏幕、视频、音频和文本共享
CN113966599B (zh) 实时通信会话的功能的动态修改
CN114785977A (zh) 使用计算机视觉控制视频数据内容
Singh et al. Developing WebRTC-based team apps with a cross-platform mobile framework
NL2025686B1 (en) Dynamic modification of functionality of a real-time communications session
EP3820104A1 (en) A system and method for dynamic modification of functionality of a real-time communications session
US12108190B2 (en) Automatic engagement analytics in collaboration and conferencing
US11632473B2 (en) Dynamic notification tone modification
US20240348728A1 (en) Selective control of audio in virtual conference rooms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant